本文来自微信公众号： 42号电波 ，作者：小波，编辑：大吉
2023年初，复旦大学团队发布对话式大语言模型MOSS，它是国内最早受到广泛关注的类ChatGPT模型之一。两年后，这支团队里的部分成员成立模思智能，却没有继续留在最拥挤的文本大模型战场，而是把语音作为进入多模态的第一个入口。
这是一个看起来传统、实际正在被重新定义的赛道。上一代语音系统通常由语音识别、大语言模型和语音合成三个模块串联；新一轮模型竞争则试图直接处理声音，在一次交互中保留语义、音色、情绪、语速和环境信息。随着OpenAI、Google等公司把原生语音、实时音视频和可打断交互做成API，多模态竞争的焦点已经从「模型能不能听、能不能说」，转向它能否在真实环境里持续感知、低延迟回应，并部署进汽车、机器人和新的AI硬件。
模思智能成立于2024年，由复旦大学教授邱锡鹏和他的学生创办。邱锡鹏著有《神经网络与深度学习》，这是一本人工智能入门的必读教材。模思智能联合创始人、CEO名为李世民，是邱锡鹏的学生，是复旦大学硕博连读研究生。
在2026世界人工智能大会的现场，我们见到了李世民，并和他深入聊了聊模思智能的技术路线与最新成果。
技术脉络上，模思智能就源于MOSS团队。它把自己的长期方向称为「情境智能」：不只增加语音、图像、视频等输入种类，而是让模型持续理解人所在的物理环境，并以更接近人的方式交互。围绕这个目标，公司已经铺开多条产品线，包括多说话人转写模型MOSS-Transcribe-Diarize、实时视频理解模型MOSS-Video-Preview、MOSS-TTS系列，以及面向内容创作者的Mossland。
但这些产品还没有汇聚成一个统一模型。MOSS-Video-Preview的官方页面也把当前版本称为一次探索性验证；商业化方面，公司仍在和AI玩具、智能硬件及车企客户做早期验证，具身智能合作尚未规模化，收入也没有对外披露。换句话说，模思智能已经给出了自己想去的终局，但仍需证明这些模型能否从开源影响力和现场演示，变成稳定、可复制的客户价值。
李世民谈到，模思智能做模型的思路已经发生改变：团队不再先决定技术路线，再寻找可以使用它的场景，而是先收集用户对能力、速度、时延和垂直领域表现的需求，再反推数据、架构和训练方案。
这也是这家后发公司必须回答的问题：当通用模型公司都在走向全模态，一家从语音切入的创业公司，凭什么获得自己的窗口期？
以下为42号电波与模思智能联合创始人、CEO李世民的对话实录，经编辑整理。
从MOSS转向语音
Q：你们最早因MOSS大语言模型受到关注，为什么后来没有继续深耕文本模型，而是选择多模态？
李世民：MOSS最早是从大语言模型出发的。但当时我们还没有成立公司，文本大模型的竞争已经非常激烈，很难以一个学术团队的形态持续参与。所以我们选择了一条当时技术路线还不够成熟的方向：多模态，尤其先从语音切入。
2023年我们看不同模态的发展，视觉已经积累了很多年，语音却有大量方案仍停留在大模型时代之前。我们希望把在大模型上的积累带到语音领域。
做到现在，我们发现语音里还有很多真实问题没有解决。比如在嘈杂环境中，怎样准确识别主要说话人的内容；生成语音时，怎样降低时延、支持更多语言，同时让声音更有表现力，而且这种情绪和表现力能够被控制。
Q：做模型的方式和你们在学术团队时期相比，发生了什么变化？
李世民：最大的变化，是从技术导向变成需求导向和用户导向。
现在做一个模型之前，我们会先收集大量用户反馈：他们希望模型具备什么能力，对时延和速度有什么要求，希望在哪些行业或任务上表现得更好。有了这些输入，我们才去决定采用什么技术路线、收集哪些数据、怎样设计模型架构。
以前可能是先看到一个技术问题，再想办法把它做到最好。公司阶段要反过来，从用户的问题出发，判断什么能力真正值得投入。
Q：科大讯飞等公司已经在语音领域积累多年，MiniMax等大模型公司也在做语音。一个后发团队的差异在哪里？
李世民：语音是一个研究很多年的赛道，但模型能力仍然有不同选择。传统公司更多围绕ASR（自动语音识别）、TTS（语音合成）等单项任务展开，语音交互也常采用级联路线：先做语音识别，再交给大语言模型，最后通过TTS输出声音。
我们很早就选择了端到端语音交互。模型直接接收语音，再输出语音，中间不必把所有信息都转换成文本。这样一方面可以降低时延，另一方面能减少级联过程里的信息损失。
一段声音里不仅有「说了什么」，还有情绪、说话人身份、语速和环境信息。它们在先转文字的过程中很容易丢失。端到端模型有机会保留这些声学信号，并在生成侧获得更强的控制能力。比如复刻一个人的音色后，还可以要求模型用开心、激动或更快的语速说出同一段内容。
Q：你怎么区分语音里的语义信息和声学信息？
李世民：语义信息主要是说话的文本内容。声学信息则是文字之外的部分：谁在说话，是男声还是女声，声线、语速和情绪是什么，以及说话发生在浴室、户外还是其他环境。
我们最终想理解的其实不只是语音，而是更完整的声音信号。除了语言内容，模型还应该理解说话人的身份、情感和周围环境。只有这些信息都被建模，人和AI的交流才可能更自然。
「情境智能」不是简单增加模态
Q：模思智能把自己的方向定义为「情境智能」。它和通常所说的全模态模型有什么不同？
李世民：大模型公司的终局可能都会走向全模态，把不同模态汇聚到一个模型里。但即使表现形式相同，每家公司也会在特定能力和场景上形成差异。
我们所说的情境智能，是让模型全面建模一个复杂情境：人能看到的画面、听到的声音、所处的物理环境，以及人与模型之间持续发生的交互。模型不仅要理解这些信息，还要进行比较拟人的交流，并在交互过程中持续迭代。
它不是单纯把支持的模态种类变多。我们更关心的是人机交互。今天人和AI主要通过键盘、鼠标、电脑和手机交流；随着模型和新终端成熟，交互应该变得更无缝、更自然。语音、视觉和实时视频，都是实现这个目标的拼图。
Q：为什么不一开始就做统一的全模态模型，而要把这些能力拆开？
李世民：因为现在每个板块都还不够成熟。我们会先把语音理解和语音生成做好，再进入实时视频流理解等方向。每块能力做深以后，再把多说话人转写、语音交互和实时视频理解汇聚到统一的端到端全模态模型里。
从资源投入看，单独把语音做好就需要大量人力、算力和数据。现在很多具身智能公司也想做「大脑」，但主要精力放在视觉信号和运动控制上，很难再单独组建一支足够深入的语音团队。至少在当前阶段，专业模型公司把语音模块做好，仍然有价值。
Q：语音大模型最难跨越的技术门槛是什么？
李世民：一个挑战是让模型与语音模态充分对齐，同时保持好的语音性能。另一个挑战是深度思考和低时延之间的冲突。
语音交互对响应速度要求非常高，但现在提升模型智能和输出质量，常见的做法是让模型生成更长的思维链。思考越长，回复就越慢。我们要探索新的模型架构和技术范式，让模型能够深度思考，同时保持连贯、流畅的实时交互。
Q：你们现在最有差异化的模型是哪一个？
李世民：如果只选一个，我会选MOSS-Video-Preview，也就是实时视频流理解模型。
以往不少视频模型会先把视频切成片段，处理完一个片段再输出。我们的目标是让模型持续接收流式视频，在生成回答的同时继续观看新画面。如果画面突然变化，它能够及时调整正在输出的内容，也可以被打断或主动发起交互。
这类能力对未来的物理交互很重要。AI不能只看完一段已经结束的视频再回答，它要在世界变化的同时持续感知和响应。
Q：这个方向什么时候能从演示走向实际使用？
李世民：我们判断，到2026年底至2027年初，各个单项能力会出现比较明显的提升，基本达到真实物理场景里一部分客户的使用要求。那时会是把不同能力合并进一个端到端模型的较好阶段。
对我们来说，追赶窗口大约是半年到一年。以AI的发展速度看，这已经不算快。
先卖模型，也直接做产品
Q：模思智能的商业模式是什么？
李世民：现在主要有两种。
第一种是MaaS（模型即服务）。我们把模型的原子能力通过API提供给B端客户，让客户批量调用。
第二种是把这些模型组合起来，直接进入更接近用户需求的场景。我们做了面向内容创作者的Mossland，它是一个以语音为核心的一站式AIGC内容创作平台，可以做短剧制作与配音、播客和视频内容创作。
一边是模型能力，一边是具体产品。产品里的用户反馈也会反过来帮助我们迭代模型。
Q：公司现在的收入情况怎么样？
李世民：目前还在比较早期的阶段，具体收入不方便沟通。
Q：教授创业团队在商业化过程中，遇到的最大困难是什么？
李世民：我们过去更多关注技术，商业化对团队是一个成长过程。除了研发思路要从技术导向转向用户需求，商业化团队本身也要建立。
我们毕竟是技术团队出身，目前已经搭起商业化团队的骨干，但整体仍处于早期。现在主要在和客户做产品验证，还没有进入大规模复制的阶段。
Q：公司2024年才成立，当时已有大模型公司跑了一年多。现在进入市场还合适吗？
李世民：我们认为模型的最终表现仍有很大空间。已经领先的公司各有自己的重点，有的聚焦文本，有的更偏AIGC内容创作。我们的选择是情境智能，希望模型充分感知和理解复杂物理环境，并进行自然交互。
后发意味着不能在所有能力上同时竞争。我们会先从语音做出深度和数据积累，再扩展到实时视频和其他模态，最终把它们合在一起。
Q：你们目前有哪些客户类型？
李世民：一类是终端和AI硬件厂商，比如AI玩具；另一类是汽车客户，我们在做智能座舱里的语音交互研发。内容创作也是一个重要方向，MOSS-TTS已经集成进Mossland，服务配音和内容生产需求。
具身机器人、汽车和未来出现的新AI硬件，都是我们希望进入的场景。不过和具身智能企业的合作目前还没有形成较大规模，更多还是在AI玩具、AI硬件和车载场景做早期合作和验证。
Q：为什么今天很多机器人在展会、门店等嘈杂环境里，语音交互仍然迟钝？
李世民：很多机器人公司的主要精力在视觉和运动控制，对复杂真实环境里的语音交互投入还不够。它们使用的ASR模型，往往更适合单人、相对干净的录音环境。一旦现场有多人同时说话，又有很强的背景噪声，识别性能就会下降。
我们为这种场景做了MOSS-Transcribe-Diarize。它在一个端到端模型里同时完成语音转写、说话人区分和时间戳标注，目标是从混乱的多人语音里分离出不同说话人及其内容。
这只是全模态实时交互中的一块拼图，但也是机器人真正进入公共场景必须解决的问题：它不仅要听见声音，还要知道是谁在什么时候说了什么。
Q：这个模型放在端侧，还是云端？
李世民：两种都可以。0.9B的开源版本参数量较小，可以做本地化或端侧部署，在具身本体等设备上实时运行。对性能要求更高、实时性要求相对没那么高的离线场景，我们还有参数量更大的Pro版本，通过线上服务提供能力。
Q：如果模型进入机器人或其他硬件，怎样收费？最终由谁承担token成本？
李世民：对硬件和具身厂商，目前比较常见的是按设备搭载量收费，也就是按照出货量计费，一台设备对应一定的模型费用。
未来三到五年，语音、视觉和机器人的「大脑」可能逐步合在一起。但现阶段，单独的语音模块仍需要很大投入，也适合以独立能力交付。
开源是获客，也是模型反馈渠道
Q：你们怎样考虑开源和闭源的关系？
李世民：我们是一家模型公司，也是一家相对晚入场的模型公司。早期会通过科研和开源社区建立影响力，所以会把不少模型开放出来。
开源一方面能让更多早期用户和开发者使用，扩大影响；另一方面也能获得更真实的一线反馈。对早期模型迭代来说，这些反馈很重要。
开源和商业化并不冲突。我们同时会提供更强的线上API，也会把模型做进Mossland这样的产品。开源模型负责降低使用门槛和形成社区，API与产品负责服务对性能、稳定性和工作流有更高要求的客户。
Q：开源用户很多，不一定等于商业化成立。你们怎么判断模型真的满足了市场需求？
李世民：最终还是要看客户在真实场景里是否愿意持续使用。我们现在处在早期产品验证阶段，所以会特别关注用户对准确率、时延、部署方式和具体任务的反馈，再用这些反馈决定模型如何迭代。
对我们来说，变化已经发生了：不是做完一个技术，再去寻找它的用途；而是先找到用户真正遇到的问题，再决定下一步模型要补什么能力。
全模态终局之外，先证明每一块拼图有用
Q：既然大模型公司最终都可能做全模态，模思智能的长期壁垒是什么？
李世民：即使大家都走向全模态，也会在某些领域形成先发优势和长期数据积累。对我们来说，这个领域首先是声音。
我们希望模型理解的不只是语言，而是完整声音信号：文本内容、说话人身份、情感、语速，以及复杂物理环境中的各种声音。把这些能力做深，再和视觉、实时视频结合，才能形成我们所说的情境交互。
Q：你们心里的直接竞争对手是谁？
李世民：如果看单个模块，语音和视频领域都有公司在做相似的事情。但从最终目标看，我们目前没有看到完全沿着同一条「情境智能」路径推进的公司。
竞争不只是比较支持了多少模态，而是看特定能力能否真正进入场景。对我们来说，先把复杂环境里的声音理解、语音生成和实时视频流理解做好，再考虑统一，是更现实的路线。
Q：公司现在有多大规模？你和邱锡鹏怎样分工？
李世民：团队目前有100多人。邱老师是公司的首席科学家，主要参与大的模型方向、技术路线和演进规划。我们会一起讨论，决定接下来往哪个模型方向推进。
Q：你们最终希望把这些能力落在哪里？
李世民：长期希望落到真实物理交互中。具身机器人、汽车和未来新的AI硬件形态，都可能成为载体。
今天我们仍然在分别做语音、声音和视频的模型。但终局不是让用户分别调用很多模型，而是让一套系统持续感知所处环境，理解正在发生的事情，并自然地与人交流。这是我们所说的情境智能。