复旦大学特聘教授、上海创智学院副院长邱锡鹏创办的模思智能，致力于赋予AI情绪感知能力。在CEO李世民看来，AI需结合用户言语、环境及过往互动来理解意图，情绪是一种情境信号。例如，用户突然结束对话可能因任务完成，或因AI失误导致不耐烦，这种反馈蕴含于语音、语气及更广情境中。
模思智能旨在实现“情境智能”，让AI持续理解现场：谁在场、此前发生什么、当前环境、人在做什么及可能的下步行动。但完全实现这一智能感知与预测仍存挑战，因此他们选择以交互模型为工程入口，使模型能理解、生成语音和视频等多模态，并实时交互，该系统命名为MOSS Live。
据「暗涌Waves」独家消息，模思智能近期完成超10亿元Pre-A轮融资，由华控基金联合领投，主要投资方包括国开科创、上海科创基金、新微资本、徐汇资本、追光硬科技创投、临港策源基金等，元禾控股、上海国投旗下上海科创集团、星连资本等老股东持续跟投。资金将用于全模态实时交互系统研发及全球商业化。
2023年初，邱锡鹏团队推出类ChatGPT语言模型MOSS，迅速走红。当时有投资机构邀请创业，但团队未立即行动。同年，团队研发端到端语音大模型SpeechGPT，尝试让模型理解并生成语音，保留情绪、语速、音色等信息。2024年，其开发的AnyGPT探索处理更多模态信息。
沿此研究路径，情境智能目标逐渐清晰。模型需进入现实情境，获取客户真实反馈以反哺模型。2024年底，团队孵化成立模思智能，由SpeechGPT核心作者、复旦博士李世民任CEO。
李世民透露，过去半年多，模思智能团队迭代发布20多个模型版本，涵盖语音生成、音频理解、视觉理解等。他分享了与B端客户打磨交互模型的经历：真实情境需求不同于学术指标，客户要求准、快且便宜，这些约束也改变了模型架构和推理框架。
对于AI for AI，他认为并非新事物或壁垒，过去许多团队已用AI加速模型研发。如今单点模型领先易被追赶，但若模型快速进入产品，真实场景反馈变为下一轮训练材料，系统迭代速度可能拉开差距。
他们研发的实时交互模型与日常语音助手的区别、距离情境智能还缺的能力、智能座舱等终端客户的AI模型需求，以及这家成立两年公司为何能获10亿元融资，以下为「暗涌Waves」与李世民的对话整理。
让AI理解“现场”
「暗涌」：模思强调“情境智能”，如何理解“情境”？
李世民： 我们理解为context，但比大模型中的“上下文”更泛化。真实物理环境信息持续流入，包括什么人、什么东西、此前发生什么、人与物时空关系，这些都属情境。例如，你问AI“钥匙在哪”，若AI仅看到当前帧，无法回答；但若持续接收视频流，可能看到你进门后放钥匙的位置及后续移动。情境智能依赖持续积累的情境感知，而非提问瞬间的信息。
「暗涌」：这像随行AI助理。人们期待AI不仅拟人对话，还能像人在物理世界更自主。
李世民： 我们面向智能终端提供交互能力，底层逻辑是AI像人一样与物理世界交互。真实环境中，人会停顿、改口；周围声音、画面和环境状态变化。AI最终进入眼镜、车、玩具、机器人等终端，用户不会每次整理Prompt。真正的情境智能需双工交互，输入输出并行，模型边看边听边接收信息并反馈。下一代AI将从“回答问题”转向“持续在场”，理解人和环境，适时回应行动。我们做全模态实时交互，就是解决此事。
「暗涌」：全模态实时交互与常见AI语音助手有何不同？
李世民： 真正交互系统需解决信息如何同时进入、互相影响、场景变化时持续更新。例如，车中人说“有点冷”，仅语音识别出三个字。但真正交互智能需知车内温度、谁说话、车辆状态、说话人偏好，判断是描述感受还是希望调空调。我们关心AI能否理解现场。
「暗涌」：邱锡鹏团队从语言模型MOSS转向语音理解和生成模型，再加入视频，是为接近“情境智能”目标？
李世民： 创立模思之初，我们对情境智能的描述是：AI充分感知理解复杂物理情境，并在交互中持续提升能力。最初强调前半句。AI与物理世界最自然交互是语音，从语音入手，让模型听懂语气和情绪。用户打字表达会丢失语气情绪。2025年，语音模型能力相对领先，集成视觉理解，让模型既能听懂也看清物理世界。现在更多强调后半句，“在交互中持续提升能力”。随基础大语言模型和多模态模型成熟，我们向更全面多模态交互推进。交互智能是重要工程入口，若AI未理解情境，会在交互中暴露错误。做交互模型，是将情境智能做进系统。
「暗涌」：多模态交互模型进展如何？MOSS Live如何理解？
李世民： 过去半年，我们发布迭代20多个模型版本，覆盖语音生成、音频理解、语音识别、视觉理解和内容生成等环节，并持续开源。一些模型在特定任务上效果良好。例如，MOSS-Audio理解用户说话内容，也能分析情绪、语速、状态，甚至声音细微抖动；多说话人语音识别模型MOSS-Transcribe-Diarize-0.9B在特定任务上效果超过更大参数模型。现正将诸多单点能力接成系统，MOSS Live是一套实时交互系统，包含交互模型和能动性模型。交互模型持续看听说，理解人和环境；能动性模型负责复杂推理、工具调用和任务执行。
「暗涌」：模思为何做视频生成模型？该赛道也很卷。
李世民： 这需与视频理解结合。我们的技术体系中，理解和生成相互促进。训练视频生成模型需先准确描述标注视频内容，依赖理解模型；理解模型可评判生成质量；生成模型效果可验证理解能力。两者底层有共通积累，包括音视频数据、数据处理管线及训练推理基础设施。我们做视频生成，复用此前语音和音视频理解能力，将理解和生成一起迭代，最终服务全模态交互目标。
「暗涌」：实现AI情境智能的难点？
李世民： 核心几点：第一，对音视频流的持续理解能力和双工交互，让模型输入输出并行，能边看边听边说。第二，记忆能力，包括历史画面，在交互中对长时间信息编码并更新。获得信息后，理解用户意图，输出动作前做规划和目标拆解，这部分语言模型和agent已不错。最后，如何从真实交互反馈中改进。这不同于coding任务，coding可从代码运行判断结果，但现实生活中反馈不明确，用户可能不直接说“你错了”，而是生气或沉默，模型需结合更多情境信息分辨。这些问题在交互模型中尚未很好解决。
用户需求，改变AI模型
「暗涌」：2023年做端到端语音模型SpeechGPT时，外界反馈如何？
李世民： 大家觉得范式新，但也有质疑。当时端到端语音优势是降低时延，保留非文本信息，但代价明显：模型参数大，部署成本高；为降时延，特定任务效果不理想。有些客户希望我们做更智能的三段式方案，先解决实际问题。直到2024年GPT-4o出现，大家才理解端到端语音价值是让交互更自然。此事启发我，靠技术和认知做出新模型范式，但最终需与真实用户场景结合，产生更大用户价值。所以我们2024年底创业。2025年做了许多单点模型，包括多说话人语音识别、音频生成、音频理解，技术选型根据市场反馈调整。
「暗涌」：现阶段与B端用户联合开发，哪些用户需要全模态能力？
李世民： 主要接触智能终端客户，包括智能座舱、AI智能硬件等。使用场景不同，但对模型有共通要求：理解用户说话内容，结合语气、周围环境和此前交流判断意图；拟人度和流畅度更好；具备Always-on体验，用户可随时唤醒交互。这些需求在不同终端表现不同，但底层理解和交互问题相通，模型能力可复用。
「暗涌」：智能座舱已有语音交互，多模态交互是刚需吗？
李世民： 看客户希望座舱AI做到什么程度。开空调、调音量等明确指令，现有语音交互可解决。但我们看到一些客户需求涉及更连续复杂的交流。例如，车里多人交谈时，用户与其他人说话不希望触发语音助手；与语音助手实时交互时，用户思考时不想被打断；打开车窗后，风声、鸣笛声等如何避免误触发。这些是我们在做、现有座舱语音助手未解决的问题。打磨细节，让模型知道何时回复、何时沉默，用户会感觉AI聪明很多。在此基础上，一些客户希望模型同步理解视觉和音频信号，因为单靠声音信息有限，加入视觉可补充环境理解，帮助判断意图。对于想提供持续交互体验的座舱，多模态有具体用途。
「暗涌」：终端算力能支撑吗？
李世民： 我们根据不同场景设计不同大小模型。例如，端到端语音转录模型，用于具身机器人、小型AI硬件、手机等，对时延要求高且端侧芯片算力有限，可用0.9B轻量级模型提供本地服务。同系列也有旗舰版模型，完成长音频多人转写、说话人分离和时间戳标注，主要通过云端服务，适合对时延要求不高但需更强模型能力的场景，如内容生产、线上模态交互、客服或医患交流分析。
「暗涌」：用户需求多，如何判断哪些值得投入？
李世民： 判断标准：第一，需求导向；第二，可复用性，是否多个场景解决同一问题；第三，是否在情境交互智能目标主线上。我们看项目除收入外对模型能力是否有帮助，方案能否迁移到其他客户。例如，AI硬件或终端场景，若帮助迭代交互模型、双工模型，会优先做。
「暗涌」：语音模型老牌厂商已积累客户，赛道是否拥挤？
李世民： 我们认为语音赛道还有很大机会。市场规模判断往往基于当前模型能力，但新技术能力提升会解锁新需求和使用场景。例如，多说话人语音识别模型MOSS-Transcribe-Diarize，可分析谁在何时说什么。发布后，有AI语音硬件公司主动联系我们接入API，增强产品能力。语音生成也有提升空间，如让模型统一控制情绪、语速和说话人身份，生成背景音。这套范式成熟后可用于AI短剧等内容生产。
「暗涌」：担心从研发到商业化难度更大吗？
李世民： 我比较有信心。AI时代，模型能力是最大竞争力，效果足够好，加上infra能力压低成本，客户会选择效果更好、成本更低的方案。目前B端业务逐渐成熟，已做交付。本轮融资后，C端业务预计有较大起色。
AI for AI，能否放大迭代速度
「暗涌」：你们很早就用AI for AI技术吗？
李世民： AI for AI是常见概念，许多顶尖团队使用。数据处理、标注、质量评估等环节需大量借助模型。例如，训练多说话人对话语音生成模型MOSS-TTSD时，需标注多说话人语音内容的模型，但市面模型在此场景效果不佳，所以我们训练轻量级端到端语音转录模型MOSS-Transcribe-Diarize-0.9B，用它标注训练数据。理解模型可标注生成模型数据，也可评判生成质量作为奖励模型；生成模型结果可验证理解能力。
「暗涌」：标注时人和模型分别做什么？
李世民： 先找相似场景源数据，用初步AI模型整体标注，再人工核对质量，得到更高质量训练数据。这套数据管线从2023年开始迭代积累，除上述模型，还用到音频理解和多模态理解模型处理不同任务。模型编排和数据管线任务顺序需精细实验。
「暗涌」：AI进入数据生产、标注和模型训练，效率提升如何？
李世民： 效率比市面上常见多模态或音频数据处理管线提高两到三倍，包括对数据处理算子的工程优化。靠共通数据处理管线和研发infra，模型迭代速度快，近半年发布二十多版模型。
「暗涌」：许多团队用AI辅助研发，你们希望建立哪些壁垒？
李世民： AI for AI在机器学习中研究多年，本身不是壁垒。我们更关心能否将AI真正放入多模态数据、模型迭代生产流程。音频、视频、图像和交互数据进来后，过去靠人做的事，现在可逐步训练模型处理。单点模型领先易被追上，实时多模态交互需语音、视觉、视频、理解、生成、推理系统、真实场景和数据管线共同推进。模型能否快速接入系统、真实场景数据能否回来、数据能否快速变成下一轮训练材料，这几个环节持续运转，能放大系统迭代速度。下一步需证明产品和客户场景产生的数据能否持续回到模型训练。
「暗涌」：模思智能200多人，约3/4研发，组织更像Lab吗？
李世民： 从人才密度看，有实验室特征，约一半纯算法研究，剩下中一半是开发侧研发。但模思不是Lab，是要走通商业闭环的公司。研发占比高，因为需将研究、模型、产品打通，每环都离不开研发。模型能力需变成用户用得上产品和服务；用户和市场反过来影响模型。以前做语音模型更关注词错率、语音相似度等学术指标，但客户要求准、低时延且价格不贵，这些约束反过来改变模型架构、推理框架甚至基础设施，逼我们做更细致优化，提供低成本、高利用率模型。
「暗涌」：希望模思最终成为怎样的公司？
李世民： 我们想做AI与真实物理世界交互的基础设施。理想方向如电影《Her》中的AI助手，能充分获得用户所处情境，理解人，进行智能、实时、连贯的交互。
