跳到正文

语音与音频

AI 语音与音频的进展：语音合成、实时对话、音乐生成与音频理解的模型与产品。

16条精选相关主题多模态AI 视频产品更新

最新精选

第 1–16 条 · 共 16 条
9月25日周五
  1. Google DeepMind71

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar，在 Gemini 3.8 Live 的实时对话能力上加入低延迟流式视频，让模型能边听边看边说，并具备精准唇形同步、自然表情和流畅的轮流对话。

    推荐理由：官方给出 Live Avatar 的实时视频对话能力、异步工具调用与 97 种语言切换细节，可据此判断企业级多模态交互的落地形态。

9月24日周四
  1. Latent Space78

    Meta Connect 2026：Muse 智能体、眼镜硬件与 Charm 设备

    Meta 在 Connect 2026 上把 Muse 个人智能体作为硬件加智能体战略的核心，发布智能体功能与新眼镜，但只预告未发布新的前沿模型。Muse 新增语音与实时视频能力，可后台执行任务，并接入全部 Meta 眼镜、拥有独立邮箱地址，Mac 版支持 computer use，连接器平台覆盖 1500+ 应用。

    推荐理由：Meta Connect 2026 把个人智能体与自有硬件绑在一起，读者可据此看清 Muse 的能力边界与尚未发布的前沿模型。

9月23日周三
9月16日周三
9月10日周四
  1. OpenAI News65

    OpenAI 在 API 中推出 GPT-Live-1 语音模型

    OpenAI 在 API 中推出 GPT-Live-1，为开发者带来自然的全双工语音对话能力。该模型具备更强的指令遵循能力，支持自定义音色和电话通信支持。

    推荐理由：OpenAI 把全双工语音对话能力开放到 API，开发者可据此判断语音应用的接入方式。

8月27日周四
  1. Google DeepMind71

    Google DeepMind 发布 Gemini 3.5 Transcribe 语音转写模型

    Google DeepMind 发布 Gemini 3.5 Transcribe，称其为目前最精确的语音转文字模型，可直接把原始音频转成准确、格式化后的文本。据 Artificial Analysis 测量，流式场景平均词错误率为 4.0%，非流式为 2.6%，最终转写时间较前代 Chirp 3 改善 70%。

    推荐理由：官方给出流式与非流式 WER 及延迟对比，可据此判断语音转写接入现有工作流的门槛。

8月21日周五
  1. Hugging Face Blog62

    Hugging Face 研究量化语音识别中的基准优化现象

    Hugging Face 发布研究，用共识分歧探针、掩蔽实体检索和拼写切换三项测试量化语音识别中的基准优化现象，评测了 11 个开源 ASR 模型。结果显示部分 WER 最低的模型会复现 VoxPopuli 和 LibriSpeech 参考转写中的错误，包括音频中被静音的数字，在 VoxPopuli 上复现错误参考的比例为 18–30%。

    推荐理由：通过三类探针量化语音模型对基准的过拟合，并给出可复用的检测脚本与榜单入口。

8月11日周二
  1. Hugging Face Blog60

    NVIDIA 发布 Magpie TTS 多语言语音模型，新增阿拉伯语、韩语和巴西葡萄牙语

    NVIDIA 发布 Magpie TTS Multilingual，一个 364M 参数的开源权重语音合成模型，支持 12 种语言，本次新增现代标准阿拉伯语、韩语和巴西葡萄牙语，并通过更新训练数据改善了多种既有语言的质量。

    推荐理由：原文给出 364M 开源权重模型的多语言覆盖、TTFA 实测数据和自托管部署路径，可据此评估语音链路延迟预算。

7月30日周四
  1. Google DeepMind62

    Google DeepMind 在 Flow Music 发布 Lyria 3.5 音乐生成模型

    Google DeepMind 发布新一代音乐生成模型 Lyria 3.5，并在 Google Flow Music 中上线。官方称其在音乐性、歌词、人声和创作控制四方面均有提升：旋律结构更丰富自然，歌词质量与提示词遵循度、结构感知更好，人声更具表现力和情感且发音改进，同时可更便捷地控制输出节奏与时长。

    推荐理由：官方给出 Lyria 3.5 在旋律、歌词、人声与创作控制上的具体改进方向，可据此判断音乐生成能力的变化。

7月1日周三
  1. Hugging Face Blog62

    Hugging Face 与 Cerebras 将 Gemma 4 引入实时语音 AI

    Hugging Face 与 Cerebras 联合演示了一套实时语音到语音管线，将 Gemma 4 接入语音对话流程。该管线采用模块化开源架构：Nvidia Parakeet 做语音识别，Gemma 4 31B 在 Cerebras 上推理，阿里 Qwen3TTS 负责文本转语音，各层均可替换。

    推荐理由：演示给出可替换的语音到语音开源管线，读者可据此判断低延迟对话系统的搭建方式。

6月9日周二
4月30日周四
  1. Google DeepMind62

    Google DeepMind 发布 AI co-clinician 医疗 AI 研究计划

    Google DeepMind 宣布 AI co-clinician 研究计划，探索 AI 智能体在医生临床监督下协助患者诊疗。在 98 个真实初级保健查询的盲评中，该系统 97 例无关键错误，医生更偏好其回答而非主流证据合成工具；在 140 项问诊技能评估中，AI 在 68 项上与初级保健医生相当或更优，但专家医生在识别危险信号和指导关键体格检查上整体表现更好。

    推荐理由：Google DeepMind 公开 AI co-clinician 研究计划，给出医生端与患者端两套评测结果，可了解医疗 AI 当前能力边界。

4月28日周二
  1. Hugging Face Blog71

    NVIDIA 发布 Nemotron 3 Nano Omni 全模态模型

    NVIDIA 发布 Nemotron 3 Nano Omni，一款面向文档分析、多图推理、语音识别、长音视频理解和智能体电脑操作的全模态理解模型，在 MMlongbench-Doc、OCRBenchV2、WorldSense、DailyOmni、VoiceBench 等榜单上取得领先成绩。

    推荐理由：NVIDIA 开源的全模态模型，给出架构、训练配方与多榜单对比，可据此判断长文档与音视频智能体的选型空间。

4月16日周四
3月26日周四
  1. Google DeepMind74

    Google DeepMind 发布 Gemini 3.1 Flash Live 语音模型

    Google DeepMind 发布 Gemini 3.1 Flash Live，称其为目前质量最高的音频与语音模型，精度更高、延迟更低。该模型在 ComplexFuncBench Audio 上以 90.8% 领先上一代，在 Scale AI 的 Audio MultiChallenge 上开启 thinking 后得分为 36.1%。

    推荐理由：官方给出语音模型的基准分数与多产品接入路径，可据此判断语音智能体的可用性变化。

12月13日周六