Hugging Face Open ASR Leaderboard 新增首个全球南方语言:印地语与印度英语评测集 Monsoon
Hugging Face 与 Voice Arena 合作,在 Open ASR Leaderboard 上新增 Monsoon en-IN 和 Monsoon hi-IN 两个评测集,印地语由此成为该多语言榜单上的首个印度语言。
Hugging Face 与 Voice Arena 合作,在 Open ASR Leaderboard 上新增 Monsoon en-IN 和 Monsoon hi-IN 两个评测集,印地语由此成为该多语言榜单上的首个印度语言。
Hugging Face 发布研究,用共识分歧探针、掩蔽实体检索和拼写切换三项测试量化语音识别中的基准优化现象,评测了 11 个开源 ASR 模型。结果显示部分 WER 最低的模型会复现 VoxPopuli 和 LibriSpeech 参考转写中的错误,包括音频中被静音的数字,在 VoxPopuli 上复现错误参考的比例为 18–30%。
推荐理由:通过三类探针量化语音模型对基准的过拟合,并给出可复用的检测脚本与榜单入口。
Hugging Face 发布 Real World VoiceEQ 基准,用于评估语音 AI 的人类交互质量,覆盖 40 多个专有与开源语音模型、15+ 评估维度和 60+ 指标,涵盖 ASR、TTS、S2S 与语音理解。
Hugging Face 与 Treble Technologies 联合发布首个开放、社区驱动的远场 ASR 基准 FFASR Leaderboard,覆盖 14 个模拟房间,并设有 Lab Measured 与 Lab Simulated 两条 sim-to-real 验证赛道。
Google DeepMind 宣布 AI co-clinician 研究计划,探索 AI 智能体在医生临床监督下协助患者诊疗。在 98 个真实初级保健查询的盲评中,该系统 97 例无关键错误,医生更偏好其回答而非主流证据合成工具;在 140 项问诊技能评估中,AI 在 68 项上与初级保健医生相当或更优,但专家医生在识别危险信号和指导关键体格检查上整体表现更好。
推荐理由:Google DeepMind 公开 AI co-clinician 研究计划,给出医生端与患者端两套评测结果,可了解医疗 AI 当前能力边界。