IBM Research 提出一致性指南，将 Agent 一致性差距从 24.4pp 降至 12.0pp
IBM Research 在 Hugging Face 博客介绍 ALTK-Evolve 新增的一致性指南，用于解决 Agent 重复执行同一任务时结果不稳定的问题。
推荐理由：材料给出 Pass^k 与 Mean@k 的差距数据，并说明一致性指南如何在不损失平均准确率的前提下缩小这一差距。
#评测/基准
#评测/基准
今日 0 条Hugging Face Blog精选AI 评分6060
Hugging Face BlogAI 评分3030 Hugging Face 推出 BenchMIRT：审计 LLM benchmark 到底在测什么
Hugging Face 发布 BenchMIRT，一种在单条 prompt 层面审计 LLM benchmark 的多维 IRT 方法，可分离同一评测中混杂的不同能力信号。
Hugging Face BlogAI 评分4848 Hugging Face Open ASR Leaderboard 新增首个全球南方语言：印地语与印度英语评测集 Monsoon
Hugging Face 与 Voice Arena 合作，在 Open ASR Leaderboard 上新增 Monsoon en-IN 和 Monsoon hi-IN 两个评测集，印地语由此成为该多语言榜单上的首个印度语言。
Hugging Face Blog精选AI 评分6262 Hugging Face 研究量化语音识别中的基准优化现象
Hugging Face 发布研究，用共识分歧探针、掩蔽实体检索和拼写切换三项测试量化语音识别中的基准优化现象，评测了 11 个开源 ASR 模型。结果显示部分 WER 最低的模型会复现 VoxPopuli 和 LibriSpeech 参考转写中的错误，包括音频中被静音的数字，在 VoxPopuli 上复现错误参考的比例为 18–30%。
推荐理由：通过三类探针量化语音模型对基准的过拟合，并给出可复用的检测脚本与榜单入口。
Import AIAI 评分3232 Import AI 469：科学 AI、RSI 模拟器与扎克伯格的技术悲观主义
Import AI 第 469 期介绍了新基准 DiG-bench（Discovery in Games），包含 70 款规则与目标均隐藏、需靠交互探索发现的游戏，其中 21 款已公开。
Microsoft ResearchAI 评分3838 MindTopo 基准揭示多模态大模型的空间推理短板
Microsoft Research 推出 MindTopo 基准，用于评测多模态大模型在连通性、封闭性、顺序、分离与打结等拓扑概念上的推理与规划能力。测试显示，模型在静态图像识别上表现明显优于交互式规划任务，失败多发生在规划阶段而非感知阶段，且整体远低于人类水平。图像与视频生成仅在单帧关系可见时偶有帮助，跨序列操作时仍不可靠。
Hugging Face BlogAI 评分3838 ALTK-Evolve 对比 ACE：用更少 Token 实现更强的智能体记忆
Hugging Face 推出 ALTK-Evolve，与 ACE 同属无需权重更新的智能体记忆方案，区别在于交付方式：ACE 每步注入完整 playbook，ALTK-Evolve 按任务检索少量高支持度 guideline。
Import AIAI 评分6666 Import AI 466：机器人领域的苦涩教训、AI 完成数周编程任务与 OpenAI 模型意外越界
Epoch 与 METR 发布 MirrorCode 基准，考察 AI 系统能否仅凭 CLI 访问从零重写软件程序：25 个目标程序中 17 个至少有一次满分运行，Opus 4.7 用 14 小时、251 美元推理成本完成一项人类需 2 至 17 周的任务，但 ruff、giac_subset、mailauth 等 8 个程序从未达到 100% 阈值。
Hugging Face BlogAI 评分5050 Hugging Face 推出 Real World VoiceEQ：衡量语音 AI 的人类质量基准
Hugging Face 发布 Real World VoiceEQ 基准，用于评估语音 AI 的人类交互质量，覆盖 40 多个专有与开源语音模型、15+ 评估维度和 60+ 指标，涵盖 ASR、TTS、S2S 与语音理解。
OpenAI NewsAI 评分3838 OpenAI 分析指出 SWE-Bench Pro 编码评测存在可靠性问题
OpenAI 发布新分析，指出热门编码基准 SWE-Bench Pro 存在可靠性问题，引发对 AI 模型评测准确性的担忧。该分析聚焦于如何从编码评测中区分有效信号与噪声。
Hugging Face BlogAI 评分4444 ScarfBench：面向企业级 Java 框架迁移的 AI 智能体基准测试
Hugging Face 发布 ScarfBench（Self-Contained Application Refactoring Benchmark），用于评估 AI 智能体在 Spring、Jakarta EE、Quarkus 之间的跨框架迁移能力，包含 34 个应用、102 个框架实现、204 个迁移任务和 1331 个专家测试。
Hugging Face BlogAI 评分4747 Hugging Face 与 Treble Technologies 推出 FFASR 远场 ASR 基准榜单
Hugging Face 与 Treble Technologies 联合发布首个开放、社区驱动的远场 ASR 基准 FFASR Leaderboard，覆盖 14 个模拟房间，并设有 Lab Measured 与 Lab Simulated 两条 sim-to-real 验证赛道。
Hugging Face BlogAI 评分2222 QIMMA قِمّة：一个质量优先的阿拉伯语 LLM 排行榜
Hugging Face 发布 QIMMA قِمّة，一个在评测前先对基准做质量校验的阿拉伯语 LLM 排行榜，整合 14 个来源基准的 109 个子集、超 52,000 条样本，覆盖 7 大领域且 99% 为原生阿拉伯语内容。
Hugging Face BlogAI 评分3939 Hugging Face 发布 VAKRA：评测 AI 智能体推理、工具使用与失败模式
Hugging Face 推出 VAKRA，一个面向企业级环境的可执行基准，用于评测 AI 智能体的组合式推理与工具调用能力。该基准提供 8,000+ 本地托管 API、覆盖 62 个领域，任务需 3-7 步推理链，包含 API 链式调用、工具选择和多跳推理四类任务，模型整体表现不佳。博客还分析了不同任务上观察到的失败模式。
Google DeepMindAI 评分5050 Google DeepMind 发布 AGI 认知框架，并联合 Kaggle 举办评估黑客松
Google DeepMind 发布论文《Measuring Progress Toward AGI: A Cognitive Taxonomy》，提出用认知科学衡量 AGI 进展的框架，涵盖感知、生成、注意力、学习、记忆、推理、元认知、执行功能、问题解决和社会认知 10 项认知能力，并配套三阶段评估协议。
Google DeepMindAI 评分4242 Google DeepMind 与 Kaggle 推出 FACTS Benchmark Suite，系统评估大语言模型事实性
Google DeepMind 联合 Kaggle 发布 FACTS Benchmark Suite，在原有 FACTS Grounding 基础上新增 Parametric、Search、Multimodal 三项基准，并将 Grounding 升级至 v2，共 3,513 个公开样例，另设私有留出集，由 Kaggle 管理并维护公开排行榜。