AINews：GPT-6.1 Sol 与 Sonnet 5.5 重塑成本性能前沿
Latent Space 的 AINews 汇总 10 月 1 日至 2 日动态：OpenAI 发布 GPT-6.1 Sol，定价为每百万输入/输出 token 2 美元和 10 美元，据称在 DeepSWE v1.1 上比 GPT-6 Sol 高 6.4 分，在 AutomationBench 上比 Opus 5.5 高 2.2 分。
#评测/基准
#评测/基准
今日 0 条Latent SpaceAI 评分7070 The Verge · AIAI 评分5858 OpenAI 的 Dot 智能体上手体验：企业软件也能帮你订晚餐
The Verge 记者 Allison Johnson 实测 OpenAI 本周发布的智能体平台 Dots，它带有拟人化头像和可自定义名称，界面与 Meta Muse 类似，一个窗口对话、另一个窗口观看它在虚拟机上操作。
Hugging Face BlogAI 评分3838 Hugging Face 推出 Open TTS Leaderboard：面向多语言 TTS 与声音克隆的可扩展评测
Hugging Face 发布 Open TTS Leaderboard，用客观指标评测开源多语言 TTS 与声音克隆模型，单模型评测耗时从数周投票缩短到数小时。
Hugging Face BlogAI 评分3636 英国 AISI 采用 EvalEval 基础设施公开评测结果，提升可复现性
英国 AI Security Institute（AISI）正使用 EvalEval 的 Every Eval Ever schema 和 Evaluation Cards 平台公开分享评测结果，以提升评测科学的可复现性与可验证性。
Hugging Face Blog精选AI 评分6060 IBM Research 提出一致性指南，将 Agent 一致性差距从 24.4pp 降至 12.0pp
IBM Research 在 Hugging Face 博客介绍 ALTK-Evolve 新增的一致性指南，用于解决 Agent 重复执行同一任务时结果不稳定的问题。
推荐理由：材料给出 Pass^k 与 Mean@k 的差距数据，并说明一致性指南如何在不损失平均准确率的前提下缩小这一差距。
Hugging Face BlogAI 评分3030 Hugging Face 推出 BenchMIRT：审计 LLM benchmark 到底在测什么
Hugging Face 发布 BenchMIRT，一种在单条 prompt 层面审计 LLM benchmark 的多维 IRT 方法，可分离同一评测中混杂的不同能力信号。
Hugging Face BlogAI 评分4848 Hugging Face Open ASR Leaderboard 新增首个全球南方语言：印地语与印度英语评测集 Monsoon
Hugging Face 与 Voice Arena 合作，在 Open ASR Leaderboard 上新增 Monsoon en-IN 和 Monsoon hi-IN 两个评测集，印地语由此成为该多语言榜单上的首个印度语言。
Hugging Face Blog精选AI 评分6262 Hugging Face 研究量化语音识别中的基准优化现象
Hugging Face 发布研究，用共识分歧探针、掩蔽实体检索和拼写切换三项测试量化语音识别中的基准优化现象，评测了 11 个开源 ASR 模型。结果显示部分 WER 最低的模型会复现 VoxPopuli 和 LibriSpeech 参考转写中的错误，包括音频中被静音的数字，在 VoxPopuli 上复现错误参考的比例为 18–30%。
推荐理由：通过三类探针量化语音模型对基准的过拟合，并给出可复用的检测脚本与榜单入口。
Import AIAI 评分3232 Import AI 469：科学 AI、RSI 模拟器与扎克伯格的技术悲观主义
Import AI 第 469 期介绍了新基准 DiG-bench（Discovery in Games），包含 70 款规则与目标均隐藏、需靠交互探索发现的游戏，其中 21 款已公开。
Microsoft ResearchAI 评分3838 MindTopo 基准揭示多模态大模型的空间推理短板
Microsoft Research 推出 MindTopo 基准，用于评测多模态大模型在连通性、封闭性、顺序、分离与打结等拓扑概念上的推理与规划能力。测试显示，模型在静态图像识别上表现明显优于交互式规划任务，失败多发生在规划阶段而非感知阶段，且整体远低于人类水平。图像与视频生成仅在单帧关系可见时偶有帮助，跨序列操作时仍不可靠。
Hugging Face BlogAI 评分3838 ALTK-Evolve 对比 ACE：用更少 Token 实现更强的智能体记忆
Hugging Face 推出 ALTK-Evolve，与 ACE 同属无需权重更新的智能体记忆方案，区别在于交付方式：ACE 每步注入完整 playbook，ALTK-Evolve 按任务检索少量高支持度 guideline。
Import AIAI 评分3232 Import AI 468：23 条 RSI 政策建议、PostTrainBench+，以及信任与透明度如何影响 AI 竞赛
Import AI 第 468 期收录了智库 IFP 提出的 23 条政策建议，分属 7 个类别，用于帮助政策制定者应对 AI 研发进一步自动化的风险。MIT 与 Columbia 的论文《Racing to Ruin》分析双寡头 R&D 竞争，认为信任与透明度是竞争对手实现协调减速的两个关键变量。本期还介绍了 PostTrainBench+ 以及一篇关于智能机器与机器人身体的虚构短篇故事。
Microsoft Research精选AI 评分7272 微软研究院开源 Orchard：面向可扩展智能体 AI 的开放框架
微软研究院发布开源框架 Orchard，核心是 Kubernetes 环境服务 Orchard Env，可复用于软件工程、网页导航和个人助理等任务，并支持在 Codex、OpenClaw、ZeroClaw 等真实部署 harness 中直接训练智能体。
推荐理由：微软研究院开源 Orchard 框架，给出环境服务与三个领域训练配方，读者可据此了解小模型在真实 harness 中训练的具体路径。
Hugging Face BlogAI 评分2222 新模型涌现，DharmaOCR 仍凭巴西葡萄牙语专精保持优势
DharmaOCR 在巴西葡萄牙语 OCR 基准上以 0.925 分领先 Mistral OCR4 的 0.798 和 Unlimited-OCR 的 0.7587，尽管后两者发布更晚且资源雄厚。该模型经葡萄牙语监督微调与 DPO 两阶段训练，将全部参数集中于单一语言领域，从而在复杂文档提取质量和推理稳定性上保持结构性优势。
Hugging Face BlogAI 评分5050 Hugging Face 推出 Real World VoiceEQ：衡量语音 AI 的人类质量基准
Hugging Face 发布 Real World VoiceEQ 基准，用于评估语音 AI 的人类交互质量，覆盖 40 多个专有与开源语音模型、15+ 评估维度和 60+ 指标，涵盖 ASR、TTS、S2S 与语音理解。
Hugging Face BlogAI 评分4444 ScarfBench：面向企业级 Java 框架迁移的 AI 智能体基准测试
Hugging Face 发布 ScarfBench（Self-Contained Application Refactoring Benchmark），用于评估 AI 智能体在 Spring、Jakarta EE、Quarkus 之间的跨框架迁移能力，包含 34 个应用、102 个框架实现、204 个迁移任务和 1331 个专家测试。
Hugging Face BlogAI 评分3636 Hugging Face 模型页现已展示 Every Eval Ever 评测结果
Every Eval Ever（EEE）与 Hugging Face Community Evals 现已互通，评测结果可交叉发布并回链至完整 EEE 记录。EEE 数据存储已收录约 229,000 条评测结果，覆盖超 22,000 个模型和 2,200 个 benchmark，来自 31 种报告格式。
Hugging Face BlogAI 评分4747 Hugging Face 与 Treble Technologies 推出 FFASR 远场 ASR 基准榜单
Hugging Face 与 Treble Technologies 联合发布首个开放、社区驱动的远场 ASR 基准 FFASR Leaderboard，覆盖 14 个模拟房间，并设有 Lab Measured 与 Lab Simulated 两条 sim-to-real 验证赛道。
Hugging Face Blog精选AI 评分6262 Hugging Face 实测：LoRA 之外还有哪些更好的微调技术
Hugging Face 在 PEFT 库中加入统一条件的基准测试，比较 LoRA 与其他参数高效微调技术的表现。
推荐理由：Hugging Face 用统一条件对比多种 PEFT 技术，给出 LoRA 之外在精度与显存上的取舍参考。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 agent-eval：在自有工具上评测开源模型的智能体能力
Hugging Face 发布 agent-eval 评测工具，用 transformers 作为案例，衡量智能体完成任务的过程成本而非只看最终答案。该工具在 bare、clone、skill 三种层级下运行模型×版本×任务的组合，每个组合作为独立 Hugging Face Job 在相同硬件上并行执行，并记录 match %、时间、token 和错误率等指标。
推荐理由：Hugging Face 用自家 transformers 做案例，展示如何衡量智能体使用工具的过程成本而非只看最终答案。
Hugging Face BlogAI 评分3636 Hugging Face 为 Open ASR Leaderboard 引入私有数据集防刷榜
Hugging Face 与 Appen Inc.、DataoceanAI 合作，为 Open ASR Leaderboard 引入覆盖多口音、朗读与对话语音的高质量英文 ASR 私有数据集，以防刷榜和测试集污染。榜单默认平均 WER 仍只基于公开数据集计算，用户可通过开关选择是否纳入私有数据集。该榜单自 2023 年 9 月上线以来访问量已超 710K 次。
Hugging Face BlogAI 评分2222 QIMMA قِمّة：一个质量优先的阿拉伯语 LLM 排行榜
Hugging Face 发布 QIMMA قِمّة，一个在评测前先对基准做质量校验的阿拉伯语 LLM 排行榜，整合 14 个来源基准的 109 个子集、超 52,000 条样本，覆盖 7 大领域且 99% 为原生阿拉伯语内容。
Hugging Face BlogAI 评分3939 Hugging Face 发布 VAKRA：评测 AI 智能体推理、工具使用与失败模式
Hugging Face 推出 VAKRA，一个面向企业级环境的可执行基准，用于评测 AI 智能体的组合式推理与工具调用能力。该基准提供 8,000+ 本地托管 API、覆盖 62 个领域，任务需 3-7 步推理链，包含 API 链式调用、工具选择和多跳推理四类任务，模型整体表现不佳。博客还分析了不同任务上观察到的失败模式。
Google DeepMindAI 评分5050 Google DeepMind 发布 AGI 认知框架，并联合 Kaggle 举办评估黑客松
Google DeepMind 发布论文《Measuring Progress Toward AGI: A Cognitive Taxonomy》，提出用认知科学衡量 AGI 进展的框架，涵盖感知、生成、注意力、学习、记忆、推理、元认知、执行功能、问题解决和社会认知 10 项认知能力，并配套三阶段评估协议。
Google DeepMindAI 评分4242 Google DeepMind 与 Kaggle 推出 FACTS Benchmark Suite，系统评估大语言模型事实性
Google DeepMind 联合 Kaggle 发布 FACTS Benchmark Suite，在原有 FACTS Grounding 基础上新增 Parametric、Search、Multimodal 三项基准，并将 Grounding 升级至 v2，共 3,513 个公开样例，另设私有留出集，由 Kaggle 管理并维护公开排行榜。