IBM Research 提出一致性指南,将 Agent 一致性差距从 24.4pp 降至 12.0pp
IBM Research 在 Hugging Face 博客介绍 ALTK-Evolve 新增的一致性指南,用于解决 Agent 重复执行同一任务时结果不稳定的问题。
推荐理由:材料给出 Pass^k 与 Mean@k 的差距数据,并说明一致性指南如何在不损失平均准确率的前提下缩小这一差距。
模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。
IBM Research 在 Hugging Face 博客介绍 ALTK-Evolve 新增的一致性指南,用于解决 Agent 重复执行同一任务时结果不稳定的问题。
推荐理由:材料给出 Pass^k 与 Mean@k 的差距数据,并说明一致性指南如何在不损失平均准确率的前提下缩小这一差距。
Hugging Face 发布研究,用共识分歧探针、掩蔽实体检索和拼写切换三项测试量化语音识别中的基准优化现象,评测了 11 个开源 ASR 模型。结果显示部分 WER 最低的模型会复现 VoxPopuli 和 LibriSpeech 参考转写中的错误,包括音频中被静音的数字,在 VoxPopuli 上复现错误参考的比例为 18–30%。
推荐理由:通过三类探针量化语音模型对基准的过拟合,并给出可复用的检测脚本与榜单入口。
微软研究院发布开源框架 Orchard,核心是 Kubernetes 环境服务 Orchard Env,可复用于软件工程、网页导航和个人助理等任务,并支持在 Codex、OpenClaw、ZeroClaw 等真实部署 harness 中直接训练智能体。
推荐理由:微软研究院开源 Orchard 框架,给出环境服务与三个领域训练配方,读者可据此了解小模型在真实 harness 中训练的具体路径。
Hugging Face 在 PEFT 库中加入统一条件的基准测试,比较 LoRA 与其他参数高效微调技术的表现。
推荐理由:Hugging Face 用统一条件对比多种 PEFT 技术,给出 LoRA 之外在精度与显存上的取舍参考。
Hugging Face 发布 agent-eval 评测工具,用 transformers 作为案例,衡量智能体完成任务的过程成本而非只看最终答案。该工具在 bare、clone、skill 三种层级下运行模型×版本×任务的组合,每个组合作为独立 Hugging Face Job 在相同硬件上并行执行,并记录 match %、时间、token 和错误率等指标。
推荐理由:Hugging Face 用自家 transformers 做案例,展示如何衡量智能体使用工具的过程成本而非只看最终答案。