Berkeley AI Research 提出 ABBEL:用信念状态监督 LLM 长程交互
Berkeley AI Research 提出 ABBEL 框架,将 LLM 的摘要内容隔离为自然语言"信念状态"并加以监督,以解决递归摘要带来的性能损失。在 CollabBench 协作编程任务中,基于重构的信念评分将 ABBEL 与全上下文模型的性能差距缩小约 50%,训练步数从 100 降至 50,峰值 token 长度也显著低于全上下文。
Berkeley AI Research 提出 ABBEL 框架,将 LLM 的摘要内容隔离为自然语言"信念状态"并加以监督,以解决递归摘要带来的性能损失。在 CollabBench 协作编程任务中,基于重构的信念评分将 ABBEL 与全上下文模型的性能差距缩小约 50%,训练步数从 100 降至 50,峰值 token 长度也显著低于全上下文。
Google 在 DOE Genesis Mission Summit 2026 上宣布投入 4000 万美元 AI tokens 和云 credits,支持 Genesis Mission 的研究人员。
伯克利 EPIC Data Lab 提出近零推理成本时代的三大数据系统挑战:为智能体设计(Data Systems For Agents)、运行智能体(Of Agents)、由智能体构建(By Agents)。GPT-4 级能力从 2023 年初约 $30/百万 token 降至如今不足 $1,部分厂商已低于 $0.10,推理价格年降幅 9x 至 900x、中位数约 50x。
PRX 系列第四篇披露其数据策略:预训练数据由公开与内部数据集混合组成,用 VLM 重新生成图像长描述,再转为可流式训练的语料。团队用 Lance 做数据构建与筛选、MDS 做流式训练,并将文本编码器从 T5Gemma 换成 Qwen3-VL,改为训练中实时计算文本 latent,实测吞吐损失约 3–4%(30 天训练约多花 1 天)。
Hugging Face 博客介绍 DiScoFormer(Density and Score Transformer),一个无需重训练、单次前向传播即可从数据点同时估计分布密度与 score 的模型。
NVIDIA 发布开源库 NeMo AutoModel,基于 HuggingFace Transformers v5 构建,在微调 MoE 模型时相比原生 v5 训练吞吐提升 3.4-3.7 倍、GPU 显存降低 29-32%,且只需改动一行 import。
推荐理由:原文给出 NeMo AutoModel 在 MoE 微调上的吞吐与显存对比数据,读者可据此判断升级成本与收益。
Hugging Face 发布 MosaicLeaks,用 1001 条多跳研究链评测深度研究智能体的隐私泄露风险,这些链交替穿插本地企业文档与公开网页信息。测试中智能体频繁泄露隐私,仅针对任务表现训练会加剧泄露;其提出的 PA-DR 强化学习方法将严格链成功率从 48.7% 提升至 58.7%,并把答案/全信息泄露率从 34.0% 降至 9.9%。
Hugging Face 在 PEFT 库中加入统一条件的基准测试,比较 LoRA 与其他参数高效微调技术的表现。
推荐理由:Hugging Face 用统一条件对比多种 PEFT 技术,给出 LoRA 之外在精度与显存上的取舍参考。
PyTorch 性能剖析系列第二部分将手写的 matmul-add 替换为 nn.Linear,并堆叠三层加激活函数构成 MLP 模块,在 NVIDIA A100-SXM4-80GB 上分析其 profiler trace。
Google DeepMind 公布在塞拉利昂开展的预注册随机对照试验结果,使用 Guided Learning 的学生数学成绩比对照组提升 0.258 个标准差,约相当于八周内取得 1.2 至 1.7 年的常规学习进度;教师将 Gemini 融入约一半课程、达到 12 小时目标的班级增益更高,约为 1.8 至 2.5 年。
推荐理由:Google DeepMind 在塞拉利昂的预注册随机对照试验给出了 AI 辅助教学的量化增益与使用行为数据,可了解其方法与局限。
DharmaOCR 团队将 Direct Preference Optimization(DPO)用于结构化 OCR 任务,把正确转录设为 chosen、退化循环设为 rejected,在 SFT 之后追加第二阶段训练,使所有测试模型家族的文本退化率平均下降 59.4%,最高降幅 87.6%(Nanonets-OCR2–3B 从 1.61% 降至 0.20%)。
Hugging Face 发布 PyTorch 性能分析系列教程第一篇,介绍如何用 torch.profiler 分析矩阵乘法与加法操作。教程基于 PyTorch 2.13 和 NVIDIA A100-SXM4-80GB,讲解 profiler 表格与 trace 的读法,以及从 Python 调用到 CUDA kernel 的完整链路,并演示加上 torch.compile 后的变化。
Hugging Face 发布 OlmoEarth v1.1,通过将 Sentinel-2 各分辨率合并为单一 token 缩短序列长度,在保持 v1 性能的同时将计算成本最多降低 3 倍。该系列包含 Base、Tiny 和 Nano 三种规模,权重与训练代码已开放,微调和推理速度显著提升,但技术报告也提到部分任务出现性能回退。
Google DeepMind 的 Co-Scientist 正被用于加速细胞衰老研究:它扫描数万篇论文后提出 20 多个新的候选遗传因子,实验室验证其中几个成功将细胞推向更年轻状态并改善整体功能。它还能结合文献分析大规模基因筛选数据,把原本长达六个月的分析缩短到几天。
Calico Life Sciences 的 Matt Onsum 与 Katherine Labbé 正使用 Google DeepMind 的 Co-Scientist 整合分散的衰老生物学发现并生成可验证假设。
爱丁堡大学团队用 Google Co-Scientist 研究 MASH 肝病,该系统整合肝生物学与药理学证据,提出 NLRP3 炎症小体是连接炎症与代谢的关键分子桥梁,该假设随后经实验验证。这一发现有望推动针对 MASH 的靶向双重疗法,并解释药物 resmetirom 为何仅对少数合格患者有效。
Google DeepMind 的 Co-Scientist 帮助 MIT 机械工程师 Ritu Raman 快速梳理 ALS 相关文献,将想法转化为可检验假设并按可行性与风险收益排序。
斯坦福大学医学院遗传学家 Gary Peltz 团队用 Google DeepMind 的 Co-Scientist 筛选抗肝纤维化药物,其提出的 3 个候选药物中有 2 个在活体人类肝细胞测试中阻断纤维化并促进肝细胞再生,而 Peltz 自己挑选的 2 个药物均无效。
Hugging Face 发布两款基于 ModernBERT 的 Apache 2.0 多语言嵌入模型:97M 参数的 granite-embedding-97m-multilingual-r2 在 MTEB Multilingual Retrieval 上得分 60.3。
AWS 发布系列文章,解析其基础设施如何与开源软件栈配合支撑基础模型全生命周期。文章指出扩展已从单一预训练曲线演变为预训练、后训练与测试时计算三条路径,并梳理了 Slurm、Kubernetes、PyTorch、JAX、Prometheus、Grafana 等 OSS 工具的分层架构。
IBM Granite 团队发布 Granite 4.1 系列稠密解码器 LLM(3B、8B、30B),基于约 15T token 的五阶段预训练流程,上下文窗口最长扩展至 512K token,并以 Apache 2.0 许可开源。
推荐理由:Granite 4.1 完整披露五阶段预训练、SFT 与多阶段 RL 的数据配比和训练配置,可对照其 8B 稠密模型追平 32B MoE 的结论。
Google DeepMind 宣布与韩国科学技术信息通信部(MSIT)建立合作,将在首尔办公室设立 AI Campus,向韩国学界开放 AlphaEvolve、AlphaGenome、AlphaFold、AI co-scientist 和 WeatherNext 等前沿模型。
Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构,将大规模训练拆分为异步通信的计算孤岛,降低带宽需求并隔离硬件故障。该系统在四个美国区域用 2-5 Gbps 广域网络训练了 120 亿参数模型,速度比传统同步方法快 20 倍以上,并支持 TPU v6e 与 TPU v5p 等不同代际硬件混用。
推荐理由:原文给出分布式训练在带宽、故障隔离和跨代硬件混用上的实测数据,可据此判断大规模预训练基础设施的演进方向。
Hugging Face 发布 QIMMA قِمّة,一个在评测前先对基准做质量校验的阿拉伯语 LLM 排行榜,整合 14 个来源基准的 109 个子集、超 52,000 条样本,覆盖 7 大领域且 99% 为原生阿拉伯语内容。
伯克利 AI 研究团队提出梯度规划器 GRASP,通过将轨迹提升到虚拟状态实现跨时间并行优化、向状态迭代直接注入随机性以探索、并重塑梯度让动作获得清晰信号,从而让基于学习动力学(世界模型)的长时程规划变得可行。现代世界模型虽能预测高维视觉空间的长序列观测,但长时程规划仍因优化病态、非贪心结构导致的局部极小值和高维隐空间失效模式而脆弱。
Hugging Face 发布 Ecom-RLVE,将 RLVE 框架从单轮推理题扩展到多轮、工具增强的电商对话,其 EcomRLVE-GYM 提供商品发现、替代品、购物车搭建、退货、订单追踪、政策问答、套装规划、多意图旅程 8 个可验证环境,每个环境含程序化出题、12 轴难度课程与算法可验证奖励。
Berkeley AI Research 提出 SPEX 与 ProxySPEX 算法,用于在大规模场景下识别 LLM 的关键交互。SPEX 利用稀疏性与低阶性将交互搜索转化为稀疏恢复问题,ProxySPEX 进一步利用层次结构,以约 10 倍更少的消融实验达到 SPEX 的性能。
Google DeepMind 回顾 AlphaGo 击败围棋世界冠军十周年,称其“第 37 手”证明了 AI 能超越模仿人类、发现全新策略。
Google DeepMind 宣布与印度政府机构及本地机构建立 National Partnerships for AI 合作,向印度研究人员开放 AlphaGenome、AI Co-scientist 和 Earth AI 等前沿科学模型。
伯克利 AI 研究团队提出基于互信息的成像系统评估与优化框架,可直接从含噪测量中估计信息量,预测彩色摄影、射电天文、无透镜成像和显微镜四个领域的解码器性能。该方法在 NeurIPS 2025 论文中展示,优化信息量得到的设计可匹配 SOTA 端到端方法,同时所需内存和算力更少,且无需任务专用解码器设计。
Google DeepMind 宣布深化与英国政府合作,向英国科学家优先开放 AlphaEvolve、AlphaGenome、AI co-scientist 和 WeatherNext 等 AI for Science 模型,并计划 2026 年在英国建立其首个自动化科学实验室,专注材料科学研究。
密歇根州立大学 Berkley Walker 团队借助 AlphaFold 预测植物与嗜热藻类的甘油酸激酶(GLYK)三维结构,发现植物 GLYK 的三个柔性环在高温下变形失稳。他们将植物 GLYK 的不稳定环替换为藻类来源的刚性环,构建的杂合酶中有一个在高达 65 °C 下仍保持稳定,为培育耐热作物铺路。
Google DeepMind 与 Google Research 发布天气预报模型 WeatherNext 2,称其生成预报速度提升 8 倍,分辨率最高可达 1 小时。
推荐理由:原文给出 WeatherNext 2 相比前代在变量覆盖和预报速度上的具体提升,以及数据与 API 的开放入口。
Google DeepMind 在 Nature 发表新论文,分析 AI 视觉模型与人类在组织视觉世界方式上的差异,并提出一种三步对齐方法。该方法先用 THINGS 数据集训练一个冻结主模型的小型适配器作为教师模型,再生成包含百万张图像、数百万条类人判断的 AligNet 数据集,最后微调学生模型。
Hugging Face Hub 支持托管 TB 级数据集,并提供 Dataset Viewer、全文搜索、排序、SQL Console 及 Pandas、Spark、DuckDB 等第三方库的一行代码加载能力。