跳到正文

#数据/训练

今日 0 条
7月26日周日
  1. Berkeley AI Research34

    Berkeley AI Research 提出 ABBEL:用信念状态监督 LLM 长程交互

    Berkeley AI Research 提出 ABBEL 框架,将 LLM 的摘要内容隔离为自然语言"信念状态"并加以监督,以解决递归摘要带来的性能损失。在 CollabBench 协作编程任务中,基于重构的信念评分将 ABBEL 与全上下文模型的性能差距缩小约 50%,训练步数从 100 降至 50,峰值 token 长度也显著低于全上下文。

7月22日周三
7月7日周二
  1. Berkeley AI Research38

    智能免费之后怎么办?面向智能体、由智能体运行、由智能体构建的数据系统

    伯克利 EPIC Data Lab 提出近零推理成本时代的三大数据系统挑战:为智能体设计(Data Systems For Agents)、运行智能体(Of Agents)、由智能体构建(By Agents)。GPT-4 级能力从 2023 年初约 $30/百万 token 降至如今不足 $1,部分厂商已低于 $0.10,推理价格年降幅 9x 至 900x、中位数约 50x。

7月6日周一
  1. Hugging Face Blog34

    PRX Part 4:我们的数据策略

    PRX 系列第四篇披露其数据策略:预训练数据由公开与内部数据集混合组成,用 VLM 重新生成图像长描述,再转为可流式训练的语料。团队用 Lance 做数据构建与筛选、MDS 做流式训练,并将文本编码器从 T5Gemma 换成 Qwen3-VL,改为训练中实时计算文本 latent,实测吞吐损失约 3–4%(30 天训练约多花 1 天)。

6月30日周二
6月25日周四
6月19日周五
  1. Hugging Face Blog48

    Hugging Face 提出 MosaicLeaks:深度研究智能体会泄露隐私吗?

    Hugging Face 发布 MosaicLeaks,用 1001 条多跳研究链评测深度研究智能体的隐私泄露风险,这些链交替穿插本地企业文档与公开网页信息。测试中智能体频繁泄露隐私,仅针对任务表现训练会加剧泄露;其提出的 PA-DR 强化学习方法将严格链成功率从 48.7% 提升至 58.7%,并把答案/全信息泄露率从 34.0% 降至 9.9%。

6月18日周四
6月11日周四
6月8日周一
  1. Google DeepMind62

    Google DeepMind 在塞拉利昂开展 AI 学习效果随机对照试验

    Google DeepMind 公布在塞拉利昂开展的预注册随机对照试验结果,使用 Guided Learning 的学生数学成绩比对照组提升 0.258 个标准差,约相当于八周内取得 1.2 至 1.7 年的常规学习进度;教师将 Gemini 融入约一半课程、达到 12 小时目标的班级增益更高,约为 1.8 至 2.5 年。

    推荐理由:Google DeepMind 在塞拉利昂的预注册随机对照试验给出了 AI 辅助教学的量化增益与使用行为数据,可了解其方法与局限。

6月3日周三
5月29日周五
5月20日周三
5月19日周二
5月16日周六
5月15日周五
5月12日周二
  1. Hugging Face Blog22

    AWS 基础模型训练与推理的构建模块:从预训练到推理的 OSS 栈与基础设施解析

    AWS 发布系列文章,解析其基础设施如何与开源软件栈配合支撑基础模型全生命周期。文章指出扩展已从单一预训练曲线演变为预训练、后训练与测试时计算三条路径,并梳理了 Slurm、Kubernetes、PyTorch、JAX、Prometheus、Grafana 等 OSS 工具的分层架构。

4月29日周三
  1. Hugging Face Blog62

    Granite 4.1 LLM 是如何构建的:IBM 披露五阶段预训练与多阶段 RL 细节

    IBM Granite 团队发布 Granite 4.1 系列稠密解码器 LLM(3B、8B、30B),基于约 15T token 的五阶段预训练流程,上下文窗口最长扩展至 512K token,并以 Apache 2.0 许可开源。

    推荐理由:Granite 4.1 完整披露五阶段预训练、SFT 与多阶段 RL 的数据配比和训练配置,可对照其 8B 稠密模型追平 32B MoE 的结论。

4月27日周一
4月22日周三
  1. Google DeepMind62

    Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构

    Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构,将大规模训练拆分为异步通信的计算孤岛,降低带宽需求并隔离硬件故障。该系统在四个美国区域用 2-5 Gbps 广域网络训练了 120 亿参数模型,速度比传统同步方法快 20 倍以上,并支持 TPU v6e 与 TPU v5p 等不同代际硬件混用。

    推荐理由:原文给出分布式训练在带宽、故障隔离和跨代硬件混用上的实测数据,可据此判断大规模预训练基础设施的演进方向。

4月21日周二
4月20日周一
  1. Berkeley AI Research38

    GRASP:面向世界模型的梯度规划器,让长时程规划更稳健

    伯克利 AI 研究团队提出梯度规划器 GRASP,通过将轨迹提升到虚拟状态实现跨时间并行优化、向状态迭代直接注入随机性以探索、并重塑梯度让动作获得清晰信号,从而让基于学习动力学(世界模型)的长时程规划变得可行。现代世界模型虽能预测高维视觉空间的长序列观测,但长时程规划仍因优化病态、非贪心结构导致的局部极小值和高维隐空间失效模式而脆弱。

4月16日周四
3月13日周五
3月9日周一
2月17日周二
1月10日周六
  1. Berkeley AI Research31

    伯克利提出信息驱动成像系统设计框架,登 NeurIPS 2025

    伯克利 AI 研究团队提出基于互信息的成像系统评估与优化框架,可直接从含噪测量中估计信息量,预测彩色摄影、射电天文、无透镜成像和显微镜四个领域的解码器性能。该方法在 NeurIPS 2025 论文中展示,优化信息量得到的设计可匹配 SOTA 端到端方法,同时所需内存和算力更少,且无需任务专用解码器设计。

12月10日周三
12月5日周五
  1. Google DeepMind38

    科学家用 AlphaFold 改造光合作用关键酶,培育耐热作物

    密歇根州立大学 Berkley Walker 团队借助 AlphaFold 预测植物与嗜热藻类的甘油酸激酶(GLYK)三维结构,发现植物 GLYK 的三个柔性环在高温下变形失稳。他们将植物 GLYK 的不稳定环替换为藻类来源的刚性环,构建的杂合酶中有一个在高达 65 °C 下仍保持稳定,为培育耐热作物铺路。

11月17日周一
11月11日周二
  1. Google DeepMind58

    Google DeepMind 在 Nature 发表研究:让 AI 视觉表征更接近人类

    Google DeepMind 在 Nature 发表新论文,分析 AI 视觉模型与人类在组织视觉世界方式上的差异,并提出一种三步对齐方法。该方法先用 THINGS 数据集训练一个冻结主模型的小型适配器作为教师模型,再生成包含百万张图像、数百万条类人判断的 AligNet 数据集,最后微调学生模型。

11月12日周二