Google DeepMind·· 2026-04-22精选AI 评分62
Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构
Decoupled DiLoCo: A new frontier for resilient, distributed AI training
AI 导读
Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构，将大规模训练拆分为异步通信的计算孤岛，降低带宽需求并隔离硬件故障。该系统在四个美国区域用 2-5 Gbps 广域网络训练了 120 亿参数模型，速度比传统同步方法快 20 倍以上，并支持 TPU v6e 与 TPU v5p 等不同代际硬件混用。
推荐理由
原文给出分布式训练在带宽、故障隔离和跨代硬件混用上的实测数据，可据此判断大规模预训练基础设施的演进方向。
来源：Google DeepMind · deepmind.google