跳到正文
原文
Hugging Face Blog·· 2026-04-29精选AI 评分62

Granite 4.1 LLM 是如何构建的:IBM 披露五阶段预训练与多阶段 RL 细节

Granite 4.1 LLMs: How They’re Built

AI 导读

IBM Granite 团队发布 Granite 4.1 系列稠密解码器 LLM(3B、8B、30B),基于约 15T token 的五阶段预训练流程,上下文窗口最长扩展至 512K token,并以 Apache 2.0 许可开源。

推荐理由

Granite 4.1 完整披露五阶段预训练、SFT 与多阶段 RL 的数据配比和训练配置,可对照其 8B 稠密模型追平 32B MoE 的结论。

来源:Hugging Face Blog · huggingface.co