Hugging Face 提出离线 Top-K Logits 与融合分块 KL 损失，大幅降低 LLM 知识蒸馏成本

Hugging Face 发布论文《Efficient Knowledge Distillation for LLMs: Offline Top-K Logits and a Fused Chunked KL Loss》，通过缓存教师模型 top-100 logits 并融合分块计算 KL 损失，将蒸馏峰值显存从约 250GB 降至约 128GB。