Transformers 现已支持运行 llama.cpp 的 GGUF 量化模型
Hugging Face 为 transformers 加入 GGUF 支持，用户可从 Hub 选取量化 checkpoint，通过 from_pretrained 传入 gguf_file 在本地生成，无需额外配置。
推荐理由：Hugging Face 官方给出在 transformers 中直接加载 GGUF 的用法与性能对比，可据此判断本地推理工作流是否值得迁移。
千问 Qwen
全部主题阿里千问 Qwen 系列的开源发布与迭代：从旗舰模型到端侧小模型的全谱系动态。
2条精选相关主题DeepSeekKimi / 月之暗面开源生态
最新精选
第 1–2 条 · 共 2 条Hugging Face Blog精选AI 评分6262
Hugging Face Blog精选AI 评分6262 Hugging Face 研究量化语音识别中的基准优化现象
Hugging Face 发布研究，用共识分歧探针、掩蔽实体检索和拼写切换三项测试量化语音识别中的基准优化现象，评测了 11 个开源 ASR 模型。结果显示部分 WER 最低的模型会复现 VoxPopuli 和 LibriSpeech 参考转写中的错误，包括音频中被静音的数字，在 VoxPopuli 上复现错误参考的比例为 18–30%。
推荐理由：通过三类探针量化语音模型对基准的过拟合，并给出可复用的检测脚本与榜单入口。