跳到正文
原文
Simon Willison·· 20 小时前AI 评分22

Qwen3.8 27B 用英文单词做加法的基准测试

Qwen3.8 27B addition in words

AI 导读

本地 Qwen3.8-27B-Q4_K_M.gguf 在禁用推理时用英文单词做加法仅得 23.57% 数值准确率,格式合规率 96.17%,但准确率从一至三位数的 97.04% 跌至十至十三位数的 6.44%。开启推理后,169 次单样本测试中答对 167 次。该实验在 DGX Spark 上复现了 GPT-4o 的同类测试。

来源:Simon Willison · simonwillison.net