从 CUDA 到 MLX：K-Search 如何把数十年内核经验带到 Apple Silicon
IBM Research 基于 UC Berkeley Sky Lab 的 K-Search 进化式内核搜索框架，为 Apple Silicon 的 MLX 构建了后端和结构化 CUDA-to-MLX 翻译层，让现有 CUDA 内核作为知识库被自动适配为 Metal 内核。
推荐理由：原文给出 CUDA 到 MLX 的翻译层设计与两组内核实测数据，可了解跨硬件迁移优化知识的具体做法。
部署工程
全部主题把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
最新精选
第 21–39 条 · 共 39 条Berkeley AI Research精选AI 评分6262
Hugging Face Blog精选AI 评分6767 vLLM 的 transformers 建模后端实现原生推理速度
Hugging Face 宣布 vLLM 的 transformers 建模后端现在在许多 LLM 架构上达到甚至超过 vLLM 手写原生实现的吞吐。在 Qwen3-4B 单卡、Qwen3-32B 张量并行、Qwen3-235B-A22B-FP8 MoE 数据加专家并行三种配置下，该后端均追平或超过原生吞吐。
推荐理由：原文给出 transformers 后端在 vLLM 中达到原生速度的实测对比与单 flag 用法，读者可据此判断现有部署流程能否简化。
Hugging Face Blog精选AI 评分6262 Microsoft Foundry 上线 Hugging Face 模型托管计算
Microsoft 在 Build 2026 上宣布 Foundry Managed Compute 及 Hugging Face 模型集合，将开源权重模型一键部署到托管 GPU 平台。
推荐理由：原文给出了托管部署的策展流程与运行时选择，读者可据此判断开源模型进入企业生产环境的门槛变化。
Hugging Face Blog精选AI 评分6262 SkyPilot 与 Hugging Face 打通零出网费跨云存储
SkyPilot 与 Hugging Face 联合推出 store: hf 存储后端，可用一个 hf:// URL 和现有 HF_TOKEN 把 Hugging Face Bucket 或任意模型、数据集、Space 仓库挂载进 SkyPilot 任务，并在 20 多个云、Kubernetes、Slurm 和本地环境上运行。
推荐理由：原文给出跨云挂载 Hub 存储的具体配置与免出网费机制，读者可据此判断多云训练的数据成本变化。
Hugging Face Blog精选AI 评分6060 一条命令在 HF Jobs 上运行 vLLM 服务器
Hugging Face 发布教程，介绍用一条 hf jobs run 命令在 HF 基础设施上启动私有、兼容 OpenAI API 的 vLLM 推理端点，按秒计费，无需自行配置服务器或 Kubernetes。
推荐理由：原文给出了一条命令在 HF Jobs 上起 vLLM 服务的完整流程，读者可据此判断自托管推理的部署成本与适用场景。
Hugging Face Blog精选AI 评分6060 NVIDIA NeMo AutoModel 发布，MoE 微调吞吐提升 3.4-3.7 倍
NVIDIA 发布开源库 NeMo AutoModel，基于 HuggingFace Transformers v5 构建，在微调 MoE 模型时相比原生 v5 训练吞吐提升 3.4-3.7 倍、GPU 显存降低 29-32%，且只需改动一行 import。
推荐理由：原文给出 NeMo AutoModel 在 MoE 微调上的吞吐与显存对比数据，读者可据此判断升级成本与收益。
Hugging Face Blog精选AI 评分6262 Hugging Face 如何用 AI 与开源工具每周发布 huggingface_hub
Hugging Face 将 huggingface_hub 的发布周期从每 4 到 6 周一次改为每周一次，整套流程由单个 GitHub Actions 工作流驱动，使用 OpenCode 作为智能体运行时、GLM-5.2 等开放权重模型起草发布说明和 Slack 公告，模型经 HF Inference Providers 提供服务。
推荐理由：Hugging Face 公开了每周发版的完整工作流，其中模型起草加确定性校验再人工审核的循环可直接迁移到其他项目。
Hugging Face Blog精选AI 评分6262 如何用本地模型免费分诊 OpenClaw 仓库的 PR 和 issue
Hugging Face 博客分享了用本地模型分诊 OpenClaw 仓库 issue 和 PR 的实践：在 Pi agent harness 中运行 gemma-4-26b-a4b 和 qwen3.6-35b-a3b，配合只读的 reposhell 和 final_json 工具输出结构化分类标签。
推荐理由：作者用本地模型加受限 shell 做 PR 分类的完整实践，给出了可迁移的 agentic classification 配方与实测对比。
Google DeepMind精选AI 评分7171 Google DeepMind 发布 DiffusionGemma：文本生成最高提速 4 倍
Google DeepMind 发布实验性开源模型 DiffusionGemma，采用文本扩散方式并行生成整块文本，在专用 GPU 上推理最高提速 4 倍。该模型为 26B MoE 架构，推理时仅激活 3.8B 参数，量化后可放入 18GB 显存，单张 NVIDIA H100 上超过 1000 tokens/秒，RTX 5090 上超过 700 tokens/秒。
推荐理由：官方给出 26B MoE 文本扩散模型的开放权重与硬件实测数据，可据此判断本地低并发推理的取舍。
Hugging Face Blog精选AI 评分6060 如何把 GitHub CI 迁移到 Hugging Face Jobs
Hugging Face 介绍如何把 GitHub Actions 的 CI 任务迁移到 Hugging Face Jobs 上运行：保留 GitHub Actions 调度。
推荐理由：给出把 GitHub Actions 任务改跑在 Hugging Face Jobs 上的完整步骤与 Trackio 实测数据，可迁移到需要 GPU 的 CI 场景。
Hugging Face Blog精选AI 评分7171 H Company 发布 Holo3.1 系列 Computer Use Agent 模型
H Company 发布 Holo3.1 系列 Computer Use Agent 模型，基于 Qwen 家族，覆盖 0.8B、4B、9B 和 35B-A3B 四种规模，并首次提供 FP8、Q4 GGUF 和 NVFP4 量化权重。
推荐理由：原文给出 Holo3.1 在移动端、跨框架和本地量化部署上的具体提升，读者可据此判断端侧 Computer Use Agent 的落地条件。
Hugging Face Blog精选AI 评分6666 Hugging Face 在 TRL 中实现增量权重同步，单步传输从 1.2 GB 降到 20-35 MB
Hugging Face 在 TRL 中落地增量权重同步（Delta Weight Sync）：只把 RL 优化器步之间真正变化的 bf16 权重编码成稀疏 safetensors 文件，上传到 Hugging Face Bucket，再由 vLLM 拉取应用。
推荐理由：TRL 把稀疏增量权重同步做成了可 pip 安装的开源实现，读者可据此判断跨机房异步 RL 训练的成本门槛。
Hugging Face Blog精选AI 评分6262 Granite 4.1 LLM 是如何构建的：IBM 披露五阶段预训练与多阶段 RL 细节
IBM Granite 团队发布 Granite 4.1 系列稠密解码器 LLM（3B、8B、30B），基于约 15T token 的五阶段预训练流程，上下文窗口最长扩展至 512K token，并以 Apache 2.0 许可开源。
推荐理由：Granite 4.1 完整披露五阶段预训练、SFT 与多阶段 RL 的数据配比和训练配置，可对照其 8B 稠密模型追平 32B MoE 的结论。
Hugging Face Blog精选AI 评分6060 如何用 OpenAI Privacy Filter 构建可扩展 Web 应用
OpenAI 本周在 Hugging Face Hub 发布开源 PII 检测器 Privacy Filter，可在单次 128k 上下文前向传播中标注八类个人信息，模型为 1.5B 参数、50M 激活参数，Apache 2.0 许可，在 PII-Masking-300k 基准上达到 SOTA。
推荐理由：文章给出三个基于 Privacy Filter 的可运行应用与 gradio.Server 前后端分工模式，可迁移到其他模型部署场景。
Google DeepMind精选AI 评分6262 Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构
Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构，将大规模训练拆分为异步通信的计算孤岛，降低带宽需求并隔离硬件故障。该系统在四个美国区域用 2-5 Gbps 广域网络训练了 120 亿参数模型，速度比传统同步方法快 20 倍以上，并支持 TPU v6e 与 TPU v5p 等不同代际硬件混用。
推荐理由：原文给出分布式训练在带宽、故障隔离和跨代硬件混用上的实测数据，可据此判断大规模预训练基础设施的演进方向。
Hugging Face Blog精选AI 评分6262 Gradio 发布 gradio.Server，支持任意自定义前端接入其后端
Hugging Face 发布 gradio.Server，它扩展 FastAPI，让开发者用 React、Svelte 或纯 HTML/JS 等任意前端框架，同时复用 Gradio 的排队、并发控制、SSE 流式、MCP 支持和 Spaces 上的 ZeroGPU。
推荐理由：原文给出 gradio.Server 的完整后端示例，读者可据此判断自带前端与 Gradio 队列、ZeroGPU 如何配合。
Hugging Face Blog精选AI 评分6262 Gradio 的 gr.HTML 如何用单文件构建任意 Web 应用
Gradio 6 的 gr.HTML 现已支持自定义模板、作用域 CSS 和 JavaScript 交互，可让 LLM 一次性生成前端、后端和状态管理，全部写在一个 Python 文件里。
推荐理由：原文用单文件示例展示 gr.HTML 的模板与状态同步机制，读者可据此判断自定义组件能否替代前端构建流程。
Hugging Face Blog精选AI 评分7272 Transformers.js v4 发布：WebGPU 运行时用 C++ 重写，BERT 嵌入提速约 4 倍
Hugging Face 发布 Transformers.js v4，已上线 NPM，可通过 npm i @huggingface/transformers 安装。
推荐理由：Transformers.js v4 换用 C++ 重写的 WebGPU 运行时，并给出 BERT 嵌入约 4 倍加速等具体数据，可据此判断浏览器端推理的性能变化。
Google DeepMind精选AI 评分6262 Google DeepMind 发布 D4RT：统一 4D 场景重建与追踪模型
Google DeepMind 发布 D4RT（Dynamic 4D Reconstruction and Tracking），用单一编码器-解码器 Transformer 统一动态场景重建与追踪，通过查询机制回答某个像素在任意时间、任意相机视角下位于 3D 空间的何处。
推荐理由：官方给出 D4RT 的统一查询式架构与 18x 至 300x 提速数据，可据此判断 4D 重建在机器人与 AR 端侧落地的可行性。