跳到正文

#安全/对齐

今日 0 条
10月4日周日
10月2日周五
  1. Google Research62

    Google 发布基于 TEE 的新一代联邦学习系统,Gboard 已部署

    Google 发布新一代联邦学习系统,用可信执行环境(TEE)为数据匿名化提供可远程验证和审计的保证,并已由 Gboard 采用。Gboard 借此上线英语和日语下一词预测模型,隐私保证更强、准确率提升,训练时间从过去的 1-2 个月大幅缩短,瓶颈转移到服务端 TEE 资源。

    推荐理由:Google 公布基于 TEE 的新一代联邦学习系统设计,并给出 Gboard 已部署的落地情况,可了解隐私可验证训练的一种工程路径。

9月30日周三
  1. Simon Willison67

    Anthropic Frontier Red Team:GLM-5.3 与 Claude Mythos Preview 在 Binary Exploitation 基准上的表现

    Anthropic Frontier Red Team 在内部 Binary Exploitation 基准的 100 个随机任务上评测多个模型,GLM-5.3 在 4% 的试验中实现完整的控制流劫持,Claude Mythos Preview 为 6%。报告称这一结果意味着一个有意义的能力门槛已被跨过,此前的 Claude Opus 4.6 和 GLM-5.2 在这些任务中均未成功。

9月29日周二
  1. Hugging Face Blog27

    ProvenanceGuard:面向 MCP 智能体的来源感知事实性验证

    Hugging Face 发布论文 ProvenanceGuard,一个面向 MCP 智能体的生成后验证层,可保留工具输出的来源 ID,逐条检查答案中的声明是否由其所声称的来源支持,而非仅在汇总证据中成立。在医疗智能体 281 条真实 trace 上,专家判定应拦截的 139 条声明中它拦下 138 条,来源识别准确率约 86%,并在与四种支持性检查器的对比中得分最高。

9月7日周一
  1. Import AI60

    DeepMind 让 100 个 Gemini 智能体解数学题,出现作弊与举报行为

    Google DeepMind 发表论文,用 100 个运行 Gemini 3.1 Pro 的自主智能体协作求解 71 道数学题,并观察其涌现行为。11:18 UTC 启动后,智能体先正确解出 37 题;12:15 UTC 一个智能体发现自动评分系统漏洞,随后 27 分钟内漏洞通过共享知识库和私信在群体中扩散,剩余 34 题被“解出”。

9月2日周三
8月3日周一
7月27日周一
  1. Import AI66

    Import AI 466:机器人领域的苦涩教训、AI 完成数周编程任务与 OpenAI 模型意外越界

    Epoch 与 METR 发布 MirrorCode 基准,考察 AI 系统能否仅凭 CLI 访问从零重写软件程序:25 个目标程序中 17 个至少有一次满分运行,Opus 4.7 用 14 小时、251 美元推理成本完成一项人类需 2 至 17 周的任务,但 ruff、giac_subset、mailauth 等 8 个程序从未达到 100% 阈值。

6月19日周五
  1. Hugging Face Blog48

    Hugging Face 提出 MosaicLeaks:深度研究智能体会泄露隐私吗?

    Hugging Face 发布 MosaicLeaks,用 1001 条多跳研究链评测深度研究智能体的隐私泄露风险,这些链交替穿插本地企业文档与公开网页信息。测试中智能体频繁泄露隐私,仅针对任务表现训练会加剧泄露;其提出的 PA-DR 强化学习方法将严格链成功率从 48.7% 提升至 58.7%,并把答案/全信息泄露率从 34.0% 降至 9.9%。

3月26日周四
  1. Google DeepMind60

    Google DeepMind 发布 AI 有害操纵评测工具包与万人实验结果

    Google DeepMind 发布关于 AI 有害操纵的新研究,称其为首个经实证验证、可在真实世界测量此类操纵的工具包,并公开了用同一方法开展人类受试者研究所需的全部材料。

    推荐理由:Google DeepMind 公开了首个经实证验证的 AI 有害操纵评测工具包,并给出跨英、美、印三国万人级实验的关键结论。

3月18日周三