跳到正文

#多模态

今日 0 条
10月4日周日
10月2日周五
  1. TechCrunch · AI58

    ChatGPT 上线虚拟试穿与收藏功能

    OpenAI 宣布在全球范围上线两项 ChatGPT 购物功能:虚拟试穿和收藏。用户可上传自拍或全身照,在购物结果中通过新的 Try On 按钮查看衣服或配饰的上身效果,也可上传网页截图等商品图片让 ChatGPT 试穿;收藏功能则把用户发现的产品保存到应用内的 Library,与试穿图片存放在一起。

10月1日周四
  1. Google DeepMind87

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向受信任的网络安全防御方开放,随后逐步扩展至开发者、企业和消费者。

    推荐理由:官方给出 Argon 在编码、企业知识与网络安全防御上的基准表现和分阶段开放路径,可据此判断前沿模型的能力边界与落地节奏。

9月29日周二
  1. AWS Machine Learning Blog22

    Condé Nast 如何用 Amazon Bedrock 构建多模态视频检索

    Condé Nast 联合 AWS 生成式 AI 创新中心,基于 Amazon Bedrock 和 Amazon OpenSearch Service 构建多模态视频检索方案,并选用 TwelveLabs Marengo 嵌入模型联合编码画面、音频与转录文本。该方案将单次内容检索耗时从 250 分钟降至 2 分钟以内,覆盖超 14 万条视频,支持自然语言意图搜索、以图搜视频和精确时间戳定位。

  2. Microsoft Research62

    微软研究院发布 Quine:面向生物学复杂性的 AI 研究系统

    微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由生物世界模型和连接模型、科学工具、文献与实验人员的交互式 harness 组成。该系统与 Broad Institute 合作用于胰腺导管腺癌研究,预测并优先排序数千种化合物,最高排名化合物在湿实验中产生了最大的经典态向基底态转变,从缩小搜索空间到选出候选验证仅用一个周末。

    推荐理由:微软研究院公开 Quine 的生物世界模型与实验闭环,并用胰腺癌化合物筛选案例说明其预测如何被湿实验验证。

9月25日周五
  1. Google Research66

    Google 研究发布 AI 视频联合导演框架,用多智能体实现长视频连贯生成

    Google Research 发布 AI video co-director 多智能体框架,作为编排层构建在 Gemini 和 Veo 之上,把长视频生成建模为全局优化与世界状态跟踪问题,以缓解语义漂移和级联失败。

    推荐理由:Google 把长视频生成拆成四个可复用的智能体框架,并给出多镜头一致性的基准与量化结果。

  2. Google DeepMind71

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在 Gemini 3.8 Live 的实时对话能力上加入低延迟流式视频,让模型能边听边看边说,并具备精准唇形同步、自然表情和流畅的轮流对话。

    推荐理由:官方给出 Live Avatar 的实时视频对话能力、异步工具调用与 97 种语言切换细节,可据此判断企业级多模态交互的落地形态。

9月24日周四
  1. Latent Space78

    Meta Connect 2026:Muse 智能体、眼镜硬件与 Charm 设备

    Meta 在 Connect 2026 上把 Muse 个人智能体作为硬件加智能体战略的核心,发布智能体功能与新眼镜,但只预告未发布新的前沿模型。Muse 新增语音与实时视频能力,可后台执行任务,并接入全部 Meta 眼镜、拥有独立邮箱地址,Mac 版支持 computer use,连接器平台覆盖 1500+ 应用。

    推荐理由:Meta Connect 2026 把个人智能体与自有硬件绑在一起,读者可据此看清 Muse 的能力边界与尚未发布的前沿模型。

9月23日周三
9月18日周五
9月3日周四
  1. Google DeepMind78

    Google DeepMind 发布 WeatherNext 3 全球天气 AI 模型

    Google DeepMind 与 Google Research 发布 WeatherNext 3,称其为目前最先进、最准确的全球天气模型,直接学习实时卫星观测数据,可每小时生成一次预报。

    推荐理由:原文给出分辨率、更新频率与降水精度等具体指标,读者可据此判断 AI 天气预报在 Google 产品中的落地程度。

9月2日周三
8月28日周五
8月13日周四
  1. Microsoft Research38

    MindTopo 基准揭示多模态大模型的空间推理短板

    Microsoft Research 推出 MindTopo 基准,用于评测多模态大模型在连通性、封闭性、顺序、分离与打结等拓扑概念上的推理与规划能力。测试显示,模型在静态图像识别上表现明显优于交互式规划任务,失败多发生在规划阶段而非感知阶段,且整体远低于人类水平。图像与视频生成仅在单帧关系可见时偶有帮助,跨序列操作时仍不可靠。

8月12日周三
  1. Google DeepMind74

    Google DeepMind 发布 SL2T 手语转文字模型,率先落地 Pixel 11 的 Gboard 与 Live Transcribe

    Google DeepMind 发布大规模多语言手语转文字模型 SL2T,并在 Pixel 11 的 Gboard 和 Live Transcribe 中上线手语听写功能,首批支持美国手语(ASL)转英文。

    推荐理由:官方给出 SL2T 的训练规模、基准分数与隐私设计,可据此判断手语转文字在消费级产品中的落地程度。

8月10日周一
7月30日周四
  1. Google DeepMind71

    Google DeepMind 发布 Gemini Robotics ER 2 具身推理模型

    Google DeepMind 发布 Gemini Robotics ER 2,这是其面向机器人的具身推理模型,可作为高层大脑与人类对话、理解物理世界并规划多步任务,再把动作执行交给底层 VLA 模型,同时支持原生调用 Google Search 等工具。

    推荐理由:官方给出视频理解、任务编排与多机协作的能力变化和开放入口,可据此判断机器人在真实环境中的任务完成方式。

7月28日周二
  1. Google DeepMind76

    Google DeepMind 发布 Gemini Robotics 2,为机器人带来全身智能

    Google DeepMind 发布 Gemini Robotics 2,包含三款模型:负责视觉-语言-动作的 Gemini Robotics 2、负责具身推理的 Gemini Robotics ER 2,以及可在设备本地运行的 Gemini Robotics On-Device 2。

    推荐理由:官方给出三款模型的职责分工与开放入口,读者可据此判断机器人全身控制与端侧适配的进展。

7月21日周二
7月16日周四
7月15日周三
  1. Hugging Face Blog88

    Thinking Machines 在 Hugging Face 发布 Inkling 多模态模型及 Inkling-Small

    Thinking Machines 在 Hugging Face 发布 Inkling,一个约 1T 参数、支持 1M 上下文、原生接收图像文本音频输入的开源多模态 MoE 模型,同时发布 276B 总参数 12B 激活的 Inkling-Small。

    推荐理由:原文给出 Inkling 的架构细节、部署配置与基准对比,读者可据此判断这个开源多模态模型的实际可用性。

7月1日周三
  1. Hugging Face Blog62

    Hugging Face 与 Cerebras 将 Gemma 4 引入实时语音 AI

    Hugging Face 与 Cerebras 联合演示了一套实时语音到语音管线,将 Gemma 4 接入语音对话流程。该管线采用模块化开源架构:Nvidia Parakeet 做语音识别,Gemma 4 31B 在 Cerebras 上推理,阿里 Qwen3TTS 负责文本转语音,各层均可替换。

    推荐理由:演示给出可替换的语音到语音开源管线,读者可据此判断低延迟对话系统的搭建方式。

6月22日周一
6月9日周二
  1. Hugging Face Blog62

    如何用两个 Hugging Face Space 让智能体搭出 3D 巴黎画廊

    作者让编码智能体调用两个 Hugging Face Space,先由 ideogram-ai/ideogram4 生成六张巴黎地标图像,再由 VAST-AI/TripoSplat 从单图重建 3D Gaussian splat,最终拼成可交互的静态 Space 画廊。

    推荐理由:作者用一次真实搭建演示了 Space 的 agents.md 如何让智能体串联图像与 3D 重建,可迁移到自己的多媒体流水线。

6月5日周五
5月18日周一
  1. Google DeepMind62

    Google DeepMind 为 Project Genie 加入 Street View 真实场景生成能力

    Google DeepMind 在实验性原型 Project Genie 中上线 Street View 真实影像锚定能力,用户可选取美国地点并搭配风格与角色描述,生成以真实地点为起点的可交互世界。

    推荐理由:原文给出 Genie 接入 Street View 真实影像后的世界生成方式与开放范围,读者可据此判断世界模型落地路径。

5月17日周日
  1. Google DeepMind70

    Google 将 SynthID 与 C2PA 内容验证扩展到搜索、Gemini 和 Chrome

    Google 宣布扩展内容透明度与验证工具,把 SynthID 的图像、视频和音频验证从 Gemini 应用扩展到搜索,并将在未来几周进入 Chrome;该验证功能在 Gemini 应用中已被使用 5000 万次。

    推荐理由:Google 把 SynthID 与 C2PA 验证铺到搜索、Gemini 和 Chrome,读者可据此了解内容溯源工具的落地范围。

5月16日周六
  1. Google DeepMind87

    Google DeepMind 发布 Gemini 3.5 Flash,主打智能体与编码

    Google DeepMind 发布 Gemini 3.5 系列首个模型 3.5 Flash,定位为面向智能体与编码的前沿模型,即日起在 Gemini app、Google Search 的 AI Mode、Google Antigravity、Gemini API 以及 Gemini Enterprise 等渠道上线。

    推荐理由:官方给出 3.5 Flash 在编码与智能体基准上的具体分数和 4 倍输出速度,可据此判断速度与质量是否还互相牵制。

4月30日周四
  1. Google DeepMind62

    Google DeepMind 发布 AI co-clinician 医疗 AI 研究计划

    Google DeepMind 宣布 AI co-clinician 研究计划,探索 AI 智能体在医生临床监督下协助患者诊疗。在 98 个真实初级保健查询的盲评中,该系统 97 例无关键错误,医生更偏好其回答而非主流证据合成工具;在 140 项问诊技能评估中,AI 在 68 项上与初级保健医生相当或更优,但专家医生在识别危险信号和指导关键体格检查上整体表现更好。

    推荐理由:Google DeepMind 公开 AI co-clinician 研究计划,给出医生端与患者端两套评测结果,可了解医疗 AI 当前能力边界。