一水 闻乐 发自 凹非寺

量子位 | 公众号 QbitAI

一次性揭秘Gemini多模态技术！

就在刚刚，Gemini模型行为产品负责人Ani Baddepudi在谷歌自家的开发者频道开启了爆料模式。

他和OpenAI前员工、现谷歌AI Studio产品负责人（Logan Kilpatrick，右）探讨了诸多众人好奇已久的问题：

• 为啥Gemini一开始就被设计为原生多模态？

• 将图像和视频转化为token时，是否会存在压缩损失或信息丢失？

• Gemini 2.5为何在视频理解方面表现出色？

• 多模态框架下，一个能力的提升是否会带动其他能力的整体提升？

• ……

一言以蔽之，整个谈话几乎都围绕着Gemini多模态展开，包括其背后设计理念、当前应用以及未来发展方向。

之所以这场谈话值得关注，实在是因为Gemini多模态过于响当当和重要了。

2023年12月，谷歌原生多模态Gemini 1.0模型正式上线，一举将AI竞赛由ChatGPT主导的文本领域带入多模态领域。

，不仅在代码、推理等任务上更上一层楼，而且还拿下视觉能力第一，可以说夯实了谷歌在多模态领域的领先地位。

此时回看Gemini当时的一些设计理念，会发现其前瞻性与创新性不仅为后续的发展奠定了坚实基础，而且对未来仍具有指导意义。

敲黑板，整场谈话干货满满，咱们这就开始~

为啥Gemini一开始就被设计为多模态？

一个智能体的世界如果只有文字，能读懂莎士比亚、能编写代码，甚至可以和你进行深入的哲学对话，但它看不到屏幕上跳动的图标、认不出厨房正在烹饪的食材、不能理解一幅画或者一段视频的意境。

这样的智能体完整吗？

谷歌的Gemini模型给出了一个响亮的答案：不，不完整。

而这，就是Gemini在诞生之初就被设计为多模态的根本原因。

访谈一开始，Logan Kilpatrick就问了这个根源性的问题：

为什么Gemini从一开始就被设计为多模态模型？

Ani Baddepudi强调，如果想要构建通用人工智能（AGI）和强大的AI系统，那么多模态的能力必不可少。

最初的目标是为了让模型能够像人类一样看世界，而视觉是人类感知世界的核心组成部分，许多领域（如医学、金融）的任务都有很大的视觉成分，因此多模态设计至关重要。

Gemini作为一个原生的多模态模型，这意味着它并非将不同的单一模态模型拼凑起来。

而是从零开始，将文本、图像、视频和音频等所有模态都转化为统一的“token表示”，并在这些信息上进行协同训练。

既然提到了信息“token化”，Logan Kilpatrick继续寻求爆料：

将图像、视频转化为token表示时，是否存在信息损失？模型是如何处理的？

在这个问题上，Ani Baddepudi承认，将图像、视频转化为token表示时会有一些固有的信息损失，如何使特征表示的损失更小是一个需要持续研究的问题。

但令人惊讶的是，模型看到足够多的图像和视频后，即使采样率较低，比如以每秒一帧（1FPS）的速度采样，模型依然能呈现良好的泛化能力。

Gemini 2.5在视频理解上“令人惊叹”

接下来Logan Kilpatrick还特意cue到了Gemini 2.5系列模型。

在他之前的一篇推文中，Gemini 2.5 Pro在视频理解方面的SOTA成绩令人印象深刻。

而对于这一亮点，Ani Baddepudi也补充了更多细节。

不过在展开前，他也再次感叹：

Gemini 2.5在视频理解方面相当令人惊叹!

第一，它解决了之前模型在鲁棒性方面的问题。

举个例子，之前给模型输入1小时视频，通常它只会关注前5~10分钟，然后对视频其余部分的关注就逐渐减弱，所以团队针对长上下文视频进行了改进。

第二，它意味着，团队将核心视觉能力的改进泛化到了视频。

简单而言，Gemini 2.5真正解锁了视频作为信息媒介的能力，能够完成将视频转换为代码（如食谱、讲座笔记）等非常实用的任务。

第三，它让团队看到了多模态能力的正向迁移以及多项视觉能力整合。

Ani Baddepudi表示，拥有一个单一多模态模型的好处在于，能够看到大量的积极能力迁移。

就拿Gemini 2.5“视频转代码”功能来说，这其实是因为模型在代码处理能力方面本身就更强大。

其次，过去需要独立模型处理的OCR、检测、分割等能力，现在都整合进了Gemini中，从而带来了许多新的用例。

例如转录视频时，既需要强大的OCR能力，也需要强大的时间理解能力，才能让模型理解视频中发生了什么然后进行转录。

还包括让Ani Baddepudi等人感到兴奋的一个用例——结对程序员，即通过流式传输IDE视频，然后询问代码库问题。这需要模型具备强大的编码、核心视觉（空间理解、OCR）以及对视频中信息随时间变化的理解能力。

总之，按照Ani Baddepudi的说法，Gemini是少数能够进行视频输入和最先进视频理解的基础模型之一。

当然，这背后也离不开一些关键技术。

据Ani Baddepudi透露，要让Gemini理解视频，它需要同时理解音频和视觉部分。

这是一个相当棘手的问题，因为你需要这些东西对齐。

目前的解决方案是，在视频的每个给定时间块（或小片段）内，将该时间块的音频信息和与该音频对应的视频帧（即图像）交错在一起进行处理。

所谓“交错”是指，将同时发生的音频和视觉信息捆绑或混合起来，供模型共同学习和理解。

这一方法在泛化方面非常出色，能让模型很好地理解视频，表现非常自然。

此外，尽管当前主要以1FPS（每秒帧数）采样进行训练，但通过更高效的token化方式（每帧用64个token表示，而非之前的256个），模型能够在较低细节下实现令人惊讶的高性能。

通过这一方式，Gemini现在可以处理长达6小时的视频，拥有200万上下文token。

而且Ani Baddepudi表示，团队正在努力支持更高帧率的视频理解，以应对如高尔夫挥杆分析、舞蹈动作评判等需要更精细时间细节的用例。

“万物皆视觉”的产品理念

Ani Baddepudi还提到了Gemini“万物皆视觉”的产品理念。

他将视觉用例分为三类，这些分类指导着产品开发的方向。

第一种是现有模型能做到的。

第二种是人类专家能够做到的。

比如文档分析、内容整理与视频理解与推理等，这些任务通过Gemini的视觉能力能够更高效、无损地完成。

第三种是超越人类或在可行时间内无法完成的任务。

比如将讲座视频转换为可交互式学习的应用程序、在烹饪时主动提醒何时加入食材。

再比如，当你在城市中行走时，可以通过视觉向Gemini提问关于周围事物的问题，而不需要费力地将问题转化为文本。

这就需要模型不仅能够看到屏幕上的内容，还能看到真实的物理世界。

关于未来产品的体验，Ani Baddepudi给出了极具吸引力的回答：

想象你有一个专家人类在你的肩膀上，看到你所能看到的一切，并帮助你完成事情。

聊天最后， Ani Baddepudi分享了Gemini多模态团队的协作方式和工作重心。

在他看来，要想实现多模态能力，这离不开一支庞大的研究队伍。

多模态之所以令人惊叹，是因为它拥有如此多的能力，而要实现这些能力，一个非常困难的问题是需要将这些能力整合到一个单一模型中，并确保每种能力都能表现出色。

就是说，每整合一种能力都需要相关方向的大量人才。

然后，他进一步解释了团队如何将研究转化为产品。

首先，团队深入思考开发者和消费者将如何使用这些视觉能力，并努力将这种直觉融入到模型中，形成了紧密的产品-模型反馈循环。

一年后、两年后、五年后人们将如何与这些模型互动？

因为在Ani Baddepudi看来，今天开发的许多能力都是构建未来愿景的基石。

而且他认为接下来的重点是，如何让这些模型感觉更自然、更具交互性。

目前许多AI产品都是“回合制”系统（即你查询模型，它返回答案，然后你再次查询），这感觉“不自然”且“有点过时”。

至于具体如何实现，Ani Baddepudi从模型行为角度出发归纳了以下几点：

• 赋予模型同理心（empathy）；

• 让模型不仅能够理解用户，还要能理解用户的隐含意图；

• 在平衡Gemini现有强大原生能力的同时，赋予模型“个性”（personality）。

同时他还提到，鉴于目前许多AI用例只返回大量文本，他正在思考是否能用有趣的视觉形式来以更信息密集或“高热量”（high-calorie）的方式传达信息。

这也许是让Gemini变得“友好”且“易于交流”的关键突破点。

参考链接：

[1]https://www.youtube.com/watch?v=K4vXvaRV0dw