谷歌Gemini被曝视频造假 多模态视频是剪辑配音
DoNews12月8日消息，谷歌7日凌晨终于发布双子座 Gemini 大模型，声称 MMLU 多任务语言理解数据集测试，Gemini Ultra 不光超越 GPT-4，甚至超越了人类专家。
然而有眼尖的网友发现，在谷歌所给的图片中，MMLU 测试中，Gemini 结果下面灰色小字标称 CoT@32，展开来代表使用了思维链提示技巧、尝试了 32 次选最好结果。
而作为对比的 GPT-4，却是无提示词技巧给 5 个示例，这个标准下 Gemini Ultra 其实并不如 GPT-4。以及原图比例尺也有点不厚道了，90.0% 与人类基准 89.8% 明明只差一点，y 轴上却拉开很远。
HuggingFace 技术主管 Philipp Schmid 用技术报告中披露的数据修复了这张图，这样展示更公平恰当：
不仅如此，Gemini 在发布时，谷歌给出的一系列 Demo 中最令人眼花缭乱的部分是伪造的。
名为《Hands-on with Gemini: Interacting with multimodal AI》的视频现在的播放量已经有 140 万次，其中展示了谷歌认为自己「最喜欢的与 Gemini 的交互案例」，展示了多模态模型（即它理解并混合语言和视觉理解）如何灵活地响应各种输入。
但点击 YouTube 上的视频描述，可以发现 Google 有一个重要的免责声明：「为了演示的目的，已经减少延迟，为了简洁，Gemini 的输出也缩短了。」
也就是说，该视频并非原始输出，而是进行了剪辑和优化。随后，谷歌官博也放出了解释——是的，视频的确有后期制作和剪辑的成分。
据新智元报道，根据官方发布的一个技术文档，Gemini所有的这些交互都不是实时感知到的，而是通过提示词问出来的。但其实，真实的过程是，向Gemini上传一张手比剪刀的照片，问它看到了什么。然后用人声把它的回复读了出来。
而石头剪子布的视频，则是把三张照片依次传给Gemini，让它把这三张照片连在一起推理，它直接给出回答，这是在玩石头剪子布。
所以，实际上并不是Gemini看懂了一段视频，它只是看懂了三张图片，并且做出了推理而已。
同样，在识别行星的演示，视频给人营造的感觉仿佛是直接问Gemini「这个顺序正确吗」，它就能回答不正确，应该是太阳、地球、土星。
但实际上，是谷歌给了Gemini一句prompt：「这个顺序正确吗？请考虑它们与太阳的距离，并且解释你的理由」，随后，Gemini才回答了那样一句话。
很多网友也认为，谷歌这种有意地误导性呈现，反而让用户会怀疑，到底模型的真实能力有多强。毕竟，产品不能永远停留在宣传视频里，最终都要交到用户手上去体验。
这个视频最大的误导性在于，似乎让用户误以为Gemini能实时的读取视频信息，并且能够通过自己的理解直接推测用户的问题并直接回复。
而实际情况是，谷歌员工是通过读取图片+良好的提示词工程才能让Gemini生成这些回复的。