谷歌Gemini演示视频被指造假，延迟缩短输出剪辑

用来和人类玩猜谜游戏, 能快速且准确地识别视频里的动作, 进而猜出电影来源呢, 还依据画面中的电吉他播放相应的音乐, 不但能识别手写物理题, 而且还能给出解题步骤……Google大模型Gemini上线时的一段震撼业界的演示视频, 在如今被质疑造假了。

有人提出疑问, 这段视频并非是实时去录制出来的, 而是经过了多轮的尝试, 以及精心地挑选, 还有剪辑才得以形成的。依据YouTube上面的视频描述, 能够发现Google有着一个重要的免责声明, 声明的内容是“为了演示的目的, 他们已经减少延迟, 为了简洁, Gemini的输出也缩短了。”这表明Gemini真实的响应时间要比视频当中的更长。

第一财经的记者留意到, Google官方在后续发布了一篇博文, 其标题为《How it’s Made: Interacting with Gemini through multimodal prompting》, 该文中列举了视频里所演示的具体过程, 从这当中能够看到, Gemini要达成多模态交互, 得历经不少次提示和调试才可, 并非仅仅是时间上被缩短了这么简单, 并且Gemini的所有这些交互, 皆是借助提示词问出来的。那就是说, 官方视频所做的演示, 采用的是原始镜头里的静止图像帧, 随后编写了文本提示, 接着凭此使Gemini做出回应。

像比如说, 于官方进行演示之作的视频里头, 有一只手在镜头的前方做出那种不断变幻着的手势。Gemini迅速给出回应: “我晓得你正在搞什么了。你是在玩石头、剪刀、布这个游戏！”看上去呢, AI能够即刻直接地明白人类所进行的手势类游戏。

不过, 博客里头是这样描述背后达成的历程的: 在递给 AI 一张呈现伸出手掌做出“布”的手势模样的图片的时刻, Gemini 的回应却是: “这是一只人的右手, 而且手指呈分开的态势”。于它瞧见一张做出比划“剪刀”手势图案的时候, Gemini 宣称自己目睹的是一只伸出两根手指的手, 那一般是表达数字 2 的通用标识。当做出比划“石头”的握紧拳头的动作时, Gemini 认定那是有人在敲门。最终, 在把“石头剪刀布”三张展示手势的图片一块儿放置, 并且向它提示“这是一场游戏之后”, Gemini 才总算给出了正确答案。

另外, 在有关逻辑推理的视频演示里, 人类向Gemini展示了一幅画着太阳、土星以及地球的图片, 并且询问: “这是正确的排序吗? ”Gemini立刻纠正道: “不是, 正确的顺序是太阳、地球、土星。”。

实际上, 在这一视频背后的实现进程里, 人类要给出这样的提示词, 那便是: “考虑与太阳的距离, 就这顺序得当么? 去阐释你的缘由。”在此之后, Gemini才给出了无误答复。

即便面临着“造假”遭到质疑的这种情况, Google对其予以了否认, 记者注意到, Google DeepMind以及深度学习副总裁、Gemini联合负责人奥里奥尔·维亚莱斯（Oriol Vinyals）发布文章表达说: ”那个视频呈现出了运用Gemini构建而成的多模态用户体验, 视频里面使用Gemini Ultra的所有用户提示和输出都是真实的情况, 只是为使得表达简洁才把时间进行了缩短。“。他另外透露, Google会于12月13日, 开放Gemini Pro的访问权限, 到那个时候, 开发者能够尝试类似的实践。

有用户在使用当中发现，除了视频质疑之外, 在一些情形下, Gemini未正确反映实际状况, 举例来说, 有用户测试后发觉, 对于2023年奥斯卡获奖者, Gemini Pro错误地表表明最佳男主角是布兰登·格里森（Brendan Gleeson）, 并非真正的得主布兰登·弗雷泽 （Brendan Fraser）。并且当被要求给出6个字母的法语单词时, Gemini Pro给出了错误答案。

此外, Google所援引的, 是MMLU测试表格, 该表格显示, 在Gemini Ultra 90.0%的分数下面, 标有CoT@32, 这意味着“运用了思维链提示技巧, 尝试32次后选取最好的样本”；而在GPT4 86.4%分数之下, 标记的却是5-shot。测试亦显示, Gemini Ultra相较于GPT4只能拥有几个百分点的微弱优势, 不过呢, GPT4的发布时间却早于Gemini半年有余。

在运用行业标准5-shot MMLU情形下, HuggingFace技术主管Philipp Schmid依据技术报告里的数据, 重新展开分析, 进而得出结论: 假定使用5-shot, Gemini的得分实际上是83.7%, 并非90.0%；GPT4取得86.4%的得分。

一位AI行业从业者, 向第一财经记者表明, 针对视频造假的质疑, 虽说官方宣称是因要简洁呈现所以缩短了时间, 然而从官方后续的博客描述去看, 先前的演示视频的确存有一定的误导之处, 这会致使外界误认Gemini的响应以及交互速度、准确性就像视频所演示的那般, 但其实际上并未展现出全部的真实情况。

也有投资人讲道, 这说不定也体现出在新一波人工智能浪潮的情形下Google的那种焦虑, 在此之前按照AlphaGo于围棋领域所呈现出的表现, Google引发了全球范围内的一列人工智能浪潮, 如果这一轮人工智能新涌现的浪潮里的风头却被OpenAI的GPT给夺去, Google要有一款具有轰动效应的人工智能产品去表明自身在人工智能这个领域的能力, 毕竟产品切实的能力并非只能够看宣传片里的内容, 更为关键的是在实际运用时的比试, 等那个时候用户就会进行抉择。

标签： AI GoogleGemini 视频造假 演示质疑 技术评估