斯坦福两学生抄袭清华系大模型,是如何被发现的?对话打假者
创始人
2024-06-05 15:51:51
0

一则斯坦福大学Llama3-V团队抄袭清华系大模型的消息,近日在海内外引发热议。北京时间4日凌晨,该团队的两名成员Siddharth Sharma和Aksh Garg在社交媒体X上对这一学术不端行为公开致歉,并表示会将Llama3-V模型悉数撤下。

据悉,两人是斯坦福大学计算机科学专业的本科生,自称在团队中的角色是模型推广,而负责该项目代码编写的是毕业于南加利福尼亚大学Mustafa Aljadery。事发后,他们要求Mustafa提供原创性证明和训练代码,但未取得任何证据。

4日,南都记者尝试联系率先发现清华系模型被套壳的网友,他表示只是做了一名开源社区工作者应该做的事。此次Llama3-V的抄袭行为,“相当于把可口可乐换成可日可乐就说是自己的项目”。

针对此事,面壁智能CEO李大海也作出回应,称技术创新不易,呼吁共建开放、合作、有信任的社区环境。

用不到500美元训练出超越SOTA水平的大模型?

事情起源于5月29日,斯坦福大学AI团队发布Llama3-V开源模型,称它比当前开源SOTA视觉语言模型LLaVA的性能提高了10%-20%,不仅尺寸比GPT-4V小近100倍,而且性能比肩GPT-4V、Gemini Ultra与Claude Opus。

Llama3-V团队声称训练出一个超越SOTA(意为“最新技术”的最佳状态)水平的多模态大型模型,性能比肩多家。

更重要的是,该大模型的训练成本仅不到500美元。这一惊艳的成果,再加上三位作者出色的专业和技术研发背景,让Llama3-V一经发布就引发各方关注,并一度登上全球最大的开源大模型社区HuggingFace趋势榜第五位。

不过很快,质疑声便出现。6月2日下午,网友Magic Yang称发现了一个“令人震惊”的事实:Llama3-V项目中有大量疑似抄袭MiniCPM-Llama3-V 2.5的内容,同时晒出了多项Llama3-V涉嫌抄袭的证据。

比如在模型结构和配置文件上,二者高度雷同,只是变量名不同。Llama3-V的代码也几乎完全照抄MiniCPM-Llama3-V 2.5,仅做了一些重新格式化和变量重命名,包括但不限于图像切片、分词器、重采样器、数据加载等变量。

网友晒出Llama3-V涉嫌抄袭的证据。

GitHub项目信息显示,MiniCPM-Llama3-V2.5共有8B个参数,整体性能超越GPT-4V-1106、Gemini Pro、Qwen-VL-Max和Claude3等专有模型,配备了增强的OCR和指令跟踪能力,还可以支持英语、中文、法语等30多种语言的多模态对话。这款端测多模态开源模型,由清华大学自然语言处理实验室与面壁智能合作开发,于今年5月20日推出。

南都记者尝试联系这位揭露Llama3-V涉嫌抄袭的网友Magic Yang(知乎网名“社恐患者杨老师”),他向南都记者回顾了这场打假的过程。杨老师表示,最近正在帮助一名博士生做有关运动处方的项目,想选择一个质量较好的开源模型作为微调的基座。此前他曾测试了MiniCPM-Llama3-V2.5,因此对MiniCPM的模型架构和代码都相对熟悉。

后来他注意到,Llama3-V项目在HuggingFace上排名也非常靠前,且获得了相关博主推荐,于是想进一步做测试。但在这过程中,他发现二者在模型架构和代码上存在高度相似的情况,就此询问了Llama3-V作者。结果对方避重就轻,并不正面回应,随后更是将质疑帖子删除,且隐藏了MiniCPM-Llama3-V 2.5的项目主页。

这一系列的操作,令人生疑。6月2日下午,杨老师把所知的证据发到MiniCPM-V的Github项目主页,并提醒面壁智能团队关注。相关对话截图显示,Llama3-V项目作者最初否认抄袭,并称他们的项目开始时间更早,只是使用了MiniCPM-V2的分词器。

杨老师告诉南都记者,作为一个有大模型经验的开发者,发现(抄袭行为)不难,但要证实不易。此事最终一锤定音,还是因为面壁智能团队使用内部数据集“清华简”做了对比测试。

“连错的都一模一样”,确信是套壳

南都记者注意到,6月2日深夜,面壁智能团队证实了抄袭行为的存在。经核实,除了社区网友列出的证据外,还发现Llama3-V项目与MiniCP-Llama3-V 2.5一样,可以识别出“清华简”战国古文字,“不仅对的一模一样,连错的都一模一样”。

据面壁智能首席科学家、清华大学长聘副教授刘知远介绍,“清华简”的识别能力,是MiniCPM-Llama3-V 2.5研发时内置了一个彩蛋。这是该团队花费数月从清华简逐字扫描,人工标注而来的数据集,并未公开,由此“已经比较确信Llama3-V是对MiniCPM-Llama3-V2.5套壳。”

刘知远的回应。

针对此事,面壁智能CEO李大海也发文称,深表遗憾。“技术创新不易,好的成果希望被更多人关注和认可,但不是以这种方式。”李大海呼吁,大家共建开放、合作、有信任的社区环境。

刘知远也表示,人工智能的飞速发展离不开全球算法、数据与模型的开源共享,让人们始终可以站在SOTA(意为“最新技术”的最佳状态)的肩上持续前进。这次开源的MiniCPM-Llama3-V 2.5就用到了最新的Llama3作为语言模型基座。

“开源共享的基石是对开源协议的遵守,对其他贡献者的信任,对前人成果的尊重和致敬,Llama3-V团队无疑严重破坏了这一点。”同时他提到,Llama3-V团队的三位作者中,有两位是斯坦福大学本科生,未来还有很长的路,“如果知错能改,善莫大焉”。

北京时间4日凌晨,卷入此次风波的两名斯坦福大学本科生Siddharth Sharma和Aksh Garg在社交平台上解释,称该项目由三人发布,他们只在其中帮忙推广模型,负责代码编写的是Mustafa Aljadery。事发后,他们曾尝试联系Mustafa发布原创性声明,并提供训练代码,但到目前为止还未看到任何证据。在这份联合声明中,两人再次向原作者道歉,并称对未尽职尽责确保Llama3-V的独创性而感到失望,现已将所有对Llama3-V的引用都删除了。

两人联合发文道歉。

被推为主要责任方的Mustafa,是团队中唯一的全职成员。其本硕毕业于南加利福尼亚大学,主攻深度学习和数学,是一名软件工程师。截至目前,Mustafa尚未发声。

两名作者的解释,尚不能平息质疑。斯坦福人工智能实验室主任Christopher David Manning公开发文谴责这一抄袭行为,称两人借口推脱,是拒不认错的表现。

此番随着原创者也下场打假,这场大模型抄袭风波将暂告一段落。

采写:南都记者李玲 发自北京

相关内容

热门资讯

徐直军:华为AI战略的核心是算... 8月5日,昇腾计算产业发展峰会在北京召开。来自AI领军企业、伙伴、高校与科研机构的代表共同探讨了如何...
铂钯:介绍自然属性、地壳含量及... 【铂和钯:铂族金属中的主要贵金属】铂和钯呈银白色光泽,与铑、钌、锇、铱构成铂族金属,属于贵金属。实际...
格力电器获得发明专利授权:“压... 证券之星消息,根据天眼查APP数据显示格力电器(000651)新获得一项发明专利授权,专利名为“压缩...
百度智能云首推AI数字员工,重... 在近日举办的百度AI Day开放日上,百度智能云宣布了一项创新举措:推出全球首批AI数字员工。这批数...
山东海化获得发明专利授权:“一... 证券之星消息,根据天眼查APP数据显示山东海化(000822)新获得一项发明专利授权,专利名为“一种...
格力电器获得发明专利授权:“离... 证券之星消息,根据天眼查APP数据显示格力电器(000651)新获得一项发明专利授权,专利名为“离心...
进度超80%!第二艘国产大型邮... 本文转自【央视新闻客户端】; 主发电机正式发电 300多台设备达完工状态 记者从中船集团获悉,今天(...
科亿创电子取得一种连接器组合载... 金融界2025年8月5日消息,国家知识产权局信息显示,苏州科亿创电子科技有限公司取得一项名为“一种连...
拍短剧的风吹到了韩国 韩国短视频内容正深刻改变该国在线视频服务(OTT)平台的内容生态。据韩国《亚洲经济》3日报道,韩国在...
第三届先进成像与信息处理会议(... 先进成像技术带领人类拓展微观世界和宏观宇宙的认知边界,正逐步成为未来科学研究和产业升级的创新高地和战...
视觉系统赋能机械手:解锁机器人... 在现代化工厂的繁忙生产线中,机械臂的每一次精准抓取都离不开一项关键技术的革新——视觉引导抓取。这一技...
2025 年 6 款常用华为语... "要选2025年华为生态里好用的语音转文字工具,得先搞清楚这6款的真实表现——华为录音机、听脑AI、...
Q2全球平板出货量同比增长9%... 8月5号消息,根据Canalys的最新数据显示,2025年第二季度全球平板电脑出货量达到3900万台...
知识拓展有多重要?拓宽阅读、参... 知识拓展,实际上是一个不断探索未知领域、加深个人理解的过程;这个过程能让我们摆脱固有思维的局限,拓宽...
苹果的接班人不会是“第二个库克... 来源:最话FunTalk 萧规曹随没意义 文/何伊然 编辑/刘宇翔 2024年底,苹果离全球...
鑫合物联取得人工智能的移动装置... 金融界2025年8月5日消息,国家知识产权局信息显示,河南鑫合物联科技有限公司取得一项名为“一种人工...
“为南非制造业人才培养提供支撑... “看!‘冰墩墩’!”来自南非莫帕尼职业技术学院的青年教师穆卡瓦殊向记者展示她的作品,“虽然还不完美,...
贵州务川:夏秋茶借“村超”东风... 曾经大量废弃在贵州省遵义市务川仡佬族苗族自治县青山间的夏秋茶青,如今正通过智能化生产线蝶变为时尚饮品...
上海阿波罗申请耦合器液力控制方... 金融界2025年8月5日消息,国家知识产权局信息显示,上海阿波罗机械股份有限公司申请一项名为“一种耦...