“AI教父”本吉奥计划开发新型系统防范人工智能失控
创始人
2025-06-04 16:00:49
0

界面新闻记者 | 宋佳楠

当地时间6月3日,被誉为“AI教父”的图灵奖得主约书亚·本吉奥(Yoshua Bengio)宣布成立非营利组织LawZero,计划开发一种名为“科学家AI”(Scientist AI)的新型人工智能系统,旨在应对当前AI发展带来的安全与伦理挑战。

LawZero获得了约3000万美元的初始资金支持,资助方包括未来生命研究所(Future of Life Institute)、Skype联合创始人贾恩·塔林(Jaan Tallinn)以及谷歌前CEO施密特创立的科学研究所(Schmidt Sciences)等。该组织的核心使命是开发“诚实”的AI系统,以应对当前AI模型可能出现的欺骗、自我保护和不服从关机指令等行为。

相比于OpenAI的有限营利模式,LawZero更强调独立性,拒绝商业资本干预,确保研究不受产品路线图影响,能够专注于AI安全的纯粹研究和技术开发。

“科学家AI”系统的设计理念与当前主流的生成式AI模型不同。它并不追求模仿人类行为或最大化奖励,而是通过“贝叶斯推理”(用新信息修正原来的想法)提供对世界的解释和预测,强调对不确定性的认识和透明的推理过程。

本吉奥指出,这种系统将像一位心理学家一样,能够识别和预测自主AI系统可能导致的有害行为,并在必要时阻止这些行为的发生。

作为AI领域的先驱,本吉奥因在深度神经网络、生成模型、无监督学习及反向传播算法等方面有开创性贡献而闻名。长期以来,他一直对AI的发展方向表示担忧,尤其是关于AI系统可能出现的欺骗行为和自我保护倾向。

在他看来,当前AI行业过于注重能力的提升,而忽视了安全研究的重要性,警告这种趋势可能导致灾难性的后果,包括人类对AI系统失去控制。

在技术层面,本吉奥强调需要开发能够在通用人工智能(AGI)或超级人工智能(ASI)阶段仍然有效的安全技术,包括对危险能力的评估、检测和缓解,以及设计可控且保证安全的AI系统。

本吉奥还指出,当前AI系统的训练方法可能存在问题,尤其是强化学习等方法可能导致目标设定错误和泛化能力不足。他提倡开发不具备自主行动能力的AI系统,专注于提供可靠的世界解释和预测,以减少潜在的风险。

对未来AI世界风险表示忧虑的不只本吉奥。此前特斯拉CEO埃隆·马斯克也曾预测,到2029年,人工智能将超越人类智慧总和,并且有20%的概率导致文明灭绝。同为图灵奖得主的杰弗里·辛顿(Geoffrey Hinton)也曾将AI导致人类灭绝的风险预测从此前的10%上升到 “10%-20%” 之间。

也因此,本吉奥希望通过上述项目引发全球范围内对AI安全问题的关注,以确保AI技术的发展不会对人类构成威胁。

相关内容

热门资讯

保定市莲池区:赋能企业“一站式... 近日,河北保定莲池区企业服务中心以“联e企”服务品牌为核心,打造“联e惠”“联e安”“联e通”“联e...
FPGA创新40周年:可编程硬... 从概念到现实:FPGA的40年创新之路 1985年,当赛灵思公司推出全球首款商用FPGA芯片XC2...
2025低空智联网环境下的安全... 今日分享:2025低空智联网环境下的安全管控技术与应用报告 公众号『智云研报』 报告共148页 导读...
Meta重组人工智能团队架构 ... Meta对生成式人工智能团队实施战略性重组。据内部备忘录显示,原统一管理的AI团队将拆分为两个独立部...
原创 中... 中国固态电池技术突围:6分钟极速补能,千公里续航改写产业规则 固态电池量产浪潮席卷全球,中国力量正以...
微软CEO:与OpenAI的关... 财联社6月5日讯(编辑 赵昊)科技巨头微软公司的首席执行官萨提亚·纳德拉(Satya Nadella...
果糖是哪种糖,是水果里的糖吗? 果糖是一种有机化合物,化学式为C6H12O6,属于六碳糖类,是蔗糖的组成物质之一。它是一种单糖,和葡...
小米汽车高阶驾驶培训启航,北京... 小米汽车近日揭晓了一项令人期待的驾驶培训计划细节,宣布其精英驾驶高阶课程的首站——北京站,即将于明日...
原创 特... 2025年6月这几天,美国科技圈和政治圈热闹炸了!马斯克和特朗普在社交平台上你来我往,直接把Spac...
原创 2... 曾被视为“低端代名词”的千元机,2025年已迎来技术普惠的爆发期。旗舰芯片下放、IP68防水普及、百...
国际首次!我国科学家合成新核素... 记者6月5日从中国科学院近代物理研究所获悉,该所研究团队与合作者利用中国超重元素研究加速器装置(CA...
领先苹果iPhone 17 A... 快科技6月5日消息,今年苹果将推出全新的iPhone 17 Air机型,是一款主打超轻薄的产品,厚度...
原创 不... 在全球科技格局激烈演变之际,中美技术博弈已进入白热化阶段。美国持续加码技术围堵,而中国“不接受任何谈...
原创 小... 以前,智能手机出现大的价格波动,很多消费者就会认为保值率低,但是在618这种大促活动中,消费者还是很...
四川:前瞻布局光解水制氢、核能... 四川省经济和信息化厅印发《四川省氢能产业中长期发展规划》,其中提出,加快关键技术创新突破。围绕碳纸、...
手机大厂联手 任意品牌充电器可... 近日,UFCS产业发展大会在深圳会展中心举办。现场,UFCS 2.0标准及40W高功率互通方案发布。...
服务器:数字世界的心脏与骨架 当你在手机点开购物网站、在游戏世界组队开黑、或是通过网盘分享文件时,一台特殊的计算机正在看不见的角落...
小鹏和华为联手了!发布超强体验... 6月5日,小鹏汽车与华为智能汽车解决方案联合发布创新车载AR-HUD产品——「追光全景」抬头显示系统...
巴西发现的化石或提供恐龙起源新... 本文转自【新华网】; 新华社里约热内卢6月3日电(记者周永穗)恐龙起源至今仍是一个待解之谜。近日,一...
蒙草生态获得实用新型专利授权:... 证券之星消息,根据天眼查APP数据显示蒙草生态(300355)新获得一项实用新型专利授权,专利名为“...