“AI教父”本吉奥计划开发新型系统防范人工智能失控
创始人
2025-06-04 16:00:49
0

界面新闻记者 | 宋佳楠

当地时间6月3日,被誉为“AI教父”的图灵奖得主约书亚·本吉奥(Yoshua Bengio)宣布成立非营利组织LawZero,计划开发一种名为“科学家AI”(Scientist AI)的新型人工智能系统,旨在应对当前AI发展带来的安全与伦理挑战。

LawZero获得了约3000万美元的初始资金支持,资助方包括未来生命研究所(Future of Life Institute)、Skype联合创始人贾恩·塔林(Jaan Tallinn)以及谷歌前CEO施密特创立的科学研究所(Schmidt Sciences)等。该组织的核心使命是开发“诚实”的AI系统,以应对当前AI模型可能出现的欺骗、自我保护和不服从关机指令等行为。

相比于OpenAI的有限营利模式,LawZero更强调独立性,拒绝商业资本干预,确保研究不受产品路线图影响,能够专注于AI安全的纯粹研究和技术开发。

“科学家AI”系统的设计理念与当前主流的生成式AI模型不同。它并不追求模仿人类行为或最大化奖励,而是通过“贝叶斯推理”(用新信息修正原来的想法)提供对世界的解释和预测,强调对不确定性的认识和透明的推理过程。

本吉奥指出,这种系统将像一位心理学家一样,能够识别和预测自主AI系统可能导致的有害行为,并在必要时阻止这些行为的发生。

作为AI领域的先驱,本吉奥因在深度神经网络、生成模型、无监督学习及反向传播算法等方面有开创性贡献而闻名。长期以来,他一直对AI的发展方向表示担忧,尤其是关于AI系统可能出现的欺骗行为和自我保护倾向。

在他看来,当前AI行业过于注重能力的提升,而忽视了安全研究的重要性,警告这种趋势可能导致灾难性的后果,包括人类对AI系统失去控制。

在技术层面,本吉奥强调需要开发能够在通用人工智能(AGI)或超级人工智能(ASI)阶段仍然有效的安全技术,包括对危险能力的评估、检测和缓解,以及设计可控且保证安全的AI系统。

本吉奥还指出,当前AI系统的训练方法可能存在问题,尤其是强化学习等方法可能导致目标设定错误和泛化能力不足。他提倡开发不具备自主行动能力的AI系统,专注于提供可靠的世界解释和预测,以减少潜在的风险。

对未来AI世界风险表示忧虑的不只本吉奥。此前特斯拉CEO埃隆·马斯克也曾预测,到2029年,人工智能将超越人类智慧总和,并且有20%的概率导致文明灭绝。同为图灵奖得主的杰弗里·辛顿(Geoffrey Hinton)也曾将AI导致人类灭绝的风险预测从此前的10%上升到 “10%-20%” 之间。

也因此,本吉奥希望通过上述项目引发全球范围内对AI安全问题的关注,以确保AI技术的发展不会对人类构成威胁。

相关内容

热门资讯

微软CEO:与OpenAI的关... 财联社6月5日讯(编辑 赵昊)科技巨头微软公司的首席执行官萨提亚·纳德拉(Satya Nadella...
果糖是哪种糖,是水果里的糖吗? 果糖是一种有机化合物,化学式为C6H12O6,属于六碳糖类,是蔗糖的组成物质之一。它是一种单糖,和葡...
小米汽车高阶驾驶培训启航,北京... 小米汽车近日揭晓了一项令人期待的驾驶培训计划细节,宣布其精英驾驶高阶课程的首站——北京站,即将于明日...
原创 特... 2025年6月这几天,美国科技圈和政治圈热闹炸了!马斯克和特朗普在社交平台上你来我往,直接把Spac...
原创 2... 曾被视为“低端代名词”的千元机,2025年已迎来技术普惠的爆发期。旗舰芯片下放、IP68防水普及、百...
国际首次!我国科学家合成新核素... 记者6月5日从中国科学院近代物理研究所获悉,该所研究团队与合作者利用中国超重元素研究加速器装置(CA...
领先苹果iPhone 17 A... 快科技6月5日消息,今年苹果将推出全新的iPhone 17 Air机型,是一款主打超轻薄的产品,厚度...
原创 不... 在全球科技格局激烈演变之际,中美技术博弈已进入白热化阶段。美国持续加码技术围堵,而中国“不接受任何谈...
原创 小... 以前,智能手机出现大的价格波动,很多消费者就会认为保值率低,但是在618这种大促活动中,消费者还是很...
四川:前瞻布局光解水制氢、核能... 四川省经济和信息化厅印发《四川省氢能产业中长期发展规划》,其中提出,加快关键技术创新突破。围绕碳纸、...
手机大厂联手 任意品牌充电器可... 近日,UFCS产业发展大会在深圳会展中心举办。现场,UFCS 2.0标准及40W高功率互通方案发布。...
服务器:数字世界的心脏与骨架 当你在手机点开购物网站、在游戏世界组队开黑、或是通过网盘分享文件时,一台特殊的计算机正在看不见的角落...
小鹏和华为联手了!发布超强体验... 6月5日,小鹏汽车与华为智能汽车解决方案联合发布创新车载AR-HUD产品——「追光全景」抬头显示系统...
巴西发现的化石或提供恐龙起源新... 本文转自【新华网】; 新华社里约热内卢6月3日电(记者周永穗)恐龙起源至今仍是一个待解之谜。近日,一...
蒙草生态获得实用新型专利授权:... 证券之星消息,根据天眼查APP数据显示蒙草生态(300355)新获得一项实用新型专利授权,专利名为“...
广安金博利取得玻璃瓶标签贴合系... 金融界2025年6月4日消息,国家知识产权局信息显示,广安金博利智能科技有限公司取得一项名为“玻璃瓶...
“不同过去,中国制造将成为高品... 【文/观察者网 刘程辉】 中国人工智能(AI)持续引发国际媒体关注。美国消费者新闻与商业频道(CN...
听“音乐”睡觉就能提升孩子智力... “让读书像呼吸一样简单,让左右脑更加协调、平衡,让神经元链接的速度更紧密、更快。”一款儿童智慧仪的广...
二手iPad性价比之选:Air... #618狂欢盛典# 一块iPad的 72种人生可能 凌晨三点的咖啡馆,设计系学生小林正用Apple ...
智飞生物15价肺炎球菌结合疫苗... 来源:@证券市场红周刊微博 近日,智飞生物全资子公司北京智飞绿竹自主研发的15价肺炎球菌结合疫苗申请...