新智元报道

编辑：定慧 好困

【新智元导读】当全世界为ChatGPT的成功喝彩时，OpenAI一个曾不起眼的小组，却在通过攻克数学难题，秘密锻造其真正的核心武器：「推理」能力，也就是终极目标「AI智能体」的心脏。他们的野望，是打造一个能为你代劳一切事务的全能AI。

历史往往都是由无数「意外和巧合」所塑造的。

2022年，当研究员Hunter Lightman加入OpenAI时，他的同事们正忙于引爆全球的ChatGPT——这无疑是史上用户增长最快的现象级产品。

然而，Lightman却悄悄投身于一个看似不起眼的团队：MathGen。

他们的任务只有一个：训练AI模型去攻克高中级别的数学竞赛难题。

如今，这个曾经默默无闻的MathGen团队，竟被视为OpenAI现在能够问鼎行业的真正原因！

2023年5月31日OpenAI发布研究博客《Improving Mathematical Reasoning with Process Supervision》，正式提出过程监督（process supervision）训练的效果。

并在作者署名中出现Hunter Lightman等与MathGen team有关的研究人员。该博客是首次与MathGen团队相关的官方发布之一。

同日，奥特曼于X发布祝贺消息——这是首次由OpenAI亲口确认MathGen Team的官方存在。

他们锻造的「AI推理能力」，正是那项终极技术——AI智能体（AI Agent）的心脏！

这种智能体，将像人类一样，在电脑上独立完成你交办的一切任务！

「那时候，AI的数学推理能力简直一塌糊涂！」Lightman回忆道，「我们的使命，就是让它学会真正的思考。」

从「笨学生」到「奥数金牌」的进化！

平心而论，今天的OpenAI模型远未完美——它们依然会「一本正经地胡说八道」，那些所谓的AI智能体在复杂任务面前也常常束手无策。

但是，一场巨变正在发生！

OpenAI最顶尖的模型，其数学推理能力已实现惊天逆袭！

OpenAI坚信，这种强大的推理能力，将可以复制到任何领域！

这正是他们构建通用AI智能体的基石，是他们从创立之初就魂牵梦绕的终极梦想！

如果说，ChatGPT的成功是一场「无心插柳的惊世之作」，一个本想低调测试却意外引爆全球的奇迹。

那么，AI智能体，则是OpenAI精心布局数年、深思熟虑的战略结晶！

「未来，你只需要向电脑下达指令，它就会为你搞定一切！」

OpenAI的CEO奥特曼在2023年的开发者大会上宣告，「这种能力，就是AI智能体。它带来的颠覆，将是空前绝后的！」

奥特曼的预言能否成真？世界还在观望。但OpenAI已然出手！

2024年秋，其首个AI推理模型o1横空出世，一鸣惊人！

不到一年，缔造这一神话的21名核心研究员，瞬间成为硅谷疯抢的顶尖人物！

扎克伯格不惜血本，开出上亿美元的天价薪酬，从OpenAI挖走了5名o1团队的核心成员，组建Meta的「超级智能」军团。

其中一位，，更是被直接任命为Meta超级智能实验室的首席科学家！

一场围绕「AI大脑」的人才战争，已然白热化！

强化学习：引爆智能革命的古老技艺

OpenAI这场推理革命的背后，是一种被称为强化学习（RL）的古老技术在焕发新生。

它就像一个严厉的教练，在模拟环境中不断对AI的选择进行奖惩，从而教会AI何为「正确」。

这项技术并不新鲜。

早在2016年，谷歌DeepMind的AlphaGo就曾用它击败世界围棋冠军，名震天下。

彼时，OpenAI的元老级员工Andrej Karpathy已开始构想，如何用强化学习（RL）打造一个能熟练操作电脑的AI智能体。

然而，从理想到现实，OpenAI足足走了数年。

2018年，OpenAI推出了开创性的大语言模型GPT系列。

论文地址：https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf

它靠着海量数据和GPU集群，成了文本处理的天才，并最终孕育了ChatGPT。

但它的软肋也同样致命——连基础数学都搞不定。

直到2023年，石破天惊的突破降临！

一个代号「Q*」（后被称为「Strawberry」）的项目，将大语言模型、强化学习（RL）和一种名为「测试时计算」的技术三位一体，融会贯通！

它赋予了模型额外的思考时间，让AI在给出答案前，能反复规划、推演和验证。

「思维链」（CoT）技术由此诞生！AI在处理闻所未闻的数学难题时，表现脱胎换骨！

「我亲眼目睹了模型开始真正地推理，」研究员El Kishky激动地说，「它会发现自己的错误，然后回溯修正，它甚至会表现出沮丧。那感觉，就像在阅读一个人的思想！」

这些技术单拎出来，并非首创。

但OpenAI的鬼斧神工之处，在于将它们以前所未有的方式组合，直接催生了后来的王牌——o1。

那一刻，OpenAI恍然大悟：这种规划与事实核查能力，不正是驱动AI智能体的完美引擎吗？

「我们攻克了一个我苦思冥想数年的难题！」Lightman说，「那是我科研生涯中，最心潮澎湃的瞬间！」

引爆推理：一场自下而上的豪赌

拥有了AI推理模型，OpenAI的雄心被彻底点燃。

他们发现了两条全新的进化路径：

1. 在模型训练后期，投入更多的算力！

2. 在回答问题时，给予模型更多的思考时间和算力！

「OpenAI这家公司，思考的从来不只是当下，而是未来如何将优势无限扩大！」Lightman说。

2023年「Strawberry」项目突破后，OpenAI火速组建了一支由研究员Daniel Selsam领衔的「AI智能体」特攻队。

他们的目标只有一个：将这项新能力推向极致！

起初，公司内部甚至没有严格区分「推理模型」和「AI智能体」。

共同的目标只有一个：打造能完成复杂任务的超级AI！

最终，这支特攻队的工作汇入了更宏大的o1模型项目，由联合创始人Ilya Sutskever等一众顶级大佬亲自挂帅。

为了打造o1，OpenAI必须押上最宝贵的资源——顶尖人才和GPU。

在OpenAI，资源从不靠论资排辈，而靠实力说话。

研究员必须用惊人的突破来换取公司的全力支持。

「在OpenAI，所有研究创新都源于一线，是自下而上的。」Lightman解释道。

「当我们把o1的惊人证据摆在桌上时，整个公司立刻达成共识：就是它了，全力冲锋！」

许多前员工认为，正是OpenAI对通用人工智能（AGI）近乎偏执的追求，才催生了这场推理革命。

他们心无旁骛，不为短期产品所动，将所有宝押在了打造最强AI大脑上。这种不计成本的豪赌，在其他AI巨头那里几乎不可能。

这个决策，如今回看，极具远见！

到2024年底，许多AI巨头发现，传统的「堆数据、堆算力」模式，回报越来越低。

而AI领域最激动人心的脉搏，正源自「AI推理」的进步！

AI究竟会不会「思考」？一场哲学的终结

AI真的在「推理」吗？它真的拥有了「思想」吗？

自o1问世以来，ChatGPT的界面里充满了「正在思考」、「正在推理」等拟人化词汇，仿佛在宣告一个新纪元的到来。

当被问及这个问题时，研究员Kishky基巧妙地回答：「我们是在教模型如何最高效地利用算力，去找到答案。如果从这个计算机科学的角度定义，那没错，它就是在推理。」

Lightman的看法则更加务实和「结果导向」：

「别管它内部是怎么运作的！如果一个模型能解决极其困难的问题，那它就已经掌握了达成目标所必需的、近似于推理的能力。」

他总结道，「我们可以称之为推理，因为它看起来就像那么回事。但这都只是手段，我们真正的目的，是为全人类打造强大到不可思议的AI工具！」

OpenAI的科学家们坦言，人们大可不必认同他们对「推理」的定义。

事实上，批评者早已涌现。但他们认为，争论名词远不如模型本身的能力重要。

AI研究员Nathan Lambert打了个绝妙的比方：AI推理就像飞机。

飞机的灵感来自飞鸟，但其飞行原理与鸟类截然不同。

这丝毫不影响飞机的伟大，它依然能带我们飞向天空。

AI的「思考」，或许也是如此——灵感源于人脑，机制却全然不同，但这并不妨碍它实现同样、甚至超越人类的结果。

终极战场：让AI智能体搞定主观任务

今天市场上的AI智能体，在编码等规则明确的领域已大显身手。

OpenAI的Codex能帮程序员处理琐碎代码，而Anthropic的模型更是在Cursor等AI编程工具中备受追捧，成为首批让用户心甘情愿付费的AI智能体。

然而，真正的挑战在于主观世界！

当你想让AI帮你网购、或找个长期停车位时，通用的AI智能体（如ChatGPT Agent）往往会让你失望——它们反应迟钝，还尽犯些低级错误。

这正是AI智能体走向普及的最后一道天堑：如何教会AI处理那些没有标准答案、充满主观色彩的任务？

「这本质上是个数据问题，」Lightman一针见血，「我们当前最激动人心的研究，就是如何让模型在不可验证的任务上进行有效训练。我们已经找到了一些线索！」

OpenAI的另一位核心研究员Noam Brown透露，他们已掌握全新的通用强化学习技术，能教会AI那些无法用简单对错来衡量的技能。

那块IMO奥数金牌，正是用这种方法拿下的！

夺金的AI模型，是一种更先进的系统：它能同时派出多个AI智能体，分头探索不同的解题思路，最后优中选优。

如今，谷歌和xAI的最新模型也纷纷采用了这种「群体智能」策略。

「AI的数学能力会越来越强，其他推理领域也一样。」Brown对此信心爆棚，「进步的速度快得令人难以置信，我看不出任何放缓的迹象！」

GPT-5的野望：通往万能AI的终极图景

这些突飞猛进的技术，很可能将在OpenAI即将发布的GPT-5模型中全面展现。

OpenAI的目标只有一个：用GPT-5的绝对优势，捍卫自己在AI智能体领域的王权！

但他们的野心不止于此。

Kishky基描绘了一幅终极图景：未来的AI智能体将能凭直觉理解你的意图，无需你繁琐地设置。

它会自主判断何时调用何种工具、需要投入多少「思考」，就像一个心有灵犀的超级助理。

这，才是ChatGPT的最终形态：一个能为你代劳互联网上一切事务，并且懂你心意的全能AI智能体！

这与今天的ChatGPT相比，已是天壤之别。但毫无疑问，OpenAI的研究正全速驶向这个未来。

然而，赛道已拥挤不堪！

几年前的绝对王者，如今已强敌环伺。DeepSeek、谷歌、Anthropic、xAI、Meta……个个虎视眈眈。

问题不再是OpenAI能否实现其智能体的未来，而是——

它能否在群雄逐鹿的血战中，第一个冲过终点。

参考资料：

https://techcrunch.com/2025/08/03/inside-openais-quest-to-make-ai-do-anything-for-you/