新智元报道

编辑：LRST

【新智元导读】近日，来自哥大的研究人员开发出了一种新AI系统，让机器人通过普通摄像头和深度神经网络实现自我建模、运动规划和自我修复，突破了传统机器人依赖工程师调整的局限，使机器人能像人类一样自主学习和适应环境变化，为具身智能发展带来新范式。

「我们人类不能持续呵护机器人、为他们修理损坏的部件或调整性能的负担。机器人需要学会‘照顾’自己，才能真正发挥作用。这就是自我建模技术如此重要的原因。」

美国哥伦比亚大学机器人学教授霍德·利普森的这句话，揭示了机器人技术发展的根本困境。

在最新发表于《自然·机器智能》的研究中，中国学者胡宇航带领的团队成功让机器人获得了「自我学习」能力：仅凭普通摄像头，就能像孩子观察自己的手脚般理解身体构造，甚至在「受伤」时自主调整和恢复。

今天的人工智能与机器人更像是高度训练的工人，每当我们需要一个机器人完成特定任务，工程师就必须完成机械三维建模、建立仿真模型、编写控制算法，再根据特定任务完成强化学习。

如果机器人硬件结构改变或者损坏，例如增加新的负载或机械臂弯曲，往往无法自我适应和修复，必须依赖工程师进行调整。

但如果机器人一开始就能像人类一样自己学习的形态和运动呢？

机器人「照镜子」学会认识自己

人类从来不需要依赖精准的三维模型或关节角度控制来掌握技能，我们通过眼睛看、尝试、反馈来理解自己的身体和任务。

视觉对环境的理解提供了一种仿真能力，我们可以通过在大脑中想象画面做各种仿真测试。

比如从货架上拿东西，你不需要运用任何数学模型，就能在大脑中想象出来你到货架前取下东西的整个流程，因为你的视觉能力和自我认知在其中帮助到了你。

现在，机器人也可以做到这一点。

研究人员开发了一种新的AI系统，让机器人通过一个普通的摄像头和三个模仿大脑的人工智能系统（称为深度神经网络），通过给定指令预测出机器人自己在三维空间中占据的位置。

机器人利用「FFKSM」（Free Form Kinematic Self-Model）技术，可以实现：

1. 观察自己，理解身体的形态和运动方式。

2. 规划自己的动作，无需预设物理引擎或仿真。

图示：A，一个机器人看着镜子概念图，机器人通过移动身体观察变化来建立自己的模型。B，利用该模型，机器人可以预测自己的形态并执行各种操作任务。C，FFKSM 实现原理。该模型包含三个深度神经网络：坐标编码器、运动编码器和预测模块。通过处理 3D 点坐标和关节角度，它可以预测查询点的密度和可见性。然后使用此信息来渲染 PRED 预测图像，并将其与分段二进制图像 (GT) 进行比较以进行训练。

这项能力彻底改变了对机器人的定义和理解方式——从被动执行任务的工具，变成主动学习、适应和调整。

具身智能的三大困局与自我建模技术破解之道

困局1：数据与物理实体的割裂

现状：当前具身智能依赖海量训练数据，但不同机器人的机械结构、传感器配置差异导致数据难以复用。

突破：FFKSM 让机器人通过摄像头观察自身运动，并构建通用的自我表征，不依赖手工定义的运动模型。这相当于为机器人创造了一种跨平台的「机器语」：无论是四足机器人、双足机器人，甚至是机械臂，它们都能将自身运动转换为统一的认知框架。

困局2：运动模型的自我更新

现状：传统具身智能需预编程物理参数（如逆运动学模型与关节坐标），但现实世界的磨损、负载变化常使预设模型失效。

突破：动态的自我建模技术使机器人像生物般持续感知身体状态。当工业机械臂因金属疲劳产生微小形变时，系统能通过视觉观测自主更新运动模型。

困局3：Sim2Real问题

现状：现有系统需在仿真环境中预训练数月，但移植到实体机器人时仍面临sim2real（虚拟到现实）差异。

突破：实时在线建模，实现「所见即所得」的学习范式，实现欠驱动系统和柔性机器人的仿真（包括人脸机器人）。

具身智能的新范式：从「功能机器」到「认知生命体」

认知维度：传统系统通过编码规则理解世界（如用DH参数法描述机械臂运动），新技术则建立基于视觉-运动关联的直觉认知，更接近生物进化出的本体感知。

可解释突破：三个深度神经网络的协同机制（坐标编码→运动编码→预测验证）形成了类脑的认知闭环。当机器人选择绕过障碍物时，研究者可追溯其「思考」路径：先自我模拟机械臂摆动幅度→计算碰撞概率→生成避让轨迹。

伦理前瞻：胡宇航在采访中特别强调：「我们在系统中设置了认知边界约束，确保自我建模仅用于物理运动优化，这是智能体获得‘身体自由’的前提条件。」

应用场景

🤺 人形机器人：从适应环境与任务

想象一个人形机器人在户外行走，突然遇到一片光滑的冰面，或者执行任务时因额外负载导致身体平衡发生变化。

传统机器人在这种情况下可能会因预设步态不适应新环境而滑倒或失去平衡，必须依赖额外的传感器或人为干预来调整动作。

🚀极端环境：从易受损失到高度鲁棒

在外太空或极端场景，工程师无法远程修复探测器，微小的机械故障可能导致整个任务失败。

例如，火星车的机械臂可能因风沙卡住，或轮子受到障碍物撞击而变形，导致行动受阻。新一代自我建模机器人可以像人类一样更新运动模型——就像人在肌肉拉伤时会改变步态，努力走到医务室。

这种机器人可以检测自身运动异常，动态调整控制策略，即使某个部件受损，也能找到替代性运动方式，确保任务继续进行。这种高度鲁棒的能力，将极大提升机器人在极端环境下的生存能力。

🤖 人脸机器人：自监督学习突破人工建模瓶颈

柔性材料的建模一直是人形机器人领域的难题，尤其在面部仿真和动态表情生成方面，传统方法依赖复杂的物理建模和人工调校，难以精准模拟人脸的自然运动。全新的自监督学习方法将彻底改变这一局面，使人脸机器人不再依赖人工建模，而是通过视觉学习自身结构和运动方式，自主优化表情控制模型。

这一突破不仅让机器人面部表情更加自然，还能让机器人自主调整不同情绪状态下的微表情和肌肉动态，从而大幅减少「恐怖谷效应」。最终，这项技术将推动更具拟人感、更自然、更生动的机器人交互体验，加速人机共存时代的到来。

机器人的「运动自我意识」（Kinematic Self-Awareness）

这项研究中所展示的能力是哥伦比亚大学团队在过去二十年中发布的一系列项目中的最新一个，过去这些项目中的机器人正在学习如何更好地利用摄像头和其他传感器进行「自我建模」。

2006年，他们的机器人能够通过观察来创建简单的、类似火柴人形状的自我模拟。大约十年前，机器人开始使用多台摄像机创建保真度更高的模型。

在这项研究中，机器人仅使用单个普通摄像机的视频就能创建一个全面的运动自我模型，就像照镜子一样。研究人员将这种新发现的能力称为运动自我意识。

Hod Lipson解释，「我们人类本能地意识到自己的身体；我们可以想象自己在未来的样子，并在现实中执行这些行为之前就将行为的后果形象化，最终，我们希望赋予机器人类似的想象自己的能力。因为一旦你能想象自己在未来的样子，你所能做的事情就没有限制了。」

华人作者介绍

第一作者胡宇航，哥伦比亚大学博士生。2024年，以第一作者身份在《科学·机器人学》（Science Robotics）发表研究Human-Robot Facial Coexpression。

胡宇航：我一直对人类和动物如何理解世界感到着迷——不是依靠数学模型，而是通过观察、尝试和适应。我们此前发表在《科学·机器人学》上的研究，利用「镜子」让我们的面部机器人 Emo 通过视觉学习人类的表情。

现在，我们把这个想法进一步拓展：让机器人仅通过视觉观察自身，实现自我建模、运动规划，并在受损后自主恢复。这项突破让我充满期待——机器人不再只是执行命令，而是能够与我们一起进化。

这不仅比让强化学习训练机器人掌握某项技能更有趣，更重要的是，它触及了智能本质的核心问题。如果机器人能够像人类一样，通过视觉感知和理解自身在物理世界中的存在，那么它们或许已经迈出了「自我意识」的第一步。

参考资料：

https://www.engineering.columbia.edu/about/news/robots-learn-how-move-watching-themselves-0