端到端纯视觉：OpenAI 押注的人形机器人献艺拜年了
大过年的，OpenAI 投资的人形机器人，通过最新视频拜年了（doge）。有俩人上来就表演了一个从货架取包裹，转身放进筐里：
镜头继续推进，旁边靠墙的两个机器人，在不停地将俄罗斯方块积木举起-丢下-再举起。
另一边，充好电的机器人，温柔地拔掉插销，微微半蹲，把插头放到指定位置。旁边还来了个赶来充电的家伙：
一个小房间内，面带笑容的机器人缓缓前进，然后流畅地捡起地上的公仔，放回了玩具筐。
最后，镜头跟随一个导游机器人，在场地里巡逻了一圈，刚才介绍到的机器人们还在各司其职，干自己的事情。
官方表示，这个视频一、镜、到、底 ——
机器人们发出的每一个动作行为，都基于视觉神经网络端到端控制。并且视频原本速度播放，无加速、无剪辑、无远程操控。
有网友对这样拟人仿真效果挺满意：
不会吧不会吧，你不会还在等有人拉开机器人背后的拉链，然后摘下头盔，走下平衡车吧！
想知道这是怎么做到的？
官方“啪”地摔出了一份资料，把原理透露了一波。
来吧，展示
为了让自家人形机器人被充分开发利用，背后公司 ——1X Technologies（简称 1X），从去年起开始追求最通用的方法，即使用视觉神经网络，让机器人端到端地学习运动行为。
官方释出视频中，每一个机器人的行为，都由 10Hz 频率的视觉神经网络控制。
它主要控制机器人们的前进、手臂、躯干和头部。
该视频不包含远程操作，没有计算机图形，没有剪辑，没有视频加速，没有脚本轨迹回放。
这一切都是通过神经网络控制的，都是自主的。
据介绍，有 30 台机器人出演了这次展示视频（目前，全公司共有 50 台该型号机器人）
为了训练生成视频中展示行为的机器学习模型，1X 团队在这 30 台机器人中组装了一个高质量、多样化的演示数据集。
这些数据被用来训练出一个基础模型，这个模型可以理解广泛的身体行为，比如清洁整理房屋、拾捡物品、和人类 or 其他机器人社交。
然后，团队对基础模型进行微调，让它成为更具体的功能系列，比如用于一般门操作的模型、用于仓库任务的模型。
再然后，再微调已经微调过的模型，让它生成的行为和特定任务（如打开特定的某道门）保持一致。
这样的训练方式，让团队能够在台式机的 GPU 上进行几分钟的数据收集和培训，从而让模型掌握新技能。
更重要的是，这样的方式，让机器人不受 AI 工程师数量的限制，就能学会短期移动操作技能。
本次展示出场的机器人是 1X 公司的初代产品，名叫 EVE（夏娃），专为工作环境设计，主要用于工业、物流、零售和安全领域。
EVE 从头到腿是人形，然后用双轮替代人类的双脚。
它高 1.86 米，重 86 公斤，最高时速 14.4 公里，承载能力 15 公斤，续航 6 小时。
虽然没有直接喊话过，但由于设计和业务高度重合，EVE 被业内默认为对标马斯克的特斯拉机器人 Optimus。
去年 5 月，Firstpost 消息显示，EVE 在一场人形机器人比赛中，击败了 Optimus。
1X 首席执行官兼创始人 Bernt Bornich 表示，目前，EVE 已经上岗打工，在欧美部分地区投入商业化应用，至少两个工业场所都部署了 EVE 来负责保安工作。
今年年初，1X 还在挪威首都奥斯陆的一个火车站出现，给往来旅客倒咖啡。
网友们倒是挺认可 EVE 的灵活程度：
但也有人提出了一些尚待解决和思考的问题：
一是稳定性，二是通用性，三是需要庞大的数据来训练。
背后公司是谁？
EVE 背后的是一家挪威公司 1X，成立于 2014 年，前身为 Halodi Robotics。该公司专注于创造能够进行类似人类运动和行为的人型机器人，并在实际场景中部署。
特别提一下，1X 的现任产品负责人是 Eric Jang。Eric Jang 毕业于布朗大学计算机科学专业，毕业后在 Google X 工作了 6 年，担任机器人高级研究科学家。2022 年 4 月，Eric 加入了 1X，领导 AI 部门。
2022 年起，1X 就和 OpenAI 在机器人 AI 模型方面有所合作；目前，EVE 的部分功能就由 ChatGPT 提供支持。
到了去年 3 月，1X 正式有了 OpenAI“撑腰”—— 获得由 OpenAI 创业基金领投的 2350 万美元融资，投后估值约为 1-2 亿美金。这也是 OpenAI 投资的第一家硬件公司。
OpenAI 的 COO Brad Lightcap 曾公开坦白：“投资 1X 瞄准的时机是其机器人硬件已经成熟，能够在 AI 的加持下，开拓更广泛的劳动力市场。”
不过 Eric Jang 也发话了，1X 没有和 OpenAI 独家绑定。
我们还在测试别家的大模型，然后自己也在做一些动作和任务的小模型。
去年公布 2 轮融资的 1X，很快又在上个月，官宣完成了 1 亿美元的 B 轮融资。
这笔钱不仅用来扩大具身智能的数据收集战略，另一个去处是加强 NEO 机器人的市场推广。
没错！除了 EVE，1X 还在加班加点研制第二代机器人 NEO（取用了《黑客帝国》主角的名字）。
和 EVE 的轮式人形不同，NEO 是纯・人形机器人，双脚上有 55 个自由度，可以自由行走。
有腿之后，NEO 可以说是完全按人类的外形和运动方式设计：
有头、身体、手臂和腿，会走路、抓东西，并通过面部表情沟通。
同时它采用了高扭矩关节，与传统的高性能齿轮动力相比，在控制、兼容、力量输出、韧性、维护等方面全面得到增强。
目前，NEO 还处于研发阶段，但官网宣称该型号已经可以自然准确地穿门、爬楼梯。
1X 官方说法是，计划在今年正式发布 NEO，并进行量产。
不知道有了双脚的 1X 人形机器人，还能不能对马斯克的 Optimus 遥遥领先？
等待看戏.jpg
广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。