软体人形机器人？丰田研究所推出软机器人Punyo，可用于全身操纵研究！
近日，丰田研究所在其发布的一段视频中，对外公布了其最新的研究成果——软机器人Punyo。
在这段视频中，研究人员对软机器人Punyo进行了详细介绍，并展示了Punyo与人协作搬抬箱子、将桌面玩具整理至收纳箱、堆叠两个收纳箱以减少空间占用、捡起抱枕、搬起水桶等操作。
关于软机器人Punyo的特别之处，研究人员在视频中这样向大家介绍：
“在TRI（丰田研究所的简称），我们坚信我们的机器人应该是增强人类的能力，而不是取代人类。我们的使命是研发可以帮助人们在日常生活中的家居及其他场所处理各种事务的机器人。我们的目标是开发出真正有能力帮助人类处理各类日常任务的机器人，这需要开发硬件并训练它们，使它们能够帮助处理体积大、重量高和需要精确操作的物品。
我们的研究平台 Punyo 体现了这一使命。Punyo团队专注于使用手臂和胸部来操纵大型物体，以补充TRI在精细机器人手和基于夹具的灵活性方面的其他努力。我们正在开发硬件和算法，使机器人能够真正帮助搬运大型、重型和笨重的物品。”
软机器人Punyo到底是如何构成，又能做些什么呢？接下来和机器人大讲堂一起来深入了解吧！
▍什么是Punyo？
在日语中，“Punyo”（ぷにょ）一词用以描绘那些柔软、可爱且富有弹性的物体。这一术语不仅捕捉了丰田对未来家用机器人安全、功能强大和愉悦合作的愿景，而且体现了丰田对于机器人技术多元化应用的开放态度。尽管这种机器人技术可能呈现多种形态，但丰田最初的设想是开发一种亲切的人形机器人，它能够安全地应对家庭环境中的日常挑战。正是基于这样的理念，软机器人Punyo应运而生。
早期的 Punyo 概念艺术描绘了一个柔软、友好、有能力的家用人形机器人。
Punyo的双手、手臂和胸部被柔顺材料所覆盖，并整合了先进的触觉传感器，使其能够感知到任何接触其表面的物体。这种独特的柔软性赋予了Punyo能力以贴合并适应它所抓取物体的轮廓，从而确保稳定性、增强摩擦力以及实现均匀的抓握力分布。得益于触觉传感技术，Punyo能够施加精确的控制力，感知预期和意外的接触，并对物体的滑动或碰撞做出迅速响应。在与人互动时，触觉感知尤为关键，无论是举起重物还是协助作业，机器人都需要理解自身的动作并能够安全、适宜地进行交互。
尽管研发团队将Punyo归类为软机器人，但其柔和的外表之下却也隐藏着两个坚固的机器人臂、一个刚性的躯干架构以及一个腰部执行器。Punyo研发团队采用的方法巧妙地结合了传统硬体机器人的精准度、力量和可靠性与气动软体机器人系统的柔顺性、抗冲击能力及传感系统的简洁性。
早期概念艺术展示了Punyo研发团队的方法，将传统“硬”机器人的优点与软机器人系统的合规性和传感相结合。
Punyo的手臂，从肩膀延伸至手腕，被一系列充气的气囊或“气泡”所覆盖，这些气囊的作用类似于人类肌肉覆盖在骨骼上的肉。每个气泡通过导管与压力传感器相连，这些传感器能够检测到作用在气泡外表面的力量。每个气泡（每条手臂上有13个）都能独立地加压至适当的硬度，为机器人的手臂表层提供大约5厘米厚的柔顺层。这种方法既经济、轻便，又具有模块化特性，有效地为机器人的大范围表面增添了顺应性和触觉感知能力。
左图：Punyo 的袖子下面是充满空气的气泡、空气管和压力传感器，为手臂增加了顺应性和触觉感知。右：一对手臂气泡的特写。
Punyo的手臂所覆盖的气泡是通过模压热封PVC板制造而成。一个较大的气泡覆盖了Punyo的手腕部分，但这并未妨碍机器人手腕关节的活动能力。至于手臂的其他部分，则是由六个较小的环形气泡组成，每个环形气泡内都包含两个独立的腔室，分别位于手臂的内侧和外侧。手臂外部被一层特制的织物套筒包裹，这不仅保护了内部的气泡结构，避免了电缆的缠绕问题，同时也便于研发团队在外部接触表面材料上进行迭代与优化。这些织物套筒设计为易于拆卸，方便进行必要的维护工作，并提供了自定义外观的机会。
Punyo的手臂末端并未配备夹具，因此没有独立的手指或拇指结构。作为替代，Punyo采用了所谓的“爪子”。每个“爪子”都是一个内部嵌入高分辨率触觉传感摄像头的高摩擦乳胶气泡（基于TRI开发的软气泡视觉触觉传感器）。这些气泡表面印有特殊的点状图案。当气泡与物体接触时，这种图案会发生变形。内部的摄像头通过捕捉这种图案的形变来估计施加的力，并将图像数据直接用于指导学习型的视觉运动控制策略。
▍远程操作工具：教授Punyo全身技能的利器
在研发团队对Punyo全身任务的硬件测试中，Punyo 采用了两种高效的学习方法，以掌握丰富的接触策略：即扩散策略和示例引导强化学习。
即扩散策略（Diffusion Policy）是TRI去年宣布的一项创新成果，该策略借助对摄像头捕捉视觉信息和触觉反馈数据的综合利用，通过分析人体演示来掌握那些难以通过传统方法建模的复杂任务的感觉运动策略，确保学习过程的稳健性和可靠性。
而示例引导强化学习（EGRL）则要求在模拟环境中对任务进行精确建模，并通过一系列精心挑选的演示来引导机器人的探索过程。
这两种方法都成功生成了强大的策略，它们不仅利用了合规性，还融合了触觉反馈，以确保操作的精确性和有效性。通过这种综合应用，Punyo 能够有效地学习和执行全身任务，展示了其在复杂任务中的高度适应性和执行力。
同时，为了确保新任务能够直接在硬件上进行尝试，并为这些学习框架提供示范性指导，研发团队也开发了一套用于全身技能的直观远程操作界面。
协同抓握遥控操作：在处理抓取、举起等核心的全身性操作任务时，研发团队采用了一种分解策略，将复杂技能拆分为不同部分的协同动作。这种方法借鉴了手部抓取时的协同机制，允许研发团队通过游戏手柄界面对这些动作进行单独控制。具体来说，研发团队将每只手臂独立进行的抬高与降低动作与抓握的开启与闭合相结合，实现了单手和双手抓取、物品的重新抓握以及用于抬举和握持物体的手臂运动序列。借助一个标准的低成本游戏手柄，研发团队能够在实验室环境乃至户外场合中灵活演示这些技能。
分层操作空间远程操作：在执行更为复杂、精确和细致的任务时，直接控制机械手的爪子、肘部以及躯干的角度显得尤为重要。例如，通过这样的控制，操控者可以前倾以将物品稳妥至于胸前，用一只手臂环绕握持物体，另一只则支撑于下方，然后通过后仰动作抬起物体。研究团队运用动作捕捉相机来精确追踪远程操作者背部、肩部、肘部及手持爪子上的特定标记点，这些点与机器人身上的相应操作点相对应。远程操作者的一举一动被实时映射至Punyo，使得任何人均能操作系统，而不受个人体型差异的限制。
左：基于分层操作空间控制的远程操作跟踪躯干和爪子。右：远程操作跟踪肩膀、肘部和爪子。
研究团队使用的分层全身运动控制策略，不仅支持远程精细操作，也为自主学习策略的发展奠定基础。在远程操作中，末端执行器的姿势跟踪是首要之务，确保Punyo的爪子能够无差错地跟随远程操控者的动作。相比之下，肘部姿势的跟踪则属次要，赋予Punyo一定的自由度以遥控肘部姿势，只要不干扰到更高层次的末端执行器跟踪。这种分层运动控制框架让研发团队能够灵活调整，通过增添、移除或重排约束条件和操作点跟踪的优先级，迅速优化远程操作界面。
此框架还为探索物理反应动作与人机交互提供了实验平台。比如，在检测到非预期碰撞时，Punyo能自动避开肘部，得益于手臂设计中的多余关节，这一动作不会牺牲末端执行器的运动性能。这种控制机制允许人在执行任务过程中便捷地推开Punyo的手臂，快速完成抓取动作。
▍示例引导强化学习
通过示例引导强化学习（EGRL），研发团队能够为那些在模拟中可以建模的任务制定稳健的操作策略。引入任务演示不仅提高了学习效率，还让研发团队能够指导机器人完成任务时的运动模式。
Punyo研发团队采用了对抗性运动先验（AMP），这是一种传统上用于计算机动画角色风格化的技术，将人类运动的模仿整合到其强化学习过程中。所有展示出的策略都是仅通过单次演示就完成训练的。
在Punyo的强化学习流程中，研发团队设置了一个变量λ，它表示演示模仿奖励与任务完成奖励之间的比例。这个变量允许研发团队调节Punyo在学习过程中模仿演示动作的程度和通过自我探索学习成功完成任务的程度之间的平衡。
决策变量 λ 控制模仿奖励与任务奖励的比率。
以学习把一个饮水桶举到机器人肩膀上的任务为例：若λ设为0，机器人会“完美模仿”，精确复制人类的动作来完成相同的任务，而不考虑罐子是否真的离开了桌面；若λ设为1，机器人则会完全忽视演示，只专注于把罐子从桌面上拿下来，并可能采取任何不自然的动作以完成任务。介于两者之间的λ值则能生成一个既遵循演示方式又能完成任务的策略。
任务的描述可能更为复杂，不仅仅是举起饮水桶那么简单。研发团队还可以对速度、低能耗或更稳健的任务执行方式提出要求。将功能需求与人类示范的风格结合起来，可能会产生一种既高效又易于人类预测和拟人化的机器人行为，从而使得人机协作变得更舒适、更高效。研发团队期望为不同的任务、情境、机器人以及人类协作者找到合适的平衡点。
▍计划引导强化学习
强化学习要求在模拟环境中对任务进行建模以供训练之用。因此，研发团队引入了基于模型的规划器来生成演示，从而避免依赖远程操作。这一方法被称为计划引导强化学习（PGRL）。利用规划器，研发团队能够处理那些难以通过远程操作完成的长期任务，并可自动生成大量演示，减少对人工输入的依赖，扩展Punyo的处理能力。这为Punyo未来自主学习新技能奠定了基础。
左：基于模型的规划器生成旋转壶的复杂接触序列的粗略长期演示。当机器人改变接触位置时，规划器不会考虑罐子的动态。右：研发团队的计划引导强化学习管道使用此演示并生成物理上可行的操纵策略。
虽然当前先进的基于模型的规划器能生成包含复杂接触序列的运动方案，但其运算速度尚不足以支持闭环在线使用。加之模型的不精确性和假设限制，导致规划出的方案即便在模拟环境中也可能无法在物理世界中实现。因此，当这些轨迹在机器人硬件上开环运行时，可能无法如预期般操控目标物体。但研发团队可以借助示例引导强化学习来获取这些粗略轨迹，并将其转化为实际操作中可行的反馈策略。
研发团队的计划引导强化学习流程可生成直接在 Punyo 硬件上运行的强大策略。其机器人工具箱 Drake中的高保真动力学模拟器反映了硬件上出现的复杂接触交互，包括故障模式。如果一项政策在 Drake 中有效，那么它通常在现实世界中也有效。
研发团队运用隐式接触规划器来合成涉及众多间歇性接触的长期行为策略。规划器做出一系列假设以实现全局接触推理，这使其输出不能直接在硬件上执行。尽管如此，这些轨迹为播种EGRL流程提供了所需的运动和接触序列蓝图。结合任务目标、领域随机化以及粗略演示指导的运动探索，Punyo能够高效地学习闭环策略，遵循运动计划，在硬件上稳健地完成困难任务。
▍朝着安全且高效协作的目标前进
尽管如TRI等机构在灵巧操作方面取得了长足的进步，但现代的机器人及其操控策略仍有许多任务和技能难以触及。例如，对于人类的手来说过大的物体、需要手臂稳定放置的成堆物品、在操作其他物件时需单臂握持物品的能力，以及在狭小空间和人群中安全作业的技能，这些都还有待进一步开发。因此，开发用于全身操控的硬件、知识体系和数据集至关重要，这应与夹具式灵活性并行，以打造多功能的操作平台。
Punyo 概念艺术展示了日常接触丰富的任务和在家中的身体帮助。
在机械设计上，解锁机器人的躯干、手臂及其他身体表面以进行多样操作亦然好处多多。结合顺应性和摩擦力，机器人能以更低能耗握持和操控大型物体，从而提升有效载荷和电池续航，降低成本。此外，柔软材质的使用能吸收冲击，确保机器人及周围人员的安全。触觉传感的加持使得密切监控和控制接触力成为可能，实现温柔、复杂、交互式且稳定的操控。
面对这些挑战和优化的机遇，Punyo的研发团队计划在未来基于Punyo现有平台，融合软体机器人技术、高级接触规划与学习策略、先进触觉感知技术以及人机交互的专业知识，打造一款新型机器人，实现与人类以安全、高效且和谐的方式合作，共同创造更加智能和互动的未来工作环境。