随着 GPT-4 等大型语言模型与机器人研究的结合愈发紧密，人工智能正在慢慢的变多地走向现实世界，因此具身智能相关的研究也正受到慢慢的变多的关注。在众多研究项目中，谷歌的「RT」系列机器人始终走在前沿（参见《大模型正在重构机器人，谷歌 Deepmind 这样定义具身智能的未来》）。

  谷歌 DeepMind 去年 7 月推出的 RT-2：全球第一个控制机器人的视觉 - 语言 - 动作（VLA）模型。只需要像对话一样下达命令，它就能在一堆图片中辨认出霉霉，并送给她一罐可乐。

  如今，这个机器人又进化了。最新版的 RT 机器人名叫「RT-H」，它能通过将复杂任务分解成简单的语言指令，再将这些指令转化为机器人行动，来提高任务执行的准确性和学习效率。举例来说，给定一项任务，如「盖上开心果罐的盖子」和场景图像，RT-H 会利用视觉语言模型（VLM）预测语言动作（motion），如「向前移动手臂」和「向右旋转手臂」，然后依据这一些语言动作，预测机器人的行动（action）。

  这个行动层级（action hierarchy）对于提高机器人达成目标的准确性和学习效率非常有帮助，使得 RT-H 在一系列机器人任务中的表现都优于 RT-2。

  语言是人类推理的引擎，它使我们也可以将复杂概念分解为更简单的组成部分，纠正我们的误解，并在新环境中推广概念。近年来，机器人也开始利用语言高效、组合式的结构来分解高层次概念、提供语言修正或实现在新环境下的泛化。

  这些研究通常遵循一个共同的范式：面对一个用语言描述的高层任务（如「拿起可乐罐」），它们学习将观察和语言中的任务描述映射到低层次机器人行动的策略，这一定要通过大规模多任务数据集实现。语言在这些场景中的优点是编码类似任务之间的共享结构（例如，「拿起可乐罐」与「拿起苹果」），由此减少了学习从任务到行动映射所需的数据。然而，随着任务变得更多样化，描述每个任务的语言也变得更多样（例如，「拿起可乐罐」与「倒一杯水」），这使得仅通过高层次语言学习不同任务之间的共享结构变得更困难。

  他们发现语言不但可以描述高层次任务，还能细致说明达成目标的方法 —— 这种表示更细腻，更贴近具体动作。例如，「拿起可乐罐」这一任务能分解为一系列更细节的步骤，即「语言动作（language motion）」：首先「手臂向前伸」，接着「抓紧罐子」，最后「手臂上举」。研究者的核心洞见是，通过将语言动作作为连接高层次任务描述与底层次动作之间的中间层，可通过它们来构建一个通过语言动作形成的行动层级。

  它使不同任务之间在语言动作层面上可以更加好地共享数据，使得语言动作的组合和在多任务数据集中的泛化性得到增强。例如，「倒一杯水」与「拿起可乐罐」虽在语义上不一样，但在执行到捡起物体之前，它们的语言动作完全一致。

  语言动作不是简单的固定原语，而是根据当前任务和场景的详细情况通过指令和视觉观察来学习的。比如，「手臂向前伸」并没具体说明移动的速度或方向，这取决于具体任务和观察情况。学习到的语言动作的上下文依赖性和灵活性为咱们提供了新的能力：当策略未能百分百成功时，允许人们对语言动作进行修正（见图 1 中橙域）。进一步地，机器人还可以从这些人类的修正中学习。例如，在执行「拿起可乐罐」的任务时，若机器人提前关闭了夹爪，我们大家可以指导它「保持手臂前伸的姿势更久一些」，这种在特定场景下的微调不仅易于人类指导，也更易于机器人学习。

  鉴于语言动作存在以上优势，来自谷歌 DeepMind 的研究者设计了一个端到端的框架 ——RT-H（Robot Transformer with Action Hierarchies，即使用行动层级的机器人 Transformer），专注于学习这类行动层级。RT-H 通过一系列分析观察结果和高层次任务描述来预测当前的语言动作指令，从而在细节层面上理解如何执行任务。接着，利用这些观察、任务以及推断出的语言动作，RT-H 为每一步骤预测相应的行动，语言动作在此过程中提供额外的上下文，帮助更准确地预测具体行动（图 1 紫域）。

  此外，他们还开发了一种自动化方法，从机器人的本体感受中提取简化的语言动作集，建立了包含超过 2500 个语言动作的丰富数据库，无需手动标注。

  RT-H 的模型架构借鉴了 RT-2，后者是一个在互联网规模的视觉与语言数据上共同训练的大型视觉语言模型（VLM），旨在提升策略学习效果。RT-H 采用单一模型同时处理语言动作和行动查询，充分的利用广泛的互联网规模知识，为行动层级的各个层次提供支持。

  在实验中，研究者发现使用语言动作层级在处理多样化的多任务数据集时能带来显著的改善，相比 RT-2 在一系列任务上的表现提高了 15%。他们还发现，对语言动作进行修正能够在同样的任务上达到接近完美的成功率，展示了学习到的语言动作的灵活性和情境适应性。此外，通过对模型进行语言动作干预的微调，其表现超过了 SOTA 交互式模仿学习方法（如 IWR）50%。最终，他们证明了 RT-H 中的语言动作能够更好地适应场景和物体变化，相比于 RT-2 展现出了更优的泛化性能。

  为了有效地捕获跨多任务数据集的共享结构（不由高层次任务描述表征），RT-H 旨在学习显式利用行动层级策略。

  具体来说，研究团队将中间语言动作预测层引入策略学习中。描述机器人细粒度行为的语言动作能从多任务数据集中捕获有用的信息，并可以产生高性能的策略。当学习到的策略难以执行时，语言动作能再次发挥作用：它们为与给定场景相关的在线人工修正提供了直观的界面。经过语言动作训练的策略可以自然地遵循低水平的人工修正，并在给定修正数据的情况下成功达成目标。此外，该策略还可以根据语言修正数据来进行训练，并进一步提升其性能。

  如图 2 所示，RT-H 有两个关键阶段：首先根据任务描述和视觉观察预测语言动作，然后根据预测的语言动作、具体任务、观察结果推断精确的行动。

  RT-H 使用 VLM 主干网络并遵循 RT-2 的训练过程来进行实例化。与 RT-2 类似，RT-H 通过协同训练利用了互联网规模数据中自然语言和图像处理方面的大量先验知识。为了将这些先验知识合并到行动层级的所有层次中，单个模型会同时学习语言动作和行动查询。

  Q3（纠正）：在语言动作修正上进行训练比远程（teleoperated）修正更好吗？

  数据集方面，该研究采用一个大型多任务数据集，其中包含 10 万个具有随机对象姿态和背景的演示样本。该数据集结合了以下数据集：

  Diverse：一个由更复杂的任务组成的新数据集，具有超过 24 个语义任务类别，但只有 30K 样本。

  该研究将此组合数据集称为 Diverse+Kitchen (D+K) 数据集，并使用自动化程序对其进行语言动作标记。为了评估在完整 Diverse+Kitchen 数据集上训练的 RT-H 的性能，该研究针对八项具体任务进行了评估，包括：

  图 4 展示了几个从 RT-H 在线评估中获取的上下文动作示例。能够正常的看到，相同的语言动作通常会导致达成目标的行动发生微妙的变化，同时仍尊重更高级别的语言动作。

  如图 5 所示，研究团队通过在线干预 RT-H 中的语言动作来展示 RT-H 的灵活性。

  实际上，看似不同的任务之间具备一些共享结构，例如这些任务中每一个都需要一些拾取行为来开始任务，并且通过学习跨不同任务的语言动作的共享结构，RT-H 能够实现拾取阶段而无需任何修正。

  即使当 RT-H 不再能够泛化其语言动作预测时，语言动作修正通常也可以泛化，因此只需进行一些修正就可以成功达成目标。这表明语言动作在扩大新任务数据收集方面的潜力。

  本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。