今日应用
今日话题
适应多形态多任务，最强开源机器人学习系统「八爪鱼」诞生
重点标签 Octo模型、机器人学习、Transformer架构、开源项目、微调策略
文章摘要
Octo模型，一个基于Transformer架构的开源机器人学习系统，由加州大学伯克利分校、斯坦福大学、卡内基梅隆大学和谷歌DeepMind的18位研究者组成的团队开发。这个模型能够无需额外训练就完成多样化的机器人操控任务，并能在一定程度上适应新机器人形态和新任务。Octo模型的设计目标是成为一个灵活且广泛适用的策略，能够应对下游机器人应用的接口多样化问题。
Octo模型的核心是基于Transformer的策略π，包含输入token化器、Transformer骨干网络和读出头三个关键部分。输入token化器负责将语言指令、目标和观察序列转换成token，Transformer骨干处理这些token成嵌入，而读出头则得出所需的输出，即动作。该模型的注意力模式是逐块掩码式，观察token只能关注来自同一或之前时间步骤的token以及任务token。
Octo模型已经在迄今为止最大的机器人操控数据集上完成了预训练，包含来自Open X-Embodiment数据集的80万个机器人演示。它是首个可有效微调至新观察和动作空间的通才机器人策略，也是首个完全开源的策略。该团队在论文中强调了其组合Octo各组件的独特创新性。
该团队开源了所有资源，包括预训练完成的Octo检查点，微调脚本，以及预训练工作流程等。通过实验，团队评估了Octo作为机器人基础模型的性能，包括直接使用Octo控制多台机器人机体解决语言和目标任务的能力，以及Octo权重作为新任务和机器人的数据高效型微调的初始化基础。实验结果显示，Octo在多个评估设置上相较于其他方法有显著优势，证明了其作为通才机器人策略的有效性。
文章来源
原文地址: 点我阅读全文
原文作者: 机器之心
相关文章
