适应多形态多任务,最强开源机器人学习系统「八爪鱼」诞生

AI最新资讯5个月前发布 tree
71 0 0

今日应用


今日话题


适应多形态多任务,最强开源机器人学习系统「八爪鱼」诞生
适应多形态多任务,最强开源机器人学习系统「八爪鱼」诞生
 

重点标签 Octo模型机器人学习Transformer架构开源项目微调策略

文章摘要


Octo模型,一个基于Transformer架构的开源机器人学习系统,由加州大学伯克利分校、斯坦福大学、卡内基梅隆大学和谷歌DeepMind的18位研究者组成的团队开发。这个模型能够无需额外训练就完成多样化的机器人操控任务,并能在一定程度上适应新机器人形态和新任务。Octo模型的设计目标是成为一个灵活且广泛适用的策略,能够应对下游机器人应用的接口多样化问题。

Octo模型的核心是基于Transformer的策略π,包含输入token化器、Transformer骨干网络和读出头三个关键部分。输入token化器负责将语言指令、目标和观察序列转换成token,Transformer骨干处理这些token成嵌入,而读出头则得出所需的输出,即动作。该模型的注意力模式是逐块掩码式,观察token只能关注来自同一或之前时间步骤的token以及任务token。

Octo模型已经在迄今为止最大的机器人操控数据集上完成了预训练,包含来自Open X-Embodiment数据集的80万个机器人演示。它是首个可有效微调至新观察和动作空间的通才机器人策略,也是首个完全开源的策略。该团队在论文中强调了其组合Octo各组件的独特创新性。

该团队开源了所有资源,包括预训练完成的Octo检查点,微调脚本,以及预训练工作流程等。通过实验,团队评估了Octo作为机器人基础模型的性能,包括直接使用Octo控制多台机器人机体解决语言和目标任务的能力,以及Octo权重作为新任务和机器人的数据高效型微调的初始化基础。实验结果显示,Octo在多个评估设置上相较于其他方法有显著优势,证明了其作为通才机器人策略的有效性。

文章来源


原文地址: 点我阅读全文
原文作者: 机器之心

© 版权声明

相关文章

暂无评论

暂无评论...