Mobile ALOHA

使用低成本全身遥操作学习双臂移动操作

团队

Zipeng Fu
(项目共同领导)
Tony Z. Zhao
(项目共同领导)
Chelsea Finn
(指导老师)

摘要

人类示范的模仿学习在机器人技术中表现出令人印象深刻的性能。然而,大多数成果专注于桌面操作,缺乏执行一般实用任务所需的移动性和灵巧性。 在这项工作中,我们开发了一个模仿移动操作任务的系统,这些任务是双手的,并且需要全身控制。 我们首先介绍Mobile ALOHA,这是一个低成本的全身远程操作系统,用于数据收集。它通过移动基座和全身远程操作界面增强了ALOHA系统。 使用Mobile ALOHA收集的数据,我们然后执行监督行为克隆,并发现与现有的静态ALOHA数据集共同训练可以提高移动操作任务的性能。 通过每项任务50次演示,共同训练可以将成功率提高到90%,使Mobile ALOHA能够自主完成复杂的移动操作任务,例如煎炒并上菜一片虾、 打开双门墙橱存放重型烹饪锅具、呼叫并进入电梯、 以及使用厨房水龙头轻轻冲洗使用过的平底锅。

自主技能

遥操作

鲁棒性测试

失败案例

我们在下面的视频中分享一些在我们硬件和软件/AI协同开发的过程中,有趣的机器人失败案例。

鸣谢

我们感谢斯坦福机器人中心和Steve Cousins为我们的实验提供设施支持。我们还要感谢斯坦福IRIS实验室的成员:Lucy X. Shi和Tian Gao,以及斯坦福REAL实验室的成员:Cheng Chi、Zhenjia Xu、Yihuai Gao、Huy Ha、Zeyi Liu、Xiaomeng Xu、Chuer Pan和Shuran Song,为我们的实验提供了大量帮助。我们非常感谢Qingqing Zhao的摄影工作,以及来自Karl Pertsch、Boyuan Chen、Ziwen Zhuang、Quan Vuong和Fei Xia的反馈和有益讨论。这个项目得到了波士顿动力AI研究所和ONR赠款N00014-21-1-2685的支持。Zipeng Fu由斯坦福研究生奖学金支持。

BibTeX

@inproceedings{fu2024mobile,
  author    = {Fu, Zipeng and Zhao, Tony Z. and Finn, Chelsea},
  title     = {Mobile ALOHA: 使用低成本全身遥操作学习双臂移动操作},
  booktitle = {arXiv},
  year      = {2024},
}