Towards unified robotics manipulation via object-centric policy

Hao Dong @Peking University

难点

1. 机器人遇到的环境很复杂，很难用简单的组合策略进行控制
   
   
   

object-centric policy

人交互的时候存在与物体之间的先验知识

1. 哪个部分可以交互
   
2. 往哪里运动可以实现功能
   项目解决的问题
   给机器人一个物体，可以预测出这个物体会产生怎么样的交互结果
   通过强化学习的方式给出trajectory

问题：

1. 有些物体需要两只手才能拿起来 dual-arm collaboration affordance
   • 多arm协作的时候动作空间很大，很难学习，解决方法，将问题变为一个串形任务，比如先学习affordance1，再学习affordance2