Multi-Task Domain Adaptation for Deep Learning of Instance Grasping from Simulation

[yiskw713]

INFO

author

Kuan Fang^1,2, Yunfei Bai¹, Stefan Hinterstoisser¹, Silvio Savarese², Mrinal Kalakrishnan¹

affiliation

¹X, Mountain View, CA 94043 USA

²Stanford University, Stanford, CA 94305 USA

conference

ICRA 2018

link

PDF

概要

ロボットの manipulation に対する学習ベースの取り組みは，データ収集やラベル付けのコストのために，制限されたものとなっている．
本論文では，シミュレーション上での実験を活用して，散らかったシーンにおけるインスタンス把持のための，multi-task domain adaptation framework を提案している．本論文のニューラルネットでは，単眼のRGB画像とターゲットの物体のインスタンスセグメンテーションマスクを入力として，各モーターコマンドの候補についてその把持の成功確率を予測している．ネットワークは，シミュレーション上のインスタント把持を用いて学習し，転移する際に domain shift を緩和するために，仮想空間と実空間の両方から得られる物体を区別しない把持(⇔インスタンス把持)のデータを用いている．

得られる物体を区別しない把持(上)とインスタンス把持(下)のサンプル

date

July 20, 2018