Weakly Supervised Affordance Detection

[yiskw713]

INFO

author

Johann Sawatzky, Abhilash Srikantha, Juergen Gall

conference

CVPR2017

link

pdf

概要

ピクセルごとにラベルを与えるのではなく，キーポイントのアノテーションのみで物体の affordance の検出を学習する手法を提案．

提案手法

データセットは，CAD120 dataset の各動画の10フレーム目をアノテーションしたものを使用．

githubで公開されている．


セグメンテーションのモデルとして，DeepLabを採用している．従来のaffordanceの手法で前提としている，一つのピクセルには一つのクラスという設定とは異なり，マルチラベルを前提としている．この場合，loss としてクロスエントロピーは使えないので，代わりにシグモイド関数を元にしたものを使用(下記)


y_i,lは，ピクセルx_iに l というラベルが付与されていることをあらわす．


weakly supervision の問題設定においては，ラベル情報Yの代わりにキーポイント情報Z を用いて，ラベルYを推定するのが目的である．事前学習されたVGGもしくは，ResNet を用いるが，はじめにキーポイントZからY^{^}を初期化する．初期化は以下の方法で行う．

z_lというラベルが付与されているx_l(キーポイント)と，ある点x_iのL1距離がある閾値より小さい場合，その点にラベルを付与するというものである．


こうして得られたY^{^}に対して，尤度を最大化させるようにCNNを学習させる．



学習後，再度 P(Y|I, θ) を計算し直す．

キーポイントの情報からラベル l があるかどうかわかるので，

よって最終的なY^{^}は，

この最終的なCNNの推定に対して，さらにGrabcut を用いる事で，アフォーダンス推定のs精度を上げた．下図参照．

検証

UMD part affordance dataset と，CAD120 dataset に対して，SOTAな weakly-supervised segmentation の手法と，提案手法を比較．weakly supervised な手法のなかでSOTAを達成．

新規性

• affordance detection に weakly supervised な手法を応用した点
• affordance をマルチラベル問題として取り組んだ点(？)

議論，展望

コメント

date

Oct.29, 2018