Object Region Mining with Adversarial Erasing: A Simple Classification to Semantic Segmentation Approach

[yiskw713]

INFO

author

Yunchao Wei¹, Jiashi Feng¹, Xiaodan Liang², Ming-Ming Cheng³, Yao Zhao⁴, Shuicheng Yan^1,5

affiliation

¹ National University of Singapore, ² CMU, ³ Nankai University, ⁴ Beijing Jiaotong University, ⁵360 AI Institute

conference or year

CVPR 2017

link

pdf

概要

weakly-supervised object localizationに取り組んだもの．既存手法では，discriminative な領域しか特定できなかった．この問題を解決するために，物体の特徴的な領域を切り取る Adversarial Erasing(AE)というものを提案．また，ノイズが乗ってしまったり，物体領域を見逃したりしないように，物体検出の確信度を用いたオンラインのprohibitive segmentation learning (PSL)という手法も提案している．

提案手法

Adversarial Erasing(AE)

ベースモデルは，DeepLab-CRF-LargeFOVを用いている．まずクラス分類モデルを，ラベルの二乗誤差を最小化させるように学習させる．次にCAM(#24)を用いてヒートマップを算出する．その後，ヒートマップに閾値を設けて特徴的な物体の領域を取り出し，この領域を学習データセット内の全ての画像のピクセルの平均値に置き換え，もう一度クラス分類の学習を行う．これにより，ネットワークは他の特徴的な領域を見つけることができるらしい．このAEは，ネットワークが収束しなくなる(=分類のための特徴的な領域が残されていない状態)まで行われる．





また，セグメンテーションの学習には背景の位置を特定することも一つの手がかりと言え，saliency map を用いてsaliency が低い部分を背景として選び出すことも行っている(図3(a))

Online Prohibitive Segmentation Learning(PSL)

AEに得られた物体のピクセルや背景のピクセルは間違っているかもしれなく，これらの信頼できないピクセルに頑健性を得るために，Online PSL を提案している．Online PSL では，クラス分類の結果の確率値を，セグメンテーションスコアにかけることで重み付けを行い，信頼できるカテゴリごとの補助的なセグメンテーションマップに変換する．これにより，クラス分類の確率値が低いクラスの補助的なセグメンテーションマップが，学習に寄与することを妨げることができる．(図3(b))

date

Feb. 1, 2019