Hidden Two-Stream Convolutional Networks for Action Recognition

[yiskw713]

INFO

author

Yi Zhu et al.

affiliation

conference or year

link

arXiv
supplementary
実装

概要

従来のtwo-stream networkは，予め画像からnon-deepな手法を用いて，optical flow を生成しておき，学習を行う two-stage型で，end-to-endではなかった．
本研究では，内部的にoptical flowを生成しつつ，その optical flowとRGB画像を用いて行動認識を行うネットワークである hidden two-stream networkを提案している．
ネットワークの学習には，行動認識のラベルのみを必要とし, optical flowの生成の学習は，unsupervised に行われている．

提案手法

上の図は，stacking，下の図は branching として，二つのモデルを提案している．
結論としては，上のstacked model の方が良い．ActionFlowNet (#151 )と同じ．違う点はoptical flow生成をunsupervised でやっている点．

損失関数は，

1. optical flow 生成の損失関数
2. 行動認識

1)は，(i)画像ペアのうちの，一方の画像と生成したoptical flowから，もう一方を再構成したときのロス，(ii) aperture problem を解決するための smoothing loss (iii) ペアの画像中のパッチにおけるSSIM から成り立つ．
2)は通常の

検証

two-stream同士での比較．
提案手法が優れていることを確認．

損失関数の比較

optical flow の性能の比較

date

May 25th, 2020