3次元歩行意味折りたたみを用いた階層的時間記憶に基づく歩行認識・理解

Gait Recognition and Understanding Based on Hierarchical Temporal Memory Using 3D Gait Semantic Folding.

抄録

歩行認識・理解システムは、幅広い応用が期待されている。しかし、画像や映像の非構造化データを利用するため、多視点、オクルージョン、衣服、物体の運搬状況などの影響を受けやすく、性能に影響を与えている。本論文では、現実的な3次元人体構造データと、階層的時間記憶(HTM)に基づくトップダウン注意調節機構を持つ逐次パターン学習フレームワークを用いて、これらの問題を解決する。まず、インスタンスレベルの身体解析モデルとバーチャルドレッシング法の利点を利用した、正確な2次元から3次元の人体ポーズと形状意味パラメータ推定法を提案する。第二に、歩行セマンティックフォールディングを用いて、推定された身体パラメータをスパース2次元行列を用いて符号化し、構造的な歩行セマンティック画像を構築する。時間ベースの歩行認識を実現するために、HTMネットワークを構築し、シーケンスレベルの歩行スパース分布表現（SL-GSDR）を得る。SL-GSDRを事前知識に従って精緻化することで、多視点を含む様々な条件に対応するトップダウン注意メカニズムを導入する。提案する歩行学習モデルは、実際の応用シナリオにおける困難を克服するための歩行認識タスクを支援するだけでなく、視覚認知のための構造化された歩行意味画像を提供する。CMU MoBo、CASIA B、TUM-IITKGP、KY4Dデータセットを用いた実験解析により、精度と頑健性の点で大幅な性能向上を示す。

Gait recognition and understanding systems have shown a wide-ranging application prospect. However, their use of unstructured data from image and video has affected their performance, e.g., they are easily influenced by multi-views, occlusion, clothes, and object carrying conditions. This paper addresses these problems using a realistic 3-dimensional (3D) human structural data and sequential pattern learning framework with top-down attention modulating mechanism based on Hierarchical Temporal Memory (HTM). First, an accurate 2-dimensional (2D) to 3D human body pose and shape semantic parameters estimation method is proposed, which exploits the advantages of an instance-level body parsing model and a virtual dressing method. Second, by using gait semantic folding, the estimated body parameters are encoded using a sparse 2D matrix to construct the structural gait semantic image. In order to achieve time-based gait recognition, an HTM Network is constructed to obtain the sequence-level gait sparse distribution representations (SL-GSDRs). A top-down attention mechanism is introduced to deal with various conditions including multi-views by refining the SL-GSDRs, according to prior knowledge. The proposed gait learning model not only aids gait recognition tasks to overcome the difficulties in real application scenarios but also provides the structured gait semantic images for visual cognition. Experimental analyses on CMU MoBo, CASIA B, TUM-IITKGP, and KY4D datasets show a significant performance gain in terms of accuracy and robustness.