リアルタイムセマンティックセグメンテーションによる視覚障害者のための地形認識の統一化

Unifying Terrain Awareness for the Visually Impaired through Real-Time Semantic Segmentation.

• Kailun Yang
• Kaiwei Wang
• Luis M Bergasa
• Eduardo Romera
• Weijian Hu
• Dongming Sun
• Junwei Sun
• Ruiqi Cheng
• Tianxue Chen
• Elena López

抄録

航海支援は、視覚障害者が安全かつ自立した環境での歩行を支援することを目的としています。この課題は、より高度な支援意識を提供するためには、様々なシーンを検出する必要があるため、難しい課題となっています。単眼検出器や深度センサを用いた視覚ベースの技術は、数年の研究の中で生まれてきました。これらの別々のアプローチは、比較的短い処理時間で目覚ましい成果を上げており、障害者の移動性を大きく改善してきた。しかし、すべての検出器を共同で動作させると、待ち時間が長くなり、計算資源にも負担がかかる。本論文では、ピクセル単位のセマンティックセグメンテーションを利用して、ナビゲーションに関連する知覚ニーズを統一的にカバーすることを提案する。これは、横断可能なエリア、歩道、階段、水の危険に関する地形認識だけでなく、近距離の障害物、急接近する歩行者や車両の回避にも重要である。統一化提案の核となるのは、効率的な意味理解を目指した深層アーキテクチャである。我々は、ロバストな深度セグメンテーションを組み込むことで、このアプローチをウェアラブルナビゲーションシステムに統合した。包括的な実験のセットは、リアルタイムの速度を維持しながら、最先端の方法よりも精度が高いことを証明している。また、実際の視覚障害者を対象としたクローズドループのフィールドテストを行い、支援フレームワークの効果と汎用性を実証した。

Navigational assistance aims to help visually-impaired people to ambulate the environment safely and independently. This topic becomes challenging as it requires detecting a wide variety of scenes to provide higher level assistive awareness. Vision-based technologies with monocular detectors or depth sensors have sprung up within several years of research. These separate approaches have achieved remarkable results with relatively low processing time and have improved the mobility of impaired people to a large extent. However, running all detectors jointly increases the latency and burdens the computational resources. In this paper, we put forward seizing pixel-wise semantic segmentation to cover navigation-related perception needs in a unified way. This is critical not only for the terrain awareness regarding traversable areas, sidewalks, stairs and water hazards, but also for the avoidance of short-range obstacles, fast-approaching pedestrians and vehicles. The core of our unification proposal is a deep architecture, aimed at attaining efficient semantic understanding. We have integrated the approach in a wearable navigation system by incorporating robust depth segmentation. A comprehensive set of experiments prove the qualified accuracy over state-of-the-art methods while maintaining real-time speed. We also present a closed-loop field test involving real visually-impaired users, demonstrating the effectivity and versatility of the assistive framework.