シネマティックレンダリングによるディープラーニング：フォトリアリスティックな医療画像を用いたディープニューラルネットワークの微調整

Deep learning with cinematic rendering: fine-tuning deep neural networks using photorealistic medical images.

• Faisal Mahmood
• Richard Chen
• Sandra Sudarsky
• Daphne Yu
• Nicholas J Durr

抄録

ディープラーニングは、医療画像を解釈するための強力な人工知能ツールとして台頭してきており、その用途はますます多様化しています。しかし、このような手法を訓練するために必要な高品質のアノテーションを持つ医用画像データが少ないことが、最終的にその性能を制限しています。医療データは、プライバシーの問題、アノテーションに利用できる専門家の不足、希少な状態の限られた表現、およびコストのために取得が困難である。この問題は、以前は合成的に生成されたデータを使用することで対処されてきた。しかし、合成データで訓練されたネットワークは、実データへの一般化に失敗することが多い。シネマティックレンダリングは、CTデータから再構成された組織モデルを通過する光の伝搬と相互作用をシミュレートし、フォトリアリスティックな画像の生成を可能にする。この論文では、ディープラーニングにおけるシネマティックレンダリングの最初の応用例の1つを紹介する。実験の結果、以下のことが明らかになった。(a)合成データ上で訓練され、フォトリアリスティックなシネマティックレンダリングデータ上で微調整された畳み込みニューラルネットワーク(CNN)は、微調整を行わないネットワークと比較して、実際の医療画像への適応性が高く、よりロバストな性能を発揮すること、(b)微調整されたネットワークが最適解に収束するために必要な訓練データが少ないこと、(c)同じシーンの様々なフォトリアリスティックレンダリング条件のデータを用いて微調整を行うことで、ネットワークが患者固有の情報を学習することを防ぎ、モデルの一般化に役立つことを実証した。我々の経験的評価では、映画のようにレンダリングされたデータで微調整されたネットワークは、レンダリングされた内視鏡画像では56.87%の誤差で、実際の豚の大腸内視鏡画像では27.49%の誤差で深さを予測することが示された。

Deep learning has emerged as a powerful artificial intelligence tool to interpret medical images for a growing variety of applications. However, the paucity of medical imaging data with high-quality annotations that is necessary for training such methods ultimately limits their performance. Medical data is challenging to acquire due to privacy issues, shortage of experts available for annotation, limited representation of rare conditions and cost. This problem has previously been addressed by using synthetically generated data. However, networks trained on synthetic data often fail to generalize to real data. Cinematic rendering simulates the propagation and interaction of light passing through tissue models reconstructed from CT data, enabling the generation of photorealistic images. In this paper, we present one of the first applications of cinematic rendering in deep learning, in which we propose to fine-tune synthetic data-driven networks using cinematically rendered CT data for the task of monocular depth estimation in endoscopy. Our experiments demonstrate that: (a) convolutional neural networks (CNNs) trained on synthetic data and fine-tuned on photorealistic cinematically rendered data adapt better to real medical images and demonstrate more robust performance when compared to networks with no fine-tuning, (b) these fine-tuned networks require less training data to converge to an optimal solution, and (c) fine-tuning with data from a variety of photorealistic rendering conditions of the same scene prevents the network from learning patient-specific information and aids in generalizability of the model. Our empirical evaluation demonstrates that networks fine-tuned with cinematically rendered data predict depth with 56.87% less error for rendered endoscopy images and 27.49% less error for real porcine colon endoscopy images.