3Dバイオメディカルセグメンテーションのためのマルチモーダリティ自己注意認識ディープネットワーク

Multi-modality self-attention aware deep network for 3D biomedical segmentation.

• Xibin Jia
• Yunfeng Liu
• Zhenghan Yang
• Dawei Yang

抄録

背景:

セグメンテーションモデルに基づくディープラーニングは、医用画像に徐々に適用され、3次元医用セグメンテーションのための最先端の性能を達成してきている。しかし、既存の医用画像セグメンテーション研究の多くは、対応する検査方法から単一の種類の医用画像を適応させた応用例を考慮している。疾患に対する放射線検査の臨床応用を考えると、特に癌のような重篤な疾患では、最終的な診断のために複数の画像検査法が必要となるのが普通である。そこで、マルチモーダル画像を用いた事例を検討し、ディープネットワークに基づいた効果的なマルチモーダル融合を探ることで、放射線科医の画像解析における臨床経験を参考に、マルチモーダル画像の補完情報を活用するための研究を行っている。

BACKGROUND: Deep learning based on segmentation models have been gradually applied in biomedical images and achieved state-of-the-art performance for 3D biomedical segmentation. However, most of existing biomedical segmentation researches take account of the application cases with adapting a single type of medical images from the corresponding examining method. Considering of practical clinic application of the radiology examination for diseases, the multiple image examination methods are normally required for final diagnosis especially in some severe diseases like cancers. Therefore, by considering the cases of employing multi-modal images and exploring the effective multi-modality fusion based on deep networks, we do the research to make full use of complementary information of multi-modal images referring to the clinic experiences of radiologists in image analysis.

方法:

本研究では、放射線技師の診断経験を踏まえ、モーダル画像や症状の異なる画像に異なる注意を払うことで、セグメンテーション性能を向上させるための新たな自己注意喚起機構について議論し、提案する。第一に、3次元医用セグメンテーションのためのマルチパスエンコーダーとデコーダーのディープネットワークを提案する。第二に、異なるモーダル間の補完情報を活用するために、Multi-Modality Self-Attention Aware (MMSA) convolutionと呼ばれる注目メカニズムの構造を導入する。本稿で用いたマルチモーダル画像は、MRスキャン画像の異なるモダリティの画像を別々にネットワークに入力したものである。本論文では，マルチモーダル画像の自己注意度融合を提案したMMSAを用いて実施した．MMSAは，学習した異なるモダリティの寄与度に応じて融合重みを適応的に調整することができ，ラベル付けされたデータから異なる症状を明らかにすることができる．

METHODS: Referring to the human radiologist diagnosis experience, we discuss and propose a new self-attention aware mechanism to improve the segmentation performance by paying the different attention on different modal images and different symptoms. Firstly, we propose a multi-path encoder and decoder deep network for 3D biomedical segmentation. Secondly, to leverage the complementary information among different modalities, we introduce a structure of attention mechanism called the Multi-Modality Self-Attention Aware (MMSA) convolution. Multi-modal images we used in the paper are different modalities of MR scanning images, which are input into the network separately. Then self-attention weight fusion of multi-modal features is performed with our proposed MMSA, which can adaptively adjust the fusion weights according to the learned contribution degree of different modalities and different features revealing the different symptoms from the labeled data.

結果:

公開競技データセットBRATS-2015を用いて実験を行った。その結果，提案手法は，腫瘍全体，腫瘍コア，増強腫瘍コアに対して，それぞれ0.8726，0.6563，0.8313のサイコロスコアを達成した．SEブロックを用いたU-Netと比較すると、スコアは0.0212,0.031,0.0304増加している。

RESULTS: Experiments have been done on the public competition dataset BRATS-2015. The results show that our proposed method achieves dice scores of 0.8726, 0.6563, 0.8313 for the whole tumor, the tumor core and the enhancing tumor core, respectively. Comparing with the U-Net with SE block, the scores are increased by 0.0212,0.031,0.0304.

結論:

本研究では、複数の医用画像モダリティを利用した適応的重み付け融合メカニズムに基づいて、より優れたセグメンテーション結果を得ることができるマルチモダリティ自己注目畳み込み法を提案する。実験結果は、本手法の有効性を示し、マルチモダリティ融合に基づく医用画像解析への応用が可能であることを示した。

CONCLUSIONS: We present a multi-modality self-attention aware convolution, which have better segmentation results based on the adaptive weighting fusion mechanism with exploiting the multiple medical image modalities. Experimental results demonstrate the effectiveness of our method and prominent application in the multi-modality fusion based medical image analysis.