糖尿病網膜症スクリーニングのための深層モデル学習情報と多特徴量関節表現に基づく硬性滲出液検出

Hard exudate detection based on deep model learned information and multi-feature joint representation for diabetic retinopathy screening.

• Hui Wang
• Guohui Yuan
• Xuegong Zhao
• Lingbing Peng
• Zhuoran Wang
• Yanmin He
• Chao Qu
• Zhenming Peng

抄録

背景と目的:

糖尿病網膜症(DR)は、一般的に出血と硬い滲出液の存在によって診断されるが、視力障害や失明の最も一般的な原因の一つである。カラー眼底写真で硬性滲出物（HE）を早期に発見することは、このような破壊的な損傷を防ぐのに役立つ。しかし、これは、クラス内の多様性が高く、眼底画像中の他の構造との類似性が高いため、困難な課題である。既存のHE検出手法の多くは、ハンドクラフト特徴量(HCF)のみを用いたHEの特徴付けに基づいており、HEを正確に特徴付けることはできない。ディープラーニング法は、大規模なサンプルセットを用いた学習を必要とするため、この領域ではほとんどの日常的な医用画像研究では利用できません。

BACKGROUND AND OBJECTIVE: Diabetic retinopathy (DR), which is generally diagnosed by the presence of hemorrhages and hard exudates, is one of the most prevalent causes of visual impairment and blindness. Early detection of hard exudates (HEs) in color fundus photographs can help in preventing such destructive damage. However, this is a challenging task due to high intra-class diversity and high similarity with other structures in the fundus images. Most of the existing methods for detecting HEs are based on characterizing HEs using hand crafted features (HCFs) only, which can not characterize HEs accurately. Deep learning methods are scarce in this domain because they require large-scale sample sets for training which are not generally available for most routine medical imaging research.

方法:

これらの課題を解決するために、深層畳み込みニューラルネットワーク(DCNN)と多特徴量関節表現を用いたHE検出のための新しい手法を提案する。具体的には、まず、HE候補を正確にセグメント化する新しい最適化された数学的形態学的アプローチを提示する。次に、各候補をHCFを組み込んだ深部特徴量に基づく結合特徴量を用いて特徴付けを行い、これをリッジ回帰に基づく特徴融合によって実装する。この手法では、多空間ベースの強度特徴、幾何学的特徴、グレーレベル共起行列(GLCM)ベースのテクスチャ記述子、グレーレベルサイズゾーン行列(GLSZM)ベースのテクスチャ記述子を用いてHCFを構築し、DCNNを用いてHEの深層情報を自動的に学習する。最後に，候補の中から真のHEを識別するためにランダムフォレストを採用した．

METHODS: To address these challenges, we propose a novel methodology for HE detection using deep convolutional neural network (DCNN) and multi-feature joint representation. Specifically, we present a new optimized mathematical morphological approach that first segments HE candidates accurately. Then, each candidate is characterized using combined features based on deep features with HCFs incorporated, which is implemented by a ridge regression-based feature fusion. This method employs multi-space-based intensity features, geometric features, a gray-level co-occurrence matrix (GLCM)-based texture descriptor, a gray-level size zone matrix (GLSZM)-based texture descriptor to construct HCFs, and a DCNN to automatically learn the deep information of HE. Finally, a random forest is employed to identify the true HEs among candidates.

結果:

提案手法を2つのベンチマークデータベースで評価した。その結果、e-opthaデータベースではFスコア0.8929、曲線下面積(AUC)0.9644、HEI-MEDデータベースではFスコア0.9326、曲線下面積(AUC)0.9323を得ることができた。これらの結果は、我々のアプローチが最先端の手法よりも優れていることを示している。また、我々のモデルは、地元の病院のプライベートな臨床画像に基づいた臨床応用にも適していることが証明された。

RESULTS: The proposed method is evaluated on two benchmark databases. It obtains an F-score of 0.8929 with an area under curve (AUC) of 0.9644 on the e-optha database and an F-score of 0.9326 with an AUC of 0.9323 on the HEI-MED database. These results demonstrate that our approach outperforms state-of-the-art methods. Our model also proves to be suitable for clinical applications based on private clinical images from a local hospital.

結論:

本研究では，従来のHCFとDCNNから学習した深層の特徴量を統合してHEを検出する手法を新たに提案した．これにより，HEの検出とDRスクリーニングの両方において，新たな最先端の手法を実現した．さらに，提案する特徴選択と融合戦略により，特徴量の削減とHE検出性能の向上を実現した．

CONCLUSIONS: This newly proposed method integrates the traditional HCFs and deep features learned from DCNN for detecting HEs. It achieves a new state-of-the-art in both detecting HEs and DR screening. Furthermore, the proposed feature selection and fusion strategy reduces feature dimension and improves HE detection performance.

Copyright © 2020. Published by Elsevier B.V.