ハイスループット温室植物表現型のためのマルチモーダル画像の自動セグメンテーションのための2段階の登録分類アプローチ

A two-step registration-classification approach to automated segmentation of multimodal images for high-throughput greenhouse plant phenotyping.

• Michael Henke
• Astrid Junker
• Kerstin Neumann
• Thomas Altmann
• Evgeny Gladilin

抄録

背景:

大量の画像データの自動セグメンテーションは、ハイスループット植物表現型解析の主要なボトルネックの一つです。発達中の植物の動的な光学的外観、不均一なシーン照明、植物と背景領域の影と反射は、単一モーダル植物画像の自動セグメンテーションを複雑にしています。非モーダルデータの曖昧な色情報の問題を克服するために、異なるモダリティの画像を仮想的なマルチスペクトルキューブに結合することができます。しかし、フォトチェンバー間での植物の移動に起因する動きのアーチファクトのために、マルチモーダル画像のアライメントはしばしばぼやけたアーチファクトによって損なわれます。

Background: Automated segmentation of large amount of image data is one of the major bottlenecks in high-throughput plant phenotyping. Dynamic optical appearance of developing plants, inhomogeneous scene illumination, shadows and reflections in plant and background regions complicate automated segmentation of unimodal plant images. To overcome the problem of ambiguous color information in unimodal data, images of different modalities can be combined to a virtual multispectral cube. However, due to motion artefacts caused by the relocation of plants between photochambers the alignment of multimodal images is often compromised by blurring artifacts.

結果:

ここでは、蛍光（FLU）と可視光（VIS）カメラ画像の共同登録に基づいた温室植物画像の自動セグメンテーションのアプローチを紹介します。我々の実験結果は、手動でセグメンテーションされた地上真実データとの直接比較を含むもので、異なるカメラビューから異なる発達段階で取得された異なる種類の植物の画像は、我々の2段階の登録分類アプローチを使用して、平均的な精度で（ ）で自動的にセグメンテーションできることを示しています。

Results: Here, we present an approach to automated segmentation of greenhouse plant images which is based on co-registration of fluorescence (FLU) and of visible light (VIS) camera images followed by subsequent separation of plant and marginal background regions using different species- and camera view-tailored classification models. Our experimental results including a direct comparison with manually segmented ground truth data show that images of different plant types acquired at different developmental stages from different camera views can be automatically segmented with the average accuracy of ( ) using our two-step registration-classification approach.

結論:

温室内の植物や背景の外観が大きく変化する任意の温室内画像の自動セグメンテーションは、不変性の検出に依存したデータ分類技術にとっては困難な課題である。単一モーダル画像解析の限界を克服するために、蛍光画像と可視光画像を組み合わせて解析する2段階のレジストレーション分類アプローチを開発しました。実験結果は、このアルゴリズムアプローチが異なるFLU/VIS植物画像の正確なセグメンテーションを可能にし、完全自動化されたハイスループットな方法での応用に適していることを示している。

Conclusion: Automated segmentation of arbitrary greenhouse images exhibiting highly variable optical plant and background appearance represents a challenging task to data classification techniques that rely on detection of invariances. To overcome the limitation of unimodal image analysis, a two-step registration-classification approach to combined analysis of fluorescent and visible light images was developed. Our experimental results show that this algorithmic approach enables accurate segmentation of different FLU/VIS plant images suitable for application in fully automated high-throughput manner.

© The Author(s) 2020.