XDream。生成的ネットワークと勾配のない最適化を用いて、視覚ニューロンのための好ましい刺激を見つける

XDream: Finding preferred stimuli for visual neurons using generative networks and gradient-free optimization.

• Will Xiao
• Gabriel Kreiman

抄録

感覚神経科学における長年の疑問は、どのような刺激がニューロンの発火を促すのかということである。効果的な刺激の特徴付けは、従来、直感、先行研究からの洞察、運の組み合わせに基づいて行われてきました。XDream (EXtending DeepDream with real-time evolution for activation maximization)と呼ばれる新しい手法は、生成的ニューラルネットワークと遺伝的アルゴリズムをクローズドループで組み合わせて、マカクの視覚野のニューロンに強い刺激を作り出すものである。ここではXDreamの性能を網羅的かつ体系的に評価しています。ニューロンのインシリコモデルとしてConvNetユニットを使用することで、生物学的ニューロンでは不可能な実験を可能にしています。この手法がブルートフォース探索と比較してどうなのか、また、異なるニューロンや処理段階への一般化がどうなのかを評価しました。また、デザインとパラメータの選択についても検討しました。XDreamは、ビジュアル・ユニットに関する予備知識がなくても、ビジュアル・ユニットの優先的な特徴を効率的に見つけることができます。XDreamは、異なるレイヤー、アーキテクチャ、発達レジームに外挿し、ブルートフォース探索よりも優れた性能を発揮し、100万枚以上の画像を網羅的にサンプリングするよりも優れた性能を発揮することがあります。さらに、XDreamは複数の画像生成器、最適化アルゴリズム、ハイパーパラメータの選択にもロバストであり、局所的に最適に近いパフォーマンスを発揮します。最後に、問題に応じたパラメータのチューニングには大きなメリットはありませんでした。これらの結果は、XDreamを用いて生物学的製剤の神経コーディングを調査する際の期待値を確立し、実用的な推奨事項を提供しています。全体的に見て、XDreamは広大で多様な刺激空間を用いてニューロンのチューニングの好みを明らかにするための効率的で一般的、かつロバストなアルゴリズムです。XDreamはPythonで実装されており、MITライセンスでリリースされており、Linux、Windows、MacOSで動作します。

A longstanding question in sensory neuroscience is what types of stimuli drive neurons to fire. The characterization of effective stimuli has traditionally been based on a combination of intuition, insights from previous studies, and luck. A new method termed XDream (EXtending DeepDream with real-time evolution for activation maximization) combined a generative neural network and a genetic algorithm in a closed loop to create strong stimuli for neurons in the macaque visual cortex. Here we extensively and systematically evaluate the performance of XDream. We use ConvNet units as in silico models of neurons, enabling experiments that would be prohibitive with biological neurons. We evaluated how the method compares to brute-force search, and how well the method generalizes to different neurons and processing stages. We also explored design and parameter choices. XDream can efficiently find preferred features for visual units without any prior knowledge about them. XDream extrapolates to different layers, architectures, and developmental regimes, performing better than brute-force search, and often better than exhaustive sampling of >1 million images. Furthermore, XDream is robust to choices of multiple image generators, optimization algorithms, and hyperparameters, suggesting that its performance is locally near-optimal. Lastly, we found no significant advantage to problem-specific parameter tuning. These results establish expectations and provide practical recommendations for using XDream to investigate neural coding in biological preparations. Overall, XDream is an efficient, general, and robust algorithm for uncovering neuronal tuning preferences using a vast and diverse stimulus space. XDream is implemented in Python, released under the MIT License, and works on Linux, Windows, and MacOS.