タイル分割法を用いた層状皮質シートを用いたスパイクネットワークモデルの大規模シミュレーション

Large-Scale Simulation of a Layered Cortical Sheet of Spiking Network Model Using a Tile Partitioning Method.

• Jun Igarashi
• Hiroshi Yamaura
• Tadashi Yamazaki

抄録

計算神経科学と高性能計算機の大きな課題の一つは、スーパーコンピュータを用いて、神経細胞やシナプス可塑性のスパイクを持つヒューマンスケールの全脳モデルの計算機シミュレーションを行うことです。このようなシミュレーションを実現するためには、対象となるネットワークモデルを複数の計算ノードに分割し、異なるノード間でスパイク情報を通信しながらサブネットワークモデルを並列に実行する必要があります。しかし、次世代のスーパーコンピュータで効率的な計算を行うためには、ターゲットネットワークモデルをどのように分割すればよいのかは不明な点が多い。具体的には、プロセッサやメモリに比べてネットワーク性能が相対的に遅いため、計算ノード間でのスパイク情報の通信を減らすことが重要である。生物学的特徴の観点から、大脳皮質と小脳は、ニューロンとシナプスの99％を含み、層状のシート構造を形成しています。したがって、ネットワークを効率的に分割するには、この層状シート構造を利用する必要がある。本研究では、タイル分割法が効率的な通信につながることを示した。これを実証するために、上記のようにネットワークモデルを分割するシミュレーションソフトウェアMONET(Millefeuille-like Organization NEural neTwork simulator)を開発した。MONETシミュレータは、82,944個の計算ノードからなる日本のフラッグシップスーパーコンピュータ「京」に実装されています。本研究では、現実的な解剖学的・生理学的パラメータを持つ大脳皮質モデルを対象に、タイル分割法における計算性能、通信性能、メモリ消費量について検討した。その結果、タイル分割法では、ネットワーク通信をDRAMアクセスに置き換え、隣接するニューロンと通信データを共有することで、通信データ量を大幅に削減できることがわかった。大脳皮質モデルでは、最大63,504個の計算ノードでタイル分割法のスケーラビリティと効率性を確認しました。Yamauraらの論文では、小脳モデルの性能を調べました。これらの結果は、超大規模計算機を用いた人間規模の全脳シミュレーションにおいて、タイル分割法が有利であることを示唆しています。

One of the grand challenges for computational neuroscience and high-performance computing is computer simulation of a human-scale whole brain model with spiking neurons and synaptic plasticity using supercomputers. To achieve such a simulation, the target network model must be partitioned onto a number of computational nodes, and the sub-network models are executed in parallel while communicating spike information across different nodes. However, it remains unclear how the target network model should be partitioned for efficient computing on next generation of supercomputers. Specifically, reducing the communication of spike information across compute nodes is essential, because of the relatively slower network performance than processor and memory. From the viewpoint of biological features, the cerebral cortex and cerebellum contain 99% of neurons and synapses and form layered sheet structures. Therefore, an efficient method to split the network should exploit the layered sheet structures. In this study, we indicate that a tile partitioning method leads to efficient communication. To demonstrate it, a simulation software called MONET (Millefeuille-like Organization NEural neTwork simulator) that partitions a network model as described above was developed. The MONET simulator was implemented on the Japanese flagship supercomputer K, which is composed of 82,944 computational nodes. We examined a performance of calculation, communication and memory consumption in the tile partitioning method for a cortical model with realistic anatomical and physiological parameters. The result showed that the tile partitioning method drastically reduced communication data amount by replacing network communication with DRAM access and sharing the communication data with neighboring neurons. We confirmed the scalability and efficiency of the tile partitioning method on up to 63,504 compute nodes of the K computer for the cortical model. In the companion paper by Yamaura et al., the performance for a cerebellar model was examined. These results suggest that the tile partitioning method will have advantage for a human-scale whole-brain simulation on exascale computers.

Copyright © 2019 Igarashi, Yamaura and Yamazaki.