日本語AIでPubMedを検索
計算メモリに基づく混合精度ディープラーニング
Mixed-Precision Deep Learning Based on Computational Memory.
PMID: 32477047 PMCID: PMC7235420. DOI: 10.3389/fnins.2020.00406.
抄録
ディープニューラルネットワーク(DNN)は人工知能の分野に革命を起こし、画像認識や音声認識などの認知タスクにおいて前例のない成功を収めてきました。しかし、大規模なDNNの学習は計算量が多く、このため、このアプリケーションを対象とした新しい計算機アーキテクチャの研究が盛んに行われています。クロスバーアレイで構成されたナノスケールの抵抗性メモリデバイスを備えた計算メモリユニットは、シナプスの重みをコンダクタンス状態で保存し、高価な重み付け和算を非ボン・ノイマン的にその場で実行することができます。しかし、重み更新プロセスの間に信頼性の高い方法でコンダクタンス状態を更新することは、このような実装の訓練精度を制限する根本的な課題である。ここでは、重み付けされた和算と不正確なコンダクタンス状態の更新を実行する計算メモリユニットと、重み付けされた更新を高精度に蓄積するデジタル処理ユニットを組み合わせた高精度混在アーキテクチャを提案する。相変化メモリ（PCM）アレイを用いた本アーキテクチャに基づく多層パーセプトロンのハードウェア/ソフトウェア複合訓練実験では，MNISTデータセットに基づく手書き数字の分類において，ソフトウェアベースラインの0.6%以内で97.73%の試験精度を達成した．さらに、畳み込み型ニューラルネットワーク、長短記憶ネットワーク、生成的逆説ネットワークという幅広い種類のネットワーク上で、PCMの正確な動作モデルを用いて評価しています。浮動小数点実装に匹敵する精度は、PCMデバイスに関連する非理想性に制約されることなく達成されています。システムレベルでの研究では、多層パーセプトロンの学習に使用した場合、32ビットの完全デジタル専用実装と比較して、アーキテクチャのエネルギー効率が172倍向上していることを実証しています。
Deep neural networks (DNNs) have revolutionized the field of artificial intelligence and have achieved unprecedented success in cognitive tasks such as image and speech recognition. Training of large DNNs, however, is computationally intensive and this has motivated the search for novel computing architectures targeting this application. A computational memory unit with nanoscale resistive memory devices organized in crossbar arrays could store the synaptic weights in their conductance states and perform the expensive weighted summations in place in a non-von Neumann manner. However, updating the conductance states in a reliable manner during the weight update process is a fundamental challenge that limits the training accuracy of such an implementation. Here, we propose a mixed-precision architecture that combines a computational memory unit performing the weighted summations and imprecise conductance updates with a digital processing unit that accumulates the weight updates in high precision. A combined hardware/software training experiment of a multilayer perceptron based on the proposed architecture using a phase-change memory (PCM) array achieves 97.73% test accuracy on the task of classifying handwritten digits (based on the MNIST dataset), within 0.6% of the software baseline. The architecture is further evaluated using accurate behavioral models of PCM on a wide class of networks, namely convolutional neural networks, long-short-term-memory networks, and generative-adversarial networks. Accuracies comparable to those of floating-point implementations are achieved without being constrained by the non-idealities associated with the PCM devices. A system-level study demonstrates 172 × improvement in energy efficiency of the architecture when used for training a multilayer perceptron compared with a dedicated fully digital 32-bit implementation.
Copyright © 2020 Nandakumar, Le Gallo, Piveteau, Joshi, Mariani, Boybat, Karunaratne, Khaddam-Aljameh, Egger, Petropoulos, Antonakopoulos, Rajendran, Sebastian and Eleftheriou.