分散型マルチエージェント強化学習における気配りな関係性状態表現

Attentive Relational State Representation in Decentralized Multiagent Reinforcement Learning.

• Xiangyu Liu
• Ying Tan

抄録

マルチエージェント強化学習(MARL)では、各エージェントが隣人との関係をモデル化することが重要である。既存のアプローチでは、通常、複数の隣人の特徴を連結し、入力のサイズと同一性を固定することに頼っている。しかし、これらの設定は柔軟性に欠け、スケーラブルではない。本論文では、分散型MARLの状態表現のために、任意のサイズの隣接する特徴セットを注意を払って集約するために、新しいスケーラブルなフィードフォワードニューラルモジュールであるattentive relational encoder (ARE)を提案する。本研究では、この手法を用いることで、隣接するエージェントからの関連情報を積極的に選択し、順列不変で計算効率が高く、インタラクティブなマルチエージェントシステムに柔軟に対応できることを実証した。我々の手法は、いくつかのマルチエージェントタスクにおいて、最新の競合する分散型MARL手法を一貫して上回る性能を示した。特に、困難なStarCraftのマイクロマネジメントタスクにおいて強力な協調性能を示し、最も困難な非不正行為を行わない組み込み人工知能ボットに対して96%以上の勝率を達成しました。

In multiagent reinforcement learning (MARL), it is crucial for each agent to model the relation with its neighbors. Existing approaches usually resort to concatenate the features of multiple neighbors, fixing the size and the identity of the inputs. But these settings are inflexible and unscalable. In this article, we propose an attentive relational encoder (ARE), which is a novel scalable feedforward neural module, to attentionally aggregate an arbitrary-sized neighboring feature set for state representation in the decentralized MARL. The ARE actively selects the relevant information from the neighboring agents and is permutation invariant, computationally efficient, and flexible to interactive multiagent systems. Our method consistently outperforms the latest competing decentralized MARL methods in several multiagent tasks. In particular, it shows strong cooperative performance in challenging StarCraft micromanagement tasks and achieves over a 96% winning rate against the most difficult noncheating built-in artificial intelligence bots.