😇
Deep Multi-Agent Reinforcement Learning
  • Deep Multi-Agent Reinforcement Learning
  • Abstract & Contents
    • Abstract
  • 1. Introduction
    • 1. INTRODUCTION
      • 1.1 The Industrial Revolution, Cognition, and Computers
      • 1.2 Deep Multi-Agent Reinforcement-Learning
      • 1.3 Overall Structure
  • 2. Background
    • 2. BACKGROUND
      • 2.1 Reinforcement Learning
      • 2.2 Multi-Agent Settings
      • 2.3 Centralized vs Decentralized Control
      • 2.4 Cooperative, Zero-sum, and General-Sum
      • 2.5 Partial Observability
      • 2.6 Centralized Training, Decentralized Execution
      • 2.7 Value Functions
      • 2.8 Nash Equilibria
      • 2.9 Deep Learning for MARL
      • 2.10 Q-Learning and DQN
      • 2.11 Reinforce and Actor-Critic
  • I Learning to Collaborate
    • 3. Counterfactual Multi-Agent Policy Gradients
      • 3.1 Introduction
      • 3.2 Related Work
      • 3.3 Multi-Agent StarCraft Micromanagement
      • 3.4 Methods
        • 3.4.1 Independent Actor-Critic
        • 3.4.2 Counterfactual Multi-Agent Policy Gradients
        • 3.4.2.1 baseline lemma
        • 3.4.2.2 COMA Algorithm
      • 3.5 Results
      • 3.6 Conclusions & Future Work
    • 4 Multi-Agent Common Knowledge Reinforcement Learning
      • 4.1 Introduction
      • 4.2 Related Work
      • 4.3 Dec-POMDP and Features
      • 4.4 Common Knowledge
      • 4.5 Multi-Agent Common Knowledge Reinforcement Learning
      • 4.6 Pairwise MACKRL
      • 4.7 Experiments and Results
      • 4.8 Conclusion & Future Work
    • 5 Stabilizing Experience Replay
      • 5.1 Introduction
      • 5.2 Related Work
      • 5.3 Methods
        • 5.3.1 Multi-Agent Importance Sampling
        • 5.3.2 Multi-Agent Fingerprints
      • 5.4 Experiments
        • 5.4.1 Architecture
      • 5.5 Results
        • 5.5.1 Importance Sampling
        • 5.5.2 Fingerprints
        • 5.5.3 Informative Trajectories
      • 5.6 Conclusion & Future Work
  • II Learning to Communicate
    • 6. Learning to Communicate with Deep Multi-Agent ReinforcementLearning
      • 6.1 Introduction
      • 6.2 Related Work
      • 6.3 Setting
      • 6.4 Methods
        • 6.4.1 Reinforced Inter-Agent Learning
        • 6.4.2 Differentiable Inter-Agent Learning
      • 6.5 DIAL Details
      • 6.6 Experiments
        • 6.6.1 Model Architecture
        • 6.6.2 Switch Riddle
        • 6.6.3 MNIST Games
        • 6.6.4 Effect of Channel Noise
      • 6.7 Conclusion & Future Work
    • 7. Bayesian Action Decoder
      • 7.1 Introduction
      • 7.2 Setting
      • 7.3 Method
        • 7.3.1 Public belief
        • 7.3.2 Public Belief MDP
        • 7.3.3 Sampling Deterministic Partial Policies
        • 7.3.4 Factorized Belief Updates
        • 7.3.5 Self-Consistent Beliefs
      • 7.4 Experiments and Results
        • 7.4.1 Matrix Game
        • 7.4.2 Hanabi
        • 7.4.3 Observations and Actions
        • 7.4.4 Beliefs in Hanabi
        • 7.4.5 Architecture Details for Baselines and Method
        • 7.4.6 Hyperparamters
        • 7.4.7 Results on Hanabi
      • 7.5 Related Work
        • 7.5.1 Learning to Communicate
        • 7.5.2 Research on Hanabi
        • 7.5.3 Belief State Methods
      • 7.6 Conclusion & Future Work
  • III Learning to Reciprocate
    • 8. Learning with Opponent-Learning Awareness
      • 8.1 Introduction
      • 8.2 Related Work
      • 8.3 Methods
        • 8.3.1 Naive Learner
        • 8.3.2 Learning with Opponent Learning Awareness
        • 8.3.3. Learning via Policy gradient
        • 8.3.4 LOLA with Opponent modeling
        • 8.3.5 Higher-Order LOLA
      • 8.4 Experimental Setup
        • 8.4.1 Iterated Games
        • 8.4.2 Coin Game
        • 8.4.3 Training Details
      • 8.5 Results
        • 8.5.1 Iterated Games
        • 8.5.2 Coin Game
        • 8.5.3 Exploitability of LOLA
      • 8.6 Conclusion & Future Work
    • 9. DiCE: The Infinitely Differentiable Monte Carlo Estimator
      • 9.1 Introduction
      • 9.2 Background
        • 9.2.1 Stochastic Computation Graphs
        • 9.2.2 Surrogate Losses
      • 9.3 Higher Order Gradients
        • 9.3.1 Higher Order Gradient Estimators
        • 9.3.2 Higher Order Surrogate Losses
        • 9.3.3. Simple Failing Example
      • 9.4 Correct Gradient Estimators with DiCE
        • 9.4.1 Implement of DiCE
        • 9.4.2 Casuality
        • 9.4.3 First Order Variance Reduction
        • 9.4.4 Hessian-Vector Product
      • 9.5 Case Studies
        • 9.5.1 Empirical Verification
        • 9.5.2 DiCE For multi-agent RL
      • 9.6 Related Work
      • 9.7 Conclusion & Future Work
  • Reference
    • Reference
  • After
    • 보충
    • 역자 후기
Powered by GitBook
On this page

Was this helpful?

  1. I Learning to Collaborate
  2. 5 Stabilizing Experience Replay
  3. 5.3 Methods

5.3.2 Multi-Agent Fingerprints

Importance Sampling을 통해서는 unbiased estimate을 얻을 순 있지만, importance weights자체가 unbound되어있기 때문에, variance를 제어할 방법이 또 필요합니다. 보통 truncate해서 사용할 수 있지만, 이를 사용하는 것 자체가 실험을 통해 적당한 값을 찾아야만하고, 이는 truncate하는 양이 클수록 biased됩니다. 결과적으로 이 chapter에서는 MARL에서 발생하는 non-stationary를 교정하기보다 포용하는 방식으로 진행됩니다.

다시 한번 IQL의 단점을 살펴보자면 다른 agents의 policies가 변하기 때문에 non-stationary하다는 점인데, 그렇다면 이는 다른말로, 다른 agent들의 policies를 조건에 두어 Q function을 만들면 stationary해진다는 것 입니다. 이 아이디어는 hyper Q-learning에서의 아이디어를 기반으로 합니다. 각 agent들의 state space는 다른 agents들의 policies를 Bayesian inference를 통해 추정한 값을 가집니다. 이는 직관적으로 각각의 agent의 학습을 stationary하게하지만 환경이 복잡해짐을 의미합니다.

현실적으로 이 hyper Q-learning의 단점은, Q function의 차원이 커질수록 학습이 어려워진다는 점입니다. hyper Q-learning의 network가 다른 agent의 policies를 observation function에 넣기위해 다른 모든 agent들의 network parameter θ−a \theta^{-a}θ−a를 넣는다면, 새로운 observation function은 다음과 같이 정의됩니다. O′(s)={O(s),θ−a} O'(s) = \{O(s),\theta^{-a}\} O′(s)={O(s),θ−a}당연하게도 이를 Neural Network에 이용하는 것은 θ−a \theta^{-a}θ−a의 크기를 감당할 수 없습니다.

하지만 생각해보면, replay memory에서 우리가 사용하는 한 agent의 action probability는 policy network의 큰 parameter space에서 생성된 scalar입니다. 만약 각 agent의 observation이 이 trajectories가 어디서왔는지 충분히 명확하다면 이는 experience replay를 안정적으로 만들 수 있습니다.

그렇다면, 어떻게 충분한 정보를 가진 낮은 차원의 fingerprint(색인 정도로 해석할 수 있겠지만)를 만들 수 있을 것인지에 대한 대답을 구하면 됩니다. 이는 실제 다른 agent들의 state-action pair와 correlated되어야하며, policy학습에 generalization을 할 수 있어야 합니다. fingerprint의 한 후보로는 training iteration number가 있는데 이 문제점은 policies가 수렴한다면 여러 fingerprint에 대해 같은 값을 가져 결국 학습에 문제를 줄 수 있습니다.

다른 후보로는 exploration rate입니다. 이는 계속 감쇄하는 성질을 가지고 있는데, 이는 꽤나 괜찮은 성질을 가지고 있습니다. 학습이 진행될수록 낮은 값을 가지고 있고, 학습의 성능에도 크게 correlated됐기 때문입니다. 그러므로 Q-function에 이 exploration rate ϵ \epsilonϵ를 넣어 학습시키는 것이 괜찮은 대안이 될 수 있다는 것을 생각해보았고 이후에 실험에서 이게 꽤나 효과적임을 볼 수 있습니다.

Previous5.3.1 Multi-Agent Importance SamplingNext5.4 Experiments

Last updated 4 years ago

Was this helpful?