6.2 Related Work

communication의 범위는 굉장히 넓습니다. 언어학, 심리학, 진화론, 그리고 AI까지 많은 분야가 있는데 그중 우리는 AI에 관련해서 생각 해보겠습니다. AI에서 또 범위를 나눠보자면 다음과 같습니다.

• a) predefined communication protocol vs learned communication protocol

• b) planning method vs learning method

• c) evolution vs RL

• d) cooperative vs competitive

이 chapter에서는 cooperative RL learning 에 중점을 두겠습니다. MARL의 communication에 대한 많은 연구가 있지만, 이렇게 중점을 맞추면 생각보다 많은 양의 연구들이 여기서 제외되는데, 보통 미리 정해진 communication protocol을 쓰는 연구들이 많기 때문입니다.

반면에 Kasai의 연구에서는 tabular Q-learning agent들이 predator-prey 문제를 communication을 통해 해결하기 위해 message를 배우는 연구를 진행했습니다. 또 다른 연구로는 evolutionary method를 통해 비슷한 predator-prey문제에서 protocol을 찾으려 노력했습니다. 그들의 접근은 사람이 디자인한 fitness function통해 학습을 진행시키는데, 사실 전반적으로 heuristic하고 handcrafted rule이 주요했습니다. 게다가 task자체가 굉장히 작았기 때문에 evolutionary method가 유효했다고 볼 수 있습니다. 이번 chapter에서 deep representation과 gradient-based optimization를 사용한 것은 연구가 더 나아가기 위한 굉장히 중요한 시작으로 볼 수 있습니.

마지막으로 이번 chapter에서는 discrete communication channel에 대해 고민했습니다. 이 방법의 주된 요소는 decentralized execution중의 signal binarization인데, 이는 최근 낮은 전력량을 사용하는 디바이스에 neural network를 사용하는 연구들과도 연관을 지을 수 있습니다.