1.1 The Industrial Revolution, Cognition, and Computers

증기 기관과 산업 혁명은 빠르게 인간을 기계로 대체했습니다. 이는 인류 사회와 산업을 크게 바꾸었고, 많은 이들을 생산직에서 서비스직으로 바뀌었습니다. 이는 육체적인 힘보다는 인지 능력이 중요하게 된 것입니다. 증기 기관, 화석 연료 및 기타 에너지원이 물리적 노동을 위해 달성한 것처럼 컴퓨팅 기술은 인간의 인식을 필요로 하는 작업에 대해 달성할 수 있어야 합니다. 하지만 그럼에도 컴퓨터와 사이에는 굉장한 차이가 있습니다. 예를 들면, 컴퓨터의 연산은 실리콘안의 deterministic binary gate를 이용해 연산을 하지만, 뇌는 noisy biological neurones 의 probabilistic firing patterns를 통한 연산을 합니다.

역사적으로 AI는 Expert System을 구현하는데 초점이 맞춰진 적이 있는데, 이는 사람에겐 굉장히 사소한일 일수도 있는 일도 기계에겐 어려운 일임이 증명되었습니다.

그러던 중, Machine Learning(ML)이 기계에게 인지적인 능력을 만들 수 있는 대안이 되었는데, 인간이 더이상 문제를 해결하기 위한 룰을 지정해주지 않고도, 학습할 수 있는 룰과 충분한 데이터만으로 이를 가능케 하였습니다. 이는 지난 30여년간 굉장히 많은 분야에 적용되었으며, 가장 최근엔 Deep Learning 분야에서 큰 성공들을 이루었습니다. 이는 주로 많은 양의 데이터와 그에 맞는 결과값을 가지고 있는 Supervised Learning(SL)이라고 불리우는데, SL의 중요한 가정중에 하나는 데이터끼리의 independent함 입니다. 그렇기에 생각보다 많은 현실 문제를 푸는데 제약이 됩니다. 어떤 결정에 따라 미래의 데이터가 바뀐다면, SL의 가정을 위반하는데, 예를 들면 자율주행 자동차는 어느 방향으로 가느냐에 따라 시시각각 들어오는 데이터가 다를 것 입니다. 또한 추천시스템에서도 유저가 추천받은 상황에서 그 추천을 어떻게 이용하느냐에 따라 계속해서 상황은 변화할 것입니다.

이런 상황들을 해결하기 위해 떠오른 것이 Reinforcement Learning(RL)입니다. RL에서의 행동주체를 보통 agent라고 정의하는데, 이 agent가 환경(environment)과 상호작용하며 어떠한 바람직한 행동을 하도록 우리는 만들 수 있습니다. 이 agent는 environment에서 어느 한 시점에 주어지는 상황(state)를 받아 행동(action)을 취하고 그에 따른 보상(reward)를 받게됩니다. 이 때, agent의 action에 따라 당장의 reward가 바뀌는 것 뿐만 아니라 다음 state에 대한 분포도 바꿀 수 있습니다. agent는 이를 사전에 주어진 지식이나 룰이 아닌 environment와 직접 상호작용하며 배워갑니다.