강화학습 기반의 에이전트를 사용한 MMORPG 환경에서의 밸런싱 지원 도구 연구

Abstract

MMORPG 수천명의 사용자에 의해 동시에 상호작용하는 구조를 이루고 있기 때문에 게임요소 사이의 균형을 유지하기 어렵다. 이 때문에 게임디자인 과정에서 예측하지 못한 부정적 게임플레이가 발생할수 있으며, 이는 게임의 질을 떨어뜨리고 개발 비용을 상승시키는 요인이 된다. 성공적인 서비스를 위해 게임밸런싱은 매우 중요한요소 이지만, 게일의 규모가 커지고 더 다양한컨텐츠를 제공함에 따라 게임의 균형을 유지하는 일은 더어려워지고 많은 개발비용과 시간을 요구하게 되었다. 본 논문에서는 게임 밸런싱과 관련된 문제를 디자인 과정에서 최대한 예측하고 해결하기 위한 방법으로 강화 학습기반의 가상 사용자를 통한 게임밸런싱 지원도 구를 제안한다. 이 도구를 사용하면 주어진 게임 환경에서 최적의 행동을 찾고, 행동 선택의 과정을 분석함으로써 미세 게임요소 사이의 관계를 파악 할수 있다. 이를 통해 게임요소가 의도대로 작동하는지 검증할수있는 토대가 되는 자료를 제공할수있다. 본 논문에서는 이를 검증하기 위하여 프로토 타입을 제작하고 밸런싱 과정을 실험한다. 단순화된 MMORPG의 1:1 전투를 구현하고, 강화학습에이전트가 최적행동을 학습하게하였다. 보상테이블 분석을 통해 게임요소사이의 관계를 파악하고 문제의 원인과 해결 방법을 유추하는 과정을 반복하면서 더나은 게임 밸런스를 유지할수있었다. 또한 이 프로토타입 시스템에 다른 게임 요소를 추가하면서 누적적으로 확장하는 방법으로 게임전체에 적용 가능한 밸런싱 지원 도구 시스템의 가능성을 보였다. 본 논문에서 제안한 강화학습 기반의 에이전트를 사용한 게임 밸런싱 지원 도구는 경험적 설계 방법론과 테스트 방법론의 약점을 보완하고, 게임요소 분석을 통해 미세 게임밸런싱을 지원할수있다.