리그가 진행되고 새로운 경쟁자가 만들어지면 이전 전략을 물리 칠 수있는 새로운 카운터 전략이 등장합니다. 일부 새로운 경쟁업체는 이전 전략의 구체화에 불과한 전략을 실행하는 반면, 다른 경쟁업체는 완전히 새로운 빌드 주문, 단위 구성 및 마이크로 관리 계획으로 구성된 대폭적인 새로운 전략을 발견합니다. 예를 들어, AlphaStar 리그 초반에는 광자 대포나 암흑 기사단을 통해 매우 빠른 돌진과 같은 “치즈” 전략이 선호되었습니다. 이러한 위험한 전략은 훈련이 진행됨에 따라 폐기되었으며, 예를 들어 더 많은 근로자와 기반을 과도하게 확장하여 경제적 힘을 확보하거나 두 오라클을 희생하여 상대방의 노동자와 경제를 혼란에 빠뜨리는 등 다른 전략으로 이어졌습니다. 이 과정은 플레이어들이 스타크래프트가 출시된 이후 수년 동안 새로운 전략을 발견하고 이전에 선호했던 접근 방식을 물리칠 수 있었던 방식과 유사합니다. 이제 스타크래프트 II 프로그램인 알파스타(AlphaStar)를 소개합니다. 12월 19일 열린 일련의 테스트 경기에서 AlphaStar는 팀 동료 인 다리오 “TLO” Wünsch와의 벤치마크 경기에서 5-0으로 승리한 후 세계 최강의 프로 스타크래프트 선수 중 한 명인 팀 리퀴드의 그제고르츠 “MaNa” Komincz를 5-0으로 이겼습니다. 경기는 경쟁 사다리지도에 프로 경기 조건과 게임 제한없이 일어났다. 스타크래프트는 단순한 게임일 뿐이지만, AlphaStar의 기술은 다른 문제를 해결하는 데 유용할 수 있다고 생각합니다. 예를 들어, 신경망 아키텍처는 불완전한 정보를 기반으로 수만 번의 움직임으로 최대 1시간 동안 지속되는 게임과 함께 매우 긴 일련의 작업 시퀀스를 모델링할 수 있습니다. 스타크래프트의 각 프레임은 입력의 한 단계로 사용되며, 신경망은 모든 프레임 이후에 게임의 나머지 부분에 대한 예상 동작 순서를 예측합니다. 매우 긴 데이터 시퀀스에 대해 복잡한 예측을 하는 근본적인 문제는 날씨 예측, 기후 모델링, 언어 이해 등과 같은 많은 실제 과제에 나타납니다. AlphaStar 프로젝트의 학습 및 개발을 사용하여 이러한 도메인에서 상당한 발전을 이룰 수 있는 잠재력에 대해 매우 기쁘게 생각합니다.

연구에서 스타크래프트 II 머신 러닝 API 및/또는 PySC2를 사용하는 경우, 스타크래프트 II 종이 인터뷰를 인용하거나 스타크래프트의 봇 탈구에 대한 쇼를 인용해 보시기 바랍니다: 스타크래프트 플레이의 최고 레벨을 달성하는 것은 지금까지 만들어진 가장 복잡한 비디오 게임 중 하나에서 중요한 돌파구를 제공합니다. 우리는 이러한 발전이 AlphaZero 및 AlphaFold와 같은 프로젝트의 다른 최근 진전과 함께 언젠가 세계에서 가장 중요하고 근본적인 과학적 문제에 대한 새로운 해결책을 제시하는 데 도움이 될 지능형 시스템을 만드는 우리의 사명에서 한 걸음 앞으로 나아간 것이라고 믿습니다. AlphaStar는 또한 새로운 다중 에이전트 학습 알고리즘을 사용합니다. 신경망은 처음에 블리자드가 발표한 익명의 인간 게임에서 감독된 학습에 의해 훈련되었습니다. 이를 통해 AlphaStar는 스타크래프트 래더에서 플레이어들이 사용하는 기본 마이크로 및 매크로 전략을 모방하여 배울 수 있었습니다. 이 초기 요원은 게임 중 95%에서 인간 플레이어의 골드 레벨 에 대한 내장 “엘리트” 레벨 AI를 격파했습니다. PySC2는 스타크래프트 II 학습 환경(SC2LE)의 딥마인드의 파이썬 구성 요소입니다. 블리자드 엔터테인먼트의 스타크래프트 II 머신 러닝 API를 파이썬 RL 환경으로 공개합니다. 딥마인드와 블리자드의 협업으로 스타크래프트 II를 RL 연구를 위한 풍부한 환경으로 발전시고자 합니다.