人機(jī)游戲有著悠久的歷史，已經(jīng)成為驗(yàn)證人工智能關(guān)鍵技術(shù)的主流。圖靈測(cè)試可以說是人類首次進(jìn)行人機(jī)對(duì)抗測(cè)試，這激發(fā)了研究人員設(shè)計(jì)各類 AI 來挑戰(zhàn)職業(yè)人類玩家。例如，1989 年研究者開發(fā)了國(guó)際跳棋程序 Chinook，目標(biāo)是擊敗世界冠軍，1994 年 Chinook 打敗了美國(guó)西洋跳棋棋王 Marion Tinsley。在之后的時(shí)間里，IBM 的深藍(lán)在 1997 年擊敗國(guó)際象棋大師 Garry Kasparov，開創(chuàng)了國(guó)際象棋史上的新紀(jì)元。 近年來，我們見證了游戲 AI 的快速發(fā)展，從 Atari、AlphaGo、Libratus、OpenAI Five 到 AlphaStar 。這些 AI 通過結(jié)合現(xiàn)代技術(shù)在某些游戲中擊敗了職業(yè)人類玩家，標(biāo)志著決策智能領(lǐng)域的快速發(fā)展。 AlphaStar（DeepMind 開發(fā)的計(jì)算機(jī)程序） 和 OpenAI Five（美國(guó)人工智能研究和 OpenAI 開發(fā)）分別在星際爭(zhēng)霸和 Dota2 中達(dá)到了專業(yè)玩家水平?，F(xiàn)在看來，目前的技術(shù)可以處理非常復(fù)雜的不完美信息游戲，特別是在最近大火的王者榮耀等游戲中的突破，它們都遵循了類似 AlphaStar 和 OpenAI Five 的框架。我們不禁會(huì)問：人機(jī)游戲 AI 的未來趨勢(shì)或挑戰(zhàn)是什么？來自中國(guó)科學(xué)院自動(dòng)化研究所以及中國(guó)科學(xué)院大學(xué)的研究者撰文回顧了最近典型的人機(jī)游戲 AI，并試圖通過對(duì)當(dāng)前技術(shù)的深入分析來回答這些問題。
論文地址：https://arxiv.org/pdf/2111.07631.pdf具體而言，該研究總共調(diào)查了四種典型的游戲類型，即圍棋棋盤游戲；紙牌游戲（德州撲克 HUNL、斗地主和麻將）；第一人稱射擊類游戲 (FPS)（雷神之錘 III 競(jìng)技場(chǎng)）；實(shí)時(shí)戰(zhàn)略游戲 (RTS)（星際爭(zhēng)霸、Dota2 和王者榮耀） 。上述游戲?qū)?yīng)的 AI 包括 AlphaGo、AlphaGo Zero 、AlphaZero、Libratus、DeepStack、DouZero、Suphx、FTW、AlphaStar、OpenAI Five、JueWu 和 Commander。圖 1 為一個(gè)簡(jiǎn)短的概要：
本文調(diào)查的游戲以及 AI 總體而言：在第 2 節(jié)中，該研究描述了本文涵蓋的游戲和使用的AI；第 3-6 節(jié)分別闡述了棋盤游戲、紙牌游戲、FPS 游戲和 RTS 游戲?qū)?yīng)的 AI；在第 7 節(jié)總結(jié)并比較了各類游戲所使用的不同技術(shù)；在第 8 節(jié)展示了當(dāng)前游戲 AI 面臨的挑戰(zhàn)，這些挑戰(zhàn)可能是該領(lǐng)域未來的研究方向。最后，第 9 節(jié)對(duì)論文進(jìn)行了總結(jié)。 典型的游戲和 AI 下表提取了不同游戲挑戰(zhàn)智能決策的關(guān)鍵因素，如表 1 所示：
上表列出了不同游戲的優(yōu)缺點(diǎn)，我們需要根據(jù)不同的游戲類型，分配不同的 AI。因?yàn)椴煌挠螒蚓哂胁煌奶攸c(diǎn)，其解決方案也各不相同，因此研究者開發(fā)了不同的學(xué)習(xí)策略來構(gòu)建 AI 系統(tǒng)。在本文中，AI 被進(jìn)行不同的分配：AlphaGo、AlphaGo Zero、AlphaZero 用于棋盤游戲；Libratus、DeepStack、DouZero 和 Suphx 分別用于紙牌游戲 HUNL、斗地主和麻將；FTW 用于 FPS 游戲中的雷神之錘 III 競(jìng)技場(chǎng)；AlphaStar、Commander、OpenAI Five 和 JueWu 分別用于星際爭(zhēng)霸、Dota2 和王者榮耀。 不同游戲?qū)?yīng)的 AI 棋盤游戲 AI AlphaGo 系列由 AlphaGo、AlphaGo Zero 和 AlphaZeo 組成。2015 年問世的 AlphaGo 以 5：0 擊敗歐洲圍棋冠軍樊麾，這是軟件首次在全尺寸棋盤對(duì)職業(yè)棋手的比賽中取得這樣的成績(jī)。之后，DeepMind 為 AlphaGo Zero 開發(fā)了新的訓(xùn)練框架，事先無需專業(yè)的人類對(duì)抗數(shù)據(jù)，取得了卓越的表現(xiàn)。AlphaZero，是一種通用強(qiáng)化學(xué)習(xí)算法。AlphaGo 系列總結(jié)如圖 2 所示：
AlphaGo 系列框架圖 紙牌游戲 AI 紙牌游戲作為典型的不完美信息游戲，長(zhǎng)期以來一直是人工智能的挑戰(zhàn)。DeepStack 和 Libratus 是在 HUNL 中擊敗職業(yè)撲克玩家的兩個(gè)典型 AI 系統(tǒng)。它們共享基礎(chǔ)技術(shù)，即這兩者在 CFR 理論上相似。之后，研究人員專注于麻將和斗地主這一新的挑戰(zhàn)。由微軟亞洲研究院開發(fā)的 Suphx 是第一個(gè)在麻將中勝過多數(shù)頂級(jí)人類玩家的人工智能系統(tǒng)。DouZero 專為斗地主設(shè)計(jì)，這是一個(gè)有效的 AI 系統(tǒng)，在 Botzone 排行榜 344 個(gè) AI 智能體中排名第一。紙牌游戲 AI 的簡(jiǎn)要框架如下圖所示：
紙牌游戲 AI 的簡(jiǎn)要框架 第一人稱射擊（FPS）游戲 AI 雷神之錘 III 競(jìng)技場(chǎng)是一款典型的 3D 多人第一人稱視角電子游戲，其中兩個(gè)對(duì)立的團(tuán)隊(duì)在室內(nèi)或室外地圖中相互對(duì)抗。CTF 設(shè)置與當(dāng)下多人電子游戲有很大不同。更具體地說，CTF 中的智能體無法訪問其他玩家的狀態(tài)，此外，團(tuán)隊(duì)中的智能體無法相互通信，這樣的環(huán)境是學(xué)習(xí)智能體進(jìn)行通信和適應(yīng)零樣本生成最優(yōu)測(cè)試平臺(tái)。零樣本意味著智能體進(jìn)行協(xié)作或?qū)共皇墙?jīng)過訓(xùn)練而來的，可以是人類玩家和任意的 AI 智能體訓(xùn)練而來，僅基于像素和人類等游戲點(diǎn)作為智能體的輸入，學(xué)習(xí)智能體 FTW 框架可以達(dá)到人類級(jí)性能。游戲 CTF 的 FTW 框架如下圖所示：
游戲 CTF 的 FTW 框架 RTS 游戲 AI RTS（即時(shí)戰(zhàn)略）游戲作為一種典型的電子游戲，多達(dá)數(shù)萬人相互對(duì)戰(zhàn)，RTS 通常被作為人機(jī)游戲的試驗(yàn)臺(tái)。此外，RTS 游戲通常環(huán)境復(fù)雜，比以往游戲更能捕捉現(xiàn)實(shí)世界的本質(zhì)，這種特性使得此類游戲更具適用性。DeepMind 開發(fā)的 AlphaStar 使用通用學(xué)習(xí)算法，在星際爭(zhēng)霸的所有三個(gè)種族中都達(dá)到了大師級(jí)別，其性能超過 99.8% 的人類玩家（總數(shù)約 90000 名玩家）。Commander 作為輕量級(jí)的計(jì)算版本，遵循 AlphaStar 相同的訓(xùn)練架構(gòu)，使用更少的計(jì)算量級(jí)，并在現(xiàn)場(chǎng)賽事中擊敗兩名特級(jí)高手。OpenAI Five 旨在解決 Dota2 游戲，這是第一個(gè)在電子競(jìng)技游戲中擊敗世界冠軍的 AI 系統(tǒng)。作為與 Dota2 比較相似的電競(jìng)游戲，《王者榮耀》面臨的挑戰(zhàn)最為相似，覺悟成為第一個(gè)可以玩完整 RTS 游戲而不限制英雄池的 AI 系統(tǒng)。典型 RTS 游戲的簡(jiǎn)單 AI 框架如下圖所示：
