人工智能：在視頻游戲中理解常識(shí)

編譯 秦雪

一種稱為深度學(xué)習(xí)的人工智能技術(shù)目前正在用來(lái)模擬空間導(dǎo)航，這種人工智能系統(tǒng)建立了一種空間的表現(xiàn)，類似于在哺乳動(dòng)物大腦內(nèi)發(fā)現(xiàn)的網(wǎng)格細(xì)胞。

OpenAI5在多人戰(zhàn)略游戲Dota2的熱身比賽中擊敗了人類玩家

近日，研究人工智能（AI）和電腦游戲的科學(xué)家將一起觀摩最新的人機(jī)對(duì)抗比賽。比賽不是單個(gè)沉思的玩家對(duì)抗電腦，而是由5名頂級(jí)視頻游戲玩家組成的團(tuán)隊(duì)對(duì)抗名為OpenAI 5的機(jī)器人團(tuán)隊(duì)。在游戲中，玩家將瘋狂施展魔法、投擲虛擬火球，與機(jī)器人一較高下。即將在加拿大溫哥華舉行的年度電子競(jìng)技國(guó)際錦標(biāo)賽中，游戲玩家將進(jìn)行實(shí)時(shí)戰(zhàn)略游戲Dota2。該比賽吸引了眾多職業(yè)玩家來(lái)爭(zhēng)奪數(shù)百萬(wàn)美元的獎(jiǎng)金。

1997年，IBM的“深藍(lán)”擊敗了國(guó)際象棋世界冠軍加里·卡斯帕羅夫（Garry Kasparov）。2016年，DeepMind的AlphaGo在中國(guó)傳統(tǒng)圍棋比賽中擊敗了世界圍棋大師李世石，另外，計(jì)算機(jī)在跳棋和某些形式的撲克比賽中也擊敗了人類。但是快節(jié)奏的多人游戲會(huì)帶來(lái)不同的挑戰(zhàn)，協(xié)作和管理的不可預(yù)測(cè)性對(duì)計(jì)算機(jī)來(lái)說(shuō)是另一種挑戰(zhàn)。這一新的挑戰(zhàn)的目標(biāo)是常識(shí)，我們依靠常識(shí)來(lái)幫助我們處理真實(shí)世界的情況，比如交通導(dǎo)航和家庭護(hù)理等，對(duì)于機(jī)器人來(lái)說(shuō)，即使不用面對(duì)某種魔法，這也是一個(gè)不小的挑戰(zhàn)。

“人工智能的下一個(gè)大事件是合作?！眰惗卮髮W(xué)學(xué)院的計(jì)算機(jī)科學(xué)家王軍（Jun Wang，音譯）說(shuō)道，王軍參與了另一款實(shí)時(shí)策略游戲《星際爭(zhēng)霸II》（StarCraft II）的開(kāi)發(fā)。英國(guó)牛津大學(xué)的計(jì)算機(jī)科學(xué)家雅各布·福爾斯特（Jakob Foerster）說(shuō)道，這需要“戰(zhàn)略推理，即理解他人的動(dòng)機(jī)”，他也是星際爭(zhēng)霸II的研究者之一。

Dota2（魔獸爭(zhēng)霸II）于2013年發(fā)布，在全球擁有數(shù)百萬(wàn)玩家。比賽中，玩家團(tuán)隊(duì)在防守自己的地盤的同時(shí)，努力摧毀敵方的地盤，在這個(gè)過(guò)程中同時(shí)也要為增加自己的力量和技能而收集資源。一場(chǎng)勢(shì)均力敵的比賽可持續(xù)約45分鐘。2017年，加州舊金山的非營(yíng)利研究機(jī)構(gòu)OpenAI透露說(shuō)，他們已開(kāi)發(fā)了一種可在一對(duì)一比賽中擊敗最優(yōu)秀人類選手的人工智能。不過(guò)，OpenAI的聯(lián)合創(chuàng)始人兼首席技術(shù)官格雷格·布洛克曼（Greg Brockman）表示，國(guó)際比賽中五對(duì)五的比賽對(duì)計(jì)算機(jī)來(lái)說(shuō)是一個(gè)更大的挑戰(zhàn)，因?yàn)楸荣悤r(shí)間更長(zhǎng)、比賽場(chǎng)景更無(wú)序。盡管如此，在上周的熱身活動(dòng)中，OpenAI5輕松擊敗了一組前職業(yè)玩家。在現(xiàn)場(chǎng)直播觀眾面前輸?shù)舯荣惖耐だ睿╓illiam“Blitz”Lee）說(shuō)道，“被非人類打敗真的很尷尬，我們一直被壓著打?！?/p>

在Dota2游戲中，每一個(gè)動(dòng)作可選擇策略的范圍比國(guó)際象棋或圍棋要大得多，玩家每次做出動(dòng)作選擇和決策時(shí)都可有成千上

萬(wàn)種選擇，比如，從哪里逃走，選用哪個(gè)魔法，瞄準(zhǔn)哪個(gè)目標(biāo)等。如此多的自由選擇，再加上游戲固有的隨機(jī)性，以及玩家看不到的某些因素，意味著你每走一步都不可能對(duì)游戲做出完全的預(yù)測(cè)。在國(guó)際象棋和圍棋中，計(jì)算機(jī)算法可使用搜索樹(shù)，深入分析未來(lái)分支的可能走向，而在Dota2游戲中，對(duì)未來(lái)的預(yù)測(cè)很快就會(huì)變得模糊不清。

因此，OpenAI5使用的是神經(jīng)網(wǎng)絡(luò)，而不是依賴于搜索樹(shù)。神經(jīng)網(wǎng)絡(luò)技術(shù)是受大腦功能啟發(fā)而開(kāi)發(fā)的一種計(jì)算機(jī)算法，即在對(duì)反饋?zhàn)龀鲰憫?yīng)的過(guò)程中，強(qiáng)化較小計(jì)算元素之間的聯(lián)系，AlphaGo也利用了將神經(jīng)網(wǎng)絡(luò)與搜索樹(shù)結(jié)合在一起的計(jì)算機(jī)算法。在訓(xùn)練過(guò)程中，系統(tǒng)摸索體驗(yàn)游戲中的不同動(dòng)作，采取的動(dòng)作效果良好時(shí)，負(fù)責(zé)這些行為的神經(jīng)網(wǎng)絡(luò)關(guān)系會(huì)得到強(qiáng)化。在經(jīng)歷了海量的游戲設(shè)置或游戲玩法后，強(qiáng)大的游戲策略隨之產(chǎn)生。OpenAI就是應(yīng)用了這種方法，在數(shù)千臺(tái)計(jì)算機(jī)上大規(guī)模運(yùn)行該算法，即所謂的強(qiáng)化學(xué)習(xí)?！癘penAI5是我所見(jiàn)過(guò)的最令人驚嘆的強(qiáng)化學(xué)習(xí)演示之一，”哥本哈根信息技術(shù)大學(xué)的計(jì)算機(jī)科學(xué)家尼爾斯·賈斯森（Niels Justesen）說(shuō)道，賈斯森也是星際爭(zhēng)霸II的研究開(kāi)發(fā)者之一。

英國(guó)法爾茅斯大學(xué)研究人工智能和計(jì)算機(jī)游戲的計(jì)算機(jī)科學(xué)家邁克爾·庫(kù)克（Michael Cook）對(duì)這次熱身表演賽解析道，OpenAI 5能夠戰(zhàn)勝人類玩家依靠的是“對(duì)某些動(dòng)作擁有超人計(jì)算能力的結(jié)果”。例如，擊敗某個(gè)特定的攻擊動(dòng)作將有可能重創(chuàng)對(duì)手。OpenAI的反應(yīng)時(shí)間與人類玩家相當(dāng)，約為1/5秒，但在這一瞬間，系統(tǒng)可比人類大腦處理更多信息，在人類與計(jì)算機(jī)的巔峰對(duì)決中，這種徹底性和精確性對(duì)于對(duì)手來(lái)說(shuō)是足以致命的，導(dǎo)致產(chǎn)生了“一種類似于閃電戰(zhàn)的游戲方式”，庫(kù)克說(shuō)。這種能力令人驚嘆，但這種咄咄逼人的攻勢(shì)掩蓋了其在長(zhǎng)期戰(zhàn)略中可能會(huì)表現(xiàn)出來(lái)的弱點(diǎn)，“在一場(chǎng)失敗的游戲中，人工智能代表的人物角色需要更多時(shí)間來(lái)增強(qiáng)自身能力，而且它無(wú)法做出調(diào)整?！睅?kù)克說(shuō)道。

從表面判斷，OpenAI 5的合作似乎也很成功，人工智能的5名選手都很愿意為團(tuán)隊(duì)的整體利益而犧牲，個(gè)體的犧牲對(duì)于整個(gè)團(tuán)隊(duì)可能是有利的?！斑@些機(jī)器人玩家非常具有犧牲精神?！崩钫f(shuō)。而人類玩家不太可能為勝利而放棄某個(gè)成員，他說(shuō)：“貪欲在人類的想法中是非常普遍的?！倍斯ぶ悄懿灰粯?，它們所依賴的是一種蜂群思維，這種思維方式讓協(xié)調(diào)與合作變得更加容易。計(jì)算機(jī)系統(tǒng)中5個(gè)玩家的每一個(gè)都擁有幾乎相同的算法，它們都能看到其他人眼中看到的東西，而人類只能看到自己在屏幕上看到的東西，只有通過(guò)交談才能分享各自的信息。王軍教授說(shuō)，無(wú)論是在游戲中還是在現(xiàn)實(shí)生活中，要與其他人或與他們不一樣的計(jì)算機(jī)程序合作，計(jì)算機(jī)算法最終將需要開(kāi)發(fā)出各種溝通技巧和“心智理論”，即探知他人想法和愿望的模式。

星際爭(zhēng)霸II是許多人工智能研究人員更喜歡研究的游戲，如果有長(zhǎng)期規(guī)劃可能更好。王說(shuō)，這很像經(jīng)濟(jì)學(xué)上的模式，它要管理一個(gè)殖民地的資源，就要建造一些武器工廠。對(duì)于人工智能探知對(duì)方思維的能力，其他游戲可能會(huì)比魔獸爭(zhēng)霸提供更好的測(cè)試，福爾斯特提到了一些戰(zhàn)略桌上游戲，如《卡坦島》（Settlers of Catan）和《大戰(zhàn)役》（Risk），在這些游戲中，要在多個(gè)玩家間進(jìn)行談判、交易和結(jié)盟，包括合作和競(jìng)爭(zhēng)。

即便如此，Dota2仍然是人工智能研究中一個(gè)有價(jià)值的測(cè)試。許多專家預(yù)測(cè)，OpenAI5將在國(guó)際比賽中獲勝。但是，德國(guó)多特蒙德工業(yè)大學(xué)的計(jì)算機(jī)科學(xué)家瓦妮莎·沃爾茲（Vanessa Volz）發(fā)現(xiàn)了一個(gè)潛在的不足之處，即OpenAI5的算法訓(xùn)練時(shí)用的是自己和自己玩的模式。她說(shuō)，“這種方法的不足之處是，如果遇到之前未玩過(guò)的游戲方式，就很容易招來(lái)敗績(jī)?！陛斀o了人工智能的李世石亦有同感。他說(shuō)：“目前這個(gè)機(jī)器人有點(diǎn)死板，開(kāi)始變得有些可預(yù)測(cè)，我覺(jué)得如果我和它再多下幾盤棋，我們就有可能擊敗它?！薄?/p>

資料來(lái)源 Science

本文作者馬修·赫特森（Matthew Hutson）是《科學(xué)》雜志的專欄作者，主要撰寫人工智能、機(jī)器人、網(wǎng)絡(luò)安全和物聯(lián)網(wǎng)相關(guān)的文章。