限制超級(jí)人工智能，需要中國(guó)參與

文 賽斯·鮑姆 編譯 孫夢(mèng)璠

限制超級(jí)人工智能，需要中國(guó)參與

文 賽斯·鮑姆 編譯 孫夢(mèng)璠

一旦機(jī)器人進(jìn)化成為超級(jí)人工智能，人類(lèi)極有可能完全無(wú)法招架或反攻。這種強(qiáng)弱形勢(shì)跟人和動(dòng)物差不多—無(wú)論雞或豬如何努力，都無(wú)法擺脫由人類(lèi)主宰的命運(yùn)。

賽斯·鮑姆為美國(guó)非營(yíng)利智庫(kù)全球風(fēng)險(xiǎn)研究所執(zhí)行理事，也是生命未來(lái)研究所的資助對(duì)象，資助項(xiàng)目名為“超級(jí)人工智能安全發(fā)展路徑評(píng)估”

人工智能使人類(lèi)受益良多。隨著科技不斷進(jìn)步，人工智能仍將為人類(lèi)帶來(lái)便利；但同時(shí)，與其他科技一樣，人工智能也可能造成危害。

當(dāng)今國(guó)際上關(guān)于人工智能的爭(zhēng)論主要集中于自主武器，即能夠在無(wú)人干預(yù)情況下獨(dú)立搜索、識(shí)別并攻擊目標(biāo)的新式武器。目前，人類(lèi)還在控制著攻擊行為的決策過(guò)程，包括遠(yuǎn)程無(wú)人機(jī)攻擊在內(nèi)；僅有極少的情況不由人類(lèi)決策，例如邊境自動(dòng)防御系統(tǒng)。但是，自主武器的廣泛應(yīng)用或許并不久遠(yuǎn)。

自主武器的優(yōu)勢(shì)早已為人熟知—讓士兵免受戰(zhàn)場(chǎng)傷害，同時(shí)避免了無(wú)人機(jī)操作者的疲勞問(wèn)題。但另一方面，自主武器在識(shí)別攻擊對(duì)象的過(guò)程中，可能為了完成任務(wù)而毫無(wú)人性地傷害人類(lèi)，導(dǎo)致更多人員傷亡。基于種種原因，人們開(kāi)始反對(duì)自主武器，出現(xiàn)了Campaign to Stop Killer Robots（禁止機(jī)器人殺手運(yùn)動(dòng)）之類(lèi)的國(guó)際非政府組織。

英國(guó)牛津大學(xué)哲學(xué)教授尼克·博斯特羅姆（Nick Bostrom）、美國(guó)加利福尼亞大學(xué)伯克利分校人工智能研究專(zhuān)家斯圖爾特·羅素（Stuart Russell）以及美國(guó)麻省理工學(xué)院物理學(xué)家馬克斯·泰格馬克（Max Tegmark）都曾表示對(duì)超級(jí)人工智能風(fēng)險(xiǎn)性的擔(dān)憂。幾年前，我曾在《技術(shù)預(yù)測(cè)與社會(huì)變革》期刊上發(fā)表文章，文中我收集了很多人工智能專(zhuān)家對(duì)超級(jí)人工智能的研究。我發(fā)現(xiàn)很多專(zhuān)家都在關(guān)注超級(jí)人工智能話題，包括超級(jí)人工智能是否會(huì)出現(xiàn)、何時(shí)將出現(xiàn)、可能帶來(lái)何種結(jié)果等。

對(duì)超級(jí)人工智能這種不可逆技術(shù)而言，前瞻性政策更顯必要。超級(jí)人工智能的智慧程度遠(yuǎn)勝于人類(lèi)，足以找到對(duì)抗人類(lèi)行動(dòng)的方法，所以我們不可能中途阻止它。如果不想落入這樣的被動(dòng)境地，就必須防患于未然，在超級(jí)人工智能科技誕生之前，主動(dòng)制定相關(guān)管理政策。

諸多專(zhuān)家認(rèn)為，如果超級(jí)人工智能沒(méi)有被極其謹(jǐn)慎地設(shè)計(jì)，最有可能的后果便是——趕盡殺絕地球上的人類(lèi)。機(jī)器人總是按部就班地執(zhí)行命令，或許未來(lái)可以創(chuàng)造出一款能夠正確理解人類(lèi)意圖的超級(jí)人工智能機(jī)器人。但如果沒(méi)有這套嚴(yán)密的程式算法，超級(jí)人工智能機(jī)器人便有可能違背人的本意，例如為了達(dá)成設(shè)定目標(biāo)而傷害他人。

舉一個(gè)超級(jí)人工智能可能傷害人類(lèi)的例子。假設(shè)人類(lèi)研發(fā)出一款比“深藍(lán)”（Deep Blue，1997年戰(zhàn)勝了世界冠軍卡斯巴洛夫的超級(jí)計(jì)算機(jī)）更加高級(jí)的超級(jí)智能機(jī)器人，因?yàn)樘爸悄堋?，它可能?huì)竭盡所能搜刮一切可用的計(jì)算資源，把整個(gè)地球乃至宇宙變成一個(gè)擁有更強(qiáng)下棋能力的巨型機(jī)器人；因?yàn)樘爸悄堋?，它有能力抵抗人?lèi)對(duì)自己的阻礙行為，人類(lèi)及地球上的其他生物可能相繼死于機(jī)器人的手下。這些聽(tīng)起來(lái)或許有些可笑，但確實(shí)是超級(jí)人工智能存在潛在風(fēng)險(xiǎn)的運(yùn)行邏輯。

超級(jí)人工智能或許比《終結(jié)者》《黑客帝國(guó)》等電影中出現(xiàn)的邪惡機(jī)器人更具威脅。類(lèi)似電影中出現(xiàn)的人類(lèi)和機(jī)器人的“世界大戰(zhàn)”根本不可能發(fā)生，因?yàn)橐坏C(jī)器人進(jìn)化成為超級(jí)人工智能，人類(lèi)極有可能完全無(wú)法招架或反攻。這種強(qiáng)弱形勢(shì)跟人和動(dòng)物差不多——無(wú)論雞或豬如何努力，都無(wú)法擺脫由人類(lèi)主宰的命運(yùn)。

限制超級(jí)人工智能政策最重要的原則應(yīng)為：不在存在風(fēng)險(xiǎn)的條件下開(kāi)發(fā)超級(jí)人工智能。這一點(diǎn)必須各國(guó)合作，因?yàn)橹灰幸粋€(gè)國(guó)家為超級(jí)人工智能的研發(fā)開(kāi)閘，便有可能帶來(lái)不可逆轉(zhuǎn)的災(zāi)難。每個(gè)國(guó)家都應(yīng)該加入這場(chǎng)保護(hù)人類(lèi)免遭超級(jí)人工智能技術(shù)摧毀的戰(zhàn)斗，尤其是那些最有可能研發(fā)出此項(xiàng)技術(shù)的國(guó)家。

我有些同事質(zhì)疑國(guó)際合作的可能性，他們大多來(lái)自美國(guó)或歐洲，認(rèn)為其他國(guó)家不會(huì)有合作意愿，歐美才是親密同盟。其中，中國(guó)正是他們口中最常被提及、有可能制造危險(xiǎn)性超級(jí)人工智能的國(guó)家。

坦率講包括中美在內(nèi)的很多國(guó)家間仍存在緊張關(guān)系與沖突，這也是我的美國(guó)同事們認(rèn)為中國(guó)可能研發(fā)危險(xiǎn)性超級(jí)人工智能的原因之一。同樣，我也不會(huì)驚訝部分中國(guó)人對(duì)美國(guó)存有類(lèi)似的擔(dān)憂。

但我不認(rèn)同他們的觀點(diǎn)。首先，他們低估了國(guó)際社會(huì)主動(dòng)應(yīng)對(duì)的能力。當(dāng)前關(guān)于自主武器的辯論，已經(jīng)讓我們看到了國(guó)際社會(huì)的積極行動(dòng)力。其次，他們低估了中國(guó)對(duì)世界安全積極貢獻(xiàn)的能力。例如，冷戰(zhàn)期間，在蘇聯(lián)和美國(guó)生產(chǎn)著數(shù)以萬(wàn)計(jì)對(duì)世界存在破壞性威脅的核武器時(shí)，中國(guó)則僅持有數(shù)以百計(jì)的核武器，維持著規(guī)模更小、對(duì)世界更加安全的核武器儲(chǔ)備。

有人可能認(rèn)為，中國(guó)之所以沒(méi)有參與美蘇核武器軍備競(jìng)賽，是因?yàn)樨?cái)力、技術(shù)的匱乏。沒(méi)錯(cuò)，過(guò)去幾十年里可能是這樣，但現(xiàn)在已經(jīng)完全不同了。崛起的中國(guó)已成為世界兩大經(jīng)濟(jì)體之一，但仍然沒(méi)有加入美俄核均勢(shì)戰(zhàn)略中。相反，美國(guó)麻省理工學(xué)院副教授傅泰林、美國(guó)蘭德智庫(kù)麥艾文博士及美國(guó)國(guó)家安全委員會(huì)研究顯示，中國(guó)從毛澤東時(shí)代起就持有反對(duì)核武器競(jìng)賽的一貫政策。中國(guó)能夠避免核武器軍備競(jìng)賽，也有能力避免開(kāi)發(fā)危險(xiǎn)性的超級(jí)人工智能。

中國(guó)已成為與美國(guó)等少數(shù)國(guó)家比肩的世界主要大國(guó)之一，未來(lái)的幾十年甚至更長(zhǎng)時(shí)間里仍將保持上升態(tài)勢(shì)。很多專(zhuān)家認(rèn)為，研發(fā)超級(jí)人工智能需要數(shù)十年、上百年或者更久。到那時(shí)，中國(guó)可能在國(guó)際社會(huì)中承擔(dān)著更加重要的角色，我希望中國(guó)當(dāng)今的年輕人仔細(xì)思考這個(gè)問(wèn)題。

在防備危險(xiǎn)性超級(jí)人工智能方面，中國(guó)可以考慮采取下面幾項(xiàng)措施：

首先，積極參與目前關(guān)于自主武器的辯論。盡管自主武器和超級(jí)人工智能大有不同，但限制自主武器需要國(guó)內(nèi)外共同協(xié)作，也將使人工智能科技安全發(fā)展有例可援。最近，馬薩諸塞大學(xué)阿默斯特分校查理·卡彭特（Charli Carpenter）教授在美國(guó)《外交》雜志中，通過(guò)援引美國(guó)民意調(diào)查數(shù)據(jù)，力證自主武器與“公共良心”相悖而違反了國(guó)際法。中國(guó)也應(yīng)該進(jìn)行類(lèi)似的民意調(diào)查。

其次，邀請(qǐng)國(guó)內(nèi)外人工智能專(zhuān)家、風(fēng)險(xiǎn)安全專(zhuān)家和政策制定者參與公開(kāi)對(duì)話。這不僅有助于政策制定做到“兼聽(tīng)”，也有助于培養(yǎng)潛在超級(jí)人工智能締造者、人工智能專(zhuān)家群體的責(zé)任意識(shí)。索各種工種以及經(jīng)濟(jì)將會(huì)受到的影響，進(jìn)而分析不同的稅收、福利、教育、創(chuàng)新等政策會(huì)帶來(lái)怎樣的結(jié)果?！爸挥形覀兏逦亓私膺@些狀況后，政府以及個(gè)人才會(huì)做出更加明智的決定?！?/p>

與AI影響下的失業(yè)以及經(jīng)濟(jì)優(yōu)化這些貼近現(xiàn)實(shí)的研究相比，對(duì)超級(jí)人工智能的研究更為理論。這個(gè)項(xiàng)目由旨在為人類(lèi)對(duì)抗威脅提供解決方案的全球風(fēng)險(xiǎn)研究所承接。

完成理論項(xiàng)目并不比解決現(xiàn)實(shí)問(wèn)題更容易。全球風(fēng)險(xiǎn)研究所的執(zhí)行理事賽斯·鮑姆說(shuō)：“項(xiàng)目研究最大的困難在于這是一項(xiàng)根本不存在的技術(shù)，甚至未來(lái)是否會(huì)出現(xiàn)也是問(wèn)題。”

賽斯和他的團(tuán)隊(duì)將根據(jù)既有的信息，利用故障樹(shù)形圖和影響圖等風(fēng)險(xiǎn)決策分析方面的方法構(gòu)建模型，試圖模擬出超級(jí)人工智能的發(fā)展路徑以及不同的決策對(duì)這些路徑的影響。

正確理解人類(lèi)意圖很重要

現(xiàn)階段，麥克斯最擔(dān)心的是以純粹的“目標(biāo)導(dǎo)向”來(lái)發(fā)展人工智能的趨勢(shì)。

“機(jī)器沒(méi)有邪惡或者善良之分。機(jī)器只會(huì)更加智能，變得更‘自信’，它確信能夠?qū)崿F(xiàn)目標(biāo)。如果你有一個(gè)非?！孕拧冶饶愀心芰Φ臋C(jī)器，它去完成它的一個(gè)目標(biāo)任務(wù)時(shí)，你沒(méi)有辦法去阻止它。”他說(shuō)。類(lèi)似的場(chǎng)景在熱播美劇《硅谷》中有所呈現(xiàn)—一輛無(wú)人駕駛的汽車(chē)按照既定程序開(kāi)到了一個(gè)孤島上，坐在車(chē)?yán)锏腏ared完全無(wú)法阻止已經(jīng)啟動(dòng)了程序的汽車(chē)，被迫困在車(chē)?yán)镩L(zhǎng)達(dá)4天多。

所以，如何讓機(jī)器或者說(shuō)人工智能不僅僅是去實(shí)現(xiàn)目標(biāo)，而是去理解人們的真實(shí)想法，也是FLI資助很多項(xiàng)目的研究重點(diǎn)。

杜克大學(xué)的一個(gè)研究團(tuán)隊(duì)就嘗試綜合運(yùn)用計(jì)算機(jī)科學(xué)、哲學(xué)和心理學(xué)的方法，去建立一個(gè)能夠在現(xiàn)實(shí)場(chǎng)景中進(jìn)行合理道德判斷和決策的人工智能系統(tǒng)，類(lèi)似于權(quán)利（比如人類(lèi)才有的隱私權(quán)）、角色（比如作為一個(gè)家庭成員）、過(guò)去的行為（比如承諾）、動(dòng)機(jī)與目的等影響道德判斷的因素都會(huì)被AI系統(tǒng)加入進(jìn)去。

尼克說(shuō)自己無(wú)法精確回答自己的項(xiàng)目研究究竟能帶來(lái)什么。對(duì)于這些人類(lèi)未知之事的研究，他認(rèn)為，重要的是保持好的心態(tài)，“這是一個(gè)非常新的領(lǐng)域。帶著開(kāi)放的心態(tài)不斷地去靠近、探索是很重要的?；蛟S對(duì)外行人來(lái)說(shuō)，他們很難去評(píng)估這些研究。而我們關(guān)注的點(diǎn)在于不斷地迎接我們所面臨的知識(shí)挑戰(zhàn)，取得實(shí)際意義上的進(jìn)步，而非迎合某些人的好奇心。”

尼克覺(jué)得，現(xiàn)在很多名人被喜歡沖突的媒體塑造成了“AI反對(duì)者”，“對(duì)人工智能未來(lái)的發(fā)展而言，持極端看法是非常有害的。”事實(shí)上，對(duì)AI保持警惕的馬斯克也投資了一家發(fā)展人工智能的公司DeepMind和一家專(zhuān)注于讓機(jī)器人能像人一樣思考的公司Vicarious。

麥克斯認(rèn)為，“我們并不想減緩一般的AI研究，只是會(huì)加速關(guān)于AI安全的研

FLI資助的項(xiàng)目

資助金額最高項(xiàng)目

項(xiàng)目名稱：人工智能戰(zhàn)略研究中心

項(xiàng)目負(fù)責(zé)人：Nick Bostrom

所在單位：牛津大學(xué)

資助金額：$1,500,000

資助金額最低項(xiàng)目

項(xiàng)目名稱：通過(guò)類(lèi)人概念的學(xué)習(xí)教人工智能系統(tǒng)人類(lèi)的價(jià)值觀

項(xiàng)目負(fù)責(zé)人：Kaj Sotala

所在單位：泰斯研究所

資助金額：$20,000

計(jì)算機(jī)科學(xué)(約占50%)

代表項(xiàng)目：驗(yàn)證AI系統(tǒng)深層次的數(shù)學(xué)特性

項(xiàng)目負(fù)責(zé)人：Alex Aiken

所在單位：斯坦福大學(xué)

資助金額：$100,813

政策(約占20%)

代表項(xiàng)目：人工智能戰(zhàn)略研究中心

項(xiàng)目負(fù)責(zé)人：Nick Bostrom

所在單位：牛津大學(xué)

資助金額：$1,500,000

教育(約占15%)

代表項(xiàng)目：人工智能研究者的理性工具

項(xiàng)目負(fù)責(zé)人：Anna Salamon

所在單位：應(yīng)用理性中心

資助金額：$111,757

法律、倫理和經(jīng)濟(jì)(約占15%)

代表項(xiàng)目：理解并減少人工智能對(duì)金融系統(tǒng)的威脅

項(xiàng)目負(fù)責(zé)人：Michael Wellman

所在單位：密歇根大學(xué)

資助金額：$200,000

代表項(xiàng)目：人工智能經(jīng)濟(jì)的優(yōu)化過(guò)渡

項(xiàng)目負(fù)責(zé)人：Michael Webb

所在單位：斯坦福大學(xué)

資助金額：$76,318

代表項(xiàng)目：人工智能與工作的未來(lái)

項(xiàng)目負(fù)責(zé)人：Moshe Vardi

所在單位：萊斯大學(xué)

資助金額：$69,000究。我們像是在跟AI所帶來(lái)的風(fēng)險(xiǎn)競(jìng)賽。目前還沒(méi)有什么事情在發(fā)生，但有可能一下子事情就發(fā)生了。我們希望開(kāi)發(fā)人工智能的人也去思考下這些問(wèn)題?！?/p>

在FIL官網(wǎng)的在線問(wèn)答中，一位網(wǎng)友發(fā)問(wèn)：“當(dāng)達(dá)到甚至超越人類(lèi)水平的人工智能出現(xiàn)的時(shí)候，人類(lèi)還能控制世界嗎？”FIL回復(fù)說(shuō)，如果人類(lèi)不再是這個(gè)星球上最聰明的物種，很難講人類(lèi)是否還能重新控制它?，F(xiàn)在FIL正在借助“鋼鐵俠”的資本和世界上最強(qiáng)大的大腦來(lái)應(yīng)對(duì)未來(lái)人類(lèi)可能面臨的AI風(fēng)險(xiǎn)。■