人工智能導(dǎo)致世界末日的可能性有多大？

編譯 高地雪

1945年，就在美國于新墨西哥州沙漠進(jìn)行第一次核彈試驗(yàn)之前，參與制造核彈的物理學(xué)家之一恩里科 ? 費(fèi)米（Enrico Fermi）和他的科學(xué)家同事們打了個(gè)賭：爆炸的熱量是否會(huì)在大氣中引發(fā)核大火？若果真如此，這場大火會(huì)只摧毀新墨西哥州嗎？還是說整個(gè)世界都會(huì)被它吞噬？（這次核試驗(yàn)并不像費(fèi)米惡作劇式的賭注所暗示的那么輕率：另一位物理學(xué)家漢斯 ? 貝特計(jì)算過，幾乎絕不可能產(chǎn)生這樣的火海煉獄。）

如今，對“存在性風(fēng)險(xiǎn)”的擔(dān)憂并不僅僅存在于軍事科學(xué)家內(nèi)部——存在性風(fēng)險(xiǎn)指那些對整個(gè)人類物種而非人類個(gè)體構(gòu)成威脅的風(fēng)險(xiǎn)。核戰(zhàn)爭、核冬天、瘟疫（無論是新冠病毒這樣的自然瘟疫還是人為因素導(dǎo)致的瘟疫）、小行星撞擊等都有可能消滅大部分乃至全體人類。最新的末日威脅則是人工智能。2023年5月，該領(lǐng)域的一群杰出人士簽署了一封只有一句話的公開信，信中寫道：“減輕人工智能帶來的人類滅絕風(fēng)險(xiǎn)，應(yīng)該與大流行病和核戰(zhàn)爭等其他影響社會(huì)的大規(guī)模風(fēng)險(xiǎn)一同成為全球性的優(yōu)先事項(xiàng)?！?/p>

但什么程度的擔(dān)憂才算得上理性呢？7月10日，包括芝加哥聯(lián)邦儲備銀行的經(jīng)濟(jì)學(xué)家埃茲拉 ? 卡格爾（Ez r a K a rge r）和賓夕法尼亞大學(xué)的政治學(xué)家菲利普 ? 泰特洛克（Philip Tetlock）在內(nèi)的一個(gè)研究團(tuán)隊(duì)發(fā)表了一篇研究手稿，試圖通過系統(tǒng)地調(diào)查兩類不同的專家來闡明這個(gè)問題。調(diào)查的第一類是主題專家，或者說“領(lǐng)域?qū)＜摇保簿褪呛藨?zhàn)爭、生物武器、人工智能和人類滅絕本方面的專家。另一組接受調(diào)查的則是“超級預(yù)測者”，這是一群在各種話題上（從選舉結(jié)果到戰(zhàn)爭爆發(fā)）都有準(zhǔn)確預(yù)測記錄的通用預(yù)測家。

研究人員招募了89名超級預(yù)測者、65名領(lǐng)域?qū)＜液?5名更廣泛地研究“滅絕風(fēng)險(xiǎn)”的專家。被召集的“先知”們要考慮兩種不同類型的災(zāi)難，其中對“災(zāi)難”的定義是僅殺死世界上10%的人口，也即大約8億人的事件。（作為對比，第二次世界大戰(zhàn)估計(jì)導(dǎo)致了當(dāng)時(shí)全球20億人口中約3%的人喪生。）對“滅絕”的定義則是消滅了所有人、最多只留下5 000個(gè)幸運(yùn)（可能也是一種不幸）的生還者的事件。

我們要走一起走

研究人員要求這兩組人員估計(jì)各種事件發(fā)生的可能性，從人工智能導(dǎo)致滅絕或核戰(zhàn)爭這樣的末日事件，到諸如人工智能的能力是否會(huì)產(chǎn)生令人擔(dān)憂的進(jìn)步這樣較小的問題——這類進(jìn)步也許會(huì)成為通往未來災(zāi)難道路上的路標(biāo)。

這項(xiàng)研究得出的最引人注目的結(jié)論是，對于未來，那些在有關(guān)存在性風(fēng)險(xiǎn)的公共對話中傾向于起主導(dǎo)作用的領(lǐng)域?qū)＜宜坪醣瘸夘A(yù)測者更為悲觀。專家們估計(jì)，到2100年，發(fā)生災(zāi)難的可能性約為20%，滅絕的可能性約為6%，而超級預(yù)測者給出的概率分別是9%和1%。

這個(gè)巨大的分歧掩蓋了一些有趣的細(xì)節(jié)。在考慮人工智能帶來的風(fēng)險(xiǎn)時(shí)，兩組之間的差異是最大的。超級預(yù)測者估計(jì)，到21世紀(jì)末，人工智能導(dǎo)致災(zāi)難的可能性中位數(shù)為2.1%，人工智能導(dǎo)致滅絕的可能性中位數(shù)為0.38%。相比之下，人工智能專家認(rèn)為這兩種事件發(fā)生的概率分別為12%和3%。在談到大流行病時(shí)，對于自然發(fā)生的疾病帶來的風(fēng)險(xiǎn)，超級預(yù)測者比領(lǐng)域?qū)＜腋鼮楸^。

其中最有趣的結(jié)果或許在于，盡管兩組人在風(fēng)險(xiǎn)的確切大小上存在分歧，但無論是在考慮災(zāi)難或滅絕時(shí)，他們都認(rèn)為人工智能是最大的擔(dān)憂。參與這項(xiàng)研究的超級預(yù)測者丹 ? 梅蘭德（Dan Mayland）說，人工智能的風(fēng)險(xiǎn)被如此強(qiáng)調(diào)的原因之一在于，它在核武器等其他風(fēng)險(xiǎn)上起到了“力量倍增器”的作用。就像核戰(zhàn)爭或小行星撞擊一樣，人工智能（比如說，以武裝機(jī)器人的形式出現(xiàn)）可以直接殺死人類。但它也可以用來磨利另一位劊子手的斧頭。例如，如果人們使用人工智能來輔助設(shè)計(jì)更強(qiáng)大的生物武器，那對隨后發(fā)生的任何災(zāi)難而言，它就是間接但根本的原因。

然而，盡管超級預(yù)測者對人工智能持悲觀態(tài)度，但他們的態(tài)度相對而言也不是那么確定。世界已經(jīng)與核武器共存了近80年。核戰(zhàn)爭尚未發(fā)生，這為預(yù)測它未來是否可能發(fā)生提供了寶貴的數(shù)據(jù)。至少從“人工智能”這個(gè)詞當(dāng)前的意義來說，它比核武器新得多?，F(xiàn)代、強(qiáng)大的機(jī)器學(xué)習(xí)模型的出現(xiàn)可以追溯到21世紀(jì)10年代初期，而且該領(lǐng)域仍在快速發(fā)展。這樣一來，作為預(yù)測基礎(chǔ)的歷史數(shù)據(jù)就要少得多了。

泰特洛克博士在預(yù)測未來的問題上做了大量工作。正是他首先發(fā)現(xiàn)并命名了“超級預(yù)測者”，這是一群似乎在各個(gè)領(lǐng)域都非常擅長預(yù)測未來發(fā)展的人。這些人有一些共同的特點(diǎn)，比如謹(jǐn)慎、數(shù)字化的思維，以及對可能使他們誤入歧途的認(rèn)知偏差的意識。盡管超級預(yù)測者缺乏特定的專業(yè)知識，但有扎實(shí)可靠的記錄表明，他們在從金融到地緣政治的技術(shù)領(lǐng)域都有過優(yōu)于專家的出色表現(xiàn)。

兩組人員之間的差異，在一定程度上反映出了他們心中世界運(yùn)作模式的不同。災(zāi)難性風(fēng)險(xiǎn)不僅取決于一項(xiàng)技術(shù)的復(fù)雜或強(qiáng)大程度，還取決于人類對它的反應(yīng)。例如，在冷戰(zhàn)初期的恐慌過后，美國和蘇聯(lián)這兩個(gè)世界上最大的核大國開始了合作。像“莫斯科-華盛頓熱線”、彼此檢查武器的協(xié)議以及旨在限制核武庫規(guī)模的條約等舉措都有助于降低核戰(zhàn)爭的風(fēng)險(xiǎn)。

但是對于社會(huì)將如何應(yīng)對人工智能造成的小規(guī)模損害，超級預(yù)測者和人工智能專家的觀點(diǎn)非常不同。超級預(yù)測者傾向于認(rèn)為，這種損害將促使更嚴(yán)格的審查和監(jiān)管出臺，以避免過后出現(xiàn)更大的問題。相較之下，領(lǐng)域?qū)＜覄t傾向于認(rèn)為，哪怕已經(jīng)了造成真正的危害，商業(yè)和地緣政治動(dòng)機(jī)仍可能會(huì)壓倒對安全問題的擔(dān)憂。

超級預(yù)測者和專家們對于智能本身的極限也持有不同看法。參與這項(xiàng)研究的另一位超級預(yù)測者克里斯特 ? 莫雷爾（Kjirste Morrell）簡單地說：“要?dú)⒐馑腥丝刹皇羌菀椎氖隆！彼赋?，這樣做可能需要一定程度的與物理世界互動(dòng)的能力……要想達(dá)到這一點(diǎn)，多半需要在機(jī)器人技術(shù)方面取得很大的進(jìn)步。

當(dāng)然，這種預(yù)測的根本問題在于，與反復(fù)發(fā)生的低風(fēng)險(xiǎn)事件（如預(yù)測股價(jià)走勢或選舉結(jié)果）不同，我們永遠(yuǎn)沒有辦法知道哪一方更接近真正的風(fēng)險(xiǎn)水平。但是，如果超級預(yù)測者們?nèi)绱松瞄L預(yù)測，而專家們又有如此豐富的專業(yè)知識，那么你至少可以期待這兩個(gè)群體會(huì)相互影響彼此的信念。

解讀符文

這項(xiàng)研究試圖通過小組討論、對優(yōu)質(zhì)論點(diǎn)提供金錢獎(jiǎng)勵(lì)等方式鼓勵(lì)這種相互勸說。然而——這也許令人驚訝——雙方都堅(jiān)決地堅(jiān)持自己的立場。（一位人工智能專家認(rèn)為“審議疲勞”是問題所在，換句話說，雙方都已因?yàn)榇饲氨灰笞龀龅乃蓄A(yù)測而筋疲力盡了。）

如果有了新的證據(jù)，改變想法或是預(yù)測者們所謂的“更新先例”可能會(huì)變得更容易一些。因此，卡格爾博士和泰特洛克博士希望能收集些新證據(jù)。他們要求目前這項(xiàng)研究的參與者回答另一組關(guān)于一系列“早期預(yù)警指標(biāo)”的問題，這些指標(biāo)將表明世界是否正在走向一種或另一種災(zāi)難性情景。例如，大型人工智能訓(xùn)練中使用的計(jì)算機(jī)能量也許可以被用來跟蹤該領(lǐng)域的總體進(jìn)展。決定核武器控制條約最終命運(yùn)的可能會(huì)是另一個(gè)因素。這些較短期的問題中有一部分將在2024年和2030年之前得到解決，希望它們能夠讓我們大致明白應(yīng)該更認(rèn)真地對待哪一方的預(yù)測，從而搞清楚我們應(yīng)該擔(dān)憂到什么程度。