馴服明天的怪物

編譯 費(fèi)文緒

一群研究人員正在研究科學(xué)可能會如何毀滅世界，以及如何阻止這種災(zāi)難發(fā)生。

1958年，一顆原子彈在美國的太平洋試驗(yàn)場爆炸。據(jù)我們所知，全球核戰(zhàn)爭是可能結(jié)束人類文明的“生存風(fēng)險”（existential risks）之一。

哲學(xué)家尼克·博斯特羅姆（Nick Bostrom）相信，人工智能（AI）完全有可能導(dǎo)致人類滅絕。在2014年的暢銷書《超級智能：路線、危險與策略》（Superintelligence: Paths, Dangers,Strategies）中，博斯特羅姆描繪了一幅黑暗的圖景——科研人員創(chuàng)造了一臺能夠穩(wěn)定提升自我的機(jī)器。在某個時候，它學(xué)會了從網(wǎng)上交易中賺錢，并且開始在現(xiàn)實(shí)世界中購買商品和服務(wù)。利用郵件定制的DNA，它構(gòu)建了簡單的納米系統(tǒng)，這個納米系統(tǒng)反過來又創(chuàng)造了更多復(fù)雜系統(tǒng)，賦予它愈來愈強(qiáng)的能力來塑造世界。

現(xiàn)在，假設(shè)這個人工智能懷疑人類會干涉它的計(jì)劃，在英國牛津大學(xué)工作的博斯特羅姆寫道。它可能會決定制造小型武器，然后偷偷散布到世界各地?！霸谝粋€預(yù)先設(shè)定的時間，納米工廠生產(chǎn)的神經(jīng)毒氣或者具有目標(biāo)搜索能力的蚊子般的機(jī)器人可能會從地球的每寸土地上同時急速生長?！?/p>

對于博斯特羅姆和其他很多科學(xué)家和哲學(xué)家而言，這樣的情景不僅僅是科幻小說。他們正在研究哪些技術(shù)進(jìn)步導(dǎo)致了“生存風(fēng)險”。據(jù)我們所知：這些風(fēng)險可能會消滅人類或是至少終結(jié)人類文明，為了阻止這種災(zāi)難發(fā)生，我們能夠做什么?！跋胂胛覀冋谂ψ鍪裁矗瑸槟切┛赡芡{人類物種的東西提供科學(xué)紅隊(duì)?！闭軐W(xué)家休·普賴斯（Huw Price）指出，他是英國劍橋大學(xué)生存風(fēng)險研究中心（CSER）的主任。

生存風(fēng)險與《弗蘭肯斯坦》的淵源

科學(xué)會滅絕人類種族的想法可以一直追溯到《弗蘭肯斯坦》。在瑪麗·雪萊（Mary Shelley）的小說中，怪物因?yàn)樗膭?chuàng)造者維克多·弗蘭肯斯坦（Victor Frankenstein）趕走自己而發(fā)怒，殺死了弗蘭肯斯坦的幼弟威廉，隨后向弗蘭肯斯坦博士提出做一筆交易：只要你為我找一位女伴，我會讓你安寧，我們會到南美洲度過余生。弗蘭肯斯坦開始研究為怪物制造新娘，但是意識到這一對怪物可能會繁衍后代而勝過人類：“魔鬼的族群將會在地球上繁殖，可能會導(dǎo)致人類物種的生存處于危險而恐怖的境地?！彼輾ё隽艘话氲呐治?，重新點(diǎn)燃了那個怪物的憤怒，最終導(dǎo)致他自己的滅亡。

“我認(rèn)為《弗蘭肯斯坦》漂亮地描繪了這一點(diǎn)，”美國麻省理工學(xué)院（MIT）物理學(xué)家馬克斯·泰格馬克（Max Tegmark）說，他是CSER董事會成員，同時是MIT附近一個類似智庫“生命未來研究所”（FLI）的共同創(chuàng)立者，“我們?nèi)祟愔饾u研發(fā)出越來越強(qiáng)大的技術(shù)，而且技術(shù)越強(qiáng)大，我們就必須越小心，這樣我們才不會毀在技術(shù)上?！?/p>

對生存風(fēng)險的研究還只是一個很小的領(lǐng)域，在三個研究中心至多只有十幾個人在研究。并非人人都相信這是一個嚴(yán)肅的學(xué)術(shù)意義上的學(xué)科。大多數(shù)終結(jié)文明的情景——包括人造病原體、納米機(jī)器人軍隊(duì)、或者甚至以為我們的世界是一個可能被關(guān)閉的模擬環(huán)境，這些瘋狂的想法都是不可能的，在愛丁堡因諾根研究所研究生命科學(xué)監(jiān)管問題的喬伊斯·泰特（Joyce Tait）指出。唯一真正的存在威脅，她說，是我們熟悉的全球核戰(zhàn)爭。除此之外，“我們看不到其他即將來臨的威脅。”

哈佛大學(xué)心理學(xué)家史蒂芬·平克（Steven Pinker）將生存風(fēng)險稱為一種“無用的目錄”，并且提醒，“弗蘭肯斯坦式幻想”可能會使公眾的注意力偏離可解決的現(xiàn)實(shí)威脅，比如氣候變化和核戰(zhàn)爭?！吧⒉傧霝?zāi)難的恐懼，而遠(yuǎn)非守衛(wèi)人類的未來，可能會危及人類的未來?！彼诩磳⒊霭娴男聲冬F(xiàn)在的啟蒙：理性、科學(xué)、人道主義和進(jìn)步的情況》（Enlightenment Now: The Case for Reason, Science, Humanism, and Progress）中寫道。

但是，生存風(fēng)險研究的擁護(hù)者預(yù)測，只有當(dāng)科學(xué)技術(shù)加速進(jìn)步，這個領(lǐng)域才會變得更重要。正如博斯特羅姆在一篇論文中指出，至今關(guān)于屎殼郎或《星際迷航》的研究，要比對人類滅絕風(fēng)險的研究多得多。“我們有很好的理由說，科學(xué)已經(jīng)基本上忽視了人類滅絕的風(fēng)險問題?！逼召囁拐f。

人類總是面臨過早終結(jié)的可能性。與終結(jié)恐龍時代的小行星同樣大小的另一顆小行星可能會撞擊地球；一次火山災(zāi)難可能遮天蔽日數(shù)年，讓我們大家都挨餓。

但是，源自科學(xué)進(jìn)步的生存風(fēng)險確實(shí)是虛構(gòu)，直到1945年7月16日，世界上第一顆原子彈爆炸?；谝恍┐致缘挠?jì)算，物理學(xué)家愛德華·泰勒（Edward Teller）推斷，這次爆炸可能會引發(fā)全球的連鎖反應(yīng)?！氨M管我們現(xiàn)在知道這樣的后果在物理上是不可能的，它有資格成為當(dāng)時的生存風(fēng)險?！辈┧固亓_姆寫道。20年后，一種真正的生存風(fēng)險出現(xiàn)了，來自日益增加的核武器儲備。物理學(xué)家最終組裝出“弗蘭肯斯坦的新娘”。

一種危險的病原體的釋放，可能導(dǎo)致全人類面臨“生死存亡的緊要關(guān)頭”

生存風(fēng)險研究中心的誕生

其他科學(xué)學(xué)科可能很快提出類似的威脅。“21世紀(jì)，我們將引入全新的現(xiàn)象，使我們用新的力量來重塑世界?！辈┧固亓_姆說。生物技術(shù)變得比核技術(shù)更便宜、更容易操控，納米技術(shù)正在快速發(fā)展。在2011年哥本哈根的一次會議上，愛沙尼亞的計(jì)算機(jī)程序員和網(wǎng)絡(luò)即時通訊軟件Skype的共同開發(fā)者揚(yáng)·塔林（Jaan Tallinn）在和普賴斯共乘的士時，告訴普賴斯自己關(guān)于人工智能的深度恐懼?！拔覐奈从龅竭^像揚(yáng)·塔林那么嚴(yán)肅思考人工智能威脅的人?！碑?dāng)時即將開始在劍橋大學(xué)工作的普賴斯說。

普賴斯把揚(yáng)·塔林介紹給天文學(xué)家、皇家學(xué)會前會長馬丁·里斯（Martin Rees），里斯早就警告大家，隨著科學(xué)進(jìn)步，毀滅人類文明的力量將越來越置于個人手中。這三人一拍即合，決定成立CSER，這是繼博斯特羅姆于2005年在牛津創(chuàng)建的智庫“人類未來研究所”之后，第二個此類研究中心。CSER這個名字是“有意把生存風(fēng)險的概念更加推向主流的努力，”普賴斯說，“我們當(dāng)時意識到人們覺得這些問題有點(diǎn)古怪?！?/p>

CSER延攬了一些名氣很大的支持者：其科學(xué)顧問委員會成員包括物理學(xué)家史蒂芬·霍金（Stephen Hawking）、哈佛大學(xué)生物學(xué)家喬治·丘奇（George Church）、全球健康領(lǐng)導(dǎo)者彼得·皮奧特（Peter Piot）、高科技企業(yè)家埃隆·馬斯克（Elon Musk）。塔林還在2014年共同創(chuàng)立了FLI，丘奇、馬斯克、霍金、博斯特羅姆和里斯都在FLI科學(xué)顧問委員會工作（扮演過上帝的演員摩根·弗里曼也是FLI的顧問）。

CSER的大部分經(jīng)費(fèi)來自基金會和個人，塔林在2017年為生存風(fēng)險的研究人員捐助了大約800萬美元。塔林承認(rèn)，目前為止CSER的學(xué)術(shù)產(chǎn)出是“曇花一現(xiàn)”。但是這個中心建立的初衷是“作為生存風(fēng)險研究的一種訓(xùn)練場?！彼f，其他地方的學(xué)者來訪，然后用思想“感染”他們自己的研究機(jī)構(gòu)。

CSER就在劍橋大學(xué)職業(yè)健康服務(wù)中心旁邊的一棟偏僻的大樓中，面積比一個大房間大不了多少，在CSER工作的十幾個研究人員組織談?wù)?、召集科學(xué)家們討論未來發(fā)展、出版從合成生物學(xué)的調(diào)控到生態(tài)臨界點(diǎn)等話題的著作。他們的很多時間都花費(fèi)在沉思世界末日的圖景和可能的保護(hù)措施。

末日圖景：生物恐怖還是生物失誤？

丘奇用了“生死存亡的緊要關(guān)頭”這個詞，指的是全世界的大部分人口死亡，比全人類完全滅絕更有可能發(fā)生?！澳悴槐匕颜麄€地球變得粉碎?！彼f。大規(guī)模破壞電網(wǎng)和其他服務(wù)或是釋放一種致命的病原體都可能制造混亂，顛覆政府，使人類文明螺旋式衰退。“結(jié)果衰退到中世紀(jì)的文化水平，”丘奇說，“對我而言，這就是人類的終結(jié)?！?/p>

源自生命科學(xué)的生存風(fēng)險也許最容易想象。病原體已經(jīng)證明能夠殺死整個物種，比如受到兩棲類真菌蛙壺菌感染的青蛙族群滅絕。在過去100年中，有四次流感大流行席卷了世界，其中一次流感疫情在1918年和1919年導(dǎo)致多達(dá)5 000萬人死亡。科研人員已經(jīng)通過基因工程技術(shù)培育出在理論上甚至更危險的病原體。公眾擔(dān)心，相關(guān)研究使H5N1型禽流感毒株變得更容易在哺乳動物之間傳染，導(dǎo)致美國叫停了此類研究?？植婪肿踊驘o賴國家可能使用實(shí)驗(yàn)室制造的病媒作為武器，或者經(jīng)過基因工程改造的瘟疫可能會意外釋放。

里斯已經(jīng)公開打賭，到2020年，“生物恐怖或生物失誤將會導(dǎo)致100萬人在單個事件中傷亡。”哈佛大學(xué)微生物學(xué)家馬克·利普希奇（Marc Lipsitch）已經(jīng)計(jì)算出，每年在一個實(shí)驗(yàn)室的研究中，出現(xiàn)實(shí)驗(yàn)室制造的流感病毒導(dǎo)致意外流感疫情爆發(fā)的可能性在千分之一到萬分之一之間。荷蘭鹿特丹伊拉斯姆斯大學(xué)醫(yī)學(xué)院（Erasmus MC）的羅恩·富希耶（Ron Fouchier）不同意這一估計(jì)，他是H5N1型禽流感的研究者之一。他說，真正的風(fēng)險更可能是，每年每個實(shí)驗(yàn)室因?qū)嶒?yàn)室制造的流感病毒導(dǎo)致意外流感疫情爆發(fā)的可能性是330億分之一。

應(yīng)對“生物失誤”的一種措施也許是讓從事具有風(fēng)險實(shí)驗(yàn)的科研人員買保險，這將需要對風(fēng)險進(jìn)行獨(dú)立評估，從而迫使科研人員直面實(shí)驗(yàn)中可能存在的風(fēng)險，利普希奇說。不過，最重要的應(yīng)對措施是提高世界盡早遏制疫情爆發(fā)的能力，他補(bǔ)充道，比如，接種疫苗。“對于生物學(xué)上的風(fēng)險，缺乏全世界真正的大規(guī)模協(xié)同并行的攻擊，我們陷入真正災(zāi)難性的情境的唯一途徑是沒能控制一個更小的情境。”他說。

吃一塹，長一智

病毒不可能殺死僅存的最后一個人類，博斯特羅姆說；對他和其他人而言，人工智能才是提出了真正的存在威脅。大多數(shù)情境都集中在機(jī)器的智能超過人類，稱之為“超級智能”。如果機(jī)器獲得了這樣的超級人工智能，而且具有它自己的意志，那么，它可能變得惡毒，主動尋求毀滅人類，就像斯坦利·庫布里克（Stanley Kubrick）的電影《2001漫游太空》中的計(jì)算機(jī)哈爾（HAL）一樣，它在飛船上變成了歹徒。

大多數(shù)人工智能專家不太擔(dān)心機(jī)器人一起推翻它們的創(chuàng)造者，更擔(dān)心機(jī)器人犯下致命的錯誤。在塔林看來，人工智能可能終結(jié)人類的最合理的方式似乎是：如果它就是去追求自己的目標(biāo)，在此過程中，不小心創(chuàng)造出對人類致命的環(huán)境。“想象一下，氣溫升高或下降了100°C的情形，我們?nèi)祟悳缤霾贿^就是幾分鐘的事情?！彼终f。泰格馬克對此表示贊同：“人工智能的真正問題不是惡意，而是能力不夠，”他說。

當(dāng)今的一個類似情況是2015年的悲劇。一個企圖自殺的德國之翼航空公司飛行員在駕駛飛機(jī)飛到法國境內(nèi)的阿爾卑斯山上空時，向飛機(jī)上的計(jì)算機(jī)下達(dá)指令下降到海拔100米的高度。計(jì)算機(jī)即使有GPS和地形圖，依然遵從了飛行員自殺指令，導(dǎo)致機(jī)上150名乘客和機(jī)組人員全部遇難。“即便是對最簡單的人類目標(biāo)，機(jī)器也毫無頭緒。”泰格馬克說。為了避免此類災(zāi)難，科學(xué)家們正在努力研究如何教會人工智能理解人類的價值觀，并且確保它們遵從，這個問題叫做“價值對齊”（value alignment）。“全職從事人工智能技術(shù)安全研究的科學(xué)家可能不到20人，”博斯特羅姆說，“倘若再多一些杰出人才從事這方面的研究，就可能大幅提高進(jìn)步的速度?！?/p>

評論家認(rèn)為，這些努力不可能有用，因?yàn)槲磥淼耐{本質(zhì)上是不可預(yù)測的。在泰特參與的每個“遠(yuǎn)見訓(xùn)練”中，預(yù)測都是一個問題，她說。“我們?nèi)祟惥褪遣簧瞄L預(yù)測?！奔词鼓泐A(yù)測到了風(fēng)險，經(jīng)濟(jì)、政治和社會的環(huán)境都將會影響風(fēng)險如何發(fā)揮作用。“除非你不僅知道未來將發(fā)生什么，而且知道如何發(fā)生，否則從應(yīng)對措施上來看，你所掌握的信息用處不大。”泰特說。

平克認(rèn)為，世界末日的情景更多揭示的是人類對風(fēng)險的執(zhí)念，而非實(shí)際風(fēng)險?！澳切┓浅２豢赡馨l(fā)生卻會對我們的合理生活產(chǎn)生巨大影響的情景吸引著我們，比如不正當(dāng)性關(guān)系、暴力死亡、白日夢想家沃爾特·米蒂般的輝煌壯舉，”他寫道，“世界末日的故事情節(jié)毫無疑問扣人心弦——它們是對我們病態(tài)執(zhí)念的超常刺激?！碑?dāng)然，他說，你可以想象一個惡意的強(qiáng)大人工智能，人類再也無法控制。“應(yīng)對這一威脅的方法很直截了當(dāng)：那就是壓根不要創(chuàng)造出這樣強(qiáng)大的人工智能?！?/p>

塔林認(rèn)為，確保安全總比遺憾好。2017年的一項(xiàng)調(diào)查顯示，34%的人工智能專家相信，與他們的研究工作相關(guān)的風(fēng)險是重要的問題；5%的專家說它們是“最重要的問題之一”?！跋胂笠幌?，你坐在飛機(jī)上，40%的專家認(rèn)為飛機(jī)上有炸彈，” 塔林說，“你不會等到剩下的專家被說服才采取逃生措施了?！?/p>

普賴斯說，那些指責(zé)他和他的同事們沉迷于科幻小說的評論家并沒有全錯：制造世界末日的情景與瑪麗·雪萊創(chuàng)作《弗蘭肯斯坦》并沒有太大的不同。“第一步是想象那種可能性的范圍，在這一點(diǎn)上，科幻小說與其他形式的文學(xué)作品和電影中用到的想象力很可能是極端重要的?！彼f。

科學(xué)家們有義務(wù)參與其中，泰格馬克說，因?yàn)樯骘L(fēng)險不像世界以前面臨的其他任何風(fēng)險。他指出，過去每次新技術(shù)出現(xiàn)，人類一直等到新技術(shù)的風(fēng)險顯而易見，才學(xué)會縮小風(fēng)險。因?yàn)榛馂?zāi)吞噬了生命、毀滅了城市，所以人類才發(fā)明了滅火器和阻燃劑。交通死亡伴隨汽車而來，然后人類才發(fā)明了安全帶和安全氣囊?！叭祟惖牟呗允浅砸粔q，長一智，”泰格馬克說，“當(dāng)世界危在旦夕，末日即將來臨，再想從這樣的錯誤中學(xué)習(xí)已經(jīng)是一個可怕的策略。”