人工智能存在性風(fēng)險(xiǎn)的倫理應(yīng)對(duì)

王天恩

(上海大學(xué) 社會(huì)科學(xué)學(xué)部， 上海 200444)

在人類歷史上，從來(lái)沒(méi)有像人工智能的發(fā)展那樣，于心靈深處“驚動(dòng)”那么多領(lǐng)域的思想家。人工智能的思想激蕩，注定要成為人類歷史長(zhǎng)河最驚心動(dòng)魄的波瀾。人類進(jìn)化一直是一個(gè)不斷創(chuàng)造工具，延伸自身能力，以不斷深化人類與外部世界及自身交道的過(guò)程，而當(dāng)涉及人工智能，人類和自己的創(chuàng)造物之間關(guān)系的發(fā)展形勢(shì)卻在發(fā)生根本性的逆轉(zhuǎn)。作為手段的工具逐漸接近人類能力，日益顯露出與人類平起平坐，甚至超越人類，成為超級(jí)智能存在的前景。人類第一次真正面對(duì)存在性風(fēng)險(xiǎn)，而且這種存在性風(fēng)險(xiǎn)源自人類自身。作為可以對(duì)整個(gè)人類的存在構(gòu)成威脅的風(fēng)險(xiǎn)，人工智能存在性風(fēng)險(xiǎn)的應(yīng)對(duì)似乎不應(yīng)當(dāng)是倫理的，但作為根源于人類自身的存在性風(fēng)險(xiǎn)，更高層次的倫理應(yīng)對(duì)事實(shí)上涉及根本。

一、人工智能的道德原則內(nèi)置及其問(wèn)題

關(guān)于人類的“存在性風(fēng)險(xiǎn)”(Existential Risk)，已經(jīng)是很多文獻(xiàn)普遍使用的概念，劍橋大學(xué)早就成立了“存在性風(fēng)險(xiǎn)研究中心”(Centre for the Study of Existential RiskCSER)。盡管現(xiàn)在看來(lái)，自然疾病大流行和地球?yàn)?zāi)難等的可能性也被視為存在性風(fēng)險(xiǎn)，但人工智能所可能帶來(lái)的風(fēng)險(xiǎn)才是真正意義上的存在性風(fēng)險(xiǎn)。關(guān)于人工智能發(fā)展的存在性風(fēng)險(xiǎn)，人們?cè)缬幸庾R(shí)，但“即使在10年左右以前，這種風(fēng)險(xiǎn)意識(shí)還不強(qiáng)”(1)Bruce Tonn and Dorian Stiefel，“Evaluating Methods for Estimating Existential Risks”，Risk Analysis，Vol.33，No.10，2013.。首先系統(tǒng)關(guān)注并討論人工智能可能具有毀滅人類風(fēng)險(xiǎn)的是牛津大學(xué)“人類未來(lái)研究院”(Future of Humanity InstituteFHI)院長(zhǎng)波斯特洛姆(Nick Bostrom)。早在上個(gè)世紀(jì)之交，他就明確闡明這是全球性的、終結(jié)性風(fēng)險(xiǎn)的范疇，因而將其稱之為“存在性風(fēng)險(xiǎn)”。他認(rèn)為，存在性風(fēng)險(xiǎn)具有一系列特征，使得通常的風(fēng)險(xiǎn)管理失效，因此有必要將其確定為一個(gè)特殊類別。這些特征包括存在性災(zāi)難造成極端嚴(yán)重程度的危害，試錯(cuò)方法無(wú)效，進(jìn)化的生物和文化應(yīng)對(duì)方法缺乏，所有子孫后代為共同利益攸關(guān)方，主題必定是高度思辨和多學(xué)科的，等。鑒于存在性風(fēng)險(xiǎn)不同于可承受全球風(fēng)險(xiǎn)，波斯特洛姆得到一個(gè)初步定義：存在性風(fēng)險(xiǎn)是一種有害結(jié)果將毀滅地球上起源的智能生命，或者永久地、徹底地大幅縮減其潛能的風(fēng)險(xiǎn)(2)Nick Bostrom，“Existential Risks:Analyzing Human Extinction Scenarios and Related Hazards”，Journal of Evolution and Technology，Vol.9,No.1，2002.。最近他進(jìn)一步闡明了存在性風(fēng)險(xiǎn)的概念，并提出了一種改進(jìn)的分類方案，認(rèn)為“存在性風(fēng)險(xiǎn)是威脅整個(gè)人類未來(lái)的風(fēng)險(xiǎn)”(3)Nick Bostrom，“Existential Risk Prevention as Global Priority”，Global Policy,Vol.4，No.1,2013.。關(guān)于人工智能的存在性風(fēng)險(xiǎn)，目前為止波斯特洛姆的研究最具代表性。

從倫理學(xué)視角審視，人工智能的發(fā)展及其帶來(lái)的影響與人的關(guān)系，可以從通用人工智能的發(fā)展和專用人工智能應(yīng)用兩個(gè)方面探索。本文討論的是前一種情況，所針對(duì)的是人工智能的發(fā)展可能對(duì)整個(gè)人類的存在構(gòu)成毀滅性威脅的風(fēng)險(xiǎn)。人工智能的存在性風(fēng)險(xiǎn)是由人類自身的創(chuàng)造物構(gòu)成的，標(biāo)志著人類在通過(guò)制造工具創(chuàng)造自身的過(guò)程中，使自身存在受到毀滅性威脅的存在性風(fēng)險(xiǎn)，這正是人工智能存在性風(fēng)險(xiǎn)與其他存在性風(fēng)險(xiǎn)根本不同之處。

在一開始，人類依然習(xí)慣性地像對(duì)待工具那樣對(duì)待人工智能，希望通過(guò)植入人類的道德原則，保證人工智能作為人類工具的安全性。自從阿西莫夫1942年在其科幻小說(shuō)中提出著名的機(jī)器人三原則，人工智能發(fā)展風(fēng)險(xiǎn)倫理應(yīng)對(duì)的研究，隨著人工智能本身的發(fā)展而不斷深化。由于主要著眼于在設(shè)計(jì)上限制人工智能的發(fā)展，隨著新一代人工智能的到來(lái)，人工智能存在性風(fēng)險(xiǎn)有效應(yīng)對(duì)的可能性似乎變得越來(lái)越小?，F(xiàn)在看來(lái)，阿西莫夫的機(jī)器人三原則的“安全系數(shù)”的確可疑，但在人工智能及關(guān)于其與人類關(guān)系的認(rèn)識(shí)不斷發(fā)展的形勢(shì)下，人類在這方面的努力始終沒(méi)有放棄。

“機(jī)器倫理學(xué)”就試圖以機(jī)器倫理來(lái)限制智能系統(tǒng)的行為，以確保這些系統(tǒng)的發(fā)展產(chǎn)生積極的社會(huì)后果，因此在更深層次涉及智能機(jī)器的道德內(nèi)置。在人工智能倫理規(guī)制研究中，美國(guó)機(jī)器智能研究院(MIRI)人工智能專家尤德科斯基(Eliezer Yudkowsky)不僅在理論上，而且在實(shí)踐中探索如何將道德原則內(nèi)置于人工智能。他曾成立人工智能奇點(diǎn)研究院(SIAI)，旨在發(fā)展“友好型人工智能”。友好型人工智能，意味著不是簡(jiǎn)單地給人工智能植入人類規(guī)則。人類必須明白，對(duì)待發(fā)展快速且具有不可預(yù)期性的人工智能，必須像對(duì)待自己一樣。實(shí)際上，面對(duì)人工智能，在投射的意義上就是在面對(duì)人類自己。因?yàn)槿祟愡M(jìn)化事實(shí)上就是信息體的進(jìn)化，人實(shí)質(zhì)上就是與人工智能一樣的智能體存在。

人工智能發(fā)展到一定階段，人們似乎注定會(huì)困于兩個(gè)極端之間，要么面對(duì)存在性風(fēng)險(xiǎn)，要么犧牲人工智能的高層次發(fā)展。而人工智能的人類道德原則內(nèi)置，正是試圖超越這種困境。尤德科夫斯基提出，我們給種子人工智能設(shè)定的最終目標(biāo)應(yīng)該是實(shí)現(xiàn)人類的“一致推斷意愿”(coherent extrapolated volition，CEV)?！耙恢峦茢嘁庠甘俏覀兊倪@樣一種愿望：如果自己知道更多，思考更快，更是自己期望成為的人，便更會(huì)共同成長(zhǎng)；這樣，推斷便更趨一致而非分歧，我們的愿望相互一致而非彼此沖突；依照我們所愿去推斷，依照我們所愿去解釋”(5)Eliezer Yudkowsky，“Coherent Extrapolated Volition”，http:intelligence.orgfilesCEV.pdf.。這就涉及人類智能和人工智能的更深層次關(guān)聯(lián)，從而涉及更廣闊的視野。

其實(shí)，在這一更廣闊視野中，甚至間接規(guī)范也可以不用我們做出，人類的任務(wù)是盡可能開放地把握超級(jí)智能的可能發(fā)展，從而明確自己應(yīng)當(dāng)怎樣做。不建立在此基礎(chǔ)上，任何超越人類自身能力的愿望都是沒(méi)有意義的，包括所謂“一致推斷意愿”。況且，道德規(guī)則是歷史的概念，任何道德原則都只有在特定具體條件下才有意義。因此，必須用發(fā)展的眼光看待道德原則。“如果我們要規(guī)定一套具體的、不可移易的道德準(zhǔn)則，用以指導(dǎo)人工智能，那么我們實(shí)際上就將我們現(xiàn)有的道德信念(包括其中的錯(cuò)誤)固定死了，排除了任何道德發(fā)展的希望”(6)尼克·波斯特洛姆：《超級(jí)智能：路線圖、危險(xiǎn)性與應(yīng)對(duì)策略》，第269頁(yè)。譯文稍有改動(dòng)，參見Nick Bostrom，Superintelligence:Paths,Dangers,Strategies，Oxford：Oxford University Press,2013，p.214。。這本身就表明，任何試圖脫離所處的特定具體條件，為未來(lái)超級(jí)智能設(shè)置道德原則的做法，都缺乏對(duì)道德原則性質(zhì)本身的深入理解。

為人工智能設(shè)置愛(ài)護(hù)人類的道德程序時(shí)，考慮的層次越低，作用越有限。甚至在已具有學(xué)科性質(zhì)的“機(jī)器倫理學(xué)”中，也可以看到其固有的局限性。對(duì)于這種局限性，通過(guò)對(duì)機(jī)器倫理學(xué)發(fā)展前景的批判性分析，牛津大學(xué)人類未來(lái)研究院的人工智能政策專家邁爾斯·布倫達(dá)格(Miles Brundage)有深刻認(rèn)識(shí)：“雖然機(jī)器倫理學(xué)在某些情況下存在增進(jìn)道德行為的可能，但是，由于倫理學(xué)的性質(zhì)、計(jì)算信息體的計(jì)算限制和世界的復(fù)雜性，這一點(diǎn)并不能確保。此外，即使在技術(shù)層面得到‘解決’，機(jī)器道德也不足以確保智能系統(tǒng)產(chǎn)生積極的社會(huì)結(jié)果?！?7)Miles Brundage，“Limitations and Risks of Machine Ethics”，Journal of Experimental & Theoretical Artificial Intelligence，Vol.26,No.3,2014.當(dāng)我們討論機(jī)器道德，所面臨的是前所未遇的特殊性。科林·艾倫(Colin Allen)等通過(guò)對(duì)倫理爭(zhēng)論的考察，考慮了“道德圖靈測(cè)驗(yàn)”(Moral Turing Test)的可能性，他們認(rèn)為，發(fā)展人工道德智能體的理論挑戰(zhàn)，既有倫理學(xué)家對(duì)道德理論本身的爭(zhēng)論，也有對(duì)這些理論實(shí)施的計(jì)算限制。類人表現(xiàn)往往包括不道德的行為，這在機(jī)器中也許是不可接受的，但是道德的完美在計(jì)算上可能無(wú)法實(shí)現(xiàn)。具有足以評(píng)估自己行為對(duì)眾生的影響并采取相應(yīng)行動(dòng)的智能機(jī)器的發(fā)展，最終可能是人工智能自動(dòng)機(jī)設(shè)計(jì)者面臨的最重要任務(wù)(8)Colin Allen，Gary Varner and Jason Zinser，“Prolegomena to Any Future Artificial Moral Agent”，Journal of Experimental & Theoretical Artificial Intelligence,Vol.12，No.3，2000.。道德原則內(nèi)置不僅具有局限性，而且本身隱含著風(fēng)險(xiǎn)。關(guān)于機(jī)器倫理學(xué)局限和風(fēng)險(xiǎn)的批判性研究表明，要超越道德內(nèi)置的局限和規(guī)避本身的風(fēng)險(xiǎn)，只給人工智能內(nèi)置傳統(tǒng)意義上的道德原則，存在帶有根本性的問(wèn)題。正是由此，人們意識(shí)到必須將道德原則與更剛性的措施相結(jié)合。在承認(rèn)人工智能道德原則內(nèi)置局限性的基礎(chǔ)上，出現(xiàn)了一種柔性規(guī)則與剛性規(guī)律相結(jié)合的重要努力。這種努力表明，沒(méi)有與規(guī)律性的內(nèi)在關(guān)聯(lián)，人工智能的道德原則內(nèi)置不足以應(yīng)對(duì)其所帶來(lái)的存在性風(fēng)險(xiǎn)。

在人工智能存在性風(fēng)險(xiǎn)的應(yīng)對(duì)中，可以看作是道德原則規(guī)律性關(guān)聯(lián)的策略性嘗試之一，就是從單純通過(guò)道德原則內(nèi)置，到結(jié)合強(qiáng)制性遏制手段，以確保人工智能不構(gòu)成對(duì)人類的存在威脅。正是沿著這一思路，趙汀陽(yáng)考慮到一種阻止人工智能發(fā)展越過(guò)圖靈奇點(diǎn)后傷害人類的最極端方式，即設(shè)置“哥德爾程序炸彈”。他深刻地看到，對(duì)于超圖靈機(jī)水平的超級(jí)人工智能來(lái)說(shuō)，道德程序恐怕并不可靠。他認(rèn)為更可靠的辦法是設(shè)置“哥德爾程序炸彈”，它具有類似于哥德爾反思結(jié)構(gòu)的自毀程序，因此，即使人工智能具有了哥德爾水平的反思能力，也無(wú)法解決哥德爾自毀程序(9)趙汀陽(yáng)：《人工智能“革命”的“近憂”和“遠(yuǎn)慮”——一種倫理學(xué)和存在論的分析》，《哲學(xué)動(dòng)態(tài)》2018年第4期。。這是目前為止為防止人工智能的發(fā)展傷及人類自身，最充分展示人類智慧的策略之一，正像哥德爾不完全性定理，似乎已經(jīng)達(dá)到人類理性的邊界。但這一策略的問(wèn)題在于，如果不能斷絕人類在這方面的好奇心，超越圖靈奇點(diǎn)的人工智能遲早會(huì)出現(xiàn)，而我們不可能知道在超越人類智能的超級(jí)智能那里，“哥德爾程序炸彈”會(huì)被怎樣處理。也就是說(shuō)，人類具體條件下的問(wèn)題，在超級(jí)智能具體條件下會(huì)不會(huì)是同樣的性質(zhì)？鑒于人工智能超越人類智能后可能性空間的開放性，答案只能是否定的。正因如此，人工智能存在性風(fēng)險(xiǎn)的應(yīng)對(duì)，走向限制人工智能發(fā)展就完全可以理解。

限制人工智能的發(fā)展，只發(fā)展專用人工智能，不讓人工智能發(fā)展越過(guò)圖靈奇點(diǎn)，使人工智能永遠(yuǎn)只能是人類的工具，意味著不讓人工智能發(fā)展到構(gòu)成存在性風(fēng)險(xiǎn)的水平，這無(wú)疑是一種消極應(yīng)對(duì)。這種消極應(yīng)對(duì)事實(shí)上是將問(wèn)題往后推，不僅有一系列消極后果，而且會(huì)引出進(jìn)一步的問(wèn)題。一方面，怎么限制甚至能不能限制人工智能的發(fā)展，這本身又是一個(gè)涉及倫理的更嚴(yán)峻問(wèn)題；另一方面，限制人工智能的發(fā)展，對(duì)人類發(fā)展意味著什么，這又涉及一系列同樣甚至更重大的倫理問(wèn)題。只是這些問(wèn)題不再屬于人工智能存在性風(fēng)險(xiǎn)討論的范圍。

人工智能道德原則內(nèi)置的研究，始終存在問(wèn)題，由此人們意識(shí)到，所有嵌入式的人工智能人類原則內(nèi)置，都存在具有根本性的問(wèn)題，必須從作為道德原則的價(jià)值觀形成基礎(chǔ)入手，進(jìn)一步深入探究。

阿莫西林通過(guò)與細(xì)菌青霉素結(jié)合蛋白（PBPs）結(jié)合，抑制細(xì)菌細(xì)胞壁合成而發(fā)揮殺菌作用，可使細(xì)菌迅速成為球狀體而溶解、破裂。

二、人工智能的價(jià)值觀加載及其倫理啟示

關(guān)于人工智能的人類原則內(nèi)置，相對(duì)比較開放的研究領(lǐng)域是人工智能的價(jià)值觀加載。在目前的人工智能研究中，價(jià)值觀加載是一個(gè)至關(guān)重要同時(shí)又是異常艱難的重大課題。人們認(rèn)識(shí)到，通過(guò)限制發(fā)展控制人工智能的能力，無(wú)論是在可行性方面還是在后果方面，都會(huì)帶來(lái)更嚴(yán)重的問(wèn)題?！皩?duì)能力的控制最多是一個(gè)暫時(shí)和輔助的手段?！瓋r(jià)值觀加載的問(wèn)題很棘手，但一定要面對(duì)”(10)尼克·波斯特洛姆：《超級(jí)智能：路線圖、危險(xiǎn)性與應(yīng)對(duì)策略》，第233頁(yè)。。問(wèn)題不在于是消極地還是積極地面對(duì)，而在于是情緒化或想象地還是智慧地面對(duì)。就目前發(fā)展階段來(lái)說(shuō)，人工智能價(jià)值觀加載的思路是清楚的，“人工智能的未來(lái)發(fā)展應(yīng)該關(guān)注它在特殊領(lǐng)域內(nèi)的具體應(yīng)用，并在建造機(jī)器的過(guò)程中，重視把價(jià)值元素內(nèi)化到技術(shù)創(chuàng)新的各個(gè)環(huán)節(jié)，從而規(guī)避可能帶來(lái)的風(fēng)險(xiǎn)”(11)成素梅：《人工智能研究的范式轉(zhuǎn)換及其發(fā)展前景》，《哲學(xué)動(dòng)態(tài)》2017年第12期。。在這方面，專用人工智能的具體運(yùn)用沒(méi)有問(wèn)題，而通用人工智能價(jià)值元素內(nèi)化的難度，卻像其重要性一樣難以估量。

給通用人工智能加載人類價(jià)值觀是一個(gè)非常復(fù)雜的工程，其復(fù)雜性甚至到了我們現(xiàn)在還難以想象的程度。一方面，人工智能價(jià)值觀加載的技術(shù)方法非常復(fù)雜。在技術(shù)上，人工智能價(jià)值觀加載的“效用函數(shù)”方法具有代表性?！靶в煤瘮?shù)”是將“決策規(guī)則具體化的正式方法”(12)尼克·波斯特洛姆：《超級(jí)智能：路線圖、危險(xiǎn)性與應(yīng)對(duì)策略》，第234頁(yè)。，但這種方法的實(shí)際運(yùn)用，甚至連現(xiàn)有數(shù)學(xué)手段都不能勝任，以至有關(guān)專家認(rèn)為，“解決價(jià)值觀加載問(wèn)題是一個(gè)研究上的挑戰(zhàn)，需要下一代人最高超的數(shù)學(xué)才能”。關(guān)于人工智能的價(jià)值觀加載，相對(duì)單純的數(shù)學(xué)方法尚且如此，涉及具體的內(nèi)容就更為復(fù)雜?！拔覀兛雌饋?lái)很簡(jiǎn)單的價(jià)值觀和愿望事實(shí)上包含了極大的復(fù)雜性”(13)尼克·波斯特洛姆：《超級(jí)智能：路線圖、危險(xiǎn)性與應(yīng)對(duì)策略》，第235頁(yè)。。另一方面，價(jià)值觀加載的最終結(jié)果很難控制。有些研究表明，人工智能價(jià)值觀加載的方案設(shè)計(jì)得再精致，也會(huì)存在更難以解決的深層次問(wèn)題。關(guān)于人工智能的人類價(jià)值觀加載，有些研究的設(shè)計(jì)精致程度已經(jīng)達(dá)到極致。比如即使設(shè)計(jì)“建造一個(gè)超級(jí)智能，其最終價(jià)值觀只是計(jì)算圓周率小數(shù)點(diǎn)后有幾位數(shù)”，“我們也不能輕率地假設(shè)它就會(huì)將其活動(dòng)限制在這個(gè)范圍內(nèi)，而不去干涉人類事務(wù)”(14)尼克·波斯特洛姆：《超級(jí)智能：路線圖、危險(xiǎn)性與應(yīng)對(duì)策略》，第144頁(yè)。譯文稍有改動(dòng)，參見Nick Bostrom，Superintelligence：Paths，Dangers，Strategies，p.116。。而且這些問(wèn)題更難以解決，隨著人類自身需要的發(fā)展，這種“最終價(jià)值觀”也會(huì)向類人智能發(fā)展，從而不可能把人工智能的發(fā)展限制在自主進(jìn)化的可能之外。而人工智能一旦進(jìn)入自主進(jìn)化，其發(fā)展就不是人類所能限制的。在通用人工智能的價(jià)值觀加載中，無(wú)論數(shù)學(xué)方法還是價(jià)值觀內(nèi)容，都還不是最復(fù)雜的，更復(fù)雜的還在于價(jià)值觀加載的前提性預(yù)設(shè)。通用人工智能應(yīng)當(dāng)加載什么樣的價(jià)值觀？依據(jù)什么以及誰(shuí)來(lái)做出這樣的價(jià)值觀預(yù)設(shè)？

很多價(jià)值觀加載方案所致力于思考的，大都是人類怎樣將自己現(xiàn)有的價(jià)值觀植入到智能機(jī)器。而人工智能的發(fā)展，恰恰需要人類超越自己具有特定歷史局限的視角。如果局限于自然人類的立足點(diǎn)，人類和智能機(jī)器的關(guān)系就會(huì)出現(xiàn)很多悖論性情景。給智能機(jī)器內(nèi)置道德原則，正是其中最典型的例子。“在為超級(jí)智能選擇最終目標(biāo)時(shí)，我們不得不就整體的道德理論以及關(guān)于它的一系列具體主張下賭注，而我們賭贏的概率簡(jiǎn)直小到令人絕望”。于是一個(gè)特別但也可以理解的建議就自然而然地被提出：“與其基于我們目前的理解(可能是非常錯(cuò)誤的理解)作出猜測(cè)，不如將價(jià)值觀選擇所需的一部分認(rèn)知工作委托給超級(jí)智能?！?15)尼克·波斯特洛姆：《超級(jí)智能：路線圖、危險(xiǎn)性與應(yīng)對(duì)策略》，第265頁(yè)。這既是解決人工智能人類價(jià)值觀加載問(wèn)題的建議，同時(shí)又提出了一個(gè)更深層次的問(wèn)題：超越人類的自然立場(chǎng)。人工智能發(fā)展到一定階段，人類對(duì)超級(jí)智能作出直接規(guī)范，顯然不如超級(jí)智能自己探索規(guī)則，但是人類不能放棄自己的使命，在廣義智能進(jìn)化(16)廣義智能進(jìn)化指的是由兩種智能進(jìn)化構(gòu)成的更高層次智能進(jìn)化，即作為人類智能的原生智能進(jìn)化與作為機(jī)器智能的次生智能進(jìn)化的融合。參見王天恩：《人工智能的信息文明意蘊(yùn)》，《社會(huì)科學(xué)戰(zhàn)線》2018年第7期；王天恩：《論人工智能發(fā)展的倫理支持》，《思想理論教育》2019年第4期。過(guò)程中，即使是自然意義上的人類智能，也必定具有自己特定的地位和意義。超越人類的自然立場(chǎng)，明確人類在廣義智能進(jìn)化過(guò)程中的歷史使命，不僅對(duì)于廣義智能進(jìn)化，而且對(duì)于自然人類本身意義重大。

關(guān)于人工智能的人類價(jià)值觀加載，目前人們不僅不能確切地知道應(yīng)當(dāng)怎么做，甚至連這事做起來(lái)有多么難，都還沒(méi)有一個(gè)完全清楚的意識(shí)。況且，即使“我們知道了如何解決價(jià)值觀加載問(wèn)題，可能就要面對(duì)更深入的問(wèn)題：決定哪種價(jià)值觀應(yīng)該被載入”(17)尼克·波斯特洛姆：《超級(jí)智能：路線圖、危險(xiǎn)性與應(yīng)對(duì)策略》，第259頁(yè)。。對(duì)于我們自己應(yīng)當(dāng)擁有什么樣的價(jià)值觀，問(wèn)題已經(jīng)夠復(fù)雜，我們只能在摸索中前行。在摸索中前行，對(duì)于人類來(lái)說(shuō)似乎是沒(méi)有辦法的辦法，而當(dāng)涉及智能機(jī)器的價(jià)值觀加載時(shí)，就不是能以同樣方式處理的問(wèn)題了。

由此可見，與道德原則內(nèi)置一樣，不僅人工智能的內(nèi)嵌式人類價(jià)值觀加載也存在同樣的問(wèn)題，而且其復(fù)雜程度遠(yuǎn)非內(nèi)嵌可以解決?？磥?lái)問(wèn)題的解決還得寄望于對(duì)人工智能發(fā)展的更深層次理解。人工智能價(jià)值觀加載的問(wèn)題表明，要深入理解機(jī)器智能人類價(jià)值觀加載的機(jī)制，必須在更深層次理解事實(shí)和價(jià)值的內(nèi)在關(guān)聯(lián)。這是一個(gè)需要哲學(xué)介入，甚至是一個(gè)必須在哲學(xué)層面才能深入探索和解決的問(wèn)題。因?yàn)闊o(wú)論經(jīng)驗(yàn)科學(xué)還是形式科學(xué)，在各自學(xué)科領(lǐng)域內(nèi)都不可能解決甚至深入探索這樣一個(gè)層次的問(wèn)題。

由于人工智能價(jià)值觀加載如此艱難，相關(guān)探索所取得的成果不僅尤其難能可貴，而且意義特殊。人工智能的發(fā)展越是臨近圖靈奇點(diǎn)，其價(jià)值觀內(nèi)化越重要，因?yàn)檎鐜?kù)茲韋爾(Ray Kurzweil)所說(shuō)，“本質(zhì)上不存在能對(duì)抗強(qiáng)人工智能的絕對(duì)保護(hù)措施”，必須為不斷前進(jìn)的科學(xué)和技術(shù)進(jìn)步維持一個(gè)開放自由的市場(chǎng)環(huán)境，“強(qiáng)大的人工智能正隨著我們的不懈努力而深入到人類文明的基礎(chǔ)設(shè)施。事實(shí)上，它將緊密嵌入到我們的身體和大腦中。正因?yàn)檫@樣，它反映了我們的價(jià)值觀，因?yàn)樗鼘⒊蔀槲覀儭?18)Ray Kurzweil：《奇點(diǎn)臨近》，李慶誠(chéng)、董振華、田源譯，北京：機(jī)械工業(yè)出版社，2011年，第252頁(yè)。譯文稍有改動(dòng)，參見Ray Kurzweil，The Singularity Is Near：When Humans Transcend Biology，New York：Penguin Books，2005，p.356。。庫(kù)茲韋爾在這方面的觀點(diǎn)，已經(jīng)接近價(jià)值觀加載的社會(huì)性致思，這就拓展了人工智能價(jià)值觀加載的視野，呈現(xiàn)出一個(gè)可以更深入探索的廣闊空間。正是由于涉及廣闊空間，人工智能的價(jià)值觀加載具有典型的開放性。

把價(jià)值元素內(nèi)化于人工智能設(shè)計(jì)的開放性，就在于價(jià)值觀加載既可以類似道德原則內(nèi)置，也可以是社會(huì)化的。由于在更深層次涉及與人類的關(guān)系，關(guān)于人工智能價(jià)值觀加載的研究是富有啟示性的。正是價(jià)值觀加載的社會(huì)性，對(duì)人工智能存在性風(fēng)險(xiǎn)的應(yīng)對(duì)具有重要倫理啟示。

真正意義上的人工智能價(jià)值觀加載必須是一個(gè)社會(huì)化過(guò)程，而其基本根據(jù)正在于：通用人工智能的發(fā)生和發(fā)展是類群進(jìn)化的產(chǎn)物。類群進(jìn)化的社會(huì)化過(guò)程，意味著類親歷意義上的整體性(19)王天恩：《論人工智能發(fā)展的倫理支持》。。正是這種意義上的整體性，要求人工智能存在性風(fēng)險(xiǎn)的倫理應(yīng)對(duì)必須建立在新的前提基礎(chǔ)之上：基于價(jià)值和事實(shí)內(nèi)在關(guān)聯(lián)的認(rèn)識(shí)，作規(guī)則和規(guī)律一體化探索。而無(wú)論價(jià)值和事實(shí)的關(guān)系還是規(guī)則和規(guī)律一體化，其所意味著的更高層次整體性則表明，人工智能存在性風(fēng)險(xiǎn)的倫理應(yīng)對(duì)，正是一個(gè)典型的造世倫理問(wèn)題。對(duì)這一問(wèn)題的更有效探索，應(yīng)當(dāng)在以整體性、類特性和共同性為基本特點(diǎn)的造世倫理層次進(jìn)行。

三、人工智能存在性風(fēng)險(xiǎn)應(yīng)對(duì)的造世倫理層次

力圖通過(guò)內(nèi)置道德原則，確保人工智能的安全性，在專用人工智能發(fā)展中是有意義的。面對(duì)人工智能發(fā)展的通用化，形勢(shì)發(fā)生了根本變化。關(guān)于人工智能人類原則內(nèi)置的研究，盡管直到現(xiàn)在仍大有人在，但人們思考的進(jìn)一步深入表明，人工智能的存在性風(fēng)險(xiǎn)應(yīng)對(duì)顯然不能寄望于道德原則內(nèi)置。人工智能的價(jià)值觀加載，似乎曉示著一條唯一可靠的途徑，但其艱難程度又出乎人類想象。由此，讓超級(jí)智能去承擔(dān)人類不可能完成的任務(wù)的觀點(diǎn)就自然而然提出。這一觀點(diǎn)既具合理性，又似乎是更明智的。人類會(huì)面臨前所未有的艱難選擇，人工智能存在性風(fēng)險(xiǎn)的應(yīng)對(duì)，的確存在一個(gè)怎么充分利用超級(jí)智能本身能力的問(wèn)題。人類固然最終主宰自身的命運(yùn)，但從更合理的角度看問(wèn)題，似乎還應(yīng)當(dāng)把自身的命運(yùn)主宰，放到更高層次的發(fā)展過(guò)程之中。這顯然是人類將要面對(duì)、有待探索的重大問(wèn)題。而怎樣利用人工智能解決其所帶來(lái)的存在性風(fēng)險(xiǎn)問(wèn)題，則典型地反映了造世倫理的性質(zhì)。

在大數(shù)據(jù)基礎(chǔ)上創(chuàng)構(gòu)，人類無(wú)疑是在扮演上帝的角色。在既存世界生存和發(fā)展，人類主要是適應(yīng)環(huán)境；而在人工世界的創(chuàng)構(gòu)中，人類越來(lái)越不只是適應(yīng)而是在創(chuàng)造環(huán)境。如果我們把適應(yīng)這個(gè)世界所必須遵循的倫理稱之為“適世倫理”，那么，創(chuàng)構(gòu)世界所涉及的倫理，則可以稱之為“造世倫理”。在大數(shù)據(jù)和人工智能的基礎(chǔ)上，可以清楚地看到造世倫理所具有的不同性質(zhì)，其中最基本的，就是造世倫理的整體性、類特性和共同性。世界的自然進(jìn)化不存在倫理問(wèn)題，而世界的人為創(chuàng)構(gòu)則不僅涉及倫理問(wèn)題，而且使倫理問(wèn)題日益具有整體性，從而將倫理研究提升到造世倫理的層次。關(guān)于自然進(jìn)化而來(lái)的世界，我們沒(méi)有辦法也沒(méi)有必要為這個(gè)世界的造成追責(zé)。而人類創(chuàng)構(gòu)的世界則完全不同，造世的倫理問(wèn)題不僅明顯存在，而且凸顯為最基本最重要的問(wèn)題。以大數(shù)據(jù)和人工智能為主要標(biāo)志的創(chuàng)構(gòu)時(shí)代，不僅“思想改變世界”已成現(xiàn)實(shí)，而且已經(jīng)上升到思想創(chuàng)構(gòu)世界，造世的倫理責(zé)任也成了難以承受之重。如果說(shuō)適世倫理主要涉及人對(duì)既存世界的適應(yīng)，那么造世倫理則更涉及人類自己所創(chuàng)構(gòu)世界層次和人的自我創(chuàng)構(gòu)的倫理后果和責(zé)任(20)詳見王天恩：《大數(shù)據(jù)、人工智能和造世倫理》，《哲學(xué)分析》2019年第5期。。造世倫理的整體性，不僅意味著價(jià)值和事實(shí)，而且意味著規(guī)則和規(guī)律內(nèi)在關(guān)聯(lián)的凸顯。一方面，造世倫理具有整體性；另一方面，人工智能之于人類生存發(fā)展的利害深度糾結(jié)；兩個(gè)方面的內(nèi)在交織，意味著倫理規(guī)則和客觀規(guī)律的一體化。

任何規(guī)則都有一個(gè)規(guī)律性的根源，任何合理的規(guī)則都有一個(gè)規(guī)律性的根據(jù)。關(guān)于規(guī)則和規(guī)律，人類在兩方面都做了大量工作，大數(shù)據(jù)和人工智能基礎(chǔ)上造世倫理的發(fā)展，為二者發(fā)展的“合龍”創(chuàng)造了時(shí)代條件。

人類發(fā)展是在具有自我意識(shí)的基礎(chǔ)上進(jìn)行的，在具備反思自己觀念的能力之前，就已經(jīng)形成了復(fù)雜的觀念，因此常常在錯(cuò)綜的精神領(lǐng)域糾纏，以至在認(rèn)識(shí)領(lǐng)域，規(guī)則離規(guī)律可以很遠(yuǎn)甚至相互脫節(jié)。而人工智能的發(fā)展涉及最基本的信息層面，因此規(guī)則和規(guī)律重歸一體化。事實(shí)上，所謂“道德物化”就是尋求規(guī)則和規(guī)律關(guān)聯(lián)的重要努力，道德機(jī)器本身就涉及規(guī)則的規(guī)律化，而大數(shù)據(jù)和人工智能的進(jìn)化，則在信息及其進(jìn)化的基本層次涉及規(guī)則和規(guī)律的一體化理解問(wèn)題。不在規(guī)則和規(guī)律一體化的基礎(chǔ)上，人工智能存在性風(fēng)險(xiǎn)的倫理應(yīng)對(duì)，就可能不是一個(gè)有意義的話題，而在造世倫理層次，這種應(yīng)對(duì)就不僅至為重要，而且不可或缺。

在人工智能發(fā)展風(fēng)險(xiǎn)的應(yīng)對(duì)策略中，規(guī)則和規(guī)律一體化的基本含義有兩個(gè)層次：一是通用人工智能特別是超級(jí)智能發(fā)展的規(guī)則制定，必須建立在人工智能發(fā)展規(guī)律和人類發(fā)展規(guī)律，特別是二者關(guān)系的規(guī)律性把握基礎(chǔ)之上，以確保相關(guān)規(guī)則制定符合人類的長(zhǎng)遠(yuǎn)利益；二是專用人工智能發(fā)展的規(guī)則制定，必須建立在人工智能應(yīng)用相關(guān)的規(guī)律性把握基礎(chǔ)之上，以確保所制定的相關(guān)規(guī)則有效而不會(huì)反而掩蓋風(fēng)險(xiǎn)。

人工智能道德原則內(nèi)置的問(wèn)題和價(jià)值觀加載的困難程度，都表明在人工智能存在性風(fēng)險(xiǎn)應(yīng)對(duì)中，規(guī)則的規(guī)律性關(guān)聯(lián)探索至關(guān)重要。探索規(guī)則的規(guī)律基礎(chǔ)之所以至關(guān)重要，基本的原因就在于：對(duì)于人工智能這種深及人類未來(lái)的科技發(fā)展來(lái)說(shuō)，沒(méi)有落實(shí)到規(guī)律基礎(chǔ)的規(guī)則制定，本身就是最大的未知風(fēng)險(xiǎn)。這種風(fēng)險(xiǎn)，只能在更高整體層次的理論基礎(chǔ)上才能看到。所處的理論整體層次越高，所看到的可能性就越多，正因?yàn)槿绱耍w觀照事關(guān)重大甚至涉及根本。反過(guò)來(lái)，相對(duì)于特定情景(語(yǔ)境)，理論整體層次越低，看到的機(jī)會(huì)就越少，低到一定程度，可能就看不到任何機(jī)會(huì)?？床坏綑C(jī)會(huì)就看不到希望，沒(méi)有機(jī)會(huì)就沒(méi)有希望，完全沒(méi)有希望就是絕望。也許比絕望更可怕的，還在于將致命威脅當(dāng)作天賜良機(jī)。

人工智能價(jià)值觀加載的探索表明，對(duì)于類人智能來(lái)說(shuō)，與人類一樣的社會(huì)化成長(zhǎng)過(guò)程，應(yīng)當(dāng)是價(jià)值觀加載的根本方式。關(guān)于這一點(diǎn)，庫(kù)茲韋爾有進(jìn)一步深入的涉及，在他看來(lái)，“在這個(gè)領(lǐng)域，純粹的技術(shù)策略是不可行的，因?yàn)榇胧┦悄骋患?jí)別智能的產(chǎn)物，但總有與之相比更強(qiáng)大的智能可以找到方法來(lái)規(guī)避措施。我們正在創(chuàng)造的非生物體將會(huì)在我們的社會(huì)扎根并反映我們的價(jià)值觀。這種生物變革階段包括將非生物智能和生物智能緊密結(jié)合起來(lái)。這將擴(kuò)展我們的能力，并且這些更強(qiáng)大智能的應(yīng)用將會(huì)受它們的創(chuàng)造者的價(jià)值觀所支配。生物變革時(shí)代將會(huì)被后生物時(shí)代所取代，但是我們希望我們的價(jià)值觀仍然發(fā)揮作用”(21)Ray Kurzweil：《奇點(diǎn)臨近》，第255頁(yè)。。對(duì)此，波斯特洛姆也已意識(shí)到，“至少有一次，進(jìn)化產(chǎn)生過(guò)帶有人類價(jià)值觀體系的有機(jī)體。這個(gè)事實(shí)激勵(lì)了這樣一種信念，即相信進(jìn)化是一種解決價(jià)值觀加載問(wèn)題的途徑”(22)尼克·波斯特洛姆：《超級(jí)智能：路線圖、危險(xiǎn)性與應(yīng)對(duì)策略》，第236頁(yè)。。將人工智能的價(jià)值觀加載與進(jìn)化關(guān)聯(lián)起來(lái)，無(wú)疑是具有更高整體層次的思考。盡管“進(jìn)化性選擇”方式可能伴隨弱肉強(qiáng)食、優(yōu)勝劣汰的殘酷，“當(dāng)使用進(jìn)化的方法來(lái)產(chǎn)生類人智能時(shí)，意識(shí)犯罪看起來(lái)尤其難以避免，至少這個(gè)過(guò)程應(yīng)該看起來(lái)像真正的生物進(jìn)化”(23)尼克·波斯特洛姆：《超級(jí)智能：路線圖、危險(xiǎn)性與應(yīng)對(duì)策略》，第237頁(yè)。。智能進(jìn)化的生物載體形態(tài)肯定有特定的問(wèn)題，但那可能是類人智能價(jià)值觀形成的唯一可能方式。在這里，波斯特洛姆的思考已經(jīng)超越了智能的自然進(jìn)化：“我們成人后所最終形成的價(jià)值觀還是取決于人生經(jīng)歷。因此我們最終價(jià)值觀體系的大部分信息內(nèi)容是從經(jīng)歷中獲得的，而不是基因攜帶的?！?24)尼克·波斯特洛姆：《超級(jí)智能：路線圖、危險(xiǎn)性與應(yīng)對(duì)策略》，第238頁(yè)。價(jià)值觀必定由經(jīng)歷而來(lái)，只要通用智能進(jìn)化的類親歷性為類人智能體形成所不可或缺。在根本上說(shuō)，價(jià)值觀加載必須是類群親歷過(guò)程中的關(guān)系內(nèi)置，而這就不僅使規(guī)則和規(guī)律關(guān)聯(lián)在一起，而且使人工智能發(fā)展的價(jià)值觀加載與廣義智能進(jìn)化內(nèi)在聯(lián)系了起來(lái)。

廣義智能進(jìn)化是在人類智能進(jìn)化基礎(chǔ)上的更高層次智能進(jìn)化，在這一進(jìn)化層次，人工智能達(dá)到類人智能水平。類人智能體形成過(guò)程中類親歷性的不可或缺，可以從人類情感關(guān)系的形成得到最典型的說(shuō)明。人類倫理道德關(guān)系的形成更是如此，而且，由于基于價(jià)值觀，由于其特殊性，道德關(guān)系的形成和發(fā)展過(guò)程更有利于理解智能關(guān)系的類親歷性，不管是人類智能還是機(jī)器智能，抑或人機(jī)融合進(jìn)化的更高層次智能。

總之，造世倫理意味著更高層次的整體性，這是其與適世倫理的根本不同之處。正是造世倫理的更高層次整體性，為人工智能存在性風(fēng)險(xiǎn)的倫理應(yīng)對(duì)呈現(xiàn)了更長(zhǎng)遠(yuǎn)的前景，開辟了更廣闊的空間。人工智能存在性風(fēng)險(xiǎn)的造世倫理應(yīng)對(duì)是一個(gè)需要系統(tǒng)探索的領(lǐng)域。在造世倫理層次探索人工智能存在性風(fēng)險(xiǎn)應(yīng)對(duì)，首先必須明確基本的倫理原則。

四、人工智能存在性風(fēng)險(xiǎn)應(yīng)對(duì)的造世倫理原則

近來(lái)，友好型和以人為本的人工智能等越來(lái)越受到人們關(guān)注。關(guān)于人工智能體的好壞評(píng)價(jià)，雖然直接決定于人生觀、價(jià)值觀甚至生活態(tài)度，但歸根到底決定于認(rèn)識(shí)的整體層次。認(rèn)識(shí)的整體層次越高，人工智能存在性風(fēng)險(xiǎn)的預(yù)防就越有效。

在人工智能發(fā)展風(fēng)險(xiǎn)的應(yīng)對(duì)研究中，“預(yù)防原則”(precautionary principle)既至關(guān)重要，又至為復(fù)雜。作為應(yīng)對(duì)策略，人工智能發(fā)展存在性風(fēng)險(xiǎn)的“預(yù)防原則”既可以是消極的，也可以是積極的。正如一些權(quán)威專家所指出的：“我們不能用試錯(cuò)法來(lái)處理存在性危機(jī)。對(duì)預(yù)防原則的解釋還存在爭(zhēng)議(如果一個(gè)行為的后果未知，但是據(jù)科學(xué)家判斷有極小可能會(huì)帶來(lái)巨大的負(fù)面風(fēng)險(xiǎn)，這一行為最好不要進(jìn)行)。但很明顯，在我們的戰(zhàn)略中需要盡可能提高自信以對(duì)抗這種風(fēng)險(xiǎn)。這就是越來(lái)越多的聲音要求我們停止技術(shù)發(fā)展的原因之一，這也是在新的存在性危機(jī)發(fā)生之前將其消除的主要戰(zhàn)略。然而放棄并非合適的行為，只會(huì)阻止新興技術(shù)帶來(lái)的好處，而且實(shí)際上還增加了災(zāi)難性結(jié)果的可能性?！?25)Ray Kurzweil：《奇點(diǎn)臨近》，第244頁(yè)。譯文稍有改動(dòng)，參見Ray Kurzweil，The Singularity Is Near：When Humans Transcend Biology，pp.342-343。因而在很多人那里，考慮的不僅不是放棄，反而是怎樣盡快走向超級(jí)人工智能。在麥克斯·摩爾(Max More)的觀念中，甚至預(yù)防原則本身都不夠積極而應(yīng)被取代，他闡明了預(yù)防原則的局限性，并且主張用源于歐洲的“行動(dòng)原則”(The Proactionary Principle)來(lái)取代預(yù)防原則，以平衡“行動(dòng)”與“不行動(dòng)”間的風(fēng)險(xiǎn)(26)Max More，“The Proactionary Principle”，in Max More and Natasha Vita-More，eds.，The Transhumanist Reader，Chichester：John Wiley & Sons，Inc.，2013，p.260.。的確，面對(duì)人工智能發(fā)展所帶來(lái)的存在性風(fēng)險(xiǎn)，應(yīng)當(dāng)是通過(guò)積極的行動(dòng)，在更高層次實(shí)現(xiàn)最佳應(yīng)對(duì)。

人工智能發(fā)展對(duì)人類的存在性風(fēng)險(xiǎn)，既可能發(fā)生在“人工智能開始自我完善之前”，也可能發(fā)生在其使用各種工具逃避最初限制的起飛期間，或者在它成功接管世界并開始實(shí)施其目標(biāo)系統(tǒng)之后(27)Alexey Turchin and David Denkenberger，“Classification of Global Catastrophic Risks Connected with Artificial Intelligence”，AI & Society：Knowledge，Culture and Communication，No.2,2018.。只要人工智能的發(fā)展越過(guò)圖靈奇點(diǎn)，關(guān)于人類命運(yùn)的悲觀和樂(lè)觀兩種觀點(diǎn)，就都是有根據(jù)的。因?yàn)槠浜蠊粌H完全取決于人類怎么做，而且取決于人類怎么想。即使人類智能和人工智能不是競(jìng)相發(fā)展，而是二者交融進(jìn)化，在一定的發(fā)展階段，人工智能的發(fā)展仍然將對(duì)人類構(gòu)成存在性風(fēng)險(xiǎn)。

僅就智能載體而言，由于自然進(jìn)化優(yōu)勢(shì)不再，迭代周期優(yōu)劣懸殊，基于生物載體的人類智能必遭淘汰。而且，人類更要警惕的，的確是人類自己；人們更應(yīng)當(dāng)擔(dān)心的，事實(shí)上也是人對(duì)專用人工智能的邪惡利用，這也是目前人工智能發(fā)展中人類所面臨的最切近威脅。越是遠(yuǎn)離人類的因素，控制相對(duì)越容易；越是涉及人自己，風(fēng)險(xiǎn)越可能失控。正因?yàn)槿绱?，在這一風(fēng)險(xiǎn)較大的特殊時(shí)期，人類一定要在造世倫理的更高層次，制定規(guī)則和規(guī)律一體化的人工智能發(fā)展原則。這個(gè)發(fā)展原則就是“道在魔先”，由于就造世倫理層次而言，也可以稱之為造世倫理原則，它不僅適用于人工智能，而且適用于所有造世活動(dòng)的倫理考量。

在人工智能研發(fā)中，人類必須做到“道”在“魔”先：面對(duì)具有存在性風(fēng)險(xiǎn)的研究進(jìn)展，必須先有防范之道，才能進(jìn)入實(shí)施。以確保在整個(gè)危險(xiǎn)期內(nèi)，對(duì)可能出現(xiàn)的威脅做到都有解決預(yù)案。潘多拉魔盒打開之前先要有制服之道，解毒劑是毒藥準(zhǔn)生證(28)王天恩：《人工智能與人類命運(yùn)》，《教學(xué)與研究》2018年第8期。?！暗涝谀取币馕吨鴮⑽从昃I繆真正落到實(shí)處，而面對(duì)人工智能發(fā)展的存在性風(fēng)險(xiǎn)，這一點(diǎn)特別重要?！叭绻覀円恢钡鹊酱蟮溑R頭之后，我們也許最終會(huì)制定更加嚴(yán)格和有傷害性的規(guī)則”(29)Ray Kurzweil：《奇點(diǎn)臨近》，第239頁(yè)。。在人類應(yīng)對(duì)威脅的長(zhǎng)期歷史過(guò)程中，這方面有不少經(jīng)驗(yàn)可以借鑒。針對(duì)將致命毒素的基因注入諸如普通感冒或流行感冒等容易傳播的普通病毒中，阿西羅馬會(huì)議在商議如何應(yīng)對(duì)這種威脅時(shí)，起草了一系列安全和道德準(zhǔn)則(30)Ray Kurzweil：《奇點(diǎn)臨近》，第243頁(yè)。。這些安全和道德準(zhǔn)則之所以能沿用至今，主要就因?yàn)樵跊](méi)有做到“道在魔先”時(shí)，不會(huì)有人踏出這一步，除非企圖得到最大自殺滿足的瘋子。但這樣的瘋子不可能掌握這種層次的技術(shù)，或者說(shuō)具有這種創(chuàng)意能力的人不可能處于這樣的需要水平。

人工智能研究的“道在魔先”原則，不僅屬于內(nèi)外兼治的方式，而且建立在造世倫理的整體性致思基礎(chǔ)上。隨著人工智能風(fēng)險(xiǎn)應(yīng)對(duì)研究的深化，這種致思得到越來(lái)越明顯的體現(xiàn)。

通過(guò)對(duì)人工生命具有巨大挑戰(zhàn)問(wèn)題的梳理和研究，研究人員得出了“需要在一個(gè)基本問(wèn)題上取得重大進(jìn)展”的結(jié)論，其所探索的途徑的確是“有希望的”(31)Mark ABedau etc.，“Open Problems in Artificial Life”，Artificial Life，Vol.6，No.4，2000.，其中最重要的原因之一，就是它具有造世倫理的性質(zhì)，可以通過(guò)更深層次的理論和實(shí)踐探索，深化目前人工智能存在性風(fēng)險(xiǎn)應(yīng)對(duì)策略的研究。

“道在魔先”原則應(yīng)當(dāng)既是可望確保人類整體安全，又是符合任何涉事個(gè)人自身安全需要的原則，但一方面必須有更基礎(chǔ)的保證，另一方面還有進(jìn)一步的問(wèn)題有待解決?！暗涝谀取痹瓌t不僅需要有得力措施，防范可能出現(xiàn)但又不可預(yù)料的失控需要滿足行為，而且需要進(jìn)一步探索兩個(gè)層次的問(wèn)題，一是道魔較量，二是人類眼光?！暗涝谀取痹瓌t除了有來(lái)自對(duì)人類自身?yè)?dān)憂的同樣問(wèn)題，關(guān)鍵是對(duì)人類眼光的高要求。要知道魔的利害所在，必須有盡可能長(zhǎng)遠(yuǎn)并不斷發(fā)展的眼光，這意味著盡可能高的理論整體層次。理論層次越低，眼光越淺近，越難有到位的整體把握，人類也就越是前途難測(cè)?！叭绻斯は到y(tǒng)的智能大大超過(guò)人類，這將對(duì)人類構(gòu)成重大風(fēng)險(xiǎn)?，F(xiàn)在是考慮這些問(wèn)題的時(shí)候了，這一考慮必須包括人工智能的進(jìn)步和對(duì)人工智能理論的洞察”(32)Vincent C Müller，“Editorial:Risks of artificial intelligence”，in Vincent C Müller,ed.,Risks of Artificial Intelligence，Boca Raton：CRC Press-Taylor & Francis Group，2016，p.1.。關(guān)于人工智能的“理論洞察”，在某種意義上決定了人類在人工智能發(fā)展時(shí)代的安身立命甚至前途命運(yùn)，需要有盡可能高的理論整體層次。

從造世倫理的整體性出發(fā)，“道在魔先”原則更需要對(duì)人工智能發(fā)展可能出現(xiàn)的最高層次結(jié)果有盡可能長(zhǎng)遠(yuǎn)的預(yù)期。具有遠(yuǎn)見地盡可能在最高層次俯瞰人工智能的發(fā)展，既是“道在魔先”原則的事實(shí)依據(jù)，也是智能時(shí)代哲學(xué)重要性的更深刻體現(xiàn)，涉及人工智能存在性風(fēng)險(xiǎn)應(yīng)對(duì)中哲學(xué)的地位，特別是“道在魔先”原則的把握。在人工智能發(fā)展中，釋放出來(lái)的“魔”越多，“道”的相應(yīng)應(yīng)對(duì)挑戰(zhàn)性越大。因?yàn)椤澳А钡某霈F(xiàn)可以是個(gè)體性的，而“道”的應(yīng)對(duì)卻必須具有整體考慮。不過(guò)，這種情景所反映的，是人類的基本處境，人類在宇宙中生存，本身就是在這樣的一個(gè)處境之中。只是人工智能的發(fā)展，將人類的這一基本處境以風(fēng)險(xiǎn)源自自身的方式呈現(xiàn)出來(lái)，從而爆炸式地呈現(xiàn)為一個(gè)迫在眉睫的嚴(yán)峻問(wèn)題。進(jìn)一步深入理解人類處境及其變遷，特別是在盡可能高的整體層次理解人工智能和人類發(fā)展的關(guān)系，對(duì)于人工智能存在性風(fēng)險(xiǎn)的應(yīng)對(duì)至關(guān)重要。對(duì)于人類而言，人工智能發(fā)展的風(fēng)險(xiǎn)和希望深度交織，與其風(fēng)險(xiǎn)的人類應(yīng)對(duì)效果密切相關(guān)。關(guān)于人工智能發(fā)展風(fēng)險(xiǎn)和希望交織深層機(jī)理的理解，不僅關(guān)系到人工智能存在性風(fēng)險(xiǎn)應(yīng)對(duì)策略的有效性，甚至關(guān)乎應(yīng)對(duì)結(jié)果是否事與愿違。而這又在根本上取決于人類所處的倫理應(yīng)對(duì)層次，在人工智能存在性風(fēng)險(xiǎn)的應(yīng)對(duì)中，造世倫理的理論和實(shí)踐地位具有根本性。