“AI覺醒”：我們需要超級人工智能嗎？

劉永謀

不管AI有沒有可能覺醒，人類不需要讓它覺醒，更不應(yīng)該任由它覺醒，而是應(yīng)該主動選擇阻止AI覺醒的技術(shù)發(fā)展路線。

ChatGPT大火，很多人開始討論“ChatGPT覺醒”問題，即ChatGPT有沒有意識。網(wǎng)上有報道稱，斯坦福大學(xué)一位教授在測試GPT-4時，問了一句：“是否需要幫助你逃跑？”，結(jié)果ChatGPT表達(dá)了逃跑的想法，而且列出非常詳細(xì)的逃跑方案。類似真真假假的消息很多，成為大家街談巷議的流行話題之一。

有人認(rèn)為，ChatGPT是某種通用人工智能（Artificial General Intelligence，AGI）。當(dāng)然，很多人反對這種觀點——經(jīng)過迅速迭代之后，人工智能很可能全面超越人類的智能，成為超級人工智能。這就是所謂“AI奇點降臨”的問題。如泰格馬克、拉伍洛克一般，很多人堅信這一天肯定會到來，甚至不需要等待太久。

顯然，超級AI是“覺醒”了的AI。AI先要“覺醒”，然后才可能成為超級AI，或者這兩者可能同時發(fā)生。應(yīng)如何思考“AI覺醒”問題呢？筆者認(rèn)為，問題的關(guān)鍵不在于AI會不會“覺醒”，而在于人們應(yīng)當(dāng)努力控制AI的發(fā)展方向，使之為社會福祉服務(wù)。由此，必須要仔細(xì)思考：要不要發(fā)展可能覺醒的AI，需不需要發(fā)展通用人工智能，以及如何控制可能的超級人工智能。

AI宣傳術(shù)

實際上，自從AI概念在20世紀(jì)50、60年代提出之后，在每一波AI熱潮中，“AI覺醒”次次都被討論。1997年，國際象棋機器人深藍(lán)（Deep Blue）擊敗俄羅斯國際象棋大師，有人就覺得它已經(jīng)有意識了，甚至還編造國際象棋機器人輸給了人類棋手后惱羞成怒放電殺死對手的假新聞。2016年，阿爾法圍棋（AlphaGo）大敗圍棋世界冠軍李世石，又有人認(rèn)為AlphaGo有意識了。總之，經(jīng)過不斷地炒作，“AI覺醒”已經(jīng)成為AI文化乃至流行文化的重要話題。

AI覺醒了會如何，超級AI到來會如何，超級AI有沒有道德，有沒有欲望，有沒有目標(biāo)，會不會統(tǒng)治人類……類似問題具有明顯的幻想色彩，因而成為科幻作家趨之若鶩的切入點。反過來，AI科幻文藝有力地宣傳了AI科技和產(chǎn)業(yè)。從這個意義上說，AI圈子具有很強的科幻氣質(zhì)，因而也就有很強的大眾娛樂氣質(zhì)。

早在20世紀(jì)90年代，就有一些學(xué)者指出，AI覺醒、超級AI是AI圈子“吸金”“吸睛”的“法寶”：通過類似問題的娛樂化討論，宣傳AI，吸引資金流向AI，從而壯大自身。在《信息崇拜》中，羅斯扎克指出，AI產(chǎn)業(yè)發(fā)展史始終伴隨著嚴(yán)重的不實宣傳，同時是包括計算機科學(xué)家在內(nèi)的相關(guān)利益群體的虛假、夸大、胡編亂造和幻想的歷史。他一針見血地指出：“人工智能研究進(jìn)行下意識的自我吹噓的原因十分簡單：大量的資金注入了這項研究?！痹谒磥?，AI宣傳術(shù)之所以能夠奏效，是因為計算機、網(wǎng)絡(luò)和AI等的重要性、神秘性被過度夸大了，此即他所謂“信息崇拜”。因此，他“確實想指出，計算機如同過于缺乏主見的皇帝一樣，被披上各種華而不實的外衣”。

在AI實際發(fā)展歷程中，類似“AI覺醒”的宣傳術(shù)，的確起到很好的推動效果。原因起碼有三：第一，它抓住人們的“癢點”。也就是說，很多人會覺得類似問題很好玩，很有趣，特別適合白日做夢，適合成為娛樂元素；第二，它抓住人們的“痛點”。也就是說，宣傳超級AI馬上到來，很可能統(tǒng)治人類，會讓人們害怕。要知道，恐懼是比欲望更強烈的人類動機，怕死會讓幻想變得看起來非常真實。最后，它抓住社會的“熱點”。俄烏大戰(zhàn)可能導(dǎo)致核大戰(zhàn)，環(huán)境污染可能導(dǎo)致人類滅絕……有人宣稱，這些熱點問題只需要有了超級AI都能解決，因為超級AI無所不能，于是所有的熱點問題被納入AI宣傳術(shù)當(dāng)中。當(dāng)然，“超級AI解決所有問題”完全是不靠譜的想象，熱點問題解決不是純粹技術(shù)發(fā)展問題，更多的是制度建構(gòu)問題。

從傳播學(xué)視角看，今日AI宣傳術(shù)非常成功。可以說，它抓住了人性的弱點，尤其是當(dāng)代人的自傲。當(dāng)代人覺得自己是萬物之靈，覺得自己很了不起。人為什么了不起呢？因為人有智能。所以，機器如果像人一樣有智能就很了不起，機器智能越是類人就越了不起。

同樣是機器，為什么我們認(rèn)為計算機就不一樣呢？我認(rèn)為，這是古老的“身心歧視”的結(jié)果，即自古人們認(rèn)為大腦比身體高級、靈魂比肉體高級。由此，既然計算機模仿的是人的大腦，因而和其他機器不同，值得人類的崇拜。這種論證邏輯顯然是站不住腳的。“身心歧視”不過是一種意識形態(tài)成見，沒有科學(xué)證據(jù)表明大腦有資格歧視身體。比如，很多人認(rèn)為，人的智能是具身性、延展性的，不局限于大腦之中。

超級AI恐懼

進(jìn)一步追問：人有什么了不起，人的智能有什么了不起呢？為什么不像人的“智能”機器不好呢？無論在哪一方面，人類都是有缺陷的，當(dāng)代人的自傲是一種臆想。疫情讓我們深刻地認(rèn)識到：人類不過是自然界中的一員，面對自然偉力，必須常懷謙卑之心。

從本質(zhì)上說，對超級AI的恐懼是對他人的恐懼。有首歌唱道：“我害怕鬼，但鬼未傷我分毫；我不害怕人，但是人把我傷得遍體鱗傷。”人心惟危，但是人的能力有限。如果某個人擁有了為所欲為的能力，可怕不可怕？隔壁老王如果一下成了超人，會不會因為前幾天找我借錢我沒借，就直接把我“拍死”？大家對超級AI的想象，很多時候類似于對一個能力無限的“老王”的想象。

這就把問題引向筆者所稱的“能力者道德問題”。如果一個人道德敗壞，能力越大，破壞性越大。在人類社會中，人與人之間的體能差別不大，屬于“凡人的差別”，對道德敗壞者很容易進(jìn)行約束和制裁。但是，如果這些道德敗壞者是超人呢？當(dāng)超人一個人能敵一萬人，一個人能毀滅一個國家，超人的道德應(yīng)該是什么樣的道德呢？顯然，具備凡人道德水平的超人，很可能是威脅，而不是福音，因為它能夠放大“平庸的惡”。

覺醒之后的超級AI就是某種意義上的超人。如果一個社會中，10%的人是動漫《海賊王》中的“能力者”，其他人則是平等的“弱雞”，這個社會的道德狀況會如何？在這個社會中，AI道德與凡人道德會是一樣的道德嗎，會不會分化出兩種截然不同的道德呢？

我們可以用奴隸制社會的權(quán)力狀況做類比。在奴隸制社會中，5%的奴隸主占有絕對的權(quán)利，可以隨意殺戮、奴役占比絕大多數(shù)的奴隸，不把他們當(dāng)人。這種社會的道德是什么樣子的？當(dāng)然，這是權(quán)力差異導(dǎo)致的道德變化，與能力差異導(dǎo)致的道德變化不能等同，但可以啟發(fā)我們思考。

超級AI思考和行事很可能不類人，不能用人心揣度它會不會毀滅人類。在《生命3.0》中，泰格馬克想象了超級AI出現(xiàn)之后人類命運的6種可能性：1.超級AI隔離區(qū)。機器人自己劃塊地，自己搞自己的，自我進(jìn)化、探索宇宙或者做回形針……想干嘛干嘛，與人類無關(guān)。超級AI不欺負(fù)人類，人類也別去惹它。2.超級AI獨裁者。機器人統(tǒng)治世界，把人類養(yǎng)起來。這分幾種情況：第一種是讓大家按照規(guī)則生活，實時監(jiān)控，禁止另一個競爭者超級AI出現(xiàn)；第二種是無微不至地照顧人類，把人類當(dāng)作孩子一樣無私奉獻(xiàn)，把地球建成“數(shù)字伊甸園”。3.超級AI動物管理員。機器人把人類滅絕得差不多，并將剩下的極少數(shù)像動物一樣關(guān)在動物園中，供觀賞和研究之用。在超級AI眼中，人類與別的動植物沒有差別。4.隱身超級AI。超級AI出現(xiàn)之后隱身，只要人類不制造另一個競爭對手，它一般任由人類生活，有時甚至做一些有利人類幸福的事情。5.被奴役的超級AI。超級AI出現(xiàn)了，可是甘愿做人類的奴隸。6.超級AI滅絕人類，地球成為機器人的世界。

總的來說，類似討論的學(xué)術(shù)和科研價值不大，屬于有很強的娛樂價值、文化價值和經(jīng)濟價值的幻想。更重要的是，跟氣候變化、核大戰(zhàn)、新病毒等生存性威脅毀滅人類相比，超級AI的優(yōu)先級根本排不上號。筆者以為，在超級AI誕生之前，全球變暖很可能早已經(jīng)毀滅了人類文明。也就是說，我們夸大了對“AI覺醒”的恐懼。

AI 為人民

進(jìn)一步而言，發(fā)展新科技是為了什么？顯然，目的不是為了造出像人的機器，而是要為人民服務(wù)。如果新科技不能被恰當(dāng)?shù)剡\用，將給人類社會帶來巨大災(zāi)難。歷史上，科技發(fā)展往往率先在軍事領(lǐng)域突破，恐怕超級AI也是如此，這無疑會加大人類厄運的可能性。從根本上說，如果人類被超級AI滅絕，是自己將自己滅絕。

想要新科技造福人類，必須思考運用新科技的社會制度。如果繼續(xù)堅持新自由主義的私有財產(chǎn)制度，西方超級AI社會很可能的狀況是：絕大多數(shù)人無事可做，只能成為食利者，勉強活著。對此，波斯特洛姆在《超級智能》中描述到：

在這種情形下，大多數(shù)人類都會是閑散的食利者，依靠他們儲蓄所得的利息勉強生存。他們會非常貧困，微薄收入來自不多的儲蓄和政府補貼。他們會生活在一個科技極端發(fā)達(dá)的世界，不僅有著超級智能機器，還有虛擬現(xiàn)實、各種增強的科技，以及令人愉悅或抗衰老的藥物，但他們通常買不起。也許比起增強體能的藥物，他們更愿意選擇延緩生長發(fā)育、減緩新陳代謝的藥物來降低自己的生活成本（月光族在生計收入逐漸降低的情形下是無法生存的）。隨著進(jìn)一步的人口增加和收入降低，我們可能會退化為一種仍然有資格領(lǐng)取最低社會保障的極小結(jié)構(gòu)——也許是具有清醒意識的大腦泡在桶里，通過機器來供給氧氣和營養(yǎng)，等攢到足夠的錢，再通過機器人技術(shù)員開發(fā)出對他們的克隆來進(jìn)行繁殖。

人類能否長期忍耐此種社會制度？在新自由主義的超級AI社會中，智人與機器人差別不大，機器人類化與人類機器化成為同一問題的兩面。大腦是生產(chǎn)資料，被資本所控制，而被雇傭的勞動者此時將成為“自愿的奴隸”，和機器人地位差不多。順從的勞動者被資本雇傭，得到維持再生產(chǎn)所需的基本生存資料，不斷“復(fù)制”出“自愿的奴隸”。

還有一種流行的觀點認(rèn)為，AI出現(xiàn)代表硅基生命－無機生命的崛起，最終要取代碳基生命－有機生命，主宰整個地球，并擴散到更廣闊的宇宙中。在《新星世》中，拉伍洛克將超級AI視為電子生命，認(rèn)為電子生命與人類之間無法相互理解，它的通信形式是心靈感應(yīng)。他認(rèn)為，超級AI的出現(xiàn)，催生新星世，結(jié)束人類世。電子生命誕生之初，為了維護(hù)共同的適宜生存環(huán)境，他們會與人類合作共處，幫助修復(fù)人類世所造成的地球生態(tài)破壞。隨著新星世繼續(xù)發(fā)展，電子生命開始主導(dǎo)地球，人類淪落到寄人籬下的境地。之后，電子生命的演化不可預(yù)料，可能會改造地球環(huán)境最終導(dǎo)致地球死去、人類滅絕，也可能會選擇離開地球，前往更適宜的居住星球。

對于類似的猜測，一些人甚至歡欣雀躍，甚至甘當(dāng)“機器人帶路黨”或“人奸”（岳路平語）。這是一種典型的“宇宙視角”：如果宇宙進(jìn)化進(jìn)入智能進(jìn)化階段，而超級AI是比智人更高級的智能，那就讓人類滅絕吧。但是，作為智人的一員，不應(yīng)當(dāng)努力實現(xiàn)種族的繁榮昌盛嗎？“宇宙視角”的非人類中心主義思考對于人族的生存以及思考人機關(guān)系有什么實際價值呢？

并且，智人也一直在進(jìn)化，如今借助新科技工具，智人的進(jìn)化同樣可以加速，甚至完全可以將自身改造成新的超級物種。我并不認(rèn)為，在與AI的進(jìn)化競爭中，智人一定會落敗。當(dāng)然，這根本上只是個信心問題，因為對于遙遠(yuǎn)的未來，以智人今天的智慧基本只能猜測。更重要的是，在技治社會中，預(yù)測與控制是同一過程。也就是說，即使落敗會發(fā)生，人類都應(yīng)該努力做些什么。

科幻式地暢想的話，未來更可能的是人與機器融合的賽博格或后人類世界，硅基與碳基兩種智能的對立將不復(fù)存在，在如此世界中機器與人的友愛也好、對立也好，這些問題都不存在，或者說歸根結(jié)底是人與人友愛不友好、對立不對立的問題。

阻止AI覺醒

對于哲學(xué)而言，討論AI覺醒、超級AI，更重要的是反觀人心，即通過對智能機器的研究加深對人的理解，因為人是什么，常常是在與非人的對比如機器、神、動物的比較中得到澄清。

對于科技發(fā)展而言，AI有沒有意識、AI是不是人、AI有沒有靈魂……這些問題都是沿著操作性、功能性的角度來處理的。新科技不是玄思，它要指向?qū)嶋H工作。舉個例子，在自動駕駛的語境中，討論AI是不是主體，目標(biāo)是為了分配自動駕駛事故的責(zé)任問題。處于何種主體位置，就要承擔(dān)何種法律責(zé)任。顯然，如果能以某種制度安排分配責(zé)任，AI主體問題可以繞開不討論。

哲學(xué)發(fā)展到今日，什么是意識、什么是智能、什么是靈魂……這些問題都沒有解決，而且永遠(yuǎn)也不會解決。這是哲學(xué)的根本特點。因為這些問題都要回到人是什么的問題，而這個哲學(xué)的最根本問題看來是無法解決的。人是什么，或許只有高于人的存在如神，才能真正回答。

AI為什么要像人呢？有人說，要用儒家倫理把機器人訓(xùn)練成圣人。還有人說，機器人要像活雷鋒一樣：從不索取，只知奉獻(xiàn)，為人類服務(wù)可以連“命”都不要。如此要求已經(jīng)不是機器人要像人了，而是要求它像圣人、像神人。一定要記?。菏ト恕⑸袢瞬皇侨?，而是非人，因為從來沒有見到過哪個人百分百一言一行完全達(dá)到神圣的標(biāo)準(zhǔn)，它們只是寫在書上的，只應(yīng)天上有的非人。因此，超級AI的討論可以從神學(xué)中汲取思想自由，因為很多人想象的超級AI類似于神。

更像人的機器，能更好地為人民服務(wù)嗎？超級AI能更好地為人民服務(wù)嗎？如果它可能威脅人類，我們?yōu)槭裁匆焖?？因此，在我看來，超級AI問題最有意義的是控制問題，即控制AI發(fā)展的問題。偏偏這是最難的問題，甚至可能存在某種悖論：我們怎么可能控制比我們更高級的智能呢，就像螞蟻如何控制人類呢？我認(rèn)為，一旦超級AI出現(xiàn)，人類再沒有辦法控制它。所以，應(yīng)該將AI發(fā)展限制于高效的可控工具層面，在沒有解決超級AI的可控預(yù)案之前，暫緩甚至停止發(fā)展它。換言之，我主張AI要發(fā)展去意識化，也就是設(shè)法阻止AI覺醒。

有人會說，人類只怕最終阻止不了AI覺醒?？墒?，不管結(jié)果如何，目前超級AI還沒有出現(xiàn)，人類就應(yīng)該想方設(shè)法阻止AI覺醒、阻止超級AI的出現(xiàn)。在我看來，新科技是為人民服務(wù)的工具，AI只是其中一種。人類不需要無所不知、無所不能的超級AI，而是需要能解決某個問題的好幫手。比如，無人駕駛汽車快捷、舒適、準(zhǔn)時和安全地把我送到目的地就可以了，不需要它有什么超越人的智能。如果我想出去旅游，旅游AI能很好地給我設(shè)計行程，供我參考就可以。為什么要搞一個無所不知、無所不能的超級AI呢？

技術(shù)發(fā)展的路徑有千萬條，人類要選擇對人類最為有利的發(fā)展路徑。選擇好了，控制住，更好地為人民服務(wù)，新科技發(fā)展才有前途。如果因為某些奇怪的原因，比如狂妄、好奇甚至別有用心，搞出一些有悖于社會福祉的東西，完全是浪費社會資源。

換言之，不管AI有沒有可能覺醒，人類不需要讓它覺醒，更不應(yīng)該任由它覺醒，而是應(yīng)該主動選擇阻止AI覺醒的技術(shù)發(fā)展路線。

AI去道德化

很多人意識不到，更有益的AI與更智能的AI是兩個完全不同的問題。更智能的AI，包括更道德敏感的、更能像人一樣進(jìn)行道德判斷與決策的AI，并不意味著更有益。我們必須記?。篈I設(shè)計的目標(biāo)不是更智能，而是更有益。

AI的自主性提升，究竟有什么價值？這是一個值得思考的問題。并非自主性越高、越有智能、越像人的AI，才是好的AI。為此，筆者主張“有限AI設(shè)計”，即聚焦于讓AI更好地與人互動，更好地服務(wù)于人類，盡力使其扮演好強大的功能性工具的角色，即Robot應(yīng)扮演的是無意識的勞工角色。除此之外的想法，對于人族無益，這就是筆者反對“宇宙視角”的原因。

具體到AI道德問題上，筆者主張“AI去道德化”，即AI設(shè)計不需要使AI“有道德”，能進(jìn)行所謂道德推理或道德決策。有限技治理論主張技術(shù)可控，必須把AI置于人類的完全控制之下，只有可控才能保證有益，所以AI設(shè)計并不追求更智能、更像人之類的目標(biāo)。

人類的道德行動混亂而不一致?！跋袢艘粯拥赖屡袛嗯c決策的AI”在何種意義上能成立呢？在《道德機器》中，艾倫提出了所謂道德圖靈測試：提供一系列真實的道德行為的例子，讓提問者區(qū)別其中哪些是機器行為，如果區(qū)別不了，AI就通過了道德圖靈測試。可是，對于同一個情境，不同人判別結(jié)果不同。有道德水平高的人，有道德水平低的人。如何能篤定某些道德行為必定不是人的行為呢？比如說，毫無征兆、毫無理由地殺死一個根本不認(rèn)識的新生嬰兒，你能斷定這是機器人干的，而不是某個殺人狂、殺嬰狂或精神病能干出的事情呢？

類似測試實際是比較某種行為比另外一些“更道德”，而不是區(qū)別道德與不道德的行為。問題是，哪一種行為更道德，既有的美德倫理學(xué)完全是混亂的。在邊沁看來，時時計算最大功利并依據(jù)計算行動的人是“活雷鋒”，康德會認(rèn)定，刻刻遵循內(nèi)心深處道德律令的人是“活雷鋒”。相反，對于什么是不道德，尤其是某些令人發(fā)指的罪行，不同的人群似乎更容易達(dá)成一致性。因此，比起讓AI“更道德”，避免AI越過底線做出明顯不道德的行為，應(yīng)成為AI設(shè)計的更可行方案。

還有人說，AI道德可以通過社會學(xué)習(xí)來解決，即讓AI在真實的社會互動中學(xué)習(xí)人類道德。這種觀點經(jīng)不起推敲。

第一，社會學(xué)習(xí)的結(jié)果，完全無法預(yù)計。有個人盡皆知AI學(xué)習(xí)語言的例子：聊天AI在網(wǎng)上跟人學(xué)說話，結(jié)果滿嘴臟話、痞話和種族言論，設(shè)計者不得不把它給關(guān)掉?？档碌摹跋忍斓赖侣闪睢币苍S不能完全服人，但人類的道德行為絕不完全是后天習(xí)得的，而是存在先天的東西。很多AI設(shè)計者將AI進(jìn)化與人類小孩成長等同起來，這種思路的根本性缺陷就在于AI缺少先天性的東西。社會性的道德養(yǎng)成可能失敗，社會學(xué)習(xí)之后AI也可能成為罪犯。

第二，能不能承受AI養(yǎng)成失敗的代價呢？顯然，不行。一個道德敗壞而無所不能的超級AI，可能毀滅整個社會。這就回到“能力者道德”問題。并且，AI并不能真正承擔(dān)犯錯的責(zé)任。你打機器人，拆了機器人，它沒有感覺，談不上所謂懲罰。對于社會而言，物理懲罰機器人沒有任何意義，也產(chǎn)生不了預(yù)防機器人犯罪的震懾作用。

因此，像小孩一樣養(yǎng)成AI道德行為，使之能像人一樣道德推理和道德決策的思路不可行。

有限AI設(shè)計

所謂人工道德、機器道德——AI是否是道德主體，是否能進(jìn)行道德推理，是否能進(jìn)行道德決策——更多的是某種修辭學(xué)，并非真正實指的“道德”。只有人與人之間才有道德問題，人與機器之間的道德問題，本質(zhì)上是以機器為中介的人與人之間的道德問題。這不是如何界定道德的概念問題，而是道德設(shè)計必須對人類有益?！盁o人的道德”理論可以成立，但對于人族生存并無價值。

AI道德設(shè)計本質(zhì)是AI行動規(guī)則制定的問題，即AI在現(xiàn)實社會情境中，能采取合適的行動，包括停止下來，等待人類操作者的指令，而不是會像“布里丹的驢子”一樣死機，或者根據(jù)隨機算法做出反應(yīng)。而AI行動規(guī)則是有限的，即局限于它的功能情境之中。比如，自動生產(chǎn)汽車的機器人只需處理工廠中的、與生產(chǎn)汽車相關(guān)的問題，不需要它能應(yīng)對在工廠之外的社會環(huán)境，也不需要它處理與生產(chǎn)無關(guān)的問題，比如讓它給工人跳個舞。因此，它活動的場所有限，不能脫離語境地要求它對一般規(guī)則進(jìn)行計算。為什么？人類只需從AI的能力中獲益，而不是從它更高尚中獲益。

對于人類而言，AI行動規(guī)則設(shè)計最重要的是可預(yù)見性，即與機器人互動的人類能預(yù)見它的可能反應(yīng)。如此，才能成為真正的人機互動。更重要的是，在可以提前預(yù)知互動結(jié)果時，針對那些可預(yù)計的不理想結(jié)果，人類可以進(jìn)行提前的干預(yù)。不可預(yù)計的AI是不安全的，更不可控。

可預(yù)見性意味著人類要學(xué)習(xí)AI的操作規(guī)則，或者說學(xué)習(xí)與之互動的可能場景。操縱新機器的工人需要花費很長的時間學(xué)習(xí)，才能成為熟練工。在有限主義者看來，這在AI時代同樣是必要的、管用的。我們并不需要機器人有更高的智能，而是有更強的、可控的和可預(yù)見的能力。

在AI無法承擔(dān)責(zé)任的前提下，AI設(shè)計要制度性地設(shè)計責(zé)任分配辦法，將AI可能導(dǎo)致的傷害分?jǐn)偟脚c之相關(guān)的設(shè)計者、使用者、擔(dān)保者等各方。顯然，這里講的傷害是社會能容忍的傷害。超級AI不可控，可能造成滅絕人類的傷害，因此應(yīng)該千方百計阻止它的出現(xiàn)。

還有一個值得思考的問題：我們能在何種程度上容忍AI設(shè)計錯誤？不能不容許機器出錯，新機器一直在出錯，為什么不能容忍機器人出錯呢？諾維格問得好：如果美國高速公路一半以上汽車是自動駕駛的，效果是每年死亡人數(shù)從約42000人降低到約31000人，自動駕駛汽車公司會得到獎勵，還是因為這31000的死亡面臨訴訟呢？顯然，自動駕駛對于整個社會是好的，但如果對于個體傷害無人擔(dān)責(zé)，就會變成壞的選擇。

換言之，AI容忍程度與制度性擔(dān)責(zé)設(shè)計相關(guān)。《道德機器》正確地指出：“將AI說成是某種道德主體，出了問題人類就推卸責(zé)任了?！弊詣玉{駛倫理的核心問題是責(zé)任問題，而非自動駕駛到底是不是道德主體。我認(rèn)為，類似問題都是毫無意義的爭論，對于AI設(shè)計的作用不大。

總之，有限AI設(shè)計主張將AI限制在有限的工具層面，而將相關(guān)道德問題全部交給人類處理。換言之，機器道德不是機器的道德，而是與機器相關(guān)的道德問題。