主體與類主體：人類如何與AI 相處？
——以波音737MAX 墜機事件為例

高兆明

一、問題的提出

埃航波音737MAX 墜機事件令人戰(zhàn)栗。a2019 年3 月10 日，埃塞俄比亞航空公司ET302 航班起飛后不久墜機，機上157 人全部遇難。根據(jù)分析，判定事故原因是飛機“迎角傳感器”出現(xiàn)數(shù)據(jù)異常。此型飛機上新安裝的“防失速”系統(tǒng)具有自動降低機頭功能。根據(jù)波音公司事后發(fā)布的信息，737 MAX 機型上的該系統(tǒng)具有繞開飛行員控制的能力，即便飛行員手動拉起機頭，五秒鐘之后又會自動重復(fù)下降過程。而波音公司提供的飛行員操作手冊與培訓(xùn)項目中都未提及此系統(tǒng)。根據(jù)美國西南航空2018 年11 月10 日的一份備忘錄，該系統(tǒng)“設(shè)計之初僅考慮到機組手動駕駛的罕見情況”，故飛行員“不應(yīng)該在實際飛行中看到這個系統(tǒng)”。結(jié)果，波音選擇不在737MAX機型的操作手冊中加入相關(guān)介紹。盡管此墜機事件是由技術(shù)原因引起，但它并不是一起純粹技術(shù)事故，隱藏在此技術(shù)事故背后的是“意義事故”或“價值事故”。就技術(shù)層面看，似乎最終表現(xiàn)出的是自動駕駛級別優(yōu)先于飛行員，飛行員不能操控飛機，似乎是人工智能體（AI）與飛行員之間在緊急時刻對飛機的實時最終控制權(quán)之爭，但背后存在著的是兩種根本不同的價值理念之爭：是人控制AI，還是AI 控制人。此起災(zāi)難性事件凸顯了人類現(xiàn)時在與AI 關(guān)系問題上的某種迷惘與混亂，并以沉重代價要求人類直面如何與AI 相處的問題，在形上層面澄清：在人類與AI 關(guān)系中，根本上究竟是以人為主導(dǎo)，還是以AI 為主 導(dǎo)？

“人類如何與AI 相處？”這一發(fā)問，不是工具理性意義上的，而是價值意義世界的。確實，人類與任何事物均有如何相處的問題，因為，在一般意義上，對于人類而言，如何與他物相處所指向的，不僅僅是認(rèn)識與理解他物，進(jìn)而構(gòu)建起與他物統(tǒng)一的現(xiàn)實關(guān)系（其中當(dāng)然包括對他物的合理利用與控制），而且更為重要的是指向?qū)θ祟愖陨淼恼J(rèn)識與理解，構(gòu)建起自身的日常生活世界，并在此日常生活世界中具體思考“我是誰”“我能做什么”“我能成為什么”等問題，展開“成人”的具體過程。在這一點上，AI 與他物無異。然而，問題在于：盡管AI 系人類創(chuàng)造，但是AI 不同于人類此前任何一種創(chuàng)造物，AI 有“智能”，AI 不僅有“學(xué)”與“思”的能力，而且還有超強的執(zhí)行行動能力，并因此顯現(xiàn)出某種自主、自抉能力。具有自主、自抉能力的AI 正使人們形成一種印象：AI 具有某種主體性，正成為主體；AI 的演進(jìn)方向似乎是正在逐漸消除與人類的根本界限，要成為與人類一樣的主 體。

人類借以超越萬物并引以為豪的，不外乎是有智慧或理性能力，理性能力包括理論理性能力與實踐理性能力兩個基本方面。理論理性能力是對真理的認(rèn)知能力，理論理性對真理的認(rèn)知不僅包括科學(xué)認(rèn)知，還包括對人的存在意義、價值世界的認(rèn)知。實踐理性能力不僅是亞里士多德意義上的，更是康德、黑格爾、馬克思意義上的，是人能動創(chuàng)造世界的創(chuàng)造性活動能力。然而，正如前述，AI 似乎正在試圖分享人類引以為豪的理性能力，正在向成為與人類一樣的主體演進(jìn)。因AI 技術(shù)的迅速發(fā)展與日益廣泛應(yīng)用，人類的生存境遇與尊嚴(yán)正在受到前所未有的挑 戰(zhàn)。

AI 技術(shù)的迅猛發(fā)展與廣泛運用是當(dāng)今人類社會無法抗拒的趨勢。AI 技術(shù)作為“座駕”，a參見海德格爾：《技術(shù)的追問》，載《海德格爾選集》，孫周興選編，上海：上海三聯(lián)書店1996 年版，第924—954 頁。對人的生活方式、交往方式、精神世界將帶來難以想象的改變。從技術(shù)與社會文明的角度看，人類歷史正在因AI 掀開新篇章。AI 技術(shù)正在并將以超出想象的速度給人類帶來更多福祉，人類在將越來越多的具體事務(wù)交給AI 的同時，將自己從繁重、無聊、重復(fù)、瑣碎的勞作中解放出來，并在對AI 寄以無限期待的同時予以高度信任。不過，在這種根本變化了的生存境遇中，人類正面臨前所未有的挑戰(zhàn)。人類應(yīng)當(dāng)如何行為，如何重構(gòu)自己的社會生活秩序與心靈秩序？人類應(yīng)當(dāng)如何對待AI 技術(shù)，人類對待AI 技術(shù)的行為規(guī)范性及其根據(jù)何在？在AI 技術(shù)時代，人類是否還要堅持自身獨有的主體性地位，是否還有保持自身尊嚴(yán)及其高貴性的使命，是否還要堅持“成人”？如果放棄人類自身獨有的主體性及其高貴性，人類又何以“成人”？盡管當(dāng)今人類無法阻止AI 技術(shù)的進(jìn)一步發(fā)展，但是，人類卻應(yīng)當(dāng)為了自身長遠(yuǎn)福祉，基于理性嚴(yán)肅思考AI 技術(shù)的發(fā)展方向，思考人類與AI 的基本關(guān)系及其相處的基本范式，規(guī)范設(shè)計、制造與使用AI 技術(shù)活 動。

二、AI 是主體嗎？

AI 的自我學(xué)習(xí)、自主自抉能力，似乎越來越讓人們相信AI 是主體，甚至人類已賦予個別AI 某種法律權(quán)利與公民身份。如果AI 是與人類一樣的主體，那么，人類與AI 的關(guān)系在原則上就是“主體間”關(guān)系，而“主體間”關(guān)系與“非主體間”關(guān)系是兩種有原則區(qū)別的關(guān)系范式。在此意義上，要合理澄清人與AI 關(guān)系問題，首要任務(wù)就是澄清AI 屬性，澄清AI 是否真的是與人一樣的主 體。

確實，AI 具有自我學(xué)習(xí)能力，具有自主、自抉能力，且在具有明確目的性的同時具有超強的行動能力，甚至在一些具體方面遠(yuǎn)超人類。這些似乎都鮮明地顯示AI 具有主體性，是主體。然而，AI 真的是主體嗎？AI 在何種意義上是主體？擁有自主、自抉能力，乃至擁有自我學(xué)習(xí)能力的存在物就一定是主 體？

何謂“主體”？根據(jù)黑格爾的看法，一切實體均是主體，但人是意識到自身是自由的精神主體。a參見黑格爾：《精神現(xiàn)象學(xué)》 （上卷），賀麟、王玖興譯，北京：商務(wù)印書館1987 年版，第11 頁；《法哲學(xué)原理》，范揚、張企泰譯，北京：商務(wù)印書館2009 年版，第46 頁。所謂一切實體均是主體，是在事物具有自主運動能力的自主運動意義上而言，指事物運動的原因不在外部，而在自身。正是在此意義上，黑格爾甚至曾認(rèn)為阿米巴蟲亦是主體。不過，作為實體的主體有自在、自為之分。阿米巴蟲只是一種自在的生物生命體，沒有精神意識，不是自為的，更不是自由的，因而，談不上是真實主體。人則不同。人作為主體，不僅有意識，且能夠意識到自身是自由的；不僅有自由精神，而且還有意義世界及其自覺追求；不僅能夠認(rèn)知外部世界，而且還能通過自身的創(chuàng)造性活動，創(chuàng)造現(xiàn)實自由世界。人是精神性存在，人有精神意義世界，自由是精神的內(nèi)在規(guī)定，人的一切活動是自由精神的顯現(xiàn)。自覺意識到自身是自由的這一自由精神及其自覺實踐，是橫亙在人與AI 之間的鴻溝。至少迄今為止，AI 沒有自我意識，沒有意義世界，沒有自由意志，沒有作為形成意義世界前提的社會性。即便我們在理論上取徹底開放性態(tài)度，不排除AI 有演進(jìn)成為主體的可能，但那一天極為遙 遠(yuǎn)。

然而，問題在于：根據(jù)一般印象，能動性、自主性是主體的基本特質(zhì)，既然如此，為什么AI 所顯現(xiàn)出的這種自主、自抉能力不能被理解為主體性能力？為什么具有自我學(xué)習(xí)、自主自抉能力的AI 不能被視為主體？對此問題的基本回答是：其一，自主、自抉是主體的必要條件，卻非充分條件。自主自抉、意義世界、變主觀為客觀的創(chuàng)造性活動，才是真實主體的充要條件，更何況AI 的自主自抉只是外在現(xiàn)象的，而非內(nèi)在精神的。即便AI 確實具有某種目的且有向著既定目的前行的堅定行動能力，但是，其也不能在嚴(yán)格意義上被稱為真實主體。一方面，AI 的自我學(xué)習(xí)、自主自抉能力在根本上由人類算法支配；另一方面，AI 的目的不僅系人為設(shè)定，而且它只是具體目的，不是意義世界的終極目的，AI 沒有意義世界及其目的性。其二，根據(jù)康德的看法，主體屬于自由王國，主體性的要旨不是現(xiàn)象的自動，主體性是自由意志精神：主體不僅為自然立法，亦為自我立法，不是服從自然因果必然律，而是服從自由律，是“自我立法”的自律。AI 似乎具有自主、自抉性，但是，正如前述，它沒有意義世界與價值目的性，即便其所具有的功能目的性亦是人類設(shè)置，AI的具體行動策略選擇由人類算法事先規(guī)定。AI 不具有康德意義上的主體 性。

不過，AI 自身所具有的這種自我學(xué)習(xí)、自主自抉特性，又確實呈現(xiàn)出某種智能主體活動的特征，并使其鮮明地區(qū)別于其他一切自然物與人造物。AI 既不同于人類，亦不同于地球上既有的一切自然物與人造物，AI 是地球上新近出現(xiàn)的一類具有某些主體性形式特征的人類創(chuàng)造物。AI 不是主體，AI 是“類主體”，此“類”為“類似”，指AI 具有主體的某些自主自抉“智能”特征，在一些方面類似于主體，但并不是主體?！邦愔黧w”使AI 既區(qū)別于一切自然物與其他人造物，又區(qū)別于人 類。

對于AI 不是主體而是類主體的這一認(rèn)知，有助于從根本上澄清時下令人們困頓的關(guān)于AI 的道德價值與道德責(zé)任問題。時下人們所關(guān)切的AI 道德價值與道德責(zé)任問題，不是AI 自身內(nèi)在的，而是人類加予AI 的。AI 不是主體，不屬于自由王國，這自然意味著AI 不可能是道德主體。AI 行動所具有的所謂道德價值在根本上就不是AI 自身的，而是人的；AI 行動的所謂倫理性或道德性，就不是AI 行動內(nèi)在所具有的，而是其行動結(jié)果合乎倫理或道德規(guī)范狀況的。具體言之，其一，在某種意義上AI 是算法，算法法則體現(xiàn)價值法則。AI 究竟有何種算法法則，這由設(shè)計者規(guī)定，說到底AI 的算法法則體現(xiàn)的不過是設(shè)計者的價值法則。其二，AI 不具有道德能力，更無所謂具體情境中的道德“想象力”a參見杜威：《人性與行為》，載《杜威全集》 （第14 卷），羅躍軍譯，上海：華東師范大學(xué)出版社2012 年版，第113—114、117 頁。，因而，AI 既無所謂道德行為選擇能力，亦無所謂道德責(zé)任能力。時下一些學(xué)者所說倫理性的AI 問題，其要旨也只是：使AI 在行動結(jié)果上顯得合乎倫理或道德規(guī)范性，顯得是善的，進(jìn)而使AI 顯得有倫理道德。所謂具有倫理性的AI 不過是指：具有某種行動能力的AI 能夠在行動結(jié)果上顯得是合乎倫理道德規(guī)范性的，是善 的。

盡管AI 不同于既有的一切自然物與人造物，是“類主體”，但是，人類與AI 的關(guān)系問題在總體上仍然沒有超出古老的人類與自然（或物）的關(guān)系問題。古老的人與自然關(guān)系問題可以有諸多理解角度與層面，但核心均離不開人在宇宙中的位置。人不是自然生命體，人是自由精神存在；人不是簡單地“在”世界中，人就是其生活世界，人在自身生活世界中成為人。盡管后現(xiàn)代在反思現(xiàn)代性過程中對“人類中心主義”提出諸多批評，但是，“人類中心主義”所指向的“人是目的”、人類一切實踐活動在價值上均以人類自身為目的這一核心內(nèi)容，卻是人類極為珍貴的思想財富。在現(xiàn)代性過程中的“人類中心主義”思想及其實踐之所以受到來自后現(xiàn)代思想的詰難，不在于其堅持“人是目的”這一人類活動的最終自身價值指向性，而在于其主客二分對峙的世界觀與方法論，在于離開了人的生活世界孤獨地理解人，沒有認(rèn)識到宇宙萬物構(gòu)成了人類現(xiàn)實生活世界。為了自身，人類應(yīng)當(dāng)珍惜與善待宇宙萬物，與萬物和諧相處，共在共生。與宇宙萬物和諧相處、共在共生當(dāng)然也是一種價值觀，但是，這種和諧相處、共在共生關(guān)系中有價值目的性和核心，就是人類自身的生存與發(fā)展。盡管AI 技術(shù)作為“座駕”會深刻影響與改變?nèi)祟惔嬖诜绞?，但是AI 本身作為人類的創(chuàng)造物，首先是作為人的工具出場。在人與AI 關(guān)系中，人永遠(yuǎn)處于價值目的性地 位。

來自后現(xiàn)代性對現(xiàn)代性的批判曾一度成為時尚，這種時尚甚至反對人類主體性，主張人與動物平等，主張將動物權(quán)利納入正義邊界，等等。這種思潮與其反思對象構(gòu)成兩個極端。AI 技術(shù)則以一種極為尖銳且無法回避的方式向人類提出：人類在AI 面前真的應(yīng)當(dāng)放棄，或者與AI 分享自己的主體性地位嗎？至少就人類迄今為止的認(rèn)知水平而言，AI 在根本上仍然沒有超出人類的創(chuàng)造物范疇。AI 是人類創(chuàng)造的類主體，AI 在根本上仍然是人類造福自身的工具——即便考慮到隨著AI 技術(shù)的進(jìn)一步發(fā)展AI 會以某種方式與人體（生命代謝、運動、認(rèn)知、記憶、思維、情感活動）相融合的情景，也不能改變此種判斷。那只是在現(xiàn)象界模糊了人體與某些AI的界限，但卻不能改變這些與人體融合的AI 的基本屬性，否則，就可能從根本上是反人性的。AI 是人類造福自身的工具，這是人類與AI 關(guān)系的基石。一旦離開這一基石，一切關(guān)于人類如何與AI 相處的思考，就會陷于混亂乃至災(zāi) 難。至少《三體》從一個側(cè)面向我們深刻揭示了這一點。

三、AI 值得信任嗎？

AI 是否值得信任？人在何種意義上信任AI？如果我們能夠承認(rèn)AI 不是主體，而是類主體，那么，人類對AI 的信任在總體上就不是主體間的，而是作為主體的人對于自身創(chuàng)造物的信 任。

主體間信任是人際信任。主體間信任總是發(fā)生在倫理共同體中，并有“背景性制度框架”與“背景性價值框架”a參見泰勒：《自我的根源：現(xiàn)代認(rèn)同的形成》，韓震等譯，南京：譯林出版社2001 年版，第27 頁。作為基本框架與規(guī)范。這意味著主體間信任既有“共通感”這一人性前提，又有基于某種共同價值精神的相互對話、認(rèn)同、承認(rèn)，以及基于交互主體性的承諾—守信，還有制度性信任安排以及基于制度性安排對基本交往方式與結(jié)果的可預(yù)期性。主體間信任關(guān)系的形成，除了前述宏觀倫理共同體及其背景性框架外，在微觀上直接依賴主體對交往對象的基本判斷：其能力與美德是可靠的。主體基于這種判斷，相信交往對象有能力且能負(fù)責(zé)任地履行義務(wù)。即，在主體間信任關(guān)系中，一個主體之所以能獲得另一個主體的信任，因其具備兩個基本條件：可靠的客觀能力與值得欣賞的道德品質(zhì)。交往對象既具備完成某種活動應(yīng)有的相應(yīng)體力、智力、技能等客觀能力，又具備善良意志、負(fù)責(zé)任、創(chuàng)造性等主觀精神。一個僅有客觀能力，或僅有主觀善良愿望與態(tài)度者，不能獲得可靠性判 斷。

由于AI 不是主體，AI 無所謂善良意志主觀精神，因而，人對AI 的信任就不是主體間意義上的人際信任。人對AI 的信任是對AI 專業(yè)活動能力及其可靠性的信任。那么，AI 在專業(yè)活動能力方面是否無所不能、可以值得絕對信賴？對于具有超強能力的AI，人類是否可以無條件地給予充分信任，托付自身命運（恰如波音737MAX 災(zāi)難性事故中所顯現(xiàn)的那樣）？確實，隨著AI 技術(shù)的發(fā)展，AI 具備了越來越精密的感知能力，且在超強運算與瞬時傳輸能力之下，具體反應(yīng)的精準(zhǔn)與速度亦可能遠(yuǎn)遠(yuǎn)超過人類。不僅如此，AI 還具有超強的行動能力。在AI 技術(shù)給人類帶來的那些具體便利與福音面前，人類出于理智會選擇使用并相信AI，甚至在必要時自覺不自覺地放棄自己的主導(dǎo)權(quán)，將自己的命運事實上交給AI 控制。確實，人類在日常生活中應(yīng)當(dāng)信任自己的創(chuàng)造物，否則寸步難行。但是，問題的關(guān)鍵在于：一方面，此種信任以對其合理認(rèn)知為前提；另一方面，此種信任是有條件的，是在合理范圍之內(nèi)的有限信任。否則，信任就變成輕信乃至迷 信。

AI 并非無所不能，即便在專業(yè)能力領(lǐng)域，AI 的認(rèn)知與行動能力亦有嚴(yán)重局限性。這種局限性，不是某個具體知識與行動能力方面的，而是一般認(rèn)知、判斷、選擇能力方面的：AI 缺失人類的想象力與懷疑反思精神。AI 的這種一般認(rèn)知、判斷、選擇能力的局限性，直接決定了其具體認(rèn)知、行動能力無法擺脫的局限性。具體說來，其一，AI 缺失富有想象力的創(chuàng)造性。用以支配AI 認(rèn)知、判斷與行動選擇的算法原則是大數(shù)原則，大數(shù)原則是選擇大概率，拒斥小概率。然而，真正具有突破性的創(chuàng)造活動，往往出現(xiàn)在小概率情況下，使那些似乎不可能或極小可能的成為可能，并變成現(xiàn)實。小概率不是不可能，小概率也是一種現(xiàn)實可能，關(guān)鍵的是條件，只要具備必要條件它就能成為現(xiàn)實。想象力是使不在場的成為在場、從“能是”認(rèn)知“所是”的一種能力。想象力打開可能世界，并創(chuàng)造無限可能的現(xiàn)實世界。想象力使人類具有非凡創(chuàng)造力，使似乎不可能的成為現(xiàn)實。其二，缺失懷疑反思精神。AI 認(rèn)知、判斷、行動確實表現(xiàn)出某種堅定性以及具體情境中的靈活適應(yīng)性，不過，由于AI 算法的先在規(guī)定性及其大數(shù)原則，AI 的認(rèn)知、判斷、行動選擇在總體上只是一種大概率事件，既沒有內(nèi)在自覺價值目的性，也沒有自覺質(zhì)疑精神。人類的認(rèn)知、判斷、選擇活動是具體情境中的開放性過程。反思懷疑精神是人在開放世界堅持人類基本價值精神的創(chuàng)造性活動。這種懷疑反思精神來自兩個方面：一是基本價值精神，一是具體情境中的具體手段選擇。在波音737MAX 事件中，當(dāng)飛機處于起飛高度機頭被反復(fù)強制下壓時，AI 自動系統(tǒng)不能“意識”到此時此種強制下壓機頭選擇的災(zāi)難性風(fēng)險，也未能“意識”到迅速與塔臺指揮或飛行員及時溝通確證的必要，“一意孤行”。AI 自動系統(tǒng)反復(fù)強行執(zhí)行機頭下壓，是因為它根據(jù)程序“感覺”到飛機處于風(fēng)險狀態(tài)，要規(guī)避風(fēng)險。但是，AI 自動系統(tǒng)恰恰此時缺失更為根本的大局風(fēng)險“意識”：處于如此起飛高度的飛機機頭下壓意味著何種危險！由此可見，即便是在AI 極為擅長的專業(yè)領(lǐng)域，其認(rèn)知、判斷、行動選擇能力也是有限、有條件的，未必值得完全信 任。

鑒于AI 缺失意義世界，缺失人是目的、自由意志精神，沒有道德感，鑒于AI在具體領(lǐng)域中超強技術(shù)能力的有限性，人類對AI 的信任只能是一種有條件的有限信任。人類不能將自己命運的最終決定權(quán)無條件地交給AI，尤其是不能放棄緊急關(guān)頭的人類最終選擇 權(quán)。

波音737MAX 災(zāi)難事故，以災(zāi)難性方式表明人類最終選擇權(quán)的價值。當(dāng)然，對此也許會有來自人類航空史上另一災(zāi)難性事故的反駁。a2002 年7 月1 日深夜，俄羅斯的一架客機和敦豪國際快運公司的一架貨機在德國南部上空猛烈相撞，機上71 人全部遇難，其中包括52 名孩子。那次事故發(fā)生時，兩架飛機都在瑞士蘇黎士空管中心的管轄范圍內(nèi)，事后調(diào)查證實瑞士蘇黎士空管中心對這場悲劇負(fù)有責(zé)任。當(dāng)時，兩架飛機在兩個空管交接區(qū)相遇，由于一系列原因，兩架飛機彼此發(fā)現(xiàn)在同一航線、同一高度且相距極近，兩架飛機均自動啟動緊急避讓系統(tǒng)，上下交錯300 米。但是，與其同時，空管中心的空管員突然發(fā)現(xiàn)兩機處于危險狀態(tài)，便緊急給出控制指令，且此指令恰恰與飛機自動避讓系統(tǒng)自動給出的相反。飛行員根據(jù)空管指令操縱飛機避讓，最終導(dǎo)致兩機直接相撞。此次事故后，國際航空組織制訂了一條航空管制中的空中緊急避讓規(guī)則：當(dāng)出現(xiàn)空中飛機相撞危險需要緊急避讓時，若人工管制指揮與飛機自動檢測系統(tǒng)指令發(fā)生沖突，則服從自動檢測系統(tǒng)。此案例似乎表明：在緊急情況下自動檢測系統(tǒng)指令優(yōu)先于管制員指令，人的命運主宰權(quán)交給自動檢測系統(tǒng)。不過，如果注意到以下兩個條件，就不會輕率地得出此種結(jié)論。其一，飛機的操縱權(quán)在飛行員手中，只是強調(diào)飛行員在處置此類情況時的信息依據(jù)優(yōu)先性。其二，有雙重技術(shù)驗證機制保證的信息可靠性。相關(guān)兩架飛機各自均有相應(yīng)檢測驗證系統(tǒng)，即便其中一架飛機相應(yīng)傳感器檢測系統(tǒng)出現(xiàn)故障，還有另一檢測系統(tǒng)工作。這種信任，如同人類大海航行、陸地行車信任GPS 導(dǎo)航一樣，是人類對成熟技術(shù)及其可靠性的信任，且這種信任本身既不排除對相關(guān)信息的雙重驗證，更不排除人類自身對航行器的實際掌控 權(quán)。

就技術(shù)上言，至少發(fā)生事故的波音737MAX 的技術(shù)可靠性存疑。導(dǎo)致波音737MAX 事故的是飛機上的“迎角傳感器”失靈。設(shè)計者不知基于何種考慮，此類飛機只設(shè)計一個“迎角傳感器”，而沒有取可以雙重驗證的技術(shù)路徑，以防其中一個傳感器失靈還有另一個可以驗證，不至于在自動駕駛中犯下無可挽回的毀滅性災(zāi)難。再加上相關(guān)飛機操控優(yōu)先權(quán)設(shè)定，飛行員在發(fā)現(xiàn)異常后不能操縱飛機，使飛機出現(xiàn)災(zāi)難性事 故。

當(dāng)然，技術(shù)失靈不能成為不信任AI 的充分理由，因為人類同樣會犯錯誤，甚至?xí)赶轮卮鬄?zāi)難性事故。諸如日常生活中常見的司機注意力不集中、判斷操作失誤，化工廠閥門工操作失誤等所造成的災(zāi)難性事故，乃至如切爾諾貝利核電站爆炸事故，等等。這些正是人類引入自動化、自動駕駛汽車等的合理理由。在此意義上，即便是在行動操作可靠性上，人工操作并不比AI 顯得更為可靠。既然如此，為什么不能如同信任人類自身一樣信任AI？為什么最終要由人自身掌控？這里應(yīng)區(qū)分形上與形下兩個不同層次的問 題。

就形上言，人的任何活動均有風(fēng)險性，甚至不能排除有災(zāi)難性風(fēng)險的可能，為什么在AI 與人的行動同樣有災(zāi)難性風(fēng)險可能的情況下，最終選擇權(quán)要掌握在人手中？理由何在？理由很簡單，僅僅因為人的終極性形上理念：人是主體，必須將命運掌握在自己手中。一個不能掌握自身命運者，只能是被擺布的玩偶，不能成為主體。只有人類自己才能夠掌握自身命運，否則，人類就是被支配操縱的玩偶，就不是主體，就沒有高貴性與尊嚴(yán)。人是意識到自身是自由的存在，人是自由的。僅此理由足 矣。

就形下言，人類對AI 的信任，探其究竟，是對人類自身的信任：對人類自身理性、科學(xué)精神的信任，對自身認(rèn)知與創(chuàng)造能力的信任，對自身創(chuàng)造物質(zhì)量及其可靠性的信任，對相關(guān)專業(yè)同胞創(chuàng)造性活動及其成果的信任。然而，世界是開放的，一方面，理性有哈耶克所謂的“理性不及”；另一方面，美德亦未必可靠，即便基于善良動機也未必有好的結(jié)果。即便是公認(rèn)最優(yōu)秀的設(shè)計師、工程師，也有失誤的可能，更何況人世間德藝雙馨者鳳毛麟角，絕大多數(shù)人在多多少少懷有某種私念的同時，技術(shù)技能亦有所欠缺。出事故的波音737MAX 為何只設(shè)計一個迎角傳感器？為何在飛行手冊上沒有明顯相關(guān)提示？如此等等，本就是令人深思的問題。這樣，我們的視野就不得不由一般意義上的人類對AI 信任問題，進(jìn)一步深入至人類的一部分人對另一部分人的信任問題。如是，則問題本身就進(jìn)一步轉(zhuǎn)換為：緊急關(guān)頭的最終選擇權(quán)是掌握在具有一定選擇能力的自己手上，還是他者手上？在一般意義上，一個人自己的命運是否可以無條件地交付他者做主？如果有選擇能力的自己無條件地將命運交給他者做主，那么，其還是主體 嗎？

四、AI 有可能失控嗎？

AI 技術(shù)將滲透進(jìn)我們?nèi)粘Ｉ畹拿恳粋€方面，它直接參與構(gòu)成人類的生存境遇。不僅如此，AI 還一定會以各種方式在生命有機體與社會有機體兩個層面上不斷與人融合。今天，任何關(guān)于人類能是怎樣、可能怎樣、能做什么等康德式的永恒追問，都離不開AI 因素。AI 通過構(gòu)成人類生存境遇而影響人性、人類的日常生活方式與交往方式以及人類的可能世 界。

人類的任何創(chuàng)造物都有可能失控。即便是簡單的一把斧頭，也有可能由于制造、維護(hù)過程中的細(xì)微失誤而失控，在此意義上，AI 亦不例外。此處的關(guān)鍵是：在何種意義上理解此處所說的“AI 失控”？就此問題至少值得進(jìn)一步追問：誰之失控？何種失控？“誰之失控”追問的是此“失控”相對的是人類整體，還只是人類的某些人？前者指向的是人類整體不能有效控制AI，后者指向的是人類社會中的一部分人失卻對AI的有效控制。這是兩類完全不同性質(zhì)的問題。“何種失控”追問的是失控程度狀態(tài)是全局性的，還是局部性的。前者指向的是對人類整體命運無可挽回的災(zāi)難性失控，人類不再擁有通過“理性學(xué)習(xí)”實現(xiàn)“理性累積進(jìn)步”a參見哈耶克：《自由秩序原理》，鄧正來譯，北京：生活·讀書·新知三聯(lián)書店1997 年版，第65—67 頁。的時間與空間。后者指向的“失控”還只是有限范圍內(nèi)的，至少人類還有時間與空間通過發(fā)揮自己的理性能力，在開放性過程中克服“理性不及”，糾正自己的失誤，繼續(xù)進(jìn)行“理性累積進(jìn)步”過 程。

赫拉利曾預(yù)言“神人”將主宰社會?！吧袢恕笔悄切┱瓶嘏c使用AI 技術(shù)的技術(shù)專家，以及掌控這些技術(shù)專家的金融與權(quán)力資本，人類社會成員并據(jù)此被分為“有用”與“無用”兩類，且絕大部分屬于“無用”“多余的人”。b參見赫拉利：《未來簡史》，林俊宏譯，北京：中信出版集團(tuán)2017 年版，第275、286 頁。赫拉利的預(yù)言可能失于夸張，但是，他所揭示的問題本身卻值得重視。根據(jù)赫拉利的思路，人類如何與AI 相處的問題，事實上就變成了如下問題：人類大多數(shù)人如何與那些掌控AI 的“神人”相處，那些“神人”是否可能以及如何可能通過AI 控制與支配社會，人類社會如何避免被這些“神人”控制與支配。至少就目前人類所能達(dá)到的有限認(rèn)知而言，AI 是人類工程師的作品，AI 沒有自由意志，AI 不能自我繁殖，AI 不能形成獨特的AI 社會。因而，人們時下所談?wù)撆c擔(dān)憂的AI 對人類社會的可能支配問題，實質(zhì)上是那些有能力設(shè)計、制造與控制AI 的“神人”對人類社會的控制與支配問題。人們信任AI 并將最終選擇權(quán)交給AI，事實上是信任并將命運交給那些設(shè)計、制造、使用AI 的“專家系統(tǒng)”c參見吉登斯：《現(xiàn)代性與自我認(rèn)同》，趙旭東等譯，北京：生活·讀書·新知三聯(lián)書店1998 年版，第20 頁；吉登斯：《現(xiàn)代性的后果》，田禾譯，南京：譯林出版社2000 年版，第19 頁。。而根據(jù)赫拉利的說法，這些工程師又會以各種方式受金融寡頭與權(quán)力壟斷集團(tuán)控制。在此，知識、資本、權(quán)力三者前所未有地整合一體，并構(gòu)成赫拉利所說的“神人”集 團(tuán)。

人類發(fā)明、制造、使用AI，是希望AI 造福人類自身，但是，事物演變進(jìn)程往往不以人的意愿為轉(zhuǎn)移。AI 與人類關(guān)系究竟可能怎樣，不僅應(yīng)當(dāng)考慮人類設(shè)計、使用AI 的動機、目的、價值立場，還應(yīng)當(dāng)考慮到AI 技術(shù)的可能演進(jìn)、發(fā)展水準(zhǔn)。就人類與AI 關(guān)系而言，應(yīng)在這二者的連接中理解人類的生存境遇及其可能世界。在總體上，AI 技術(shù)演進(jìn)與使用有三種可能途徑及其結(jié) 果。

其一，AI 具有自我感知能力，有基于優(yōu)越能力的優(yōu)越感。而基于“自我”感知能力的“自我意識”有可能會進(jìn)一步形成兩種意識：（1）優(yōu)越意識以及因自我優(yōu)越意識而形成的如同黑格爾、福山曾說的要求“承認(rèn)”及其不服從與反抗。（2）恐懼與害怕以及因恐懼與害怕而對行為的節(jié)制。如果AI 有感知能力而無恐懼，AI 還能被人類控制嗎？現(xiàn)在看來，這種可能演進(jìn)路徑及其結(jié)果還只是一種幻 想。

其二，AI 不能被人類有效控制。這種失控有局部與整體兩種可能類型。局部失控是個別類型的AI 由于特殊原因，設(shè)計、操控者不能有效控制。盡管局部失控只是有限范圍內(nèi)的，但它對于人類而言仍然是災(zāi)難性的，如波音737MAX 事故。整體失控則是由于AI 自身演進(jìn)達(dá)到令人難以想象的地步，乃至于人類在總體上不能有效控制自己的創(chuàng)造物。盡管現(xiàn)在看來這種可能性微乎其微，但卻不能斷然否認(rèn)。更為重要的是，也許人類甚至無法判斷區(qū)分局部失控與整體失控的清晰邊界究竟在哪。要防止與控制此類可能風(fēng)險，最重要的是人類在設(shè)計、制造、使用AI 活動中的科學(xué)精神與謙卑態(tài)度。人不是神，人不是萬能的，人不能“濫用科學(xué)”a參見哈耶克：《科學(xué)的反革命：理性濫用之研究》，馮克利譯，南京：譯林出版社2003 年版，第108—109 頁。，人類應(yīng)當(dāng)在科學(xué)精神引領(lǐng)下一步步小心探索前 行。

其三，AI 為其設(shè)計、制造、掌控者即“神人”所掌控，并成為“神人”的社會控制工具。在數(shù)據(jù)技術(shù)時代，人類對AI 的依賴性只會增加，不會減少。而AI 行動由算法規(guī)定，算法由工程師撰寫，一切軟件命令只不過是工程師對問題的理解及其解決策略。在此意義上，如果說在數(shù)據(jù)時代AI 對社會的影響與控制作用越來越強，這事實上就意味著：那些設(shè)計、制造、掌控AI 的“神人”有可能越來越得心應(yīng)手地掌控社會命運。在AI 技術(shù)時代，人類的生存境遇發(fā)生了重大變化，并在此生存境遇中顯現(xiàn)出一種新的生存悖論。具有自我學(xué)習(xí)、自主自抉與超強行動能力的AI 應(yīng)當(dāng)置于人類的有效控制之下；人類通過極少數(shù)專業(yè)人員，即那些所謂“神人”控制AIb這意味著只要人類愿意，就可以以極為隱藏的方式在AI 中留下可以施加控制的有效通道。這在日常生活的意義上意味著什么？思之不安。，這些“神人”通過控制AI 而控制人類。人類在努力擺脫既有控制時，又陷入了另一種新的控制。這種新的生存悖論，是人類自身文明演進(jìn)過程中的新挑 戰(zhàn)。

AI 對人類的影響最終取決于人類自身。一方面，人類是否能夠抵制自身的貪婪、狂妄自大，是否能以負(fù)責(zé)任的態(tài)度從事AI 技術(shù)研發(fā)、設(shè)計、制造與使用，是否對必然世界持某種敬畏心，以科學(xué)態(tài)度謹(jǐn)慎工作，是否在風(fēng)險可控前提下摸索著發(fā)展AI 技術(shù)。另一方面，人類是否能夠在數(shù)據(jù)時代適時并恰當(dāng)?shù)卣{(diào)整自己的社會結(jié)構(gòu)體系及其文化價值，避免因AI 技術(shù)造成人類內(nèi)部分裂，避免使AI 成為一部分人掌控與支配另一部分人的工 具。