數(shù)字反噬、通能塔詛咒與全押歸零的人工智能賭局
——智能革命重大風(fēng)險及其治理問題的若干思考

劉益東

(中國科學(xué)院 自然科學(xué)史研究所，北京 100190)

近年來，人工智能快速發(fā)展，其風(fēng)險與倫理問題日益凸顯，備受關(guān)注。人工智能倫理規(guī)范紛紛出臺，據(jù)斯坦福大學(xué)《人工智能指數(shù)2021》等不完全統(tǒng)計，截止到2021年底，世界各國已經(jīng)出臺逾百套人工智能倫理規(guī)范與治理政策及相關(guān)文件，而這些并未或?qū)嶋H上并未影響人工智能及相關(guān)領(lǐng)域的研發(fā)，接二連三的突破都作為重大科技成就而引發(fā)熱議和追捧。與合成生物學(xué)等一些新興科技類似，人工智能在爭議中快速發(fā)展，我們應(yīng)該防控其帶來的失業(yè)、失能、失控。人工智能倫理治理存在諸多不足，形勢嚴(yán)峻，急需深入探討和匡正。本文探討數(shù)字反噬、科技風(fēng)險劇增理論、智能革命的獨特性、人工智能風(fēng)險認(rèn)識誤區(qū)和大規(guī)模失業(yè)、生產(chǎn)致毀知識等對人類安全的威脅，研判人工智能風(fēng)險與倫理治理面臨的挑戰(zhàn)，提出治理對策。

一、從數(shù)字化到數(shù)字反噬

信息技術(shù)引發(fā)信息技術(shù)革命，深刻改變了人類社會，信息蠶房、數(shù)字鴻溝、網(wǎng)絡(luò)安全隱患等負(fù)面作用日益引起重視，筆者則對過度數(shù)字化進(jìn)行批評，提出警示。數(shù)字技術(shù)給人類生活、學(xué)習(xí)和工作帶來諸多便利，但是由于人類自身的生理限制，閱讀仍然依靠肉眼逐字逐句地讀進(jìn)大腦，閱讀數(shù)字版和紙版的速度相差無幾，記憶仍然依靠大腦，導(dǎo)致人類的邊際效用遞減，數(shù)字技術(shù)對人類學(xué)習(xí)、工作、決策等能力提升的作用已十分有限。而目前機器人的數(shù)字文獻(xiàn)閱讀速度是人類的十萬倍、百萬倍，而且隨著計算機技術(shù)和人工智能技術(shù)的不斷進(jìn)步，機器人的閱讀速度和學(xué)習(xí)效率與日俱增，理解和分析能力不斷升級換代，自學(xué)能力更使人類望塵莫及。IBM的沃森機器人醫(yī)生可以在幾秒鐘內(nèi)閱讀數(shù)百萬字，還能將學(xué)到的知識應(yīng)用到新的案例中，并給醫(yī)生提出建議。采用深度學(xué)習(xí)技術(shù)的AlphaGo用幾個月時間，學(xué)習(xí)了三千萬盤人類棋局，戰(zhàn)勝人類圍棋冠軍。隨后橫空出世的Alphazero無需學(xué)習(xí)人類棋譜，用三天時間自學(xué)，與自己博弈了數(shù)百萬局，即以100:0的戰(zhàn)績戰(zhàn)勝了AlphaGo。由于各種文件、文獻(xiàn)都已經(jīng)數(shù)字化，便于AI處理，AI機器人大顯身手。以色列特拉維夫的LawGeex研發(fā)了一套法律AI平臺，舉行人機比賽，活動中有20位人類律師與AI平臺進(jìn)行比賽，在速度和正確率方面，AI大幅超越人類律師。AI只需26秒，就完成了5份協(xié)議的審批，而人類律師平均要花費92分鐘才能完成；AI準(zhǔn)確率高達(dá)95%，而人類只有85%。2020年底，在浙江大學(xué)法學(xué)院小禮堂舉辦的人機大戰(zhàn)，阿里達(dá)摩院“AI律師”不到1分鐘即完成審核運算，準(zhǔn)確率高達(dá)96%，速度遠(yuǎn)超人類，審核質(zhì)量與參賽的知名律所律師相媲美。[1]

大規(guī)模數(shù)字化、智能化無止境地增強了人工智能學(xué)習(xí)、工作、決策等能力，讓原本作為人類工具和助手的機器人反客為主，成為人類工作崗位的替代者，甚至成為侵略者、統(tǒng)治者，風(fēng)險遞增甚至劇增。筆者將這種現(xiàn)象稱為數(shù)字化反噬，簡稱“數(shù)字反噬”。

“數(shù)字反噬”的定義為：深度數(shù)字化、科技化給予人類便利的同時，機器人(人工智能)因不受生理限制而獲得的便利和收益超過人類獲得的便利和收益，且超過的越來越多，直到反客為主，替代人類、危害人類、統(tǒng)治人類。那種認(rèn)為“人+機器人”可以優(yōu)于機器人的想法只是想當(dāng)然，因為人根本無法配合比自己高明千萬倍的機器人，就像“柯潔、李世石+Alphazero”與Alphazero對局的勝率，兩位世界冠軍的作用完全可以忽略不計。

二、科技風(fēng)險劇增理論初探

數(shù)字反噬使得數(shù)字化給人類帶來的科技風(fēng)險劇增。筆者用吃過期食品比喻風(fēng)險遞增，偶爾少量食用過期食品問題不大，但是如果增加食用量，黃曲霉菌等有害物質(zhì)累積，健康風(fēng)險劇增。經(jīng)濟學(xué)家卡萊茨基曾提出風(fēng)險遞增原理，認(rèn)為隨著投資規(guī)模的增加，資本邊際收益遞減，而投資的邊際風(fēng)險遞增。現(xiàn)在看來，信息科技也存在類似情況。在深度信息化、深度科技化的世界，機器人如魚得水，且能力與日俱增，而人類受到生理限制，獲得的邊際收益遞減。如果采用人機融合、腦機結(jié)合、生物學(xué)改造等技術(shù)來突破生理限制，必然帶來新的重大風(fēng)險。因此，也存在智能化反噬效應(yīng)、科技反噬效應(yīng)，即科技邊際收益遞減，風(fēng)險劇增。據(jù)此，筆者初步提出科技風(fēng)險劇增理論，包括十個方面的內(nèi)容。

1.人類生理的限制。由于人類生理限制，科技發(fā)展與應(yīng)用給人類帶來的好處不會線性增長，而是增長漸緩，邊際收益遞減，而科技風(fēng)險卻隨著科技發(fā)展與應(yīng)用而遞增，甚至劇增。

2.反噬效應(yīng)?？萍荚炀腿斯な澜纭?shù)字世界，機器人在其中如魚得水，成長迅速，造成的反噬效應(yīng)是以往科技負(fù)面效應(yīng)中所沒有的。(1)反噬效應(yīng)是繼科技正面效應(yīng)、負(fù)面效應(yīng)之后的第三種效應(yīng)，盡管也屬于負(fù)面效應(yīng)，但因具有獨特性而給予單獨列出。

3.連鎖效應(yīng)?；A(chǔ)研究突破、原理研究突破必然會導(dǎo)致開發(fā)應(yīng)用，R&D就是連鎖效應(yīng)的制度化，威力越大、破壞力越大的應(yīng)用越要搶先做出；否則，落后就會挨打，就會陷入戰(zhàn)略上的被動。

4.尖端科技的正負(fù)效應(yīng)不能抵消。尖端科技是否發(fā)展，不取決于正面效應(yīng)有多少、有多好，而是取決于能否化解、防控、承受其負(fù)面效應(yīng)、反噬效應(yīng)。

5.科技知識增長不可逆。其中的致毀知識增長也不可逆，危險不斷累積，甚至直到危機爆發(fā)。[2-3]

6.科技發(fā)展自我增強永無止境。知識與應(yīng)用具有連鎖效應(yīng)，因為正負(fù)不能抵消，因此科技能否發(fā)展取決于其負(fù)面效應(yīng)能否被遏制，又因為其增長不可逆，結(jié)果風(fēng)險越來越多，[4]特別是機器人的出現(xiàn)，使得反噬效應(yīng)愈發(fā)普遍，科技風(fēng)險陡然增加。

7.資本反噬，推波助瀾。眼前利益最大化是資本的本質(zhì)，皮凱蒂的名著《21世紀(jì)資本論》指出，科技革命已使得貧富差距極大分化，其源頭在于資本的收益遠(yuǎn)遠(yuǎn)高于勞動的收益。但是皮凱蒂忽視了資本與高科技結(jié)合既產(chǎn)生超額收益，也引發(fā)重大風(fēng)險。由于投資有退出機制的保障，投資高風(fēng)險的尖端科技就可以不顧后果、不負(fù)責(zé)任，即使從中長期看該項目危害人類，但只要有利可圖，有退出機制，資本仍然大舉進(jìn)入。與環(huán)境風(fēng)險不同，科技風(fēng)險的后果使得資本家等富人首當(dāng)其沖成為被敲詐和掠奪的對象，深受其害。更糟糕的是，機器人不貪財好色、自主升級、自主發(fā)展，資本無法控制，這些形成資本反噬。

8.畸點(廣義奇點)已臨，需要緊急應(yīng)對。庫茲韋爾《奇點臨近》預(yù)言人工智能在2045年超越人類，本意是對發(fā)展人工智能作出預(yù)警，客觀上卻成了麻痹人們的借口：似乎把奇點到來等同于人工智能威脅人類，等同于人工智能造成毀滅性災(zāi)難，而只要奇點尚未到來，天下就仍然太平。結(jié)果是，科學(xué)家和有關(guān)學(xué)者紛紛表態(tài)：“奇點到來還很遙遠(yuǎn)”，因此人工智能可以無所顧忌地大力發(fā)展。實際上，從人工智能威脅人類的角度看，奇點可分為狹義和廣義兩種，一是庫茲韋爾定義的人工智能超過人類智能，是狹義的奇點，其危害不言自明；二是人工智能還沒有超過人類智能、還沒有自主意識，但是已經(jīng)可以造成巨大災(zāi)難，此時作為節(jié)點，可稱之為“廣義奇點”或“畸點”，以示社會發(fā)展出現(xiàn)畸變，威脅人類安全。具有以下之一者即為“畸點”已臨，一是攻擊性博弈對抗勝過人類，二是對人類造成不可逆轉(zhuǎn)的損害。目前，人工智能不僅在圍棋(AlphaGo)、橋牌(NooK)、電子游戲(Alpha Star)等智力博弈比賽中戰(zhàn)勝人類，而且在攻擊性對抗中屢屢獲勝，例如，人工智能飛機駕駛員Alpha AI戰(zhàn)勝王牌飛行員，機器人在兵棋推演人機對抗中獲勝。在機器代替人工作方面，人工智能已經(jīng)開始規(guī)?；貨_擊就業(yè)市場。種種跡象表明，目前“畸點”已經(jīng)來臨(即使“奇點”還比較遙遠(yuǎn))，人類應(yīng)該立刻行動，以應(yīng)對人工智能的風(fēng)險與倫理挑戰(zhàn)。就像剎車需要提前量，等待狹義“奇點”臨近再剎車，將為時已晚。

9.全押歸零的高科技賭局。人工智能等高科技給人類帶來的好處越來越多，卻終將毀于一旦，這一特點可稱之為“高科技陷阱”“AI陷阱”。[5]類似于賭博游戲中的高勝率全押賭局(絕大多數(shù)情況贏，但是輸一次就歸零)，發(fā)展人工智能等收益巨大、贏多輸少，人工智能發(fā)展越快、滲透越廣，一旦危機爆發(fā)，會給人類社會造成巨大危害乃至毀滅性災(zāi)難以致歸零。筆者稱之為“全押歸零的人工智能賭局”“全押歸零的高科技賭局”。[6]32

10.雙重挑戰(zhàn)。人工智能、合成生物學(xué)等高科技風(fēng)險愈演愈烈，但是人類防控風(fēng)險的機制和措施存在諸多安全漏洞，風(fēng)險防不勝防，致使科技風(fēng)險更加嚴(yán)重，風(fēng)險劇增。[20]323-328

綜上足以說明多種因素將導(dǎo)致科技風(fēng)險劇增，需要用科技風(fēng)險劇增理論加以分析、研判。

三、從專能革命到智能革命：社會與科技發(fā)展的第二次巨大變革

認(rèn)清人工智能及其引發(fā)的智能革命的實質(zhì)，是把握人工智能風(fēng)險的前提與關(guān)鍵。智能革命是史無前例的巨大變革，有四個主要特點使其區(qū)別于以往歷次科技革命。

其一，目前人們通常認(rèn)為智能革命是繼蒸汽機革命、電力革命、信息革命之后的第四次科技革命，在筆者看來，將智能革命與前面三次科技革命并列，不能充分反映智能革命的性質(zhì)和影響。以往的科技革命都是不同類型、不同階段的專能革命(農(nóng)業(yè)革命、蒸汽機革命、電力革命、信息革命等)，是工具或工具系統(tǒng)的變革，是為人類服務(wù)的，而非與人類競爭。專門能力簡稱專能，包括兩類：延伸、增強人類個體體力和智力功能，包括延伸、增強人的體力、感知力、信息獲取能力、記憶力、計算能力等，例如機械革命、蒸汽機革命、信息革命；延伸、增強人類的社會功能，包括延伸、增強社會的大規(guī)模物質(zhì)獲取與利用能力，能源獲取與利用能力，信息傳播與信息利用能力，例如機械革命、蒸汽機革命、電力革命、信息革命。

智能革命與之前的歷次科技革命有本質(zhì)上的不同，智能革命模仿人的核心能力——思維能力，思維能力包括理解、分析、綜合、比較、概括、抽象、推理、論證、判斷、學(xué)習(xí)、創(chuàng)造等能力，思維能力不僅是人類的元能力，而且具有主體性、自主性。當(dāng)人工智能模仿人的思維能力超越人類智能時，出現(xiàn)數(shù)字反噬效應(yīng)，人工智能反客為主。智能革命也可稱之為全能革命、通能革命，在人類歷史上是首次發(fā)生，用“第四次科技革命”“產(chǎn)業(yè)革命”遠(yuǎn)不足以反映智能革命的特殊性與顛覆性。通能革命不是專能革命的新階段，而是全新的巨大變革，有可能使機器人反客為主。智能革命分為初級階段、中級階段、高級階段，目前處于初級階段。

其二，智能革命發(fā)展速度驚人、前所未有。數(shù)據(jù)、算力、算法是人工智能的三個要素，數(shù)據(jù)和算力都是爆發(fā)式增長。非盈利組織OpenAI數(shù)據(jù)顯示，AI算力正以每年10倍的速度極速增長，比摩爾定律更快。目前超過萬億參數(shù)的模型已經(jīng)誕生，已經(jīng)超過了曾被認(rèn)為是最復(fù)雜的人腦神經(jīng)元結(jié)構(gòu)。[7]智能科技的發(fā)展使得運算速度、傳輸速度、存儲能力、數(shù)據(jù)數(shù)量等都快速增長，分別對應(yīng)三個定律：摩爾定律(集成電路芯片上的晶體管數(shù)目，每隔兩年就翻一番)、吉爾德定律(主干網(wǎng)的寬帶每6個月增加一倍，其增長速度是摩爾定律預(yù)測的CPU增長速度的3倍)、吉姆·格雷定律(網(wǎng)絡(luò)環(huán)境下每18個月產(chǎn)生的數(shù)據(jù)量等于有史以來數(shù)據(jù)量之和)。

其三，出現(xiàn)數(shù)字反噬。人類具有智商、情商、器商、逆商。(2)器商是利用機器、網(wǎng)絡(luò)平臺和理論方法等工具的能力，研究生訓(xùn)練就是會利用這些工具來發(fā)現(xiàn)問題、解決問題，專業(yè)人士與普通人的區(qū)別也在于此。[8]而隨著技術(shù)的不斷進(jìn)步，數(shù)字化給予機器人的便利和收益超過給予人類的，機器人未來會在智商、器商、逆商方面都優(yōu)于人類，而且優(yōu)勢越來越大。這是智能革命獨有的現(xiàn)象和風(fēng)險，以往歷次專能革命都沒有或少有反噬效應(yīng)。

其四，智能革命給人類帶來的好處是全方位的，卻隱患無窮。在機器人反客為主之前，似乎給予人類的都是便利和競爭優(yōu)勢，它是甜食喂狗，每一次甜食都是受歡迎的，直到甜食過量，衰竭而亡。只有認(rèn)清智能革命的特殊性和顛覆性——它是人類繼第一次巨大變革(系列專能革命)之后的第二次巨大變革，以往系列專能革命的經(jīng)驗并不適用于智能革命——才可能真正認(rèn)識到其帶來挑戰(zhàn)的嚴(yán)峻性與緊迫性。

四、人工智能倫理與風(fēng)險治理的十大認(rèn)識誤區(qū)

人工智能治理進(jìn)展緩慢、收效甚微，存在諸多認(rèn)識誤區(qū)是首要原因。深陷認(rèn)識誤區(qū)，導(dǎo)致學(xué)術(shù)界和公眾嚴(yán)重低估人工智能的風(fēng)險，高估了社會的防控能力，結(jié)果是人工智能在爭議中快速發(fā)展，甚至直至失控。筆者揭示、概括出了十大認(rèn)識誤區(qū)。

誤區(qū)1.忽視長遠(yuǎn)利益的方向誤區(qū)

目前越來越多的研究表明，強人工智能是會實現(xiàn)的，即超過人類智能的奇點將會來臨，隨即超級人工智能出現(xiàn)。盡管如此，卻仍然有不少人強調(diào)不要因為未來可能的風(fēng)險，影響、阻礙今天的創(chuàng)新。這是什么邏輯？江曉原教授指出,“老虎還小”不應(yīng)成為養(yǎng)虎的理由，許多人工智能的業(yè)界大佬和知名人物卻都曾向公眾說過這條理由。應(yīng)杜絕“養(yǎng)虎遺患”，要說服人們同意養(yǎng)虎，必須論證“老虎不會吃人”。人們擔(dān)憂人工智能未來對人類的危害，必須論證“人工智能不會危害人類”，而不能將“人工智能還很初級”作為理由。如果我們無法論證“人工智能不會危害人類”，那就有必要重新考慮目前是否應(yīng)該發(fā)展人工智能。[9]

既然越來越多的研究和專業(yè)預(yù)見都表明強人工智能將會實現(xiàn)，即人工智能發(fā)展下去會出現(xiàn)奇點，就說明這個方向是錯誤的，就應(yīng)該立刻叫停，剎車需要提前量。這事關(guān)人類生存安全，應(yīng)該采取底線思維，寧可信其有，以防萬一。

誤區(qū)2.思想混亂：機器人、數(shù)字人、合成人是發(fā)展的必然趨勢

不少科研人員不僅忽視未來風(fēng)險，而且把未來風(fēng)險視為發(fā)展的必然趨勢，其中不乏著名科學(xué)家。例如，卡內(nèi)基-梅隆大學(xué)教授、機器人學(xué)泰斗漢斯·莫拉韋茨認(rèn)為，“AI機器人將從漫長的生物進(jìn)化中解放出來，無拘無束地自由成長，盡管在一段時間里人類會受益于機器人提供的服務(wù)，但遲早它們會探索自己的命運，走自己的路，而我們?nèi)祟悇t默默地等待消失?！盵10]人工智能創(chuàng)始人之一馬文·明斯基認(rèn)為，“過去，人類傾向于把自己看作是最終進(jìn)化的產(chǎn)物，而我們現(xiàn)在可以基于新型‘非自然選擇’系統(tǒng)進(jìn)一步進(jìn)化?！盵11]雷丁大學(xué)的教授凱文·渥維克一方面警告機器人將統(tǒng)治世界，另一方面自己又在世界上率先成為芯片人、電子人。尤瓦爾·赫拉利在《未來簡史》中預(yù)測，人工智能和生物技術(shù)將帶來人類的第二次認(rèn)知革命，完成從智人到智神的物種進(jìn)化。赫拉利認(rèn)為，機器人不會擁有意識、感覺、情感和自己的欲望，所以不會殺光人類并占領(lǐng)全世界，不會導(dǎo)致人類的完全滅絕，人工智能只會讓極少數(shù)人類變得強大，導(dǎo)致人類分化成不同種類，并走向不同的命運。[12]這些觀點顯然都是錯誤的，即使機器人不會滅絕人類，但是壞人可能利用機器人禍害人類、滅絕人類，或在機器人之間的戰(zhàn)爭中，人類成為犧牲品。據(jù)第一財經(jīng)報道，日本機器人之父石黑浩認(rèn)為，人類所有的工作都可以被機器人所代替。因為人類生存的目標(biāo)不是工作，所以工作應(yīng)該被取代?！叭祟惒皇且龉ぷ?，而是和其他人交流或者考慮一些哲學(xué)的問題。所以讓機器人做工作，我們花更多時間考慮人類生物存在的意義是什么，可能更多是偏向于哲學(xué)這些方面的內(nèi)容。”[13]這種奇談怪論表明，這位機器人科學(xué)家對“工作”“職業(yè)”的社會意義缺乏起碼的常識，更不知道有能力思考哲學(xué)問題者鳳毛麟角。當(dāng)絕大多數(shù)人無所事事時，社會離分崩離析就不遠(yuǎn)了。

人類借助科技進(jìn)行非自然進(jìn)化是絕對不能接受的。原因在于，與科技融合的人類產(chǎn)品化時，像許多科技產(chǎn)品一樣，不僅有成品率、殘次品率等問題，更要受到企業(yè)、科技、競爭、資本等的影響和控制，不斷升級換代，不斷創(chuàng)新、競爭，急功近利不可避免，結(jié)果導(dǎo)致人類成為商業(yè)巨頭和新創(chuàng)企業(yè)的產(chǎn)品，很快成為怪物而崩潰。人成為上帝的后果是：有許多“上帝”且相互競爭，短期行為、惡意競爭不可避免。而自然進(jìn)化是緩慢、穩(wěn)定、行穩(wěn)致遠(yuǎn)的，不會出現(xiàn)這種情況。合成人不是什么神人，而是產(chǎn)品化、商品化的人類，因合成人在智力、體力等方面大幅度超過自然人而逐漸替代人類，最終形成不可逆轉(zhuǎn)的后果。筆者提出創(chuàng)立“合成人類學(xué)”(Synthetic anthropology)加以研究，作為未來學(xué)的一個分支，重點研究合成人的后果與影響，提前認(rèn)清其危害而給予預(yù)警和阻止。

誤區(qū)3.科學(xué)家決定科學(xué)的“霍爾丹原則”：既是運動員，又是裁判員

科學(xué)的專業(yè)性很強，外行不懂，想當(dāng)然的結(jié)果是：科學(xué)家對科學(xué)最有發(fā)言權(quán)。英國“霍爾丹原則”就是如此，它強調(diào)資助科學(xué)項目的決定權(quán)由科學(xué)家掌握，科學(xué)界視其為神圣不可動搖的“金科玉律”。實際上這是誤解，懂得科學(xué)與懂得科學(xué)的社會效應(yīng)是兩碼事，對于后者，科學(xué)家是外行?？茖W(xué)該如何發(fā)展、科學(xué)與社會的關(guān)系是什么等是科技政策專家、社科學(xué)者和智庫專家的研究專長?？茖W(xué)事關(guān)社會進(jìn)步、國家興盛和人類未來，正如有學(xué)者強調(diào)的，“科學(xué)如此重要，不能只聽科學(xué)家的”。科學(xué)家可以參與探討，但是不能擅自作出決定?？茖W(xué)由科學(xué)家決定相當(dāng)于科學(xué)家既是運動員，又是裁判員，所以應(yīng)該予以杜絕。人工智能的發(fā)展也不能由人工智能專家來決定(他們的意見當(dāng)然是大力發(fā)展人工智能)。

誤區(qū)4.對技術(shù)失控的誤解

一般認(rèn)為，技術(shù)失控是人工智能最大的風(fēng)險，失控被理解為人工智能擺脫人類的控制而獨立自主地發(fā)展，甚至反過來控制人類。實際上，這只是狹義的技術(shù)失控，廣義的技術(shù)失控是指技術(shù)發(fā)展與應(yīng)用產(chǎn)生嚴(yán)重負(fù)面效應(yīng)且人類對此不能及時、有效地予以防控。人工智能的廣義失控是指人工智能發(fā)展和應(yīng)用產(chǎn)生嚴(yán)重負(fù)面效應(yīng)(包括大規(guī)模失業(yè)、深度偽造、殺人機器人泛濫、研發(fā)出“致毀知識”等)且人類不能及時、有效地予以防控。例如，人工智能與其他學(xué)科交叉，可產(chǎn)生對人類生存造成威脅的新知識，如未知病毒、快速的基因干預(yù)工具等。[14]顯然，人工智能廣義失控涉及的范圍要廣泛得多，即使人工智能沒有自主意識，但是其功能強大，若被軍用、惡用、濫用，同樣可以造成毀滅性災(zāi)難，就像核武器沒有自主意識同樣可以造成毀滅性災(zāi)難一樣。人工智能毀損世界與有人利用人工智能毀損世界是一回事。例如利用人工智能侵入并控制俄羅斯“死亡之手”之類核控制系統(tǒng)，后果不堪設(shè)想。[15]即使在狹義上論證人工智能不會失控、確定人工智能沒有自主意識，也遠(yuǎn)不能證明人工智能是安全的。按照狹義失控說，核技術(shù)沒有失控，但是核軍備競賽、核誤動、核事故等依然存在，完全可能造成巨大災(zāi)難。把擁有自主意識的人工智能還遙不可及等同于人工智能是安全的，是一個嚴(yán)重誤區(qū)，客觀上使得科學(xué)家無所顧忌、勇往直前，使得人們放松警惕、產(chǎn)生誤判，嚴(yán)重低估了人工智能的威脅。

誤區(qū)5.高估科技倫理的功效

科技倫理的作用十分有限，有四類人或機構(gòu)和AI機器人根本不受科技倫理(含人工智能倫理)的約束：(1)基礎(chǔ)研究科學(xué)家，作出原理上的突破是不受倫理約束的，備受爭議的基因編輯技術(shù)獲得2020年諾貝爾化學(xué)獎，就說明目前國際主流學(xué)術(shù)界認(rèn)為科技原理突破是中性的，不受約束的；(2)瘋狂科學(xué)家、黑客、極客、恐怖分子；(3)軍方的尖端武器研發(fā)機構(gòu)(例如美國軍方正在研發(fā)通用人工智能武器、殺人機器人等)；(4)企業(yè)研發(fā)機構(gòu)、特別是商業(yè)巨頭的研發(fā)部門，急功近利，如果人工智能的新技術(shù)或產(chǎn)品容易轉(zhuǎn)化而被恐怖分子利用，企業(yè)也不會束手束腳。AI機器人及AI for Science都可以不受科技倫理約束，實際上，上述四類人之外的人工智能專家也很難受到科技倫理的約束。即使殺人機器人這種明顯應(yīng)該被禁止的產(chǎn)品，國際上都不能達(dá)成共識、不能設(shè)置公約予以禁止?？傊?，科技倫理是失靈的，不應(yīng)高估其作用。

誤區(qū)6.低估拜技主義的危害

與拜金主義不同，拜技主義在許多情況下是褒義詞。例如，企業(yè)盛行技術(shù)第一，技術(shù)立企；國家盛行技術(shù)立國，追求技術(shù)卓越、創(chuàng)新優(yōu)先，崇尚技術(shù)和研發(fā)，甚至到了執(zhí)迷的程度。往往把原始創(chuàng)新狹隘地理解為理工科領(lǐng)域的從0到1，“卡脖子”只理解為核心技術(shù)受制于人。實際上，人文社科領(lǐng)域同樣需要原始創(chuàng)新，否則同樣被“卡脖子”，甚至被“割韭菜”，損失更加慘重。從世界范圍而言，目前是理工科成果供給過度，人文社科供給嚴(yán)重不足，包括美國、歐洲在內(nèi)的整個人類的可持續(xù)安全與發(fā)展進(jìn)程被“卡脖子”，深陷競爭方式陷阱(錯誤的競爭方式比競爭對手更危險)。[16]人工智能作為最強通用技術(shù)，可全面大幅提升各種技術(shù)的水平，更是拜技主義者的寵兒。許多雄心勃勃的科學(xué)家就是以攻克通用人工智能為使命的，例如AlphaGo之父、DeepMind公司創(chuàng)始人杰米斯·哈薩比斯明確宣稱，DeepMind公司的一個使命就是將神經(jīng)科學(xué)與計算機科學(xué)的研究相結(jié)合，創(chuàng)造出在任何任務(wù)中都超過人類的通用人工智能(據(jù)AI科技大本營報道)。如果離開科學(xué)主義、拜技主義語境，這種言論實際上就是反人類的歪理邪說。

拜技主義的思想基礎(chǔ)是技術(shù)理性與商業(yè)理性。工業(yè)革命在思想觀念上的最大變化是，不僅使得技術(shù)理性和商業(yè)理性得到極大發(fā)展，而且兩者緊密地結(jié)合生成一種主導(dǎo)社會、全面滲透社會的強勢理性，筆者將其稱為“技術(shù)-商業(yè)理性”，并據(jù)此形成新型的“技術(shù)-商業(yè)意識形態(tài)”。[17]拜技主義、拜金主義、拜勝(崇拜競爭贏勝)主義(“三拜主義”)是“技術(shù)-商業(yè)意識形態(tài)”的集中體現(xiàn)，以美國模式最為典型。追求技術(shù)領(lǐng)先、追求財富增長、追求競爭贏勝成為理所當(dāng)然的不二選擇，即使前方風(fēng)險巨大、危機四伏，也難以迷途知返、改弦易轍。

誤區(qū)7.低估集體任性的危害

科學(xué)主義、拜技主義具有集體任性的特征。集體任性并不少見，例如，美國擁槍支持者集體任性，導(dǎo)致美國控槍運動屢屢失敗。筆者發(fā)現(xiàn)，擁槍支持者與科學(xué)探索無禁區(qū)支持者的執(zhí)念結(jié)構(gòu)(“執(zhí)念+辯護(hù)”)是一樣的。擁槍支持者的執(zhí)念是：人有擁槍的自由、美國人有擁槍的自由，擁槍產(chǎn)生的問題可以通過更多的擁槍、更多好人的擁槍來解決；信奉科學(xué)探索無禁區(qū)者的執(zhí)念是：人有探索的自由、科學(xué)家有探索的自由，科學(xué)探索產(chǎn)生的問題可以通過更多的探索來解決、通過更好的探索來解決。至于說誰是好人、什么算是好的探索，是不用說明的，只要字面上能自圓其說即可。

集體任性是個人任性的集合與放大。正如尼采所說：個人的瘋狂不常見，集體的瘋狂則是常見的事。古斯塔夫·勒龐在其名著《烏合之眾》中指出：集體很容易做出劊子手的舉動，同樣也很容易慷慨赴義。從人類安全的視角考慮，拜技主義的危害甚于拜金主義，集體任性的危害甚于無組織無紀(jì)律。

誤區(qū)8.忽視了限時原則

人工智能、合成生物學(xué)等新興科技飛速發(fā)展，其風(fēng)險與日俱增，但是目前人們對新興科技的倫理與風(fēng)險治理幾乎都忽視了對解決方案實施時限的探討，沒有考慮治理應(yīng)該限期完成，這也是倫理學(xué)等的通病。為此，筆者提出學(xué)術(shù)研究的“限時原則”，即在各種研究中都應(yīng)該考慮在限定時間內(nèi)解決問題這樣一個要求。[18]例如，技術(shù)倫理的“內(nèi)在主義”強調(diào)把倫理要素“嵌入”技術(shù)系統(tǒng)之中,使用技術(shù)手段解決倫理問題。這一思路固然有其合理性，但是忽視了從“外在主義”向“內(nèi)在主義”轉(zhuǎn)變需要多長時間。如果不能盡快完成轉(zhuǎn)變，科技重大災(zāi)難仍然發(fā)生，人類照樣大難臨頭。目前人工智能極速發(fā)展、突破不斷，如果不相應(yīng)地把風(fēng)險治理的限時原則作為第一原則加以優(yōu)先考慮，任何倫理與風(fēng)險治理的研究都是紙上談兵，無濟于事，甚至起到適得其反的作用，因為讓人們誤以為科技的倫理與風(fēng)險治理問題已經(jīng)得到了重視而放松警惕。

誤區(qū)9.半句真理，似是而非

關(guān)于人工智能，目前科技界存在認(rèn)識混亂現(xiàn)象。例如，科技界有類似這樣的說法：人工智能把人類從繁重、重復(fù)的工作中解放出來，讓人類有時間從事更多富有創(chuàng)造性的工作。但是沒有探究有多少人勝任創(chuàng)造性工作。 還有所謂的“平衡論”，即強調(diào)科技倫理與科技創(chuàng)新要保持平衡，不要因噎廢食。這種論調(diào)貌似有理，實則錯誤，因為當(dāng)科技風(fēng)險與倫理的挑戰(zhàn)嚴(yán)峻、緊迫時，就只能遵循“科技創(chuàng)新、風(fēng)控先行”“科學(xué)研究、倫理先行”原則，底線思維就是不搞“平衡”?！安灰蛞瓘U食”也是想當(dāng)然，沒有辨析因什么“噎”、廢什么“食”，“噎”嚴(yán)重了，就應(yīng)廢掉“壞食”，啟用“好食”(底線安全的科技與創(chuàng)新)。[6]34不少名言也是如此，只是主張一個原則，而不探究能否實現(xiàn)、在何種條件下實現(xiàn)。這種只知其一不知其二的現(xiàn)象可稱之為“半句真理”或“半句話真理”。因為簡單明了，這種“半句真理”更容易傳播，對于嚴(yán)謹(jǐn)分析、系統(tǒng)思考的“整句真理”，反而不容易被接受。一些所謂的學(xué)術(shù)暢銷書往往是“半句真理”的集散地。“半句真理”的錯誤在于，把復(fù)雜問題簡單化、深刻問題表面化，用“說得順口、聽得順耳”取悅大眾。

誤區(qū)10.忽視了科技發(fā)展模式對科技倫理與風(fēng)險治理效果的影響

目前探討科技倫理與風(fēng)險治理往往忽視了科技發(fā)展模式的影響，在默認(rèn)當(dāng)前的科技發(fā)展模式的前提下進(jìn)行探討。實際上，不同的科技發(fā)展模式，科技倫理與風(fēng)險治理的研究與治理效果是不同的。在錯誤的科技發(fā)展模式下，即使完全遵循科技倫理規(guī)范進(jìn)行負(fù)責(zé)任的研究與創(chuàng)新，也仍然不能防控科技重大風(fēng)險。[6]33-36

上述認(rèn)識誤區(qū)占據(jù)主流，嚴(yán)重阻礙了人們對人工智能等新興科技風(fēng)險的認(rèn)識，即使有正確認(rèn)識，也只是邊緣化的聲音，無濟于事。例如，2014年以來，伊隆·馬斯克就多次強調(diào)人工智能對人類生存將造成最大威脅；2015年，馬斯克聯(lián)合斯蒂芬·霍金、蘋果聯(lián)合創(chuàng)始人史蒂夫·沃茲尼亞克等一批有影響的科學(xué)家和企業(yè)家，簽發(fā)了一封公開信，指出了人工智能諸多潛在風(fēng)險，呼吁人們關(guān)注人工智能的安全性。在2015年牛津大學(xué)人類未來研究所和全球挑戰(zhàn)基金會發(fā)布的首份評估人類未來風(fēng)險的報告中，列舉了最有可能毀滅人類文明的12大風(fēng)險，人工智能名列榜首。[19]但是這些預(yù)警都無濟于事，2016年，AlphaGo照樣橫空出世，人工智能進(jìn)入爆發(fā)式發(fā)展階段。

認(rèn)識誤區(qū)可以置常識于不顧：在人類司機完全勝任的城市等正常環(huán)境下，居然要推行無人駕駛汽車(以往公共交通司機還兼具應(yīng)急應(yīng)變安保等功能)。認(rèn)識誤區(qū)甚至可以顛倒黑白：就業(yè)是民生第一要務(wù)，各國政府千方百計地保就業(yè)，人工智能明明會造成大規(guī)模失業(yè)，卻還要大力發(fā)展人工智能。認(rèn)識誤區(qū)與相關(guān)研究薄弱密不可分，例如歐盟的負(fù)責(zé)任創(chuàng)新(RRI)不重視最不負(fù)責(zé)任的創(chuàng)新等。筆者發(fā)現(xiàn)，目前國際上關(guān)于科技重大風(fēng)險研究存在六大缺陷，[20]327-329在此不贅，這些極大阻礙了科技倫理與風(fēng)險治理的深入研究。

五、通能塔詛咒：機器換人將引發(fā)大規(guī)模失業(yè)

英國工業(yè)革命以來，機器換人就一直受到關(guān)注，從十八、十九世紀(jì)的“盧德主義”到20世紀(jì)的“新盧德主義”，人們擔(dān)心甚至反對因為工業(yè)化、自動化而造成失業(yè)。當(dāng)然，科技樂觀主義者是反對“盧德主義”“新盧德主義”的。他們認(rèn)為，雖然新技術(shù)代替一些工作崗位，但同時又創(chuàng)造出新的工作崗位。從歷史上看，是有一些新工作崗位不斷出現(xiàn)，但在數(shù)量上能否彌補被機器替代的工作崗位，是需要具體計算的。關(guān)于人工智能引發(fā)失業(yè)，已經(jīng)有大量預(yù)測。例如，世界銀行2016年的研究表明，未來20年內(nèi)，非洲高達(dá)71%的就業(yè)崗位有可能會被人工智能所取代，發(fā)展中國家平均為50%，經(jīng)合組織(OECD)國家為57%；美國白宮2016年12月的報告指出，未來10～20年內(nèi)，人工智能替代就業(yè)崗位的比例將由目前的9%上升到47%。麥肯錫全球研究所2017年底的預(yù)測顯示，到2030年，約60%的職業(yè)可能被人工智能和自動化所取代；[21]2018年，大學(xué)生就業(yè)熱門的銀行業(yè)竟然出現(xiàn)了下跌，原因是銀行引入人工智能RPA實現(xiàn)辦公智能化，五年內(nèi)將會有大量銀行人工辦公業(yè)務(wù)消失，因此宣布大量裁員，例如日本三家著名銀行(三井住友、三菱UFJ、瑞穗)分別宣布幾年內(nèi)裁員4 000、9 500、19 000個工作崗位。[22]這些預(yù)測應(yīng)該是比較保守的，因為2016年AlphaGo橫空出世，深度學(xué)習(xí)大顯身手，人工智能發(fā)展再次提速。

霍金在英國《衛(wèi)報》的一個專欄中寫道：“工廠自動化已經(jīng)讓眾多傳統(tǒng)制造業(yè)工人失業(yè)，人工智能的興起很有可能會讓失業(yè)潮波及中產(chǎn)階級，最后只給人類留下護(hù)理、創(chuàng)造和監(jiān)督工作。”李開復(fù)指出，AI已經(jīng)蓄能完畢，即將迎來一個全新的爆發(fā)拐點。他多次強調(diào)，人類有很多工作都會被AI所取代，人類未來只剩下需要創(chuàng)造力、同理心和靈活性這三類工作可做。[23]這三類工作本身就在全部工作中占少數(shù)，特別是有創(chuàng)造力者就是小眾人群，而且這三類工作也不斷被機器人所蠶食。例如，利物浦大學(xué)的“AI化學(xué)家”經(jīng)自主學(xué)習(xí)，發(fā)現(xiàn)了一種強活性催化劑。人工智能進(jìn)行科研、詩歌藝術(shù)創(chuàng)作等的情況已經(jīng)不斷出現(xiàn)。

2020年6月，OpenAI公開了當(dāng)時最強大的AI模型GPT-3，它具有1750億參數(shù)，數(shù)量級接近人類神經(jīng)元的數(shù)量，在答題、翻譯、寫作、計算方面的能力非常接近人類。麻省理工學(xué)院研究團隊指出，GPT-3與人類大腦處理語言的方式驚人地相似。最近，ChatGPT上線，這是繼GPT-3之后的“GPT-3.5”，智能程度達(dá)到新高度，非常接近通過圖靈測試，其驚人表現(xiàn)引發(fā)熱議。據(jù)多家媒體報道，ChatGPT參加了美國高校的入學(xué)資格考試(SAT)，成績?yōu)橹械葘W(xué)生水平；CNN商業(yè)頻道宣稱：“ChatGPT正在以其無與倫比的好文章主導(dǎo)社交媒體！”《華盛頓郵報》斷言：“ChatGPT會在兩年內(nèi)滅掉Google！”AI達(dá)到人類智能的時刻(“奇點”)已經(jīng)為期不遠(yuǎn)，甚至指日可待了。

據(jù)多家媒體報道，繼研發(fā)AlphaGo和AlphaFold之后，2022年初，谷歌旗下的AI公司DeepMind又宣布創(chuàng)建了編程機器人系統(tǒng)AlphaCode，其編程水平已經(jīng)達(dá)到人類程序員的平均水平。在與人類程序員的比賽中，AlphaCode的排名可以達(dá)到中等水平，躋身前54%之列。如果普及AlphaCode，一半的程序員將失業(yè)，而且隨著AlphaCode的進(jìn)步，失業(yè)的程序員會越來越多。這也是數(shù)字反噬的一例：程序員創(chuàng)編的程序替代了程序員自己。

機器換人的必然性還在于，機器人進(jìn)化的速度明顯快于人類的學(xué)習(xí)速度及進(jìn)化速度。如果為了追上機器人進(jìn)化的腳步而實施人機結(jié)合，又是得不償失、注定失敗的。因為芯片植入人腦、人體形成合成人，受到人自然結(jié)構(gòu)的限制，會出現(xiàn)一系列問題。心臟起搏器問世以來，已經(jīng)有六十多年的醫(yī)學(xué)實踐，但是排異反應(yīng)問題仍然沒有解決，更何況比起搏器復(fù)雜千萬倍的芯片等植入設(shè)備以及基因編輯技術(shù)、合成生物學(xué)介入的合成人技術(shù)。人機深度融合的大規(guī)模普及將產(chǎn)生一系列生理上、心理上和社會上的排異反應(yīng)，以及各種意想不到的問題。

“腦機接口”技術(shù)風(fēng)險巨大，只能作為治療疾病(比如老年癡呆癥)的一種手段在小范圍使用，一旦進(jìn)行大規(guī)模商業(yè)銷售，必將出現(xiàn)災(zāi)難性后果。腦機結(jié)合等于人吃了智力興奮劑，插上芯片之后，會得到網(wǎng)上巨量數(shù)據(jù)資源、計算資源的支撐，人會變得超聰明，不接芯片者都是低能兒，所以人人都要接芯片。但人腦接上芯片之后，無法回到過去的自然狀態(tài)，而且腦機結(jié)合的軟件、硬件都會不斷升級換代，而軟硬件系統(tǒng)里面有病毒、有BUG、有后門，接上芯片，人雖然聰明了，但是健康、安全、倫理、風(fēng)險、社會、文化等都會出問題。更糟糕的是，人類很快就會被腦機科技企業(yè)所控制，而企業(yè)是受資本控制的，急功近利乃至飲鳩止渴的行為不可避免，因此這條不歸路根本就不能開啟。此外，腦機結(jié)合還可能打造出超級聰明的冷血殺手和恐怖分子，后果不堪設(shè)想。人工智能風(fēng)險研究亟待加強，[24]美國哥倫比亞大學(xué)神經(jīng)科學(xué)教授拉斐爾·尤斯特(Rafael Yuste)最近發(fā)出警告：大型科技巨頭正在投入巨資，開發(fā)取代智能手機的下一代設(shè)備，將人類的大腦直接和互聯(lián)網(wǎng)連接起來，最終可能會在十年內(nèi)干預(yù)我們的思想，操縱我們的決策和觀點。更何況，即使社會接受合成人，合成人普及，其進(jìn)化速度也仍然慢于機器人的進(jìn)化速度，仍然改變不了人類最終被機器人替代的厄運。

關(guān)于機器人造成失業(yè)問題，備受關(guān)注。從1972年起，美國國家自然科學(xué)基金會就為此中斷了對機器人項目的支持。1973年，英國政府也頒布了否定人工智能與機器人的著名的Lighill報告。后來，美國又恢復(fù)支持機器人研究。[25]256關(guān)于機器人導(dǎo)致失業(yè)有三種觀點，一是將引發(fā)大規(guī)模失業(yè)，二是不會引起失業(yè)，三是短期內(nèi)引起失業(yè)，而長期看不會引起失業(yè)，甚至?xí)黾泳蜆I(yè)。不會引起失業(yè)的觀點顯然站不住腳，這里重點分析批駁“短期失業(yè)、長期增業(yè)”論。

以往歷次技術(shù)革命都是專能革命，專能革命意味著某項或某組新技術(shù)崛起，隨之其配套性工作、伴隨性工作、引發(fā)性工作也會出現(xiàn)和增多，彌補被新技術(shù)替代的工作，導(dǎo)致一些職位減少而另一些職位增多并出現(xiàn)全新職位。例如，微信通話已經(jīng)成為許多人的主要通話方式，作為專能的微信技術(shù)，雖然相當(dāng)程度上替代了電話業(yè)務(wù)及相應(yīng)工作崗位，但是微信本身形成的工作崗位以及與微信配套的、伴隨的、引發(fā)的新工作崗位大幅增加(當(dāng)然也存在微商替代實體店的情況)。但是微信是專能技術(shù)，替代的只能是同樣或同類功能的低水平(性能低或性價比低)技術(shù)，替代范圍有限。

人工智能革命是智能革命、全能革命、通能革命，與專能革命最大的差別是，智能革命產(chǎn)生的配套性工作、伴隨性工作、引發(fā)性工作同樣可以由人工智能替代，除非這些工作要求更高的智能，當(dāng)然這種要求更高智能的工作崗位的數(shù)量更少。也就是說，智能技術(shù)替代兩類工作崗位：被直接替代的工作；產(chǎn)生的配套、伴隨、引發(fā)的工作且其智能要求不高于該智能技術(shù)。可能新增的工作崗位是產(chǎn)生的配套、伴隨、引發(fā)的工作且其智能要求高于該智能技術(shù)。由于智能水平高低與工作崗位數(shù)量成反比，因此新增的工作崗位一定比被替代的少。因此，隨著智能技術(shù)發(fā)展，被替代的工作越來越多，“短期失業(yè)、長期增業(yè)”論根本不成立，因為長期看，機器人更加發(fā)達(dá)，替代的工作崗位更多，實際上是“短期造成失業(yè)、長期造成更多的失業(yè)”。

工作能力金字塔與工作崗位金字塔是重合的，當(dāng)工作能力是專能時，會存在多種多樣的工作能力與工作崗位。新專能技術(shù)的出現(xiàn)，凈增工作崗位有可能為正數(shù)。但是，當(dāng)通能技術(shù)(人工智能、通用人工智能)出現(xiàn)，導(dǎo)致等于或低于新智能技術(shù)的崗位均被替代，只有智能要求高于新通能技術(shù)的配套、伴隨、引發(fā)的新工作崗位成為暫時不被替代的新增工作崗位，其數(shù)量一定少于被替代的工作崗位，即被人工智能替代的工作崗位越來越多。用通能塔(通用能力金字塔)可以說明這個過程：通用能力達(dá)到的水平可稱之為“通能線”，通能線以下的工作崗位理論上都可以被替代，隨著通能技術(shù)水平的提高，通能塔上的通能線不斷上移，被替代的工作越來越多，所以通能線也稱之為“替代線”“失業(yè)線”。對此，筆者稱之為“通能塔詛咒”，預(yù)示未來人類被智能技術(shù)替代的厄運。

用李開復(fù)提出的“五秒鐘準(zhǔn)則”也可導(dǎo)出“人工智能將大規(guī)模替代人類”這一結(jié)論，可以很好地解釋“通能塔詛咒”?！拔迕腌姕?zhǔn)則”指，一項本來由人從事的工作，如果人能在五秒鐘內(nèi)對工作中需要思考解決的問題作出決定，那么，這項工作就極有可能被人工智能技術(shù)取代。顯然，機器換人是從“一二秒鐘準(zhǔn)則”開始的，隨著人工智能的發(fā)展，“五秒鐘準(zhǔn)則”會變成“十秒鐘準(zhǔn)則”“一分鐘準(zhǔn)則”“一小時準(zhǔn)則”等。以此類推，被人工智能替代的工作會越來越多。人工智能超過人類平均智能水平越來越多，人類失去的工作就越來越多，同時又不可能從機器人手中重新奪回工作。

綜上所述，機器換人主要由五大因素引起：(1)技術(shù)因素，機器人的通用能力越來越強，學(xué)習(xí)能力超強；(2)資本因素，機器人的成本越來越低，性價比高；(3)環(huán)境因素，自動化、數(shù)字化、網(wǎng)絡(luò)化、智能化等信息化程度日益提高，日趨復(fù)雜的環(huán)境使得人類應(yīng)接不暇，出現(xiàn)數(shù)字鴻溝、信息繭房、智能陷阱等，人類的器商有限，而機器人的器商極高且不斷提高，在復(fù)雜環(huán)境中越來越如魚得水，反客為主，形成科技反噬、數(shù)字反噬；(4)競爭因素，企業(yè)之間、國家之間的競爭高度依賴人工智能；(5)思想文化、意識形態(tài)及認(rèn)識因素，拜技主義、拜金主義、拜勝主義以及諸多認(rèn)識誤區(qū)(包括上述十項認(rèn)識誤區(qū))。

解決機器換人問題，首先要扭轉(zhuǎn)觀念誤區(qū)，糾正拜技主義和效率至上，應(yīng)該以人為本。正如中國機器人之父蔣新松院士所強調(diào)的：機器人重點不應(yīng)放在節(jié)省勞動力上，機器人應(yīng)該在人類不宜從事的危險、惡劣、困難、特殊的環(huán)境中發(fā)揮作用。[25]256人工智能、機器人應(yīng)該是輔助人類，而非替代人類。

六、因“致毀知識”一票否決：暫停AI for Science

借助人工智能開展科研(或稱之為AI for Science、AI驅(qū)動的科學(xué)發(fā)現(xiàn)、AI科學(xué)、AI科學(xué)家)正在蓬勃興起，筆者從科研范式變革的角度，認(rèn)為“AI科學(xué)”是繼“實驗科學(xué)”“理論科學(xué)”“計算科學(xué)”“數(shù)據(jù)科學(xué)”“虛擬科學(xué)”之后的第六研究范式，它與以往五種研究范式的區(qū)別主要反映在研究主體、研究方法、認(rèn)知活動的程序規(guī)范、科研行為規(guī)范與倫理及獎勵系統(tǒng)等五個方面。[5]1-6為防控人工智能爆發(fā)式發(fā)展造成的重大風(fēng)險，首先要防控AI科學(xué)，應(yīng)該立刻暫停AI科學(xué)，主要理由有三：

1.AI科學(xué)迅速崛起，危害巨大卻隱蔽性強。人工智能模型AlphaFold2在蛋白質(zhì)結(jié)構(gòu)預(yù)測方面取得了極高的準(zhǔn)確率，超過科學(xué)家，被《Science》雜志評為“2020年十大科學(xué)突破”之一。2022年，DeepMind公司借助AlphaFold2模型，完成約2.2億種蛋白質(zhì)的預(yù)測結(jié)構(gòu)，幾乎涵蓋了DNA數(shù)據(jù)庫中已知生物體的所有蛋白質(zhì)。2020年，英國利物浦大學(xué)研制出一款智能移動AI化學(xué)家,可在一周之內(nèi)研究1 000種催化劑配方，相當(dāng)于一個博士生四年的工作量。此外，AI科學(xué)在藥物開發(fā)、氣候變化、計算社會科學(xué)等領(lǐng)域大顯身手。因此，AI科學(xué)已經(jīng)得到科技界、資本界的追捧和媒體的廣泛報道。但無論是借助AI進(jìn)行科學(xué)探索，還是AI科學(xué)家自主探索，都可以產(chǎn)生大量“致毀知識”。[2]50-55例如，2018年《Nature》雜志發(fā)布消息稱，科學(xué)家利用人工智能發(fā)現(xiàn)了近6 000種未知病毒；2021年，英國格拉斯哥大學(xué)的科學(xué)家在《PLOS Biology》期刊上發(fā)表論文指出，他們使用人工智能模型，預(yù)測出18種人畜共患潛力極高的病毒。這些工作雖然有正面應(yīng)用價值，但是也容易被恐怖分子利用或從實驗室泄漏，危害巨大，正負(fù)效應(yīng)不能抵消，因此應(yīng)該一票否決。在自然狀態(tài)下可能幾百年、幾千年內(nèi)都不會出現(xiàn)的病毒，卻利用AI科學(xué)、合成生物學(xué)、基因編輯技術(shù)等提前研制出來，完全是得不償失。不像AI武器及其軍備競賽造成的威脅那樣明顯，AI科學(xué)的危害比較隱蔽，因此更需要加強警惕和防范。

2.AI科學(xué)增強粗放式科研與粗放式創(chuàng)新，增大其風(fēng)險與危害。當(dāng)代西方主流的科研與創(chuàng)新是以犧牲安全為代價的粗放式科研、粗放式創(chuàng)新，其內(nèi)在缺陷日益凸顯，其與生俱來的在觀念(科學(xué)無禁區(qū))、機制(缺乏關(guān)于科學(xué)發(fā)展與應(yīng)用正確與否的糾錯機制)、體制(科技與經(jīng)濟一體化、科學(xué)與資本捆綁、眼前利益優(yōu)先)和管理(獎懲極不對稱)等方面存在重大缺陷，難以為繼。在實現(xiàn)從粗放式科研到可持續(xù)科研的轉(zhuǎn)型之前，發(fā)展AI科學(xué)只能增強、加大粗放式科研的風(fēng)險與危害。

3.AI科學(xué)使得黑客與恐怖分子如魚得水，助紂為虐。AI科學(xué)的發(fā)展極大地降低了科研門檻，不受科技倫理約束的黑客如魚得水；恐怖分子不用綁架科學(xué)家，就可以利用AI科學(xué)為非作歹。AI科學(xué)也會為不負(fù)責(zé)任的組織、國家所用，開發(fā)大規(guī)模殺傷性武器。這次新型冠狀病毒肆虐全球，目前多項研究顯示，新型冠狀病毒要么來自實驗室，要么至少已經(jīng)可以在實驗室合成，制造新型冠狀病毒的知識就是致毀知識。最令人擔(dān)心的是，這次席卷全球的疫災(zāi)給恐怖分子以提示：只要一兩個人、幾個人制造出的病毒，就可以禍害全世界。在恐怖分子手里，AI科學(xué)就是助紂為虐的兇器。

由此可見，在目前粗放式科研發(fā)展模式下，在黑客與恐怖分子恣意妄為之際，發(fā)展AI科學(xué)風(fēng)險極大，貽害無窮，其中也包括AI反噬(AI科學(xué)讓科學(xué)家失業(yè))。據(jù)參考消息網(wǎng)等多家媒體報道，美國前國務(wù)卿基辛格指出，人工智能的潛在破壞力可能遠(yuǎn)遠(yuǎn)超過最大的核彈，人工智能是軍備競賽的新前沿，它簡直是一場導(dǎo)致災(zāi)難的瘋狂競賽?；粮裾J(rèn)為，從哲學(xué)和智力上，從各個方面來講，人類社會都沒有為人工智能的崛起作好準(zhǔn)備。他建議，美國和中國可以啟動一場高科技安全對話，并達(dá)成協(xié)議。

綜上所述，應(yīng)該暫停高風(fēng)險、高不確定性的AI for Science，舉辦國際AI安全高峰論壇共商對策。能不能叫停與該不該叫停是兩回事，作為學(xué)者，首先應(yīng)該作出“該不該叫?！钡难信校缘拙€思維確保人類安全。至于能否叫停，就需要充分闡述理由，充分交流并達(dá)成共識。由于人工智能極速發(fā)展，如何在達(dá)成共識之前就先暫停，是亟待解決的難題。

智能革命是人類經(jīng)歷多次專能革命以后的首次通能革命，引發(fā)科技與社會的巨大變革，人類也面臨前所未有的雙重挑戰(zhàn)：人工智能(包括機器人)發(fā)展帶來的風(fēng)險愈演愈烈(大規(guī)模失業(yè)、深度偽造、殺人機器人等)，而人類卻深陷認(rèn)識誤區(qū)(上述十大誤區(qū))，深陷無法剎車、無法轉(zhuǎn)向的動車?yán)Ь?，人類安全防線存在諸多嚴(yán)重漏洞，[20]323-327形勢極為嚴(yán)峻和緊迫。劉孝廷教授通過多重論證指出，人類文明已進(jìn)入末日是一個理論事實，對此，人類必須當(dāng)機立斷，避免其成為經(jīng)驗事實，應(yīng)該去發(fā)動一場徹底的末日啟蒙，以便人類文明能“絕地求生”。[26]

人工智能在爭議中快速發(fā)展，集中反映出西方科技發(fā)展模式的內(nèi)在缺陷。劉華杰教授將創(chuàng)新劃分為兩種類型：達(dá)爾文式創(chuàng)新和弗蘭肯斯坦式創(chuàng)新，前者被動適應(yīng)，風(fēng)險較??；后者主動建構(gòu)，風(fēng)險激增。[27]目前流行的以提高智慧能力為目標(biāo)的人工智能A模式即為弗蘭肯斯坦式創(chuàng)新，出現(xiàn)超級智能、自主智能不可避免，風(fēng)險極大，需要轉(zhuǎn)向發(fā)展以提高輔助能力為目標(biāo)的人工智能B模式——人工輔能(Artificial Auxiliary Intelligence,AAI)模式。AAI模式具有達(dá)爾文式創(chuàng)新的特征，以促使人類更好適應(yīng)、更好生存發(fā)展為目標(biāo)，永遠(yuǎn)不會反客為主。科技創(chuàng)新、倫理先行，段偉文教授用研究和創(chuàng)新的“紅綠燈”變化來說明科技倫理原則，強調(diào)世界各國不同文化對設(shè)計、實施科技倫理的多樣性與復(fù)雜性，以加深和豐富對科技倫理治理的認(rèn)識。[28]總體上看，擁有合理的對待科技的態(tài)度至關(guān)重要，劉大椿先生提出科學(xué)審度觀，把審度作為對待科學(xué)的第三種取向，用多元、理性、寬容的觀點看待科學(xué)。[29]科學(xué)審度觀拓展了思考科技創(chuàng)新與風(fēng)險倫理關(guān)系的空間，極具啟發(fā)性和指導(dǎo)性。

七、結(jié)語：全押歸零的人工智能賭局

信息技術(shù)的發(fā)展在推動社會發(fā)展的同時，產(chǎn)生一系列負(fù)面效應(yīng)，筆者初步提出科技風(fēng)險劇增理論。首先對數(shù)字反噬予以說明，數(shù)字反噬揭示出深度信息化與深度科技化導(dǎo)致人類邊際收益遞減，機器人卻不受生理限制而收益越來越大于人類的收益，直到反客為主，危害人類。目前，人們往往將智能革命與之前多次科技革命并列，這無法充分反映智能革命的特質(zhì)和影響。人類社會以往發(fā)生的多次科技革命都是專能革命，而智能革命是首次發(fā)生的通能革命，引發(fā)人類社會第二次巨大變革。人工智能風(fēng)險與倫理治理收效甚微，存在諸多認(rèn)識誤區(qū)是首要原因，本文揭示出十大認(rèn)識誤區(qū)。然后探討了機器換人問題，重點分析批駁盲目樂觀的“短期失業(yè)、長期增業(yè)”論，指出人工智能革命作為通能革命，與專能革命的最大區(qū)別是，通能革命產(chǎn)生的配套工作、伴隨工作、引發(fā)工作同樣可以由人工智能替代，除非這些工作要求的智能更高，由于智能水平高低與工作崗位數(shù)量成反比，因此新增工作崗位勢必少于被替代者。結(jié)論是，人工智能不僅造成短期失業(yè)，而且造成長期更多的失業(yè)，通能革命勢必引發(fā)大規(guī)模失業(yè)，并稱之為通能塔詛咒。

智能革命引發(fā)巨大科技與社會變革，人類也面臨前所未有的雙重挑戰(zhàn)：一方面，人工智能帶來的風(fēng)險愈演愈烈；另一方面，人類對其認(rèn)識深陷誤區(qū)、深陷動車?yán)Ь?，人類安全防線存在諸多嚴(yán)重漏洞，特別是人類還沒有進(jìn)化出長期主義所必須的品格——自我克制、恪守規(guī)則、顧全大局、敬畏歷史，形勢極為嚴(yán)峻和緊迫。人工智能的特點是：好處立見成效，給予人類的盡是便利和競爭優(yōu)勢；壞處是甜食喂狗和溫水煮青蛙，每一次都嗜此不?；蚰軌蛉淌埽卫淼玫叫┰S緩解，但是仍然日益嚴(yán)重，最終衰竭、毀于一旦。

賭博游戲中有一種高勝率全押賭局，絕大多數(shù)情況贏，但是輸一次就歸零，用于比喻人工智能的效果十分貼切，筆者稱之為“全押歸零的人工智能賭局”，即發(fā)展人工智能受益巨大、贏多輸少，贏得越多，人工智能發(fā)展越快、滲透越廣。一旦爆發(fā)危機，會給人類社會造成巨大危害，乃至毀滅性災(zāi)難以致歸零。[6]32在高勝率全押賭局中，只要賭徒運氣好、見好就收，仍有勝率；而人工智能在資本和科技競爭的驅(qū)動下，不會適可而止，而是永無止境，直至毀于一旦、全部歸零。

西方人工智能發(fā)展模式不是孤立的，它是現(xiàn)行西方主流科技體系的一部分，解決人工智能風(fēng)險與倫理問題的首要任務(wù)是變革西方粗放式科技發(fā)展模式，從追求更高、更快、更強、更賺錢的發(fā)展模式轉(zhuǎn)型為行穩(wěn)致遠(yuǎn)、安全公正的發(fā)展模式。關(guān)乎人類安全，不確定性是絕不能接受的，應(yīng)該采取寧可信其有的立場，就像飛機一旦存在安全不確定性，就應(yīng)該堅決不登機、不起飛，高風(fēng)險、高不確定性的人工智能、合成生物學(xué)等尖端科技應(yīng)該立刻叫?；驎和?。

本文通過探討智能革命及其風(fēng)險的若干重大問題，揭示人工智能重大風(fēng)險導(dǎo)致人類安全危機，證明目前以犧牲安全為代價的粗放式人工智能發(fā)展模式(即A模式)難以為繼，應(yīng)該改弦易轍，從人工智能轉(zhuǎn)為人工輔能。為破解數(shù)字反噬、通能塔詛咒和全押歸零的人工智能賭局，當(dāng)務(wù)之急是盡快實現(xiàn)從高線思維向底線思維的轉(zhuǎn)變。面對人工智能等尖端科技，首先考慮的不是它帶來多少好處，而是它產(chǎn)生的壞處(風(fēng)險和災(zāi)難)人類能否化解與防控，應(yīng)該牢記尖端科技的正負(fù)效應(yīng)不能抵消，一壞遮百好。兼聽則明，偏信則暗；兼論則明，偏言則暗，一廂情愿地總說好的方面，無益于科技發(fā)展?？茖W(xué)家、科技政策專家、決策者等在說明新科技時，應(yīng)該同時闡述其正負(fù)效應(yīng)。務(wù)必恪守底線思維，提高安全意識，盡快實現(xiàn)從以提高智慧能力為目標(biāo)的人工智能A模式向以提高輔助能力為目標(biāo)的人工智能B模式的轉(zhuǎn)變。

鑒于目前人工智能爆發(fā)式發(fā)展，應(yīng)該立刻緊急叫停強人工智能等任何可能趨于通過圖靈測試和趨于獲得自主意識、能自我繁殖的前沿探索。借鑒生物技術(shù)領(lǐng)域曾經(jīng)叫?？蒲械陌⑽髀羼R會議(1975年)，舉行全球人工智能風(fēng)險與倫理治理峰會，禁止強人工智能的研究，禁止人工智能的軍事應(yīng)用，叫停人工智能軍備競賽，確立底線思維的人類安全觀，頒布并嚴(yán)格執(zhí)行其配套政策等有關(guān)措施。叫停人工智能，開啟人工輔能，加快開創(chuàng)可持續(xù)安全與發(fā)展的新型科技體系，加快構(gòu)建人類命運共同體。