技術(shù)的雙刃劍（評(píng)論）

李開復(fù)

物無對(duì)錯(cuò)，人分善惡。對(duì)于技術(shù)而言，也是如此，它本身是中立的，關(guān)鍵在于人類用技術(shù)為善，還是作惡。對(duì)于人類來說，每一項(xiàng)全新的突破性技術(shù)，都宛如“薛定諤的貓”，既可以是普羅米修斯之火，也可能淪為潘多拉之盒。是善是惡，不在于技術(shù)本身，而在于操控技術(shù)的人。這就是《人類剎車計(jì)劃》想要講述的原則。

這篇故事提到了許多先進(jìn)技術(shù)。在此，我們將集中介紹其中兩項(xiàng)——量子計(jì)算和自主武器。我預(yù)測(cè)，到了2041年，量子計(jì)算有80%的概率進(jìn)入實(shí)用階段。如果這能夠成真，它帶給人類的影響將會(huì)遠(yuǎn)超AI。量子計(jì)算是一種通用目的技術(shù)，不僅可以極大地促進(jìn)科技進(jìn)步，還能夠幫助人類真正了解宇宙。

同歷史上出現(xiàn)過的各種通用目的技術(shù)一樣，量子計(jì)算將給人類帶來巨大的正面影響。不過，量子計(jì)算在未來的第一項(xiàng)重大應(yīng)用，很可能是破解比特幣密鑰（該應(yīng)用出現(xiàn)在《人類剎車計(jì)劃》這個(gè)故事的開篇）。陳楸帆在深思熟慮后選擇這個(gè)主題，用意是希望讓讀者帶著雙刃劍的認(rèn)識(shí)去理解這項(xiàng)嶄新的技術(shù)。需要指出的是，當(dāng)你讀完故事，在開始思考如何防止類似的犯罪行為發(fā)生在現(xiàn)實(shí)中的同時(shí)，千萬不要誤以為這項(xiàng)技術(shù)只能作惡，我們?nèi)匀幌嘈帕孔佑?jì)算對(duì)人類未來的影響絕對(duì)是利大于弊。

自主武器是《人類剎車計(jì)劃》中提到的另一項(xiàng)重點(diǎn)技術(shù)，它同樣既可以用來為善，也可以用來作惡。一方面，當(dāng)戰(zhàn)爭(zhēng)成為機(jī)器的對(duì)決時(shí)，使用自主武器可以少犧牲很多士兵的生命;另一方面，自主武器也有可能成為進(jìn)行大規(guī)?；蜥槍?duì)性屠殺的機(jī)器“劊子手”。在后者帶來的災(zāi)難性威脅面前，這項(xiàng)技術(shù)的一切益處都變得不值一提。此外，自主武器不僅可能導(dǎo)致各國(guó)軍備競(jìng)賽失控，還可能被恐怖分子用于暗殺國(guó)家領(lǐng)導(dǎo)人或其他關(guān)鍵人物。無論如何，我希望《人類剎車計(jì)劃》這個(gè)故事展現(xiàn)的種種暴行可以給人類敲響一記警鐘，讓人類認(rèn)清這項(xiàng)AI技術(shù)被濫用的嚴(yán)重后果。

量子計(jì)算機(jī)將會(huì)為AI進(jìn)步提供強(qiáng)勁的推動(dòng)力，為機(jī)器學(xué)習(xí)帶來革命性的變化，而且有潛力解決那些曾經(jīng)讓人們感到束手無策的難題。

我相信AI可能是迄今為止最重要的計(jì)算機(jī)技術(shù)。但是，到了2041年，如果量子計(jì)算技術(shù)能進(jìn)入實(shí)用階段，它將引領(lǐng)我們真正認(rèn)識(shí)自然、科學(xué)和我們自身，在這樣的成就面前，AI技術(shù)也將階段性讓位。

量子計(jì)算機(jī)的計(jì)算架構(gòu)運(yùn)用了量子力學(xué)原理，它在執(zhí)行某些類型的計(jì)算時(shí)，效率將遠(yuǎn)超傳統(tǒng)計(jì)算機(jī)。

傳統(tǒng)計(jì)算機(jī)的最小信息單位是比特，它的值或者是1，或者是0，就像一個(gè)開關(guān)一樣。我們現(xiàn)在用的每一個(gè)應(yīng)用程序、網(wǎng)頁(yè)、圖片，都是由成千上萬個(gè)這種傳統(tǒng)比特組成的。用這種二進(jìn)制的比特構(gòu)建、控制計(jì)算機(jī)相對(duì)比較容易，但它在解決真正復(fù)雜的計(jì)算機(jī)科學(xué)難題方面潛力有限。

量子計(jì)算機(jī)的信息存儲(chǔ)和運(yùn)算使用的則是量子比特，例如電子和光子等亞原子粒子比特。這些粒子所具有的非同尋常的屬性為量子比特帶來了超級(jí)算力。這種非同尋常的屬性就是量子力學(xué)原理，主要包括態(tài)疊加原理和量子糾纏原理。

首先，我們來了解一下態(tài)疊加原理。態(tài)疊加原理指一個(gè)量子比特能同時(shí)處于多種可能狀態(tài)。換句話說，量子比特會(huì)“分身術(shù)”，幾個(gè)量子比特就能同時(shí)處理海量的計(jì)算結(jié)果。如果你想讓一個(gè)運(yùn)行在傳統(tǒng)計(jì)算機(jī)上的AI找到在游戲中獲勝的方法，那么它會(huì)一一遍歷所有的可能性，然后把每一個(gè)結(jié)果匯總到“大腦中樞”，最終找到一條獲勝的路徑。在量子計(jì)算機(jī)上運(yùn)行的AI，則會(huì)以極快的速度遍歷所有的可能性，而且這個(gè)問題的復(fù)雜程度也會(huì)隨之呈指數(shù)級(jí)下降。

接下來，我們?cè)倏纯词裁词橇孔蛹m纏。量子糾纏指兩個(gè)量子比特?zé)o論相距多遠(yuǎn)，都會(huì)保持聯(lián)系——一個(gè)量子比特的狀態(tài)發(fā)生變化會(huì)影響另一個(gè)量子比特，就好比一對(duì)存在心電感應(yīng)的雙胞胎。由于量子糾纏所具備的特性，量子計(jì)算機(jī)每增加一個(gè)量子比特，算力就會(huì)成倍提升。如果我們想讓一臺(tái)價(jià)值一億美元的超級(jí)傳統(tǒng)計(jì)算機(jī)的算力翻倍，可能還得再投入一億美元。但要讓一臺(tái)量子計(jì)算機(jī)的算力翻倍，我們只需要再增加一個(gè)量子比特就可以了。

當(dāng)然，要想實(shí)現(xiàn)這些神奇的特性，需要付出相應(yīng)的代價(jià)。量子計(jì)算機(jī)對(duì)自身內(nèi)部硬件的要求非常高，對(duì)周圍環(huán)境非常敏感，輕微的振動(dòng)、電氣干擾、溫度變化、電磁波等，都可能導(dǎo)致量子的糾纏態(tài)衰減甚至消失。為了讓量子計(jì)算機(jī)穩(wěn)定運(yùn)行且具備可拓展性，研究人員必須發(fā)明新的技術(shù)，為量子計(jì)算機(jī)量身打造真空室、超導(dǎo)材料和超低溫環(huán)境，盡可能降低來自環(huán)境因素的干擾。

由于這些客觀存在的難題，科學(xué)家花了很長(zhǎng)時(shí)間才讓量子計(jì)算機(jī)擁有更多的量子比特。1998年，有兩個(gè)量子比特的量子計(jì)算機(jī)就已經(jīng)亮相，到了2020年，最先進(jìn)的量子計(jì)算機(jī)也只有六十五個(gè)量子比特，遠(yuǎn)不夠執(zhí)行真正有價(jià)值的任務(wù)。不過，即便目前的量子計(jì)算機(jī)只有兩位數(shù)的量子比特，但在執(zhí)行某些計(jì)算任務(wù)時(shí)，仍然比傳統(tǒng)計(jì)算機(jī)快百萬倍。

谷歌在2019年首次宣布實(shí)現(xiàn)“量子霸權(quán)”，其有五十四個(gè)量子比特的處理器，能夠在幾分鐘內(nèi)便解決需要傳統(tǒng)計(jì)算機(jī)耗費(fèi)很多年時(shí)間才能算出結(jié)果的問題。但可惜的是，這并沒有什么實(shí)際意義。那么，我們什么時(shí)候才能擁有足夠的量子比特來解決真實(shí)世界的問題呢？

IBM在2020年發(fā)布的技術(shù)線路圖顯示，在未來三年內(nèi)，量子計(jì)算設(shè)備上的量子比特?cái)?shù)目將每年翻一番，預(yù)計(jì)到2023年有望突破一千個(gè)量子比特。如果樂觀地推算下來，有四千個(gè)量子比特的量子計(jì)算機(jī)的算力將足以像《人類剎車計(jì)劃》里所描述的那樣破解比特幣密鑰。因此，有樂觀主義者預(yù)測(cè)，實(shí)用型量子計(jì)算機(jī)將在五到十年內(nèi)問世。

然而，他們可能忽略了量子計(jì)算面臨的一些巨大挑戰(zhàn)。例如，IBM的研究人員表示，隨著量子比特?cái)?shù)量的增加，量子退相干引起的誤差會(huì)更加難以控制。為了解決這一問題，人們需要利用全新的技術(shù)和精密工程手段，構(gòu)建精細(xì)、復(fù)雜但非常脆弱的硬件基礎(chǔ)。此外，由于存在退相干誤差，每個(gè)邏輯量子比特都需要額外的多個(gè)物理量子比特來進(jìn)行糾錯(cuò)，以確保整個(gè)系統(tǒng)的穩(wěn)定性和容錯(cuò)率達(dá)標(biāo)，因此一臺(tái)量子計(jì)算機(jī)預(yù)計(jì)需要上百萬個(gè)物理量子比特，才能發(fā)揮出四千個(gè)邏輯量子比特應(yīng)該有的算力。而且，即便我們成功制造出了一臺(tái)實(shí)用型量子計(jì)算機(jī)，量產(chǎn)又將成為擺在人們眼前的另一個(gè)難題。最后，量子計(jì)算機(jī)與傳統(tǒng)計(jì)算機(jī)的編程方式完全不同，人們需要發(fā)明新的算法，開發(fā)新的軟件工具。

考慮到這些挑戰(zhàn)，大多數(shù)專家認(rèn)為，實(shí)用型量子計(jì)算機(jī)可能需十到三十年才會(huì)問世。根據(jù)專家們的意見，我認(rèn)為，到2041年，我們將有80%的概率見證搭載四千個(gè)邏輯量子比特（即超過一百萬個(gè)物理量子比特）的超強(qiáng)量子計(jì)算機(jī)出現(xiàn)，它將如《人類剎車計(jì)劃》中所描述的那樣，有能力破解如今的比特幣密鑰。

當(dāng)這種有上百萬個(gè)量子比特的量子計(jì)算機(jī)真正投入使用時(shí)，我們將在藥物研發(fā)領(lǐng)域獲得改變世界的機(jī)會(huì)。今天的超級(jí)計(jì)算機(jī)只能分析最基本的分子結(jié)構(gòu)。但是，有潛力制造藥物的分子的種類卻比可觀測(cè)宇宙中所有原子的種類還要多得多。解決這種量級(jí)的問題就需要量子計(jì)算機(jī)，它的運(yùn)算過程體現(xiàn)了與它所模擬的分子相似的量子特性。量子計(jì)算機(jī)可以在模擬新藥分子結(jié)構(gòu)的同時(shí)，對(duì)其進(jìn)行復(fù)雜的化學(xué)反應(yīng)建模，以確定藥物的療效。

目前，這也是量子計(jì)算最先商用的領(lǐng)域之一。谷歌在宣布實(shí)現(xiàn)“量子霸權(quán)”后，便把模擬新藥分子作為下一個(gè)突破方向。騰訊的量子實(shí)驗(yàn)室，也明確表示已開展了該方向的合作和探索。

1980年，著名物理學(xué)家理查德·費(fèi)曼說：“如果你想模擬大自然，你最好讓它以量子的方式運(yùn)行?！钡拇_，量子計(jì)算機(jī)可以模擬許多傳統(tǒng)計(jì)算機(jī)無法理解的復(fù)雜的自然現(xiàn)象。除藥物研發(fā)外，量子計(jì)算機(jī)在應(yīng)對(duì)氣候變化、預(yù)測(cè)疫情風(fēng)險(xiǎn)、發(fā)明新材料、探索太空、模擬大腦以及理解量子物理等方面也大有可為。

此外，量子計(jì)算機(jī)也將成為促進(jìn)AI發(fā)展的最重要的助推器。它的作用不僅僅是讓深度學(xué)習(xí)算法運(yùn)行得更快。人們可以在一臺(tái)量子計(jì)算機(jī)上編程，讓量子比特表示出所有可能的解決方案，然后整個(gè)系統(tǒng)會(huì)并行地為每個(gè)可能的解決方案打分，接下來量子計(jì)算機(jī)將嘗試在很短的時(shí)間內(nèi)找到最佳答案。量子計(jì)算和AI的結(jié)合可能帶來革命性的飛躍，并且解決現(xiàn)在無解的問題。

在《人類剎車計(jì)劃》中，天才物理學(xué)家馬克·盧梭曾經(jīng)利用量子計(jì)算的突破性成果竊取比特幣。

比特幣是迄今為止世界上規(guī)模最大的加密貨幣，可以兌換成黃金、現(xiàn)金等各種資產(chǎn)。它不像黃金那樣本身就有價(jià)值，也不像現(xiàn)金那樣能夠得到政府和中央銀行的背書。比特幣虛擬地存在于互聯(lián)網(wǎng)上，通過計(jì)算來保證其自身和交易的真實(shí)性。這種保證，來自其加密算法無法被傳統(tǒng)計(jì)算機(jī)破解。比特幣的數(shù)量上限被設(shè)定為二千一百萬枚，這避免了貨幣超發(fā)和通貨膨脹。在新冠疫情期間，很多公司和個(gè)人開始尋找不受中央銀行量化寬松政策影響的安全資產(chǎn)，于是便把目光轉(zhuǎn)向了比特幣。因?yàn)檫@些人的追捧，比特幣的價(jià)格持續(xù)上漲。2021年3月，比特幣的總值超過了一萬六千億美元，比一年前漲了十二倍。

與前面我們提到的那些重要應(yīng)用相比，用量子計(jì)算機(jī)來竊取比特幣似乎有點(diǎn)“大材小用”了。但破解加密貨幣是目前已知為數(shù)不多的能被一臺(tái)初級(jí)的量子計(jì)算機(jī)解決的問題，而且也可能是第一個(gè)讓人覺得有利可圖的量子計(jì)算應(yīng)用。雖然量子計(jì)算的某些應(yīng)用需要研究人員耗費(fèi)多年時(shí)間才能開發(fā)出來，但破解比特幣密鑰的算法卻早已被提出。1994年，麻省理工學(xué)院教授彼得·肖爾在一篇開創(chuàng)性論文中提出了用量子算法來有效解決質(zhì)因數(shù)分解問題，一旦有了約四千個(gè)量子比特的量子計(jì)算機(jī)，用這個(gè)量子算法就可以破解一些非對(duì)稱加密算法，例如當(dāng)下最普遍的RSA加密算法。

有人認(rèn)為，正是這篇論文激發(fā)了人們對(duì)量子計(jì)算的關(guān)注和興趣。

比特幣使用的就是彼得·肖爾教授提出的量子算法所能破解的RSA非對(duì)稱加密算法。RSA這類非對(duì)稱加密算法需要兩個(gè)密鑰：公鑰和私鑰。這兩個(gè)密鑰是在數(shù)學(xué)上相關(guān)的長(zhǎng)字符序列。從私鑰到公鑰的轉(zhuǎn)化非常簡(jiǎn)單，而在傳統(tǒng)計(jì)算機(jī)上，從公鑰到私鑰的轉(zhuǎn)化是不可能實(shí)現(xiàn)的。

舉個(gè)例子，如果你向我發(fā)送一枚比特幣，會(huì)列出一串轉(zhuǎn)賬信息，包括我的比特幣錢包地址這一公鑰，相當(dāng)于公開發(fā)布了一份“存款單”。雖然每個(gè)人都可以看到公鑰，但只有我擁有私鑰，于是也就只有我才能用它進(jìn)行數(shù)字簽名，打開“存款單”完成交易。只要其他人都不知道我的私鑰，這種交易方式就是完全安全的。

但在量子計(jì)算出現(xiàn)后，一切都變了。與傳統(tǒng)計(jì)算機(jī)不同，量子計(jì)算機(jī)能夠根據(jù)任何公鑰快速生成對(duì)應(yīng)的私鑰，采用RSA算法以及一些類似的加密算法的私鑰在量子計(jì)算機(jī)面前都將“無所遁形”。因此，量子計(jì)算機(jī)只需訪問公共賬本（所有交易都在這里過賬），獲取所有的公鑰，然后再逐個(gè)生成私鑰數(shù)字簽名，就可以盜取所有賬戶中的比特幣。

看到這里，你可能產(chǎn)生以下一些疑問。

為什么人們會(huì)公開他們的錢包地址和公鑰？其實(shí)這是比特幣的早期設(shè)計(jì)缺陷。比特幣專家已經(jīng)意識(shí)到了這個(gè)漏洞。自2010年起，基本上所有新發(fā)起的比特幣交易都采用了一種名為P2PKH（Pay To Public Key Hash）的新格式，在這種格式下，地址是隱藏的，更加安全（盡管也不能完全免于被攻擊）。不過，仍有二百萬比特幣是以存在漏洞的舊格式P2PK存儲(chǔ)的。按照2021年3月的比特幣價(jià)格（每枚比特幣六萬美元）計(jì)算，二百萬比特幣的價(jià)值就是一千二百億美元，這也是在《人類剎車計(jì)劃》中被盜幣者盯上的“寶藏”。如果你曾在P2PK格式下存放過比特幣的話，那就趕快想想怎么保護(hù)你錢包里的那筆“巨資”吧！

為什么人們不把自己存儲(chǔ)在舊格式下的比特幣轉(zhuǎn)移到安全的地方？這個(gè)想法很合理，但是很多人就是沒有這么做。對(duì)此，我能想到的原因有三點(diǎn)。第一，許多人很早之前就丟失了自己的私鑰，可能是由于私鑰太長(zhǎng)了所以沒記下來。特別是在十年前比特幣并沒有如今這么值錢的時(shí)候，即便忘了私鑰，人們也沒那么在意。第二，這些比特幣持有者可能一直不知道上面提到的漏洞。第三，在這二百萬枚比特幣中，大約有一百萬枚比特幣歸傳說中的中本聰所有，但這位神秘的比特幣發(fā)明者似乎已經(jīng)銷聲匿跡了。這筆“中本聰?shù)膶毑亍弊匀欢痪统闪吮I幣者夢(mèng)寐以求的財(cái)富之源。

為什么所有的交易都要在公共賬本上過賬？這種設(shè)計(jì)是為了讓任何公司或個(gè)人都無法掌管比特幣。去中心化的公共賬本存儲(chǔ)在許多計(jì)算機(jī)上，無法被篡改。這是一個(gè)很巧妙的設(shè)計(jì)，只要沒有人能根據(jù)公共賬本上的公鑰反向推導(dǎo)出私鑰，這種設(shè)計(jì)就是萬無一失的。這種設(shè)計(jì)也讓區(qū)塊鏈具備了保證信息無法被篡改的能力，會(huì)衍生出很多非常有價(jià)值的應(yīng)用，比如確認(rèn)數(shù)字版契約、合同或遺囑的真實(shí)性等。

如果真的發(fā)生了比特幣盜竊案，失主怎么挽回?fù)p失呢？事實(shí)上，失主是沒有辦法報(bào)案或者起訴偷盜者的。除了偷盜者不易被鎖定之外，比特幣的交易也不受銀行法的保護(hù)和約束，因?yàn)楸忍貛挪皇苋魏握蚬镜墓芸?。任何擁有正確私鑰的人都可以把比特幣放到自己的錢包里，在法律上，這是一塊空白地帶。

故事里的馬克·盧梭既然手眼通天，為什么他不鎖定銀行系統(tǒng)作為目標(biāo)？首先，銀行系統(tǒng)沒有保存著公鑰的公共賬本，馬克·盧梭無法根據(jù)公鑰計(jì)算出私鑰。其次，銀行有監(jiān)控軟件，會(huì)時(shí)刻關(guān)注異常情況（如可疑的大額轉(zhuǎn)賬）。再次，把錢轉(zhuǎn)移到其他賬戶的過程是可以被追蹤的，這種行為一旦被發(fā)現(xiàn)，就會(huì)被追究法律責(zé)任。最后，銀行交易使用的加密算法和比特幣的不同，需要更多的時(shí)間來破解。

說到這里，那么如何提升加密算法的安全性呢？其實(shí)，“防量子”算法已經(jīng)出現(xiàn)了。彼得·肖爾也證明了，人們可以利用量子計(jì)算機(jī)構(gòu)建堅(jiān)不可摧的加密算法。哪怕入侵者使用了強(qiáng)大的量子計(jì)算機(jī)，也無法破解這種基于量子力學(xué)的加密算法。只有當(dāng)量子力學(xué)原理被發(fā)現(xiàn)存在錯(cuò)誤時(shí)，入侵者才會(huì)有機(jī)可乘。

不過，這類“防量子”算法的計(jì)算成本非常高，所以暫時(shí)不必把它視為一種可行的商業(yè)化及比特幣實(shí)體解決方案。也許只有當(dāng)比特幣量子盜竊案終于發(fā)生后，人們才會(huì)醒悟過來，去修改算法，以徹底解決這一問題。

我真心希望這一天早些到來。

自主武器被視為繼火藥、核武器之后的“第三次戰(zhàn)爭(zhēng)革命”。雖然地雷和導(dǎo)彈揭開了早期簡(jiǎn)單自主武器的序幕，但運(yùn)用了AI技術(shù)的真正的自主武器才是正片。AI自主武器讓整個(gè)殺戮過程——搜尋目標(biāo)、進(jìn)入戰(zhàn)斗、抹殺生命——完全無須人類參與。

以色列的哈比無人機(jī)就是一個(gè)典型的當(dāng)代自主武器，屬于“即發(fā)即棄”式設(shè)計(jì)。它會(huì)根據(jù)程序設(shè)定飛到某個(gè)區(qū)域，搜尋特定的目標(biāo)，然后用高爆彈頭摧毀目標(biāo)。

還有一個(gè)更讓人毛骨悚然的自主武器案例，源自傳播極廣的宣傳視頻“屠殺機(jī)器人”（Slaughterbots）。該視頻展示了一個(gè)像一只小鳥一樣大的無人機(jī)主動(dòng)搜尋某個(gè)特定的人，一旦發(fā)現(xiàn)目標(biāo)，就瞄準(zhǔn)對(duì)方的頭骨近距離發(fā)射少量的炸藥。這種無人機(jī)自主飛行，體量較小，十分靈活，所以幾乎無法被抓住，也很難阻截它們的行動(dòng)或者摧毀它們。未來，隨著技術(shù)的發(fā)展和硬件成本的下降，機(jī)器人也將有能力執(zhí)行同樣的任務(wù)。

更可怕的是，今天，一個(gè)有經(jīng)驗(yàn)的業(yè)余機(jī)器人愛好者，就能以不到一千美元的成本制造出這樣的無人機(jī)。元件能夠在線購(gòu)買，技術(shù)算法可以從開源社區(qū)下載。這從側(cè)面反映了AI和機(jī)器人技術(shù)正在逐漸走向普及，價(jià)格也越來越親民，這也是我們多次強(qiáng)調(diào)的觀點(diǎn)。試想一下，只需要一千美元就能制造出一個(gè)低成本的機(jī)器人“殺手”，就像無人機(jī)刺殺委內(nèi)瑞拉總統(tǒng)事件中出現(xiàn)的那種，而且這種威脅并不是在遙遠(yuǎn)的未來才會(huì)出現(xiàn)，而是很快就會(huì)出現(xiàn)。

我們親眼見證了AI的快速發(fā)展，這將進(jìn)一步加速自主武器的迭代與升級(jí)。回想自動(dòng)駕駛汽車從L1級(jí)別發(fā)展到L3/L4級(jí)別的速度，在自主武器領(lǐng)域，技術(shù)進(jìn)步的速度也將如此。

那些機(jī)器人“殺手”不但會(huì)變得更加智能、精準(zhǔn)、敏捷、廉價(jià)、得力，而且將學(xué)會(huì)像蜂群一樣團(tuán)隊(duì)協(xié)作、前赴后繼，在執(zhí)行任務(wù)的時(shí)候變得勢(shì)不可擋。一支由一萬架無人機(jī)組成的“軍隊(duì)”就可以摧毀半座城市，而在理論上，其成本可能只需要一千萬美元。

當(dāng)然，自主武器有好的一面。第一，如果由機(jī)器人來取代人類士兵，那么自主武器可以挽救士兵的生命。第二，一支負(fù)責(zé)的軍隊(duì)可以用自主武器來引導(dǎo)士兵（無論是人類還是機(jī)器人）只攻擊敵方戰(zhàn)斗人員，以免傷害無辜的友軍、兒童和平民（類似于L2/L3級(jí)別自動(dòng)駕駛車輛幫助人類駕駛員避免犯錯(cuò)）。第三，自主武器還可以用于對(duì)付暗殺者、罪犯、恐怖分子。

不過，自主武器給人類帶來的負(fù)面影響要遠(yuǎn)遠(yuǎn)大于這些好處。

第一，自主武器面臨的最大問題就是倫理和道德上的爭(zhēng)議——幾乎所有倫理制度和宗教信仰都把奪走一個(gè)人的生命視為一種極具爭(zhēng)議性的行為，如果不通過嚴(yán)肅的審判，沒有任何人可以擁有這樣的權(quán)力。聯(lián)合國(guó)秘書長(zhǎng)安東尼奧·古特雷斯曾表示：“掌握生殺大權(quán)、能夠隨意奪人性命的機(jī)器，在道德上令人厭惡。”

第二，自主武器降低了殺人的成本。盡管過去也有自殺式爆炸襲擊者，但對(duì)于任何人來說，為一件事獻(xiàn)出生命仍是一個(gè)很大的挑戰(zhàn)。但如果有了自主武器，暗殺者和恐怖分子不用放棄生命就可以達(dá)成目的了。

第三，自主武器還涉及責(zé)任人的界定，我們需要知道誰(shuí)應(yīng)該為自主武器的失誤負(fù)責(zé)。對(duì)于戰(zhàn)場(chǎng)上的士兵來說，每個(gè)人的責(zé)任是非常清晰明確的。但對(duì)于被分配了任務(wù)的自主武器來說，出問題后的責(zé)任就相對(duì)模糊了（類似于自動(dòng)駕駛車輛撞死行人應(yīng)該向誰(shuí)追責(zé)）。更糟糕的是，如果責(zé)任無法明確，幕后黑手就有從國(guó)際人道主義法中逃脫的機(jī)會(huì)。這直接降低了戰(zhàn)爭(zhēng)的門檻。

第四，自主武器不僅能夠?qū)δ硞€(gè)人執(zhí)行暗殺任務(wù)，還能夠針對(duì)任何群體進(jìn)行滅絕式屠殺（這可以通過面部或姿態(tài)識(shí)別技術(shù)、移動(dòng)設(shè)備或物聯(lián)網(wǎng)信號(hào)追蹤技術(shù)來實(shí)現(xiàn)）。在《人類剎車計(jì)劃》中，我們就看到了對(duì)影響力超群的商業(yè)精英和社會(huì)知名人士的針對(duì)性殺戮。

如果我們不審慎思考自主武器可能帶來的各種問題，一味推動(dòng)技術(shù)的發(fā)展，人類的戰(zhàn)爭(zhēng)進(jìn)程將會(huì)加速，不但會(huì)造成更大的傷亡，而且可能導(dǎo)致災(zāi)難性的戰(zhàn)爭(zhēng)升級(jí)，甚至核戰(zhàn)爭(zhēng)。另外，AI缺乏人類的常識(shí)和跨領(lǐng)域推理能力，因此無論人類如何訓(xùn)練一個(gè)自主武器系統(tǒng)，它都無法充分理解其自身行動(dòng)所帶來的后果。這也是為什么在《人類剎車計(jì)劃》的故事中，澤維爾和EC3的反恐行動(dòng)最終仍然由人類操控，而非機(jī)器人。

從英德海軍軍備競(jìng)賽到美蘇核軍備競(jìng)賽，一直以來，各個(gè)國(guó)家都在爭(zhēng)奪軍事霸權(quán)，并將軍事置于優(yōu)先發(fā)展的戰(zhàn)略地位。自主武器的出現(xiàn)將進(jìn)一步加劇各國(guó)的軍事競(jìng)爭(zhēng)，因?yàn)檫@種競(jìng)爭(zhēng)將變得更加多元化（更小巧、更迅速、更致命、更隱蔽的武器都能被開發(fā)出來）。而且，自主武器的成本相對(duì)較低，直接降低了參賽門檻，這讓一些擁有強(qiáng)大技術(shù)的小國(guó)有了加入軍備競(jìng)賽的機(jī)會(huì)。例如以色列就開發(fā)了一批最先進(jìn)的軍用機(jī)器人，其中有的只有蒼蠅大小。幾乎可以肯定的是，只要有一個(gè)國(guó)家開始打造自主武器，那么感到威脅的其他國(guó)家也將緊隨其后，參與自主武器的競(jìng)爭(zhēng)。

那么，這場(chǎng)自主武器的軍備競(jìng)賽將把人類帶向何方呢？伯克利大學(xué)教授斯圖爾特·拉塞爾表示：“我們預(yù)測(cè)，不久之后，自主武器的靈活性和殺傷力將使人類毫無還手之力。”如果任由這種多邊軍備競(jìng)賽發(fā)展，人類文明在未來將走向黃昏。

核武器也是一種威脅人類生存的武器，但它一直以來都受到很好的約束，甚至在幾個(gè)大國(guó)擁有核武器后，全球戰(zhàn)爭(zhēng)大大減少了。這是因?yàn)楹送乩碚摗绻粋€(gè)國(guó)家率先使用核武器發(fā)動(dòng)突襲，就會(huì)被對(duì)方追蹤到，并引來無法阻止的毀滅性報(bào)復(fù)。核戰(zhàn)爭(zhēng)的結(jié)果就是同歸于盡，這是確?；г瓌t。所以核武器時(shí)代來臨后，反而很少有大的戰(zhàn)爭(zhēng)了。但對(duì)于自主武器來說，核威懾理論和確?；г瓌t并不適用，因?yàn)樽灾魑淦靼l(fā)動(dòng)的突襲是很難被追蹤的。在《人類剎車計(jì)劃》里，難以追蹤的末日無人機(jī)就是一個(gè)例子。盡管通過攻擊末日無人機(jī)的通信協(xié)議可能會(huì)找到一些線索，但只有在捕獲到一架無人機(jī)的前提下，這種方法才能奏效。

就像我們剛才所說的，自主武器攻擊可能快速引發(fā)連鎖反應(yīng)，并逐步升級(jí)，甚至導(dǎo)致核戰(zhàn)爭(zhēng)。而且，首先發(fā)動(dòng)突襲的甚至可能并不是一個(gè)國(guó)家，而是恐怖分子或無政府組織，這更增加了自主武器的風(fēng)險(xiǎn)。

為了避免自主武器引起的生存災(zāi)難，一些專家提出了下列三個(gè)解決方案。

第一個(gè)解決方案是人工介入，或者至少確保每一個(gè)影響生命的決策都由人類做出。不過，在很大程度上，自主武器的威力源于機(jī)器在沒有人工介入的情況下所具備的速度和精度。任何想在這場(chǎng)軍備競(jìng)賽中取勝的國(guó)家，可能都無法接受這種大幅度削弱技術(shù)能力的人工介入。這種方案執(zhí)行起來非常難，漏洞也很容易被發(fā)現(xiàn)。

第二個(gè)解決方案是頒布相應(yīng)的禁令?！督怪旅宰灾魑淦餍浴肥且环菔怯扇鸄I領(lǐng)域的科學(xué)家共同簽署的公開信，埃隆·馬斯克和史蒂芬·霍金都參與了簽署活動(dòng)。在過去，生物學(xué)家、化學(xué)家和物理學(xué)家也曾針對(duì)生物武器、化學(xué)武器和核武器做過類似的努力。任何一項(xiàng)禁令的推行都并非易事，但此前針對(duì)致盲激光、化學(xué)武器和生物武器的禁令似乎頗有成效。如今，推行《禁止致命性自主武器宣言》的主要障礙是俄羅斯、美國(guó)和英國(guó)的反對(duì)。這三個(gè)國(guó)家認(rèn)為現(xiàn)在還為時(shí)尚早，但是我認(rèn)為應(yīng)該未雨綢繆。

第三個(gè)解決方案是對(duì)自主武器加以管控。對(duì)其加以管控，就必須保留人類對(duì)使用武器系統(tǒng)的決定權(quán)。同樣，這也是一件復(fù)雜的事情，因?yàn)樵谕ǔＧ闆r下，寬泛的技術(shù)規(guī)范很難在短期內(nèi)取得明顯成效。比如自主武器的定義是什么？如何去監(jiān)測(cè)違規(guī)國(guó)家？這些都是短期的難點(diǎn)。

既然要暢想未來，請(qǐng)?jiān)试S我構(gòu)想一個(gè)2041年的條約：到那時(shí)，所有國(guó)家都達(dá)成一致——未來戰(zhàn)爭(zhēng)將僅由機(jī)器人參與作戰(zhàn)（或者由軟件模擬進(jìn)行就更好了），承諾不造成人員傷亡，但各國(guó)會(huì)在戰(zhàn)爭(zhēng)結(jié)束后依據(jù)輸贏交付戰(zhàn)利品;或者未來戰(zhàn)爭(zhēng)由人類和機(jī)器人共同作戰(zhàn)，但機(jī)器人使用的武器僅能對(duì)機(jī)器人造成傷害，而無法對(duì)人類士兵造成傷害（就像激光槍游戲）。這些設(shè)想在今天看來顯然是不現(xiàn)實(shí)的，但以此為基礎(chǔ)，人們?cè)谖磥砜赡軙?huì)構(gòu)想出一些實(shí)際的應(yīng)對(duì)策略。

我希望人們能夠重視自主武器可能帶來的危險(xiǎn)。自主武器不是未來科幻中的威脅，而是現(xiàn)在就已經(jīng)明確存在的威脅，而且它還將以前所未有的速度向更加廉價(jià)、容易組裝、靈活、智能、有殺傷性的方向進(jìn)化。自主武器沒有核武器所具備的那種天然威懾性，它將在各國(guó)不可避免的軍備競(jìng)賽中加速發(fā)展。顯然，自主武器是最有悖于人類道德觀且對(duì)人類延續(xù)存在威脅的AI應(yīng)用，我們需要讓領(lǐng)域內(nèi)的專家和各國(guó)首腦共同參與到對(duì)自主武器未來發(fā)展的討論中來，權(quán)衡不同的解決辦法的利弊，找到一種能夠阻止自主武器肆意擴(kuò)散、避免人類走向滅亡的最佳方法。