這個殺手非常冷

張燕

這類自主武器可以在人工智能的幫助下自行學(xué)習(xí)，并在沒有人為干預(yù)的情況下摧毀目標(biāo)

在科幻電影里，機(jī)器人殺手是個老掉牙的題材.人們已經(jīng)不再像幾十年前那樣，為這種冷酷的機(jī)器尖叫。在目睹了工業(yè)機(jī)器人、護(hù)理機(jī)器人等類似產(chǎn)品后，對機(jī)器人能做什么，人們已經(jīng)有了更全面的認(rèn)識。

但是，殺手機(jī)器人和那些提供便利服務(wù)的機(jī)器終究還是不同的，因?yàn)樗婕皞惱韱栴}。60多年前，科幻小說作家艾薩克·阿西莫夫（Isaac Asimov）就提出了著名的“機(jī)器人三定律”，首要一條就是“機(jī)器人不得傷害人類，或坐視人類受到傷害”。

隨著技術(shù)的進(jìn)步，倫理屏障似乎正在被打破，冷血的機(jī)器人殺手逐漸從熒屏中走出來。為了阻止這種情況的發(fā)生，一場人類自我保護(hù)運(yùn)動逐漸興起。

迫在眉睫的問題

科幻很遠(yuǎn)，現(xiàn)實(shí)很近。機(jī)器人殺手的出現(xiàn)已經(jīng)是一個迫在眉睫的問題。

近期超過70個國家的軍事專家、科學(xué)家、非政府組織在日內(nèi)瓦參加了聯(lián)合國會議，就如何對待具有爭議的“殺手機(jī)器人”進(jìn)行討論。為期一周的會議并未得出實(shí)質(zhì)性的結(jié)論。雖然大多數(shù)與會者表示支持進(jìn)行立法管制，但是一小部分人表示反對。這種分歧助推了一種現(xiàn)實(shí)：殺手機(jī)器人正向我們走來。

殺手機(jī)器人走來的腳步聲會讓人感到不寒而栗。當(dāng)然，在聯(lián)合國《特定常規(guī)武器公約》框架下，這種殺手機(jī)器人有另外一個名字：自主武器。這類自主武器可以在人工智能的幫助下自行學(xué)習(xí)，并在沒有人為干預(yù)的情況下摧毀目標(biāo)。

隨著科技的發(fā)展，機(jī)器可以用人工神經(jīng)網(wǎng)絡(luò)處理所積攢的經(jīng)驗(yàn)，類似于人類大腦，不斷對情況進(jìn)行自主學(xué)習(xí)和判斷。而武器行業(yè)也積極利用最先進(jìn)的技術(shù)生產(chǎn)出更有效率、速度更快的武器。擁有這種能力的武器，很容易讓人想起電影《終極者》里的殺手機(jī)器人。

紅十字國際委員會將自主武器定義為：“可以根據(jù)自身所處的環(huán)境中不斷變化的情況，隨時學(xué)習(xí)或調(diào)整運(yùn)轉(zhuǎn)的武器。真正的自主武器能夠在無人干預(yù)或操控的情況下搜索、識別并使用致命武力攻擊目標(biāo)。”

雖然全自主武器和殺人機(jī)器人到目前為止還沒有被使用，但在這一領(lǐng)域存在國際公約的灰色區(qū)域。在各國討論關(guān)于自主武器的生產(chǎn)和使用是否必須受國際公約管制時，盡管各國代表原則上同意，自主武器也必須受人類控制，并符合國際法，但美國和一些擁有大型軍備的國家提出明確的反對意見，不希望禁止這類武器，這些國家希望借此保證其在軍事上的優(yōu)勢地位。

美國國防部是最支持機(jī)器人研究的機(jī)構(gòu)之一，2013年美國智庫海軍研究辦公室曾向塔夫斯大學(xué)、布朗大學(xué)、倫斯勒理工學(xué)院、喬治城大學(xué)以及耶魯大學(xué)的研究人員發(fā)放750萬美元補(bǔ)助，以研究如何教授自動機(jī)器人分辨對錯。

目前美國已經(jīng)有不少具有部分自主功能的武器。軍用機(jī)器人要上戰(zhàn)場，需要適應(yīng)戰(zhàn)場上的現(xiàn)實(shí)，輔助戰(zhàn)士執(zhí)行任務(wù)。例如導(dǎo)彈已經(jīng)可以自行識別、選擇和攻擊目標(biāo)，無人機(jī)可以組成蜂群網(wǎng)絡(luò)并獨(dú)立執(zhí)行某些任務(wù)，阿富汗和敘利亞已成為美軍這些武器的試驗(yàn)場。

倫理的交鋒

在對殺手機(jī)器人限制和列裝的時間競賽中，即使是樂觀者目前也認(rèn)為后者會是勝利的一方。畢竟在人們感受到切膚之痛前，很難對收割生命的武器產(chǎn)生感性認(rèn)識，一如歷史上先是出現(xiàn)了大規(guī)模殺傷性武器，并產(chǎn)生巨大的破壞后，人們才開始痛定思痛制定限制大規(guī)模殺傷性武器的公約。

機(jī)器人看似有益無害，目前在工廠里已經(jīng)有機(jī)器人和人一起上班，無人駕駛汽車也已經(jīng)上路測試，無人機(jī)已開始行進(jìn)送貨服務(wù)，但當(dāng)這些機(jī)器成為武器，踏上戰(zhàn)場的那一刻，不但所有的溫情脈脈都會被撕去，連戰(zhàn)爭的倫理都會被改寫。盡管責(zé)任要由握刀的人來承擔(dān)，但和刀終究要靠人揮動不同，自主武器可以自己選擇攻擊的時機(jī)，這無疑會極大削弱人的自我防護(hù)能力。

自主武器在接到攻擊指令后，不再需要人的開火指揮，攻擊的時機(jī)也由算法作出最優(yōu)選擇。它們在數(shù)分鐘、數(shù)天乃至數(shù)周長的時間里自行跟蹤目標(biāo)，然后選擇所謂的最佳時間將目標(biāo)消滅。如此一來，決定人生死瞬間的不再是作為對手的人，而是一臺冷冰冰的機(jī)器。

此外，自主武器更難區(qū)分攻擊目標(biāo)。目前國際人道法重要的一條是，在攻擊時要清楚區(qū)分作戰(zhàn)者和平民，盡量避免攻擊平民和民用設(shè)施。機(jī)器不懂國際法，也無法依據(jù)道德而行動，難以區(qū)分攻擊目標(biāo)。因此國際法專家們要求，人類必須始終擁有對攻擊的最后控制權(quán)。

殺傷性地雷可以被看作是一種最初級的自動運(yùn)行武器，因?yàn)楫?dāng)其埋下后，何時爆炸就不由埋雷者控制了，而取決于應(yīng)用的情景。然而就在地雷被口誅筆伐多年后，很多幾十年前布下的地雷。如今依然在作惡，每年造成1.5萬到2萬人喪生。

一旦殺手機(jī)器人成為現(xiàn)實(shí)，其危險(xiǎn)要比地雷大得多。因開展反對地雷的運(yùn)動而獲得諾貝爾和平獎的喬迪·威廉姆斯（Jody Williams）是“阻止殺手機(jī)器人運(yùn)動”的發(fā)言人，他表示自主武器比核武器更可怕，“如果一些人認(rèn)為把人類的生殺大權(quán)交給一臺機(jī)器是可以的，人性又何以處之？”

正是基于這種可怕的倫理沖突前景，在2013年，聯(lián)合國就開始呼吁暫緩研發(fā)能自主運(yùn)作的戰(zhàn)爭機(jī)器人。遺憾的是，倫理的交鋒目前并未延遲研發(fā)的腳步，而阻止其到來的機(jī)會卻在指縫中溜走。

誰來阻擊

人類被機(jī)器人大軍屠殺是電影中的舊梗，之所以仍會出現(xiàn)常拍常新的版本，是因?yàn)槿藗儚男牡子袚]之不去的恐懼和擔(dān)憂。

然而，軍火商沒有被這種擔(dān)憂所嚇阻，他們正貪婪地將手伸向數(shù)據(jù)和算法.直到殺手機(jī)器人破殼而出。他們對此振振有詞，認(rèn)為當(dāng)機(jī)器人取代人走上沙場，會減少人的犧牲。他們避而不談的是另一種邏輯，即研發(fā)這種機(jī)器人的一項(xiàng)重大危險(xiǎn)是一各國會更輕易發(fā)動戰(zhàn)爭，因?yàn)槿伺c人越來越冷漠。也更容易下達(dá)殺人指令。

正是由于感受到殺手機(jī)器人成為現(xiàn)實(shí)的威脅，自2014年開始各方在聯(lián)合國日內(nèi)瓦總部舉行對話，討論對殺手機(jī)器人進(jìn)行限制，整個對話在特定常規(guī)武器公約的框架下進(jìn)行。這個非正式對話在2017年演變?yōu)檎降恼勁校^70個國家以及更多的科學(xué)家、非政府組織參與。但各方立場相距甚遠(yuǎn)，整個談判進(jìn)展遲緩。

基礎(chǔ)研究領(lǐng)域一直沒有放棄抵制殺手機(jī)器人的出現(xiàn)。物理學(xué)家斯蒂芬·霍金在世時，就曾在2015年和上千名人工智能領(lǐng)域的專家一道，發(fā)表了一封呼吁在世界范圍內(nèi)禁止殺手機(jī)器人的公開信。

科學(xué)家們警告，越過這一界限將啟動一場新的全球軍備競賽。信中稱，繼發(fā)明火藥和核武器之后。能夠在沒有人類干預(yù)下獨(dú)立識別并攻擊目標(biāo)的武器系統(tǒng)的發(fā)展，將帶來“第三次戰(zhàn)爭革命”。

兩年后，不少人工智能企業(yè)也加入了反對的行列。特斯拉創(chuàng)始人埃隆·馬斯克。以及谷歌應(yīng)用人工智能負(fù)責(zé)人穆斯塔法·蘇萊曼等116家機(jī)器人和人工智能企業(yè)的創(chuàng)始人簽署了一封公開信。這封信說，致命自主武器會讓“武裝沖突的規(guī)模超過以往任何時候，時間跨度快到人類無法理解”。