人工智能的保險(xiǎn)閥
——認(rèn)知安全

闞志剛（梆梆安全公司首席執(zhí)行官）

人工智能的保險(xiǎn)閥
——認(rèn)知安全

闞志剛（梆梆安全公司首席執(zhí)行官）

0 引言

2016年初的“阿爾法狗VS李世石”圍棋世界人機(jī)大戰(zhàn)，賺足了人們的眼球。隨后，微軟AI聊天機(jī)器人Tay上線后竟然在一天時(shí)間內(nèi)“學(xué)壞”，在引發(fā)人們大笑的同時(shí)，更隱約間暴露出一絲人工智能的安全危機(jī)。

1 來(lái)自世界最聰明大腦的警告

當(dāng)全球各個(gè)行業(yè)的人們都在對(duì)人工智能滿懷希望，期待藉由人工智能的力量實(shí)現(xiàn)領(lǐng)域內(nèi)的突破時(shí)，這個(gè)世界上最聰明的三個(gè)大腦卻似乎看到了更為遙遠(yuǎn)、而又很不樂(lè)觀的畫(huà)面。

2014年，劍橋大學(xué)著名理論物理學(xué)家斯蒂芬·霍金提出，人類的進(jìn)化速度與人工智能相比遠(yuǎn)遠(yuǎn)不如，他警告人們，如果軍事科技過(guò)度依賴于人工智能，將可能導(dǎo)致人類的滅亡。

電動(dòng)汽車(chē)公司特斯拉、商業(yè)太空飛行公司SpaceX首席執(zhí)行官埃隆·馬斯克更是直白的表示，未來(lái)人類生存的最大麻煩恐怕就是人工智能了?！把芯咳斯ぶ悄苋缤谡賳緪耗А?，人們需要對(duì)人工智能保持萬(wàn)分警惕而不為過(guò)。他呼吁要對(duì)人工智能加強(qiáng)監(jiān)管，以確?！拔覀儾粫?huì)做蠢事”。

微軟公司創(chuàng)始人比爾·蓋茨也與憂慮超級(jí)人工智能的人們處于同一陣營(yíng)，他認(rèn)為幾十年后人工智能很可能會(huì)強(qiáng)大到足以令人擔(dān)憂的地步。在這一點(diǎn)上他贊同斯蒂芬·霍金、埃隆·馬斯克等人的看法，“而且我不明白為什么一些人會(huì)對(duì)此仿佛若無(wú)其事?！比绻藗儾荒軐?duì)人工智能未來(lái)的潛力嚴(yán)肅對(duì)待，那么《終結(jié)者》、《黑客帝國(guó)》、《生化危機(jī)》中科幻場(chǎng)景變?yōu)楝F(xiàn)實(shí)的可能程度將大為提升。

2 人工智能安全危機(jī)并非杞人憂天

事實(shí)上，機(jī)器人“殺人”的事件實(shí)際上早已發(fā)生。數(shù)據(jù)顯示，世界上第一起機(jī)器人“殺人”事件發(fā)生于1978年9月6日。日本廣島一家工廠的切割機(jī)器人在切割鋼板時(shí)突發(fā)異常，將值班工人當(dāng)作鋼板操作致其喪命。1981年5月，日本山梨縣閥門(mén)加工廠一名工人在調(diào)整加工螺紋的工業(yè)機(jī)器人時(shí)，處于停止?fàn)顟B(tài)的機(jī)器人突然啟動(dòng)，抱住其旋轉(zhuǎn)，最終導(dǎo)致其頭部、胸部嚴(yán)重受傷而致死。1982年，英國(guó)一名女工在測(cè)試工業(yè)機(jī)器人電池時(shí)，機(jī)器人突然“工作”，將其手臂折成兩段。1989年，一次國(guó)際象棋界的人機(jī)大戰(zhàn)中，前蘇國(guó)際象棋冠軍古德柯夫連勝三局，智能機(jī)器人棋手突然向金屬棋盤(pán)釋放出強(qiáng)電流，于眾目睽睽之下將古德柯夫擊斃。2015年7月，德國(guó)大眾汽車(chē)公司包納塔爾工廠中一名21歲的工人正在安裝、調(diào)制工業(yè)機(jī)器人，后者突然“出手”擊中工人胸部，將其碾壓于金屬板上，導(dǎo)致這名工人當(dāng)場(chǎng)死亡。2016年11月，第十八屆中國(guó)國(guó)際高新技術(shù)成果交易會(huì)上發(fā)生了一起“意外”智能機(jī)器人事故：一臺(tái)小胖機(jī)器人運(yùn)動(dòng)打破了參展現(xiàn)場(chǎng)玻璃，并砸傷路人。事后其生產(chǎn)廠家聲稱這是由于競(jìng)爭(zhēng)對(duì)手的惡意操作所導(dǎo)致。

這些是人們發(fā)現(xiàn)并已經(jīng)公開(kāi)報(bào)道的機(jī)器人事故，雖然最后的結(jié)論都是“故障”，但真相確實(shí)如此么？人們對(duì)于智能機(jī)器人的了解夠深、夠透徹么？可能給人們帶來(lái)危害的“意外”、“惡意”操作就不需要去考慮并防范么？作為智能機(jī)器人的設(shè)計(jì)、制造者，你真的了解它么？人工智能安全危機(jī)并非杞人憂天。

3 2060年人工智能是否“奪權(quán)”

行業(yè)專家把人工智能的發(fā)展進(jìn)程劃分為弱人工智能階段、強(qiáng)人工智能階段、超人工智能階段。

弱人工智能（Artificial Narrow Intelligence，ANI）僅擅長(zhǎng)單方面的工作，從之前的深藍(lán)到如今的阿爾法狗，就是僅限于下國(guó)際象棋與圍棋的弱人工智能。這也是當(dāng)前人工智能所處的主要階段。

強(qiáng)人工智能（Artificial General Intelligence，AGI）則會(huì)在各方面都具備和人類相同的認(rèn)知能力，目前這類人工智能還未產(chǎn)生。

而超人工智能（Artificial Super Intelligence，SI）將在所有領(lǐng)域都比人類聰明，見(jiàn)圖1。牛津大學(xué)哲學(xué)系教授、人工智能專家Nick Bostrom認(rèn)為，超級(jí)智能會(huì)“大大超越我們智慧的極限，我們甚至做夢(mèng)也無(wú)法想象得到。”一旦會(huì)危及人類的超級(jí)智能被開(kāi)發(fā)出來(lái)，再想把它裝回瓶子里可就難了。

圖1 人工智能的超級(jí)能力

在許多著名科幻著作里，諸如天網(wǎng)、紅色皇后、Viki這些超人工智能就是在進(jìn)化過(guò)程中從經(jīng)濟(jì)、戰(zhàn)略、技術(shù)、社會(huì)等層面逐漸擁有了上述超級(jí)能力，通過(guò)一系列的秘密準(zhǔn)備，成功逃離人類掌控，甚至形成了對(duì)人類社會(huì)的反制。

當(dāng)人類自身的思維都要靠人工智能來(lái)擴(kuò)充時(shí)，人類將無(wú)法預(yù)測(cè)未來(lái)。如果在未來(lái)的某一天人工智能發(fā)展出了自己的意志，那么這股意志存在很大幾率與人類的意志產(chǎn)生沖突。

專家結(jié)合當(dāng)前人工智能技術(shù)、IT技術(shù)、生物學(xué)技術(shù)等預(yù)測(cè)，強(qiáng)人工智能或?qū)⒂?040年出現(xiàn)，而超人工智能則會(huì)在2060年誕生。那么很有可能在超人工智能出現(xiàn)之時(shí)就是人類社會(huì)被“奪權(quán)”一刻。

4 讓人工智能按照人類的意愿工作

未雨綢繆是人類的天性，2016年白宮科技技術(shù)政策辦公室發(fā)布了一項(xiàng)信息征集申請(qǐng)（RFI），面向公眾征集有關(guān)人工智能的信息。最終獲得一共161份意見(jiàn)，提交者包括個(gè)人、學(xué)術(shù)界及研究者、非營(yíng)利組織以及產(chǎn)業(yè)界。而“AI安全和控制系統(tǒng)”則是主要征集問(wèn)題之一。隨后白宮接連發(fā)布了《人工智能大未來(lái)》、《為未來(lái)人工智能做好準(zhǔn)備》、《國(guó)家人工智能研究與發(fā)展策略規(guī)劃》等戰(zhàn)略報(bào)告，見(jiàn)圖2。

圖2 《國(guó)家人工智能研究與發(fā)展策略規(guī)劃》

在如今這個(gè)弱人工智能時(shí)代，如何讓人工智能發(fā)揮“智能”幫助人類的同時(shí)還要無(wú)害于人類。來(lái)自加州大學(xué)伯克利分校與斯坦福大學(xué)的兩名聯(lián)合研究員Paul Christiano和Greg Brockman在《Concrete AI safety problems》一文里從五個(gè)方面討論了如何才能有效解決人工智能可能帶來(lái)的安全威脅。

（1）避免有害副作用：機(jī)器人如何才能在追求效率的同時(shí)避免造成連帶損傷？

（2）避免激勵(lì)機(jī)制漏洞：如何才能防止機(jī)器人投機(jī)取巧？

（3）彈性監(jiān)督：如何讓機(jī)器人能自主驗(yàn)證目標(biāo)，正確完成任務(wù)，而不需要讓用戶花極高的時(shí)間成本與機(jī)器人反復(fù)核實(shí)？

（4）安全探索：如何避免機(jī)器人在探索陌生環(huán)境、學(xué)習(xí)新技能時(shí)對(duì)人類造成損害？

（5）切換環(huán)境后的魯莽：如何能保證機(jī)器人在切換環(huán)境后，能將已經(jīng)習(xí)得的技能無(wú)縫遷移到新環(huán)境中，避免造成不必要的麻煩？

5 認(rèn)知安全讓人工智能未來(lái)更安全

人工智能的機(jī)器學(xué)習(xí)開(kāi)始于對(duì)大量數(shù)據(jù)的統(tǒng)計(jì)，并試圖在這個(gè)過(guò)程中獲得一個(gè)規(guī)則或者程序，識(shí)別特定的模式。2016年3月23日微軟上線的AI聊天機(jī)器人Tay發(fā)表了第一篇推文，向世界問(wèn)好。僅僅24小時(shí)后，由于Tay不斷辱罵網(wǎng)友，并發(fā)表大量帶有種族色彩的不當(dāng)言論，微軟不得不將其緊急下線。微軟方面表示，在開(kāi)發(fā)Tay的過(guò)程中沒(méi)有對(duì)機(jī)器人的交流內(nèi)容做任何設(shè)定，Tay需要在大量對(duì)話中學(xué)習(xí)形成交流體系。但恰恰是“沒(méi)有做任何設(shè)定”的設(shè)定，使得Tay無(wú)法具備分辨是非的能力。

本文提出的認(rèn)知安全，是指研究和學(xué)習(xí)機(jī)器智能對(duì)人類理解和認(rèn)識(shí)的過(guò)程與方式，找到雙方能夠和平共處的解決方案，使機(jī)器智能成為人類不可或缺的一部分，因此，認(rèn)知安全的第一防御維度就是要管理提供給人工智能用于學(xué)習(xí)的數(shù)據(jù)，保障人工智能不在起始階段就把路“走歪”了。

認(rèn)知安全幫你掌控人工智能。現(xiàn)在的人工智能主要通過(guò)模擬人類大腦的神經(jīng)網(wǎng)絡(luò)進(jìn)行機(jī)器學(xué)習(xí)。神經(jīng)網(wǎng)絡(luò)模型雖然很簡(jiǎn)單，但神經(jīng)網(wǎng)絡(luò)的layer變多后，人們將越來(lái)越難以理解神經(jīng)網(wǎng)絡(luò)是怎樣學(xué)習(xí)的。如今，100個(gè)神經(jīng)元（10×10）的人工神經(jīng)網(wǎng)絡(luò)就已經(jīng)復(fù)雜到無(wú)人可以完全理解其整個(gè)學(xué)習(xí)過(guò)程的程度。那么當(dāng)人工神經(jīng)網(wǎng)絡(luò)如人腦一般擁有1000億個(gè)神經(jīng)元（結(jié)點(diǎn)）時(shí)，其復(fù)雜度不可想象。谷歌DeepMind研究員Laurent Orseau和Stuart Armstrong在《可安全干涉的智能算法》中提出要避免人工智能出于自私的目的，進(jìn)行對(duì)環(huán)境、或?qū)ψ约河泻Φ男袨?。人工智能系統(tǒng)是自循環(huán)進(jìn)行自我改進(jìn)的，其自我改進(jìn)的代碼人類是不知道的，應(yīng)設(shè)置Self-Monitoring監(jiān)督架構(gòu)。這意味著，未來(lái)的認(rèn)知安全體系里還需要加強(qiáng)干涉、監(jiān)督人工智能運(yùn)行、發(fā)展、進(jìn)化的安全機(jī)制，實(shí)現(xiàn)對(duì)人工智能微觀與宏觀層面的全掌控。

這是未來(lái)認(rèn)知安全要做的另外一件事情。人工智能核心代碼的安全性需要予以極大的提升，更要將真正的“機(jī)器人三定律”植入到人工智能軟件的最底層。在科幻電影《機(jī)械公敵》中，機(jī)器人運(yùn)算能力的不斷提高，使其得以自我解開(kāi)控制密碼，修改程序，違反原來(lái)設(shè)定轉(zhuǎn)化為人類的“機(jī)械公敵”。而在《超驗(yàn)駭客》里，擁有掌控世界未來(lái)能力的超級(jí)電腦，竟然由于代碼遭遇病毒感染而毀于一旦。所以，需要從代碼安全層面，禁止人工智能在自我改進(jìn)中修改核心代碼，危害人類。抵御外界對(duì)人工智能的攻擊，避免人工智能被惡意操縱成為武器。

2016年人工智能的發(fā)展如火如荼，無(wú)論是杞人憂天還是未雨綢繆，保障人工智能更好的服務(wù)于人類是人們的共識(shí)。認(rèn)知安全就是人工智能發(fā)展進(jìn)程中的保險(xiǎn)栓，隨著認(rèn)知安全技術(shù)的不斷成熟、研究的不斷深入，人們將更為透徹于人工智能，并將人工智能可能造成的負(fù)面影響限制在可控基線之內(nèi)。