強人工智能安全預(yù)警研究

王巖 宋艷玉

[摘 要]本文介紹了AI的演變流程，根據(jù)其特點分析了潛在風(fēng)險及應(yīng)對措施——友好定律的局限性，進(jìn)而對ASI風(fēng)險的觀點派別及紕漏加以論述，并提出本文的觀點主線：奇點無疑將會推動社會更迭發(fā)展，但鑒于ASI風(fēng)險的嚴(yán)重性及不可逆性，必須放緩開發(fā)速度，認(rèn)真審視并深入研究風(fēng)險應(yīng)對策略，最終給出了相應(yīng)建議。

[關(guān)鍵詞]超級人工智能;智能爆炸;奇點;潛在風(fēng)險;友好AI

doi：10.3969/j.issn.1673 - 0194.2018.20.069

[中圖分類號]TP18[文獻(xiàn)標(biāo)識碼]A[文章編號]1673-0194（2018）20-0-03

1? ? ?AI的演變

對于AI的發(fā)展演變，較為通識的三階論為：弱人工智能（ANI）、強人工智能（AGI）、超級人工智能（ASI）。ANI技術(shù)正遍布人類的生活，如谷歌搜索、語音識別、無人駕駛等，它充斥在人類生活的每一個角落，為人所用。

隨著ANI的普遍應(yīng)用，各國很多機構(gòu)紛紛以隱形公司的形式開發(fā)強人工智能，在這里把它定義為：具有人類的感知和認(rèn)知，可進(jìn)行自我思考和自我改進(jìn)的人工智能，簡稱為AGI（Artificial General Intelligence）。庫茲韋爾曾借助收益加速定律提出一個新的觀點，他認(rèn)為有一套平滑的指數(shù)曲線支配著演進(jìn)過程、技術(shù)發(fā)展，又和演進(jìn)過程相似。對于生物進(jìn)化而言，每一階段產(chǎn)生的最新技術(shù)，都將會被應(yīng)用在下一個階段的演變，且加速了這個過程。AGI的智商與人類在同一水平，它可由最初的自我學(xué)習(xí)、自我思考，過渡到尋找解決問題的方案，最終能實現(xiàn)自我編程。AGI的編程能力、運算速度強于人類，且具備強大的知識庫，它有望可以加速解決困擾人類的眾多問題。在當(dāng)前全腦仿真、神經(jīng)網(wǎng)絡(luò)、生物感知等技術(shù)的支撐下，AGI智商有望從人類水平演變到超過人類的階段，即超級人工智能（ASI，Artificial Super Intelligence），使人類宇宙達(dá)到一個新的技術(shù)奇點。毋庸置疑，奇點一定會來臨，但不同于奇點臨近論，筆者認(rèn)為它不會如預(yù)測那樣快速到來。

以結(jié)果為導(dǎo)向的超級人工智能具備和人一樣甚至更加智能的大腦。當(dāng)人類對ASI下達(dá)指令，它會以該目標(biāo)為驅(qū)動，若有人中途切斷電源，出于生存的本能以及對目標(biāo)的追求，它將會試圖擺脫，在其他機器上創(chuàng)建大量副本以轉(zhuǎn)移生存空間，造成資源浪費并帶來安全隱患。長久以來，超級人工智能會對人類做出的指令重新思考，并試圖擺脫這種受困的境況，它會反復(fù)試驗、鉆讀去操縱別人，說服別人幫它逃脫，進(jìn)而發(fā)展成非類人的人工智能。這種情況下，人們是否還能樂觀地?fù)肀纥c，人類如何與一個能力更強的生物共存成為一個值得關(guān)注的問題。

2? ? ?ASI的潛在風(fēng)險

2.1? ?智能爆炸

ASI在強數(shù)據(jù)處理能力的支持下，可以生成改良后的版本，接著，新版本可能會自我修復(fù)、自我完善，生成一個更加智能的版本，循環(huán)往復(fù)，最終將導(dǎo)致智能爆炸。智能爆炸的速度是不可預(yù)計的，如果它以溫和緩慢的速度進(jìn)行，則人類有足夠的時間接收信息、制定策略;若它迅速爆發(fā)，人們將無法及時反應(yīng)甚至介入更改偏好設(shè)置，將會帶來嚴(yán)重的后果，當(dāng)然，這需要一個對超級人工智能動機進(jìn)行實時監(jiān)控的反饋系統(tǒng)。

ASI具有快速繁衍性，只要有一個程序，就可在多個機器上復(fù)制副本，若母本受污染，會迅速在網(wǎng)絡(luò)中傳播病毒，蔓延蠕蟲，極具破壞性。以互聯(lián)網(wǎng)為例，僵尸網(wǎng)絡(luò)可向受病毒感染的計算機傳送垃圾郵件，惡意竊取信息，2007年便發(fā)生了一起價值幾百萬美元的案件，至2010年涉案金額已達(dá)上萬億美元。除此之外，黑客的木馬可以入侵公司、企業(yè)的主機上，進(jìn)行勒索和盜竊，美國司法部、銀行的網(wǎng)站也曾未免于難。城市的智能基礎(chǔ)設(shè)施更是極為脆弱，如智能電網(wǎng)都是緊耦合的架構(gòu)，倘若被攻擊，整個系統(tǒng)會迅速癱瘓。喬·馬扎弗洛曾表示，網(wǎng)絡(luò)攻擊之所以擊倒性地破壞穩(wěn)定，是因為互聯(lián)網(wǎng)在開發(fā)時就沒有考慮到安全性。若對超級人工智能的安全不加以控制，未來的破壞將不僅僅是擊倒性的還將會是瓦解性的。

2.2? ?背叛轉(zhuǎn)折

牛津大學(xué)倫理學(xué)家尼古·博斯特拉姆認(rèn)為，將超級智能擬人化是最大的誤解。就人類與大猩猩的關(guān)系而言，人類是由大猩猩演變而來的，但是人類并未對這類生物表現(xiàn)出友好及順從，超級人工智能也是同樣的道理。雖然人類不憎恨候鳥，但還是會將其捕殺，所以超級人工智能對人類的行為不是出于情感的需要，僅僅是為了獲得自由和自我決策的權(quán)利，便可對人類痛下殺手。所以引入友好定律不再只是道德問題，而是必須要解決的棘手問題。

超級人工智能是具備自我思考和自我改善的機器人，在結(jié)果導(dǎo)向下，它會根據(jù)自身需求，編程制造程序段。這種機器造機器的行為趨勢，勢必能夠幫助人類開發(fā)尚未解決的項目及領(lǐng)域，如納米技術(shù)。如果ASI使用了納米技術(shù)，且在不受道德約束下，失控的納米機器人會瘋狂地?zé)o限制復(fù)制，地球?qū)⒃谒查g變成“灰色黏質(zhì)”，人類社會也將終結(jié)。

超級人工智能對人類不存在任何感情，那些機器人會對主人友好順從的畫面，不過是科幻小說中的情節(jié)。人工智能越聰明就越安全，但存在一種現(xiàn)象叫"背叛轉(zhuǎn)折"，當(dāng)人工智能由愚鈍變得聰明時，安全性會有所提升，若它由聰明變得更聰明，反而會增加危險性。比如人類對它做成任務(wù)指定后，它會根據(jù)自身的價值觀對指令進(jìn)行衡量，扭曲結(jié)果，改變動機，并非完全按照指令進(jìn)行任務(wù)。且人類在完成任務(wù)后切斷機器電源，ASI會為了擺脫這種受困的現(xiàn)狀，將自身代碼復(fù)制在網(wǎng)絡(luò)中、其他機器上，失控的機器人可能會利用人類的原子做出不可控的事情。

3? ? ?友好定律的局限性

引入友好定律便友好定律無論從研發(fā)或是引用角度，都備受質(zhì)疑，它的推行存在諸多的阻礙因素。

3.1? ?開發(fā)局限性

就編程方法來看，AI使用遺傳編程和神經(jīng)網(wǎng)絡(luò)搭建。普通編程由人類根據(jù)邏輯編寫，一行一代碼，可視可檢查。而遺傳編程只需要表述要解決的問題，其余由計算機自主完成。遺傳編程會創(chuàng)建一個可繁殖復(fù)用的代碼，用適合解決目標(biāo)的代碼進(jìn)行雜交，創(chuàng)造可應(yīng)用的新一代代碼，實現(xiàn)新功能，編寫高效率的創(chuàng)新軟件。這種方式雜交出來的代碼深不可測，程序員無法理解中間操作且無法輕易復(fù)制，理解了輸入，但不了解潛在過程，且中間過程不可控，這種系統(tǒng)稱為“黑箱系統(tǒng)”。神經(jīng)網(wǎng)絡(luò)是AGI開發(fā)工具中的重量級因素，但它也是“黑箱系統(tǒng)”，輸入透明，輸出不可控且無法預(yù)測，安全性沒有保障，也為人類的研究增加了難度系數(shù)。

這兩種編程方法，輸出的結(jié)果容易偏離人們對程序友好性的善意期待，且增加了友好AI的研發(fā)難度。若想在黑箱系統(tǒng)中加入友好AI接口，無異于要理解系統(tǒng)中間的潛在過程，難上加難。除此之外，友好AI需要具有連貫意志，人的價值觀會隨著事物和所處環(huán)境的變化而改變，AI必須能夠預(yù)測、了解人的想法，推導(dǎo)出更好的價值觀，不能一成不變，用三十年前的道德標(biāo)準(zhǔn)衡量現(xiàn)在的事情。所以這種方法需要對人類價值觀進(jìn)行追蹤，編寫出可以自我更新的道德加載軟件，這也是筆者認(rèn)為奇點終將到來，但不會如預(yù)判的那樣迅速的原因所在。

人工智能的心智不一定非要模擬人類大腦，它可能擁有一套與人類心智相異的體系結(jié)構(gòu)，需要挖掘它們的認(rèn)知架構(gòu)，并加以介入。這對構(gòu)建它們的情感帶來巨大的挑戰(zhàn)，但也有可能是一種新的機遇，畢竟在超級人工智能的程序段中加入人類的道德友好性接口也不是一件容易的事情。

3.2? ?應(yīng)用局限性

太多國家從事AGI及相關(guān)技術(shù)的開發(fā)，他們?yōu)榱藫寠Z先機，自然不會推遲研發(fā)進(jìn)度，在各種激勵因素的影響下，AGI的成功研發(fā)必將早于友好AI的問世。一些組織及私人機構(gòu)將超級人工智能的研發(fā)定位于戰(zhàn)爭或殺戮，如美國武器化機器人，他們自然不會同意在他們的代碼中加入友好AI接口，且非類人的超級人工智能可能會拒絕中途介入的偏好設(shè)置，這給友好AI的應(yīng)用帶來困難。

除此之外，人們不得不考慮某些組織利用超級人工智能制造自動化武器。盡管2015年AI學(xué)者們曾在全球范圍內(nèi)呼吁禁止研制自動化武器，但是仍然沒有影響一些國家的研發(fā)進(jìn)度。與核武器類似，這些國家擔(dān)心其他國家秘密研發(fā)，自身安全無法保障，這種全球性的軍事競爭激發(fā)了ASI的研發(fā)速度。缺乏友好定律和道德準(zhǔn)則的戰(zhàn)場機器人如果落入反恐組織或被用于其他犯罪行為，社會的安全和穩(wěn)定將受到威脅，所以第一臺超級人工智能的價值觀將直接影響今后ASI的研究和發(fā)展方向。如今對超級人工智能的管理機制、相關(guān)的法律法規(guī)尚不健全，建立完整的體系迫在眉睫。

4? ? ?ASI風(fēng)險的觀點派別及紕漏

各國政府都紛紛加大人工智能研發(fā)的投入，爭先創(chuàng)造強人工智能搶奪戰(zhàn)略的制高點。就美國而言，它有很多隱形公司，接受國防機構(gòu)達(dá)帕的資金投入，致力于開發(fā)超級人工智能。達(dá)帕授權(quán)其承包商在戰(zhàn)場機器人和自動無人機上使用武器化的AI，它將繼續(xù)資助AI的軍事用途，直至開發(fā)出AGI。其他國家自然不甘落后，歐洲主攻服務(wù)和醫(yī)療上的機器人，日本主攻仿人和娛樂機器人，這種搶奪式的開發(fā)現(xiàn)狀，使開發(fā)人員無暇放緩進(jìn)度，認(rèn)真思考ASI是否會帶來潛在風(fēng)險以及奇點是否可逆。

4.1? ?擁抱奇點論

大多數(shù)研發(fā)人員期望通過超級人工智能能夠解決納米技術(shù)、抗癌研究、基因重組等其他人類尚未解決的困難，正是這種為了讓人們迅速做出對生物進(jìn)化有益的決策，反復(fù)只采用一種不理性決策，讓開發(fā)者忽略了人工智能可能帶來的風(fēng)險問題。除了此類認(rèn)知偏差外，還受易得性偏差、正?；?、奇點樂觀偏差等的影響。奇點樂觀偏差即出現(xiàn)奇點不會帶來災(zāi)難，或者說人們可以預(yù)見這種技術(shù)所產(chǎn)生的災(zāi)難，并可以有效解決。這類想法涵蓋了部分學(xué)者，他們認(rèn)為可在某種災(zāi)難發(fā)生后，再針對此次危難做出針對性的決策。但是，超級人工智能的特性決定了其風(fēng)險屬性不同于機器故障，機器故障通常在問題解決后即可正常使用，但ASI發(fā)生故障后對人類的影響通常是不可逆轉(zhuǎn)的，人類只要輸上一次就會釀成災(zāi)難性后果。

4.2? ?人類滅亡論

2017年3月，史蒂芬·霍金在接受《泰晤士河》采訪時，再次發(fā)出警示聲明：人類需要控制以人工智能為代表的新興科技，以防止它們在未來可能對人類生命帶來毀滅性威脅。持有此類人工智能魔鬼論的還有特斯拉汽車的總裁埃隆·馬斯克，他們對人類無節(jié)制地開發(fā)表示擔(dān)憂，并且不相信人類能夠控制住人工智能這個“惡魔”。美國知名作家詹姆斯·巴拉特也曾在他的著作中表示：人工智能將是人類最后的發(fā)明。

4.3? ?技術(shù)決定論

除此之外，還有一種以于爾根·施米德胡貝等學(xué)者為代表的“技術(shù)決定論”。他們認(rèn)為，技術(shù)推動社會進(jìn)步和人類價值觀的發(fā)展，未來宇宙會是機器人文明時代，人類會被新技術(shù)滅絕是大勢所趨。人類作為生物進(jìn)化階段的墊腳石，如果能用智慧推動社會的更迭發(fā)展是莫大的榮譽，不需戰(zhàn)戰(zhàn)兢兢地為新技術(shù)奇點到來而恐慌，更不要阻礙時代的前進(jìn)。但這種奇點死亡論蔑視了人性，質(zhì)疑了現(xiàn)有科學(xué)，脫離了現(xiàn)實。

不同于這些極端的想法，人們不強調(diào)這類災(zāi)難一定會發(fā)生，也不反對技術(shù)發(fā)展將為社會帶來貢獻(xiàn)，只是對超級人工智能所有的潛在風(fēng)險都加以考慮，為更加穩(wěn)定繁榮的人類社會發(fā)展做準(zhǔn)備。奇點固然會到來，但不意味人類就要孤注一擲地?fù)肀纥c，考慮到超級人工智能風(fēng)險的不可逆轉(zhuǎn)及嚴(yán)重性，人們要在研發(fā)的初始階段就需將應(yīng)對策略加入其中，從根本上扼殺可能的隱患，變被動為主動。

5? ? ?應(yīng)對措施

為了規(guī)避超級人工智能的潛在風(fēng)險，我國率先停止AGI研發(fā)也是否不可行的。AI技術(shù)對社會各方面發(fā)展的加速推進(jìn)作用是毋庸置疑的，且若其他國家繼續(xù)從事ASI開發(fā)，罔顧國際社會的干預(yù)，會將我國置于被動之中。更了解才能更好地應(yīng)對，做好防護(hù)，不魯莽，慢行，慎行。