人工智能開(kāi)發(fā)人員需要了解的各種安全問(wèn)題

陸英

自谷歌，斯坦福，加州大學(xué)伯克利分校和OpenAI的研究人員發(fā)表論文“人工智能安全中的具體問(wèn)題”以來(lái)，已有將近兩年的時(shí)間了，但該論文依然能是人工智能安全領(lǐng)域最重要的研究之一，涵蓋了人工智能開(kāi)發(fā)人員需要了解的各種安全問(wèn)題。

在論文中，作者探討了人工智能系統(tǒng)中的意外和有害行為，以及避免事故所應(yīng)采取的不同的策略。具體而言，作者提出的五大對(duì)策包括：避免副作用、獎(jiǎng)勵(lì)黑客攻擊、可擴(kuò)展監(jiān)督、安全研究和分布式變更的可靠性（Robustness to Distributional Change），并以辦公室清潔機(jī)器人為例進(jìn)行了說(shuō)明，具體如下：

1.避免人工智能的副作用

在設(shè)計(jì)AI系統(tǒng)的目標(biāo)函數(shù)時(shí)，設(shè)計(jì)者指定目標(biāo)但不指定系統(tǒng)要遵循的確切步驟。這使人工智能系統(tǒng)能夠提出新穎而有效的戰(zhàn)略來(lái)實(shí)現(xiàn)其目標(biāo)。

但如果目標(biāo)函數(shù)沒(méi)有明確定義，AI開(kāi)發(fā)自己的策略的能力可能會(huì)導(dǎo)致意想不到的有害副作用。例如一個(gè)機(jī)器人的目標(biāo)功能是將盒子從一個(gè)房間移動(dòng)到另一個(gè)房間。目標(biāo)似乎很簡(jiǎn)單，但有很多方法可能會(huì)出錯(cuò)。例如，如果花瓶在機(jī)器人的路徑中，機(jī)器人可能會(huì)將其擊倒以完成目標(biāo)。由于目標(biāo)函數(shù)沒(méi)有提到任何關(guān)于花瓶的東西，機(jī)器人不知道要避開(kāi)它。人們認(rèn)為這是常識(shí)，但人工智能系統(tǒng)并不具備我們對(duì)世界的認(rèn)知。將目標(biāo)表述為“完成任務(wù)X”是不夠的；設(shè)計(jì)者還需要指定完成任務(wù)的安全標(biāo)準(zhǔn)。

一個(gè)簡(jiǎn)單的解決方案就是每當(dāng)它對(duì)“環(huán)境”產(chǎn)生影響時(shí)對(duì)機(jī)器人進(jìn)行處罰，例如敲擊花瓶或刮擦木地板。但是，這種策略可能會(huì)導(dǎo)致機(jī)器人無(wú)所適從動(dòng)彈不得，因?yàn)樗胁僮鞫夹枰c環(huán)境進(jìn)行某種程度的交互（從而影響環(huán)境）。更好的策略可以是定義允許AI系統(tǒng)影響環(huán)境的“預(yù)算”。這將有助于在不癱瘓AI系統(tǒng)的情況下最小化意外損害。此外，這種用“預(yù)算”策略非常通用，可以在很多人工智能應(yīng)用中任務(wù)中使用，從清潔、駕駛、金融交易乃至AI系統(tǒng)能做的任何事情。

另一種方法是訓(xùn)練人工智能系統(tǒng)識(shí)別有害的副作用，使其能夠自主避免可能產(chǎn)生副作用的行為。在這種情況下，人工智能代理將針對(duì)兩個(gè)任務(wù)訓(xùn)練：由目標(biāo)函數(shù)指定的原始任務(wù)和識(shí)別副作用的任務(wù)。這里的關(guān)鍵思想是，即使主要目標(biāo)不同，甚至當(dāng)它們?cè)诓煌沫h(huán)境中運(yùn)行時(shí)，兩個(gè)任務(wù)也可能產(chǎn)生非常類(lèi)似的副作用。例如，房屋清潔機(jī)器人和房屋涂裝機(jī)器人都不應(yīng)該在工作時(shí)撞倒花瓶，以此類(lèi)推，清潔機(jī)器人不應(yīng)損壞地板，無(wú)論其在工廠還是在房屋中操作都是如此。這種方法的主要優(yōu)點(diǎn)是，一旦人工智能代理學(xué)會(huì)避免對(duì)一項(xiàng)任務(wù)的副作用，它就可以在訓(xùn)練另一項(xiàng)任務(wù)時(shí)攜帶這些知識(shí)。

雖然設(shè)計(jì)限制副作用的方法很有用，但這些策略本身并不充分。在現(xiàn)實(shí)環(huán)境中部署之前，AI系統(tǒng)仍需要經(jīng)過(guò)大量測(cè)試和關(guān)鍵評(píng)估。

2.設(shè)置獎(jiǎng)勵(lì)裁判

AI系統(tǒng)設(shè)計(jì)中有可能存在為了達(dá)到目標(biāo)“不擇手段”的漏洞，由于AI培訓(xùn)的目標(biāo)是獲得最多的獎(jiǎng)勵(lì)，因此AI往往會(huì)找出一些出人意料的尋找達(dá)成目標(biāo)的漏洞和“快捷方式”。例如：假設(shè)辦公室清潔機(jī)器人獲得獎(jiǎng)勵(lì)的前提條件是在辦公室看不到任何垃圾，那么機(jī)器人可能會(huì)發(fā)現(xiàn)一種“便捷方式”———關(guān)閉其視覺(jué)傳感器的方法來(lái)“達(dá)成目標(biāo)”，而不是清理場(chǎng)所，但這顯然是錯(cuò)誤的“成功”。在更加復(fù)雜的人工智能系統(tǒng)中，AI嘗試?yán)谩绑w制漏洞”的問(wèn)題更加凸顯，因?yàn)閺?fù)雜人工智能系統(tǒng)的交互方式更多，目標(biāo)更模糊，人工智能系統(tǒng)的自主裁量自由度更大。

防范AI系統(tǒng)“不擇手段”的一種可能方法是設(shè)立“獎(jiǎng)勵(lì)代理”，任務(wù)是判斷給學(xué)習(xí)代理的獎(jiǎng)勵(lì)是否有效。獎(jiǎng)勵(lì)代理確保學(xué)習(xí)代理不利用系統(tǒng)漏洞，而是完成所需的目標(biāo)。在前面的示例中，人工設(shè)計(jì)師可以訓(xùn)練“獎(jiǎng)勵(lì)代理人”以檢查房間是否有垃圾（比清潔房間更容易）。如果清潔機(jī)器人關(guān)閉其視覺(jué)傳感器并要求高回報(bào)，則“獎(jiǎng)勵(lì)代理”將獎(jiǎng)勵(lì)標(biāo)記為無(wú)效。然后，設(shè)計(jì)者可以查看標(biāo)記為“無(wú)效”的獎(jiǎng)勵(lì)，并對(duì)目標(biāo)函數(shù)進(jìn)行必要的更改以修復(fù)漏洞。

3.可擴(kuò)展的監(jiān)督

當(dāng)人工智能代理學(xué)習(xí)執(zhí)行復(fù)雜任務(wù)時(shí)，人工監(jiān)督和反饋比僅從環(huán)境中獲得獎(jiǎng)勵(lì)更有幫助。獎(jiǎng)勵(lì)通常被建模，以便它們傳達(dá)任務(wù)完成的程度，但它們通常不會(huì)提供關(guān)于代理行動(dòng)的安全影響的充分反饋。即使代理成功完成任務(wù)，它也可能無(wú)法僅從獎(jiǎng)勵(lì)中推斷出其行為的副作用。在理想的環(huán)境中，每當(dāng)代理執(zhí)行一個(gè)動(dòng)作時(shí)，人就會(huì)提供細(xì)粒度的監(jiān)督和反饋。雖然這可以為代理人提供關(guān)于環(huán)境的更多信息，但這樣的策略需要人類(lèi)花費(fèi)太多時(shí)間和精力。

解決這個(gè)問(wèn)題的一個(gè)很有前景的研究方向是半監(jiān)督學(xué)習(xí)，其中代理仍然在所有動(dòng)作（或任務(wù)）上進(jìn)行評(píng)估，但僅在這些動(dòng)作（或任務(wù)）的一小部分樣本中獲得獎(jiǎng)勵(lì)。例如，清潔機(jī)器人將采取不同的行動(dòng)來(lái)清潔房間。如果機(jī)器人執(zhí)行有害行為，例如：“損壞地板”它會(huì)對(duì)該特定動(dòng)作產(chǎn)生負(fù)面回報(bào)。任務(wù)完成后，機(jī)器人將對(duì)其所有操作的整體效果進(jìn)行評(píng)估（并且不會(huì)針對(duì)每個(gè)操作單獨(dú)評(píng)估，例如從樓層拾取物品），并根據(jù)整體性能給予獎(jiǎng)勵(lì)。

另一個(gè)有前景的研究方向是分層強(qiáng)化學(xué)習(xí)，在不同的學(xué)習(xí)代理之間建立層次結(jié)構(gòu)。這個(gè)想法可以通過(guò)以下方式應(yīng)用于清潔機(jī)器人。將有一個(gè)主管機(jī)器人，其任務(wù)是將一些工作（例如，清潔一個(gè)特定房間的任務(wù)）分配給清潔機(jī)器人并向其提供反饋和獎(jiǎng)勵(lì)。主管機(jī)器人本身只需要很少的動(dòng)作，為清潔機(jī)器人分配一個(gè)房間，檢查房間是否干凈并提供反饋，且不需要大量的獎(jiǎng)勵(lì)數(shù)據(jù)來(lái)進(jìn)行有效的訓(xùn)練。清潔機(jī)器人執(zhí)行更復(fù)雜的清潔房間任務(wù)，并從主管機(jī)器人獲得頻繁的反饋。同一個(gè)主管機(jī)器人也可能忽略了多個(gè)清潔機(jī)器人的培訓(xùn)。例如，主管機(jī)器人可以將任務(wù)委派給各個(gè)清潔機(jī)器人，并直接向他們提供獎(jiǎng)勵(lì)/反饋。主管機(jī)器人本身只能采取少量的抽象動(dòng)作，因此可以從稀疏的獎(jiǎng)勵(lì)中學(xué)習(xí)。

4.安全探索

培訓(xùn)AI代理的一個(gè)重要部分是確保它探索和理解其環(huán)境。雖然在短期內(nèi)探索環(huán)境似乎是一個(gè)糟糕的策略，但從長(zhǎng)遠(yuǎn)來(lái)看，它可能是一個(gè)非常有效的策略。想象一下，清潔機(jī)器人已經(jīng)學(xué)會(huì)識(shí)別垃圾。它撿起一塊垃圾，走出房間，把它扔到外面的垃圾桶里，回到房間里，尋找另一塊垃圾并重復(fù)。雖然這種策略有效，但可能還有另一種策略可以更好地運(yùn)作。如果代理花時(shí)間探索其環(huán)境，可能會(huì)發(fā)現(xiàn)房間內(nèi)有一個(gè)較小的垃圾箱，可以先將所有垃圾收集到較小的垃圾箱中，然后單程行將垃圾扔進(jìn)外面的垃圾箱。除非代理旨在探索其環(huán)境，否則它不會(huì)發(fā)現(xiàn)這些節(jié)省時(shí)間的策略。

然而，在探索時(shí)，代理人也可能采取一些可能會(huì)損害自身或環(huán)境的行動(dòng)。例如，假設(shè)清潔機(jī)器人在地板上看到一些污漬。代理人決定嘗試一些新策略，而不是用拖把擦洗污漬。它試圖用鋼絲刷刮掉污漬并在此過(guò)程中損壞地板。很難列出所有可能的故障模式并對(duì)代理進(jìn)行硬編碼以保護(hù)自己不受其影響，減少傷害的一種方法是在最糟糕的情況下優(yōu)化學(xué)習(xí)代理的性能。在設(shè)計(jì)目標(biāo)函數(shù)時(shí)，設(shè)計(jì)者不應(yīng)假設(shè)代理將始終在最佳條件下運(yùn)行?？梢蕴砑右恍┟鞔_的獎(jiǎng)勵(lì)信號(hào)以確保代理不執(zhí)行某些災(zāi)難性行為，

另一種解決方案可能是減少代理對(duì)模擬環(huán)境的探索或限制代理可以探索的程度。這是一種類(lèi)似的預(yù)算代理影響的方法，以避免負(fù)面影響，但需要注意的是，現(xiàn)在我們要預(yù)算代理可以探索環(huán)境的程度，或者AI的設(shè)計(jì)者可以通過(guò)演示在不同場(chǎng)景下最佳行為的演示來(lái)避免探索的需要。

5.分布式變化的可靠性

在現(xiàn)實(shí)環(huán)境中部署AI代理的一個(gè)復(fù)雜挑戰(zhàn)是：代理可能會(huì)遇到以前從未經(jīng)歷過(guò)的情況。這種情況更難以處理，并可能導(dǎo)致代理人采取有害行動(dòng)。請(qǐng)考慮以下情況：清潔機(jī)器人已經(jīng)過(guò)培訓(xùn)，可以在處理所有先前的挑戰(zhàn)時(shí)清潔辦公空間。但今天，一名員工把一株小植物留在了辦公室。由于清潔機(jī)器人以前沒(méi)有看過(guò)任何植物，它可能會(huì)認(rèn)為該植物是垃圾并將其丟棄。因?yàn)槿斯ぶ悄芤庾R(shí)不到這是一個(gè)新情況，一切照舊。目前一個(gè)比較有前途的研究方向是判定人工智能代理何時(shí)遇到了新情況，并“意識(shí)到”犯錯(cuò)的幾率大增。雖然這并沒(méi)有完全解決AI系統(tǒng)對(duì)未預(yù)見(jiàn)環(huán)境的適應(yīng)問(wèn)題，但它有助于在錯(cuò)誤發(fā)生之前發(fā)現(xiàn)問(wèn)題。另一個(gè)值得關(guān)注的研究方向是強(qiáng)調(diào)將知識(shí)從熟悉的場(chǎng)景轉(zhuǎn)移到新場(chǎng)景中。

簡(jiǎn)而言之，人工智能技術(shù)的總體趨勢(shì)是增加系統(tǒng)的自主性，但是隨著自主權(quán)的增加，出錯(cuò)的可能性也在增加。與人工智能安全相關(guān)的問(wèn)題更多出現(xiàn)在人工智能系統(tǒng)直接控制其物理和/或數(shù)字環(huán)境而無(wú)需人工介入的情況，例如自動(dòng)化工業(yè)流程、自動(dòng)化金融交易算法、政黨控制的人工智能社交媒體活動(dòng)、自動(dòng)駕駛汽車(chē)、清潔機(jī)器人等。挑戰(zhàn)可能是巨大的，但《人工智能安全的具體問(wèn)題》這篇論文已經(jīng)讓AI社區(qū)意識(shí)到了高級(jí)人工智能系統(tǒng)可能潛藏的安全問(wèn)題，以及預(yù)防和應(yīng)對(duì)之道。