AI偵探：探索“黑匣子”秘密

陸 默/編譯

AI偵探：探索“黑匣子”秘密

陸 默/編譯

研究人員發(fā)明的神經網絡，除了可以填補照片中留下的空白，還可以識別人工智能中的缺陷

● 隨著神經網絡在科學領域內的強力推進，研究人員開始回過頭來探索其“黑匣子”內的秘密。

詹森·尤辛斯基（Jason Yosinski）坐在美國加州舊金山優(yōu)步（Uber）總部的一個小型玻璃辦公室里，思索著一個問題：人工智能的大腦。作為優(yōu)步公司的一名研究科學家，尤辛斯基正在為在他筆記本電腦上運行的人工智能做“腦外科手術”。許多人工智能將很快改變人類的現代生活，例如優(yōu)步的無人駕駛汽車。尤辛斯基研究的是一個深度神經網絡，他的研究靈感來自大腦的結構。如同大腦一般，這個程序很難從外部理解：它就像一個黑匣子。

他在訓練中使用大量做了標記的圖像，從而讓這種特殊的人工智能識別斑馬線、消防車和汽車安全帶等隨機物體。但它能認出徘徊在攝像頭前的尤辛斯基和記者嗎？尤辛斯基將AI的一個獨立計算節(jié)點——可以說是它的神經元——放大，想要看看會激發(fā)什么反應。兩個幽靈般的白色橢圓形物體浮動在屏幕上，這個神經元似乎已經學會了檢測人的面部輪廓?！八鼘δ阄业哪樣辛朔磻?，也會對不同大小、不同膚色的臉做出響應?！彼f。

沒有人訓練這個AI神經網絡識別面孔，在訓練標注的圖像中也沒有人類的面孔。但它確實學會了辨別人臉，也許是通過識別與人臉一起出現的東西，如領帶和牛仔帽。這個網絡太復雜，以至于人類無法理解它做出的決定。尤辛斯基探測到的只是其中的一小部分，但仍然無法看透它的全部。他說：“我們建造了令人驚嘆的模型，但我們卻無法完全了解它們，而且這個差距將年復一年地變得更大?！?/p>

這個被稱為深度神經網絡或深度學習網絡的領域，似乎每個月都在向其他學科領域擴展?jié)B透，它們可以預測合成有機分子的最佳方法，可以檢測與自閉癥風險相關的基因，甚至可以改變科學本身的進行方式。AI非常成功，幾乎無往不勝。但是它卻給科學家?guī)砹艘粋€糾結萬分的問題：為什么？這個模型為什么會這樣？

這個需要解釋的問題正在刺激著學術界和產業(yè)界的新一代研究人員對AI的黑匣子進行深入探索。正如在顯微鏡下可以放大顯示肉眼看不見的細胞一樣，研究人員正在制作讓我們能夠深入了解神經網絡如何做決定的新工具。有些工具無須深入即可對人工智能進行探測；有些替代算法可與神經網絡相媲美，但卻具有更高的透明度；還有一些則通過深度學習的方式進入黑匣子內部。綜合起來，它們構成了一門新的學科，尤辛斯基稱之為“人工智能神經科學”。

探索黑匣子秘密的緊迫性不僅僅來自科學。根據歐盟發(fā)布的一項指令，那些配置大量對公眾產生影響的算法的公司，必須在明年之前對他們所創(chuàng)建模型的內部邏輯做出一些“解釋”。而美國國防高級研究計劃署則將7 000萬美元投入了“可解釋的人工智能”的新計劃，試圖對無人機和智能情報挖掘作業(yè)的深度學習做出解釋。打開AI黑匣子的驅動力同樣來自硅谷本身，美國加州山景城谷歌的機器學習研究員馬婭·古普塔（Maya Gupta）說道。她于2012加入谷歌時曾向AI工程師詢問過一些問題，她發(fā)現準確性不是唯一的問題，工程師們告訴她，“我們不能確定它在干什么，我們也不知道是否可以信任它?！?/p>

打開黑匣子：深度學習后的寬松式建模刺激了科學界的創(chuàng)新，但是這些模型的機制仍然神秘：它們是一批黑匣子?？茖W家們正在開發(fā)一些工具來進入機器的思維做深入探查

里奇·卡魯阿納（Rich Caruana）是微軟研究所的一名計算機科學家，他親身體驗到了這種信任缺失。20世紀90年代，作為卡內基梅隆大學的一名研究生，他加入了一個機器學習指導肺炎患者治療的研究團隊。一般來說，讓病人在家中用醫(yī)療儀器進行治療是最好的，這樣他們就可以避免在醫(yī)院里感染其他傳染性疾病。但有些病人，尤其是有哮喘等并發(fā)癥的患者，應立即入院治療?？敯⒓{將神經網絡應用于78家醫(yī)院提供的患者癥狀和愈后的一個數據集，運行情況似乎良好。但一個發(fā)現令他不安，用同樣的數據訓練的一個簡單透明的模式，提出了將哮喘病人送回家治療的建議，這表明數據中存在一些缺陷，而且他也很難知道他的神經網絡是否也從這些有缺陷的數據中吸取了同樣不好的教訓?！皩ι窠浘W絡的恐懼是完全有道理的，”他說，“真正讓我害怕的是神經網絡從錯誤的東西中學到了什么？”

今天的神經網遠比之前所使用的更為強大，但是它們本質上是相同的。待輸入的是一系列龐大而雜亂的數據，比如數百萬張狗的照片。這些數據被輸入進一個有著十幾個甚至更多計算層次的網絡，類似于神經元的連接對不同特質的數據做出響應而被“激活”，每一層都會對漸次抽象的特征做出反應，然后在最后一層做出最終判斷，例如，將小獵犬與達克斯獵狗區(qū)分開來。

一開始系統(tǒng)也許會出錯，但每一個結果都會與狗的標記圖片進行比較，這一過程被稱為反向傳播，結果會通過網絡反向發(fā)送，使其重新定義每個神經元的觸發(fā)器，這個過程將重復數百萬次，直到整個網絡學會如何在不同的犬類品種之間辨別出細微的區(qū)別。正是這種神秘而靈活的力量令它們成為黑匣子。

馬爾科·里貝羅（Marco Ribeiro）是西雅圖華盛頓大學的一名研究生，他利用一種叫作“反事實分析探針”的人工智能神經科學工具來理解黑匣子。他通過改變向AI輸入的信息，包括文字、圖像或其他任何東西，看哪些變化會對輸出產生影響以及如何產生影響。例如，里貝羅的程序LIME先將影評標記為正面意義，然后通過刪除或替換某些字詞令其意義產生微妙變化，變化后的內容再被輸入黑匣子，看它是否仍然被認為具有正面意義。在成千上萬次測試的基礎上，LIME可以識別這些詞語、圖像、分子結構的某個部分或其他任何數據，這在人工智能最初的判斷中至關重要。這些測試顯示，“可怕”一詞在淘金熱中至關重要，而“丹尼爾·戴·劉易斯（Daniel Day Lewis，廣受影迷愛戴的奧斯卡影帝）”一詞與具有正面意義的評論相關等。盡管LIME能診斷出個別的例子，但這個結果對洞察整個神經網絡的黑匣子幾乎沒有什么意義。

像LIME這樣新的反事實方法似乎每個月都在出現，但谷歌計算機科學家穆庫德·森達拉拉安（Mukund Sundararajan）發(fā)明了另一種探測方法，它不需要對網絡進行數千次測試，如果你想理解很多的決策，而不只是寥寥數個，那它一定會帶來額外的好處。森達拉拉安和他的團隊的輸入變化不是隨機的，而是引入一個模糊的參考，如用一幅純黑的圖像或歸零的數組來代替文本，一步一步地將其推向被測試的實例轉化。他們通過觀察網絡運行的每一步，從其軌跡推斷出預測的重要特征。森達拉拉安在這一比較過程中，找出了辨識他所在谷歌會議室的一些關鍵特征：杯子、桌子、椅子和電腦構成的標準組合?！拔铱梢越o出無數的理由?！钡偃缒懵{暗燈光，“在燈光變得很暗時，只有最重要的原因才會凸顯出來?！睆目瞻讌⒖奸_始的轉換，可以讓森達拉拉安捕捉到更多神經網絡的決策，但更深層次懸而未決的問題依然存在。身為父親的森達拉拉安很熟悉這樣一種心態(tài)，“我有一個4歲的孩子，他讓我不斷想起一個無限回歸的問題：‘為什么？’”

古普塔則采取了一種不同的策略應對黑匣子：避開它們。幾年前，古普塔兼職復雜物理游戲的設計師，設計一個名為“玻璃盒子”的游戲項目。她的目標是通過操控可預測性來納入神經網絡進而對其進行解釋，指導原則是一種單調的變量關系，在其他變數相等的情況下，一個變量的增加直接導致另一個變量的增加，如房子的面積和價格之間的關系。

古普塔將那些單調關系嵌入到一個被稱為插值查詢表的龐大數據庫中，它們大體上就像中學三角函數后所附的表格，在那里你可以查找到0.5的正弦值。但她的表格不是一個維度上的幾十個條目，而是多個維度上的數百萬個條目。她把她的表格連接到神經網絡中，有效地增加了一個額外的可預測的計算層，她說，這最終將使神經網絡更加可控。

與此同時，卡魯阿納對那次肺炎調查的教訓一直耿耿于懷。為建立一個在準確性上與深度學習相匹配，同時又能避免不透明性的模型，他將目光轉向了一個與機器學習并非總有交集的學科領域：統(tǒng)計學。

20世紀80年代，統(tǒng)計學家們開創(chuàng)了一種稱為廣義可加模型（GAM）的技術，這一方法建立在線性回歸的基礎上，可在一組數據中進行線性回歸。但GAMs也可以通過多重操作讓數據與回歸線性擬合以處理一些棘手的關系。例如，在對一組數字進行開方計算的同時，求取另一組數據的對數值?？敯⒓{利用機器學習升級了這一過程，升級版的GAM作為一種更強大的模式識別模型加以利用?！傲钗覀凅@訝的是，這種方法在很多問題的解決上都擁有很高的準確度?！备匾氖牵@中間的每個操作都是透明的。

雖然卡魯阿納的GAMs在處理某些凌亂數據時效果不如人工智能，比如神經網絡極其擅長的圖像和聲音等，但是對于任何適合以行和列排列的電子表格的數據，比如醫(yī)院記錄，該模型都運行良好。例如，卡魯阿納又回到了他原來的那個肺炎病歷檔案上，用他的GAMs重新分析這些記錄，他就可以弄明白為什么人工智能會從錄入數據中吸取到錯誤的教訓。醫(yī)院通常會將哮喘患者和肺炎一起歸于重癥護理這一類，以改善和提高對這類患者的護理服務。但如果患者病情迅速好轉，人工智能會建議將病人送回家進行家庭護理治療（對于同時患有胸痛和心臟病的肺炎病人，也會產生相同的樂觀誤差）。

卡魯阿納已經開始向加利福尼亞的一些醫(yī)院推介GAM，如洛杉磯兒童醫(yī)院，這家醫(yī)院里有大約十幾個醫(yī)生對他的模型進行了評估。他們花了很大一部分時間來討論GAM所說的肺炎患者的入院情況，并立即得知GAM的決策?！澳憧赡軐︶t(yī)療保健知之不多，”一位醫(yī)生說，“但你的模型真的知道?！?/p>

有時候，你必須接受黑匣子的“暗箱操作”，這是研究人員追求可解釋性道路的第3條理論。他們說，解釋深層次學習的方法是更多的深層次學習，而不是探索神經網絡或回避神經網絡。

像許多AI程序員一樣，亞特蘭大喬治亞理工學院的娛樂智能研究室主任馬克·雷德爾（Mark Riedl）轉而利用20世紀80年代的游戲視頻來測試他新創(chuàng)作的作品。青蛙過街是他最喜歡的題材之一，游戲玩家引導青蛙通過車水馬龍的車道回到池塘目的地。訓練神經網絡玩專家級的“青蛙過街”游戲是很容易的，但要解釋人工智能是如何做到的通常更難。

雷德爾讓人類游戲玩家玩游戲，并實時大聲描述他們的游戲策略，而不是對神經網絡進行探究。雷德爾在游戲代碼中還記錄了那些玩家在青蛙過街時的評論，比如，“哦，有車向我這面開過來了，我得跳開了?！备鶕婕业膶崟r描述和游戲中的背景評述這兩種語言，雷德爾訓練第2個神經網絡將代碼轉換為英語，然后把這個轉譯網絡接入網絡游戲中，產生一個綜合性的人工智能，這個固定在屏幕一邊的人工智能甚至會發(fā)出表示沮喪的聲音，它會詛咒和抱怨，“呀，太辛苦了?！?/p>

雷德爾稱他的方法為“合理化”，他的目的是要讓日常用戶更多地了解這些幫助人們處理日常事務或代替人類駕駛汽車的機器人。“如果我們不能質疑它們?yōu)槭裁催@么做，并得到一個合理的回答，那人們很可能會將它們束之高閣?！崩椎聽栒f。但無論這些解釋聽起來多么合情合理，都會導致人們提出另一個問題，他補充道，“在人類失去信任之前，合理化會錯得多么離譜？”

返回優(yōu)步，尤辛斯基被趕出了自己的玻璃小辦公室。優(yōu)步的這些小會議室需求旺盛，而且沒有價格波動來稀釋人群。他離開了多哈，去往加拿大蒙特利爾，無意識的模式識別過程引導他穿過辦公室迷宮，直到他迷路為止。他的圖像分類器也仍然是一個迷宮，和雷德爾一樣，尤辛斯基也利用第2個人工智能系統(tǒng)幫助他理解第1個系統(tǒng)。首先，尤辛斯基重新調整了分類器來生成圖像，而不是對圖片進行標注。然后，他和他的同事給它進行靜態(tài)著色，并通過它發(fā)出一個請求信號，例如“更多火山”。他們假設，神經網絡最終會將這種聲音信號的想法結合進火山圖片中，在某種程度上，它是火山，從人類的眼中看來，它只是灰色而平淡無奇的一團東西，但AI和人們所看到的是不同的。

接下來，研究團隊在圖像上發(fā)布了生成性對抗網絡（GAN），這樣的AI包含兩個神經網絡。從圖像的訓練數據集中，“生成器”學習有關圖像制作的規(guī)則，并可生成合成圖像。第2個“對抗網絡”網絡檢測圖像結果，判斷圖片是真是假，提示生成器再試一次。這個反復過程最終會生成包含人眼可識別特征的粗略圖像。

尤辛斯基和他的研究生安·阮（Anh Nguyen）將GAN與他們原始分類器的網絡內層連接起來。這一次，當神經網絡被告知要創(chuàng)造 “更多火山”時，GAN采用了分類器學到過的灰色軟泥，并憑借自己對圖片結構的認識，將它解碼結合進一系列人工合成的逼真火山。有些是休眠火山，有些是正在爆發(fā)的火山，有些是夜色下的火山，有些是日光下的火山，還有一些火山可能有缺陷并不完美，但這可能正是分類器知識差距的提示線索。

他們的GAN現在可以綁定到任何使用圖像的神經網絡上，尤辛斯基將它用于為隨機圖像編寫圖片標題的神經網絡以發(fā)現存在的問題，他將神經網絡的設定過程逆轉過來，讓其根據隨機輸入的字幕創(chuàng)建合成圖像。在將神經網絡與GAN連接后他發(fā)現了一個驚人的遺漏，提示想象“鳥兒坐在樹枝上”，神經網絡使用GAN傳過來的指令生成了一棵樹和樹枝，但沒有鳥。為什么會這樣？將改變后的圖像轉化為原始字幕模型后，他意識到，訓練它的字幕作者所描述的樹和樹枝的圖片中都附帶有鳥，人工智能對于鳥已經有了一個錯誤的認知?！斑@樣的暗示對于AI神經網絡將是一個重要的方向。”尤辛斯基說道。這是一個開始，一張空白地圖上的圖景正在漸漸形成。

一天結束了，但尤辛斯基的工作似乎才剛剛開始。又有人敲門，尤辛斯基和他的人工智能又被趕出玻璃小隔間會議室。重新回到優(yōu)步的城市迷宮、電腦和人類中。這次他不會再迷路。他走過食物吧，繞過舒適的沙發(fā)，穿過出口來到電梯。這是一種很簡單的模式，他很快就學會了。

[資料來源：Science][責任編輯：松 石]