編譯 胡德良
深度學(xué)習(xí)網(wǎng)絡(luò)中一個被忽視的特征可能會成為人工智能領(lǐng)域的重大突破口。
小時候,初步進(jìn)入數(shù)學(xué)世界時,我們學(xué)會了一個蘋果加另一個蘋果等于兩個蘋果,我們還學(xué)會了為真實事物計數(shù)。直到后來,我們才接觸到一個奇怪的概念:零,或者說一個空盒子里的蘋果數(shù)量。
阿拉伯學(xué)者和意大利數(shù)學(xué)家斐波納契把“零”的概念引入現(xiàn)代數(shù)字系統(tǒng)之后,給數(shù)學(xué)帶來了革命性的變化。當(dāng)今,盡管我們在所有數(shù)學(xué)運算中自如地使用零,但是“無(nothing)”或“零”的概念尚未進(jìn)入人工智能(AI)領(lǐng)域。從某種意義上說,AI和深度學(xué)習(xí)仍然需要學(xué)習(xí)如何利用“無”的概念進(jìn)行識別和推理。
從傳統(tǒng)意義上來講,深度神經(jīng)網(wǎng)絡(luò)(DNN)之類的深度學(xué)習(xí)算法在監(jiān)督之下進(jìn)行訓(xùn)練,以便識別特定種類的事物。在一項典型的任務(wù)中,研究人員可能會訓(xùn)練DNN以可視方式識別一定數(shù)量的類別,例如,識別蘋果和香蕉的圖片。一旦獲得相當(dāng)多的數(shù)據(jù),而且數(shù)據(jù)具有相當(dāng)高的質(zhì)量,深度學(xué)習(xí)算法實際上非常擅長提供錯誤率低的、可信的精確分類。
當(dāng)?shù)谌齻€未知對象出現(xiàn)在DNN的面前時,就會出現(xiàn)問題。如果引入了訓(xùn)練集合中不存在的未知對象,如橘子,那么網(wǎng)絡(luò)將被迫“猜測”,把橘子歸類為跟捕獲的未知對象最接近的類別——蘋果!
基本上,用蘋果和香蕉訓(xùn)練的DNN系統(tǒng)完全由蘋果和香蕉組成,它無法想象整個水果籃里都有什么水果。
在所有應(yīng)用中,盡管對“無”或者“類別歸零”的用途還不是很清楚,但是在訓(xùn)練和部署DNN時,其概念在許多方面都是非常有用的。
在訓(xùn)練過程中,如果DNN能夠?qū)㈨椖糠诸悶椤疤O果”“香蕉”或“無”,那么算法的開發(fā)人員可以確定它是否學(xué)會了有效辨認(rèn)特定的類別。經(jīng)過培訓(xùn)識別了新鮮蘋果和香蕉的DNN,如果出現(xiàn)與已學(xué)會識別的水果類型有偏差的水果,那么它就會回應(yīng)“無”。從這個意義上講,DNN可以充當(dāng)異常網(wǎng)絡(luò)檢測——除了對蘋果和香蕉進(jìn)行分類之外,不用經(jīng)過進(jìn)一步更改,它就可以發(fā)出信號,表明它注意到了偏離規(guī)范的其他情況。
到目前為止,還沒有簡單的方法來訓(xùn)練標(biāo)準(zhǔn)DNN,使其能夠提供以上功能。
一種稱為“終身DNN(lifelong DNN)”的新方法會自然而然地將“無”的概念納入架構(gòu)中。通過過去所學(xué)到的東西以及巧妙地利用反饋機制,終身DNN可以確定某種輸入是匹配還是不匹配,以此來辨識符合規(guī)范與否。
這種機制類似于人類的學(xué)習(xí)方式:在潛意識中,我們不斷檢查我們的預(yù)測是否符合真實的情況。例如,如果有人對你搞惡作劇,改變了辦公椅的高度,你會立即注意到這一點。那是因為隨著時間的推移,你了解到辦公椅的高度,你對此有了一個“模型”——如果這個模型不規(guī)范,你將立即意識到異常。我們?nèi)祟惒粩鄼z查自己的分類是否符合實際情況,如果不符合,我們的大腦就會注意到,并且發(fā)出警報。終身DNN在發(fā)揮功能時會充分體現(xiàn)這種機制,因此,在確定已學(xué)到的模型不規(guī)范時,它會發(fā)出“無”的信號。
以蘋果和香蕉為例對“無”的概念有了基本了解之后,現(xiàn)在我們來考慮一下這一概念在水果識別之外的實際應(yīng)用中該如何發(fā)揮作用。
考慮一下制造業(yè),該行業(yè)的機器負(fù)責(zé)生產(chǎn)大量產(chǎn)品。通過對傳統(tǒng)的計算機視覺系統(tǒng)進(jìn)行培訓(xùn)來識別產(chǎn)品中各種不同的異常情況(如表面劃痕),這是非常具有挑戰(zhàn)性的。在運行良好的生產(chǎn)線上,看起來沒有多少產(chǎn)品屬于“次品”,且“次品”以多種形式存在,根本沒有可用于培訓(xùn)系統(tǒng)的大量次品數(shù)據(jù)。
但是,借助終身DNN,開發(fā)人員可以通過訓(xùn)練計算機視覺系統(tǒng)來識別“優(yōu)質(zhì)”產(chǎn)品的各種樣品。然后,當(dāng)系統(tǒng)檢測到與優(yōu)質(zhì)產(chǎn)品的界定不符的產(chǎn)品時,可以將該產(chǎn)品歸類為異常,使其等候適當(dāng)處理。
對于制造商而言,終身DNN及其發(fā)現(xiàn)異常情況的能力可以為其節(jié)省時間并提高生產(chǎn)線上的效率。對于其他許多越來越依賴人工智能的行業(yè)來說,也會有類似的益處。沒想到“無”的概念竟有如此的重要性!