新一代人工智能背景下的拓?fù)渲X理論與深度學(xué)習(xí)

王松偉

摘要：人工智能的核心基礎(chǔ)科學(xué)問題是認(rèn)知和計(jì)算的關(guān)系。拓?fù)渲X理論是當(dāng)前極具代表性的一種認(rèn)知理論，而深度學(xué)習(xí)是當(dāng)前人工智能計(jì)算實(shí)現(xiàn)的主要技術(shù)手段。本文對(duì)二者的理論和發(fā)展歷程分別進(jìn)行了闡述，給出了二者內(nèi)在聯(lián)系的一種假設(shè)，并提出將深度學(xué)習(xí)與拓?fù)渲X理論的結(jié)合將有利于人工智能技術(shù)和相關(guān)認(rèn)知理論的進(jìn)一步發(fā)展。

關(guān)鍵詞：人工智能；拓?fù)渲X；深度學(xué)習(xí)

當(dāng)?shù)谝慌_(tái)計(jì)算機(jī)誕生后，人們就在思考其是否可以擁有類人的智能，進(jìn)而自主的幫助人們處理常規(guī)勞作、自行處理圖像語音信息、自動(dòng)進(jìn)行醫(yī)學(xué)診斷、實(shí)現(xiàn)智能控制以及支持基礎(chǔ)科學(xué)研究等。在1956年達(dá)特茅斯會(huì)議上，科學(xué)家們首次提出了“人工智能”的術(shù)語，距離計(jì)算機(jī)誕生僅僅才過去十年。自2006年，Geoffrey Hinton提出深度信念網(wǎng)絡(luò)后，世界各國相關(guān)領(lǐng)域研究人員和高科技公司對(duì)其高度重視，掀起了以“深度學(xué)習(xí)”為名的新一代人工智能研究熱潮，并成為當(dāng)前國民經(jīng)濟(jì)發(fā)展的重要推動(dòng)力量。

想要成為人工智能領(lǐng)域的真正意義上的科學(xué)強(qiáng)國，離不開對(duì)人工智能的基礎(chǔ)研究。通過總結(jié)認(rèn)知科學(xué)研究近四十年來的發(fā)展經(jīng)驗(yàn)，人們逐漸認(rèn)識(shí)到，發(fā)展新一代人工智能的核心基礎(chǔ)科學(xué)問題是：認(rèn)知和計(jì)算的關(guān)系。

“大范圍首先”的拓?fù)湫再|(zhì)知覺理論[1]，是由我國陳霖院士提出的在當(dāng)前國際上極具代表性的一種認(rèn)知理論。經(jīng)過30多年的發(fā)展，不僅把這個(gè)理論應(yīng)用到視覺問題，而且成功地應(yīng)用到注意、記憶、意識(shí)乃至情緒等廣泛不同認(rèn)知層次的研究。該理論認(rèn)為：一、知覺過程是“由大范圍性質(zhì)到局部性質(zhì)”，在對(duì)物體的性質(zhì)或組成部份進(jìn)行知覺的分析之前，視覺系統(tǒng)首先取得的是物體的整體性的知覺；只是在隨后的階段，如果需要的話，視覺系統(tǒng)才知覺物體的細(xì)節(jié)性質(zhì)。二、所謂整體性的知覺即“知覺組織”，涉及到圖形和背景分離、圖象分割、分組、伴隨出現(xiàn)、相屬關(guān)系等概念。三、知覺組織應(yīng)當(dāng)從變換和變換下的不變性的知覺來理解。一個(gè)變換越是一般，這個(gè)變換下的不變性質(zhì)就越是大范圍（穩(wěn)定）。相對(duì)于各種幾何變換，拓?fù)渥儞Q是最一般的，因此拓?fù)湫再|(zhì)是最穩(wěn)定、最大范圍的不變性質(zhì)。知覺組織可以用拓?fù)湫再|(zhì)科學(xué)描述。四、越是大范圍的性質(zhì)，越早在知覺過程中發(fā)生；拓?fù)湫再|(zhì)是最大范圍的，因此在知覺過程中“首先”發(fā)生?！笆紫取本哂袃煞矫娴膰?yán)格含義：局部幾何性質(zhì)的知覺在因果關(guān)系上基于由拓?fù)湫再|(zhì)決定的大范圍組織；拓?fù)湫再|(zhì)的知覺在時(shí)間先后關(guān)系上先于局部幾何性質(zhì)的知覺。

研究任何一種過程，創(chuàng)立任何一種過程的任何科學(xué)理論，必須首先回答的一個(gè)最基本的問題是：這種過程操作的基本單元是什么？認(rèn)知科學(xué)必須回答的一個(gè)最基本的問題是：什么是認(rèn)知過程操作的基本單元？大量的認(rèn)知科學(xué)實(shí)驗(yàn)事實(shí)表明，認(rèn)知基本單元是知覺組織形成的“知覺物體”的表達(dá)[1，2，3]?！按蠓秶紫取钡耐?fù)渲X理論提出知覺物體的拓?fù)鋵W(xué)定義，把知覺物體的直覺核心含義，即形狀改變下的整體不變性，科學(xué)準(zhǔn)確地定義為拓?fù)洳蛔冃再|(zhì)，即，拓?fù)湫再|(zhì)。知覺物體拓?fù)鋵W(xué)定義在知覺組織、注意、記憶、學(xué)習(xí)、數(shù)字認(rèn)知、意識(shí)，乃至情緒等各個(gè)認(rèn)知層次得到了廣泛的行為實(shí)驗(yàn)驗(yàn)證。

早期拓?fù)渲X對(duì)基于局部的計(jì)算視覺方法提出了挑戰(zhàn)。以連通性這種拓?fù)湫再|(zhì)為例，陳霖院士在《知覺組織的拓?fù)浞椒ā芬晃闹幸玫絒1]：“對(duì)于二維的R，連通模式的數(shù)量會(huì)隨|R|的增加而指數(shù)增加；這意味著對(duì)于一定尺寸的R，在一個(gè)可接受的訓(xùn)練過程中能使用的訓(xùn)練樣本在所有可能樣本中所占的比例是很小的。因此，對(duì)多層感知機(jī)而言，很難想象它能依據(jù)相對(duì)較少的訓(xùn)練樣本進(jìn)行成功地泛化?！薄巴?fù)溆?jì)算一直是連接主義所面臨的主要困難?！?/p>

但也正是早期拓?fù)渲X對(duì)計(jì)算視覺方法提出的挑戰(zhàn)，導(dǎo)致拓?fù)湫再|(zhì)難以量化、建模，這反過來阻礙了拓?fù)渲X理論及其相關(guān)諸多認(rèn)知科學(xué)理論的進(jìn)一步深化、豐富。同時(shí)，這也是特征捆綁這一計(jì)算視覺難題存在的深層原因[4]。

近年來，深度學(xué)習(xí)算法[5]得到了迅猛的發(fā)展。其方法論是：用于描述我們周圍世界的概念可以依據(jù)其他概念，以一種分層的方式進(jìn)行定義；由次抽象概念定義的抽象概念位于更高的層次。大致地講，利用深度學(xué)習(xí)算法構(gòu)建不變性特征的過程可以看做是兩個(gè)步驟的重復(fù)。首先提取數(shù)據(jù)的低級(jí)特征，即卷積操作；然后對(duì)這些低級(jí)特征集進(jìn)行池化，拋棄細(xì)節(jié)信息，形成較高級(jí)的不變性特征；逐層進(jìn)行類似的操作，獲得不變性不斷增強(qiáng)且保持目標(biāo)身份信息的高級(jí)特征。Bengio指出，核方法、流形學(xué)習(xí)、決策樹及早期的神經(jīng)網(wǎng)絡(luò)都可以看做是一個(gè)淺層的結(jié)構(gòu)，其泛化的能力主要依賴于鄰近性；對(duì)同一復(fù)雜函數(shù)進(jìn)行表征，n-1層結(jié)構(gòu)所需訓(xùn)練的網(wǎng)絡(luò)連接較n層結(jié)構(gòu)指數(shù)增加，因此，深層結(jié)構(gòu)具有更強(qiáng)的泛化能力。而視皮層也是一個(gè)深層的結(jié)構(gòu)。

深度學(xué)習(xí)算法的衍化有兩個(gè)方面值得注意：其一，深度學(xué)習(xí)處理的圖像正在經(jīng)歷小尺寸到大尺寸的轉(zhuǎn)變，因此很多借鑒視皮層感受野機(jī)制的卷積算法得到了廣泛應(yīng)用，例如卷積深度信念網(wǎng)絡(luò)，具有平移不變性的卷積神經(jīng)網(wǎng)絡(luò)，具有平移、旋轉(zhuǎn)和尺度變換下不變性的平鋪卷積神經(jīng)網(wǎng)絡(luò)等，感受野機(jī)制對(duì)應(yīng)的局部連接使并行計(jì)算發(fā)揮出越來越重要的作用。其二，深度學(xué)習(xí)提取的特征正在經(jīng)歷從中級(jí)特征到高級(jí)特征的轉(zhuǎn)化。中級(jí)特征是對(duì)低級(jí)特征的抽象。常見的中級(jí)特征包括特征包，空間金字塔，以及卷積網(wǎng)絡(luò)、深度信念網(wǎng)絡(luò)和 HMAX網(wǎng)絡(luò)的高層單元。而高級(jí)特征是中級(jí)特征的進(jìn)一步抽象，但其訓(xùn)練所需的時(shí)間和空間成本是極其巨大的，很多研究者只能選擇降低模型和訓(xùn)練數(shù)據(jù)庫的尺寸，這必然會(huì)影響提取到的高級(jí)特征的質(zhì)量。2012年，Stanford大學(xué)的Andrew Y.Ng聯(lián)合Google開展了‘Google Brain項(xiàng)目，使用1000臺(tái)電腦（每臺(tái)電腦16個(gè)CPU，共計(jì)16，000個(gè)CPU），依據(jù)視皮層信息處理機(jī)制，構(gòu)建了一個(gè)當(dāng)時(shí)世界上最大的、共計(jì)11億神經(jīng)元連接的人工網(wǎng)絡(luò)。使用1千萬張無標(biāo)記的自然圖像（其中隨機(jī)提取的100，000個(gè)Patch中人臉?biāo)嫉谋嚷什怀^3%）對(duì)網(wǎng)絡(luò)進(jìn)行3天的訓(xùn)練后，從網(wǎng)絡(luò)高層的神經(jīng)元中找到了對(duì)特定類型目標(biāo)（人臉、貓臉和人體）敏感的神經(jīng)元，如圖1所示，即，成功模擬了IT區(qū)老祖母細(xì)胞的響應(yīng)。將系統(tǒng)在ImageNet這個(gè)龐大的數(shù)據(jù)庫上進(jìn)行20，000類目標(biāo)的識(shí)別，識(shí)別精度達(dá)到15.8%，比當(dāng)時(shí)最高水平提高了70%。

使用深度網(wǎng)絡(luò)提取到的特征進(jìn)行目標(biāo)識(shí)別取得了巨大的成功，這啟發(fā)我們提出如下觀點(diǎn)：模擬視皮層信息處理機(jī)制的大型網(wǎng)絡(luò)提取到的High-Level特征是拓?fù)湫再|(zhì)在某種意義下的近似物。雖然沒有嚴(yán)格的證明，但是我們可以為這種觀點(diǎn)尋找到理論、神經(jīng)生理和計(jì)算視覺等方面的一些支持：

1.拓?fù)渲X的核心是知覺組織應(yīng)該從變換和變換下的不變性的知覺的觀點(diǎn)進(jìn)行理解。如果我們將用于計(jì)算識(shí)別的數(shù)據(jù)庫中屬于某些類別（如狗、鳥、電腦等）的所有圖片看做是這些基本類所對(duì)應(yīng)的知覺對(duì)象在各種變換下的實(shí)現(xiàn)，那么在機(jī)器識(shí)別上下文中提取到的可以進(jìn)行不同類辨別的高層特征可看做是拓?fù)渲X上下文中拓?fù)湫再|(zhì)的近似。因?yàn)楦邔犹卣骺梢杂行ёR(shí)別的前提是：它是某個(gè)知覺對(duì)象在各種身份保持變換下的不變量。

2.文獻(xiàn)[6]指出：“功能磁共振成像實(shí)驗(yàn)揭示，前顳葉區(qū)參與拓?fù)渲X和知覺對(duì)象的形成，而這一腦區(qū)本來是形式視覺通路的終點(diǎn)?！薄靶袨閷W(xué)上‘大范圍優(yōu)先的結(jié)果與視覺通路神經(jīng)解剖學(xué)結(jié)果的悖逆，提示我們應(yīng)該注意對(duì)象表征形成的問題和更廣泛的意義上，知覺到底在何處發(fā)生的基本問題?！睂?duì)于上句話我們的理解是：視皮層形式視覺通路僅僅涉及感覺信息的處理，而不涉及知覺的形成。（注：一些文獻(xiàn)提及了皮層下通路，但與本項(xiàng)目的研究思路不存在矛盾）

3.大量神經(jīng)生理證據(jù)表明[7-10]，腦在目標(biāo)發(fā)生各種形狀變化的情況下仍能快速識(shí)別目標(biāo)的神經(jīng)機(jī)制是：從視網(wǎng)膜開始，經(jīng)由外側(cè)膝狀體，初級(jí)視皮層，形式視覺通路，通過一個(gè)層疊的、大量前饋的計(jì)算，在IT區(qū)達(dá)到終點(diǎn)，形成一種強(qiáng)大的神經(jīng)表征。IT區(qū)同樣是形式視覺通路的終點(diǎn)。

4.很多在目標(biāo)識(shí)別中獲得成功應(yīng)用的深度學(xué)習(xí)算法都是基于視皮層層疊、大量前饋的信息處理的機(jī)制進(jìn)行構(gòu)建。例如HMAX模型、美國銀行支票手寫數(shù)字識(shí)別廣泛使用的卷積神經(jīng)網(wǎng)絡(luò)等。

一些計(jì)算視覺任務(wù)中表現(xiàn)優(yōu)異算法的成功原因可以用拓?fù)渲X理論進(jìn)行解釋。例如人臉識(shí)別問題，最好的識(shí)別算法都是首先確定諸如眼睛、鼻尖、左右嘴角的配置關(guān)系，然后在這些標(biāo)記點(diǎn)的附近位置提取特征。這種識(shí)別策略的成功甚至催生了面部關(guān)鍵點(diǎn)檢測(cè)，面部分解等計(jì)算視覺任務(wù)，如圖2所示。顯然，這種臉、嘴和鼻子伴隨出現(xiàn)的整體性配置關(guān)系屬于知覺組織的概念范疇。首先獲取配置關(guān)系這種大范圍屬性，然后在此基礎(chǔ)上提取局部特征，這是符合“大范圍首先”學(xué)說的計(jì)算視覺實(shí)現(xiàn)，也是這類算法取得成功的原因。

因此，針對(duì)拓?fù)湫再|(zhì)對(duì)基于局部特征的計(jì)算視覺方法提出的挑戰(zhàn)，采用大型深度網(wǎng)絡(luò)對(duì)拓?fù)湫再|(zhì)進(jìn)行模擬計(jì)算；考察網(wǎng)絡(luò)在一些知覺組織相關(guān)計(jì)算視覺任務(wù)中的表現(xiàn)，并借鑒皮層信息處理機(jī)制調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)，可以構(gòu)建更好的認(rèn)知計(jì)算模型，發(fā)展新一代的人工智能技術(shù)。同時(shí)也會(huì)對(duì)拓?fù)渲X理論的深化、視皮層神經(jīng)信息處理機(jī)制的探索以及計(jì)算視覺研究均具有重要的促進(jìn)作用。

參考文獻(xiàn)：

[1]Chen，L.（2005）.The topological approach to perceptual organization.Visual Cognition，12，553-637.

[2]Pylyshyn，Z.W.，&Storm，R.W.（1988）.Tracking multiple independent targets：Evidence for parallel tracking mechanism.Spatial Vision，3，179-197.

[3]VanMarle，K.，&Scholl，B.J.（2003）.Attentive tracking of objects vs.substance.Psychological Science，14，498-504.

[4]Chen，L.（2001）.Perceptual organization：To reverse back the inverted（upside down）down question of feature binding.Visual Cognition，8，287-303.

[5]Hinton，G.E.and Salakhutdinov，R.（2006）.Reducing the dimensionality of data with neural networks.Science，313（5786），504–507.

[6]Tiangang Zhou，Jun Zhang，Lin Chen.（2009），Neural Correlation of“Global-first”Topological Perception：Anterior Temporal Lobe.Brain Imaging and Behavior.

[7]Collins，C.E.，Airey，D.C.，Young，N.A.，Leitch，D.B.，and Kaas，J.H.（2010）.Neuron densities vary across and within cortical areas in primates.Proc.Natl.Acad.Sci.USA 107，15927–15932.

[8]Brewer，A.A.，Press，W.A.，Logothetis，N.K.，and Wandell，B.A.（2002）.Visual areas in macaque cortex measured using functional magnetic resonance imaging.J.Neurosci.22，10416–10426.

[9]Nowak，L.G.，and Bullier，J.（1997）.The timing of information transfer in the visual system.In Cerebral Cortex：Extrastriate Cortex in Primate，K.Rockland，J.Kaas，and A.Peters，eds.（New York：Plenum Publishing Corporation），p.870.

[10]DiCarlo，J.，Zoccolan，D.，and Rust，N.（2012）.How does the brain solve visual object recognition？Neuron.