視知覺學習的自組織機制研究

陳家偉, 陳六君, 劉 艷

(北京師范大學管理學院,北京 100875)

知覺具有學習的特征,大腦感知外部世界的策略總是隨著經(jīng)驗的增加而變化,漢字的知覺過程也體現(xiàn)了這個特點.漢語的初級學習者最常使用的學習方式是整體字形策略[1],例如,把“商”字看成一張悲傷的臉.這種方式可以幫助學習者記憶漢字,但也是使得他們在寫漢字時常出現(xiàn)缺少筆畫的原因之一.對中高級漢字學習者的研究表明,漢字的部件和位置信息在高年級留學生的漢字知覺過程中起到了重要作用[2],學習者已經(jīng)能夠?qū)h字做出拆解并對部件在漢字中的位置有一定敏感性.而母語為漢語的有經(jīng)驗學習者,能很快地抽取漢字的各個組成部分,而不是把整個漢字作為一個整體來知覺.例如,在測試對漢字反應時的實驗中,當給學習者看過漢字“怕”以后,分別測試對漢字“白”、“百”、“黑”的反應時,結果“白”的反應時間明顯少于其他兩個字,這也說明了學習者在對漢字的知覺中具有快速拆解能力.

可見對漢字來說,有兩種基本的知覺方式,即整字加工和部件分解,而部件分解方式具有更高的效率,通過訓練,學習者的知覺策略會由整字加工方式向部件分解方式轉(zhuǎn)化.知覺模型的模擬結果也表明[3],大腦中可能存在局部到整體和整體到局部兩種知覺模式,局部到整體的知覺效率更高,這與行為實驗的結果是一致的,但知覺模型不能實現(xiàn)行為實驗中觀察到的知覺模式的轉(zhuǎn)變.由知覺模型可知,知覺模式在神經(jīng)系統(tǒng)中體現(xiàn)為不同的權重分布方式,知覺模式的轉(zhuǎn)變就體現(xiàn)為權重分布方式的變化.作者認為權重分布方式的轉(zhuǎn)變過程是一個自組織過程,即通過神經(jīng)元之間局部的相互作用從而形成整體上權重分布狀態(tài)的改變,本文將討論這個過程發(fā)生的神經(jīng)動力學機制.

實際上,討論大腦自組織機制的模型在20世紀80年代初就有了,1982年Kohonen提出的自組織映射(self-organizing map,SOM)神經(jīng)網(wǎng)絡模型就是其中一個成功案例[4],該模型能夠比較好地模擬大腦中發(fā)生的一些自組織過程.Erwin等的研究表明,SOM模型可以解釋獼猴初級視覺皮層形成的過程[5].邢紅兵等用SOM模型模擬小學生對形聲字命名過程中的一致性和規(guī)則性,得到了和行為實驗一致的結果[6].本文以知覺模型為基礎,加入局部的側(cè)向相互作用機制,建立能反映漢字知覺學習過程權重演化的神經(jīng)網(wǎng)絡模型,通過對多個漢字樣本的學習,權重整體的分布發(fā)生變化,實現(xiàn)漢字整體知覺向局部知覺的轉(zhuǎn)變.

1 模 型

1.1 模型結構

在Edelman統(tǒng)計學習模型[7]和Chen知覺模型[3]的基礎上建立知覺學習模型.模型分3層,輸入層X、中間層Y和輸出層Z,如圖1所示.輸入層和輸出層都是由40×40的神經(jīng)元點陣組成,中間層由4個40×40的感受野Ri組成.輸入層神經(jīng)元Xmn分別連接中間層4個感受野Ri的對應神經(jīng)元Yi,m n,連接權重分別為ui,mn;中間層的4個神經(jīng)元Yi,mn再共同輸入到輸出層神經(jīng)元Zmn,連接權重分別為vi,mn.其中,下標i=1,2,3,4;m,n=1,2,…,40,分別表示感受野的編號和神經(jīng)元的位置.

圖1 知覺學習模型結構示意圖Fig.1 Network structure of perceptual learning model

不同感受野之間的神經(jīng)元存在競爭關系,當輸入Xmn不為0時,Yi,m n只能有一個激活;同一個感受野內(nèi)的神經(jīng)元之間存在著合作關系,合作方式采用側(cè)向相互作用機制,被激活神經(jīng)元對近鄰的神經(jīng)元有興奮性刺激.

1.2 輸入層到中間層的權重調(diào)整

中間層加入側(cè)向相互作用,使得輸入層到中間層的權重矩陣U發(fā)生變化的因素變?yōu)榱藘蓚€:一個是來自輸入層的輸入;另一個是來自同一層神經(jīng)元之間的相互作用.兩者引起的變化之和為總的權重變化.

對于外部輸入引起的權重矩陣U的調(diào)整,參照Edelman使用的偽Hebb學習法進行[7],方程為

式中,t為時間;θ為感受野的閾值,具有歷史相關的特性;h為歷史長度;c為感受野的凈輸入;Y為感受野的輸出;u為連接權重;η為網(wǎng)絡訓練時的學習效率;下標i表示感受野的編號;mn表示神經(jīng)元在感受野中的位置;e為外部輸入導致的權重變化.

感受野之間的競爭與合作仿照Kohonen使用的側(cè)向相互作用[4],分為前期的競爭過程和后期的合作過程.對于輸入層的任意神經(jīng)元與它連接的中間層神經(jīng)元為權重分別為當外界輸入不等于0時,則第c個感受野的神經(jīng)元獲勝,如果xmnuc,mn≥xmnui,mn,對?i成立,這是競爭過程.獲勝神經(jīng)元影響它鄰域內(nèi)的神經(jīng)元,使得這些神經(jīng)元和輸入層之間的權重增加,這是合作過程.鄰域半徑設為Nc,mn(t),其大小隨時間變化.

式中,S為感受野的大小,取值為40;β(t)為確定鄰域范圍大小的系數(shù).

側(cè)向相互作用的大小由該神經(jīng)元到獲勝神經(jīng)元之間的距離決定,這里采用高斯分布的形式描寫這種相互作用的大小,即當為獲勝神經(jīng)元時,獲得的權重變化

總的權重變化為輸入層和中間層引起的權重變化之和,即

再考慮權重矩陣U的歸一化可得

中間層神經(jīng)元的輸出為

1.3 中間層到輸出層的權重調(diào)整

采用感知機整合方式調(diào)整中間層到輸出層的權重,每一次訓練過程經(jīng)過計算輸出、調(diào)整權重和歸一化3個階段,方程為

式中,vmn為中間層,為中間層的輸出,為輸出層的輸出;ξ為學習效率; ρ為輸出層神經(jīng)元的閾值.

2 模擬結果

2.1 初始狀態(tài)

知覺學習模型模擬知覺模式改變的過程,假定初始時刻權重矩陣U的分布為代表整體到局部知覺模式的隨機分布,即再進一步歸一化,即結果如圖2所示.

圖2 輸入層到中間層的初始權重是歸一化了的隨機分布Fig.2 Initial weights from input layer to middle layer is assumed as normalized random distribution

2.2 單個漢字的訓練

首先采用單個漢字“打”對模型進行訓練,考察權重分布的演化過程.選擇上文中的參數(shù)分別為θi(0)=50,η=0.5,h=5,k=0.1,α=0.2,ρ=0. 3,ξ=0.5,β=0.1.權重矩陣U以及中間層和輸出層的輸出隨時間的演化結果如圖3所示.

圖3 使用單個漢字訓練網(wǎng)絡時權重和輸出隨時間的演化Fig.3 One Chinese character is used to train the model, and the weights and outputs are displayed

學習的開始階段,中間層每個感受野的輸出以漢字的基本輪廓為主,隨著訓練的進一步進行,各感受野逐漸轉(zhuǎn)向?qū)斎氲哪骋徊糠置舾?從而獲取更多的細節(jié),這種學習方式的轉(zhuǎn)變能帶來效率的提高,有利于輸出層更快地重現(xiàn)樣本,實際上,6次訓練就已經(jīng)能比較完整地重現(xiàn)輸入了,9次訓練能夠完成對樣本的再現(xiàn).

2.3 多個漢字的訓練

使用具有相同特征的多個漢字訓練網(wǎng)絡,不僅能夠發(fā)生知覺模式轉(zhuǎn)變,而且能夠獲得漢字的局部特征.本文選取如圖4(a)所示的10個左右結構的漢字,每一次隨機抽取其中1個漢字訓練網(wǎng)絡,參數(shù)選取與訓練單個漢字時相同,只是鄰域范圍增為β(t)=0.35.訓練40次后得到權重U的演化結果如圖4(c)所示.訓練過程中的兩次輸出結果如圖4(b)所示.

圖4 用相同結構的漢字訓練網(wǎng)絡能抽取漢字的局部特征Fig.4 A group of Chinese characters with the same structure are used to train the network, and the local feature can be extracted

用多個漢字對模型訓練也能夠?qū)崿F(xiàn)感受野權重的重新分布,即從初始的隨機分布狀態(tài)轉(zhuǎn)變到最終的塊狀分布狀態(tài),從而使得各感受野最終只對輸入的某一部分敏感,實現(xiàn)了從整體知覺到局部知覺的轉(zhuǎn)變.用特定結構的漢字訓練模型,還能實現(xiàn)對漢字進行有意義的拆解,從而提取出局部特征——偏旁部首.

2.4 對神經(jīng)連接受損時的模擬

某些腦區(qū)的神經(jīng)連接受到損傷將會影響其功能的實現(xiàn),本文研究知覺學習過程中神經(jīng)連接損傷對權重U的最終分布狀態(tài)的改變.采用與2.2條完全相同的參數(shù)和初始條件,只是假設β(t)=0.35-t(0.35-0.1)/40,當學習到第10次的時候,假設神經(jīng)系統(tǒng)受到損傷,即當t=11時,u4,mn=0,對任意(m,n)成立.再繼續(xù)學習30次,得到權重分布結果為圖5所示.

圖5 訓練過程中神經(jīng)連接受損時的權重演化過程Fig.5 Weight evolves with time before and after the damage of neural connections

第10次的結果和第40次時的結果相比,只是R2和R1的敏感范圍擴大,占據(jù)了R4敏感的區(qū)域,而其他感受野的權重變化較小,沒有引起全局性的重新分布.這說明在學習過程中,當有神經(jīng)連接損傷,損傷部分所敏感的區(qū)域會被對該區(qū)域周圍敏感的感受野代替,從而保證知覺過程能夠完成.軀體感覺皮層也存在類似的情況,Merzenich在20世紀80年代所做的梟猴軀體感覺實驗也發(fā)現(xiàn)了類似現(xiàn)象[8].

3 結束語

在Hebb學習法和側(cè)向相互作用的基礎上,建立了具有分解和整合功能的視知覺學習模型.在代表整體知覺模式的初始條件下,使用不同樣本集對模型進行訓練,權重均發(fā)生了分布狀態(tài)的改變,即由隨機分布向塊狀分布轉(zhuǎn)變,權重分布方式的轉(zhuǎn)變代表了整體知覺模式向局部知覺模式的轉(zhuǎn)變,從模擬的角度實現(xiàn)了學習者對漢字知覺模式的轉(zhuǎn)變.使用相同結構的漢字訓練模型,模型還能夠抽取漢字的局部特征——偏旁部首.在神經(jīng)元受損的情況下,模型的結果與梟猴軀體感覺皮層損傷時發(fā)生的結果一致.

輸入層到中間層權重分布模式的轉(zhuǎn)變過程是自組織過程.模型中雖然只設定了局部的權重調(diào)整規(guī)則,卻能夠在整體上實現(xiàn)權重的有序塊狀分布,從而實現(xiàn)了對輸入局部到整體的知覺,有著明顯的自組織特性.神經(jīng)元之間的側(cè)向相互作用是自組織過程發(fā)生的核心機制,由此可以猜想,側(cè)向相互作用可能是大腦皮層可塑性的重要機制,是神經(jīng)細胞產(chǎn)生特異性選擇的重要原因之一.

[1] 江新,趙果.初級階段外國留學生漢字學習策略的調(diào)查研究[J].語言教學與研究,2001(4):10-17.

[2] 馮麗萍,盧華巖,徐彩華.部件位置信息在留學生漢字加工中的作用[J].語言教學與研究,2005(3):66-72.

[3] CHEN Jiawei,LIU Yan,CHEN Qinghua,et al.A neural network model for Chinese character perception [C]//Proceedings of the 5th International Conference on Natural Computation(ICNC'09),2009,319-323.

[4] KOHONEN T.The Self-Organizing Map[M].2nd ed. Berlin,Heidelberg:Springer-Verlag,1997.

[5] ERWIN E,OBERMAYER K,SCHULTEN K.Models of orientation and ocular dominance columns in the visual cortex:a critical comparison[J].Neural Computation,1995(7):425-468.

[6] XING Hongbin,SHU Hua,LI Ping.The acquisition of Chinese characters:Corpus analyses and connectionist simulations[J].Journal of Cognitive Science,2004,5: 1-49.

[7] EDELMAN S,INT RA TOR N,JACOBSON J S.Unsupervised learning of visualstructure[C]//Proceedings of the 2nd International Workshop Onbiologically Motivated Computer Vision,2002(2525):629-643.

[8] M ERZENICH M M,NELSON R J,ST RYKER M P, et al.Somatosensory cortical map changes following digitamputation in adult monkeys[J].Journal of Comparative Neurology,1984(224):591-605.