胡鈞皓 范影樂 李康群 武 薇
(杭州電子科技大學(xué)模式識別與圖像處理實(shí)驗(yàn)室,杭州 310018)
基于神經(jīng)元顏色拮抗與動(dòng)態(tài)編碼的輪廓檢測方法
胡鈞皓 范影樂?李康群 武 薇
(杭州電子科技大學(xué)模式識別與圖像處理實(shí)驗(yàn)室,杭州 310018)
基于神經(jīng)元的顏色拮抗特性及神經(jīng)元群體的動(dòng)態(tài)編碼機(jī)制,實(shí)現(xiàn)對圖像的輪廓檢測。模擬視皮層下神經(jīng)元的顏色單拮抗特性,引入單拮抗感受野的動(dòng)態(tài)調(diào)節(jié)機(jī)制,以充分響應(yīng)顏色邊界和亮度邊界;利用單細(xì)胞的樹突極性分布,構(gòu)建初級視皮層的雙拮抗神經(jīng)元網(wǎng)絡(luò),實(shí)現(xiàn)對特定方位的視覺刺激響應(yīng),有效提取目標(biāo)輪廓;在神經(jīng)元的群體感受野內(nèi),考慮神經(jīng)元的動(dòng)態(tài)突觸連接,融合單細(xì)胞的脈沖頻率響應(yīng),實(shí)現(xiàn)對紋理信息的抑制作用。以BSDS500圖庫的圖像為實(shí)驗(yàn)對象,結(jié)果顯示該方法在提取主體輪廓的過程中能有效抑制紋理信息,其對100幅圖像最佳檢測結(jié)果的P值指標(biāo)均值和標(biāo)準(zhǔn)差為0.58±0.04,相對CORF和CO等其他對比方法,可提高輪廓提取的準(zhǔn)確率。所提出方法可有效實(shí)現(xiàn)圖像的輪廓檢測,為利用顏色信息以及神經(jīng)元之間的動(dòng)態(tài)編碼、實(shí)現(xiàn)更高級皮層的圖像理解或者視覺認(rèn)知提供新的思路。
輪廓檢測;顏色拮抗;方向選擇;動(dòng)態(tài)編碼
輪廓是視覺目標(biāo)的關(guān)鍵特征信息,對于目標(biāo)檢測以及圖像理解等后續(xù)視覺感知計(jì)算具有重要意義[1]。傳統(tǒng)基于數(shù)學(xué)模型的輪廓檢測算法(如Canny[2]等算子)計(jì)算過程簡單快速,但完全弱化了視覺感知過程,并不能有效區(qū)分目標(biāo)輪廓和背景紋理。近年來,人們認(rèn)識到視覺信息流傳遞和處理機(jī)制在輪廓感知中的重要性,例如有研究簡單模擬視皮層的簡單細(xì)胞感受野,利用二維Gabor函數(shù)來提取邊緣信息[3];還有研究根據(jù)初級視皮層感受野周邊抑制的響應(yīng)機(jī)制[4],利用方向或尺度特征自適應(yīng)調(diào)整非經(jīng)典感受野的抑制區(qū)和去抑制區(qū),在抑制紋理背景的同時(shí)凸顯輪廓[5]。另外有研究利用顏色拮抗特性[6],來提高對輪廓的感知能力,適用于單一特征圖像的輪廓檢測。需要指出的是,上述方法未能從視覺感知系統(tǒng)層面體現(xiàn)信息流傳遞和處理的協(xié)同作用,而且它們大多關(guān)注于黑箱意義上的神經(jīng)元響應(yīng)統(tǒng)計(jì)特性,忽視了動(dòng)態(tài)突觸連接等內(nèi)在特性。因此本研究提出一種基于視覺信息編碼機(jī)制的輪廓檢測新方法,首先給出一種視皮層下的顏色單拮抗感受野動(dòng)態(tài)調(diào)節(jié)機(jī)制,實(shí)現(xiàn)顏色和亮度邊界的自適應(yīng)響應(yīng);然后引入單細(xì)胞的樹突極性分布,構(gòu)建一種能夠反映初級視皮層顏色和空間雙拮抗特性的神經(jīng)元網(wǎng)絡(luò);接著給出了一種突觸連接的動(dòng)態(tài)調(diào)整策略,融合單細(xì)胞的脈沖頻率響應(yīng)進(jìn)行編碼,實(shí)現(xiàn)對紋理信息的抑制作用;最后通過非極大值抑制和滯后閾值處理,得到精細(xì)的輪廓圖。
以圖像分割數(shù)據(jù)庫(Berkley Segmentation Data Set,BSDS500)[7]為實(shí)驗(yàn)對象,該數(shù)據(jù)庫包含了 200幅自然場景的彩色圖像,每一幅圖像對應(yīng)若干幅標(biāo)準(zhǔn)輪廓圖(若干人工繪制結(jié)果)。將本研究算法的輪廓檢測結(jié)果同標(biāo)準(zhǔn)輪廓進(jìn)行比對,取平均準(zhǔn)確率作為算法有效性的評價(jià)指標(biāo)。
視網(wǎng)膜是視覺通路的起點(diǎn),視網(wǎng)膜中有三種不同光譜敏感性的視錐,經(jīng)不同波長光子刺激,分別對紅綠藍(lán)顏色信息進(jìn)行采樣。之后,信息沿著視覺通路經(jīng)過神經(jīng)節(jié)細(xì)胞和外膝體,完成信息的中繼傳遞。其中,神經(jīng)節(jié)細(xì)胞和外膝體的顏色神經(jīng)元稱為單拮抗(single-opponent,SO)神經(jīng)元,作為初級視皮層的前級信息處理環(huán)節(jié),有相似的感受野結(jié)構(gòu)和顏色拮抗機(jī)制[8],都呈現(xiàn)單拮抗的輸出方式并對顏色和亮度分離起到重要作用,現(xiàn)將其合并為一層(統(tǒng)稱為視皮層下)來對視覺輸入進(jìn)行處理。
以中心-外周型顏色單拮抗感受野為建模對象,并利用雙高斯差函數(shù)來描述單拮抗響應(yīng)。構(gòu)建兩個(gè)不同尺度的高斯函數(shù),分別與顏色對立的兩個(gè)通道卷積之差作為視皮層下的顏色單拮抗輸出,有
式中:x,y表示二維視覺的空間坐標(biāo),m/n分別代表R+ /G-、G+ /R-、B+ /Y-、Y+ /B-等4 種類型的顏色單拮抗;G1(x,y)與G2(x,y)為前述兩個(gè)不同尺度的高斯函數(shù),表示視錐細(xì)胞的輸入權(quán)重,相應(yīng)尺度σ1與σ2分別代表中心-外周型顏色單拮抗感受野的中心區(qū)和外周區(qū)尺寸。
考慮到顏色和亮度都是圖像邊界的重要屬性,在光強(qiáng)較低的區(qū)域,顏色信息更能體現(xiàn)輪廓與背景紋理的區(qū)分性,而在光強(qiáng)較高的區(qū)域,亮度信息有助于區(qū)分輪廓與背景紋理。因此本研究在視皮層下的顏色單拮抗感受野基礎(chǔ)上,提出了一種基于局部亮度信息的動(dòng)態(tài)調(diào)節(jié)模型。具體策略為:在圖像局部亮度較低的區(qū)域,視錐細(xì)胞只響應(yīng)顏色信息則有相似的輸入權(quán)重;在局部亮度較高的區(qū)域,視錐細(xì)胞響增大對亮度的響應(yīng)則有不同的輸入權(quán)重。由此給出視皮層下神經(jīng)元單拮抗感受野動(dòng)態(tài)調(diào)節(jié)的初始定義,具體如下:
式中,k為動(dòng)態(tài)調(diào)節(jié)因子。
在亮度較低區(qū)域k→1,感受野的中心區(qū)和外周區(qū)重合,單拮抗模型充分發(fā)揮顏色對邊界的響應(yīng),亮度信息不響應(yīng),此時(shí)顏色單拮抗感受野變?yōu)閱沃行男停辉诹炼容^高區(qū)域k→0,感受野外周區(qū)顯著大于中心區(qū)尺寸,模型將更多體現(xiàn)亮度對邊界的響應(yīng)。具體操作時(shí),可先獲取亮度通道L(x,y),然后統(tǒng)計(jì)局部亮度平均值,并將其歸一化結(jié)果作為自適應(yīng)調(diào)節(jié)因子Lavg(x,y),具體表示為
式中,Lavg(x,y)為局部亮度平均值,ws是局部方窗R的窗長,Lmax是亮度通道中局部亮度均值的極大值??紤]到外周區(qū)感受野的最大半徑一般約為中心區(qū)的2倍[9],因此將k的最小值修正為0.5。利用一個(gè)改進(jìn)的sigmoid函數(shù)對動(dòng)態(tài)調(diào)節(jié)因子進(jìn)行約束,具體表示為
圖像經(jīng)視皮層下神經(jīng)元處理形成4個(gè)顏色通道進(jìn)入初級視皮層V1區(qū),該區(qū)的顏色神經(jīng)元稱為雙拮抗(double-opponent,DO)神經(jīng)元,具備了顏色空間雙拮抗特性[10],它能同時(shí)接收顏色信息與視覺空間信息,通過感受野內(nèi)神經(jīng)元放電頻率的響應(yīng)來區(qū)分興奮與抑制區(qū)域,即V1區(qū)的感受野呈朝向選擇特性[11],神經(jīng)元對顏色信息在特定方位的視覺刺激具有最大響應(yīng),以此來捕獲目標(biāo)的輪廓信息。
對視皮層的研究發(fā)現(xiàn),若干外膝體神經(jīng)元的感受野按特定方位進(jìn)行排列,且輸入到同一個(gè)視皮層神經(jīng)元,實(shí)現(xiàn)對外膝體感受野排列的方向選擇[12];而視皮層神經(jīng)元通過放射狀樹突接收視皮層下外膝體的視覺響應(yīng)[13]。因此視覺信息在傳遞過程中,視皮層的方向選擇特性與視皮層神經(jīng)元樹突的分布形式有著密切聯(lián)系,分布模型如圖1所示。
圖1 神經(jīng)元樹突分布模型Fig.1 Distribution model of neuron dendrites
神經(jīng)元樹突的接收極性具有不同方位的朝向性分布,以此來模擬初級視皮層輸入權(quán)重相等的雙拮抗感受野結(jié)構(gòu)。以0°和45°方位為例,在圖2給出感受野的樹突極性分布,其具體計(jì)算方法如下:
式中,(x,y)是單細(xì)胞感受野RF內(nèi)的坐標(biāo),同理可以得到其他方位的樹突極性分布計(jì)算方法。
圖2 樹突極性分布(0°和45°方位),其中 a、b、c 方塊分別表示興奮性樹突、抑制性樹突以及零接收樹突Fig.2 The distribution of dendritic polarity(0 degrees and 45 degrees),in which the red,blue and gray squares are expressed as excitatory dendrites,inhibitory dendrites and zero receiving dendrites
通過上述樹突極性的分布,可以形成0°、45°、90°、135°、180°、225°、270°、315°這 8 個(gè)方位的單細(xì)胞感受野,同時(shí)以敏感方位為界限將感受野分為興奮性樹突接收區(qū)域和抑制性樹突區(qū)域,并且最優(yōu)方位上的樹突不接收視覺刺激。
本研究選取基于漏積分放電(leaky integrateand-fire,LIF)模型來構(gòu)建點(diǎn)陣神經(jīng)元網(wǎng)絡(luò),結(jié)合神經(jīng)元的放射狀樹突結(jié)構(gòu)與感受野特性,將單細(xì)胞感受野內(nèi)所有樹突接收的外界激勵(lì)綜合作為模型輸入,同時(shí)以包含輪廓強(qiáng)度信息的脈沖發(fā)放頻率對外界視覺激勵(lì)進(jìn)行編碼。具體模型如下:
式中:v是神經(jīng)元膜電壓,cm是膜電容,gl是漏電導(dǎo);Ixy是與圖像坐標(biāo)(x,y)對應(yīng)的神經(jīng)元激勵(lì)電流,將視皮層下顏色單拮抗感受野的動(dòng)態(tài)響應(yīng)結(jié)果進(jìn)行歸一化,作為初級視皮層神經(jīng)元的視覺刺激;SRF表示初級視皮層的單細(xì)胞感受野,δxy是感受野范圍內(nèi)的神經(jīng)元樹突接收極性,取值為1、-1、0,分別表示興奮性樹突、抑制性樹突以及零接收樹突;vth為脈沖發(fā)放閾值,vreset為靜態(tài)電勢,ref為絕對不應(yīng)期,vG為脈沖發(fā)放峰值。
當(dāng)v大于vth時(shí),神經(jīng)元脈沖發(fā)放達(dá)到vG,同時(shí)v又被瞬間重置為vreset,開始進(jìn)入絕對不應(yīng)期。視覺信息經(jīng)點(diǎn)陣神經(jīng)元網(wǎng)絡(luò)的放電編碼后,將帶有朝向和空間的信息傳遞給更高級的視皮層。
點(diǎn)陣神經(jīng)元網(wǎng)絡(luò)有效捕捉了視覺刺激中的顏色對比信息和方位信息,然后高級視皮層通過融合不同優(yōu)勢朝向的信息來捕獲輪廓。但視覺信息中各個(gè)局部區(qū)域以單個(gè)神經(jīng)元的方式獨(dú)立編碼,而沒有考慮神經(jīng)元間的相互連接作用,導(dǎo)致處理后的輪廓呈現(xiàn)斷裂,甚至部分輪廓的丟失,如圖3所示。
圖3 單細(xì)胞脈沖頻率編碼結(jié)果,在圖像左邊出現(xiàn)了輪廓斷裂,圖像中部有部分輪廓的丟失Fig.3 The results show that the single cell pulse frequency coding results in a contour break on the outline and a missing on the left side of the image
研究發(fā)現(xiàn),視皮層的V4區(qū)能夠?qū)喞萎a(chǎn)生反應(yīng),通過對輸入信息的整合,形成協(xié)調(diào)的認(rèn)知輪廓。于是本研究在視皮層神經(jīng)元的群體感受野范圍內(nèi)對單細(xì)胞的脈沖頻率信息進(jìn)行同步整合,神經(jīng)元間經(jīng)動(dòng)態(tài)的突觸連接形成互連網(wǎng)絡(luò)[14],通過同步放電顯著增加視覺信息的編碼量[15-16],實(shí)現(xiàn)對輪廓信息的編碼。
首先,本研究設(shè)定神經(jīng)元群體感受野的半徑為單細(xì)胞感受野的 4/5[17];其次,每個(gè)細(xì)胞之間的相互作用依賴于神經(jīng)突觸的動(dòng)態(tài)連接[18],從而提高對視覺信息的同步整合能力。本研究在群體感受野范圍內(nèi),從各細(xì)胞間的空間距離和脈沖頻率輸出的差異性兩個(gè)方面實(shí)現(xiàn)對動(dòng)態(tài)突觸的定義:突觸連接作用隨單細(xì)胞之間距離的增大以及脈沖輸出差異性的增大而減小,具體如下:
式中,synapse(x,y)是動(dòng)態(tài)突觸權(quán)值,sconst是突觸調(diào)節(jié)常數(shù),表示群體感受野中周邊神經(jīng)元與中心神經(jīng)元的距離,表示群體感受野周邊神經(jīng)元與中心神經(jīng)元的脈沖頻率差異,GRFr是群體感受野的半徑,ΔF是群體感受野內(nèi)最大脈沖頻率輸出和最小脈沖頻率輸出的差值。
突觸的作用方式為,動(dòng)態(tài)突觸權(quán)值在群體感受野范圍內(nèi)與單細(xì)胞脈沖頻率輸出進(jìn)行卷積運(yùn)算,有
式中,GroFirech,dir(x,y)是特定顏色拮抗通道在特定敏感方位的神經(jīng)元群動(dòng)態(tài)編碼結(jié)果,sinFirech,dir(x,y)是特定顏色拮抗通道在特定敏感方位的單細(xì)胞脈沖頻率編碼輸出,dir=1,2,…,8是敏感方位的索引,ch∈ {RG,GR,BY,YB} 是顏色拮抗通道。
神經(jīng)元間信息的傳遞被認(rèn)為是輪廓提取的基礎(chǔ),通過動(dòng)態(tài)突觸的連接作用改變信息處理的能力,即在圖像的輪廓區(qū)域,使神經(jīng)元進(jìn)入興奮狀態(tài),增強(qiáng)神經(jīng)元間的突觸連接,對整個(gè)區(qū)域回路輸出興奮性神經(jīng)沖動(dòng);相反,在圖像的背景紋理區(qū)域,對整個(gè)區(qū)域回路輸出抑制性性神經(jīng)沖動(dòng)。最后,實(shí)現(xiàn)了神經(jīng)元群體對圖像信息的同步整合,在保留主體輪廓信息的同時(shí),彌補(bǔ)了單細(xì)胞點(diǎn)陣神經(jīng)元網(wǎng)絡(luò)編碼結(jié)果中的輪廓斷裂和丟失。
根據(jù)視覺通路上不同的組織結(jié)構(gòu)對視覺信息不同的處理與分析能力,對輪廓檢測系統(tǒng)做如下描述:
1)根據(jù)視皮層下神經(jīng)元的顏色單拮抗特性,引入單拮抗感受野的動(dòng)態(tài)調(diào)節(jié)機(jī)制,以充分響應(yīng)顏色邊界和亮度邊界,實(shí)現(xiàn)輪廓信息的中繼傳遞;
2)基于初級視皮層神經(jīng)元顏色空間雙拮抗特性,根據(jù)神經(jīng)元樹突朝向性分布的特點(diǎn),模擬雙拮抗感受野的結(jié)構(gòu),實(shí)現(xiàn)對特定方向的輪廓檢測;
3)根據(jù)高級視皮層融合不同優(yōu)勢朝向信息來捕獲輪廓的特性,神經(jīng)元間經(jīng)動(dòng)態(tài)的突觸連接形成互連網(wǎng)絡(luò),從而實(shí)現(xiàn)對輪廓的融合編碼;
4)將最終的輪廓響應(yīng)經(jīng)非極大值抑制和閾值處理,得到輪廓二值圖。
以R+/G-顏色拮抗通道為例,算法執(zhí)行流程如圖4所示。
具體檢測流程如下所述:
步驟1:根據(jù)視網(wǎng)膜錐細(xì)胞對顏色的光譜敏感性,將輸入的彩色圖像Ic(x,y)(x=1,2,…,m;y=1,2,…,n)分離為R(x,y)、G(x,y)、B(x,y)、Y(x,y)4 個(gè)顏色分量,其中Y(x,y)=(R(x,y)+G(x,y))/2,并獲取亮度通道L(x,y),然后統(tǒng)計(jì)局部亮度平均值。
步驟2:根據(jù)式(1)計(jì)算顏色單拮抗感受野的響應(yīng)值,并且按照式(3)、(4)描述單拮抗感受野動(dòng)態(tài)調(diào)節(jié)方法,對式(2)所示的高斯權(quán)值進(jìn)行局部修正,實(shí)時(shí)作用于式(1)的計(jì)算過程,最終得到視皮層下顏色單拮抗感受野的動(dòng)態(tài)響應(yīng)結(jié)果 SORG(x,y)、SOGR(x,y)、SOBY(x,y)、SOYB(x,y)。
圖4 輪廓檢測方法流程Fig.4 Flow chart of contour detection method
步驟3:基于視皮層單細(xì)胞感受野的方向選擇特性,按照式(5)、(6)以及樹突極性分布模型,形成8個(gè)不同敏感方位單細(xì)胞感受野的樹突接收權(quán)值,并以樹突極性標(biāo)記為δxy,θ,θ=0°,45°,90°,135°,180°,225°,270°,315°。
步驟4:根據(jù)原始圖像Ic(x,y)的大小構(gòu)建相同尺寸的點(diǎn)陣神經(jīng)元網(wǎng)絡(luò)SN(x,y),且每個(gè)神經(jīng)元在其單細(xì)胞感受野SRF(11×11)內(nèi)通過放射狀樹突接收上一級神經(jīng)元的視覺激勵(lì)。其中,每個(gè)神經(jīng)元單細(xì)胞采用式(7)所示的LIF神經(jīng)元模型,分別將步驟3得到的8個(gè)單細(xì)胞感受野的樹突接收權(quán)值代入模型,并將步驟2中4個(gè)顏色單拮抗感受野的動(dòng)態(tài)響應(yīng)結(jié)果進(jìn)行歸一化,分別以激勵(lì)電流的形式輸入到點(diǎn)陣神經(jīng)元網(wǎng)絡(luò)。
步驟5:在一個(gè)響應(yīng)周期內(nèi),計(jì)算SN(x,y)每個(gè)神經(jīng)元的脈沖發(fā)放頻率,得到4個(gè)拮抗通道在8個(gè)敏感方位上的單細(xì)胞脈沖頻率輸出 sinFirech,dir(x,y),方位索引 dir=1,2,...,8 與前文θ=0°,45°,90°,135°,180°,225°,270°,315°相對應(yīng);ch ∈{RG,GR,BY,YB}。
步驟6:構(gòu)造神經(jīng)元的群體感受野GRF(9×9),并在群體感受野范圍內(nèi)通過式(8)所描述的動(dòng)態(tài)突觸作用,使得點(diǎn)陣神經(jīng)元中的單細(xì)胞互連形成神經(jīng)元群體。然后按照式(9)將點(diǎn)陣神經(jīng)元單細(xì)胞的脈沖頻率輸出 sinFirech,dir(x,y)融合為互連神經(jīng)元網(wǎng)絡(luò)的編碼結(jié)果 groFirech,dir(x,y)。
步驟7:利用式(10)選取各個(gè)方位下編碼結(jié)果的最大值作為該通道下的最終輪廓響應(yīng)COGFch(x,y),同樣利用式(11)選取各個(gè)顏色拮抗通道的最大值作為最終輪廓響應(yīng) COGF(x,y),有
步驟8:通過非極大值抑制和滯后閾值處理得到二值化的單像素輪廓結(jié)果。
為了定量評估本研究方法的性能,利用Grigorescu等提出的輪廓評價(jià)指標(biāo)[19]來進(jìn)行評估。由于檢測到的輪廓像素點(diǎn)并不完全與標(biāo)準(zhǔn)輪廓圖的像素點(diǎn)重合,因此只要檢測得到輪廓像素點(diǎn)出現(xiàn)在標(biāo)準(zhǔn)輪廓像素5×5領(lǐng)域內(nèi),就認(rèn)為該輪廓點(diǎn)檢測正確。定義ED和EGT分別為算法檢測到的輪廓像素集和基準(zhǔn)輪廓像素集,則算法正確檢測到的像素集為E=ED∩(EGT8T)(8為膨脹操作,T為5×5的結(jié)構(gòu)單元);錯(cuò)誤檢測到的像素集為EFP=EDE;漏檢的像素集為EFN=EGT-(EGT∩(ED8T)。算法性能評價(jià)指標(biāo)誤檢率eFP、漏檢率eFN和整體性能指標(biāo)P可通過式(12)~(14)計(jì)算得到。
為了證明本研究算法的優(yōu)越性,選取經(jīng)典的邊緣檢測算法和主流的幾種基于視覺機(jī)制的輪廓檢測方法與本研究算法進(jìn)行比對分析。首先,選取經(jīng)典的Canny算法來作為對比方法,證明本研究方法的有效性;其次,選取文獻(xiàn)[20]提出的模擬初級視皮層方向選擇特性的二維高斯導(dǎo)函數(shù)模型(DG)作為對比方法,體現(xiàn)本研究方法中神經(jīng)元網(wǎng)絡(luò)具備的電生理學(xué)優(yōu)勢;再選取文獻(xiàn)[21]提出的基于外膝體感受野排列組合的輪廓檢測模型(CORF),證明本研究方法中視皮層下顏色動(dòng)態(tài)拮抗特性對輪廓提取的有用性;最后為了體現(xiàn)本研究方法中神經(jīng)元網(wǎng)絡(luò)的編碼效應(yīng),選取文獻(xiàn)[6]提出的僅考慮顏色拮抗的輪廓檢測模型(CO)進(jìn)行對比。實(shí)驗(yàn)中對不同的模型選取不同的參數(shù)組合,依據(jù)各個(gè)模型的特點(diǎn),Canny算法沒有σ參數(shù),對DG和CORF方法選定σ=[3.0∶0.5∶5.0]共5組參數(shù),對CO和本研究方法選定σ=[1.0∶0.5∶3.0]共5組參數(shù)。為了與二值化的標(biāo)準(zhǔn)輪廓圖比較,對本方法和對比方法得出輪廓灰度圖進(jìn)行標(biāo)準(zhǔn)非極大值抑制提取單像素輪廓,然后用滯后門限法進(jìn)行二值化處理[19],得到最終輪廓。在滯后閾值處理中,取上限閾值t=[0.1∶0.1∶1.0]共10組參數(shù),并且設(shè)定下限閾值為0.5t。因此Canny算法可得到10組測試參數(shù),其余方法可得到50組測試參數(shù),并對最優(yōu)檢測結(jié)果進(jìn)行對比分析。
圖5給出部分圖像測試后的結(jié)果。Canny檢測算法基于梯度法來進(jìn)行邊緣檢測,無法抑制圖像中的簡單背景與紋理,并在輪廓細(xì)節(jié)區(qū)域存在過檢測且不利于圖像的觀察,如圖(a)和(b)等,但該方法的優(yōu)點(diǎn)是邊緣定位準(zhǔn)確,從而漏檢像素點(diǎn)最少,如圖(c);DG方法直接利用高斯導(dǎo)函數(shù)和閾值處理進(jìn)行輪廓檢測,無法有效抑制背景對輪廓的影響,導(dǎo)致在輪廓周圍形成大量毛刺,并且對輪廓的檢測存在很多的漏檢,如圖(b),另外在存在陰影遮擋和細(xì)節(jié)的區(qū)域,檢測效果也很不理想,如圖(d),但該方法的優(yōu)點(diǎn)是具有較快的檢測效率;CORF方法考慮方向選擇特性的組合形成機(jī)制,所以對輪廓較為單一、顏色區(qū)分較大以及細(xì)節(jié)的處理上具有不錯(cuò)的效果,如圖(a)和(c),但是對于顏色區(qū)分不大或者顏色繁多的圖像時(shí),對輪廓的區(qū)分能力明顯下降,如圖(d)和(e),導(dǎo)致輪廓的丟失與誤檢;CO方法相比與另外兩種方法輪廓檢測的效果要好得多,該方法考慮了顏色信息對彩色圖像輪廓提取的關(guān)鍵作用,所以通過圖(d)和(e)來和CORF方法進(jìn)行比較,具有不錯(cuò)的檢測效果,但是該方法沒有考慮到神經(jīng)元群動(dòng)態(tài)編碼對輪廓信息的電生理學(xué)基礎(chǔ)作用,導(dǎo)致過分關(guān)注主體輪廓的完整性而忽視了細(xì)節(jié)的凸顯和對紋理方面的抑制,如圖(c)和(e),存在過多漏檢和誤檢;綜合來看,本研究方法不僅考慮了顏色拮抗特性,而且考慮了方向選擇特性的組合響應(yīng)機(jī)制以及神經(jīng)元群體編碼效應(yīng),使得在處理顏色豐富和陰影區(qū)域時(shí)能準(zhǔn)確凸顯出輪廓,如圖(d)和(e),在背景復(fù)雜、紋理和細(xì)節(jié)交織的區(qū)域,同樣也能較好地提取輪廓,但是該方法的缺點(diǎn)是在凸顯細(xì)節(jié)的過程中,對紋理邊緣的抑制作用不夠,導(dǎo)致圖像無法保持較高的純凈度,如圖(c)和(d)。將5種方法進(jìn)行對比,本研究方法的檢測效果最優(yōu)。
運(yùn)用式(12)~(14)對圖5中檢測圖像的結(jié)果進(jìn)行定量計(jì)算,取各個(gè)方法的最優(yōu)參數(shù)設(shè)置,計(jì)算結(jié)果如表1所示。其中誤檢率漏檢eFP越小,表明檢測結(jié)果具有更少的背景紋理;漏檢率漏檢eFN越小,說明檢測結(jié)果保留了更多的主體輪廓,因此當(dāng)誤檢率和漏檢率趨向于0,整體性能P趨向1,表明該算法檢測效果更優(yōu),檢測輪廓圖更接近于標(biāo)準(zhǔn)輪廓圖。
圖5 部分圖像測試結(jié)果(第1行為原始圖像;第2行為標(biāo)準(zhǔn)輪廓圖像;第3行為Canny算子的處理結(jié)果;第4行為DG模型的處理結(jié)果;第5行為CORF模型的處理結(jié)果;第6行為CO模型處理結(jié)果;第7行為本方法處理結(jié)果)。(a)鵝;(b)飛機(jī);(c)房屋;(d)金字塔;(e)船F(xiàn)ig.5 Image test results(The first row is the original image;the second row is the ground truth;the third row is result of Canny;the fourth row is result of DG;the fifth row is result of CORF;the sixth row is result of CO;the seventh row is result of proposed method).(a)Goose;(b)Plane;(c)House;(d)Pyramid;(e)Boat
從表1中可知,表中的定量計(jì)算結(jié)果與前述對圖5的定性描述所吻合。Canny方法的漏檢率最小、誤檢率極大,對稍有紋理或細(xì)節(jié)區(qū)域就存在過檢測現(xiàn)象導(dǎo)致檢測效果差,但是對于圖像表面光滑、紋理稀少的區(qū)域能夠精確定位邊緣,如圖(c),整體性能P是最優(yōu)的;DG方法的誤檢率和漏檢率相對都較大,可見對輪廓的提取效果不理想,只有對較為簡單的圖像才有效果,如圖(b);CORF方法相對DG方法在神經(jīng)元的方向選擇特性上進(jìn)行了提升,所以檢測效果將優(yōu)于DG方法,但是當(dāng)面對顏色豐富、存在陰影和色偏的圖像時(shí),它的誤檢率就大幅提升,如圖(c)和(d),導(dǎo)致P值不理想;CO方法的檢測效果要優(yōu)于前兩種方法,可能是因?yàn)樗紤]了顏色的拮抗特性,而它的不足在于算法性能的不穩(wěn)定性,雖然有很低的漏檢率,但是誤檢率過高影響了整體性能;本研究方法的漏檢率和誤檢率相對平衡,從而對輪廓的凸顯能力最優(yōu)。另外,本研究從BSDS500圖庫中選擇了100幅測試圖像進(jìn)行實(shí)驗(yàn),其最佳檢測結(jié)果的P值指標(biāo)均值和標(biāo)準(zhǔn)差為0.58±0.04,可見本研究方法對多幅圖像都具有較好的檢測結(jié)果,且結(jié)果較穩(wěn)定。
從以上實(shí)驗(yàn)結(jié)果看出,不管從主觀還是客觀方面分析,本研究算法對輪廓檢測的能力都較優(yōu),特別是當(dāng)面對顏色豐富、存在陰影和色偏的圖像,以及在背景復(fù)雜、紋理和細(xì)節(jié)交織的區(qū)域,都能較好地提取輪廓。
表1 圖5所示圖像對應(yīng)的參數(shù)設(shè)置及性能指標(biāo)Tab.1 Parameter set and performance index of detect results in Fig.5
本研究在模擬視皮層下神經(jīng)元單拮抗感受野特性時(shí),考慮了顏色和亮度在區(qū)分輪廓時(shí)的關(guān)系,提出了一種基于局部亮度信息的動(dòng)態(tài)調(diào)節(jié)模型,從而更大程度上獲取真正的圖像輪廓;另外,考慮到視皮層方向選擇特性與視皮層神經(jīng)元樹突分布形式間的密切聯(lián)系,提出了神經(jīng)元樹突極性的分布模板,從而保護(hù)真實(shí)輪廓不受破壞,進(jìn)而能夠準(zhǔn)確定位;最后,考慮到高級視皮層通過融合不同優(yōu)勢朝向的信息來捕獲輪廓,提出了動(dòng)態(tài)突觸連接的神經(jīng)元網(wǎng)絡(luò)模型,進(jìn)而彌補(bǔ)斷裂輪廓,凸顯輪廓細(xì)節(jié)。
相比于其他方法,Canny方法沒有利用生物視覺進(jìn)行輪廓檢測,所獲得的目標(biāo)輪廓普遍存在著過檢測現(xiàn)象,對紋理背景的抑制極差,缺乏穩(wěn)定性;DG方法只考慮了方向敏感特性,在凸顯整體輪廓的過程中忽視了對輪廓細(xì)節(jié)的考慮,使得誤檢率小但漏檢率過大;CORF方法在方向選擇上相對DG方法進(jìn)行了提高,但是沒有考慮視通路前后環(huán)節(jié)之間的相互作用,以及對顏色這一信息的利用,使得誤檢率和漏檢率都不理想;CO算法只考慮了神經(jīng)元的顏色拮抗特性,忽視了神經(jīng)元網(wǎng)絡(luò)及其群體編碼效應(yīng),使得在輪廓細(xì)節(jié)的表現(xiàn)上較差;本研究方法所獲得的目標(biāo)輪廓更加完整,輪廓線更加平滑與連續(xù),整幅圖像更加純凈,表明本研究方法能有效區(qū)分主體輪廓與背景紋理,提高輪廓檢測的準(zhǔn)確率。
所做的研究與創(chuàng)新如下:
1)提出了一種基于神經(jīng)元顏色拮抗與動(dòng)態(tài)編碼的輪廓檢測新方法。研究了視網(wǎng)膜視錐細(xì)胞、神經(jīng)節(jié)細(xì)胞和外膝體對顏色單拮抗感受野的動(dòng)態(tài)調(diào)節(jié)機(jī)制,初級視皮層的方位及空間選擇特性,及視皮層神經(jīng)元群突觸連接的信息編碼等重要視覺機(jī)制對于視覺輪廓信息處理能力的作用,突出了生物視覺系統(tǒng)信息處理能力的應(yīng)用研究。
2)實(shí)現(xiàn)了一種模擬視覺信息處理機(jī)制的圖像輪廓檢測具體應(yīng)用。結(jié)合視皮層下細(xì)胞對顏色單拮抗感受野的動(dòng)態(tài)調(diào)節(jié)機(jī)制,構(gòu)建特定朝向敏感的神經(jīng)元網(wǎng)絡(luò);對網(wǎng)絡(luò)脈沖輸出序列進(jìn)行首次放電時(shí)間編碼,形成具有朝向信息的敏感圖像;再將敏感圖像通過動(dòng)態(tài)突觸連接的神經(jīng)元網(wǎng)絡(luò),彌補(bǔ)斷裂輪廓,凸顯輪廓細(xì)節(jié),通過融合不同方向響應(yīng),生成最優(yōu)朝向的響應(yīng)圖像;最后進(jìn)行閾值處理,得到最終輪廓圖像。
3)為如何利用視皮層下和視皮層顏色拮抗特性及動(dòng)態(tài)突觸編碼進(jìn)行圖像處理,或者是后續(xù)的圖像分析和理解提供了新思路。以BSDS500圖像分割數(shù)據(jù)庫為例,強(qiáng)調(diào)視皮層下顏色單拮抗感受野的動(dòng)態(tài)調(diào)節(jié)機(jī)制對視覺信息的預(yù)處理,利用神經(jīng)元樹突在方向性感受野形成中的重要作用,構(gòu)建具有特定方向敏感的神經(jīng)元網(wǎng)絡(luò),再將視皮層對方向信息的融合、神經(jīng)元突觸間的動(dòng)態(tài)連接等重要特性考慮進(jìn)來,構(gòu)建視皮層功能層,不僅能夠有效凸顯圖像輪廓信息,還能盡可能抑制背景紋理信息。
本研究探討視覺通路上的組織結(jié)構(gòu)對視覺信息不同的處理與分析能力,引入了視皮層下神經(jīng)元的顏色拮抗特性、基于樹突極性分布的方向選擇響應(yīng)機(jī)制以及初級視皮層雙拮抗神經(jīng)元網(wǎng)絡(luò)的動(dòng)態(tài)編碼機(jī)制,摒棄了黑箱意義上的神經(jīng)元響應(yīng)統(tǒng)計(jì)特性,從視覺感知系統(tǒng)層面出發(fā),體現(xiàn)信息流傳遞和處理的協(xié)同作用的能力,提出了一種基于神經(jīng)元顏色拮抗和動(dòng)態(tài)編碼的輪廓檢測新方法。針對BSDS圖像庫中的圖像,與Canny、DG、CORF以及CO方法進(jìn)行定性與定量比較,表明所提出的方法在圖像輪廓檢測上具有更佳的性能,檢測結(jié)果具有更加完整連續(xù)的目標(biāo)輪廓,能有效剔除了背景紋理邊緣的干擾。這種基于神經(jīng)元顏色拮抗與動(dòng)態(tài)編碼的輪廓檢測新方法,為圖像輪廓檢測技術(shù)提供了新的方法,為后續(xù)的圖像分析和理解提供了新思路,對探討高級視皮層的視覺感知計(jì)算具有重要意義。
[1] Papari G,Petkov N.Edge and line oriented contour detection:State of the art[J].Image & Vision Computing,2011,29(2):79-103.
[2] McIlhagga W. The Canny edge detectorrevisited [J].International Journal of Computer Vision,2011,91(3):251-261.
[3] Kamarainen J.Gabor features in image analysis[C] //IEEE 2012 3rdInternational Conference on Image Processing Theory,Tools and Applications.Istanbul:IEEE,2012:13-14.
[4] Ichida JM,Schwabe L,Bressloff PC,et al.Response facilitation from the“suppressive” receptive field surround of macaque V1 neurons[J].Journal of Neurophysiology,2007,98(4):2168-2181.
[5] Zeng Chi,Li Yongjie,Yang Kaifu,et al.Contour detection based on a non-classical receptive field model with butterflyshaped inhibition subregions[J].Neurocomputing,2011,74(10):1527-1534.
[6] Yang Kaifu,GaoShaobing,Li Chaoyi,et al.Efficient color boundary detection with color-opponent mechanisms[C] //IEEE 2013 26th Conference on ComputerVision and Pattern Recognition.Portland:IEEE,2013:2810-2817.
[7] Martin D,F(xiàn)owlkes C,Tal D,et al.A database of human segmented natural images and its application to evaluating segmentation algorithms and measuringecological statistics[C]//IEEE 2001 8th International Conference on Computer Visual.Vancouver:IEEE,2001,416-423.
[8] Solomon SG,Lennie P.The machinery of color vision[J].Nature Reviews Neuroscience,2007,8(4):276-286.
[9] Xu Xiangmin,Bonds AB,Casagrande VA.Modeling receptivefield structure of koniocellular,magnocellular,and parvocellular LGN cells in the owl monkey(Aotustrivigatus)[J].Visual Neuroscience,2002,19(6):703-711.
[10] Wang Qi,Spratling MW.Contour detection in color images using a neurophysiologically inspired model [J]. Cognitive Computation,2016,8(6):1027-1035.
[11] Jin Jianzhong,Wang Yushi,Swadlow HA,et al.Population receptive fields of ON and OFF thalamic inputs to an orientation column in visual cortex[J].Nature Neuroscience,2011,14(2):232-238.
[12] Wei Hui,Ren Yuan.An orientation detection model based on fitting from multiple localhypotheses [C] //International Conference on Neural Information Processing.Berlin:Springer,2012:383-391.
[13] Purushothaman G,Marion R,Li K,et al.Gating and control of primary visual cortex by pulvinar[J].Nature Neuroscience,2012,15(6):905-912.
[14] 廖進(jìn)文,范影樂,武薇,等.基于抑制性突觸多層神經(jīng)元群放電編碼的圖像邊緣檢測[J].中國生物醫(yī)學(xué)工程學(xué)報(bào),2014,33(5):513-524.
[15] Nirenberg S,Latham PE.Decoding neuronal spike trains:how important are correlations? [J].Proceedings of the National Academy of Sciences,2003,100(12):7348-7353.
[16] Lin Longnian,Osan R,Shoham S,et al.Identification of network-level coding units for real-time representation of episodic experiences in the hippocampus[J].Proceedings of the National Academy of Sciences,2005,102(17):6125-6130.
[17] 李瑤,李浩,龔海慶,等.神經(jīng)節(jié)細(xì)胞群體同步放電模式編碼的感受野特性[J].生物物理學(xué)報(bào),2011,27(3):211-221.
[18] Venkataramani S,Taylor WR.Orientation selectivity in rabbit retinal ganglion cells is mediated by presynaptic inhibition[J].Journal of Neuroscience,2010,30(46):15664-15676.
[19] Grigorescu C,Petkov N,Westenberg MA.Contour detection based on nonclassical receptive field inhibition[J].IEEE Transactions on Image Processing,2003,12(7):729-739.
[20] Young R,Lesperance R.The Gaussian derivativemodel for spatial-temporal vision:II.Cortical data[J].Spatial Vision,2001,14(3):321-389.
[21] Azzopardi G,Petkov N.A CORF computational model of a simple cell that relies on LGN input outperforms the Gabor function model[J].Biological Cybernetics,2012,106(3):177-189.
A Contour Detection Method Based on Color Opponent and Dynamic Coding of Neurons
Hu Junhao Fan Yingle?Li Kangqun Wu Wei
(Laboratory of Pattern Recognition and Image Processing,Hangzhou DianZi University,Hangzhou310018,China)
Based on characteristics of color opponent and dynamic coding mechanism of neuron population,to realize the contour detection of images.Modeling the single color opponent characteristics of neurons on subcortex,a kind of dynamic adjustment mechanism about receptive field with single color opponent was constructed,in order to respond sufficiently on both color and lightness boundaries.Using the dendrite polar distribution of single cells,a neuron network with double color opponent on primary cortex was built to detect visual stimulus of specific orientation,in order to effectively extract the contour.Finally,taking the dynamic synaptic link into consideration,spike frequency response of single cells was synchronized in receptive field of neuron population,in purpose of realizing the inhibition of texture information.BSDS500 database was used in the experiments,the result indicates that the proposed method can effectively inhibit the texture information in the process of extracting the contour,the mean value and standard deviation of measure P for 100 images was 0.58±0.04,relative to other contrast method,improves the accuracy of contour extraction.Our method is effective for image contour detection,and provides a new idea for the image coding or visual cognition of the higher cortex by using the color information and the dynamic coding between the neurons.
contour detection;color opponent;orientation selective;dynamic coding
R318 文獻(xiàn)標(biāo)志碼:A 文章編號:0258-8021(2017)05-0520-09
10.3969 /j.issn.0258-8021.2017.05.002
2017-03-02,錄用日期:2017-05-12
國家自然科學(xué)基金(61501154)
?通信作者(Corresponding author),E-mail:fan@hdu.edu.cn