FC_ICM及其在圖像增強(qiáng)中的應(yīng)用

楊忠斌，呂明釗，胡寶雷

(1.中國航空工業(yè)西安航空計算技術(shù)研究所第1研究室，陜西西安 710068;2.中國航空工業(yè)西安航空計算技術(shù)研究所質(zhì)量部，陜西西安 710068)

交叉視覺皮質(zhì)模型(Intersecting Cortical Model，ICM)是單層神經(jīng)網(wǎng)絡(luò)［1-2］，是基于20世紀(jì)70年代Eckhorn對于家貓視覺皮層神經(jīng)細(xì)胞的研究成果，在綜合幾種視覺皮質(zhì)模型的基礎(chǔ)上，利用生物神經(jīng)元所具有的延遲特性、非線性耦合調(diào)制特性所提出的。ICM具有傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)所不具備的無需學(xué)習(xí)大量樣本即可進(jìn)行圖像處理任務(wù)的特性［3］。文中針對傳統(tǒng)交叉視覺皮質(zhì)模型對神經(jīng)元記憶能力差，且單一的閾值衰減方式限制ICM圖像處理能力的問題［4-5］，提出了一種改進(jìn)型可連續(xù)點(diǎn)火交叉視覺皮質(zhì)模型(Firing Continuable Intersecting Cortical Model，F(xiàn)C_ICM)。并通過選擇合理的突觸函數(shù)、閾值激增判決函數(shù)和閾值衰減函數(shù)，進(jìn)一步提出了基于FC_ICM的直方圖均衡化方法，對比自適應(yīng)直方圖均衡化方法以及基于ICM的圖像增強(qiáng)方法，實(shí)驗(yàn)結(jié)果表明該方法，在圖像增強(qiáng)領(lǐng)域具有良好的應(yīng)用前景。

1 ICM

1.1 ICM的神經(jīng)元架構(gòu)

ICM依據(jù)Eckhorn和Rybak的模型特性，提取了這兩種視覺模型中線性相加、非線性調(diào)制的特性，并加以優(yōu)化。圖1為ICM神經(jīng)元的架構(gòu)圖，其是由樹突、非線性連接調(diào)制和脈沖產(chǎn)生3部分構(gòu)成。

樹突部分的作用是接收來自相鄰神經(jīng)元的輸入信息，由線性連接輸入通道和反饋通道兩部分組成。線性連接輸入通道接受來自局部相鄰神經(jīng)元突觸輸入信息，以及來自外部的刺激信息輸入，而反饋輸入通道接受自身狀態(tài)信息的反饋輸入信息。非線性連接調(diào)制部分即神經(jīng)元的內(nèi)部活動項(xiàng)，神經(jīng)元間通過突觸函數(shù)進(jìn)行互聯(lián)構(gòu)成復(fù)雜的非線性動力學(xué)系統(tǒng)。脈沖是否產(chǎn)生取決于內(nèi)部活動項(xiàng)的大小是否超過其激發(fā)動態(tài)閾值，而此閾值隨著該神經(jīng)元輸出狀態(tài)的變化而變化。ICM的數(shù)學(xué)表達(dá)式如下

圖1 ICM神經(jīng)元架構(gòu)圖

式中，f(f＜1)是神經(jīng)元狀態(tài)值的傳遞系數(shù)，又稱衰減因子，表征神經(jīng)元對上一時刻狀態(tài)值的記憶衰減程度。Sij為輸入圖像對應(yīng)的像素值，其中i，j為各個像素點(diǎn)的坐標(biāo)。Fij為神經(jīng)元狀態(tài)值，θij為動態(tài)閾值，Yij為每一神經(jīng)元的輸出。g為閾值衰減因子，g＜f＜1，保證神經(jīng)元按照對應(yīng)輸入圖像像素值的大小順序點(diǎn)火。h值較大以保證神經(jīng)元點(diǎn)火后對應(yīng)閾值得到較大提升，使神經(jīng)元在下次迭代時不被激發(fā)。n代表迭代次數(shù)，0≤n≤+∞。

1.2 ICM存在的問題

ICM神經(jīng)元的變閾值特性是其動態(tài)脈沖發(fā)放的根源，變閾值特性導(dǎo)致神經(jīng)元被抑制和激活，而硬限幅函數(shù)則實(shí)現(xiàn)神經(jīng)元輸出端脈沖的產(chǎn)生，其相互作用的結(jié)果使神經(jīng)元發(fā)放脈沖，而發(fā)放脈沖的頻率和相位則與神經(jīng)元輸入有關(guān)，故神經(jīng)元輸出可視為是對輸入信號的某種頻率相位的調(diào)制，從而神經(jīng)元發(fā)放脈沖的頻率和相位攜帶了輸入信號的某種特征。

事實(shí)上，對于多個頻率相同的周期性脈沖函數(shù)而言，每個脈沖在單個周期內(nèi)所處的不同位置就代表不同的相位。對于ICM，當(dāng)不考慮連接輸入的影響以及神經(jīng)元對自身狀態(tài)值的記憶功能時，若將神經(jīng)元在只受外部激勵而無其他影響下的點(diǎn)火周期稱為自然點(diǎn)火周期，且假定在受外部激勵最強(qiáng)的神經(jīng)元自然點(diǎn)火周期內(nèi)，所有的神經(jīng)元均發(fā)生點(diǎn)火，并在該自然點(diǎn)火周期后重新初始化每個神經(jīng)元的閾值，則所有點(diǎn)火神經(jīng)元的脈沖頻率均表現(xiàn)一致，其周期則是受外部激勵最強(qiáng)的神經(jīng)元的自然點(diǎn)火周期，而每個神經(jīng)元不同的點(diǎn)火時刻就代表了不同的相位。即相位的不同反映在ICM的每個不同的神經(jīng)元點(diǎn)火時刻上。

綜上分析，文中認(rèn)為ICM存在的問題可概括為:脈沖頻率雖攜帶輸入信號的特征信息，但更多的是作為傳輸通道的一種標(biāo)識字，用以描述神經(jīng)元刺激間的相似性，而真正攜帶信息的是相位調(diào)制，其是將輸入信號的特征反應(yīng)在不同神經(jīng)元的點(diǎn)火時刻上。然而，ICM并未有效地記憶相位調(diào)制特性，在傳統(tǒng)交叉視覺皮質(zhì)模型迭代運(yùn)行過程中，因神經(jīng)元發(fā)放的脈沖既通過神經(jīng)元突觸作用于其他相鄰神經(jīng)元，又作用于自身調(diào)節(jié)神經(jīng)元點(diǎn)火閾值，所以神經(jīng)元的脈沖發(fā)放矩陣Y即是相鄰神經(jīng)元間相互作用的輸入信息，又可視為神經(jīng)元內(nèi)部的自我反饋，但這種脈沖發(fā)放情況是單次不能復(fù)現(xiàn)的，在一個神經(jīng)元點(diǎn)火周期內(nèi)，已完成點(diǎn)火的神經(jīng)元在剩余的點(diǎn)火周期內(nèi)將不能再次點(diǎn)火，神經(jīng)元的點(diǎn)火時刻在脈沖發(fā)放矩陣中無法體現(xiàn)，在點(diǎn)火閾值矩陣中雖有所體現(xiàn)但無法直接獲取需做額外計算，從而導(dǎo)致模型對神經(jīng)元行為記憶能力差的問題。另外，神經(jīng)元點(diǎn)火閾值的單一衰減方式無法滿足進(jìn)行混合噪聲去除、大氣退化圖像恢復(fù)、注意力選擇等復(fù)雜圖像處理的要求，限制了ICM對圖像的處理能力。

2 FC_ICM

2.1 FC_ICM模型的構(gòu)造

作為控制神經(jīng)元脈沖發(fā)放的根源，神經(jīng)元點(diǎn)火閾值既能方便記錄不同的神經(jīng)元點(diǎn)火時刻，又能傳遞同一時刻共同點(diǎn)火的神經(jīng)元信息。因此，針對模型對神經(jīng)元行為記憶能力差的問題，文中提出了采用神經(jīng)元點(diǎn)火閾值作為不同神經(jīng)元間的信息傳遞媒介。另外，閾值變換在圖像處理中作用較大，不能采用一成不變的遞減方式，因此引入了閾值變換函數(shù)，以應(yīng)對不同處理所需的變換。同時，在傳統(tǒng)ICM中，每個神經(jīng)元都有固定的點(diǎn)火周期，一個神經(jīng)元一旦點(diǎn)火就不能在單周期內(nèi)再次點(diǎn)火，這對去除圖像中的噪聲干擾是不利的，所以在新模型中引入了可連續(xù)點(diǎn)火機(jī)制?；谏鲜龇治鎏岢隽丝蛇B續(xù)點(diǎn)火交叉視覺皮質(zhì)模型—FC_ICM，圖2是FC_ICM的神經(jīng)元架構(gòu)圖。

圖2 FC_ICM神經(jīng)元架構(gòu)圖

FC_ICM每個神經(jīng)元和輸入圖像的像素是相對應(yīng)的，神經(jīng)元當(dāng)前時刻的狀態(tài)Fij［n］由3個因素決定:輸入圖像的對應(yīng)像素值Sij;神經(jīng)元上一次迭代結(jié)束時脈沖發(fā)放情況Yij［n-1］;通過突觸函數(shù)Ψ{}互聯(lián)的周圍神經(jīng)元輸入。與ICM不同的是，F(xiàn)C_ICM神經(jīng)元間的信息傳遞媒介是對神經(jīng)元行為具有更強(qiáng)記憶能力的神經(jīng)元點(diǎn)火閾值;神經(jīng)元的脈沖發(fā)放決定了其對周圍刺激的靈敏度;同時改善了神經(jīng)元點(diǎn)火閾值的變換模型，將固化的衰減替換為更加靈活的函數(shù)變換。FC_ICM的數(shù)學(xué)表達(dá)式為

式中，F(xiàn)ij［n］是神經(jīng)元狀態(tài)值;Sij為輸入圖像對應(yīng)像素值，其中ij為各像素點(diǎn)的坐標(biāo);Yij為神經(jīng)元(i，j)的脈沖發(fā)放情況是對Yij取反(0/1→1/0)，避免臨近時刻點(diǎn)火的神經(jīng)元相互干擾，簡化神經(jīng)元動力學(xué)行為;Ψ{}為突觸函數(shù)，決定中心神經(jīng)元和周圍神經(jīng)元的耦合連接關(guān)系;θij為神經(jīng)元動態(tài)點(diǎn)火閾值，在模型中也作為神經(jīng)元的輸出;T{·}為閾值衰減函數(shù);H{·}為閾值激增判決函數(shù);n代表迭代次數(shù)，0≤n≤+∞。

2.2 FC_ICM較ICM的對比優(yōu)勢

FC_ICM繼承了傳統(tǒng)交叉視覺皮質(zhì)模型的相位調(diào)制特性，輸入信號的特征信息在不同的神經(jīng)元點(diǎn)火時刻可得到充分反應(yīng)，區(qū)別在于:(1)FC_ICM神經(jīng)元無需重復(fù)記憶自身的狀態(tài)值，神經(jīng)網(wǎng)絡(luò)的內(nèi)部作用信號得以簡化成外部激勵信號和受神經(jīng)元點(diǎn)火狀態(tài)控制的周圍神經(jīng)元反饋之和。(2)采用神經(jīng)元動態(tài)點(diǎn)火閾值作為神經(jīng)網(wǎng)絡(luò)的反饋，從而對神經(jīng)元行為的記憶時間更長，且將動態(tài)點(diǎn)火閾值作為反饋和外部激勵共同決定神經(jīng)元的狀態(tài)值，可更好地處理外部激勵間的相關(guān)性。(3)將閾值衰減因子替換為函數(shù)變換，可根據(jù)具體應(yīng)用靈活選擇相應(yīng)的衰減函數(shù)，擺脫了單一的衰減模式對神經(jīng)網(wǎng)絡(luò)圖像處理能力的束縛，改善了其圖像處理能力。(4)在點(diǎn)火神經(jīng)元的閾值提升時增加了鄰域判讀，以決定對應(yīng)閾值是否發(fā)生陡變，且實(shí)現(xiàn)了神經(jīng)元的連續(xù)點(diǎn)火。例如，假設(shè)在式(5)中第k個神經(jīng)元在第n時刻完成點(diǎn)火，但若該神經(jīng)元的閾值經(jīng)式(6)判讀后未發(fā)生陡增，則該神經(jīng)元在第n+1時刻會繼續(xù)點(diǎn)火，此過程可看作FC_ICM的連續(xù)點(diǎn)火機(jī)制。

3 FC_ICM在圖像增強(qiáng)中的應(yīng)用

直方圖表示數(shù)字圖像中每一灰度級與此灰度級對應(yīng)的圖像中像素點(diǎn)數(shù)之間的統(tǒng)計關(guān)系。進(jìn)行直方圖均衡后可使圖像的灰度間距拉開或使灰度分布均勻，從而增加了反差，使圖像細(xì)節(jié)清晰，達(dá)到增強(qiáng)目的。其實(shí)質(zhì)是將概率大的灰度相互拉開以體現(xiàn)細(xì)節(jié)，概率小的灰度級有可能被合并，因其像素少，不易被人眼察覺。傳統(tǒng)直方圖均衡化方法的一個較大的缺陷在于其增強(qiáng)了較平坦區(qū)域的不均勻性，容易產(chǎn)生偽輪廓，同時也會放大噪聲。

3.1 基于FC_ICM的直方圖均衡化算法描述

基于FC_ICM設(shè)計了一種既能增加圖像全局對比度又可提升局部對比度，且具有一定去噪能力的直方圖均衡化方法。FC_ICM中的突觸函數(shù)表達(dá)式設(shè)為

當(dāng)某一未點(diǎn)火神經(jīng)元周圍有超過5個均點(diǎn)火時，上式結(jié)果為

因此，滿足條件的神經(jīng)元狀態(tài)值會得到迅速提升，在下一時刻該神經(jīng)元的狀態(tài)值將大于點(diǎn)火閾值，從而完成點(diǎn)火、發(fā)放脈沖。否則

這些神經(jīng)元將繼續(xù)等待閾值衰減到一定程度才能點(diǎn)火。所以，當(dāng)一神經(jīng)元和周圍神經(jīng)元所受激勵的相似性較大時，突觸函數(shù)的這種表達(dá)形式允許該神經(jīng)元提前點(diǎn)火，從而可有效銳化圖像邊緣。

噪聲在圖像中表現(xiàn)為一些灰度上的奇異點(diǎn)，而灰度大小直接反應(yīng)在神經(jīng)元所接受的刺激強(qiáng)度上，又因?qū)ι窠?jīng)元的刺激強(qiáng)度可決定神經(jīng)元的脈沖發(fā)放時刻，所以脈沖發(fā)放矩陣能有效反應(yīng)出圖像中的奇異點(diǎn)。綜上分析，在FC_ICM中采用的閾值激增判決函數(shù)表達(dá)式為

當(dāng)Yij［n+1］=1 時

當(dāng)Yij［n+1］=0 時

由式(11)可見，當(dāng)一個點(diǎn)火神經(jīng)元的相鄰處僅有1個或無點(diǎn)火時，該神經(jīng)元在接下來的時刻會繼續(xù)點(diǎn)火，直到周圍有多個神經(jīng)元點(diǎn)火為止，這一神經(jīng)元所對應(yīng)的圖像像素值，被歸類到周圍有多個其共同點(diǎn)火時刻的神經(jīng)元所對應(yīng)的圖像像素所在的灰度級。閾值衰減函數(shù)設(shè)置為

其中，ΔSi為閾值衰減梯度，由直方圖均衡化的過程確定。將FC_ICM感知的圖像灰度作為增強(qiáng)后的圖像亮度，表達(dá)式為

綜上所述，文中提出的基于FC_ICM直方圖均衡化方法的具體步驟如下:

(1)將待增強(qiáng)圖像由RGB空間轉(zhuǎn)換到HSV空間，提取亮度分量并歸一化作為原始輸入圖像，計算輸入圖像的累積分布函數(shù)

式中，L是圖像均衡化后的灰度級個數(shù)，ni是圖像中具有灰度值Vi的像素個數(shù)，n是圖像的像素總數(shù)，Vk是圖像的第k級灰度值，EH()表示求累積分布。

(2)計算累積分布函數(shù)的反函數(shù)，并得到神經(jīng)元點(diǎn)火閾值的衰減梯度

(3)用上一步得到的ΔVL-k作為閾值的衰減梯度

式中，θij［0］初始化為 1。

(4)初始化神經(jīng)元脈沖發(fā)放矩陣Y=0。

(5)依次計算神經(jīng)元狀態(tài)值、脈沖發(fā)放矩陣、神經(jīng)元點(diǎn)火閾值，同時根據(jù)式(16)得到第i時刻點(diǎn)火神經(jīng)元感知的圖像灰度。

(6)判斷神經(jīng)元點(diǎn)火閾值是否衰減至0，是則執(zhí)行第(7)步，否則返回第(5)步。

(7)將神經(jīng)元感知的圖像灰度作為FC_ICM的增強(qiáng)結(jié)果，并將此結(jié)果投影到灰度范圍0～255內(nèi)，作為增強(qiáng)后的亮度圖像輸出。

(8)在亮度比例約束下進(jìn)行彩色圖像的恢復(fù)，公式如下［6］

I與IEN是增強(qiáng)前后的亮度圖像，構(gòu)成了增強(qiáng)比例因子，Sj，SR_j為RGB3個通道基于亮度分量變化校正前后的分量(j=r，g，b)。

3.2 仿真實(shí)驗(yàn)和分析

算法通過Matlab7.1進(jìn)行仿真，硬件平臺的配置為AMD雙核CPU，主頻2.1 GHz，內(nèi)存2 GB。式(14)中的動態(tài)范圍調(diào)節(jié)因子α設(shè)置為0.82，圖像灰度級L設(shè)為50。針對來源于文獻(xiàn)的典型測試圖像，對FC_ICM模型在圖像增強(qiáng)中的應(yīng)用進(jìn)行了仿真，并與CLAHE［7］和基于 ICM 的算法［8］進(jìn)行比較。

圖3 典型非均勻光照人像

圖像增強(qiáng)面向主觀程度較高，而為了自動化評價的實(shí)現(xiàn)，選用了幾種客觀評價標(biāo)準(zhǔn):使用圖像均值來衡量整體亮度，鄰域標(biāo)準(zhǔn)差平均值表征局部特征，對于細(xì)節(jié)邊緣等對比度信息使用基于梯度域的清晰度(Definition)來進(jìn)行測度。清晰度定義的基本公式是平均梯度，對于尺寸為M×N的圖像，其清晰度計算方法為

主觀上看，以上方法均可實(shí)現(xiàn)光照動態(tài)范圍的調(diào)節(jié)，展現(xiàn)處于陰影中的細(xì)節(jié)，并一定程度的抑制較強(qiáng)光源的影響?？梢钥闯觯贗CM的方法處理結(jié)果色彩過于飽和，且圖像細(xì)節(jié)被平滑;經(jīng)典的CLAHE處理結(jié)果光暈現(xiàn)象和塊效應(yīng)明顯，對于暗區(qū)的細(xì)節(jié)展現(xiàn)存在不足;文中算法的處理結(jié)果光照更加均勻，對比度得到有效提升，細(xì)節(jié)清晰，場景色彩得到較好的保持。綜上，文中算法的主觀評價質(zhì)量更優(yōu)。由于有些算法增強(qiáng)結(jié)果存在過增強(qiáng)現(xiàn)象，視覺效果較差，表1中的客觀評價指標(biāo)僅做參考，需結(jié)合主觀評價對圖像增強(qiáng)效果進(jìn)行綜合評定。

表1 幾種算法處理結(jié)果客觀評價

將彩色圖像轉(zhuǎn)換為灰度圖，并將平均亮度調(diào)整到同一灰度值后，選用式(20)描述的峰值信噪比(PSNR)對圖4中(b)、(c)、(d)進(jìn)行客觀評價，得到(b)、(c)、(d)的 PSNR 分別為 42.645 2、120.131 7、108.322 5，可見文中算法具有一定的噪聲抑制能力。

式中，f為原始圖像，f'為增強(qiáng)后的圖像，MAX為f(x，y)的最大值，對于8 bit圖像，MAX=255，M，N為圖像尺寸。

圖4 噪聲抑制實(shí)驗(yàn)

4 結(jié)束語

文中在傳統(tǒng)交叉視覺皮質(zhì)模型基礎(chǔ)上，將神經(jīng)元間的通信媒介由脈沖發(fā)放矩陣修改為神經(jīng)元點(diǎn)火閾值，并將原模型中單一的衰減模式改變?yōu)殪`活的變換函數(shù)，增加了神經(jīng)元在單周期內(nèi)可連續(xù)點(diǎn)火機(jī)制。并從理論上闡釋了FC_ICM較ICM所具有的優(yōu)勢，同時基于新模型提出了一種改進(jìn)的直方圖均衡化方法，驗(yàn)證了新模型在圖像處理中具有良好的噪聲抑制能力。

ICM的閾值衰減函數(shù)呈單一的衰減模式，限制了模型的應(yīng)用范圍，新模型的閾值衰減函數(shù)雖靈活多變，但如何合理選擇仍存在的問題。新模型的神經(jīng)元可連續(xù)點(diǎn)火特性是否有某種視覺機(jī)制可遵循，仍有待于研究。在今后的研究工作中應(yīng)參考對脈沖耦合神經(jīng)網(wǎng)絡(luò)的研究進(jìn)展以及有關(guān)ICM的在去噪性能方面的改進(jìn)［1，4-5］對模型做進(jìn)一步優(yōu)化［9］。

圖5 更多實(shí)驗(yàn)結(jié)果

［1］GAO Shan，LI Cheng，BI Duyan.Equivalence relation between intersecting cortical model and binary mathematic Morphology in Image Processing［C］.Paris:AICI2009，3:490-494.

［2］EKBLAD U，KINSER J M.The intersecting cortical model in image processing［J］.Nuclear Instruments ＆ Methods in Physics Research A，2004，525(1):392-396.

［3］高山，畢篤彥.交叉視覺皮質(zhì)模型的格論理解［J］.西安電子科技大學(xué)學(xué)報，2009，36(6):1120-1125.

［4］GAO Shan，LI Cheng，BI Duyan.Image enhancement algorithm based on NF-ICM ［J］.Chinese Optics Letters，2010，8(5):474-478.

［5］ZHANG Xiangguang.A new kind of hybrid filter based on the ICM and the improved extremum-and-median filter［C］.International Conference on Computer and Electrical Engineering，2008:890-893.

［6］LI Tao，VIJAYAN A K.An adaptive and integrated neighborhood dependent approach for nonlinear enhancement of color images［J］.SPIE Journal of Electronic Imaging，2005，14(4):1-14.

［7］PIZER S M，AMBURN E P.Adaptive histogram equalization and its variations［C］.SPIE Proceedings，1989，1092:290-300.

［8］鞠明，李成，高山，等.基于向心自動波交叉皮質(zhì)模型的非均勻光照圖像增強(qiáng)［J］.自動化學(xué)報，2011，37(7):800-810.

［9］ZHAO Bin.Review of pulse-couple neural networks［J］.Image and Vision Computing，2010，28(1):5-13.