基于隨機(jī)放電神經(jīng)元網(wǎng)絡(luò)的彩色圖像感知研究*

徐子恒 何玉珠 康艷梅

(西安交通大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院,西安 710049)

本文基于隨機(jī)共振原理和人腦感知物體色彩的基本生物物理過程,提出了一種低照度彩色圖像增強(qiáng)的可解釋算法.我們首先研究了電導(dǎo)基積分放電神經(jīng)元網(wǎng)絡(luò)中的隨機(jī)共振現(xiàn)象,揭示了放電閾值、突觸權(quán)重和集群規(guī)模對輸出響應(yīng)信噪比的影響,并識(shí)別出放電閾值是影響隨機(jī)共振效應(yīng)的關(guān)鍵參數(shù).然后,在結(jié)合彩色圖像視覺感知的生理過程的基礎(chǔ)上,給出了一種基于隨機(jī)放電神經(jīng)元網(wǎng)絡(luò)的彩色圖像增強(qiáng)算法,并以峰值信噪比(PSNR)和自然圖像質(zhì)量評估(NIQE)作為提取最優(yōu)增強(qiáng)圖像的度量指標(biāo).注意到待增強(qiáng)的圖像是非周期信號(hào),因此,為了優(yōu)化算法的性能,首次提出了一種基于亮度分布的分位數(shù)的閾值選取策略.數(shù)值實(shí)驗(yàn)結(jié)果表明,該算法的增強(qiáng)效果良好且性能穩(wěn)定,并可用于軍事探測和醫(yī)學(xué)圖像預(yù)處理等信號(hào)處理領(lǐng)域.

1 引言

圖像感知又稱為視覺感知或圖像對比度增強(qiáng),是圖像處理領(lǐng)域的重要研究課題,其應(yīng)用涉及軍事夜視、道路交通、視頻監(jiān)控、生物醫(yī)學(xué)等方面.常規(guī)的圖像增強(qiáng)方法或者基于“降噪”處理,例如直方圖均衡化方法[1]、自適應(yīng)濾波器的增強(qiáng)算法[2],或者基于反射光線對波長的依賴性,例如基于Retinex理論的融合算法[3].然而,這些方法的生物學(xué)可解釋性還有待加強(qiáng).

一般來說,在線性系統(tǒng)或者近平衡系統(tǒng)中,系統(tǒng)響應(yīng)的信噪比總是噪聲強(qiáng)度的減函數(shù),此時(shí)噪聲的干擾只會(huì)產(chǎn)生負(fù)面作用,但在遠(yuǎn)離平衡的非線性系統(tǒng)例如隨機(jī)共振系統(tǒng),適量的噪聲卻具有放大弱信號(hào)的有益作用.所謂的隨機(jī)共振,是指在一定的非線性多穩(wěn)系統(tǒng)或可興奮系統(tǒng)中,由于能量轉(zhuǎn)換作用,適量的噪聲能夠最優(yōu)地放大微弱的輸入信號(hào),使得系統(tǒng)響應(yīng)的信噪比或譜放大因子隨噪聲強(qiáng)度的變化呈現(xiàn)出先增大后減小的類似于“共振”的反常規(guī)效應(yīng).該現(xiàn)象是意大利科學(xué)家為解釋古氣象學(xué)中冷氣候期和暖氣候期的周期性交替所提出[4],已在模型和實(shí)驗(yàn)方面得到了廣泛的例證和揭示[5].

隨機(jī)共振原理的一個(gè)重要應(yīng)用是圖像處理[6-10].就我們所知,文獻(xiàn)[6]是隨機(jī)共振原理在視覺感知和圖像增強(qiáng)中的最早應(yīng)用;隨后的典型研究包括隱藏目標(biāo)提取[11]、水印解碼[12]、受損視覺改進(jìn)[13]、腦機(jī)接口[14]以及圖像去霧[15]等.這些研究結(jié)合不同的應(yīng)用例證了噪聲在圖像增強(qiáng)與圖像恢復(fù)中產(chǎn)生的積極作用.特別地,基于隨機(jī)共振原理的圖像增強(qiáng)算法,不同于傳統(tǒng)的降噪方法,它不是通過抑制或消除噪聲而是通過利用噪聲來實(shí)現(xiàn)圖像的增強(qiáng).由于現(xiàn)有文獻(xiàn)中基于隨機(jī)共振原理的圖像增強(qiáng)算法大多缺乏算法實(shí)現(xiàn)的細(xì)節(jié),而且既沒能和視覺感知的基本過程相結(jié)合，也沒能與隨機(jī)共振的基本原理完全貼合，因而同樣缺乏可解釋性.

包括隨機(jī)共振現(xiàn)象在內(nèi)的大量研究表明,噪聲普遍存在于神經(jīng)系統(tǒng)并且在神經(jīng)信息的編碼和傳遞中能夠發(fā)揮積極作用[16-18].為了提出一種具有生物可解釋性的視覺感知算法,最近我們課題組在了解人腦視覺感知物體輪廓的基本生物物理過程[19,20]的基礎(chǔ)上,基于放電神經(jīng)元網(wǎng)絡(luò)中的隨機(jī)共振效應(yīng)提出了一種增強(qiáng)黑白圖像的視覺感知算法[21].為了得到更為一般的具有生物可解釋性的視覺感知算法,本文希望把該視覺感知算法加以推廣,以便得到適用于低亮度的彩色圖像增強(qiáng)的視覺感知算法.

本文分為五部分.第二部分,借助數(shù)值模擬研究放電神經(jīng)元網(wǎng)絡(luò)的隨機(jī)共振現(xiàn)象及其對模型參數(shù)的依賴性,以便為彩色圖像增強(qiáng)算法的設(shè)計(jì)提供理論指導(dǎo).第三部分,結(jié)合視覺感知的一般生理過程,給出適用于低亮度彩色圖像增強(qiáng)的隨機(jī)動(dòng)力系統(tǒng)算法.第四部分給出了相關(guān)的數(shù)值試驗(yàn)結(jié)果及進(jìn)一步的討論.最后是研究結(jié)論和展望.

2 積分放電神經(jīng)元網(wǎng)絡(luò)與隨機(jī)共振現(xiàn)象

考慮由N個(gè)突觸電導(dǎo)積分放電神經(jīng)元組成的神經(jīng)元網(wǎng)絡(luò)[22],每個(gè)神經(jīng)元模型的Langevin 控制方程為

其中Vi(t)表示第i個(gè)神經(jīng)元在時(shí)刻t的膜電位;Isyn,i(t)代表第i個(gè)神經(jīng)元在t時(shí)刻接收到的來自其他神經(jīng)元的電導(dǎo)突觸電流;sj(t)代表第j個(gè)神經(jīng)元的突觸離子通道門在時(shí)刻t的開放比例,其中δ(·)表示狄拉克δ函數(shù);Iext(t)εcos(Ωt)+代表第i個(gè)神經(jīng)元接收到的含有皮層活動(dòng)噪聲的外部輸入電流,其中ξi(t) 是均值為零、方差為1 的高斯白噪聲,D是噪聲強(qiáng)度參數(shù).相關(guān)參數(shù)含義如下:在方程(1a)中,Cm代表膜電容,gl代表漏電導(dǎo),VL是漏電流,Vth是放電閾值電位;在方程(1b)中,gs代表突觸電導(dǎo),Esyn代表突觸反轉(zhuǎn)電位,wij表示突觸權(quán)重;在方程(1c)中,τl代表突觸時(shí)延,τd代表突觸時(shí)間常數(shù),tj,k代表第j個(gè)神經(jīng)元的第i個(gè)放電時(shí)刻.膜電位Vi(t)一旦到達(dá)閾值電位Vth,即刻釋放動(dòng)作電位,并且立即被重置到靜息電位Vre,并在短暫的不應(yīng)期τref之后重新按方程(1a)進(jìn)行演化.為了簡便起見,本文忽略了不應(yīng)期的影響即令τref0.設(shè)ti,k表示第i個(gè)神經(jīng)元的第k個(gè)放電時(shí)刻,則第i個(gè)神經(jīng)元以及神經(jīng)元網(wǎng)絡(luò)的輸出響應(yīng)可分別表示為

注意到模型(1)的隨機(jī)解可由Euler-Maruyama算法即

模擬得到.這里=Vi(tn),Δ=Vi(tn+1)-Vi(tn),Δtntn+1-tn,Isig(tn)εcos(Ωtn)是相干信號(hào)的離散形式,ri是標(biāo)準(zhǔn)正態(tài)分布的偽隨機(jī)數(shù).

圖1 給出了單個(gè)神經(jīng)元及神經(jīng)元種群放電行為的演化示例.圖1(a)是沒有外部電流時(shí)的膜電位變化圖,膜電位的初值為0,靜息電位設(shè)為Vre-0.3,可以觀察到在開始放電后膜電位從0 迅速變?yōu)椤?.3,隨后便一直處在靜息電位不再產(chǎn)生變化.我們知道動(dòng)作電位是神經(jīng)元之間的基本通訊形式,然而,由圖1(b)可見,當(dāng)電流輸入中僅有閾下的余弦信號(hào)時(shí),膜電位始終在閾下演化區(qū)域演化,不會(huì)產(chǎn)生動(dòng)作電位,此時(shí)由余弦信號(hào)所攜帶的激勵(lì)信息就無法傳遞給其他神經(jīng)元.當(dāng)輸入電流中既含閾下的余弦信號(hào)又含有適量噪聲時(shí),由于噪聲與信號(hào)之間的協(xié)作作用,膜電位能夠上穿閾值從而產(chǎn)生動(dòng)作電位,此時(shí)動(dòng)作電位序列既有一定的隨機(jī)性又有一定的相干性(如圖1(c)).顯然,圖1(c)及圖1(d)中單個(gè)神經(jīng)元所呈現(xiàn)出的噪聲增強(qiáng)的相干性在神經(jīng)元種群的柵格圖(圖1(e))中體現(xiàn)得更為明顯.這里的噪聲增強(qiáng)的相干性其實(shí)就是所謂的隨機(jī)共振現(xiàn)象,其典型特征是系統(tǒng)輸出響應(yīng)的信噪比是噪聲強(qiáng)度的非單調(diào)函數(shù),即信噪比隨噪聲強(qiáng)度的變化曲線會(huì)呈現(xiàn)出先增大后減小的單峰結(jié)構(gòu).除此之外,通過觀察圖1(e)發(fā)現(xiàn),神經(jīng)元集群的放電時(shí)間均集中在周期2π 的整數(shù)倍處,這正是隨機(jī)共振的另一特性.同時(shí),對應(yīng)于圖1(c),圖1(e)中神經(jīng)元較為集中的時(shí)刻也可以間接地反映出在此時(shí)神經(jīng)元膜電位較大.

圖1 模型(1)的時(shí)間歷程圖 (a)僅含漏電項(xiàng)的單個(gè)神經(jīng)元膜電位示意圖,Vre=-0.3 ;(b)無噪聲時(shí)單個(gè)神經(jīng)元的膜電位演化;(c)有噪聲時(shí)單個(gè)神經(jīng)元的膜電位演化;(d)有噪聲的單個(gè)神經(jīng)元的放電序列串;(e)有噪聲神經(jīng)元集群的放電格柵圖,其中實(shí)心點(diǎn)代表當(dāng)前時(shí)刻所對應(yīng)的神經(jīng)元有動(dòng)作電位產(chǎn)生.圖(b)至圖(e)參數(shù):Vth=0.3 ,Vre=0,gl=gs=1,Cm=1 ,Esyn=0,ε=0.1,Ω=1,τs=1,τd=0.5,N=50,t=100;(b) D=0;(c),(e)D=0.025Fig.1.The evolution diagram of model (1):(a)Single neuron’s potential only with leaky term,Vre=-0.3 ;(b) single neuron’s membrane potential evolution without noise;(c)single Neuron’s membrane potential evolution with noise;(d) single neuron’s spike train with noise;(e) raster plot of the network where every node denotes a spike at a corresponding time and neuron.Parameters from picture (b) to(e) are set as Vth=0.3 ,Vre=0,gl=gs=1,Cm=1,Esyn=0,ε=0.1,Ω=1,τs=1 ,τd=0.5,N=50,t=100;(b) D=0;(c),(e) D=0.025 .

根據(jù)文獻(xiàn)[16],可用信噪比刻畫輸出響應(yīng)的相干程度,其定義為

其中S(ω)是所考慮的神經(jīng)元網(wǎng)絡(luò)的輸出響應(yīng)y(t)的平均功率譜密度,S(Ω)是信號(hào)成分的平均譜密度,N(Ω)表示噪聲在信號(hào)頻率ω=Ω處的平均譜密度.圖2 給出了神經(jīng)元集群輸出響應(yīng)的信噪比隨噪聲強(qiáng)度D、閾值Vth及權(quán)重w的變化情況.由圖2(a)可知,該集群響應(yīng)的信噪比總體上是先隨噪聲強(qiáng)度的增加而增加后隨噪聲強(qiáng)度的變化而減小,這種非單調(diào)變化趨勢恰好說明了模型(1)在突觸噪聲和弱余弦信號(hào)的驅(qū)動(dòng)下發(fā)生了隨機(jī)共振現(xiàn)象.由圖2(a)和圖2(c)可以看出,突觸權(quán)重的改變對信噪比的影響并不明顯.由于本文選取的Isyn,i(t)為抑制性突觸電流[22],由此推測,信噪比隨突觸權(quán)重的變化沒有明顯改變這一性質(zhì),應(yīng)該與突觸電流的抑制性有關(guān).由圖2(a)和圖2(b)還可看到,放電閾值的大小明顯影響著隨機(jī)共振曲線的峰高:放電閾值與弱信號(hào)的幅值越接近,隨機(jī)共振效應(yīng)越顯著.這一觀察告訴我們:在基于模型(1)的隨機(jī)共振效應(yīng)設(shè)計(jì)弱信號(hào),例如低照度彩色圖像的增強(qiáng)算法中,應(yīng)當(dāng)使圖像信號(hào)的某種幅值盡可能地靠近動(dòng)作電位發(fā)放的臨界閾值.

圖2 (a)信噪比隨閾值 Vth,突觸權(quán)重 w 變化圖;(b)不同閾值信噪比變化情況;(c)不同突觸權(quán)重信噪比變化情況.參數(shù)Vre=0,gl=gs=1,Cm=1,Esyn=0,ε=0.1,Ω=1,τs=1 ,τd=0.5,N=5,t=100Fig.2.(a) Signal-to-noise ratio for different threshold Vth and synaptic weight w;(b) signal-to-noise ratio for different threshold Vth;(c) signal-to-noise ratio for different synaptic weight w.Parameters are set as Vre=0,gl=gs=1,Cm=1,Esyn=0,ε=0.1,Ω=1,τs=1 ,τd=0.5,N=5,t=100 .

考慮到大腦對彩色圖像的感知要通過大量視錐神經(jīng)元的協(xié)同作用來實(shí)現(xiàn),從而在設(shè)計(jì)圖像增強(qiáng)算法時(shí),還應(yīng)當(dāng)選取適當(dāng)?shù)募阂?guī)模以便得到更好的圖像增強(qiáng)效果.為此,需要討論模型(1)的規(guī)模即神經(jīng)元個(gè)數(shù)對隨機(jī)共振效應(yīng)的影響.如圖3 所示,當(dāng)集群的規(guī)模小于50 時(shí),隨機(jī)共振效應(yīng)對規(guī)模較為敏感,即規(guī)模越大,隨機(jī)共振效果愈顯著,但當(dāng)集群的規(guī)模大于50 時(shí),隨機(jī)共振效應(yīng)對規(guī)模則不再敏感,例如當(dāng)集群規(guī)模由50 增大到100 時(shí),信噪比的峰值幾乎不再增加.通過以上現(xiàn)象可以推斷出,基于隨機(jī)共振原理的彩色圖像增強(qiáng)算法對于圖像的增強(qiáng)效果,應(yīng)該不會(huì)隨著神經(jīng)元集群規(guī)模的增長而無限增長,因而在設(shè)計(jì)算法的時(shí)候,選取一個(gè)足夠大的集群規(guī)模即可.

圖3 信噪比隨神經(jīng)元集群尺寸變化圖,參數(shù)Vth=0.3,w=-0.2,Vre=0,gl=gs=1,Cm=1,Esyn=0,ε=0.1,Ω=1,τs=1 ,τd=0.5,t=100Fig.3.Signal-to-noise ratio for different quantity of neurons with Vth=0.3,w=-0.2,Vre=0,gl=gs=1,Cm=1,Esyn=0,ε=0.1,Ω=1,τs=1 ,τd=0.5,t=100.

3 基于隨機(jī)共振原理的彩色圖像增強(qiáng)算法

隨機(jī)共振的發(fā)生需要三個(gè)要素:一定的非線性條件、適量的噪聲和某種形式的弱信號(hào)輸入.神經(jīng)元本身就是非線性的信息處理單元,神經(jīng)系統(tǒng)內(nèi)部存在著各種噪聲源,而來自外界的低對照度圖像則是對應(yīng)的弱信號(hào)輸入.為了給出具有生物可解釋性的彩色圖像的感知算法,首先要解決的問題是選擇合適的顏色空間,以便為隨機(jī)共振效應(yīng)的發(fā)生創(chuàng)造條件.需要解決的第二個(gè)問題則是如何把基于模型(1)的圖像增強(qiáng)算法與人類視覺感知的基本生物物理過程相結(jié)合.如何找到合適的度量指標(biāo)以便挑選出最佳的目標(biāo)圖像,則是該算法設(shè)計(jì)中的另一個(gè)關(guān)鍵問題.

3.1 色彩空間理論

計(jì)算機(jī)是以RGB 格式對彩色圖像進(jìn)行存儲(chǔ)的,即任意一種色彩都可由紅、綠、藍(lán)三原色的疊加而成.注意到在RGB 色彩空間中,笛卡爾坐標(biāo)系的原點(diǎn)對應(yīng)的是黑色,從而對于低亮度的彩色圖像,它的每個(gè)原色分量都有可能是低于閾值的弱信號(hào).因此,基于RGB 空間和隨機(jī)共振原理的感知算法設(shè)計(jì),往往需要對紅、綠、藍(lán)三個(gè)原色分量分別處理,而且還要考慮人眼對不同波長光線的敏感性差異.顯然,這樣的算法設(shè)計(jì)過于復(fù)雜且容易造成圖像信息的丟失.

相較于RGB 顏色空間,HSV 色彩空間模型與人類視覺系統(tǒng)感知顏色的方式更加相似,其中HSV 分別代表hue(色調(diào)),saturation (飽和度),value (亮度).色調(diào)指圖像的顏色,因此調(diào)節(jié)色調(diào)也就意味著改變顏色,其取值范圍為0°到360°;飽和度是指顏色接近光譜色的程度,其值在0% (白色)到100% (光譜色)之間,飽和度越高,顏色越深而艷.亮度表示圖像的明亮程度,取值在0%(黑)到100% (白)之間.在HSV 色彩空間中,人眼對色差的感知更加均勻并且消除了圖像中亮度分量與色彩分量的聯(lián)系,因此對亮度分量增強(qiáng)即能在一定的意義上實(shí)現(xiàn)對低亮度圖像的增強(qiáng).

由上面的分析可知,設(shè)計(jì)彩色圖像感知算法的第一步是通過下面的非線性變換[23],將RGB圖像變?yōu)镠SV圖像:

其中(r,g,b)分別是像素顏色的紅、綠和藍(lán)坐標(biāo),其值是在0到1 之間,max 是r,g,b 中的最大者,min 為r,g,b 中的最小者.

又由于計(jì)算機(jī)是以RGB 格式對彩色圖像進(jìn)行存儲(chǔ)的,因而設(shè)計(jì)彩色圖像感知算法的最后一步需要把HSV 空間的圖像轉(zhuǎn)化為RGB 空間中的圖像,從而就要進(jìn)行借助(5a)式—(5c)式的逆變換:

式中,hi[H/60]mod 6 ,qV×(1-f×S),f(H/60)-hi,pV×(1-S),tV×(1-(1-f)×S).

3.2 視覺感知算法的主要步驟與流程

圖像增強(qiáng)的目的是為了幫助人們更容易地感知圖像所包含的重要信息,因此,在設(shè)計(jì)圖像增強(qiáng)算法時(shí),不僅要考慮到低亮度圖像本身的性質(zhì),也應(yīng)當(dāng)充分考慮人眼成像的生物物理過程.根據(jù)文獻(xiàn)[24],當(dāng)人眼視物時(shí),物體圖像的反射光線通過屈光系統(tǒng)進(jìn)入視網(wǎng)膜,視網(wǎng)膜中的感光細(xì)胞吸收光線并進(jìn)而將光信號(hào)轉(zhuǎn)換為電信號(hào),然后通過神經(jīng)束傳送到視覺皮層中產(chǎn)生圖像.由此可見,為了完善算法的生物學(xué)可解釋性,有必要對視網(wǎng)膜的結(jié)構(gòu)和功能進(jìn)行了解.視網(wǎng)膜上主要有兩種感光細(xì)胞:視桿細(xì)胞和視錐細(xì)胞.視桿細(xì)胞主要分布在視網(wǎng)膜的周邊,光敏度較高,但分辨率很差,在低亮度環(huán)境下只能分辨出物體的大致輪廓但無法分辨顏色,而視錐細(xì)胞分布在視網(wǎng)膜中央的黃斑區(qū),對亮光較為敏感且具有高分辨率和顏色辨別能力.鑒于上面的分析,本文基于人眼視覺感知框架的低亮度彩色圖像增強(qiáng)算法分為三個(gè)主要步驟.首先,通過視網(wǎng)膜中的感光器接收光信號(hào)并將其轉(zhuǎn)換為電脈沖信號(hào),這一過程稱為編碼過程;然后,在視覺皮層中對電脈沖信號(hào)進(jìn)行處理,稱為解碼和整合的過程;最后,調(diào)節(jié)噪聲強(qiáng)度,得到利用隨機(jī)共振原理對低亮度圖像進(jìn)行增強(qiáng)后的最優(yōu)解,總體流程圖如圖4 所示.

圖4 圖像增強(qiáng)流程圖Fig.4.The flow chart of dark image enhancement algorithm.

下面介紹算法步驟的細(xì)節(jié):

I) 編碼過程

當(dāng)光線進(jìn)入眼睛,視網(wǎng)膜首先將HSV 顏色空間的圖像信號(hào)轉(zhuǎn)換成神經(jīng)電脈沖.考慮到負(fù)責(zé)顏色感知的主要是視錐細(xì)胞,而視網(wǎng)膜中約有數(shù)百萬的視錐細(xì)胞,所以用積分放電神經(jīng)元網(wǎng)絡(luò)描述視網(wǎng)膜對彩色圖像的編碼過程,其中每個(gè)神經(jīng)元對應(yīng)一個(gè)視錐細(xì)胞.與此同時(shí),考慮到HSV 色彩模型有三個(gè)分量,而圖像的亮度對應(yīng)于其亮度分量V,因此將HSV 空間中的亮度分量V作為每個(gè)視錐細(xì)胞的確定性輸入信號(hào),相應(yīng)的輸出信號(hào)為向視覺皮層傳遞的動(dòng)作電位.

設(shè)為第i個(gè)神經(jīng)元在t時(shí)刻感知像素(m,n)的亮度的膜電位,PM×N為待增強(qiáng)圖像的亮度矩陣,其中P(m,n)∈(0,1)表示像素 (m,n) 的亮度,則模擬編碼過程的積分放電神經(jīng)元網(wǎng)絡(luò)可由下面的Langevin 方程描述:

圖5 編碼過程流程圖Fig.5.The flow chart of encoding part.

II) 解碼與整合過程

通過視網(wǎng)膜的視錐細(xì)胞傳遞來的圖像亮度信息在視覺皮層可被解碼為二值圖像.神經(jīng)信息傳輸?shù)妮d體是電脈沖,因此編碼的信息應(yīng)以尖峰序列的形式存在而不是連續(xù)的膜電位.由此,令矩陣(Imagei)M×N為在編碼階段所記錄的第i個(gè)神經(jīng)元的放電信息,其元素為1 或0,分別表示在相應(yīng)的亮度P(m,n)輸入下該神經(jīng)元有無放電,則由第i個(gè)神經(jīng)元所編碼的信息經(jīng)解碼后得到下面的亮度矩陣:

假定視覺皮層是先解碼每個(gè)神經(jīng)元所感知的信息,然后再整合由所有神經(jīng)元得到的解碼信息,那么根據(jù)(8)式,對所有的神經(jīng)元取算數(shù)平均,則得到一個(gè)整體的圖像亮度矩陣:

注意到 (pic)M×N代表整合后的圖像亮度信息,將該亮度信息與色調(diào)信息和飽和度信息相融合即得到一幅完整的彩色圖像.由于輸入了長度為L的噪聲強(qiáng)度向量,因此最后應(yīng)得到L幅彩色圖像,通過3.3 節(jié)將要介紹的圖像質(zhì)量評價(jià)指標(biāo)選取出L幅彩色圖像中質(zhì)量最高的作為最終的輸出圖像,這也是調(diào)節(jié)噪聲強(qiáng)度思想的具體實(shí)現(xiàn).

3.3 圖像質(zhì)量評價(jià)指標(biāo)

在第3.1 節(jié),在固定的噪聲水平下,說明了如何在視覺感知框架下通過放電神經(jīng)元網(wǎng)絡(luò)增強(qiáng)低亮度的彩色圖像,但并沒有闡述如何通過調(diào)節(jié)噪聲強(qiáng)度來達(dá)到最優(yōu)的增強(qiáng)效果.在上文中,我們已經(jīng)說明可以通過調(diào)節(jié)背景噪聲的強(qiáng)度使其處在適當(dāng)?shù)脑肼曀缴?使輸出響應(yīng)的相干性達(dá)到最大.因而,尋找最優(yōu)噪聲水平和最優(yōu)的增強(qiáng)圖像應(yīng)該是隨機(jī)共振類圖像增強(qiáng)算法的核心.為此,需要選用一個(gè)合適的圖像質(zhì)量評價(jià)指標(biāo)來挑選出最佳的增強(qiáng)圖像.

許多研究表明,適量的噪聲不僅有助于放大弱的諧波信號(hào),而且有助于放大弱的非周期信號(hào)[25,26].通常,前者稱為隨機(jī)共振,后者稱為非周期隨機(jī)共振,而且可以認(rèn)為發(fā)生隨機(jī)共振的系統(tǒng)都能發(fā)生非周期隨機(jī)共振.注意到低亮度圖像的亮度信號(hào)是弱的非周期信號(hào),因而它也能夠被模型(1)通過非周期隨機(jī)共振原理增強(qiáng).然而,在上文的模型研究中,由于弱的輸入信號(hào)是諧波信號(hào),隨機(jī)共振的增強(qiáng)效果可通過單頻信號(hào)的輸出信噪比(3)式來量化隨機(jī)共振的效果,但是在非周期隨機(jī)共振中,由于弱信號(hào)的頻譜圖是連續(xù)的,從而通過(3)式所定義的信噪比不再適用,必須使用不同的度量指標(biāo)以描述其中涉及的形狀匹配程度或結(jié)構(gòu)相似性,以便找出最優(yōu)噪聲強(qiáng)度及其所對應(yīng)的最優(yōu)增強(qiáng)圖像.需要指出的是,雖然文獻(xiàn)[21]所給出的圖像方差作為增強(qiáng)低對照度黑白圖像的量化指標(biāo)非常有效,但我們的數(shù)值實(shí)驗(yàn)卻表明它并不適合于度量低照度彩色圖像的增強(qiáng).因此,為了挑選出最優(yōu)噪聲強(qiáng)度及其對應(yīng)的最優(yōu)增強(qiáng)圖像,將采用圖像處理領(lǐng)域中更加常用評價(jià)指標(biāo):峰值信噪比(peak signal-to-noise ratio,PSNR)和自然圖像質(zhì)量評估(natural image quality evaluation,NIQE)[27],前者適合于有參考圖像的情形,而后者適合于無參考圖像的情形.

峰值信噪比是基于圖像方差的一種評價(jià)圖像質(zhì)量的客觀標(biāo)準(zhǔn),通常用于客觀評估圖像處理前后圖像的優(yōu)劣程度.定義如下:

其中X和Y分別是增強(qiáng)圖像和參考圖像的亮度矩陣;H和W是亮度矩陣的行數(shù)和列數(shù),其值由圖片的分辨率決定;MSE 通常稱為均方誤差.

自然圖像質(zhì)量評估既不需要曝光圖像的先驗(yàn)條件,也不需要在失真圖像的訓(xùn)練集進(jìn)行訓(xùn)練獲得意見,是一種全新的無參考-無感知意見的圖像評價(jià)指標(biāo).其方法的思想是,利用失真圖像與高質(zhì)量圖像在結(jié)構(gòu)上的不同來評價(jià)待評估圖像的質(zhì)量.研究表明,高質(zhì)量圖像的特征更貼合于多維高斯分布[27],因此可以利用多維高斯分布對待評估圖像的特征進(jìn)行擬合,將其與高質(zhì)量圖像擬合后的多維高斯分布之間的距離作為待評估圖像的失真程度,公式如下:

3.4 神經(jīng)元種群規(guī)模的影響

在人眼視覺感知過程中,神經(jīng)元種群規(guī)模具體表現(xiàn)為神經(jīng)系統(tǒng)在人眼成像活動(dòng)中的參與程度,在一定范圍內(nèi),參與程度越高,成像越清晰,這與我們從圖3 中得到的結(jié)論完全吻合.同時(shí),根據(jù)圖4及圖5 可以看出,在本文的算法中,神經(jīng)系統(tǒng)中噪聲的優(yōu)化程度對神經(jīng)元種群規(guī)模具有很高的依賴性.以上結(jié)論啟示我們可以通過改變神經(jīng)元網(wǎng)絡(luò)的規(guī)模進(jìn)一步優(yōu)化圖像增強(qiáng)算法的性能.在積分放電神經(jīng)元模型中,神經(jīng)元個(gè)數(shù)取為N=50 就可以較好地優(yōu)化噪聲,又根據(jù)圖3 可知,模型(1)在神經(jīng)元個(gè)數(shù)超過50 時(shí),信噪比峰值增加的較為平緩,因此,在本文圖像增強(qiáng)算法的實(shí)現(xiàn)過程中,初步考慮神經(jīng)元種群規(guī)模取為N=50.為了保險(xiǎn)起見,另取N=300 進(jìn)行對照實(shí)驗(yàn).由圖6 可知,當(dāng)神經(jīng)元個(gè)數(shù)較少(N=50)時(shí)(圖6(a)),增強(qiáng)后的最優(yōu)圖像中仍然分散著密密麻麻的噪點(diǎn),并且分辨率較低,但當(dāng)神經(jīng)元個(gè)數(shù)足夠多(N=300)時(shí)(圖6(b)),增強(qiáng)后的最優(yōu)圖像中噪點(diǎn)基本消失,并且圖像清晰度有了很大的改善.注意到人類的視覺活動(dòng)是大量的神經(jīng)元參與進(jìn)行感知的結(jié)果,因而圖6 中所體現(xiàn)出的神經(jīng)元種群規(guī)模的正面作用在一定意義上支持了本文的彩色圖像增強(qiáng)算法的生物學(xué)可解釋性.

圖6 不同神經(jīng)元個(gè)數(shù)對最優(yōu)增強(qiáng)圖像質(zhì)量的影響 (a)神經(jīng)元個(gè)數(shù)N=50;(b)神經(jīng)元個(gè)數(shù)N=300;(c)峰值信噪比(PSNR)變化曲線,虛線代表在此噪聲強(qiáng)度取得最優(yōu)圖像.參數(shù)Vth=0.0667,w=-0.2,Vre=0,gl=gs=1,Cm=1,Esyn=0,τs=1,τd=0.5,t=100Fig.6.Difference caused by the size of neuron population:(a) N=50;(b) N=300;(c) peak signal-to-noise ratio(PSNR) curve,the dotted line reflects the noise density corresponds to the best enhanced picture.Parameters are set as Vth=0.0667,w=-0.2,Vre=0,gl=gs=1,Cm=1,Esyn=0,τs=1 ,τd=0.5,t=100 .

3.5 閾值的最佳選取策略

在視網(wǎng)膜活動(dòng)中,閾值是視覺神經(jīng)元在應(yīng)對劇烈變化的環(huán)境時(shí)自我調(diào)節(jié)機(jī)制的重要體現(xiàn).而且,由上文的模型研究知,神經(jīng)元集群輸出響應(yīng)的信噪比基本不受突觸權(quán)重的影響,但卻明顯地依賴于閾值的大小,不同的閾值設(shè)定會(huì)導(dǎo)致顯著不同的隨機(jī)共振效果.這些現(xiàn)象均表明,為了得到最優(yōu)增強(qiáng)圖像,有必要討論放電閾值的最佳選取策略.

在圖像處理算法中,像素分布直方圖常被用來設(shè)計(jì)閾值選取策略,例如在增強(qiáng)灰度圖像時(shí),一般把閾值取為最大灰度[21].如果遵循這樣的做法,應(yīng)該把放電閾值取為低亮度彩色圖像的最大亮度值.然而,大量的數(shù)值試驗(yàn)顯示,把閾值取為最大亮度值,在本文的彩色圖像增強(qiáng)算法中并不會(huì)有很好的增強(qiáng)效果.相反地,由待增強(qiáng)圖像亮度矩陣的分位點(diǎn)給出的閾值策略卻更能夠得到較好的實(shí)驗(yàn)結(jié)果(圖7).為了說明這一點(diǎn),分別在圖8(a)和圖8(b)中給出了放電閾值為頻數(shù)分布的0.6 分位點(diǎn)和0.95 分位點(diǎn)的最優(yōu)增強(qiáng)圖像.顯然,由圖7(b)及圖8(a)可知,當(dāng)放電閾值為頻數(shù)分布的0.6 分位點(diǎn)時(shí),最優(yōu)圖像對應(yīng)的亮度值分布均勻,層次分明,代表圖像對比度較高,圖像的增強(qiáng)效果更好,而且所對應(yīng)的最優(yōu)噪聲強(qiáng)度更低;當(dāng)放電閾值為頻數(shù)分布的0.95 分位點(diǎn)時(shí),最優(yōu)圖像的亮度值分布較為集中,說明圖像沒有層次感,并且噪點(diǎn)較多.由此可見,基于亮度分布的分位數(shù)閾值策略明顯優(yōu)于基于最大亮度的閾值策略,這是本文的重要改進(jìn).

圖7 亮度的頻數(shù)分布直方圖 (a) 原始黑暗圖像;(b) 0.6 分位點(diǎn)最優(yōu)圖像;(c) 0.95 分位點(diǎn)最優(yōu)圖像Fig.7.Frequency histogram of brightness:(a) The origin dark image;(b) best image corresponding to 60 percent quantile;(c) best image corresponding to 95 percent quantile.

需要強(qiáng)調(diào)的是,當(dāng)放電閾值為頻數(shù)分布的0.6分位點(diǎn)時(shí),原始黑暗圖像的亮度不再全是微弱的閾下信號(hào),但這與前面的模型結(jié)果并不矛盾.首先,因?yàn)殡S機(jī)共振效應(yīng)不僅能夠放大微弱的閾下信號(hào),它也能夠放大在閾值附近波動(dòng)的弱的閾上信號(hào)[28].其次,由于原始圖像的亮度分布直方圖的峰值要與最大亮度值相距甚遠(yuǎn)(圖7(a)),把閾值取為0.6 分位點(diǎn)(即0.0667),才會(huì)有較大可能保證在較低的噪聲水平上使微弱的圖像信息能夠通過隨機(jī)共振效應(yīng)得以放大,圖8 也的確證實(shí)了也這一點(diǎn).另外,通過對比圖7 中的各個(gè)直方圖,還可以發(fā)現(xiàn),把閾值取為0.6 分位點(diǎn)所給出的最優(yōu)圖像的亮度分布更加平坦,而把閾值取為0.95 分位點(diǎn)(即0.2549)所給出的最優(yōu)圖像的亮度分布仍然比較集中,因而圖像的亮度只在較小范圍內(nèi)得到了增強(qiáng),總體的增強(qiáng)效果仍然較弱.

圖8 不同閾值下對應(yīng)的最優(yōu)增強(qiáng)圖像 (a) 0.6 分位點(diǎn);(b) 0.95 分位點(diǎn);(c) 峰值信噪比變化曲線,虛線處表示最優(yōu)噪聲強(qiáng)度.參數(shù)w=-0.2,Vre=0,gl=gs=1,Cm=1,Esyn=0,τs=1 ,τd=0.5,N=300,t=100Fig.8.Best enhanced images with different membrane potential thresholds:(a) 60 percent quantile;(b) 95 percent quantile;(c) peak signal-to-noise ratio(PSNR) curves,the dotted line reflects the noise density corresponds to the best enhanced picture.Parameters are set as w=-0.2,Vre=0,gl=gs=1,Cm=1,Esyn=0,τs=1 ,τd=0.5,N=300,t=100 .

這里以圖8 為例,詳細(xì)闡述本文的閾值選取策略.首先,觀察圖7(a)頻數(shù)分布直方圖的均值為0.0847,中位數(shù)為0.0549 小于均值,因此考慮閾值選擇在中位數(shù)后(反之,若圖像亮度均值小于中位數(shù),則應(yīng)在中位數(shù)前考慮最優(yōu)閾值,例如圖10 的最優(yōu)閾值為0.2 分位點(diǎn)).然后,按順序排列0.6,0.7,0.8,0.9 以及0.95 分位點(diǎn),則其值依次為0.0667,0.0824,0.1059,0.1608,0.2549.最后,考慮到如果閾值取為0.7,0.8,0.9和0.95 分位點(diǎn),需要較大強(qiáng)度的噪聲去激活亮度值較低的像素點(diǎn),而當(dāng)閾值取為中位數(shù)時(shí),又會(huì)出現(xiàn)像素點(diǎn)過度激活導(dǎo)致圖像色彩失真的情況,因此,對于圖8 的待增強(qiáng)的低對照度圖像,我們選取0.6 分位點(diǎn)作為最佳閾值.

4 數(shù)值實(shí)驗(yàn)結(jié)果與分析

為了檢驗(yàn)本文所給新算法的可靠性,將該方法和經(jīng)典的single scale Retinex (SSR)[3]算法和HE[1]算法進(jìn)行了對比,并與現(xiàn)有的隨機(jī)共振類算法—SVD-DSR[10]加以對比.在固定參數(shù)Vre0,glgs1,Cm1 ,Esyn0,τs1,τd0.5,w=0.1及N=300的前提下,進(jìn)行了兩組仿真試驗(yàn),相關(guān)結(jié)果分別如圖9和圖10 所示,其對應(yīng)的評價(jià)指標(biāo)見表1和表2.

表1 四種算法的PSNR和NIQETable 1.PSNR and NIQE of these four algorithms.

表2 四種算法的PSNR和NIQETable 2.PSNR and NIQE of these four algorithms.

由圖9 可知,原始低照度彩色圖像,即圖9(a)的亮度很低,圖9(b)是本文提出的圖像增強(qiáng)算法,圖9(c)和圖9(e)分別為SVD-DSR 算法和HE 算法的效果圖,圖9(d)是經(jīng)典的單尺度Retinex 方法.對圖 9(a) 增強(qiáng)的結(jié)果表明單尺度 Retinex 方法處理圖像時(shí)成功地壓縮了圖像,色感較好,但是還有部分黑暗區(qū)域的細(xì)節(jié)不夠清楚,而SVD-DSR 算法結(jié)果色彩過于飽和,HE 算法增強(qiáng)結(jié)果則有點(diǎn)失真,只有本文提出的隨機(jī)共振的算法在保證了圖像亮度的同時(shí)兼顧了圖像質(zhì)量.

圖9 圖像增強(qiáng)結(jié)果 (a) 原始黑暗圖像;(b) 原始清晰圖像;(c) 本文提出的隨機(jī)共振方法,D=0.0035,Vth=0.0667 ;(d) SSR算法;(e) HE 算法;(f) SVD-DSR算法Fig.9.(a) The origin dark image;(b) the origin bright image;(c) our stochastic-resonance algorithm with D=0.0035 and Vth=0.0667;(d) SSR algorithm;(e) HE algorithm;(f) SVD-DSR algorithm.

圖10(a)為原始黑暗圖像,根據(jù)本文的閾值選取策略以及圖10(a)亮度矩陣的統(tǒng)計(jì)特性,選取0.2 分位點(diǎn)作為放電閾值.圖10(b)為使用本文提出的隨機(jī)共振增強(qiáng)算法增強(qiáng)后的圖像,圖10(c)—10(e)分別為經(jīng)過單尺度Retinex 方法、HE 算法和 SVD-DSR 算法處理過的圖像.從圖10(c)—10(e)— 可以看出,單尺度Retinex 方法處理后的圖像布滿了像素塊,并且出現(xiàn)了色彩失真的情況,HE 算法增強(qiáng)后的圖像雖然像素塊有所減少,但仍未采集到圖像正確的顏色,經(jīng)過本文提出的隨機(jī)共振算法以及SVD-DSR 算法增強(qiáng)后的圖像從主觀來看效果較好,能很好地還原黑暗圖像的原本色彩.因此,為了進(jìn)一步說明圖10(b)優(yōu)于圖10(e),還需要借助客觀評價(jià)指標(biāo).

圖10 圖像增強(qiáng)結(jié)果 (a) 原始黑暗圖像;(b) 本文提出的隨機(jī)共振方法 D=0.0035,Vth=0.11 ;(c) SSR 算法;(d) HE 算法;(e) SVD-DSR 算法;(f) NIQE 變化圖Fig.10.(a) The origin dark image;(b) our stochastic-resonance algorithm with D=0.0035and Vth=0.11 ;(c) SSR algorithm;(d) HE algorithm;(e) SVD-DSR algorithm;(f) NIQE under different noise densities.

除了從主觀上觀察圖像增強(qiáng)算法的效果,還通過計(jì)算不同圖像增強(qiáng)算法的峰值信噪比以及自然圖像質(zhì)量評估值,以便從較為客觀的角度來定量地分析算法的性能.對于有參考圖像的評價(jià)指標(biāo)峰值信噪比,其值越大表示圖像質(zhì)量越高,而無參考圖像的評價(jià)指標(biāo)自然圖像質(zhì)量評估則正好相反.表1和表2 列出了低照度彩色圖像增強(qiáng)結(jié)果的指標(biāo).由表1 及表2 可知,本文提出的基于隨機(jī)共振的圖像增強(qiáng)算法兼顧了圖像對比度、亮度、細(xì)節(jié)等,圖像視覺效果較好.

由于SVD-DSR 算法也是隨機(jī)共振類低照度圖像增強(qiáng)算法,所以在此有必要強(qiáng)調(diào)一下本文提出算法的優(yōu)勢.首先,在算法實(shí)現(xiàn)環(huán)節(jié),SVD-DSR 算法缺少參數(shù)選取的操作細(xì)節(jié),雖然在增強(qiáng)圖 9 及圖 10 時(shí),經(jīng)過大量試驗(yàn)確定了SVD-DSR 算法的最優(yōu)參數(shù),但仍然無法得到較好的增強(qiáng)結(jié)果,而本文提出的算法僅需根據(jù)待增強(qiáng)圖像的亮度矩陣特性計(jì)算出閾值這一關(guān)鍵參數(shù),便能得到高質(zhì)量的圖像增強(qiáng)結(jié)果.其次,在物理意義方面,SVD-DSR 算法并未和隨機(jī)共振原理完全貼合，缺少了隨機(jī)共振中重要的噪聲因素，而本文提出的算法通過調(diào)節(jié)噪聲水平取得了最優(yōu)的增強(qiáng)圖像，符合了適量噪聲可以幫助弱信號(hào)提取這一隨機(jī)共振的基本原理.最后,在生物學(xué)意義上,本文提出的算法更貼合于人眼的視覺感知過程,有助于揭示在黑暗空間內(nèi)人眼視物的機(jī)理.

5 結(jié)論

在研究電導(dǎo)基神經(jīng)元網(wǎng)絡(luò)的隨機(jī)共振現(xiàn)象和了解人眼視覺感知的基本生物物理過程的基礎(chǔ)上,我們提出了一種具有一定生物可解釋性的彩色圖像增強(qiáng)算法.我們詳細(xì)揭示了該算法中神經(jīng)元的個(gè)數(shù)以及神經(jīng)元的放電閾值對圖像增強(qiáng)效果的影響,并首次提出了基于亮度分布分位數(shù)的閾值選取方案.為了挑選出最優(yōu)的增強(qiáng)圖像,采用了如下方法:對于參考圖像存在的低對比度圖像增強(qiáng),采用峰值信噪比作為量化指標(biāo),而對于參考圖像不存在的低對比度圖像,采用自然圖像質(zhì)量評價(jià)作為量化指標(biāo).這些指標(biāo)的選取使得本文的圖像增強(qiáng)算法更加具有普適性.特別地,由于本文的算法在一定程度上模擬了視錐細(xì)胞集群如何在微弱光照環(huán)境下,通過調(diào)節(jié)所處環(huán)境的噪聲以實(shí)現(xiàn)視覺感知功能的基本過程,因而具有某種程度的生物學(xué)合理性.

注意到大量的研究已經(jīng)表明,噪聲普遍存在于細(xì)胞水平,并且神經(jīng)系統(tǒng)能夠通過調(diào)節(jié)權(quán)重實(shí)現(xiàn)內(nèi)部噪聲水平的調(diào)節(jié)[29,30],而且,大量的生物物理實(shí)驗(yàn)也已表明,噪聲的益處可以被生物[31,32]或神經(jīng)系統(tǒng)利用[33].大腦的視覺感知功能的實(shí)現(xiàn)離不開神經(jīng)元集群的協(xié)同作用,而視覺感知過程中的噪聲可以通過神經(jīng)系統(tǒng)自我調(diào)節(jié),因此,我們有充分的理由推測,人腦在微弱的光照環(huán)境下可以利用隨機(jī)共振原理選擇清晰度最好的圖像,這就是本文基于此發(fā)展圖像增強(qiáng)算法的初衷.同時(shí)本文提出的算法在很多弱信號(hào)相關(guān)的信號(hào)處理領(lǐng)域都有著重要的潛在應(yīng)用價(jià)值,例如生物醫(yī)學(xué)領(lǐng)域中X 射線圖像的清晰度提高,公共安全領(lǐng)域中低照度環(huán)境中的人臉辨識(shí)以及腦機(jī)接口的視覺感知修復(fù)等等.