模擬視覺感知系統(tǒng)的無參考模糊圖像質(zhì)量評(píng)價(jià)①

房 明,蔡榮太

1(福建師范大學(xué) 光電與信息工程學(xué)院,福州 350007)

2(福建師范大學(xué) 醫(yī)學(xué)光電科學(xué)與技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室,福州 350007)

3(福建師范大學(xué) 福建省光電傳感應(yīng)用工程技術(shù)研究中心,福州 350007)

隨著多媒體技術(shù)的發(fā)展,圖像成為信息交流和傳遞的重要載體,因此對(duì)其清晰度的要求越來越高.圖像在采集、壓縮、傳輸、重建等各階段都可能發(fā)生失真,模糊是最常見的一種圖像失真類型[1].因此對(duì)模糊圖像進(jìn)行有效的質(zhì)量評(píng)估尤為重要.

圖像質(zhì)量評(píng)價(jià)方法分成主觀評(píng)價(jià)和客觀評(píng)價(jià).主觀評(píng)價(jià)法[2]直接利用人的主觀感知評(píng)估圖像質(zhì)量,受主觀性強(qiáng),工作量大等因素的影響,該方法在實(shí)際應(yīng)用中并不可取.客觀評(píng)價(jià)法[3]通過提取圖像特征和人眼視覺特性來模擬人眼感知圖像.根據(jù)對(duì)理想?yún)⒖紙D像的依賴程度,客觀評(píng)價(jià)法又可分為有參考評(píng)價(jià)法和無參考評(píng)價(jià)法[3].有參考圖像評(píng)價(jià)方法是指在選擇理想圖像作為參考圖像的情況下,通過比較待測(cè)圖像和參考圖像之間的差異來分析待測(cè)圖像的失真程度.而無參考圖像則是一種完全脫離了對(duì)理想?yún)⒖紙D像依賴的圖像質(zhì)量評(píng)價(jià)方法.由于在工業(yè)應(yīng)用中通常難以獲得理想的參考圖像,因此僅使用待測(cè)圖像進(jìn)行質(zhì)量評(píng)估的無參考方法具有更好的實(shí)用價(jià)值.

客觀的圖像質(zhì)量評(píng)價(jià)依賴于有效的視覺特征[4].視覺系統(tǒng)對(duì)圖像的輪廓和紋理等對(duì)比度信息更為敏感.受此啟發(fā),本文采用視網(wǎng)膜感知圖像機(jī)制獲取圖像中的細(xì)節(jié)信息.此外,由于圖像中的任何變化都會(huì)對(duì)奇異值向量產(chǎn)生明顯影響,因此利用奇異值向量來衡量圖像的內(nèi)部結(jié)構(gòu)變化.最后,比較待測(cè)圖像和其再模糊圖像之間的細(xì)節(jié)和奇異值變化作為評(píng)估圖像質(zhì)量的特征向量,利用SVR 訓(xùn)練回歸模型,根據(jù)回歸模型預(yù)測(cè)出待測(cè)圖像的質(zhì)量得分.

1 模糊圖像質(zhì)量評(píng)價(jià)模型

本文提出的評(píng)價(jià)模型流程圖如圖1所示.

圖1 模糊圖像質(zhì)量評(píng)價(jià)模型

1.1 基于視網(wǎng)膜模型的細(xì)節(jié)信息提取

視網(wǎng)膜細(xì)胞相互連接,形成外叢狀層(OPL)和內(nèi)叢狀層(IPL),每一層都可用特定的濾波器建模[5].OPL的輸出原理近似高斯差分(DoG):雙極細(xì)胞分別接受由光感受器細(xì)胞和水平細(xì)胞輸出的信號(hào),雙極細(xì)胞接收來自光感受器輸出的信號(hào)時(shí),能夠激發(fā)雙極細(xì)胞的感受野中心,使其表現(xiàn)為興奮的狀態(tài).當(dāng)雙極細(xì)胞接收由水平細(xì)胞傳送的信號(hào)時(shí),水平細(xì)胞能對(duì)光感受器進(jìn)行抑制反饋,削弱了光感受器輸出的信號(hào),這時(shí)雙極細(xì)胞表現(xiàn)為抑制狀態(tài).雙極細(xì)胞接收到兩個(gè)狀態(tài)相反的信號(hào),因而它的感受野呈現(xiàn)為中心-周邊拮抗形式,可由DoG濾波器近似表示:

式中,Gσ1和Gσ2分別表示標(biāo)準(zhǔn)差為σ1和σ2的高斯濾波器,即:

提取圖像細(xì)節(jié)信息的視網(wǎng)膜模型如圖2所示.

圖2 視網(wǎng)膜提取圖像細(xì)節(jié)流程圖

圖2中,Fph和Fh分別表示模擬視網(wǎng)膜的光感受器ph和水平細(xì)胞網(wǎng)絡(luò)h的高斯濾波器.光感受器根據(jù)局部亮度來調(diào)整它的靈敏度,將輸入圖像的當(dāng)前亮度R(p)歸 一化為[ 0,Vmax].經(jīng)光感受器調(diào)整后輸入圖像的亮度C(p)為:

其中,

式中,Vmax表示圖像中允許的最大像素值,L(p)為局部亮度,由輸入圖像與模擬光感受器的高斯濾波器Fph相卷積獲得.V0表示為取值范圍在[0,1]之間的靜態(tài)壓縮參數(shù),它的作用是調(diào)整局部適應(yīng)效果,使系統(tǒng)更加精確.

將亮度C(p) 分別與Fph、Fh卷積后獲得光感受器的輸出BPph和水平細(xì)胞的輸出BPh.這時(shí)雙極細(xì)胞的作用使OPL 輸出兩個(gè)相反狀態(tài)的通道,即Bipon和Bipoff,它們分別表示了光感受器和水平細(xì)胞圖像差值的正、負(fù)部分:

將Bipon和Bipoff傳送到神經(jīng)節(jié)細(xì)胞的局部亮度調(diào)節(jié)模型進(jìn)行調(diào)整,神經(jīng)節(jié)細(xì)胞中局部亮度調(diào)節(jié)模型模型如式(3)和式(4)所示.最終獲得輸入圖像的細(xì)節(jié)信息:

通過比較待測(cè)圖像與其再模糊圖像之間的細(xì)節(jié)相似度得到圖像的相似特征向量.再模糊圖像由待測(cè)圖像經(jīng)高斯低通濾波器后獲得:

式中,I(x,y) 表示待測(cè)圖像,I?(x,y)表示待測(cè)圖像經(jīng)高斯低通濾波器再模糊后的圖像,Gσ表示標(biāo)準(zhǔn)差為σ 的高斯濾波器.

按模糊程度由小到大構(gòu)造了待測(cè)圖像的4 個(gè)不同模糊度的再模糊圖像.圖3展示待測(cè)圖像和其4 個(gè)再模糊圖像經(jīng)視網(wǎng)膜模型后提取的細(xì)節(jié)信息圖.可以看出,當(dāng)圖像越模糊,其所包含的細(xì)節(jié)信息越少.

圖3 不同模糊度圖像及其對(duì)應(yīng)的細(xì)節(jié)圖

計(jì)算待測(cè)圖像和其4 個(gè)再模糊圖像之間的細(xì)節(jié)相似度,將其作為細(xì)節(jié)相似特征:

式中,D0表示待測(cè)圖像的細(xì)節(jié)信息,Di表示第i幅再模糊圖像的細(xì)節(jié)信息,fi表示待測(cè)圖像和第i幅再模糊圖像之間的細(xì)節(jié)相似特征.

1.2 奇異值向量

圖像結(jié)構(gòu)隨圖像質(zhì)量的變化而發(fā)生改變,而奇異值向量的變化能夠很好的反映出這種圖像結(jié)構(gòu)的變化[6].因此將奇異值向量之間的相似度作為評(píng)估圖像的另一特征向量.一個(gè)大小為M×N的圖像I可分解為I=US VT,其中U,V分別是M×M,N×N的酉矩陣.S是一個(gè)主對(duì)角線元素為奇異值,且按奇異值大小降序排列的對(duì)角矩陣.設(shè)r表示圖像矩陣I的秩,則奇異值向量可表示為s=(λ1,λ2,···λi),i=1,2,···,r.

比較待測(cè)圖像和4 個(gè)再模糊圖像之間奇異值向量的相似度:

式中,sj表示第j個(gè)再模糊圖像的奇異值向量,fj表示待測(cè)圖像和第j個(gè)再模糊圖像之間的奇異值相似特征.

圖4展示了兩張不同模糊度的圖像.其中,燈塔圖和帽子圖的DMOS 值分別為21.65和40.80,DMOS 值越小,圖像越清晰.圖5給出了這兩幅圖像和其各個(gè)再模糊圖像之間細(xì)節(jié)相似度和奇異值相似度的變化情況.由圖5可見,不管是細(xì)節(jié)相似度還是奇異值向量相似度,待測(cè)圖像越清晰相似度變化越明顯.此外對(duì)于同一幅圖像,隨著模糊程度的加深,相似度曲線的變化開始變緩.

圖4 兩幅不同DMOS 值的圖像

圖5 相似度變化曲線圖

2 SVR 訓(xùn)練與預(yù)測(cè)

由于支持向量回歸模型SVR 能有效的處理多維數(shù)據(jù),因此可以利用SVR 將特征映射成一個(gè)總體質(zhì)量分?jǐn)?shù).本文分別計(jì)算待測(cè)圖像與其4 個(gè)再模糊圖像之間的細(xì)節(jié)相似度和奇異值相似度,并將它們作為度量圖像質(zhì)量的特征.每幅圖像可提取8 維特征,將提取的8 維特征作為SVR 的輸入數(shù)據(jù),將待測(cè)圖像的MOS值或DMOS 值作為對(duì)應(yīng)的SVR 輸出值,對(duì)SVR 進(jìn)行訓(xùn)練.對(duì)于SVR 回歸模型可以表示為:

我們將8 維相似度特征作為輸入向量xi,將MOS值或者DMOS 值作為輸出值yi,訓(xùn)練并得到 ω和b,即SVR 回歸模型.然后利用訓(xùn)練得到的回歸模型f(x;ω,b)預(yù)測(cè)出待測(cè)圖像的客觀評(píng)價(jià)值.

本文使用libSVM[7]實(shí)現(xiàn)了SVR.由于徑向基函數(shù)具有快速收斂性,且近似于非線性函數(shù),因此選擇徑向基函數(shù)作為SVR 的核.

3 實(shí)驗(yàn)結(jié)果與分析

3.1 圖像質(zhì)量評(píng)價(jià)數(shù)據(jù)庫

本文選用了4 種常用的圖像質(zhì)量評(píng)價(jià)數(shù)據(jù)庫:LIVE數(shù)據(jù)集[8],CSIQ 數(shù)據(jù)集[9],TID2008 數(shù)據(jù)集[10]和TID2013 數(shù)據(jù)集[11]來比較本文提出的方法與其它無參考模糊圖像質(zhì)量評(píng)價(jià)方法的性能.LIVE和CSIQ 提供圖像的平均主觀得分差(DMOS)值.TID2008和TID2013則提供圖像的平均主觀得分(MOS)值.DMOS 值越小表示圖像質(zhì)量越好,MOS 值則相反.

3.2 圖像質(zhì)量評(píng)價(jià)指標(biāo)

本文采用Pearson 線性相關(guān)系數(shù)(PLCC),Spearman秩相關(guān)系數(shù)(SROCC)和均方根誤差(RMSE)作為算法性能的評(píng)價(jià)指標(biāo)[12].PLCC用來描述圖像主觀得分和客觀算法評(píng)價(jià)值之間的相關(guān)性,其定義為:

式中,xi表示第i個(gè)圖像的主觀得分,yi表示第i個(gè)圖像的客觀算法評(píng)價(jià)值.和分別表示主觀得分和客觀算法評(píng)價(jià)值的均值.SROCC用來衡量算法預(yù)測(cè)的單調(diào)性,其定義為:

式中,di是數(shù)據(jù)集中第i個(gè)圖像的主觀得分和客觀算法評(píng)價(jià)值在各自數(shù)據(jù)序列中的排列位置之差.RMSE比較主觀得分和客觀算法評(píng)價(jià)值之間的絕對(duì)誤差,定義為:

式中,N是數(shù)據(jù)集中的圖像總數(shù),xi表示第i個(gè)圖像的主觀得分,yi表示第i個(gè)圖像的客觀算法評(píng)價(jià)值.

由于客觀算法評(píng)價(jià)值和圖像的主觀得分之間具有一定的非線性.為了消除這種非線性,需要在主觀和客觀得分之間提供一個(gè)非線性的邏輯映射函數(shù):

式中,x和f(x)分別為客觀算法評(píng)價(jià)值和擬合后圖像的質(zhì)量得分,β1,β2,β3,β4,β5為回歸參數(shù).

3.3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證算法是否符合人類視覺系統(tǒng)特性,本文使用了兩種類型的統(tǒng)計(jì)分析方法:一是用SROCC評(píng)估預(yù)測(cè)的單調(diào)性;二是用PLCC和RMSE評(píng)估預(yù)測(cè)的精確度.SROCC和PLCC值越接近于1,RMSE值越小則表示越接近于人類的主觀感知.

表1列出本文算法和其他8 種評(píng)價(jià)模型Marziliano[13],JNB[14],CPBD[15],S3[16],LPC[17],MLV[18],BIBLE[19]和RISE[20]在4 個(gè)數(shù)據(jù)集上的3 種性能指標(biāo).在本次實(shí)驗(yàn)隨機(jī)選取LIVE 數(shù)據(jù)庫中80%的圖像訓(xùn)練模型,剩余的圖像用于測(cè)試.由表1可知,本文方法在TID 系列數(shù)據(jù)集上的測(cè)試結(jié)果低于RISE 算法.除此外,本文算法在預(yù)測(cè)精度和單調(diào)性上都優(yōu)于其他方法.

表1 本文算法和其它無參考模糊圖像質(zhì)量評(píng)價(jià)模型比較

4 結(jié)語

本文通過視網(wǎng)膜模型和奇異值向量提取圖像中有效的視覺特征,并用它們訓(xùn)練支持向量回歸模型,根據(jù)得到的回歸模型預(yù)測(cè)待測(cè)圖像的客觀評(píng)價(jià)值.與其他常用的評(píng)價(jià)模型在4 個(gè)圖像數(shù)據(jù)集上的比較顯示,本文提出的算法能夠獲得與主觀評(píng)價(jià)更加一致的評(píng)價(jià)值.下一步研究的重心將放在如何進(jìn)一步提高圖像質(zhì)量預(yù)測(cè)結(jié)果上.