融合人眼掩蔽效應(yīng)和圖像梯度的塊效應(yīng)評價(jià)方法

王 杰， 王禹博， 朱曉東， 任向陽

(鄭州大學(xué) 電氣工程學(xué)院，河南 鄭州 450001)

0 引言

JPEG是廣泛應(yīng)用的圖像壓縮方式[1]，原理為分塊離散余弦變換(DCT).在壓縮時(shí)，圖像會丟棄一些對圖像質(zhì)量影響不大的高頻分量，導(dǎo)致恢復(fù)后的圖像塊邊界出現(xiàn)不連續(xù)的跳變，即塊效應(yīng)(如圖1所示).

圖1 “woman”塊效應(yīng)對比圖 Fig.1 Comparision blocking artifact for “woman”

根據(jù)對原始圖像的依賴程度，塊效應(yīng)評價(jià)算法主要分為：全參考(FR)、部分參考(RR)和無參考(NR)評價(jià)方法.FR和RR主要是將原始圖像和退化圖像之間的差異進(jìn)行量化，并將量化結(jié)果作為評價(jià)指標(biāo).常見的評價(jià)指標(biāo)有結(jié)構(gòu)相似度指標(biāo)(SSIM)、感知相似度指標(biāo)(PSIM).PSIM是Gu等[2]綜合考量圖像的多尺度梯度、色彩信息以及視覺感知統(tǒng)計(jì)信息來評價(jià)圖像質(zhì)量.這兩個(gè)指標(biāo)的優(yōu)點(diǎn)在于運(yùn)算時(shí)間短，但是在多數(shù)的實(shí)際應(yīng)用中，原始圖像的信息都是無法獲取的.

相比FR、RR，NR因不需要原始圖像信息而被大量的學(xué)者所研究.根據(jù)圖像中存在的失真類型數(shù)目不同，NR算法分為特定失真塊效應(yīng)評價(jià)算法和非特定失真塊效應(yīng)評價(jià)算法.針對非特定失真的塊效應(yīng)評價(jià)算法進(jìn)行研究時(shí)，Liu等[3]利用圖像局部空間的光譜熵特征，采用支持向量機(jī)(SVM)來訓(xùn)練得到的特征，得到圖像質(zhì)量預(yù)測模型(SSEQ).當(dāng)圖片僅存在塊效應(yīng)失真時(shí)，這種方法可用于圖像塊效應(yīng)評價(jià)，但是由于處理的圖像失真種類較多，會影響到對圖像塊效應(yīng)的評價(jià).針對特定失真的塊效應(yīng)評價(jià)算法進(jìn)行研究時(shí)，Ryu等[4]利用局部小波系數(shù)和顯著性的邊緣分布信息(MDCS)來評價(jià)圖像中的塊效應(yīng)，這種方法能夠?qū)崿F(xiàn)對塊效應(yīng)的準(zhǔn)確定位.但是由于忽略了人類視覺系統(tǒng)(HVS)的特性，評價(jià)結(jié)果不能很好地與人類主觀評價(jià)保持一致.針對上述算法的不足，王璐烽等[5]認(rèn)為，圖像塊效應(yīng)不僅能反映在圖像的真實(shí)結(jié)構(gòu)上，也能反映在圖像的偽結(jié)構(gòu)上，因此提出利用圖像偽結(jié)構(gòu)并結(jié)合HVS的亮度特性的算法，采用SVM訓(xùn)練該特征得到塊效應(yīng)評價(jià)模型(BAML).由于HVS系統(tǒng)的特性有許多，如何合理地將其結(jié)合到塊效應(yīng)的評價(jià)算法中是當(dāng)前研究的重點(diǎn)和難題.

筆者提出了一種無參考的特定失真圖像塊效應(yīng)評價(jià)算法.首先，基于圖像塊邊界處像素點(diǎn)的梯度信息直方圖，測量發(fā)生塊效應(yīng)邊界的位置和強(qiáng)度；然后，結(jié)合人眼對圖像紋理和亮度的掩蔽效應(yīng)，得到圖像塊效應(yīng)評價(jià)指標(biāo).該方法簡單高效，與人類主觀評價(jià)具有較高的單調(diào)一致性.

1 算法描述

本文算法流程如圖2所示.首先,根據(jù)圖像塊邊界處像素點(diǎn)梯度值，對邊界發(fā)生塊效應(yīng)的位置以及強(qiáng)度進(jìn)行檢測，得到圖像塊效應(yīng)映射圖.第二，對圖像的亮度掩蔽效應(yīng)和紋理掩蔽效應(yīng)進(jìn)行檢測.依據(jù)圖像塊的DCT系數(shù)，將圖像塊B分為平緩塊(W)、紋理塊(T).基于人眼對不同圖像塊的失真敏感性存在差異的特點(diǎn)，對圖像紋理掩蔽效應(yīng)進(jìn)行檢測；亮度掩蔽效應(yīng)的檢測是通過計(jì)算圖像塊的背景亮度來完成的.第三，采用非線性的方法將圖像的紋理和亮度掩蔽效應(yīng)疊加起來得到圖像綜合掩蔽效應(yīng)圖.最后，將圖像的塊效應(yīng)映射圖和綜合掩蔽效應(yīng)圖可視化結(jié)合起來，得到與HVS感知相一致的圖像顯著性塊效應(yīng)映射圖，并使用Minkowski[6]方法計(jì)算得到塊效應(yīng)的綜合評價(jià)指標(biāo).筆者主要以圖1(b)為例進(jìn)行算法說明.

圖2 本文算法框圖 Fig.2 The algorithm block diagram

1.1 圖像塊效應(yīng)映射圖

目前，圖像中發(fā)生塊效應(yīng)的邊界主要是依據(jù)圖像塊邊界兩側(cè)的兩個(gè)像素點(diǎn)灰度值的變化實(shí)現(xiàn)檢測[7-8]，但是這種方法無法檢測到跨度超過兩個(gè)像素點(diǎn)的灰度值變化.筆者利用圖像塊邊界像素點(diǎn)的梯度來反映邊界灰度值變化情況,選擇常用的Sobel(3×3)算子計(jì)算圖像梯度.

假設(shè)P為原始圖像處理后的梯度映射圖，P(α,β)表示橫坐標(biāo)為α、縱坐標(biāo)為β的像素點(diǎn)；M×N表示選定的圖像塊尺寸，定義以下符號：

(1)

式中：a、b是圖像塊索引；i、j是塊(a,b)內(nèi)像素點(diǎn)索引.

JPEG壓縮采用8×8的DCT，因此式(1)中M、N都取為8.筆者僅以水平塊邊界為例進(jìn)行詳細(xì)的算法說明，垂直塊邊界采用相同的處理方式.

(2)

其中，1≤i≤6.

圖3 “woman”塊效應(yīng)對比圖 Fig.3 Comparison chart of blcking artifacts for "woman"

1.2 圖像的紋理掩蔽效應(yīng)

根據(jù)圖像DCT的原理，可以將圖像塊B分成W和T. HVS對紋理區(qū)的掩蔽效應(yīng)要強(qiáng)于平緩區(qū).根據(jù)DCT的特點(diǎn)，將8×8圖像塊DCT后的系數(shù)劃分成如圖4所示的4個(gè)指示性區(qū)域[9]，分別用符號S(黑色區(qū)域)、L (藍(lán)色區(qū)域)、R(紅色區(qū)域)和Y(黃色區(qū)域)表示.筆者用區(qū)域R和Y的DCT域能量作為圖像塊的分類指標(biāo),圖像塊B的分類如下：

式中：B表示橫坐標(biāo)為a、縱坐標(biāo)為b的圖像塊；ER(a,b)、EY(a,b)分別表示B在對應(yīng)區(qū)域R、Y的DCT域能量；閾值Er為DCT域能量閾值，取960.

圖4 圖像塊DCT系數(shù)指示圖 Fig.4 Image block DCT coefficient indicator

分類完成后，采用結(jié)合尺度因子的線性歸一化方法計(jì)算圖像塊的紋理掩蔽效應(yīng)：

(3)

式中：ET(a,b)為B的紋理掩蔽能量；EJ(a,b)=ER(a,b)+EY(a,b)，代表B的交流能量；Emin和Emax為整幅圖像中所有紋理塊的交流能量最小值和最大值；t為尺度因子，取2.25.

如圖5(a)所示為“woman”紋理掩蔽效應(yīng)圖，從中可以發(fā)現(xiàn),“woman”的帽子以及圍巾部分，顯示出了較強(qiáng)的紋理掩蔽效應(yīng)；圖像背景以及“woman”的肩膀等圖像的平滑區(qū)域部分不存在紋理掩蔽效應(yīng).

圖5 “woman”掩蔽效應(yīng)圖 Fig.5 Masking map for "woman"

1.3 圖像亮度掩蔽效應(yīng)

文獻(xiàn)[10]表明，圖像中較亮或者較暗的區(qū)域會有較強(qiáng)的亮度掩蔽效應(yīng)，而亮度適中的區(qū)域?qū)?yīng)的亮度掩蔽效應(yīng)相對較弱. 為了更加符合HVS的特點(diǎn)，筆者計(jì)算圖像塊邊界處像素點(diǎn)的亮度掩蔽效應(yīng)時(shí)，對文獻(xiàn)[10]中的方法進(jìn)行改進(jìn)，將塊邊界相鄰的兩個(gè)圖像塊DCT變換后的區(qū)域S的DCT域能量均值作為圖像的背景能量，具體計(jì)算如下：

(4)

式中：EL(a,b)為圖像塊B的亮度掩蔽能量;EZ(a,b)=[ES(a,b)+ES(a+1,b)]/16, 表示B的背景能量.其中，ES(a,b)、ES(a+1,b)為圖像塊B以及相鄰的圖像塊在S區(qū)域的DCT能量.

如圖5(b)所示，“woman”中亮度值較大的帽子、圍巾以及亮度較暗的眼睛部分顯示出了較強(qiáng)的亮度掩蔽效應(yīng).

1.4 圖像塊效應(yīng)的強(qiáng)度估計(jì)

因?yàn)橥粋€(gè)圖像塊同時(shí)存在紋理和亮度兩種掩蔽效應(yīng)，筆者采用式(5)所示的方法進(jìn)行兩種掩蔽效應(yīng)的結(jié)合，得到圖像塊的綜合掩蔽效應(yīng)：

EO(a,b)=λ×ET(a,b)+EL(a,b)-

ξ×min{λ×ET(a,b),EL(a,b)}，

(5)

式中：EO(a,b)、EL(a,b)、ET(a,b)分別為B的綜合掩蔽能量、亮度掩蔽能量、紋理掩蔽能量；λ為紋理掩蔽效應(yīng)的權(quán)重系數(shù)，取10；ξ為增益衰減因子，ξ∈(0,1)，取0.3.

筆者采用可視化的方法將圖像塊效應(yīng)映射圖與綜合掩蔽效應(yīng)結(jié)合得到圖像顯著性塊效應(yīng)，具體方法如下：

(6)

其中，1≤i≤6.

對比圖3(b)和圖6有助于理解可視化結(jié)合方法.如果直接利用圖3(b)進(jìn)行圖像塊效應(yīng)的評價(jià)指標(biāo)計(jì)算，會與HVS感知有較大的偏差.采用HVS感知圖像塊效應(yīng)時(shí)，對于“woman”的帽子以及圍巾部分的塊效應(yīng)是不敏感的，如果把它們同“woman”的背景部分看成同等權(quán)重進(jìn)行塊效應(yīng)計(jì)算是不合理的.相比于圖3(b)的效果，在結(jié)合人眼掩蔽效應(yīng)之后，可以獲得與HVS感知一致性更高的圖像塊效應(yīng)映射圖，如圖6所示.

圖6 “woman”顯著性塊效應(yīng)映射圖 Fig.6 Noticeable blocking artifact map for “woman”

筆者采用了Minkowski[6]方法對整幅圖像所有圖像塊計(jì)算，得到水平和豎直兩個(gè)方向的Sa,b(i),進(jìn)行求和得到圖像的塊效應(yīng)評價(jià)指標(biāo)Q：

(7)

式中：A、B表示圖像共有A行和B列個(gè)像素點(diǎn)；θ=2～4，稱作Minkowski指數(shù)[6]，主要突出Sa,b(i)中的較大的數(shù)值，從而更符合HVS對于塊效應(yīng)更強(qiáng)的邊界關(guān)注度更高的特點(diǎn)，本文中θ=2.

2 試驗(yàn)結(jié)果分析

為了驗(yàn)證筆者提出的算法性能的優(yōu)劣，在圖像質(zhì)量評價(jià)數(shù)據(jù)庫IVC[11]、LIVE[12]、TID 2008[13](表1)中，進(jìn)行9種圖像塊效應(yīng)評價(jià)算法的對比.

9種算法為全參考圖像質(zhì)量評價(jià)的PSNR(峰值信噪比)、PSIM[2]算法以及常用的無參考塊效應(yīng)評價(jià)算法，如BRISQUE[14-15]、SSEQ[3]、JQS[16]、SHMCD[17]、MDCS[4]、BAML[5]、NBM[7].

表1 圖像質(zhì)量評價(jià)數(shù)據(jù)庫

筆者主要對比圖像塊效應(yīng)評價(jià)指標(biāo)與人類對圖像質(zhì)量的主觀評價(jià)分?jǐn)?shù)之間的SROCC[18](spearman秩相關(guān)系數(shù))和KROCC[18](kendall秩相關(guān)系數(shù))，這兩個(gè)指標(biāo)主要反映的是算法預(yù)測的單調(diào)性，取值范圍在[0,1].其取值越接近1，表明算法的單調(diào)性越高，對應(yīng)的評價(jià)性能越好.

表2給出了不同算法在3個(gè)數(shù)據(jù)庫中的性能指標(biāo)，對最優(yōu)的評價(jià)值進(jìn)行加粗處理.可以看出，本文算法獲得了非常好的性能指標(biāo)(由于BRISQUE、BAML和SSEQ算法使用LIVE圖片進(jìn)行訓(xùn)練，因此得到的評價(jià)指標(biāo)沒有實(shí)際意義，在表格中用“訓(xùn)練”代表)，尤其是在IVC和TID2008數(shù)據(jù)庫上SROCC分別為0.950 8、0.942 1，KROCC分別為0.794 4、0.788 1.縱向來看，本文算法在3個(gè)數(shù)據(jù)庫上都取得了最優(yōu)的性能指標(biāo)，并且遠(yuǎn)遠(yuǎn)高于全參考評價(jià)算法以及非特定的無參考塊效應(yīng)評價(jià)算法，相對特定失真的塊效應(yīng)評價(jià)算法JQS、SHMCD、NBM、MDCS、BAML也有不同程度的提升.這說明本文算法對于圖像塊效應(yīng)的評價(jià)性能是非常有效的，與人類主觀感知具有較高的單調(diào)一致性.

3 結(jié)論

對于圖像塊效應(yīng)的評價(jià)，大多數(shù)算法都是在一種變換域(空域或者DCT域)上對圖像進(jìn)行分析.筆者提出的算法結(jié)合了圖像在兩種變換域上的信息，利用空域上的梯度信息獲得圖像塊效應(yīng)映射圖，并利用DCT域上信息獲得了HVS對圖像的掩蔽效應(yīng)，進(jìn)而對塊效應(yīng)做出評價(jià).通過在多個(gè)圖像數(shù)據(jù)庫中的仿真，發(fā)現(xiàn)該算法的評價(jià)結(jié)果與主觀質(zhì)量評價(jià)具有高度的單調(diào)一致性，比當(dāng)前的主流塊效應(yīng)評價(jià)算法有了明顯的提升.考慮到整個(gè)算法沒有復(fù)雜的轉(zhuǎn)換，且不需要原始圖像，因此該算法可以用在無參考的圖像質(zhì)量評價(jià)體系中，對圖像增強(qiáng)或者圖像質(zhì)量優(yōu)化的參數(shù)選擇有指導(dǎo)意義.

表2 算法性能指標(biāo)對比