基于梯度幅度和梯度方向直方圖的全參考圖像質(zhì)量評(píng)價(jià)算法

王同罕　 賈惠珍　 舒華忠

(1東華理工大學(xué)江西省放射性地學(xué)大數(shù)據(jù)技術(shù)工程實(shí)驗(yàn)室， 南昌 330013)(2東南大學(xué)影像科學(xué)與技術(shù)實(shí)驗(yàn)室， 南京 210096)

圖像質(zhì)量評(píng)價(jià)主要分為主觀評(píng)價(jià)和客觀評(píng)價(jià).主觀評(píng)價(jià)是由人眼直接觀察并進(jìn)行評(píng)價(jià)的，符合人的感知特性，結(jié)果準(zhǔn)確可靠，但容易受客觀條件和主觀情緒等因素影響，存在評(píng)價(jià)結(jié)果不夠穩(wěn)定、耗時(shí)、費(fèi)用高、難以操作等缺點(diǎn).根據(jù)對(duì)原始信息的依賴程度，客觀評(píng)價(jià)可以分為全參考、部分參考和無(wú)參考圖像質(zhì)量評(píng)價(jià)[1].全參考圖像質(zhì)量評(píng)價(jià)是在參考圖像完全可用的情況下評(píng)價(jià)圖像質(zhì)量，部分參考圖像質(zhì)量是利用參考圖像的部分信息對(duì)失真圖像進(jìn)行評(píng)價(jià)，無(wú)參考圖像質(zhì)量評(píng)價(jià)是不需要參考圖像的任何信息，直接對(duì)圖像進(jìn)行評(píng)價(jià).全參考評(píng)價(jià)算法的結(jié)果相對(duì)可靠穩(wěn)定，被稱為最可靠的評(píng)價(jià)算法.

早期的全參考質(zhì)量評(píng)價(jià)算法(如MSE和PSNR)沒(méi)有考慮人類的視覺(jué)特性，評(píng)價(jià)結(jié)果與人的主觀一致性較差.隨后，學(xué)者們從人類視覺(jué)系統(tǒng)的仿生學(xué)角度和基于系統(tǒng)理論的工程學(xué)角度來(lái)設(shè)計(jì)評(píng)價(jià)模型[2-15].其中的典型算法包括SSIM算法[2]、IFC算法[5]、VIF算法[6]、MAD算法[7]、FSIM算法、VSI算法、 GSM算法[10]、GMSD算法[11]等.這些基于工程學(xué)的典型算法均采用與人類視覺(jué)特性相關(guān)的感知特征和有效的池化策略.人類視覺(jué)系統(tǒng)理解一幅圖像主要是基于其底層特征，如邊界和零交叉[11].梯度是邊界的構(gòu)成要素，廣泛應(yīng)用于參考圖像質(zhì)量評(píng)價(jià)中，如FSIM，GSM和GMSD等.梯度方向直方圖可表示邊界的結(jié)構(gòu)信息，能準(zhǔn)確地描述邊界的局部形狀信息.基于此，本文提出了一種結(jié)合梯度幅度和梯度方向直方圖的全參考圖像質(zhì)量評(píng)價(jià)算法.

1　梯度方向直方圖

梯度方向直方圖(HOG)的基本思想是，根據(jù)一幅圖像中的局部強(qiáng)度梯度或邊界方向分布，可以準(zhǔn)確地描述局部物體表象和形狀[16].針對(duì)圖像I，其梯度方向直方圖的提取步驟如下：

Gh(x,y)=I(x+1,y)-I(x-1,y)

(1)

Gv(x,y)=I(x,y+1)-I(x-1,y)

(2)

梯度幅度M(x,y)和梯度方向θ(x,y)分別為

(3)

(4)

② 空間/方向的劃分.先將圖像按照空間位置劃成一定大小的小塊，由若干個(gè)小塊組成一個(gè)大的局域分塊.根據(jù)每個(gè)小塊內(nèi)的像素，通過(guò)加權(quán)投票的方式對(duì)方向直方圖進(jìn)行投票.將局域分塊中所有小塊的方向直方圖串聯(lián)起來(lái)，形成局域分塊的特征描述子.其中，每個(gè)小塊的形狀可為矩形或圓形；方向直方圖的方向取值為0°～180°或0°～360°，一般將方向分為9個(gè)通道；加權(quán)投票方式一般采用高斯加權(quán)，或者根據(jù)像素梯度幅度及其相關(guān)函數(shù)進(jìn)行加權(quán).

2　基于梯度幅度和梯度方向直方圖的評(píng)價(jià)算法

在本文算法中，首先計(jì)算參考圖像和失真圖像的梯度幅度圖以及梯度方向直方圖；其次，計(jì)算參考圖像和失真圖像的梯度幅度相似度圖和梯度方向直方圖的相似度向量；然后，統(tǒng)計(jì)梯度幅度相似度的標(biāo)準(zhǔn)方差和所有分塊的梯度方向直方圖相似度的標(biāo)準(zhǔn)方差；最后，將采用加權(quán)方式綜合形成整幅圖像的相似度標(biāo)準(zhǔn)方差作為失真圖像的預(yù)測(cè)分?jǐn)?shù)值.本文算法的工作框架見(jiàn)圖1.

圖1　本文算法的工作框架圖

2.1　梯度幅度相似度圖

人類視覺(jué)系統(tǒng)理解一幅圖像主要根據(jù)其底層特征，如邊界、零交叉等.梯度是邊界的構(gòu)成要素，梯度幅度能反應(yīng)細(xì)節(jié)變化和紋理變化，廣泛應(yīng)用于參考圖像質(zhì)量評(píng)價(jià)算法設(shè)計(jì)中，如FSIM，GSM，GMSD，VSI等.其中GSM，GMSD這2種算法均僅通過(guò)梯度幅度相似度來(lái)設(shè)計(jì)評(píng)價(jià)模型，但二者采用的圖像預(yù)處理、梯度算子和池化算法不同，這2種模型的預(yù)測(cè)效果均較好，且GSM的預(yù)測(cè)效果更優(yōu).據(jù)此，本文采用梯度幅度相似度作為衡量失真圖像失真程度的重要依據(jù)之一，采用GMSD進(jìn)行梯度幅度相似度計(jì)算.

梯度通常采用線性濾波卷積進(jìn)行計(jì)算，典型濾波器包括Roberts，Sobel，Prewitt，Scharr等.本文算法采用水平方向Prewitt算子hx和垂直方向Prewitt算子hy來(lái)計(jì)算圖像任意像素點(diǎn)i在水平方向上的梯度Gx(i)和垂直方向上的梯度Gy(i)，進(jìn)而得到該像素點(diǎn)的梯度幅值G(i).其中，hx和hy分別為

(5)

Gx(i)=I(i)?hx

(6)

Gy(i)=I(i)?hy

(7)

(8)

令參考圖像和失真圖像的梯度幅度圖分別為Gr和Gd，則梯度幅度相似度圖的計(jì)算公式為

(9)

式中，C為一個(gè)正數(shù)常量.Q圖是基于像素方式進(jìn)行計(jì)算的，而梯度幅度是基于小局域分塊的方式進(jìn)行計(jì)算.Gr(i)和Gd(i)相同時(shí)，Q(i)達(dá)到最大值1.

2.2　梯度方向直方圖相似度

人們識(shí)別物體和場(chǎng)景的關(guān)鍵依據(jù)是物體和區(qū)域的形狀.形狀作為物體的固有屬性之一，主要由封閉的輪廓曲線包圍而成，不受顏色、紋理、光照等變化影響，并易于被人眼捕捉，因此形狀的失真易于被人眼所觀察.梯度方向直方圖能很好地描述物體的表象和形狀，因此將梯度直方圖的相似度作為衡量圖像失真的另一個(gè)重要依據(jù).其計(jì)算過(guò)程如下：

① 先按照公式分別計(jì)算參考圖像和失真圖像的水平梯度、垂直梯度、梯度幅度和梯度方向.

② 將參考圖像和失真圖劃塊，其中每個(gè)細(xì)胞大小為8×8.由2×2個(gè)細(xì)胞組成一個(gè)大的局域分塊，計(jì)算每個(gè)細(xì)胞的梯度方向直方圖.然后，將局域分塊中所有細(xì)胞的梯度方向直方圖串起來(lái)，得到梯度方向直方圖特征向量.最后，將所有具有一定重疊程度的分塊的特征向量組合在一起，形成整幅圖像的梯度方向直方圖特征.令參考圖像和失真圖像的梯度方向直方圖分別為Xr和Xd. 其中，每個(gè)細(xì)胞梯度方向直方圖的計(jì)算方法是假定梯度方向取值范圍0°～180°，將其分成9份，然后采用加權(quán)梯度幅值的投票方式對(duì)梯度方向直方圖進(jìn)行投票.

③ 梯度方向直方圖的相似度主要通過(guò)方向直方圖的均值和方差來(lái)衡量，即

T(i)=c(i)k(i)

(10)

(11)

(12)

式中，mr(i)和md(i)分別為參考圖像和失真圖像中第i個(gè)局域分塊梯度方向直方圖的均值；sr(i)和sd(i)分別為參考圖像和失真圖像中第i個(gè)局域分塊梯度方向直方圖的方差；T(i)為失真圖像的梯度方向直方圖的相似度.當(dāng)參考圖像和失真圖像中第i個(gè)分塊相同時(shí)，T(i)達(dá)到最大值1.

2.3　標(biāo)準(zhǔn)方差加權(quán)合并策略

合并策略的選取對(duì)于全參考圖像質(zhì)量評(píng)價(jià)來(lái)說(shuō)至關(guān)重要.平均合并策略和加權(quán)平均合并策略廣泛應(yīng)用于模型設(shè)計(jì)中.就預(yù)測(cè)精度而言，加權(quán)平均策略較平均合并策略具有更好的效果，但其復(fù)雜度較高. GMSD中，基于單一特征計(jì)算相似圖時(shí)，采用標(biāo)準(zhǔn)方差策略效果較好；基于多個(gè)特征計(jì)算相似圖時(shí)，采用標(biāo)準(zhǔn)方差策略的效果較差，究其原因在于不同特征之間的某種關(guān)聯(lián)會(huì)導(dǎo)致評(píng)價(jià)圖像質(zhì)量時(shí)更加復(fù)雜.基于此，本文采用標(biāo)準(zhǔn)方差加權(quán)合并策略，先分別計(jì)算梯度幅度相似度圖和梯度方向直方圖相似度的標(biāo)準(zhǔn)方差，然后通過(guò)加權(quán)求和的方式得到最后的分?jǐn)?shù)s，即

s=w1D(Q)+w2D(T)

(13)

式中，w1和w2為權(quán)重，且w1+w2=1；D為標(biāo)準(zhǔn)方差函數(shù).

3　實(shí)驗(yàn)結(jié)果與分析

3.1　圖像庫(kù)和評(píng)價(jià)標(biāo)準(zhǔn)

采取3個(gè)公開(kāi)的自然圖像數(shù)據(jù)庫(kù)(LIVE[17],TID2008[18]和IVC[19])來(lái)驗(yàn)證本文算法的有效性.其中，LIVE庫(kù)是由美國(guó)德州大學(xué)奧斯汀分校提供，包含29幅高分辨率的彩色圖像以及對(duì)應(yīng)的5種失真類型，每種失真類型又包含幾種不同失真程度的圖像.該圖像庫(kù)包含982幅圖像，其中失真圖像779幅.每幅圖像都有對(duì)應(yīng)的差分主觀分?jǐn)?shù)(DMOS)，其值越大，則圖像質(zhì)量越差.TID2008庫(kù)是由芬蘭坦佩雷理工大學(xué)提供.該庫(kù)由25幅參考圖像生成1 700幅失真圖像，共包含17種失真類型，每種失真類型包含100幅圖像. 25幅參考圖像中前24幅為自然圖像，最后1幅為失真圖像.IVC庫(kù)包含10幅原始圖像和185幅失真彩色圖像，共包含4種失真類型.

分析客觀評(píng)價(jià)方法與主觀評(píng)價(jià)相關(guān)程度的常用統(tǒng)計(jì)指標(biāo)包括斯皮爾曼秩相關(guān)系數(shù)(SROCC)、肯德?tīng)栔认嚓P(guān)系數(shù)(KROCC)、皮爾森相關(guān)系數(shù)(PLCC)和均方根誤差(RMSE).其中，前2種評(píng)價(jià)指標(biāo)表征算法預(yù)測(cè)的單調(diào)性，PLCC表征算法預(yù)測(cè)的精度，RMSE表征算法預(yù)測(cè)的誤差.SROCC，KROCC，PLCC指標(biāo)越大，說(shuō)明算法評(píng)價(jià)準(zhǔn)確率性能越高，RMSE指標(biāo)越低，即評(píng)價(jià)準(zhǔn)確率越高.采用PLCC和RMSE兩種指標(biāo)進(jìn)行評(píng)價(jià)前，通常需要進(jìn)行非線性回歸，將預(yù)測(cè)值和主觀分?jǐn)?shù)映射到同一級(jí)別，采用的非線性回歸方程為[20]

(14)

式中，p(x)為非線性回歸后的預(yù)測(cè)分?jǐn)?shù)；αi(i=1,2,3,4,5)為待擬合的參數(shù)；x為原預(yù)測(cè)分?jǐn)?shù).

3.2　加權(quán)權(quán)重設(shè)置實(shí)驗(yàn)

在標(biāo)準(zhǔn)方差加權(quán)合并策略中，需要對(duì)算法中的權(quán)重進(jìn)行設(shè)置.為了選擇合適權(quán)重，對(duì)3個(gè)數(shù)據(jù)庫(kù)中不同權(quán)重下的SROCC進(jìn)行了對(duì)比，結(jié)果見(jiàn)圖2.由圖可知，在LIVE庫(kù)上，當(dāng)梯度幅度相似度圖標(biāo)準(zhǔn)差的權(quán)重設(shè)置為0.3，而梯度直方圖相似度標(biāo)準(zhǔn)差的權(quán)重設(shè)置為0.7時(shí)，SROCC值最高；在TID2008庫(kù)上，當(dāng)梯度幅度相似度圖標(biāo)準(zhǔn)差的權(quán)重設(shè)置為0.3和0.4時(shí)，SROCC值最高；在IVC庫(kù)上，當(dāng)梯度幅度相似度圖標(biāo)準(zhǔn)差權(quán)重設(shè)置為0.2時(shí)，SROCC值最高.本文算法設(shè)置梯度幅度相似度圖標(biāo)準(zhǔn)差的權(quán)重w1=0.3，梯度方向直方圖相似度標(biāo)準(zhǔn)方差權(quán)重w2=0.7.

3.3　性能比較實(shí)驗(yàn)

在實(shí)驗(yàn)中，設(shè)置C=170，C1=C2=1.計(jì)算梯度幅度相似度之前，需對(duì)圖像進(jìn)行2×2高斯加權(quán)平均濾波，然后進(jìn)行下采樣.為驗(yàn)證所提算法的有效性，將其與目前具有代表性的8種參考圖像質(zhì)量評(píng)價(jià)算法(SSIM，IW-SSIM，VIF，MAD，F(xiàn)SIM，GSM，GMSD，VSI)進(jìn)行比較.這些算法中除了FSIM和VSI能夠同時(shí)評(píng)價(jià)彩色圖像和灰度圖像外，其他算法都是針對(duì)灰度圖像進(jìn)行設(shè)計(jì)的.所提算法與8種代表性算法在LIVE，TID2008和IVC庫(kù)上的結(jié)果見(jiàn)表1.根據(jù)3個(gè)庫(kù)中測(cè)試圖像的個(gè)數(shù)對(duì)各指標(biāo)進(jìn)行加權(quán)平均，以反映評(píng)價(jià)算法的總體評(píng)價(jià)性能.

(a) LIVE庫(kù)

(b) TID2008庫(kù)

(c) IVC庫(kù)

由表1可以看出，所提算法的性能均優(yōu)于主流算法.為了更好地顯示各算法預(yù)測(cè)結(jié)果與主觀評(píng)價(jià)的一致性，給出了各算法在TID2008圖像庫(kù)上的散點(diǎn)圖，結(jié)果見(jiàn)圖3.由圖可知，本文算法的散點(diǎn)相對(duì)比較集中，說(shuō)明具有較好的主客觀一致性.

4　結(jié)論

1) 根據(jù)人類視覺(jué)系統(tǒng)視覺(jué)特性，人眼不僅易于捕捉圖像細(xì)節(jié)紋理的變化，并且對(duì)局域物體的形狀失真比較敏感.梯度幅度可反映紋理細(xì)節(jié)變化，梯度方向直方圖能描述局部物體的表象和形狀.基于此，本文提出一種基于梯度幅度和梯度方向直方圖的全參考圖像質(zhì)量評(píng)價(jià)算法.

表1　各算法性能比較

(a) SSIM

(b) IWSSIM

(c) MAD

(d) FSIM

(e) GMSD

(f) 本文算法

圖3各算法在TID2008庫(kù)上的散點(diǎn)圖

2) 在本文算法中，首先提取參考圖像和失真圖像的梯度幅度特征和梯度方向直方圖特征；然后，計(jì)算參考圖像和失真圖像的梯度幅度相似度圖和梯度方向直方圖相似度向量；最后，采用標(biāo)準(zhǔn)方差加權(quán)策略得到失真圖像的最終預(yù)測(cè)值.

3) 3個(gè)圖像數(shù)據(jù)庫(kù)LIVE，TID2008，IVC上的實(shí)驗(yàn)結(jié)果表明，本文所提算法具有較高的主客觀一致性.

4) 下一步工作主要研究梯度直方圖分塊及細(xì)胞大小對(duì)圖像質(zhì)量評(píng)價(jià)的影響，以進(jìn)一步提高算法的預(yù)測(cè)性能.

參考文獻(xiàn)(References)

[1] Wang Z, Bovik A. Modern image quality assessment[J].SynthesisLecturesonImageVideo&MultimediaProcessing, 2006,2(1):1-156.

[2] Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment: From error visibility to structural similarity[J].IEEETransImageProcess, 2004,13(4): 600-612. DOI:10.1109/tip.2003.819861.

[3] Wang Z, Simoncelli E P, Bovik A C. Multiscale structural similarity for image quality assessment[C]//TheThirty-SeventhAsilomarConferenceonSignals,SystemsandComputers. Pacific Grove, CA, USA, 2003: 1398-1402. DOI:10.1109/acssc.2003.1292216.

[4] Wang Z, Li Q. Information content weighting for perceptual image quality assessment[J].IEEETransImageProcess, 2011,20(5): 1185-1198. DOI:10.1109/TIP.2010.2092435.

[5] Sheikh H R, Bovik A C, de Veciana G. An information fidelity criterion for image quality assessment using natural scene statistics[J].IEEETransImageProcess, 2005,14(12): 2117-2128. DOI:10.1109/tip.2005.859389.

[6] Sheikh H R, Bovik A C. Image information and visual quality[J].IEEETransImageProcess, 2006,15(2): 430-444. DOI:10.1109/tip.2005.859378.

[7] Chandler D M. Most apparent distortion:Full-reference image quality assessment and the role of strategy[J].JournalofElectronicImaging, 2010,19(1): 011006-1-011006-21. DOI:10.1117/1.3267105.

[8] Zhang L, Zhang L, Mou X, et al. FSIM: A feature similarity index for image quality assessment[J].IEEETransImageProcess, 2011,20(8): 2378-2386. DOI:10.1109/TIP.2011.2109730.

[9] Zhang L, Shen Y, Li H. VSI:A visual saliency-induced index for perceptual image quality assessment[J].IEEETransImageProcess, 2014,23(10): 4270-4281. DOI:10.1109/TIP.2014.2346028.

[10] Liu A, Lin W, Narwaria M. Image quality assessment based on gradient similarity[J].IEEETransImageProcess, 2012,21(4): 1500-1512. DOI:10.1109/TIP.2011.2175935.

[11] Xue W, Zhang L, Mou X, et al. Gradient magnitude similarity deviation: A highly efficient perceptual image quality index[J].IEEETransImageProcess, 2014,23(2): 684-695. DOI:10.1109/TIP.2013.2293423.

[12] Wang T, Zhang L, Jia H, et al. Multiscale contrast similarity deviation: An effective and efficient index for perceptual image quality assessment[J].SignalProcessing:ImageCommunication, 2016,45: 1-9. DOI:10.1016/j.image.2016.04.005.

[13] Shi Z, Chen K, Pang K, et al. A perceptual image quality index based on global and double-random window similarity[J].DigitalSignalProcessing, 2017,60: 277-286. DOI:10.1016/j.dsp.2016.09.013.

[14] Shi Z, Zhang J, Cao Q, et al. Full-reference image quality assessment based on image segmentation with edge feature[J].SignalProcessing, 2018,145: 99-105. DOI:10.1016/j.sigpro.2017.11.015.

[15] Xing L, Cai L, Zeng H, et al. A multi-scale contrast-based image quality assessment model for multi-exposure image fusion[J].SignalProcessing, 2018,145: 233-240. DOI:10.1016/j.sigpro.2017.12.013.

[16] Dalal N, Triggs B. Histograms of oriented gradients for human detection[C]// 2005IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition(CVPR'05). San Diego, CA, USA, 2005:886-893.DOI:10.1109/cvpr.2005.177.

[17] Sheikh H, Wang Z, Cormack L, et al. LIVE image quality assessment database release 2 [EB/OL]. (2005)[2017-06-02].http: //live. ece. utexas.edu/research/ quality.

[18] Ponomarenko N, Lukin V, Zelensky A, et al. TID2008—A database for evaluation of full-reference visual quality assessment metrics[J].AdvModernRadioelectron, 2004,10(4):30-45.

[19] Ninassi A, le Callet P, Autrusseau F. Pseudo no reference image quality metric using perceptual data hiding[C]//ProceedingsofSPIEHumanVisionandElectronicImaging. San Jose, CA, USA, 2006: 146-157. DOI:10.1117/12.650780.

[20] Sheikh H R, Sabir M F, Bovik A C. A statistical evaluation of recent full reference image quality assessment algorithms[J].IEEETransImageProcess, 2006,15(11): 3440-3451. DOI:10.1109/tip.2006.881959.