基于卡通紋理分解的復合降質圖像質量評價*

張飛艷, 張長江

(浙江師范大學 數(shù)理與信息工程學院,浙江 金華 321004)

0 引 言

圖像是人們獲取信息的主要來源，隨著智能手機、數(shù)字相機的普及，每時每刻都有大量的圖像被獲取，飛速發(fā)展的互聯(lián)網(wǎng)技術使得這些圖像的傳輸和分享快捷而方便.在圖像的獲取、傳輸、處理和顯示過程中，一些不可避免的干擾因素往往會導致圖像質量的下降，如噪聲、模糊、壓縮等導致了數(shù)據(jù)丟失，因此，對圖像進行可靠的質量評價是準確認識和更好地利用圖像的前提.近年來，圖像質量評價(image quality assessment，IQA)已成為圖像處理領域中的一個重要研究方向和研究熱點.圖像質量評價方法一般可分為主觀評價法和客觀評價法，主觀評價由多名觀察者對圖像質量進行主觀打分,常用的打分機制有平均主觀得分法(mean opinion score,MOS)和平均主觀得分差異法(differential mean opinion score,DMOS).盡管主觀評價法是對圖像質量的最準確描述，但其工作量大、耗時長,很難進行實際應用；客觀評價法是指通過構建數(shù)學模型，由計算機計算得到與主觀評價值較為一致的圖像質量指標，客觀評價法應用方便、高效，是人們進行圖像質量評價的主要手段[1-3].

根據(jù)對參考圖像的不同需求，客觀圖像質量評價方法可分為：全參考法(full-reference，F(xiàn)R)、部分參考法(reduced-reference，RR)和無參考法(no-reference，NR).全參考方法結構相似性(structure similarity，SSIM)的出現(xiàn)[4]，極大地促進了圖像質量評價的研究進展，使得算法從傳統(tǒng)的基于像素的峰值信噪比(peak signal noise ratio，PSNR)、均方誤差(mean square error，MSE)等轉變?yōu)榛诮Y構的算法，涌現(xiàn)出大量的優(yōu)秀算法，如SSIM算法的各種改進模型：基于信息權重的SSIM[5]、特征相似性模型(feature similarity，F(xiàn)SIM)[6]、各向異性結構的相似性模型DASM[7]等；考慮人眼視覺特性的模型：基于圖像顯著性區(qū)域的模型[8]、基于感興趣區(qū)域的模型[9]等.在客觀圖像質量評價方法的應用過程中，參考圖像的缺失是一個難以避免的問題，因此，僅需部分參考圖像信息的部分參考法和不需要參考圖像的無參考評價法，也稱盲圖像質量評價(blind IQA,BIQA)，逐漸成為研究熱點.其中，極具代表性的算法有：基于圖像結構模式降質的部分參考評價[10]、盲/無參考圖像空域質量評價(blind/referenceless image spatial quality evaluator，BRISQUE)[11]、自然圖像質量評價(natural image quality evaluator，NIQE)[12]、基于空間頻譜和熵的質量評價(spatial-spectral entropy-based quality index,SSEQ)[13]等.

隨著圖像質量評價研究的不斷發(fā)展，研究者致力于探討更深入、更復雜的圖像質量評價問題.德克薩斯大學奧斯丁分校的圖像與視頻工程實驗室近年來先后發(fā)布了復合降質圖像庫LIVEMD、野外真實降質圖像庫ChallengeDB、高動態(tài)范圍圖像庫HDRdatabase，不斷挑戰(zhàn)現(xiàn)有的圖像質量評價算法，探索新的研究方向[14].文獻[15]提出了包括復合降質圖像的質量評價問題在內的七大挑戰(zhàn)，也是圖像質量評價發(fā)展過程中亟待解決的關鍵問題.

本文針對復合降質中的模糊噪聲復合降質問題進行評價算法的探討,主要基于以下兩點：首先，模糊和噪聲導致的質量下降是圖像獲取、傳輸和處理過程中最常見的，也是最難以避免的，且圖像很容易同時受到二者的影響，因此探索二者的復合降質具有實際應用價值；其次，相對于模糊和JPEG,JPEG2000的復合降質，模糊和噪聲對算法賴以建模的圖像特征的影響某種程度上具有反向作用，其相互疊加和干擾機制也更為復雜.基于此，本文提出了一種通用模糊噪聲復合降質圖像評價模型，在對圖像進行卡通紋理分解后，分別對模糊和噪聲降質程度進行評價，有效地避免了二者的相互干擾；最后，通過匯集策略得到圖像的最終質量測度.在LIVEMD圖像庫中的實驗表明，本文算法具有較高的主客觀一致性，能夠對復合降質圖像質量進行準確的評價.

1 基于卡通紋理分解的復合降質圖像質量評價

本文建立的評價模型主要有4部分：1)卡通紋理分解；2)基于卡通分量的模糊評價；3)基于紋理分量的噪聲強度評價；4)匯集策略的設計.圖1為本文算法的流程圖.首先，利用卡通紋理分解算法將圖像的顯著性邊緣結構信息和紋理細節(jié)信息進行有效區(qū)分；其次，利用特征相似性算法對圖像的卡通分量進行模糊評價，得到模糊評價因子；然后，利用紋理分量得到噪聲強度因子；在對二者進行一致性修正后，結合人眼視覺特性，給出權重參數(shù)，最終得到模糊噪聲復合降質圖像的質量評價指標.

圖1 基于卡通紋理分解的復合降質圖像質量評價算法流程圖

1.1 卡通紋理分解

1.1.1 卡通紋理分解的基本思想

卡通紋理分解是圖像分解領域中一個十分有意義的概念，其主要思想是將圖像的分段光滑部分和細節(jié)紋理部分區(qū)分開來，即將圖像分解為卡通分量和紋理分量，以更好地對圖像進行后續(xù)處理.這種圖像分解方式已廣泛應用于圖像壓縮、圖像分析、圖像的超分辨率重建和計算機視覺等領域.圖2是利用文獻[16]中算法對LIVEMD圖像庫中的“l(fā)akebuilding”圖像進行卡通紋理分解的結果.

(a)原始圖像 (b)卡通分量 (c)紋理分量圖2 “l(fā)akebuilding”圖像卡通紋理分解

1.1.2 模糊和噪聲的分離

圖像模糊的評價一般基于圖像的顯著性邊緣，而對噪聲的評價往往利用圖像的平滑區(qū)域，或者說結構信息較少的區(qū)域.因此，本文將模糊和噪聲復合降質圖像進行卡通紋理分解，目的在于利用卡通紋理分解的特性，將圖像的顯著性邊緣結構信息與包含噪聲的細節(jié)紋理信息區(qū)分開來.圖3是參考圖像和經(jīng)過模糊和噪聲復合降質的“l(fā)akebuilding”圖像的卡通紋理分解.

由圖3(a)和圖3(c)的對比可知，分解得到的卡通分量主要保留了圖像的顯著性結構信息，基本未受噪聲的影響；由圖3(b)和圖3(d)的對比可知，噪聲作為細節(jié)信息被分解到紋理分量中.

1.2 基于卡通分量的圖像模糊評價

對HVS的不斷研究表明，人眼對圖像的認識主要通過低層次特征來獲取，基于此,文獻[6]提出了一種以相位一致性為主要特征、以梯度為輔助特征的特征相似性圖像質量評價指標(feature simmilarity,FSIM).針對已知參考圖像和降質圖像，其步驟如下：

1)計算每個像素的相位一致性值，分別得到2幅圖像的相位一致性矩陣PC1和PC2.

2)計算每個像素的梯度值，獲取2幅圖像的梯度矩陣G1和G2.

3)通過式(1)和式(2)計算參考圖像和降質圖像的相位相似性矩陣SPC和梯度相似性矩陣SG中每個元素的值,進而得到SPC和SG.

(a)參考圖像卡通分量 (b)參考圖像紋理分量

(c)復合降質圖像卡通分量 (d)復合降質圖像紋理分量圖3 卡通紋理分解對模糊和噪聲降質的分離效果

式(1)和式(2)中:T1,T2為正常數(shù)，用來增加SPC和SG的穩(wěn)定性，其取值為T1=0.85,T2=160，分別由PCi(x),Gi(x)(i=1,2)值的動態(tài)范圍和實驗調試共同決定;SPC(x),PCi(x),Gi(x),SG(x)(i=1,2)分別為相應矩陣中同一行、同一列元素的值.

4)通過式(3)計算參考圖像和降質圖像的相似性矩陣SL中每一元素的值，從而得到SL.

SL(x)=SPC(x)·SG(x).

(3)

式(3)中：SL(x)，SPC(x)，SG(x)分別為相應矩陣中同一行、同一列元素的值.

5)考慮到人眼視覺特性，將表示圖像信息相對重要性的相位一致性指標作為權重，最終建立圖像的質量評價模型.

式(4)中:SL(x),PC1(x),PC2(x)的含義同上；PCmax(x)=max(PC1(x),PC2(x))；Ω為圖像空間.

由算法原理和步驟可知，F(xiàn)SIM指標更注重圖像的低層次信息，利用FSIM對復合降質圖像的卡通分量進行模糊程度評價，可以在一定程度上忽略細節(jié)信息的影響，得到較為準確的模糊強度因子.

1.3 基于紋理分量的圖像噪聲評價

針對加性高斯白噪聲的圖像噪聲評價算法不斷涌現(xiàn)，其中的優(yōu)秀算法已經(jīng)能夠準確地獲取噪聲方差，本文利用文獻[17]中提出的一種基于圖像弱紋理信息的噪聲強度評價算法對復合降質圖像的紋理分量進行噪聲強度評價，算法原理及步驟如下：

1)對加性高斯白噪聲，一般有如下表示：yi=zi+ni，其中，yi表示第i個含噪圖像塊區(qū)域，zi為第i個無噪圖像塊區(qū)域，ni表示噪聲分量.

2)利用主成分分析，可以得到以下結論：

3)由于自然圖像具有冗余性，其協(xié)方差矩陣往往是低秩矩陣，因此，λmin(Σz)可以看作0，則噪聲強度(noise level，NL)可以由以下計算獲得：

4)本文的紋理分量可看作一個弱紋理圖像，其圖像區(qū)域如圖2(c)、圖3(b)和圖3(d)所示，包含大量的平坦區(qū)域，都屬于低秩圖像區(qū)域，利用此算法可以有效地獲取紋理分量中的噪聲強度.

1.4 匯集策略

卡通分量的模糊強度因子和紋理分量的噪聲強度因子不具有線性相關性，為了構建復合降質圖像的最終質量評價模型，首先需要對二者進行一致性修正.本文利用LIVE2圖像庫中的模糊和噪聲圖像的主觀評價指標(DMOS)作為參考，依據(jù)文獻[18]中的擬合公式，將模糊因子和噪聲因子通過擬合分別映射到主觀評價域,即

(7)

式(7)中:q=(q1,q2,…,q145)為145幅圖像的客觀評價指標向量；Q=(Q1,Q2,…,Q145)為映射到主觀評價域后的向量；ei(i=1,2,3,4)為擬合參數(shù).

實現(xiàn)步驟如下：

1)分別利用FSIM算法和NL算法對LIVE2圖像庫中的145幅模糊圖像、145幅高斯噪聲圖像進行質量評價，得到客觀評價向量qblur，qnoise.

2)結合LIVE2庫中給出的DMOSblur和DMOSnoise主觀評價向量，使用式(7)進行擬合，分別得到FSIM,NL指標的主客觀擬合參數(shù)ei(i=1,2,3,4).

3)利用擬合參數(shù)，將模糊噪聲復合降質圖像卡通分量的FSIM指標和紋理分量的NL指標分別映射到主觀評價域，得到擬合后指標值FSIMmap和NLmap，此時，二者具有線性一致性.

4)基于人眼在觀察圖像時更注重于低層次的信息的視覺特性，在線性加權模型中更側重于模糊指標，建立了基于卡通紋理分解的復合降質圖像質量評價模型(cartoon-texture decomposition based multi-distortion index，CTDMDI)：

CTDMDI=w1·FSIMmap+w2·NLmap.

(8)

式(8)中:w1=0.7,w2=0.3，分別為模糊評價指標和噪聲評價指標的線性加權值.其取值的理論依據(jù)為:在對人眼視覺系統(tǒng)的研究中發(fā)現(xiàn)，人眼在感知圖像時，其視覺焦點往往在圖像的顯著性邊緣部分，因此，對圖像的邊緣模糊敏感度較高，而對圖像平滑區(qū)域及平滑區(qū)域的噪聲相對感知較弱，在實驗與分析部分給出了利用實驗選取最優(yōu)權重的數(shù)據(jù)表，從另一個方面證實了人眼視覺顯著性理論.

2 實驗與分析

2.1 復合降質圖像庫LIVEMD

LIVE實驗室于2013年發(fā)布了首個復合降質圖像質量評價數(shù)據(jù)庫，庫中包含15幅標準參考圖像，對每幅參考圖像分別進行了2種復合降質操作：1)圖像在受到模糊降質后，對其進行JPGE壓縮，得到復合降質圖像；2)圖像在受到模糊降質后，再加入高斯白噪聲，得到復合降質圖像.每種降質類型有3個等級，共得到了225幅模糊JPEG壓縮復合降質圖像和225幅模糊噪聲復合降質圖像.庫中給出了每幅降質圖像的DMOS主觀打分值，DMOS值越小，圖像質量越好，反之，圖像質量越差.在實驗中，本文針對225幅模糊噪聲降質圖像進行了主客觀一致性實驗.

2.2 最優(yōu)權重選取實驗

實驗從平均加權思路開始，分別向增大FSIM算法指標權重、減小NL算法指標權重和減小FSIM算法指標權重、增大NL算法指標權重2個方向進行測試，測試步長為0.10.實驗結果如表1所示.為了保證實驗的準確性，在可能出現(xiàn)轉折點處將步長設為0.05.

表1 權重參數(shù)測試實驗數(shù)據(jù)

注:加*部分為本文權重與對應的主客觀一致性指標.

由表1可知，將權重設置為：w1=0.7,w2=0.3，既有理論依據(jù)，也符合實驗測試結果.

2.3 算法評估參數(shù)

由于人眼是圖像的最終接收者，所以客觀的圖像質量評價指標在多大程度上與人眼主觀判斷相一致是評價其有效性與否的一般方法.常用的5個主客觀指標一致性評價參數(shù)包括：1)皮爾森線性相關系數(shù)(Pearson linear correlation coefficient，PLCC)；2)映射到主觀評價指標域后的線性相關系數(shù)(PLCC after mapping，PLCC(mapping))；3)斯皮爾曼秩相關系數(shù)(Spearman rank-order correlation coefficient,SROCC)；4)均方誤差(root mean square error,RMSE)；5)絕對平均誤差(mean absolute error，MAE).其中，PLCC,RMSE和MAE用于評價算法的準確性，SROCC用于評價算法的單調性.一個優(yōu)秀的客觀圖像質量評價算法應具有較高的主客觀一致性，即PLCC,PLCC(mapping),SROCC的值接近1，而與主觀評價的誤差較小，即RMSE,MAE值較小.

2.4 實驗與分析

為了更好地說明本文算法對復合降質圖像評價的有效性與準確性，本節(jié)對其評價性能進行了主客觀一致性檢驗，并與已有的多個優(yōu)秀算法進行對比.由于部分算法是基于訓練的，通常將圖像庫劃分為80%的訓練樣本集和20%的測試樣本集，而樣本數(shù)量差異巨大的測試樣本集難以得到可靠的對比結果.因此，本文共進行了兩組對比實驗：

對比實驗1：測試集為LIVEMD圖像庫中的225幅模糊噪聲復合降質圖像，對比算法包括：PSNR， SSIM[4]，F(xiàn)SIM[6]，GMSD[19]，BRISQUE[11]，SSEQ[13]和NIQE[12].其中，PSNR，SSIM，F(xiàn)SIM，GMSD和本文算法CTDMDI均為FR評價算法，BRISQUE，SSEQ和NIQE為NR評價算法.如圖4所示.

對比實驗2：測試集為隨機選取的45幅模糊噪聲復合降質圖像，即圖像庫的20%樣本，對比算法包括：基于訓練的IL-NIQE算法[20]，Pro.算法[21]和GWH-GLBP算法[22].如圖5所示.

將所有算法應用于對應的測試集，得到對應的圖像客觀評價指標，利用圖像庫中給出的主觀評價指標DMOS，使用Matlab擬合工具箱進行擬合，擬合結果如圖4和圖5所示，主客觀一致性評估參數(shù)見表2.

圖4 圖像質量客觀評價算法PSNR，SSIM，F(xiàn)SIM，GMSD，BRISQUE，NIQE及本文算法與主觀評價DMOS值的擬合散點圖(對比實驗1)

圖5 圖像質量客觀評價算法IL-NIQE,Pro.,GWH-GLBP及本文算法與主觀評價DMOS值的擬合散點圖

由圖4和表2中的兩組對比實驗可知，F(xiàn)R評價算法整體上優(yōu)于NR評價算法，在NR評價算法中，BRISQE，SSEQ算法在非復合降質圖像質量評價上表現(xiàn)優(yōu)異[11，13]，而對模糊噪聲復合降質圖像則基本不能進行可靠評價，其原因是算法建模采用的特征在模糊和噪聲的影響下向2個相反的方向變化，當二者同時存在時，其相互疊加和干擾導致算法基本失去評價作用，文獻[23]對此進行了詳細的解釋.以BRISQE為例，算法用于建模的特征是MSCN(mean subtracted contrast normalized),其計算公式為

表 2 本文算法和對比算法評價性能比較(每個指標中的最優(yōu)已加*顯示)

本文算法通過卡通紋理分解，有效地避免了模糊和噪聲對圖像特征的相互影響，對圖像質量進行了較為準確的評價.從算法評估參數(shù)上看，相較于10個對比算法，其準確性和單調性都有較大的提高.對比算法中，NR評價指標Pro.和GWH-GLBP與本文算法具有一定的可比性，但其建模是基于訓練的，算法復雜度較高，且針對不同的圖像庫，算法都需要重新進行訓練，才能得到最優(yōu)評價結果.與之相比，本文算法是基于特征的，不需要進行大量訓練，就可以應用于所有的模糊噪聲復合降質圖像，在實際應用中更加方便.

3 結 語

針對模糊和噪聲復合降質圖像質量評價建模困難、視覺感知復雜這一問題，本文提出了一種基于卡通紋理分解的復合降質圖像質量評價算法.算法利用卡通紋理分解將圖像的顯著性結構、邊緣等大輪廓信息與圖像的細節(jié)紋理信息區(qū)分開來，分別用于模糊程度和噪聲強度的評價，同時，結合人眼視覺特性設計匯集策略，得到最佳的評價效果.在LIVEMD圖像庫上的實驗結果表明，本文算法與主觀評價結果有較高的一致性，評價的準確性與單調性優(yōu)于對比算法.本文算法需要參考圖像和失真圖像，屬于全參考質量評價.探索更優(yōu)的、無參考的復合降質圖像質量評價算法，將是下一步的研究目標.