基于權重池的多尺度圖像質(zhì)量評估方法

朱惠娟，宗 平，叢玉華

南京理工大學紫金學院 計算機學院，南京210046

隨著數(shù)字成像和通信技術的迅速普及，圖像質(zhì)量評估（IQA）已成為許多應用程序中的重要問題，例如圖像獲取、傳輸、壓縮、恢復和增強，且在通信、處理和顯示系統(tǒng)的評估、控制、設計和優(yōu)化中具有廣泛的應用。由于主觀IQA方法無法在許多情況下（例如實時和自動化系統(tǒng)）簡便，常規(guī)地使用，因此有必要設計客觀IQA算法以自動、有效地測量圖像質(zhì)量。同時，客觀的預計評估結果應在統(tǒng)計上與人類觀察者保持一致?！耙恢隆笔侵杆惴ǖ馁|(zhì)量評估應與人類的判斷密切相關，無論圖像的失真類型，圖像的內(nèi)容或失真的強度如何。隨著計算機技術的進步，未來客觀的圖形質(zhì)量評估技術會與主觀評估越來越相近，評估的手段也會由全參考逐漸轉(zhuǎn)換為無參考的形式。

1 相關工作

多年來，許多研究人員在設計圖像質(zhì)量評估算法方面做出了重大研究[1-5]，也在該領域取得了一定的進展。在圖像質(zhì)量評估算法領域，為了使算法的性能與人類對圖像質(zhì)量的感知相關聯(lián)，為此建立了圖像和主觀評分數(shù)據(jù)庫，包括VQEG數(shù)據(jù)集[6]和LIVE數(shù)據(jù)庫[7]。Sheikh[8]測試了各種領先的IQA算法，并使用統(tǒng)計標準例如Spearman 秩相關系數(shù)（SROCC）、均方根誤差（RMSE）、線性相關系數(shù)（LCC）來表示算法與主觀評測結果的相關程度。其中，典型的IQA算法可以直接量化失真圖像與理想圖像之間的差異，其中結構相似性指數(shù)（SSIM）[9]和視覺信息保真度指數(shù)（VIF）[10]以及特征相似性指數(shù)（FSIM）[1]與人類的感知具有非常高的相關性。

SSIM 特別適合用于在實時系統(tǒng)中，相對于MSE[11]等舊的標準，具有極高的簡便性和出色的性能，因此該方法被常用于進行圖像質(zhì)量的評估。VIF 是基于自然場景統(tǒng)計（NSS）的IQA 替代方法，Seshadrinathan[12]證明SSIM和VIF的指標是等效的。FSIM是SSIM的一種成功變種算法，認為圖像的每個位置都有特有的特征，基于特征應該有不同程度相似度的比較衡量。

本文認為圖像的不同區(qū)域并非具有相同的重要性，因為從人類直觀感受的角度來看，圖像中的每個區(qū)域不可能具有與其他區(qū)域相同的視覺重要性。在視覺顯著性[13]、注視計算[14]以及偏向圖像和視頻壓縮的研究背景下，視覺重要性被反復提及，但是視覺重要性對于圖像質(zhì)量評估領域仍未完全開發(fā)，正是這一質(zhì)量評估領域的發(fā)展推動了本文的研究。

在圖像中如果某些區(qū)域可能在視覺上比其他區(qū)域更重要，從圖像映射空間合并視覺重要性權重的方法是提升Spearman秩相關系數(shù)或者線性相關系數(shù)的有效方法。Wang[15]評估了使用不同合并策略的效果，包括基于權重池的質(zhì)量合并，最后得出的結論是信息理論方法部署“信息內(nèi)容加權池”可以實現(xiàn)最大的收益。在本文中，將進一步研究基于權重池的質(zhì)量合并，并考慮基于預測的人類注視行為進行合并。

人類對圖像的感知與視覺注意力相關聯(lián)，人類的視覺注意力一般由圖像的區(qū)域質(zhì)量分布和對圖像的感受野決定。人類往往對于圖像中質(zhì)量較差的區(qū)域具有更高的敏感程度，因此即使是少數(shù)質(zhì)量較差的區(qū)域，圖像整體質(zhì)量也會受到更大的影響。Wang[15]指出對低質(zhì)量區(qū)域進行質(zhì)量加權合并可產(chǎn)生增量改進，本文也使用該策略可以獲得相當可觀的性能提升。

在圖像權重池的構造上，本文認為權重池的構造主要是為了契合人類的主觀評價標準。首先人類的視點分布情況會影響圖像質(zhì)量評估。例如，人類會更多在意中心區(qū)域的圖像質(zhì)量，而不是很在意邊邊角角的細節(jié)，人類對于對一些鮮艷的區(qū)域或者某些結構更為敏感，因此會把注意力更多地放到敏感區(qū)域。其次圖像本身的信息內(nèi)容也會影響圖像質(zhì)量，例如不同信息內(nèi)容的失真情況以及不同的失真情況，都會影響圖像質(zhì)量評估。因此本文會結合兩種權重形式構造一種混合權重池來擬合人類的權重池概念。

另一方面，人類對于圖像的感受野有限，對于不同尺度的同一圖像視覺注意力的分布也不一樣，圖像信息內(nèi)容也有所變化，研究表明對于不同尺寸的同一圖像，人類的注視點分布規(guī)律并不一致，圖像信息有丟失，導致對圖像質(zhì)量評估有較大的區(qū)別。因此，本文對原始圖像信息進行多次低通濾波和下采樣得到不同尺度的特征圖像，采用多尺度圖像加權質(zhì)量綜合評估，最后實驗證明多尺度的評估方式有效地改進了評估模型。

盡管本文處理問題的方式與之前的方法不同，但視覺重要性的使用已在以前進行過驗證。Larson[16]評估了影響視覺注意力的多種因素的使用，以產(chǎn)生重要性圖（IM）。然后，使用IM 對IQA 指數(shù)進行加權，從而得出可衡量的改進。Zhou[17]提出不同的信息內(nèi)容也會影響圖像質(zhì)量評估，因此結合圖像信息進行權重池構造成了一種可能。

本文提出基于視覺權重池的無參考質(zhì)量評估方法，通過局部區(qū)域圖像質(zhì)量加權合并可以有效地提升性能。同時為了考慮感受野對視覺重要性和圖像內(nèi)容信息提取的影響，本文采用多次低通濾波和下采樣得到不同分辨率下的圖像，通過多尺度特征的圖像加權質(zhì)量評估改善了原有的評估模型。

2 基于權重池的多尺度圖像質(zhì)量評估

本文提出的圖像質(zhì)量評估的基本框架由兩部分組成，無參考圖像質(zhì)量評估模型設計和基于視覺重要性和基于圖像信息內(nèi)容的混合權重池設計。

視覺質(zhì)量是圖像的非常復雜但固有的特征，當有參考圖像可用時，可以使用全參考IQA方法直接量化兩者之間的差異即可。但是視覺質(zhì)量是圖像本身所擁有的，不會因為參考圖像的變化而變化，所以本文采用無參考圖像質(zhì)量評估，并給出CNN圖像質(zhì)量評估網(wǎng)絡，可以對圖像的局部灰度圖像進行對比度歸一化，然后采樣不重疊的色塊，對每個局部區(qū)域進行質(zhì)量評分，然后基于每個區(qū)域的歸一化后的權重池進行加權質(zhì)量合并得到圖像的整體質(zhì)量評估。

2.1 圖像質(zhì)量評估的網(wǎng)絡結構

本文基于文獻[4]提出的“CNN 無參考圖像質(zhì)量評估”方法，采用了五層網(wǎng)絡設計，圖1顯示本文的網(wǎng)絡架構，第一層到第五層的尺寸分別是7×7、26×26×50、2×50、800×1、800×1結構，輸入的是歸一化的尺寸為32×32的圖像，第一層卷積使用了50個卷積核，每個大小尺寸為7×7，步長為1個像素對輸入進行過濾。卷積層會產(chǎn)生50個特征圖，每個特征圖尺寸大小為26×26，然后進行池化操作將50 個特征圖映射到最大特征圖與最小特征圖。池化操作后是包含800個節(jié)點的兩個全連接層，最后一層是簡單的線性回歸層，能輸出一維的圖像評估分數(shù)。

圖1 CNN的網(wǎng)絡結構

在卷積層中，將歸一化的圖像與50 個卷積核進行卷積操作，每個卷積核會生成一個特征圖。然后，在每個特征圖上采用池化操作，以將特征映射到較低的維度。本文參照CONRIA[4]將每個特征圖池化映射到一個最大值和最小值，CONRIA證明這樣做可以直接從原始圖像像素學習判別圖像特征，而無需手工提取特征。如式（1）中，代表的是特征圖的位置(i,j)像素點經(jīng)過第k個卷積核過濾后的值，然后uk和vk的定義如下：

其中，k=1,2,…,K，K為卷積核的數(shù)量。池化操作將特征圖映射合并到二維的特征向量。因此，下一個全連接層的每個節(jié)點輸入的大小為2×K，實驗證明盡管最大池化已經(jīng)能起很好的作用，但是引入最小池化操作可以使性能提高約2%。

對于無參考的圖像質(zhì)量評估任務，觀察到的圖像失真往往是局部均勻的，即在32×32圖像的所有位置都發(fā)生相同程度的失真，圖像失真因為會缺乏明顯的全局空間結構，因此可以在不保留位置的情況下進行合并以降低計算機成本。

2.2 圖像權重池設計方法

一般而言，人類對圖像質(zhì)量的主觀評估受制于兩方面影響，人類的視點分布規(guī)律和圖像信息內(nèi)容。本文分別對這兩部分權重池設計進行了研究，提出一套系統(tǒng)的權重池設計方案。

2.2.1 基于視覺重要性的權重池設計

人類對圖像質(zhì)量的評估很大程度上取決于人類在圖像上視點的分布情況，人類會自動搜尋感興趣的區(qū)域，這些感興趣區(qū)域的質(zhì)量往往很大程度決定視覺感受的好壞。眼動儀可以有效捕獲人類視覺注意力的變化，如圖2是眼動儀測試的視點變化軌跡，人類的視覺系統(tǒng)會自下而上搜尋感興趣區(qū)域，又自上而下地進行對圖像進行深層理解，因此基于視覺重要性的權重池對于圖像質(zhì)量加權合并十分有必要。

圖2 人類注視點的移動軌跡

圖3顯示了一組人類使用眼動儀的注視點分布，其中白色的點代表眼睛的視點曾在于此，這些點代表人類對圖像中感興趣區(qū)域的自動搜尋結果，因此可以利用眼動儀的視點分布進行視覺重要性的權重池構建。

圖3 人類視覺注意力的分布

2.1節(jié)提出的網(wǎng)絡結構可以獲得32×32局部區(qū)域的質(zhì)量評估，接下來本文會根據(jù)注視點分布計算每個局部區(qū)域的權重，設計一個符合人類視覺重要性的權重池進行加權質(zhì)量合并。如式（2）中δP為局部區(qū)域P的權重計算，通過計算注視點分布到P區(qū)域的個數(shù)與總注視點個數(shù)的比例構造權重池。

2.2.2 基于圖像信息內(nèi)容的權重池設計

不同的自然圖像可以提取出截然不同的圖像內(nèi)容信息，也影響著人們的主觀判斷。圖像信息內(nèi)容的計算依賴于良好的統(tǒng)計圖像模型。在以前的研究中，基于一個粗糙空間域的局部高斯模型用來進行IQA 的空間池化?；谶^去圖像去燥和去模糊的高速發(fā)展，本文采用高斯比例混合模型處理自然圖像，得到了基于圖像信息內(nèi)容的權重池。與許多其他圖像模型一樣，為了減少圖像的高維數(shù)，做出了馬爾科夫假設，即像素的概率密度完全由空間中的像素確定規(guī)模。因此剩下的工作即對相鄰像素進行統(tǒng)計建模，本文接下來會講述這一工作對于圖像內(nèi)容的權重池構造。

本文定義R為一組包含相鄰變換系數(shù)的列向量，例如小波系數(shù)或者拉普拉斯金字塔變換系數(shù)。可以將其建模成GSM，表示為兩個獨立部分的乘積，如式（3）：

其中，U是具有協(xié)方差矩陣的零均值高斯向量，稱之為混合系數(shù)。一般來說，GSM 允許它是一個在連續(xù)范圍內(nèi)具有一定分布的隨機變量。為了簡化計算，本文假設在每個位置僅取一個固定值，簡化的好處是當固定并給定R時，它只是具有協(xié)方差的零均值高斯向量。

從以往的信息理論IQA 方法可以學到一個重要概念，圖像中包含的信息并不等于視覺系統(tǒng)感知的信息量，視覺感知通道之前和之后的圖像之間的相互信息提供了更有用的度量。根據(jù)這個想法，本文通過參考信號R得到一個失真的信息，如式（4）：

其中，失真根據(jù)增益因子g建模，然后累加具有協(xié)方差的獨立高斯噪聲V。盡管此模型在捕獲所有潛在類型的失真方面相對簡單，例如對于壓縮圖像中的塊狀和環(huán)狀偽影的捕獲，但以前的研究表明可以在各種失真類型下達到合理的平衡。

本文讓參考信息和失真信號都通過感知視覺噪聲通道，如式（5）：

其中，N1和N2被定義為獨立的高斯白噪聲，它們的對角協(xié)方差其中δn旨在描述失真模型在捕獲視覺系統(tǒng)的不確定性。因此可以得到D、E、F的協(xié)方差矩陣如式（6）：

通過上述的定義，在每個位置上感知到的原始圖像信息和失真圖像信息都可以分別由計算得到，因此本文可以進一步計算圖像信息的權值。可以通過累加不同信號的內(nèi)容信息，減去兩者的共同信息，可以得到有效的內(nèi)容權值信息。公式（7）定義了如下內(nèi)容權重池的計算方法：

其中，相互信息的評估值τ可以根據(jù)協(xié)方差的行列式來計算。下面對w進行展開計算，首先τ的定義如下：

結合式（7）與式（9）可得：

因為最后w的定義如下：

最后根據(jù)本文的實際情況計算局部權重池如式（14）：

本文采用了結合視覺重要性因素的混合權重池，定義如式（15）：

其中，δv是區(qū)域P的視覺重要性權值，δc是區(qū)域P的內(nèi)容信息重要性權值。

最后本文得出式（16），即為質(zhì)量加權合并的圖像質(zhì)量評估結果，其中為局部區(qū)域P的混合權重因子，OP為局部區(qū)域P的質(zhì)量得分。權重池的設計符合人類對于圖像質(zhì)量評估的基本模式，本文在實驗結果發(fā)現(xiàn)基于視覺重要性和圖像信息內(nèi)容的混合權重池設計有利于性能的提高。

3 基于多尺度圖像的質(zhì)量評估方法

人類對圖像細節(jié)的感知取決于多種與比例有關的因素，包括但不限于圖像信號的采樣密度，從圖像平面到觀察者的距離以及觀察者視覺系統(tǒng)的感知能力。通常來說，圖像的分辨率是影響圖像感知的最大因素，也會導致圖像的信息內(nèi)容丟失。在本文中，分辨率的大小也直接影響觀察者的注意力視點分布和圖像本身的信息內(nèi)容，因而改變了混合權重池，因此本文提出了基于多尺度圖像的質(zhì)量綜合評估方法。

原始圖像可以通過迭代對圖像信號進行低通濾波和下采樣，從而獲得多個尺度的圖像。圖4是本文提出的多尺度圖像質(zhì)量評估框架，原始圖像經(jīng)過多次低通濾波和系數(shù)為2的下采樣，然后分別輸入到無參考圖像質(zhì)量評估f模塊得到該分辨率下的質(zhì)量評估分數(shù)，最后加權得到多尺度下的圖像質(zhì)量評估結果。下采樣后的圖像在信息上所有丟失，根據(jù)信息內(nèi)容加權池的理論，本文會給下采樣的圖像權重系數(shù)為2 的衰退系數(shù)。最后本文給出在多尺度下的質(zhì)量評估如式（17）：

其中，n為下采樣的次數(shù)，a是值為的權重基礎系數(shù)，Si為每個分辨率下的質(zhì)量評估得分。利用圖像的多尺度特征可以有效地模擬人類觀察者對于圖像質(zhì)量評估過程，從多個尺度上評判，符合人類的質(zhì)量評估模型。

圖4 多尺度的圖像質(zhì)量評估框架

4 實驗結果

4.1 實驗環(huán)境

本文的實驗環(huán)境為：GTX1050 顯存，4 核i7 處理器，操作系統(tǒng)為Ubuntu14 LTS 64 位。深度學習框架為Pytorch，Python 版本為3.6，眼球儀選擇的是Dikablis眼球儀。

4.2 實驗數(shù)據(jù)

本文的實驗數(shù)據(jù)采用LIVE[7]數(shù)據(jù)庫、CSIQ數(shù)據(jù)庫、TID2013 數(shù)據(jù)集作為訓練和測試平臺，一共選取了4 種類型失真的1 500 張圖片，失真類型分別是白色噪聲（WN），高斯模糊（BLUR），JPEG 壓縮和JP2K 壓縮，并且為每個圖像提供了差分意見分數(shù)（DMOS），大致在[0，100]范圍內(nèi)，DMOS越高表示質(zhì)量越低。

4.3 性能對比

在上述三種數(shù)據(jù)集上提供了特定的失真圖像上，本文針對JP2K、JPEG、WN、BLUR這四種失真的圖像一起訓練和測試，并不會提供失真類型。

本文采用性能評估標準Spearman等級有序相關系數(shù)（SROCC）和線性相關系數(shù)（LCC），SROCC 被認為是最好的非線性相關指標，LCC能很好地反應數(shù)據(jù)之間的線性相關性，因此本文采用這兩種不同的評估標準進行測試。

表1 列出了各種方法在SROCC 指標上的實驗對比，其中PSNR、SSIM、FSIM 均為有參考圖像質(zhì)量評估方法，BROISQUE 和CORNIA 為目前最為先進的無參考評估方法，CNN 是本文2.1 節(jié)提到的網(wǎng)絡模型，對比發(fā)現(xiàn)，CNN對于傳統(tǒng)的無參考模型有一定的提升，通過設計基于視覺重要性和基于圖像信息內(nèi)容的混合權重池，能讓SROCC 系數(shù)提升0.6%，為了進一步提升性能和穩(wěn)定性，本文加上了多尺度判定的綜合評估方法，可以讓性能進一步提升0.4%，并在JP2K、JPEG 上達到最好的效果，總體評估質(zhì)量超過了當前最先進的FSIM。

表1 SROCC性能對比

表2是各種方法在LCC性能指標的實驗結果，通過對比發(fā)現(xiàn)，本文在基于權重池的設計和多尺度的圖像上，提升至接近FSIM的水平，獲得了較大的性能提升。

表2 LCC性能對比

為了進一步驗證本文網(wǎng)絡的有效性，本文首先對卷積核數(shù)量進行了測試，如圖5 顯示，卷積核的數(shù)量會顯著影響性能，通常更多的卷積核會帶來更好的性能，但是本文的網(wǎng)絡中卷積核數(shù)量超過40 個時，性能幾乎就不會較大提高。

圖5 卷積核數(shù)量的影響

本文的網(wǎng)絡會同時使用最大池化和最小池化過程，為了驗證兩種池化的效果，進行了消融實驗，表3 顯示了同時使用兩種池化能有效地提升SROCC/LCC值，增強網(wǎng)絡模型的可解釋性。

表3 池化性能比較

4.4 實驗分析

圖6 模型對失真區(qū)域的識別效果圖

本文為了能進一步驗證本文模型的有效性，選取了LIVE 中未失真的圖像和中心區(qū)域分別進行白色噪聲（WN）處理、高斯模糊處理（BLUR）、JPEG 壓縮和JP2K壓縮來進行測試，然后使用訓練的模型對這些合成圖像進行局部質(zhì)量估計。本文以步長為8來掃描16×16的色塊并將預測的分數(shù)歸一化到[0，255]范圍以內(nèi)進行可視化。圖6下面一排顯示了合成圖像的質(zhì)量評估圖，其中較亮的像素表示質(zhì)量較低，可以看到本文的模型可以正確地區(qū)分每個合成圖像的未失真部分和失真部分。而且本文還同時測試了通過不同等級噪聲處理過后的圖片，如圖7 顯示了圖像質(zhì)量越差，質(zhì)量評估圖白色區(qū)域越明顯，有效地說明本文網(wǎng)絡模型具有對于圖像質(zhì)量的的解釋能力。本文還測試不同分辨率對圖像質(zhì)量的影響，圖8顯示了不同分辨率圖像在大體上具有相同的質(zhì)量評估圖，但分辨率的變化可以對圖像質(zhì)量分布產(chǎn)生些許影響，因此利用多尺度的圖像進行綜合評測，可以有效改進圖像質(zhì)量評估模型，與人類主觀評測相符。

圖7 模型對不同等級噪聲的解釋能力

本文還設計了基于圖像信息內(nèi)容的權重池，其中圖9顯示的是計算出來的權重池圖，其中紅色區(qū)域表示該區(qū)域權重大，正好紅色區(qū)域部分被白色噪聲處理過，證明了粗糙空間域的局部高斯模型對信息內(nèi)容中包含的噪聲敏感，對于圖像質(zhì)量評估模型的改善具有重要意義。

圖8 多分辨率圖像的質(zhì)量評估圖

圖9 基于圖像信息內(nèi)容的權重池圖

5 結語

本文設計了用于局部圖像質(zhì)量評估的CNN 模型，將學習和回歸結合成一個完整的優(yōu)化過程，從而形成了一種更有效的圖像質(zhì)量評估模型。通過研究還發(fā)現(xiàn)可以通過基于視覺重要性和基于圖像信息內(nèi)容的混合權重池進行加權質(zhì)量合并，生成與人類感知密切相關的圖像質(zhì)量預測，并在標準IQA 數(shù)據(jù)集上達到優(yōu)秀的性能。另外，利用了圖像的多尺度特征，有效地提升了質(zhì)量評估模型。未來的圖像質(zhì)量評估方法依舊是計算機視覺中的重要研究方向，本文的方法雖然改善了以往的評估模型，并進行了有效的驗證，但是兩種權重池設計里面有重疊冗余部分，可變化的參數(shù)繁多，需要進行大量的調(diào)優(yōu)，未來會繼續(xù)研究其中的規(guī)律，發(fā)展出統(tǒng)一有效的模型，在原有的基礎上繼續(xù)完善質(zhì)量評估模型，生成與人類感知密切相關的圖像質(zhì)量預測。