基于深度學(xué)習(xí)的無參考圖像質(zhì)量評(píng)價(jià)綜述

韓 翰， 卓 力*， 張 菁， 李嘉鋒

(1.計(jì)算智能與智能系統(tǒng)北京市重點(diǎn)實(shí)驗(yàn)室，北京 100124； 2.北京工業(yè)大學(xué) 信息學(xué)部 微電子學(xué)院，北京 100124)

隨著信息化時(shí)代的發(fā)展，數(shù)字圖像在各種行業(yè)中扮演著越來越重要的角色[1]。數(shù)字圖像可以被采集、傳輸和應(yīng)用到不同的場(chǎng)景中[2]，發(fā)揮巨大的作用，例如智能安防、智慧交通等。而數(shù)字圖像在采集、傳輸和處理的過程中，由于各種因素的影響，不可避免地會(huì)引入各種失真[3-4]，導(dǎo)致圖像質(zhì)量下降。其中最常見的失真類型包括壓縮、噪聲、模糊等。如何對(duì)圖像的失真程度進(jìn)行評(píng)估，判斷圖像質(zhì)量是否滿足應(yīng)用要求就顯得至關(guān)重要。

圖像質(zhì)量評(píng)價(jià)(Image Quality Assessment,IQA)是圖像處理、圖像/視頻編碼等領(lǐng)域的基礎(chǔ)性問題，可以廣泛應(yīng)用于評(píng)價(jià)圖像處理算法的性能和指導(dǎo)處理算法的設(shè)計(jì)。例如，IQA可以被用在圖像超分辨率重建任務(wù)中，幫助生成高精度、高質(zhì)量、高分辨率的清晰圖像[5]；類似的應(yīng)用還包括圖像復(fù)原，借助IQA可以設(shè)計(jì)復(fù)原模型幫助去除失真圖像的模糊、噪點(diǎn)、水印等[6-7]；在手機(jī)、攝像機(jī)等圖像采集設(shè)備中，IQA被用于評(píng)估和調(diào)試產(chǎn)品的成像參數(shù)。此外，IQA還被廣泛應(yīng)用于遙感領(lǐng)域，可用于收集和過濾遙感圖像信息，以及幫助識(shí)別和分類感興趣區(qū)域等[8]。

本文旨在對(duì)近年來出現(xiàn)的各種無參考圖像質(zhì)量評(píng)估方法進(jìn)行綜述。首先介紹圖像主觀、客觀質(zhì)量評(píng)價(jià)方法，然后著重介紹無參考質(zhì)量評(píng)價(jià)中的一些代表性工作，以及IQA領(lǐng)域常用的數(shù)據(jù)集和評(píng)價(jià)指標(biāo)。之后對(duì)一些常見的無參考IQA方法進(jìn)行性能比較,最后給出結(jié)論和展望。

1 IQA方法分類

IQA根據(jù)打分方式可以分為主觀質(zhì)量評(píng)價(jià)方法和客觀質(zhì)量評(píng)價(jià)方法兩種[9]。下面對(duì)這兩種方法進(jìn)行介紹。

1.1 主觀質(zhì)量評(píng)價(jià)

主觀IQA法通過觀測(cè)者的主觀打分來判斷圖像質(zhì)量[10]。其具體的做法是：讓觀測(cè)者根據(jù)事先規(guī)定好的評(píng)價(jià)準(zhǔn)則或者自己的主觀經(jīng)驗(yàn)，對(duì)待評(píng)價(jià)圖像按照視覺效果做出質(zhì)量判斷，并給出質(zhì)量分?jǐn)?shù)，最后對(duì)所有評(píng)價(jià)人員給出的質(zhì)量分?jǐn)?shù)進(jìn)行加權(quán)平均，得到的結(jié)果就是該幅圖像的平均主觀分值(Mean Opinion Score,MOS)。MOS得分越高則說明圖像的質(zhì)量越好。

這種打分方式由于綜合了多個(gè)評(píng)價(jià)人員的意見，所以可以直接反映人的主觀感受，是最為準(zhǔn)確、可靠的質(zhì)量評(píng)價(jià)方法。主觀質(zhì)量評(píng)分法又可以分為絕對(duì)評(píng)價(jià)和相對(duì)評(píng)價(jià)兩類。絕對(duì)主觀評(píng)價(jià)是在無標(biāo)準(zhǔn)的參考情況下將圖像按照視覺感受分級(jí)進(jìn)行評(píng)分，評(píng)價(jià)人員除了直接觀察，還需要借助自身的經(jīng)驗(yàn)給出圖像失真程度的判斷。它相對(duì)主觀評(píng)價(jià)方法增加了標(biāo)準(zhǔn)圖像的參考，評(píng)價(jià)人員在此基礎(chǔ)上再進(jìn)行分級(jí)和判斷好壞，最后給出相應(yīng)的圖像質(zhì)量評(píng)分結(jié)果。國際電信聯(lián)盟[11]提供了多種主觀評(píng)價(jià)方法的操作標(biāo)準(zhǔn)，其中具有代表性的有3種，分別是雙刺激損傷分級(jí)法、雙刺激連續(xù)質(zhì)量分級(jí)法和單刺激連續(xù)質(zhì)量分級(jí)法。

主觀IQA方法的優(yōu)點(diǎn)是可以真實(shí)地反映人的主觀視覺感受，評(píng)價(jià)結(jié)果直接、準(zhǔn)確、可靠。但是該方法通常受觀測(cè)環(huán)境和實(shí)驗(yàn)人員數(shù)量等客觀因素影響，存在很多的局限性，例如存在操作難度大、實(shí)現(xiàn)起來比較困難等問題，無法滿足實(shí)際應(yīng)用需求。

1.2 客觀質(zhì)量評(píng)價(jià)

客觀IQA方法是一種根據(jù)人眼的視覺系統(tǒng)建立數(shù)學(xué)模型，對(duì)待測(cè)圖像進(jìn)行打分的評(píng)價(jià)方式。這種方法成本低，具有可批量處理、結(jié)果可重現(xiàn)等優(yōu)點(diǎn)，更容易被應(yīng)用于多種場(chǎng)景中。根據(jù)對(duì)參考圖像的依賴程度，客觀質(zhì)量評(píng)價(jià)方法可分為三類，即全參考、半?yún)⒖己蜔o參考評(píng)價(jià)方法。

1.2.1 全參考評(píng)價(jià)

全參考評(píng)價(jià)利用全部原始圖像的信息，通過計(jì)算待評(píng)價(jià)圖像與原始圖像之間的偏差來進(jìn)行質(zhì)量評(píng)估。早期最具代表性的方法是均方差(Mean Square Error,MSE)和峰值信噪比(Peak Signal Noise Ratio,PSNR)[12-13]。下面給出這兩種評(píng)價(jià)指標(biāo)的數(shù)學(xué)表達(dá)式：

(1)

(2)

式中：MSE為均方差；L為圖像量化的灰度級(jí)數(shù)。

MSE和PSNR的計(jì)算形式易于理解，物理含義清晰，但是這種方法并沒有考慮人類視覺系統(tǒng)對(duì)失真差異的感知能力，只從數(shù)學(xué)方面進(jìn)行了失真圖像和原圖之間的距離度量。這種方法往往會(huì)出現(xiàn)主客觀評(píng)價(jià)結(jié)果不一致的問題，無法準(zhǔn)確反映出用戶觀看視頻的主觀體驗(yàn)[14]。

基于此，學(xué)者們開展了基于人眼視覺特性的客觀IQA方法的研究，并成為現(xiàn)階段IQA的研究熱點(diǎn)。2004年，Wang等[15]提出了結(jié)構(gòu)相似性(Structural Similarity,SSIM)度量算法，SSIM認(rèn)為人類視覺感知能高度自適應(yīng)提取場(chǎng)景中的結(jié)構(gòu)信息，因此分別度量參考圖像和失真圖像之間的亮度、對(duì)比度和結(jié)構(gòu)等信息的失真，最后綜合3種因素完成圖像質(zhì)量打分。SSIM的取值范圍是[0,1]，值越大，表明圖像質(zhì)量越好。在此基礎(chǔ)上，人們提出了各種SSIM的改進(jìn)算法。例如，Chen等[16]提出了基于梯度的結(jié)構(gòu)相似度(Gradient-Based Structural Similarity,GSSIM)算法，首先對(duì)參考圖像和失真圖像分別求梯度，然后在梯度圖像的基礎(chǔ)上進(jìn)行距離度量。類似的工作還有MS-SSIM(Multi-Scale Structural Similarity)[17]和IW-SSIM(Information Content Weighted Structural Similarity)[18]等。

還有一些方法是基于人眼視覺系統(tǒng)(Human Visual System,HVS)的特性進(jìn)行建模[19-21]。這種方法將失真圖像和參考圖像之間的絕對(duì)誤差映射為能被人眼覺察的單位[22]。當(dāng)誤差映射后不能夠被人眼捕捉到，那么這部分誤差量就被忽略，可以被人眼察覺到的絕對(duì)誤差則被保留并計(jì)算。

1.2.2 半?yún)⒖荚u(píng)價(jià)

半?yún)⒖荚u(píng)價(jià)方法[23-24]通過提取圖像的部分信息，利用參考圖像進(jìn)行特征提取和分?jǐn)?shù)回歸，進(jìn)而完成圖像質(zhì)量分?jǐn)?shù)預(yù)測(cè)。這樣的做法具有計(jì)算量小、評(píng)價(jià)準(zhǔn)確的優(yōu)點(diǎn)。

與全參考評(píng)價(jià)方法不同的是半?yún)⒖荚u(píng)價(jià)方法只比較參考圖像和失真圖像之間的部分信息。Soundararajan等[25]提出的基于信息理論的半?yún)⒖检夭町?Reduced Reference Entropic Differencing,RRED)的IQA方法[25]是具有代表性的半?yún)⒖荚u(píng)價(jià)方法之一。該方法將原始圖像和失真圖像分解為不同方向和尺度的分量，并進(jìn)一步度量原始圖像和失真圖像有關(guān)小波系數(shù)的熵差異以計(jì)算相應(yīng)的圖像質(zhì)量分?jǐn)?shù)。王體勝等[26]提出首先提取圖像中的視覺敏感系數(shù)，再通過統(tǒng)計(jì)失真圖像與原始視覺圖像視覺敏感系數(shù)的關(guān)系來評(píng)價(jià)圖像質(zhì)量。

目前,全參考和半?yún)⒖荚u(píng)價(jià)方法的準(zhǔn)確性越來越高，但其缺點(diǎn)是都需要提供原始的參考圖像，這在實(shí)際應(yīng)用中通常很難獲得，因此這兩種評(píng)價(jià)方法的應(yīng)用范圍受到了極大限制。

1.2.3 無參考評(píng)價(jià)

圖像的無參考評(píng)價(jià)(No-Reference Image Quality Assessment,NR-IQA)是目前圖像客觀質(zhì)量評(píng)價(jià)的研究難點(diǎn)和熱點(diǎn)。這種評(píng)價(jià)方法無須任何原始參考圖像信息，僅利用圖像自身的特征進(jìn)行質(zhì)量評(píng)估，因此非常靈活，可以廣泛應(yīng)用于各種場(chǎng)景。早期的NR-IQA方法更多地是面向特定類型的失真評(píng)價(jià)任務(wù)。這類方法利用圖像的統(tǒng)計(jì)信息可以對(duì)已知失真類型的圖像進(jìn)行質(zhì)量評(píng)價(jià)，但是當(dāng)面臨評(píng)價(jià)未知失真類型的圖像質(zhì)量時(shí)就會(huì)受到局限[27]。目前，NR-IQA的研究趨勢(shì)逐漸轉(zhuǎn)為面向通用失真類型的圖像進(jìn)行失真類型預(yù)測(cè)和失真程度度量，這種趨勢(shì)正成為研究的主流方向。

下面對(duì)近年來面向非特定失真類型的NR-IQA的研究進(jìn)展進(jìn)行綜述。

2 無參考圖像質(zhì)量評(píng)價(jià)研究進(jìn)展

根據(jù)所采用的框架，NR-IQA方法可以分為兩類，如圖1所示。第一類采用“特征提取+回歸/擬合”的框架，首先提取圖像的特征，然后采用機(jī)器學(xué)習(xí)的方法建立特征與質(zhì)量分?jǐn)?shù)之間的映射模型；第二類采用端到端的框架，通過深度學(xué)習(xí)直接建立待觀測(cè)圖像與質(zhì)量分?jǐn)?shù)之間的映射模型。

圖1 NR-IQA的兩種框架

2.1 基于特征提取+回歸/擬合框架的NR-IQA

基于特征提取+回歸/擬合框架的NR-IQA方法包括兩個(gè)關(guān)鍵部分：特征提取和擬合/回歸。其中，特征用于表達(dá)圖像的內(nèi)容，直接決定算法的優(yōu)劣。根據(jù)所采用的特征，可以分為人工特征和深度特征。擬合/回歸方法則包括支持向量回歸(Support Vector Regression,SVR)、隨機(jī)森林、深度神經(jīng)網(wǎng)絡(luò)等。各種代表性的評(píng)價(jià)模型如表1所示，表中列出了4個(gè)代表性的IQA模型所采用的特征提取方法、回歸方法和采用的數(shù)據(jù)集等。

表1 基于特征提取+回歸/擬合框架的代表性NR-IQA模型

其中CORINA和BRISQUE的特征提取方式相似，都采用人工特征-MSCN系數(shù)，再使用SVR擬合方法得到質(zhì)量評(píng)價(jià)得分。下面詳細(xì)介紹這兩種具有代表性的利用人工特征進(jìn)行NR-IQA的方法。

2.1.1 CORINA模型

CORINA[28](Codebook Representation for No-Reference Image Assessment)模型是Ye等于2012年提出的利用人工特征進(jìn)行NR-IQA的方法。該方法將待評(píng)價(jià)圖像分成若干個(gè)patch塊，隨機(jī)提取若干patch塊計(jì)算去均值對(duì)比度歸一化系數(shù)(Mean Subtracted Contrast Normalized，MSCN)，再使用K-means聚類的方法建立碼書，碼書訓(xùn)練使用的是CSIQ數(shù)據(jù)集。在預(yù)測(cè)階段，采用了軟分配策略生成碼字，對(duì)碼字合并后得到特征矢量，通過SVR建立特征矢量與圖像分?jǐn)?shù)之間的映射模型，用于預(yù)測(cè)分?jǐn)?shù)。這種基于碼書的方法學(xué)習(xí)效率高，無須人為調(diào)整參數(shù)，并且允許自動(dòng)學(xué)習(xí)。實(shí)驗(yàn)證明，這種基于碼本提取局部特征并使用SVR預(yù)測(cè)分?jǐn)?shù)的評(píng)價(jià)策略具有較好的泛化性，在多個(gè)數(shù)據(jù)集上都取得了領(lǐng)先的性能。

2.1.2 BRISQUE模型

BRISQUE[29](Blind/Referenceless Image Spatial Quality Evaluator)是Mittal等提出的另一種采用人工特征進(jìn)行NR-IQA的模型。其基本思路是從圖像中提取MSCN系數(shù)，提取MSCN系數(shù)時(shí)考慮了相鄰像素之間的關(guān)聯(lián)信息，選取了4個(gè)方向分別計(jì)算MSCN系數(shù)。然后將MSCN系數(shù)擬合成非對(duì)稱廣義高斯分布(Asymmetric Generalized Gaussian Distribution，AGGD)，利用失真對(duì)分布造成的參數(shù)影響來提取高斯分布特征。另外，還將空間相鄰差值、均值減去以及對(duì)比度歸一化等作為特征參數(shù)。最后使用SVR作為擬合工具，進(jìn)行特征到分?jǐn)?shù)的回歸計(jì)算，從而得到圖像質(zhì)量的評(píng)估結(jié)果。

與前兩種方法不同，DeepBIQ和DeepRN都采用深度神經(jīng)網(wǎng)絡(luò)作為特征提取器，提取圖像的深度特征，再使用SVR進(jìn)行擬合。下面對(duì)這兩種有代表性的基于深度特征的NR-IQA方法進(jìn)行詳細(xì)介紹。

2.1.3 DeepBIQ模型

Bianco等提出的DeepBIQ模型[30]是基于深度特征進(jìn)行NR-IQA的代表性工作之一。該模型采用AlexNet[32]作為骨干網(wǎng)絡(luò)進(jìn)行特征提取，AlexNet網(wǎng)絡(luò)用“預(yù)訓(xùn)練+細(xì)調(diào)”的策略進(jìn)行訓(xùn)練。首先在ImageNet數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，得到模型的初始化參數(shù)。在細(xì)調(diào)時(shí)，首先根據(jù)MOS值大小將圖像質(zhì)量從好到壞分成5個(gè)等級(jí)，根據(jù)等級(jí)對(duì)IQA數(shù)據(jù)集進(jìn)行重新標(biāo)定，再利用重標(biāo)定的數(shù)據(jù)集對(duì)AlexNet進(jìn)行細(xì)調(diào)。從細(xì)調(diào)后的網(wǎng)絡(luò)模型中提取圖像的全連接層特征作為圖像的深度特征，使用SVR作為擬合工具學(xué)習(xí)深度特征到分?jǐn)?shù)之間的映射模型。DeepBIQ使用平均合并圖像的多個(gè)子區(qū)域的分?jǐn)?shù)預(yù)測(cè)圖像質(zhì)量。在LIVE In the Wild Image Quality Challenge Database[33]上，DeepBIQ取得了最優(yōu)的性能，在人工模擬失真數(shù)據(jù)集LIVE[34]、CSIQ[35]、TID2008[36]、TID2013[37]上也取得了領(lǐng)先的性能。

2.1.4 DeepRN模型

Varga等提出的DeepRN模型[31]采用ResNet101[38]作為骨干網(wǎng)絡(luò)進(jìn)行特征提取，在網(wǎng)絡(luò)的末端加入了自適應(yīng)空間金字塔池化層，使骨干網(wǎng)絡(luò)能提取到固定尺寸大小的全連接層特征。這樣的設(shè)計(jì)使網(wǎng)絡(luò)可以處理任意尺寸大小的圖像，不管輸入圖像的尺寸是多大，經(jīng)過特征提取網(wǎng)絡(luò)后，得到的全連接層特征向量維度均為18432。得到特征向量之后使用SVR進(jìn)行特征到分?jǐn)?shù)的擬合回歸。Lin等[39]基于KonIQ-10k數(shù)據(jù)集進(jìn)行了多個(gè)實(shí)驗(yàn)，得到當(dāng)時(shí)最領(lǐng)先的性能。

從上面的分析可以看出：

(1) 早期NR-IQA主要采用的是人工特征，包括局部特征和全局特征。人工特征提取采用的數(shù)據(jù)集主要是CSIQ，規(guī)模較小。由于過分依賴手工調(diào)節(jié)參數(shù)，人工特征中包含了少量的參數(shù)，因此特征的表達(dá)能力有限，導(dǎo)致性能不高。

(2) 2012年以后，隨著深度學(xué)習(xí)技術(shù)的迅猛發(fā)展，深度特征被越來越多地應(yīng)用在NR-IQA中。而深度學(xué)習(xí)需要利用大數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)模型訓(xùn)練，因此各種大規(guī)模數(shù)據(jù)集被不斷推出，包括自然圖像數(shù)據(jù)集LIVE In the Wild Image Quality Challenge Database、KonIQ-10k等，以及合成失真數(shù)據(jù)集LIVE、TID2008、TID2013等。研究結(jié)果表明，深度特征取得的性能遠(yuǎn)超過人工特征。與人工特征相比，深度特征具有以下優(yōu)勢(shì)：

① 通過構(gòu)建一個(gè)多層神經(jīng)網(wǎng)絡(luò)，深度學(xué)習(xí)采用有監(jiān)督或者無監(jiān)督的方式，可以從大數(shù)據(jù)中自動(dòng)學(xué)習(xí)隱含在數(shù)據(jù)內(nèi)部的關(guān)系，所付出的代價(jià)是計(jì)算復(fù)雜高、所需的存儲(chǔ)空間大。

② 深度網(wǎng)絡(luò)模型中可以包含成千上萬的參數(shù)，因而深度特征可以具有更好的區(qū)分與表達(dá)能力。與人工特征相比，在提取圖像的多層次特征和上下文信息方面具有更為突出的優(yōu)勢(shì)。

③ 深度特征具有很高的泛化性和效率。深度學(xué)習(xí)只需調(diào)整參數(shù)就能改變模型結(jié)構(gòu)，這能夠使網(wǎng)絡(luò)根據(jù)任務(wù)的具體特點(diǎn)自動(dòng)建模，具有良好的泛化性。

2.2 基于端到端框架的NR-IQA方法

基于端到端框架的NR-IQA方法的思路是直接通過訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)得到待評(píng)價(jià)圖像到分?jǐn)?shù)之間的映射模型。代表性的評(píng)價(jià)模型如表2所示，表中給出了各種模型采用的網(wǎng)絡(luò)框架和數(shù)據(jù)集等。

表2 基于端到端框架的代表性NR-IQA模型

下面詳細(xì)介紹這幾種最具代表性的NR-IQA模型。

2.2.1 KangCNN模型

KangCNN模型是Kang等[40]提出的，是最早采用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)解決NR-IQA問題的模型。它將特征提取和分?jǐn)?shù)回歸納入到一個(gè)統(tǒng)一的框架內(nèi)實(shí)現(xiàn)。CNN一共有5層，其中包括1個(gè)卷積層、1個(gè)池化層、2個(gè)全連接層和1個(gè)輸出結(jié)點(diǎn)層。整幅圖像的質(zhì)量得分建立在局部質(zhì)量估計(jì)評(píng)分的基礎(chǔ)上，通過對(duì)評(píng)分取平均值得到。池化層分別對(duì)卷積層的全尺寸特征圖進(jìn)行最大池化和最小池化操作，可以得到兩個(gè)維度為50的特征向量，全連接層之間使用的是比較流行的ReLU單元。最后采用的損失函數(shù)與SVR類似，形式上可以看成是SVR將ε取為零。雖然該模型網(wǎng)絡(luò)結(jié)果比較簡單，但是在2014年取得了當(dāng)時(shí)最領(lǐng)先的性能。

2.2.2 DeepIQA模型

Bosse等提出的DeepIQA[41]也是基于端到端框架的IQA模型。該模型采用擴(kuò)展過的VGG16作為骨干網(wǎng)絡(luò)，相比于其他IQA模型具有更深的層數(shù)，在多個(gè)數(shù)據(jù)集中也取得了較好的表現(xiàn)。DeepIQA的創(chuàng)新點(diǎn)是將圖像隨機(jī)分割成patch塊進(jìn)行IQA數(shù)據(jù)集擴(kuò)充。并且在訓(xùn)練階段，每個(gè)patch塊都返回一個(gè)權(quán)重，最后將每個(gè)patch塊及其對(duì)應(yīng)的權(quán)重進(jìn)行合并，用于預(yù)測(cè)圖像質(zhì)量得分。需要強(qiáng)調(diào)的是，DeepIQA將全參考IQA任務(wù)和NR-IQA任務(wù)融合在一個(gè)網(wǎng)絡(luò)中實(shí)現(xiàn)。使用孿生網(wǎng)絡(luò)進(jìn)行全參考IQA的訓(xùn)練，使用孿生網(wǎng)絡(luò)的一個(gè)分支稍加改動(dòng)就可以用于NR-IQA。DeepIQA在人工模擬失真數(shù)據(jù)集和自然失真數(shù)據(jù)集中都取得了很好的效果。

2.2.3 Hallucinated-IQA模型

Lin等[43]創(chuàng)新性地將生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Networks,GAN)加入到NR-IQA領(lǐng)域，提出從新的角度解決NR-IQA的不適定性問題。具體做法是引入幻覺引導(dǎo)質(zhì)量回歸網(wǎng)絡(luò)來捕捉失真圖像和幻覺圖像之間的感知差異，從而可以精確地預(yù)測(cè)感知質(zhì)量。其網(wǎng)絡(luò)架構(gòu)主要由3個(gè)部分組成，包括質(zhì)量感知生成網(wǎng)絡(luò)、判別網(wǎng)絡(luò)和幻覺引導(dǎo)質(zhì)量回歸網(wǎng)絡(luò)。生成網(wǎng)絡(luò)通過對(duì)抗性學(xué)習(xí)的方式，在特殊設(shè)計(jì)的判別網(wǎng)絡(luò)的幫助下產(chǎn)生幻覺圖像。將幻覺圖像與失真圖像作差得到殘差圖，將殘差圖和失真圖像一起送入質(zhì)量回歸網(wǎng)絡(luò)，得到圖像質(zhì)量的評(píng)分。該模型在人工模擬失真數(shù)據(jù)集和自然失真數(shù)據(jù)集中都取得了很好的效果。除了Hallucinated-IQA模型，Ren等提出的RAN4IQA[46]也使用GAN的思想，首先生成未失真的原圖，然后用類似于全參考的評(píng)價(jià)方式得到質(zhì)量得分，也取得了不錯(cuò)的性能。

2.2.4 RankIQA模型

Liu等提出的RankIQA[44]首次用排名訓(xùn)練的方法學(xué)習(xí)圖像質(zhì)量好壞的評(píng)價(jià)準(zhǔn)則。RankIQA使用孿生網(wǎng)絡(luò)(Siamese Network)，對(duì)已知圖像間質(zhì)量相對(duì)好壞的數(shù)據(jù)集進(jìn)行合并，用于訓(xùn)練網(wǎng)絡(luò)模型。這種自動(dòng)生成失真的方式組成的圖像數(shù)據(jù)集不需要費(fèi)力的人工標(biāo)注，所以可供訓(xùn)練的數(shù)據(jù)集規(guī)模很大。訓(xùn)練完成后，再將孿生網(wǎng)絡(luò)的一個(gè)分支提取出來，使用公開的IQA數(shù)據(jù)集進(jìn)行微調(diào)。微調(diào)階段使用特征和人工標(biāo)注值進(jìn)行映射。在LIVE和TID2013兩個(gè)數(shù)據(jù)集上的測(cè)試結(jié)果表明，RankIQA可以獲得比當(dāng)時(shí)的NR-IQA方法，甚至一些全參考IQA方法更優(yōu)的性能。目前也有很多工作借鑒Learning-to-Rank的思路進(jìn)行NR-IQA，例如Ma等提出的DipIQ[47]、Prashnani等提出的PieAPP[48]等，都采用學(xué)習(xí)排序圖像的方法獲得圖像質(zhì)量感知模型，且均取得了不錯(cuò)的結(jié)果。

2.2.5 DB-CNN模型

Ma等提出了一種基于雙線性池化的CNN結(jié)構(gòu)[45]用于NR-IQA。該網(wǎng)絡(luò)由兩個(gè)分支網(wǎng)絡(luò)和一個(gè)雙線性池化模塊[49]組成。其中一個(gè)分支網(wǎng)絡(luò)采用輕型網(wǎng)絡(luò)結(jié)構(gòu)，使用滑鐵盧數(shù)據(jù)集[50]和Pascal VOC數(shù)據(jù)集[51]組成的訓(xùn)練集進(jìn)行訓(xùn)練。利用數(shù)據(jù)集中的高質(zhì)量圖像合成不同類型、不同程度的失真圖像，用分類的方式對(duì)分支網(wǎng)絡(luò)進(jìn)行訓(xùn)練。另一個(gè)分支網(wǎng)絡(luò)采用VGG16，該網(wǎng)絡(luò)在ImageNet數(shù)據(jù)集上進(jìn)行了預(yù)訓(xùn)練，用于提升整個(gè)網(wǎng)絡(luò)對(duì)于自然失真的感知能力。最后，利用雙線性池化模塊融合兩個(gè)網(wǎng)絡(luò)的全連接層特征，作為圖像的深度特征，進(jìn)而再擬合深度特征與質(zhì)量得分之間的映射關(guān)系。這種方法在合成失真和自然失真IQA數(shù)據(jù)集上都獲得了最高的性能，為目前的NR-IQA研究工作帶來了新思路。

從上面的介紹中可以看出，與“特征提取+擬合/回歸”框架相比，這種端到端的NR-IQA方法可以將特征提取與擬合/回歸兩個(gè)環(huán)節(jié)納入到一個(gè)統(tǒng)一的框架中，同時(shí)進(jìn)行優(yōu)化。這也成為目前主流的NR-IQA方案。在這種框架下，近幾年出現(xiàn)了一些IQA方法，主流思路包括以下幾類：第一類是用GAN對(duì)失真圖像進(jìn)行恢復(fù)，使用生成的復(fù)原圖像和失真圖像進(jìn)行損失計(jì)算和距離度量，生成質(zhì)量分?jǐn)?shù)；第二類是使用Rank學(xué)習(xí)的思路，這種學(xué)習(xí)方法可以解決IQA沒有大規(guī)模數(shù)據(jù)集的問題，從而提高模型精度。除此之外，有的研究思路是使用注意力機(jī)制提高感興趣區(qū)域權(quán)重，對(duì)圖像質(zhì)量進(jìn)行評(píng)價(jià)[52];還有的做法是通過元學(xué)習(xí)的方法學(xué)習(xí)先驗(yàn)知識(shí)，解決無參考圖像數(shù)據(jù)集規(guī)模過小的問題[53]。

3 IQA指標(biāo)和數(shù)據(jù)集

數(shù)據(jù)集和評(píng)價(jià)指標(biāo)用于評(píng)價(jià)各種算法的性能。下面介紹NR-IQA常用的各種數(shù)據(jù)集和評(píng)價(jià)指標(biāo)。

3.1 NR-IQA常用數(shù)據(jù)集

NR-IQA領(lǐng)域最常用的數(shù)據(jù)集有LIVE、TID2008、TID2013、CSIQ、LIVE In the Wild Image Quality Challenge Database、KonIQ-10k等。其中，LIVE In the Wild Image Quality Challenge Database和KonIQ-10k是自然失真數(shù)據(jù)集，其余的4個(gè)是人工模擬失真數(shù)據(jù)集。

3.1.1 LIVE

LIVE(Laboratory for Image & Video Engineering)[34]數(shù)據(jù)集由美國德克薩斯大學(xué)奧斯汀分校LIVE實(shí)驗(yàn)室建立，是目前最常用的數(shù)據(jù)集。數(shù)據(jù)集中包含了29幅參考圖像，分辨率從438像素×634像素到512像素×768像素不等。這些圖像經(jīng)過模擬降質(zhì)生成了5種不同類型的失真圖像，共計(jì)779幅。失真類型包括JPEG2000失真、JPEG失真、白噪聲失真、高斯模糊失真和快速瑞利衰減失真。該數(shù)據(jù)集提供了所有失真圖像的差分平均主觀值(Differential Mean Opinion Score,DMOS)，取值范圍是[0,100]，其中0表示圖像沒有失真。

3.1.2 TID2008

TID(Tampere Image Database)2008[36]由芬蘭坦佩雷理工大學(xué)于2008年建立，包括25幅分辨率為384像素×512像素的彩色參考圖像，失真類型有 17種，每種失真含有4個(gè)不同等級(jí)，共計(jì)1700幅圖像。模擬失真包括加性高斯噪聲、顏色成分中的相加噪聲比亮度成分中的相加噪聲更密集、空間相關(guān)噪聲、掩蔽噪聲、高頻噪聲、脈沖噪聲、量化噪聲、高斯模糊、圖像去噪、JPEG壓縮、JPEG2000壓縮、JPEG傳輸差錯(cuò)、JPEG2000傳輸差錯(cuò)、非偏移圖案噪聲、不同強(qiáng)度的局部逐塊失真、平均偏移(強(qiáng)度偏移)和對(duì)比度變化。數(shù)據(jù)集提供所有測(cè)試圖像的MOS值及其標(biāo)準(zhǔn)差。MOS值取值范圍是[0,9]，其中9表示圖像無失真。

3.1.3 TID2013

TID2013[37]由芬蘭坦佩雷理工大學(xué)于2013年建立，包括25幅參考圖像，每幅圖像產(chǎn)生了24種失真，每種失真有5種級(jí)別,共計(jì)3000幅失真圖像。相比于TID2008數(shù)據(jù)集，增加了7種失真類型，分別是改變色彩飽和度指數(shù)、有損壓縮、多重高斯噪聲、彩色圖像量化、稀疏采樣、色差和舒適噪聲。該數(shù)據(jù)集的標(biāo)注類型是DMOS，由971名觀測(cè)者觀察524340個(gè)樣本，再通過統(tǒng)計(jì)的方式得到標(biāo)注結(jié)果。DMOS的取值范圍是[0,9]，值越大表示圖像質(zhì)量越差。

3.1.4 CSIQ

CSIQ(Categorical Subjective Image Quality)[35]由美國俄克拉何馬州立大學(xué)建立，其中包含分辨率為512像素×512像素的參考圖像30幅，失真類型6種，包括整體對(duì)比度縮減、JPEG壓縮、JPEG2000壓縮、加性高斯粉紅噪聲、加性高斯白噪聲和高斯模糊等，每種失真含有4～5個(gè)失真等級(jí)，共有866幅失真圖像。數(shù)據(jù)集也提供了所有測(cè)試圖像的DMOS值，由25位測(cè)試人員進(jìn)行了多次主觀評(píng)分統(tǒng)計(jì)得到。DMOS值取值范圍為[0,1]，值越大表示圖像質(zhì)量越差。

3.1.5 LIVE In the Wild Image Quality Challenge Database

LIVE In the Wild Image Quality Challenge Database是美國德克薩斯大學(xué)奧斯汀分校LIVE實(shí)驗(yàn)室建立的野外圖像質(zhì)量挑戰(zhàn)LIVE數(shù)據(jù)集[33]，其中包括1162幅圖像。這些圖像的失真類型不是計(jì)算機(jī)模擬產(chǎn)生的，而是使用智能手機(jī)和平板電腦等各種移動(dòng)攝像頭拍攝得到的真實(shí)圖像。在成像過程中，這些圖像會(huì)受到各種各樣隨機(jī)發(fā)生的失真和真實(shí)拍攝偽影的影響。為了保證這些圖像的主觀質(zhì)量得分具有客觀性，科研人員設(shè)計(jì)并實(shí)施了一個(gè)全新的在線眾包系統(tǒng)，由8100位觀測(cè)者進(jìn)行IQA，得到了35萬個(gè)意見分?jǐn)?shù)，這些分?jǐn)?shù)綜合后作為評(píng)估結(jié)果。MOS值取值范圍為[0,100]，與LIVE數(shù)據(jù)集保持一致。

3.1.6 KonIQ-10k

為了解決真實(shí)失真數(shù)據(jù)集規(guī)模太小的問題，德國康斯坦茨大學(xué)建立了KonIQ-10k[39]數(shù)據(jù)集。從大型的公共多媒體數(shù)據(jù)集YFCC100M[54]中隨機(jī)選擇了大約1000萬幅圖像，然后分階段篩選了10073幅圖像，用于建立數(shù)據(jù)集。這些圖像中存在的失真類型包括噪聲、JPEG偽影、混疊、鏡頭運(yùn)動(dòng)模糊、過度銳化等?；诓杉降臄?shù)據(jù)集，科研人員進(jìn)行了大規(guī)模的眾包實(shí)驗(yàn)，從1467名觀測(cè)者中獲得了120萬個(gè)評(píng)價(jià)結(jié)果，用取均值、去掉極端分?jǐn)?shù)等統(tǒng)計(jì)方法確定最終的MOS值。圖像的尺寸為1024像素×768像素。MOS值的范圍為[0,5]，值越大表示失真越小。

表3 NR-IQA模型代表性數(shù)據(jù)集對(duì)比

3.2 性能評(píng)價(jià)指標(biāo)

IQA有許多評(píng)價(jià)指標(biāo)，其中PLCC、SROCC、KROCC和RMSE是目前最常用的IQA算法的性能評(píng)價(jià)指標(biāo)，定義如下。

① 皮爾遜線性相關(guān)系數(shù)(Pearson Linear Correlation Coefficient,PLCC)：

(3)

② 斯皮爾曼等級(jí)相關(guān)系數(shù)(Spearman Rank-Ordered Correlation Coeffcient,SROCC):

(4)

式中：rxi、ryi分別為兩組得分各自數(shù)據(jù)序列中的排序位置。SROCC主要用于衡量算法預(yù)測(cè)的單調(diào)性。

③ 肯德爾秩相關(guān)系數(shù)(Kendall Rank Order Correlation Coeffcient,KROCC)

(5)

式中：nc為數(shù)據(jù)集中一致性元素對(duì)的個(gè)數(shù)；nd為數(shù)據(jù)集中不一致元素對(duì)的個(gè)數(shù)。KROCC也可以有效衡量算法的單調(diào)性。

④ 均方根誤差(Root Mean Squared Error,RMSE)：

(6)

式中：xi為主觀MOS值；yi為質(zhì)量預(yù)測(cè)得分。RMSE用于直接衡量人的主觀得分和算法預(yù)測(cè)得分之間的絕對(duì)偏差。

4 代表性IQA模型的性能對(duì)比

本文對(duì)具有代表性的幾種IQA模型在不同數(shù)據(jù)集上進(jìn)行了對(duì)比。參與對(duì)比的模型包括經(jīng)典的FRIQUEE[55]、DIIVINE[56]等，還有近些年具有代表性的MEON[57]、DeepIQA、DB-CNN、DeepBIQ、DeepRN、RankIQA等。本文選擇PLCC和SROCC作為評(píng)價(jià)指標(biāo)，表中實(shí)驗(yàn)結(jié)果均來自于參考文獻(xiàn)，這些數(shù)據(jù)均在相同的數(shù)據(jù)集上測(cè)試得到。測(cè)試數(shù)據(jù)集既包括LIVE In the Wild Image Quality Challenge Dataset等真實(shí)失真數(shù)據(jù)集，也包括了LIVE、TID2013等模擬失真數(shù)據(jù)集。對(duì)比結(jié)果如表4～表6所示。

由表4可以看出，DeepBIQ和DeepRN取得了領(lǐng)先于其他方法的評(píng)價(jià)結(jié)果。這兩種方法都基于“特征提取+回歸”的框架進(jìn)行NR-IQA。而對(duì)基于端到端框架的深度學(xué)習(xí)方法來說，DB-CNN性能最好。

表4 LIVE In the Wild Image Quality Challenge Dataset數(shù)據(jù)集上的SROCC和PLCC性能對(duì)比

由表5可以看到，RankIQA模型在兩個(gè)指標(biāo)上都取得了最好的結(jié)果，PLCC達(dá)到了0.982，SROCC達(dá)到了0.981。這也說明采用Learning-to-Rank的思路解決IQA問題具有很大的潛力。

表5 LIVE數(shù)據(jù)集上的SROCC和PLCC性能對(duì)比

由6可以看到，MEON模型的兩個(gè)指標(biāo)都取得了領(lǐng)先的結(jié)果，PLCC和SROCC都達(dá)到了0.912。綜合以上各表數(shù)據(jù)可以看出，MEON、DB-CNN、DeepIQA等基于端到端框架的深模型可以較好地應(yīng)對(duì)模擬失真數(shù)據(jù)集。而在自然失真數(shù)據(jù)集上，采取“特征提取+回歸”框架的DeepBIQ和DeepRN模型取得了更領(lǐng)先的性能。

表6 TID2013數(shù)據(jù)集上的SROCC和PLCC性能對(duì)比

5 總結(jié)與展望

目前NR-IQA已經(jīng)成為了研究的重點(diǎn)。NR-IQA的應(yīng)用范圍廣，具有重要的研究價(jià)值，同時(shí)研究難度也更大，需要解決的問題也更多。隨著研究的深入，研究人員已經(jīng)提出了多種有效的NR-IQA方法和模型，在一些經(jīng)典的模擬失真數(shù)據(jù)集上都取得了非常好的性能。但是在一些更具有挑戰(zhàn)性的數(shù)據(jù)集，例如LIVE In the Wild Image Quality Challenge Database、KonIQ-10k等真實(shí)失真的數(shù)據(jù)集上，很多經(jīng)典方法都沒辦法取得較好的結(jié)果。由于在大多數(shù)實(shí)際應(yīng)用中失真類型很復(fù)雜，很難用計(jì)算機(jī)模擬生成對(duì)應(yīng)的失真圖像，所以面向真實(shí)失真的IQA應(yīng)用空間更大。這種類型的評(píng)價(jià)任務(wù)還有很大的研究空間。

在未來的研究工作中，可以從以下3個(gè)方面深入開展研究。

① 基于端到端學(xué)習(xí)的NR-IQA方法雖然可以在人工模擬數(shù)據(jù)集中取得較好的測(cè)試結(jié)果，但是可擴(kuò)展能力不強(qiáng)。例如基于Rank排序?qū)W習(xí)的NR-IQA方法在人工模擬失真數(shù)據(jù)集上效果較好，但是應(yīng)用到真實(shí)失真類型的數(shù)據(jù)集時(shí)則效果不太理想。所以如何設(shè)計(jì)具有魯棒性的IQA模型值得進(jìn)一步研究。

② 目前已經(jīng)有很多新的研究成果，這些方法往往在各種數(shù)據(jù)集中評(píng)價(jià)精度很高，但是實(shí)際評(píng)價(jià)結(jié)果和人眼的主觀感受還有一定差距。如何使評(píng)價(jià)結(jié)果能夠符合人眼視覺特性，與人的主觀評(píng)價(jià)結(jié)果保持一致也值得深入研究[58]。

③ 由于主觀圖像質(zhì)量得分需要用大量人員進(jìn)行觀察和統(tǒng)計(jì)，標(biāo)注難度較大，所以通常IQA數(shù)據(jù)集規(guī)模較小。這種問題在真實(shí)失真數(shù)據(jù)集中尤其突出。所以如何使算法克服訓(xùn)練數(shù)據(jù)量不足的問題，訓(xùn)練出更適合人眼主觀感受的質(zhì)量打分模型值得進(jìn)一步研究。