基于并行小規(guī)模卷積神經(jīng)網(wǎng)絡(luò)的圖像質(zhì)量評(píng)價(jià) *

曹玉東，蔡希彪

(遼寧工業(yè)大學(xué)電子與信息工程學(xué)院，遼寧 錦州 121001)

1 引言

圖像質(zhì)量評(píng)價(jià)是圖像處理和計(jì)算機(jī)視覺領(lǐng)域的一個(gè)研究熱點(diǎn)問題。數(shù)字圖像的獲取、傳輸、處理和壓縮存儲(chǔ)過程可能導(dǎo)致失真或降質(zhì)，進(jìn)而影響圖像識(shí)別或檢測(cè)的準(zhǔn)確率。如果能預(yù)先評(píng)估出圖像的質(zhì)量，優(yōu)選符合要求的圖像做為輸入會(huì)提高系統(tǒng)的性能。此外，驗(yàn)證數(shù)字圖像處理算法的性能好壞也需要一個(gè)客觀準(zhǔn)確的圖像質(zhì)量評(píng)估方法。

圖像質(zhì)量評(píng)估方法主要分為全參考圖像質(zhì)量評(píng)估FR-IQA(Full-Reference Image Quality Assessment)[1]、半?yún)⒖紙D像質(zhì)量評(píng)估RR-IQA(Reduced Reference Image Quality Assessment)[2]和無參考圖像質(zhì)量評(píng)估NR-IQA(No Reference Image Quality Assessment)[3]3種類型[4]。FR-IQA用參考圖像與待測(cè)失真圖像之間的差異評(píng)估圖像的質(zhì)量，由于可以使用參考圖像，F(xiàn)R-IQA方法可以模擬人的視覺比較過程去感知和評(píng)估圖像的質(zhì)量，例如SSIM算法[5]用圖像的亮度、對(duì)比度和結(jié)構(gòu)元素感知圖像的失真特性。RR-IQA方法利用參考圖像的部分信息與失真圖像特征信息之間的差別，預(yù)測(cè)圖像的質(zhì)量評(píng)估分?jǐn)?shù)。NR-IQA方法則不利用任何圖像參考信息，直接對(duì)失真圖像中能反映人類視覺特性的圖像統(tǒng)計(jì)特征建模，再基于回歸技術(shù)把該特征映射為失真圖像的質(zhì)量分?jǐn)?shù)[6]。NR-IQA方法由于不需要參考圖像，較FR-IQA和RR-IQA評(píng)估方法更符合實(shí)際需求，所以有著廣泛的應(yīng)用前景。Saad等[7]認(rèn)為正常的自然場(chǎng)景圖像特征具有統(tǒng)計(jì)規(guī)律，如果圖像失真就會(huì)破壞這種統(tǒng)計(jì)規(guī)律。NR-IQA方法的準(zhǔn)確率在很大程度上取決于圖像的特征表示[8]。例如Oszust等[9]利用局部增強(qiáng)差分和導(dǎo)數(shù)核對(duì)特征建模；王楊等[10]提取多方向、多尺度頻域特征和對(duì)比度、能量、熵、逆差分矩特征，再使用支持向量回歸方法獲取圖像的質(zhì)量分?jǐn)?shù)。

近幾年，作為人工智能主流技術(shù)的深度學(xué)習(xí)方法發(fā)展迅猛，深度學(xué)習(xí)領(lǐng)域出現(xiàn)了不同類型的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，如卷積神經(jīng)網(wǎng)絡(luò)CNN(Convolutional Neural Network)、循環(huán)神經(jīng)網(wǎng)絡(luò)RNN(Recurrent Neural Network)[11]和生成對(duì)抗網(wǎng)絡(luò)GAN(Generative Adversarial Network)[12]等。CNN模型首先在圖像處理和計(jì)算機(jī)視覺領(lǐng)域取得成功應(yīng)用。與傳統(tǒng)方法相比，深度神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)之一就是把圖像的特征表示和圖像的質(zhì)量分?jǐn)?shù)預(yù)測(cè)統(tǒng)一在一個(gè)框架內(nèi)完成。設(shè)計(jì)合理的網(wǎng)絡(luò)結(jié)構(gòu)和分階段的參數(shù)優(yōu)化方法有利于提高模型精度。深度神經(jīng)網(wǎng)絡(luò)提取圖像特征不需要人工干預(yù)，其參數(shù)的數(shù)量龐大，保證了提取到的圖像特征具有強(qiáng)大的表示能力。從數(shù)學(xué)角度看，可以把神經(jīng)網(wǎng)絡(luò)看作是一種復(fù)雜的函數(shù)映射關(guān)系，目前以卷積神經(jīng)網(wǎng)絡(luò)為主的深度神經(jīng)網(wǎng)絡(luò)已經(jīng)被大量應(yīng)用到圖像質(zhì)量評(píng)價(jià)中[4,13]。例如，Kang等[14]利用2次卷積和2次池化的卷積神經(jīng)網(wǎng)絡(luò)提取失真圖像特征。Lin等[12]提出了一種利用深度生成對(duì)抗網(wǎng)絡(luò)模型輸出仿真參考圖的盲圖像質(zhì)量評(píng)估方法，利用GAN生成虛擬的參考圖，使NR-IQA的評(píng)估過程可以模擬人的視覺比較過程。該方法具有一定新意，但GAN模型的訓(xùn)練過程比較復(fù)雜。

深度學(xué)習(xí)模型需要強(qiáng)算力和大數(shù)據(jù)集的支持，目前公開的失真圖像數(shù)據(jù)集規(guī)模仍顯偏小，導(dǎo)致一些使用了深度學(xué)習(xí)技術(shù)的算法的性能不夠理想。本文提出的基于并行小規(guī)模CNN的圖像質(zhì)量評(píng)估PSCNN(Parallel Small CNN based image quality assessment)算法，簡(jiǎn)化了深度神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)和深度，使其適應(yīng)當(dāng)前圖像質(zhì)量評(píng)估應(yīng)用；輸入并行、多尺度失真圖像，保證網(wǎng)絡(luò)模型能提取到更豐富的圖像統(tǒng)計(jì)特征；設(shè)計(jì)2個(gè)不同的損失函數(shù)，把模型參數(shù)的優(yōu)化過程分為2個(gè)階段，提高模型的性能。

2 提出的圖像質(zhì)量評(píng)價(jià)方法

圖像的特征提取對(duì)圖像質(zhì)量評(píng)價(jià)算法的性能有很大影響。卷積操作能夠提取更抽象的局部圖像特征，在很多應(yīng)用中性能明顯超過SIFT(Scale-Invariant Feature Transform)和LBP(Local Binary Pattern)等傳統(tǒng)圖像特征，成為目前主流的圖像特征提取方法。圖像質(zhì)量評(píng)測(cè)對(duì)特征提取的要求比圖像分類或圖像識(shí)別任務(wù)的要求低，不需要提取抽象的高級(jí)語義特征，因此采用層數(shù)較少的小規(guī)模深度卷積網(wǎng)絡(luò)實(shí)現(xiàn)失真圖像的特征提取，再經(jīng)過全連接回歸網(wǎng)絡(luò)后獲取圖像的質(zhì)量預(yù)測(cè)分?jǐn)?shù)。

2.1 網(wǎng)絡(luò)模型結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)具有局部連接和參數(shù)共享的特點(diǎn)，可以把網(wǎng)絡(luò)模型的計(jì)算復(fù)雜度降低到線性階O(n)。受文獻(xiàn)[15]啟發(fā)，本文設(shè)計(jì)的網(wǎng)絡(luò)模型結(jié)構(gòu)如圖1所示，前端為結(jié)構(gòu)一致的4路并行卷積子網(wǎng)絡(luò)，卷積核的尺寸為7×7，數(shù)量為50。卷積和池化操作都是提取失真圖像特征的過程，池化操作起到降維的作用，能夠降低后端全連接層的計(jì)算負(fù)擔(dān)，采用并行的全局最大池化和全局最小池化技術(shù)[15]，池化窗口的大小與卷積層輸出的特征圖譜一致，每個(gè)卷積子網(wǎng)輸出的特征矢量維度是100，4路卷積子網(wǎng)絡(luò)模塊的輸出并行連接在一起，構(gòu)成400維的圖像融合特征，做為后端全連接回歸的輸入。后端的全連接回歸結(jié)構(gòu)包含3個(gè)全連接層FCL(Fully Connected Layers)，神經(jīng)元的數(shù)目分別為400,400和1。與文獻(xiàn)[15]中網(wǎng)絡(luò)模型的主要區(qū)別在于，本文設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可以接受4路并行輸入，可以提取到更豐富的失真圖像特征信息。從整體看，本文設(shè)計(jì)的網(wǎng)絡(luò)模型屬于小規(guī)模的深度卷積神經(jīng)網(wǎng)絡(luò)，對(duì)算力和數(shù)據(jù)集規(guī)模的要求相對(duì)較低。

Figure 1 Structure of parallel CNN model圖1 并行的卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)

2.2 網(wǎng)絡(luò)模型的優(yōu)化

深度學(xué)習(xí)模型的優(yōu)化是至關(guān)重要的，其基本思想是梯度下降迭代。網(wǎng)絡(luò)模型需要優(yōu)化的參數(shù)包括卷積核參數(shù)和FC層中連接神經(jīng)元的權(quán)值及偏差項(xiàng)等。本文設(shè)計(jì)的卷積網(wǎng)絡(luò)模型雖然深度較小，但是仍屬于深度神經(jīng)網(wǎng)絡(luò)，當(dāng)訓(xùn)練數(shù)據(jù)不足時(shí)，容易導(dǎo)致過擬合，過擬合會(huì)造成網(wǎng)絡(luò)模型在訓(xùn)練集上的誤差較小，在測(cè)試集上的誤差較大。本文采用數(shù)據(jù)增強(qiáng)技術(shù)緩解這一問題，辦法是分割原始的失真圖像為若干不重疊的圖像塊，并假設(shè)每個(gè)圖像塊的質(zhì)量分?jǐn)?shù)等于整幅源圖像的質(zhì)量分?jǐn)?shù)標(biāo)簽值。

部分失真圖像的失真區(qū)域不具備均勻分布的性質(zhì)，所以假定圖像塊的質(zhì)量分?jǐn)?shù)為整幅圖像的質(zhì)量分?jǐn)?shù)會(huì)給模型參數(shù)的優(yōu)化帶來誤差，因此本文把模型的訓(xùn)練過程分為2個(gè)階段。在第1階段的訓(xùn)練中，利用圖像塊學(xué)習(xí)圖像的質(zhì)量分?jǐn)?shù)。將1幅失真圖像分割出來的P個(gè)圖像塊構(gòu)成1次批量輸入，將模型預(yù)測(cè)的P個(gè)圖像塊質(zhì)量分?jǐn)?shù)的平均值做為該幅圖像的質(zhì)量預(yù)測(cè)分?jǐn)?shù)，需要優(yōu)化的目標(biāo)函數(shù)為：

(1)

其中，符號(hào)|·|表示取絕對(duì)值，w1為前端卷積網(wǎng)絡(luò)的參數(shù)，w2為后端全連接網(wǎng)絡(luò)的參數(shù)。Q表示每1次訓(xùn)練神經(jīng)網(wǎng)絡(luò)輸入的圖像數(shù)量。符號(hào)‖·‖2表示L2范數(shù)，對(duì)權(quán)值項(xiàng)w2引入正則化項(xiàng)約束，以緩解模型過擬合。ln為圖像塊Inm的質(zhì)量分?jǐn)?shù)標(biāo)簽，f(·,·,·)輸出模型預(yù)測(cè)的質(zhì)量分?jǐn)?shù)，其中第1個(gè)參量Inm是輸入的圖像塊，第2個(gè)參量w1和第3個(gè)參量w2是模型的參數(shù)。不考慮正則化項(xiàng)，該目標(biāo)函數(shù)描述了圖像塊的預(yù)測(cè)值與圖像標(biāo)簽值之間的平均誤差。優(yōu)化時(shí)每個(gè)批次的訓(xùn)練輸入4幅圖像，即Q取4，每幅圖像被分割為32個(gè)圖像塊，即P取32，則batch_size為128，學(xué)習(xí)率(learning rate)設(shè)置為0.000 1，激活函數(shù)為ReLU。

在第2階段的訓(xùn)練中，利用整幅失真圖像作為輸入精調(diào)模型參數(shù)，損失函數(shù)為：

(2)

其中，Iq表示輸入圖像，lq是其對(duì)應(yīng)的質(zhì)量分?jǐn)?shù)標(biāo)簽。類似式(1)，在損失函數(shù)中引入正則化項(xiàng)，增加對(duì)參數(shù)的軟約束。不考慮正則化項(xiàng)，該損失函數(shù)描述了整幅失真圖像的預(yù)測(cè)值與圖像標(biāo)簽值之間的平均誤差。優(yōu)化時(shí)，使用L2范數(shù)正則化和擴(kuò)展數(shù)據(jù)集方法緩解過擬合，提升模型的性能。

2.3 算法描述

圖像特征提取是算法的核心部分。將輸入的失真圖像經(jīng)過高斯卷積之后連續(xù)3次進(jìn)行下采樣，獲取4個(gè)不同尺度的失真圖像歸一化后作為卷積神經(jīng)網(wǎng)絡(luò)的輸入，提取失真特征，最后送入全連接回歸網(wǎng)絡(luò)。

本文提出的基于并行小規(guī)模卷積神經(jīng)網(wǎng)絡(luò)的圖像質(zhì)量評(píng)估PSCNN算法如算法1所示。

算法1PSCNN

輸入：失真圖像。

輸出：失真圖像的質(zhì)量預(yù)測(cè)分?jǐn)?shù)。

訓(xùn)練階段：

步驟1將輸入圖像經(jīng)過圖像金字塔操作后得到4個(gè)尺度的圖像；

步驟2將4個(gè)尺度的圖像歸一化后分別輸入到4個(gè)并行的卷積神經(jīng)網(wǎng)絡(luò)中；

步驟3將4路特征向量進(jìn)行連接，輸入全連接回歸網(wǎng)絡(luò)中；

步驟4根據(jù)目標(biāo)函數(shù)式(1)和式(2)不斷優(yōu)化模型參數(shù)，重復(fù)上述步驟，直到滿足迭代停止準(zhǔn)則。

測(cè)試階段：

步驟1輸入待測(cè)圖像；

步驟2獲取不同尺度圖像，輸入已經(jīng)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)，輸出4路特征向量；

步驟3將4路特征向量融合，經(jīng)過訓(xùn)練好的全連接回歸網(wǎng)絡(luò)輸出失真圖像的質(zhì)量預(yù)測(cè)分?jǐn)?shù)。

總結(jié)PSCNN算法的特點(diǎn)如下：

(1)使用4路并行的卷積網(wǎng)絡(luò)輸入，增強(qiáng)了失真圖像的特征表示能力。

(2)設(shè)計(jì)小規(guī)模的卷積神經(jīng)網(wǎng)絡(luò)提取失真圖像特征，使訓(xùn)練變得容易。

(3)不限制輸入圖像的尺寸，可以最大限度地保留原始失真圖像中的信息。

(4)針對(duì)圖像塊(Image Patch)和整幅失真圖像，分2個(gè)階段優(yōu)化損失函數(shù)，提高模型的精度。

綜上，本文提出的算法先學(xué)習(xí)圖像局部特征及感知圖像失真的位置信息，再通過池化操作降低維度，最后通過全連接回歸輸出圖像的質(zhì)量評(píng)估分?jǐn)?shù)。

3 實(shí)驗(yàn)與結(jié)果分析

本節(jié)在2個(gè)公開的標(biāo)準(zhǔn)數(shù)據(jù)集上將PSCNN算法與當(dāng)前主流算法進(jìn)行比較。數(shù)據(jù)集之間的區(qū)別主要是參考圖像的數(shù)量、失真圖像的數(shù)量、失真類型和評(píng)分標(biāo)準(zhǔn)等。實(shí)驗(yàn)采用普遍使用的評(píng)價(jià)標(biāo)準(zhǔn)評(píng)測(cè)算法的預(yù)測(cè)與主觀感知的一致性；用模型預(yù)測(cè)值與圖像主觀分?jǐn)?shù)的相關(guān)性實(shí)驗(yàn)測(cè)試算法的穩(wěn)定性；用不同的數(shù)據(jù)集交叉實(shí)驗(yàn)測(cè)試算法的泛化性能。

3.1 數(shù)據(jù)集

實(shí)驗(yàn)采用2個(gè)流行的IQA數(shù)據(jù)集：LIVE[16,17]和TID2008[18,19]，LIVE包含了29幅未失真的參考圖像和779幅不同類型的失真圖像，失真類型分別為白噪聲WN(White Noise)、JPEG壓縮失真(JPEG)、JPEG2000壓縮失真(JP2K)、高斯模糊GBLUR(Gaussian BLUR)和快速衰減瑞利失真FF(Fast Fading rayleigh channel)。圖2給出了LIVE數(shù)據(jù)集的部分失真圖像示例。LIVE數(shù)據(jù)集的主觀評(píng)價(jià)分?jǐn)?shù)用DMOS(Difference Mean Opinion Score)描述，質(zhì)量分?jǐn)?shù)的變動(dòng)在[0,100]。TID2008數(shù)據(jù)集包含了25幅未失真的參考圖像，17種失真類型、4種失真等級(jí)的1 700幅失真圖像。除了與LIVE數(shù)據(jù)集共有的4種失真類型(WN、JPEG、JP2K和GBLUR)外，TID2008數(shù)據(jù)集還包含13種失真類型：量化噪聲、彩色成分的加性噪聲、脈沖噪聲、空間相關(guān)噪聲、遮掩噪聲、高頻噪聲圖像去噪、JPEG傳輸誤差、非偏心模式噪聲和對(duì)比度改變(CHANGE)等。與LIVE數(shù)據(jù)集不同，TID2008采用MOS(Mean Opinion Score)作為主觀評(píng)價(jià)分?jǐn)?shù)，其值縮放到[0,9]，MOS的值越小，圖像的質(zhì)量越不好。通過使用更多的數(shù)據(jù)進(jìn)行訓(xùn)練可以進(jìn)一步提高模型的泛化能力，因此，本文把失真圖像分割為若干不重疊圖像塊，以豐富數(shù)據(jù)集。

Figure 2 Samples of distortion image圖2 失真圖像樣例

3.2 評(píng)價(jià)標(biāo)準(zhǔn)

評(píng)價(jià)標(biāo)準(zhǔn)采用通用的斯皮爾曼秩相關(guān)系數(shù)SROCC(Spearman Rank-Order Correlation Coefficient)和皮爾森線性相關(guān)系數(shù)PLCC(Pearson Linear Correlation Coefficient)[20,21]。SROCC衡量2組數(shù)據(jù)的等級(jí)相關(guān)性，即主觀標(biāo)定的質(zhì)量評(píng)價(jià)分?jǐn)?shù)和模型輸出的客觀質(zhì)量預(yù)測(cè)分?jǐn)?shù)的相關(guān)性；PLCC衡量2組數(shù)據(jù)的線性相關(guān)程度。SROCC的計(jì)算公式如式(3)所示：

(3)

其中，N表示數(shù)據(jù)集中圖像的數(shù)量，dk表示第k幅圖像在主觀評(píng)價(jià)分?jǐn)?shù)集合和模型預(yù)測(cè)分?jǐn)?shù)集合中排名的差值。PLCC的計(jì)算公式如式(4)所示：

(4)

3.3 在數(shù)據(jù)集上的評(píng)測(cè)結(jié)果

算法首先在LIVE數(shù)據(jù)集上完成訓(xùn)練和測(cè)試，表1給出了PSCNN與當(dāng)前主流算法的對(duì)比結(jié)果，包括CORNIA (COdebook Representation for No reference Image Assessment)算法[22]、DLIQA(Deep Learning for blind Image Quality Assessment)算法[23]、BIQI(Blind Image Quality Index)算法[24]、ILNIQE(Integrated Local Natural Image Quality Evaluator)算法[25]、BRISQUE(dubbed Blind/Referenceless Image Spatial QUality Evaluator)算法[26]、DIIVINE(Distortion Identification-based Image Verity and INtegrity Evaluation index)算法[8]、HOSA(High Order Satistics Aggregation)算法[27]、CNN(Convolutional Neural Networks for no-reference image quality assessment)算法[14]和CNN++(multi-task CNNs)算法[15]。表1中加粗的數(shù)字表示性能最好(下同)。CORNIA[22]使用軟指派編碼(soft-assignment coding)和最大池化獲取圖像的特征表示，PLCC指標(biāo)比本文算法低3個(gè)百分點(diǎn)。DIIVINE[27]假設(shè)自然圖像都具有某種統(tǒng)計(jì)特征，由于失真導(dǎo)致這些統(tǒng)計(jì)特征發(fā)生改變，如果能找到這種改變，就可以判斷圖像的質(zhì)量。DIIVINE算法的評(píng)價(jià)指標(biāo)比本文算法的評(píng)價(jià)指標(biāo)低3～5個(gè)百分點(diǎn)。CNN++算法[15]的評(píng)價(jià)指標(biāo)是CNN算法的加強(qiáng)版，符號(hào)“++”的含義是代表2個(gè)任務(wù)：圖像質(zhì)量分?jǐn)?shù)評(píng)估和失真類型識(shí)別。CNN++在PLCC指標(biāo)上比CNN提升了4個(gè)百分點(diǎn)，二者都屬于基于深度學(xué)習(xí)技術(shù)的算法，但是都比本文的PSCNN算法的性能低5～6個(gè)百分點(diǎn)。DLIQA也屬于深度學(xué)習(xí)方法，用深度判別模型輸出失真圖像的質(zhì)量分?jǐn)?shù)，其性能比本文的算法低4個(gè)百分點(diǎn)。DIIVINE、BRISQUE和CNN++算法都采用2階段框架法，即首先識(shí)別出失真的類型，然后再評(píng)估該失真類型的質(zhì)量分?jǐn)?shù)。綜上，在LIVE數(shù)據(jù)集上的測(cè)試結(jié)果表明：同當(dāng)前主流的圖像質(zhì)量評(píng)估算法相比，本文提出的PSCNN算法性能最高。

SROCC用于評(píng)測(cè)客觀質(zhì)量預(yù)測(cè)分?jǐn)?shù)和主觀質(zhì)量評(píng)價(jià)分?jǐn)?shù)的相關(guān)性，如果模型附加某些非線性變換，會(huì)使PLCC指標(biāo)變好，但SROCC指標(biāo)不會(huì)被影響，所以SROCC被認(rèn)為是最好的非線性相關(guān)指標(biāo)。在LIVE數(shù)據(jù)集的5種失真類型圖像上，將PSCNN算法與NIQE(Natural Image Quality Evaluator)[29]等算法逐一比較SROCC指標(biāo)，其結(jié)果如表2所示。由表2可以看出：本文提出的PSCNN算法的SROCC指標(biāo)在前4種失真類型上取得最優(yōu)，僅在第5種失真類型FF上沒有取得最優(yōu)。

Table 1 Comparison of performance on LIVE

Table 2 SROCC on 5 distortations of LIVE表2 在LIVE 5種失真類型圖像上的SROCC指標(biāo)比較

為了驗(yàn)證PSCNN算法的穩(wěn)定性，比較模型的預(yù)測(cè)分?jǐn)?shù)與失真圖像的主觀真實(shí)分?jǐn)?shù)之間的差異，本文從LIVE數(shù)據(jù)集中隨機(jī)選擇JP2K失真、FF失真和綜合失真等4種情況繪制散點(diǎn)分布圖，如圖3所示。圖3中每1個(gè)樣例點(diǎn)表示1幅失真圖像，橫軸為主觀標(biāo)定的失真圖像的真實(shí)質(zhì)量分?jǐn)?shù)(subjective opinion score)，縱軸為網(wǎng)絡(luò)模型預(yù)測(cè)的質(zhì)量分?jǐn)?shù)。散點(diǎn)圖通過樣例點(diǎn)的變化趨勢(shì)和疏密程度描述失真圖的預(yù)測(cè)分?jǐn)?shù)和真實(shí)標(biāo)定分?jǐn)?shù)之間的數(shù)量關(guān)系。由圖3可以看出：數(shù)據(jù)點(diǎn)基本圍繞在擬合曲線附近，呈現(xiàn)出正相關(guān)的線性關(guān)系，表明提出的PSCNN算法具有較好的穩(wěn)定性。

Figure 3 Comparison of DMOS versus model prediction on distorted image圖3 失真圖像的模型預(yù)測(cè)分?jǐn)?shù)與主觀評(píng)測(cè)分?jǐn)?shù)比較

為驗(yàn)證PSCNN算法的泛化能力，本文進(jìn)行了跨數(shù)據(jù)集的交叉實(shí)驗(yàn)，在LIVE數(shù)據(jù)集上訓(xùn)練，然后在TID2008數(shù)據(jù)集上進(jìn)行測(cè)試。選擇2個(gè)數(shù)據(jù)集中共有的失真類型圖像，測(cè)試結(jié)果如表3和表4所示，對(duì)比算法包括BLISS(Blind Learning of Image Quality using Synthetic Scores)算法[30]和dipIQ(quality-discriminable image pairs Inferred Quality)算法[31]等。

Table 3 SROCC (test on TID2008 & training on LIVE)

Table 4 PLCC (test on TID2008 & training on LIVE)

BLISS[30]通過其它現(xiàn)有的FF-IQA模型標(biāo)注訓(xùn)練數(shù)據(jù)，屬于免主觀(Opinion Free)分?jǐn)?shù)的圖像質(zhì)量評(píng)價(jià)方法。其中，DLIQA算法[23]和dipIQ算法[31]使用了深度學(xué)習(xí)技術(shù)，dipIQ算法利用微軟的RankNet解決排序問題。由表3和表4可知，無論是在具體的失真類型上還是綜合失真類型上，本文PSCNN算法的泛化性能都好于對(duì)比算法的，說明該算法的泛化能力較強(qiáng)。

4 結(jié)束語

本文提出了基于并行小規(guī)模卷積神經(jīng)網(wǎng)絡(luò)的無參考圖像質(zhì)量評(píng)估算法，將失真圖像的特征提取和質(zhì)量分?jǐn)?shù)預(yù)測(cè)統(tǒng)一在一個(gè)優(yōu)化框架內(nèi)實(shí)現(xiàn)。設(shè)計(jì)了并聯(lián)的網(wǎng)絡(luò)模型架構(gòu)，將多尺度圖像的特征信息融合在一起，采用2階段法優(yōu)化模型參數(shù)，提高了模型的性能。

由于現(xiàn)實(shí)世界中圖像的失真類型多種多樣，目前公開的數(shù)據(jù)集提供的失真類型有限，需要探索遷移學(xué)習(xí)和增量學(xué)習(xí)在圖像質(zhì)量評(píng)估算法中的應(yīng)用，設(shè)計(jì)通用型的無參考圖像質(zhì)量評(píng)價(jià)算法是未來的工作重點(diǎn)之一。

致謝：

論文的研究得到國(guó)家自然科學(xué)基金(61772171)和遼寧省自然科學(xué)基金(2019ZD0702)部分資助，碩士生馬遙在論文初期做了部分基礎(chǔ)性工作。