一種改進的卷積神經(jīng)網(wǎng)絡(luò)的無參考JPEG2000圖像質(zhì)量評價方法

朱 睿 李朝鋒,2

1(江南大學物聯(lián)網(wǎng)工程學院 江蘇 無錫 214122)2(江南大學輕工過程先進控制教育部重點實驗室 江蘇 無錫 214122)

一種改進的卷積神經(jīng)網(wǎng)絡(luò)的無參考JPEG2000圖像質(zhì)量評價方法

朱 睿1李朝鋒1,2

1(江南大學物聯(lián)網(wǎng)工程學院 江蘇 無錫 214122)2(江南大學輕工過程先進控制教育部重點實驗室 江蘇 無錫 214122)

現(xiàn)有的圖像質(zhì)量評價模型對JPEG2000壓縮圖像的失真情況評價都不是很理想。針對這一問題，提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的JPEG2000壓縮圖像質(zhì)量評價方法。該模型由一層包含20個卷積核的卷積層，一層包含最大池、中值池和最小池的次采樣層、一層采用1200個ReLU激活單元的全鏈接層和一個輸出節(jié)點構(gòu)成。采用最大、中值、最小三池聯(lián)合的方法，可以有效提取圖像的質(zhì)量感知特征。在LIVE圖像質(zhì)量評價庫JPEG2000壓縮圖像上的實驗結(jié)果表明，該方法得到了比相關(guān)文獻方法更好的主觀感知一致性。

卷積神經(jīng)網(wǎng)絡(luò) 深度學習 無參考圖像質(zhì)量評價

0 引 言

隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，對圖像的傳輸、存儲、壓縮等需求日趨增多，而其中的每一種技術(shù)都需要對圖像的質(zhì)量進行評價，所以圖像質(zhì)量評價已經(jīng)成為當前圖像處理領(lǐng)域的一個研究熱點。圖像質(zhì)量評價方法一般可以分為主觀質(zhì)量評價方法和客觀質(zhì)量評價方法。由于人是圖像的最終接收者，主觀質(zhì)量評價的可靠性最高，但在實際應(yīng)用中，主觀質(zhì)量評價費時費力，且無法嵌入自動化系統(tǒng)中，為此客觀質(zhì)量評價必不可少?？陀^質(zhì)量評價根據(jù)有無參考圖像信息可以分為全參考、半?yún)⒖己蜔o參考圖像質(zhì)量評價。無參考圖像質(zhì)量評價方法主要是指在沒有參考圖像信息的情況下對失真圖像進行客觀評價的一種方法。全參考和半?yún)⒖挤椒ㄐ枰獏⒖紙D像的全部或者部分信息，在很多時候，參考圖像信息很難獲取或者獲得代價太高，而無參考圖像質(zhì)量評價不需要原始圖像的任何信息，所以無參考評價方法更為重要。近年來，無參考圖像質(zhì)量評價方法得到較大發(fā)展。Moothy等提出一種先分類后回歸的方法DIIVINE[1]，該方法先對圖像進行小波分解，使用廣義高斯分布擬合得到尺度內(nèi)和尺度間統(tǒng)計特征，然后使用支持向量機先分類再回歸的方法預(yù)測圖像質(zhì)量得分。Mittal等對經(jīng)過預(yù)處理的圖像進行高斯擬合，提取形狀、方差和均值等統(tǒng)計特征，使用SVR建立模型BRISQUE[2]。Saad等將圖像分塊后提取每塊的離散余弦變換(DCT)系數(shù)，然后用廣義高斯分布(GGD)函數(shù)進行擬合得到所需特征，最后用SVR訓練得到評價e模型BLIINDS-II[3]。Gao等在小波域提取圖像的非高斯性、局部依賴性和指數(shù)遞減性特征，構(gòu)建了兩種評價方法：一種運用多核學習方法直接建立特征與圖像主觀得分之間關(guān)系的NSS-GS，另一種是需要兩步框架的NSS-TS，即先判斷圖像的失真類型并分類，然后用不同失真的評價方法對不同類失真圖像進行評價得到最終得分[4]。Liu等先將圖像分塊，然后對每塊進行曲波變換后提取子帶系數(shù)直方圖擬合特征、能量差等，再取所有塊的特征均值，運用先分類后回歸的方法得到評價模型CurveletQA[5]。

深度學習[6]作為機器學習的一個分支，近幾年來得到了迅猛的發(fā)展。其中卷積神經(jīng)網(wǎng)絡(luò)在圖像處理領(lǐng)域也取得了重要的進展，如：圖像內(nèi)容處理、圖像分類和物體識別[7-8]。1959年，Hubel和Wiese[9]兩位科學家在對貓視覺實驗中發(fā)現(xiàn)了貓的視覺系統(tǒng)是分級的，這種分級可以看成是逐層迭代、抽象的過程。

瞳孔接受像素，方向選擇性細胞抽象出邊緣，對邊緣進一步抽象得出形狀，對形狀再進一步抽象得出是什么物體。

卷積神經(jīng)網(wǎng)絡(luò)特點在于將特征提取和網(wǎng)絡(luò)回歸良好地結(jié)合在了一起，這樣結(jié)合的優(yōu)點體現(xiàn)在兩個方面：(1)隨著網(wǎng)絡(luò)深度的加深，可以更顯著地提高網(wǎng)絡(luò)的學習能力[10]。(2)在卷積神經(jīng)網(wǎng)絡(luò)框架中，采用反向誤差傳播的方法，將整個網(wǎng)絡(luò)作為一個整體進行訓練，這樣就可在模型中加入最近提出一些提高學習效率和學習結(jié)果的新技術(shù)，如dropout[11]和ReLU(rectified linear unit)[11]等。

根據(jù)上述討論，本文提出了一種改進卷積神經(jīng)網(wǎng)絡(luò)模型的JPEG2000編碼圖像質(zhì)量評價的方法，不同于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)模型。我們在次采樣層使用了大、中、小池結(jié)構(gòu)結(jié)合并在輸出層使用了ReLU激活單元的設(shè)計，實驗結(jié)果表明，這樣的結(jié)構(gòu)設(shè)計使得實驗結(jié)果得到了顯著的提高。

1 改進卷積神經(jīng)網(wǎng)絡(luò)模型的原理與實現(xiàn)

本文提出的用于圖像質(zhì)量評價的CNN改進模型結(jié)構(gòu)見圖1所示。首先，將圖像進行灰度化和歸一化處理，然后將圖像進行不重疊的切割并將訓練用的圖像塊輸入CNN改進模型進行模型訓練，最后利用訓練好的模型預(yù)測測試集中每一張小塊的圖像質(zhì)量值并計算這些值的均值作為原圖像的圖像質(zhì)量值。

圖1 本文改進的卷積神經(jīng)網(wǎng)絡(luò)模型

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

如圖1所示，本文提出的CNN模型由五層網(wǎng)絡(luò)結(jié)構(gòu)組成。輸入層接收經(jīng)過灰度化和歸一化后的32×32的圖像塊。在第一層卷積層中，我們使用20個7×7的卷積核通過步長為1像素的卷積運算對輸入塊進行處理，得到了20個特征圖，其中每個特征圖的大小為26×26。隨后在次采樣層中采用最大值、中值和最小值三種采樣方法對20張?zhí)卣鲌D進行處理，分別得到最大值、中值和最小值三個特征池。這樣做的目的不但是降低了特征的復(fù)雜程度，而且也在相應(yīng)的特征圖中提取出來比較顯著的特征樣本。在輸出層，本文采用全鏈接方法，共有1200個節(jié)點來連接次采樣層得到的特征，最后通過線性回歸網(wǎng)絡(luò)得到圖像的質(zhì)量值。

1.2 局部歸一化處理

對失真圖像進行不重疊切割前，先對失真圖像進行歸一化處理。本文采用的是局部歸一化方法[12]。歸一化計算式如下：

(1)

(2)

(3)

其中I(i,j)為失真圖像，M、N分別表示圖像的高和寬。P和Q是歸一化窗口的大小，P和Q的最大值不應(yīng)超過輸入圖像的大小。根據(jù)式(1)可知不同的窗口大小將會導(dǎo)致不同的均值和變異因數(shù)，在本文的方法中我們采用P=Q=3的窗口大小。通過式(1)-式(3)，用圖像灰度值減去局部均值，再除以局部標準差可以消除圖像的分段光滑性，并完成局部歸一化。

1.3 卷積層

卷積層是通過卷積計算進行特征提取，在這一層中我們使用20個不同的卷積核，對每一個輸入圖像進行卷積運算，從而獲得20個特征圖。根據(jù)卷積神經(jīng)網(wǎng)絡(luò)的原理，卷積核的大小尺寸決定一個神經(jīng)元的感受視野的大小。當卷積過小時，無法提取有效的特征，而當卷積核過大時，提取的特征的復(fù)雜度可能會超過后面網(wǎng)絡(luò)的表示能力。因此設(shè)置適當?shù)木矸e核對于提高卷積神經(jīng)網(wǎng)絡(luò)的性能至關(guān)重要，同時也是卷積神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)節(jié)的難點。本文提出的模型采用的卷積核的大小為7×7，經(jīng)過這樣的卷積核處理后，我們會得到20個26×26的特征圖。

1.4 次采樣層

次采樣層的輸入是在上一層卷積層中經(jīng)過卷積計算得到的20個特征圖。在本層中，模型通過池化計算將特征圖的維度進一步降低。對于每一個特征圖本文只對它們?nèi)∽畲笾?、中值和最小值三個數(shù)值，分別存入最大池、中值池和最小值。計算式如下：

(4)

(5)

(6)

其中Pmax、Pmin和Pmedian表示最大池、最小池和中值池。M表示特征圖。K表示卷積核的數(shù)量。

在場景識別領(lǐng)域中，卷積神經(jīng)網(wǎng)絡(luò)的池化層一般都會設(shè)置成2×2平均值的感知結(jié)構(gòu)。在這種情況下，選擇這種典型的感知方法可以使整個采樣層的魯棒性加強。特別是在被識別物體在空間上能被分成多個顯著序列時，這種方法格外有效。但是，在無參考圖像質(zhì)量評價領(lǐng)域，經(jīng)過我們的觀察發(fā)現(xiàn)，很多失真都是均勻分布在空間域中的，將圖像不重疊分割成32×32的圖像塊是不會影響這種失真的均勻性的。所以對于這種沒有明顯的全局顯著特征的圖像，使用本文中的池化方法可以大幅度地減少計算時間和結(jié)果的復(fù)雜程度，從而提高運算速度和預(yù)測結(jié)果的準確性。

1.5 輸出層

本文模型在輸出層采用了1200個激活節(jié)點，與前面的三個池采用全鏈接的方式連接。這里我們將次采樣層的輸出結(jié)果轉(zhuǎn)換成一個60維的特征向量，每個特征都與1200個激活節(jié)點進行連接，所以在次采樣層和輸出層之間共有60×1200=72 000個參數(shù)。

在傳統(tǒng)CNN的輸出層中，一般都會采用sigmoid激活函數(shù)或tanh激活函數(shù)，本文模型使用Rectified Linear Units(ReLUs)作為激活函數(shù)。計算式如下：

(7)

其中w為連接權(quán)值，a為次采樣層輸出。

在深度CNN中，使用ReLU函數(shù)的模型在訓練時要比使用tanh單元的模型效率更快[13]。而且ReLU函數(shù)的特性是阻止負信號通過，正是由于這種特性我們并沒有在卷積層和次采樣層使用ReLU函數(shù)進行濾波，而只是在線性回歸的網(wǎng)絡(luò)中使用它，使其能夠過濾最小池中有可能出現(xiàn)的負輸出。

Dropout是近幾年由Hinton提出的一種防止網(wǎng)絡(luò)過擬合的一種方法。其具體做法是將輸出值按50%的概率設(shè)置為零，通過隨機屏蔽輸出信號的方法，Dropout成為一種對于訓練權(quán)值網(wǎng)絡(luò)的有效方法。本文在ReLU函數(shù)后，對于輸出值進行Dropout處理。

1.6 模型調(diào)整與學習

Support Vector Regression (SVR)已經(jīng)在無參考圖像質(zhì)量評價中得到成功應(yīng)用[2]。本文模型中的輸出層采用的目標函數(shù)與其非常相似，計算式如下：

(8)

其中x為輸入圖像，w為各層權(quán)值，f(w;x)為圖像質(zhì)量分數(shù)預(yù)測函數(shù)，y為圖像的主觀評價值。然后使用誤差反向傳播和梯度下降方法對權(quán)值進行調(diào)節(jié)。計算式如下：

(9)

Δw=▽wL

(10)

wnew=w+αΔw

(11)

其中w為權(quán)值，L為誤差函數(shù)，α為學習率。在實驗中我們還發(fā)現(xiàn)，在訓練開始的時候使用較大的學習率，并在訓練過程中減小學習率，可以使預(yù)測的較好結(jié)果。計算式如下：

α=α0(d)t

(12)

其中α為實時學習率，α0為初始學習率，d為在(0,1)的常數(shù)，t為訓練次數(shù)。

2 實驗結(jié)果與分析

2.1 在LIVE圖像庫上的實驗結(jié)果與分析

本文選用LIVE[14]圖像庫中的JPEG2K失真類型作為實驗數(shù)據(jù)集，該失真類型共有227張大小不同的原始圖像，也給出了每幅失真圖像的主觀得分DMOS值。

為了評估本文方法的性能，選取兩種評價指標：主觀MOS和客觀MOS的斯皮爾曼等級相關(guān)系數(shù)SROCC(Spearman Rank Order Correlation Coefficient)；主觀MOS和客觀MOS的皮爾遜線性相關(guān)系數(shù)PLCC(Pearson Correlation Coefficient)。

SROCC主要用于測量兩組順序樣本的次序相關(guān)系數(shù)，即質(zhì)量得分單調(diào)性的指標；PLCC主要用于客觀評價得分與主觀得分之間的回歸擬合。SROCC和PLCC的值區(qū)間都為[-1,1]，其絕對值越接近于1表明主客觀之間的相關(guān)性越好，反之，越接近0表明兩者相關(guān)性越差。

為了和其他方法比較，本文采用了與他人文獻中相同的處理方法。實驗中隨機選取LIVE數(shù)據(jù)庫中80%的23幅原始圖像及其對應(yīng)的失真圖像訓練。剩余20%的6幅原始圖像及其對應(yīng)失真圖像進行測試，這樣保證訓練圖像與測試圖像在內(nèi)容上沒有交叉。表1和表2分別列出了實驗結(jié)果SROCC和LCC。

表1 在LIVE圖像庫JPEG2K失真類型上的SROCC值

表2 在LIVE圖像庫JPEG2K失真類型上的LCC值

圖2為本文方法預(yù)測出的圖像質(zhì)量得分與主觀得分的散點圖，也表明了本文方法的主觀感知一致性。

圖2 本文模型預(yù)測圖像質(zhì)量值的散點圖

由表1和表2可以分析出，本文在傳統(tǒng)CNN模型基礎(chǔ)上融入一些權(quán)值優(yōu)化技術(shù)，以及在池化層采用最大、中值和最小三種聯(lián)合的方法得到改進的CNN模型。實驗結(jié)果顯示，我們改進的CNN模型比傳統(tǒng)CNN得到更好的主觀感知一致性，也優(yōu)于當前文獻報道的頂級模型DIIVINE和BRISQUE。

2.2 模型參數(shù)比較與分析

本文模型中一些相關(guān)參數(shù)都是在實驗初始階段設(shè)置的，為了進一步研究這些相關(guān)參數(shù)初始值的不同對實驗結(jié)果的影響，本節(jié)將在LIVE失真圖像庫的JPEG2K失真類型上實驗相關(guān)的參數(shù)初始值不同時的表現(xiàn)。

2.2.1 輸入圖像尺寸

在我們設(shè)計的實驗中，最后的預(yù)測結(jié)果為同一原始圖像切塊后得到所有圖像塊預(yù)測結(jié)果的平均值，所以輸入圖像塊的大小尺寸不同可能會影響的預(yù)測結(jié)果。給出不同尺寸的實驗結(jié)果如表3所示。

表3 不同輸入圖像尺寸大小得到的SROCC和LCC值

從表3中我們可以看出，圖像塊的大小對整體結(jié)果影響不大，但輸入圖像尺寸越大，實驗所需的時間增長較多，綜合考慮，我們選擇輸入圖像大小為32×32。

2.2.2 卷積核的數(shù)量

我們給出卷積核的數(shù)量與預(yù)測結(jié)果之間的關(guān)系如圖3所示。

圖3 卷積核數(shù)目與預(yù)測結(jié)果的關(guān)系圖

從圖3中我們可以看出，實驗結(jié)果會隨著卷積核的增多而提高，但是當卷積核的數(shù)目超過20個的時候，實驗結(jié)果提高趨于不變。相反地，隨著卷積核的增多，實驗所需時間增加較多。綜合考慮，我們選擇卷積核的數(shù)目為20個。

2.2.3 卷積核尺寸的大小

本文在實驗中也測試了卷積核尺寸的大小對輸出結(jié)果的影響，如表4所示。

表4 不同卷積核尺寸得到的SROCC和LCC值

從表4中我們可以看出，使用不同尺寸的卷積核進行實驗所得到的結(jié)果差別并不明顯，所以卷積核的尺寸對于實驗結(jié)果的影響并不明顯。我們選擇了使實驗結(jié)果相對較好的7×7大小卷積核。

3 結(jié) 語

本文提出了一種改進卷積神經(jīng)網(wǎng)絡(luò)的無參考JPEG2000圖像質(zhì)量評價方法。該模型在次采樣層采用了最大、中值、最小三池聯(lián)合的方法，在輸出層使用了ReLU激活函數(shù)和dropout技術(shù)，更好表達了圖像質(zhì)量感知特征。我們的實驗結(jié)果也表明該模型在圖像質(zhì)量評價庫上有更好的預(yù)測結(jié)果，優(yōu)于當前文獻報道的相關(guān)方法。

[1] Moorthy A K,Bovik A C.Blind image quality assessment:From natural scene statistics to perceptual quality[J].IEEE Transactions on Image Processing,2011,20(12):3350-3364.

[2] Mittal A,Moorthy A K,Bovik A C.No-referen ce image quality assessment in the spatial domain[J].IEEE Transactions on Image Processing,2012,21(12):4695-4708.

[3] Saad M A,Bovik A C,Charrier C.Blind Image Quality Assessment:A Natural Scene Statistics Approach in the DCT Domain[J].IEEE Transactions on Image Processing,2012,21(8):3339-3352.

[4] Gao X,Gao F,Tao D,et al.Universal Blind Image Quality Assessment Metrics Via Natural Scene Statistics and Multiple Kernel Learning[J].IEEE Transactions on Neural Networks and Learning Systems,2013,24(12):2013-2026.

[5] Liu L,Dong H,Huang H,et al.No-reference image quality assessment in curvelet domain[J].Signal Processing:Image Communication,2014,29(4):494-505.

[6] Hinton G E,Salakhutdinov R R.Reducing the dimensionality of data with neural network [J].Science,2006,313 (5786):504-507.

[7] Landecker W,Chartrand R,DeDeo S.Robust Sparse Coding and Compressed Sensing with the Difference Map[C].//European Conference on Computer Vision (ECCV),2014:315-329.

[8] Girshick R,Donahue J,Darrell T,et al.Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[C]// Computer Vision and Pattern Recognition (CVPR),2014 IEEE Conference on.IEEE,2014:580-587.

[9] Hubel D H,Wiesel T N.Receptive fields of single neurones in the cat’s striate cortex[J].The Journal of Physiology,1959,148:574-591.

[10] Bengio Y,Courville A,Vincent P.Representation Learning:A Review and New Perspectives[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(8):1798-1828.

[11] Nair V,Hinton G E.Rectified Linear Units Improve Restricted Boltzmann Machines.[C].// Proceedings of the 27th International Conference on Machine Learning (ICML),2010:807-814.

[12] Ruderman D L.The statistics of natural images[J].Netwrok:Computer in Nerual Systems,1994,5(4):517-548.

[13] Krizhevsky A,Sutskever I,Hinton G E.ImageNet Classification with Deep Convolutional Neural Networks[C].//Advances in Neural Information Processing Systems 25,2012,1106-1114.

[14] Sheikh H R,Wang Z,Cornack L.LIVE image quality assessment database release2[EB/OL].http://live.ece.utexas.edu/research/quality.

A NO-REFERENCE JPEG2000 IMAGE QUALITY ASSESSMENT VIA IMPROVED CONVOLUTIONAL NEURAL NETWORK

Zhu Rui1Li Chaofeng1,2

1(SchoolofInternetofThingsEngineering,JiangnanUniversity,Wuxi214122,Jiangsu,China)2(KeyLaboratoryofAdvancedProcessControlforLightIndustry,MinistryofEducation,JiangnanUniversity,Wuxi214122,Jiangsu,China)

The existing image quality evaluation model for JPEG2000 compression image distortion upon evaluation is not very ideal.In view of this,a JPEG2000 compressed image quality evaluation method based on improved CNN framework is put forward.The model is consisted of one convolutional layer with 20 convolution kernels,one pooling layer with the max,medium and min pooling,one fully connected layer with 1200 ReLU units and one output node.Using the max,medium and min pool structure to extract the typical features in the image effectively.Experimental results show that the proposed method is consistent with the subjective score better in the LIVE library.

Convolutional neural network (CNN) Deep learning No-reference Image quality assessment

2015-11-05。國家自然科學基金項目(61170120);教育部優(yōu)秀人才計劃項目(NCET-12-0881)。朱睿，碩士生，主研領(lǐng)域：深度學習，模式識別。李朝鋒，教授。

TP391.4

A

10.3969/j.issn.1000-386x.2017.01.032