基于多尺度多分類(lèi)器卷積神經(jīng)網(wǎng)絡(luò)的混合失真類(lèi)型判定方法

閆鈞華，侯平，張寅，呂向陽(yáng)，馬越，王高飛

（1.空間光電探測(cè)與感知工業(yè)和信息化部重點(diǎn)實(shí)驗(yàn)室（南京航空航天大學(xué)），南京 211106；2.南京航空航天大學(xué)航天學(xué)院，南京 211106）

0 引言

隨著信息科技的飛速發(fā)展，人們對(duì)圖像質(zhì)量的要求越來(lái)越高。高質(zhì)量的圖像包含了更加豐富的信息，能夠有效地提升信息傳遞的準(zhǔn)確性。然而圖像在經(jīng)過(guò)采集、壓縮、處理和傳輸?shù)冗^(guò)程中會(huì)引入多種不同程度的失真類(lèi)型，這些失真圖像會(huì)影響接收者對(duì)圖像信息的理解。因此圖像失真類(lèi)型的判定對(duì)圖像質(zhì)量評(píng)價(jià)、圖像復(fù)原以及光學(xué)鏈路的修正等一些領(lǐng)域都有非常重要的指導(dǎo)意義。

由于不同失真類(lèi)型的特征存在相似性難以區(qū)分，所以部分失真特征的相似性成為了失真類(lèi)型判定的難點(diǎn)之一。關(guān)于圖像失真類(lèi)型判定的研究大致可分為兩類(lèi)：第一類(lèi)首先提取圖像中的自然場(chǎng)景統(tǒng)計(jì)特征，然后利用機(jī)器學(xué)習(xí)實(shí)現(xiàn)圖像失真類(lèi)型的判定；第二類(lèi)基于圖像分類(lèi)的思想，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）實(shí)現(xiàn)圖像失真類(lèi)型的判定。

第一類(lèi)方法主要有：Moorthy 等［1］提出的無(wú)參考圖像質(zhì)量指標(biāo)（Blind Image Quality Indices，BIQI）算法，該算法通過(guò)提取圖像在小波域的自然場(chǎng)景統(tǒng)計(jì)特征（Natural Scene Statistics，NSS），利用支持向量機(jī)（Support Vector Machine，SVM）得到單失真圖像屬于每個(gè)失真類(lèi)型的概率；Moorthy等［2］提出的無(wú)參考空域圖像質(zhì)量評(píng)價(jià)（Blind Reference Image Spatial Quality Evaluator，BRISQUE）算法，該算法從空域中提取圖像的結(jié)構(gòu)特征和方向特征，利用SVM 實(shí)現(xiàn)單失真圖像的失真類(lèi)型判定；Mittal 等［3］提出的基于失真類(lèi)型判定的圖像真實(shí)性與完整性評(píng)價(jià)（Distortion Identification-based Image Verity and INtegrity Evaluation，DIIVINE）算法，該算法首先對(duì)圖像進(jìn)行多尺度小波分解，然后對(duì)這些參數(shù)進(jìn)一步統(tǒng)計(jì)特性作為特征，最后利用特征對(duì)單失真圖像進(jìn)行失真類(lèi)型判定。

第二類(lèi)方法主要有：鄔美銀等［4］提出的基于卷積神經(jīng)網(wǎng)絡(luò)的視頻圖像失真（Video and Image Distortion Classfication based on CNN，VIDC-CNN）檢測(cè)及分類(lèi)算法，該算法通過(guò)單任務(wù)的卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)視頻圖像中的失真檢測(cè)及分類(lèi)；李鵬程等［5］提出的基于Gabor 小波和CNN 的圖像失真類(lèi)型判定算法（image distortion type determination algorithm based on Gabor wavelet and CNN，Gabor-CNN），該算法利用失真對(duì)圖像信息的影響，采用Gabor 小波對(duì)圖像進(jìn)行特征粗提取，再通過(guò)改進(jìn)的CNN進(jìn)一步提取關(guān)鍵特征，通過(guò)Softmax分類(lèi)器實(shí)現(xiàn)對(duì)圖像的失真類(lèi)型判定；Ma 等［6］提出的基于多任務(wù)端到端優(yōu)化深度卷積神經(jīng)網(wǎng)絡(luò)（Multi-task End-to-end Optimized deep Neural network，MEON）的圖像質(zhì)量評(píng)價(jià)，該算法將全連接層基于不同的任務(wù)分離開(kāi)來(lái)，同時(shí)使用提出的GDN（Generalized Divisive Normalization）函數(shù)作為激活函數(shù)最終實(shí)現(xiàn)單失真圖像的失真類(lèi)型判定。

雖然上述幾種單失真判定算法能夠有效地對(duì)單失真圖像中的失真類(lèi)型進(jìn)行判定，但無(wú)法實(shí)現(xiàn)對(duì)混合失真圖像中失真類(lèi)型的判定。Yuan等［7］提出了基于多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)的局部混合失真圖像質(zhì)量評(píng)價(jià)（Locally and Multiply Distortion Image Quality Assessment，LMDIQA）算法，該算法搭建了三個(gè)卷積神經(jīng)網(wǎng)絡(luò)分別實(shí)現(xiàn)對(duì)圖像是全局失真還是局部失真的判定、對(duì)圖像混合失真類(lèi)型的判定以及對(duì)圖像質(zhì)量的評(píng)價(jià)；Liang 等［8］提出了基于卷積神經(jīng)網(wǎng)絡(luò)的多標(biāo)簽學(xué)習(xí)（CNNbased Multi-Label Learning，MLLNet）混合失真類(lèi)型判定算法，該算法首先將多標(biāo)簽分類(lèi)問(wèn)題轉(zhuǎn)換成多分類(lèi)問(wèn)題，然后使用卷積神經(jīng)網(wǎng)絡(luò)模型來(lái)同時(shí)訓(xùn)練所有分類(lèi)器，最終把各分類(lèi)器的分類(lèi)結(jié)果進(jìn)行融合，實(shí)現(xiàn)對(duì)混合失真圖像的失真類(lèi)型判定。上述兩種混合失真類(lèi)型判定算法能夠有效對(duì)特有的幾種混合失真類(lèi)型進(jìn)行有效的判定，但這兩種算法未采用多種不同尺寸的卷積核對(duì)失真圖像進(jìn)行更加準(zhǔn)確的失真特征提取，因此混合失真類(lèi)型判定算法的判定精度仍然存在很大的提升空間。同時(shí)，這兩種混合失真類(lèi)型判定算法采用問(wèn)題轉(zhuǎn)化的思想來(lái)解決混合失真類(lèi)型判定的問(wèn)題，因此隨著判定的混合失真類(lèi)型種類(lèi)增加，網(wǎng)絡(luò)模型越來(lái)越復(fù)雜，判定精度也隨之降低。

針對(duì)上述兩種混合失真類(lèi)型判定算法的不足，本文在卷積神經(jīng)網(wǎng)絡(luò)研究的基礎(chǔ)上，提出了一種基于多尺度多分類(lèi)器卷積神經(jīng)網(wǎng)絡(luò)的圖像失真類(lèi)型判定方法，相較于現(xiàn)有的混合失真類(lèi)型判定方法，能夠?qū)Ω喾N類(lèi)的混合失真類(lèi)型進(jìn)行更加精確的失真類(lèi)型判定。

1 圖像混合失真類(lèi)型判定網(wǎng)絡(luò)結(jié)構(gòu)

如圖1 所示，本文提出的多尺度多分類(lèi)器卷積神經(jīng)網(wǎng)絡(luò)分為兩個(gè)部分。

圖1 圖像混合失真類(lèi)型判定方法結(jié)構(gòu)Fig.1 Structure of image multiply distortion type judgement method

1）第一部分是設(shè)置共享卷積層，用于提取圖像的淺層特征。由于不同種類(lèi)的失真類(lèi)型對(duì)圖像區(qū)域大小的影響不同，為了保證卷積層能夠更加充分地提取失真特征，因此本文采用了多種不同感受野的卷積層來(lái)提取圖像的失真特征。

2）第二部分是多分類(lèi)器并行結(jié)構(gòu)。將不同感受野的淺層特征圖分別輸入到五個(gè)子分類(lèi)器相應(yīng)的通道中，針對(duì)各個(gè)子分類(lèi)判定的失真類(lèi)型進(jìn)行特征提取得到深層特征圖并將深層特征圖進(jìn)行融合；通過(guò)全連接層對(duì)特征進(jìn)行融合提煉，輸入到Sigmoid 函數(shù)分類(lèi)器中得到失真類(lèi)型；最終將五個(gè)子分類(lèi)器的判定結(jié)果進(jìn)行融合，得到圖像的混合失真類(lèi)型。

相較于現(xiàn)有的兩種混合失真類(lèi)型判定算法，本文方法存在以下優(yōu)勢(shì)：1）通過(guò)信息熵閾值從失真圖像中截取含有邊緣等其他高頻信息的圖像塊，保證輸入圖像中存在豐富的失真信息；2）將圖像塊輸入到3× 3、5× 5和7× 7不同感受野的卷積層中對(duì)失真圖像進(jìn)行更加有效的失真特征提取，通過(guò)最大值池化得到淺層特征圖像；3）采用多標(biāo)簽分類(lèi)的思想解決混合失真類(lèi)型判定問(wèn)題，可以準(zhǔn)確地判定出更多種類(lèi)的混合失真類(lèi)型。

2 圖像單失真類(lèi)型判定方法

2.1 樣本標(biāo)簽

每幅混合失真圖像塊對(duì)應(yīng)的失真類(lèi)型標(biāo)簽采用多熱標(biāo)簽編碼。假設(shè)中各元素分別代表JPEG2000、JPEG、高斯白噪聲（White Gaussian Noise，WN）、高斯模糊（Gaussian blur，Gblur）和快速衰落失真（fast fading）五種失真類(lèi)型。當(dāng)混合失真圖像存在某種失真類(lèi)型時(shí)，則對(duì)應(yīng)元素的值為1；如果不存在該種失真類(lèi)型時(shí)，則對(duì)應(yīng)元素的值為0。具體的標(biāo)簽設(shè)定方式如表1所示。

表1 混合失真類(lèi)型標(biāo)簽設(shè)定Tab.1 Multiply distortion type label setting

2.2 圖像淺層特征提取

為了使深層特征圖能夠更加準(zhǔn)確提取出圖像的混合失真特征，本文方法首先對(duì)原始圖像進(jìn)行淺層特征的提取，同時(shí)利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)混合失真圖像進(jìn)行失真類(lèi)型判定，其判定的精度與卷積核的大小密切相關(guān)。尺寸大的卷積核感受野范圍大，有助于對(duì)全局信息的提取，同樣也會(huì)導(dǎo)致圖像細(xì)小特征的丟失。尺寸小的卷積核能夠充分提取圖像的局部特征，當(dāng)圖像局部信息過(guò)少時(shí)不能提取出圖像的有效特征信息。在采用單一卷積核的卷積層結(jié)構(gòu)時(shí)，會(huì)導(dǎo)致圖像全局與局部特征信息在卷積提取的過(guò)程中有所丟失，造成判定精度下降。因此本文參照Inception 模型［9］采用多通道卷積層結(jié)構(gòu)利用不同尺寸的卷積核提取圖像特征，從而減少圖像信息的損失。為了減少網(wǎng)絡(luò)模型中的參數(shù)，參照視覺(jué)幾何組（Visual Geometry Group，VGG）模型［10］卷積核采用堆疊方式將3× 3 的小卷積核替代尺寸為5× 5和7× 7大卷積核。

淺層特征提取的網(wǎng)絡(luò)結(jié)構(gòu)細(xì)節(jié)如圖2 所示，卷積層中采用三通道的結(jié)構(gòu)設(shè)計(jì)，從左往右分別代表對(duì)原圖像進(jìn)行感受野為3× 3、5× 5、7× 7 的特征提??；同時(shí)各通道第一個(gè)最大值池化之前每層卷積核個(gè)數(shù)均設(shè)置為32，之后的每層卷積核個(gè)數(shù)均設(shè)置為64。

圖2 淺層特征提取網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Shallow feature extraction network structure

2.3 子分類(lèi)器結(jié)構(gòu)

2.3.1 圖像深層特征提取

將不同感受野的淺層特征圖分別輸入到每個(gè)子分類(lèi)器相應(yīng)感受野的卷積層中，針對(duì)每個(gè)子分類(lèi)器需要判定的失真類(lèi)型對(duì)淺層特征圖進(jìn)行更深層次的特征提取，最終得到每個(gè)子分類(lèi)器的深層特征圖。子分類(lèi)器卷積層結(jié)構(gòu)如圖3 所示，輸入到每個(gè)子分類(lèi)器中三種不同感受野的特征圖維度均為28×28× 64，子分類(lèi)卷積層中卷積核個(gè)數(shù)設(shè)置為128，通過(guò)最大值池化最終得到每個(gè)子分類(lèi)器的三種不同感受野的深層特征圖，每種感受野的深層特征圖維度均為14 × 14 × 128。將三種不同感受野的特征圖拉伸成一維向量并進(jìn)行拼接，實(shí)現(xiàn)不同深層特征的融合。

圖3 深層特征提取網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Deep feature extraction network structure

2.3.2 子分類(lèi)器判定圖像失真類(lèi)型

全連接層對(duì)不同感受野的深層特征信息進(jìn)行有效的融合與提煉，最終將全連接層最后一層的值輸入分類(lèi)器中，實(shí)現(xiàn)混合失真類(lèi)型的判定。為了加快網(wǎng)絡(luò)的訓(xùn)練速度以及防止網(wǎng)絡(luò)出現(xiàn)過(guò)擬合的情況，全連接層采用了線(xiàn)性整流函數(shù)（Rectified Linear Unit，ReLU）［11］和批量歸一化（Batch Normalization，BN）［12］的組合方式。

ReLU 激活函數(shù)能將神經(jīng)元中小于0 的神經(jīng)元置為0，保證了神經(jīng)元之間的稀疏性，同時(shí)也防止了網(wǎng)絡(luò)過(guò)擬合。ReLU激活函數(shù)定義如式（1）所示。

批量歸一化（BN）能夠保留全局特征，同時(shí)也能有效地約束每層神經(jīng)元的分布范圍，有利于網(wǎng)絡(luò)的收斂，加快網(wǎng)絡(luò)的訓(xùn)練速度。批量歸一化（BN）定義如式（2）所示。

其中：x為全連接層神經(jīng)元的權(quán)值；mean為全連接層神經(jīng)元權(quán)值的平均值；δ為全連接層神經(jīng)元權(quán)值的方差；C是為了避免分母為0添加的一個(gè)極小值，取值為0.001。

全連接層最后一層輸出的四個(gè)值通過(guò)Sigmoid 函數(shù)分類(lèi)器最終得出每個(gè)子分類(lèi)器的類(lèi)型判定結(jié)果。Sigmoid 分類(lèi)器定義如式（3）所示。

其中：xi為全連接層最后一層的神經(jīng)元值。

2.4 融合子分類(lèi)器判定結(jié)果

采用多分類(lèi)器并行的結(jié)構(gòu)可以減少每個(gè)分類(lèi)器的分類(lèi)數(shù)量來(lái)提升分類(lèi)精度［13］；同時(shí)采用多分類(lèi)器并行的結(jié)構(gòu)可以增加分類(lèi)器的數(shù)量，一定程度上能夠防止混合失真類(lèi)型的誤判。本文的判定算法中共設(shè)定五個(gè)子分類(lèi)器，每個(gè)子分類(lèi)器分別判定四種失真類(lèi)型。將五個(gè)子分類(lèi)器對(duì)應(yīng)的失真類(lèi)型概率值相加取均值，均值最大的兩種失真類(lèi)型即為圖像的混合失真類(lèi)型。

如表2 所示，假設(shè)混合失真圖像中存在JPEG 和Gblur 兩種失真，五個(gè)子分類(lèi)器分別對(duì)圖像中的失真類(lèi)型進(jìn)行判定，判定的子分類(lèi)器將JPEG 和Gblur 的混合失真類(lèi)型誤判為JPEG2000 和Gblur 混合失真類(lèi)型，同時(shí)其他四個(gè)子分類(lèi)器判定結(jié)果正確。將五個(gè)子分類(lèi)器的判定結(jié)果進(jìn)行融合，最終依舊能正確得到該幅圖像中存在的JPEG 和Gblur 兩種失真類(lèi)型。通過(guò)表2 可以看出，采用多分類(lèi)器并行的結(jié)構(gòu)并將每個(gè)子分類(lèi)器的分類(lèi)結(jié)果融合的方法，在一定程度上能夠防止失真類(lèi)型的誤判。

表2 子分類(lèi)器判定結(jié)果融合樣例Tab.2 Fusion samples of sub-classifier judgement results

2.5 多尺度多分類(lèi)器卷積神經(jīng)網(wǎng)絡(luò)參數(shù)更新

網(wǎng)絡(luò)模型使用Sigmoid交叉熵函數(shù)作為損失函數(shù)，采用隨機(jī)梯度下降的方式更新網(wǎng)絡(luò)中的參數(shù)。具體損失函數(shù)如下：

其中：m表示每個(gè)批中的圖像塊數(shù)量，批大小取值為32；n表示失真類(lèi)型的數(shù)量；y為多熱編碼的標(biāo)簽值；lables為混合失真類(lèi)型的標(biāo)簽值；pi為網(wǎng)絡(luò)的預(yù)測(cè)值；xi為全連接層最后一層的神經(jīng)元值。

通過(guò)隨機(jī)梯度下降方法自適應(yīng)地更新每個(gè)參數(shù)。網(wǎng)絡(luò)中所有權(quán)重參數(shù)更新方式如下：

式中：α是學(xué)習(xí)速率，取值為0.01；l是網(wǎng)絡(luò)每一層的序號(hào)。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 混合失真圖像數(shù)據(jù)庫(kù)的建立

目前大多數(shù)失真圖像數(shù)據(jù)庫(kù)都是單失真數(shù)據(jù)庫(kù)，如LIVE（Laboratory for Image and Video Engineering）［14］、CSIQ（Categorical Subjective Image Quality）［15］等?；旌鲜д鎴D像數(shù)據(jù)庫(kù)數(shù)量相對(duì)較少，目前國(guó)內(nèi)外圖像質(zhì)量評(píng)價(jià)等領(lǐng)域采用的混合失真圖像數(shù)據(jù)庫(kù)主要包括LIVE-MD（LIVE Multiply Distorted images）［16］、MDID（Multi-Distortion Image Database）［17］等。由于LIVE-MD 和MDID 等混合失真圖像數(shù)據(jù)庫(kù)中圖像的失真類(lèi)型較少或者失真圖像數(shù)量較少，因此本文建立了自然場(chǎng)景混合失真圖像數(shù)據(jù)庫(kù)（Natural Scene Multiply Distorted Images Database，NSMDID）。

NSMDID 中的參考圖像數(shù)據(jù)來(lái)源于LIVE 數(shù)據(jù)庫(kù)的28 幅不同場(chǎng)景的參考圖像。每幅參考圖像引入JPEG2000、JPEG、高斯白噪聲、高斯模糊和fast fading 這5 種失真類(lèi)型中的任意2 種，共10 種混合失真類(lèi)型。同時(shí)每種失真類(lèi)型對(duì)應(yīng)6 種隨機(jī)的失真程度，每一幅參考圖像的一種混合失真類(lèi)型對(duì)應(yīng)36幅不同程度的混合失真圖像，每種混合失真類(lèi)型的圖像數(shù)量約為1044幅。

部分混合失真圖像樣張如圖4所示。

圖4 混合失真數(shù)據(jù)庫(kù)（NSMDID）部分樣張F(tuán)ig.4 Some samples of Natural Scene Multiply Distorted Image Database（NSMDID）

3.2 網(wǎng)絡(luò)結(jié)構(gòu)對(duì)比實(shí)驗(yàn)

為了能夠更好地確定網(wǎng)絡(luò)的整體結(jié)構(gòu)，采用控制變量法，對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改變并實(shí)驗(yàn)，最終確定網(wǎng)絡(luò)的最優(yōu)模型。網(wǎng)絡(luò)結(jié)構(gòu)對(duì)比實(shí)驗(yàn)中，共采用三種網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行實(shí)驗(yàn)：第一種網(wǎng)絡(luò)結(jié)構(gòu)采用單個(gè)分類(lèi)器對(duì)圖像進(jìn)行失真類(lèi)型判定；第二種網(wǎng)絡(luò)結(jié)構(gòu)則是在子分類(lèi)器結(jié)構(gòu)中不設(shè)置卷積層，不對(duì)特征圖進(jìn)行更深層次的特征提?。坏谌N網(wǎng)絡(luò)結(jié)構(gòu)則是本文最終采用的網(wǎng)絡(luò)結(jié)構(gòu)，最終的實(shí)驗(yàn)結(jié)果如表3所示。

表3 不同結(jié)構(gòu)的混合失真類(lèi)型判定方法對(duì)混合失真類(lèi)型判定的的準(zhǔn)確率 單位：%Tab.3 Accuracies of multiply distortion type judgement methods with different structures for multiply distortion type judgement unit：%

根據(jù)最終的實(shí)驗(yàn)結(jié)果可以看出，多尺度多分類(lèi)器卷積神經(jīng)網(wǎng)絡(luò)相較于其他兩種網(wǎng)絡(luò)結(jié)構(gòu)，能夠更加準(zhǔn)確地判定出圖像中存在的混合失真類(lèi)型。

3.3 混合失真判定方法在混合失真數(shù)據(jù)庫(kù)上的結(jié)果與分析

本文將混合失真圖像數(shù)據(jù)庫(kù)NSMDID 中所有樣本的80%用于訓(xùn)練，10%用于驗(yàn)證，10%用于測(cè)試，訓(xùn)練次數(shù)為50000，最終得到圖像失真類(lèi)型判定的準(zhǔn)確率。MLLNet 算法為圖像混合失真類(lèi)型判定方法，因?yàn)樵摲椒ㄅ卸ǖ幕旌鲜д骖?lèi)型數(shù)量較少，不適合與本文方法進(jìn)行對(duì)比。本文實(shí)驗(yàn)側(cè)重展示了混合失真圖像中存在的失真類(lèi)型的判定準(zhǔn)確率，分析了多尺度多分類(lèi)器卷積神經(jīng)網(wǎng)絡(luò)算法的混合失真類(lèi)型判定性能。本文實(shí)驗(yàn)所用測(cè)試平臺(tái)為：E5-2640 處理器，主頻為2.40 GB，GTX1080Ti 顯卡，顯存為11 GB，64 GB 內(nèi)存。實(shí)驗(yàn)系統(tǒng)為Windows 7，實(shí)驗(yàn)軟件為Python3.6.1+Tensorflow1.9.0（GPU版本）。

本文混合失真判定方法對(duì)圖像的失真類(lèi)型判定的準(zhǔn)確率如表4所示。由表4結(jié)果可以看出，本文方法對(duì)混合失真圖像數(shù)據(jù)庫(kù)NSMDID 的失真圖像進(jìn)行失真類(lèi)型判定，平均準(zhǔn)確率達(dá)到91.4%，表明了該方法對(duì)于圖像失真類(lèi)型判定有較好的實(shí)用性。從失真類(lèi)型角度分析，本文提出的方法對(duì)于fast fading+WN 的判定準(zhǔn)確率最高，達(dá)到了100%；對(duì)于混合失真類(lèi)型中有高斯模糊失真類(lèi)型的失真圖像判定準(zhǔn)確率均大于95%。單失真圖像在加入高斯模糊的失真類(lèi)型時(shí)，既能夠在圖像中保留模糊的失真特征，同時(shí)也能夠保留圖像另外一種失真類(lèi)型的部分失真特征，所以混合失真類(lèi)型中存在高斯模糊的混合失真圖像判定精度高。

表4 本文混合失真類(lèi)型判定方法在NSMDID上對(duì)圖像混合失真類(lèi)型判定的準(zhǔn)確率 單位：%Tab.4 Accuracy of proposed multiply distortion type judgement method for image multiply distortion type judgement on NSMDID unit：%

圖5 以混淆矩陣的形式給出了不同混合失真類(lèi)型之間的判定結(jié)果。

由圖5 可以看出，當(dāng)混合失真類(lèi)型中存在JPEG 和JPEG2000 時(shí)，混合失真圖像的失真類(lèi)型判定準(zhǔn)確率都低于90%，同時(shí)fast fading+JPEG2000失真類(lèi)型的判定準(zhǔn)確率最低。這是因?yàn)镴PEG 和JPEG2000對(duì)圖像進(jìn)行壓縮時(shí)分別采用了離散余弦變換和離散小波變換，在失真程度比較大的時(shí)候，這兩種失真類(lèi)型會(huì)將其他失真類(lèi)型的特征遮蓋住，主要表現(xiàn)出JPEG 和JPEG2000 的失真特征，所以存在JPEG 的混合失真圖像會(huì)被判定為存在JPEG 的其他混合失真類(lèi)型，同樣存在JPEG2000 的混合失真圖像會(huì)被判定為存在JPEG2000 的其他混合失真類(lèi)型。

圖5 不同混合失真類(lèi)型之間判定結(jié)果的混淆矩陣Fig.5 Confusion matrix of judgement results of different multiply distortion types

4 結(jié)語(yǔ)

對(duì)圖像進(jìn)行失真類(lèi)型判定是失真圖像復(fù)原以及光學(xué)鏈路修正這兩個(gè)領(lǐng)域的重點(diǎn)研究方向之一。本文根據(jù)失真類(lèi)型對(duì)圖像中不同頻率信息的影響，提出了一種基于多尺度多分類(lèi)器卷積神經(jīng)網(wǎng)絡(luò)的混合失真類(lèi)型判定方法。首先，在預(yù)處理階段利用信息熵閾值截取的方法從原始圖像中得到含有邊緣等其他高頻信息的圖像塊；其次，相較于LMDIQA 與MLLNet算法卷積層結(jié)構(gòu)設(shè)置，本文方法設(shè)置不同感受野的卷積層結(jié)構(gòu)從失真圖像中提取不同尺度的特征，提升失真類(lèi)型的判定精度；最后，相較于采用問(wèn)題轉(zhuǎn)換的思想解決混合失真類(lèi)型判定問(wèn)題，本文采用多標(biāo)簽分類(lèi)思想解決大量混合失真類(lèi)型判定具有更好的效果。在圖像失真類(lèi)型判定領(lǐng)域中，本文所提方法可解決含有兩種單失真類(lèi)型的混合失真判定問(wèn)題，但在實(shí)際成像過(guò)程中，形成的圖像往往存在兩種以上的混合失真類(lèi)型，針對(duì)更加復(fù)雜的混合失真類(lèi)型的判定有待進(jìn)一步的研究。