融合2D和3D卷積神經(jīng)網(wǎng)絡(luò)的無(wú)參考 立體圖像質(zhì)量評(píng)價(jià)

贠麗霞　李朝鋒

摘要：為將圖像處理技術(shù)更好地應(yīng)用在智能交通中，發(fā)揮立體圖像質(zhì)量評(píng)價(jià)方法的作用，提出一種融合2D和3D卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network， CNN）的立體圖像質(zhì)量評(píng)價(jià)方法。該模型結(jié)合2DCNN與3DCNN兩個(gè)通道;將獨(dú)眼圖輸入2DCNN通道，提取雙目競(jìng)爭(zhēng)相關(guān)特征;將左視圖、右視圖、和圖像和差圖像輸入3DCNN通道，通過(guò)3D卷積提取雙目之間聯(lián)系的相關(guān)特征;應(yīng)用全連接層，將兩個(gè)通道提取的特征融合并進(jìn)行回歸分析構(gòu)建關(guān)系模型。在公開(kāi)的LIVE 3D Phase Ⅰ和LIVE 3D Phase Ⅱ上的實(shí)驗(yàn)結(jié)果表明，所提方法與人類(lèi)的主觀感知保持高度一致。

關(guān)鍵詞：? 無(wú)參考立體圖像; 質(zhì)量評(píng)價(jià); 卷積神經(jīng)網(wǎng)絡(luò)（CNN）; 和圖像; 差圖像; 獨(dú)眼圖

中圖分類(lèi)號(hào)：? U495; TP31941文獻(xiàn)標(biāo)志碼：? A

Noreference stereoscopic image quality assessment based on

2D and 3D convolutional neural network

Abstract： In order to better apply the image processing technology to intelligent transportation and play the role of the stereoscopic image quality assessment method， a stereoscopic image quality assessment method integrating 2D and 3D convolutional neural network （CNN） is proposed. In the model， the two channels of 2DCNN and 3DCNN are combined; the cyclopean images are input into the 2DCNN channel to extract the related binocular competition features; the left view， right view， summation and difference images are input into the 3DCNN channel to extract the related binocular connection features through 3D convolution; the full connection layer is applied to fuse the features extracted from the two channels and conduct regression analysis to construct the relationship model. Experimental results on the open LIVE 3D Phase I and LIVE 3D Phase II show that the proposed method is highly consistent with human subjective perception.

Key words： noreference stereoscopic image; quality assessment; convolutional neural network （CNN）; summation image; difference image; cyclopean image

引言

越來(lái)越多的學(xué)者提出通過(guò)智能交通來(lái)緩解城市交通壓力，而圖像處理技術(shù)在智能交通系統(tǒng)中發(fā)揮著重要作用。利用圖像處理技術(shù)再現(xiàn)性強(qiáng)、處理精度高、適用面廣、靈活性高等優(yōu)點(diǎn)，實(shí)時(shí)采集路況信息、識(shí)別車(chē)牌、跟蹤車(chē)輛動(dòng)態(tài)、抓拍違章現(xiàn)象等，能夠?qū)崿F(xiàn)對(duì)交通的科學(xué)化、現(xiàn)代化、高效化管理。當(dāng)前基于雙目視覺(jué)的圖像技術(shù)（也就是立體圖像）已經(jīng)開(kāi)始用到交通領(lǐng)域，如車(chē)輛間距的測(cè)量、車(chē)輛尺寸的測(cè)量、智能導(dǎo)航定位、障礙物識(shí)別與定位、交通標(biāo)識(shí)測(cè)距等，而智能交通系統(tǒng)需要更為先進(jìn)的立體圖像處理技術(shù)。對(duì)于這些技術(shù)而言，立體圖像質(zhì)量評(píng)價(jià)（stereoscopic image quality assessment， SIQA）方法的運(yùn)用是不可或缺的，但是SIQA方法還存在較多的問(wèn)題。立體圖像在采集、傳輸、處理和顯示過(guò)程中，會(huì)發(fā)生各種失真，這就迫切需要對(duì)3D圖像和視頻內(nèi)容的質(zhì)量進(jìn)行監(jiān)控[1]。立體視覺(jué)體驗(yàn)是衡量人類(lèi)對(duì)立體圖像內(nèi)容感知的重要指標(biāo)之一，可以分為主觀評(píng)價(jià)和客觀評(píng)價(jià)。主觀評(píng)價(jià)雖然準(zhǔn)確有效，但耗時(shí)費(fèi)力，難以應(yīng)用于實(shí)時(shí)場(chǎng)景[2]，因此，研究對(duì)立體圖像質(zhì)量的客觀評(píng)價(jià)非常有必要。

全參考立體圖像質(zhì)量評(píng)價(jià)（full reference stereoscopic image quality assessment， FRSIQA）使用參考圖像得全部信息，通過(guò)比較兩組圖像之間的相似性等，可以更準(zhǔn)確獲得失真立體圖像對(duì)的質(zhì)量。[37]相比較而言，無(wú)參考立體圖像質(zhì)量評(píng)價(jià)（no reference stereoscopic image quality assessment， NRSIQA）不使用原始圖像，更符合實(shí)際需要，更具有實(shí)際應(yīng)用前景，也更具有挑戰(zhàn)性。[811]AKHTER等[12]提出一種將人工設(shè)計(jì)的局部特征和視差信息相結(jié)合的NRSIQA方法。CHEN等[13]利用獨(dú)眼圖的2D特征和深度圖的3D特征建立模型，用于預(yù)測(cè)立體圖像對(duì)的感知質(zhì)量。ZHOU等[14]設(shè)計(jì)了一個(gè)基于雙目融合和極限學(xué)習(xí)機(jī)的NRSIQA方法。YANG等[15]使用深度感知圖量化立體圖像的深度特征，并考慮雙目特征，使用深度信念網(wǎng)絡(luò)對(duì)圖像質(zhì)量進(jìn)行評(píng)價(jià)。LI等[16]提出一種基于視覺(jué)感知和注意力機(jī)制的NRSIQA方法。該模型將圖像顯著性與臨界可見(jiàn)偏差（just noticeable distortion，JND）相結(jié)合，對(duì)從左視圖和右視圖中提取的全局和局部特征進(jìn)行加權(quán)，然后基于支持向量回歸（support vector regression，SVR）模型來(lái)學(xué)習(xí)立體圖像的質(zhì)量。LIU等[17]提取與圖像質(zhì)量相關(guān)的特征，包括和差信號(hào)熵的雙目特征和顏色統(tǒng)計(jì)等單目特征，利用SVR模型構(gòu)建特征與質(zhì)量得分之間的映射模型。

近年來(lái)，卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network， CNN）在計(jì)算機(jī)視覺(jué)和圖像處理的許多應(yīng)用中表現(xiàn)出了優(yōu)異的性能。與傳統(tǒng)的圖像處理方法相比，CNN可以通過(guò)優(yōu)化網(wǎng)絡(luò)參數(shù)自動(dòng)學(xué)習(xí)與目標(biāo)密切相關(guān)的深層視覺(jué)特征，而不是使用手工制作的特征。CNN的主要優(yōu)點(diǎn)是可以直接輸入圖像，然后在訓(xùn)練過(guò)程中將特征學(xué)習(xí)與質(zhì)量回歸相結(jié)合。田維軍等[18]對(duì)左、右視圖提取單目特征，對(duì)獨(dú)眼圖提取雙目特征，然后用深度信念網(wǎng)絡(luò)訓(xùn)練所得特征，預(yù)測(cè)立體圖像的質(zhì)量分?jǐn)?shù)。KANG等[19]提出2D圖像的CNN模型，學(xué)習(xí)圖像塊的質(zhì)量特征，獲得其視覺(jué)質(zhì)量，然后將所有圖像塊的質(zhì)量分?jǐn)?shù)加權(quán)平均，計(jì)算出圖像的客觀得分。LI等[20]利用ImageNet模型預(yù)先訓(xùn)練的結(jié)構(gòu)和權(quán)重，對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)，修改最后幾層結(jié)構(gòu)，回歸得到圖像客觀的質(zhì)量分?jǐn)?shù)。LV等[21]建立了基于深度神經(jīng)網(wǎng)絡(luò)和雙目自相似指數(shù)的立體圖像質(zhì)量預(yù)測(cè)模型，將這兩部分特征融合，預(yù)測(cè)得到立體圖像的質(zhì)量。SUN等[22]使用CNN了解更深入的圖像質(zhì)量感知結(jié)構(gòu)，并刪除不顯著局部圖像的相關(guān)特征，然后將保留的顯著特征融合，最終回歸獲得質(zhì)量分?jǐn)?shù)。

立體圖像的失真可以分為對(duì)稱失真和非對(duì)稱失真。非對(duì)稱失真可能是不同程度和不同類(lèi)型的失真，這對(duì)立體圖像的質(zhì)量有很大的影響。另外，與平面圖像質(zhì)量評(píng)價(jià)方法不同，SIQA需要擴(kuò)展深度感知維度，研究左、右視圖之間的雙目視覺(jué)機(jī)制，這也是目前研究的難點(diǎn)。本文嘗試用2DCNN與3DCNN相結(jié)合的模型來(lái)解決這一難題。其中，3DCNN模型在許多研究中都被證明可以有效獲得多張圖像之間的相關(guān)性，例如：ZHANG等[23]提出一種用于心理負(fù)荷評(píng)估的3DCNN結(jié)構(gòu)，從空間、光譜、時(shí)間三個(gè)維度學(xué)習(xí)腦電特征;考慮到視頻在時(shí)間上的連續(xù)性，YANG等[24]采用3DCNN模型提取局部時(shí)空特征，對(duì)立體視頻質(zhì)量進(jìn)行評(píng)價(jià);YANG等[25]利用HIS空域和頻域之間的相關(guān)性，設(shè)計(jì)了一種基于多尺度小波和3DCNN的高光譜圖像超分辨率重建方法。這些不同方向的研究說(shuō)明，3DCNN可以找到多種特征之間的聯(lián)系，是一種非常有效的解決此類(lèi)問(wèn)題的方法。

1基于CNN的NRSIQA方法

本文提出一種融合2DCNN和3DCNN的NRSIQA方法，框架見(jiàn)圖1。對(duì)于立體圖像的左、右視圖，首先計(jì)算和圖像、差圖像和獨(dú)眼圖，然后用CNN進(jìn)行切塊和局部歸一化運(yùn)算。利用兩通道CNN模型預(yù)測(cè)圖像塊的質(zhì)量分?jǐn)?shù)，其中獨(dú)眼圖作為2DCNN通道的輸入，而由左視圖、右視圖、和圖像和差圖像組成的立方體作為3DCNN通道的輸入。最后，對(duì)全部圖像塊的質(zhì)量分?jǐn)?shù)加權(quán)平均得到失真立體圖像的客觀質(zhì)量分?jǐn)?shù)。采用3DCNN模型除提取左、右視圖之間的聯(lián)系外，本文還考慮“雙目和差理論”[26]，即將雙眼獲得的信息轉(zhuǎn)換為不相關(guān)的和差信號(hào)，再向前傳輸，使3DCNN能夠獲得更多維度的信息。

1.1獨(dú)眼圖

人眼觀看外部世界時(shí)，人眼視覺(jué)系統(tǒng)會(huì)通過(guò)復(fù)雜的融合過(guò)程將左、右眼捕捉到的畫(huà)面合成融合圖，從而形成立體視覺(jué)，這個(gè)融合圖被稱為獨(dú)眼圖。而融合過(guò)程中，雙眼獲得的視覺(jué)信息會(huì)出現(xiàn)“雙目競(jìng)爭(zhēng)”現(xiàn)象。本文使用文獻(xiàn)[4]基于SSIM的立體視差估計(jì)算法計(jì)算獨(dú)眼圖：

（1）

式中：C表示獨(dú)眼圖;IL和IR分別為左視圖和右視圖;d為視差;WL和WR是根據(jù)Gabor濾波器計(jì)算得到的權(quán)重。如圖2所示，根據(jù)式（1）計(jì)算得到5種失真立體圖像的獨(dú)眼圖，失真類(lèi)型分別是JP2K（JPEG 2000）、JPEG、WN（White Noise）、Blur（Gaussian Blur）、FF（FastFading）。

1.2和差圖像

文獻(xiàn)[27]提出視覺(jué)系統(tǒng)有一個(gè)獨(dú)立的自適應(yīng)雙目和差通道，以實(shí)現(xiàn)雙目信息的有效傳輸。在生理學(xué)層面，解釋了和通道和差通道的信號(hào)是多路復(fù)用的，每個(gè)V1神經(jīng)元接收這兩個(gè)通道中信號(hào)的加權(quán)和。人類(lèi)視覺(jué)系統(tǒng)能夠感知視差，并將其轉(zhuǎn)換為深度信息，因?yàn)榇竽X中反映的圖像是3D圖像，而差異圖像主要顯示物體的深度和輪廓信息，所以3DCNN從立體圖像的和圖像、差圖像中提取質(zhì)量特征來(lái)預(yù)測(cè)圖像質(zhì)量。和圖像和差圖像計(jì)算式為（2）式中：IS和ID分別表示和圖像和差圖像。圖3給出了一立體圖像對(duì)的和圖像和差圖像示例。由圖3可知，和圖像和差圖像更多體現(xiàn)的是立體圖像的深度信息和物體的輪廓信息。

1.33DCNN模型

一般來(lái)說(shuō)，CNN模型結(jié)構(gòu)首先交替使用卷積層和池化層來(lái)處理輸入信息，然后使用全連接層來(lái)獲得特征與目標(biāo)之間的映射關(guān)系。在2DCNN中，卷積層和池化層只能提取二維圖像的特征，而不能自動(dòng)獲取立體圖像之間的關(guān)聯(lián)信息。3D卷積和3D池化可以提取不同圖像的特征，這正是立體圖像所需要的。因此，本文在2DCNN通道的基礎(chǔ)上增加3DCNN通道，以更好地完成立體圖像質(zhì)量評(píng)價(jià)任務(wù)。

CNN中的卷積運(yùn)算是輸入數(shù)據(jù)與多個(gè)核函數(shù)之間的一種特殊的線性運(yùn)算，用于生成特征圖。對(duì)于立體圖像，3D卷積在2D卷積的基礎(chǔ)上增加了左視圖與右視圖之間關(guān)聯(lián)的深度等信息特征，第i層第j個(gè)特征圖在（x，y，z）位置處的值計(jì)算式為

（3）

式中：g（·）表示非線性激活函數(shù);bi，j為當(dāng)前特征圖的偏置;wi，j，m（p，q，r）為第m個(gè)特征圖的卷積核在（p，q，r）位置處的值。

1.4網(wǎng)絡(luò)參數(shù)

圖4是本文提出的由2DCNN通道和3DCNN通道組成的兩通道CNN模型。2DCNN通道的輸入是獨(dú)眼圖的圖像塊，3DCNN通道的輸入是由左視圖、右視圖、和圖像和差圖像等4種圖像的圖像塊組成的立方體。將圖像切塊主要是為了解決立體圖像質(zhì)量評(píng)價(jià)數(shù)據(jù)庫(kù)中數(shù)據(jù)量不足和輸入圖像大小不一致這兩個(gè)問(wèn)題。本文將圖像切成32×32大小的圖像塊，并進(jìn)行歸一化處理，每個(gè)圖像塊的標(biāo)簽都與原圖的標(biāo)簽相同。2DCNN通道與3DCNN通道結(jié)構(gòu)類(lèi)似，都包含5個(gè)卷積層、3個(gè)池化層和2個(gè)全連接層;采用向量拼接的方式融合兩個(gè)通道最后的全連接層，然后連接1個(gè)全連接層，最終得到圖像塊的質(zhì)量分?jǐn)?shù)。

本文所提出的模型參數(shù)設(shè)置見(jiàn)表1。另外，卷積過(guò)程中采用了填充處理，使卷積層的輸入與輸出大小一致。所有卷積層和全連接層的激活函數(shù)均采用ReLU。

2實(shí)驗(yàn)及分析

21數(shù)據(jù)庫(kù)及性能指標(biāo)

本文使用兩個(gè)公開(kāi)的數(shù)據(jù)庫(kù)來(lái)驗(yàn)證算法的有效性，即LIVE 3D Phase Ⅰ[28]和LIVE 3D Phase Ⅱ[4]。LIVE 3D Phase Ⅰ包含20對(duì)原始圖像和365對(duì)原始圖像的失真圖像（都是對(duì)稱失真），其中：JP2K、

JPEG、WN和FF類(lèi)失真圖像各80對(duì)，Blur類(lèi)失真圖像45對(duì)。LIVE 3D Phase II包含8對(duì)原始圖像和360對(duì)失真圖像，失真類(lèi)型與LIVE 3D Phase Ⅰ的相同，其中120對(duì)失真圖像是對(duì)稱失真，240對(duì)失真圖像是非對(duì)稱失真。

在實(shí)驗(yàn)中，采用了常用的3個(gè)性能指標(biāo)：斯皮爾曼等級(jí)相關(guān)系數(shù)（Spearman rank order correlation coefficient， SROCC）、皮爾遜線性相關(guān)系數(shù)（Pearson linear correlation coefficient， PLCC）、均方根誤差（root mean square error， RMSE）。當(dāng)SROCC和PLCC越接近1，RMSE越接近0時(shí)，客觀評(píng)價(jià)效果越好。在本文實(shí)驗(yàn)中，采用文獻(xiàn)常用的方法，隨機(jī)選取80%的失真圖像作為訓(xùn)練集，其余20%的失真圖像作為測(cè)試集。取100次隨機(jī)實(shí)驗(yàn)結(jié)果的中位數(shù)作為最終結(jié)果。

2.2總體性能分析

表2展示了本文提出的方法與其他12種方法的性能比較，其中包括3種FRSIQA方法（文獻(xiàn)[4，67]）和8種NRSIQA方法（文獻(xiàn)[911，1317]）。SROCC、PLCC和RMSE在LIVE 3D Phase Ⅰ和LIVE 3D Phase Ⅱ數(shù)據(jù)庫(kù)中最好的兩個(gè)結(jié)果以粗體顯示。從表2可以看出，本文提出的模型在兩個(gè)數(shù)據(jù)庫(kù)中都取得了很好結(jié)果，SROCC和PLCC都在095以上。雖然文獻(xiàn)[16]的方法也表現(xiàn)出了很好的效果，在LIVE 3D Phase Ⅰ中的PLCC比本文方法的高，但是在兩個(gè)數(shù)據(jù)庫(kù)中的SROCC都比本文方法的低。采用FRSIQA方法時(shí)，文獻(xiàn)[7]的RMSE結(jié)果最優(yōu)，但是SROCC和PLCC相對(duì)于本文方法較低?；谝陨戏治?，本文提出的方法在兩個(gè)數(shù)據(jù)庫(kù)中都具有競(jìng)爭(zhēng)優(yōu)勢(shì)，證明該模型能夠有效地預(yù)測(cè)立體圖像的質(zhì)量。

2.3不同失真類(lèi)型的結(jié)果分析

為更準(zhǔn)確地評(píng)價(jià)模型的性能，列出不同類(lèi)型失真圖像在LIVE 3D Phase Ⅰ和LIVE 3D Phase Ⅱ數(shù)據(jù)庫(kù)中的SROCC和PLCC，并加粗標(biāo)注每類(lèi)失真圖像SROCC最優(yōu)的2個(gè)結(jié)果，見(jiàn)表3和4。由表3和4可以看出，本文方法在SROCC指標(biāo)上有6次排在前兩位，在PLCC指標(biāo)上有7次排在前兩位，說(shuō)明本文方法總體上優(yōu)于其他11種方法。數(shù)據(jù)分析表明，本文方法在對(duì)稱失真和非對(duì)稱失真立體圖像質(zhì)量評(píng)價(jià)上均與人類(lèi)主觀感知具有較高一致性，可以很好地模擬人類(lèi)視覺(jué)系統(tǒng)評(píng)測(cè)對(duì)稱和非對(duì)稱失真的立體圖像。圖5是本文提出的方法在LIVE 3D Phase Ⅰ和LIVE 3D Phase Ⅱ數(shù)據(jù)庫(kù)中的預(yù)測(cè)結(jié)果和主觀結(jié)果的散點(diǎn)圖，橫軸表示差異平均意見(jiàn)得分（differential mean opinion score， DMOS），縱軸表示預(yù)測(cè)的DMOS，曲線為擬合曲線，散點(diǎn)與曲線之間的距離越小，說(shuō)明性能越好。從圖5可以看出，本文提出的方法與人類(lèi)主觀評(píng)價(jià)具有高度的一致性。

2.4對(duì)比實(shí)驗(yàn)的性能比較

為進(jìn)一步分析2DCNN和3DCNN在模型中起到的作用，將只有2DCNN與只有3DCNN的網(wǎng)絡(luò)性能進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果見(jiàn)表5。在表5中：模型1表示2DCNN單通道網(wǎng)絡(luò)模型，即2DCNN通道的第10層全連接層直接輸出結(jié)果;模型2表示3DCNN單通道網(wǎng)絡(luò)模型，即3DCNN通道的第10層全連接層直接輸出結(jié)果。從實(shí)驗(yàn)結(jié)果可以看出：與模型1和模型2相比，本文方法的性能最好，說(shuō)明2DCNN和3DCNN提取的特征具有互補(bǔ)性;與模型1相比，模型2性能更優(yōu)，說(shuō)明3DCNN確實(shí)能更好地表達(dá)立體圖像的質(zhì)量特征。

3結(jié)論

本文提出一種結(jié)合2DCNN和3DCNN的無(wú)參考立體圖像質(zhì)量評(píng)價(jià)（NRSIQA）模型，該模型能夠避免傳統(tǒng)方法依靠人類(lèi)經(jīng)驗(yàn)提取特征的復(fù)雜過(guò)程。本文設(shè)計(jì)的2DCNN通道輸入獨(dú)眼圖能很好地模擬雙目競(jìng)爭(zhēng)，而3DCNN通道主要表征立體圖像對(duì)之間相互作用產(chǎn)生的深度等感知效果，其中引入和差圖像也是為了更加有效地體現(xiàn)深度感覺(jué)。結(jié)果表明，本文提出的模型在LIVE立體圖像數(shù)據(jù)庫(kù)中都取得了令人滿意的結(jié)果，與人眼主觀評(píng)價(jià)具有較高的一致性。

參考文獻(xiàn)：

[1]XING L Y， YOU J Y， EBRAHIMI T， et al. Assessment of stereoscopic crosstalk perception[J]. IEEE Transactions on Multimedia， 2012， 14（2）： 326337. DOI： 101109/TMM.20112172402.

[2]KIM T， KANG J， LEE S， et al. Multimodal interactive continuous scoring of subjective 3D video quality of experience[J]. IEEE Transactions on Multimedia， 2014， 16（2）： 387402. DOI： 101109/TMM.20132292592.

[3]BENOIT A， LE CALLET P， CAMPISI P， et al. Quality assessment of stereoscopic images[J]. EURASIP Journal on Image and Video Processing， 2008： 659024. DOI： 101155/2008/659024.

[4]CHEN M J， SU C C， KWON D K， et al. Fullreference quality assessment of stereopairs accounting for rivalry[J]. Signal Processing： Image Communication， 2013， 28： 11431155. DOI： 101016/j.image.201305006.

[5]LIN Y H， WU J L. Quality assessment of stereoscopic 3D image compression by binocular integration behaviors[J]. IEEE Transactions on Image Processing， 2014， 23（4）： 15271542. DOI： 101109/TIP.20142302686.

[6]SHAO F， CHEN W T， JIANG G Y， et al. Modeling the perceptual quality of stereoscopic images in the primary visual cortex[J]. IEEE Access， 2017， 5： 1570615716. DOI： 101109/ACCESS.20172733161.

[7]LI S M， HAN X， CHANG Y L. Adaptive cyclopean imagebased stereoscopic imagequality assessment using ensemble learning[J]. IEEE Transactions on Multimedia， 2019， 21（10）： 26162624. DOI： 101109/TMM.20192907470.

[8]李苗苗， 桑慶兵. 一種基于圖像融合的無(wú)參考立體圖像質(zhì)量評(píng)價(jià)方法[J]. 光學(xué)技術(shù)， 2017， 43（1）： 2532. DOI： 1013741/j.cnki.111879/o4201701006.

[9]APPINA B， KHAN S， CHANNAPAYYA S S. Noreference stereoscopic image quality assessment using natural scene statistics[J]. Signal Processing： Image Communication， 2016， 43： 114. DOI： 101016/j.image.201602001.

[10]YANG J C， SIM K， JIANG B， et al. Noreference stereoscopic image quality assessment based on hue summationdifference mapping image and binocular joint mutual filtering[J]. Applied Optics， 2018， 57（14）： 39153926. DOI： 101364/AO.57003915.

[11]YUE G H， HOU C P， JIANG Q P， et al. Blind stereoscopic 3D image quality assessment via analysis of naturalness， structure， and binocular asymmetry[J]. Signal Processing， 2018， 150： 204214. DOI： 101016/j.sigpro.201804019.

[12]AKHTER R， PARVEZ SAZZAD Z M， HORITA Y， et al. Noreference stereoscopic image quality assessment[C]∥The Society of PhotoOptical Instrumentation Engineers. SPIE， 2010， 7524： 112. DOI： 101117/12838775.

[13]CHEN M J， CORMACK L K， BOVIK A C. Noreference quality assessment of natural stereopairs[J]. IEEE Transactions on Image Processing， 2013， 22（9）： 33793391. DOI： 101109/TIP.20132267393.

[14]ZHOU W J， YU L， ZHOU Y， et al. Blind quality estimator for 3D images based on binocular combination and extreme learning machine[J]. Pattern Recognition， 2017， 71： 207217. DOI： 101016/j.patcog.201706008.

[15]YANG J C， ZHAO Y， ZHU Y H， et al. Blind assessment for stereo images considering binocular characteristics and deep perception map based on deep belief network[J]. Information Sciences， 2019， 474： 117. DOI： 101016/j.ins.201808066.

[16]LI Y F， YANG F， WAN W B， et al. Noreference stereoscopic image quality assessment based on visual attention and perception[J]. IEEE Access， 2019， 7： 4670646716. DOI： 101109/ACCESS.20192909073.

[17]LIU Y， YAN W Q， ZHENG Z， et al. Blind stereoscopic image quality assessment accounting for human monocular visual properties and binocular interactions[J]. IEEE Access， 2020， 8： 3366633678. DOI： 101109/ACCESS.20202974006.

[18]田維軍， 邵楓， 蔣剛毅， 等. 基于深度學(xué)習(xí)的無(wú)參考立體圖像質(zhì)量評(píng)價(jià)[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)， 2016， 28（6）： 968975.

[19]KANG L， YE P， LI Y， et al. Convolutional neural networks for noreference image quality assessment[C]∥IEEE Conference on Computer Vision and Pattern Recognition. IEEE， 2014： 17331740. DOI： 101109/CVPR.2014224.

[20]LI Y M， PO L M， FENG L T， et al. Noreference image quality assessment with deep convolutional neural networks[C]∥IEEE International Conference on Digital Signal Processing. IEEE， 2016： 685689. DOI： 101109/ICDSP.20167868646.

[21]LV Y Q， YU M， JIANG G Y， et al. Noreference stereoscopic image quality assessment using binocular selfsimilarity and deep neural network[J]. Signal Processing： Image Communication， 2016， 47： 346357. DOI： 101016/j.image.201607003.

[22]SUN G M， SHI B F， CHEN X D， et al. Learning local qualityaware structures of salient regions for stereoscopic images via deep neural networks[J]. IEEE Transactions on Multimedia， 2020， 22（11）： 29382949. DOI： 101109/TMM.20202965461.

[23]ZHANG P B， WANG X， ZHANG W H， et al. Learning spatialspectraltemporal EEG features with recurrent 3D convolutional neural networks for crosstask mental workload assessment[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering， 2019， 27（1）： 3142. DOI： 101109/TNSRE.20182884641.

[24]YANG J C， ZHU Y H， MA C F， et al. Stereoscopic video quality assessment based on 3D convolutional neural networks[J]. Neurocomputing， 2018， 309： 8393. DOI： 101016/j.neucom.201804072.

[25]YANG J X， ZHAO Y Q， CHAN J， et al. A multiscale wavelet 3DCNN for hyperspectral image superresolution[J]. Remote Sensing， 2019， 11： 122. DOI： 103390/rs11131557.

[26]MAY K A， LI Z P， HIBBARD P B. Perceived direction of motion determined by adaptation to static binocular images[J]. Current Biology， 2012， 22（1）： 2832. DOI： 101016/j.cub.201111025.

[27]MAY K A， LI Z P. Efficient coding theory predicts a tilt aftereffect from viewing untilted patterns[J]. Current Biology， 2016， 26（12）： 15711576. DOI： 101016/j.cub.201604037.

[28]MOORTHY A K， SU C C， MITTAL A， et al. Subjective evaluation of stereoscopic image quality[J]. Signal Processing： Image Communication， 2013， 28（8）： 870883. DOI： 101016/j.image.201208004.

（編輯賈裙平）

收稿日期： 20210117修回日期： 20210423

基金項(xiàng)目： 國(guó)家自然科學(xué)基金（61771223）

作者簡(jiǎn)介： 贠麗霞（1994—），女，河北張家口人，碩士研究生，研究方向?yàn)閳D像質(zhì)量評(píng)價(jià)，（Email）1055064810@qq.com;

李朝鋒（1971—），男，安徽廬江人，教授，博導(dǎo)，博士，研究方向?yàn)槿斯ぶ悄?、機(jī)器學(xué)習(xí)和圖像處理，（Email）cfli@shmtu.edu.cn