考慮雙目競爭視覺現(xiàn)象的非對(duì)稱失真立體圖像質(zhì)量評(píng)價(jià)方法

唐祎玲，江順亮，徐少平，肖建，陳曉軍

南昌大學(xué)數(shù)學(xué)與計(jì)算機(jī)學(xué)院，南昌 330031

0 引言

隨著立體圖像獲取、傳輸、處理及顯示技術(shù)的發(fā)展，立體圖像質(zhì)量評(píng)價(jià)（stereoscopic image quality assessment，SIQA）研究變得越發(fā)重要（方玉明 等，2021）。獲取能夠準(zhǔn)確描述雙目輸入特性的特征，并依據(jù)這些特征估計(jì)立體圖像實(shí)際感知質(zhì)量是SIQA的核心設(shè)計(jì)目標(biāo)之一（Shen 等，2021；Liu 等，2020；Li等，2019）。根據(jù)立體圖像左右視點(diǎn)圖像失真的對(duì)稱程度，可以將立體圖像分為對(duì)稱失真立體圖像和非對(duì)稱失真立體圖像。對(duì)稱失真立體圖像的左右視點(diǎn)圖像失真類型相同，且失真程度也較為接近。已有的SIQA 算法在評(píng)價(jià)對(duì)稱失真立體圖像時(shí)，取得了較高的評(píng)價(jià)準(zhǔn)確性。然而，在實(shí)際應(yīng)用中立體圖像更容易出現(xiàn)非對(duì)稱失真的情況，即左右視點(diǎn)圖像具有不同的失真程度或失真類型，許多SIQA 方法難以準(zhǔn)確地評(píng)估此類圖像的質(zhì)量。如何準(zhǔn)確描述左右視點(diǎn)圖像的非對(duì)稱失真特性，并利用這些信息提升SIQA方法評(píng)價(jià)非對(duì)稱失真立體圖像的準(zhǔn)確性和魯棒性具有重要的研究意義（Fang等，2021；Shao等，2018）。

較早的SIQA 算法通常使用已有的二維圖像質(zhì)量評(píng)價(jià)（image quality assessment，IQA）方法預(yù)測立體圖像質(zhì)量。例如，Benoit等人（2009）、Yasakethu等人（2008）使用多種全參考IQA 算法估計(jì)單目圖像的質(zhì)量值，將兩個(gè)視點(diǎn)圖像的質(zhì)量均值作為最終的立體圖像質(zhì)量預(yù)測值。然而，人類視覺系統(tǒng)（human visual system，HVS）中的立體視覺感知是通過大腦的初級(jí)視覺皮質(zhì)對(duì)雙目輸入信息進(jìn)行復(fù)雜處理后產(chǎn)生的，簡單地將左右視點(diǎn)圖像質(zhì)量值進(jìn)行平均，無法模擬人類視覺這種復(fù)雜的生理機(jī)制，因此早期SIQA方法在評(píng)價(jià)非對(duì)稱失真立體圖像的質(zhì)量時(shí)，預(yù)測準(zhǔn)確性會(huì)明顯下降。

雙目競爭與融合是人類立體視覺生理中的現(xiàn)象，當(dāng)兩眼輸入的信息較為一致時(shí)，雙眼的信息能夠較為容易地實(shí)現(xiàn)融合，當(dāng)兩眼輸入的信息存在如幾何結(jié)構(gòu)差異、失真等不一致時(shí)，會(huì)出現(xiàn)雙目競爭現(xiàn)象（Han 等，2017）?；陔p目融合與雙目競爭的研究為立體圖像質(zhì)量評(píng)價(jià)模型的構(gòu)建提供了新的依據(jù)（Su 等，2015b）。許多立體圖像質(zhì)量評(píng)價(jià)研究發(fā)現(xiàn)，當(dāng)兩眼輸入不同時(shí)，某一眼輸入在視覺信息識(shí)別過程中產(chǎn)生主導(dǎo)作用（Chen等，2013a；Wang等，2017），使得在立體圖像質(zhì)量判別中，某一視點(diǎn)圖像的視覺質(zhì)量相比于另一視點(diǎn)圖像的視覺質(zhì)量對(duì)整體質(zhì)量評(píng)價(jià)產(chǎn)生更大的影響（Shao等，2015）。同時(shí)，視覺感知的最終目標(biāo)是從視覺場景中有效地提取有用信息，包含有用信息更多的視點(diǎn)圖像應(yīng)具有更大的權(quán)重（Wang和Li，2011；Liu等，2017）。

一些學(xué)者在雙目競爭現(xiàn)象的啟發(fā)下建立了基于左右視點(diǎn)圖像融合的立體圖像質(zhì)量評(píng)價(jià)模型，用于提升非對(duì)稱失真立體圖像的質(zhì)量評(píng)價(jià)準(zhǔn)確性。Chen 等人（2013a，b）利用Gabor 濾波響應(yīng)模擬雙目輸入的刺激強(qiáng)度，融合一幅用于體現(xiàn)雙目競爭的獨(dú)眼圖像，分別構(gòu)造了基于獨(dú)眼圖像的全參考（cyclopean image-based full-reference，CIFR）SIQA 算 法（Chen 等，2013b）和基于獨(dú)眼圖像的無參考（cyclopean image-based no-reference，CINR）算 法（Chen等，2013a）。Su 等人（2015a）在CINR 算法的基礎(chǔ)上，結(jié)合左右視點(diǎn)圖像之間的視差圖合成收斂的獨(dú)眼圖像（convergent cyclopean），并提取融合圖像中的空域和小波域中的雙目特征用于圖像質(zhì)量評(píng)價(jià)。Liu 等人（2017）認(rèn)為立體圖像質(zhì)量的感知往往由包含更多空間活動(dòng)的圖像主導(dǎo)，提出了基于獨(dú)眼圖像、雙目乘積圖的立體綜合質(zhì)量（S3D integrated quality，SINQ）算法。Yue 等人（2018）使用協(xié)方差矩陣來獲取獨(dú)眼圖像中的結(jié)構(gòu)信息，以及左右視點(diǎn)圖像的梯度差異圖來估計(jì)非對(duì)稱失真立體圖像的質(zhì)量值。

由于融合獨(dú)眼圖像較為耗時(shí)，一些學(xué)者將左右視點(diǎn)圖像的質(zhì)量值加權(quán)平均來預(yù)測立體圖像質(zhì)量值。Wang 等人（2014）提出基于信息內(nèi)容和失真權(quán)重的結(jié)構(gòu)相似性（information content and distortion weighted structural similarity，IDWSSIM）比較算法以計(jì)算兩個(gè)視點(diǎn)圖像的質(zhì)量值權(quán)重。Shao 等人（2015）結(jié)合左右視點(diǎn)圖像特征的稀疏性和雙目競爭原理，估計(jì)左右視點(diǎn)圖像的權(quán)重系數(shù)，實(shí)現(xiàn)兩個(gè)視點(diǎn)圖像質(zhì)量值的融合。Ma 等人（2018）利用結(jié)構(gòu)相似性（structural similarity，SSIM）算法計(jì)算左右視點(diǎn)圖像的質(zhì)量值，并基于雙目對(duì)比度和雙目能量的差異將左右視點(diǎn)圖像的質(zhì)量值融合為立體圖像的質(zhì)量值。

還有一些學(xué)者探討了利用左右視點(diǎn)圖像特征融合的方式實(shí)現(xiàn)立體圖像質(zhì)量預(yù)測的方法。Shao等人（2018）利用字典學(xué)習(xí)方法估計(jì)左右視點(diǎn)圖像特征的權(quán)重系數(shù)，融合左右視點(diǎn)的特征值，用于特征質(zhì)量映射。沈麗麗和王瑩（2020）提出了基于奇異值分解的融合方法，將左右視點(diǎn)圖像以及左右視點(diǎn)圖像的特征向量進(jìn)行融合。

總的來說，上述方法采用了多種不同方式計(jì)算雙目信息融合的權(quán)重系數(shù)，來模擬雙目競爭現(xiàn)象。Chen 等人（2013a，b）認(rèn)為雙眼競爭時(shí)，某一個(gè)視點(diǎn)的Gabor 能量的增加會(huì)抑制另一個(gè)視點(diǎn)在圖像質(zhì)量感知中的作用，因此他們利用左右視圖的規(guī)格化Gabor 濾波幅值響應(yīng)來計(jì)算兩幅圖像的融合權(quán)重系數(shù)。Su 等人（2015a）使用可控金字塔的小波系數(shù)的計(jì)算左右視點(diǎn)的能量圖，進(jìn)而計(jì)算兩個(gè)視點(diǎn)的權(quán)重系數(shù)。Liu 等人（2017）利用量化的單目圖像的空間活動(dòng)生成左右視點(diǎn)圖像的融合權(quán)重系數(shù)。Wang 等人（2014）則通過計(jì)算空間位置的局部方差，構(gòu)造左右視點(diǎn)的局部能量比圖，計(jì)算左右視點(diǎn)的權(quán)重系數(shù)?？梢钥闯觯芯苛Ⅲw圖像的左右視點(diǎn)信息融合的權(quán)重設(shè)置，模擬人類視覺中的雙目競爭現(xiàn)象，能夠提升非對(duì)稱失真立體圖像預(yù)測結(jié)果與人類主觀評(píng)價(jià)的一致性。

由于在非對(duì)稱失真立體圖像質(zhì)量的評(píng)價(jià)中，需要處理的失真情況十分復(fù)雜，如何將雙目競爭應(yīng)用于立體圖像質(zhì)量評(píng)價(jià)仍然是一個(gè)重要的研究內(nèi)容，簡化模型的構(gòu)建方法對(duì)于將其運(yùn)用到實(shí)際應(yīng)用中非常重要。因此，本文提出了圖像質(zhì)量衰減系數(shù)，利用兩個(gè)視點(diǎn)圖像中包含的有效信息的不同，計(jì)算左右視點(diǎn)圖像的圖像質(zhì)量衰減系數(shù)，量化單目圖像質(zhì)量改變的程度，判別左右視點(diǎn)對(duì)立體圖像質(zhì)量的影響程度，并依據(jù)雙目競爭的視覺現(xiàn)象，利用圖像質(zhì)量衰減系數(shù)生成特征融合的加權(quán)因子，將單目圖像在灰度空間與HSV（hue-saturation-value）彩色空間中的統(tǒng)計(jì)特征進(jìn)行融合用于立體圖像質(zhì)量預(yù)測。此外，由于非對(duì)稱失真立體圖像左右視點(diǎn)圖像之間的失真程度或失真類型不同，在結(jié)構(gòu)以及所包含的信息量等方面也存在較明顯的差異，本文構(gòu)造左右視點(diǎn)圖像的結(jié)構(gòu)相似性映射圖（binocular structural similarity，BSSIM），用于量化非對(duì)稱失真立體圖像左右視點(diǎn)的結(jié)構(gòu)差異等雙目差異特性。最后，將雙目融合特征與雙目差異特征串接在一起，建立基于支持向量回歸（support vector regression，SVR）的特征—感知質(zhì)量預(yù)測模型。

1 評(píng)價(jià)模型的總體框架

基于雙目競爭的無參考非對(duì)稱失真立體圖像質(zhì)量評(píng)價(jià)模型如圖1 所示。考慮到非對(duì)稱失真圖像左右視點(diǎn)的質(zhì)量衰減程度不同，計(jì)算圖像質(zhì)量衰減系數(shù)，用于融合從左右視點(diǎn)圖像中提取的灰度空間和HSV 彩色空間特征，獲得能夠反映雙目競爭視覺特性的圖像質(zhì)量感知特征。同時(shí)，通過構(gòu)建BSSIM 進(jìn)一步描述非對(duì)稱失真圖像兩個(gè)視點(diǎn)之間的結(jié)構(gòu)差異等雙目差異特征。最后，使用已知人類主觀評(píng)價(jià)值的圖像訓(xùn)練基于SVR 的特征—質(zhì)量映射模型。

圖1 利用雙目競爭的非對(duì)稱失真立體圖像質(zhì)量評(píng)價(jià)算法總體框架Fig.1 The framework of the proposed asymmetrically distorted stereoscopic image quality assessment method based on binocular rivalry

2 圖像質(zhì)量感知特征提取與評(píng)價(jià)模型

2.1 基于圖像質(zhì)量衰減系數(shù)的雙目融合特征提取

2.1.1 圖像質(zhì)量衰減系數(shù)

信息熵可以用來度量圖像中包含的不確定性信息，與圖像的質(zhì)量以及圖像的失真類型密切相關(guān)（Liu 等，2014；Sheikh 等，2005）。給定一幅圖像，其灰度圖像信息熵計(jì)算為

式中，pi表示圖像中第i個(gè)灰度等級(jí)出現(xiàn)的概率。將左右視點(diǎn)圖像的信息熵分別標(biāo)記為El和Er。

圖2 以立體圖像基準(zhǔn)測試數(shù)據(jù)庫IVCIIWaterloo-IVC 3D IQA Database Phase II（Wang 等，2015）中的白噪聲（white noise，WN）和模糊（gray blur，GB）對(duì)稱失真立體圖像為例，說明信息熵與立體圖像失真類型及其質(zhì)量之間的關(guān)系。兩種失真類型均選取5 幅相同場景、不同失真程度的圖像，信息熵按立體圖像主觀評(píng)價(jià)值（mean opinion score，MOS）取值從大到小的順序排列。MOS 值越大，表示圖像質(zhì)量越高。

圖2 失真立體圖像信息熵及標(biāo)準(zhǔn)差隨立體圖像質(zhì)量變化的取值變化圖Fig.2 Variation of entropy and standard deviation of distorted stereoscopic image with MOS values（（a）entropy of WN distorted image；（b）standard deviation of WN distorted image；（c）entropy of GB distorted image；（d）standard deviation of GB distorted image）

從圖2（a）（b）可以看出，隨著WN 失真圖像中的噪聲增多，圖像質(zhì)量下降、圖像包含的信息量增大，數(shù)據(jù)的離散程度增大，相應(yīng)地圖像信息熵和標(biāo)準(zhǔn)差會(huì)隨著圖像質(zhì)量的下降而增大，MOS 值接近的WN失真圖像，其信息熵和標(biāo)準(zhǔn)差的取值也較為相近。從圖2（c）（d）可以看出，對(duì)于GB 失真立體圖像來說，隨著圖像的模糊程度逐漸增加，圖像中的細(xì)節(jié)信息越來越少，圖像信息熵和標(biāo)準(zhǔn)差的取值也會(huì)隨著圖像質(zhì)量衰減程度的增加而降低?？梢钥闯?，不同失真類型立體圖像的信息熵及標(biāo)準(zhǔn)差隨圖像質(zhì)量變化的趨勢(shì)并不相同，但對(duì)于同類失真圖像，信息熵與標(biāo)準(zhǔn)差隨圖像質(zhì)量變化的趨勢(shì)一致且變化幅度不一樣。

為了生成適用于多種失真類型圖像的能夠根據(jù)圖像質(zhì)量變化而線性變化的特征，本文將信息熵與標(biāo)準(zhǔn)差所表示的圖像降質(zhì)信息疊加，計(jì)算圖像質(zhì)量衰減系數(shù)，具體為

式中，σl和σr分別是左、右視點(diǎn)圖像的標(biāo)準(zhǔn)差，El和Er分別是左、右視點(diǎn)圖像的信息熵。C1和C2是用于保證公式計(jì)算穩(wěn)定性的常數(shù)。

對(duì)同一場景、相同失真類型的立體圖像，圖像質(zhì)量衰減系數(shù)dl和dr會(huì)隨著圖像質(zhì)量值的改變而線性變化。圖3展示了IVC-II數(shù)據(jù)庫中WN和GB兩類失真立體圖像的dl和dr取值隨圖像MOS 值變化的趨勢(shì)。

圖3 圖像質(zhì)量衰減系數(shù)隨MOS取值變化的變化圖Fig.3 Variation of image quality degradation coefficients with MOS（（a）WN symmetrically distorted image；（b）WN asymmetrically distorted image；（c）GB symmetrically distorted image；（d）GB asymmetrically distorted image）

圖3（a）（c）給出了立體圖像為非對(duì)稱失真圖像時(shí)dl和dr的取值隨圖像質(zhì)量變化的情況，可以看出，當(dāng)立體圖像為對(duì)稱失真圖像時(shí)，由于對(duì)稱失真立體圖像的左右視點(diǎn)圖像的失真類型相同、失真程度近似，其dl值和dr值基本相等，同時(shí)，兩種失真類型圖像dl和dr的取值都會(huì)隨著圖像質(zhì)量的下降而減小。

圖3（b）（d）給出了立體圖像為非對(duì)稱失真圖像時(shí)dl和dr的取值隨圖像質(zhì)量變化的情況。為了便于觀察，圖中所使用的是一個(gè)視點(diǎn)為原始圖像、另一個(gè)視點(diǎn)為某類失真的非對(duì)稱失真立體圖像。從圖3（b）（d）可以看出，當(dāng)非對(duì)稱失真立體圖像的MOS 值減小時(shí)，無失真視點(diǎn)圖像的圖像質(zhì)量衰減系數(shù)保持不變，而失真視點(diǎn)圖像的圖像質(zhì)量衰減系數(shù)值減小。說明當(dāng)兩個(gè)視點(diǎn)中有一個(gè)視點(diǎn)失真時(shí)，失真視點(diǎn)的質(zhì)量對(duì)立體圖像的整體感知質(zhì)量的影響更大，即當(dāng)兩個(gè)視點(diǎn)圖像的失真程度不同時(shí)，出現(xiàn)了雙目競爭，圖像質(zhì)量衰減系數(shù)取值小的視點(diǎn)會(huì)對(duì)立體圖像的整體質(zhì)量產(chǎn)生更大的影響。

2.1.2 單目圖像特征提取

由于人類視覺系統(tǒng)對(duì)圖像信息的感知是從局部到整體逐步形成的。本文在獲取單目圖像特征時(shí)，一方面從灰度空間獲取圖像局部分塊的統(tǒng)計(jì)特征；另一方面從HSV 彩色空間提取圖像整體的統(tǒng)計(jì)特征。

對(duì)一幅尺寸為M×N的灰度圖像，首先采用均值減損對(duì)比度方法對(duì)其進(jìn)行歸一化處理，來獲取具有顯著統(tǒng)計(jì)特性的質(zhì)量感知特征?；叶葓D像的歸一化計(jì)算為

式中，I(i，j)是寬和高分別為M和N的圖像；i和j是像素索引，i=1，2，…，M，j=1，2，…，N；μ(i，j)和σ(i，j)分別為I(i，j)的均值與標(biāo)準(zhǔn)差；C用于避免合成圖像的方差為零；ωk，l是窗口尺寸為(2K+1) ×(2L+1)的二維高斯加權(quán)函數(shù)。

接著，將歸一化圖像劃分為P個(gè)相同尺寸的圖像塊，使用圖像分塊的標(biāo)準(zhǔn)差、峰值和偏度作為部分質(zhì)量感知特征。偏度S和峰度K計(jì)算為

式中，p是圖像塊的索引，p=1，2，…，P；W和H為圖像塊Ip(i，j)的 長和寬；i和j是各像素的索引，i=1，2，…，W，j=1，2，…，H；μp和σp分別為圖像 塊Ip(i，j)的均值與標(biāo)準(zhǔn)差。則左右視點(diǎn)圖像的灰度空間統(tǒng)計(jì)特征向量可以表示為

顏色作為視覺質(zhì)量感知的一個(gè)重要的參考因素，也應(yīng)用于圖像質(zhì)量評(píng)價(jià)算法中。例如，Redi等人（2010）將顏色分布特征應(yīng)用于部分參考圖像質(zhì)量評(píng)價(jià)中。Temel 等人（2016）基于YCbCr 顏色空間提取圖像的結(jié)構(gòu)信息，建立了基于無監(jiān)督學(xué)習(xí)的圖像質(zhì)量評(píng)價(jià)模型。由于HSV 彩色空間包含的信息十分接近人類所能感知的顏色信息，本文從HSV 彩色空間中獲取色度、亮度以及飽和度的統(tǒng)計(jì)信息作為圖像質(zhì)量感知特征的一部分。

對(duì)RGB 格式圖像的紅（R）、綠（G）和藍(lán)（B）3 個(gè)分量進(jìn)行變換，可以得到一幅圖像各個(gè)像素的色調(diào)（H）、飽和度（S）和取值（V）分量，計(jì)算為

圖像經(jīng)過變換后，色調(diào)通道H的取值范圍為0～360o，飽和度S和V的取值范圍為0～1。將左右視點(diǎn)圖像在HSV 顏色空間3個(gè)通道的均值、標(biāo)準(zhǔn)差、偏度以及峰度作為單目圖像特征的一部分，則兩個(gè)視點(diǎn)圖像的HSV 彩色空間在3個(gè)通道上的統(tǒng)計(jì)特征向量分別記為

2.1.3 單目圖像特征融合

由2.1.1 節(jié)的分析可知，本文所提取的圖像質(zhì)量衰減系數(shù)能有效地反映出單目圖像質(zhì)量的改變程度。當(dāng)左右視點(diǎn)圖像的失真類型和失真程度一致時(shí)，兩個(gè)視點(diǎn)的圖像質(zhì)量衰減系數(shù)值近似相等；當(dāng)左右視點(diǎn)圖像為非對(duì)稱失真圖像時(shí)，圖像質(zhì)量相對(duì)差的視點(diǎn)，其圖像質(zhì)量衰減系數(shù)取值相對(duì)較小。因此，本文基于雙目競爭的視覺現(xiàn)象，利用圖像質(zhì)量衰減系數(shù)生成左右視點(diǎn)圖像質(zhì)量感知特征融合的權(quán)重系數(shù)。并利用融合權(quán)重系數(shù)將左右視點(diǎn)圖像的單目圖像質(zhì)量感知特征融合在一起，作為能夠體現(xiàn)雙目融合與雙目競爭現(xiàn)象的立體圖像質(zhì)量感知特征之一。單目圖像特征的融合權(quán)重系數(shù)wl和wr為

式中，dl和dr分別為左和右視點(diǎn)圖像的圖像質(zhì)量衰減系數(shù)，wl與wr的和為1。

利用wl和wr對(duì)左、右視點(diǎn)圖像的單目圖像特征進(jìn)行加權(quán)平均融合。兩個(gè)視點(diǎn)的HSV 彩色空間的融合特征向量表示為

兩個(gè)視點(diǎn)的灰度空間融合特征表示為

2.2 雙目差異特征提取

2.1 節(jié)的分析表明，非對(duì)稱失真立體圖像左右視點(diǎn)之間的方差、信息熵和圖像質(zhì)量衰減系數(shù)存在較為明顯的差異。因此，本文利用從左右視點(diǎn)圖像之間的上述特征差來描述立體圖像的非對(duì)稱失真特性。將左右視點(diǎn)圖像之間的方差差值Dv、信息熵差值DE以及圖像質(zhì)量衰減系數(shù)差值Dd作為左右視點(diǎn)圖像之間的雙目差異特征之一。3 個(gè)差值計(jì)算為

對(duì)于對(duì)稱失真立體圖像，其左右視點(diǎn)圖像之間的失真類型相同，且兩個(gè)視點(diǎn)圖像之間的失真程度也較為接近，兩幅失真圖像的信息熵、方差、圖像質(zhì)量衰減系數(shù)的取值會(huì)較為接近，上述3 個(gè)雙目差異特征的取值較小。而非對(duì)稱失真立體圖像左右視點(diǎn)圖像之間的差異性較大，從兩個(gè)視點(diǎn)圖像中獲得的特征的取值差異也會(huì)較為明顯，雙目差異特征的取值也會(huì)較大。

本文以非對(duì)稱失真立體圖像測試數(shù)據(jù)庫IVC-I（Waterloo-IVC 3D IQA Database Phase I）（Wang 等，2014）和IVC-II中的圖像為例，來說明雙目差異特征所具有的區(qū)分對(duì)稱失真圖像與非對(duì)稱失真圖像的能力。圖4 給出了兩個(gè)數(shù)據(jù)庫中所有圖像的雙目差異特征散點(diǎn)圖。IVC-I數(shù)據(jù)庫和IVC-II數(shù)據(jù)庫包含3類非對(duì)稱失真圖像。1）一個(gè)視點(diǎn)圖像為未失真圖像，另一個(gè)視點(diǎn)圖像為失真圖像，記為RD（referencedistorted）；2）左右視點(diǎn)圖像的失真類型相同、失真程度不同的圖像，記為DL（different distortion level）；3）左右視點(diǎn)圖像的失真類型不同的圖像，記為DD（different distortion type）。

圖4 左右視點(diǎn)圖像的雙目差異特征散點(diǎn)圖Fig.4 Scatter plots of binocular difference features between the left and right views（（a）IVC-I；（b）IVC-II）

從圖4可以看出，對(duì)稱失真圖像與3類非對(duì)稱失真圖像的雙目差異特征散點(diǎn)圖分布在特征空間的不同區(qū)域。其中，對(duì)稱失真圖像的雙目差異特征散點(diǎn)主要聚集于坐標(biāo)系的原點(diǎn)處；由于DL類型的非對(duì)稱失真圖像只是左右視點(diǎn)圖像的失真程度不同，3 個(gè)雙目差異特征的取值變化較小，散點(diǎn)相對(duì)集中；RD類型的非對(duì)稱失真圖像，其左右視點(diǎn)圖像的差異較DL 類型左右視點(diǎn)圖像之間的差異更大，散點(diǎn)相對(duì)分散；DD 類型左右視點(diǎn)的失真類型不同，因此兩個(gè)視點(diǎn)之間的差異最大，3 個(gè)雙目差異特征的取值變化最大，散點(diǎn)最為分散。由上述分析可知，左右視點(diǎn)的3 個(gè)雙目差異特征能夠較好地描述非對(duì)稱失真立體圖像的失真特性。

除了上述3 種信息的差異，當(dāng)立體圖像為非對(duì)稱失真圖像時(shí)，左右視點(diǎn)圖像在失真類型和失真程度上的差異較大，其結(jié)構(gòu)上的差異也會(huì)增大。鑒于人類視覺系統(tǒng)對(duì)結(jié)構(gòu)信息的變化十分敏感，本文進(jìn)一步利用左右視點(diǎn)圖像之間的結(jié)構(gòu)相似性來反映兩個(gè)視點(diǎn)之間的差異性特征。

經(jīng)典的結(jié)構(gòu)相似性比較SSIM 算法（Wang 等，2004）能夠用來比較兩幅圖像之間的結(jié)構(gòu)相似性。因此，本文利用該方法比較左右視點(diǎn)圖像之間的結(jié)構(gòu)相似性。如果立體圖像的左右視點(diǎn)圖像分別記為IL和IR，則左右視點(diǎn)圖像的亮度l、對(duì)比度c與結(jié)構(gòu)相似性s計(jì)算為

式中，μL和μR分別表示左和右視點(diǎn)圖像的局部均值，σL和σR分別為左和右視點(diǎn)圖像的局部標(biāo)準(zhǔn)差，σLR為左右視點(diǎn)圖像的交叉相關(guān)標(biāo)準(zhǔn)差，C1、C2和C3是常量，用于減小飽和度在低亮度和對(duì)比度區(qū)域中的影響，同時(shí)用于避免當(dāng)分母近似為零時(shí)的不穩(wěn)定情況。則左右視點(diǎn)圖像的BSSIM表示為

在計(jì)算左右視點(diǎn)圖像的相似度時(shí)，使用滑動(dòng)窗口對(duì)兩幅圖像的局部分塊進(jìn)行處理，用于減小圖像統(tǒng)計(jì)特征的空間不穩(wěn)定性，獲取更多圖像的結(jié)構(gòu)變化信息。使用滑動(dòng)窗口處理后的圖像的局部統(tǒng)計(jì)特征計(jì)算為

式中，w 是一個(gè)尺寸為11 × 11 的高斯窗口，窗口標(biāo)準(zhǔn)差為1.5；x∈[IL，IR]，N=11。

圖5 以IVC-II 數(shù)據(jù)庫中相同場景下的對(duì)稱失真和非對(duì)稱失真立體圖像為例，用于說明BSSIM 對(duì)不同類型失真圖像結(jié)構(gòu)特性的描述能力。其中，圖像從左至右依次為左視點(diǎn)、右視點(diǎn)和BSSIM。立體圖像的BSSIM 清晰地展示了不同類型失真圖像的左右視點(diǎn)圖像結(jié)構(gòu)上的不同。圖5（a）所示為左右視點(diǎn)均為GB失真的對(duì)稱失真圖像，從該圖像的BSSIM可以看出，當(dāng)左右視點(diǎn)圖像均為GB 失真圖像，且兩個(gè)視點(diǎn)圖像的失真程度較為接近時(shí)，其BSSIM 在視覺上呈現(xiàn)出模糊失真的特性。從圖5（b）所示的左視點(diǎn)為無失真圖像、右視點(diǎn)為WN 失真圖像的BSSIM中，可以很容易地觀察到白噪聲對(duì)圖像結(jié)構(gòu)特性的改變。圖5（c）（d）所示的是左右視點(diǎn)圖像分別為不同類型失真的非對(duì)稱失真情況，從圖5（c）的BSSIM可以明顯地觀察到JP2K 的壓縮效應(yīng)和模糊造成的圖像細(xì)節(jié)信息的損失帶來的疊加效應(yīng)，相似地，從圖5（d）中的BSSIM 也能夠觀察到壓縮效應(yīng)和噪聲同時(shí)對(duì)圖像結(jié)構(gòu)施加的影響。

圖5 IVC-II數(shù)據(jù)庫中非對(duì)稱失真立體圖像及其BSSIMFig.5 Asymmetrically distorted images and their BSSIM in IVC-II database（（a）GB-GB distortion；（b）REF-WN distortion；（c）JP2K-GB distortion；（d）JP2K-WN distortion）

上述分析表明，BSSIM 能夠較好地描述對(duì)稱失真與非對(duì)稱失真立體圖像左右視點(diǎn)圖像之間的結(jié)構(gòu)上的不同，同時(shí)能夠體現(xiàn)不同失真類型視點(diǎn)圖像組合在一起時(shí)產(chǎn)生的雙目視覺影響，適用于度量立體圖像多種失真類型的特性。本文利用BSSIM 的前三階圖像矩，包括均值μB、標(biāo)準(zhǔn)差σB和偏度SB，作為立體圖像的雙目差異特征的補(bǔ)充。

2.3 圖像質(zhì)量預(yù)測模型

為了預(yù)測立體圖像的質(zhì)量值，需要訓(xùn)練基于SVR的特征—質(zhì)量預(yù)測模型。用于訓(xùn)練預(yù)測模型的特征包括：1）從左右視點(diǎn)圖像的HSV 彩色空間和灰度空間中提取的融合特征fc和fg，共39維；2）由左右視點(diǎn)圖像的信息熵、標(biāo)準(zhǔn)差和圖像質(zhì)量衰減系數(shù)計(jì)算得到的雙目差異特征（DE，Dv，Dd），以及從左右視點(diǎn)圖像的BSSIM 中提取的雙目差異特征（μB，σB，SB），共6 維。訓(xùn)練SVR 特征—質(zhì)量映射模型時(shí)基于LIBSVM（Chang 和Lin，2011）軟件包，采用Epsilon-SVR模型以及徑向基核函數(shù)。

除了訓(xùn)練圖像質(zhì)量預(yù)測模型之外，本文還利用所提取的左右視點(diǎn)圖像之間的雙目差異特征（μB，σB，SB，DE，Dv，Dd），共6 個(gè)特征，訓(xùn)練基于支持向量分類（support vector classification，SVC）的特征—分類模型，用于判別失真立體圖像是對(duì)稱失真圖像還是非對(duì)稱失真圖像。訓(xùn)練SVC 模型時(shí)，使用LIBSVM軟件包的C-SVC多分類模型，核函數(shù)使用徑向基核函數(shù)。

3 實(shí)驗(yàn)結(jié)果與分析

為了測試本文算法的性能，在4 個(gè)立體圖像質(zhì)量評(píng)價(jià)測試數(shù)據(jù)庫LIVE 3D IQA Database Phase I（LIVE-I）（Chen 等，2013b）、LIVE 3D IQA Database Phase II（LIVE-II）（Moorthy 等，2013）、IVC-I和IVC-II數(shù)據(jù)庫上進(jìn)行測試。LIVE-I 是對(duì)稱失真數(shù)據(jù)庫，包含365 幅圖像。其余3 個(gè)測試數(shù)據(jù)庫均為對(duì)稱與非對(duì)稱失真混合數(shù)據(jù)庫，其中LIVE-II 包含360 幅圖 像，IVC-I 包 含330 幅圖像，IVC-II 包 含460 幅圖像。

測試指標(biāo)包括立體圖像質(zhì)量預(yù)測值與立體圖像的DMOS（differential mean opinion score）或MOS 之間的Spearman 等級(jí)相關(guān)系數(shù)（Spearman rank ordered correlation coefficient，SROCC），Pearson 線性相關(guān)系數(shù)（Pearson linear correlation coefficient，PLCC）和均方根誤差（root-mean-squared error，RMSE）。

對(duì)比算法選取經(jīng)典的2D 無參考算法DIIVINE（distortion identification-based image verity and Integrity evaluation）（Moorthy 和Bovik，2011）和BRISQUE（blind/referenceless image spatial quality evaluator）（Mittal 等，2012）、3D 全參考算法CIFR、Lin（Lin 等，2017）、IWSSIM（information content weighted SSIM）（Wang 和 Li，2011）、IDWSSIM（Wang 等，2014）和3D無參考算法SINQ（Liu 等，2017）、Ma（Ma 等，2018）、Yue（Yue 等，2018）、Yang（Yang 等，2019）、Chen（陳勇 等，2021）等。實(shí)驗(yàn)中，2D算法分別從左右視點(diǎn)圖像中提取單目圖像特征，然后串接為一個(gè)特征向量，用于訓(xùn)練SVR預(yù)測模型。

硬件測試平臺(tái)使用Intel i7-6280HQ、2.7 GHz 的CPU，內(nèi)存為16 GB，軟件編程環(huán)境為MATLAB 2018b。

3.1 算法的準(zhǔn)確性與一致性

首先，對(duì)比各算法在4 個(gè)測試數(shù)據(jù)庫上的預(yù)測準(zhǔn)確性與一致性。測試時(shí)，將各測試數(shù)據(jù)庫隨機(jī)分為兩部分，將包含80%圖像的部分作為訓(xùn)練集，剩余20%的圖像作為測試集，兩個(gè)子集中的圖像無重復(fù)，比較各算法1 000 次測試的SROCC、PLCC 和RMSE 的中值。本文算法與對(duì)比算法在LIVE-I、LIVE-II和IVC-I、IVC-II數(shù)據(jù)庫上的實(shí)驗(yàn)結(jié)果分別如表1和表2所示。

表2 各算法在IVC-I和IVC-II數(shù)據(jù)庫上的比較Table 2 Comparation of performance indexes of each SIQA method on IVC-I and IVC-II databases

從表1和表2可以看出，2D無參考算法DIIVINE和BRISQUE 性能在LIVE-I 和LIVE-II 數(shù)據(jù)庫上的評(píng)價(jià)準(zhǔn)確性較好，但2D算法在評(píng)價(jià)時(shí)沒有考慮任何雙目視覺特性，在包含左右視點(diǎn)圖像失真類型不同的非對(duì)稱失真圖像數(shù)據(jù)庫IVC-I 和IVC-II 上的性能明顯較低。本文算法和SINQ 算法在4 個(gè)數(shù)據(jù)庫上均取得了最好的評(píng)價(jià)準(zhǔn)確性。本文算法在采用雙目競爭視覺特性的基礎(chǔ)上，還考慮了非對(duì)稱失真圖像左右視點(diǎn)之間的差異特性，在3 個(gè)包含非對(duì)稱失真圖像的數(shù)據(jù)庫上的SROCC 和PLCC 均在0.95 以上，RMSE 也是所有對(duì)比算法中取值最低的，優(yōu)于SINQ算法。在LIVE-I 數(shù)據(jù)庫上，其包含的失真圖像均為對(duì)稱失真圖像，左右視點(diǎn)之間的差異較小，各圖像之間的差異性特征區(qū)分度不大，因此本文算法在評(píng)價(jià)LIVE-I 數(shù)據(jù)庫中的圖像質(zhì)量時(shí)，準(zhǔn)確性略微低于SINQ算法的準(zhǔn)確性。

圖6 進(jìn)一步給出了本文算法在4 個(gè)測試數(shù)據(jù)庫上的預(yù)測結(jié)果與圖像主觀評(píng)價(jià)值DMOS 或MOS 值的散點(diǎn)圖來說明本文算法預(yù)測值與人類主觀評(píng)價(jià)結(jié)果的一致程度。測試時(shí)，將測試數(shù)據(jù)庫隨機(jī)分成訓(xùn)練集和測試集兩個(gè)部分，訓(xùn)練集包含數(shù)據(jù)庫中80%的圖像，測試集包含數(shù)據(jù)庫中其余20%的圖像，測試集和訓(xùn)練集中的圖像無重復(fù)。使用訓(xùn)練集中的圖像訓(xùn)練預(yù)測模型，并預(yù)測測試集中圖像的質(zhì)量，利用5次實(shí)驗(yàn)的測試結(jié)果繪制散點(diǎn)圖。從圖6可以看出，本文算法在各數(shù)據(jù)庫上的散點(diǎn)分布均勻，散點(diǎn)的聚集性較高，進(jìn)一步說明本文算法的預(yù)測結(jié)果與人類主觀評(píng)價(jià)的一致性高。

圖6 本文算法預(yù)測值與人類主觀評(píng)價(jià)值散點(diǎn)圖Fig.6 The scatter plots between DMOS/MOS and the predicted quality of the proposed method on 4 databases（（a）LIVE-I；（b）LIVE-II；（c）IVC-I；（d）IVC-II）

3.2 不同特征對(duì)算法性能的貢獻(xiàn)

本文算法通過計(jì)算左右視點(diǎn)圖像的圖像質(zhì)量衰減系數(shù)融合左右視點(diǎn)的圖像特征，并結(jié)合兩視點(diǎn)之間的差異特征實(shí)現(xiàn)立體圖像質(zhì)量的預(yù)測。為了詳細(xì)了解雙目融合特征和雙目差異特征對(duì)圖像質(zhì)量預(yù)測結(jié)果的影響，進(jìn)一步采用本文算法所提取的部分感知特征訓(xùn)練評(píng)價(jià)模型，比較使用不同特征時(shí)算法在4個(gè)數(shù)據(jù)庫上的性能。第1種方式，將從左右視點(diǎn)圖像中提取的灰度空間和HSV 彩色空間特征串接在一起，構(gòu)成的特征向量長度為78，所訓(xùn)練模型記為M1；第2種方式，將從左右視點(diǎn)圖像中提取的單目圖像特征求均值，得到長度為39 維的特征向量，所訓(xùn)練模型記為M2；第3 種方式，利用圖像質(zhì)量衰減系數(shù)，將從左右視點(diǎn)中提取的單目圖像特征融合在一起，構(gòu)成長度為39 維的特征向量，所訓(xùn)練模型標(biāo)記為M3；第4 種方式，使用本文算法提取的所有特征，即在雙目融合特征之后串接雙目差異特征，記為M4。在表3 中給出上述4 種方式下算法的預(yù)測結(jié)果。測試時(shí)采用3.1 節(jié)提到的數(shù)據(jù)分配方式，重復(fù)1 000次相同的實(shí)驗(yàn)。

表3 使用不同特征的本文算法在4個(gè)測試數(shù)據(jù)庫上的性能比較Table 3 Comparation of performance indexes of the proposed method using different features on 4 databases

從表3 可以看出，在LIVE-I 數(shù)據(jù)庫上，M1、M2、M3 和M4 的評(píng)價(jià)準(zhǔn)確性相差不大，4 種方式的SROCC 和PLCC 都達(dá)到了0.95 以上，RMSE 的取值在4.4 左右，相對(duì)來說，使用基于融合系數(shù)獲取的雙目融合特征的M3 和M4 方法能夠取得較優(yōu)的評(píng)價(jià)結(jié)果。但是，由于LIVE-I 數(shù)據(jù)庫僅包含對(duì)稱失真圖像，左右視點(diǎn)圖像之間的差異很小，所以加入雙目差異特征的M4 方法相較于M3 方法不能更進(jìn)一步提升預(yù)測的準(zhǔn)確性。在非對(duì)稱失真圖像測試數(shù)據(jù)庫上的實(shí)驗(yàn)結(jié)果表明M4 方法在LIVE-II、IVC-I 和IVC-II數(shù)據(jù)庫上的評(píng)價(jià)結(jié)果最優(yōu)，其SROCC、PLCC 和RMSE 明顯優(yōu)于其他方式。尤其是在包含了左右視點(diǎn)失真類型不同的復(fù)雜非對(duì)稱失真圖像的IVC-I 和IVC-II 數(shù)據(jù)庫上，M4 方法的性能較其他3 種方法有明顯的提升。相對(duì)來說，使用雙目融合特征的M2和M3方法較M1方法的性能更優(yōu)。使用融合系數(shù)融合兩個(gè)視點(diǎn)的圖像特征的M3 方法性能較采用左右視點(diǎn)圖像特征均值的M2方法性能更好。

由上述實(shí)驗(yàn)結(jié)果可知，在包含了多種復(fù)雜的非對(duì)稱失真圖像的測試數(shù)據(jù)庫上，使用基于圖像質(zhì)量衰減系數(shù)生成的雙目融合特征以及兩個(gè)視點(diǎn)圖像之間的雙目差異特征，能夠更準(zhǔn)確地描述圖像的失真特性，有助于提升非對(duì)稱失真立體圖像的評(píng)價(jià)準(zhǔn)確性。

3.3 執(zhí)行時(shí)間比較

算法的執(zhí)行效率也是評(píng)價(jià)SIQA 算法性能的重要指標(biāo)之一。本文以LIVE-II 數(shù)據(jù)庫中的330 幅失真圖像為測試對(duì)象，統(tǒng)計(jì)各算法預(yù)測圖像質(zhì)量值或合成轉(zhuǎn)換圖像與提取特征的平均時(shí)間。僅對(duì)比部分已知執(zhí)行時(shí)間的算法。由于2D 算法BRISQUE 只需對(duì)左右視點(diǎn)圖像的質(zhì)量求均值，無需計(jì)算質(zhì)量融合系數(shù)，其所需的執(zhí)行時(shí)間相對(duì)最短，為0.071 s。而CIFR 算法和SINQ 算法在融合圖像權(quán)重系數(shù)計(jì)算方面需要對(duì)圖像進(jìn)行Gabor 濾波變換或可控金字塔變換，耗時(shí)較高，花費(fèi)的特征提取時(shí)間分別為16.485 s和4.149 s。而本文算法在特征融合權(quán)重系數(shù)計(jì)算方面，只需計(jì)算圖像的信息熵和標(biāo)準(zhǔn)差，所提取特征也無需對(duì)圖像進(jìn)行復(fù)雜變換，因此提取特征的時(shí)間僅需要0.406 s。相對(duì)來說，本文算法在3 個(gè)非對(duì)稱失真立體圖像測試數(shù)據(jù)庫上的評(píng)價(jià)準(zhǔn)確性稍優(yōu)于對(duì)比算法中性能最好的SINQ 算法，但所需的特征提取時(shí)間僅為SINQ 算法的1/10，說明本文算法具有更好的實(shí)用性。

3.4 立體圖像的非對(duì)稱性檢測

本文利用左右視點(diǎn)圖像之間的雙目差異特征訓(xùn)練能夠用于區(qū)分對(duì)稱失真與非對(duì)稱失真立體圖像的SVC 分類模型。為了驗(yàn)證該模型的分類準(zhǔn)確性，在LIVE-II、IVC-I 和IVC-II 這3 個(gè)非對(duì)稱失真數(shù)據(jù)庫上實(shí)驗(yàn)。LIVE-II 數(shù)據(jù)庫包含2 種類型失真圖像：對(duì)稱失真圖像和左右視點(diǎn)失真類型相同但失真程度不同的非對(duì)稱失真圖像。IVC-I和IVC-II數(shù)據(jù)庫中包含4種類型失真圖像，RD 表示一個(gè)視點(diǎn)圖像為未失真圖像、另一個(gè)視點(diǎn)圖像為失真圖像的非對(duì)稱失真圖像，DL 表示左右視點(diǎn)圖像的失真類型相同但失真程度不同的非對(duì)稱失真圖像，DD表示左右視點(diǎn)圖像的失真類型不同的非對(duì)稱失真圖像。圖7 為本文提出的分類模型在3 個(gè)非對(duì)稱失真數(shù)據(jù)庫上1 000 次相同實(shí)驗(yàn)的分類混淆矩陣。分類實(shí)驗(yàn)時(shí)，隨機(jī)抽取測試數(shù)據(jù)庫中80%圖像作為訓(xùn)練集，剩余20%圖像用于建立測試集，訓(xùn)練集和測試集中無重復(fù)圖像。

圖7 對(duì)稱失真與非對(duì)稱失真圖像分類模型在非對(duì)稱失真數(shù)據(jù)庫上的分類混淆矩陣Fig.7 Confusion matrix for the classifier of symmetrically distorted and asymmetrically distorted images on asymmetrically distorted image databases（（a）LIVE-II；（b）IVC-I；（c）IVC-II）

從 圖7（a）可以看出，LIVE-II 數(shù)據(jù)庫中有95.46%的非對(duì)稱失真立體圖像能夠被準(zhǔn)確分類，僅有4.54%非對(duì)稱失真立體圖像被錯(cuò)分為對(duì)稱失真圖像，其原因是當(dāng)左右視點(diǎn)圖像的失真程度近似時(shí)，左右視點(diǎn)圖像之間的雙目差異較小，不容易被區(qū)分。此外，LIVE-II 數(shù)據(jù)庫中有10.09%的對(duì)稱失真圖像被分類為非對(duì)稱失真圖像，其原因是LIVE-II數(shù)據(jù)庫中包含F(xiàn)F 失真圖像，該類型失真是JP2K 壓縮圖像經(jīng)過傳輸網(wǎng)絡(luò)隨機(jī)丟包后生成的，當(dāng)左右視點(diǎn)圖像的壓縮程度相同但傳輸網(wǎng)絡(luò)丟包的數(shù)據(jù)不同時(shí)，兩個(gè)視點(diǎn)的結(jié)構(gòu)信息會(huì)有明顯不同，因此容易被劃分為非對(duì)稱失真圖像。

從圖7（b）（c）可以看出，在IVC-I和IVC-II數(shù)據(jù)庫上，對(duì)稱失真圖像的分類準(zhǔn)確性分別達(dá)到了94.76%和98.97%，只有少數(shù)圖像被錯(cuò)分為左右視點(diǎn)失真類型相同、失真程度不同的DL類型圖像。對(duì)于左右視點(diǎn)圖像失真類型不同的DD 型失真圖像，IVC-I 和IVC-II數(shù)據(jù)庫上的分類準(zhǔn)確性均分別達(dá)到了99.09%和95.32%，說明此類圖像的左右視點(diǎn)之間的信息熵、標(biāo)準(zhǔn)差、圖像質(zhì)量衰減系數(shù)、結(jié)構(gòu)特征等差異較為明顯，用這些特征能夠準(zhǔn)確描述圖像的失真特性。相對(duì)來說，RD類型圖像和DL類型圖像的分類準(zhǔn)確性稍低，僅有90%左右，RD 類型圖像容易被錯(cuò)分為DL類型，而DL類型的圖像容易被錯(cuò)分為對(duì)稱失真圖像，其原因主要在于當(dāng)兩個(gè)視點(diǎn)圖像之間的失真程度差異較小時(shí)，左右視點(diǎn)之間的信息熵、標(biāo)準(zhǔn)差、圖像質(zhì)量衰減系數(shù)、結(jié)構(gòu)特征等的差異也會(huì)較小，容易被錯(cuò)分為對(duì)稱失真圖像。總體來說，本文利用左右視點(diǎn)圖像之間的雙目差異特征能夠較準(zhǔn)確地實(shí)現(xiàn)對(duì)稱失真立體圖像與非對(duì)稱失真立體圖像的分類。

4 結(jié)論

本文旨在提升非對(duì)稱失真立體圖像質(zhì)量的評(píng)價(jià)準(zhǔn)確性，提出一種基于雙目競爭視覺現(xiàn)象的無參考非對(duì)稱失真立體圖像評(píng)價(jià)方法。首先，基于人類視覺系統(tǒng)的雙目競爭現(xiàn)象，計(jì)算左右視點(diǎn)圖像的圖像質(zhì)量衰減系數(shù)，判別左右視點(diǎn)對(duì)立體圖像總體質(zhì)量的影響程度，進(jìn)而生成兩個(gè)視點(diǎn)圖像特征的融合系數(shù)，融合單目圖像特征。其次，通過加入左右視點(diǎn)圖像之間的在結(jié)構(gòu)等方面的雙目差異特征，進(jìn)一步提升非對(duì)稱失真立體圖像質(zhì)量感知特征的描述能力。實(shí)驗(yàn)結(jié)果表明，本文算法提取的特征維數(shù)少，特征提取速度快，提高了非對(duì)稱失真立體圖像質(zhì)量預(yù)測的準(zhǔn)確性，對(duì)多種類型非對(duì)稱失真圖像的質(zhì)量預(yù)測魯棒性好。此外，本文利用左右視點(diǎn)圖像之間的雙目差異特征建立的分類模型，能夠有效區(qū)分對(duì)稱與非對(duì)稱失真立體圖像，分類準(zhǔn)確性高。

本文方法在一定程度上解決了非對(duì)稱失真立體圖像的評(píng)價(jià)準(zhǔn)確性，但特征提取方法還是基于傳統(tǒng)的統(tǒng)計(jì)特征提取方法，沒有結(jié)合深度學(xué)習(xí)方法。后續(xù)工作中，如何將本文提出的融合特征方法與深度學(xué)習(xí)方法結(jié)合，進(jìn)一步提升評(píng)價(jià)模型對(duì)更多種失真類型非對(duì)稱失真立體圖像的普適性，是重要的研究方向。