基于眼優(yōu)勢(shì)的非對(duì)稱失真立體圖像質(zhì)量評(píng)價(jià)

唐祎玲 江順亮 徐少平 劉婷云 李崇禧

由于立體圖像質(zhì)量評(píng)價(jià)(Stereoscopic image quality assessment,SIQA)算法能夠?yàn)楦黝悎D像處理系統(tǒng)的參數(shù)設(shè)置及性能優(yōu)化提供可靠的依據(jù),受到了研究者廣泛的關(guān)注[1?4].目前,絕大部分SIQA算法主要針對(duì)左右視點(diǎn)圖像失真類型相同、失真程度相近的對(duì)稱失真立體圖像.然而在實(shí)際應(yīng)用中,左右視點(diǎn)圖像容易出現(xiàn)失真程度不同或失真類型不同的非對(duì)稱失真的情況,許多SIQA 算法在評(píng)價(jià)非對(duì)稱失真立體圖像時(shí)效果不佳.如何充分利用立體圖像中包含的非對(duì)稱失真信息,提高SIQA 算法對(duì)非對(duì)稱失真立體圖像的評(píng)價(jià)準(zhǔn)確性是亟待解決的問(wèn)題.

早期的SIQA 算法主要利用已有的2D 全參考圖像質(zhì)量評(píng)價(jià)算法預(yù)測(cè)立體圖像左右視點(diǎn)的質(zhì)量值,并將兩個(gè)視點(diǎn)的質(zhì)量均值作為立體圖像最終的質(zhì)量值[5].然而,人類視覺系統(tǒng)(Human visual system,HVS)主要是依賴大腦的初級(jí)視覺皮質(zhì)對(duì)雙目視覺輸入進(jìn)行處理并建立立體認(rèn)知的[6?7],其處理過(guò)程的生理機(jī)制非常復(fù)雜[8],并非是簡(jiǎn)單的左和右眼輸入質(zhì)量的平均效果.因此,當(dāng)左右視點(diǎn)圖像出現(xiàn)非對(duì)稱失真的情況時(shí),算法的評(píng)價(jià)準(zhǔn)確性會(huì)明顯下降.

近年來(lái),一些學(xué)者模擬HVS 中雙目競(jìng)爭(zhēng)的工作原理,采用將左右視點(diǎn)圖像的質(zhì)量值或特征進(jìn)行加權(quán)平均的方式來(lái)提高立體圖像質(zhì)量的預(yù)測(cè)準(zhǔn)確性.例如,Wang 等[9]提出一種基于信息內(nèi)容和失真權(quán)重的結(jié)構(gòu)相似性(Information content and distortion weighted structural similarity,IDWSSIM)算法,將左右視點(diǎn)圖像的質(zhì)量預(yù)測(cè)值的加權(quán)平均值作為立體圖像質(zhì)量值.Shao 等[10]使用字典學(xué)習(xí)方法計(jì)算左右視點(diǎn)的特征權(quán)重,并采用加權(quán)平均的方式融合左右視點(diǎn)的多種特征值.另一些學(xué)者基于HVS 中簡(jiǎn)單細(xì)胞和復(fù)雜細(xì)胞的工作原理,建立了雙目能量響應(yīng)[11?12]、獨(dú)眼圖像(Cyclopean image,CI)[13]等多種融合模型來(lái)提高SIQA 算法的性能.例如,Chen 等[14?15]采用Gabor 濾波響應(yīng)對(duì)雙目視覺刺激強(qiáng)度進(jìn)行建模,生成獨(dú)眼圖像,構(gòu)造了全參考的Chen FR[14]和無(wú)參考的Chen NR[15]算法.Su 等[16]合成了收斂獨(dú)眼圖像(Convergent cyclopean)來(lái)構(gòu)造無(wú)參考SIQA 算法.Shen 等[17]基于深度圖、顯著圖(Saliency map)以及獨(dú)眼圖像來(lái)實(shí)現(xiàn)無(wú)參考SIQA 算法.Liu 等[18]則提出立體整合質(zhì)量(S3D integrated quality,SINQ)算法,基于左右視點(diǎn)圖像的空間活動(dòng)度量(Spatial activity)來(lái)獲得獨(dú)眼圖像實(shí)現(xiàn)SIQA.盡管上述基于一幅融合圖像的SIQA 算法部分地模擬了雙目信息在人腦中的匯聚過(guò)程,部分地提高了算法的評(píng)價(jià)準(zhǔn)確性,但這類算法只是以左視點(diǎn)或右視點(diǎn)圖像中的一幅作為主視圖,將另一幅圖像與主視圖進(jìn)行融合,不能全面地描述立體圖像中所有的失真信息,在評(píng)價(jià)非對(duì)稱失真立體圖像的質(zhì)量時(shí)準(zhǔn)確性仍然不能令人滿意.

為此本文基于Hubel 和Wiesel[7]發(fā)現(xiàn)的眼優(yōu)勢(shì)(Ocular dominance)現(xiàn)象,即視覺皮層中存在兩類分別對(duì)左眼和右眼輸入產(chǎn)生更為強(qiáng)烈響應(yīng)的雙目細(xì)胞(Binocular cells)[8],提出一種基于眼優(yōu)勢(shì)的非對(duì)稱失真(Ocular dominance based asymmetrically distorted,ODAD)SIQA 算法.分別以左和右視點(diǎn)圖像作為主視圖生成兩幅不同的融合圖像,來(lái)模擬視覺皮層的左和右眼優(yōu)勢(shì)柱對(duì)雙眼信息的處理.ODAD 算法的模型如圖1 所示.

圖1 基于眼優(yōu)勢(shì)的非對(duì)稱失真立體圖像質(zhì)量評(píng)價(jià)算法框圖Fig.1 The diagram of asymmetrically distorted SIQA algorithm based on ocular dominance

與使用單幅基于Gabor 濾波響應(yīng)獨(dú)眼圖像的SIQA 算法[13?18],以及使用左右眼優(yōu)勢(shì)之間的差異及視差補(bǔ)償?shù)腟IQA 算法[19?20]不同,ODAD 算法利用失真圖像的梯度幅值響應(yīng)圖像(Gradient magnitude response image,GMRI)來(lái)模擬人類視覺輸入刺激,分別以左和右視點(diǎn)圖像作為主視圖,合成兩幅融合圖像(左和右融合圖像)來(lái)增強(qiáng)算法對(duì)非對(duì)稱失真圖像的評(píng)價(jià)準(zhǔn)確性和魯棒性.在提取雙目圖像特征時(shí),利用旋轉(zhuǎn)不變統(tǒng)一局部二值模式(Rotation invariant uniform local binary patterns,RIU-LBP)[21]直方圖描述左右融合圖像的特點(diǎn)和差異,利用皮爾遜線性相關(guān)系數(shù)(Pearson linear correlation coefficient,PLCC)獲取融合圖像鄰域像素之間的相關(guān)性變化.同時(shí),采用非對(duì)稱廣義高斯(Asymmetric generalized Gaussian distribution,AGGD)模型擬合單目圖像的GMRIs 及其鄰域像素之間乘積圖的統(tǒng)計(jì)分布,并利用PLCC 來(lái)量化GMRIs 鄰域像素之間的相關(guān)程度.最終,利用自適應(yīng)增強(qiáng)的支持向量回歸(Support vector regression,SVR)算法將雙目與單目圖像的感知特征值映射為立體圖像質(zhì)量值,并在多個(gè)基準(zhǔn)測(cè)試數(shù)據(jù)庫(kù)上驗(yàn)證所提出算法的性能和執(zhí)行效率.

1 梯度幅值響應(yīng)圖像

經(jīng)典的Gabor 濾波器因其可以通過(guò)在頻域的多個(gè)尺度和多個(gè)方向上的圖像信息來(lái)描述圖像輪廓,在許多SIQA 算法[14?16]中被使用.但是Gabor變換是一種非正交變換,其不同特征分量中存在較多冗余信息,且計(jì)算所耗費(fèi)的時(shí)間和存儲(chǔ)空間較大,會(huì)使算法的效率降低.而圖像中局部梯度幅值最大的像素點(diǎn)也可以形成物體的輪廓,能夠描述人眼感知系統(tǒng)非常敏感的圖像局部語(yǔ)義結(jié)構(gòu)信息[22?23].因此,本文使用圖像的梯度幅值響應(yīng)來(lái)模擬人類視覺刺激輸入強(qiáng)度.

對(duì)給定的圖像I(x,y),可以使用高斯偏導(dǎo)數(shù)濾波器計(jì)算GMRI(G(x,y)),具體計(jì)算公式如下:

其中,?是卷積操作,fd(x,y|σ)是應(yīng)用在圖像水平和垂直方向的高斯偏導(dǎo)濾波器,g(x,y|σ)是各向同性高斯函數(shù),σ是高斯函數(shù)的尺度參數(shù).

為了說(shuō)明GMRI 和Gabor 濾波圖像的不同,圖2以一幅失真圖像為例,給出該圖像及其GMRI 和Gabor 濾波圖像[14?15].從圖2 可以看出,盡管Gabor濾波響應(yīng)更為明亮一些,但Gabor 濾波圖像的邊緣較為模糊,而GMRI 的邊緣信息更加清晰,說(shuō)明梯度幅值響應(yīng)能夠更好地測(cè)量局部區(qū)域的亮度強(qiáng)度變化,刻畫出圖像的結(jié)構(gòu)信息.此外,以LIVE Phase I 數(shù)據(jù)庫(kù)[14]中的10 幅 640×360 的圖像為例,計(jì)算10 幅圖像的GMRIs 的平均時(shí)間只需要0.0103 s,僅是計(jì)算Gabor 濾波圖像[14?15]平均時(shí)間4.6516 s的0.22 %,說(shuō)明了使用梯度幅值的高效性.

圖2 失真圖像及其GMRI 和Gabor 濾波圖像Fig.2 The distorted image,the GMRI,and the Gabor response image

2 左右融合圖像的生成

2.1 眼優(yōu)勢(shì)柱的視覺原理

Hubel 和Wiesel 在研究貓和獼猴的視覺皮層時(shí)發(fā)現(xiàn)視覺皮層中存在著多種工作機(jī)制不同的細(xì)胞[7,24].其中,有一些細(xì)胞只能被左眼或右眼所驅(qū)動(dòng),即是被單目(Monocular)驅(qū)動(dòng)的.還有一些細(xì)胞能夠被雙目(Binocular)同時(shí)驅(qū)動(dòng),且兩眼輸入對(duì)雙目細(xì)胞的影響并不完全相同,存在眼優(yōu)勢(shì)現(xiàn)象,即雙目細(xì)胞對(duì)某一只眼的輸入存在偏好,更多地根據(jù)該眼的輸入強(qiáng)度來(lái)產(chǎn)生響應(yīng)信號(hào).

圖3 獼猴視覺皮層的橫截面示意圖Fig.3 A cross section through striate cortex in macaque monkey

圖3 以獼猴視覺皮層的一個(gè)橫截面示意圖[7]來(lái)說(shuō)明眼優(yōu)勢(shì)現(xiàn)象.其中,截面的上邊界是視覺皮層的表面,下邊界是視覺皮層V1 層與腦白質(zhì)(White matter)之間的邊界.Hubel 和Wiesel 將電極沿垂直方向和斜向方向插入視覺皮層,來(lái)檢測(cè)視覺皮層不同區(qū)域的細(xì)胞對(duì)左右眼輸入的響應(yīng)情況.當(dāng)從視覺皮層垂直方向插入電極時(shí),檢測(cè)到的所有雙目細(xì)胞只對(duì)左眼或右眼的輸入存在更為強(qiáng)烈的響應(yīng);將電極斜插入視覺皮層,會(huì)交替檢測(cè)到對(duì)左眼或右眼輸入響應(yīng)更為強(qiáng)烈的雙目細(xì)胞.圖3 將對(duì)左眼與對(duì)右眼輸入響應(yīng)更為強(qiáng)烈的區(qū)域分別標(biāo)記為 LR和 RL,則可以看到在視覺皮層的水平方向上存在著交替相鄰的 RL和 LR區(qū)域.視覺皮層的第4 層(IVc 層)還包含了只對(duì)左眼與只對(duì)右眼輸入產(chǎn)生響應(yīng)的區(qū)域,分別標(biāo)記為L(zhǎng) 和R.Hubel 和Wiesel 將這些水平方向相鄰的垂直條帶區(qū)域稱之為眼優(yōu)勢(shì)柱,眼優(yōu)勢(shì)柱內(nèi)所有細(xì)胞都只對(duì)來(lái)自于左眼或來(lái)自于右眼的輸入產(chǎn)生更強(qiáng)的響應(yīng).1997 年,Menon 等[8]通過(guò)功能磁共振成像的方法證實(shí)了人類的視覺皮層中同樣存在眼優(yōu)勢(shì)現(xiàn)象及眼優(yōu)勢(shì)柱.

2.2 左右融合圖像的生成

由眼優(yōu)勢(shì)的視覺原理可以看出,眼優(yōu)勢(shì)柱中存在兩種不同的雙目細(xì)胞.然而,目前大部分基于單幅獨(dú)眼圖像的SIQA 算法[13?18]僅僅模擬了人類視覺皮層中左眼優(yōu)勢(shì)柱中雙目細(xì)胞的功能,忽略了右眼優(yōu)勢(shì)柱中的雙目細(xì)胞.因此,本文分別以左和右視點(diǎn)圖像作為主視圖,合成兩幅融合圖像來(lái)模擬視覺皮層中左和右眼優(yōu)勢(shì)柱中兩類雙目細(xì)胞的功能,實(shí)現(xiàn)非對(duì)稱的立體圖像質(zhì)量評(píng)價(jià).

以左視點(diǎn)圖像作為主視圖生成左融合圖像的計(jì)算方法為:

其中,FL(x,y)為左融合圖像,IL(x,y) 和IR(x+d,y)表示左視點(diǎn)圖像和經(jīng)過(guò)移位后的右視點(diǎn)圖像,ELL(x,y)和ELR(x+d,y)表示左和右眼視覺刺激的刺激強(qiáng)度(權(quán)重系數(shù)),GL(x,y)為左GMRI,GR(x+d,y)為根據(jù)視差d移位后的右GMRI,d為左和右視點(diǎn)圖像之間的視差,采用Chen 等在文獻(xiàn)[14]中所使用的滑動(dòng)窗口SSIM[25]算法來(lái)計(jì)算.

以右視點(diǎn)圖像作為主視圖生成右融合圖像的計(jì)算方法為:

其中,FR(x,y)為右融合圖像,IL(x?d,y)和IR(x,y)表示經(jīng)過(guò)移位后的左視點(diǎn)圖像和右視點(diǎn)圖像,ERL(x?d,y)和ERR(x,y)表示左和右眼視覺刺激的權(quán)重系數(shù),GL(x?d,y)和GR(x,y)分別對(duì)應(yīng)移位后的左GRMI 和右GRMI,d為左右視點(diǎn)圖像之間的視差.

為了說(shuō)明左和右兩幅融合圖像的特點(diǎn)和差異,從WATERLOO-IVC 3D IQA Phase II 數(shù)據(jù)庫(kù)[26](以下簡(jiǎn)稱為IVC Phase II 數(shù)據(jù)庫(kù))中選取4 類失真圖像作為示例,在圖4 中給出這些失真圖像及其左右融合圖像.其中包括高斯模糊(Gaussian blur,GB)對(duì)稱失真、JPEG 對(duì)稱失真、左視點(diǎn)為白噪聲(White noise,WN)失真右視點(diǎn)為JPEG 失真的非對(duì)稱失真以及左視點(diǎn)為GB 失真右視點(diǎn)為WN 失真的非對(duì)稱失真圖像.圖4 中將融合圖像中用矩形框所圈的人的頭像部分放大顯示,以便展示更多融合圖像的細(xì)節(jié)信息.

從圖4(a)和4(b)可以看出,GB 對(duì)稱失真以及JPEG 對(duì)稱失真圖像的左和右融合圖像較為相似.從圖4(c)可以看出,GB-WN 失真圖像的右融合圖像更多顯示出WN 失真的特性,而左融合圖像相比于右融合圖像更為模糊.此外,圖4(d)所示的WN-JPEG 失真圖像也有著類似的特性.由此可見,當(dāng)立體圖像為對(duì)稱失真圖像時(shí),其左和右融合圖像十分近似;當(dāng)左右視點(diǎn)圖像失真類型不同時(shí),左和右融合圖像存在著明顯的差異,左融合圖像與左視點(diǎn)圖像更為相近,右融合圖像與右視點(diǎn)圖像更為相近.

圖4 各類失真圖像及其左右融合圖像(從左至右的圖像依次為左視點(diǎn)、右視點(diǎn)、左融合和右融合圖像)Fig.4 The distorted images and their left and right fusion images for various distortion types (Images from left to right are left view,right view,left fusion image,and right fusion image)

為了量化這種眼優(yōu)勢(shì)效果,選取WATERLOO-IVC 3D IQA Phase I 數(shù)據(jù)庫(kù)[9](以下簡(jiǎn)稱為IVC Phase I 數(shù)據(jù)庫(kù))中的100 幅失真立體圖像(其中包括對(duì)稱失真圖像26 幅,非對(duì)稱失真圖像74 幅),計(jì)算各圖像的左右融合圖像(記為FI-L 和FIR)與左右視點(diǎn)圖像(記為I-L 和I-R)之間的相關(guān)性及相似性,將所有圖像的相似性與相關(guān)性的中值列在表1 中.其中,相關(guān)性用兩幅圖像之間的PLCC 值來(lái)表示,相似性用SSIM 算法來(lái)計(jì)算.從表1 可以看出,無(wú)論是對(duì)稱失真還是非對(duì)稱失真圖像,FI-L 與I-L 之間的相似性和相關(guān)性比FI-L 與I-R 之間的相似性和相關(guān)性取值更大,而FI-R 與IR 之間的相似性和相關(guān)性取值也明顯大于FI-R 與I-L 之間的相似性和相關(guān)性.其原因在于左和右融合圖像分別是以左和右視點(diǎn)圖像作為主視圖生成的,分別包含了更多左視點(diǎn)和右視點(diǎn)圖像的信息,模擬了眼優(yōu)勢(shì)的效應(yīng).

3 圖像質(zhì)量特征提取與評(píng)價(jià)模型

視覺信息的處理是一個(gè)十分復(fù)雜的過(guò)程,雙目視覺實(shí)現(xiàn)了兩眼信息的融合,而單目視覺信息為立體視覺提供了最基本的保障[7].因此,本文從模擬HVS 雙目匯聚特性的左右融合圖像和描述圖像單目特性的左右GMRIs 中提取多種圖像質(zhì)量特征,用于立體圖像質(zhì)量預(yù)測(cè).

3.1 雙目圖像特征提取

失真立體圖像的左和右融合圖像之間存在著細(xì)微的差別,這種差別在非對(duì)稱失真立體圖像的左右融合圖像中尤為突出.本文利用RIU-LBP 算子[21]和鄰域像素之間的相關(guān)系數(shù),來(lái)獲取左右融合圖像中能夠描述這些細(xì)微差別、反映圖像質(zhì)量改變的特征作為雙目統(tǒng)計(jì)特征.

LBP 是一種經(jīng)典的描述圖像局部結(jié)構(gòu)信息的紋理算子.RIU-LBP 是一種擴(kuò)展的LBP 編碼,用于提高LBP 的描述能力,其基本思想是以中心像素為閾值,在半徑為R的圓形鄰域內(nèi),選取P個(gè)與中心像素距離相等的點(diǎn)gi(i=0,1,···,P?1)與中心像素gc的灰度值進(jìn)行比較,并通過(guò)統(tǒng)一化處理編碼,使編碼種類降低到P+2 種,以獲取圖像中的大尺寸結(jié)構(gòu)特征.RIU-LBP 的定義為:

其中,P為鄰域像素的個(gè)數(shù),R為鄰域像素的半徑,U指空間轉(zhuǎn)換時(shí)0-1 和1-0 轉(zhuǎn)換的次數(shù),s(gi?gc)是融合圖像的一個(gè)局部區(qū)域內(nèi)鄰域像素gi(i=0,1,···,P?1)與中心像素gc的比較函數(shù).最終,將左右融合圖像的RIU-LBP 直方圖統(tǒng)計(jì)作為圖像的雙目特征.RIU-LBP 直方圖定義為:

其中,k∈[0,P+1],P+1是RIU-LBP 中包含的編碼最大值,c為常量,用于避免為零的情況出現(xiàn).本文設(shè)置P=8,R=1,則可以得到0-9 共十種編碼的統(tǒng)計(jì)直方圖.

圖5 給出了圖4 所示四種失真立體圖像的左右融合圖像RIU-LBP 直方圖.從圖5 可以看出,對(duì)稱失真立體圖像的左右融合圖像的RIU-LBP 直方圖分布近似相同,而非對(duì)稱失真立體圖像的左右融合圖像的RIU-LBP 直方圖存在明顯差異,說(shuō)明RIU-LBP 直方圖能較好地描繪出左右融合圖像中所包含的差異信息.

表1 失真立體圖像的兩幅融合圖像與左右視點(diǎn)圖像之間的相似性和相關(guān)性Table 1 The similarity and correlation between the two fusion images and the stereo pair

圖5 各類失真圖像的左右融合圖像的RIU-LBP 直方圖Fig.5 RIU-LBP histograms of the left and right fusion images for different distortion types

另外,自然圖像中各像素與其鄰域像素之間存在著緊密地聯(lián)系,當(dāng)圖像結(jié)構(gòu)因?yàn)槭д娑l(fā)生改變時(shí),鄰域像素之間的密切關(guān)聯(lián)性會(huì)發(fā)生改變[27].為了量化失真對(duì)融合圖像相鄰像素之間關(guān)聯(lián)性的改變程度,本文計(jì)算了左右融合圖像在水平(ρh)、垂直(ρv)、主對(duì)角線(ρm)和次對(duì)角線(ρs)方向上鄰域像素之間PLCC 值.PLCC 的計(jì)算方法具體如下:

其中,F是尺寸為W ×L的左右融合圖像,X和Y是各轉(zhuǎn)換圖像中的子塊,子塊大小為M ×N,m=1,2,···,M和n=1,2,···,N是像素索引,和分別是X和Y的均值,P(X,Y)為X和Y的PLCC 計(jì)算函數(shù).PLCC 的取值范圍為[?1,1],其絕對(duì)值越大表示鄰域像素之間的相關(guān)性越強(qiáng).

為了說(shuō)明融合圖像在四個(gè)方向上鄰域像素之間的PLCC 值與立體圖像質(zhì)量的關(guān)系,從LIVE 3D IQA Phase II 數(shù)據(jù)庫(kù)[28](以下簡(jiǎn)稱為L(zhǎng)IVE Phase II 數(shù)據(jù)庫(kù))中選取4 幅主觀評(píng)價(jià)差值(Difference mean opinion score,DMOS)值不同的失真立體圖像作為示例,圖6 給出了各圖像的左右融合圖像在四個(gè)方向上鄰域像素之間的PLCC 取值變化圖.其中,PLCC 根據(jù)DMOS 值按從大到小的順序排列,DMOS 值越大表示圖像質(zhì)量越差.可以看出,盡管所選立體圖像的失真較為復(fù)雜,各失真圖像的左和右融合圖像在四個(gè)方向上的PLCC 取值都會(huì)隨著DMOS 值的減小而減小,說(shuō)明鄰域像素相關(guān)性特征可以描述圖像質(zhì)量的改變.

3.2 單目圖像特征提取

單目圖像特征從左右視點(diǎn)的GMRIs 中獲取,具體包括統(tǒng)計(jì)分布特征、鄰域像素乘積圖統(tǒng)計(jì)分布特征以及鄰域像素之間的相關(guān)性特征.首先采用均值減損對(duì)比度歸一化方法[27]對(duì)左右視點(diǎn)的GMRIs進(jìn)行處理,使GMRIs 具有顯著的統(tǒng)計(jì)特性,便于提取感知特征.具體歸一化方法為:

圖6 左和右融合圖像的鄰域像素之間PLCC 值取值變化圖Fig.6 The variation of the PLCC values between neighboring pixels in the left and right fusion images

其中,G(i,j)是尺寸為M ×N的GMRI,i=1,2,···,M,j=1,2,···,N;μ(i,j)和σ(i,j)分別為GMRI 的局部均值和方差;C 為常量,用于避免出現(xiàn)局部方差為零的情況;ωk,l是長(zhǎng)和寬分別為(2K+1)和(2L+1)的二維高斯加權(quán)函數(shù),K=L=3.

圖7 歸一化GMRIs 的統(tǒng)計(jì)分布(以右視點(diǎn)為例)Fig.7 The distribution of normalized GMRIs (take the right view as an example)

歸一化GMRI 的分布具有一定的統(tǒng)計(jì)規(guī)律.以IVC Phase I 數(shù)據(jù)庫(kù)中的失真立體圖像為例,圖7給出了GMRIs 的統(tǒng)計(jì)分布圖(限于篇幅僅給出右視點(diǎn)的GMRIs).可以看出,JPEG 對(duì)稱失真、GB 對(duì)稱失真以及GB-WN 非對(duì)稱失真圖像的GMRIs 的分布具有拉普拉斯分布的特點(diǎn),且分布的左右拖尾長(zhǎng)度不一致;WN-JPEG 非對(duì)稱失真圖像的GMRI 的分布更趨近于高斯分布,且分布存在明顯的偏移,即分布的均值不為零.因此,本文使用非零均值的AGGD 模型來(lái)擬合這些統(tǒng)計(jì)分布.

非零均值A(chǔ)GGD 模型參數(shù)的具體計(jì)算方法為:

其中,α是AGGD模型的形狀參數(shù),和反映分布在左右兩側(cè)的衰減程度,μ是均值,當(dāng)μ0時(shí),說(shuō)明分布存在偏移.記將左和右GMRIs的統(tǒng)計(jì)分布參數(shù) (α,σ2,μ)作為單目圖像特征之一.

左右GMRIs 的相鄰像素之間的關(guān)聯(lián)性改變也可以用來(lái)衡量圖像質(zhì)量的變化.一方面,利用圖像鄰域像素之間乘積圖的統(tǒng)計(jì)分布來(lái)描述失真帶來(lái)的圖像局部結(jié)構(gòu)的變化情況.另一方面,通過(guò)GMRIs 鄰域像素之間的PLCC 來(lái)度量失真對(duì)圖像鄰域像素之間關(guān)聯(lián)性的改變程度.

歸一化的GMRI 在水平(Dh)、垂直(Dv)、主對(duì)角線(Dm)和次對(duì)角線(Ds)方向上鄰域像素之間的乘積圖定義為:

其中,N(i,j)是經(jīng)過(guò)歸一化處理的GMRI.為了說(shuō)明鄰域像素乘積圖的統(tǒng)計(jì)特性,圖8 給出了IVC Phase I 數(shù)據(jù)庫(kù)中4 類失真圖像的GMRIs 在水平方向鄰域像素之間乘積圖的統(tǒng)計(jì)分布.

圖8 GMRI 在水平方向的鄰域像素乘積圖統(tǒng)計(jì)分布(以右視點(diǎn)為例)Fig.8 The distribution of the neighboring products of GMRI along horizontal direction (take the right view as an example)

從圖8 可以看出,GMRIs 的鄰域像素乘積圖的統(tǒng)計(jì)分布符合零均值非對(duì)稱廣義高斯分布的特點(diǎn),因此本文采用零均值A(chǔ)GGD 模型來(lái)擬合其分布[27].零均值A(chǔ)GGD 模型參數(shù)可以利用式(23)來(lái)計(jì)算,計(jì)算時(shí)將式(23)中的μ設(shè)置為0.計(jì)算所得的α是零均值A(chǔ)GGD模型的形狀參數(shù),表示分布在左右兩側(cè)的衰減程度.另外,計(jì)算η=(βr?βl)Γ(2/α)/Γ(1/α),將左右GMRIs 在四個(gè)鄰域方向的(α,σl2,σr2,η)作為單目圖像特征之一.

此外,本文還利用式(15)～(18)計(jì)算兩幅GMRIs 在水平、垂直、主對(duì)角線和次對(duì)角線四個(gè)方向上鄰域像素的PLCC 值作為單目圖像質(zhì)量特征之一.

3.3 總體評(píng)價(jià)模型

ODAD 算法從左和右融合圖像分別提取的雙目統(tǒng)計(jì)特征包括:10 維RIU-LBP 直方圖特征和4 維鄰域像素的相關(guān)性特征.從左和右GMRIs 中分別提取的單目圖像特征包括:3 維統(tǒng)計(jì)分布特征,4 維鄰域像素的相關(guān)性特征,以及16 維鄰域像素乘積圖的統(tǒng)計(jì)分布特征.為了獲取最終用于圖像質(zhì)量預(yù)測(cè)的感知特征,本文基于視覺特征整合作用假說(shuō)[29]對(duì)上述特征做了進(jìn)一步的整合.通過(guò)計(jì)算左和右GMRIs 特征的均值,來(lái)模擬視覺皮層單目細(xì)胞之間的相互作用.通過(guò)計(jì)算左和右融合圖像特征的均值,來(lái)模擬不同眼優(yōu)勢(shì)柱之間的相互作用.這樣,在一個(gè)尺度上可以得到37 個(gè)經(jīng)過(guò)整合的視覺特征.考慮到多尺度方法可以獲得更多對(duì)圖像質(zhì)量變化敏感的特征,本文最終在2 個(gè)尺度上提取了74 個(gè)特征值來(lái)描述圖像質(zhì)量.

在將感知特征映射為圖像質(zhì)量值時(shí),最常使用的方法是訓(xùn)練SVR 預(yù)測(cè)模型.SVR 是針對(duì)小樣本統(tǒng)計(jì)估計(jì)和預(yù)測(cè)學(xué)習(xí)準(zhǔn)確性較高的回歸模型,其預(yù)測(cè)準(zhǔn)確性和泛化能力很大程度依賴于其核心函數(shù)的參數(shù)選擇.通常來(lái)說(shuō),使用單一的SVR 預(yù)測(cè)模型就可以在單個(gè)測(cè)試數(shù)據(jù)庫(kù)上得到非常高的預(yù)測(cè)準(zhǔn)確性.然而,在不同測(cè)試數(shù)據(jù)庫(kù)上執(zhí)行交叉驗(yàn)證實(shí)驗(yàn)時(shí),使用單一的SVR 預(yù)測(cè)模型穩(wěn)定性并不高.為了保證預(yù)測(cè)模型在單個(gè)測(cè)試數(shù)據(jù)庫(kù)上的預(yù)測(cè)準(zhǔn)確性,并提高預(yù)測(cè)模型在交叉驗(yàn)證實(shí)驗(yàn)中的穩(wěn)定性,本文利用AdaBoost 算法以及多個(gè)不同的SVR 構(gòu)成一個(gè)穩(wěn)定性更高的預(yù)測(cè)模型,簡(jiǎn)記為AdaBoost-SVR.

AdaBoost-SVR 質(zhì)量預(yù)測(cè)模型的結(jié)構(gòu)如圖9 所示.算法的基本思想是訓(xùn)練多個(gè)弱學(xué)習(xí)算法來(lái)構(gòu)成一個(gè)更加穩(wěn)定的準(zhǔn)確性高的強(qiáng)學(xué)習(xí)算法,在訓(xùn)練過(guò)程中不同的學(xué)習(xí)算法可以跟蹤訓(xùn)練集的分布,并自適應(yīng)地根據(jù)弱假設(shè)誤差率調(diào)整每個(gè)樣本的權(quán)重.

圖9 中,將T個(gè)SVR 作為AdaBoost 算法中的多個(gè)學(xué)習(xí)模型.Di為第i個(gè)SVR 的分布,ai為第i個(gè)SVR 的權(quán)重,i=1,2,···,T.對(duì)特征向量為X的圖像,第i個(gè)SVR 預(yù)測(cè)的質(zhì)量值為計(jì)算多個(gè)預(yù)測(cè)值的加權(quán)和就可以得到立體圖像的質(zhì)量值.為了訓(xùn)練AdaBoost-SVR 預(yù)測(cè)模型,首先利用LIBSVM[30]軟件包在測(cè)試數(shù)據(jù)庫(kù)上訓(xùn)練單一的SVR 預(yù)測(cè)模型(使用徑向基核函數(shù)作為核函數(shù)),記錄多組使單一SVR 具有較優(yōu)預(yù)測(cè)準(zhǔn)確性的參數(shù),然后選取T組參數(shù)訓(xùn)練T個(gè)SVR.

圖9 基于Adaboost-SVR 的預(yù)測(cè)模型Fig.9 AdaBoost-SVR based prediction model

對(duì)于包含K 個(gè)訓(xùn)練樣本的訓(xùn)練集{(X1,y1),···,(Xj,yj),···,(XK,yK)},yj ∈R,yj為第j幅圖像的真實(shí)質(zhì)量值,Xj為每幅圖像的特征向量,為第i個(gè)SVR 預(yù)測(cè)出的第j幅圖像的質(zhì)量值.利用訓(xùn)練集數(shù)據(jù)依次訓(xùn)練T個(gè)SVR,第i個(gè)SVR 的分布Di計(jì)算如下

其中,l(x)是一個(gè)二元指示函數(shù),當(dāng)x大于閾值t時(shí),l(x)為1,否則l(x)為0,σ是一個(gè)在[0,1]之間的常量,本文中設(shè)置T=3,σ=0.1 .結(jié)合圖像質(zhì)量預(yù)測(cè)值與其真實(shí)質(zhì)量值之間的差值與對(duì)應(yīng)的分布Di,j,計(jì)算第i個(gè)SVR 的誤差

為了使錯(cuò)誤率較高的SVR 權(quán)重較低,錯(cuò)誤率較低的SVR 的權(quán)重較高,第i個(gè)SVR 的權(quán)重ai計(jì)算公式為

最終的圖像質(zhì)量值計(jì)算公式為

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)環(huán)境配置

本文所提出的算法在IVC Phase I[9]、IVC Phase II[26]、LIVE Phase II[28]和LIVE Phase I 數(shù)據(jù)庫(kù)[14]上執(zhí)行了測(cè)試.其中,IVC Phase I、IVC Phase II 和LIVE Phase II 數(shù)據(jù)庫(kù)為對(duì)稱與非對(duì)稱失真混合數(shù)據(jù)庫(kù),分別包含330 幅、460 幅和360 幅失真立體圖像;LIVE Phase I 為對(duì)稱失真數(shù)據(jù)庫(kù),包含365 幅失真立體圖像.對(duì)比算法包括:全參考算法SSIM[25]、MSSSIM[31]、IDW-SSIM[9]和Chen FR[14]算法,無(wú)參考算法Chen NR[15]、Su[16]、SINQ[18]和BRISQUE[27]算法,以及文獻(xiàn)[32]和文獻(xiàn)[33]新近提出的算法,其中文獻(xiàn)[33]算法是基于卷積神經(jīng)網(wǎng)絡(luò)的S I Q A 算法.為了描述簡(jiǎn)便,下文將SSIM 算法簡(jiǎn)寫為SS,MSSSIM 算法簡(jiǎn)寫為MS,BRISQUE 算法簡(jiǎn)寫為BR,IDW-SSIM 算法簡(jiǎn)寫為IDW,Chen FR 算法簡(jiǎn)寫為CF,Chen NR 算法簡(jiǎn)寫為CN,SINQ 算法簡(jiǎn)寫為SI.由于CN[15]、Su[16]、文獻(xiàn)[32]和文獻(xiàn)[33]算法代碼未公開,實(shí)驗(yàn)數(shù)據(jù)均來(lái)自對(duì)應(yīng)文獻(xiàn).IDW[9]在IVC Phase I 和IVC Phase II 數(shù)據(jù)庫(kù)的實(shí)驗(yàn)數(shù)據(jù)來(lái)自于文獻(xiàn)[9]的2017 年擴(kuò)展版算法的實(shí)驗(yàn)結(jié)果.將各算法預(yù)測(cè)的圖像質(zhì)量值與DMOS 或平均主觀值(Mean opinion scores,MOS)之間的斯皮爾曼秩相關(guān)系數(shù)(Spearman rank order correlation coefficient,SROCC),PLCC 和均方根誤差(Root mean squared error,RMSE)作為預(yù)測(cè)準(zhǔn)確性指標(biāo).實(shí)驗(yàn)的硬件平臺(tái)為Intel i7-6820HQ、2.7 GHz CPU,16 GB 內(nèi)存,編程環(huán)境為MATLAB 2014b.

4.2 算法的準(zhǔn)確性與魯棒性

為了說(shuō)明ODAD 算法評(píng)價(jià)非對(duì)稱失真立體圖像的準(zhǔn)確性,在IVC Phase I、IVC Phase II 和LIVE Phase II 數(shù)據(jù)庫(kù)的非對(duì)稱失真圖像部分進(jìn)行測(cè)試,測(cè)試結(jié)果列于表2.這三個(gè)數(shù)據(jù)庫(kù)分別包含252、330 和280 幅非對(duì)稱失真圖像.實(shí)驗(yàn)中,所有無(wú)參考SIQA 算法采用8:2 的比例將測(cè)試數(shù)據(jù)庫(kù)隨機(jī)分配為訓(xùn)練集和測(cè)試集,保證兩個(gè)子集無(wú)重疊,并以1 000 次實(shí)驗(yàn)的SROCC、PLCC 和RMSE 中值進(jìn)行比較.從表2 可以看出,ODAD 和IDW[9]在IVC Phase I 和IVC Phase II 數(shù)據(jù)庫(kù)的準(zhǔn)確性最高,在LIVE Phase II 數(shù)據(jù)庫(kù)上SI[18]和ODAD 的評(píng)價(jià)準(zhǔn)確性最高.由于IVC Phase I 和IVC Phase II 數(shù)據(jù)庫(kù)中包含了兩個(gè)視點(diǎn)失真類型不同的復(fù)雜非對(duì)稱失真圖像,絕大部分對(duì)比算法在這兩個(gè)數(shù)據(jù)庫(kù)上的評(píng)價(jià)準(zhǔn)確性都較低,但ODAD 的SROCC 和PLCC 均達(dá)到0.95 以上,且RMSE 取值最低,說(shuō)明ODAD 在預(yù)測(cè)非對(duì)稱失真立體圖像質(zhì)量時(shí)具有最好的評(píng)價(jià)準(zhǔn)確性.

表3 和表4 還分別列出了各算法在IVC Phase I、IVC Phase II 和LIVE Phase II 數(shù)據(jù)庫(kù)的對(duì)稱失真圖像和整體數(shù)據(jù)庫(kù)上的測(cè)試結(jié)果.實(shí)驗(yàn)時(shí),無(wú)參考算法仍然采用8:2 的比例將數(shù)據(jù)庫(kù)中各部分的圖像分為無(wú)重復(fù)圖像的訓(xùn)練集和測(cè)試集,將1 000 次重復(fù)實(shí)驗(yàn)結(jié)果的中值進(jìn)行對(duì)比.

表2 各算法在基準(zhǔn)測(cè)試數(shù)據(jù)庫(kù)中的非對(duì)稱失真圖像部分預(yù)測(cè)結(jié)果比較Table 2 The comparison between SIQA algorithms on the asymmetrically distorted images in benchmark databases

表3 各算法在基準(zhǔn)測(cè)試數(shù)據(jù)庫(kù)中的對(duì)稱失真圖像部分預(yù)測(cè)結(jié)果比較Table 3 The comparison between SIQA algorithms on the symmetrically distorted images in benchmark databases

從表3 可以看出,ODAD 算法在IVC Phase I 和IVC Phase II 數(shù)據(jù)庫(kù)上的三個(gè)評(píng)價(jià)指標(biāo)明顯優(yōu)于大部分對(duì)比算法,僅在LIVE Phase II 數(shù)據(jù)庫(kù)的對(duì)稱失真圖像部分評(píng)價(jià)準(zhǔn)確性稍低,說(shuō)明該算法在評(píng)價(jià)對(duì)稱失真圖像時(shí)也可以獲得較高的評(píng)價(jià)準(zhǔn)確性.從表4 可以看出,在混合了對(duì)稱與非對(duì)稱失真圖像的整體數(shù)據(jù)庫(kù)測(cè)試中,ODAD 算法的各項(xiàng)性能指標(biāo)均優(yōu)于其他算法的指標(biāo),說(shuō)明ODAD 算法的準(zhǔn)確性和魯棒性相對(duì)最好.

此外,表5 還給出各算法在經(jīng)典的對(duì)稱失真立體圖像數(shù)據(jù)庫(kù)LIVE Phase I 數(shù)據(jù)庫(kù)上的測(cè)試結(jié)果.從表5 可以看出,ODAD 算法在LIVE Phase I 數(shù)據(jù)庫(kù)上的SROCC 和PLCC 達(dá)到0.96 以上,明顯優(yōu)于其他對(duì)比算法,且RMSE 最低,這也進(jìn)一步說(shuō)明ODAD 在評(píng)價(jià)對(duì)稱失真立體圖像時(shí)可以獲得較高的準(zhǔn)確性,具有較好的魯棒性.

4.3 交叉驗(yàn)證實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證ODAD 算法的通用性,執(zhí)行交叉驗(yàn)證實(shí)驗(yàn).以IVC Phase I 數(shù)據(jù)庫(kù)和LIVE Phase II 數(shù)據(jù)庫(kù)為例,分別將這兩個(gè)數(shù)據(jù)庫(kù)作為訓(xùn)練集,將另外三個(gè)數(shù)據(jù)庫(kù)作為測(cè)試集(僅對(duì)無(wú)參考的BR[27]、SI[18]和ODAD 算法進(jìn)行比較).表6 列出了各算法預(yù)測(cè)值與人類主觀評(píng)價(jià)值之間的SROCC和PLCC.可以看出,由于交叉實(shí)驗(yàn)中訓(xùn)練集和測(cè)試集包含的失真圖像的內(nèi)容、失真類型、失真程度等差異較大,各算法的評(píng)價(jià)準(zhǔn)確性都不是特別高.相對(duì)來(lái)說(shuō),ODAD 算法訓(xùn)練的預(yù)測(cè)模型對(duì)不同的測(cè)試數(shù)據(jù)庫(kù)仍具有較好的適應(yīng)性,說(shuō)明本文所提取的圖像特征及預(yù)測(cè)模型具有較好的泛化能力.

表4 各算法在對(duì)稱與非對(duì)稱失真數(shù)據(jù)庫(kù)上的預(yù)測(cè)結(jié)果比較Table 4 The comparison between SIQA algorithms on the symmetrically and asymmetrically distorted databases

表5 各算法在LIVE Phase I 數(shù)據(jù)庫(kù)上的SROCC、PLCC 和RMSE 比較Table 5 The comparison between SIQA algorithms in terms of SROCC,PLCC,and RMSE on LIVE Phase I database

表6 交叉驗(yàn)證實(shí)驗(yàn)結(jié)果Table 6 The experimental results on cross database tests

4.4 算法的一致性

為了對(duì)比各算法預(yù)測(cè)值與人類主觀評(píng)價(jià)值的一致程度,以IVC Phase I 數(shù)據(jù)庫(kù)為例進(jìn)行實(shí)驗(yàn).其中,全參考算法SS[25]、IDW[9]和CF[14]算法直接計(jì)算出所有圖像的質(zhì)量值;無(wú)參考算法BR[27]、SI[18]及ODAD 算法采用8:2 的比例將數(shù)據(jù)庫(kù)隨機(jī)分為訓(xùn)練集和測(cè)試集,用訓(xùn)練集圖像訓(xùn)練預(yù)測(cè)模型,然后預(yù)測(cè)測(cè)試集圖像的質(zhì)量值,取5 次重復(fù)實(shí)驗(yàn)的結(jié)果進(jìn)行對(duì)比.各算法的預(yù)測(cè)值與圖像MOS 值對(duì)比的散點(diǎn)圖如圖10 所示.可以看出,ODAD 算法的散點(diǎn)分布較其他算法的聚集更為緊密均勻,說(shuō)明該算法預(yù)測(cè)結(jié)果與人類感知的一致性更高.

4.5 不同特征對(duì)算法性能的影響

ODAD 算法通過(guò)整合從立體圖像的左右融合圖像、左右GMRIs 中提取的多種感知特征,實(shí)現(xiàn)了圖像質(zhì)量預(yù)測(cè).為了詳細(xì)地分析使用不同特征對(duì)算法評(píng)價(jià)準(zhǔn)確性的影響,表7 列出了使用不同特征組合的ODAD 算法在各數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果.將僅使用左右GMRIs 的圖像特征的算法記為ODADGM;在ODAD-GM 基礎(chǔ)上增加了左融合圖像特征的算法記為ODAD-CL;在ODAD-GM 基礎(chǔ)上增加了右融合圖像特征的算法記為ODAD-CR;ODAD-148 表示直接使用四幅轉(zhuǎn)換圖像特征的算法;ODAD 表示使用整合的74 維特征的算法.從表7可以看出,盡管ODAD-GM 算法僅包含單目圖像特征,算法的預(yù)測(cè)準(zhǔn)確性較采用經(jīng)典NSS 特征的算法的預(yù)測(cè)準(zhǔn)確性已有大幅的提升,說(shuō)明本文采用的基于非零均值A(chǔ)GGD 模型和PLCC 所提取的單目圖像特征具有更強(qiáng)的描述能力,可以更好地反映圖像質(zhì)量變化.ODAD-CL 和ODAD-CR 算法包含了部分融合圖像特征,評(píng)價(jià)準(zhǔn)確性較ODAD-GM 有所提升.同時(shí),由于ODAD-CL 和ODAD-CR 算法只使用了一幅融合圖像的特征,兩個(gè)算法的評(píng)價(jià)準(zhǔn)確性較為接近.

圖10 各對(duì)比算法在IVC Phase I 數(shù)據(jù)庫(kù)上預(yù)測(cè)值與MOS 值的散點(diǎn)分布圖Fig.10 The scatter plots of the MOS values versus the quality scores predicted by the competing algorithms on IVC Phase I database

表7 各部分特征對(duì)ODAD 算法性能影響Table 7 The influence of each part of features on the performance of ODAD

ODAD-148 和ODAD 算法因?yàn)椴捎昧藘煞诤蠄D像的特征,在大部分測(cè)試數(shù)據(jù)庫(kù)上獲得了更好的評(píng)價(jià)準(zhǔn)確性.而ODAD 對(duì)四幅轉(zhuǎn)換圖像的特征做了進(jìn)一步整合,在包含了復(fù)雜非對(duì)稱失真圖像的IVC Phase I 數(shù)據(jù)庫(kù)和IVC Phase II 數(shù)據(jù)庫(kù)上測(cè)試時(shí),獲得了最高的評(píng)價(jià)準(zhǔn)確性.綜上可知,ODAD算法同時(shí)使用兩幅融合圖像的特征,并采用特征整合的方式可以更加準(zhǔn)確地描述失真立體圖像的特性,有利于提高算法的評(píng)價(jià)準(zhǔn)確性和魯棒性.

4.6 SVR 個(gè)數(shù)對(duì)算法性能的影響

為了比較使用不同個(gè)數(shù)的SVR 對(duì)算法評(píng)價(jià)準(zhǔn)確性的影響,本文對(duì)比了使用不同個(gè)數(shù)SVR 的AdaBoost-SVR 預(yù)測(cè)模型執(zhí)行獨(dú)立數(shù)據(jù)庫(kù)和交叉數(shù)據(jù)庫(kù)實(shí)驗(yàn)的測(cè)試結(jié)果,實(shí)驗(yàn)結(jié)果對(duì)比如圖11 所示,其中SVR 個(gè)數(shù)為1 時(shí)的AdaBoost-SVR 相當(dāng)于傳統(tǒng)的SVR 預(yù)測(cè)模型.

從圖11(a)給出的獨(dú)立數(shù)據(jù)庫(kù)實(shí)驗(yàn)結(jié)果可以看出,隨著SVR 的個(gè)數(shù)增加,算法的預(yù)測(cè)準(zhǔn)確性存在明顯的變化,當(dāng)SVR 個(gè)數(shù)為3 和10 時(shí),算法在各數(shù)據(jù)庫(kù)上的預(yù)測(cè)準(zhǔn)確性相對(duì)都更高.圖11(b)給出將IVC Phase I 數(shù)據(jù)庫(kù)作為訓(xùn)練集其他數(shù)據(jù)庫(kù)為測(cè)試集的對(duì)比結(jié)果.可以看出,由于訓(xùn)練集和測(cè)試集所包含的圖像差異很大,對(duì)于大多數(shù)測(cè)試集來(lái)說(shuō),隨著SVR 個(gè)數(shù)的增多,算法的預(yù)測(cè)準(zhǔn)確性會(huì)明顯的提高,但當(dāng)SVR 的個(gè)數(shù)大于一定數(shù)值時(shí),預(yù)測(cè)準(zhǔn)確性又會(huì)下降.總體來(lái)說(shuō),采用AdaBoost-SVR 來(lái)映射圖像質(zhì)量,有助于提高算法的預(yù)測(cè)準(zhǔn)確性和穩(wěn)定性.

4.7 算法復(fù)雜度與執(zhí)行時(shí)間比較

假設(shè)單目圖像包含N個(gè)像素,采用窗口尺寸為d1×d1的高斯偏導(dǎo)濾波計(jì)算左右視點(diǎn)圖像在2 個(gè)方向上的梯度值的時(shí)間復(fù)雜度為:計(jì)算視差圖時(shí),如果滑動(dòng)窗口的寬度置為d2,SSIM 算法中采用的局部窗口尺寸為d3×d3,則所需時(shí)間大約為生成兩幅融合圖像的時(shí)間復(fù)雜度為O(12N).從兩幅融合圖像中提取RIU-LBP 特征時(shí)間復(fù)雜度為 O(2PN),其中P為使用的鄰域像素個(gè)數(shù);計(jì)算融合圖像在4 個(gè)方向的鄰域像素之間相關(guān)性特征的時(shí)間復(fù)雜度為 O(8N);在歸一化GMRIs時(shí),設(shè)高斯窗口尺寸為d4×d4,則歸一化所需時(shí)間為O從GMRIs中特征提取統(tǒng)計(jì)分布特征和鄰域像素相關(guān)性特征的時(shí)間為O(18N).綜上所述,本文算法總的時(shí)間復(fù)雜度為,仍保持在線性階.

圖11 采用不同個(gè)數(shù)SVR 在獨(dú)立數(shù)據(jù)庫(kù)和交叉數(shù)據(jù)庫(kù)驗(yàn)證的結(jié)果對(duì)比Fig.11 The comparison of experiments on individual and cross database tests when using different numbers of SVR

為了和其他算法進(jìn)行詳細(xì)對(duì)比,本文計(jì)算了各算法在LIVE Phase II 數(shù)據(jù)庫(kù)上提取330 幅失真圖像特征或預(yù)測(cè)圖像質(zhì)量值所花費(fèi)的平均時(shí)間(s).由于2D 算法SS[25],MS[31]和BR[27]算法無(wú)需計(jì)算視差圖,也無(wú)需進(jìn)行圖像融合,他們所需的執(zhí)行時(shí)間分別為0.079 s,0.113 s 和0.071 s.而CF[14]、SI[18]和ODAD 算法需要計(jì)算視差圖,并生成融合圖像,所需的特征提取時(shí)間分別為:16.485 s、4.149 s和4.538 s.相對(duì)來(lái)說(shuō),ODAD 算法比使用Gabor濾波的CF[14]算法的計(jì)算時(shí)間少近12 s.

5 結(jié)論

本文提出一種基于眼優(yōu)勢(shì)的非對(duì)稱失真SIQA算法ODAD.該算法在模擬立體圖像的視覺刺激強(qiáng)度時(shí),采用梯度幅值響應(yīng)來(lái)減少圖像轉(zhuǎn)換時(shí)間,提高了算法的效率.在對(duì)雙目視覺進(jìn)行建模時(shí),分別基于左和右視點(diǎn)圖像生成兩幅融合圖像,更好地模擬了人類視覺皮層中的眼優(yōu)勢(shì)效應(yīng)原理.在提取圖像特征時(shí),使用RIU-LBP 直方圖,鄰域像素之間的PLCC 值,以及非零均值A(chǔ)GGD 模型,獲得了描述能力較強(qiáng)的感知質(zhì)量特征.建立評(píng)價(jià)模型時(shí),采用AdaBoost-SVR 算法提高了評(píng)價(jià)模型的穩(wěn)定性.在4 個(gè)立體圖像基準(zhǔn)測(cè)試數(shù)據(jù)庫(kù)上實(shí)驗(yàn)結(jié)果表明,所提出的算法較經(jīng)典SIQA 算法評(píng)價(jià)獲得了更高的評(píng)價(jià)結(jié)果,尤其是在評(píng)價(jià)各種非對(duì)稱失真立體圖像的質(zhì)量時(shí)準(zhǔn)確性最高.同時(shí),所提出算法的執(zhí)行效率也較高,能更好地滿足實(shí)際應(yīng)用的需求.