基于融合圖像的無參考立體圖像質(zhì)量評價

李素梅，薛建偉，秦龍斌,

(1. 天津大學電氣自動化與信息工程學院，天津 300072；2. 昌都市公安局，昌都854000)

近年來，隨著多媒體技術(shù)的發(fā)展，立體圖像受到越來越多的關(guān)注，而立體圖像在采集、壓縮、傳輸、顯示等過程中均會產(chǎn)生降質(zhì)問題，立體圖像的質(zhì)量會直接影響人們的視覺感受，因此，如何有效地評估立體圖像的質(zhì)量成為立體圖像處理和計算機視覺領(lǐng)域的關(guān)鍵問題之一.由于立體圖像主觀質(zhì)量評價要求測試者在特定的情況下對立體圖像進行打分，費時費力，成本較高，且極易受測試者主觀情緒的影響，不適于實際應(yīng)用；而立體圖像客觀質(zhì)量評價方法是通過客觀模型給出立體圖像的質(zhì)量分數(shù)，能夠有效彌補主觀評價方法帶來的不足.因此，本文提出一種客觀評價模型對立體圖像的質(zhì)量進行評價.

根據(jù)對參考圖像的依賴程度，立體圖像質(zhì)量客觀質(zhì)量評價可以分為全參考圖像質(zhì)量評價、半?yún)⒖紙D像質(zhì)量評價和無參考圖像質(zhì)量評價.全參考圖像質(zhì)量評價需要測試圖像和參考圖像的全部信息，半?yún)⒖紙D像質(zhì)量評價需要獲得參考圖像的部分信息.但在實際環(huán)境中，參考圖像可能沒有或者很難獲得，因此，這 2類方法的應(yīng)用范圍有限.相比而言，無參考圖像質(zhì)量評價方法僅利用失真圖像來進行評價，更符合實際應(yīng)用的需要.

立體圖像質(zhì)量評價的研究之初，人們將平面圖像質(zhì)量評價方法[1-3]應(yīng)用于立體圖像的質(zhì)量評價中，如峰值信噪比、均方誤差、結(jié)構(gòu)相似度等[4].由于該類方法未考慮立體圖像的深度信息和人類視覺特性，因此不適合直接用于立體圖像的質(zhì)量評價.隨后，一些文獻提出基于雙目視覺特性的立體圖像質(zhì)量評價方法.文獻[5]提出了一種融合人類雙目特性的立體圖像評價方法，使之更符合雙目特性.但是，目前對人類視覺系統(tǒng)的認知還很有限，傳統(tǒng)的方法難以全面反映人類對于立體圖像的視覺感受，因而研究人員采用能模擬人類大腦的神經(jīng)網(wǎng)絡(luò)方式進行立體圖像質(zhì)量評價[6].但是傳統(tǒng)的機器學習方法需要人工選取立體圖像特征，選取的特征不一定能夠完全反映立體圖像的質(zhì)量情況，限制了立體圖像質(zhì)量技術(shù)的發(fā)展.2011年后，深度學習網(wǎng)絡(luò)，特別是卷積神經(jīng)網(wǎng)絡(luò)(convolution neural network，CNN)快速發(fā)展[7].卷積神經(jīng)網(wǎng)絡(luò)能夠從圖像中自動選取特征，在圖像分類、語音識別等方面能得到更高的正確率，比如 2012年Hiton等在 Imagenet挑戰(zhàn)賽上使用 Alexnet[8]圖像分類模型中奪得第 1名，性能遠超其他機器學習方法.基于 CNN在圖像識別，對象檢測和語義理解等領(lǐng)域的巨大成功，文獻[9]提出了一種 3通道 5層卷積神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)初始化參數(shù)通過遷移學習訓練二維圖像得到，將立體圖像的左視圖、右視圖和差值圖分塊分別作為網(wǎng)絡(luò)輸入，通過卷積提取立體圖像特征，最終全連接加權(quán)得出最終的質(zhì)量分數(shù).文獻[10]首先通過主成分分析法將左右視圖融合，然后對融合圖像進行減均值和對比度歸一化操作，最后采用非重疊切塊的方法將圖像切成小塊送入網(wǎng)絡(luò)進行訓練，通過CNN建立圖像特征與主觀評分差值之間的關(guān)系模型.但文獻[9]和文獻[10] 2種方法都沒有考慮到人眼的視覺顯著特性，并且在對圖像進行分塊時采用的均是不重疊切塊方法，這種方法可能會造成圖像結(jié)構(gòu)信息丟失.而且以上文獻的視點間處理方式并不完全符合大腦立體視覺先融合后處理的視覺處理機制[11].另外，在機器學習和數(shù)據(jù)挖掘算法中，遷移學習可以避免重新搭建一個網(wǎng)絡(luò)進行調(diào)參的繁瑣性，并且使帶有標簽的數(shù)據(jù)得到充分利用.基于以上問題，本文模擬人腦的處理機制，將左右視圖進行融合，使用重疊切塊的方法送給 Alexnet網(wǎng)絡(luò)進行遷移學習訓練，預測得到立體圖像的質(zhì)量，最后再利用人眼的視覺顯著特性對圖像小塊的輸出進行加權(quán).

本文內(nèi)容主要包括以下 3個方面：①圖像融合，分別對左右視圖提取圖像特征，然后融合來模擬人腦處理立體圖像的過程；②遷移學習，將 Alexnet網(wǎng)絡(luò)用于遷移學習，通過使用改進后的 Alexnet網(wǎng)絡(luò)對數(shù)據(jù)庫進行訓練，能得到更為準確的分類模型；③視覺顯著性，權(quán)重系數(shù)通過中央偏移因子進行確定，進一步模擬人眼視覺系統(tǒng)的顯著性特征.

1 方法概述

算法結(jié)構(gòu)如圖 1所示.首先對左右視圖進行圖像融合，用來模擬人腦處理立體圖像的過程；然后對融合圖像進行重疊切塊得到卷積神經(jīng)網(wǎng)絡(luò)的輸入；最后對網(wǎng)絡(luò)輸出的各個小塊的輸出進行視覺顯著性加權(quán)得出立體圖像的質(zhì)量分數(shù).

圖1 算法結(jié)構(gòu)Fig.1 Algorithm structure

1.1 圖像融合

與平面圖像相比，立體圖像包含更多的視覺信息，能給觀看者帶來沉浸式的視覺體驗.立體圖像左、右視圖有所不同，通過視網(wǎng)膜傳入人腦后，存在視覺多通道現(xiàn)象，同時也會產(chǎn)生雙目融合和雙目競爭[12]，為了更好地模擬人眼視覺特性，本文提出了一種立體圖像的融合方法.

首先，左、右視圖分別在 RGB 3個通道上進行Gabor濾波以模擬人眼的視覺多通道特性，獲取其不同尺度和方向的結(jié)構(gòu)特征，隨后通過對比敏感度函數(shù)(contrast sensitivity function，CSF)濾除圖像的不重要頻率信息，最后通過式(1)獲得融合圖像.在每個通道中，2只眼睛會互相施加增益控制，其施加的增益控制與其能量成正比，并且每只眼睛會對另一只眼睛產(chǎn)生的增益控制進行控制，即增益增強.

式中：C(x,y)是融合后的圖像；Il( x, y)、Ir( x, y)分別是左視圖和右視圖；j和k分別是6和8，表示使用6個尺度(fs ∈ {1.5,2.5,3.5,5,7,10}(cycles/degree))和 8 個方向(θ∈{k π /8|k = 0 ,1,···,7})的 Gabor濾波器提取圖像特征；εl、εr是輸入的左視圖和右視圖用于增益增強的視覺權(quán)重對比能量；βl、βr是左視圖對右視圖的增益控制和右視圖對左視圖的增益控制；gei、gci分別表示左視圖對右視圖的增益控制門限和右視圖對左視圖的增益控制門限.

本文提出的融合圖像方法具有自適應(yīng)性.當左右視圖的對比刺激低于某一確定閾值時，εl和εr接近于 0或者遠小于 1，融合圖像是左右視圖的線性疊加[11]，可用式(4)來表示；反之，當左右視圖的對比刺激高于這個閾值時，融合圖像是左右視圖非線性疊加形成的，如式(1)，不過，自然場景下的所有圖像都高于該閾值.無論左視圖和右視圖的對比度刺激如何，總能找到合適的gei和gci，使其具有顯著的增益控制和增益增強，所以本文所提出的方法既適合對稱失真也適合非對稱失真.

1.2 Alexnet網(wǎng)絡(luò)用于遷移學習

機器學習技術(shù)在分類、回歸和聚類上取得了巨大的成功，但使用此類方法有一個重要的前提是：訓練和測試數(shù)據(jù)必須從相同的特征空間去取得，且必須具有相同的分布.當分布改變時，就需要重新構(gòu)造訓練數(shù)據(jù)模型.在現(xiàn)實生活中，重新收集訓練數(shù)據(jù)或重新構(gòu)造一個數(shù)據(jù)模型的成本很高甚至是不可能的，而遷移學習可以充分利用帶有標簽的數(shù)據(jù)[13]，將已經(jīng)學習到的模型參數(shù)通過某種方式來分享給新模型，從而加快并優(yōu)化模型的學習效率.

基于卷積神經(jīng)網(wǎng)絡(luò)的立體圖像質(zhì)量評價方法能夠建立輸入圖像和輸出質(zhì)量值之間“端到端”的映射.本文利用Alexnet網(wǎng)絡(luò)，修改其最后1層，改為二分類.該網(wǎng)絡(luò)結(jié)構(gòu)一共有10層，第1層為輸入層，輸入圖像塊；第 2～6層為卷積層，輸入圖像經(jīng)過卷積層提取一系列特征；第 7～9層為全連接層，全連接層將學到的特征通過權(quán)值的方法映射到樣本的標記空間；第10層為網(wǎng)絡(luò)的輸出，即小塊的質(zhì)量分數(shù).該網(wǎng)絡(luò)輸入圖像大小227×227，各層參數(shù)如表1所示.

其中第 1列為每層的名字，包括卷積層(Conv-1、Conv-2、Conv-3、Conv-4、Conv-5)、池化層(Pooling)、全連接層(Full-Connected-1、Full-Connected-2、Full-Connected-3)；第 2列為每層的參數(shù)配置，F(xiàn)m為特征圖的數(shù)量，kernel為用于運算的核的大小，stride為運算的步長的大小，pad為對特征圖尺寸擴展的大小，group-2為采用 GPU并行加速，Max為池化層池化方法，F(xiàn)C為每個全連接層神經(jīng)元的個數(shù).

該網(wǎng)絡(luò)使用ReLU非線性激活函數(shù)，加快網(wǎng)絡(luò)的收斂速度，防止了梯度消失的問題.在卷積層和池化層后經(jīng)過局部響應(yīng)歸一化層，實現(xiàn)局部抑制，加快網(wǎng)絡(luò)收斂速度，提高網(wǎng)絡(luò)的泛化能力.全連接層使用Dropout層，隨機讓網(wǎng)絡(luò)某些隱含層節(jié)點的權(quán)重不工作，有效地防止過擬合，采用 3層全連接層實現(xiàn)更好的擬合效果.

表1 網(wǎng)絡(luò)參數(shù)Tab.1 Network parameters

1.3 視覺顯著性

視覺心理物理學研究發(fā)現(xiàn)，在觀看圖像時人眼會不自覺地關(guān)注某些區(qū)域，并優(yōu)先處理該區(qū)域的信息[14]，這些區(qū)域就是顯著性區(qū)域，這種特性稱為視覺顯著性.人眼在觀看圖像時總是傾向于從圖像的中心開始尋找視覺注視點，然后其注意力由中央向四周遞減[15]，即中央偏移(center bias，CB)特性.

圖2 基于視覺顯著性的光亮度Fig.2 Luminance graph based on visual saliency

如圖2所示的光亮度圖，像素的坐標位置越處于圖像的中間位置，該像素越容易受到關(guān)注；中間區(qū)域亮度最亮，表示人們對此區(qū)域最敏感，所分配的權(quán)重最高，亮度向四周逐漸變暗，權(quán)重也依次遞減.視覺中央偏移特性可采用具有各向異性的高斯核函數(shù)[16]進行模擬，即

式中：CB(x,y)表示像素點(x, y)對中心點 ( x0,y0)的偏移信息；σh和σv分別表示圖像水平和垂直方向的標準差.

歸一化CB(x,y)得到圖像對應(yīng)的權(quán)值矩陣CBnormal(x, y)表示為

式中M和N為圖像的長和寬.將歸一化的權(quán)值矩陣按原始圖像分塊的方式進行分塊處理并求和得到塊歸一權(quán)值 C Bnormblock(i)所示為

將對應(yīng)位置的權(quán)值矩陣與輸入圖像塊質(zhì)量相乘，得到圖像塊的質(zhì)量值，再將1幅圖像所有圖像塊的質(zhì)量值相加，即得到基于人眼視覺顯著特性圖像質(zhì)量值value，即

式中：T為圖像分塊的數(shù)量；v a lueblock(i)為圖像塊i的質(zhì)量值.

2 實驗結(jié)果與分析

2.1 實驗環(huán)境、數(shù)據(jù)庫及數(shù)據(jù)預處理

本文實驗服務(wù)器 CPU為 3.5GHz的 Intel xeon E5-2637 v3，64G RAM，使用 GPU 并行加速，GPU為 Titan X，顯存 12GB，Ubuntu 14.04 系統(tǒng)，采用Caffe深度學習框架對網(wǎng)絡(luò)進行訓練.

采用 LIVE實驗庫提供的 LIVE3D phase-Ⅰ、LIVE3D phase-Ⅱ圖像測試庫進行實驗.LIVE3D phase-Ⅰ數(shù)據(jù)庫對左、右視點圖像進行相同的失真處理，共有 20種場景，包含 5種失真，共有 20對參考圖像和 365對失真圖像；LIVE3D phase-Ⅱ數(shù)據(jù)庫是對 LIVE3D phase-Ⅰ數(shù)據(jù)庫的完善，左、右視點圖像的失真程度不一定相同，共有8種場景，包含5種失真，共有8對參考圖像和360對失真圖像.本文實驗挑選了 80%的融合圖像作為訓練集，剩余的 20%作為測試集，所有的融合圖像被切成 227×227大小的小塊.

2.2 性能比較與分析

采用分類準確率(accuracy)、Pearson相關(guān)系數(shù)(PLCC)、Spearman相關(guān)系數(shù)(SROCC)和均方誤差(RMSE)等指標對立體圖像質(zhì)量進行評價.SROCC和 PLCC越接近于 1，表示模型性能越好；RMSE越接近于0，表示性能越好.

為了驗證所提方法方法的有效性，將本文方法與其他文獻進行性能比較，如表2所示.其中，文獻[17-19]為全參考立體圖像質(zhì)量評價方法；文獻[10，20-23]為無參考立體圖像質(zhì)量評價方法.

表2 各種評價方法的總體性能比較Tab.2 Comparison of the overall performance of various evaluation methods

從表2可以看，PLCC、SROCC、RMSE 3個指標均取得了較好的結(jié)果，其中，PLCC值超過 0.986，SROCC值超過 0.99.這與 Alexnet在分類任務(wù)上展現(xiàn)出卓越的泛化能力不無關(guān)系.因為 Alexnet網(wǎng)絡(luò)在由數(shù)百萬張圖像組成的 Imagenet數(shù)據(jù)庫上接受訓練，提取了幾乎完整的基向量，而構(gòu)成圖像的基向量是普適的，所以該網(wǎng)絡(luò)也可作為遷移學習的網(wǎng)絡(luò)用于立體圖像質(zhì)量評價.另外，無論是只有對稱失真的LIVE3D phase-Ⅰ數(shù)據(jù)庫還是既有對稱失真也由非對稱失真的 LIVE3D phase-Ⅱ數(shù)據(jù)庫，所提方法均能取得較好的結(jié)果.最后，本文實驗結(jié)果的RMSE值在同類所比文獻中最為出眾，這與圖像的預處理過程有很大關(guān)系.文中將圖像庫按照質(zhì)量好與質(zhì)量差分為 2類，很大程度上降低了回歸的復雜度，因此，本文的RMSE的值比其他文獻實驗結(jié)果更小.

為了探究本文方法在不同失真類型下的效果，分別在LIVE3D phase-Ⅰ和LIVE3D phase-Ⅱ上進行實驗.如表 3所示，本文所提出的方法在不同失真類型上均展現(xiàn)出了非常好的效果，有些失真類型的 PLCC和 SROCC甚至達到了 1，RMSE達到了 0.但LIVE3D phase-Ⅰ上的 JPEG失真和 LIVE3D phase-Ⅱ上的 FF失真，沒有達到像其他失真一樣的效果，說明本文所提網(wǎng)絡(luò)對于這 2種失真的學習能力還有待提升.

2.3 使用融合圖像與否對結(jié)果的影響

為了說明本文融合圖像算法的有效性，在LIVE3D phase-Ⅰ數(shù)據(jù)庫上進行了對比實驗，并得出了衡量算法性能指標的相應(yīng)值，如表 4所示，其中，如果使用此立體圖像融合算法，其分類準確率由0.9835提升至0.9953，另外，PLCC和SROCC分別提高了0.0339和0.0177，RMSE也由原來的0.1285降到了 0.0687.可以很明顯地看出，論文所采用的立體圖像融合方法可以很好地模擬人眼視覺特性，與主觀評價相一致.

表3 不同失真類型的PLCC、SROCC以及RMSETab.3 PLCC，SROCC，and RMSE of different distortion types

圖3 重疊切塊步長與分類準確率的關(guān)系Fig.3 Relationship between overlapping step size and classification accuracy

表4 驗證融合圖像的作用Tab.4 Verify the function of the fused image

2.4 重疊切塊步長對實驗結(jié)果的影響

因為本文采用重疊切塊的方式將所得的小塊作為網(wǎng)絡(luò)的輸入，而進行重疊切塊時，重疊切塊的步長會影響 1個圖片所分割出來的小塊數(shù)目.本文因此探究了重疊切塊步長的大小對實驗結(jié)果的影響.如圖 3所示為本文所做的重疊切塊步長大小與分類準確率的關(guān)系，圖3(a)為在LIVE3D phase-Ⅰ上進行實驗，圖3(b)為在LIVE3D phase-Ⅱ上進行實驗.

文中實驗的重疊切塊步長最小為 20個像素，最大為50個像素，每間隔5個像素做1次實驗，一共7組實驗.從圖 3(a)的折線圖中，可以看到，當步長step設(shè)置為45時，其實驗結(jié)果的分類準確率最高，達到了 0.9953；而切塊步長在 20～40像素點之間保持1個恒定值0.9906；而切塊步長由45變成50時，分類準確率下降到 0.967.同樣，在圖 3(b)的折線圖中，也得到了相同的變化趨勢.從中可以推斷，當重疊切塊的步長較小時不足以引起圖像結(jié)構(gòu)信息的改變，致使分類準確率維持不變；當重疊的步長比較大時，又丟失了部分結(jié)構(gòu)信息，使其分類準確率迅速下降.故重疊切塊的步長存在 1個最優(yōu)值，使其既能夠捕捉到圖像像素間的相關(guān)性又能夠很好地捕捉圖像內(nèi)部的結(jié)構(gòu)信息，使其分類準確率達到1個最大值.

3 結(jié) 語

本文提出了一種基于融合圖像的無參考立體圖像質(zhì)量評價算法，取得了較好的分類效果.網(wǎng)絡(luò)模型通過使用圖像融合算法，更好地模擬了人眼處理立體圖像的過程，減少了數(shù)據(jù)量；通過使用遷移學習，減少了調(diào)參這個繁瑣的過程，大大縮短了訓練時間；最后利用人眼視覺顯著性特性來處理圖像小塊的輸出，使其更符合人眼視覺特性.