基于頻率敏感三維自組織映射的立體視頻視差估計算法

任 云,程福林,黎洪松

(桂林電子科技大學 信息與通信學院,廣西 桂林 541004)

0 概述

傳統(tǒng)視差估計算法有2種思路[1-2],一種是基于區(qū)域,另一種是基于特征。前者的基本思想是以圖像中的某點或某塊作為一個單位,在參考圖像中搜索與其相對應的點或塊,從而得到各個點或各個塊的視差,利用這種算法計算得到的視差估計都非常集中、稠密。根據(jù)選取的不同的匹配策略,基于區(qū)域的視差估計還可以分為[3]局部法[4-6]及全局法[7-8]。代表性的局部法是基于塊[9-10]的算法,實現(xiàn)復雜度低,有廣泛的應用。典型的全局算法有動態(tài)規(guī)劃法、圖割法[11]和置信度傳播法等[12-13],均可得到較好的估計效果,但由于其計算復雜,因此硬件難以實現(xiàn)?；谔卣鞯囊暡罟烙媅14-16]的基本原理是匹配圖像自身的特征,一般其特征提取過程都比較復雜,且只能得到稀疏的視差估計。

三維自組織映射算法[17]模擬人腦對特定現(xiàn)象興奮的特征,在許多方面得到了應用,特別在模式識別[18]、數(shù)據(jù)挖掘等領(lǐng)域更是發(fā)揮了不容忽視的作用[19-21],是一種高效的數(shù)據(jù)聚類算法。

本文提出一種基于頻率敏感三維自組織映射的視差估計算法(Frequency Sensitive-3DSOM-DPR,FS-3DSOM-DPR)。將輸入視差圖像進行分類,即低亮度區(qū)域、高亮度區(qū)域,分別對這2個區(qū)域進行訓練,得到高低亮度2個模式庫,最后在編碼時將訓練圖像區(qū)域根據(jù)一定的閾值決定用哪個模式庫進行預測。在訓練模式庫的過程中引入頻率敏感算法,從而減少模式庫中的無效模式。

1 基于模式識別的立體視頻視差編碼方案

圖1給出了FS-3DSOM-DPR視差編碼方案的框圖。

圖1 FS-3DSOM-DPR視差編碼方案

其編碼步驟如下:

步驟1對立體視頻視差序列每幀分塊(一般取8×8或16×16),并對每幀取亮度均值,將均值中間值看作是分類閾值,將均值大的塊歸類于高亮度塊,將均值小的塊歸類于低亮度塊,最后形成高低亮度兩個集合。

步驟2采用FS-3DSOM算法對步驟1所得到的高低亮度2個集合進行學習訓練若干次,最后形成最優(yōu)的高亮度模式庫,以及低亮度模式庫。

步驟3輸入訓練序列,并將每幀按照8×8或16×16的模板劃分為塊,計算得到每塊所對應的方差值。用以上步驟得到的閾值與之相較,給每塊劃類,并選擇相應的模式庫,運用FS-3DSOM算法對輸入模式矢量進行視差模式識別,最終獲得其所對應的預測模式矢量。

步驟4將預測模式矢量與原模式矢量作差,得到視差估計殘差。

步驟5最后對視差估計殘差進行DCT變換,將主要圖像信息集中于幾個參數(shù)上。對變換參數(shù)再進行量化,將其進一步進行壓縮,最后進行編碼形成碼流。

步驟6轉(zhuǎn)到步驟3,直至對所有的視差塊進行預測編碼。

2 FS-3DSOM算法

2.1 頻率敏感三維自組織映射算法

傳統(tǒng)SOM算法具有一個很大的問題,即在模式庫訓練過程中每個模式都有可能被調(diào)整,但其概率確實不一樣的。而最佳模式庫要求初始模式庫中的每個模式都能得到充分利用,都能以更為合理的概率進行調(diào)整,也就是要求每個模式都能自適應信源的輸入模式矢量。綜上所述,有必要在訓練過程中進行人為調(diào)節(jié)。

針對傳統(tǒng)SOM算法存在的不足,本文采用了頻率敏感三維自組織映射(FS-3DSOM)算法。記錄模式響應次數(shù),引入?yún)?shù),人為降低響應次數(shù)多的模式下一次響應的概率。

基于FS-3DSOM算法的模式庫訓練步驟如下:

對比兩組患者在經(jīng)過治療后的臨床效果并計算有效率,有效率等于顯效人數(shù)與有效人數(shù)之和與總?cè)藬?shù)的百分比(評判標準:顯效:患者的臨床癥狀明顯減輕,病情保持穩(wěn)定;有效:臨床癥狀有所減輕;無效:臨床癥狀無明顯變化甚至癥狀加重,病情反復不定)。

1)設置自組織特征映射網(wǎng)絡的規(guī)格為向量(N,M),其中前者為模式庫的大小,后者為組成模式庫的模式矢量的大小。

2)將視差圖劃分為矩陣M=8×8大小的圖像塊,一個圖像塊稱為一個訓練矢量,劃分后可得到矢量L個訓練矢量{X(t),t=0,1,…,L-1}。設置初始化模式庫為向量{Wj(0),j=0,1,…,N-1},并將模式矢量排列成的三維立體結(jié)構(gòu)。

3)初始化鄰域函數(shù)為矢量Nj(0),j=0,1,…,N-1,初始化響應計數(shù)器為矢量cj=1,其中,j=0,1,…,N-1。

4)輸入訓練矢量集{X(t),t=0,1,…,L-1}。

6)以下式為調(diào)整公式,調(diào)整獲勝矢量及其周圍鄰域的權(quán)值:

(1)

其中,矢量Nj*(t)一般取Nj*(t)=A0+A1e-t/T1。A0為初始鄰域值,一般取0,A1是鄰域所能取的最大值。T1是鄰域衰減常數(shù)。在訓練初期,矢量Nj*(t)取的是A1,但隨著訓練的推進,鄰域慢慢變小。矢量α(cj)=A2e-cj/T2代表的是學習速度函數(shù),A2為初始學習速度,也就是學習速度的最大值,T2代表的是學習衰減函數(shù)。

2.2 分類模式庫

在訓練模式庫時,之所以會產(chǎn)生無效模式,是因為差別大的訓練模式會給予對方負面影響。比如說高亮度區(qū)域的模式與低亮度區(qū)域的模式就會相互影響。針對該問題,在模式庫訓練時,首先利用均值將訓練矢量集分為高亮度區(qū)域和低亮度區(qū)域,分別訓練模式庫,以保證SOM算法在2個區(qū)域上的聚類性能。模式庫分類步驟如下:

步驟1將輸入的視差圖分割為8×8大小的子塊,則可分成L塊,構(gòu)成訓練矢量集{X(t),t=0,1,…,L-1}。

(2)

進行分類。Th為選定的閾值,它取自所有模式塊均方差的中間值,X1代表的是高亮度訓練矢量集,X2代表的是低亮度訓練矢量集。

步驟3利用FS-3DSOM算法分別對上述2個矢量集進行訓練,最后得到所需的高亮度模式庫,以及低亮度模式庫。

3 實驗結(jié)果

實驗采用標準立體視頻測試序列Exit、Vassar的第1、2視點,每個視點再各分解為8幀,共16幀,圖像分辨率480像素×640像素。本文實驗中對重建圖像質(zhì)量的評價采用峰值信噪比(Peak Signal-to-Noise Ratio,PSNR):

其中,EMSE為原圖像與重建圖像的均方誤差。3DSOM-DPR算法中,圖像壓縮比為:

其中,矩陣M代表的是模式矢量的維數(shù)大小,B0是編碼每個像素所需要的比特數(shù),M×B0是編碼整幅原圖像所需要的比特數(shù),BC代表的是輸出的模式矢量地址比特數(shù)。實驗中矩陣M取8×8,模式庫大小為2 048,CR為46.5。在基于塊的視差估計算法中,模式矢量維數(shù)大小,即塊的大小M設置為8×8,另外橫向搜索范圍設置為[-31,32],縱向搜索范圍設置為[-15,16],可實現(xiàn)的壓縮率為46.5。

圖2給出了FS-3DSOM-DPR算法與基于塊的算法的視差預測圖像的峰值信噪比分布情況,且采用FS-3DSOM-DPR算法得出的視差預測圖像的平均峰值信噪比為34.612 2 dB,采用基于塊的算法得出的視差預測圖像的平均峰值信噪比為32.824 4 dB,即采用本文算法比原始算法得出的預測圖像峰值信噪比提高了1.78 dB。

圖2 視差預測圖像的峰值信噪比分布情況

4 結(jié)束語

本文提出一種基于頻率敏感三維自組織映射的視差估計算法。視差編碼采用基于分類頻率敏感三維自組織映射的視差模式識別(FS-3DSOM-DPR)算法,以取代傳統(tǒng)基于塊的視差估計算法。實驗結(jié)果表明,該算法視差預測圖像的平均峰值信噪比比基于塊的算法提高了1.78 dB。下一步的工作是將該算法應用于立體視頻編碼中,結(jié)合實例進行更加深入的研究。

[1] POLLEFEYS M,VAN G L,VERGAUWEN M,et al.Visual modeling with a hand-held camera[J].International Journal of Computer Vision,2004,59(3):207-232.

[2] BROWN M Z,BURSCHKA D,HAGER G D.Advances in computational stereo[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2003,25(8):993-1008.

[3] SCHARSTEIN D,SZELISKI R.A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[J].International Journal of Computer Vision,2002,47(1):7-42.

[4] YOON K J,KWEON I S.Adaptive support-weight approach for correspondence search[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2006,28(4):650-656.

[5] HOSNI A,BLEYER M,GELAUTZ M,et al.Local stereo matching using geodesic support weights[C]//Proceedings of IEEE International Conference on Image Processing.Washington D.C.,USA:IEEE Press,2010:2093-2096.

[6] WEI Y,QUAN L.Region-based progressive stereo matching[C]//Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington D.C.,USA:IEEE Press,2004:106-113.

[7] HONG L,CHEN G.Segment-based stereo matching using graph cuts[C]//Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington D.C.,USA:IEEE Press,2004:74-81.

[8] SUN J,SHUM H Y,ZHENG N N.Stereo matching using belief propagation[C]//Proceedings of European Conference on Computer Vision.Berlin,Germany:Springer-Verlag,2002:510-524.

[9] HAUBLEIN K,REICHENBACH M,FEY D.Fast and generic hardware architecture for stereo block matching applications on embedded systems[C]//Proceedings of International Conference on Reconfigurable Computing and FPGAs.Washington D.C.,USA:IEEE Press,2014:1-6.

[10] SAHLBACH H,ERNST R,WONNEBERGER S,et al.Exploration of FPGA-based dense block matching for motion estimation and stereo vision on a single chip[C]//Proceedings of IEEE Intelligent Vehicles Symposium.Washington D.C.,USA:IEEE Press,2013:823-828.

[11] WANG Y C,TUNG C P,CHUNG P C.Efficient disparity estimation using hierarchical bilateral disparity structure based graph cut algorithm with a foreground boundary refinement mechanism[J].IEEE Transactions on Circuits & Systems for Video Technology,2013,23(5):784-801.

[12] 趙 戈,藺 蘭,唐延東,等.一種基于曲率與置信度傳播的視差估計方法[J].模式識別與人工智能,2013(12):1154-1160.

[13] 劉 欣.基于立體視覺的公交客流統(tǒng)計方法與實現(xiàn)[D].秦皇島:燕山大學,2013.

[14] PODDAR S,SAHU H,BANGALE M R,et al.Feature based dense disparity estimation[C]//Proceedings of IEEE International Conference on Industrial Instrumentation and Control.Washington D.C.,USA:IEEE Press,2015:950-955.

[15] KAMENCAY P,BREZNAN M,JELSOVKA D,et al.Sparse disparity map computation from stereo-view images using segment based algorithm[C]//Proceedings of the 22nd International Conference Radioelektronika.Washington D.C.,USA:IEEE Press,2012:1-4.

[16] RAMAN S,KANOJIA G,KANOJIA G,et al.Facial stereo:facial depth estimation from a stereo pair[C]//Proceedings of International Conference on Computer Vision Theory and Applications.Washington D.C.,USA:IEEE Press,2014:686-691.

[17] KOHONEN T.Essentials of the self-organizing map[J].Neural Networks,2013,37:52-65.

[18] LI N,CHENG X,ZHANG S,et al.Realistic human-action recognition by fast HOG3D and self-organization feature map[J].Machine Vision and Applications,2014,25(7):1793-1812.

[19] KAMAL S,MUJEEB A,SUPRIYA M H.Novel class detection of underwater targets using self-organizing neural networks[C]//Proceedings of Underwater Technology (UT),2015 IEEE.Washington D.C.,USA:IEEE Press,2015:1-5.

[20] PARK S,RYU S,CHOI Y,et al.A framework for baseline load estimation in demand response:data mining approach[C]//Proceedings of IEEE International Conference on Smart Grid Communications.Washington D.C.,USA:IEEE Press,2014:638-643.

[21] MCLOUGHLIN F,DUFFY A,CONLON M.A clustering approach to domestic electricity load profile characterisation using smart metering data[J].Applied Energy,2015,141:190-199.