立體圖像視差線性調整算法

侯春萍, 浦亮洲, 閻維青, 王來花, 王志遠

(天津大學 電子信息工程學院, 300072 天津)

?

立體圖像視差線性調整算法

侯春萍, 浦亮洲, 閻維青, 王來花, 王志遠

(天津大學 電子信息工程學院, 300072 天津)

摘要:為使立體圖像能在特定顯示設備上舒適顯示，本文提出一種調整立體圖像的方法. 首先利用立體圖像融像區(qū)知識，計算不同顯示設備舒適顯示的水平視差范圍；利用匹配的SIFT(scale-invariant features)特征點來估計立體圖像的視差范圍，建立起立體圖像原有視差到舒適顯示視差的線性映射；最后利用奇異值分解估計該映射的變換矩陣，通過變換矩陣計算出調整后的圖像，消除立體圖像垂直視差，并將立體圖像的水平視差調整到舒適觀看的范圍. 實驗結果表明，本文提出的方法可以解決不同顯示設備上立體圖像視差調整的問題，得到更好的顯示效果.

關鍵詞:立體圖像；視差調整；線性變換；SIFT算法

近年來，隨著3D電影的風靡和3D電視的推出，3D產(chǎn)品已成為一種大眾消費品. 但是，由于不同屏幕的光學特性不同，立體圖像在不同的顯示屏幕上的顯示效果也不相同. 在小屏幕顯示時觀看者感覺舒適的圖像，在大屏幕顯示時，觀看者會出現(xiàn)不舒適的感覺甚至出現(xiàn)復視現(xiàn)象. 因此針對不同顯示設備的立體內容調整研究是目前立體顯示領域的一個研究熱點.

解決這種立體視覺差異的最佳方法是調節(jié)立體內容的深度以適應不同屏幕的光學特性，而調節(jié)深度可通過調整立體圖像的視差范圍實現(xiàn). 文獻[1-2]研究用手動方式為特定顯示器調整立體圖像視差的方法. 但這些方法的調整方案僅靠感官判斷，沒有公式化的調整原則. 文獻[3-5]研究基于圖像的視圖差補方法，如攝像機標定和深度圖校正，這些方法需要大量復雜的計算. 文獻[6]提出一種調整左右眼圖像在原立體圖像中相對位置的方法，該方法實現(xiàn)了視差調節(jié)且操作簡單，但是該方法假設原立體圖像不存在垂直視差，因此對存在垂直視差的立體圖像無法實現(xiàn)垂直視差的調整.

本文提出一種使獲取的立體圖像在顯示設備上舒適顯示的線性調整方法，可給觀看者提供舒適的觀看體驗. 首先利用立體圖像融像區(qū)的知識[7]，得到不同顯示器舒適顯示的視差范圍；然后利用匹配的SIFT(scale-invariant features)[8]特征點來估計獲取的立體圖像的視差范圍，建立起立體圖像視差到舒適顯示視差的線性映射，滿足特定立體顯示設備舒適顯示的需要；最后利用奇異值分解的方法估計投影變換矩陣，實現(xiàn)對立體圖像垂直和水平視差的調整.

1立體視覺及圖像變換

1.1立體圖像融像區(qū)

觀看者觀看立體圖像時，雙眼聚焦于立體屏幕上，使大腦認為觀看距離為S,而立體圖像視差信息暗示觀看物體的距離為S′. 當水平視差太大時，S與S′間的差值超過閾值，觀看者將無法在大腦中融合左右眼圖像，感受不到立體視覺效果. 這一現(xiàn)象由文獻[9]首先發(fā)現(xiàn)，并將在注視點周圍可以形成單像的區(qū)域稱為立體圖像融像區(qū). 融像區(qū)內的物體均能在大腦中融合，融像區(qū)外的物體會形成雙眼復視并造成視覺疲勞. 如果立體圖像還存在垂直視差，那么融合圖像的邊緣將出現(xiàn)畸變，加劇觀看者的疲勞程度. 因此需要將左右眼圖像的水平視差控制在一定范圍內，同時消除垂直視差.

文獻[6]給出可使觀看者舒適觀看立體圖像的水平像素差應滿足的條件:

(1)

式中:Δn為左右視點圖像的水平像素差;S為觀看距離;Pw為顯示屏像素寬度;D為瞳孔直徑，通常為4 mm;η≈2.907×10-4rad為人眼視銳度;Ee為觀看者瞳距,通常為6.5 cm.

1.2圖像變換與特征點提取

通過確定調整前后圖像中特征點的坐標，計算線性變換模型中的變換矩陣M

(2)

為實現(xiàn)左右視點圖像的調整，必須得到圖像的水平視差與垂直視差以確定式(2)中變換后的坐標. 首先需要完成立體圖像的匹配[10-11]，尋找合適的特征點計算上述兩種視差.

本文采用SIFT特征點檢測算法提取圖像特征點，該算法運算速度較快且穩(wěn)定性好，在圖像處理領域具有深入廣泛的應用[12-13]. 計算左右眼圖像中SIFT特征點的特征向量歐式距離即可實現(xiàn)特征點匹配.

2立體圖像視差調整算法

2.1垂直視差調整

(3)

垂直視差調整就是要將左右眼圖像中的垂直像素差調整為0，即Δyi=0，令左眼圖像IL為參考圖像，右眼圖像IR為待調整圖像，則

(4)

即令IL中特征點縱坐標在變換后保持不變，而IR中特征點縱坐標在變換后則與左視點相同，從而達到消除垂直視差的目的.

將式(4)代入式(3)得

(5)

2.2水平視差調整

1)計算匹配特征點之間的水平像素差di，即

2)對di進行直方圖統(tǒng)計，組距為1個水平像素，計算統(tǒng)計直方圖中所有統(tǒng)計點個數(shù)，記為Ptotal；計算統(tǒng)計直方圖中視差值最大的5組數(shù)據(jù)中統(tǒng)計點的個數(shù)，記為Pmax.

3)計算Pmax/Ptotal并將它與給定的閾值T%進行比較，若小于給定的閾值，則認為當前統(tǒng)計直方圖中的dmax數(shù)據(jù)是由不具有典型性的匹配特征點提供的，因此從匹配特征點中刪除這些點并重復步驟3；若大于給定閾值，則認為當前統(tǒng)計直方圖中的dmax即為該立體圖像的最大水平像素差.

實驗中閾值T%通常取5%～10%即可濾除明顯的誤匹配點.

使用類似的方法可以獲得最小水平像素差dmin. 最終確定的立體圖像的水平像素差范圍為[dmin,dmax].

另一方面，立體圖像的水平視差在不超過式(1)所定義的水平視差Δn時，觀看者可得到舒適的立體圖像. 令dm=(ηSEe)/(DPw)，則舒適觀看的水平像素差區(qū)間Δn為[-dm,dm].

圖1　水平視差調整的映射關系

當立體圖像的水平像素差過大時，應該減小水平像素差，使其處于區(qū)間Δn的范圍內，另一方面，當水平像素差過小時，會存在立體效果不明顯的問題，因此可以適當增大水平像素差. 進行如圖1所示的映射，使調整后水平像素差滿足

(6)

式中:d為調整前水平像素差，d′為調整后水平像素差. 該式中調整前后0視差平面保持不變，并把調整后的水平像素差約束在區(qū)間Δn的范圍內.

可得到水平視差調整后左右視點圖像的匹配特征點坐標與原特征點坐標關系如下:

(7)

(9)

展開式(8)、(9)可得到方程組：

(10)

式中：i取1～4，因此共存在16個等式. 展開后化作矩陣形式，可利用奇異值分解并結合RANSAC算法[14-15]求出左右視點圖像的變換矩陣ML，MR. 當匹配特征點數(shù)量眾多時，RANSAC算法可尋找出使可能多的特征匹配點滿足變換的最佳變換矩陣. 利用式(2)及變換矩陣即可獲得視差調整后的左右視點立體圖像.

3實驗

為檢驗本文提出的視差調整算法，分別選擇兩幅視差過大和兩幅視差過小的立體圖像進行視差調整，且這4幅圖像中均存在一定的垂直視差. 播放立體圖像的屏幕為分辨率1 920×1 080的24英寸顯示屏，觀看距離為1.5m. 根據(jù)顯示屏尺寸與分辨率顯示屏像素寬度為

(11)

圖2　視差調整過程

圖3　水平視差過大的立體圖像的調整

圖4　水平視差過小的立體圖像的調整

圖3中調整前的立體圖像(a)“銅獅”、(b)“校門”水平視差均過大，都具有明顯垂直視差. 經(jīng)過視差調整后得到的(c)“銅獅”、(d)“校門”消除了垂直視差，且水平視差減小到舒適觀看的范圍. 圖4中調整前的(a)“雕像”水平視差太小，觀看時立體效果不明顯，且具有明顯的垂直視差，調整前的(b)“故宮”垂直視差很大，直接觀看時圖內景物邊緣處發(fā)生畸變. 經(jīng)過視差調整后的(c)“雕像”、(d)“故宮”都成功消除了垂直視差，且在舒適觀看的范圍內盡量增大了水平視差，使調整后圖像有了更好的立體效果.

將本文算法與文獻[9]所述算法進行比較，進一步驗證本文算法的視差調整效果. 以前面實驗中的“銅獅”“故宮”為例，對比結果見圖5. “銅獅”立體圖像視差過大，2種算法都成功將圖像調整至立體圖像融像區(qū)的范圍，但是文獻[9]的算法將原來一部分視差明顯的圖像區(qū)域的視差調整至0，調整后該部分區(qū)域立體效果減弱. “故宮”的視差在立體圖像融像區(qū)范圍內，但是立體效果不夠明顯. 文獻[9]的算法認為該圖像不需要調整，因此未對該圖像的視差進行調整，本文算法在融像區(qū)允許的范圍內對立體圖像視差進行了增大操作，使調整后的立體圖像仍能舒適顯示并且立體效果更為明顯. 另外，由于文獻[9]的算法為考慮立體圖像中存在垂直視差的問題，因此2幅圖像調整后仍能觀察到垂直視差.

圖5　算法比較

表1　垂直像素差統(tǒng)計　%

4結語

雙視點設備獲取的立體圖像很難直接應用于顯示設備. 當立體圖像具有垂直視差或者相對于指定的屏幕水平視差過大或者過小時,都會給觀看者帶來視覺體驗上的問題. 因此立體設備獲取的雙目立體圖像必須經(jīng)過圖像調整的處理方法來實現(xiàn)立體圖像在指定屏幕上的舒適顯示.

本文提出一種基于特征點匹配的立體視差矯正算法，該算法建立起從立體圖像原有視差到舒適顯示視差的線性映射，并利用奇異值分解的方法計算出該映射的投影變換矩陣，從而實現(xiàn)對立體圖像垂直視差和水平視差的調整. 實驗結果表明，該算法具有很好的顯示效果，并保證了雙目立體圖像的一致性.

參考文獻

[1] FELDMANN I, SCHREER O, KAUFF P. Navigation dependent nonlinear depth scaling [C]// Picture Coding Symposium. Saint Malo, France : INRIA, 2003: 387-390.

[2] WANG C, SAWCHUK A A. Disparity manipulation for stereo images and video[C]// Stereoscopic Displays and Applications XIX. San Jose, CA: SPIE, 2008: 68031E-68031E-12.

[3] KIM M, LEE S, CHOI C, et al. Depth scaling of multiview images for automultiscopic 3D monitors[C]// 2008 3DTV-Conference: The True Vision-Capture, Transmission and Display of 3D Video. Istanbul. Turkey: IEEE, 2008: 181-184.

[4] SMOLIC A, MULLER K, DIX K, et al. Intermediate view interpolation based on multiview video plus depth for advanced 3D video systems[C]// ICIP 2008. San Diego, CA: IEEE, 2008: 2448-2451.

[5] BLEYER M, GELAUTZ M, ROTHER C, et al. A stereo approach that handles the matting problem via image warping[C]// IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Miami, FL: IEEE, 2009: 501-508.

[6] 張丞, 侯春萍, 王曉燕. 立體圖像視差自適應調整算法[J]. 光電子激光, 2014, 25(3):581-587.

[7] MAXWELL M G. Three-dimensional color television[J]. SMPTE journal, 1985, 94(8): 821-825.

[8] LOWE D G. Object recognition from local scale-invariant features[C]// Proceedings of the Seventh IEEE International Conference on Computer Vision. Los Alamitos, CA: IEEE, 1999, 2: 1150-1157.

[9] PANUM P L. Physiologische Untersuchungen über das Sehen mit zwei Augen[M]. Charleston, SC: Nabu Press, 2010.

[10]王華, 叢建亭, 侯相深, 等. 畸變圖像的有效配準算法[J]. 哈爾濱工業(yè)大學學報, 2010,42(4): 597-601.

[11]王磊, 張鈞萍, 張曄. 基于特征的 SAR 圖像與光學圖像自動配準[J]. 哈爾濱工業(yè)大學學報, 2005, 37(1): 22-25.

[12] LI J, LU Z. B-SIFT: a highly efficient binary SIFT descriptor for invariant feature correspondence[C]// 2nd Sino-Foreign-Interchange Workshop on Intelligent Science and Intelligent Data Engineering, IScIDE 2011. Xi′an: Springer Berlin Heidelberg, 2012: 426-433.

[13] SOYEL H, DEMIREL H. Improved SIFT matching for pose robust facial expression recognition[C]// 2011 IEEE International Conference on Automatic Face & Gesture Recognition (FG 2011). Santa Barbara, CA: IEEE, 2011: 585-590.

[14] HARTLEY R, ZISSERMAN A. Multiple view geometry in computer vision[M]. Cambridge: Cambridge university press, 2003.

[15] SATTLER T, LEIBE B, KOBBELT L. SCRAMSAC: Improving RANSAC′s efficiency with a spatial consistency filter[C]// 2009 IEEE 12th International Conference on Computer Vision. Kyoto: IEEE, 2009: 2090-2097.

(編輯王小唯苗秀芝)

A disparity adjustment algorithm for stereo image based on linear transformation

HOU Chunping, PU Liangzhou, YAN Weiqing, WANG Laihua, WANG Zhiyuan

(School of Electronic and Information Engineering, Tianjin University, 300072 Tianjin, China)

Abstract:A 3D image calibration method is proposed to provide a better performance on particular display device. Firstly, the knowledge of stereo image fusion area is adopted to calculate the comfortable horizontal disparity range for different display device. Secondly, the Scale-Invariant Features (SIFT) algorithm is applied to estimate the disparity range in a 3D image, and then a linear mapping between the original disparity and the comfortable disparity for the 3D image are obtained. Finally, the transformational matrix for the linear mapping and disparity correction for the 3D image are got. The experimental results indicate that the proposed algorithm has a good performance, which is adaptive for various disparity problems.

Keywords:stereoscopic image; disparity adjustment; linear transformation; SIFT algorithm

中圖分類號:TP391

文獻標志碼:A

文章編號:0367-6234(2016)05-0090-05

通信作者:王志遠, wzhiyuan@tju.edu.cn.

作者簡介:侯春萍(1957—)，女，教授，博士生導師.

基金項目:國家高技術研究發(fā)展計劃(863 計劃)重大項目(2012AA03A301)；國家基金重大研究計劃重點項目(91320201)；國家基金面上項目(61471262)；教育部博士點基金(20110032110029)(20130032110010).

收稿日期:2014-08-28.

doi：10.11918/j.issn.0367-6234.2016.05.014