基于非線性扭曲的多視點立體顯示內(nèi)容生成

陶秋琰，王梁昊

(浙江省綜合信息網(wǎng)技術(shù)重點實驗室，浙江杭州310027)

0 引言

近年來，3D行業(yè)得到迅猛發(fā)展，業(yè)界推出了多款兼容2D/3D的數(shù)字顯示設(shè)備，且正從眼鏡式立體顯示逐漸過度到裸眼自由立體顯示。目前，制約裸眼多視點自由立體顯示行業(yè)發(fā)展的瓶頸問題是播放內(nèi)容的缺乏。直接拍攝得到多視點自由立體播放內(nèi)容存在編碼傳輸數(shù)據(jù)量過大的問題，更重要的是由于實際相機(jī)的物理尺寸和拍攝定標(biāo)的問題，直接拍攝多視圖在某些場景甚至是完全不可行的。更為合理的解決方案是拍攝得到部分的視圖，在終端用較少視圖和額外信息合成多視圖再進(jìn)行顯示，算法已成為業(yè)界的研究熱點。多視點自由立體顯示需要在不同的觀看角度得到不同視圖的內(nèi)容。傳統(tǒng)的基于深度圖像繪制(Depth Image Based Rendering，DIBR)的方法在精確的深度獲取和空洞填補(bǔ)上存在問題［1－4］，因此本文研究一種基于非線性Warping的多視點內(nèi)容生成算法。算法無需深度圖，且不產(chǎn)生空洞，得到的結(jié)果從某種程度上說是對于DIBR方案的擬合，圖像質(zhì)量好。

1 基于非線性Warping的多視點內(nèi)容生成

本文所研究的基于非線性Warping的新視圖生成算法框架分為輸入圖像分析、能量方程構(gòu)建、求解最小解和視圖綜合4個步驟，如圖1所示。從本質(zhì)上來說，這4個步驟實現(xiàn)的是對輸入的立體視頻在一系列約束條件下的扭曲，得到視覺可信的其他位置的視圖，組成主流的多視點自由立體顯示的多個視圖。

1.1 輸入視頻分析

對輸入的立體視頻進(jìn)行分析包括提取視圖間的特征對、檢測圖像中的直線和關(guān)注度圖3個部分。特征對的獲取分為檢測、描述和匹配，采用經(jīng)典的SURF算法控制特征點個數(shù)和運算時間［5］，得到特征對間的視差關(guān)系以保證立體效果。直線的扭曲是人眼敏感的瑕疵，因此對于圖像中近似垂直方向的長直線需要進(jìn)行特別的保護(hù)。相比傳統(tǒng)的直線檢測方法(Canny邊界加Hough直線檢測)，本文選用穩(wěn)定度更好的LSD算法［6］。同樣的，對于人眼較為敏感的高關(guān)注度部分也需要在扭曲時減小變形程度，選擇亮度對比度和色彩對比度構(gòu)建關(guān)注度圖。

圖1 基于非線性Warping的多視點內(nèi)容生成示意框

1.2 能量方程構(gòu)建

前述視頻分析得到的各項因素，將其作為約束條件表達(dá)為能量方程。本文采用了3個能量項，分別為特征點視差項、網(wǎng)格保形項和時域平滑項。

特征點視差項(Ef)使新視圖中的稀疏特征點和直線檢測的采樣點根據(jù)視點位置盡量接近正確的視差，用于保證新視圖的視差即立體效果。

式中，W(XL)為左圖中特征點在新視圖中的位置;Xi為特征點在該視圖中的理想位置;x為圖像變形后的特征點列坐標(biāo)，通過網(wǎng)格變形頂點計算得到;xi為根據(jù)特征對的時視差和視圖位置得到的理想特征點新列坐標(biāo);Sn為第n個網(wǎng)格的平均關(guān)注度。網(wǎng)格保形項(Ec)是為了控制局部變形程度，防止出現(xiàn)過大的扭曲結(jié)果。

式中，Vi為第i個網(wǎng)格頂點位置;W(Vi)為經(jīng)過扭曲函數(shù)計算得到的頂點位置。最后的時域平滑項(ET)是為了減小幀間的視頻抖動情況，檢測前后幀之間的相似度，相似度越高則該項的系數(shù)越高。

式中，xj，i-prev為前一個時刻的坐標(biāo)位置。

1.3 能量方程求解和視圖綜合

得到能量方程后，令其偏導(dǎo)式為零可以構(gòu)造出一組線性方程。求解線性方程組得到的能量最小解即是新視圖中網(wǎng)格頂點的位置。這樣就將連續(xù)圖像內(nèi)容扭曲的問題轉(zhuǎn)化為能量最小化方程的求解問題。合理的系數(shù)可以使得最后得到的新視圖在視覺上立體效果可信且無明顯瑕疵。利用求解得到的頂點位置可以綜合出新位置的不同視圖，完成由立體輸入到多視點輸出的轉(zhuǎn)換。

2 實驗結(jié)果分析

本文實驗平臺CPU∶Intel酷睿2四核Q9，主頻:3GHz，內(nèi)存:4GB DDRII。算法實現(xiàn)從立體輸入到8視點輸出的時間如表1所示。視頻分析中各步驟的具體實現(xiàn)時間如表2所示。

表1 計算時間

表2 視頻分析分步時間

最后得到的結(jié)果中，視頻同一幀立體視圖扭曲得到的第1和第8視圖如圖2所示。由于視差較小，為了看清結(jié)果在圖上增加了網(wǎng)格線。從圖2中可以看到，并不存在明顯的視覺瑕疵。另外，由于輸入的左右視圖是以前景為零視差的，得到的結(jié)果前景仍然基本保持零視差，而第1視圖的背景整體向左平移，第8視圖的背景整體向右移動，其背景處視差明顯，因此可以得到較好的立體效果。處于畫面中心的人物為零視差處，當(dāng)背景移動時，前景人物應(yīng)保持不動，可以觀察到中間區(qū)域的網(wǎng)格反向扭曲，但仍出現(xiàn)了細(xì)微的視差。這是因為基于非線性Warping的多視點生成算法本身就是由能量方程平衡各個約束因素，而每個條件都不可能達(dá)到理想狀態(tài)。為了使背景視差明顯而又盡可能的在視覺上得到不扭曲的結(jié)果，前景也會隨之發(fā)生一定的移動。

圖2 輸出的第1和第8視圖對比

3 結(jié)束語

本文研究了基于非線性Warping的立體轉(zhuǎn)多視點自由立體顯示內(nèi)容生成算法。系統(tǒng)僅需要立體視頻的輸入，將其劃分網(wǎng)格后，經(jīng)過視頻分析、構(gòu)造并求解能量方程得到新的網(wǎng)格頂點位置，生成自由立體顯示所需的新視圖。本方案的優(yōu)點是不存在明顯的視覺瑕疵。未來還可以嘗試其他的特征點檢測方案和更優(yōu)化的網(wǎng)格分法以求得到更好的效果和更快的速度。

［1］Leonard McMillan Jr.An image-based approach to three-dimensional computer graphics［D］.Chapel Hill:University of North Carolina，1997.

［2］Farre Miquel，Oliver Wang，Manuel Lang，etal.Automatic content creation for multiview autostereoscopic displays using image domain warping［C］.Barcelona:Multimedia and Expo，2011:1 －6.

［3］Huang Yu-hsiang，Huang Tzu-kuei，Huang Yan-hsiang，etal.Warping-Based Novel View Synthesis from a Binocular Image for Autostereoscopic Displays［C］.Melbourne:Multimedia and Expo，2012:302 －307.

［4］Du Songpei，Hu Shimin，Ralph Martin.Changing Perspective in Stereoscopic Images［J］.Visualization and Computer Graphics，2013，19(8):1 288 －1 297.

［5］Herbert Baya，Andreas Essa，Tinne Tuytelaars，etal.Speeded-up robust features(SURF)［J］.Computer vision and image understanding，2008，110(3):346 －359.

［6］Rafael Grompone von Gioi，Jérémie Jakubowicz，Jean-Michel Morel，etal.Lsd:A line segment detector［EB/OL］.http://www.ipol.im/pub/artgjmr－ lsd/，2012 －03 －24.