基于保持內容的變形算法的虛擬展示系統(tǒng)

侯 穎，王海鵬

(杭州師范大學國際服務工程學院，浙江 杭州 311121)

基于保持內容的變形算法的虛擬展示系統(tǒng)

侯 穎，王海鵬

(杭州師范大學國際服務工程學院，浙江 杭州 311121)

采用基于圖像渲染的算法實現(xiàn)了三維虛擬展示系統(tǒng).該系統(tǒng)可以從不同角度，以不同放縮比例交互式瀏覽真實物體.首先基于SfM算法來重建原始攝像機軌跡和稀疏的三維點云，并擬合攝像機軌跡為三維平面圓.在兩連續(xù)視點之間使用對極變換算法，將特征點集投射到新視圖，最后使用基于保持內容的變形算法生成新視圖圖像.兩視點都能生成對應的新視點圖像，連續(xù)兩個視點可以生成內部新視點的兩幅新視圖.最后新視圖和原始視圖合成視頻.該系統(tǒng)通過操作視頻實現(xiàn)放縮和旋轉的交互式瀏覽方式，優(yōu)點在于不需要對物體做三維重建，僅基于圖片的方式來展示物體.和基于三維重建的三維展示系統(tǒng)不同的是，該系統(tǒng)基于圖像渲染，運算量小，交互方式簡潔、更真實.

基于圖像的渲染；三維建模；虛擬展示系統(tǒng)

0 引 言

目前，基于圖像渲染的虛擬展示系統(tǒng)能給用戶圖片質感的視覺體驗.這種虛擬展示系統(tǒng)使用基于視圖生成算法、離線三維建模(SfM)，實時三維建模(SLAM)等技術.基于圖像的渲染(image-based rendering)是20世紀90年代中期出現(xiàn)的圖形繪制技術，根據需要幾何信息的量而被分類為三類[1]：不需要幾何參數的渲染、需要隱式的幾何信息(比如從圖像上提取的特征點)、需要顯式的幾何信息(粗略或者精確的幾何信息).

不需要幾何參數的渲染算法.該類算法包括基于光照圖的渲染(lumigraph)[2]或光場(light field)[3].基于光場的渲染使用大量的圖片但并不需要任何的幾何信息或者圖片之間對應特征點.光場渲染通過適當的過濾或者從預先獲取的采樣圖片集中插值生成一個新的視圖圖片.另外一種是基于圖片拼接的算法，代表性算法是同心拼圖(concentric mosaics)[4]和全景圖片(panorama)[5].這兩種算法比較類似，其中全景圖片相當于同心拼圖的子類.同心拼圖的數據集是從被限制在一個平面內的數個同心圓上的攝像機拍攝的.同心拼圖技術能夠通過拼接在每個同心圓上從不同視點拍攝的圖片中摘取的狹縫圖片來渲染場景.全景圖片是在一個固定的視點做不完全的圖片采樣.

需要少量幾何參數的渲染算法.該類算法包括視圖插值算法(View Interpolation)[6]和視圖變形算法(View Morphing)[7]，Chen和Williams的視圖插值算法能夠根據兩幅圖片重建兩視點間任意視點的視圖.這個算法在兩視點非常接近的時候效果非常好.該算法需要提取兩幅圖像的特征點，并利用光流算法來得到對應像素的偏移軌跡.根據新視點的相對位置參數和像素之間的對應關系對源圖像做變形操作，生成新視點的圖像.視圖變形算法能夠重建兩視點連線內任意一個視點的圖片.當兩個視點的指向和視點連線互相垂直的時候，連線內任意視點的視圖只需要做線性變換就可以生成.當兩視點的指向不平行時，需要通過預扭曲(pre-warp)使視點的指向與視點連線互相垂直，該操作可以變形兩幅圖片，使圖片之間對應的掃描線互相平行，再做線性變換，生成視點連線內新視點的視圖.最后做預扭曲的逆(post-warp)操作，生成新視點最終視圖.

需要大量幾何參數的渲染方法.該類方法需要大量三維信息來渲染新視點的圖片.通過重建視點拍攝場景得到三維點云，再把點云重投影到新視點上渲染視圖.如果圖片集的每一個像素點的深度信息都已知，就可以通過三維變形算法(3Dwarping)[8]渲染原始視點附近的任何一個新視點的視圖.本文要用到的基于保持內容的變形算法(Content-preserving Warps，CPW)[9]生成新視點視圖的算法就屬于三維變形算法.首先通過基于從運動信息中恢復三維場景結構(SfM, structure from motion)算法重建真實場景，并重建原始的攝像機軌跡.因為每幅圖片的內點特征點對應的三維坐標已知，那么根據這些三維信息，在軌跡上的每一個新視點的視圖可以通過原始軌跡上的視圖來生成.

1 系統(tǒng)概述

如圖1所示，該系統(tǒng)首先使用現(xiàn)成的基于SfM算法的軟件來重建攝像機軌跡和稀疏三維點云.然后，自動擬合一個三維平面圓作為新的攝像機軌跡.該系統(tǒng)在兩視點之間，使用對應特征點集、攝像機內參來計算基礎矩陣.基于對極變換算法，將每視圖對應特征點集投射到新視圖上.最后使用基于保持內容的變形算法生成新視圖圖像.兩幅圖片中的每一幅圖片都能生成對應的新視圖圖像，連續(xù)兩張原始圖像可以生成內部新視點的兩幅新視圖.該文根據新視點與原始視點之間的角度差為權值來融合兩幅新視圖為一幅新視圖.最后依照這一過程每兩幅連續(xù)視點的視圖之間生成一定數量的新視圖，新視圖和原始視圖一起合成一個視頻.操作這個視頻來實現(xiàn)對真實物體的交互式瀏覽.

2 準備數據

如圖2所示，該攝像機跟蹤軟件基于SIFT算法提取每幅圖片的二維特征點(x，y)，得到內點(圖2中綠色的點)、外點(圖2中紅色的點).最后基于SfM算法三維重建場景的三維點云.而本系統(tǒng)只需要從圖片中提取的二維特征點集和重建的三維特征點集、攝像機內外參.

圖2 提取的二維點Fig. 2 Extracted keypoints

圖3 求解新視點攝像機矩陣原理簡圖

圖4 對極變換原理簡圖Fig. 4 Method of epipolar transfer

使用KLT算法跟蹤攝像機，基于相鄰幀的對應特征點，并基于SfM算法估計兩幀對應的視點的攝像機矩陣和三維特征點.將所有攝像機坐標擬合三維圓：首先擬合三維平面，并將所有的三維點垂直投影到平面上，再在平面內建立一個二維坐標系，將所有投影后的二維點擬合一個二維圓，最后二維圓轉換為三維圓，得到三維圓方程.使用最小二乘優(yōu)化算法作為擬合算法.

3 對極變換

該文測試用的數據集是繞某一物體嚴格拍攝一圓周的照片，每隔5°拍攝一張照片，共拍攝73張圖片.假設新視點到順時針方向原始視點1的度數差為θ.已經擬合好的平面圓的中心軸axis，中心軸axis與平面的交點axispoint.

3.1 求解新視點攝像機矩陣

如圖3所示，該系統(tǒng)將所有的原始視點都對應到三維圓上某一點，生成兩相鄰視點間新視點的圖片.新視點僅僅是原始視點1繞旋轉軸旋轉θ得到的，所以，根據原始視點的外參矩陣的旋轉矩陣R求解新視點的外參矩陣的旋轉矩陣.RC=Raxis×R，然后再通過原始視點1旋轉θ求解新視點的三維坐標.這樣就得到新視點的攝像機矩陣P′.

3.2 求解原始視點與新視點之間的基礎矩陣

3.3 求解極線并求解極線交點

4 保持內容的變形算法

如圖5所示，首先將原始圖片網格化.圖片大小1024×768，按照64×64大小的網格將圖片分割為16×12個網格.

圖5 網格化 圖6 預處理Fig. 5 Gridding Frame Fig. 6 Pre-warping

4.1 預處理以及預變形算法

新視點的點集即極線的交點和原始視點相對應的特征點集之間求單應矩陣.單應矩陣對原始視點的圖片做變換，得到新視點預扭曲后的圖片，如圖6所示.

這一步使得原始視點的圖片經過單應矩陣的射影變換后，其特征點集的坐標也相應發(fā)生了變化，特征點和相對應的新視點的交點之間距離更小.最終實驗證明，經過預扭曲之后的特征點集、圖片與交點集作為保持內容的變形算法的輸入，會使結果更好.

4.2 保持內容的變形算法

4.2.1 數據項

這一步的目的是保證新視點上的特征點不會發(fā)生太大的偏移，即這一步的能量函數是為了最小化極線交點與原始視點圖片上對應的特征點的距離之和.

4.2.2 相似變換項

為了進一步約束圖像不要過分扭曲，在把圖像網格化的基礎上，每個網格又重新分為兩個三角形[13].

圖7 三角化Fig 7 Triangulation

其中ws是關于三角形所在的網格的顯著圖屬性[14].盡管不需要ws也可以得到很好的保持內容的扭曲效果，但是，一幅圖片中的內容對于用戶來說是有區(qū)別的.比如，大部分用戶對圖片中的天空等大部分留白的場景并不關心，只對色彩豐富、細節(jié)豐富的內容感興趣[15].為了更好地做到保持內容的扭曲效果，該系統(tǒng)計算每個網格的視覺顯著性，通過對所有像素的亮度做方差，并為了讓每一個點的能量函數的約束變量都在優(yōu)化中被有效約束，即每一個網格涉及到的優(yōu)化不會出現(xiàn)ws為0時，能量函數也為0的情況，對ws再加0.5，保證不會出現(xiàn)ws為0的情況.

最后把數據項的能量函數Ed和相似變換項的能量函數Es合并得到關于扭曲后的網格點Vi,j的能量函數E=Ed+αEs，其中α是一個經驗值.因為保持扭曲的算法最終得到的效果是圖片內容既不太扭曲(Es)也能盡量保持特征點對應的位置正確[9]，所以這個α就是數據項和相似變換項之間的相對權值.在該文實驗中把α的值設為20.因為要在兩幅原始視點中按照圓的軌跡精確地重新生成20個新視點的圖片，所以把α設為20是一個在重新擬合的攝像機運動軌跡和避免圖片過分扭曲之間的權衡.

4.3 紋理映射算法與兩視圖圖像融合

經過預變形算法和保持內容的變形算法后，得到了新視點圖片的所有網格的點.基于掃描線算法，把原始圖片的像素對應到新視點網格的像素上.圖8a是扭曲原始視點的圖片生成新視點的圖片的結果.圖8b則是畫出網格，并填上所有特征點(極線交點).即使圖片邊界異常扭曲，而圖片內容的主體部分，比如盒子表面的復雜紋理等依然保持自然的形狀.而像藍色的轉臺、背景等用戶并不十分關注的區(qū)域則扭曲效果明顯.為了驗證是否保持內容的扭曲，在扭曲圖片中填上網格和特征點，實驗發(fā)現(xiàn)特征點正常分布在顯著區(qū)域，在經過變形算法的優(yōu)化后，特征點對真實場景也做到了非常好的對應.

4.4 生成最終視頻

在每兩視點間生成20個新視點的圖片，共生成1 min的視頻流.該系統(tǒng)實現(xiàn)了如圖9所示的可以自由瀏覽的交互方式，鍵盤左右鍵可以在同一個同心圓上瀏覽，鍵盤前后鍵可以在不同的同心圓瀏覽.當要縮小視角時(即縮小當前的新視圖)，從攝像機軌跡來說，即新視點沿半徑方向移動到外面的同心圓，此時視點沿半徑方向移動到綠色的同心圓；當要放大視角時(即放大當前的新視圖，以圖像中心為軸)，從攝像機軌跡來說，即新視點沿半徑方向移動到內部的同心圓，當要移動視角時(即移動當前的新視圖)，從攝像機軌跡來說，即新視點沿圓周方向移動.

5 實 驗

5.1 真實數據

本系統(tǒng)使用一個真實場景的數據，該數據是通過固定攝像頭拍攝的一個轉臺物體.隨轉臺的轉動，連續(xù)拍攝73張照片，即每隔5°拍攝一張照片.這樣的數據，保證了攝像機運動軌跡的穩(wěn)定，還保證了圖片的數據量.在某一個新視點鄰近原始視點的視圖如圖10所示.

a.由左視圖生成的新視圖

b.由右視圖生成的新視圖

a.縮小視角

b.放大視角

c.移動視角

a.原始視圖

b.生成的新視圖

圖10 使用CPW算法生成新視圖

Fig.10 Using CPW method to synthesize two novel views

5.2 View Morphing, Photosynth, CPW的對比實驗

同樣的數據，通過視圖變形算法(View Morphing)，Photosynth，Content-preserving Warps生成新視圖.從圖11中可以看出，View Morphing生成的新視圖圖片扭曲較大，已經和原始視圖相差太遠，而且需要裁剪的部分太多.而Photosynth生成的新視圖僅僅是對場景的三維模型做了相應的貼圖.如圖11所示，線框為攝像機模型，新視點的視圖就是在臨近兩視圖之間插值生成，和Content preserving Warps的方式是一樣的.不過Photosynth生成的重影過大.另外由Photosynth生成的攝像機軌跡(圖12)來看，也完全和真實情況不符.所以即使能生成新視點視圖，該視圖也有可能是由完全不連續(xù)的兩幅圖片來生成，所以新視點視圖非常有可能是錯誤的[16].從以上實驗看出，Content-preserving Warps在生成新視點視圖上效果非常好，缺點是計算性能要求太高，遠高于View Morphing這種基于線性變換的算法，而接近于Photosynth這種也需要三維建模的新視點視圖生成算法.

a.View Morphing結果 b.Photosynth結果 c.CPW算法結果圖11 3種算法生成的新視圖比較Fig.11 Comparison of three synthesizedviews

a.Photosynth生成的三維模型正視圖 b.Photosynth生成的三維模型俯視圖圖12 Photosynth生成的攝像機軌跡Fig 12 Camera trajectory synthesized by photosynth

作者測試了View Morphing、Content-preserving Warps、Photosynth生成一張測試圖片的平均時間，分別為1.6,0.7,0.2 s.因為Photosynth所使用的算法和Content-preserving Warps 非常類似，只需要在生成新視點圖片前做三維建模處理，生成攝像機數據和特征點數據即可，所以這一步的時間沒必要包含到生成新視點的圖片的時間里.另外，Photosynth生成新視點圖片的算法只是簡單地把兩原始視點的圖片根據角度差做圖片融合，所以其生成圖片的時間非常少.而View Morphing使用的是簡單的線性矩陣變換，這種算法非常依賴于特征點的數目，特征點數目越多，變形算法需要的時間越多.在該示例中，View Morphing需要的時間遠遠多于Content-preserving Warps算法.

a.原始恐龍的視圖 b.生成的恐龍視圖

c.原始花的視圖 d.生成的花的視圖

e.原始樹的視圖 f.生成的樹的視圖

5.3 通過Maya模擬生成的數據在CPW算法下的結果

如圖13所示，從3個數據集中的新視點的圖片可以看出，Content-preserving Warps算法的效果非常好，很好地保持了圖片的主要內容.但是還必須要強調的是，這里選擇的數據都通過voodoo恢復了非常好的攝像機數據，即攝像機分布均勻，基本落在一個三維圓上.因為本文使用的對極變換算法需要兩個攝像機數據來計算，也就是說攝像機數據的正確性決定了對極變換算法的有效性.如果對極變換算法失敗，即基礎矩陣求解的結果使后面求解極線交點的數目過少甚至沒有，那么Content-preserving Warps算法也無從施展.正如上面的3個數據集，需要選擇細節(jié)豐富、色彩豐富的紋理，另外還要保持大部分特征點集分布均勻，這樣才能更好地進行Content-preserving Warps算法來生成新視點視圖.

6 總結與展望

因為生成的圖片是不規(guī)則的，本文實現(xiàn)的虛擬展示系統(tǒng)對真實場景信息有所裁剪.可以通過提取更稠密特征點的算法對新視圖的特征點集做擴充，從而在圖片中生成分布范圍更廣的特征點集，使得新視點視圖中的特征點集分布更均勻，生成的新視圖被裁剪更少.該系統(tǒng)不僅保證新視點視圖的完整性，還擴大了能生成視圖的新視點的范圍，相比其他虛擬展示系統(tǒng)僅以渲染圖像的方式實現(xiàn)，計算量小、可操作性好，而且視覺體驗良好.

[1] SHUM H, KANG S B. Review of image-based rendering techniques[C]//Visual Communications and Image Processing. International Society for Optics and Photonics, 2000:2-13.

[2] GORTLER S J, GRZESZCZUK R, SZELISKI R, et al. The lumigraph[C]// Conference on Computer Graphics and Interactive Techniques. New Orleans:ACM, 1996:43-54.

[3] LEVOY M，HANRAHAN P. Light field rendering[C]//Conference on Computer Graphics and Interactive Techniques. New Orleans:ACM, 1996:64-71.

[4] SHUM H Y, HE L W. Rendering with concentric mosaics[C]//SIGGRAPH 99 Conference.Los Angeles,2012:299-306.

[5] GRAU O C G, GUTHEINZ E. Virtual art: from illusion to immersion[M]. Boston：The MIT Press, 2003.

[6] CHEN S E, WILLIAMS L. View interpolation for image synthesis[C]//Conference on Computer Graphics and Interactive Techniques.New Orleans: ACM, 1993:279-288.

[7] SEITZ S M, DYER C R. View morphing: Synthesizing 3D metamorphoses using image transforms[C]//SIGGRAPH 96 Conference,1996:21-30.

[8] MCMILLAN L. An image-based approach to three-dimensional computer graphics[D]. North Carolina :University of North Carolina at Chapel Hill, 1997.

[9] LIU F, GLEICHER M, JIN H, et al. Content-preserving warps for 3D video stabilization[C]// ACM Transactions on Graphics (TOG), 2009:341-352.

[10] NIEM W. Robust and fast modeling of 3D natural objects from multiple views[C]//Proceedings of SPIE - The International Society for Optical Engineering, 1994:388-397.

[11] XU G, ZHANG Z. Epipolar geometry in stereo, motion and object recognition[M]. New York :Springer ,1996.

[12] HECKBERT P S. Fundamentals of texture mapping and image warping[R]. California:University of California at Berkeley Berkeley, 1989.

[13] IGARASHI T, MOSCOVICH T, HUGHES J F. As-rigid-as-possible shape manipulation[J]. ACM Transactions on Graphics, 2005, 24(3):1134-1141.

[14] WANG Y S, TAI C L, SORKINE O, et al. Optimized scale-and-stretch for image resizing[J]. ACM Transactions on Graphics, 2008, 27(5):32-39.

[15] ITTI L, KOCH C, NIEBUR E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1998, 20(11):1254-1259.

[16] SNAVELY N, SEITZ S M, SZELISKI R. Photo tourism: exploring photo collections in 3D[J]. ACM Transactions on Graphics, 2006, 25(3):835-846.

The Virtual Display System for the Deformation Algorithm Basing on Content-preserving

HOU Ying, WANG Haipeng

(Institute of Service Engineering, Hangzhou Normal University, Hangzhou 311121, China)

A three-dimensional virtual display system is implemented by the algorithm basing on image rendering. The system can interactively browse real objects from different angles with different zoom ratios. Firstly, the original camera trajectory and the sparse 3D point cloud are reconstructed based on the SfM algorithm, and the camera trajectory is fitted to the 3D plane circle. Antipode deformation algorithm is used between two continuous viewpoints, and the minutiae set is projected on to new images, finally new images are generated with the deformation algorithm basing on content-preserving. Two viewpoints can generate the corresponding new viewpoint images, two consecutive viewpoints can generate two new images of internal new viewpoints. Finally, the new and the original images are composited to be video. The system realizes the interactive browsing method of zooming and rotation by operating videos. The advantage of the system is that it does not need to do three-dimensional reconstruction of objects, only shows the objects with pictures. The system is different from the three-dimensional display system based on 3D reconstruction. The system is based on image rendering, the computation is small, the interaction method is simple and more realistic.

image-based rendering; 3D modeling; virtual display system

2016-11-21

侯 穎(1992—)，女，計算機應用專業(yè)碩士研究生，主要從事增強現(xiàn)實技術研究.E-mail：m15838267459@163.com

10.3969/j.issn.1674-232X.2017.04.017

TP37

A

1674-232X(2017)04-0441-08