一種動態(tài)稀疏式觀測系統(tǒng)的場景重建方案

楊 磊，李桂菊

(1.中國科學(xué)院長春光學(xué)精密機械與物理研究所，長春 130033；2.中國科學(xué)院大學(xué)，北京 100039)

1 概述

基于圖像的三維重建常指從目標的2D投影中恢復(fù)其3D信息的過程，隨著近年來硬件性能的逐步提升，密集三維重建開始被廣泛地用于獲取更佳的視覺效果，并提供更全面的場景信息。通常，可根據(jù)測量基線的長短，將其分為寬基線和窄基線(也稱短基線)2類。

典型的單目寬基線方法被用于解決多視角、多尺度重建問題，常基于圖像的特征匹配。因此，需匹配大量特征以構(gòu)成密集點云，進而通過頂點模型描述場景結(jié)構(gòu)。其重建效果取決于頂點的空間分布與場景幾何結(jié)構(gòu)的關(guān)系，少量外側(cè)散點不影響重建的視覺效果[1]。

然而，頂點模型所需點數(shù)較多，且缺乏對目標結(jié)構(gòu)的拓撲描述，導(dǎo)致該模型難以直接應(yīng)用于CAD/CAM等后續(xù)工作中，因此，常需進行后續(xù)處理，其具體方法與應(yīng)用要求有關(guān)。例如，場景合成、地形重建等側(cè)重于視覺效果的真實感，多采用距離場多邊形/多面體建模[2]；而制造加工等逆向工程則側(cè)重于物件表面的光滑性，多采用曲面建模[3]。另外，在實際應(yīng)用中，不同于激光、超聲或CT等方法可獲取結(jié)構(gòu)化的柵格點云數(shù)據(jù)，單目圖像提取的點云多呈非結(jié)構(gòu)化，難以直接采用結(jié)構(gòu)化建模的方式，其觀測結(jié)果中包含大量散亂點，易導(dǎo)致曲面的病態(tài)擬合[4]。一直以來，研究者們開展的各項工作提高了擬合的魯棒性[5-7]，然而，寬基線系統(tǒng)的整體結(jié)構(gòu)多呈單向級聯(lián)式，各算法模塊內(nèi)部存在大型循環(huán)，更適合離線靜態(tài)執(zhí)行。

典型的單目窄基線方法常被用于進行觀測者自身的運動分析，多采用同步定位與繪圖方案[8-9]。目前，研究者們多采用基于卡爾曼濾波[10-11]或粒子濾波的[11-12]方法，估計觀測姿態(tài)并跟蹤系統(tǒng)標記，其優(yōu)點在于可密集地更新觀測數(shù)據(jù)并精確地矯正姿態(tài)。然而，其觀測負擔導(dǎo)致系統(tǒng)只能持續(xù)維護極少量的標記；另外，對于單目重建系統(tǒng)，還需同步關(guān)聯(lián)并矯正鄰近幀形成的圖像對，進而將多視圖重建轉(zhuǎn)化為立體匹配問題，最終映射視差以重建場景深度。

然而，立體匹配常要求圖像對沿掃描線嚴格矯正[13]，以簡化對極搜索，因此，需連續(xù)地觀測標記并反復(fù)矯正姿態(tài)，加重了系統(tǒng)負擔。另外，在實際應(yīng)用中，由于窄基線系統(tǒng)的基線較短，導(dǎo)致其對中、遠距離目標的觀測誤差較大，難以連續(xù)精確地估計姿態(tài)，實際應(yīng)用中常需結(jié)合GPS、激光測距儀等設(shè)備[14]。

為在一定程度上實現(xiàn)動態(tài)觀測下的場景密集重建，本文提出一種方法并設(shè)計了相應(yīng)的系統(tǒng)，通過稀疏觀測的方式，交錯式地進行觀測數(shù)據(jù)的更新與維護，以避免窄基線方法觀測負擔過重的問題；并采用混合建模的方法，結(jié)合適當?shù)念A(yù)處理，進行場景目標重建，以解決傳統(tǒng)頂點模型后續(xù)重建中的病態(tài)重建問題。

2 系統(tǒng)方案設(shè)計

目前，經(jīng)典的單目寬基線方案雖具有對觀測數(shù)據(jù)容錯性較高的優(yōu)點，但存在匹配數(shù)據(jù)量大、對特征匹配準確性依賴度較高的缺點；而經(jīng)典的單目窄基線方案雖具有在線動態(tài)觀測的優(yōu)點，但存在系統(tǒng)觀測負擔較重，需反復(fù)矯正姿態(tài)的缺點，對此，本文提出一種新的觀測并重建的系統(tǒng)方案，在流程上采用事件驅(qū)動方式，以減少顯式反饋，結(jié)構(gòu)如圖1所示。該方案引入稀疏式觀測，提高觀測效率，并通過自適應(yīng)散點抑制及混合建模的方法提高重建容錯性，以達到動態(tài)、自適應(yīng)、模塊化、密集地重建場景模型，拓展應(yīng)用范圍。該方案基于窄基線系統(tǒng)，采用稀疏式觀測，引入一致性檢測及維護判定，維護一定數(shù)量、可直接用于重建任務(wù)的觀測標記，并緩沖隔離維護任務(wù)與更新任務(wù)，提高觀測效率。采用全局初始化，自適應(yīng)約束原始點集的外側(cè)散點，抑制多邊形模型的邊緣鋸齒及曲面病態(tài)擬合。采用多邊形初始建模結(jié)合局部梯度-矢量模型[15]，由粗到精優(yōu)化觀測界面，重建模型表面。系統(tǒng)采用雙模塊多線程結(jié)構(gòu)，通過多緩沖隔離，可適應(yīng)多任務(wù)環(huán)境。

圖1 動態(tài)稀疏觀測系統(tǒng)的密集三維重建方案流程

3 稀疏觀測

稀疏觀測主要包括2個任務(wù)，即觀測更新與觀測維護。系統(tǒng)需首先進行觀測更新，以初始化系統(tǒng)的觀測數(shù)據(jù)，而后兩任務(wù)間可通過觀測緩沖區(qū)進行數(shù)據(jù)隔離。

3.1 觀測更新

假定系統(tǒng)成像模型滿足針孔攝像機模型；可采用角點檢測，快速指定系統(tǒng)標記，作為觀測系統(tǒng)輸入。對更新模塊，需匹配當前指定的系統(tǒng)標記。令2組匹配的標記分別為u和u'，本質(zhì)矩陣為E，相機內(nèi)參矩陣為K，有式(1)：

對式(1)中的本質(zhì)矩陣E進行分解：E=[t]xR，[t]x為平移向量的反對稱陣形式，R=[rmn]3×3為旋轉(zhuǎn)矩陣。令觀測矩陣 P=K[I,0],P ′=K[R,t]，可由式(2)求X超定解：

為防止觀測誤差的逐步累積，需將局部觀測優(yōu)化，即將式(3)列為更新模塊的必要步驟。

3.2 觀測維護

在不等式(6)中，若M/N與N/S值較大，也即高于tM和tN時，則無需對維護數(shù)據(jù)進行局部優(yōu)化。實際應(yīng)用中，維護判定可直接影響更新次數(shù)，即觀測更新率，進而影響觀測系統(tǒng)負擔以及觀測數(shù)據(jù)質(zhì)量。本文所采用的參數(shù)tN=tM=0.5，而ε∑為較小的值，可令ε∑=10–4。

4 密集重建

密集重建主要包括全局初始化與場景重建2個任務(wù)。全局初始化過程以原始觀測點集為輸入數(shù)據(jù)，預(yù)處理并優(yōu)化點集，得到全局稀疏點云，然后基于該點云進行場景重建。

4.1 全局初始化

不同于結(jié)構(gòu)化的標量場重建，曲面擬合對外側(cè)散亂較為敏感。需進行必要預(yù)處理，去除輸入點集所包含的散亂點，必要步驟包括局部點云精簡、全局法向約束等。

常見的全局法向約束是根據(jù)當前點集的密集程度，人工指定各頂點法向計算的參考鄰域。為減少人工干預(yù)，需引入一種自適應(yīng)的約束方式。隨機抽取觀測點 X1,X2,X3構(gòu)成參考面Rn。理想的Rn為界面ψ沿nz方向的投影，且處于觀測水平表面附近，可定義式(7)：

在式(7)中，若Rn平行于理想觀測水平面，則其單位法向量nr應(yīng)反向平行于nz。第k次抽樣形成的參考平面法向量為，因此，R與理想觀測n水平面的差異程度可由nz與的夾角進行衡量，即：

對于滿足不等式(8)(例如可令 θc＜5°)的平面Rn，可取任意除控制點外的觀測點Xk。若該點為擬合點，則到Rn的距離dkn應(yīng)符合點集自身的幾何特性，可根據(jù)點云自身幾何特性進行自適應(yīng)調(diào)整；可通過軸向邊界盒自適應(yīng)中心規(guī)范化點集的坐標值，構(gòu)成最佳參考平面的內(nèi)點集合到參考平面距離可直接由點到平面距離公式計算，可定義為均方和最小化的過程。具體對于第i次迭代，有式(9)形式：

由式(9)，通過點-面距離進行全局頂點約束以及常規(guī)的點云精簡及平滑后，可由光束平差法進行全局優(yōu)化，得到全局初始點云，可作為場景重建的輸入。

4.2 場景重建

對于預(yù)處理后的點集，為消除邊緣鋸齒并修補表面破損，可采用曲面建模，但要求點集數(shù)據(jù)具備有序性，即滿足某種拓撲結(jié)構(gòu)。對無序點集，常需初始模型或先驗知識，若缺少相應(yīng)處理環(huán)節(jié)及約束條件，少量外側(cè)散點即可引發(fā)病態(tài)擬合。不同于曲面擬合，多邊形建模不會造成頂點漂移，保真性較好，但重建效果依賴于片元數(shù)量且易產(chǎn)生鋸齒，常需采用細分抗鋸齒，但該方法將產(chǎn)生大量冗余數(shù)據(jù)。

為消除邊緣鋸齒，修補表面破損，并抑制擬合引起的頂點漂移，同時防止病態(tài)擬合的發(fā)生，可采用混合建模的方法。由于場景的視覺外觀由場景表面屬性和觀測者的姿態(tài)共同決定，可表示為場景沿觀測方向nv的動態(tài)演化界面。令受測曲面頂點為V=(x,y,z)，觀測界面可表示為初始場景模型ψo(x,y,z,nv)的零水平集。定義第k次觀測時點集V的模型函數(shù)為ψ(V,k)，對水平觀測常數(shù)c有水平集合{V |ψk(V)=c}，處于觀測界面內(nèi)側(cè)的頂點記為1，反之記為0，可建立觀測界面的二值標量場函數(shù)?？赏ㄟ^檢測各頂點抽樣立方體的空間16-鄰域亞抽樣點Vn的可見性，判斷Vk可見性，進而對場函數(shù)進行標量化，該過程可由式(10)定義：

由式(10)，可定義二值標量場。此時，水平常數(shù)對應(yīng)的場景觀測界面兩側(cè)存在的勢差將導(dǎo)致界面局部沿勢差下降方向演化，并形成界面的運動矢量場 Mv=(uvi,vvj,wvh)，其中，i,j,k為正交單位向量。理想界面的局部演化方向為勢差下降最快方向，考慮到這一實際的誤差ε，可由不等式(11)建立局部梯度-關(guān)系矢量：

其中，S為尺度規(guī)范化因子。在具體實現(xiàn)形式中，需引入哈密頓算子▽，導(dǎo)出散度關(guān)系，將上式由矢量關(guān)系形式轉(zhuǎn)為標量關(guān)系形式，即式(12)：

式(12)表明，可通過場強能量函數(shù)，衡量梯度場與運動場之間的一致性，該能量函數(shù)可由式(13)定義：

當標量函數(shù)φ(x)各向分量獨立時，引入拉普拉斯算子L實現(xiàn)二階差分近似計算，式(13)數(shù)值形式可由式(14)定義：

拉式算子對噪聲較敏感，需對界面梯度場進行局部鄰域范圍內(nèi)的高斯平滑。若頂點Vk的高斯卷積核函數(shù)為G(Vk)，由式(14)可對曲面任意頂點的觀測坐標，通過最小化能量函數(shù)的過程迭代得出，該過程可由式(15)表示：

對于每次迭代i，需更新梯度場及運動場，更新方法為：

迭代終止時得出較平滑的場景表面的三維模型，一定程度上，可消除邊緣噪聲鋸齒、修補破損，并抑制頂點的擬合偏移，避免病態(tài)擬合的發(fā)生。

5 實驗結(jié)果與分析

系統(tǒng)通過整合稀疏動態(tài)觀測與混合模型重建，以期在單目視覺平臺上獲得動態(tài)觀測與密集重建的特性，并可將其推廣至室外大目標場景，以拓展系統(tǒng)的應(yīng)用特性，因此，實驗的輸入數(shù)據(jù)位單目運動場景序列，并由幀插值構(gòu)成視頻流輸入形式。通過相同輸入下，不同觀測更新率及不同初始模型所得出的最終重建結(jié)果，全面反映系統(tǒng)的綜合應(yīng)用特性。圖2為實驗數(shù)據(jù)輸入流中不同視角處4幀的圖像。

圖2 場景中不同視角處的4幀

引入稀疏觀測的主要目標是在不明顯降低數(shù)據(jù)質(zhì)量的前提下減小系統(tǒng)負擔，系統(tǒng)負擔高低受觀測更新次數(shù)影響最為明顯，觀測更新次數(shù)則取決于觀測維護判定。實驗中，分別采用高、低觀測維護，可由圖3對比在2種維護判定標準下，也即不同的觀測更新率下所得到的原始觀測點集，以及經(jīng)全局初始化后得到的相應(yīng)稀疏點云。

圖3 2種維護判定標準下的觀測結(jié)果

在圖3中，第1行使用較低的維護判定(tN=0.5,tM=0.5)，觀測系統(tǒng)相對維護較多，更新率較少，而第2行維護判定較高((tN=0.65,tM=0.65)，導(dǎo)致系統(tǒng)維護較少，更新較多；重要觀測數(shù)據(jù)如表1所示。

表1 2種維護判定標準下的觀測數(shù)據(jù)

可歸納2點：(1)較高更新率可獲得更密集的觀測點集，但也同樣增加了外點出現(xiàn)的概率；在表1中，低維護/高更新率下的移除外點為870，占總數(shù)20.94%，而高維護/低更新率下的移除外點數(shù)為587，占總數(shù)17.19%，在某種程度上可認為，低更新高維護的觀測過程引入外點的幾率更低，因此，觀測效率更佳。(2)經(jīng)過參考平面全局約束后，尤其是觀測方向上外圍散點得到了有效抑制，可保持目標整體結(jié)構(gòu)的正確性，使得初始模型可給出較好擬合初值，進而降低病態(tài)擬合的風(fēng)險。重建結(jié)果由圖4～圖6給出，左側(cè)統(tǒng)一為低更新/高維護時的重建模型，右側(cè)統(tǒng)一為高更新/低維護時的重加模型，分為無細分、1次細分、2次細分3種情況。

圖4中的初始模型由原始多邊形建模得出，后續(xù)處理僅包括常規(guī)的曲面精簡及曲面平滑，初始模型較為粗糙，且由于單位空間內(nèi)的頂點較少，對局部擬合行為的約束較弱，因此最終結(jié)果雖大體結(jié)構(gòu)正確，但細節(jié)較少，且上側(cè)背部區(qū)域有一處凸包，屬擬合不足導(dǎo)致。右列結(jié)果中細節(jié)較左列多，這是由于其初始點集的點數(shù)較多。

圖4 無細分初始模型及其擬合結(jié)果

圖5為細分1次作為初值的結(jié)果。上側(cè)背部的凸包在左右兩列中均不明顯，表面細節(jié)較無細分時豐富，可見當細分后，單位區(qū)域內(nèi)頂點增加，對局部擬合的約束加強，可防止擬合中常見的頂點漂移現(xiàn)象的發(fā)生。

圖5 1次細分初始模型及其擬合結(jié)果

此時左右2列細節(jié)差異程度較小，且左列表面鋸齒較右列多，這是由于其并未剔除的外點引入的數(shù)據(jù)噪聲在細分時進一步擴散，使得擬合過程難以平滑噪聲較多的局部區(qū)域所導(dǎo)致。

圖6為進一步細分的結(jié)果。當細分2次后，模型視覺效果明顯強于無細分或無擬合的模型，此時，左右2列模型的細節(jié)較1次細分時的差異較小，這是由于單位區(qū)域內(nèi)頂點數(shù)量過多，初始模型的剛性約束過強，使得擬合效果減弱而導(dǎo)致。值得注意的是，此時左列表面明顯較右列平滑，且整體結(jié)構(gòu)更為完整?？梢?，數(shù)據(jù)外點的擾動效果在多次細分后將被明顯加強，由于此時將形成噪聲區(qū)域，使得去噪的難度提高。

圖6 2次細分模型及其擬合結(jié)果

表2為重建過程數(shù)據(jù)。細分的空間復(fù)雜度為O(4n)，多次細分后數(shù)據(jù)量大幅增長，將對重構(gòu)系統(tǒng)產(chǎn)生極大負擔，在后續(xù)處理中有必要加入精簡處理，例如頂點合并等；2次細分后，初始模型片元數(shù)多于最終模型，說明擬合過程中，平滑后局部空間分割的過程中，同時合并冗余頂點可有效削減計算量，且過多細分后將明顯造成數(shù)據(jù)冗余。

表2 重建過程數(shù)據(jù)

6 結(jié)束語

本文引入稀疏觀測，采用降低更新率削減系統(tǒng)負擔，同時通過有效的外點抑制結(jié)合混合建模方法進行重建，可達到由稀疏到密集地進行動態(tài)重建的目的。實驗結(jié)果證明，稀疏觀測在有效減少數(shù)據(jù)更新數(shù)量的同時，不會增加外點引入的比例，結(jié)合混合建模后，可通過適當?shù)某跏技毞?，由較少的初始頂點得到較好的最終重建結(jié)果。但目前系統(tǒng)仍缺少更有效地平衡更新率與細分次數(shù)的方式，下一步工作將研究解決這一問題，使系統(tǒng)在任意場景下自發(fā)地由較少觀測數(shù)據(jù)恢復(fù)出較完整的模型。

[1]Seitz S M,Curless B,Diebel J,et al.A Comparison and Evaluation of Multi-view Stereo Reconstruction Algorithms[C]//Proc.of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE Press,2006:519-528.

[2]趙友兵,石教英,周 驥,等.一種大規(guī)模地形的快速漫游算法[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報,2002,14(7):624-648.

[3]田曉東,史桂蓉,阮雪榆.復(fù)雜曲面實物的逆向工程及其關(guān)鍵技術(shù)[J].機械設(shè)計與制造工程,2000,7(4):1-3.

[4]周儒榮,張麗艷,蘇 旭,等.海量散亂點的曲面重建算法研究[J].軟件學(xué)報,2001,12(2):249-255.

[5]Carr J C,Beatson R K,Cherrie J B,et al.Reconstruction and Representation of 3D Objects with Radial Basis Functions[C]//Proc.of the 28th Annual Conference on Computer Graphics and Interactive Techniques.[S.l.]:ACM Press,2001:67-76.

[6]Ohtake Y,Belyaev A,Alexa M,et al.Multi-level Partition of Unity Implicits[J].ACM Transactions on Graphics,2005,22(3):463-470.

[7]Kazhdan M,Bolitho M,Hoppe H.Poisson Surface Reconstruction[C]//Proc.of the 4th Eurographics Symposium on Geometry Processing.[S.l.]:IEEE Press,2006:61-70.

[8]Dissanayake M W M G,Newman P,Clark S,et al.A Solution to the Simultaneous Localization and Map Building(SLAM)Problem[J].IEEE Transactions on Robotics and Automation,2001,17(3):229-241.

[9]許俊勇,王景川,陳衛(wèi)東.基于全景視覺的移動機器人同步定位與地圖創(chuàng)建研究[J].機器人,2008,30(4):289-297.

[10]Davison A J,Reid I D,Molton N D,et al.MonoSLAM:Real-time Single Camera SLAM[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2007,29(6):1052-1067.

[11]胡洪濤,敬忠良,李安平,等.非高斯條件下基于粒子濾波的目標跟蹤[J].上海交通大學(xué)學(xué)報,2004,38(12):1996-1999.

[12]周 超,韓 波,李 平,等.基于自適應(yīng)特征的地標跟蹤算法[J].計算機工程,2011,37(24):155-157.

[13]Scharstein D,Szeliski R.A Taxonomy and Evaluation of Dense Two-frame Stereo Correspondence Algorithms[J].International Journal of Computer Vision,2002,47(1/3):7-42.

[14]Newman P,Cole D,Ho K.Outdoor SLAM Using Visual Appearance and Laser Ranging[C]//Proc.of IEEE International Conference on Robotics and Automation.[S.l.]:IEEE Press,2006:1180-1187.

[15]Xu Chenyang,Prince J L.Snakes,Shapes,and Gradient Vector Flow[J].IEEE Transactions on Image Processing,1998,7(3):359-369.