隨機(jī)蕨編碼在三維重建中的應(yīng)用

劉 洋， 張國(guó)山, 黃偉杰， 王欣博

(天津大學(xué) 電氣與自動(dòng)化工程學(xué)院，天津 300072)

隨機(jī)蕨編碼在三維重建中的應(yīng)用

劉 洋， 張國(guó)山, 黃偉杰， 王欣博

(天津大學(xué)電氣與自動(dòng)化工程學(xué)院，天津300072)

針對(duì)KinectFusion算法中存在的重建范圍小、缺少有效的重新定位策略及累計(jì)誤差問題，提出了一種基于隨機(jī)蕨編碼的三維重建方法。應(yīng)用隨機(jī)蕨編碼構(gòu)建相機(jī)路徑回環(huán)的檢測(cè)策略減少長(zhǎng)時(shí)間重建所產(chǎn)生的累積誤差，通過檢索相似關(guān)鍵幀進(jìn)行相機(jī)位姿估計(jì)失敗后的重新定位，通過與程序集成框架InfiniTAM相結(jié)合，增大重建范圍。采用RGB-D SLAM驗(yàn)證數(shù)據(jù)集進(jìn)行了對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)表明：提出的方法可以大大增加重建范圍，在相機(jī)定位失敗后有效地進(jìn)行重新定位，同時(shí)減少了長(zhǎng)時(shí)間重建產(chǎn)生的累積誤差，使得三維重建的過程更加穩(wěn)定，獲得的相機(jī)位姿更加精確。

隨機(jī)蕨編碼； 三維重建； 相機(jī)路徑回環(huán)； 關(guān)鍵幀

0 引 言

三維重建技術(shù)一直是計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)，在人機(jī)交互、機(jī)器人導(dǎo)航控制、增強(qiáng)現(xiàn)實(shí)等方面有著重要應(yīng)用。自2010年11月微軟公司發(fā)布Kinect以后，由于其操作簡(jiǎn)單、成本低廉、攜帶輕便，使得基于Kinect深度傳感器的室內(nèi)三維重建技術(shù)研究迅速發(fā)展起來。

2010 年，Henry P等人[1]利用 Kinect相機(jī)對(duì)室內(nèi)場(chǎng)景進(jìn)行三維重建。但此方法獲得的三維模型較為粗糙，速度也只有2 fps左右。2011年，Newcombe R A等人提出了KinectFusion算法[2]，可以在可變光照條件下對(duì)室內(nèi)環(huán)境進(jìn)行密集表面重建,但該算法存在以下3個(gè)問題：1)重建范圍受限制；2)建模過程中相機(jī)位姿估計(jì)會(huì)產(chǎn)生累積誤差；3)相機(jī)位姿跟蹤失敗后不能有效地進(jìn)行重新定位。

2013年，Matthias N等人[3]將哈希結(jié)構(gòu)[4，,5]引入到了KinectFusion算法，利用高效的數(shù)據(jù)結(jié)構(gòu)，內(nèi)存與顯存之間的數(shù)據(jù)流交換，使得三維重建的范圍有了很大提升。2014年，Prisacariu V A等人實(shí)現(xiàn)了Matthias N等人[3]的思想，構(gòu)造了一個(gè)KinectFusion算法的集成程序框架稱為InfiniTAM[6]Prisacariu,將KinectFusion算法建模的各個(gè)步驟集成為模塊，使得用戶可以很容易地根據(jù)需要進(jìn)行算法的改進(jìn)或者更換，從而實(shí)現(xiàn)了基于哈希結(jié)構(gòu)的快速、靈活的大范圍三維重建。

2015年， Glocker B 等人[7,8]將隨機(jī)蕨編碼算法引入到三維重建系統(tǒng)中，利用隨機(jī)蕨編碼提取RGB-D圖像的特征，通過對(duì)其快速匹配，實(shí)現(xiàn)了跟蹤失敗時(shí)相機(jī)位姿的重新獲取。

與KinectFusion算法一樣，許多基于稀疏特征點(diǎn)的三維建模算法[9,10]，均會(huì)產(chǎn)生累積誤差，目前,主要通過檢測(cè)相機(jī)路徑回環(huán)(loop closure)[9，11]的方法解決。然而若將這些檢測(cè)回環(huán)的算法用于基于密集點(diǎn)云的三維重建系統(tǒng)中，則需要匹配和計(jì)算的點(diǎn)的數(shù)量將會(huì)大大增加，計(jì)算成本和所需時(shí)間也會(huì)相應(yīng)增加，這是實(shí)時(shí)三維重建系統(tǒng)所應(yīng)該避免的。

文獻(xiàn)[4]只解決了重建范圍小的問題，文獻(xiàn)[10,11]只解決了相機(jī)重新定位的問題，而文獻(xiàn)[12,13]中檢測(cè)相機(jī)路徑回環(huán)的方法是基于稀疏特征點(diǎn)的檢測(cè)方法，不適用于KinectFusion算法這樣基于密集點(diǎn)云的三維重建系統(tǒng)。

針對(duì)KinectFusion算法中存在的重建范圍小、缺少有效的重新定位策略及累計(jì)誤差問題，本文利用隨機(jī)蕨編碼算法，實(shí)現(xiàn)了相機(jī)路徑的回環(huán)檢測(cè)，并將此算法與文獻(xiàn)[9]中的InfiniTAM框架相結(jié)合，利用GPU的并行計(jì)算能力對(duì)隨機(jī)蕨編碼算法進(jìn)行加速，使得InfiniTAM在進(jìn)行大范圍三維重建的過程中，可以在相機(jī)定位失敗時(shí)快速重新定位，并且通過檢測(cè)相機(jī)路徑回環(huán)減少累積誤差。

1 KinectFusion算法

KinectFusion算法的流程如圖1所示，主要由以下4個(gè)部分組成：1)處理所采集的深度圖，將其深度數(shù)據(jù)轉(zhuǎn)換為三維點(diǎn)云，得到點(diǎn)云中頂點(diǎn)的三維坐標(biāo)和法向量；2)估計(jì)相機(jī)位姿，將當(dāng)前幀三維點(diǎn)云和由現(xiàn)有模型預(yù)測(cè)生成的三維點(diǎn)云進(jìn)行ICP配準(zhǔn)，得到當(dāng)前幀相機(jī)的位姿；3)點(diǎn)云融合，根據(jù)計(jì)算出的當(dāng)前的相機(jī)位姿，使用TSDF 模型進(jìn)行點(diǎn)云融合，將當(dāng)前幀的三維點(diǎn)云融合到現(xiàn)有模型中；4)場(chǎng)景渲染，使用光線跟蹤的方法，根據(jù)現(xiàn)有模型和當(dāng)前相機(jī)位姿預(yù)測(cè)出當(dāng)前相機(jī)觀察到的環(huán)境點(diǎn)云，一方面用于反饋給用戶用于顯示，另一方面提供給(2)進(jìn)行ICP 配準(zhǔn)。

圖1 KinectFusion算法流程

KinectFusion算法的點(diǎn)云模型存儲(chǔ)于顯存，由于顯存空間有限，使得模型大小受到了限制，進(jìn)而導(dǎo)致該算法無法進(jìn)行大范圍的三維重建。KinectFusion算法的相機(jī)位姿估計(jì)采用的是ICP配準(zhǔn)，ICP的初值選取的是上一幀的相機(jī)位姿，由于上一幀的位姿存在誤差，在進(jìn)行長(zhǎng)時(shí)間重建時(shí)，誤差累積會(huì)越來越大。當(dāng)相機(jī)位姿估計(jì)失敗時(shí)，算法將上一幀的相機(jī)位姿作為當(dāng)前時(shí)刻的相機(jī)位姿，這種重新定位的策略不能有效地恢復(fù)相機(jī)的位姿。針對(duì)以上問題，本文提出了基于隨機(jī)蕨編碼的回環(huán)檢測(cè)及重新定位算法。

2 基于隨機(jī)蕨編碼的回環(huán)檢測(cè)及重新定位

利用隨機(jī)蕨編碼檢測(cè)相機(jī)路徑回環(huán)及位姿估計(jì)失敗后重新定位的流程如圖2所示，主要由以下5步組成：1)利用隨機(jī)蕨對(duì)RGB-D圖像進(jìn)行編碼，作為其特征信息；2)定義了BlockHD(block-wise hamming distance)作為相似性度量，計(jì)算當(dāng)前幀與關(guān)鍵幀的相似性；3)獲得關(guān)鍵幀，根據(jù)計(jì)算得到的BlockHD值，斷定是否將此幀添加到關(guān)鍵幀中；4)找到與當(dāng)前幀相似的關(guān)鍵幀，若當(dāng)前幀與此關(guān)鍵幀的BlockHD小于預(yù)先設(shè)定的閾值，即可認(rèn)為檢測(cè)到了路徑回環(huán)。5)當(dāng)相機(jī)位姿估計(jì)失敗后，通過檢索相似關(guān)鍵幀所對(duì)應(yīng)的相機(jī)位姿對(duì)相機(jī)進(jìn)行重新定位。

圖2 基于隨機(jī)蕨編碼的回環(huán)檢測(cè)及重新定位流程

2.1 利用隨機(jī)蕨對(duì)RGB-D圖像編碼

對(duì)于RGB-D圖像I中的一個(gè)像素點(diǎn)x,R,G,B,D4個(gè)通道的值分別用IR(x),IG(x),IB(x),ID(x)表示，將F={fi}，i∈{R,G,B,D}定義為一個(gè)隨機(jī)蕨

(1)

式中τi的值通過隨機(jī)函數(shù)產(chǎn)生(τR,τG,τB∈[0,255],τD∈[800,4 000])。將隨機(jī)蕨F中所有的fi按順序排列，得到一個(gè)二進(jìn)制編碼塊bF

bF=fRfGfBfD∈B4

(2)

若選取n個(gè)像素點(diǎn)，那么一幀RGB-D圖像I即可由像素點(diǎn)對(duì)應(yīng)的隨機(jī)蕨編碼

(3)

式中n個(gè)像素點(diǎn)的位置由隨機(jī)函數(shù)產(chǎn)生。

2.2 RGB-D圖像的相似性度量

為了度量?jī)蓭瑘D像I和J的相似性，采用了block-wise hamming distance(BlockHD)進(jìn)行度量，定義為

(4)

2.3 獲取關(guān)鍵幀

對(duì)于每一新進(jìn)幀I來說，計(jì)算其與之前所有關(guān)鍵幀的BlockHD，并找到BlockHD的最小值

(5)

式中ζl的值越小說明存在一個(gè)與當(dāng)前幀十分相似的關(guān)鍵幀J，將ζI的值與預(yù)先設(shè)定的閾值t進(jìn)行比較，若ζI>t，則可以將此幀作為關(guān)鍵幀，并將其所對(duì)應(yīng)的相機(jī)位姿及頂點(diǎn)法向量存儲(chǔ)。

2.4 相機(jī)路徑回環(huán)檢測(cè)

在獲取關(guān)鍵幀的過程中，根據(jù)式(5)可以得到當(dāng)前幀與關(guān)鍵幀的BlockHD的最小值ζI。若ζI的值特別小，則說明當(dāng)前幀與此關(guān)鍵幀差異性特別小，即相機(jī)回到了此關(guān)鍵幀所對(duì)應(yīng)的位置，此關(guān)鍵幀的相機(jī)位姿和當(dāng)前幀的相機(jī)位姿相近甚至相同，即檢測(cè)到了相機(jī)路徑的回環(huán)?？紤]到噪聲對(duì)精度的影響，設(shè)定一個(gè)較小的閾值σ，比較ζI與σ的大小。若ζI<σ，說明檢測(cè)到了相機(jī)路徑回環(huán)。

當(dāng)獲取了一系列的關(guān)鍵幀后，相機(jī)路徑回環(huán)即可通過快速檢索相似關(guān)鍵幀實(shí)現(xiàn)。當(dāng)檢測(cè)到相機(jī)路徑回環(huán)后，將當(dāng)前幀與對(duì)應(yīng)關(guān)鍵幀的頂點(diǎn)法向量進(jìn)行ICP配準(zhǔn)，并將關(guān)鍵幀所對(duì)應(yīng)的相機(jī)位姿作為ICP的初值，從而有效地減少累積誤差。

2.5 相機(jī)位姿恢復(fù)

當(dāng)相機(jī)位姿估計(jì)失敗后，通過檢索關(guān)鍵幀所對(duì)應(yīng)的相機(jī)位姿對(duì)相機(jī)進(jìn)行重新定位。

假設(shè)在某幀時(shí)相機(jī)位姿估計(jì)失敗，首先計(jì)算此幀與所有關(guān)鍵幀的BlockHD值，找到k個(gè)與當(dāng)前幀的BlockHD值最相近的關(guān)鍵幀，繼而可以得到這k個(gè)關(guān)鍵幀所對(duì)應(yīng)的相機(jī)位姿。將這k個(gè)位姿分別作為初值代入到當(dāng)前幀與相應(yīng)關(guān)鍵幀的ICP配準(zhǔn)算法，從而實(shí)現(xiàn)相機(jī)的重新定位。若這k個(gè)位姿仍不能恢復(fù)相機(jī)位姿，則處理下一幀RGB-D圖像，直至相機(jī)重新定位成功，在此過程中，系統(tǒng)將暫停對(duì)室內(nèi)場(chǎng)景的重建。當(dāng)相機(jī)位姿恢復(fù)后，系統(tǒng)才繼續(xù)進(jìn)行重建。

3 隨機(jī)蕨編碼與InfiniTAM框架結(jié)合

InfiniTAM是一個(gè)KinectFusion算法的集成框架，它使用基于哈希結(jié)構(gòu)的體素塊表示三維模型，并且在CPU和GPU之間實(shí)時(shí)地互換數(shù)據(jù)，使得三維重建范圍不受空間限制。本文將隨機(jī)蕨編碼算法集成為一個(gè)模塊，增加到InfiniTAM框架中，其算法流程如圖3所示。

圖3 本文算法流程

當(dāng)一幀RGB-D圖像進(jìn)入系統(tǒng)后：1)一方面將其深度數(shù)據(jù)轉(zhuǎn)換成三維點(diǎn)云，得到點(diǎn)云中頂點(diǎn)和法向量，另一方面利用隨機(jī)蕨編碼算法對(duì)RGB-D圖像進(jìn)行編碼，并計(jì)算當(dāng)前幀與關(guān)鍵幀的BlockHD值；通過比較BlockHD值與閾值σ的大小，判斷相機(jī)路徑中是否觸發(fā)了回環(huán)，若觸發(fā)了回環(huán)，則將關(guān)鍵幀所對(duì)應(yīng)的位姿作為ICP算法的初值，將當(dāng)前幀與對(duì)應(yīng)關(guān)鍵幀的頂點(diǎn)法向量進(jìn)行ICP配準(zhǔn)。2)將當(dāng)前幀三維點(diǎn)云和由現(xiàn)有模型預(yù)測(cè)生成的三維點(diǎn)云進(jìn)行ICP配準(zhǔn)，并判斷ICP是否成功。若ICP配準(zhǔn)成功，通過比較BlockHD值與閾值t的大小，判斷此幀是否添加到關(guān)鍵幀中；并進(jìn)行下一步點(diǎn)云的融合；若配準(zhǔn)失敗，則利用找到的相似關(guān)鍵幀與當(dāng)前幀進(jìn)行ICP配準(zhǔn)，并將此關(guān)鍵幀對(duì)應(yīng)的位姿作為初值代入ICP算法，若此時(shí)的配準(zhǔn)成功則進(jìn)行下一步點(diǎn)云融合，若再次失敗，等待下一幀RGB-D圖像。

在InfiniTAM框架中，為保證建模的實(shí)時(shí)性,ICP配準(zhǔn)算法在GPU中計(jì)算。由于GPU顯存的限制，隨機(jī)蕨編碼算法中關(guān)鍵幀對(duì)應(yīng)的頂點(diǎn)和法向量存儲(chǔ)在了內(nèi)存中。一旦檢測(cè)到了相機(jī)路徑回環(huán)或者需要相機(jī)位姿恢復(fù)，系統(tǒng)將使對(duì)應(yīng)的頂點(diǎn)和法向量復(fù)制到顯存中，利用GPU的并行運(yùn)算加快當(dāng)前幀與關(guān)鍵幀的ICP配準(zhǔn)，得到相機(jī)位姿后再將相機(jī)位姿從顯存復(fù)制到內(nèi)存中，與關(guān)鍵幀的頂點(diǎn)和法向量對(duì)應(yīng)存儲(chǔ)。

4 實(shí) 驗(yàn)

通過在慕尼黑工業(yè)大學(xué)的RGB-D SLAM驗(yàn)證數(shù)據(jù)集上進(jìn)行建模測(cè)試，將InfiniTAM[9]與本文提出的算法進(jìn)行對(duì)比。

RGB-D SLAM驗(yàn)證數(shù)集提供了很多場(chǎng)景。每個(gè)場(chǎng)景的數(shù)據(jù)包中包含了彩色圖像、深度圖像、精確的相機(jī)位姿等信息。選取了第一個(gè)場(chǎng)景中的數(shù)據(jù)包“freiburg1_room”和“freiburg1_360”進(jìn)行實(shí)驗(yàn)。

首先在“freiburg1_room”數(shù)據(jù)包上進(jìn)行實(shí)驗(yàn)。“freiburg1_room”數(shù)據(jù)包的軌跡范圍是2.5 m×2.2 m×0.5 m，重建范圍遠(yuǎn)大于7 m3。為了方便觀察，驗(yàn)證數(shù)據(jù)集提供的Python工具將軌跡投影到x-y平面后進(jìn)行對(duì)比，如圖4(a),圖4(b)所示，其中線①為ground truth，線②為程序得到的相機(jī)軌跡的估計(jì)(estimate)。從圖中可以看出，算法在(1.0，-1.0)和(0.5，-1.0)附近檢測(cè)到閉環(huán)后，相機(jī)的軌跡明顯向ground truth收斂，與ground truth更加吻合。同時(shí)，驗(yàn)證數(shù)據(jù)集提供的工具給出了各類誤差的對(duì)比數(shù)據(jù)，誤差統(tǒng)計(jì)值如表1所示，誤差的計(jì)算方法可參照文獻(xiàn)[17]。從表1可以看出：算法較InfiniTAM，軌跡誤差均有所降低，通過檢測(cè)相機(jī)路徑回環(huán)，可以有效減少累積誤差。

圖4 軌跡對(duì)比

m

為驗(yàn)證本文算法相機(jī)重新定位的有效性，在“freiburg1_360”數(shù)據(jù)包上進(jìn)行實(shí)驗(yàn)。在“freiburg1_360”數(shù)據(jù)包中相機(jī)的運(yùn)動(dòng)速度很快，InfiniTAM在此數(shù)據(jù)包上實(shí)驗(yàn)時(shí)重建失敗。由于InfiniTAM沒有有效的重定位策略，因而重建失敗后相機(jī)位姿無法恢復(fù)，而本文算法除了可以檢測(cè)相機(jī)路徑回環(huán)外，還可以實(shí)現(xiàn)相機(jī)相機(jī)位姿估計(jì)失敗后的重新定位。實(shí)驗(yàn)效果如圖5所示。圖5(a)，圖5(b)為在相同時(shí)刻采集，包含了該時(shí)刻的重建模型、深度圖和彩色圖。可以看出：相對(duì)于InfiniTAM，本文算法可以在相機(jī)位姿估計(jì)失敗時(shí)重新定位。

圖5 重建效果對(duì)比

5 結(jié) 論

針對(duì)KinectFusion算法中存在的重建范圍小、缺少有效的重新定位策略及累積誤差問題，通過引入隨機(jī)蕨編碼算法，在InfiniTAM系統(tǒng)中實(shí)現(xiàn)了相機(jī)路徑的回環(huán)檢測(cè)，使得改進(jìn)后的系統(tǒng)在進(jìn)行大范圍三維重建的過程中，可以在相機(jī)定位失敗時(shí)快速重新定位，并且通過檢測(cè)相機(jī)路徑回環(huán)減少累積誤差。實(shí)驗(yàn)表明：提出算法可以使得三維重建過程更加穩(wěn)定，獲得的相機(jī)位姿更加精確。

[1] Henry P,Krainin M,Herbst E,et al.RGB-D mapping:Using depth cameras for dense 3D modeling of indoor environment-s[C]∥Proceedings of the International Symposium on Experimental Robotics(ISER),2010.

[2] Newcombe R A,Davison A J,Izadi S et al.Kinect Fusion:Real-time dense surface mapping and tracking[C]∥2011 10th IEEE International Symposium on Mixed and Augmented Reality(ISMAR),IEEE,2011:127-136.

[3] Matthias N,Michael Z,Shahram I,et al.Real-time 3D reconstruction at scaleusing voxel hashing[J].ACM Transactions on Graphics,2013,32(6):1-11.

[4] García I,Lefebvre S,Hornus S,et al.Coherent parallel hashing[J].ACM Transactions on Graphics,2011,30(6):1-8.

[5] Pan J,Manocha D.Fast GPU-based locality sensitive hashing for k-nearest neighbor computation[C]∥Proceedings of International Conference on Data Engineering,2012:378-389.

[6] Prisacariu V A,Kahler O,Cheng M M et al.A farmework for the volumetri integration of depth images[EB/OL].2014—09—25.https:∥arxiv.org/abs/1410.0925.

[7] Glocker B,Izadi S,Shotton J,et al.Real-time RGB-D camera relocalization[C]∥2013 IEEE International Symposium on Mixed and Augmented Reality(ISMAR),IEEE,2013:173-179.

[8] Glocker B,Shotton J,Criminisi A,et al.Real-time RGB-D camera relocalization via randomized ferns for keyframe encoding[J].IEEE Transactions on Visualization & Computer Graphics,2015,21(5):571-583.

[9] Davison A J.Real-time simultaneous localisation and mapping with a single camera[C]∥IEEE International Conference on Computer Vision,IEEE Computer Society,2003:1403.

[10] Klein G,Murray D.Parallel tracking and mapping for small AR workspaces[C]∥IEEE and ACM International Symposium on Mixed and Augmented Reality,2007:225-234.

[11] Strasdat H,Davison A J,Montiel J M M,et al.Double window optimisation for constant time visual SLAM[C]∥IEEE International Conference on Computer Vision,IEEE Computer Society,2011:2352-2359.

[12] Parker S,Shirley P,Livnat Y,et al.Interactive ray tracing for isosurface rendering[C]∥Proceedings of the Conference on Visua-lization,IEEE Computer Society,1998:233-238.

[13] Sturm J,Engelhard N,Endres F,et al.A benchmark for the evaluation of RGB-D SLAM systems[C]∥IEEE/RSJ International Conference on Intelligent Robots & Systems,2012:573-580.

Applicationofrandomfernencodingin3Dreconstruction

LIU Yang, ZHANG Guo-shan，HUANG Wei-jie, WANG Xin-bo

(SchoolofElectricalEngineering&Automation，TianjinUniversity,Tianjin300072,China)

Aiming at problem of small reconstruction range,lack of effective relocalization strategy and cumulative error in KinectFusion algorithm,propose a 3D reconstruction method based on random fern coding.The camera trajectory loop closures is detected by using the random fern encoding to reduce the accumulated error caused by long time reconstruction.By retrieval similarity key frames,relocate camera pose estimation after failure.By combining with InfiniTAM,range of reconstruction are increased.A comparison experiment is carried out using the RGB-D SLAM dataset.Experimental results show that the proposed method can greatly increase reconstruction range,effectively relocate the camera pose after failure,and reduce accumulated error,which makes the 3D reconstruction process more stable and obtains camera pose more accurately.

random fern encoding; 3D reconstruction; camera trajectory loop closures; key frames

10.13873/J.1000—9787(2017)12—0157—04

TP 391

A

1000—9787(2017)12—0157—04

2016—10—19

劉 洋(1991-)，女，碩士研究生，從事基于kinect相機(jī)的三維重建研究。張國(guó)山(1961-)，男，教授，博士生導(dǎo)師，從事非線性系統(tǒng)控制理論與智能控制的研究工作。