基于RGB-D單目視覺的室內(nèi)場景三維重建*

劉三毛，朱文球，孫文靜,王業(yè)祥

(湖南工業(yè)大學(xué) 計算機學(xué)院，湖南 株洲 412007)

基于RGB-D單目視覺的室內(nèi)場景三維重建*

劉三毛，朱文球，孫文靜,王業(yè)祥

(湖南工業(yè)大學(xué) 計算機學(xué)院，湖南 株洲 412007)

針對室內(nèi)環(huán)境單目視覺的室內(nèi)場景三維重建速度慢的問題，采用華碩Xtion單目視覺傳感器獲取的室內(nèi)場景彩色圖像和深度圖像進行快速三維重建。在圖像特征提取上使用ORB特征檢測算法，并對比了幾種經(jīng)典特征檢測算法在圖像匹配中的效率，在圖像匹配融合中采用Ransac算法和ICP算法進行點云融合。實現(xiàn)了一種室內(nèi)簡單、小規(guī)模的靜態(tài)環(huán)境快速三維重建方法，通過實驗驗證了該方法有較好的精確性、魯棒性、實時性和靈活性。

單目視覺；點云；三維重建

0 引言

三維重建(3D Reconstruction)是指利用計算機、傳感器，通過對場景的紋理、深度等數(shù)據(jù)進行分析和處理后構(gòu)建適合計算機表示和處理的數(shù)學(xué)模型。隨著工業(yè)信息技術(shù)的發(fā)展三維重建得到了廣泛應(yīng)用，如在移動機器人自主導(dǎo)航、SLAM、虛擬現(xiàn)實和3D打印等諸多方面都發(fā)揮著十分重要的作用[1]。

1965年ROBERT L提出了使用計算機視覺方法從二維圖像獲取物體三維信息的可能性。FAUGRAS M A和Hartley[2-3]于1992年開創(chuàng)性地提出了基于圖像系列的三維重建理論，在他們的論文中，把三維重建總結(jié)為3個步驟：基礎(chǔ)矩陣的估計、攝像機的標定以及計算投影矩陣和相應(yīng)的三維空間坐標。即輸入二維圖像，通過求解對應(yīng)攝像機運動參數(shù)及幾何結(jié)構(gòu)，生成圖像場景的三維模型。隨著RGB-D相機的成熟，它可提供彩色深度圖像和稠密深度圖像視頻流，這使得結(jié)合三維深度感測的視覺功能優(yōu)勢來快速、準確地創(chuàng)建大場景的三維場景信息[4-5]成為現(xiàn)實。

采用RGB-D相機獲取彩色圖像和深度圖像，使用深度圖像信息結(jié)合稀疏特征點創(chuàng)建三維場景模型。首先提取每幀圖像的特征點，通過特征匹配找到兩幀圖像之間的對應(yīng)特征點，由深度圖像信息計算出對應(yīng)點對的空間坐標(Xw,Yw,Zw)。針對圖像特征點誤匹配導(dǎo)致位姿估計的精度低的問題，采用隨機采樣一致性算法(Random Sample Consensus,RANSAC)[6]剔除誤匹配點，其次在點云融合上，結(jié)合迭代最近算法(Iterative Closest Point，ICP)[7]進行點云配準以進一步改善位姿精度，減少相機位姿漂移造成的誤差。

1 2D到3D坐標轉(zhuǎn)換

設(shè)三維空間中任意一點P的坐標為(Xw,Yw,Zw)，該點對應(yīng)的相機坐標系坐標為(Yc，Zc)，(x,y)、(u,v)分別是二維圖像中的物理坐標和像素坐標。根據(jù)針孔相機模型，相機坐標系與世界坐標系關(guān)系如圖1所示。

圖1 相機坐標系與世界坐標系

對空間任意一點P(Xw，Yw，Zw)進行剛體變換，映射到相機坐標系中點P(Xc，Yc，Zc)，如式(1)：

(1)

其中T是三維空間平移向量，R是3×3的正交旋轉(zhuǎn)矩陣。得到相機坐標系坐標后通過透射投影得到物理系坐標P(x,y)，考慮到相機畸變因子，得到P(x,y)為:

(2)

其中k1、k2、p1、p2為畸變系數(shù)，是相機外部參數(shù)矩陣M2，由物理坐標轉(zhuǎn)換為像素坐標P(u，v)關(guān)系如下：

(3)

其中，fx、fy指相機在x、y軸上的焦距，cx、cy指相機的光圈中心點坐標，fx、fy、cx、cy這4個參數(shù)為相機的內(nèi)參矩陣M1，給定相機內(nèi)參之后，每個點的空間位置與像素坐標就可以用矩陣模型表示:

(4)

其中，R和T是相機的姿態(tài)。R代表旋轉(zhuǎn)矩陣，T代表位移矢量，s是深度距離與實際距離的比例因子。由上述結(jié)果進行齊次變換后得到三維空間點P與二維圖像像素坐標的映射關(guān)系：

s·p=M1M2P

(5)

其中，M1、M2為相機的內(nèi)參和外參，由標定結(jié)果得到。P=(X，Y，Z)為空間點齊次坐標，p=(u，v，l)為二維圖像像素齊次坐標。

2 點云融合

2.1 特征檢測

圖像的特征提取與匹配是實現(xiàn)三維重建的基礎(chǔ)，現(xiàn)在常用的特征檢測算法為1999年David Lowe提出的SIFT(Scale Invariant Feature Transform)算法，并于2004年進行了深入的發(fā)展和完善[8]。SIFT算法最大的優(yōu)點是具有尺度不變性，圖像之間發(fā)生了平移、旋轉(zhuǎn)、仿射變換的情況下仍可以進行特性匹配。SIFT算法提取到的特征點豐富，適合圖像精準匹配，但時間復(fù)雜度高，實時性差。BAY H等人于2006年改進了SIFT算法，提出了SURF[9](Speeded Up Robust Features)算法，SURF算法繼承了SIFT算法尺度不變的優(yōu)點，且大大提高了執(zhí)行效率。ROSTEN E和DRUMMOND T于2006年提出了FAST[10]算法，該算法通過檢查圖像塊中是否存在角點來判斷特征點，算法簡單，避免了求解二階導(dǎo)數(shù)，因此運算速度上快于SURF和SIFT算法。

RUBLEE E等人于2011年提出了ORB[11]算法，該算法采用視覺信息特征點檢測與描述方法，結(jié)合了FAST算法特征點檢測速度快的優(yōu)勢，加入FAST特征的方向信息，改進了FAST算法不具備檢測特征點方向性的問題。特征點描述部分則是利用基于像素點二進制位比較的BRIEF[12]特征描述子，并改進了 BRIEF描述子對圖像噪聲敏感和不具備旋轉(zhuǎn)不變性的缺點。準確、快速的特征提取與匹配算法是實時三維重建的重要前提，本文在特征匹配中比較了這幾種常用的特征檢測算法。

2.2 基于ORB的特征匹配

由于同一場景的RGB圖像和深度圖像數(shù)據(jù)一一對應(yīng)關(guān)系，通過二維圖像坐標與三維坐標的映射關(guān)系可以得到場景的三維點云圖像。相機的廣度不能獲取室內(nèi)場景的全局圖像，所以需要對連續(xù)幀進行融合獲取大場景的圖像。假設(shè)相機水平旋轉(zhuǎn)獲取的兩幀相鄰場景圖像為K1、K2，使用ORB特征點匹配得到結(jié)果如圖2所示。

圖2 相鄰圖像幀特征匹配

可以看出兩幀圖像的特征匹配存在誤匹配特征點，對匹配特征點進行篩選可以提高匹配的準確性和效率。由于相機是水平旋轉(zhuǎn)的，首先剔除水平距離過大的匹配點，然后采用RANSAC(隨機采樣一致性)算法[6]剔除誤匹配，進一步提高匹配的準確性。通過特征匹配得到兩幅圖像的特征點均為800個，匹配特征點為788個，篩選后得到的匹配個數(shù)為72個，結(jié)果如圖3。

圖3 進行篩選后的特征點匹配結(jié)果

本文實驗環(huán)境為Liunx平臺下基于Opencv采用C++語言實現(xiàn)，運行硬件環(huán)境為Intel Pentium 3.0 GHz CPU，運行內(nèi)存4 GB。

SIFT、SURF、FAST、ORB 4種角點檢測算法在特征提取和幀間匹配中的比較結(jié)果如表1。

表1 特征檢測與匹配效率對比結(jié)果

2.3 點云拼接

相機緩慢移動獲得連續(xù)的圖像幀序列，要進行圖像的匹配融合首先要知道連續(xù)圖像的運動關(guān)系，設(shè)相機運動如圖4所示，其旋轉(zhuǎn)矩陣為R、位移矩陣為T。

圖4 相機運動估計

提取相鄰幀K1、K2間的特征點匹配對，描述為K1={p1,p2,…,pN}，K2={q1,q2,…,qN}，其中p、q都是三維坐標的點，于是有：

?i,pi=Rqi+T+Ni

(6)

其中Ni代表噪聲。根據(jù)最優(yōu)化理論，求解旋轉(zhuǎn)矩陣R和平移矩陣T，需要滿足下式最小：

(7)

通過求解最小誤差可求得R和T，采用經(jīng)典的ICP[7]算法求解。該算法是一種非線性迭代方法，通過不斷迭代最近的匹配點求解變換矩陣，實現(xiàn)局部點云到整體點云的融合。

3 基于ICP算法的三維重建框架

3.1 算法框架

實驗采用華碩公司的Xtion深度相機緩慢轉(zhuǎn)動獲取連續(xù)的數(shù)據(jù)幀，先將起始幀圖像集合(RGB圖像和深度圖像)轉(zhuǎn)換成點云，實現(xiàn)局部圖像的二維到三維的轉(zhuǎn)換，當相機采集到下一幀圖像集合時，通過提取兩幀圖像的特征進行匹配，并計算相機的平移和旋轉(zhuǎn)向量進行點云融合。通過相機移動形成完整的三維模型。算法流程如圖5所示。

圖5 算法流程

主要步驟有：

(1)相機標定，獲取RGB圖像和深度圖像；

(2)對彩色圖像進行特征提取，結(jié)合特征點的深度信息實現(xiàn)2D到3D的轉(zhuǎn)換，生成局部點云圖；

(3)相機跟蹤，將當前幀3D 點云和由現(xiàn)有模型生成的預(yù)測的3D 點云進行ICP 匹配，計算得到當前幀相機的位姿；

(4)點云融合，根據(jù)所計算出的當前相機位姿，將當前幀的3D 點云融合到現(xiàn)有模型中。

3.2 相機標定

相機標定的目的是建立有效的成像模型，并確定相機內(nèi)外部屬性參數(shù)，以便建立空間與平面像素點之間的對應(yīng)關(guān)系。相機是物體空間(三維空間)到2D圖像之間的一種映射，而這種映射由相機成像的幾何模型決定，幾何模型的參數(shù)就是相機的參數(shù)，由這些參數(shù)可以推導(dǎo)三維空間坐標與二維圖像坐標之間的變換關(guān)系。

實驗使用張正友棋盤標定算法[13]，通過MATLAB工具箱(Camera Calibration Toolbox)中提供的方法進行相機標定。使用A4紙自制7×9方格標定模板，正方形小方格邊長為27.8 mm，選取相機不同位姿拍攝的20幅標定模板圖像對相機進行標定。

通過華碩Xtion深度相機獲取同一場景的RGB圖像和中值濾波后的深度圖像如圖6所示，圖(a)為RGB圖像，圖(b)為深度圖像。

圖6 RGB圖像和深度圖像

3.3 實驗結(jié)果

華碩(Xtion pro live)深度相機的深度有效距離約0.2～5 m，彩色圖像和深度圖像的分辨率都為640×480。由于相機的廣度有限不能獲取室內(nèi)場景的全局圖像，需要對獲取的連續(xù)幀進行點云融合來獲取大場景的圖像。實驗通過手持Xtion相機掃描室內(nèi)場景，獲取連續(xù)的數(shù)據(jù)幀，實現(xiàn)室內(nèi)場景的實時三維重建，相機移動軌跡如圖7所示。

圖7 相機運動軌跡和點云特征點

相機在室內(nèi)移動采集數(shù)據(jù)幀，相鄰幀之間可進行特征匹配，計算出相機運動的R和T矩陣，結(jié)合特征點的深度信息得到三維匹配關(guān)系， 基于ICP算法迭代相鄰點云圖像，不斷融合新信息形成由局部三維點云場景到整個室內(nèi)場景的三維重建。如圖8所示，圖(a)為局部三維場景點云圖，圖(b)為整體三維場景點云圖。

圖8 三維重建點云圖

4 結(jié)論

本文實現(xiàn)了基于RGB-D相機的室內(nèi)場景三維重建方法，通過華碩(Xtion pro live)深度相機在室內(nèi)環(huán)境中能夠得到準確、稠密的三維模型，在特征提取上采用了ORB算法，特征匹配和點云拼接采用RANSAC和ICP算法。該方法在室內(nèi)靜態(tài)環(huán)境中有很強的實時性、準確性和魯棒性，且大大提高了三維重建的效率。隨著深度相機的價格不斷下降，尤其是室內(nèi)機器人自主導(dǎo)航的研究和發(fā)展，基于RGB-D的三維重建系統(tǒng)將會對人們的日常生活產(chǎn)生巨大的影響。

[1] THOMAS D, SUGIMOTO A. A flexible scene representation for 3D reconstruction using an RGB-D camera[C]. IEEE International Conference on Computer Vision, IEEE Computer Society, 2013:2800-2807.

[2] HARTLEY R I. Estimation of relative camera positions for uncalibrated cameras[C]. European Conference on Computer Vision, Springer-Verlag, 1992:579-587.

[3] FISCHLER M A, BOLLES R C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography[M]. Readings in Computer Vision: Issues, Problems, Principles, and Paradigms. Morgan Kaufmann Publishers Inc. 1987:726-740.

[4] LEE K R, NGUYEN T. Realistic surface geometry reconstruction using a hand-held RGB-D camera[J]. Machine Vision & Applications, 2016,27(3):377-385.

[5] KERL C, STURM J, CREMERS D. Dense visual SLAM for RGB-D cameras[C]. Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems, 2013:2100-2106.

[6] SCHNABEL R, WAHL R, KLEIN R. Efficient RANSAC for point-cloud shape detection[J]. Computer Graphics Forum, 2007, 26(2):214-226.

[7] BESL P J, MCKAY N D. Method for registration of 3-D shapes[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1992, 14(3):239-256.

[8] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(60):91-110.

[9] BAY H, TUYTELAARS T, GOOL L V. SURF: speeded up robust features[J]. Computer Vision & Image Understanding, 2006, 110(3):404-417.

[10] ROSTEN E, DRUMMOND T. Machine learning for high-speed corner detection[C]. European Conference on Computer Vision, Springer-Verlag, 2006:430-443.

[11] RUBLEE E, RABAUD V, KONOLIGE K, et al. ORB: an efficient alternative to SIFT or SURF[C]. In International Conference of Computer Vision(ICCV),2011: 2564-2571.

[12] CALONDER′ M, LEPETIT V, STRECHA C, et al. Brief: binary robust independent elementary features[C]. In European Conference on Computer Vision,2010:778-792.

[13] Zhang Zhengyou. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2000,22(11):1330-1334.

3D reconstruction of indoor scenes using RGB-D monocular vision

Liu Sanmao,Zhu Wenqiu,Sun Wenjing,Wang Yexiang

(School of Computer Science, Hunan University of Technology,Zhuzhou 412007,China)

Aiming at the problem of low speed of 3D reconstruction of indoor scenes with monocular vision,the color images and depth images of indoor scenes obtained by ASUS Xtion monocular vision sensor are used for fast 3D reconstruction. The ORB feature detection algorithm is used in image feature extraction, and the efficiency of several kinds of classic feature detection algorithm in image matching is compared. Ransac algorithm and ICP algorithm are used for point cloud fusion. Finally, a fast 3D reconstruction method for indoor, simple and small-scale static environment is realized.It has good accuracy, robustness, real-time and flexibility.

monocular vision;point Cloud;3D reconstruction

湖南工業(yè)大學(xué)研究生創(chuàng)新基金(CX1503)

TP391

A

10.19358/j.issn.1674- 7720.2017.01.014

劉三毛，朱文球，孫文靜,等．基于RGB-D單目視覺的室內(nèi)場景三維重建[J].微型機與應(yīng)用，2017,36(1)：44-47.

2016-09-12)

劉三毛(1991-)，通信作者，男，碩士研究生，主要研究方向：智能信息處理。E-mail：601337631@qq.com。

朱文球(1969-)，男，碩士，教授，主要研究方向：數(shù)字圖像處理，模式識別。

孫文靜(1992-)，女，碩士研究生，主要研究方向：圖像處理，顯著性目標檢測。