基于Kinect的環(huán)境平面特征提取與重構

王梅 于遠芳 屠大維 周華

摘要：針對三維場景物體特征識別過程中數據量大、算法復雜等問題，提出一種基于Kinect的環(huán)境平面特征提取與重構算法。首先，針對場景的點云分割，采用融合場景幾何信息和顏色信息的隨機采樣一致性（RANSAC）算法，綜合二者分割優(yōu)勢，克服幾何特征分割過程中分割不足或者過分割，提高分割精度；其次，根據投影變換原理推導出相應的三維坐標變換矩陣，指導分割后獨立區(qū)域內的三維平面特征信息到二維空間映射，利用凸包概念搜索物體邊界信息，實現二維空間的輪廓點提取；最后，通過旋轉逆變換，恢復輪廓點的三維信息，完成環(huán)境特征重構。采用3組場景數據驗證所提算法，實驗結果表明，所提算法分割較精確，不容易產生過分割的情況，對不同形狀特征的物體，具有較好的重構效果。

關鍵詞：Kinect；平面分割；輪廓提取；平面重構

中圖分類號：TP391.41 文獻標志碼：A

Abstract：Aiming at the problem of the large amount of data and the complicated algorithm in 3D scene feature recognition process， an feature extraction and reconstruction of environmental plane algorithm based on Kinect was proposed. Firstly， a method of RANdom SAmple Consensus （RANSAC） environment segmentation with the combination of geometrical and color information was proposed， which overcame the over segmentation and lacksegmentation based on geometric characteristic and improved the accuracy. Secondly， according to the principle of perspective projection， the threedimensional transformation matrix was derived， which guided the 3D environment mapped into a plane. The extraction of contour points in twodimensional space was realized by searching object boundary information which used convex hull concept. Finally， the 3D information of the contour points was recovered by the rotating inverse transform and the reconstruction of environment features was completed. Three groups of scene data were used to verify the algorithm and the experimental results show the proposed algorithm gains more precise segmentation， reduces over segmentation phenomena， and also has better reconstruction effect for objects with different shape features.

Key words：Kinect； plane segmentation； contour extraction； feature reconstruction

0 引言

環(huán)境特征提取是移動機器人導航技術研究熱點，機器人要在未知環(huán)境中完成導航、自主抓取等服務功能，必須對其周圍環(huán)境有明確的了解，而室內三維環(huán)境特征重構為其提供了更為豐富可靠的環(huán)境信息，機器人可以根據重構信息決策自己的任務，實現與周圍環(huán)境的交互[1-3]。

環(huán)境重構的方法根據使用的傳感器不同可分為基于結構光的重構和基于機器視覺的重構?；诮Y構光的掃描設備，如激光掃描儀，是采用非接觸式點測量的方法實時獲得周圍環(huán)境的三維空間信息[4-6]。但是此類設備體積大，價格昂貴，而且采集的數據量較大，限制了其在三維場景重構技術中的發(fā)展應用。而微軟開發(fā)的Kinect作為XBOX的一款體感外設，近年來不斷被應用于室內機器人環(huán)境建模領域[7]。與激光傳感器相比，Kinect可以同時快速地獲取場景的顏色信息和深度信息，成本更為低廉。Endres等[8]、Somlyai等[9]提出了基于Kinect的環(huán)境重構系統(tǒng)，構建了具有點特征的三維環(huán)境。但是，利用點信息表示環(huán)境特征存儲量大，容易造成計算負荷沉重等問題。

在室內環(huán)境中，平面是其重要的組成部分，通過對平面特征的提取進行環(huán)境重構可減小存儲量以及計算負荷，使機器人與周圍環(huán)境進行交互時更為方便、簡捷。本文提出一種面向室內的環(huán)境平面特征提取與重構方法。該方法的核心在于融合顏色信息和幾何信息對場景中的物體分割以及在二維空間進行邊緣輪廓提取進行重構。

1 環(huán)境平面特征提取與重構方法

針對機器人三維環(huán)境特征重構問題，基于Kinect的環(huán)境平面特征提取與重構需要經過點云采集、點云圖像分割、輪廓特征識別、平面特征重構等幾個步驟（如圖1所示）。

利用安裝在機器人上的Kinect傳感器作為信息采集設備，并使機器人坐標系和Kinect坐標系重合（圖2）。Kinect可以同時獲取場景的RGB圖像和深度圖像，其中RGB圖像與深度圖像按二維圖像像素點一一對應，將彩色相機獲取的RGB 圖像和紅外發(fā)射器與深度相機獲取的深度圖像進行融合即可得到彩色三維點云圖像。

其后，將采集的點云信息經過改進隨機采樣一致性（RANdom Sample Consensus， RANSAC）算法進行分割后獲取具有平面特征的點云。利用仿射變換對分割后的點云進行坐標變換，通過輪廓邊緣提取算法對其輪廓進行輪廓，然后再對其輪廓進行3D信息恢復，從而最終得到三維點云的輪廓信息。利用檢測出的輪廓信息進行平面特征重構。

2 點云圖像分割

在機器人三維環(huán)境特征重構過程中，將場景中的點云圖像按各自的特征進行正確分割是關鍵的一點，只有有效的分割才能得到準確的環(huán)境特征識別[10-11]。移動機器人工作環(huán)境中包含了大量的平面區(qū)域，如墻、地面、桌子等，是三維場景分割的重要內容， 因此，本文基于平面特征研究三維點云信息的場景分割。首先通過種子點的選取，確定平面參數初值，然后基于顏色信息和幾何信息進行局內點判斷，并對平面參數重新估計，提取出平面特征方程。

2.1 種子點的選取

種子點的選取在分割過程中是很關鍵的步驟。理論上，點云中兩個點的距離越近，它們屬于同一個模型的概率就越大[12]。環(huán)境的三維點云數據集合P={pi|pi=（xi，yi，zi，Ri，Gi，Bi）}，（x，y，z）表示某一個點相對于Kinect的三維坐標，（Ri，Gi，Bi）表示該點的顏色信息。在傳統(tǒng)的RANSAC算法中，種子點是從原始數據中隨機產生的3個點，并由此計算出初始平面模型。但是通過這種方法得到的種子點不在同一個平面上的概率比較大，因此會降低分割的效率。本文在此基礎上，對種子點的選取方式進行了改進，將三維空間的距離概念擴展到包含空間幾何信息（x，y，z）和顏色信息（R，G，B）的六維空間的距離，根據此距離判斷點的相似程度。具體方法為：在點集P隨機產生一個點pm，以此點為起始點，尋找與其在六維空間距離滿足式（1）的其他種子點pn。

2.2 局內點判斷

初步獲得平面參數模型[a，b，c，d]之后，要找出數據集合中該模型的其他點局內點，即對剩余點是否屬于平面進行判斷。理論上，若點到平面的距離di=0則點pi在平面上。但是，由于Kinect采集到的點云數據存在誤差，因此難以得到嚴格意義上的平面，即點及其到平面的距離總是在一定范圍內波動。

Kinect獲取的點云數據，不僅包含三維空間數據，還具有相應的RGB彩色信息。對于環(huán)境中的大多數物體來說，同一物體上的不同點在顏色、材質等方面往往具有一致性。根據這一特性，相較于單純的幾何特征，顏色信息的融入可以為分割提供更為準確的依據， 因此，本文在傳統(tǒng)RANSAC算法的只有幾何相似性度量的準則中，引入顏色相似性度量標準來度量點與平面的相似性，并通過調節(jié)幾何和顏色特征在公式中的權重使得分割結果更為準確。

權重α、β的比例關系，需要根據環(huán)境特點加以調節(jié)。對于辦公室等室內環(huán)境，物體的顏色均一性較高，則α較大；對于室外自然環(huán)境來說，物體顏色均一性較低，可以取α為0，則算法退化為傳統(tǒng)的平面空間判別法。只有這樣，才能保證分割的準確性，使分割滿足用戶需求。

利用RANSAC算法對點云進行平面分割時需要進行多次迭代才能分割出所有平面，每次運行完一次，將剩余的點作為原始點云進行下一次分割，不斷循環(huán)知道提取出所有的平面點集。根據以上分析，本文基于RANSAC方法的點云平面分割流程如圖3所示。

3 物體輪廓特征提取

進行平面分割時，雖然利用最小二乘法可以擬合出所屬平面的幾何參數，但要完整地顯現平面，還需進行平面的輪廓特征識別。但是，在三維空間中識別輪廓邊界信息，計算難度較大， 因此，本文將三維的平面特征信息映射到二維空間，基于二維空間信息對物體邊界輪廓提取，降低計算復雜度。

因而，進行輪廓特征提取時，先通過仿射變換將三維點云數據變換到與機器人坐標系xy面平行的位置；然后利用二維凸包算法進行輪廓邊界檢測，提取出邊界信息；最后，根據仿射變換的逆運算，將二維空間的邊界信息恢復成三維信息，從而完成三維輪廓邊界提取。

3.1 三維點云圖像仿射變換

在Kinect坐標系下，經過分割得到的一三維點云所在平面的方程表示為ax+by+cz+d=0，n=[abc]為平面的法向量。在三維空間中，平面的坐標變換可通過對其向量的操作得到。根據空間坐標變換關系，向量n先繞z軸旋轉θz，再繞x軸旋轉θx，可得到垂直于xy面的向量n1=[00a2+b2+c2]，圖4為坐標變換示意圖， 由圖可得tan θz=a/b，tan θx=a2+b2/c。

3.2 輪廓邊緣檢測

在圖像識別、圖像分析以及機器視覺等過程中，圖像邊緣提取是非常關鍵的一步，圖像的邊緣輪廓提取除去了非相關信息，同時也保留了圖像的重要結構特性[13]。為了有效檢測圖像邊緣，必須要區(qū)分出邊緣點和非邊緣點。

本文引入凸包的概念來定義圖像的輪廓邊緣。凸包是計算幾何里的一個概念，是指包含平面點集內所有點的最小簡單凸多邊形[14-19]并且任意兩頂點的連線都在該多邊形的內部，如圖5中的凸多邊形即為所求的最小凸多邊形，組成該多邊形的頂點成為凸點。

根據上述算法可得到物體在三維空間的平面方程參數以及物體的輪廓信息，從而使環(huán)境中的物體可以以面特征的形式表示出來。相對于之前海量的點云信息，以平面特征表示環(huán)境描述緊湊、存儲量小，有利于位置信息的估計、環(huán)境狀況的描述，為后續(xù)的機器人碰撞檢測與自主運動打下良好基礎，大幅減輕計算負荷；同時，平面重構也有利于物體在計算機中三維顯示。

4 實驗結果及分析

本文將在圖9所示的xPartner機器人平臺上進行相關實驗，三維信息獲取設備Kinect安裝在機械臂上。為了驗證提出算法的可行性和效果，構建由移動機器人、Kinect等構成的人機器人交互的可視化軟件界面（如圖10）。該軟件將機器人運動控制、點云數據獲取和顯示、平面分割、輪廓檢測、平面重構等多功能集于一體。軟件的三維顯示是基于OpenGl圖形函數庫實現的。用戶通過交互界面向機器人發(fā)送運動指令，機器人根據接收到的指令信息完成相應的任務。在本實驗中，用戶通過界面控制機器人前進、后退、旋轉，采集當前視點下的環(huán)境。

本文分別以圓形、三角形、墻壁為檢測對象，驗證平面檢測和輪廓邊緣提取算法的有效性，最終實驗結果如圖11所示。具體實現步驟如下：

1）點云圖像采集。Kinect的最佳使用距離為0.8m～2.0m，因此三組場景信息的采集控制在與機器人距離1.2m范圍內。圖11中的（b）圖為通過對Kinect采集的RGB圖和深度圖融合得到的場景點云圖；

2）點云分割。根據本文第2章提出的算法對物體分割，其中種子點有效性判斷閾值Tth=20mm，平面有效性判斷閾值Snum=10000；

3）平面特征重構。確定物體邊緣輪廓，根據空間坐標變換矩陣，完成三維空間點集與二維之間的映射。其中，圖中（a）是實驗對象的真實場景，（b）是Kinect檢測到的環(huán)境三維點云顯示結果。經過平面分割，可以獲得（c）中所示的平面（在圓形和三角形平面實驗中，省略背景墻壁的提取結果）。在分割的基礎上，通過凸包輪廓檢測算法，得到（d）中所示的邊緣結果。利用OpenGL重構出的完整平面顯示在圖（e）中。

在分割過程中，采用融合幾何信息和顏色信息進行分割，為說明該算法的有效性，以圓形場景為例，與只有幾何信息的算法（稱方法1）對比實驗，圖12為兩種分割方法通過Matlab仿真得到的結果圖。

在圖12中，第一行為基于顏色信息和幾何信息分割結果，第二行為基于幾何信息的分割結果。其中，圖12（b）和（c）為分割情況，從圖中可以看出：基于幾何信息的分割算法造成了分割不足，破壞了后面墻壁的完整性，需要進一步分割；而本文算法的分割結果相對于方法1，可以很好地分割出各部分平面物體，而且保證了各部分的完整性。

圖13為運用本文算法對圓形場景的完整特征重構。綜合上述實驗可以看到，本算法能有效進行點云數據分割，檢測出場景中的平面，對于形狀不同的平面，其輪廓都可以被很好地檢測出來，重構結果可以較好地反映真實場景的情況，說明了本文算法具有較高的可行性。

5 結語

圍繞移動機器人三維場景平面重構問題，重點研究了對重構過程有重要意義的平面分割、邊緣輪廓檢測方法。提出了一種基于Kinect的機器人環(huán)境特征提取與重構系統(tǒng)。首先通過Kinect獲取環(huán)境三維點云信息，然后利用改進RANSAC算法場景進行分割，再通過仿射變換把三維輪廓邊界檢測轉化為二維檢測，降低了三維邊界檢測的難度和復雜性，最后進行了3D信息的恢復，并利用OpenGL將平面繪制顯示。從實驗結果看出，算法對環(huán)境特征重構具有較好的效果，對于基于平面特征的三維環(huán)境重構具有一定的應用價值。

參考文獻：

[1]QIAN K， MA X， FANG F. 3D environmental mapping of mobile robot using a lowcost depth camera[C]// Proceedings of the 2013 IEEE International Conference on Mechatronics and Automation. Piscataway， NJ： IEEE， 2013： 507-512.

[2]HWANG Y S， LEE D J， KIM H W， et al. 3D map building for slopes based on modeling of mobile robot[C]// Proceedings of the 2014 IEEE International Conference on Industrial Technology. Piscataway， NJ： IEEE， 2014： 796-799.

[3]務戰(zhàn)威.基于特征信息的場景重構及其在遙操作機器人中的應用[D].綿陽：西南科技大學，2012：4-8.（WU Z W. Scene reconstruction based on feature information and its application in teleoperation robot[D]. Mianyang： Southwest University of Science and Technology， 2012：4-8.）

[4]李慶華.基于RGBD數據的環(huán)境特征提取與場景重構[D]. 大連：大連理工大學，2014：1-10.（LI Q H. Environmental features extraction and scene reconstruction based on RGBD data[D]. Dalian： Dalian University of Technology， 2014：1-10.）

[5]葉迪. 移動機器人基于激光測距的三維場景重構[D].大連：大連理工大學，2008：5-8.（YE D. Mobile robot 3D scene reconstruction based on laser scanning[D]. Dalian： Dalian University of Technology， 2008：5-8.）

[6]YU C H. A new 3D map reconstruction based mobile robot navigation[C]// Proceedings of the 2006 8th International Conference on Signal Processing. Piscataway， NJ： IEEE， 2006：16-20.

[7]DIFILIPPO N M， JOUANEH M K. Characterization of different Microsoft Kinect sensor models[J]. IEEE Sensors Journal， 2015，15（8）：99-102.

[8]ENDRES F， HESS J， STURM J. 3D mapping with an RGBD camera[J]. IEEE Transactions on Robotics， 2014，30（1）：177-187.

[9]SOMLYAI L， VAMOSSY Z. Map building with RGBD camera for mobil robot[C]// Proceedings of the IEEE 16th International Conference on Intelligent Engineering Systems. Piscataway， NJ： IEEE， 2012：489-493.

[10]魏永超，劉長華. 基于曲面分割的三維點云物體識別[J]. 光子學報，2010，39（12）：2268-2272.（WEI Y C， LIU C H. 3D point cloud object recognition based on surface segmentation[J]. Acta Photonica Sinica， 2010，39（12）：2268-2272.）

[11]張強. 基于點云庫的服務機器人視覺識別[D].合肥：中國科學技術大學，2014：15-16.（ZHANG Q. Research of visual recognition algorithm for service robot based on PCL[D]. Hefei： University of Science and Technology of China， 2014： 15-16.）

[12]DEAN J， GHEMAWAT S. MapReduce： simplified data processing on large clusters[J]. Communications of the ACM， 2008，51（1）：107-113.

[13]王芳，錢煒，李文超.基于數學形態(tài)學的圖像邊緣提取方法[J].機械工程與自動化，2015（1）：46-48.（WANG F， QIAN W， LI W C. Edge detection algorithm based on mathematical morphology[J].Mechanical Engineering & Automation，2015（1）：46-48.）

[14]WANG S， SUN S F. Image edge detection based on rotating Kernel transformation[C]// Proceedings of the 2014 7th International Congress on Image and Signal Processing. Piscataway， NJ： IEEE， 2014：397-402.

[15]CHIN U， CHHABRA A. A hybrid approach for color based image edge detection[C]// Proceedings of the 2014 Communications and Informatics Communications and Informatics. Piscataway， NJ： IEEE， 2014：2443-2448.

[16]PAVITHRA C， KAVITHA M， KANNAN E. An efficient edge detection algorithm for 2D3D conversion[C]// Proceedings of the 2014 International Conference on Computation of Power， Energy， Information and Communication. Piscataway， NJ： IEEE， 2014：434-436.

[17]POPPINGA J， VASKEVICIUS N， BIRK A. Fast plane detection and polygonalization in noisy 3D range images[C]// Proceedings of the 2008 IEEE/RSJ International Conference on Intelligent Robots and Systems. Piscataway， NJ： IEEE， 2008：3378-3383.

[18]曾箏， 陳曉，周宏，等. 基于凸包算法的三維表面重建中邊緣輪廓提取[J].微機發(fā)展，2004，14（12）：39-42.（ZENG Z，CHEN X，ZHOU H，et al. Extracting contour in 3D surface reconstruction based on convex hull algorithm[J]. Microcomputer Development， 2004，14（12）：39-42.）

[19]張林. 改進的多邊形凸包算法[J].長春工業(yè)大學學報，2013，34（5）：560-563.（ZHANG L. An improved algorithm of polygon convex hull[J]. Journal of Changchun University of Technology，2013，34（5）：560-563.）