Kinect點云的平面提取算法研究

黃忠義,李建勝,郝向陽,王騰

(信息工程大學 導航與空天目標工程學院, 鄭州 450001)

Kinect點云的平面提取算法研究

黃忠義,李建勝,郝向陽,王騰

(信息工程大學 導航與空天目標工程學院, 鄭州 450001)

摘要：在室外環(huán)境下GPS、北斗等衛(wèi)星定位系統(tǒng)是主要的定位手段,但是在室內(nèi)或者城市高樓林立的環(huán)境下衛(wèi)星定位系統(tǒng)會出現(xiàn)不能共作的情況,視覺定位卻能很好地工作,平面檢測是視覺定位基礎(chǔ)工作之一,將Kinect攝像機應用到定位導航領(lǐng)域,相比于傳統(tǒng)的視覺算法,結(jié)合紅外光等主動距離傳感器的平面檢測穩(wěn)定、適應性強。在檢測過程中,先利用mean-shift算法進行圖像分割,再將基于深度圖像生成的三維點投射到分割的圖像中,然后對每個點云區(qū)域做平面變換,計算出相應的變換參數(shù),最后根據(jù)上述參數(shù)特性聚類平面區(qū)域。實驗證明,該方法能夠聚類出復雜環(huán)境中的平面,對下一步的定位定姿具有十分重要的意義。

關(guān)鍵詞：平面聚類;圖像分割;點云分割;三維重建

0引言

近年來,隨著自主導航、智能避障的需求增加,障礙物檢測技術(shù)在智能交通、移動機器人自主導航、行星探測等領(lǐng)域得到越來越多的應用。因為真實場景中障礙物都是立體的,而路面則是平面的,所以為障礙物檢測工作打下了堅實的基礎(chǔ)。

Kinect 是微軟推出的 3D 攝像機,能夠同時獲取語音信息、彩色圖像和深度圖像。深度圖像中每個像素的像素值,即為物體空間坐標點與 Kinect 攝像機之間的距離。Kinect主要包含主控芯片、紅外攝像機、彩色攝像機、紅外發(fā)射器、麥克風陣列等。Kinect 采用光編碼技術(shù)實時得到深度圖像信息,并可結(jié)合彩色圖像信息實時生成場景的三維點云,常用的平面提取多采用3維Hough變換,章大勇等提出了一種基于對偶空間分割的平面提取方法解決了3維Hough空間不一致的問題[1-2],李明磊等利用點云中每點的法向量進行Hough變換,除了能識別平面特征,還能對墻角等地標進行提取[3],杜廷偉在碩士論文中用高斯聚類的方法對RGB-D圖像進行了分割,對室內(nèi)對象識別和場景理解有很大的幫助[4],本文將Kinect攝像機應用到智能導航領(lǐng)域時,先利用mean-shift算法進行圖像分割,再將基于Kinect彩色圖像和深度圖像生成的三維點投射到分割的圖像中,然后根據(jù)三維點的立體特性檢測出平面區(qū)域并對相似特性的平面區(qū)域加以聚類。

1算法原理

常用的平面的檢測算法包括最小二乘法,特征值法[5],當采用參數(shù)法表示平面時,可以表示成如下的參數(shù)形式

ρ=x·cosθ·sinφ+y·sinθ·

sinφ+z·cosφ,

θ∈[0°,360°), φ∈[0°,90°],

(1)

式中: 參數(shù)(θ,φ)決定了平面法向量的方向,而參數(shù)ρ決定了平面到原點的距離,參數(shù)θ表示平面的法向n在xoy平面中的投影和x軸止向之間的夾角;φ表示n和xoy平面的夾角。

1.1平面變換參數(shù)求解

假設(shè)前面分割結(jié)果中某一類中有n個數(shù)據(jù)點{(xi,yi,zi),i=1,2,…n},則任意一點到平面的距離可以表示為

di=|xi·cosθ·sinφ+yi·sinθ·sinφ+zi·cosφ-ρ|,

(2)

可以利用拉格朗日乘法求解最小值

(sinθ·sinφ)2+(cosφ)2),

(3)

首先對ρ求導并令其結(jié)果為0,有:

sinθ·sinφ+zi·cosφ-ρ)=0，

(4)

求得:

(5)

將結(jié)果帶入拉格朗日乘法公式中并令cosθ·sinφ=a,sinθ·sinφ=b,cosφ=c,然后對a,b,c分別求導,令導數(shù)等于0,可以組成如下的方程組:

(6)

將上面的方程組化成Ax=λx的形式

其中

A=

(7)

由于A為實對稱陣,考慮到a2+b2+c2=1,即(x,x)=1,那么有:

(8)

即A的最小特征值即為最小的距離平方和,對應于平面的法向量。根據(jù)求得的參數(shù)(a,b,c)可以得到參數(shù)(θ,φ)以及最小距離λ.

1.2平面聚類

可以認為上面的操作是對該點集做了一個平面變化,而所求到一系列參量就是最后的變換結(jié)果。最小距離的平均值也可以作為平面擬合好壞的依據(jù)。由于kinect在4 m距離時的深度測量精度是1.4%.誤差在5～6 mm之間,這里取一倍誤差(5 mm)作為判斷閾值,低于閾值的區(qū)域被認為是地面待檢測區(qū)域。將所有區(qū)域的(X,Y,Z,θ,φ,ρ)作為參數(shù)(XYZ是區(qū)域的質(zhì)心坐標),進行一個KMeans(最鄰近區(qū)域)分類。

但是分析參數(shù)空間的參量,會發(fā)現(xiàn)參數(shù)(θ,φ)是一個沒有量綱的量,和其他參量相差一個尺度因子,因此確定參數(shù)(θ,φ)的尺度因子,也可以認為是一個定權(quán)的過程。將平面參數(shù)(θ,φ,ρ)變換為(nx,ny,nz)，nx=cosθ·sinφ·ρ,ny=sinθ·sinφ·ρ,nz=cosφ·ρ.算法的流程圖如圖1所示。

圖1　平面聚類算法流程圖

2實驗

2.1實驗步驟

1) 對彩色圖(實驗數(shù)據(jù)集為VoB3d[6])進行mean-shift分割,meanshift是一種特征空間分析方法,要利用此方法來解決特定問題,需要將該問題映射到特征空間。圖像分割就是求每一個像素點的類標號。關(guān)于meanshift分割的詳細原理,這里不再贅述,參考文獻[7]給出了比較詳細的介紹。

2) 根據(jù)彩圖投影對應的深度圖來分割點云。

3) 求解每個點云區(qū)域的平面參數(shù)。

4) 根據(jù)平均偏差的閾值(取5mm,前文已經(jīng)說明)剔除掉非平面區(qū)域。統(tǒng)計點云集樣本大于閾值(這里取10 000個),記為K也就是后面分類的類別數(shù),然后對剩下的平面區(qū)域進行Kmeans分類,但是這里計算聚類質(zhì)心的時候需要加一個權(quán)重,大小為每個區(qū)域點的數(shù)量除以50取整,得到聚類區(qū)域。

2.2實驗結(jié)果

實驗共分3組，分別在簡單場景(如圖2(a))，強光照場景(如圖3(a))和復雜場景下(如圖4(a))，相對應的深度如圖2(b)、3(b)、4(b)所示。經(jīng)過meanshift算法分割后，三組實驗結(jié)果如圖2(c)、圖3(c)、圖4(c)所示，將圖像分成125，115,193個區(qū)域，部分結(jié)果如表1、表2、表3所示，點數(shù)大于10 000個的區(qū)域為5，6，6，故取KMeans聚類為6,7,7類。聚類結(jié)果如第一組實驗圖2(d)、圖3(d)，圖4(d)所示。其中紅色，黃色，淺紅色區(qū)域為非平面區(qū)域，剩下的為5，6，6個平面聚類區(qū)域。

圖4　第三組實驗選圖 (a) 原始彩色圖; (b) 原始深度; (c) 分割結(jié)果; (d) 聚類結(jié)果

2.3實驗分析

從實驗結(jié)果可以看出該算法能夠很好地分割圖像和分離出非平面區(qū)域、平面聚類結(jié)果和這些平面實際所屬類別能很好的吻合。簡單場景下(如圖2所示)能取得很好的結(jié)果，即使地面有大量雜物(如圖3所示)或者光線較弱(如圖4所示)的情況下該算法也能很好的聚類平面區(qū)域。處理結(jié)果對智能車導航的路面提取和避障是十分有意義的,如第一組實驗圖2(d)中的黃色區(qū)域,圖4(d)中的紅色區(qū)域表示是地面區(qū)域。但是算法還是存在部分噪點處理不夠的地方,當分割區(qū)域較小而剛好該區(qū)域有效深度點較少的時候,無法完成點集合分類,如圖2(d)中示出了地毯邊緣的噪聲,但是這部分區(qū)域較少。

表1　第一組實驗平面變換后的參數(shù)

表2　第二組實驗平面變換后的參數(shù)

表3　第三組實驗平面變換后的參數(shù)

3結(jié)束語

針對RGB-D信息的處理,給出了一種新的平面聚類方法,提出了一種魯棒性強的平面判定與參數(shù)計算方法,根據(jù)圖像的meanshift分割結(jié)果分割深度圖像生成的點云,比單純的基于深度圖的分割更能反應環(huán)境的類別,最后按照區(qū)域的中心,所在平面的參數(shù)進行聚類,實驗結(jié)果證明該算法能很好的聚類相似平面,而且在不同的場景下都能取得很好的效果,對后續(xù)的視覺定位定姿有十分重要的意義。

參考文獻

[1]朱笑笑,曹其新,楊揚,等.一種改進的KinectFusion三維重構(gòu)算法[J].機器人,2014(3):129-137.

[2]章大勇,吳文啟,吳美平,等.基于三維Hough變換的機載激光雷達平面地標提取[J].國防科技大學學報,2010,32(2):130-136.

[3]李明磊,李廣云,王力,等. 3DHoughTransform在激光點云特征提取中的應用[J].測繪通報,2015(2):29-33.

[4]杜廷偉.基于高斯混合模型聚類的Kinect深度數(shù)據(jù)分割[D].北京:北京工業(yè)大學,2013.

[5]LAIK,BOL,RENX,et al.ALarge-scalehierarchicalmulti-viewRGB-Dobjectdataset[C].//IEEEInternationalConferenceonRoboticsandAutomation(ICRA), 2011.

[6]賀超,劉華平,孫富春, 等. 采用Kinect的移動機器人目標跟蹤與避障[J].智能系統(tǒng)學報, 2013,8(5):426-432.

[7]COLLINSR,LIUY,LEORDEANUM.Onlineselectionofdiscriminativetrackingfeatures[J].IEEETransonPatternAnalysisandMachineIntelligence, 2005, 27(10): 1631-1643.

黃忠義(1990-),男,湖北恩施人,碩士生,主要研究領(lǐng)域為機器視覺,視覺導航。

李建勝(1975-),男,湖北鐘祥人,教授,碩士生導師,主要研究領(lǐng)域為計算機視覺導航,視覺仿真。

郝向陽(1966-),男,河南濟源人,教授,博士生導師,主要研究領(lǐng)域為計算機視覺導航,遙感圖像處理。

王騰(1991-),男,安徽安慶人,碩士生,主要研究方向為信號處理與計算機視覺。

Planar Detection Algorithm Based on Kinect Point Cloud

HUANG Zhongyi,LI Jiansheng,HAO Xiangyang,WANG Teng

(SchoolofNavigationandAerospaceEngineering,InformationEngineeringUniversity,Zhengzhou450001,China)

Abstract: In outdoor environment, GPS Beidou and other satellite position system are the mainly Position method. However, when they can’t work well in indoor or some other environment, such as some places in city where many high building exist. Visual position is a good way to solve this problem. Plane detection is a basic work of the visual position. In this article we will apply Kinect camera to the position and navigation field. Compare with the traditional visual algorithm, the detection of plane combine with infrared light or other active range detector is more stable and more adaptive. In processing we firstly use mean-shift algorithm to segment the RGB image, and then projected three-dimensional point based on depth image to segmented image. After that, make the plane transformation for each point cloud region,and the corresponding plane transformation parameters are calculated, lastly clustering plane area with the characteristics of the parameters calculated. Experiments show that the method can cluster plane from complex environments, and it is of great importance for positon and posture.

Keywords:Plane clustering panel; image segment; point cloud segment; 3D reconstruction

doi:10.13442/j.gnss.1008-9268.2016.02.016

收稿日期：2015-12-22

中圖分類號：TP274.2

文獻標志碼：A

文章編號：1008-9268(2016)02-0085-05

作者簡介

資助項目: 自然科學基金(批準號:41371436)

聯(lián)系人： 黃忠義 E-mail:2009301610383@whu.edu.cn