改進法線方向的點云實時分割提取平面方法研究

,,,

(廣東工業(yè)大學 機電工程學院，廣州 510006)

服務機器人在抓取物體時，需要準確獲取物體的幾何結構信息以完成抓取點的選取與抓取規(guī)劃等后續(xù)任務。傳統(tǒng)二維圖像信息的物體識別很難提供物體的幾何信息，基于點云數(shù)據進行三維目標識別成為視覺領域研究的熱點，針對點云數(shù)據的處理在許多視覺任務中起到關鍵的作用[1]。

近些年研究者提出了各種關于點云平面分割提取的算法，這些算法可分為三大類[2-3]：霍夫變換算法、隨機一致采樣算法和區(qū)域生長算法或聚類方法。Nguyen等人[4]使用霍夫變換在嘈雜的環(huán)境中對于平面的提取十分穩(wěn)定，但是這種方法的缺點是耗時長，同時占用大量的計算機內存。Tarsh-Kurdi等人[5]研究表明，在噪聲和異常值的點云數(shù)據中隨機一致采樣算法比霍夫變換算法能更有效地分割平面，但其缺點是由隨機一致采樣方法檢測到的平面可能不屬于同一平面。尤其在復雜的室內環(huán)境中，使用隨機一致采樣方法連續(xù)提取平面時會產生過分割，分割出偽平面的現(xiàn)象。Beksi等人[6]基于區(qū)域生長的算法提取分割平面，該方法相對以上兩種方法簡單，但分割過程需要對點云數(shù)據表面進行法線估計，其消耗大量時間無法滿足實時性的要求，而且對噪聲比較敏感。本文利用區(qū)域生長算法對點云數(shù)據表面實時法線估計、噪聲敏感等問題進行改進，達到平滑點云數(shù)據，降低噪聲造成的影響，提高法線估計精度的效果。

1 算法流程

本文從點云數(shù)據中分割提取平面，主要依據表面法線估計，算法主要流程圖如圖1。首先，從KinectV2傳感器中獲取深度圖像和RGB圖像，通過線性變換轉換為世界坐標中有序的三維點云數(shù)據。然后，利用積分圖像減少對平滑區(qū)域內的像素遍歷，經過動態(tài)分配權重平滑點云數(shù)據進行濾波處理，估算點云數(shù)據表面的法線。最后，利用區(qū)域增長算法對表面法線進行分類，分割提取場景中的點云平面。

圖1 點云分割提取平面主流程

分割提取點云平面的精度依賴于法線估計的結果，這是本文分割提取點云平面方法的關鍵。在表面法線估計的過程中采取以下步驟：首先，選擇被估計法線點云數(shù)據的興趣點，并在該興趣點的鄰域內找到上、下、左、右四個相鄰點。然后，我們對這四個相鄰點采用一個加權平均濾波器，以減少噪聲對法線估計的影響。在濾波的過程中，采用積分圖像來減少像素遍歷的訪問；對需要平滑的區(qū)域，采用動態(tài)分配權重。接著對點云數(shù)據的四個相鄰點的位置進行平滑濾波，再通過水平方向的左相鄰點和右相鄰點，垂直方向的上相鄰點和下相鄰點分別計算向量。最終，將水平方向和垂直方向的向量之間的點積，視為興趣點區(qū)域的表面法線。如圖2所示，對室內環(huán)境下放置在桌面上的目標物體取得分割的效果。

圖2 室內桌面物體分割2點云分割提取平面原理

1.1 積分圖像

在估計表面法線的時候，使用傳統(tǒng)的方法需要遍歷并計算濾波器區(qū)域內的像素點總和，非常消耗時間。在實際應用中，服務機器人在識別抓取物體的時候，實時性非常關鍵。本文提出使用積分圖像對獲取的深度圖像進行遍歷，避免傳統(tǒng)方法的缺點，可以盡量縮短估計法線的時間，達到實時性的效果。積分圖像(integral image)理論由Paul Viola和Michael Jones于2001年提出[7]。如圖3所示，積分圖像中的任意一點(i,j)的值ii(i,j)，表示了原圖像相應黑色區(qū)域的灰度值或其平方的總和，即:

圖3 積分圖像原理

(1)

(2)

在等式(1)和(2)中，其(i′,j′)表示原圖像中(i′,j′)點的灰度值或其平方值。而ii(i′,j′)點的值可按照以下4種情況進行計算：

1)當i>0,j=0時：

s(i,j)=p(i,j)

(3)

ii(i,j)=ii(i-1,j)+s(i,j)

(4)

2)當i>0,j>0時：

s(i,j)=s(i,j-1)+p(i,j)

(5)

ii(i,j)=ii(i-1,j)+s(i,j)

(6)

3)當i=0,j=0時：

s(i,j)=p(i,j)

(7)

ii(i,j)=s(i,j)

(8)

4)當i=0,j>0時：

s(i,j)=s(i,j-1)+p(i,j)

(9)

ii(i,j)=s(i,j)

(10)

在計算一幅圖像所對應的積分圖像時，只需遍歷一次原圖像即可得到。然而，在沒有采用積分圖像的情況下，需要大量地計算一幅圖像中矩形區(qū)域的灰度值總和，對每一個矩形區(qū)域內的像素進行遍歷，導致計算復雜度很高。相比之下，在積分圖像的基礎上計算很方便，它可以避免對區(qū)域內像素遍歷，計算開銷很小。例如，圖4所示窗口E(陰影的灰度值總和)，可以用積分圖像相應點A,B,C,D的取值快速計算出來，即窗口E的灰度值總和等于A+B-(C+D)，且其計算速度與窗口的大小無關。

圖4 積分圖像面積

1.2 平滑區(qū)域和權重分配的調整

采用消費級別的KinectV2傳感器，其精度必然沒有工業(yè)級別圖像傳感器采集數(shù)據精度高，獲取的深度圖像常伴隨著大量的噪聲，若不進行處理，會對表面法線估計精度造成很大的影響，從而導致后續(xù)分割提取平面的魯棒性較差。估計表面法線的精度，很大程度取決于平滑區(qū)域的選擇。在傳統(tǒng)方法中，法線估計往往選擇固定大小的平滑區(qū)域，而其對深度圖像濾波效果并不理想。而且，在深度圖像中并未考慮其圖像的深度參數(shù)。對深度參數(shù)的忽略，將會導致隨著深度范圍的增大，表面法線估計的誤差越來越大。針對這個問題，本文采用隨著深度的增加，動態(tài)地增加平滑區(qū)域的半徑，從而提高表面法線估計的精度。使用三角網格作為平滑區(qū)域，將平滑的深度范圍固定在1～5米，實驗結果如圖5所示。

圖5 識別精度半徑平滑

在不同的深度范圍內，采用半徑不等的平滑區(qū)域，圖中的曲線顯示了表面法線估計的精度。在同樣的深度下，使用半徑相等的平滑區(qū)域，獲取的點云數(shù)據精度越來越低。反之，隨著深度的增加，增大平滑區(qū)域的半徑，在一定范圍內其精度越來越高。采用動態(tài)地調整平滑區(qū)域半徑的方法，可以有效地提高識別精度。由于傳感器獲取的數(shù)據精度有限，雖然盡量提高平滑點云數(shù)據的精度，但最終將趨于飽和。

然而，采用動態(tài)地平滑區(qū)域僅取決于點云數(shù)據的深度參數(shù)，這樣會過度平滑物體的邊緣部分，造成物體邊緣部分法線估計的錯誤。為了避免這個現(xiàn)象，在平滑濾波的時候，采用權重分配的方法。具體來說，對不同鄰域的像素進行權重分配，依據邊緣檢測算子檢測到的邊緣。采用公式(11)，依據一階導數(shù)檢測到的邊緣，對平滑區(qū)域內的深度圖像進行權重分配：

(11)

其中:M(p)代表深度圖像邊緣的梯度，w(p)代表平滑區(qū)域半徑內的像素，t代表邊緣步長。然后，再使用閾值th在梯度圖中檢測深度圖像明顯的邊緣。

(12)

用深度圖像中檢測到的邊緣來確定興趣點的每個相鄰像素的權重。依據興趣點在平滑區(qū)域位置的不同，分為如下兩種情況：如果興趣點在圖像的邊緣部分，將平滑較小部分的區(qū)域，而且在邊緣部分的興趣點的平滑區(qū)域權重設置為0；如果興趣點不在圖像的邊緣部分，興趣點的平滑區(qū)域權重設置較大。

1.3 點云平面分割提取

對點云數(shù)據表面的像素點(u,v)依據右手定則計算其表面法線n(u,v)。將每個像素點鄰域的相互垂直的矢量之間的叉乘，如等式(13)，視為興趣點區(qū)域的表面法線。

n(u,v)=h(u,v)×v(u,v)

(13)

其中:h(u,v)代表像素點左右鄰域的水平方向矢量，v(u,v)代表像素點上下鄰域的垂直方向矢量。依據檢測到的邊緣對平滑區(qū)域權重分配，使用水平方向矢量h(u,v)和垂直方向的矢量v(u,v)，可以計算出三維點云數(shù)據表面法向矢量：

hx(u,v)=[Px(u,v+d(u,v))-Px(u,v-d(u,v))]/2

(14)

hy(u,v)=[Py(u,v+d(u,v))-Py(u,v-d(u,v))]/2

(15)

其中：

H1=A(IZ,G,u,v+d(u,v),d(u,v))

(17)

H2=A(IZ,G,u,v+d(u,v),d(u,v))

(18)

vx(u,v)=[Px(u,v+d(u,v),v)-

Px(u,v-d(u,v),v)]/2

(19)

vy(u,v)=[Py(u,v+d(u,v),v)-

Py(u,v-d(u,v),v)]/2

(20)

vz(u,v)=[V1-V2]/2

(21)

其中：

V1=A(IZ,G,u+d(u,v),v,d(u,v))

(22)

V2=A(IZ,G,u-d(u,v),v,d(u,v))

(23)

Px,Py,Pz代表三維有序點云數(shù)據在笛卡爾坐標中的x,y,z的坐標值；d(u,v)可代表動態(tài)的平滑區(qū)域，由于使用KinectV2獲取數(shù)據，伴隨著大量的噪聲，可以以提高估計表面法線的精度；IZ,G代表積分圖像z方向的數(shù)據。使用積分圖像避免了對平滑區(qū)域的像素遍歷，同時采用動態(tài)地分配權重得到了點云數(shù)據的法線數(shù)據，提高了法線估計的精度。根據平面的基本特征，分割提取的平面點云滿足兩個基本條件：

1)同向性點云數(shù)據的法線方向一致或夾角小于預先設定的閾值。

2)共面性點云數(shù)據局部擬合平面之間的距離小于預先設定的閾值。

依據估計法線方向的特點，設置一定的限制條件，對法線進行分類從而提取平面。區(qū)域生長算法是一種圖像分割方法，它將具有某種相似性質的像素或體素聚集起來構成區(qū)域。其思想是：首先，在感興趣的區(qū)域中找到一個種子點像素作為生長的起點；其次，將種子像素周圍鄰域中與該種子像素有相同或相似的像素區(qū)域合并到該種子像素所在的區(qū)域中；最后，連續(xù)重復以上步驟，直到沒有滿足條件的像素包含進去為止。本文針對深度圖像估計法線的方向的特點，利用區(qū)域生長算法分割點云平面，步驟如下：首先，依據選擇平面區(qū)域手動初始化選者種子點；然后，檢查鄰域像素點周表圍面法線方向的夾角，也就是同向性；其次，設置鄰域內法線方向相似的鄰域為內點集，也就是共面性；最后，重復以上步驟，直到沒有新的種子點集存在。完成區(qū)域生長之后，可以有效地把估計的法線分類，從而分割提取平面，為下一步的聚類分割與物體識別定位做準備。

2 測試與結果分析

用C++實現(xiàn)了本文平面分割提取算法，運行平臺為ubuntu 14.04 64位操作系統(tǒng)，Qt為開發(fā)環(huán)境，主要硬件配置為Inter core i7-6700 CPU及8 G內存。采用如圖6所示的Kinect2.0深度傳感器獲取點云數(shù)據。

圖6 MicrosoftKinect 2.0

2.1 處理速度

為了驗證本文基于法線估計分割算法的有效性，使用了網絡公共數(shù)據庫RGB-D數(shù)據集[8]，選擇同一組點云數(shù)據進行平面分割提取，將本文提出的方法和點云庫算法Point Cloud Library(PCL)[9]中的隨機采樣一致性(RANSAC)方法和基于優(yōu)化分割(Optimization-Based)方法進行對比。上述方法分割提取平面所需計算處理時間如下表：

表1 點云分割時間

從以上表1中可以看出，采用本文提供的方法分割提取平面約600毫秒，比采用Optimization-Based方法快1.5倍左右。此外，采用積分圖像的方式去估計深度圖像表面法線，計算所需要的時間與動態(tài)平滑區(qū)域大小無關。在室內環(huán)境中，使用KinectV2采集深度圖像轉換為點云數(shù)據，其深度圖像像素為640×480，對點云數(shù)據分割提取平面耗時時間為1.86秒；采用深度圖像像素為，對點云數(shù)據分割提取平面耗時僅為500毫秒左右，可以滿足實時性的需求。

2.2 分割精度

本文采用的分割提取平面的方法，主要依賴對點云數(shù)據表面的法線估計的精度。例如在圖7中顯示了使用本文對點云數(shù)據分割提取的方法估計法線，和基于優(yōu)化分割(Optimization-Based)方法對桌面估計法線做出的對比。分割該點云數(shù)據是室內桌面擺放物體的場景，場景由深度圖像數(shù)據經過坐標變換與RGB圖像對齊，生成的三維點云數(shù)據。從a)和b)中展示的估計桌子平面的邊角部分可以看出：基于優(yōu)化分割方法估計的法線估計并未垂直桌面，法線方向明顯傾斜。而采用本文方法有效地估計濾除噪聲的干擾，桌子表面法線垂直于桌面，法線方向平行一致，從而有效地對點云數(shù)據分割提取平面。從c)和e)中可以看出：基于優(yōu)化分割方法估計的法線方向不一致性，對點云數(shù)據表面法線方向估計的誤差較大，下一步基于區(qū)域生長算法對估計的法線的方向進行分類，造成點云數(shù)據平面過分割現(xiàn)象。從c)和e)中可以看出：使用動態(tài)的分配權重去平滑點云數(shù)據，對桌面上的物體與桌面之間實現(xiàn)了較好的分割效果，尤其對整個平面的提取。

圖7 實驗結果

圖7中，(a)、(c)為基于優(yōu)化分割方法的法線估計；(b)、(d)為基于本文方法的法線估計；(e)、(f)為依據法線方向區(qū)域生長分割效果圖。

3 結論

本文提出了一種針對室內環(huán)境下能夠從三維有序點云數(shù)據中高效、實時分割提取平面的方法，并且就如何提高實時性、準確性展開研究。針對消費級別的傳感器獲取的點云數(shù)據進行處理，采用積分圖像降低法線估計時間，使用動態(tài)地分配權重的方法平滑點云數(shù)據的噪聲。測試實驗表明，對像素為的深度圖像，分割提取平面耗時時間僅為1.86秒左右，完全滿足室內服務機器人對物體的識別與定位的需求，有助于實現(xiàn)家庭環(huán)境下服務機器人的物體抓取，對促進服務機器人進入家庭具有實際意義。

參考文獻：

[1] 薛彥濤,呂洪波,孫啟國. 基于Kinect深度數(shù)據的移動機器人障礙檢測方法研究[J]. 計算機測量與控制, 2017, 61-63.

[2] Li L, Yang F, Zhu H, et al. An Improved RANSAC for 3D Point Cloud Plane Segmentation Based on Normal Distribution Transformation Cells[J]. Remote Sensing, 2017, 9(5).

[3] Ambrus R, Claici S, Wendt A. Automatic Room Segmentation from Unstructured 3D Data of Indoor Environments[J]. IEEE Robotics & Automation Letters, 2017, PP(99):1-1.

[4] Nguyen A,Le B. 3d Point Cloud Segmentation: a Survey[A].Robotics, Automation and Mechatronics (ram), 2013 6th IEEE Conference on[C]. IEEE, 2013: 225-230.

[5] Tarsha-kurdi F,Landes T,Grussenmeyer P, et al. Model-driven and Data-driven Approaches Using LidarData:Analysis and Comparison[A].Isprs Work shop, Photogrammetric Image Analysis[C]. 2007: 87-92.

[6] Beksi W J, Papanikolopoulos N. 3D region segmentation using topological persistence[A].IEEE/RSJ International Conference on Intelligent Robots and Systems[C]. IEEE, 2016:1079-1084.

[7] Viola P,Jones M. Rapid Object Detection Using a Boosted Cascade of Simple Features[A].Computer Vision and Pattern Recognition, 2001. Cvpr 2001. Proceedings of the 2001 IEEE Computer Society Conference on: IEEE[C]. 2001: 0-0.

[8] Lai K,Bo L,Ren X, et al. A Large-scale Hierarchical Multi-view Rgbd Object Dataset[A].IEEE Intern ational Confe-rence on Robotics and Automation[C]. 2011: 1817-1824.

[9] Miknis M, Davies R, Plassmann P, et al. Efficient Point Cloud Pre-processing using The Point Cloud Library[J]. International Journal of Image Processing, 2016, 10(2): 63.