基于三維點(diǎn)云和圖像邊緣的托盤(pán)檢測(cè)技術(shù)研究

吳登祿 曹文希 朱穎

基于三維點(diǎn)云和圖像邊緣的托盤(pán)檢測(cè)技術(shù)研究

吳登祿1,2曹文希1,2朱穎1,2

（1.順豐科技有限公司 2.物流機(jī)器人技術(shù)與應(yīng)用工程研究中心）

以自動(dòng)叉車(chē)為研究對(duì)象，針對(duì)叉車(chē)的具體運(yùn)動(dòng)約束和實(shí)際使用場(chǎng)景，提出一種結(jié)合圖像邊緣和深度信息的點(diǎn)云匹配技術(shù)來(lái)解決末端載具檢測(cè)及定位問(wèn)題，相比其他僅從三維點(diǎn)云定位的技術(shù)，具有較強(qiáng)的檢測(cè)魯棒性和定位準(zhǔn)確性，同時(shí)具有可擴(kuò)展性。

點(diǎn)云匹配；托盤(pán)檢測(cè)；叉車(chē)定位

0 引言

隨著物流業(yè)的快速發(fā)展，勞動(dòng)力的需求也不斷增長(zhǎng)。根據(jù)物流業(yè)高強(qiáng)度和高重復(fù)性的勞動(dòng)特點(diǎn)，采用機(jī)器人完成勞動(dòng)成為趨勢(shì)。具有自主導(dǎo)航能力的機(jī)器人在物流運(yùn)輸和倉(cāng)儲(chǔ)管理行業(yè)具有重要作用。依靠地圖定位算法，機(jī)器人可精確地在場(chǎng)地內(nèi)運(yùn)動(dòng)。此外，自動(dòng)識(shí)別裝載目標(biāo)，對(duì)于叉車(chē)無(wú)人化是不可或缺的能力。本文主要針對(duì)目前主流的叉車(chē)，研究一種適用于倉(cāng)庫(kù)的無(wú)人叉車(chē)精確托盤(pán)定位技術(shù)。

無(wú)人叉車(chē)定位技術(shù)在學(xué)術(shù)界得到多年關(guān)注[1]，并已在工業(yè)領(lǐng)域廣泛應(yīng)用。目前，針對(duì)無(wú)人叉車(chē)定位技術(shù)主要研究全局定位技術(shù)，如依賴(lài)于稠密激光點(diǎn)云地圖和稀疏反光板定位技術(shù)、基于軌道巡線(xiàn)或磁條定位技術(shù)等。托盤(pán)定位因?yàn)榫纫蟾哂谌侄ㄎ唬椅恢脽o(wú)法提前在地圖固定標(biāo)記等問(wèn)題而有別于全局定位。針對(duì)上述問(wèn)題，已有不同的解決方案，如激光托盤(pán)定位方案、激光和圖像結(jié)合方案[2]等。

針對(duì)托盤(pán)定位問(wèn)題，本文采用基于3D深度傳感器的方案。相比激光方案，3D深度傳感器可以節(jié)約成本；同時(shí)由于3D深度傳感器獲取的點(diǎn)云相對(duì)激光更加稠密，魯棒性更高。與巡線(xiàn)技術(shù)和磁條技術(shù)相比，3D深度傳感器不需要對(duì)場(chǎng)地進(jìn)行改造，降低成本的同時(shí)提高了部署的靈活性。另外，目前在市場(chǎng)上已經(jīng)量產(chǎn)的3D深度傳感器Kinect、Real-Sense和Astra等，所提供的稠密三維點(diǎn)云數(shù)據(jù)在測(cè)量距離和精度方面能滿(mǎn)足托盤(pán)定位的要求。本文參考工業(yè)機(jī)械臂識(shí)別和抓取物體的算法，利用點(diǎn)云匹配技術(shù)為叉車(chē)提供近距離的托盤(pán)位姿信息。

1 檢測(cè)方法

1.1 三維點(diǎn)云匹配問(wèn)題描述

傳感器安裝于叉車(chē)的固定位置，其獲取的托盤(pán)測(cè)量點(diǎn)云坐標(biāo)可通過(guò)叉車(chē)位姿和傳感器外參確定。隨著叉車(chē)在空間移動(dòng)，通過(guò)觀測(cè)點(diǎn)云在不同時(shí)刻坐標(biāo)的變化，能夠間接地求出叉車(chē)相對(duì)托盤(pán)的運(yùn)動(dòng)。在相機(jī)外參已知的情況下，托盤(pán)定位問(wèn)題可等價(jià)于點(diǎn)云運(yùn)動(dòng)估計(jì)，常用的方法是點(diǎn)云匹配技術(shù)。

其中N是維點(diǎn)集的個(gè)數(shù)。

其中,w 描述模型點(diǎn)m 與測(cè)量點(diǎn)d之間的匹配關(guān)系。當(dāng)二者為匹配點(diǎn)時(shí)w =1；否則w =0。

1.2 匹配問(wèn)題求解

解決匹配問(wèn)題常用的方法：先給定相似變換參數(shù)的初始估計(jì)值；再迭代優(yōu)化。與通常的迭代法類(lèi)似，求解匹配問(wèn)題容易陷入局部最小值而無(wú)法得到最優(yōu)參數(shù)估計(jì)，因此初始值決定了最終點(diǎn)云匹配效果。為盡量得到合適的初始估計(jì)值，研究學(xué)者關(guān)注于設(shè)計(jì)區(qū)分度高的特征描述子來(lái)編碼點(diǎn)云領(lǐng)域信息，從而使這些特征區(qū)域能夠在全局被有效地搜索和匹配。利用合適的特征描述子，點(diǎn)云匹配問(wèn)題的求解步驟：

1）分別對(duì)模型點(diǎn)集和測(cè)量點(diǎn)集提取特征點(diǎn)、計(jì)算描述子；

2）根據(jù)特征點(diǎn)的三維位置和描述子信息，估計(jì)每個(gè)測(cè)量點(diǎn)在模型點(diǎn)集的匹配點(diǎn)，并根據(jù)所有匹配點(diǎn)估計(jì)模型和測(cè)量數(shù)據(jù)整體之間的相似變換關(guān)系；

3）考慮到測(cè)量誤差，測(cè)量點(diǎn)集和模型間可能出現(xiàn)誤匹配，利用重復(fù)采樣、估算和驗(yàn)證的方式來(lái)排除粗差；

4）利用排除誤匹配后的數(shù)據(jù)重新估算相似變換。

3D點(diǎn)云特征描述子包括從2D圖像特征描述遷移到點(diǎn)云的算法，如SIFT和FAST；另外還有點(diǎn)特征直方圖描述子（PFH）和其加速版本（FPFH）[3]。

PFH基于中心點(diǎn)與鄰域之間的法線(xiàn)關(guān)系。在中心點(diǎn)半徑為的圓球內(nèi)部選取個(gè)相鄰點(diǎn)，彼此構(gòu)成相互連接，PFH計(jì)算每個(gè)連接兩點(diǎn)間的法線(xiàn)偏差，并在其中一點(diǎn)建立一個(gè)局部坐標(biāo)系，描述如下：

其中，s為中心點(diǎn)p的法向量；p為鄰點(diǎn)坐標(biāo)。

坐標(biāo)系兩點(diǎn)法線(xiàn)的偏差可通過(guò)3個(gè)角度來(lái)描述：

結(jié)合3個(gè)垂線(xiàn)偏角以及距離，PFH將每個(gè)領(lǐng)域點(diǎn)對(duì)描述為四元特征。同時(shí)，PFH特征描述將特征范圍劃分為多個(gè)子區(qū)間，再統(tǒng)計(jì)落在每個(gè)子區(qū)間內(nèi)的點(diǎn)數(shù)分布作為最終PFH描述。為減少PFH的運(yùn)算量，F(xiàn)PFH算法只關(guān)注中心點(diǎn)與每個(gè)領(lǐng)域點(diǎn)之間的垂線(xiàn)關(guān)系，而不是領(lǐng)域內(nèi)部每對(duì)點(diǎn)間的關(guān)系。同時(shí)，F(xiàn)PFH用每個(gè)領(lǐng)域點(diǎn)各自計(jì)算得到的特征直方圖做加權(quán)平均，簡(jiǎn)化計(jì)算的同時(shí)保證結(jié)果接近PFH描述子。

PFH和FPFH都是基于局部點(diǎn)云的統(tǒng)計(jì)信息來(lái)編碼中心點(diǎn)，這些算法在點(diǎn)云稀疏或照射物體表面幾何曲率變化較小時(shí)，無(wú)法得到有效的特征描述。為此，PPF算法[4]提出一種描述全局表面曲率變化信息的算法來(lái)解決局部描述子在弱紋理和簡(jiǎn)單表面區(qū)域匹配效果差的問(wèn)題。另一個(gè)解決此問(wèn)題的方法是結(jié)合圖像信息來(lái)彌補(bǔ)點(diǎn)云幾何信息的不足。單純的圖像模板匹配技術(shù)適用于弱紋理區(qū)域，且具有一定的魯棒性，如Chamfer匹配法和Haussdorf距離法[4]。它們僅依賴(lài)圖像邊緣信息，容易隨著光照和背景的改變而變化。相比之下，Linemod算法[5]同時(shí)考慮了3D物體表面法向量和2D圖像梯度信息，在點(diǎn)云匹配中有較好表現(xiàn)。

考慮特征描述子（PPF）算法和Linemod算法的各自?xún)?yōu)點(diǎn)，本文提出一種結(jié)合圖像局部紋理和3D點(diǎn)云全局曲率變化信息的方法來(lái)解決點(diǎn)云匹配問(wèn)題，并將PPF描述子由4維擴(kuò)展到7維，增加了圖片像素中的RGB信息，描述如下：

2 實(shí)驗(yàn)

本文算法的代碼基于OpenCV和PCL開(kāi)源庫(kù)編寫(xiě)，測(cè)試平臺(tái)硬件配置了16 G內(nèi)存+i7處理器。首先采用手持Astra標(biāo)準(zhǔn)版深度相機(jī)連接到筆記本在不同位置錄制托盤(pán)數(shù)據(jù)，選取一組作為參考數(shù)據(jù)錄制為匹配模板，另一組模擬叉車(chē)運(yùn)動(dòng)；然后根據(jù)本文匹配算法估算二者點(diǎn)云的位姿變換；最后根據(jù)估計(jì)的位姿變換將兩組點(diǎn)云投影到同一坐標(biāo)系作對(duì)比。

為提高運(yùn)算速度和提高匹配效果，本文在識(shí)別算法前增加了預(yù)處理，如圖1所示。

圖1 點(diǎn)云預(yù)處理流程

首先，利用多分辨率降采樣點(diǎn)云以提高ICP匹配效率。點(diǎn)云從低分辨率開(kāi)始匹配，并利用低分辨率匹配得到的結(jié)果作為更高精度的分辨率點(diǎn)云匹配的初始值，可減少I(mǎi)CP的迭代次數(shù)。這樣不僅減少算法運(yùn)行時(shí)間，同時(shí)還減弱初值對(duì)ICP算法的影響。

最后，在點(diǎn)云匹配前對(duì)點(diǎn)云進(jìn)行Euclidean Cluster聚類(lèi)分割。由于托盤(pán)只允許在近距離、無(wú)障礙物的條件下插取，可只選取深度方向最小的聚類(lèi)為目標(biāo)點(diǎn)云，提高點(diǎn)云匹配準(zhǔn)確度。

3 結(jié)果分析

實(shí)驗(yàn)結(jié)果如圖3所示。其中右側(cè)黑點(diǎn)為錄制的參考托盤(pán)點(diǎn)云，左側(cè)黑點(diǎn)為模擬運(yùn)動(dòng)中叉車(chē)所觀測(cè)到的托盤(pán)點(diǎn)云；灰白點(diǎn)為根據(jù)點(diǎn)云匹配得到的位姿變換將參考托盤(pán)點(diǎn)云投影到叉車(chē)觀測(cè)坐標(biāo)系的結(jié)果。由圖3可知，左側(cè)黑點(diǎn)和灰白點(diǎn)幾乎完全重合，這表明估算的叉車(chē)位姿精度較高，算法能夠通過(guò)測(cè)量點(diǎn)云的位姿變換估算叉車(chē)相對(duì)托盤(pán)的位姿，從而為叉車(chē)控制模塊提供引導(dǎo)數(shù)據(jù)。

圖2 托盤(pán)圖像和點(diǎn)云圖

圖3 托盤(pán)點(diǎn)云匹配結(jié)果

4 結(jié)論

針對(duì)倉(cāng)儲(chǔ)自動(dòng)叉車(chē)托盤(pán)定位問(wèn)題，本文使用3D深度相機(jī)并設(shè)計(jì)相應(yīng)的點(diǎn)云匹配算法來(lái)估算托盤(pán)與叉車(chē)的相對(duì)位姿，并將PPF描述子拓展到7維來(lái)提高對(duì)弱紋理表面的點(diǎn)云匹配效率。實(shí)驗(yàn)表明，本文提出的算法在近距離范圍內(nèi)能有效定位托盤(pán)，比單純采用點(diǎn)云的幾何信息定位具備更高的魯棒性。

[1] Bostelman R, Tsai H, Chang T. 2006 Visualization of pallets Intelligent Robots and Computer Vision XXIV: Algorithms, Techniques, and Active Vision (October 2006) Proc[J]. SPIE , 2006: 89-101.

[2] Baglivo L, Biasi N, Biral F, et al. Autonomous pallet localization and picking for industrial forklifts: a robust range and look method[J]. Measurement Science and Technology, 2011, 22: 85502.

[3] Rusu R B, Marton Z C, Blodow N, et al. Learning Informative Point Classes for the Acquisition of Object Model Maps[C]. In Proceedings of the 10thInternational Conference on Control, Automation, Robotics and Vision (ICARCV) 2008, 2008:123.

[4] Hinterstoisser S, Lepetit V, Rajkumar N, et al. Going Further with Point Pair Features in Proceedings European Conference on Computer Vision 2016[C]. Netherlands, 2016: 834.

[5] Huttenlocher D, Klanderman G, Rucklidge W. Comparing Images Using the Hausdorff Distance[J]. In IEEE Transactions on Pattern Analysis and Machine Intelligence, 1993,15: 850.

Research on Pallet Detection Technology Based on 3D Point Cloud and Image Edge Features

Wu Denglu1,2Cao Wenxi1,2ZhuYing1,2

(1.SF Technology Co., Ltd. 2. Research Center of Logistics Robot Technology and Application Engineering)

This paper suggests a pallet detection algorithm based on 3D point cloud and image edge features for auto forklifts application with considering its motion constrain and the practical usage situation. It has better detection robust and location accuracy comparing to other method only rely on 3D point cloud, and it can extend itself further.

Point Cloud Match; Pallets Detection; Forklifts Location

吳登祿，男，1983年生，博士研究生，主要研究方向：圖像處理與機(jī)器學(xué)習(xí)。E-mail: wdlcas@gmail.com

曹文希，男，1986年生，碩士研究生，主要研究方向：圖像處理。

朱穎，男，1985年生，碩士研究生，主要研究方向：圖像處理。