基于三維點(diǎn)云處理的包裝袋繩檢測

楊國威，劉新月，陳綺帆，王校陽

(天津科技大學(xué)電子信息與自動化學(xué)院，天津 300222)

在現(xiàn)代工業(yè)中，一些原本需要大量人力的工作越來越智能化，在降低人工成本的同時實(shí)現(xiàn)了生產(chǎn)效率的提高；貨物拆包等很多枯燥、繁重的工作也漸漸由工業(yè)機(jī)器人來完成，自動拆包也是自動化行業(yè)的發(fā)展趨勢。自動拆包通常需要測量包裝袋上包裝袋繩的位置并將位置信息提供給機(jī)械手以便于機(jī)械手進(jìn)行操作。為準(zhǔn)確可靠地定位到包裝袋上包裝袋繩的位置，需采用三維傳感器進(jìn)行測量。三維點(diǎn)云信息相比于二維圖像信息更加精準(zhǔn)，可以充分地描述物體的空間幾何信息，能更精準(zhǔn)地定位出包裝袋繩在空間中的位置。

三維點(diǎn)云信息測量的設(shè)備主要有激光雷達(dá)傳感器、RGB 雙目相機(jī)、基于結(jié)構(gòu)光的深度相機(jī)等。激光雷達(dá)傳感器在深度信息的獲取上，具有較高的可靠性和準(zhǔn)確性。徐善軍等[1]利用雷達(dá)激光檢測引線及其引線端點(diǎn)，使機(jī)器人能夠精確抓取引線位置從而完成自動化配網(wǎng)帶電作業(yè)；但激光雷達(dá)成本較高，通常用于自動駕駛等多變的復(fù)雜場景下。RGB 雙目相機(jī)的優(yōu)點(diǎn)是測量精度高、魯棒性強(qiáng)。朱槐雨[2]使用RGB 雙目相機(jī)對番茄進(jìn)行標(biāo)定、立體匹配和RGB 圖像與深度配準(zhǔn)的實(shí)驗(yàn)，實(shí)現(xiàn)了對成熟番茄的定位和自動化采摘；但RGB 雙目相機(jī)對圖像的特征匹配依賴度極高，在光照環(huán)境不好和缺乏紋理的場景下難以準(zhǔn)確測量?；诮Y(jié)構(gòu)光的深度相機(jī)采用主動投影的方法實(shí)現(xiàn)快速魯棒的匹配特征點(diǎn)，不依賴物體本身的顏色和紋理。陳勇忠等[3]針對形狀各異、散亂放置、高度不一致的異構(gòu)件在弱紋理、反光等場景中通過結(jié)構(gòu)光相機(jī)獲取數(shù)據(jù)進(jìn)行三維重建并實(shí)現(xiàn)精準(zhǔn)抓取。通常包裝袋拆包是在工廠內(nèi)部進(jìn)行，不存在復(fù)雜多變的情況，但容易受光照條件的影響，因此基于結(jié)構(gòu)光的深度相機(jī)更適合測量包裝袋點(diǎn)云數(shù)據(jù)。

從工業(yè)三維相機(jī)采集的包裝袋三維點(diǎn)云數(shù)據(jù)來看，包裝袋繩的點(diǎn)云信息嵌入在包裝袋點(diǎn)云里。直接對包裝袋的點(diǎn)云數(shù)據(jù)進(jìn)行目標(biāo)分割，容易導(dǎo)致包裝袋繩的信息被分割掉或者被錯誤地分割為包裝袋的一部分。為解決這一問題，本文設(shè)計了一種先提取點(diǎn)云邊界再分割的包裝袋繩檢測算法。包裝袋繩與包裝袋相比，棱角更加分明，點(diǎn)云數(shù)據(jù)曲率變化較大，通常體現(xiàn)為邊界信息。對采集到的點(diǎn)云數(shù)據(jù)進(jìn)行邊界提取，將提取后的點(diǎn)云進(jìn)行目標(biāo)分割，便能得到完整的包裝袋繩點(diǎn)云。

點(diǎn)云邊界檢測算法通常有兩類。第一類算法利用點(diǎn)云自身的曲率、深度信息等特征判斷采樣點(diǎn)是否為邊界。Woo 等[4]通過八叉樹(octree)查找鄰近點(diǎn)，邊界處的點(diǎn)云法向上有較大的變化，通過計算鄰近點(diǎn)的標(biāo)準(zhǔn)差可反映點(diǎn)云在法向上的變化情況，從而提取出邊界。Xi 等[5]根據(jù)深度信息將三維點(diǎn)云轉(zhuǎn)換為圖像信息，再使用圖像邊界提取中的改進(jìn)拉普拉斯算法判斷邊界。第二類算法是基于夾角閾值的邊界提取算法，該算法將點(diǎn)云投影到微切面，再通過投影點(diǎn)連線的最大夾角判別采樣點(diǎn)是否為邊界特征點(diǎn)。張長勇等[6]首先使用KD-Tree(K-dimensional tree)對點(diǎn)云數(shù)據(jù)進(jìn)行拓?fù)潢P(guān)系構(gòu)建，然后使用K 領(lǐng)域的向量疊加邊界提取算法進(jìn)行粗提取，最后對候選邊界點(diǎn)使用基于微切面的近鄰最大夾角法進(jìn)行精提取。

點(diǎn)云分割根據(jù)目標(biāo)點(diǎn)云的幾何、空間等特征將點(diǎn)云數(shù)據(jù)進(jìn)行劃分，使得劃分后的相同區(qū)域具有一致的特征，屬于同一個目標(biāo)。常用的點(diǎn)云分割算法有區(qū)域生長算法[7]、隨機(jī)采樣一致性分割算法[8]和歐氏距離分割算法等。秦碩[9]采用區(qū)域生長算法實(shí)現(xiàn)了箱體表面點(diǎn)云的分割聚類。劉闖等[10]以法向量夾角為約束條件對點(diǎn)云進(jìn)行分類，再結(jié)合隨機(jī)采樣一致性分割算法完成點(diǎn)云的分割。韓曉龍等[11]采用歐氏距離分割算法完成散貨料堆點(diǎn)云的地面分割，彌補(bǔ)隨機(jī)采樣一致性分割算法分割不徹底的問題。為實(shí)現(xiàn)精準(zhǔn)拆包，基于歐氏距離分割算法，通過距離閾值將邊界提取后的點(diǎn)云進(jìn)行分割。

本文采用基于夾角閾值的點(diǎn)云邊界提取算法，先對點(diǎn)云數(shù)據(jù)進(jìn)行邊界提取，再利用歐氏距離分割算法分割點(diǎn)云數(shù)據(jù)，最終可以得到分割后的包裝袋繩點(diǎn)云數(shù)據(jù)。

1 包裝袋繩三維點(diǎn)云檢測算法原理

1.1 包裝袋繩點(diǎn)云數(shù)據(jù)分析

本文的包裝袋點(diǎn)云數(shù)據(jù)是由基于結(jié)構(gòu)光的三維相機(jī)獲取，工業(yè)相機(jī)拍攝的包裝袋點(diǎn)云如圖1 所示。從圖1(a)可以看出，包裝袋繩點(diǎn)云嵌入在包裝袋點(diǎn)云里，調(diào)整角度后能夠看到空間中包裝袋繩的形狀；且圖1(b)顯示獲取的點(diǎn)云存在噪聲影響，難以直接從點(diǎn)云中區(qū)分出包裝袋繩的點(diǎn)云信息。此外，包裝袋繩與包裝袋相比，棱角更加分明，點(diǎn)云數(shù)據(jù)曲率變化較大，通常體現(xiàn)為邊界信息；因此，先選擇基于夾角閾值的點(diǎn)云邊界提取算法提取出包裝袋繩的邊界，再采用歐氏距離分割算法將包裝袋繩點(diǎn)云分割出來。

圖1 工業(yè)相機(jī)拍攝的包裝袋點(diǎn)云Fig.1 Packaging bag point cloud captured by industrial camera

1.2 包裝袋繩三維點(diǎn)云檢測流程

本文設(shè)計的先提取點(diǎn)云邊界再分割的點(diǎn)云處理算法流程如圖2 所示。

圖2 點(diǎn)云處理算法流程Fig.2 Flow chart of point cloud processing algorithm

為了從包裝袋的三維點(diǎn)云中提取出包裝袋繩的位置，需要進(jìn)行如下處理：首先，對點(diǎn)云數(shù)據(jù)進(jìn)行預(yù)處理[12]，下采樣減少點(diǎn)云數(shù)量的同時不改變目標(biāo)輪廓；然后，通過基于夾角閾值的邊界提取算法提取出包裝袋邊緣與包裝袋繩的輪廓；最后，通過歐氏距離分割算法將包裝袋繩點(diǎn)云從包裝袋點(diǎn)云中分割出來。

2 基于夾角閾值的點(diǎn)云邊界提取

為了保證包裝袋三維點(diǎn)云邊界提取的精度和效率，在邊界提取前先對原始的點(diǎn)云數(shù)據(jù)進(jìn)行濾波和下采樣；這樣可以有效消除噪聲點(diǎn)，在提高邊界提取效率的同時可以減少噪聲點(diǎn)對邊界特征的影響。

包裝袋繩在包裝袋三維點(diǎn)云中體現(xiàn)為點(diǎn)云邊界，因此可利用基于夾角閾值的點(diǎn)云邊界提取算法進(jìn)行提取。首先確定微切面，計算向量之間的夾角，然后對邊界特征點(diǎn)進(jìn)行提取。

2.1 求取微切面

設(shè)P 為采樣點(diǎn)，通過P 點(diǎn)搜索K 近鄰點(diǎn)；此K鄰域表示為 Mj( j =0,1,2, …, k-1)，代表一個參考數(shù)據(jù)。采用最小二乘法擬合出微切面，假設(shè)為F ( x, y , z ) = a1x + a2y + a3z + a4=0，矩陣形式為

ATA =0進(jìn)行特征值求取。矩陣A 的特征值為λi(i = 1,2,… , n )，其中λi為 ATA 的正特征值；n 為奇異值個數(shù)。求出 ATA 的最小特征值以及最小特征值所對應(yīng)的特征向量，此特征向量就是Aa=0的最小二乘解。求得微切面的法向量 n= ( a1, a2, a3)。

2.2 提取邊界特征點(diǎn)

將采樣點(diǎn) pi及其K 鄰域 Mj( j =0,1,2, …, k -1)投影到其對應(yīng)的微切面，可以獲得采樣點(diǎn)的投影和K 鄰域點(diǎn)投影的集合( j = 0,1,2, …, k - 1)。假設(shè)空間散亂點(diǎn)集各個坐標(biāo)為 Ni( xi, yi, zi)( i = 0,1,…, n )，則其在微切面的投影點(diǎn)坐標(biāo)為( xi′ , yi′ , zi′)，于是有

在通過式(4)計算出相鄰向量的夾角后，通過排序算法求出相鄰向量夾角的最大值。夾角的最大值大于夾角閾值時，判斷當(dāng)前點(diǎn)為邊界特征點(diǎn)，否則為內(nèi)部點(diǎn)。通過嘗試不同的閾值，比較提取結(jié)果與實(shí)際邊界的一致性，將夾角閾值設(shè)定為π/4。由于該實(shí)驗(yàn)中提取的是包裝袋繩的點(diǎn)云數(shù)據(jù)，當(dāng)包裝袋繩上相鄰點(diǎn)之間的法向量夾角大于π/4 時說明點(diǎn)云之間的夾角更加尖銳，符合提取包裝袋繩邊界的要求。

點(diǎn)云邊界提取算法流程圖如圖3 所示。

圖3 點(diǎn)云邊界提取算法流程圖Fig.3 Flow chart of point cloud boundary extraction algorithm

3 基于歐氏距離分割算法的點(diǎn)云分割

包裝袋表面具有平滑性，但受傳感器視場范圍影響，獲取的包裝袋邊緣也會存在點(diǎn)云邊界；所以利用基于夾角閾值的邊界提取算法提取的點(diǎn)云中，包含包裝袋繩點(diǎn)云和包裝袋邊緣部分點(diǎn)云。包裝袋繩上的點(diǎn)云之間的距離相對較近，而包裝袋邊緣部分點(diǎn)云之間的距離較遠(yuǎn)；因此，選擇距離作為分割的標(biāo)準(zhǔn)，采用歐氏距離分割算法將包裝袋繩點(diǎn)云從包裝袋點(diǎn)云中分割出來。

基于歐氏距離的分割本質(zhì)上是區(qū)分鄰里關(guān)系的遠(yuǎn)近?；跉W氏距離提取集群的方法，僅僅依據(jù)距離，將小于距離閾值的點(diǎn)云作為一個點(diǎn)云集Q，如果，則兩點(diǎn)之間的歐氏距離d 表示為

基于歐氏距離分割算法的具體算法步驟如下：

(1)設(shè)聚類結(jié)果存放在集合Z 中，待檢測的點(diǎn)云則存放在集合A 中。

(2)隨機(jī)選擇點(diǎn)云中的某一點(diǎn)P 加入集合A。

(3)用KD-Tree 搜索距離P 點(diǎn)最近的k 個點(diǎn)，并計算k 個點(diǎn)到P 點(diǎn)的歐氏距離。

(4)設(shè)置距離閾值r，將距離小于r 的點(diǎn)都?xì)w入A。

(5)選擇集合A 中未被處理過的一點(diǎn)作為新的點(diǎn)P，重復(fù)步驟(3)至步驟(5)。

(6)若集合A 中所有的點(diǎn)都被處理完畢，并且不再有新的點(diǎn)加入時，那么A 中所有點(diǎn)就屬于同一類，將其加入集合Z 中，并重置A。

(7)當(dāng)遍歷完整個點(diǎn)云中所有的點(diǎn)時，集合Z 就是歐氏距離分割的最終結(jié)果。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)使用設(shè)備與系統(tǒng)

本實(shí)驗(yàn)收集數(shù)據(jù)的設(shè)備為D132 型高精度工業(yè)三維相機(jī)(西安知微傳感技術(shù)有限公司)，此相機(jī)為基于結(jié)構(gòu)光的深度相機(jī)。相機(jī)參數(shù)為：深度精度0.20～0.60 mm，工作距離700～2 000 mm，分辨率1 280 像素×1 024 像素，軟件開發(fā)環(huán)境Windows。該相機(jī)的應(yīng)用場景有包裹測量、無序分揀、拆垛碼垛、焊接、定位引導(dǎo)等。將相機(jī)獲取的數(shù)據(jù)以PCL(一個大型跨平臺開源C++編程庫)[14]為工具對點(diǎn)云進(jìn)行處理。

4.2 數(shù)據(jù)預(yù)處理

體素濾波前后的點(diǎn)云數(shù)據(jù)如圖4 所示。

圖4 體素濾波前后點(diǎn)云數(shù)據(jù)Fig.4 Point cloud data before and after voxel filtering

體素濾波在達(dá)到下采樣的同時不破壞點(diǎn)云本身幾何結(jié)構(gòu)，可以在一定程度上去除噪聲點(diǎn)和離群點(diǎn)。將圖4 中濾波前后圖片進(jìn)行對比可知：體素濾波能有效過濾包裝袋附近的噪聲點(diǎn)，并在不改變包裝袋基本輪廓的同時減少點(diǎn)云數(shù)量；原始的包裝袋的點(diǎn)云數(shù)量為1 310 720，體素濾波后的點(diǎn)云數(shù)量為231 605。

4.3 基于夾角閾值的點(diǎn)云邊界提取

邊界提取前后點(diǎn)云數(shù)據(jù)如圖5 所示。圖5(a)為濾波后的包裝袋點(diǎn)云數(shù)據(jù)，將濾波后的點(diǎn)云作為輸入，通過基于夾角閾值的邊界提取算法對點(diǎn)云進(jìn)行邊界提取，提取出的實(shí)驗(yàn)結(jié)果如圖5(b)所示。實(shí)驗(yàn)結(jié)果顯示，邊界提取算法不僅可以提取包裝袋繩的邊界信息，還可以提取出包裝袋的外輪廓和包裝袋周圍的噪聲點(diǎn)。這是因?yàn)榘b袋的外輪廓和噪聲點(diǎn)在點(diǎn)云數(shù)據(jù)中也屬于邊界的部分，符合邊界提取算法的要求。圖5(b)顯示出包裝袋繩點(diǎn)云與包裝袋邊緣的距離關(guān)系，包裝袋繩的點(diǎn)云相對比較密集，點(diǎn)與點(diǎn)之間的距離較近，而包裝袋邊緣點(diǎn)云距離較遠(yuǎn)，基于歐氏距離的分割算法可以通過設(shè)置距離閾值對點(diǎn)云進(jìn)行分割，最終定位出包裝袋繩的位置。

圖5 邊界提取前后點(diǎn)云數(shù)據(jù)Fig.5 Point cloud data before and after boundary extraction

4.4 基于歐氏距離的目標(biāo)分割

點(diǎn)云分割前后數(shù)據(jù)如圖6 所示。圖6(a)為邊界提取后的點(diǎn)云數(shù)據(jù)，圖6(b)為對邊界提取后的數(shù)據(jù)進(jìn)行歐氏距離分割的實(shí)驗(yàn)結(jié)果，圖中紅色線條表示包裝袋繩的點(diǎn)云，綠色線條表示包裝袋外輪廓的邊緣點(diǎn)云。包裝袋繩的點(diǎn)云中點(diǎn)與點(diǎn)之間的距離較近，而包裝袋的邊緣點(diǎn)云距離較遠(yuǎn)，滿足基于歐氏距離的點(diǎn)云分割算法中通過距離進(jìn)行分割的要求。

圖6 點(diǎn)云分割前后數(shù)據(jù)Fig.6 Data before and after point cloud segmentation

對圖6 中點(diǎn)云分割后的包裝袋繩點(diǎn)云數(shù)據(jù)進(jìn)行近鄰點(diǎn)搜索，包裝袋繩點(diǎn)云處理與觀察視圖如圖7 所示，其中圖7(a)為包裝袋的RGB 實(shí)物圖。

圖7 包裝袋繩點(diǎn)云處理與觀察視圖Fig.7 Bag rope point cloud processing and observation view

只依靠邊界提取算法提取到的包裝袋繩邊界不足以定位包裝袋繩在空間中的位置，需要對包裝袋繩的點(diǎn)云信息在原始點(diǎn)云中進(jìn)行近鄰點(diǎn)搜索，搜索到的所有點(diǎn)云共同組成包裝袋繩的區(qū)域位置。圖7(c)中紅色線條表示提取出的包裝袋繩邊界，綠色點(diǎn)云范圍表示以包裝袋繩為邊界提取到的近鄰點(diǎn)。上述實(shí)驗(yàn)中通過點(diǎn)云分割與近鄰點(diǎn)搜索定位出包裝袋繩的具體位置，但無法看出包裝袋繩的形狀和在空間中的位置。圖7(d)為調(diào)整角度后的點(diǎn)云觀察視圖，可以清晰地看出包裝袋繩的凸起和形狀，這一結(jié)果證實(shí)了該算法在包裝袋繩檢測上的準(zhǔn)確性與有效性。

為了驗(yàn)證該算法對包裝袋繩檢測與定位的適用性，分別對不同位置、不同形狀的包裝袋繩點(diǎn)云數(shù)據(jù)進(jìn)行濾波、邊界提取、點(diǎn)云分割、近鄰點(diǎn)搜索等點(diǎn)云處理，實(shí)驗(yàn)結(jié)果如圖8 所示。該實(shí)驗(yàn)結(jié)果證實(shí)了本文所提出的點(diǎn)云檢測算法的有效性，此算法可以準(zhǔn)確定位出包裝袋繩在包裝袋中的位置。

圖8 不同位置、不同形狀的包裝袋繩點(diǎn)云數(shù)據(jù)Fig.8 Point cloud data of different positions and shapes of packaging bag ropes

本文提到的機(jī)械手臂拆包是機(jī)械手用刀割斷包裝袋繩，切開包裝袋表面，需要通過提取出的包裝袋繩點(diǎn)云計算出包裝袋繩的中心位置坐標(biāo)，并通過近鄰點(diǎn)搜索得到包裝袋繩的范圍。本文算法檢測到的包裝袋繩中心位置坐標(biāo)和包裝袋繩范圍基本可以滿足拆包需求。

為定量分析本文提出算法的檢測精度，在實(shí)驗(yàn)室內(nèi)從不同位置對具有不同形態(tài)包裝袋繩的包裝袋進(jìn)行測量，對使用算法分割后的包裝袋繩點(diǎn)云采用重心法計算出其中心坐標(biāo)，再將計算值與人工測量值進(jìn)行對比，結(jié)果見表1。人工測量的包裝袋繩中心位置是通過精度為1 mm 的卷尺多次測量并求平均值計算得到的。測得的最大誤差在15 mm 以內(nèi)，能夠滿足工業(yè)機(jī)械手臂拆包的需求，該結(jié)果表明本文提出的檢測算法計算出的包裝袋繩中心位置精度能應(yīng)用到現(xiàn)場拆包中。

表1 實(shí)驗(yàn)室包裝袋繩點(diǎn)云中心位置坐標(biāo)Tab.1 Point cloud center location coordinates of bag ropes in the lab

為了驗(yàn)證該算法的現(xiàn)場實(shí)用性，對現(xiàn)場采集到的 10 個不同位置和不同形狀的包裝袋點(diǎn)云進(jìn)行處理得到包裝袋繩點(diǎn)云，計算出包裝袋繩點(diǎn)云數(shù)據(jù)對應(yīng)的中心位置坐標(biāo)，同時通過點(diǎn)云處理實(shí)驗(yàn)得出算法運(yùn)行時間，結(jié)果見表2。包裝袋上包裝袋繩定位所需平均時間約為1.255 s。由于工業(yè)拆包中的包裝袋尺寸和容量相對較大，整個拆包過程會持續(xù)1～2 min，所以包裝袋繩定位的算法運(yùn)行時間能夠滿足工業(yè)拆包現(xiàn)場應(yīng)用的需求，實(shí)驗(yàn)結(jié)果為現(xiàn)場機(jī)械手臂準(zhǔn)確拆解包裝袋提供了定位數(shù)據(jù)。

表2 包裝袋繩點(diǎn)云中心位置坐標(biāo)與算法運(yùn)行時間Tab.2 Point cloud center position coordinates of bag ropes and algorithm running times

5 結(jié) 語

本文針對準(zhǔn)確定位包裝袋上包裝袋繩位置的問題，設(shè)計了一種基于三維點(diǎn)云處理的包裝袋繩檢測算法。首先，通過體素濾波消除點(diǎn)云噪聲并下采樣，提高計算效率；然后，采用基于夾角閾值的邊界提取算法提取出包裝袋繩點(diǎn)云；最終，采用基于歐氏距離的點(diǎn)云分割算法將邊界提取后的邊界點(diǎn)云分割，分割出包裝袋繩的點(diǎn)云信息。采用重心法計算出包裝袋繩點(diǎn)云的中心位置坐標(biāo)，實(shí)驗(yàn)結(jié)果顯示檢測誤差小于15 mm，滿足機(jī)械手臂拆包要求。為了驗(yàn)證本文所提出的檢測算法的廣泛應(yīng)用性，又對不同位置、不同形狀的包裝袋點(diǎn)云進(jìn)行檢測實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果驗(yàn)證了所提方法的有效性和可靠性。本文算法在自動化工業(yè)領(lǐng)域中的機(jī)械手臂自動拆包系統(tǒng)中具有較好的應(yīng)用前景。