自然光線環(huán)境中的空間物體快速識別和定位算法研究

江 勵，熊達明，湯健華，黃 輝

(五邑大學(xué)智能制造學(xué)部，廣東 江門 529099)

0 引言

新冠肺炎疫情發(fā)展至今，不少人工智能防疫應(yīng)用涌現(xiàn)。在醫(yī)療手術(shù)、診治、體溫檢測、配送和消毒殺菌等眾多場景中，機器人能有效代替相關(guān)人員進行作業(yè)，從而減少或降低了很多不必要的風(fēng)險。面對機器人代替人工越來越廣泛的迫切需求，機器人需要更強的適應(yīng)能力應(yīng)對各種更加復(fù)雜的工作環(huán)境。機器人的自主抓取任務(wù)中，基于視覺的定位控制[1-3]已經(jīng)能夠在工業(yè)光源環(huán)境下較好的完成。但是，當(dāng)將其放在日常光線環(huán)境下時，視覺定位精度往往會大幅度降低而導(dǎo)致任務(wù)失敗，使得機器人的應(yīng)用范圍大大縮小。本文針對這一問題，提出一種新的智能抓取算法，能夠有效改善光線變化對抓取精度所帶來的影響。

通常來說，對于空間物體的自主抓取一般需要完成識別、實例分割和定位3個步驟。在目標物的識別與實例分割上目前主要采用的是深度學(xué)習(xí)算法，根據(jù)數(shù)據(jù)的形式可分為圖像的識別與實例分割、點云[4]的識別與實例分割;然后分別利用圖像和點云數(shù)據(jù)進行目標物體的定位。

圖像的識別與實例分割[5]，目前非常成熟，且應(yīng)用廣泛。彭秋辰等[6]提出了采用雙目實例分割與定位的方法，需要將左右目分別做識別和實例分割，再對實例分割的結(jié)果用ICP[7]算法進行視差計算，完成對目標物體的識別、分割和定位，取得了不錯的效果。但該方法仍然受限于環(huán)境光源的影響，同時雙目所產(chǎn)生的大量圖像數(shù)據(jù)需要強大的計算力才能夠?qū)崟r計算出結(jié)果，實驗結(jié)果測距誤差理論值達到2%。Liu等[8]提出了基于單目視覺和圖像編碼的移動平臺室內(nèi)定位，定位方法需要事先對物體貼相應(yīng)的標簽而耗時耗力且定位精度不高。Ruan等[9]提出了平行雙目立體視覺系統(tǒng)，取得了不錯的效果，實驗測試中單位距離最大誤差達到1.695%，廣泛應(yīng)用于移動機器人的定位和地圖構(gòu)建等任務(wù)中?？傮w來看，目前基于視覺圖像的定位方法，還是無法解決光線對定位精度的影響這一瓶頸問題。

點云的識別與實例分割中，Qi等[10-11]提出的處理點云數(shù)據(jù)的深度學(xué)習(xí)模型PointNet，已經(jīng)能夠較好做到點云的分割。PointNet模型是利用深度學(xué)習(xí)模型的方法直接對三維的點云進行分類和分割，這對場景分割來說非常實用。但激光雷達所產(chǎn)生的點云數(shù)據(jù)十分龐大，基于這些數(shù)據(jù)完成物體識別和實例分割需要龐大的計算力，導(dǎo)致該方法實時性較差，應(yīng)用相對較少。

針對以上問題，本文提出了一種基于深度學(xué)習(xí)的視覺和光學(xué)雷達融合定位算法。該方法能夠有效解決環(huán)境光線變化問題，同時大大降低所需計算力，能夠較好地應(yīng)用于機器人的智能抓取任務(wù)中。

1 目標物的識別與分割

1.1 目標物的識別

本文主要是通過在RGB圖中識別并分割出目標物體，利用Mask R-CNN[12-13]框架開展目標識別和對象實例分割。如圖1所示，卷積骨干架構(gòu)用于特征提取，網(wǎng)絡(luò)頭對每個Rol單獨應(yīng)用邊界框識別和掩碼預(yù)測。

圖1 用于實例分割的Mask R-CNN框架

為驗證Mask R-CNN在通用對象實例分割方面的有效性，本文隨機選擇了10個物體不同組合地進行了100多次的識別率測試，結(jié)果如表1所示。

表1 識別率測試

結(jié)果表明Mask R-CNN有較好的識別率，識別與分割效果如圖2所示，可以發(fā)現(xiàn)Mask掩碼能很好地覆蓋識別的物體。

圖2 Mask R-CNN的識別與分割效果

1.2 目標物的實例分割

目標物的實例分割主要分為數(shù)據(jù)采集、掩碼獲取和Mask分割，流程如圖3所示。

圖3 目標物分割流程

本文同時采集同一場景下的深度圖和RGB圖，并且像素坐標是對應(yīng)的。采集的RGB圖經(jīng)過Mask R-CNN算法后會得到3個輸出，分別是目標的類別、包圍框的位置和物體的掩碼。另外，對傳感器得到的深度數(shù)據(jù)進行了必要的濾波處理。

深度圖的分割使用Mask掩碼，由于RGB圖像與深度數(shù)據(jù)對齊存在誤差，所以需要對Mask進行腐蝕處理，以便分割區(qū)域完全落在目標物上，處理效果如圖4所示。

圖4 Mask掩碼腐蝕對目標物深度圖的效果

經(jīng)過傳感器獲取RGB數(shù)據(jù)和深度數(shù)據(jù)與深度學(xué)習(xí)算法后，就完成了對目標物的識別與實例分割。

2 目標物點云的建立

2.1 點云模型的轉(zhuǎn)化

確定物體的空間位置需要相應(yīng)的點云數(shù)據(jù)，點云數(shù)據(jù)可由深度數(shù)據(jù)轉(zhuǎn)化，即圖像坐標系轉(zhuǎn)換為世界坐標系。變換的約束條件是傳感器內(nèi)參，即

(1)

x、y、z為點云坐標系；x′、y′為圖像坐標系；D為深度值。

在世界坐標到圖像的映射過程中，考慮世界坐標點映射到圖像點的過程，表示為

(2)

μ、v分別為圖像坐標系下的任意坐標點；μ0、v0分別為圖像的中心坐標；xw、yw、zw為世界坐標系下的三維坐標點；zc為傳感器坐標的z軸值，即目標到傳感器的距離；R、T分別為外參矩陣的旋轉(zhuǎn)矩陣和平移矩陣。

傳感器坐標系和世界坐標系的坐標原點重合，因此R為單位陣，T為零矢量，深度值z0與世界坐標系中的zw相同。

由以上的變換矩陣公式，可以計算得到圖像點[μv]T到世界坐標點[xwywzw]T的變換式為

(3)

因此，利用此模型就可以將深度圖上的二維點坐標轉(zhuǎn)換成三維空間點。

2.2 建立目標物的空間點云

本文將實例分割完的目標物的深度數(shù)據(jù)，融合RGB信息，利用攝像機模型，即式(3)就可以將其每個二維點坐標轉(zhuǎn)換成基于傳感器坐標系的三維空間點，得到的效果如圖5所示，這樣得到了目標物空間位置的彩色點云數(shù)據(jù)。

圖5 目標物的空間點云顯示

3 目標物體定位

本文先用均值法和中值法綜合計算分割獲得的點云的幾何中心，對目標物體進行較粗的空間定位，根據(jù)誤差的分析對定位算法進行了修正，從而精準定位目標物體。

3.1 目標物粗定位

在均勻分布的點云中，均值法常用來計算重心，然而在不均勻分布的點云或有缺失的點云中，均值法并不能完全勝任求物體的中心。因此，本文通過幾組數(shù)據(jù)分別用均值法和中值法與真實值進行對比，如圖6所示，其中真實值是手動用刻度尺設(shè)定的物體位置。

圖6 中值法和均值法對目標物中心各坐標測距和絕對誤差

通過與真實值對比發(fā)現(xiàn)，在水平面的x軸方向和y軸方向使用均值法能更好地接近真實值。而在垂直的z軸方向中值法更能接近真實值，其中值法值與真實值相差無幾，最大誤差僅3.73 mm。

這主要是獲取的目標物點云不均勻和不完整導(dǎo)致的，也是傳感器單一視角拍攝所不可避免的。尤其在y軸方向越靠近傳感器部分點云越密集，顯然均值法無法近似為物體中心，而中值法卻避免了這個問題。在水平面上的x軸和y軸方向，物體與環(huán)境的交接處有明顯的拖尾現(xiàn)象，遠離傳感器中心軸部分的點云被拉長，此時用中值法無法近似物體中心，而均值法卻可以消除部分誤差。

如圖7a，目標物在傳感器的右下角位置，得到的目標物空間點云如圖7b，可以發(fā)現(xiàn)，目標物點云存在明顯的拖尾現(xiàn)象。這是由傳感器的拍攝角度和深度數(shù)據(jù)的噪聲以及濾波處理所造成的。經(jīng)過多次實驗發(fā)現(xiàn)，越偏離傳感器中心軸拖尾現(xiàn)象越明顯。

圖7 目標物點云的拖尾現(xiàn)象

基于以上原因，粗定位采用綜合算法即z軸方向采用中值法近似物體中心，x軸和y軸方向本文采用均值法近似物體中心。

3.2 綜合修正算法對目標精準定位

雖然x軸和y軸方向用均值法近似物體的中心較為準確，但越偏離傳感器中心誤差也越大，也越無法滿足抓取精度的要求。測試中的最大絕對誤差為10.89 mm，因此，需要對近似值進行修正。

如圖8所示，根據(jù)x軸和y軸測距的真實值與絕對誤差的曲線，可以較為簡單高效地將其擬合成二次曲線。

圖8 固定水平面上各坐標軸均值法測距的絕對誤差

首先，定義x軸的絕對誤差為xer，即

xer=xm-xt

(4)

xm為x軸測距的中值法值；xt為x軸測距的真實值。令二次函數(shù)為

(5)

(6)

其次，為了得到修正值xa，本文將式(4)和式(5)中的xt用xa替代，即

xa→xt

(7)

從而可以計算得到x軸上的修正值表達式為

(8)

同理，y軸上的修正值表達式為

由此，可以計算得到固定水平面上各坐標軸測距修正值。為了直觀比較真實值、原值和修正值，本文用7組實驗數(shù)據(jù)繪制了表2。結(jié)果表明修正值能更好地接近真實值，最大絕對誤差僅3.34 mm，與修正前的最大絕對誤差10.90 mm相比，誤差減少了69.4%，能滿足抓取精度的要求。

表2 修正前后對目標物中心各坐標測距和絕對誤差

4 實驗

本文實驗包含2個：第1個是基于本文算法對目標物定位的精度驗證實驗；第2個是環(huán)境光線對目標物測量精度的影響實驗。

4.1 實驗器材及運行環(huán)境

本文使用的傳感器是Intel生產(chǎn)的Real Sense光學(xué)雷達攝像頭L515，該設(shè)備含有RGB彩色傳感器和固態(tài)光學(xué)雷達深度傳感器，9 m深度誤差為5～14 mm，適用于需要高分辨率和高精度深度數(shù)據(jù)的室內(nèi)應(yīng)用領(lǐng)域,可以同時獲取場景內(nèi)的深度信息及RGB信息。

另外，為驗證精度，使用激光跟蹤儀Leica AT930，如圖9b所示。此款激光跟蹤儀是一款精密、穩(wěn)定的便攜式三維測量設(shè)備。其他實驗器材有可調(diào)光照度光源、照度計等。

圖9 Leica激光跟蹤儀AT930驗證算法精度實驗

實驗程序運行的系統(tǒng)環(huán)境是Ubuntu ROS機器人操作系統(tǒng)，配備Titan X顯卡，使用的執(zhí)行器是Aubo i5機械臂。

4.2 對目標物定位精度的驗證實驗

在驗證精度中，本文使用激光跟蹤儀來進行對比驗證。首先從Mask R-CNN識別并分割出物體點云，然后用修正后的綜合法計算得到物體的中心坐標值，與此同時用激光跟蹤儀Leica AT930記錄L515傳感器與目標物體的相對位置，并換算出物體的坐標值。

如圖9a所示，首先進行激光跟蹤儀坐標系與傳感器坐標系的相對坐標系轉(zhuǎn)換，使測量得到的物體坐標值在同一個坐標系下。然后在對角線上取5個具有代表性的位置放置目標物并分別測量，這5個位置分別離傳感器坐標原點的距離為1 031.83 mm、937.46 mm、913.11 mm、952.23 mm、1 062.12 mm。最后用本文算法得到的值與跟蹤儀測量得到的值用作精度對比，記錄對比如表3所示。

表3 精度對比

由表3可以知道，綜合修正法得到的定位坐標值與激光跟蹤儀得到的測距值基本相吻合，差值波動在±5 mm范圍內(nèi)，z軸方向的波動較大，這是由于在深度上受目標物本身遮擋程度影響。整體上單位距離定位誤差在0.5%以內(nèi)，定位精度較高。

4.3 環(huán)境光線對目標物測量精度的影響實驗

為了驗證環(huán)境光照對目標物測量精度的影響，本文使用可調(diào)不同光照度的光源來測試測量結(jié)果。實驗使用200 W、分20個擋位的LED燈源，通過照度計測得照在物體上的實際光照度。在不同擋位的光照下進行固定位置目標物的定位，如圖10所示。

圖10 可調(diào)光源與照度計測光照度

在不同光照度下依次獲得固定目標物中心各坐標軸的對應(yīng)值。光照度與目標物體坐標值的變化關(guān)系如圖11所示。

圖11 不同光照度下目標物中心各坐標測距及精度對比

由圖11可知，不同光照度對目標物測量的精度幾乎無影響，各軸測距的波動范圍在2 mm內(nèi)。在較弱的光照下，物體也能很好地被識別和精準定位。

5 結(jié)束語

本文在自然光線環(huán)境中使用了光學(xué)雷達深度傳感器與深度學(xué)習(xí)算法相結(jié)合，以及用修正的綜合法計算目標物的空間位置，達到了對目標物的識別、實例分割與三維空間定位的目的。該算法自主識別率高，空間定位精度高，受照明亮度影響小，單位距離定位誤差在0.5%以內(nèi)，增強了機械臂自主定位的實時性和實用性，對機械臂智能抓取的研究具有較為重要的意義。