基于雙目視覺的散亂工件識別定位技術(shù)研究

凌 龍，曲 圓，王 靜，溫 雪，張汝波

(1.大連民族大學 機電工程學院，遼寧 大連 116605；2.珠海科技學院 機械工程學院，廣東 珠海 519041)

在“十四五”規(guī)劃的新起點上，正值中國制造業(yè)飛速發(fā)展階段，工業(yè)自動化水平已初見成效，為實現(xiàn)2035年新型工業(yè)化的遠景目標，對生產(chǎn)工廠和企業(yè)提出了新的要求。伴隨著工業(yè)產(chǎn)品的數(shù)量和種類的與日俱增，企業(yè)在相應的生產(chǎn)鏈上出現(xiàn)大量散亂、堆積的工件，為保證其在出廠能完美分裝，并保持良好的產(chǎn)品質(zhì)量，提高企業(yè)生產(chǎn)效率，促進自動化水平進一步發(fā)展[1]，散亂工件識別定位技術(shù)已成為工業(yè)生產(chǎn)過程中的重要研究內(nèi)容。目前，在工業(yè)生產(chǎn)中，對散亂工件分裝通常還采用傳統(tǒng)的人工分裝方法，效率低、失誤率高、勞動強度大[2]，且成本較高，而且易受各種客觀因素的影響，導致散亂工件人為操作不易，不符合大規(guī)模工業(yè)生產(chǎn)的要求。

隨著人工智能和機器視覺技術(shù)的不斷發(fā)展，通過視覺的識別定位方法已經(jīng)逐漸取代傳統(tǒng)的人工方法，并在無人駕駛、機器人導航、缺陷檢測等領(lǐng)域開始實踐應用[3]。機器視覺識別定位技術(shù)是一種在工業(yè)生產(chǎn)中以非接觸方式實施的自動化技術(shù)，其中雙目視覺系統(tǒng)是通過模仿人類視覺原理所搭建的視覺系統(tǒng)，利用公共點的深度信息完成三維重建，為識別定位提供條件。具有安全可靠、檢測精度高、定位精準、可長時間工作等優(yōu)點，是實現(xiàn)工業(yè)自動化和智能化的有效途徑，在眾多行業(yè)的工廠中應用廣泛[4]。

本文以雙目視覺系統(tǒng)對散亂工件識別定位為論述中心，首先闡述雙目視覺識別定位技術(shù)的國內(nèi)外研究現(xiàn)狀；然后將散亂工件識別定位技術(shù)歸納為采用邊緣特征與圖形特征進行目標定位、ICP配準模型點云目標定位及基于機器學習的三種目標定位；最后對基于雙目視覺的散亂工件識別定位技術(shù)進行總結(jié)，分析當前此領(lǐng)域存在的問題和未來的發(fā)展趨勢。

1 雙目視覺識別定位系統(tǒng)

1.1 系統(tǒng)組成

雙目視覺識別定位系統(tǒng)由硬件和軟件兩部分組成，硬件部分主要通過圖像采集模塊對工業(yè)生產(chǎn)鏈上的目標圖像進行拍攝采集，再利用軟件部分對采集的圖像進行處理和分析，去除圖像中的無關(guān)信息，提取相關(guān)信息，并根據(jù)相應信息對散亂工件進行識別定位。雙目視覺系統(tǒng)的主要組成如圖1。

圖1 雙目視覺系統(tǒng)組成

1.1.1 硬件系統(tǒng)選型及作用

圖像采集裝置主要包括上位機、圖像采集卡、工業(yè)CCD相機、工業(yè)鏡頭及光源等。工業(yè)CCD相機主要通過成像傳感器將產(chǎn)生的光學圖像轉(zhuǎn)換成模擬信號，上位機負責對其進行相應處理，相機的成像質(zhì)量決定了上位機進行圖像處理的效果能否達到預期，因此相機的選型是之后工作的重要基礎。圖像采集卡的作用是將采集到的圖像數(shù)據(jù)傳送到上位機，上位機對其進行采樣，并轉(zhuǎn)化為數(shù)字信號。工業(yè)鏡頭在選型時應考慮采集距離、焦距等影響，其中焦距作為鏡頭最重要的參數(shù)之一，在選型過程中需著重計算。光源是視覺系統(tǒng)進行圖像采集時的重要輔助裝置，主要有環(huán)形光源、條形光源等多種類型。選擇光源時應充分考慮光源的均勻性、對比度、照射角度等因素[5]，這些因素將影響采集圖像的質(zhì)量。

1.1.2 雙目視覺系統(tǒng)成像原理

雙目視覺模型是以人眼視覺模型為基礎，通過水平放置相距一定距離的兩臺相機分別獲取同一目標工件圖像，基于視差原理計算兩幅圖像對應點之間的位置偏差，以還原目標工件原始三維位置的深度信息。雙目視覺系統(tǒng)成像原理如圖2。

圖2 雙目視覺系統(tǒng)原理示意圖

系統(tǒng)由左右(L,R)兩個相機組成，OL、OR分別為其坐標原點，二者之間距離稱為基距。CL、CR為左右相機的圖像坐標系，焦距表示為fL與fR，若兩相機型號相同，即焦距相等。當目標工件在雙目視覺系統(tǒng)中成像時，目標工件中的任一點A(X,Y,Z)，在左右相機的圖像坐標分別為aL(uL,vL)和aR(uR,vR)。定義視差值為空間一點的兩幅圖像位置差，即d=uR-uL。根據(jù)式(1)和式(2)，當左右相機處于同一平面時，vL=vR。通過尋找空間上某點在左右相機的圖像面上的對應點，根據(jù)相機標定獲得相機的內(nèi)、外參數(shù)，可以確定點A的三維坐標，為后續(xù)識別定位提供條件。

(1)

(2)

1.2 基于雙目視覺的散亂工件識別定位方法

目前，基于雙目視覺的散亂工件識別定位方法主要通過圖像處理得到特征信息，再進行模板匹配，模板匹配的任務是針對某一特定目標物體的形狀或輪廓，對目標工件進行識別定位。在三維空間中進行目標識別定位是現(xiàn)階段三維應用的重點研究方向，并已有大量工作開始研究空間物體的定位。獲取目標工件的三維位置信息采用的方法主要有以下三種。

1.2.1 基于邊緣特征與圖形特征的目標識別定位

基于邊緣特征與圖形特征的目標識別定位方法主要是利用模板圖像的描述符來描述模板，在匹配過程中，會在待匹配圖像中搜索與其相似的描述符，通過比較兩個描述符的相似程度決定是否匹配。因此，當目標物體發(fā)生平移、旋轉(zhuǎn)、尺度變化或傾斜等情況，仍可以有效地識別，具有一定的魯棒性。郭宏達[6]通過對基于雙目視覺系統(tǒng)的堆疊零件識別定位問題進行研究，采用輪廓特征匹配方法進行模板匹配，該算法精確實現(xiàn)了對散亂工件的識別定位，并使消耗時間減少。郝明[7]研究了機器視覺在雜亂工件分揀中的應用，利用豪斯多夫距離算法對模板圖像和待匹配圖像進行匹配，成功識別雜亂工件的目標位置。曾超[8]研究了基于機器視覺的機器人拾取散亂工件技術(shù)，通過區(qū)域生長法對圖像進行分割，并對工件表面輪廓進行重建，最后對輪廓點云與CAD模型點云進行匹配，獲取了工件的最終位姿信息，定位成功率較高。劉曉陽[9]研究了基于激光點云的散亂工件識別定位技術(shù)，通過自主研發(fā)的擺動式線激光掃描儀獲取散亂工件場景點云，并通過點云全局特征和局部特征相似度加權(quán)的匹配方法完成對目標工件位姿確定。Song K T等[10]使用RGB-D深度相機基于CAD模型姿勢估計解決隨機箱體抓取問題，首先生成目標對象點云數(shù)據(jù)庫，再通過投票法識別出不同物體的6-DOF姿態(tài)，識別率為92.39%。佐立營[11]提出一種基于Kinect的散亂零件位姿估計方法，采用Kinect傳感器完成工件三維場景信息的獲取，基于全局閾值和平面特征將目標從背景中分離，分割出目標點云，最后使用RANSAC細匹配確定工件空間位姿。Chen L T等[12]設計了基于雙目視覺的機器人識別定位抓取系統(tǒng)，采用MLP分類器的視覺算法實現(xiàn)堆疊工件的識別，再通過可變形模板匹配算法將堆疊工件從背景中分離，最后經(jīng)過立體匹配、深度計算完成矩形和圓柱形工件的三維位姿提取，具有良好的分類效果和較高的識別定位精度。蔣萌[13]利用改進的模板匹配方法實現(xiàn)目標識別，再進行三維重建，以最小化重投影誤差為目標函數(shù)，用迭代算法求解目標物體的位姿，最后通過機器人抓取實驗進行驗證。江濤[14]提出了用于識別定位分散的自塞鉚釘?shù)碾p攝像頭方法，先通過多腐蝕和膨脹的圖像處理，獲得鉚釘?shù)妮喞畔?，并使用模板圖像多次減法的方式進行重建，最終成功定位抓取。張海波[15]在基于雙目視覺的工件識別定位與分揀系統(tǒng)研究中，采用提取特征點的匹配算法完成對待抓取工件的識別定位與分揀，實現(xiàn)了螺母零件的分揀工作，且在被遮擋的情形下，工件識別的準確性仍有保證，具有一定的魯棒性。

1.2.2 基于ICP配準模型點云的目標識別定位

迭代最近點(Iterative Closest Point，ICP)算法是一種在獲得目標點云與模型點云后，通過迭代計算，得到目標點云與模型點云剛體變換矩陣的算法。常用于點云配準以及初始姿態(tài)輸入的優(yōu)化，以獲取高精度的位姿信息[16]。假設兩幅點云已經(jīng)完成了粗略配準，匹配點之間的距離在一定閾值內(nèi)，則可以在場景目標中尋找距離模型庫中最近的點，作為匹配的點對[17]。基本步驟如下：

(1)在場景目標中尋找模型庫中距離相近的匹配點，并設定好距離的上限，可降低誤匹配率；

(2)利用估計模型庫和目標場景之間的旋轉(zhuǎn)平移矩陣；

(3)將模型庫中的點通過旋轉(zhuǎn)平移到新的位置，若旋轉(zhuǎn)平移矩陣的變化沒有達到設定值則繼續(xù)執(zhí)行第一步，若迭代次數(shù)達到設定值或旋轉(zhuǎn)平移矩陣變化達到設定值則退出迭代。

譚歡[18]通過對基于雙目視覺的散亂工件分揀技術(shù)進行研究，提出了一種三維點云分割方法，使目標點集與模版點集進行配準，篩選出最優(yōu)匹配結(jié)果，使定位精度得到提高?？驴朴耓19]研究了基于雙目視覺的散亂堆放工件拾取系統(tǒng)，使用了點云模板匹配方法對工件進行識別定位，通過內(nèi)部形狀描述子(Intrinsic Shape Signatures，ISS)提取關(guān)鍵點，采用方向直方圖特征(Signature of Histogram of Orientation，SHOT)描述符對關(guān)鍵點進行描述，得到匹配點，最后用ICP算法完成點云精確估計。崔旭東等[20]對基于3D視覺的散亂工件抓取進行研究，先獲取了三維點云數(shù)據(jù)并分割，通過邊緣法分割后的點云和模型點云的主成分分析(Principal Component Analysis，PCA)、姿態(tài)變換與ICP匹配，實現(xiàn)了對散亂工件的識別定位，有較好的速度與準確度。王德明等[21]提出了實例分割網(wǎng)絡和迭代優(yōu)化算法對散亂堆疊工件識別定位，在獲取的目標點云上，通過改進4點一致集算法(4-Points Congruent Set,4PCS)和ICP算法進行姿勢估計，并將細分點云與目標模板匹配，從而得到最終的位姿信息，定位誤差1 mm，偏轉(zhuǎn)角1°。王沖[22]通過Kinect V2傳感器對散亂工件識別定位進行研究，利用Kinect V2傳感器采集目標場景的RGB圖像和深度圖像，精確獲得散亂工件的點云數(shù)據(jù)，采用非極大值抑制和滯后閾值方法得到最有輪廓，最后通過對經(jīng)典ICP算法的改進，降低了點云配準的誤差，實現(xiàn)了對散亂工件的快速識別定位。田青華[23]通過點云處理完成了對散亂工件識別定位技術(shù)研究，先提出改進歐式聚類的工件分割方法，得到點云數(shù)據(jù)并進行關(guān)鍵點描述，使用ICP算法精確配準，得到散亂工件的空間位姿信息。

1.2.3 基于機器學習的目標識別定位

隨著機器學習的發(fā)展與成熟，其在工件分揀識別定位領(lǐng)域的研究不斷加強。徐慧等[24]提出了一種語義分割和點云注冊相融合的方法對散亂工件識別定位，先創(chuàng)建各種工件場景并標記RGB圖像數(shù)據(jù)集，通過完全卷積網(wǎng)絡(Fully Convolutional Networks，F(xiàn)CN)進行訓練，推斷輸入圖像的語義細分結(jié)果，通過整合深度信息估計工件的實時位姿，定位誤差小于10 mm，角度偏轉(zhuǎn)2°。周偉峰等[25]提出利用支持向量機(SVM)在組合矩中實現(xiàn)工件識別的應用研究，利用SVM對工件的各種矩特征進行分類，從而對工件識別定位，識別率達到94.1%。彭澤林[26]對堆疊目標的識別與定位抓取系統(tǒng)進行研究，利用改進的Hough變換擬合算法完成對目標物體的邊緣擬合，利用SVM對目標物體進行識別分類，通過三維重建得到目標空間位姿。Kneip J等[27]開發(fā)了基于立體相機系統(tǒng)，使用GPU快速匹配相機圖像產(chǎn)生的點云作物邊緣檢測算法，使用高斯混合模型的“期望-最大化算法”獲得作物和地面的分割，通過線性回歸處理產(chǎn)生潛在作物的邊緣位置，以得到整體的線性邊緣模型。王正波等[28]為解決散亂工件識別定位問題，利用機器視覺技術(shù)，通過改進快速穩(wěn)健特性(Speeded Up Robust Features，SURF)+視覺字袋(Visual Word Bag,BOW)+SVM進行識別定位，使用深度傳感器Kinect對散亂工件定位，定位誤差小于5 mm。Kim W S等[29]設計了基于機器視覺的高度測量系統(tǒng)，通過立體聲匹配，得到深度地圖，用于確定感興趣區(qū)域的邊緣分割，重疊的圖像仍能檢測出目標區(qū)域。Lin C M等[30]提出基于深度學習的視覺對象識別與隨機對象拾取系統(tǒng)，結(jié)合CNN和完全連接的條件隨機場層實現(xiàn)圖像的語義分割功能，通過模型姿勢估計方法得到目標3D姿態(tài)，可在雜亂無章的環(huán)境中穩(wěn)定準確實現(xiàn)識別分類，三個軸的平均定位誤差和旋轉(zhuǎn)誤差都小于0.52 cm和3.95°。李榮華等[31]提出基于重要區(qū)域目標識別的雙目視覺分揀系統(tǒng)，對拍攝的工件照片使用深度學習算法提取目標工件的重要區(qū)域，從而計算出目標工件的三維坐標，實驗結(jié)果表明對工件的識別定位精度高、穩(wěn)健性強。Periyasamy A S等[32]提出了一種使用語義分割和姿勢回歸網(wǎng)絡方法，在雜亂無章場景下進行姿勢估計，通過快速數(shù)據(jù)采集方法和數(shù)據(jù)合成，并結(jié)合語義分割工作，在雜亂無章環(huán)境中分離出單個對象，提取相應的目標姿勢。不同方法對散亂工件識別定位的評價與梳理見表1。

表1 不同方法對散亂工件識別定位的評價與梳理

1.3 應用實例

近年來，人工智能迅速發(fā)展，已在目標識別、缺陷檢測、無人駕駛等方面都取得了較大突破。雙目視覺系統(tǒng)在工業(yè)生產(chǎn)中得到了廣泛應用。

日本Fanuc公司推出了基于iRVision 3DL視覺傳感器的機器人拾取系統(tǒng)，該系統(tǒng)采用自主研制的3D視覺傳感器對場景信息進行采集與分析，實現(xiàn)了圓柱體散亂工件的定位拾取[33]。埃夫特公司為提升奇瑞汽車的生產(chǎn)效率，節(jié)省人力成本，開發(fā)了一臺搭載3D視覺相機和Vision Pro 3D軟件的搬運機器人，該系統(tǒng)通過采集工件的3D信息，實現(xiàn)了對擺放位置不確定、存在小于20°傾斜角的缸蓋進行自動抓取[34]。丹麥Scape Technologies公司的SCAPE Bin-Picker Cell系統(tǒng)采用結(jié)構(gòu)光視覺完成三維場景信息的采集，并將視覺系統(tǒng)與機器人集成于一體，實現(xiàn)了隨機放置的管狀工件位姿測量[35]。上海沸谷自動化科技有限公司研發(fā)了一套FG-IR2003D機器視覺識別定位系統(tǒng)，采用激光與結(jié)構(gòu)光相結(jié)合的方法來獲取散亂工件的點云數(shù)據(jù)，其定位精度可達到0.2 mm。瑞士ABB公司研發(fā)的機器人智能3D系統(tǒng)True View[36]，能對工件的樣式與位置的變化進行檢測，同時可以精確定位料架上的工件，實現(xiàn)了全過程的自動化生產(chǎn)。德國ISRA Vision公司利用兩臺相機及激光裝置組成3D視覺系統(tǒng)，用以分揀零件，可在2 s內(nèi)獲取零件的3D信息，后通過對視覺系統(tǒng)不斷更新，可以對不同類型的零件進行識別抓取。2016年，河南省埃爾森智能科技公司推出一套針對散亂堆放工件定位的雙目機器人系統(tǒng)，該系統(tǒng)定位精度較高[37]。2017年，武漢庫柏特公司展示了其自主研發(fā)的3D視覺系統(tǒng)對LED外殼進行無序分揀，該視覺系統(tǒng)可以對物體表面輪廓進行掃描，形成點云數(shù)據(jù)，再分析處理，計算出位置信息，再轉(zhuǎn)換成機器人抓取的位姿信息，傳遞給機器人實現(xiàn)自動抓取[38]。Rouhollahi Ali等[39]利用物體與傳送帶背景顏色的不同，將圖像顏色空間由RGB轉(zhuǎn)為HSV，提取物體輪廓，將位置反饋給機器人，實現(xiàn)機器人定位抓取。北京大恒圖像對散亂工件問題進行了研究，研發(fā)了一套機器人3D視覺智能裝配系統(tǒng)，通過3D智能傳感器對零件進行掃描成像，得到其點云數(shù)據(jù)，再采用3D表面匹配得到模板零件和當前零件的仿射矩陣，完成零件識別和位姿獲取，控制機械臂抓取零件并擺放。

2 存在的問題

雙目視覺識別定位技術(shù)涉及眾多學科和理論，完整的雙目視覺系統(tǒng)包括圖像采集、相機標定、立體校正、立體匹配和深度恢復等環(huán)節(jié)。每一個環(huán)節(jié)都直接或間接影響視覺系統(tǒng)的整體性能?；陔p目視覺散亂工件識別定位技術(shù)的理論研究和工業(yè)應用已有一定基礎，但仍存在一些問題和難點，有較大提升空間。

(1)在圖像采集階段，受光照條件、現(xiàn)場環(huán)境等外界因素的影響，采集的散亂工件現(xiàn)場圖的表觀特征發(fā)生變化，造成識別定位的精度下降；在三維重建時，對于光亮表面的工件三維重建的效果不如預期，容易產(chǎn)生更多的噪聲。噪聲的干擾以及散亂工件的遮擋或傾斜對圖像的質(zhì)量存在一定影響，識別定位性能較差。如何提高圖像采集的質(zhì)量，是需要解決的問題之一。

(2)由于工件在散亂堆疊狀態(tài)是隨機的樣式，因此在某次工件抓取過程中，導致散亂工件隨機滾動，這可能會使所有分割、三維配準失效及接下來所有結(jié)果不可執(zhí)行的情況發(fā)生。為解決該現(xiàn)象，需在硬件設計與軟件設計層面添加一些錯誤恢復機制，具備更好的魯棒性。多采用靜態(tài)采集圖像的方式，圖像處理操作相對較容易，在對運動中的工件進行識別定位抓取時，還需進一步提高算法精確度。

(3)目前在散亂工件識別定位方向，圓柱體或正方體等規(guī)則形狀的工件較多，識別效果較好，對輪廓較為復雜的工件算法還需完善。如何選擇合適的算法，提高雙目視覺識別定位系統(tǒng)的可靠性和實時性，使雙目視覺識別定位技術(shù)進一步向智能化和精準化方向發(fā)展是未來需著重解決的問題。

3 研究展望

目前，雙目視覺技術(shù)已經(jīng)在醫(yī)療、汽車、航海、工業(yè)生產(chǎn)等領(lǐng)域有了突破性進展，但仍有較大提升空間。由于工件的形式多種多樣且數(shù)量越來越多，工件散亂堆疊放置在傳送鏈上的情況愈發(fā)嚴重。采用全自動化的方式將散亂工件從傳送鏈上取出并有序擺放就成了現(xiàn)階段自動化生產(chǎn)中的重要一環(huán)。截至目前，在實際應用中還沒有達到現(xiàn)代化工業(yè)生產(chǎn)所具備的高精化和智能化的要求，利用雙目視覺技術(shù)對工業(yè)生產(chǎn)鏈上的散亂工件進行識別定位，并結(jié)合機械臂對散亂工件進行精確分類抓取，是現(xiàn)代化工業(yè)生產(chǎn)的發(fā)展趨勢。

深度學習在工業(yè)生產(chǎn)領(lǐng)域飛速發(fā)展，但在散亂工件的識別定位方向，還沒有最大發(fā)揮深度學習的作用，相關(guān)研究仍停留在借鑒主流神經(jīng)網(wǎng)絡框架，對其進行調(diào)整改進，然后完成對散亂工件的識別與分類階段。未來，更加適合該領(lǐng)域的深度學習框架，提高散亂工件識別定位系統(tǒng)的有效性和準確性，是實現(xiàn)工業(yè)生產(chǎn)鏈全自動化的趨勢。