深度學(xué)習(xí)技術(shù)在工件自動檢測中的應(yīng)用

劉信君，林 滸，鄭飂默，王詩宇

1(中國科學(xué)院大學(xué)，北京 100049)2(中國科學(xué)院 沈陽計算技術(shù)研究所，沈陽 110168)3(沈陽高精數(shù)控智能技術(shù)股份有限公司，沈陽 110168)

1 引 言

工業(yè)機(jī)器人的使用不僅可以解決勞動力少、勞動力成本高等問題，又可以結(jié)合高新技術(shù)來建設(shè)智能化工廠[1].在自動化生產(chǎn)線上，很多情況下需要先將待操作物體的位置信息給到機(jī)器人，例如：機(jī)器人抓取工件、搬運、焊接等場景.然后，才能驅(qū)動機(jī)器人完成相應(yīng)的工作.傳統(tǒng)的方式大多是基于離線編程或示教的方法，這種方式雖然可以滿足精度的要求，但是對于操作人員要求極為苛刻，而且方法的泛化性能極差.因此，利用工業(yè)相機(jī)捕捉場景圖像，對圖像中物體進(jìn)行自動檢測與定位，實現(xiàn)機(jī)器人對物體的進(jìn)一步操作，具有很好的實際應(yīng)用價值.

目前，有很多不同的邊緣檢測算法，有根據(jù)亮度、顏色、像素梯度或者其他手工設(shè)計的特征，來對邊緣和非邊緣進(jìn)行分類的傳統(tǒng)算法，還有現(xiàn)在比較流行的基于深度學(xué)習(xí)的端到端的神經(jīng)網(wǎng)絡(luò)[2，3].本文基于深度學(xué)習(xí)技術(shù)搭建的機(jī)器人視覺系統(tǒng)，通過邊緣檢測以及后續(xù)的圖像算法對場景中工件進(jìn)行識別與定位，實現(xiàn)六關(guān)節(jié)機(jī)器人對工件的抓取.本文第二部分對整個視覺系統(tǒng)的工作流程進(jìn)行了簡單的概述.第三部分分析了當(dāng)前邊緣檢測算法和相機(jī)標(biāo)定算法存在的缺陷，并進(jìn)行了相應(yīng)的優(yōu)化，提出了可行的解決方案.第四部分通過實驗驗證了優(yōu)化算法的有效性和可行性.

2 視覺系統(tǒng)工作流程

圖1 視覺系統(tǒng)結(jié)構(gòu)圖Fig.1 Vision system structure

實驗過程中，首先由相機(jī)采集待抓取物的圖像信息并交由計算機(jī)，計算機(jī)通過圖像算法對圖像中待抓取物進(jìn)行識別與定位.然后通過坐標(biāo)轉(zhuǎn)換算法，將得到的待抓取物體二維坐標(biāo)信息轉(zhuǎn)換成六關(guān)節(jié)機(jī)器人基坐標(biāo)系下的三維坐標(biāo).機(jī)器人通過該坐標(biāo)信息完成抓取.

3 視覺系統(tǒng)設(shè)計流程

3.1 工件邊緣檢測

邊緣檢測可以理解為從圖像中提取視覺上顯著的邊緣和對象邊界的方法.傳統(tǒng)的方法通常是根據(jù)亮度、顏色、像素梯度或者其他手工設(shè)計的特征，采用Sobel算子、Canny算子等來對邊緣和非邊緣進(jìn)行分類，雖然傳統(tǒng)特征檢測的方法在某些場景下具有不錯的表現(xiàn)，但是局限性也很明顯，一方面對噪聲敏感、對人工設(shè)計的閾值等參數(shù)要求高，另一方面僅僅依靠強(qiáng)度、梯度、紋理這些低級特征會損失圖片的空間信息等高級信息.近幾年，在卷積神經(jīng)網(wǎng)絡(luò)的幫助下，邊緣檢測的研究取得了重大進(jìn)展，基于卷積神經(jīng)網(wǎng)絡(luò)的邊緣檢測器已經(jīng)在標(biāo)準(zhǔn)數(shù)據(jù)集的測試中超過了人工標(biāo)注的度量結(jié)果.

3.1.1 RCF網(wǎng)絡(luò)

RCF(Richer Convolutional Features)網(wǎng)絡(luò)[2]是2017年由劉云等人在HED網(wǎng)絡(luò)[3]的基礎(chǔ)上改進(jìn)的一個可以執(zhí)行端到端的訓(xùn)練和預(yù)測的邊緣檢測器.網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示.

該網(wǎng)絡(luò)以VGG16作為主干網(wǎng)絡(luò)，保留了VGG16網(wǎng)絡(luò)前5個階段，省去了最后的全連接層以及第5個階段的池化層.在每個階段融合了每一個卷積層提取的特征，并采用反卷積，將每個階段得到的特征圖調(diào)整為原始圖像大小.最后，融合這些特征圖以獲得最終的預(yù)測圖.具體每一階段執(zhí)行結(jié)果以及最后融合的預(yù)測圖，如圖3所示.

3.1.2 RCF優(yōu)化

這種設(shè)計可以充分利用CNN豐富的特征層次結(jié)構(gòu)，會保留原圖像中更多的細(xì)節(jié)信息.但是從圖3中也可以看出，得到的預(yù)測圖邊緣比較粗糙，為了提高邊緣檢測器的定位能力，必須尋求細(xì)化邊緣的方法.從網(wǎng)絡(luò)結(jié)構(gòu)方面分析RCF網(wǎng)絡(luò)，邊緣過粗主要存在以下兩個原因.首先，由于連續(xù)的池化層，圖像不斷被下采樣，在更具邊緣判別能力的頂層中，特征的空間分辨率顯著降低，導(dǎo)致邊緣的模糊輸出.另一方面，在每一階段融合的時候采用反卷積的上采樣方法不足以恢復(fù)空間細(xì)節(jié)，因此進(jìn)一步模糊了邊緣圖.由于在每一階段最后的池化層

馬約翰先生在1948年接待?？浾邥r說：“我覺得體育的功效，最重要是培養(yǎng)人格，補(bǔ)充教育的不足，培養(yǎng)一種‘干、干、干！’的精神”他認(rèn)為體育是教育的重要組成部分，培養(yǎng)全面發(fā)展人才的手段，運動場是培養(yǎng)學(xué)生品格極好的場所，培養(yǎng)青年們勇敢的精神，堅強(qiáng)的意志，自信心，進(jìn)取心和爭取勝利的決心。

圖2 RCF網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 RCF network structure

可以有效提高計算效率，因此本文不做考慮，主要從使用亞像素卷積[4]替換反卷積以及數(shù)據(jù)增強(qiáng)兩個方面來對RCF網(wǎng)絡(luò)進(jìn)行優(yōu)化.

圖3 RCF結(jié)果圖Fig.3 Result graph of RCF

1)亞像素卷積

亞像素卷積是一種在低分辨率圖像上直接計算卷積得到高分辨率圖像的高效率方法.相對而言，反卷積是使用單個濾波器，先將圖像從低分辨率放大到高分辨率空間，然后在高分辨率空間進(jìn)行操作，這就意味著增加了額外的計算復(fù)雜度.不同于反卷積，亞像素卷積是在低分辨率圖像上直接計算，然后通過一個升序濾波器陣列將最終的低分辨率特征圖提升到高分辨率空間.通過這種方式，可以有效地替換反卷積中的單濾波器，并且為每個特征圖提供了更加復(fù)雜的升頻濾波器，同時還降低了整體的計算復(fù)雜度.

在RCF中使用亞像素卷積代替反卷積可以消除反卷積引入的模糊，增加更精細(xì)的邊界細(xì)節(jié).同時，為每一階段的輸出增加了額外的非線性，降低了相鄰像素之間的相關(guān)性.圖4是對兩種卷積方式同一階段邊緣特征圖、同一區(qū)域放大之后的結(jié)果，從圖4的對比中可以看出，使用亞像素卷積可以生成“正確”并且“清晰”的邊緣圖.

圖4 卷積結(jié)果對比圖Fig.4 Convolution result comparison

2)數(shù)據(jù)增強(qiáng)

本文使用BSDS500[5]和VOC Context[6]的增強(qiáng)數(shù)據(jù)集訓(xùn)練.BSDS500數(shù)據(jù)集是邊緣檢測中被廣泛應(yīng)用的數(shù)據(jù)集.它由訓(xùn)練集、驗證集和測試集組成，其中，訓(xùn)練集包括200張圖像、驗證集包括100張圖像、測試集包括200張圖像.增強(qiáng)數(shù)據(jù)集由BSDS500數(shù)據(jù)集中200張訓(xùn)練圖像、100張驗證圖像和VOC Context數(shù)據(jù)集混合，經(jīng)過旋轉(zhuǎn)、翻轉(zhuǎn)、裁剪等操作生成，總共約36800張圖像.

3.2 工件定位

定位工件抓取位置只需要定位到工件的中心即可.可是如果想要在圖像中定位出工件的邊緣與中心，僅僅依靠RCF網(wǎng)絡(luò)預(yù)測出的邊緣圖像還遠(yuǎn)遠(yuǎn)不夠，還需要對邊緣圖像提取最小外接輪廓，來得到工件的位置以及旋轉(zhuǎn)角度.在這里，我們使用OpenCV3[7]中的已經(jīng)封裝好的方法來獲取邊緣圖像的最小外接矩形，該方法會根據(jù)檢測到的角點，返回矩形的中心、長寬以及旋轉(zhuǎn)角度，這里的矩形中心就是我們需要的工件中心.如圖5所示，得到的最小外接矩形可以很好地找到抓取所需的工件中心.

圖5 外接矩形定位圖Fig.5 External rectangle positioning

3.3 相機(jī)標(biāo)定

得到了工件的二維圖像坐標(biāo)之后，需要考慮如何將二維坐標(biāo)轉(zhuǎn)換到機(jī)器人基坐標(biāo)系下的三維坐標(biāo).相機(jī)標(biāo)定的過程主要分為兩步：首先建立相機(jī)成像模型，然后設(shè)計標(biāo)定算法來對相機(jī)內(nèi)、外參數(shù)進(jìn)行標(biāo)定.相機(jī)模型主要分為線性模型和非線性模型，針對非線性模型，傳統(tǒng)的標(biāo)定方法只考慮了徑向畸變，忽略了切向畸變等其他非線性畸變，因此，在很大程度上制約了標(biāo)定的精度.本文根據(jù)相機(jī)模型，針對相機(jī)參數(shù)不精確的問題，借助神經(jīng)網(wǎng)絡(luò)強(qiáng)大的非線性擬合能力，以相機(jī)成像模型為基本思想，提出了一個淺層的BP神經(jīng)網(wǎng)絡(luò)模型來完成相機(jī)的標(biāo)定，實現(xiàn)了二維像素坐標(biāo)到三維世界坐標(biāo)的非線性映射.

3.3.1 相機(jī)模型

相機(jī)成像模型建立了三維物體和二維圖像之間的對應(yīng)關(guān)系，成像過程涉及了世界坐標(biāo)系、相機(jī)坐標(biāo)系、圖像坐標(biāo)系、像素坐標(biāo)系之間的轉(zhuǎn)換.下面首先以理想狀態(tài)下的針孔相機(jī)模型為例，對涉及的四個坐標(biāo)系進(jìn)行定義.如圖6所示，坐標(biāo)系OwXwYwZw表示世界坐標(biāo)系、坐標(biāo)系OcXcYcZc表示相機(jī)坐標(biāo)系、坐標(biāo)系Oxy表示圖像坐標(biāo)系、坐標(biāo)系Ouv表示像素坐標(biāo)系，p(Xw，Yw，Zw)為世界坐標(biāo)系中的一點，p(x，y)是點p在圖像中對應(yīng)的成像位置，在圖像坐標(biāo)系中坐標(biāo)為(x，y)，在像素坐標(biāo)系中坐標(biāo)為(u0，v0).

圖6 坐標(biāo)關(guān)系圖Fig.6 Coordinate relationship

在成像過程中，首先是世界坐標(biāo)系到相機(jī)坐標(biāo)系的轉(zhuǎn)化，因為兩者均是空間的絕對坐標(biāo)，因此該變換屬于剛體變換，用[R|t]表示；然后是從相機(jī)坐標(biāo)系到圖像坐標(biāo)系的轉(zhuǎn)化，根據(jù)小孔成像原理可知，該變換屬于透視投影變換，轉(zhuǎn)化關(guān)系為公式(1)，其中f為相機(jī)鏡頭的焦距.

進(jìn)一步，從圖像坐標(biāo)系轉(zhuǎn)化到像素坐標(biāo)系，圖像坐標(biāo)系和像素坐標(biāo)系都在成像平面上，圖像坐標(biāo)系的x軸和y軸分別于像素坐標(biāo)系的u軸和v軸平行，兩者轉(zhuǎn)化關(guān)系為公式(2).綜上所述，從世界坐標(biāo)系到像素坐標(biāo)系轉(zhuǎn)化的數(shù)學(xué)模型如公式(3)所示.

(1)

(2)

(3)

上述的過程是在理想情況下的線性模型，實際環(huán)境中會因為透鏡的形狀和相機(jī)組裝過程中透鏡和成像平面不平行，帶來非線性誤差，一般分為徑向畸變和切向畸變，用數(shù)學(xué)模型表示為：

Xcorrect=x(1+k1r2+k2r4+k3r6)+2p1xy+p2(r2+2x2)

Ycorrect=y(1+k1r2+k2r4+k3r6)+2p1(r2+2y2)+2p2xy

(4)

其中，r2=x2+y2，(x，y)是成像裝置上畸變點的原始位置，(Xcorrect,Ycorrect)是畸變矯正之后的位置，k1、k2、k3是徑向畸變系數(shù)，p1、p2是切向畸變系數(shù).

上述相機(jī)模型可以簡化為Q=H*P，但是在實際場景中需要的是機(jī)械臂基坐標(biāo)下的三維信息，所以需要將二維坐標(biāo)轉(zhuǎn)化成三維坐標(biāo)，本文假設(shè)待抓取物的Z軸垂直于地面，機(jī)械臂末端在平行于待抓取物X軸和Y軸所在的平面內(nèi)定位待抓取物，因此可以根據(jù)P=H-1*Q通過像素坐標(biāo)來得到待抓取物的三維信息.

3.3.2 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)包括：輸出層，隱藏層和輸出層，理論上只要隱藏層神經(jīng)元足夠多，就具有擬合任意復(fù)雜非線性映射的能力.對于相機(jī)標(biāo)定，由于相機(jī)鏡頭存在多種非線性畸變，傳統(tǒng)的標(biāo)定方法需要建立復(fù)雜的數(shù)學(xué)模型，而神經(jīng)網(wǎng)絡(luò)在應(yīng)對這些非線性畸變上具有極強(qiáng)的魯棒性，因此本文根據(jù)相機(jī)成像模型提出了一種基于BP神經(jīng)網(wǎng)絡(luò)的相機(jī)標(biāo)定方法，具體網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示.

圖7 相機(jī)標(biāo)定網(wǎng)絡(luò)結(jié)構(gòu)Fig.7 Camera calibration network structure

整個網(wǎng)絡(luò)使用Keras框架搭建，使用圖8所示的6*9標(biāo)準(zhǔn)棋盤格采集的500組圖像和機(jī)器人末端點對作為實驗數(shù)據(jù).激活函數(shù)采用tanh函數(shù)，來對每個節(jié)點進(jìn)行非線性激活；學(xué)習(xí)率使用Keras提供的指數(shù)衰減法，這個方法先使用較大的學(xué)習(xí)率來快速得到一個比較優(yōu)的解，然后隨著迭代的進(jìn)行逐步降低學(xué)習(xí)率，使得模型在訓(xùn)練后期更加穩(wěn)定；損失函數(shù)采用均方誤差(MSE)，定義如公式(5)所示：

(5)

圖8 6*9棋盤格Fig.8 6*9 checkerboard

(6)

4 實驗結(jié)果與分析

為了驗證本文方法的可行性，本文進(jìn)行兩部分的實驗，分別對優(yōu)化的RCF網(wǎng)絡(luò)和用于相機(jī)標(biāo)定的BP神經(jīng)網(wǎng)絡(luò)進(jìn)行評估.

4.1 RCF網(wǎng)絡(luò)評估實驗

表1 各算法在BSDS500上的邊緣檢測評估結(jié)果
Table 1 Edge detection evaluation results on BSDS500

算 法PRODSOISCanny0.5200.7510.6110.676Ncut0.4220.7970.6340.664SE0.8000.9250.7430.764MCG0.7600.9110.7440.777DeepContour0.7900.9160.7570.776HED0.8400.9230.7880.808RCF0.8460.9130.8110.830RCF-Our0.8500.9140.8170.841

通過上述實驗結(jié)果可以看出，本文提出的對RCF網(wǎng)絡(luò)的優(yōu)化策略在精確率和召回率方面均優(yōu)于現(xiàn)在主流的邊緣檢測模型，ODS和OIS指標(biāo)相較于經(jīng)典的RCF網(wǎng)絡(luò)分別提升了0.6%和1.1%，這也證明了使用亞像素卷積替換反卷積可以得到更精細(xì)、質(zhì)量更高的邊緣特征圖，邊緣特征圖融合之后可以得到“清晰”和“準(zhǔn)確”的邊緣.

圖9 各算法P-R曲線對比圖Fig.9 P-R curve comparison chart

4.2 相機(jī)標(biāo)定BP網(wǎng)絡(luò)評估實驗

本文在自己采集的數(shù)據(jù)集分割出來的測試集上進(jìn)行網(wǎng)絡(luò)測試實驗，樣本實際值與網(wǎng)絡(luò)所得預(yù)測值樣例如表2所示.

測試實驗最終所得均方誤差為0.431，也就是說誤差在0.5mm之內(nèi)，已經(jīng)完全可以滿足本視覺系統(tǒng)的實際應(yīng)用.

表2 BP神經(jīng)網(wǎng)絡(luò)預(yù)測樣例表
Table 2 Prediction examples of BP neural network

實際值預(yù)測值(20.97, 671.59)(20.2, 671.6)(-39.12, 671.59)(-40.1, 671.5)(-29.17, 681.66)(-29.1, 681.0)(-39.06, 681.66)(-39.0, 681.8)(-69.39, 681.66)(-69.5, 681.3)(-59.4, 691.6)(-59.4, 691.9)(20.98, 701.48)(20.4, 701.4)(10.88, 701.48)(11.0, 701.2)(-9.04, 701.48)(-9.0, 701.5)(-19.22, 701.48)(-19.1, 701.8)

5 結(jié)束語

本文以ABB IRB1200 六關(guān)節(jié)機(jī)器人和映美精 DFK33GP-006工業(yè)相機(jī)為基礎(chǔ)搭建了機(jī)器人視覺系統(tǒng).采用邊緣檢測和最小外接矩形的方式對工件進(jìn)行定位，對執(zhí)行端到端邊緣檢測的RCF網(wǎng)絡(luò)通過亞像素卷積核和數(shù)據(jù)增強(qiáng)的方式對網(wǎng)絡(luò)進(jìn)行了優(yōu)化，實驗驗證了在每一階段可以產(chǎn)生精細(xì)、準(zhǔn)確的邊緣，并且在標(biāo)準(zhǔn)數(shù)據(jù)集上通過實驗驗證了算法的有效性.接下來分析了相機(jī)成像模型，并以此為基本思想，設(shè)計了基于BP神經(jīng)網(wǎng)絡(luò)的坐標(biāo)映射方法，并通過實驗驗證了算法的可行性.綜上所述，本視覺系統(tǒng)具有很好的實際應(yīng)用價值.