基于深度學習的螺紋鋼焊牌機器人3D視覺計數(shù)和定位方法*

吳立華，白 潔，康國坡，黃冠成

（1.廣東開放大學（廣東理工職業(yè)學院），廣州 510091；2.廣東工業(yè)大學機電工程學院，廣州 510006）

0 引言

棒材廠軋制的鋼棒在經(jīng)過打捆和稱重后，需對成品鋼捆焊上具有相關(guān)產(chǎn)品信息的標牌以供入庫和外銷，該操作一直以來都由人工完成，極易出現(xiàn)錯焊、漏焊和掉牌等問題，且作業(yè)環(huán)境惡劣而復(fù)雜，存在極大的安全隱患。目前在國內(nèi)一些棒材廠所實施的自動焊牌系統(tǒng)基本只能通過機器人完成單一的焊牌作業(yè)流程，存在以下問題：無法適用多種型號自動識別定位；無法完成焊接標牌區(qū)域凸起30 mm 的檢測，導(dǎo)致螺紋鋼損壞標牌的焊接質(zhì)量問題、兩捆螺紋鋼靠近時無法區(qū)分和數(shù)量識別錯誤，無法令當前焊接的螺紋鋼單支端面平整導(dǎo)致焊釘無法充分接觸螺紋鋼而引起運輸過程脫落的焊接質(zhì)量問題；沒有與產(chǎn)線和計量系統(tǒng)進行有效的交互，無法真正實現(xiàn)全自動化和無人化[1-3]。

螺紋鋼焊掛標的自主作業(yè)對于生產(chǎn)效率的提升非常重要。對于多品種螺紋鋼端面的計數(shù)和焊接標牌，已有的方案不能滿足實時性需求；對于螺紋鋼機器人焊掛標，當前的方案不能實現(xiàn)對目標的識別、定位及作業(yè)過程的自動編程；對于復(fù)雜光照環(huán)境和螺紋鋼品種多變情況下的螺紋鋼棒材智能計數(shù)，已有方案不能實現(xiàn)非結(jié)構(gòu)化環(huán)境的三維重構(gòu)和三維點云快速高精度匹配。因此，迫切需要開發(fā)和應(yīng)用基于深度學習的螺紋鋼焊牌機器人3D視覺計數(shù)和定位方法，以提高生產(chǎn)效率和市場競爭力。

目前關(guān)于棒材識別的方法是通過模糊圓周模糊模板匹配尋找棒材截面[4]，另一種是通過圖像分割、圖像濾波、圖像數(shù)字形態(tài)學處理等傳統(tǒng)圖像處理方法識別篩選[5-10]。但是，這兩種方法對于不規(guī)則的棒材截面不能做到適應(yīng)。本文針對當前螺紋鋼棒材的識別和定位的通用性和魯棒性問題，提出使用深度學習算法在二維RGB圖像中識別螺紋鋼棒材，然后在三維點云圖中定位棒材中心坐標的方法。

1 總體算法框架

如圖2 所示，由于螺紋鋼存在截面形狀不標準、發(fā)藍、發(fā)黑，長短不一等問題，無法用傳統(tǒng)的視覺定位方法識別計數(shù)，本文提出基于Faster-RCNN 的視覺方法識別計數(shù)核驗和焊接位置定位[11-15]。

圖2 螺紋鋼截面示意

算法框架如圖3 所示。首先對圖片進行標注，生成對應(yīng)的標注數(shù)據(jù)文件，記錄每個螺紋鋼在圖片的起點坐標和長寬，然后通過數(shù)據(jù)增強：隨機旋轉(zhuǎn)、翻轉(zhuǎn)、噪點、模糊、顏色變換等生成更多的樣本數(shù)據(jù)。棒材原圖如圖2（b）所示，經(jīng)過數(shù)據(jù)增強后如圖4所示。

圖4 經(jīng)過數(shù)據(jù)增強

其次，將樣本數(shù)據(jù)按照訓練集95%和測試集5%進行劃分，訓練集經(jīng)過共享卷積特征網(wǎng)絡(luò)提取目標特征并進行訓練，生成模型文件，識別結(jié)果的流程是使用候選區(qū)域生成網(wǎng)絡(luò)RPN（Region Proposal Network）生成目標的候選框，再通過聚類算法篩選出候選目標的區(qū)域，對候選區(qū)域特征進行池化處理生成相同尺寸的圖片，最后經(jīng)過Softmax分類器篩選最優(yōu)目標，并輸出目標類別和位置。

本文使用了Faster RCNN 網(wǎng)絡(luò)結(jié)構(gòu)，如圖5所示，其步驟如下。

圖5 Faster RCNN網(wǎng)絡(luò)結(jié)構(gòu)

（1）特征提取網(wǎng)絡(luò)（Conv layers）

其輸入為一張圖片，輸出為一張圖片的特征，即feature map。通過一組conv+relu+pooling 層提取圖像的feature map，用于后續(xù)的RPN網(wǎng)絡(luò)和全連接層。

（2）區(qū)域候選網(wǎng)絡(luò)（Region proposal Network）

其輸入為第一步中的feature map，輸出為多個興趣區(qū)域（ROI）。輸出的每個興趣區(qū)域具體表示為1 個概率值（用于判斷anchor 是前景還是背景）和4 個坐標值，概率值表示該興趣區(qū)域有物體的概率，這個概率是通過Softmax 對每個區(qū)域進行二分類得到的；坐標值是預(yù)測的物體的位置，在進行訓練時會用這個坐標與真實的坐標進行回歸計算，使測試時預(yù)測的物體位置更加準確。

（3）興趣域池化（ROI pooling）

這一層以RPN 網(wǎng)絡(luò)輸出的興趣區(qū)域和Conv layers 輸出的feature map 為輸入，將兩者進行綜合后得到固定大小的區(qū)域特征圖（proposal feature map）并輸出到后面的全連接網(wǎng)絡(luò)中進行分類。

（4）分類和回歸（Classification and Regression）

其輸入為上一層得到的proposal feature map，輸出為興趣區(qū)域中物體所屬的類別以及物體在圖像中的精確位置。這一層通過Softmax對圖像進行分類，并通過邊框回歸修正物體的精確位置。

2 手眼標定

本文使用Intel RealSense L515 三維相機，安裝在工業(yè)機器人末端，如圖6所示。

圖6 坐標系關(guān)系

baseHtool 表示為工具坐標系大機器人基坐標系的轉(zhuǎn)換關(guān)系，可由機器人系統(tǒng)中獲取；toolHcam 表示相機坐標系到工具坐標系的轉(zhuǎn)換關(guān)系，這個轉(zhuǎn)換關(guān)系在機器人移動的過程中是不變的，但為未知的變量；calHcam 表示標定板坐標系到機器人基坐標系的轉(zhuǎn)換關(guān)系，只要標定板與機器人基坐標系相對位置不變，該矩陣就不變[16-17]。由此可得：

聯(lián)合上面3個公式，則有：

機器人移動到位置2后：

baseHcal不變，則有：

式中：baseHtoo（l1）=A1；baseHtoo（l2）=A2；toolHcam（1）=X；calHcam（1）=B1；calHcam（2）=B2。

由此：

3 圖像拼接

單次拍照和多次拍照的區(qū)別如圖7 所示。由于裁剪長度誤差和捆扎動作導(dǎo)致偏移，使得螺紋鋼棒材端面不平整，最大誤差約有50 mm，因此如果相機一次拍整捆棒材，遠離相機中心的螺紋鋼可能被遮擋，導(dǎo)致計數(shù)不準確，所以本文在采集圖像步驟加入了拼接環(huán)節(jié)，由機器人帶動相機在4×3 的位置點共12 個拍照點對整捆螺紋鋼拍照，然后再進行圖像拼接，圖像拼接流程如下。

圖7 單次拍照和多次拍照的區(qū)別

（1）特征提取和匹配。在拼接圖像之前，首先使用改進的SURF 方法提取并匹配圖像的特征點。SURF 通過海森矩陣檢測特征點，選擇行列式值極大或極小的點。為了在尺度上保持不變，SURF使用不同σ值的行列式值來檢測特征點。在特征點的圓形鄰域內(nèi)，統(tǒng)計60°扇形內(nèi)所有點的水平、垂直haar 小波特征總和，并以此作為該特征點的主方向。與以往的方法不同，本文還選取一個4×4 的矩形區(qū)域塊，但這個區(qū)域的方向是沿著特征點的主方向。每個子區(qū)域統(tǒng)計25個像素的水平方向和垂直方向的haar 小波特征。通過計算兩個特征點間的歐氏距離來確定匹配度，同時考慮Hessian矩陣跡的正負號，排除對比度變化方向相反的特征點[18-20]。

經(jīng)過手眼標定后，將圖像上的每個坐標轉(zhuǎn)換到機器人坐標系上，獲得每個像素點的物理坐標。利用機器人實際位置計算兩張圖像之間的中心位置關(guān)系，將其加入surf判定條件，可以提高拼接精度和穩(wěn)定性。

（2）計算圖像變換。特征匹配后，可以通過計算圖像間的變換矩陣，經(jīng)過仿射變換和透視變換，將兩張圖像對齊。這個變換矩陣描述了如何將一個圖像上的點映射到另一個圖像上的對應(yīng)點。

（3）圖像拼接。一旦得到了圖像間的變換矩陣，就可以將兩張圖像拼接成一張更大的圖像。在拼接時，可以通過像素融合算法來平滑處理圖像之間的過渡區(qū)域，使拼接結(jié)果看起來更自然。

經(jīng)過以上拼接步驟后，在端面不平整的情況下，實現(xiàn)了圖像的無遮擋重構(gòu)，效果如圖8所示。

圖8 圖像拼接效果

4 實驗驗證

系統(tǒng)結(jié)構(gòu)如圖9 所示。三維相機、補光燈和焊槍集成在保護箱內(nèi)并安裝在埃夫特20 kg工業(yè)機器人末端。機器人提前取牌，當螺紋鋼棒材到位后，三維相機采集圖像，并通過上述算法識別棒材，計算棒材的支數(shù)和中心棒材的焊接坐標，焊接坐標誤差要求在±5 mm以內(nèi)。

圖9 硬件結(jié)構(gòu)

圖像識別結(jié)果如圖10所示。經(jīng)過Faster R-CNN 算法識別后，可準確統(tǒng)計出棒材的數(shù)量并輸出每個棒材的中心位置，圖中綠色點表示最佳焊牌位置。

圖10 圖像識別結(jié)果

分別對25、28、32 共3 種直徑規(guī)格的棒材進行100次計數(shù)和焊接成功率統(tǒng)計，結(jié)果如表1所示。

表1 測試統(tǒng)計結(jié)果

由于部分棒材長短差異較大，導(dǎo)致短棒材被長棒材幾乎完全遮擋，計數(shù)無法達到100%準確率，但整體而言，本文算法計數(shù)準確率可達99%以上，焊接準確率能達到100%。

5 結(jié)束語

針對螺紋鋼棒材在識別和機器人定位焊牌工序的問題，提出基于Faster R-CNN 框架的深度學習算法識別螺紋鋼，再通過三維點云處理定位中心棒材三維位置，實現(xiàn)螺紋鋼計數(shù)和定位焊牌功能，搭建硬件環(huán)境，并進行實驗驗證。結(jié)果表明：本文所提方法可以完成整捆螺紋鋼棒材的準確識別計數(shù)和機器人定位焊牌，焊牌位置準確，焊接質(zhì)量穩(wěn)固，驗證了該方法具有較強的通用性和魯棒性；由于不同型號的棒材截面特征相似度高，相比于傳統(tǒng)圖像算法，本文方法更具有廣泛的適用性，可降低對技術(shù)人員調(diào)試水平的要求，能廣泛應(yīng)用于螺紋鋼棒材生產(chǎn)企業(yè)的焊接工位，減輕人工識別99%以上的工作量，提高企業(yè)效益。