深度學(xué)習(xí)在工業(yè)機器人視覺拋磨系統(tǒng)的應(yīng)用研究

李光雷，崔亞輝，王利花，孟 磊

（1.西安理工大學(xué)，陜西 西安 710048；2.南京工業(yè)職業(yè)技術(shù)大學(xué)，江蘇 南京 210023）

1 引言

復(fù)雜曲面拋磨作業(yè)是汽車、水暖衛(wèi)浴、航空等產(chǎn)品制造中的精加工步驟，其對產(chǎn)品的最終質(zhì)量和成本有重要影響。目前，基于技術(shù)及成本考量，國內(nèi)中小型制造企業(yè)仍多采用傳統(tǒng)的手工方式對工件進行拋磨作業(yè)。采用去除→測量→再去除→再測量的試湊加工方式，加工質(zhì)量高度依賴于操作人員的經(jīng)驗[1]。在以人為本和機器換人的大環(huán)境下，傳統(tǒng)模式已越來越不適應(yīng)制造產(chǎn)業(yè)的發(fā)展。同時，隨著部分制造行業(yè)的轉(zhuǎn)型升級，其對復(fù)雜曲面拋磨作業(yè)的加工質(zhì)量、自動化程度要求越來越高，傳統(tǒng)的作業(yè)模式還存在工作環(huán)境惡劣、加工一致性差等缺點，已成為制約部分中小型制造企業(yè)提高加工工藝和產(chǎn)品質(zhì)量的瓶頸。

基于機器人的視覺拋磨系統(tǒng)，如圖1所示。主要由工業(yè)機器人、視覺系統(tǒng)、多維力傳感器、拋磨工具、上位機等構(gòu)成。具有靈活性高、通用性強、易于擴展、一致性好等優(yōu)點[2]。

圖1 智能拋磨系統(tǒng)結(jié)構(gòu)圖Fig.1 Structure Diagram of Intelligent Grinding System

拋磨作業(yè)的主要參數(shù)包括拋磨點提取、磨削速度、拋磨深度等。工藝流程，如圖2所示。目前國內(nèi)外關(guān)于工業(yè)機器人拋磨系統(tǒng)的研究已經(jīng)很多。文獻[3]基于工業(yè)機器人拋磨系統(tǒng)中，砂帶因磨損導(dǎo)致拋磨效率降低，加工一致性降低等問題，提出基于提高拋磨速度的補償策略及其機制，該策略克服了傳統(tǒng)的線性提速補償策略與砂帶非線性磨損之間的矛盾。

圖2 基于深度學(xué)習(xí)的工業(yè)機器人視覺拋磨系統(tǒng)工藝流程圖Fig.2 Process Flow Diagram of Industrial Robot Vision Polishing System Based on Deep Learning

文獻[4]提出一種基于特征值坐標(biāo)的機器人局部拋磨定位方法，該方法基于協(xié)方差矩陣，建立各點相對于旋轉(zhuǎn)和平移坐標(biāo)變換不變的特征值坐標(biāo)，以此直接搜索拋磨零件的設(shè)計曲面，生成對應(yīng)點對，進而將各點主軸取向歸一化，給出一種計算測量數(shù)據(jù)和模型曲面間坐標(biāo)變換的方法，實現(xiàn)機器人到復(fù)雜曲面指定拋磨區(qū)域的準(zhǔn)確定位。

文獻[5?6]提出通過葉片的區(qū)域劃分來定義每個區(qū)域?qū)?yīng)的特征點，獲取工件與模型之間的形狀和坐標(biāo)差異，然后基于標(biāo)定結(jié)果的差異進行實際工件的位置和外形的擬合重構(gòu)，從而得到待打磨區(qū)域模型。當(dāng)前這方面的研究大多基于拋磨軌跡、離線編程、拋磨姿態(tài)優(yōu)化、夾具設(shè)計等。關(guān)于待拋磨點位識別的研究不多。

傳統(tǒng)的基于視覺的機器人拋磨系統(tǒng)主要有兩種，主要包括基于激光掃描的立體視覺和基于特征點的三維重構(gòu)兩種方式?；谀Ｐ偷囊曈X拋磨系統(tǒng)是利用三維掃描儀對工件進行掃描以獲得點云數(shù)據(jù)，再對點云數(shù)據(jù)進行處理得到工件的三維模型，將得到的模型導(dǎo)入離線編程軟件，在軟件中選定拋磨區(qū)域，生成拋磨軌跡和路徑，然后由離線編程軟件將程序數(shù)據(jù)同步到工業(yè)機器人進行拋磨作業(yè)［7?10］。

基于特征點的機器人拋磨系統(tǒng)也是利用三維掃描系統(tǒng)掃描出待拋磨工件的點云數(shù)據(jù)，將點云數(shù)據(jù)導(dǎo)入建模軟件擬合出模型，將重構(gòu)出的模型與工件的設(shè)計模型進行比對，出入部分即是待拋磨的區(qū)域，然后將待拋磨區(qū)域數(shù)據(jù)導(dǎo)入工業(yè)機器人離線編程軟件進行離線編程，最后將程序數(shù)據(jù)導(dǎo)入工業(yè)機器進行拋磨作業(yè)［11?12］。由上可以看出，基于工業(yè)機器人拋磨系統(tǒng)的關(guān)鍵是被提取出待拋磨區(qū)域，傳統(tǒng)的拋磨區(qū)域識別方法受制于點云數(shù)據(jù)量較大、運算復(fù)雜，識別準(zhǔn)確率和速度都受到一定限制。

本研究正是基于此背景，對基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)對異常區(qū)域識別進行研究，介紹了機器人視覺拋磨系統(tǒng)構(gòu)成，對基于深度學(xué)習(xí)的識別算法進行了介紹，并結(jié)合工業(yè)相機拍攝的金屬表面進行識別，對識別后的數(shù)據(jù)進行分析，最后對提出的方法進行了驗證，取得較好的實驗效果。

2 基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)算法對待拋磨區(qū)域數(shù)據(jù)的識別和提取

近年來，隨著深度學(xué)習(xí)在視覺領(lǐng)域的蓬勃發(fā)展。利用卷積神經(jīng)網(wǎng)絡(luò)對圖像進行分類，以及對圖像中目標(biāo)進行識別定位成為比較前沿的技術(shù)。神經(jīng)網(wǎng)絡(luò)的構(gòu)建是進行目標(biāo)識別的基礎(chǔ)，典型的神經(jīng)網(wǎng)絡(luò)主要有輸入層，中間層和輸出層組成。

為讓構(gòu)建的神經(jīng)網(wǎng)絡(luò)系統(tǒng)能夠識別出典型的拋磨數(shù)據(jù)，需要用一定數(shù)量的具有典型待拋磨特征的工件對系統(tǒng)進行訓(xùn)練，考慮到系統(tǒng)運行速度和識別準(zhǔn)確性，本研究選取50張（400×600）像素的鋁型材做為訓(xùn)練樣本，使用預(yù)訓(xùn)練過的卷積神經(jīng)網(wǎng)絡(luò)作為主干，來提取底層特征信息，因此這些特征由于經(jīng)過這些數(shù)據(jù)集的訓(xùn)練過而具有較好的底層特征識別能力。

用具體的例子來說，訓(xùn)練的神經(jīng)網(wǎng)絡(luò)將樣本基礎(chǔ)特征組成更高級的特征，比如鋁型材表面的砂眼、坑洞、擦花、橘皮、碰傷、凸粉、涂層開裂等，直到最底層將這種具有上述特征的表面識別為瑕疵，即待拋磨區(qū)域。

因此，即使對圖像進行平移、縮放、旋轉(zhuǎn)，系統(tǒng)依舊能提取出點、線、面等基礎(chǔ)特征，在最底層將其識別為待拋磨區(qū)域，并輸出數(shù)據(jù)給機器人系統(tǒng)，作為機器人的坐標(biāo)數(shù)據(jù)。

本研究所采用的圖片素材為2018年廣東工業(yè)智造大數(shù)據(jù)創(chuàng)新大賽的鋁型材表面瑕疵數(shù)據(jù)庫。在構(gòu)建好神經(jīng)網(wǎng)絡(luò)以后，利用所構(gòu)建的神經(jīng)網(wǎng)絡(luò)對待識別圖像進行識別效果，如圖3所示。

由圖3可以看出，構(gòu)建的神經(jīng)網(wǎng)絡(luò)算法可以較好的識別出鋁型材圖片的瑕疵信息，并且可以顯示識別的準(zhǔn)確率和待拋磨區(qū)域坐標(biāo)信息。沒有識別到瑕疵數(shù)據(jù)的圖片則未作處理，前述圖片識別后的坐標(biāo)信息，如表1所示。

圖3 基于深度學(xué)習(xí)構(gòu)建神經(jīng)網(wǎng)絡(luò)識別出的待拋磨區(qū)域數(shù)據(jù)Fig.3 Deep Learning Based Neural Network to Identify the Area to be Polished

通過上面的表格可以看出，在經(jīng)系統(tǒng)識別的12張圖片中，基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)算法可以較好的識別出待拋磨數(shù)據(jù)。表1中第二列的位置信息里面方括號內(nèi)四位數(shù)字中的前兩位表示識別矩形框的左上角坐標(biāo)，后兩組數(shù)據(jù)表示矩形方框的長和寬，此數(shù)據(jù)可以直接在離線編程時作為工業(yè)機器人的運動參數(shù)，大大減少試教工工作量和試教效率。

由表1還可以看出，第1，2，3，7分別有兩個矩形方框，表示本算法在這4個圖中分別識別出兩塊需要拋磨的異常區(qū)域，這兩塊區(qū)域具有前述瑕疵特征中的任意兩張。第三列表示系統(tǒng)識別的準(zhǔn)確率，通過前期訓(xùn)練的識別器對每一張圖片的各個區(qū)域進行比對，識別率越高，表明訓(xùn)練的識別器準(zhǔn)確性好，誤差越低。

表1 神經(jīng)網(wǎng)絡(luò)識別出的異常區(qū)域數(shù)據(jù)和識別率Tab.1 Data and Recognition Rate of Anomalous Regions Identified by Neural Networks Constructed

3 實驗驗證與分析

為了對所提出的基于深度學(xué)習(xí)的機器人視覺拋磨系統(tǒng)在實際拋磨加工中的有效性進行驗證，以工業(yè)機器人為平臺搭建了智能拋磨工作站。工作站以現(xiàn)代重工業(yè)工業(yè)機器人為基礎(chǔ)平臺，其末端負載為250kg，工作范圍為3.3m，重復(fù)定位精度為0.23mm。實驗中選用Astra Pro鏡頭為圖像采集設(shè)備，以汽車鈑金件常用鋁型材為待識別和拋磨工件，對其進行特征提取。拋磨設(shè)備目數(shù)為240目，拋磨設(shè)備線速度為16.3m∕s。

以常見的異常特征為訓(xùn)練樣本，訓(xùn)練了神經(jīng)網(wǎng)絡(luò)，搭建好的工作站，如圖4所示。

圖4 基于深度學(xué)習(xí)的工業(yè)機器人視覺拋磨系統(tǒng)Fig.4 Deep Learning?Based Vision Polishing System for Industrial Robots

通過相機對目標(biāo)區(qū)域進行拍攝，采集到目標(biāo)區(qū)域的圖像信息。將圖像信息導(dǎo)入由Matlab構(gòu)建的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，進行識別，識別出的待拋磨區(qū)域的坐標(biāo)信息，將坐標(biāo)信息和目標(biāo)工件的模型導(dǎo)入機器人離線編程軟件。

通過坐標(biāo)變換，將神經(jīng)網(wǎng)絡(luò)系統(tǒng)識別出的待拋磨區(qū)域坐標(biāo)數(shù)據(jù)轉(zhuǎn)換為大地坐標(biāo)系下的坐標(biāo)數(shù)據(jù)，通過離線變成軟件實現(xiàn)對拋磨軌跡的離線編程，為保證拋磨效果，盡量將拋磨工具所受的法向力與拋磨工件垂直，如圖5所示。

圖5 離線拋磨軌跡編程Fig.5 Off?Line Grinding Track Programming

最后，將優(yōu)化后的程序通過離線編程軟件同步方式導(dǎo)入到工業(yè)機器人系統(tǒng)，在工作站完成工具坐標(biāo)系、工件坐標(biāo)系的創(chuàng)建、坐標(biāo)轉(zhuǎn)換、系統(tǒng)標(biāo)定和部分點位示教與修正，即可開始拋磨作業(yè)。對照組為采用傳統(tǒng)目視檢測異常區(qū)域，手動試教工業(yè)機器人進行拋磨作業(yè)。兩種方法拋磨效果，如圖6所示。兩種拋磨方式測得的粗糙度平均值分別為0.625μm和0.326μm。采用基于深度學(xué)習(xí)的拋磨系統(tǒng)在表面粗糙度和加工效果一致性方面均好于對照組。

圖6 傳統(tǒng)機器人拋磨和基于深度學(xué)習(xí)的工業(yè)機器人拋磨Fig.6 Traditional Robot Grinding and Deep Learning Based Industrial Robot Grinding

可以看出，基于深度學(xué)習(xí)的工業(yè)機器人拋磨系統(tǒng)能夠準(zhǔn)確、快速地識別出待拋磨區(qū)域，識別出的拋磨區(qū)域坐標(biāo)信息準(zhǔn)確，磨拋后的汽車左前門表面，磨拋軌跡均勻，過渡圓滑，無棱角和過磨、欠磨現(xiàn)象，并且拋磨一致性較好，加工工藝滿足拋磨作業(yè)要求[13]。

4 結(jié)語

研究了基于深度學(xué)習(xí)的工業(yè)機器人視覺拋磨系統(tǒng)。對現(xiàn)有拋磨系統(tǒng)進行改進完善，通過引入工業(yè)相機、深度學(xué)習(xí)算法實現(xiàn)系統(tǒng)的升級改造，實現(xiàn)了對異常區(qū)域的和待拋磨區(qū)域的智能識別，基于該方法能夠獲取待拋磨區(qū)域的坐標(biāo)數(shù)據(jù)，采用離線仿真軟件完成機器人打磨軌跡的自動規(guī)劃。

同時借助人工對部分特殊區(qū)域進行輔助優(yōu)化，完成了智能拋磨系統(tǒng)的離線編程，該方法可以實現(xiàn)對典型鈑金件異常區(qū)域的自動識別、提取，通過系統(tǒng)集成，對待拋磨區(qū)域?qū)崿F(xiàn)離線編程，實現(xiàn)了拋磨過程的自動化、智能化，減少了人工干預(yù)，保證了拋磨效果的一致性和準(zhǔn)確性。