鋼卷自動(dòng)拆捆機(jī)器人捆帶定位系統(tǒng)研發(fā)與應(yīng)用

王榮浩，徐 斌，張文博，盛博文，王景云

（1.機(jī)科發(fā)展科技股份有限公司，北京 100044；2.中國國際工程咨詢有限公司，北京 100048）

0 引言

隨著我國冶金行業(yè)轉(zhuǎn)型升級(jí)進(jìn)入關(guān)鍵時(shí)期，國內(nèi)各大鋼廠均對(duì)產(chǎn)線的智能化改造提出了迫切的需求。鋼卷拆捆是硅鋼生產(chǎn)工藝中的重要環(huán)節(jié)。截至目前大多數(shù)鋼廠的鋼卷拆捆仍采取人工作業(yè)的形式進(jìn)行，為了解決人工拆捆作業(yè)中存在的工作環(huán)境惡劣、拆捆斷帶傷人和斷帶落入運(yùn)輸小車軌道威脅設(shè)備運(yùn)行安全等一系列問題，同時(shí)提高拆捆作業(yè)的效率，部分龍頭鋼廠先后開始引入工業(yè)機(jī)器人系統(tǒng)進(jìn)行自動(dòng)拆捆作業(yè)[1～3]。機(jī)器人自動(dòng)拆捆作業(yè)完全依賴于捆帶定位結(jié)果的引導(dǎo)，因此是否可以準(zhǔn)確地定位捆帶的位置，直接決定了機(jī)器人能否實(shí)現(xiàn)自動(dòng)拆捆功能。

圖1 鋼卷表面捆帶

目前已在鋼廠中投入使用的非接觸式捆帶檢測(cè)自動(dòng)拆捆機(jī)器人大多采用以下兩種方式進(jìn)行捆帶識(shí)別定位：一種是點(diǎn)激光掃描測(cè)距[4]，另一種是機(jī)器視覺算法圖像處理[5～7]。點(diǎn)激光掃描測(cè)距法在機(jī)器人第六軸末端安裝點(diǎn)激光傳感器，工作時(shí)首先對(duì)鋼卷位置進(jìn)行定位[8]，使點(diǎn)激光垂直照射在鋼卷外表面，機(jī)器人帶動(dòng)點(diǎn)激光從鋼卷的一個(gè)端面沿軸向掃描至另一端面，當(dāng)點(diǎn)激光測(cè)距數(shù)值發(fā)生突變并持續(xù)一段距離時(shí)，認(rèn)為發(fā)生突變的位置為捆帶所在的位置。這種方法原理簡單，易于實(shí)現(xiàn)，在不銹鋼冷軋、精整機(jī)組等鋼卷表面形貌較好的產(chǎn)線上使用捆帶檢出率可達(dá)90%以上，但這種檢測(cè)方法的缺點(diǎn)同樣明顯，在帶有氧化鎂涂層的硅鋼FCL機(jī)組等鋼卷表面平整度較差的工況下捆帶檢出率只有不足50%，且周圍電磁干擾嚴(yán)重時(shí)激光測(cè)距結(jié)果會(huì)出現(xiàn)無序跳動(dòng)，嚴(yán)重影響檢測(cè)結(jié)果的獲取，顯然無法滿足生產(chǎn)需求。

圖2 捆帶自動(dòng)識(shí)別定位系統(tǒng)方案

針對(duì)以上現(xiàn)狀，重點(diǎn)分析復(fù)雜環(huán)境和背景條件下的捆帶識(shí)別定位的視覺解決方案，本文對(duì)比有限規(guī)則的傳統(tǒng)視覺捆帶識(shí)別算法及其運(yùn)行結(jié)果，研發(fā)了一套基于深度學(xué)習(xí)目標(biāo)檢測(cè)算法的捆帶視覺定位系統(tǒng)。深度學(xué)習(xí)強(qiáng)大的自主學(xué)習(xí)能力使其能夠適應(yīng)更加復(fù)雜多變的目標(biāo)檢測(cè)應(yīng)用場景[9]。硅鋼FCL入口開卷機(jī)組自動(dòng)拆捆機(jī)器人試運(yùn)行結(jié)果表明基于深度學(xué)習(xí)目標(biāo)檢測(cè)算法開發(fā)的捆帶識(shí)別定位系統(tǒng)能夠滿足冶金行業(yè)復(fù)雜環(huán)境條件下的捆帶定位需求，部署了該系統(tǒng)的自動(dòng)拆捆機(jī)器人能夠節(jié)約人工成本，保障作業(yè)安全，提高生產(chǎn)效率。

1 捆帶視覺識(shí)別定位系統(tǒng)簡介

1.1 系統(tǒng)設(shè)備組成

捆帶視覺定位系統(tǒng)主要由六軸工業(yè)機(jī)器人、CCD相機(jī)、光源、光源控制器和工控機(jī)組成。工業(yè)機(jī)器人布置在安全圍欄內(nèi)，相機(jī)固定安裝在機(jī)器人第六軸末端，拍攝圖像時(shí)始終保持相機(jī)光軸所在直線與鋼卷軸心所在直線垂直且相交。視覺光源安裝在相機(jī)下方，光源中心軸與相機(jī)主光軸重合。工控機(jī)和光源控制器安裝在圍欄外的操作柜中。

傳統(tǒng)視覺捆帶識(shí)別定位系統(tǒng)和深度學(xué)習(xí)捆帶識(shí)別定位系統(tǒng)均由上述硬件組成，兩者的差異僅體現(xiàn)在算法層面。

圖3 機(jī)器人末端視覺組件

1.2 系統(tǒng)軟件

基于Visual Studio平臺(tái)下的C#語言、halcon機(jī)器視覺算法庫和百度飛槳PaddleX平臺(tái)的深度學(xué)習(xí)目標(biāo)檢測(cè)開發(fā)包，編寫了捆帶識(shí)別定位上位機(jī)軟件，使用WinForm設(shè)計(jì)了人機(jī)交互界面。軟件能夠控制CCD相機(jī)進(jìn)行圖像采集，通過圖像處理獲得捆帶定位信息，并且能夠?qū)z測(cè)結(jié)果進(jìn)行展示和保存，提高了生產(chǎn)過程的可追溯性。

圖4 自動(dòng)拆捆機(jī)器人系統(tǒng)上位機(jī)軟件界面

1.3 系統(tǒng)工作原理

鋼卷由運(yùn)輸小車輸送至拆捆工位后，運(yùn)載設(shè)備鎖定，PLC發(fā)出拆捆指令，機(jī)械人左右移動(dòng)機(jī)頭，帶動(dòng)末端CCD相機(jī)對(duì)鋼卷表面進(jìn)行數(shù)據(jù)采集并進(jìn)行視覺算法處理，通過事先計(jì)算出的標(biāo)定矩陣將捆帶中心位置像素坐標(biāo)轉(zhuǎn)化為世界坐標(biāo)，引導(dǎo)機(jī)器人進(jìn)行拆捆作業(yè)。捆帶識(shí)別定位的具體流程如圖5所示。

圖5 捆帶定位流程圖

2 傳統(tǒng)視覺捆帶定位

為了解決部分工況下激光檢測(cè)適用性較差的問題，引入視覺方案進(jìn)行捆帶定位識(shí)別。在捆帶定位的需求中，待檢捆帶是寬度為32mm，厚度為1mm的均勻帶狀鋼材，且緊密環(huán)繞在鋼卷外表面。在不考慮鋼卷運(yùn)輸過程中捆帶發(fā)生嚴(yán)重變形的情況下，捆帶自身的視覺特征一致性較好，基本滿足傳統(tǒng)視覺算法的使用條件。本系統(tǒng)傳統(tǒng)視覺研發(fā)過程中分別采用邊緣提取和模板匹配兩種算法對(duì)捆帶中心進(jìn)行識(shí)別定位。

2.1 邊緣提取檢測(cè)算法

邊緣提取捆帶檢測(cè)算法提取圖象中捆帶邊緣的像素?cái)?shù)據(jù)并加以分析判斷進(jìn)而定位出捆帶所在的位置。該算法具體分為下幾個(gè)步驟：

1）圖像預(yù)處理，對(duì)捆帶圖像進(jìn)行高斯濾波，消除部分噪聲干擾；

2）邊緣提取，利用canny算子對(duì)圖像中捆帶邊緣的像素?cái)?shù)據(jù)進(jìn)行提?。?/p>

3）特征選擇，設(shè)置邊緣長度閾值，當(dāng)檢出的邊緣像素?cái)?shù)組長度在設(shè)定的閾值區(qū)間時(shí)認(rèn)為該邊緣為有效邊緣；

4）直線擬合，通過最小二乘法對(duì)所有有效邊緣像素坐標(biāo)序列進(jìn)行擬合[10]；

由直線擬合的最小二乘法公式推導(dǎo)結(jié)果可知，離散點(diǎn)集(xi,yi)(i=0,1...m)的直線擬合結(jié)果為y=a*+b*x，其中：

5）寬度計(jì)算，設(shè)置邊緣對(duì)寬度閾值，根據(jù)平面點(diǎn)到直線的距離公式為：

其中，A=b*，B=-1，C=a*

計(jì)算每條有效邊緣的中點(diǎn)到其他所有有效邊緣擬合直線之間的距離，作為有效邊緣對(duì)之間的等效距離，有效邊緣對(duì)之間的距離d在設(shè)定的閾值區(qū)間時(shí)認(rèn)為該邊緣對(duì)為識(shí)別出的一條捆帶的兩條邊緣；

6）計(jì)算捆帶中心，在識(shí)別出的捆帶邊緣對(duì)中，取其中一條邊緣的中點(diǎn)像素坐標(biāo)記為點(diǎn)M(xM,yM)，點(diǎn)M到另一條邊緣的垂足記為點(diǎn)N，M、V連線的中點(diǎn)P(xP,yP)即為捆帶中心的定位點(diǎn)，其中：

利用上速算法對(duì)捆帶進(jìn)行識(shí)別定位的可視化過程如圖6所示。

圖6 邊緣提取捆帶識(shí)別

2.2 模板匹配檢測(cè)算法

模板匹配是一種用于在較大圖像中搜索和查找模板圖像位置的方法，主要分為基于灰度的匹配方法和基于特征的匹配方法?；诨叶鹊钠ヅ浞椒ㄍㄟ^待測(cè)圖像與模板圖像之間的相關(guān)性定位目標(biāo)也稱為相關(guān)匹配算法，其工作原理是模板在原始圖像上從原點(diǎn)開始滑動(dòng)，計(jì)算模板與圖像被模板覆蓋區(qū)域的差異，找到圖像中的與模板圖像中最相似的像素點(diǎn)，再根據(jù)模板的寬度和高度，標(biāo)記出對(duì)應(yīng)的區(qū)域范圍。基于特征的匹配方法主要通過提取待測(cè)圖像的顏色特征、紋理特征、形狀特征、空間關(guān)系特征與模板圖像進(jìn)行匹配。

相較于捆帶材質(zhì)不同和鋼卷長時(shí)間熱處理導(dǎo)致的圖像中捆帶部分像素灰度差異明顯這一問題，捆帶自身形狀一致性較好，邊緣特征明顯，相對(duì)更適合基于形狀特征的匹配算法進(jìn)行模板匹配，選擇halcon提供的creat_shape_model算子創(chuàng)建捆帶模板圖像，使用find_shape_model算子進(jìn)行模板圖像檢出，通過匹配結(jié)果評(píng)分閾值控制檢出目標(biāo)的質(zhì)量[11]。

圖7 模板匹配捆帶識(shí)別

2.3 傳統(tǒng)視覺算法檢測(cè)檢出率計(jì)算

通過準(zhǔn)確率（accuracy）、誤檢率（false）和漏檢率（loss）三項(xiàng)量化指標(biāo)評(píng)價(jià)傳統(tǒng)視覺算法的精度。將傳統(tǒng)視覺算法的檢出結(jié)果和人眼觀察結(jié)果進(jìn)行對(duì)比，所有真實(shí)的捆帶實(shí)例記為p，正確地檢測(cè)為是捆帶個(gè)數(shù)記為tp，錯(cuò)誤地檢測(cè)為是捆帶的個(gè)數(shù)記為fp，錯(cuò)誤地檢測(cè)為不是捆帶的個(gè)數(shù)記為fn，則有:

其中準(zhǔn)確率作為算法的主要精度指標(biāo)，誤檢率和漏檢率作為參考項(xiàng)。

3 深度學(xué)習(xí)捆帶定位

深度學(xué)習(xí)目標(biāo)檢測(cè)算法與傳統(tǒng)視覺算法的特征提取方法有所不同，前者通過將大量待檢圖像數(shù)據(jù)輸入卷積神經(jīng)網(wǎng)絡(luò)（CNN）進(jìn)行自主學(xué)習(xí)的方式訓(xùn)練出用于預(yù)測(cè)目標(biāo)分類和識(shí)別定位信息的推理模型。值得一提的是，每當(dāng)數(shù)據(jù)集擴(kuò)增時(shí)，都可將原有推理模型作為預(yù)訓(xùn)練模型和新的圖像數(shù)據(jù)一起輸入深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)再次學(xué)習(xí)，這使得深度學(xué)習(xí)目標(biāo)檢測(cè)算法可以適應(yīng)不斷變化的環(huán)境和規(guī)則，從而對(duì)目標(biāo)物體進(jìn)行更準(zhǔn)確的分類識(shí)別和定位。

3.1 深度學(xué)習(xí)目標(biāo)檢測(cè)算法

當(dāng)前深度學(xué)習(xí)目標(biāo)檢測(cè)算法主要分為Two-stage算法和One-stage算法兩類。Two-stage算法由兩步組成，第一步由選擇性搜索、邊界框等方法生成候選區(qū)域，第二步結(jié)合CNN提取特征并回歸分類。Two-stage算法檢測(cè)準(zhǔn)確率高，但檢測(cè)速度較慢。典型的Two-stage算法有R-CNN、Fast R-CNN、Faster R-CNN以及Mask R-CNN等。One-stage算法則采用直接回歸的方式同時(shí)進(jìn)行候選區(qū)域選擇和目標(biāo)分類識(shí)別，這極大地提高了算法的運(yùn)算速度但也導(dǎo)致了準(zhǔn)確度有所下降。典型的Onestage算法有YOLO系列、SSD系列等[12～14]。本文系統(tǒng)研發(fā)過程中，分別選擇Two-stage算法中高檢測(cè)精度的Faster R-CNN算法，和One-stage算法中已在工業(yè)領(lǐng)域成熟應(yīng)用的YOLOv3算法訓(xùn)練模型進(jìn)行捆帶檢測(cè)。

3.2 模型訓(xùn)練

在硅鋼FCL入口機(jī)組生產(chǎn)現(xiàn)場，通過工業(yè)相機(jī)采集了1177張照片作為捆帶檢測(cè)的數(shù)據(jù)集，經(jīng)過數(shù)據(jù)標(biāo)注、轉(zhuǎn)換和切分后的VOC數(shù)據(jù)集包含訓(xùn)練集照片825張，驗(yàn)證集照片235張，測(cè)試集照片117張。通過PaddleX深度學(xué)習(xí)平臺(tái)自帶的訓(xùn)練接口加載卷積神經(jīng)網(wǎng)絡(luò)和訓(xùn)練集數(shù)據(jù)進(jìn)行模型訓(xùn)練。訓(xùn)練端服務(wù)器的CPU為Intel(R)Core(TM)i9-10920X，主頻3.50GHZ,GPU為NVIDIA GeForce RTX 3080，使用GPU進(jìn)行深度學(xué)習(xí)訓(xùn)練，并通過CUDA架構(gòu)的cudnn深度神經(jīng)網(wǎng)絡(luò)庫加速。訓(xùn)練完成后對(duì)模型進(jìn)行壓縮剪裁，提高模型的推理速度。

3.3 深度學(xué)習(xí)模型精度評(píng)估

訓(xùn)練后對(duì)模型進(jìn)行精度評(píng)估，評(píng)估過程中用到的指標(biāo)主要有交并比（IoU）、精確率（Precision）、召回率（Recall）和平均精度（AP）。

圖8 深度學(xué)習(xí)捆帶識(shí)別

深度學(xué)習(xí)目標(biāo)檢測(cè)的預(yù)測(cè)結(jié)果是一個(gè)包含檢測(cè)目標(biāo)的預(yù)測(cè)框，將其記為PredictBox(PB)，正確的標(biāo)注框記為GroundTruth(GT)，則IoU的計(jì)算公式如式(10)所示：

當(dāng)IoU大于預(yù)設(shè)的IoU閾值時(shí)，認(rèn)為目標(biāo)檢測(cè)結(jié)果有效。

精確率和召回率的計(jì)算公式如式(11)、式(12)所示：

其中，TP為被正確地檢測(cè)為正實(shí)例的個(gè)數(shù)，F(xiàn)P為被錯(cuò)誤地檢測(cè)為正實(shí)例的個(gè)數(shù)，F(xiàn)N為被錯(cuò)誤地檢測(cè)為負(fù)實(shí)例的個(gè)數(shù)。

對(duì)于本系統(tǒng)單一的目標(biāo)種類這種情況來說，可以使用AP來反映模型的整體精度[15]，將不同閾值下精確率和召回率之間的映射記為P(r)，則AP的計(jì)算公式為：

4 實(shí)驗(yàn)與分析

為了驗(yàn)證上述傳統(tǒng)視覺和深度學(xué)習(xí)捆帶識(shí)別定位算法的性能，在硅鋼FCL入口機(jī)組自動(dòng)拆捆機(jī)器人系統(tǒng)調(diào)試過程中進(jìn)行實(shí)驗(yàn)，現(xiàn)場部署端選用win7系統(tǒng)普通工控機(jī)，CPU為Intel(R)Core(TM)i7-8700主頻3.20GHz，使用CPU進(jìn)行深度學(xué)習(xí)預(yù)測(cè)。

將捆帶數(shù)據(jù)集照片分別輸入傳統(tǒng)視覺算法接口、Faster R-CNN目標(biāo)檢測(cè)模型和YOLOv3目標(biāo)檢測(cè)模型預(yù)測(cè)接口進(jìn)行檢測(cè)，設(shè)置置信度閾值和IoU閾值均為0.8，分別計(jì)算傳統(tǒng)視覺檢測(cè)算法的準(zhǔn)確率、誤檢率、漏檢率和深度學(xué)習(xí)目標(biāo)檢測(cè)算法的精確率、召回率和AP，得到的測(cè)試結(jié)果如表1和表2所示：

表1 傳統(tǒng)視覺捆帶識(shí)別結(jié)果

表2 深度學(xué)習(xí)捆帶識(shí)別結(jié)果

5 結(jié)語

1）傳統(tǒng)視覺邊緣提取和模板匹配算法在硅鋼FCL入口開卷機(jī)組這種環(huán)境光照變化劇烈、捆帶及背景鋼卷表面特征復(fù)雜多變的情況下檢測(cè)精度較低，無法滿足自動(dòng)拆捆機(jī)器人捆帶識(shí)別定位的需求。

2）基于YOLOv3算法訓(xùn)練的深度學(xué)習(xí)捆帶檢測(cè)模型整體檢測(cè)精度為90.85%，捆帶識(shí)別的平均速度為4fps，能夠滿足硅鋼FCL入口自動(dòng)拆捆機(jī)器人的生產(chǎn)節(jié)拍和90%以上的拆捆率要求，經(jīng)過優(yōu)化后可以在性能較低的現(xiàn)場工控機(jī)上部署應(yīng)用。