基于深度學(xué)習(xí)的光纖收卷機(jī)器視覺自動(dòng)檢測(cè)技術(shù)

劉 宇， 魏希來， 王 帥， 戴 麗

(東北大學(xué) 機(jī)械工程與自動(dòng)化學(xué)院， 遼寧 沈陽 110819)

隨著光纖的出現(xiàn)，光纖繞線技術(shù)已被廣泛研究，但由于光纖直徑誤差、內(nèi)應(yīng)力和靜電力等會(huì)影響排線精度，而這些因素又具有一定的隨機(jī)性，無法通過控制系統(tǒng)的預(yù)先設(shè)置而避免，因此需要引入光纖收卷檢測(cè)系統(tǒng)用以輔助繞線.

已有對(duì)光纖收卷檢測(cè)方法的研究大多是使用傳統(tǒng)圖像處理技術(shù)對(duì)光纖的排線狀態(tài)進(jìn)行檢測(cè).郭晨霞等[1-3]提出一種通過判斷光纖環(huán)的最小包圍矩形個(gè)數(shù)的方法來判斷正常、疊線、間隙和繞制到邊等4種情況的檢測(cè)方法.張萬成等[4]提出使用圖像識(shí)別技術(shù)檢測(cè)光纖繞線的滯后角來實(shí)現(xiàn)對(duì)排線狀態(tài)的檢測(cè).楊瑞峰等[5]提出通過使用頂點(diǎn)定位法來判斷光纖收卷的各種特殊情況.

傳統(tǒng)的光纖收卷檢測(cè)方法有以下缺點(diǎn)：①模型泛化能力差.檢測(cè)方法依賴于形狀、紋理等特征，當(dāng)光纖因內(nèi)應(yīng)力和靜電力的作用而產(chǎn)生形變時(shí)，檢測(cè)方法需進(jìn)行大量修改，甚至失效；②環(huán)境適應(yīng)能力弱.當(dāng)環(huán)境發(fā)生改變，檢測(cè)方法有失效的可能；③成本昂貴.需設(shè)計(jì)獨(dú)立的光照設(shè)備以使檢測(cè)的圖像特征更為明顯.因此，盡管傳統(tǒng)的光纖收卷檢測(cè)方法已提出多年，但仍無法在工業(yè)生產(chǎn)中實(shí)際應(yīng)用.

近年來，深度學(xué)習(xí)在計(jì)算機(jī)應(yīng)用領(lǐng)域得到了廣泛的研究.Nyalala等[6]提出了一種基于機(jī)器學(xué)習(xí)的計(jì)算機(jī)視覺方法來預(yù)測(cè)番茄的質(zhì)量和體積.Wang等[7]提出了一種基于深度學(xué)習(xí)的缺陷檢測(cè)方法，可在不損失準(zhǔn)確性的前提下，識(shí)別和分類有缺陷的瓶子產(chǎn)品.盡管卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)成功地應(yīng)用于圖像分類的各個(gè)領(lǐng)域，但在光纖制備行業(yè)的應(yīng)用仍未出現(xiàn).

本文將光纖收卷的應(yīng)用要求和深度學(xué)習(xí)的算法特點(diǎn)相結(jié)合，提出采用基于深度學(xué)習(xí)的機(jī)器視覺方法對(duì)收卷過程中的收卷圖像進(jìn)行分類來解決光纖收卷問題.實(shí)驗(yàn)結(jié)果表明，該方法具有良好的實(shí)時(shí)識(shí)別準(zhǔn)確度，且模型泛化能力和適應(yīng)性均較強(qiáng)，是一種可以和控制系統(tǒng)相結(jié)合、替代人工收卷、實(shí)現(xiàn)自動(dòng)精密繞線的良好方法.

1 光纖收卷問題概述

1.1 收卷模型

收卷過程中，排線機(jī)構(gòu)的橫移速度通常是由幾個(gè)因素共同決定的.收卷模型的側(cè)視模擬圖如圖1所示.

圖1 收卷模型模擬圖

圖1中，ω表示光纖盤的轉(zhuǎn)動(dòng)速度，D表示光纖盤的直徑，d表示光纖直徑，v1表示排線機(jī)構(gòu)的橫移速度，其方向沿紙面向里或沿紙面向外，v2表示排線機(jī)構(gòu)的吐線速度，其方向沿光纖盤切線方向.光纖徑向方向剛度為K，光纖的線密度為ρ，Di表示第i層光纖所形成的圓周直徑.

為方便后續(xù)計(jì)算，本文做出如下假設(shè)：

1) 每圈光纖的長(zhǎng)度固定，不會(huì)因?yàn)楹笕饫w力的拉力而縮短長(zhǎng)度；

2) 上層光纖對(duì)下層光纖的壓力集中于下層光纖的最高點(diǎn)；

3) 上層光纖在排線過程中始終處于下層兩根光纖的夾縫中.

針對(duì)滿足以上假設(shè)的模型，第(n+1)層光纖的直徑Dn+1可被表示為

(1)

式中，g為重力加速度.

結(jié)合光纖盤運(yùn)動(dòng)關(guān)系，可得在纏繞第(n+1)層光纖時(shí)，光纖盤轉(zhuǎn)動(dòng)速度ω和排線機(jī)構(gòu)橫移速度v1的關(guān)系式如式(2)所示，以及光纖盤轉(zhuǎn)動(dòng)速度ω和排線機(jī)構(gòu)吐線速度v2的關(guān)系式如式(3)所示.

(2)

(3)

結(jié)合式(1)～式(3)，可將排線機(jī)構(gòu)的橫移速度v1表示為

(4)

1.2 光纖收卷故障

由式(4)可知，隨著n的改變，v1也是時(shí)刻改變的.但在實(shí)際生產(chǎn)中，v1通常為固定值.因此，光纖在收卷過程中常會(huì)出現(xiàn)以下兩種收卷缺陷：

1) 排線機(jī)構(gòu)的橫移速度過快，導(dǎo)致下一條線在纏繞過程中與上一條線之間出現(xiàn)間隙，即間隙問題的產(chǎn)生.

2) 排線機(jī)構(gòu)的橫移速度過慢，導(dǎo)致下一條線在纏繞過程中來不及到達(dá)下一位置，而疊放在上一條線上，即疊線問題的產(chǎn)生.

2 基于深度學(xué)習(xí)的收卷方法

本文設(shè)計(jì)的基于深度學(xué)習(xí)的收卷系統(tǒng)檢測(cè)流程圖如圖2所示.

首先通過硬件設(shè)備對(duì)收卷進(jìn)行實(shí)時(shí)的圖像采集，然后將圖像傳輸?shù)接?jì)算機(jī)中，由計(jì)算機(jī)對(duì)圖像進(jìn)行分析處理并輸出結(jié)果.若發(fā)現(xiàn)存在問題，則報(bào)警并將狀態(tài)指示燈置為特殊顏色.在報(bào)警的同時(shí)，將檢測(cè)到的特殊情況通過TCP/IP協(xié)議傳輸給后端控制系統(tǒng).控制系統(tǒng)根據(jù)傳輸來的信號(hào)對(duì)排線機(jī)構(gòu)的橫移速度做出相應(yīng)的調(diào)整以完成對(duì)該情況的自動(dòng)修復(fù).

圖2 基于深度學(xué)習(xí)的收卷系統(tǒng)檢測(cè)流程圖

2.1 圖像采集及標(biāo)記

圖像采集使用德國(guó)映美精公司的DFK 72BUC02型工業(yè)相機(jī)和SPACE公司的HF6M-2型的1/2″鏡頭.相機(jī)采集的圖像尺寸為640像素×480像素，圖像格式為jpg.數(shù)據(jù)集中圖像示例如圖3所示.

圖3 數(shù)據(jù)集中圖像示例

標(biāo)記過的圖片數(shù)據(jù)集按照7∶1∶2的比例分為訓(xùn)練集、驗(yàn)證集和測(cè)試集.每張圖片所屬集合隨機(jī)分配.集合間沒有圖片重復(fù)，各集合的圖片數(shù)量如表1所示.

表1 各集合的圖片數(shù)量

2.2 圖像高斯處理及預(yù)處理

相機(jī)使用過程中，常會(huì)因光線不足、相機(jī)過熱等原因，導(dǎo)致采集到的圖像有高斯噪聲，進(jìn)而降低檢測(cè)的可信度和準(zhǔn)確性.因此，對(duì)采集到的圖像進(jìn)行預(yù)處理前需進(jìn)行高斯處理以抑制噪聲影響.本文采用一個(gè)核為5×5的高斯濾波器進(jìn)行高斯處理，輸出像素值Ci,j的計(jì)算過程為

(5)

(6)

式中：Zi+s,j+t為輸入的像素值；Wi+s,j+t為通過高斯函數(shù)產(chǎn)生的濾波器對(duì)應(yīng)位置的權(quán)值；σ是高斯函數(shù)標(biāo)準(zhǔn)差.

綜上，本文先采用高斯處理以完成對(duì)圖片的降噪處理，再通過其他多種方法，如縮放、旋轉(zhuǎn)等，對(duì)采集到的圖像進(jìn)行預(yù)處理以增強(qiáng)圖片的多樣性.

2.3 神經(jīng)網(wǎng)絡(luò)特征識(shí)別

圖4為圖片從形成數(shù)據(jù)集到保存網(wǎng)絡(luò)模型的完整流程.

從收卷圖像數(shù)據(jù)集中隨機(jī)抽取若干張圖片形成訓(xùn)練集，再將之輸入網(wǎng)絡(luò)中進(jìn)行n輪神經(jīng)網(wǎng)絡(luò)訓(xùn)練.每輪訓(xùn)練結(jié)束后，將驗(yàn)證集輸入網(wǎng)絡(luò)中，記錄網(wǎng)絡(luò)在驗(yàn)證集上的平均損失值和平均正確率以決定是否停止訓(xùn)練.每輪訓(xùn)練中，首先從訓(xùn)練集中隨機(jī)抽取k張照片形成一個(gè)照片批次，對(duì)該批次照片依次進(jìn)行高斯處理和預(yù)處理，而后同時(shí)輸入網(wǎng)絡(luò)中，進(jìn)行一次網(wǎng)絡(luò)內(nèi)部參數(shù)迭代.一次迭代后，再輸入下一批次圖片進(jìn)行參數(shù)迭代.通過程序設(shè)定，每張照片能且僅能進(jìn)入一個(gè)批次，遍歷整個(gè)訓(xùn)練集即完成一輪訓(xùn)練.需注意的是，若最后一個(gè)批次的照片不足k張，則會(huì)從訓(xùn)練集中隨機(jī)抽取照片補(bǔ)足k張.

本文考慮到識(shí)別的準(zhǔn)確性以及神經(jīng)網(wǎng)絡(luò)模型的移動(dòng)端部署問題，分別搭建了ResNet[8]系列網(wǎng)絡(luò)和MobileNet[9-11]系列網(wǎng)絡(luò)作為神經(jīng)網(wǎng)絡(luò)訓(xùn)練及最終識(shí)別部分的網(wǎng)絡(luò).ResNet[8]系列網(wǎng)絡(luò)提高了神經(jīng)網(wǎng)絡(luò)識(shí)別的準(zhǔn)確度，其包含殘差結(jié)構(gòu)，解決了之前的神經(jīng)網(wǎng)絡(luò)層數(shù)較多而準(zhǔn)確度不高的問題.MobileNet[9-11]系列網(wǎng)絡(luò)則在正確率損失不大的前提下，大大降低了卷積神經(jīng)網(wǎng)絡(luò)對(duì)硬件運(yùn)算能力與存儲(chǔ)的依賴.

因此，本文最終搭建了以下6種網(wǎng)絡(luò)模型作為訓(xùn)練用的網(wǎng)絡(luò)，分別為ResNet-18，ResNet-34，ResNet-50，MobileNet-v1[9]，MobileNet-v2[10]和MobileNet-v3-Small[11].

圖4 神經(jīng)網(wǎng)絡(luò)特征識(shí)別的系統(tǒng)流程

2.4 深度神經(jīng)網(wǎng)絡(luò)的搭建與訓(xùn)練

神經(jīng)網(wǎng)絡(luò)的搭建是在Python平臺(tái)上基于百度PaddlePaddle深度學(xué)習(xí)框架進(jìn)行編程的，使用機(jī)器視覺庫OpenCV[12]作為圖像處理模塊.使用線上百度AI Studio(CPU為8 Cores；GPU為Tesla V100-16 GB)GPU環(huán)境進(jìn)行訓(xùn)練及測(cè)試，本地機(jī) (CPU為Intel i5-4200U 1.6 GHz；RAM為8 GB) CPU環(huán)境進(jìn)行測(cè)試.

本文采用遷移學(xué)習(xí)來加快神經(jīng)網(wǎng)絡(luò)訓(xùn)練速度[13].其方法是Han等[14]提出的將在大數(shù)據(jù)集上訓(xùn)練好的網(wǎng)絡(luò)參數(shù)作為新網(wǎng)絡(luò)的初始參數(shù)重新開始訓(xùn)練的方法.本文使用的預(yù)訓(xùn)練參數(shù)是在ImageNet大賽數(shù)據(jù)集上訓(xùn)練好的網(wǎng)絡(luò)參數(shù).

學(xué)習(xí)率和梯度下降算法的選擇對(duì)神經(jīng)網(wǎng)絡(luò)的的訓(xùn)練也尤為重要.學(xué)習(xí)率的選擇決定著神經(jīng)網(wǎng)絡(luò)能否收斂到局部最小值以及何時(shí)收斂到最小值.梯度下降算法的選擇決定著神經(jīng)網(wǎng)絡(luò)收斂的速度.本文的梯度下降算法選擇使用Adam梯度下降法[15].同時(shí)，本文遵循文獻(xiàn)[15]中建議的優(yōu)化器設(shè)置，將學(xué)習(xí)率設(shè)置為0.001.

本文將每批次輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練的照片數(shù)量選取為64，即，前文2.3節(jié)中的k取值為64.同時(shí)，因本文使用了遷移學(xué)習(xí)，不需要龐大的訓(xùn)練輪數(shù)，本文將訓(xùn)練輪數(shù)取為200，即，前文2.3節(jié)中的n取值為200.

3 實(shí)驗(yàn)驗(yàn)證與結(jié)果分析

3.1 性能指標(biāo)

本文采用平均正確率來檢驗(yàn)神經(jīng)網(wǎng)絡(luò)的分類準(zhǔn)確度.其計(jì)算公式為

(7)

式中：R為平均正確率，表示被正確分類的樣本比例；NT表示網(wǎng)絡(luò)預(yù)測(cè)結(jié)果與實(shí)際情況相吻合的圖片數(shù)量；NR表示網(wǎng)絡(luò)預(yù)測(cè)結(jié)果與實(shí)際結(jié)果不同的圖片數(shù)量.

3.2 實(shí)驗(yàn)結(jié)果及分析

在對(duì)超參數(shù)進(jìn)行設(shè)置后，將訓(xùn)練集的圖片輸入神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練.每輪訓(xùn)練結(jié)束后，將驗(yàn)證集輸入網(wǎng)絡(luò)中得到平均損失值和平均正確率如圖5所示.

由圖5可發(fā)現(xiàn)：隨著訓(xùn)練輪數(shù)的增加，驗(yàn)證集在不同神經(jīng)網(wǎng)絡(luò)上的平均損失值均在慢慢趨近于0，經(jīng)過200輪訓(xùn)練后，各神經(jīng)網(wǎng)絡(luò)均已收斂.同時(shí)，隨著訓(xùn)練輪數(shù)的增加，驗(yàn)證集在不同神經(jīng)網(wǎng)絡(luò)上的平均正確率也在慢慢趨近于100%，故可得出：神經(jīng)網(wǎng)絡(luò)未發(fā)生過擬合現(xiàn)象.

本文在訓(xùn)練結(jié)束后，將測(cè)試集輸入保存的網(wǎng)絡(luò)模型中進(jìn)行預(yù)測(cè).測(cè)試環(huán)境分別為AI Studio在線GPU環(huán)境和本地CPU環(huán)境，得到結(jié)果如表2所示.

表2中，t1和t2分別表示在AI Studio在線GPU環(huán)境下和本地CPU環(huán)境下，一張圖片自輸入程序至輸出結(jié)果所用的時(shí)間.從表2中可發(fā)現(xiàn)：各網(wǎng)絡(luò)模型在測(cè)試集上的正確率均達(dá)到了95%以上，說明本文提出的方法的泛化能力和環(huán)境適應(yīng)能力均較強(qiáng).其中，ResNet-50的識(shí)別正確率最高，達(dá)到了99.19%，但是其處理時(shí)間較長(zhǎng)，是其他網(wǎng)絡(luò)的2～3倍.而處理時(shí)間最短的MobileNet-v1的識(shí)別正確率又相對(duì)較低.

圖5 各個(gè)網(wǎng)絡(luò)模型訓(xùn)練的平均損失值和平均正確率變化曲線

表2 不同網(wǎng)絡(luò)模型的預(yù)測(cè)結(jié)果

將高斯濾波階段和圖像預(yù)處理階段隔離出來發(fā)現(xiàn)：高斯濾波階段和圖像預(yù)處理階段的平均耗時(shí)分別為6.78 ms和15.57 ms.因此，相比于CPU環(huán)境，GPU環(huán)境更適宜作為神經(jīng)網(wǎng)絡(luò)處理的環(huán)境.實(shí)際生產(chǎn)中光纖繞制機(jī)的轉(zhuǎn)速為60 r/min，因此，本文提出的采用神經(jīng)網(wǎng)絡(luò)作為識(shí)別主體的檢測(cè)系統(tǒng)，無論在CPU環(huán)境下還是在GPU環(huán)境下，其檢測(cè)速度均可以滿足實(shí)時(shí)性的要求.

結(jié)合收卷實(shí)際情況、神經(jīng)網(wǎng)絡(luò)的分類正確率和處理時(shí)間，本文將ResNet-18和MobileNet-v3-Small在測(cè)試集上的分類結(jié)果以混淆矩陣的形式表示，如圖6和圖7所示.

圖6 ResNet-18網(wǎng)絡(luò)模型的混淆矩陣分類結(jié)果

圖7 MobileNet-v3-Small網(wǎng)絡(luò)模型的混淆矩陣分類結(jié)果

通過對(duì)混淆矩陣的分析可以發(fā)現(xiàn)：①針對(duì)疊線情況，神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果與實(shí)際情況完全相符，預(yù)測(cè)的正確率為100%；②針對(duì)正常情況，兩種神經(jīng)網(wǎng)絡(luò)的分類正確率分別為96.47%和97.06%；③針對(duì)間隙情況，兩種神經(jīng)網(wǎng)絡(luò)的分類正確率分別為94.67%和95.33%.故可得出：神經(jīng)網(wǎng)絡(luò)可有效判別疊線情況，而對(duì)于正常情況和間隙情況，存在一定的誤判.將分類失誤的照片提取出來，發(fā)現(xiàn)這些照片上的光纖均存在較小的間隙，是很容易造成誤判的.

通過對(duì)誤判的照片進(jìn)行分析后，認(rèn)為：在正常繞線的過程中，光纖間有可能因?yàn)閼?yīng)力作用而產(chǎn)生較小的縫隙，盡管這類照片嚴(yán)格的分類應(yīng)該是正常，但也允許將此類照片置為間隙的.同時(shí)，在排線過程中，光纖由正常轉(zhuǎn)為間隙的過程中，光纖間最初也會(huì)出現(xiàn)較小的縫隙，盡管這類照片嚴(yán)格的分類應(yīng)該是間隙情況，但也允許將此類照片置為正常的.

綜上，本文提出收卷檢測(cè)方法的實(shí)時(shí)性和正確率均滿足實(shí)際生產(chǎn)要求，是可以應(yīng)用在實(shí)際光纖生產(chǎn)中的光纖狀態(tài)檢測(cè)的.

3.3 光纖收卷智能系統(tǒng)搭建

本文在收卷實(shí)驗(yàn)的基礎(chǔ)上，在Python平臺(tái)上開發(fā)了一個(gè)光纖收卷智能軟件，其界面如圖8所示.

圖8 光纖收卷智能軟件界面

該軟件除了有基本的光纖檢測(cè)功能外，還有人工標(biāo)定模塊用于將當(dāng)前照片保存到本地并生成對(duì)應(yīng)標(biāo)簽，以及相機(jī)調(diào)整模塊對(duì)相機(jī)參數(shù)進(jìn)行適時(shí)調(diào)整.

通過表2對(duì)不同神經(jīng)網(wǎng)絡(luò)的分類正確率和處理時(shí)間的分析發(fā)現(xiàn)：在損失率相差不大的前提下，MobileNet-v3-Small可以大大降低網(wǎng)絡(luò)對(duì)圖片的處理時(shí)間.因此，本文選擇MobileNet-v3-Small模型作為該軟件的檢測(cè)網(wǎng)絡(luò).

經(jīng)測(cè)試，該軟件在本地機(jī)上的最高檢測(cè)速度可達(dá)每分鐘600張，而光纖繞制機(jī)的轉(zhuǎn)速為60 r/min，滿足實(shí)際生產(chǎn)檢測(cè)要求.

4 結(jié) 語

本文提出采用基于深度學(xué)習(xí)的機(jī)器視覺方法對(duì)收卷過程中的收卷圖像進(jìn)行分類來解決光纖收卷問題.該方法泛化能力和適應(yīng)能力強(qiáng).通過實(shí)驗(yàn)驗(yàn)證，該方法對(duì)收卷過程中的疊線問題識(shí)別正確率為100%，對(duì)間隙問題的識(shí)別正確率在94.67%以上，且該方法檢測(cè)速度高于實(shí)際生產(chǎn)繞線速度，達(dá)到了實(shí)時(shí)性要求.因此，該方法是一種可以和控制系統(tǒng)相結(jié)合替代人工收卷，實(shí)現(xiàn)自動(dòng)精密繞線的有效方法.