基于深度學習的銅封帽內(nèi)螺紋缺陷檢測研究

姜闊勝，徐 瑞，王 迪

(1.安徽理工大學機械工程學院，安徽 淮南 232001；2.安徽理工大學深部煤礦采動響應與災害防控國家重點實驗室，安徽 淮南 232001；3.內(nèi)蒙古工業(yè)大學機械工程學院，內(nèi)蒙古 呼和浩特 010000)

銅封帽在整個家電工業(yè)中是使用量大且重要的部件，在家電設備中起著密封和緊固的作用。由于淬火冷卻速度過快造成銅封帽產(chǎn)生裂紋，帶有裂紋的封帽裝備到電器設備中會由于密封不充分而引發(fā)材料泄漏，達不到產(chǎn)品預期效果。因此迫切需要智能化、自動化的檢測手段來快速且準確地識別銅封帽內(nèi)螺紋缺陷。針對外螺紋缺陷的研究較多，文獻[1-2]采用非接觸式測量方法測量內(nèi)螺紋參數(shù)，通過濾波和邊緣檢測等方法對像素特征進行轉化，將內(nèi)螺紋圖像檢測問題轉化為外螺紋圖像檢測問題。上述方式雖能解決特定場景下內(nèi)螺紋裂紋缺陷問題，但對外部環(huán)境變化極為敏感，檢測方法泛化能力有限。因此，本文提出基于改進YOLOv3的缺陷檢測算法，進而提升針對內(nèi)螺紋裂紋缺陷檢測的精度和效率。目前應用于缺陷檢測的深度學習網(wǎng)絡主要分為目標檢測網(wǎng)絡和圖像分割網(wǎng)絡兩類：前者是基于大量樣本訓練，得到缺陷置信度和預測框信息，如R-CNNs[3-5]、SSD[6]、YOLOs[7-9]等；后者是圖像分割類算法對輸入圖片的每一個像素進行分類，如FCN[10]、U-Net[11]、PSPNet[12]等。

本文采用改進的YOLOv3算法。首先，使用K-means++算法[13]對銅封帽裂紋缺陷數(shù)據(jù)集的目標候選框尺寸進行聚類分析，將分析結果應用于算法訓練中；其次，調(diào)整網(wǎng)絡結構，在網(wǎng)絡預測部分分別添加SqueezeExcitation模塊[14]，以強化有效信息、抑制無用信息，提升模型的準確性。

1 YOLOv3網(wǎng)絡

運用YOLO系列算法時，訓練模型是通過卷積神經(jīng)網(wǎng)絡直接輸入整張圖像、完整地輸出目標預測結果、期間沒有生成多個候選區(qū)的過程，是一種端到端的網(wǎng)絡模型。其特點是檢測十分迅速，能夠快速輸出物體檢測的類別和位置信息。

YOLOv3網(wǎng)絡通過對不同尺度特征的利用，提升了小目標物體的檢測精度；同時，YOLOv3網(wǎng)絡借鑒了殘差神經(jīng)網(wǎng)絡的思想，加深網(wǎng)絡的同時不丟失原始輸入張量的信息，從而緩解了梯度消失帶來的問題并提升了網(wǎng)絡檢測精度[15]。整個YOLOv3網(wǎng)絡取消了池化和全連接層，其通過調(diào)節(jié)卷積核的步長以達到控制張量尺度的目的。其中，卷積、批歸一化(BN)和LeRelu激活函數(shù)作為整體單元使用。

2 改進YOLOv3

本文的研究對象是銅封帽的內(nèi)螺紋缺陷，裂紋呈長條狀。在YOLOv3模型中使用的先驗框經(jīng)過COCO數(shù)據(jù)集聚類得到，顯然不適合本文的數(shù)據(jù)集，因此本文首先對先驗框進行重新聚類篩選。此外，針對銅封帽內(nèi)螺紋缺陷特征，可以通過強化該特征的方法以實現(xiàn)提升檢測精度，由此引入SqueezeExcitation模塊，將其加入網(wǎng)絡結構中，得到良好的實驗結果。

2.1 先驗框的聚類分析

YOLOv3中采用了Faseter R-CNN中的先驗框機制。先驗框是一組寬高固定的矩形,其尺寸的大小會影響loss計算效率，從而影響網(wǎng)絡模型對目標檢測的精度與速度。合適的先驗框能夠加快收斂速度，因為當預測框與真實框接近時IoU的分數(shù)會更高，其計算公式如公式(1)所示。

(1)

式中：bpred為預測框；btrue為真實框。

YOLOv3對于邊界框的預測采用錨點框的方法， 首先使用K-means++聚類算法對COCO數(shù)據(jù)集的先驗框進行計算， 對3種尺度的特征圖分別獲得3個先驗框， 最終得到9個先驗框，尺寸如表1所示。

表1 YOLOv3先驗框尺寸表

在YOLOv3中采用的是COCO數(shù)據(jù)集聚類形成的先驗框,但是對本研究對象而言并不合適。因為該數(shù)據(jù)集聚類出的先驗框大小并不能滿足銅封帽的缺陷尺寸要求，所以需要重新對銅封帽數(shù)據(jù)集進行K-means++聚類分析。利用歐式距離作為度量標準來衡量樣本數(shù)據(jù)之間的關系，將距離小的樣本劃分為一類。隨機選取1個樣本為初始質(zhì)心，輪盤法確定3個初始質(zhì)心。計算每個樣本與初始質(zhì)心的歐式距離，樣本距離小的歸為一類，最后利用每類的均值作為新的質(zhì)心，直到新的質(zhì)心不再發(fā)生變化。通過K-means++在銅封帽數(shù)據(jù)集上迭代得到3個聚類中心,尺寸分別為(12×32)(15×65)(22×98),將該尺寸應用于改進的YOLOv3算法中。

2.2 改進的 YOLO v3網(wǎng)絡結構

1)SqueezeExcitation模塊 Squeeze Excitation模塊能夠對特征圖進行自適應強化，增強有益特征通道并抑制無用特征通道，實現(xiàn)方法如圖1所示。其主要分為Squeeze操作和Excitation操作，計算步驟如式(2)～式(4)。

圖1 Squeeze Excitation模塊原理

(2)

s=Fsq(zc,W1，W2)=σ(W2δ(W1zc))

(3)

X=Fscale(uc,s)=s·uc

(4)

通過式(2)得到形狀為1×1×c的zc張量，將zc代入式(3)計算得到形狀同為1×1×c的s張量，最后將s與與uc進行卷積操作得到張量X，X的有益特征得到增強，無關特征受到抑制。

2)改進的YOLOv3整體結構 為了使YOLOv3模型適應于銅封帽裂紋缺陷的檢測，對Darknet-53網(wǎng)絡輸出的特征張量進行強化。從特征通道之間的關系入手，文章建立特征通道之間相互依賴關系的模型，將SE模塊(SqueezeExcitation)嵌入YOLOv3檢測網(wǎng)絡中，改進的YOLOv3結構如圖2所示。

圖2 改進的YOLOv3網(wǎng)絡結構簡圖

Darknet-53在YOLOv3網(wǎng)絡中會輸出3個尺度的特征張量，先對其卷積操作前進行Squeeze和Excitation操作，隨后進行卷積及上采樣，最終生成特征圖進行目標檢測。

改進的YOLOv3算法加入了SqueezeExcita-tion模塊，模型通過學習的方式來自動獲取到每個特征通道的重要程度，隨后依照該重要程度增強有用特征并抑制對當前任務用處不大的特征，讓網(wǎng)絡利用全局信息有選擇地增強特征通道并抑制無用特征通道，從而實現(xiàn)特征通道自適應校準，增加了檢測準確性。

3 實驗

3.1 實驗數(shù)據(jù)集以及實驗條件

本實驗在Windows 10環(huán)境下完成，計算機內(nèi)存為32GB，CPU為AMDRyzen9 5900X3.7GHz，GPU為RTX-2080ti，顯存為11GB；python版本為3.8.0；CUDA版本為10.0；cudnn版本為7.4.5；同時安裝了OpenCV 4.2和TensorFlow2.4等第三方庫配合完成神經(jīng)網(wǎng)絡的實驗。

本實驗檢測的工件為R410a銅封帽，內(nèi)牙直徑15mm。所使用的帶有裂紋的銅封帽共計130個，使用工業(yè)相機對銅封帽進行拍攝，相機設備為CCD面陣工業(yè)相機，鏡頭為工業(yè)內(nèi)窺鏡頭，采集設備如圖3所示。共采集500張原始圖像，像素為1 280×1 024的灰度圖像。

圖3 樣本圖像采集結構圖

為了避免訓練過程中可能出現(xiàn)的過擬合現(xiàn)象，首先對原始圖像進行數(shù)據(jù)增強，原始圖像中一個工件對應一條裂紋，通過裂紋素材對原始圖片進行加工，使得一張圖片獲得6到10條裂紋。同時，對圖片進行隨機角度旋轉，以及添加高斯噪聲操作。經(jīng)過數(shù)據(jù)增強后的圖像共計5 000幅， 手動劃分訓練集和測試集樣本， 劃分比例為9∶1， 分別為4 500幅和500幅。

標注數(shù)據(jù)時，為了提升數(shù)據(jù)標注精度，本文對原始圖片進行對數(shù)極坐標操作，公式如式(5)～式(7)所示，效果如圖4所示。隨后使用LabelImg軟件進行裂紋標注。

圖4 樣本圖像對數(shù)極化

(5)

(6)

θ=arctan((y-yc)/(x-xc))

(7)

式中：x、y為圖像原始坐標；xc、yc為圖像中心坐標；ρ為對數(shù)極坐標半徑；θ為對數(shù)極坐標偏轉角度。

3.2 神經(jīng)網(wǎng)絡模型訓練

本文關于YOLO系列的模型均加載COCO數(shù)據(jù)集的預訓練權重，通過預訓練權重能夠減少訓練時間，提升檢測準確率。在訓練過程中凍結Darknet-53特征提取部分參數(shù)，分別訓練YOLOv3以及改進YOLOv3的detection部分網(wǎng)絡參數(shù)。訓練時輸入的原始圖片尺度調(diào)整為3×416×416，學習率設置為1.0×10-3，worm-up參數(shù)設置為1 000，epoch設置為300輪，優(yōu)化器選擇為Adam[16]。YOLOv3改進后訓練過程中l(wèi)oss收斂曲線如圖5所示。經(jīng)過3 000次迭代，loss值趨近于0.3左右，從loss值的收斂情況可以得出，改進后的YOLOv3網(wǎng)絡模型訓練結果理想，可以進行進一步測試。

圖5 改進的YOLOv3算法訓練loss值

YOLOv3檢測效果與改進后的YOLOv3檢測效果如圖6所示，二者性能對比如表2所示。改進后的YOLOv3算法裂紋缺陷檢測準確，缺陷位置定位也比YOLOv3算法更精準。

圖6 YOLOv3與改進的YOLOv3檢測效果圖

表2 改進的YOLOv3算法與YOLOv3性能對比 %

從表2中可以看出，與原YOLOv3模型對比，改進的YOLOv3對銅封帽內(nèi)螺紋裂紋缺陷的誤檢和漏檢均有明顯的下降，檢測平均準確率高達96.1%，提升了5.2%，誤檢率和漏檢率分別下降了2.7%和22.9%，說明改進后的YOLOv3算法具有更強的泛化能力。

為了更全面地驗證改進后YOLOv3的有效性，本文在銅封帽數(shù)據(jù)集上同時對FasterR-CNN模型、SSD模型以及YOLOv3模型進行對比試驗，以平均準確率作為主要評價方法、交并比(IoU)和檢測速率作為評價指標，試驗結果如表3所示。

表3 多種算法對內(nèi)螺紋缺陷檢測效果對比

從表3可以看出，平均準確率最高的模型為改進后YOLOv3模型，檢測速度最快的模型為YOLOv3模型。改進后YOLOv3模型的IoU值相對于原始YOLOv3模型由0.59提升至0.66，主要原因是本文采用了重新聚類，針對銅封帽數(shù)據(jù)集改進了先驗框參數(shù)，從而使得預測框位置更加精準；改進后的網(wǎng)絡與FasterR-CNN算法相比，準確度提升了3.9%，說明SqueezeExcitation模塊強化了重要特征信息，提升了網(wǎng)絡預測精度；由于SqueezeExcitation模塊的加入增大了網(wǎng)絡的計算量，但從實驗結果上看，檢測速率下降了2FPS。因此，改進后的YOLOv3模型算法同時保證了檢測的準確性和檢測速度，能夠較好地完成銅封帽內(nèi)螺紋裂紋缺陷的檢測任務。

4 結論

基于深度學習的缺陷檢測算法, 本文提出一種YOLOv3改進算法, 將其應用于銅封帽內(nèi)螺紋裂紋缺陷檢測領域。通過自主聚類先驗框, 調(diào)整先驗框參數(shù)和添加Squeeze Excitation模塊進入檢測模型中等方法改進YOLOv3算法, 最終YOLOv3以及改進的YOLOv3算法進行對比實驗。主要得出以下結論：

(1)k-means++聚類處理預選框, 使得深度學習模型更快收斂；

(2)極化處理后的數(shù)據(jù)集有效減少了標注樣本的工作量, 同時提升了模型訓練精度；

(3)YOLOv3模型中添加Squeeze Excitation模塊, 銅封帽缺陷檢測精度由91.1%提升到96.3%。

綜上所述, 改進的YOLOv3算法平均準確率有大幅的提高, 預測框更加準確, 算法具有良好的泛化性能, 對銅封帽的質(zhì)檢效率和精度提升顯著。