基于改進(jìn)Faster R-CNN的鋁型材表面缺陷檢測(cè)研究

吳吉靈　金玉珍

關(guān)鍵詞：表面缺陷檢測(cè)；Faster R-CNN；特征金字塔；可變形卷積；感興趣區(qū)域池化

中圖分類號(hào)：TG146.21；TP391.4 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1006-8228（2023）011-52-05

0 引言

鋁型材憑借其高強(qiáng)度、輕量化的優(yōu)秀特性，成為航空航天裝備等核心領(lǐng)域中不可或缺的材料之一[1]。然而，受制于環(huán)境因素的制約，鋁型材在生產(chǎn)過(guò)程中不可避免的會(huì)出現(xiàn)一些缺陷，輕則影響工業(yè)產(chǎn)品的外觀質(zhì)量，重則帶來(lái)潛在的安全隱患[2]。因此，解決鋁型材表面缺陷的檢測(cè)問(wèn)題，對(duì)于保障工業(yè)安全生產(chǎn)和提高產(chǎn)品質(zhì)量都具有重要意義。

基于傳統(tǒng)圖像處理的機(jī)器視覺(jué)方法[3]往往存在較大的局限性，它需要根據(jù)不同的目標(biāo)去手工設(shè)計(jì)特征和分類算法，對(duì)于通用的場(chǎng)景適應(yīng)能力較差，且一旦脫離簡(jiǎn)單的場(chǎng)景使用，就很難達(dá)到令人滿意的檢測(cè)性能。

近年來(lái)，深度學(xué)習(xí)方法已經(jīng)逐漸取代傳統(tǒng)機(jī)器視覺(jué)方法，被廣泛應(yīng)用于鋁型材表面缺陷檢測(cè)研究[4]。Li 等[5]采用自適應(yīng)閾值法提取鋁型材表面缺陷的圖像特征，并基于反向傳播神經(jīng)網(wǎng)絡(luò)對(duì)缺陷完成了分類；Sun 等[6]改進(jìn)了YOLOv3 算法，為鋁型材表面缺陷提供了一種端到端的解決方案，并提升了檢測(cè)精度；Duan和Zhang[7]提出了一種基于梯度圖像的雙流卷積神經(jīng)網(wǎng)絡(luò)，對(duì)鋁型材表面缺陷進(jìn)行了有效的分類和識(shí)別；Neuhauser 等[8]利用深度卷積神經(jīng)網(wǎng)絡(luò)從視頻中提取特征，用于鋁型材表面缺陷的實(shí)時(shí)分類和檢測(cè)。劉孝保等[9]提出了一種主從特征融合驅(qū)動(dòng)的鋁型材表面缺陷檢測(cè)模型，有效提高了檢測(cè)精度；曹陽(yáng)等[10]在網(wǎng)絡(luò)結(jié)構(gòu)上引入了擠壓激活模塊，使模型更好地聚焦于鋁型材缺陷的維度特征，提升了網(wǎng)絡(luò)的檢測(cè)精度；Wei 等[11]提出了一種基于深度學(xué)習(xí)的多尺度缺陷檢測(cè)網(wǎng)絡(luò)，優(yōu)化了對(duì)鋁型材中尺度差異過(guò)大缺陷的檢測(cè)效果。

上述相關(guān)研究雖然提升了檢測(cè)的精度，但是面對(duì)鋁型材表面缺陷復(fù)雜多變和微小缺陷難以檢測(cè)的問(wèn)題，仍有一定的提升空間。本文提出了一種改進(jìn)的Faster R-CNN 算法[12]，用于鋁型材表面缺陷檢測(cè)。算法使用ResNet-101[13]代替VGG-16 作為特征提取網(wǎng)絡(luò)，避免梯度消失和梯度爆炸的發(fā)生；加入特征金字塔結(jié)構(gòu)（Feature Pyramid Network，F(xiàn)PN）[14]以融合多尺度的特征，提升微小缺陷的檢測(cè)效果；使用可變形卷積（Deformable Convolution Network，DCN）[15]模塊改善標(biāo)準(zhǔn)卷積模塊對(duì)不規(guī)則缺陷形狀的適應(yīng)能力；運(yùn)用精確感興趣區(qū)域池化（Precise ROI Pooling）[16]解決量化取整帶來(lái)的信息丟失問(wèn)題，增強(qiáng)小目標(biāo)缺陷的定位能力；并使用K 均值聚類（K-means Clustering）算法對(duì)初始錨框的尺寸和大小進(jìn)行調(diào)整。最后通過(guò)實(shí)驗(yàn)結(jié)果證明了改進(jìn)算法的有效性。

1 Faster R-CNN概述

Faster R-CNN，作為雙階段目標(biāo)檢測(cè)算法中的典型代表，已被廣泛應(yīng)用于學(xué)術(shù)界和工業(yè)界。它是在R-CNN[17]和Fast R-CNN[18]的基礎(chǔ)上發(fā)展而來(lái)，通過(guò)引入?yún)^(qū)域候選網(wǎng)絡(luò)（Region Proposal Network，RPN）代替選擇性搜索（Selective Search）算法來(lái)生成區(qū)域候選框，從而顯著提高了檢測(cè)速度和準(zhǔn)確度。

Faster R-CNN 的具體結(jié)構(gòu)如圖1 所示，主要包含特征提取網(wǎng)絡(luò)、區(qū)域候選網(wǎng)絡(luò)、感興趣區(qū)域池化（ROI Pooling）和分類回歸層四部分。①特征提取網(wǎng)絡(luò)VGG-16 對(duì)原始圖像的特征進(jìn)行提?。虎趨^(qū)域候選網(wǎng)絡(luò)通過(guò)滑動(dòng)窗口的方式在特征圖上提取一系列錨點(diǎn)，然后針對(duì)每個(gè)錨點(diǎn)分別預(yù)測(cè)其是否為目標(biāo)區(qū)域，并對(duì)預(yù)測(cè)結(jié)果進(jìn)行修正，最終得到精確的候選目標(biāo)區(qū)域；③感興趣區(qū)域池化將任意大小的候選區(qū)域轉(zhuǎn)化為固定大小的特征圖，用于后續(xù)過(guò)程；④分類回歸層進(jìn)一步細(xì)化區(qū)分類別和獲取更精確的預(yù)測(cè)框。

2 改進(jìn)的Faster R-CNN 算法

針對(duì)鋁型材表面缺陷的檢測(cè)難點(diǎn)，本文從五個(gè)方面對(duì)Faster R-CNN 算法進(jìn)行了改進(jìn)，改進(jìn)后結(jié)構(gòu)如圖2 所示。選取ResNet-101 作為主干網(wǎng)絡(luò)以增強(qiáng)缺陷特征的提取能力；使用特征金字塔結(jié)構(gòu)獲取多尺度的特征信息，增強(qiáng)微小缺陷的檢測(cè)能力；使用可變形卷積以適應(yīng)多變的缺陷形狀；運(yùn)用Precise ROIPooling 消除量化取整引起的信息丟失，增強(qiáng)微小缺陷的定位能力；最后對(duì)初始錨框進(jìn)行優(yōu)化，以適應(yīng)檢測(cè)任務(wù)，提升準(zhǔn)確率。

2.1 特征提取網(wǎng)絡(luò)的改進(jìn)

最初的Faster R-CNN 以VGG-16 作為特征提取部分，它包含了三個(gè)全連接層，為整個(gè)網(wǎng)絡(luò)帶來(lái)了過(guò)多的參數(shù)量和計(jì)算復(fù)雜度，并且容易出現(xiàn)梯度消失和梯度爆炸的情況。本文使用ResNet-101 代替VGG-16 提取鋁型材表面缺陷的特征，通過(guò)殘差單元解決了上述問(wèn)題，有利于獲取更高質(zhì)量的特征信息。

ResNet 的網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示?？蛑兴x為ResNet-101，其中包括了殘差塊、全局平均池化層和全連接層。

2.2 多尺度特征融合的改進(jìn)

對(duì)鋁型材表面缺陷分析可知，其中各類缺陷尺度差異巨大，如圖4所示，且微小缺陷數(shù)量多。改進(jìn)了特征提取網(wǎng)絡(luò)的Faster R-CNN 在只利用單尺度特征圖的情況下，難以保持較好的魯棒性，且最后一層特征圖在下采樣32 倍后，已經(jīng)很難檢測(cè)到微小缺陷的信息。

本文在此基礎(chǔ)上引入特征金字塔結(jié)構(gòu)，將淺層幾何信息和深層語(yǔ)義信息相結(jié)合，加強(qiáng)了缺陷特征的表達(dá)能力，同時(shí)也增加了小目標(biāo)特征的映射分辨率，有效地改善了算法對(duì)多尺度缺陷的檢測(cè)能力和微小缺陷的識(shí)別能力。

2.3 可變形卷積的改進(jìn)

鋁型材表面上存在許多細(xì)長(zhǎng)的條狀缺陷，例如角位漏底，而傳統(tǒng)的正方形卷積核結(jié)構(gòu)難以對(duì)其形成有效的特征提取。為加強(qiáng)模型對(duì)這類缺陷的檢測(cè)能力，本文使用可變形卷積網(wǎng)絡(luò)中的可變形卷積來(lái)對(duì)原網(wǎng)絡(luò)中的卷積部分進(jìn)行改進(jìn)。

圖5 為標(biāo)準(zhǔn)卷積和可變形卷積的對(duì)比示意圖，其中圖5（a）為標(biāo)準(zhǔn)卷積，圖5（b）、圖5（c）、圖5（d）均為可變形卷積?？勺冃尉矸e在每個(gè)點(diǎn)都加入了一個(gè)可學(xué)習(xí)的偏移量，使感受野不在局限于標(biāo)準(zhǔn)的方形結(jié)構(gòu)，而是根據(jù)目標(biāo)自適應(yīng)的調(diào)整形狀，從而獲取更加充分的缺陷特征。

2.4 ROI Pooling 結(jié)構(gòu)的改進(jìn)

Faster R-CNN 算法使用ROI Pooling 結(jié)構(gòu)將感興趣區(qū)域池化成所需的固定尺度大小，如圖6（a）所示。整個(gè)過(guò)程中包含兩次量化取整操作，帶來(lái)了數(shù)據(jù)上的丟失，同時(shí)候選框的位置相較于初始位置也發(fā)生了相對(duì)應(yīng)的變化，影響了微小缺陷的定位精度。

Precise ROI Pooling在感興趣區(qū)域?qū)R（ROI Align）的基礎(chǔ)上更進(jìn)一步，如圖6（b）所示，使用二重積分的方式對(duì)特征圖進(jìn)行整體池化，取消了量化取整的同時(shí)沒(méi)有引起額外的參數(shù)加入，最大程度地使數(shù)據(jù)信息得到保存。并且本文在原網(wǎng)絡(luò)的基礎(chǔ)上，增加了一條支線的ROI Pooling 去獲取額外的上下文信息，更好地優(yōu)化候選框。

2.5 錨框尺寸的改進(jìn)

由于鋁型材表面缺陷的形狀、尺度差異巨大，區(qū)域候選網(wǎng)絡(luò)中的初始錨框難以對(duì)其進(jìn)行擬合，使模型的檢測(cè)精度出現(xiàn)了下降。因此，本文使用K-means 聚類算法對(duì)數(shù)據(jù)集進(jìn)行分析，從而獲取更優(yōu)的錨框尺寸和寬高比，以優(yōu)化檢測(cè)效果。

圖7 為K-means 聚類算法的具體流程，文中K 值取4，優(yōu)化后錨框大小為{32²，64²，128²，256²，512²}，錨框?qū)捀弑葹閧0.005，0.2，0.5，1，2，5，20}。

3 實(shí)驗(yàn)與結(jié)果分析

實(shí)驗(yàn)環(huán)境如下：Linux系統(tǒng)，其版本為Ubuntu18.04.6；CPU 型號(hào)為Intel Core Processor，其核心數(shù)為12 核；GPU 型號(hào)為NVIDIA Tesla V100，其顯存為32GB，CUDA 版本為11.3；算法實(shí)現(xiàn)框架為PyTorch，Python版本為3.7，并且進(jìn)一步安裝了支持算法代碼運(yùn)行的相關(guān)第三方庫(kù)。

實(shí)驗(yàn)參數(shù)如下：使用隨機(jī)梯度下降算法（SGD）進(jìn)行權(quán)重更新，其中動(dòng)量為0.9，權(quán)重衰減為0.0001，初始學(xué)習(xí)率為0.005，訓(xùn)練周期為26。學(xué)習(xí)率分別在第16個(gè)epoch 和第22 個(gè)epoch 衰減為原先的1/10。

3.1 實(shí)驗(yàn)數(shù)據(jù)集

本文實(shí)驗(yàn)采用阿里云天池平臺(tái)所提供的鋁型材表面缺陷數(shù)據(jù)集，數(shù)據(jù)集中共包含4356 張圖片，其中單缺陷圖片為2776 張、多缺陷圖片為229 張、無(wú)缺陷圖片為1351 張，分辨率均為2560×1920 像素。缺陷的類型有10 種，如圖8 所示，分別為不導(dǎo)電、擦花、角位漏底、桔皮、漏底、噴流、漆泡、起坑、雜色和臟點(diǎn)。

按照8：1：1 的比例將數(shù)據(jù)集進(jìn)行劃分，并對(duì)訓(xùn)練集和驗(yàn)證集進(jìn)行數(shù)據(jù)增強(qiáng)，包括圖像翻轉(zhuǎn)、圖像旋轉(zhuǎn)和圖像亮度調(diào)節(jié)，從而提升模型泛化性，增強(qiáng)后的訓(xùn)練集數(shù)量為15505 張。

3.3 檢測(cè)算法對(duì)比實(shí)驗(yàn)

為了證明本文所提出的方法在鋁型材表面缺陷檢測(cè)任務(wù)上的優(yōu)越性，本節(jié)將通過(guò)實(shí)驗(yàn)與一些主流及其改進(jìn)算法進(jìn)行對(duì)比，結(jié)果如表1 所示。

表1 顯示，單階段目標(biāo)檢測(cè)算法的檢測(cè)速度較快，而雙階段目標(biāo)檢測(cè)算法在檢測(cè)精度上更有優(yōu)勢(shì)。本文方法在mAP 指標(biāo)上明顯高于其他算法，更能滿足實(shí)際工業(yè)生產(chǎn)過(guò)程中的需求，盡管在檢測(cè)速度上略有遜色，但仍然可以對(duì)缺陷較快完成檢出。

3.4 改進(jìn)策略消融實(shí)驗(yàn)

為了探究所提出的每項(xiàng)改進(jìn)策略對(duì)鋁型材表面缺陷檢測(cè)的影響，本文對(duì)其進(jìn)行了消融實(shí)驗(yàn)，以分析各策略對(duì)檢測(cè)精度的實(shí)際貢獻(xiàn)大小，實(shí)驗(yàn)結(jié)果如表2所示，√代表加入此改進(jìn)策略，-代表未加入此改進(jìn)策略。其中，ResNet-101 主干網(wǎng)絡(luò)極大地提升了整個(gè)算法的特征提取能力，對(duì)mAP 的提升可達(dá)15.08%；特征金字塔更好地完成了淺層幾何信息和深層語(yǔ)義信息的融合，對(duì)精度提升了3.75%；可變形卷積使模型更適應(yīng)多變的缺陷形態(tài)，對(duì)精度提升了1.73%；并且ROIPooling 和錨框尺寸的改進(jìn)也分別使檢測(cè)精度提升了1.87% 和1.35%。由消融實(shí)驗(yàn)的結(jié)果可知，本文的改進(jìn)策略切實(shí)有效地優(yōu)化了原算法，使缺陷檢測(cè)結(jié)果更加準(zhǔn)確。

Faster R-CNN 算法在整體改進(jìn)前后，對(duì)鋁型材表面各類缺陷的檢測(cè)性能對(duì)比如圖9 所示。圖2 顯示，相較于原算法，改進(jìn)后的算法在擦花、噴流、漆泡和臟點(diǎn)上的性能提升巨大，解決了微小缺陷檢測(cè)效果差的問(wèn)題。

3.5 檢測(cè)效果可視化

改進(jìn)的Faster R-CNN 算法對(duì)鋁型材表面缺陷的檢測(cè)效果如圖10 所示，從中可以看出，該算法對(duì)各類缺陷都能較好地檢出，尤其對(duì)小目標(biāo)缺陷識(shí)別效果有明顯提升，滿足了實(shí)際缺陷檢測(cè)的需求。

4 結(jié)束語(yǔ)

本文針對(duì)鋁型材表面缺陷的檢測(cè)難點(diǎn)，以FasterR-CNN 作為基線進(jìn)行了改進(jìn)。首先選取ResNet-101作為主干網(wǎng)絡(luò)以增強(qiáng)缺陷特征的提取能力，接著引入特征金字塔結(jié)構(gòu)去融合多尺度特征，提升微小目標(biāo)的檢測(cè)性能，使用可變形卷積以優(yōu)化狹長(zhǎng)缺陷的識(shí)別效果，其次對(duì)ROI Pooling 結(jié)構(gòu)進(jìn)行改進(jìn)以消除量化取整引起的信息丟失問(wèn)題，提升缺陷的定位精度，最后使用K-means 聚類算法對(duì)錨框尺寸進(jìn)行優(yōu)化。實(shí)驗(yàn)結(jié)果表明，改進(jìn)的Faster R-CNN 算法在檢測(cè)精度上相較于原算法得到了顯著提升，并較大程度優(yōu)化了微小缺陷的檢測(cè)效果，在mAP 和FPS 指標(biāo)上分別達(dá)到了86.73%和7幀每秒，能夠滿足工業(yè)上鋁型材表面缺陷的檢測(cè)要求。而如何使檢測(cè)模型輕量化，在不降低檢測(cè)精度的同時(shí)提升檢測(cè)速度，將是后續(xù)的優(yōu)化方向。