基于優(yōu)化Faster R-CNN 算法的金屬板材表面缺陷檢測(cè)

孔思曼 周晨陽(yáng) 王家華 李 林 孫踐知

（北京工商大學(xué)計(jì)算機(jī)學(xué)院，北京 100048）

金屬板材在工業(yè)生產(chǎn)和日常生活中用途廣泛，涉及的應(yīng)用領(lǐng)域較多，包括但不限于建筑、航空航天、機(jī)械、汽車(chē)和船舶等領(lǐng)域，是很多產(chǎn)品的基礎(chǔ)材料。但在實(shí)際生產(chǎn)過(guò)程中，生產(chǎn)設(shè)備的不同、生產(chǎn)環(huán)境的變化以及其他因素的影響會(huì)導(dǎo)致出現(xiàn)各種各樣的表面缺陷，如凹陷、裂紋、氣泡和劃痕等。這些缺陷會(huì)降低金屬板材的質(zhì)量和可靠性，甚至對(duì)金屬板材的使用造成安全隱患。因此，及時(shí)準(zhǔn)確地檢測(cè)和識(shí)別金屬板材表面缺陷是非常重要的。

傳統(tǒng)的金屬板材表面缺陷檢測(cè)方法主要依靠人工檢測(cè)[1]或基于一些簡(jiǎn)單的圖像處理算法，這些方法存在人工誤差、適用范圍有限、檢測(cè)速度和精度低等缺陷。近年來(lái)，計(jì)算機(jī)技術(shù)的快速進(jìn)步極大地推動(dòng)了基于卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）的目標(biāo)檢測(cè)算法的發(fā)展，并帶來(lái)了該領(lǐng)域的發(fā)展熱潮。目前出現(xiàn)的目標(biāo)檢測(cè)算法主要?jiǎng)澐譃閮纱箢?lèi)，一類(lèi)是以SSD[2]、YOLO[3]、Retinanet[4]、CornerNet[5]、CenterNet[6]為代表的單階段算法，另一類(lèi)是以R-CNN[7]、Fast R-CNN[8]、Faster R-CNN[9]、Mask R-CNN[10]，Cascade R-CNN[11]為代表的兩階段算法。其中，單階段算法中的YOLO 是一種端到端檢測(cè)算法，它將候選區(qū)和目標(biāo)分類(lèi)合二為一，采用一個(gè)單獨(dú)的CNN 模型進(jìn)行目標(biāo)檢測(cè)，雖然提升了檢測(cè)速度，但是檢測(cè)的準(zhǔn)確性不是很高；而兩階段算法中的Faster R-CNN 在準(zhǔn)確性方面表現(xiàn)良好，目前已在多個(gè)領(lǐng)域廣泛應(yīng)用。祝文韜等[12]對(duì)Faster RCNN 算法中的RoI Pooling 方法進(jìn)行了改進(jìn)和優(yōu)化，采用雙線性插值法來(lái)解決原先存在的位置失配問(wèn)題，并在飛機(jī)目標(biāo)檢測(cè)場(chǎng)景上取得了顯著成效。杜蕓彥等[13]針對(duì)大規(guī)模數(shù)據(jù)獲取難、標(biāo)注難等問(wèn)題，提出了一種基于Faster R-CNN 的少樣本目標(biāo)檢測(cè)算法（CA-FSOD），在目標(biāo)類(lèi)別僅有少量標(biāo)注樣本的情況下，對(duì)目標(biāo)樣本進(jìn)行檢測(cè)。Cai J 等[14]開(kāi)發(fā)了一種基于Faster R-CNN 的創(chuàng)新方法，專(zhuān)門(mén)用于在水面環(huán)境中檢測(cè)無(wú)人船障礙物。此方法在Faster R-CNN中添加了膨脹卷積和群卷積的多尺度特征提取層，并改變了分類(lèi)算法，提高了模型的魯棒性和準(zhǔn)確性。

考慮到金屬板材應(yīng)用的廣泛性，對(duì)精度的要求高，本文提出一種基于優(yōu)化Faster R-CNN 算法的金屬板材表面缺陷檢測(cè)方法。從特征提取網(wǎng)絡(luò)和候選框定位兩個(gè)方面對(duì)模型進(jìn)行優(yōu)化，通過(guò)提升模型特征提取能力以及候選框的定位準(zhǔn)確性，實(shí)現(xiàn)金屬板材表面缺陷的高質(zhì)量檢測(cè)。

1 Faster R-CNN 算法

2016 年，Ren S 等[9]提出了Faster R-CNN 算法，屬于R-CNN 系列算法的第三代，基本結(jié)構(gòu)如圖1 所示。

圖1 Faster R-CNN 結(jié)構(gòu)圖

Faster R-CNN 檢測(cè)部分主要可以分為四個(gè)模塊。

（1）特征提取網(wǎng)絡(luò)。采用一組基本的卷積層、激活層和池化層，用于從輸入圖像中提取有用的特征圖。

（2）區(qū)域建議網(wǎng)絡(luò)。通過(guò)softmax 對(duì)預(yù)設(shè)的anchors 進(jìn)行二分類(lèi)，然后采用邊框回歸技術(shù)對(duì)錨點(diǎn)進(jìn)行微調(diào)，從而得到更加精確的生成區(qū)域。

（3）興趣區(qū)域池化層。將輸入的特征圖和生成的區(qū)域相結(jié)合，然后綜合這些信息提取特定的感興趣特征圖，送入后面全連接網(wǎng)絡(luò)做分類(lèi)和回歸。

（4）分類(lèi)和回歸。通過(guò)softmax 對(duì)圖像進(jìn)行分類(lèi)，然后使用邊框回歸獲得位置精確的檢測(cè)框。

相比于Fast R-CNN，F(xiàn)aster R-CNN 引入了區(qū)域建議網(wǎng)絡(luò)（region proposal network，RPN）用于提取候選區(qū)域，并將其有機(jī)地融入整體網(wǎng)絡(luò)，提高了模型的檢測(cè)精度和速度，是兩階段目標(biāo)檢測(cè)算法中的典型代表。

2 優(yōu)化Faster R-CNN 模型

在表面缺陷檢測(cè)領(lǐng)域，F(xiàn)aster R-CNN 也會(huì)出現(xiàn)精度不能滿足實(shí)際生產(chǎn)需求的情況。為了提高檢測(cè)精度，本文采用訓(xùn)練效果較好且被廣泛應(yīng)用的殘差網(wǎng)絡(luò)ResNet50[15]作為主干特征提取網(wǎng)絡(luò)，替代模型中原有的VGG16[16]，然后從特征提取網(wǎng)絡(luò)和候選框定位兩個(gè)方面對(duì)Faster R-CNN 模型進(jìn)行優(yōu)化。優(yōu)化后的Faster R-CNN 網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。

圖2 優(yōu)化后的Faster R-CNN 網(wǎng)絡(luò)結(jié)構(gòu)圖

2.1 改進(jìn)特征提取網(wǎng)絡(luò)

針對(duì)原有Faster R-CNN 模型只采用具有較少信息的頂層特征作預(yù)測(cè)，并且常規(guī)矩形結(jié)構(gòu)的卷積核對(duì)不規(guī)則形狀缺陷的特征學(xué)習(xí)能力較弱的情況，本文提出在模型特征提取網(wǎng)絡(luò)部分融合特征金字塔網(wǎng)絡(luò)及可變形卷積層來(lái)提高網(wǎng)絡(luò)的檢測(cè)精度。

2.1.1 Feature Pyramid Network

特征金字塔網(wǎng)絡(luò)（feature pyramid network，F(xiàn)PN）[17]是一種用于對(duì)象檢測(cè)和語(yǔ)義分割的圖像特征提取方法，包含自底向上的過(guò)程、自頂向下和側(cè)向連接的融合過(guò)程兩個(gè)部分。

在目標(biāo)檢測(cè)方法中，較淺層的特征雖然目標(biāo)定位相對(duì)精確，但語(yǔ)義信息相對(duì)少；而深層的特征雖然目標(biāo)定位相對(duì)粗糙，但語(yǔ)義信息相對(duì)多。另外，在通過(guò)ResNet50 獲取特征后，圖像也將進(jìn)行壓縮，從而導(dǎo)致特征候選框較小，在一定程度上降低了模型對(duì)特征的判別功能。為了克服該現(xiàn)象，本文在Faster R-CNN 基礎(chǔ)上融合FPN 對(duì)特征進(jìn)行提取，具體結(jié)構(gòu)如圖3 所示。

圖3 ResNet50 與FPN 融合圖

首先通過(guò)ResNet50 獲得不同層上的特征圖C1～C5，然后對(duì)頂層特征圖進(jìn)行1×1 卷積得到特征圖M5，將卷積后的C4 與采樣后的M5 相加得到M4。以此類(lèi)推，生成特征圖M3 和M2。M2～M4融合了不同特征層的特征信息，在保留細(xì)節(jié)的同時(shí)實(shí)現(xiàn)了高層語(yǔ)義。最后，對(duì)M2～M5 進(jìn)行3×3 卷積，以此獲得特征圖P2～P5，并將其輸入到RPN 和Fast R-CNN 網(wǎng)絡(luò)中作為最終的特征提取結(jié)果進(jìn)行訓(xùn)練。整個(gè)過(guò)程中，F(xiàn)PN 同時(shí)利用自底向上、自頂向下、橫向連接的線路，將深層特征和淺層特征進(jìn)行融合，使每層特征都得到較豐富的語(yǔ)義，增強(qiáng)了檢測(cè)網(wǎng)絡(luò)對(duì)于缺陷的檢測(cè)能力。

2.1.2 Deformable ConvNets v2

傳統(tǒng)的卷積核是常規(guī)的矩形形狀，是它根據(jù)事先定義的濾波器大小，在目標(biāo)圖像上按照預(yù)先設(shè)定的矩形網(wǎng)格進(jìn)行卷積操作，其形狀和大小是固定的，無(wú)法處理非剛性的目標(biāo)形變和旋轉(zhuǎn)等情況。而可變形卷積網(wǎng)絡(luò)（deformable convolutional networks，DCN）[18]則在傳統(tǒng)卷積基礎(chǔ)上引入了可變形采樣機(jī)制，通過(guò)對(duì)卷積核中各個(gè)采樣點(diǎn)的位置都增加一個(gè)偏移變量，使卷積核在一定程度上自適應(yīng)地變形，從而更好地適應(yīng)數(shù)據(jù)集中不規(guī)則的缺陷。

DCN 通過(guò)一個(gè)并行卷積分支計(jì)算骨干卷積核坐標(biāo)的偏移，其實(shí)現(xiàn)的流程如圖4 所示。通過(guò)一個(gè)作用在輸入特征圖的卷積操作得到一組卷積核偏移的預(yù)測(cè)結(jié)果，這個(gè)偏移特征圖的尺寸和輸入特征圖保持相同。偏移特征圖的通道數(shù)為2N，其中2 指每個(gè)偏移是(x,y)兩個(gè)值，N為卷積核的像素個(gè)數(shù)。

圖4 可變形卷積流程圖

在DCN 中，使用?Pn對(duì)特征圖上的一點(diǎn)Pn進(jìn)行擴(kuò)充，其中{?Pn|n=1,2,3,···,N}，即圖4 上側(cè)的通過(guò)卷積操作預(yù)測(cè)的卷積核偏移值。此時(shí)可變形卷積的計(jì)算方式：

式中：Pn為整數(shù)，表示卷積輸出的每個(gè)點(diǎn)相對(duì)于感受野上的每個(gè)點(diǎn)的偏移量；?Pn表示每個(gè)點(diǎn)所增加的偏移量。這樣，通過(guò)對(duì)每個(gè)采樣點(diǎn)的位置增加偏移量，可變形卷積能夠?qū)崿F(xiàn)卷積核的自適應(yīng)變形，從而更好地適應(yīng)數(shù)據(jù)集中存在的不規(guī)則缺陷。

Deformable ConvNets v2（DCNv2）[19]是基于DCN 模塊改進(jìn)的一個(gè)版本，其改進(jìn)點(diǎn)包括增加更多的可變形卷積層、讓模型學(xué)習(xí)采樣點(diǎn)的偏移及每個(gè)采樣點(diǎn)的權(quán)重、使用R-CNN 對(duì)Faster R-CNN 進(jìn)行知識(shí)蒸餾。DCNv2 的提出減少了DCN 中無(wú)關(guān)的干擾信息，提高了模型對(duì)不同幾何變化的適應(yīng)能力，其表達(dá)式為

在式（1）的基礎(chǔ)上，DCNv2 為每個(gè)采樣點(diǎn)添加了一個(gè)權(quán)重系數(shù)?mk。其中?Pk和?mk分別為第k個(gè)位置的可學(xué)習(xí)偏移和調(diào)制標(biāo)量。調(diào)制標(biāo)量?mk位于范圍[0,1]內(nèi)，而?Pk是范圍不受約束的實(shí)數(shù)。因?yàn)榧尤肓艘粋€(gè)新的要學(xué)習(xí)的參數(shù)，所以圖4 的預(yù)測(cè)結(jié)果的通道數(shù)變成了3N。

本文所提出的模型將Faster R-CNN 的主干網(wǎng)絡(luò)ResNet50 所生成的Conv3、Conv4 和Conv5 三個(gè)卷積塊的普通卷積層替換為DCNv2 模塊，通過(guò)增強(qiáng)提取模塊中空間采樣位置的能力來(lái)增加網(wǎng)絡(luò)對(duì)缺陷形狀的學(xué)習(xí)，便于檢測(cè)一些不規(guī)則形狀的缺陷。

2.2 候選框精準(zhǔn)定位

在本文的實(shí)驗(yàn)數(shù)據(jù)集中，F(xiàn)aster R-CNN 算法中原始的anchor 生成方案并不適合，并且經(jīng)過(guò)粗修后的RoIs 需要經(jīng)過(guò)RoI Pooling 操作，此過(guò)程中出現(xiàn)的兩次量化過(guò)程會(huì)導(dǎo)致候選框在原圖和特征圖之間映射的過(guò)程中位置發(fā)生明顯的偏差。針對(duì)以上問(wèn)題，本文選擇采用在torchvision 中提供的MultiScale-RoIAlign 替代RoI Pooling 操作獲取更精準(zhǔn)的定位，同時(shí)采用K-means++聚類(lèi)算法來(lái)獲取合適的Anchor比例。

2.2.1 RoI Align

RoI Pooling 是對(duì)輸入的特征圖進(jìn)行量化操作，在操作過(guò)程中，一般會(huì)進(jìn)行兩次量化，一是把侯選區(qū)映射到特征圖中固定網(wǎng)格上，然后通過(guò)向下取整的方式將浮點(diǎn)型坐標(biāo)變成矩陣坐標(biāo)值；二是對(duì)所獲得的區(qū)域進(jìn)行平均分割時(shí)會(huì)出現(xiàn)浮點(diǎn)單元坐標(biāo)量化取整的情況。這兩次量化操作會(huì)造成信息損失，特別是對(duì)于較小的感興趣區(qū)域。

為了解決這個(gè)問(wèn)題，一些研究人員[20-22]采用RoI Align[10]替換已有的RoI Pooling。RoI Pooling 和RoI Align 的過(guò)程示意如圖5 所示。

圖5 RoI Pooling 和RoI Align 的過(guò)程示意圖

相較于Rol Pooling，Rol Align 取消了量化操作，用雙線性插值的方法將兩次量化的過(guò)程轉(zhuǎn)化為一個(gè)連續(xù)的操作，可避免位置偏差問(wèn)題的出現(xiàn)，更好地保留了感興趣區(qū)域的位置信息和特征信息。

本文采用torchvision 中提供的MultiScaleRoIAlign替換原有的RoI Pooling。MultiScaleRoIAlign 可以在多個(gè)尺度的特征圖中進(jìn)行RoI Align。具體來(lái)說(shuō)，對(duì)于每個(gè)感興趣區(qū)域，MultiScaleRoIAlign 會(huì)根據(jù)感興趣區(qū)域的大小在多個(gè)尺度的特征圖上分別計(jì)算感興趣區(qū)域的坐標(biāo)，然后在每個(gè)尺度的特征圖上劃出一個(gè)大小與感興趣區(qū)域相適應(yīng)的的區(qū)域，最后對(duì)這些區(qū)域進(jìn)行池化操作，從而會(huì)得到一個(gè)尺寸固定的特征圖。因此，MultiScaleRoIAlign 能夠更好地處理不同大小的感興趣區(qū)域，并且可以從多個(gè)尺度的特征圖中獲得更豐富的特征信息。

2.2.2 K-means++

在Faster R-CNN 中，RPN 網(wǎng)絡(luò)的候選框設(shè)定是固定的，包括了預(yù)定義的3 種尺度{322, 642, 1282}和3 種寬高比{1∶2, 1∶1, 2∶1}。然而，這種設(shè)定無(wú)法根據(jù)具體圖像中缺陷的大小進(jìn)行自適應(yīng)調(diào)整，導(dǎo)致生成的候選框與缺陷大小相差較大，并且候選框之間的重疊較多。為了解決這個(gè)問(wèn)題，本文采用聚類(lèi)算法對(duì)RPN 網(wǎng)絡(luò)進(jìn)行改進(jìn)，使候選框的選取更適合實(shí)驗(yàn)數(shù)據(jù)。

考慮到K-means 算法[23]聚類(lèi)中心的個(gè)數(shù)需要預(yù)先人工調(diào)試選定，且可能出現(xiàn)局部最優(yōu)解，本文采用改進(jìn)版的K-means++聚類(lèi)算法[24]進(jìn)行錨點(diǎn)框尺寸優(yōu)化。該算法通過(guò)一定的概率分布來(lái)初始化聚類(lèi)中心，有效避免了聚類(lèi)結(jié)果出現(xiàn)局部最優(yōu)解。Kmeans++算法具體步驟如下：

（1）在數(shù)據(jù)集中隨機(jī)選擇一個(gè)樣本作為第一個(gè)初始聚類(lèi)中心。

（2）篩選出其余的聚類(lèi)中心。首先計(jì)算剩余樣本點(diǎn)與當(dāng)前聚類(lèi)中心之間的距離，并選擇距離最短的樣本點(diǎn)成為最新的聚類(lèi)中心；然后按照距離大則被選取概率大的原則，從剩余樣本點(diǎn)中選擇下一個(gè)聚類(lèi)中心；重復(fù)上述步驟，直到選出預(yù)先設(shè)定的k個(gè)聚類(lèi)中心為止。

（3）對(duì)k個(gè)初始的聚類(lèi)中心利用K-means 算法進(jìn)行迭代，直到收斂，得到最終的聚類(lèi)中心。

改進(jìn)后的RPN 網(wǎng)絡(luò)利用Annotations 中的.xml文件，將其中所有類(lèi)別缺陷對(duì)應(yīng)的坐標(biāo)信息提取出來(lái)，并計(jì)算前景目標(biāo)的大小。然后，將獲取的所有長(zhǎng)寬尺寸組成向量，作為K-means++聚類(lèi)模型的輸入。為了適應(yīng)數(shù)據(jù)集的實(shí)際情況，設(shè)置合適的聚類(lèi)中心數(shù)量，并開(kāi)始執(zhí)行聚類(lèi)運(yùn)算。本文將聚類(lèi)中心k設(shè)置為3，NEU-DET 數(shù)據(jù)集[25]聚類(lèi)后的結(jié)果分布如圖6 所示。根據(jù)聚類(lèi)結(jié)果設(shè)置合適的候選框規(guī)模，最終的錨大小設(shè)置為{32,64,128,256,512}，縱橫比設(shè)置為{0.5,1.3,3.0}。

圖6 NEU-DET 數(shù)據(jù)集聚類(lèi)結(jié)果圖

通過(guò)K-means++聚類(lèi)算法設(shè)計(jì)的anchors 生成方案更適用于金屬板材表面缺陷數(shù)據(jù)集，能夠減少背景等無(wú)關(guān)信息的干擾，加快缺陷檢測(cè)網(wǎng)絡(luò)的收斂，實(shí)現(xiàn)更精準(zhǔn)的缺陷目標(biāo)定位。

3 實(shí)驗(yàn)與分析

本實(shí)驗(yàn)采用ubuntu20.04 操作系統(tǒng)，CPU 為12 vCPU Intel(R)Xeon(R)Platinum 8255C CPU @ 2.50 GHz，GPU 為RTX 3090，Pytorch 版本為1.11.0，Python 版本為3.8，CUDA 版本為11.3。網(wǎng)絡(luò)優(yōu)化器選擇SGD 優(yōu)化器，初始學(xué)習(xí)速率設(shè)置為0.01，動(dòng)量參數(shù)為0.9，權(quán)重衰減因子為0.000 5，batch size 設(shè)置為8，Epoch 設(shè)置為50 次。

3.1 數(shù)據(jù)集

本實(shí)驗(yàn)選用了來(lái)源于東北大學(xué)帶鋼表面缺陷數(shù)據(jù)集中的NEU-DET 部分[25]。數(shù)據(jù)集中包含六類(lèi)金屬缺陷，如圖7 所示，分別是細(xì)裂紋（crazing），即多道狹長(zhǎng)且細(xì)小的黑色裂縫；表面雜質(zhì)（inclusion），即形狀為點(diǎn)狀、塊狀或者線條狀的非金屬夾雜物；斑點(diǎn)（patches），即不規(guī)則或像小島形狀的黑色或者褐色的塊狀物；麻點(diǎn)（pitted_surface），即大面積的凹形黑色小點(diǎn)；軋入氧化皮（rolled_in_scale），即點(diǎn)狀、條狀或魚(yú)鱗狀的黑色斑點(diǎn)；劃痕（scratches），即直且細(xì)、深淺不一的溝槽。每類(lèi)金屬缺陷包含300 張圖片，共1 800 張圖片，每張圖片的原始分辨率為200×200，具體分布情況如圖7 所示。為滿足實(shí)驗(yàn)需求，將數(shù)據(jù)按照8∶2 的比例分別作為訓(xùn)練集和測(cè)試集。

圖7 NEU-DET 數(shù)據(jù)集

3.2 模型評(píng)估方法

在目標(biāo)檢測(cè)中，常用的評(píng)價(jià)模型泛化能力的檢測(cè)指標(biāo)有精確率、召回率、平均精確度（AP）和平均AP 值（mAP）。

式中：C為檢測(cè)類(lèi)別數(shù)；P（Precision）為精確率，R（Recall）為召回率，兩者計(jì)算公式為

式（5）和式（6）中，TP表示成功預(yù)測(cè)的正例，F(xiàn)P表示被誤判為正樣本的負(fù)例，F(xiàn)N表示被誤判為負(fù)樣本的正例。而正負(fù)樣本按照IoU的閾值來(lái)劃分，當(dāng)IoU>0.7 時(shí)為正樣本，否則為負(fù)樣本。

在工業(yè)背景下，目標(biāo)檢測(cè)算法中還有一個(gè)關(guān)鍵的評(píng)價(jià)指標(biāo)就是檢測(cè)速度，即每秒內(nèi)可以檢測(cè)出的幀數(shù)或圖片數(shù)量（frames per second，F(xiàn)PS）。并且，F(xiàn)PS也會(huì)受到硬件資源、目標(biāo)數(shù)量和復(fù)雜性等因素影響。

3.3 實(shí)驗(yàn)結(jié)果對(duì)比

使用不同的主干網(wǎng)絡(luò)作為Faster R-CNN 的特征提取部分對(duì)缺陷檢測(cè)精度進(jìn)行研究。具體地，分別采用了VGG16、ResNet18、ResNet50 和MobileNetV2作為主干網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練。通過(guò)這樣的實(shí)驗(yàn)設(shè)計(jì)，旨在探究不同的特征提取網(wǎng)絡(luò)對(duì)缺陷檢測(cè)性能的影響。實(shí)驗(yàn)結(jié)果見(jiàn)表1，可以看出，相比于模型原有的VGG16 網(wǎng)絡(luò)，使用ResNet50 和MobileNetV2 網(wǎng)絡(luò)訓(xùn)練得到的mAP值相對(duì)較高。二者雖相差不大，但MobileNetV2 權(quán)重文件偏大，當(dāng)訓(xùn)練次數(shù)過(guò)大時(shí)對(duì)設(shè)備存儲(chǔ)量要求高；并且ResNet50 的特征表示能力和泛化能力較強(qiáng)，可以很容易地應(yīng)對(duì)各種復(fù)雜場(chǎng)景，也有較多預(yù)訓(xùn)練的ResNet 模型可供選擇，便于遷移學(xué)習(xí)，從而加速特定任務(wù)的訓(xùn)練。因此，本文選用ResNet50 作為特征提取網(wǎng)絡(luò)。

表1 不同特征提取網(wǎng)絡(luò)的檢測(cè)結(jié)果對(duì)比

為了評(píng)估優(yōu)化后的Faster R-CNN 模型在NEUDET 數(shù)據(jù)集上的缺陷檢測(cè)性能，將本文提出的模型與SSD、YOLOv5s 和YOLOv7 幾種經(jīng)典算法進(jìn)行比較，采用mAP和FPS來(lái)評(píng)估模型檢測(cè)性能，實(shí)驗(yàn)結(jié)果見(jiàn)表2，可以發(fā)現(xiàn)本文模型的mAP值高于其他模型。同時(shí)，本文模型每秒內(nèi)處理圖片數(shù)量的能力達(dá)到29 幀/s，優(yōu)于原始模型。由于是兩階段檢測(cè)算法，在檢測(cè)速度上稍有不足，但工業(yè)應(yīng)用場(chǎng)景的高精度需求使得本文模型具有良好的實(shí)用性。

表2 不同模型的檢測(cè)結(jié)果對(duì)比

同時(shí)，為了清晰直觀地觀察改進(jìn)后的Faster RCNN 模型對(duì)于金屬板材表面缺陷的檢測(cè)性能，分別用改進(jìn)后的最終模型和原始模型對(duì)6 類(lèi)表面缺陷進(jìn)行了檢測(cè)。如圖8 所示，繪制出各類(lèi)別缺陷平均精度折線圖。改進(jìn)后的Faster R-CNN 模型相較于原始模型在6 類(lèi)表面缺陷上的檢測(cè)精度都有不同程度的提高，可見(jiàn)改進(jìn)后的模型具有更好的檢測(cè)效果。

圖8 各類(lèi)別缺陷平均精度折線圖

為進(jìn)一步驗(yàn)證本文對(duì)Faster R-CNN 模型改進(jìn)的有效性，在金屬板材表面缺陷數(shù)據(jù)集上進(jìn)行了消融實(shí)驗(yàn)。首先搭建了基于ResNet50 的Faster R-CNN模型，然后在此基礎(chǔ)上，逐步添加FPN、DCNv2、RoI Align、K-means++聚類(lèi)算法分別進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果見(jiàn)表3，模型改進(jìn)前后loss 值的變化情況如圖9 所示。

表3 消融實(shí)驗(yàn)結(jié)果

圖9 模型改進(jìn)前后loss 值變化情況

由表3 可知，改進(jìn)后的Faster R-CNN 模型的Recall和mAP相較于原始模型均有提升，其中，mAP值提升了7.7%。6 種缺陷類(lèi)型的AP值分別提升了11%、4.4%、9.7%、9.2%、11.4%、0.7%。同時(shí)，改進(jìn)后的模型在訓(xùn)練過(guò)程中的loss 值相比原始模型降低了，這是因?yàn)镕PN 能夠同時(shí)利用自底向上、自頂向下、橫向連接的線路，使每層特征都得到較豐富的語(yǔ)義，提高了對(duì)缺陷特征的學(xué)習(xí)能力；DCNv2 為卷積核中每個(gè)采樣點(diǎn)增加偏移變量和權(quán)重，使卷積核自適應(yīng)地變形以適應(yīng)數(shù)據(jù)集中不規(guī)則的缺陷；RoI Align 和K-means++算法通過(guò)優(yōu)化錨點(diǎn)生成方案，降低了候選框的定位誤差。最終改進(jìn)的Faster R-CNN 模型與原始模型對(duì)金屬板材表面缺陷的檢測(cè)效果對(duì)比如圖10 所示。

圖10 金屬板材表面缺陷的檢測(cè)效果圖

4 結(jié)語(yǔ)

對(duì)于工業(yè)生產(chǎn)中常見(jiàn)的金屬板材表面缺陷檢測(cè)效果不理想的情況，本文提出了一種基于優(yōu)化Faster R-CNN 算法的金屬板材表面缺陷檢測(cè)方法。通過(guò)融合特征金字塔形成多尺度的特征融合模型，增強(qiáng)了對(duì)金屬板材表面缺陷的檢測(cè)能力，尤其是小缺陷的檢測(cè)；采用可變形卷積替換主干網(wǎng)絡(luò)的普通卷積層，提高了模型對(duì)不規(guī)則缺陷的學(xué)習(xí)能力；采用RoI Align 替代了原有的RoI Pooling，消除實(shí)驗(yàn)中產(chǎn)生的量化誤差；引入K-means++算法得到針對(duì)金屬板材表面缺陷數(shù)據(jù)的特定anchors，實(shí)現(xiàn)更精準(zhǔn)的定位。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的Faster R-CNN 模型在金屬板材表面缺陷數(shù)據(jù)集上的mAP值從71%提升到了78.7%，相較于原始網(wǎng)絡(luò)模型及其他目標(biāo)檢測(cè)算法，改進(jìn)后的模型檢測(cè)效果更佳，為之后的金屬板材表面缺陷檢測(cè)提供了可參考價(jià)值。