基于改進(jìn)的Faster RCNN碳纖維編織物缺陷檢測

趙麟坤 陳玉潔 張玉井 張 豪

（東華大學(xué)，上海， 201620）

碳纖維復(fù)合材料具有高強(qiáng)度、高模量比、摩擦因數(shù)小等優(yōu)良性能［1］。對(duì)碳纖維復(fù)合材料進(jìn)行編織，形成三維結(jié)構(gòu)的碳纖維立體編織物，具有制造成本較低、力學(xué)性能優(yōu)異等優(yōu)點(diǎn)，已被廣泛應(yīng)用于航空航天、建筑、能源、醫(yī)療等領(lǐng)域［2-3］。但是碳纖維紗線在編織過程中會(huì)產(chǎn)生起毛和斷裂，導(dǎo)致碳纖維編織物表面存在結(jié)構(gòu)缺陷，造成人力消耗、經(jīng)濟(jì)損失［4］。因此，碳纖維立體編織物表面質(zhì)量檢測具有重大意義。

機(jī)器視覺檢測憑借高準(zhǔn)確度、高可靠性等優(yōu)勢(shì)，在織物缺陷檢測上已經(jīng)有了長足的發(fā)展。ABOUELELA A等［5］采用基于紋理結(jié)構(gòu)檢測的方法，完成織物基本紋理提取和缺陷識(shí)別。WONG W K等［6］將基于小波變換的改進(jìn)閾值方法與反向傳播神經(jīng)網(wǎng)絡(luò)相結(jié)合，實(shí)現(xiàn)了對(duì)于5類織物縫合缺陷的識(shí)別。這些識(shí)別算法的核心都是針對(duì)待檢測物體的特性，設(shè)計(jì)對(duì)應(yīng)的缺陷特征識(shí)別方法，一定程度提高了檢測的速度與精度。

隨著深度學(xué)習(xí)的發(fā)展，基于深度學(xué)習(xí)的織物缺陷檢測算法得到了廣泛研究。深度學(xué)習(xí)檢測技術(shù)通過搭建圖像特征提取和識(shí)別網(wǎng)絡(luò)，實(shí)現(xiàn)對(duì)織物缺陷的特征識(shí)別與分類。景軍鋒等［7］利用微調(diào)卷積神經(jīng)網(wǎng)絡(luò)模型AlexNet［8］，對(duì)織物疵點(diǎn)圖像進(jìn)行特征提取，實(shí)現(xiàn)了對(duì)兩類織物95%以上的分類準(zhǔn)確率，在檢測精度上優(yōu)于傳統(tǒng)算法，但檢測速度有待提升。趙志勇等［9］以Faster RCNN網(wǎng)絡(luò)結(jié)構(gòu)為基礎(chǔ)，提出基于Inception-ResNet-v2網(wǎng)絡(luò)的織物缺陷判決算法，實(shí)現(xiàn)了織物缺陷檢測。謝景洋等［10］提出了使用輕量化的MobileNets、多細(xì)粒度多尺度特征的Res2Net，修改YOLOv3主干網(wǎng)絡(luò)，實(shí)現(xiàn)了織物疵點(diǎn)快速檢測。這些識(shí)別算法能有效識(shí)別具有明顯特征的稀疏缺陷，但對(duì)于重復(fù)小缺陷的檢測存在不足。

本研究參考深度學(xué)習(xí)在織物缺陷識(shí)別中的應(yīng)用，結(jié)合碳纖維編織物表面存在重復(fù)性小缺陷的特點(diǎn)，對(duì)Faster RCNN［11］網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，采用改進(jìn)的非極大值抑制算法（Soft-NMS）［12］，選取對(duì)小特征識(shí)別性能更高的感興趣區(qū)域校準(zhǔn)算法（RoI Align）［13］，完成了對(duì)碳纖維編織物表面缺陷的檢測識(shí)別。

1 圖像采集與分析

1.1 缺陷圖像分類

通過對(duì)碳纖維編織物表面缺陷圖像的采集、整理與分析，得出織物表面缺陷的3種主要類型為稀疏、纖維環(huán)、毛刺，3種缺陷的原始圖像如圖1所示。

圖1 3種缺陷原始圖像

稀疏主要表現(xiàn)為稀疏松散的碳纖維經(jīng)緯編織束，或因編織缺陷出現(xiàn)的稀疏編織結(jié)構(gòu)。纖維環(huán)主要表現(xiàn)為碳纖維束脫離經(jīng)緯編織結(jié)構(gòu)，貼附在碳纖維編織物表面，或形成較為明顯的環(huán)狀缺陷。毛刺主要表現(xiàn)為片狀聚集分布的纖維毛刺，或因纖維束部分?jǐn)嗔研纬傻耐庖绲拈L條狀纖維束。

1.2 缺陷圖像分析

通過對(duì)工廠實(shí)際生產(chǎn)的碳纖維編織物缺陷圖像采集，共獲取了原始缺陷圖像3 640張。為了加深對(duì)缺陷類型分布的了解，以設(shè)計(jì)更加適合缺陷圖像的深度檢測網(wǎng)絡(luò)，本研究對(duì)3種主要缺陷類型進(jìn)行了統(tǒng)計(jì)，實(shí)際缺陷類型占比為稀疏27.9%、纖維環(huán)14.5%、毛刺56.2%、其他1.4%。毛刺等小缺陷特征占總?cè)毕蓊愋偷?6.2%，存在重復(fù)率高等現(xiàn)象。這就要求缺陷檢測算法對(duì)于小目標(biāo)的識(shí)別能力更強(qiáng)、準(zhǔn)確度更高。

2 改進(jìn)Faster RCNN結(jié)構(gòu)

2.1 Faster RCNN應(yīng)用分析

Faster RCNN模型是在Fast RCNN模型［14］上進(jìn)行了一系列的改進(jìn)優(yōu)化，逐步發(fā)展而來的。Faster RCNN可以看作是Fast RCNN + RPN的組合，采用共享卷積層對(duì)輸入圖像進(jìn)行特征提取，再將RPN生成的感興趣區(qū)域與CNN網(wǎng)絡(luò)（如ZFNET［15］、VGG16［16］、ResNet［17］等）提 取 的 特 征圖像，同時(shí)輸入到Fast RCNN中，進(jìn)行感興趣區(qū)域池化，最終實(shí)現(xiàn)檢測目標(biāo)的分類與位置回歸。Faster RCNN基本的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。其主要由主干特征提取網(wǎng)絡(luò)、區(qū)域建議網(wǎng)絡(luò)（RPN）、感興趣區(qū)域池化（RoI Pooling）、檢測目標(biāo)分類與回歸組成。

圖2 Faster RCNN網(wǎng)絡(luò)結(jié)構(gòu)

通過對(duì)采集到的碳纖維編織物缺陷圖像分析可得，毛刺等小缺陷在圖像中重復(fù)率較高，當(dāng)Faster RCNN實(shí)際應(yīng)用于織物圖像檢測時(shí)，存在以下兩方面不足。一是織物圖像經(jīng)過Faster RCNN深層網(wǎng)絡(luò)反復(fù)卷積和池化后，小缺陷特征圖像將被不斷切割，產(chǎn)生失真現(xiàn)象。當(dāng)對(duì)特征圖像的目標(biāo)框進(jìn)行NMS操作時(shí)，網(wǎng)絡(luò)會(huì)將分值相近的目標(biāo)框檢測分?jǐn)?shù)強(qiáng)制歸零，以去除重復(fù)檢測框。此過程會(huì)將相似的小缺陷特征圖像刪除，從而導(dǎo)致漏檢的產(chǎn)生。二是RoI Pooling層會(huì)將輸入的不同尺寸的感興趣區(qū)域圖像，粗糙地池化為相同尺寸的特征圖。此過程將會(huì)產(chǎn)生兩次量化誤差，導(dǎo)致缺陷特征圖的感興趣區(qū)域在回歸原始圖像時(shí)，產(chǎn)生較大的位置偏差，這一誤差對(duì)于毛刺等小缺陷特征圖位置檢測的影響是巨大的。

2.2 主干特征提取網(wǎng)絡(luò)

主干特征提取網(wǎng)絡(luò)是Faster RCNN的基礎(chǔ)，網(wǎng)絡(luò)層數(shù)直接影響樣本特征提取能力，但是深層網(wǎng)絡(luò)存在退化問題，當(dāng)網(wǎng)絡(luò)深度達(dá)到飽和后，模型對(duì)于缺陷圖像的識(shí)別精準(zhǔn)性會(huì)下降。因此，本研究采用ResNet50作為主干特征提取網(wǎng)絡(luò)。ResNet50由1個(gè)卷積層、1個(gè)全連接層和4組殘差模塊搭建而成，每組分別有3，4，6，3個(gè)塊（block），每個(gè)塊（block）有3個(gè)卷積層（layer）。ResNet50網(wǎng)絡(luò)的基礎(chǔ)是殘差神經(jīng)網(wǎng)絡(luò)，殘差模塊結(jié)構(gòu)如圖3所示。

圖3 殘差模塊結(jié)構(gòu)

假定神經(jīng)網(wǎng)絡(luò)輸入為x，網(wǎng)絡(luò)期望輸出為H（x），則殘差網(wǎng)絡(luò)的學(xué)習(xí)目標(biāo)函數(shù)為F（x）=H（x）-x。殘差網(wǎng)絡(luò)可以通過殘差單元的跳層連接，使得梯度能夠繞過若干層到達(dá)輸出層。

2.3 改進(jìn)的非極大值抑制算法（Soft-NMS）

Faster RCNN網(wǎng)絡(luò)中原始的NMS算法實(shí)現(xiàn)原理為：預(yù)先選定感興趣區(qū)域中置信度最高的檢測框，遍歷其余所有檢測框與該檢測框的重合度，去除具有高重合度的檢測框，從而實(shí)現(xiàn)減少重復(fù)檢測框的目的。交并比IoU是一種定位精度的評(píng)估計(jì)算方式，它定義了兩個(gè)檢測框（A和B）的重疊程度。IoU計(jì)算公式如式（1）所示。

傳統(tǒng)NMS算法的處理方式可以通過式（2）的分?jǐn)?shù)重置函數(shù)進(jìn)行直觀表達(dá)。

式中：si表示第i個(gè)檢測框得分；A表示感興趣區(qū)域中置信度最高的檢測框；Bi代表第i個(gè)檢測框；IoU(A，Bi)表示第i個(gè)檢測框與A的重合度；Nt表示標(biāo)定的重合度閾值。

通過上述描述可以看出，NMS算法在抑制檢測框重復(fù)性上的操作上比較嚴(yán)苛。當(dāng)實(shí)際應(yīng)用于碳纖維編織物缺陷檢測時(shí)，當(dāng)缺陷特征圖B的邊界框與置信度最高的A的邊界框相交，并且兩邊界框的IoU高于標(biāo)定的閾值Nt時(shí)，B的檢測框?qū)⒈粡?qiáng)制刪除，這樣導(dǎo)致無法檢測到缺陷B圖像，造成漏檢現(xiàn)象。檢測框交并比示意圖如圖4所示。

圖4 檢測框交并比示意圖

針對(duì)傳統(tǒng)的NMS算法在碳纖維編織物缺陷檢測上存在的不足，本研究采用Soft-NMS算法代替?zhèn)鹘y(tǒng)的NMS算法。Soft-NMS算法的核心是在NMS算法基礎(chǔ)上，當(dāng)待檢測框的IoU值高于標(biāo)定閾值Nt時(shí)，用稍微低一點(diǎn)的分?jǐn)?shù)替換原有的得分，從而解決了檢測框被誤刪的問題。Soft-NMS算法可以用如式（3）所示的分?jǐn)?shù)重置函數(shù)直觀表達(dá)。

通過上述改進(jìn)，實(shí)際檢測碳纖維編織物缺陷圖像過程中，當(dāng)缺陷特征圖檢測框B與A的IoU高于標(biāo)定閾值Nt時(shí)，檢測框B的得分將會(huì)衰減為與A重合度的線性函數(shù)，從而避免誤刪。但此分?jǐn)?shù)重置函數(shù)并不是一個(gè)連續(xù)函數(shù)，將會(huì)導(dǎo)致待測檢測框的得分出現(xiàn)斷層。因此，本研究在最后引入高斯函數(shù)重置函數(shù)，最終改進(jìn)的函數(shù)如式（4）所示。

式中：σ為超參數(shù)；D為檢測框的集合；IoU(A，Bi)表示第i個(gè)檢測框與A的重合度。

通過對(duì)NMS算法的改進(jìn)，可以降低傳統(tǒng)NMS算法對(duì)于檢測框的誤刪現(xiàn)象，提高了Faster RCNN網(wǎng)絡(luò)對(duì)于缺陷檢測框的泛化能力。

2.4 感興趣區(qū)域校準(zhǔn)（RoI Align）

原始Faster RCNN網(wǎng)絡(luò)利用感興趣區(qū)域池化（RoI Pooling）層，將主干特征網(wǎng)絡(luò)提取到的不同尺寸的碳纖維編織物缺陷圖像，粗糙地池化為統(tǒng)一尺寸的特征圖，并輸出到后續(xù)網(wǎng)絡(luò)中，用于檢測目標(biāo)分類與回歸，RoI Pooling操作流程如圖5所示。

圖5 RoI Pooling操作

RoI Pooling層算法特征提取量化取整主要包括兩步。第一步，將主干特征提取網(wǎng)絡(luò)獲取的特征圖，映射到原圖像的對(duì)應(yīng)位置。對(duì)于映射后先驗(yàn)框的浮點(diǎn)坐標(biāo)，采用向下取整的方式量化取整。第二步，將映射后獲取的感興趣區(qū)域特征圖，平均劃分為K×K（7×7）的網(wǎng)格單元，對(duì)每個(gè)網(wǎng)格的浮點(diǎn)坐標(biāo)進(jìn)行量化取整，并對(duì)每個(gè)網(wǎng)格采取最大池化。圖6所示為兩次量化取整操作。

圖6 兩次量化取整操作

經(jīng)過兩次量化取整，F(xiàn)aster RCNN網(wǎng)絡(luò)對(duì)于特征圖的定位將會(huì)出現(xiàn)不可避免的誤差，這種誤差對(duì)于毛刺等小缺陷圖像的位置定位影響較大。

針對(duì)兩次量化取整操作帶來的誤差，本研究采用RoI Align層來代替RoI Pooling層，以準(zhǔn)確匹配特征圖位置區(qū)域。RoI Align層設(shè)計(jì)的核心思想是雙線性插值算法，通過線性操作的方法代替量化操作，保證特征圖中點(diǎn)的連續(xù)性，提升定位精度。算法操作方法：遍歷所有感興趣區(qū)域，將特征圖映射到圖像的準(zhǔn)確位置，保持特征圖邊界精確浮點(diǎn)位置信息；將映射后獲取的感興趣區(qū)域特征圖，平均劃分為k×k（7×7）的網(wǎng)格單元，保持單元格位置精度；在每個(gè)單元格中固定計(jì)算作為4個(gè)采樣點(diǎn)坐標(biāo)，采用雙線性插值計(jì)算4個(gè)采樣點(diǎn)位置，并進(jìn)行最大池化操作，如圖7所示。

圖7 RoI Align操作

以碳纖維編織物缺陷圖像為例，假定輸入的缺陷特征圖為338 pixel×338 pixel，由于網(wǎng)絡(luò)骨架中的下采樣率featstride為16，特征圖在經(jīng)過池化網(wǎng)絡(luò)后每張?zhí)卣鲌D變?yōu)椋?30/16）×（330/16）=20.625 pixel×20.625 pixel；RoI Align層將特征圖平均劃分為7×7的網(wǎng)格，每一塊網(wǎng)格的大小為2.857 pixel×2.857 pixel；對(duì)于每個(gè)網(wǎng)格設(shè)置4個(gè)采樣點(diǎn)，并采用雙線性插值法計(jì)算出每個(gè)小網(wǎng)格的中心位置像素值；最后，取4個(gè)中心點(diǎn)像素值的最大值作為這個(gè)小區(qū)域的像素值，通過遍歷7×7的小區(qū)域得到每個(gè)區(qū)域的像素值，最終組成所需的7×7大小的特征圖。

采用RoI Align層代替RoI Pooling層，可以降低RoI Pooling層在特征圖回歸框定位上的位置偏差，提升了后續(xù)缺陷目標(biāo)分類與回歸的檢測精度。

3 試驗(yàn)與結(jié)果分析

3.1 缺陷數(shù)據(jù)集制作

在深度學(xué)習(xí)訓(xùn)練中，訓(xùn)練數(shù)據(jù)的缺少會(huì)導(dǎo)致訓(xùn)練模型實(shí)際檢測精度較低。工廠獲取的3 640張?zhí)祭w維編織物缺陷圖像對(duì)于實(shí)際訓(xùn)練是不夠的。本研究采用旋轉(zhuǎn)、翻轉(zhuǎn)、模糊、增加噪聲等數(shù)據(jù)增強(qiáng)技術(shù)，將缺陷圖像數(shù)目擴(kuò)增為7 280張。通過labelImg圖像標(biāo)注工具，對(duì)數(shù)據(jù)增強(qiáng)后的7 280張圖像進(jìn)行標(biāo)注，并按照PASCAL VOC2007數(shù)據(jù)集格式制作數(shù)據(jù)集。然后將標(biāo)注后的數(shù)據(jù)集按照8∶1∶1的比例，隨機(jī)生成缺陷圖像的訓(xùn)練集、測試集、驗(yàn)證集，用以輸入深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

3.2 試驗(yàn)環(huán)境與超參數(shù)

本試驗(yàn)的硬件環(huán)境為AMD Ryzen 7 5800H@3.2 MHz 8核處理器，NVIDIA GeForce RTX 3090顯卡；軟件環(huán)境為Ubuntu 18.04.5操作系統(tǒng)，CUDA 8.0.5版本，Python 3.8.10版本，MMCV 1.3.9版本，PyTorch 1.9.0版本，MMDetection 2.14.0版本，以及Pycharm集成開發(fā)環(huán)境。

經(jīng)過對(duì)超參數(shù)的反復(fù)優(yōu)化測試，最終優(yōu)化器為隨機(jī)梯度下降算法（adam優(yōu)化器），初始學(xué)習(xí)率為0.001，權(quán)值衰減系數(shù)（weight_decay）為0.000 1，訓(xùn)練的max_epochs值為80，每5個(gè)epoch之后進(jìn)行一次學(xué)習(xí)率衰減，batch_sizes設(shè)置為50。

3.3 試驗(yàn)訓(xùn)練

改進(jìn)的Faster RCNN網(wǎng)絡(luò)模型的損失函數(shù)，由分類交叉熵函數(shù)和位置回歸函數(shù)組成，整體的函數(shù)模型如式（6）所示。

式中：pi為第i個(gè)感興趣區(qū)域的目標(biāo)概率和分別表示真實(shí)標(biāo)注框概率標(biāo)簽和位置參數(shù)；當(dāng)?shù)趇個(gè)先驗(yàn)框?yàn)檎龢颖緯r(shí)的值為1，如果第i個(gè)先驗(yàn)框?yàn)樨?fù)樣本，值為表示為框選區(qū)域的4個(gè)參數(shù)化坐標(biāo)的向量；表示的是目標(biāo)與非目標(biāo)的對(duì)數(shù)損失，函數(shù)表達(dá)式如式（7）所示。為位置回歸SmoothL1函數(shù)，函數(shù)表達(dá)式如式（8）所示。

改進(jìn)后的Faster RCNN網(wǎng)絡(luò)經(jīng)歷預(yù)訓(xùn)練后，在制作好的PASCAL VOC2007訓(xùn)練集上進(jìn)行80個(gè)epochs的訓(xùn)練。隨著訓(xùn)練次數(shù)的迭代，碳纖維編織物缺陷檢測網(wǎng)絡(luò)的總體損失函數(shù)逐步下降，檢測網(wǎng)絡(luò)模型逐漸達(dá)到收斂，最終生成穩(wěn)定的檢測模型，該模型的訓(xùn)練時(shí)間12 735 s，權(quán)重文件大小322.6 MB。

3.4 試驗(yàn)結(jié)果分析

本研究綜合選定所有檢測種類的平均精度均值（Mean Average Precision，mAP）作為碳纖維編織物表面質(zhì)量檢測的實(shí)際評(píng)價(jià)指標(biāo)，函數(shù)表達(dá)式如式（9）所示。

式中：N為檢測種類數(shù)；APi為第i類缺陷的平均檢測精度值，其函數(shù)表達(dá)式如式（10）所示。

式中：P為當(dāng)前缺陷類型檢測精度；R為召回率，兩者計(jì)算公式分別如式（11）、式（12）所示。

式中：TP為檢測網(wǎng)絡(luò)將正樣本預(yù)測為正的數(shù)目；FP為將負(fù)樣本檢測為正的數(shù)目；FN為將正樣本檢測為負(fù)的數(shù)目。

本研究在相同試驗(yàn)環(huán)境下，采用改進(jìn)前后的Faster RCNN網(wǎng)絡(luò)，分別對(duì)包含728張圖片的測試集進(jìn)行驗(yàn)證，最終得到AP值、mAP值和模型實(shí)際檢測速度，結(jié)果如表1所示。

表1 Faster RCNN網(wǎng)絡(luò)模型改進(jìn)前后的檢測結(jié)果

由表1可知，改進(jìn)的Faster RCNN網(wǎng)絡(luò)模型的mAP值達(dá)到了92.7%，比改進(jìn)前提高了3.8個(gè)百分點(diǎn)。其中，改進(jìn)的Faster RCNN網(wǎng)絡(luò)對(duì)于碳纖維編織物毛刺識(shí)別率提高了5.6個(gè)百分點(diǎn)。改進(jìn)的Faster RCNN網(wǎng)絡(luò)在圖像檢測時(shí)間上稍有所增加，但不影響實(shí)際檢測速度。對(duì)比改進(jìn)前的Faster RCNN網(wǎng)絡(luò)，改進(jìn)后的Faster RCNN網(wǎng)絡(luò)在應(yīng)用于碳纖維編織物的缺陷檢測中，精度有所提升。改進(jìn)后的Faster RCNN網(wǎng)絡(luò)實(shí)際檢測結(jié)果如圖8所示。

圖8 實(shí)際檢測結(jié)果

采用改進(jìn)的Faster RCNN網(wǎng)絡(luò)訓(xùn)練模型對(duì)缺陷圖像進(jìn)行驗(yàn)證發(fā)現(xiàn)，在實(shí)際檢測過程中仍存在缺檢、漏檢現(xiàn)象。對(duì)訓(xùn)練驗(yàn)證文件分析發(fā)現(xiàn)，在碳纖維織物毛刺等小缺陷檢測中，重疊臨近的缺陷區(qū)域容易被算法略去，從而產(chǎn)生漏檢，但通過Soft-NMS算法改進(jìn)后已經(jīng)有所提升。同時(shí)，與原始的Faster RCNN訓(xùn)練過程對(duì)比，改進(jìn)的Faster RCNN網(wǎng)絡(luò)，對(duì)于毛刺缺陷圖像的AP值，在第10次～第30次迭代的過程中，具有明顯的提升，證明Soft-NMS算法和RoI Align算法在毛刺等小缺陷檢測中有效提升了檢測精度。

4 結(jié)論

本研究根據(jù)碳纖維編織物缺陷特點(diǎn)，提出了一種改進(jìn)的Faster RCNN算法，以ResNet50作為主干特征提取網(wǎng)絡(luò)，采用改進(jìn)的Soft-NMS算法，減少了缺陷圖像的誤刪現(xiàn)象，采用RoI Align層取代RoI Pooling層，減少了特征圖回歸框定位的位置偏差。通過搭建試驗(yàn)環(huán)境，改進(jìn)的Faster RCNN網(wǎng)絡(luò)在與原網(wǎng)絡(luò)結(jié)構(gòu)檢測速度差別不大的基礎(chǔ)上，mAP值由88.9%提升到了92.7%。對(duì)比原始Faster RCNN網(wǎng)絡(luò)，改進(jìn)的Faster RCNN網(wǎng)絡(luò)在碳纖維編織物缺陷檢測，尤其是毛刺等小缺陷，檢測精度明顯提升。在后續(xù)研究中我們將對(duì)改進(jìn)的Faster RCNN網(wǎng)絡(luò)進(jìn)行檢測速度方面的優(yōu)化。