基于Cascade R-CNN改進(jìn)的花色布匹瑕疵智能識(shí)別方法

摘 ?要：花色布匹在生產(chǎn)的過程中，其相比于單色布匹的生產(chǎn)需要引入更多的加工工序，比如印花、后整理等工序，經(jīng)常導(dǎo)致花色布匹產(chǎn)生更多的瑕疵類別。為了實(shí)現(xiàn)花色布匹瑕疵的智能識(shí)別與檢測(cè)，文章給出一種基于Cascade R-CNN改進(jìn)的花色布匹瑕疵智能識(shí)別與檢測(cè)方法，實(shí)驗(yàn)結(jié)果表明，相比同類算法，文章提出的方法在花色布匹瑕疵數(shù)據(jù)集上識(shí)別的準(zhǔn)確率提升了2.39%，mAP評(píng)估指標(biāo)提高了3.83%的顯著效果。

關(guān)鍵詞：花色布匹瑕疵;目標(biāo)識(shí)別;缺陷檢測(cè);深度學(xué)習(xí);卷積神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào)：TP391.41;TS107 ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2020）23-0020-05

Improved Intelligent Recognition Method of Pattern and Color Fabric Defects

Based on Cascade R-CNN

LU Guijia

（Guangdong University of Technology，Guangzhou ?510006，China）

Abstract：In the process of patterned and color fabric production，it needs to introduce more processing procedures than the production of monochrome fabric，such as printing and finishing，etc，which often leads to more defect categories in the pattern and color fabric. In order to realize the intelligent recognition and detection of the defects of the pattern and color fabric，this paper presents an improved method of intelligent recognition and detection of the pattern and color fabric defects based on Cascade R-CNN. The experimental results show that compared with similar algorithms，the method proposed in this paper improves the accuracy of recognition on the pattern and color fabric defect data set by 2.39%，and the mAP evaluation index is improved by 3.83%.

Keywords：pattern and color fabric defect;target recognition;defect detection;deep learning;convolutional neural network

0 ?引 ?言

眾所周知，工業(yè)產(chǎn)品的表面缺陷問題嚴(yán)重地影響著其美觀和質(zhì)量，對(duì)于紡織工業(yè)的布匹產(chǎn)品，其表面的缺陷一般被人們稱為布匹瑕疵，其可能會(huì)產(chǎn)生于布匹生產(chǎn)工藝流程上各個(gè)環(huán)節(jié)，布匹產(chǎn)品的瑕疵問題會(huì)導(dǎo)致布匹產(chǎn)品滯銷和經(jīng)濟(jì)損失[1]。目前在我國的紡織企業(yè)中布匹瑕疵識(shí)別絕大多數(shù)還是依靠人工檢測(cè)，人工檢測(cè)有效率低，成本高，會(huì)導(dǎo)致誤檢和漏檢等問題，且人工檢測(cè)布匹瑕疵檢出率約為70%[2]，對(duì)于追求高質(zhì)量紡織品和提高生產(chǎn)效率的布匹生產(chǎn)企業(yè)，這無疑是個(gè)比較嚴(yán)重的阻礙。

近年來，隨著人工智能技術(shù)的快速發(fā)展與應(yīng)用，基于深度學(xué)習(xí)的方法使得布匹瑕疵智能識(shí)別與檢測(cè)的效果又邁進(jìn)了一大步。吳志洋等[3]為了解決單色布匹瑕疵的快速檢測(cè)，基于AlexNet[4]提出了一種雙網(wǎng)絡(luò)并行的OurNet方法，在單色布匹瑕疵識(shí)別準(zhǔn)確率和速度上有顯著的提升，該模型均衡了檢測(cè)速度和性能，但是對(duì)于分辨率高，瑕疵區(qū)域小的布匹圖像，卻難以檢測(cè)。車翔玖等[5]針對(duì)高分辨率，瑕疵區(qū)域小的布匹圖像不易于檢測(cè)的問題，基于FastRCNN[6]改進(jìn)提出一種多分類任務(wù)概率合成的方法，能夠有效識(shí)別高分辨率，小目標(biāo)瑕疵的布匹圖像的瑕疵，不過在識(shí)別和檢測(cè)速度上并不夠理想。

上述方法均是基于深度學(xué)習(xí)算法對(duì)布匹瑕疵檢測(cè)進(jìn)行相關(guān)研究，不過研究的對(duì)象都是易于檢測(cè)的單色布匹和紋理布匹瑕疵種類，而對(duì)于花色布匹，其瑕疵種類更為繁多，背景紋理圖案復(fù)雜，瑕疵形狀與背景花紋相似的布匹圖像條件下卻難以發(fā)揮出其相應(yīng)的性能，同時(shí)花色布匹瑕疵識(shí)別在國內(nèi)外卻鮮有研究。基于此，本文在布匹瑕疵檢測(cè)相關(guān)研究的基礎(chǔ)上，引入花色布匹模板圖像，提出了基于花色布匹圖像模板的花色布匹瑕疵智能識(shí)別與檢測(cè)方法。該方法首先使用圖像處理技術(shù)對(duì)采集到的花色布匹瑕疵圖像進(jìn)行預(yù)處理，進(jìn)一步將圖像輸入卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取;其次，引入花色布匹模板圖像的特征層，基于特征金字塔網(wǎng)絡(luò)（FPN）搭建一種新的特征融合網(wǎng)絡(luò)（TeFPN）來進(jìn)行有效特征融合;最后，提出一種基于花色布匹圖像模板的回歸框抑制方法（Te-NDS）來提高最終的花色布匹瑕疵識(shí)別效果。

1 ?花色布匹瑕疵問題描述

通過對(duì)花色布匹瑕疵進(jìn)行觀察，發(fā)現(xiàn)有一些花色布匹的瑕疵特征與花色背景紋理十分相似，還有一些瑕疵類別之間的特征也十分相似，部分各類花色布匹瑕疵如圖1所示，若依靠人工去檢查很難通過人眼去觀察并把它們尋找出來，而且人工檢測(cè)花色布匹瑕疵是十分困難且低效率的，所以本文擬采用一種基于深度學(xué)習(xí)的智能方法來研究花色布匹瑕疵的識(shí)別與檢測(cè)。

通過對(duì)花色布匹數(shù)據(jù)庫進(jìn)行分類統(tǒng)計(jì)，可以發(fā)現(xiàn)花色布匹瑕疵各個(gè)類別在分布上具有顯著的不平衡特性。其中，最多的是玷污類瑕疵，總共有5 233個(gè)，占瑕疵總體的34.7%，瑕疵數(shù)目最少的類別是破洞類，有368個(gè)，約占總體的2.5%，這樣的數(shù)據(jù)分布顯然不利于用學(xué)習(xí)的方法進(jìn)行模型訓(xùn)練并推理預(yù)測(cè)。同時(shí)，本文還對(duì)各類瑕疵的形狀尺寸進(jìn)行統(tǒng)計(jì)分析，發(fā)現(xiàn)各類瑕疵存在類內(nèi)瑕疵尺寸差異較大，類間瑕疵尺寸差異顯著的特點(diǎn)。

2 ?花色布匹瑕疵檢測(cè)模型構(gòu)建

2.1 ?基于Cascade R-CNN改進(jìn)的花色布匹瑕疵識(shí)別方法

為了更能適應(yīng)對(duì)于花色布匹瑕疵的檢測(cè)與分類，本文采用Cascade R-CNN[7]網(wǎng)絡(luò)結(jié)構(gòu)作為花色布匹瑕疵識(shí)別的基本模型，并且在此模型結(jié)構(gòu)上做了部分有效的改進(jìn)，網(wǎng)絡(luò)框架結(jié)構(gòu)如圖2所示。首先，本文基于特征金字塔網(wǎng)絡(luò)[8]，引入正?；ㄉ计D像作為模板進(jìn)行特征提取，然后和待檢測(cè)花色布匹圖像提取的特征層進(jìn)行有效的融合。其次，本文采用K-means聚類分析方法，針對(duì)花色布匹瑕疵尺寸進(jìn)行聚類分析，然后在網(wǎng)絡(luò)模型結(jié)構(gòu)中的區(qū)域候選網(wǎng)絡(luò)中對(duì)anchor的比例和尺寸大小進(jìn)行重新設(shè)定。最后，本文在瑕疵分類和定位回歸處理上結(jié)合了花色布匹模板圖像進(jìn)行非極大值抑制處理，提高了花色布匹瑕疵檢測(cè)定位的效果。

2.2 ?基于FPN改進(jìn)的特征融合網(wǎng)絡(luò)

FPN是通過利用卷積神經(jīng)網(wǎng)絡(luò)提取輸入圖像的特征圖層進(jìn)行了橫向連接和自頂向下連接的特征融合方式，這種方法能夠有效地融合輸入圖像中各個(gè)維度的特征，可以使下層輸出的特征圖層融合上層的語義信息，實(shí)驗(yàn)表明，該特征表達(dá)的語義信息更為有效。FPN網(wǎng)絡(luò)結(jié)構(gòu)如圖3（a）所示，其中Fl（l=2，…，6）表示經(jīng)過CNN提取原始圖像的第2～6層金字塔型特征圖層，從第6層特征圖層F6開始，每個(gè)特征圖層在水平方向以3×3的卷積核進(jìn)行卷積運(yùn)算，再從最頂層P6從頂向下進(jìn)行2倍的上采樣運(yùn)算后與對(duì)應(yīng)水平卷積運(yùn)算后的特征圖層逐元素相加，獲得最終特征圖層Pk（k=2，…，5）。

由于花色布匹瑕疵的特點(diǎn)與花色布匹的背景花紋圖案具有相似性，F(xiàn)PN會(huì)融合花色布匹圖像的冗余特征信息，難以發(fā)揮其有效的性能?；诖?，本文引入了花色布匹模板圖像的特征層，采取其相應(yīng)的高層次特征層相加，低層次特征層相減，得到特征層差值再與相應(yīng)的瑕疵布匹圖像特征層進(jìn)行通道疊加的特征融合方式，本文將該方法命名為TeFPN，該方法能減弱花紋和圖案背景的特征信息對(duì)瑕疵特征的干擾，TeFPN網(wǎng)絡(luò)結(jié)構(gòu)如圖3（b）所示，其相關(guān)計(jì)算方式為：

Pi=Concat（Fdi，（Fdi）+Fti））*Ki，（i=4，5，6） （1）

Pj=Concat（Fdj，（Fdj）-Ftj））*Kj，（j=2，3） ? （2）

其中，Pi，Pj表示經(jīng)過TeFPN輸出的第i和第j層特征圖層，Concat（Fdi，（Fdi+Fti））表示對(duì)特征圖層Fdi和特征圖層（Fdi+Fti）進(jìn)行通道疊加，*表示卷積運(yùn)算，Ki和Kj均表示1×1卷積核。圖中顏色由淺至深表示特征層由高至低。

2.3 ?基于模板的非瑕疵抑制方法

非極大值抑制[9]是一種抑制不是極大值的元素的局部最大搜索方法。用于目標(biāo)檢測(cè)中，就是提取置信度高的目標(biāo)檢測(cè)框，抑制置信度低的回歸框。受此方法啟發(fā)，本文針對(duì)花色布匹的花紋和背景圖案與瑕疵特點(diǎn)具有相似性的特點(diǎn)會(huì)造成模型性能降低的問題，提出Te-NDS后處理算法，其算法框圖如圖4所示。圖中IoU為交并比。

3 ?花色布匹瑕疵數(shù)據(jù)處理

3.1 ?花色布匹數(shù)據(jù)庫構(gòu)建

本文在廣東省某布匹企業(yè)采集到了63種花色布匹圖像數(shù)據(jù)4 681張，圖像分辨率大小為1810×4096，其中包括正常樣本1 217張，帶有瑕疵的樣本3 409張，并且對(duì)帶有瑕疵的樣本進(jìn)行了瑕疵信息標(biāo)注，包括瑕疵在圖片中的像素位置，瑕疵的類別和瑕疵對(duì)應(yīng)的圖像文件名稱，對(duì)于破洞、水印、玷污等常見的布匹瑕疵類型進(jìn)行了統(tǒng)計(jì)，共統(tǒng)計(jì)出9類瑕疵，對(duì)于色差、蠟斑和網(wǎng)折等不常見的布匹瑕疵類型歸為其他類，瑕疵類別總計(jì)共有10類。對(duì)于正常的樣本圖像不做瑕疵信息標(biāo)注，并且根據(jù)花色選出每一種正常花色布匹圖像作為模板圖像。

3.2 ?花色布匹數(shù)據(jù)處理

根據(jù)上述的類不平衡的問題，本文對(duì)于瑕疵類別占比較低的圖像進(jìn)行由Shorten和Kisantal等[10，11]提出的圖像數(shù)據(jù)增強(qiáng)處理，對(duì)于瑕疵類別占比在1%～8%之間的圖像，做水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、分割、隨機(jī)仿射變換、椒鹽噪聲和高斯濾波共6種數(shù)據(jù)增強(qiáng)方式，瑕疵類別占比在9%～21%之間的圖像，做了分割、隨機(jī)仿射變換、椒鹽噪聲和高斯濾波共4種數(shù)據(jù)增強(qiáng)方式，瑕疵類別占比在22%～29%之間的圖像，僅采用了翻轉(zhuǎn)和分割2種數(shù)據(jù)增強(qiáng)方式，瑕疵類別占比超過30%的布匹圖像，不做圖像增強(qiáng)。這樣得到花色布匹瑕疵類別分布較為平衡的數(shù)據(jù)集，經(jīng)過數(shù)據(jù)增強(qiáng)前后的花色布匹瑕疵類別分布直方圖，如圖5所示。

4 ?實(shí)驗(yàn)結(jié)果與分析

4.1 ?實(shí)驗(yàn)環(huán)境與細(xì)節(jié)

本文的實(shí)驗(yàn)環(huán)境是采用配置為Intel（R）Xeon（R）E5-2650 v4 @ 2.20 GHz CPU和NVIDIA GeForce GTX 1080Ti GPU

的服務(wù)器進(jìn)行實(shí)驗(yàn)，服務(wù)器的操作系統(tǒng)為Ubuntu 16.04，同時(shí)基于PyTorch框架進(jìn)行模型的搭建與改進(jìn)，用到ImageNet[12]中的預(yù)訓(xùn)練權(quán)重。此外，使用了OHEM采樣方法進(jìn)行采樣、多尺度訓(xùn)練、隨機(jī)翻轉(zhuǎn)等訓(xùn)練技巧和Focal Loss損失函數(shù)，使用隨機(jī)梯度下降算法進(jìn)行優(yōu)化訓(xùn)練過程不會(huì)引起梯度爆炸。

4.2 ?評(píng)估指標(biāo)

識(shí)別的準(zhǔn)確率（Acc）為識(shí)別正確的花色布匹圖像數(shù)量與測(cè)試集所有樣本數(shù)量的比值，其計(jì)算公式見式（3）：

（3）

其中，TP為預(yù)測(cè)實(shí)際瑕疵為瑕疵，TN為預(yù)測(cè)實(shí)際正?；ㄉ计檎＃o瑕疵），M為測(cè)試集所有樣本數(shù)量。

另外，為了測(cè)量模型在10類不同瑕疵中的總體檢測(cè)性能，本文采用mAP性能指標(biāo)進(jìn)行評(píng)估模型的性能，mAP的定義公式為式（4）：

（4）

其中Pn（Rn）表示第n類的PR曲線，N表示實(shí)際的總類別數(shù)目。識(shí)別的速度以每秒識(shí)別幀數(shù)（FPS）來評(píng)估，一幀表示一幅花色布匹圖像，F(xiàn)PS值越高表明識(shí)別速度越快。

4.3 ?模型的性能實(shí)驗(yàn)結(jié)果

本文實(shí)驗(yàn)用到含有28種花色，926張分辨率為2 048 ×915的花色布匹圖像的測(cè)試集進(jìn)行花色布匹瑕疵智能識(shí)別實(shí)驗(yàn)，表1是本文方法和同類方法的實(shí)驗(yàn)結(jié)果比較。Faster RCNN在不同的骨架網(wǎng)絡(luò)上的性能表現(xiàn)相差不大，隨著卷積網(wǎng)絡(luò)層數(shù)的加深，其準(zhǔn)確率和mAP都有小幅度提升，準(zhǔn)確率提高了0.55%，mAP提升了1.41%，由此可以推斷，卷積網(wǎng)絡(luò)深度的加深可以提取更到更多的特征信息，提升模型的檢測(cè)性能。一方面，在相同的骨架網(wǎng)絡(luò)下Cascade R-CNN與Faster RCNN相比，Cascade R-CNN的性能表現(xiàn)更好。另一方面，Cascade R-CNN在同一特征提取骨架網(wǎng)絡(luò)下，特征融合網(wǎng)絡(luò)中TeFPN的準(zhǔn)確率相比FPN提高了1.07%，mAP提升了2.07%，因此TeFPN有效地融合瑕疵的特征，過濾掉部分花紋和背景圖案等非瑕疵特征信息。同時(shí)，Te-NDS的引入也使得模型的識(shí)別準(zhǔn)確率再提高了1.32%，mAP又提升了1.76%，驗(yàn)證了本文提出的Te-NDS方法能有效地抑制模型對(duì)背景紋理信息對(duì)瑕疵特征的干擾。另外，經(jīng)過參數(shù)整定實(shí)驗(yàn)，當(dāng)設(shè)定Te-NDS的閾值Nt=0.32時(shí)，模型性能在測(cè)試集上取得最好的效果。這說明，對(duì)比于原始的Cascade R-CNN方法，本文的改進(jìn)方法在花色布匹瑕疵數(shù)據(jù)集上的準(zhǔn)確率和mAP性能指標(biāo)均有大幅提升，不過在識(shí)別的速度上略有減緩。

5 ?結(jié) ?論

本文針對(duì)花色布匹具有花紋和復(fù)雜圖案等條件下進(jìn)行瑕疵分類與檢測(cè)，提出了一種基于Cascade R-CNN改進(jìn)的智能識(shí)別方法。該方法通過在特征融合網(wǎng)絡(luò)引入花色布匹圖像的模板特征層與待測(cè)花色布匹圖像特征層進(jìn)行有效融合，同時(shí)在模型識(shí)別過程中采用了一種基于花色布匹模板的非瑕疵抑制的后處理方法。經(jīng)過實(shí)驗(yàn)驗(yàn)證，本文提出的方法能夠提升花色布匹瑕疵的識(shí)別效果，可應(yīng)用于花色布匹瑕疵的識(shí)別與檢測(cè)。

參考文獻(xiàn)：

[1] HENRY Y.T. NGAN A，Grantham K.H，etc. Automated fabric defect detection—A review [J].Image and Vision Computing，2011，29 （7）：442-458.

[2] CHAN C H，PANG G K H. Fabric defect detection by Fourier analysis [J].IEEE Transactions on Industry Applications，2000，36（5）：1267.

[3] 吳志洋，卓勇，李軍，等.基于卷積神經(jīng)網(wǎng)絡(luò)的單色布匹瑕疵快速檢測(cè)算法 [J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2018，30（12）：2262-2270.

[4] KRIZHEVSKY A，SUTSKEVER I，HINTON G. ImageNet classification with deep convolutional neural networks [J].Communications of the ACM，2017，60（6）：84-90.

[5] 車翔玖，劉華羅，邵慶彬.基于Fast RCNN改進(jìn)的布匹瑕疵識(shí)別算法 [J].吉林大學(xué)學(xué)報(bào) （工學(xué)版），2019，49（6）：2038-2044.

[6] GIRSHICK R. Fast R-CNN [C]//2015 IEEE International Conference on Computer Vision （ICCV）.Santiago：IEEE，2015：1440-1448.

[7] CAI Z W，VASCONCELOS N. Cascade R-CNN：Delving Into High Quality Object Detection [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition：IEEE，2018.

[8] LIN T Y，DOLLAR P，HE K，et al. Feature Pyramid Networks for Object Detection [C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）：IEEE，2017.

[9] NEUBECK A，GOOL L J V. Efficient Non-Maximum Suppression [C]//International Conference on Pattern Recognition：IEEE，2006.

[10] SHORTEN C，KHOSHGOFTAAR T M. A survey on Image Data Augmentation for Deep Learning [J].Journal of Big Data，2019，6（1）：1-48.

[11] KISANTAL M，WOJNA Z，MURAWSK J，et al. Augmentation for small object detection [C]//9th International Conference on Advances in Computing and Information Technolog：Aircc Publishing Corporation，2019.

[12] DENG J，DONG W，SOCHER R，et al. ImageNet：A large-scale hierarchical image database [C]//IEEE Conference on Computer Vision & Pattern Recognition.Miami：IEEE，2009：248-255.

作者簡介：陸貴家（1996—），男，壯族，廣東廣州人，碩士研究生在讀，主要研究方向：深度學(xué)習(xí)，計(jì)算機(jī)視覺，目標(biāo)檢測(cè)。