基于卷積神經(jīng)網(wǎng)絡的織物圖像識別方法研究進展

鄭雨婷，王成群，陳亮亮，吳 江，呂文濤

(1.浙江理工大學信息學院，杭州 310018；2.浙江經(jīng)貿(mào)職業(yè)技術(shù)學院應用工程系，杭州 310018)

纖維、紗線通過一定的交叉、繞結(jié)或連結(jié)等方式構(gòu)成穩(wěn)定的關(guān)系形成了織物。在紡織工業(yè)生產(chǎn)中，織物不僅作為制作服裝的基礎(chǔ)材料，而且可作為其他裝飾類和工業(yè)類的原材料進行再加工。隨著織物圖像數(shù)據(jù)庫的不斷擴大，如何從海量織物圖像數(shù)據(jù)中提取、組織關(guān)鍵特征并快速精準得到有效信息，正成為紡織領(lǐng)域中倍受關(guān)注的問題。在生產(chǎn)過程中，疵點分類及檢測、圖像分類、圖像分割技術(shù)分別在質(zhì)量檢測、工藝加工等環(huán)節(jié)起著至關(guān)重要的作用。采用人工處理的方法具有一定的主觀性，工作環(huán)境、情緒狀態(tài)和資歷經(jīng)驗等因素均會影響技術(shù)的具體實施效果，同時還需考慮人力和時間成本等問題；而以淺層次結(jié)構(gòu)為主的傳統(tǒng)機器學習方法，存在無法自主學習特征的缺點?；谏窠?jīng)網(wǎng)絡的圖像識別技術(shù)不僅克服了人工檢測主觀性強和傳統(tǒng)機器方法無法自主學習的難題，而且提高了生產(chǎn)效率降低了加工成本。卷積神經(jīng)網(wǎng)絡(Convolution neural network, CNN)一般由輸入層、卷積層、激活函數(shù)、池化層、全連接層5部分組成，可借助標準數(shù)據(jù)集ImageNet[1]和紡織服裝行業(yè)大量豐富的圖像數(shù)據(jù)進行訓練，具有處理精度高、適應性好、靈活性強等特點。隨著神經(jīng)網(wǎng)絡的研究不斷深入，圖像識別技術(shù)的精度和速度得到了極大的提高。其成果一方面得益于數(shù)據(jù)集的擴大，另一方面來自算法和網(wǎng)絡結(jié)構(gòu)的優(yōu)化。

1 基于卷積神經(jīng)網(wǎng)絡的織物疵點分類算法

目前，基于神經(jīng)網(wǎng)絡的織物疵點分類算法，主要包括以下幾種：GG-Very-Deep-16 CNN(VGG16-Stochastic Gradient Descent[2]、VGG16-Visual Saliency[3]、VGG16-Double Low Rank[4]、Fisher Deep Convolutional Neural Network(FDCNN)[5-6]、LZFNet-V1[7])，GoogLeNet(Inception v1[8-10]、Inception v3[2, 11-12])，Deep Residual Network(ResNet-34[13-14]、ResNet-50[15])和其他CNN(CNN-Dense[16]、CNN-Adam[17]、CNN-PASS[18]、EfficientNet-B5[19]、CNN-Regularization[20])。卷積網(wǎng)絡不同于傳統(tǒng)機器學習方法的手動定義特征，它利用卷積層的局部連接和權(quán)值與池化層的平移不變性，達到自主學習特征提取的目的，最后一般利用全連接層實現(xiàn)分類。

1.1 VGG16

AlexNet模型采用了ReLu激活函數(shù)[1]、Dropout策略和Local Response Normalization(LRN)處理，緩解了網(wǎng)絡的過擬合問題和梯度彌散問題并增加了網(wǎng)絡的稀疏性，但面對復雜紋理結(jié)構(gòu)需要獲得更大的感受野增強特征提取效率，而且池化層會造成一些不必要的信息損失。VGG16采用連續(xù)的3×3卷積核代替AlexNet中的較大卷積核，卷積層由5層增加至13層，保證同等感知野的情況下增加了網(wǎng)絡深度和非線性變換，但是出于計算時間的考慮未進行LRN處理。

為證明Batch Normalization(BN)層對坯布缺陷分類的有效性，晏琳[2]在VGG16的池化層和卷積層間增加批歸一化層，而在原始AlexNet用批歸一化層替代局部歸一化層，分別使用Stochastic Gradient Descent(SGD)、momentum和Root Mean Square prop(RMSprop)3種梯度下降法進行實驗。經(jīng)比較，SGD作為優(yōu)化算法的改進VGG16取得了最高的準確率，達到98.26%。在背景復雜的提花織物圖像中，隨著卷積層數(shù)的增加背景花紋容易被誤檢為疵點，李敏等[3]基于VGG16融合視覺顯著性模型來抑制背景信息，在提花織物疵點數(shù)據(jù)集中測得平均準確率97.07%，比原網(wǎng)絡提高了 19.44%，但無法區(qū)分疵點類別。江伴等[4]利用疵點圖像顯著性得分高的特點很好地實現(xiàn)了疵點和背景、噪聲的分離，先是參考VGG16構(gòu)建了淺層卷積網(wǎng)絡得到圖像的特征矩陣，接著采用雙低秩表示模型實現(xiàn)疵點區(qū)域和背景區(qū)域的分離，最后利用閾值分割算法定位，準確率高達98.58%。Chollet[5]提出的Xception證明了利用深度可分離濾波器可超越Inception v3模型性能，深度可分離卷積可以保證較高分類準確率的前提下降低網(wǎng)絡參數(shù)。因此，史甜甜[6]在VGG16的基礎(chǔ)上結(jié)合深度可分離卷積提出FDCNN模型，并在Softmax分類器中加入Fisher準則約束以增加模型的泛化性，在TILDA和彩色格子數(shù)據(jù)集上分類準確率分別為98.14%、98.55%，并且網(wǎng)絡參數(shù)量縮減為1.8 MB、計算量和運行時間大幅度降低，但還沒有應用到自動監(jiān)測系統(tǒng)中。為更有針對性地調(diào)整VGGNet結(jié)構(gòu)以提高識別精度，Liu等[7]引入反卷積網(wǎng)絡并對VGGNet進行深度特征可視化分析，優(yōu)化體系結(jié)構(gòu)構(gòu)造了LZFNet-V1，精度不低于原網(wǎng)絡的同時參數(shù)縮減了90%以上，適用于紡織品生產(chǎn)企業(yè)中計算資源受限條件下的輕量級織物缺陷識別系統(tǒng)。

1.2 GoogLeNet

VGGNet中的3個全連接層需要耗費一定的計算資源，GoogLeNet[8]將全連接層用全局平均池化來取代，雖然減少了過擬合情況的出現(xiàn)，但也導致了模型泛化能力的缺失。GoogLeNet提出了Inception模塊，在卷積層后方銜接1×1的卷積核進行特征提取，并且采用多個模塊組合構(gòu)建整體模型，在增加網(wǎng)絡寬度與深度的同時減少了模型參數(shù)。Inception v2用2個3×3的卷積核代替5×5的大卷積，緊接著Inception v3提出將一個較大的二維卷積拆分成兩個較小的一維卷積，減少了參數(shù)量而且加速了運算。但隨著網(wǎng)絡的加深，不可避免會造成梯度消失等問題。

趙志勇等[9]用Inception-ResNet-v2在復雜背景和無規(guī)律紋理的布匹數(shù)據(jù)集中實驗，疵點判決準確率達到了99%，其中Inception結(jié)構(gòu)用于自動學習特征提取，而殘差網(wǎng)絡用來緩解網(wǎng)絡加深帶來的一系列問題。從輸出的特征圖譜可看出該網(wǎng)絡實現(xiàn)了疵點和背景的隔離，但只能實現(xiàn)二分類且無法應用于嵌入式平臺。王理順等[10]去掉了GoogLeNet架構(gòu)中的LRN層與Dropout層，在卷積層和Inception層后均添加一個BN層作歸一化處理，在保證收斂速度和泛化能力的前提下，降低了模型的復雜度。在織物驗布機實時高清圖平均每張圖的測試時間為0.37 ms，比GoogLeNet、ResNet-50分別減少了67%、93%，測試集上的分類準確率高達 99.99%，準確率與實時性均滿足工業(yè)需求。相比于Inception v1結(jié)構(gòu)，Inception v3[11]不僅用多個小卷積核替代大卷積減少了參數(shù)量，而且利用非對稱卷積減少了計算量。晏琳[2]基于遷移學習的Inception v3訓練迭代僅200次時，就能夠在坯布缺陷數(shù)據(jù)集取得97.03%的分類準確率，大大降低了訓練時間，且能被運用到傳送帶或驗布機等對速率要求較高的環(huán)境中。曹振軍等[12]參考Inception v3模塊，添加Dropout層減少過擬合，在破洞、帶紗、雙緯紗和斷頭4類色織物疵點數(shù)據(jù)集訓練的平均準確率達到了94%，并滿足在嵌入式平臺工業(yè)在線檢測的要求。

1.3 ResNet

隨著VGGNet、GoogLeNet深度的增加，網(wǎng)絡可能會出現(xiàn)退化現(xiàn)象，ResNet使用了殘差學習的結(jié)構(gòu)避免了此等現(xiàn)象的發(fā)生。為研究遷移學習給殘差網(wǎng)絡帶來的影響，羅俊麗等[13]比較了在不同大小的素色織物數(shù)據(jù)集中，遷移學習ResNet-34中不同層對應的疵點識別率。在較大的數(shù)據(jù)集中，由于預訓練數(shù)據(jù)集ImageNet與織物數(shù)據(jù)集特征差別較大，而高層特征描述得較為抽象，故模型識別率隨著遷移層數(shù)的增加而下降；在較小的數(shù)據(jù)集中，加載遷移層數(shù)2層以內(nèi)，模型識別率有所提高，繼續(xù)增加層數(shù)反而下降。實驗表明，殘差網(wǎng)絡在較大數(shù)據(jù)集中識別率更高，當數(shù)據(jù)集較小時，可以通過遷移學習提升模型的識別率。由于使用阿里云天池大賽織物數(shù)據(jù)集中包括大量正常(無疵點)的織物圖像，蔡鵬等[14]先采用重采樣、垂直和水平方向上的翻轉(zhuǎn)對有疵點圖像進行數(shù)據(jù)增強，得到的訓練樣本再和縮小尺寸的原圖分別輸入到2個ResNet-34模型中訓練后融合。對比得mean Average Precision(mAP)和AreaUnderRoc(AUC)的數(shù)值發(fā)現(xiàn)，訓練集擴充、測試集數(shù)據(jù)增強和模型融合都有助于模型預測精度的提高。為提取到更細微的特征信息，羅維平等[15]基于ResNet-50應用遷移學習方法，并用3個3×3的堆疊卷積層替換7×7卷積層，降低了計算參數(shù)量，最后在殘差模塊1×1卷積核下采樣前加入一層2×2的平均池化層整合空間信息。在企業(yè)提供的真實高清織物數(shù)據(jù)集中訓練并測試，比標準模型速度提升了1倍，計算量減少10%，泛化能力相比于最深的殘差網(wǎng)絡ResNet152模型只差了0.63%。

1.4 其他CNN

崔春杰等[16]觀察到平紋、斜紋和鍛紋3類織物數(shù)據(jù)集中疵點具有明顯的方向性，針對這3類織物設(shè)計了由卷積層、池化層、flatten層和dense層組成的卷積網(wǎng)絡，在測試樣本的平均準確率為98.6%，且具有較強的魯棒性和泛化能力，但只能實現(xiàn)二分類。在平紋布這類簡單背景的織物中，劉艷鋒等[17]設(shè)計的卷積網(wǎng)絡包含了連續(xù)三次的卷積、池化操作，并采用Adam作為梯度下降算法。該網(wǎng)絡在檢測準確率達到98%以上，均高于VGG16和LeNet，但檢測速度基于兩者之間，且無法判斷疵點具體類別。針對數(shù)碼印花PASS道等4類小目標缺陷，蘇澤斌等[18]先對圖像作預處理和幾何變換的數(shù)據(jù)增強，增加了圖像質(zhì)量和數(shù)量，設(shè)計了一個包含2個卷積層、2個池化層和2個全連接層的CNN，分類準確率高于LeNet-5、AlexNet、VGG16以及GoogLeNet等網(wǎng)絡模型。張敏等[19]使用ImageNet數(shù)據(jù)集上預訓練的初始權(quán)重，采用遷移學習在小樣本TILDA數(shù)據(jù)集上進行微調(diào)構(gòu)建新的EfficientNet-B5模型，得到高達99%的分類準確率。孫羽等[20]在卷積核上引入多層感知機加深局部感受野深度，進一步增強特征表示能力；為防止網(wǎng)絡深度的增加造成過擬合，在前向傳播的softmax損失函數(shù)中使用L2正則化，加快收斂速度、提高檢出率。在線陣CCD相機收集的布匹數(shù)據(jù)集中訓練，測試識別率高達98.9%，要優(yōu)于未改進的傳統(tǒng)CNN方法以及傳統(tǒng)檢測算法。

綜上，神經(jīng)網(wǎng)絡技術(shù)在織物疵點分類中起著重要的作用，不僅能自主學習織物疵點圖像的特征取得較高的分類精度，也能通過優(yōu)化網(wǎng)絡結(jié)構(gòu)滿足工業(yè)實時性分類的要求。各網(wǎng)絡分類算法分析見表1。

表1 基于卷積神經(jīng)網(wǎng)絡的疵點分類算法優(yōu)缺點分析

2 基于卷積神經(jīng)網(wǎng)絡的瑕疵檢測算法

織物瑕疵檢測是紡織品質(zhì)檢過程中的重要環(huán)節(jié)，高檢測精度和實時工業(yè)監(jiān)測是織物瑕疵檢測領(lǐng)域的主要挑戰(zhàn)，瑕疵檢測結(jié)果如圖 1所示?；诰矸e神經(jīng)網(wǎng)絡的織物瑕疵檢測算法主要分為兩種：一種是基于候選區(qū)域的算法，分開實現(xiàn)候選區(qū)域的產(chǎn)生和分類與回歸(兩步法)，例如Faster Region Convolution Neural Network(Faster RCNN-Generative Adversarial Networks[21]、Faster RCNN-Soft Non Maximum Suppression[22]、Faster RCNN-ResNet-101[23-25])、Region-based Fully Convolutional Networks(R-FCN)[26]；另一種是僅使用一個卷積網(wǎng)絡就對目標直接定位與分類(一步法)，例如You Only Look Once(Tiny-YOLOv3[27-28]、YOLOv3[29]、LW-YOLO[30])、Single Shot MultiBox Detector(MobileNet(V3)-SSD[28]、MobileNet Feature Fusion-SSD(MF-SSD)[31]、Deconvolutional Single Shot Detector(DSSD)[32]、Multi-scale Fusion Deconvolutional Single Shot Detector(MFDSSD)[33])。

圖1 瑕疵檢測示意

2.1 兩步法

RCNN利用候選區(qū)域與CNN結(jié)合做目標定位，接著Fast RCNN的提出實現(xiàn)了目標分類與檢測框回歸的統(tǒng)一。Faster RCNN則利用Region Proposal Network(RPN)采用自主學習的方式生成區(qū)域候選框，再與Fast RCNN檢測網(wǎng)絡共享卷積層，并且利用非極大值抑制算法減少候選框的冗余，比傳統(tǒng)滑動窗口獲得目標候選框精度和速度都更高。

2.1.1 Faster RCNN

李明等[21]在Faster RCNN的基礎(chǔ)上利用Generative Adversarial Networks(GAN)對織物瑕疵圖像集進行擴充，緩解了瑕疵樣本有限和類別分布不均的問題。先后在3個織物缺陷數(shù)據(jù)集中實驗，在保持效率不變的同時mAP分別提高了 4.32%、3.88%、3.46%，最終準確率分別為 93.68%、92.45%、93.7%。由于Non Maximum Suppression(NMS)算法會誤刪位置相近的小瑕疵產(chǎn)生的檢測框，安萌等[22]在Faster RCNN的基礎(chǔ)上用Soft-NMS算法替代該算法，同時在Softmax函數(shù)中加入L2范數(shù)約束提高了分類準確率。在天池布匹瑕疵數(shù)據(jù)集中準確率高達94.67%，相比原模型提高了5.09%，但主要研究紋理較為簡單的數(shù)據(jù)集，并未對復雜紋理特征深入研究。為提升多尺度瑕疵和小目標瑕疵的檢測能力，陳康等[23]采用了Faster RCNN與ResNet-101相結(jié)合的方法，增加錨點框的種類至16種，用全局平均池化層替代原網(wǎng)絡前兩個全連接層，不僅減少參數(shù)數(shù)量加快了網(wǎng)絡運算，而且還減輕了過擬合的發(fā)生。雖然使用殘差網(wǎng)絡犧牲了部分檢測時間，但在純色布匹瑕疵數(shù)據(jù)集的平均準確率高達 95.63%，顯著超越了人工檢測精度。晏琳等[24]同樣以ResNet-101作為Faster RCNN的特征提取網(wǎng)絡，在ImageNet數(shù)據(jù)集和坯布缺陷數(shù)據(jù)集多次合理參數(shù)優(yōu)化后，最終檢測準確率高達99.6%，但不適用于對檢測速度有要求的生產(chǎn)線。Zhou等[25]將Feature Pyramid Network(FPN)和Distance Intersection Over Union(DIOU)損失函數(shù)技術(shù)融入Faster RCNN中，用Region of Interest Pooling(ROI Pooling)替代Region of Interest Align(ROI Align)，搭建出由ResNet-101作為Backbone的FabricNet模型。在DAGM2007數(shù)據(jù)集上達到62.07%的mAP和 97.37% 的AP50，平均預測速度為每秒16幀。

2.1.2 R-FCN

基于ResNet-101的Faster RCNN只共享了前91層的卷積層，存在平移不變性和位置敏感性的矛盾，極大地限制了算法的訓練和計算速度。R-FCN 是基于此用卷積層替代全連接層，并在ROI pooling前引入位置敏感得分圖，合并了大量獨立運算。廖如天[26]基于R-FCN，并將Soft-NMS算法引入到R-FCN的樣本后處理，提出了全局信息融合的R-FCN模型。為減少特征提取網(wǎng)絡的浮點數(shù)運算，將ResNet-101替換為ResNet-50，同時去除Conv5層的一次降采樣，并引入空洞卷積替代普通卷積彌補感受野減小問題，使用多尺度交替訓練和在線難示例挖掘保證網(wǎng)絡得到更加充分的訓練。應用于圓織機織物瑕疵檢測的實驗表明，空洞卷積可以在尺寸為640×96的條帶上提升5.4%的平均查全率，且不會加入額外的計算開銷。提出的快速R-FCN有與R-FCN相當?shù)牟槿屎团cYOLOv2較為接近的檢測速度，魯棒性強，不受光照等外界條件影響，但只能對靜態(tài)單幀圖像進行檢測。

2.2 一步法

Faster RCNN雖然準確率較高，但在速度方面稍有劣勢。單階段的檢測算法雖然準確率稍低，但是在速度方面更有優(yōu)勢。針對YOLO可以從兩個方向加以改進，一個是在降速不多的前提下提高模型的檢測精度，另一個則是在不損失精度的情況下繼續(xù)提高檢測速度。

2.2.1 YOLO

YOLOv3[27]借鑒FPN的思想提取3個不同尺度的特征分別做預測，Tiny-YOLOv3在此基礎(chǔ)上修改部分主干網(wǎng)絡并去掉一個獨立預測分支。彭亞楠等[28]提出了基于Tiny-YOLOv3改進的織物瑕疵檢測算法IMP-Tiny-YOLOv3，在原主干網(wǎng)絡的基礎(chǔ)上增加3個卷積層，同時引入1×1卷積核來降低模型計算復雜度。該網(wǎng)絡在廣東智能制造良品檢測數(shù)據(jù)集實驗得到的mAP和recall較原網(wǎng)絡模型分別提升了3.1%和2.7%，也滿足工業(yè)實時性的要求，但對小型織物瑕疵檢測仍有不足。

由于檢測出尺度小的瑕疵需要高清晰度圖片輸入，這會導致檢測速度降低，謝景洋等[29]分別選取輕量化的MobileNets和更細粒度多尺度特征的Res2Net代替Darknet53作為YOLOv3算法的主干網(wǎng)絡，模型在COCO數(shù)據(jù)集上預訓練后遷移到阿里云天池數(shù)據(jù)大賽布匹瑕疵數(shù)據(jù)集微調(diào)后測試, 并采用Grad-CAM對主干網(wǎng)絡特征提取能力可視化。結(jié)果發(fā)現(xiàn)MobileNets在保持檢測精度的同時速度提高了30%，并且能更專注提取缺陷的特征，而Res2Net雖然殘差連接了多尺度特征但是在布匹瑕疵檢測中沒有明顯優(yōu)勢。YOLOv3對小目標檢測能力較強，崔健[30]參考此網(wǎng)絡并采用連續(xù)的3×3和1×1卷積層搭建出一個輕量型卷積神經(jīng)網(wǎng)絡框架LW-YOLO，在TILDA織物圖像庫整體檢測準確率達到97.7%，將檢測速度提高了2.6倍，模型參數(shù)減小了30倍。在此基礎(chǔ)上加入深度可分離卷積和可分離自適應再校準塊(Separated Adjusting Region，SAR)，即在深度卷積與點卷積之間添加了sigmoid激活函數(shù)，此SAR-DefectNet織物缺陷檢測算法降低了計算復雜度，提高了網(wǎng)絡特征提取的能力，在基本保持與DefectNet模型檢測速度和模型大小相差不大的同時，檢測準確率提升了1.3%。

2.2.2 SSD

SSD在Faster RCNN的錨框機制和FPN結(jié)構(gòu)上，為不同尺度的特征圖構(gòu)造不同大小的先驗框。不同于YOLO在全連接層進行分類回歸，SSD直接利用卷積層對多個不同尺度的特征圖進行檢測，在保證良好的實時性的同時具有較好的檢測準確率。

彭亞楠[28]選用SSD作為基礎(chǔ)網(wǎng)絡結(jié)構(gòu)，出于實時性考慮利用輕量級網(wǎng)絡MobileNetV3-small代替VGG16做特征提取，保留一定的檢測精度也縮減了網(wǎng)絡模型的參數(shù)量。該研究結(jié)果表明，VGG-SSD對小目標的檢測效果最佳但檢測速度最慢，MobileNet(V3)-SSD對中小型目標的檢測精度比IMP-Tiny-YOLOv3更高，mAP-75值比MobileNet(V2)-SSD提高了2.6%。黃漢林等[31]提出了改進的MF-SSD，基于Mobile-SSD引入深度可分離卷積，同時在主干網(wǎng)絡后面增加8個3×3的卷積層。由于SSD存在深層網(wǎng)絡丟失語義信息而造成小目標漏檢的問題，使用雙線性插值對特征圖進行上采樣并利用Concat相加融合各尺度的特征信息。MF-SSD相比于MobileNet-SSD犧牲了檢測速度，但增加了檢測精度，單張圖片檢測速度從27ms增加到30ms，但模型mAP從84.1%增加到了90.1%，速度也在工業(yè)檢測要求范圍內(nèi)。由于SSD模型中淺層網(wǎng)絡和高層特征信息的結(jié)合沒有被充分地利用，影響小目標缺陷的定位檢測；DSSD模型[32]將反卷積應用到SSD頂層網(wǎng)絡，實現(xiàn)了低層和高層上下相連的語義融合，犧牲部分檢測速度但提高了小目標檢測精度，無法滿足工業(yè)實時性需求。趙亞男等[33]提出了基于SSD和DSSD網(wǎng)絡結(jié)構(gòu)的MFDSSD模型，利用3個用卷積融合模塊的跳躍網(wǎng)絡增強了小目標上下文信息并彌補了淺層網(wǎng)絡的感受野。在TILDA數(shù)據(jù)庫中檢測速度可達51 fps，檢測精度超越了原有網(wǎng)絡結(jié)構(gòu)，改善了SSD的小目標漏檢問題，但未在彩色復雜圖案實驗?；诰矸e神經(jīng)網(wǎng)絡的瑕疵檢測算法優(yōu)缺點分析見表2。

表2 瑕疵檢測的卷積神經(jīng)網(wǎng)絡優(yōu)缺點分析

3 基于卷積神經(jīng)網(wǎng)絡算法的其他圖像識別技術(shù)

3.1 基于卷積神經(jīng)網(wǎng)絡算法的織物圖像分類技術(shù)

不同于疵點分類，紋理結(jié)構(gòu)、纖維特征等信息是紡織領(lǐng)域中圖像分類的主要依據(jù)。鄧宇平等[34]分別設(shè)計了基于遷移學習的改進GoogLeNet和非遷移學習的殘差網(wǎng)絡的織物紋理分析模型，前者借助了非對稱卷積和1×1的網(wǎng)絡結(jié)構(gòu)減少了計算量，并用平均池化代替最大池化保留更多的紋理信息，同時新增兩個softmax輔助分類器避免梯度消失。兩者在帶有小范圍瑕疵干擾的織物數(shù)據(jù)集中訓練測試，均達到了預期紋理分類準確率98%以上的要求，但沒有針對大范圍瑕疵進行實驗。對比發(fā)現(xiàn)小樣本中遷移學習的收斂速度和泛化性能優(yōu)于非遷移學習的殘差網(wǎng)絡性能，但隨著類型、類型圖片總數(shù)以及網(wǎng)絡層數(shù)的逐漸增加，GoogLeNet可能會出現(xiàn)梯度爆炸和梯度消失的問題，殘差網(wǎng)絡的優(yōu)勢才會慢慢體現(xiàn)出來。MobileNets[35]基于一種流線型架構(gòu)，使用深度可分離卷積構(gòu)建輕量級深層神經(jīng)網(wǎng)絡。張瑋等[36]參考MobileNet，綜合使用空洞卷積和深度可分離卷積模塊，減少了模型參數(shù)量同時增大了卷積視野，相比于原輕量化網(wǎng)絡MobileNet參數(shù)量減少了34.38%，對5類織物面料主成分分類的準確率最高為96.53%。利用Grad-CAM算法可視化分析發(fā)現(xiàn)，織物圖像分類主要依據(jù)的是面料纖維特征而不是紋理信息。彭濤等[37]在不考慮織物表面顏色、紋理和光照等信息情況下，基于圖卷積網(wǎng)絡結(jié)合視頻多幀時序信息及織物運動特征，給出一種用圖來描述織物運動的新方法，突破了傳統(tǒng)分類方法只能對少數(shù)織物進行分類的限制。在麻省理工學院的公開織物數(shù)據(jù)集中的實驗結(jié)果表明，該模型對比Yang等[38]提出的CNN和Long Short Term Memory(LSTM)模型，準確率從66.7%提高到 84.45%，但需要自己制作數(shù)據(jù)集訓練。

3.2 基于卷積神經(jīng)網(wǎng)絡算法的織物圖像分割技術(shù)

Ronneberger等[39]提出了結(jié)構(gòu)形如字母“U”的U-Net模型結(jié)構(gòu)，在生物醫(yī)學應用中僅需少量的帶注釋的圖像，就能實現(xiàn)比較好的性能。汪坤等[40]用去掉全連接層后的VGG16代替U-Net的左側(cè)下采樣部分并加入空洞卷積，加深模型結(jié)構(gòu)的同時提高卷積核感受野，以便更精確地提取織物印花的特征。在數(shù)據(jù)增強后的1000張織物圖像數(shù)據(jù)集，改進的U-Net分割模型將分割準確率從88.67%提高到了98.33%。阿力木·安外爾等[41]首先對圖像進行伽馬校正增強折皺與背景對比度，然后利用不同采樣率的空洞卷積有效獲取上下文信息，并采用雙線性插值法上采樣，最終在模擬織物折皺數(shù)據(jù)庫的訓練集和驗證集上分割準確率均達到95%以上。

綜上，卷積神經(jīng)網(wǎng)絡運用到圖像分類和圖像分割中都能得到較高的準確率。本文列舉了依據(jù)織物紋理、面料纖維和運動特征3種信息的圖像分類方法，針對不同的分類依據(jù)需要搭建不同需求的網(wǎng)絡。圖像分割比較注重不同尺度信息和上下文信息的特征融合，可借助可視化工具證明網(wǎng)絡的可靠性。其他圖像識別技術(shù)分析見表3。

表3 基于卷積神經(jīng)網(wǎng)絡的圖像分類和分割技術(shù)優(yōu)缺點分析

4 實驗結(jié)果對比

基于上述文獻，本文選取基于卷積神經(jīng)網(wǎng)絡的疵點分類和瑕疵檢測技術(shù)中部分文獻的實驗結(jié)果進行對比，詳見表4。基于卷積神經(jīng)網(wǎng)絡的疵點分類技術(shù)在各類數(shù)據(jù)集中得到的準確率均在90%以上，僅個別低于95%，主要原因有兩點：一個是網(wǎng)絡深度較淺、模型復雜度不夠，另一個是數(shù)據(jù)集中的部分疵點特征不明顯導致總體分類效果不佳。

表4 基于卷積神經(jīng)網(wǎng)絡的疵點處理技術(shù)實驗結(jié)果對比

基于卷積神經(jīng)網(wǎng)絡的瑕疵檢測技術(shù)在實驗中大多利用GPU的并行處理能力加速計算，其檢測精度大多超過80%。其中，文獻[29]中所實驗的數(shù)據(jù)集缺陷類別多而雜，存在一定的檢測難度，故mAP較低。文獻[30]參考YOLOv3將網(wǎng)絡結(jié)構(gòu)輕量化，并保持較高的檢測精度，但也需要一定的硬件設(shè)備條件?？傮w上看，一步法中的YOLO的檢測速度快于兩步法中的RCNN。由于圖像分類和分割技術(shù)所實驗的數(shù)據(jù)集各不相同，較難從同一維度進行公平性評價。

5 結(jié)論與展望

本文介紹了面向紡織領(lǐng)域基于卷積神經(jīng)網(wǎng)絡的圖像識別技術(shù)，根據(jù)網(wǎng)絡進行分類并分析了其改進點及優(yōu)缺點，得出以下結(jié)論：

a)深層網(wǎng)絡的疵點分類方法會使背景與疵點不易分開，可利用瑕疵的特性結(jié)合視覺顯著性模型和雙低秩表示模型實現(xiàn)分離，但大部分只在二分類時速度較快。隨著網(wǎng)絡層數(shù)的增加，參數(shù)量與計算量也會相對應增加，一般無法應用于嵌入式平臺，部分滿足工業(yè)實時性檢測但需要一定的硬件支持。

b)基于候選區(qū)域的疵點檢測算法檢測精度高，但速度較慢大部分僅適用于簡單背景織物中，一般增加錨框種類提高多尺度疵點的檢測精度。基于回歸學習的疵點檢測算法滿足工業(yè)實時在線監(jiān)測，普及到低算力低成本的處理器還需進一步優(yōu)化網(wǎng)絡結(jié)構(gòu)，還需通過多尺度特征融合提高中小疵點的檢測精度。

c)基于卷積神經(jīng)網(wǎng)絡的圖像識別方法，注重對圖像特征提取的過程，空洞卷積被用來擴大感受野和增加上下文語義信息。過多的池化層和降采樣操作雖然能夠采集到更多的語義信息，卻會丟失一定的細節(jié)特征造成小疵點的精度損失。

d)網(wǎng)絡的搭建需要借助可視化工具，根據(jù)具體分類依據(jù)具體問題具體分析。由于紡織工業(yè)追求量產(chǎn)量檢，模型達到一定的檢測精度后也需滿足嵌入式平臺的參數(shù)量和計算量要求。

根據(jù)本文對基于卷積神經(jīng)網(wǎng)絡的織物圖像識別算法的整理、分類和分析，面向紡織領(lǐng)域的圖像識別技術(shù)可在以下幾個方面繼續(xù)研究發(fā)展：

a)在疵點分類和檢測中，織物圖像庫雖然具有一定的數(shù)據(jù)量，但存在疵點樣本數(shù)少、小疵點數(shù)量多、疵點尺寸變化大的問題?？蓪ocal Loss和Gradient Harmonizing Mechanism函數(shù)用來解決背景樣本和前景樣本不平衡問題，結(jié)合Cascaded R-CNN提高對密集小目標的檢測精度是未來重要的發(fā)展方向。

b)卷積傾向于捕獲局部信息，可考慮注意力模塊引入上下文信息提取有效特征。結(jié)合反卷積結(jié)構(gòu)多尺度融合不同分辨率和較強語義強度的特征，同時采集豐富的上下文信息也是可深入研究方向之一。

c)繁多的織物色彩樣式和相似復雜的織物背景導致較高的類內(nèi)差異度與類間相似度，可通過在目標函數(shù)加入正則化約束或dropout策略減緩該問題的發(fā)生。在實際生產(chǎn)和加工過程中，采集到的織物圖像容易帶有光照等外界噪聲，這與理想狀態(tài)下的圖像特征存在一定的差異，故利用殘差模塊和濾波技術(shù)消除環(huán)境噪聲具有較大意義。

d)利用Grad-CAM對網(wǎng)絡各階段特征圖進行可視化，通過結(jié)果分析尋找合適的網(wǎng)絡結(jié)構(gòu)。采用剪枝或量化等手段使網(wǎng)絡結(jié)構(gòu)輕量化，最后運用到嵌入式平臺和工業(yè)實時監(jiān)測系統(tǒng)中，這在紡織工業(yè)上也愈來愈迫切。