基于深度學習的織物疵點檢測研究進展

王 斌，李 敏，雷承霖，何儒漢

(1.武漢紡織大學 湖北省服裝信息化工程技術研究中心，湖北 武漢 430200；2.武漢紡織大學 計算機與人工智能學院，湖北 武漢 430200; 3.武漢紡織大學 紡織服裝智能化湖北省工程研究中心，湖北 武漢 430200)

疵點檢測是紡織企業(yè)提高產品質量的重要環(huán)節(jié)。目前，我國大多數(shù)企業(yè)仍然以人工目測為主，由于人體生理機能的限制，當織物運動速度過快時，手工操作不可避免地會造成人眼疲勞，進而導致誤差，這無疑限制了高質量織物的生產[1]。不僅如此，人工檢測結果容易受人的主觀因素影響，準確率不高。產品質量控制是紡織品生產時必不可少的環(huán)節(jié)[2]，由于疵點種類繁多，形狀不一，如果采用傳統(tǒng)的人工檢測方法是無法滿足效率需求的[3]。紡織企業(yè)如果想要提高織物疵點檢測的效率，同時又不降低紡織產品的質量，那么有必要用智能檢測取代人工檢測。

迄今為止，研究者們已經提出了許多不同的疵點檢測方法，如基于模型的方法、基于結構的方法、基于統(tǒng)計學的方法、基于譜分析的方法和基于機器學習的方法等。然而，由于紡織品種類多，生產工藝各異；疵點種類繁多，很多不同類型的疵點外觀差別非常??；受圖像采集背景的影響，同一類型的疵點又會呈現(xiàn)出很大差異，這使得疵點檢測仍然具有很大的挑戰(zhàn)性。

深度學習是近年興起的新型人工智能技術，其通過高層神經網絡的構建，用簡潔而有效的形式對物體的本質特征進行綜合表達[4]。從2012年的ImageNet競賽開始，深度學習在圖像識別領域發(fā)揮出巨大威力，在通用圖像分類、圖像檢測、光學字符識別、人臉識別等領域，基于深度學習的系統(tǒng)均能取得較高的準確率。不僅如此，深度學習模型已被應用到工業(yè)品表面缺陷檢測中，并且取得了良好的效果。

本文對基于深度學習的織物疵點檢測方法進行了綜述和分析，結合最新的研究成果分析各個方法的優(yōu)缺點，并從數(shù)據(jù)集、評判標準以及通用性3個角度提出了對未來發(fā)展的構想，為今后更深入的研究提供參考依據(jù)。

1 深度學習與疵點檢測的關系

傳統(tǒng)的織物疵點檢測算法[5-7]一般為先使用圖像預處理的方法得到便于檢測的圖像，然后借助統(tǒng)計機器學習方法來提取圖像特征，進而實現(xiàn)疵點的檢測[8]。

圖像預處理通常包括直方圖均衡化、濾波去噪、灰度二值化、再次濾波等部分，以得到前后景分離的簡單化圖像信息；隨后利用傅里葉變換、Gabor變換等算法以及機器學習模型完成疵點的標記與檢測。

雖然傳統(tǒng)算法在某些特定的應用[9-11]中已經取得了較好的效果，但仍然存在許多不足。例如：圖像預處理步驟繁多且具有強烈的針對性，魯棒性差；多種算法計算量驚人且無法精確地檢測疵點的大小和形狀，而深度學習可以直接通過學習數(shù)據(jù)更新參數(shù)，避免人工設計復雜的算法流程，并且有著較高的魯棒性、速度和精度。

1.1 在線疵點檢測的速度需求

對于工業(yè)生產而言，檢測速度過慢會導致成本增加，降低企業(yè)收益。在傳統(tǒng)的織物疵點檢測方法中，楊曉波[12]提出基于高斯-馬爾可夫隨機場模型(GMRF)的紋理模型用于自動識別不同種類的統(tǒng)計特征畸變織物疵點，對于尺寸為512像素×512像素的待檢織物圖像，整個檢測過程(不包含對織物進行建模)耗時1.81 s；楊曉波[13]還根據(jù)織物特征設計織物自適應Gabor濾波器，再利用設計好的Gabor濾波器對方向性特征畸變織物疵點進行增強，對于1張尺寸為512像素×512像素的待檢織物圖像，檢測過程耗時2.34 s。目前實時檢測的標準為1張圖像檢測時間不超過0.7 s，顯然這樣的檢測速度是無法滿足企業(yè)要求的。

引入深度學習模型可大大提高疵點檢測的速度。Jing等[14]提出了一種基于改進的YOLOv3模型的實時性更高的織物疵點檢測方法，樣本圖片大小為416像素×416像素，網絡模型的平均檢測效率為21.8 張/s左右。晏琳等[15]將更快的區(qū)域卷積神經網絡(Faster RCNN)與殘差網絡(ResNet101)相結合的方法應用于坯布疵點檢測，由于ResNet101的層數(shù)較深，導致對1張圖像的檢測時間穩(wěn)定在0.13 s左右，即便如此，速度上的提升也是巨大的。由此可見，引入深度學習模型的織物疵點檢測方法，能夠在速度上滿足工業(yè)生產的需求。

1.2 疵點檢測的精度要求

在保證生產速度的前提下，更高的檢測精度能帶來更高的企業(yè)收益。傳統(tǒng)的織物疵點檢測算法，大都只是檢測出是否存在疵點，但對于疵點的類別和位置并不能進行判斷。杜磊等[16]分別用4種自適應閾值算法對平紋和斜紋織物疵點圖像進行檢測，準確率最好為76.92%和55%。管聲啟等[17]在研究織物紋理分類的基礎上，通過傅里葉變換獲得頻譜圖像，把灰度圖像分割成若干子窗口，將統(tǒng)計子窗口方差作為特征值與設定的閾值比較，從而判別是否存在疵點。在實驗采集的樣本中，準確率最好為86.7%。

引入深度學習模型不僅能檢測出疵點，還能判斷疵點的類型和位置。晏琳等[15]將Faster RCNN與ResNet101相結合的方法應用于坯布疵點檢測，數(shù)據(jù)集來自現(xiàn)場采集，迭代訓練5 000次后，準確率可達94.71%，并且能在圖像中標出疵點的位置；Zhao等[18]提出基于VGG16網絡的多尺度卷積神經網絡(MSCNN)檢測方法，主要用于亞麻織物和圖像織物的疵點檢測，織物缺陷數(shù)據(jù)集為機器采集，每種疵點的平均檢測精度約為92%。由此可見，引入深度學習模型的織物疵點檢測方法，能夠在保證較高速度的前提下，獲得較高的精度，可為企業(yè)帶來更高的收益。

1.3 引入深度學習面臨的困難與挑戰(zhàn)

目前，雖然深度學習方法在很多領域取得了不錯的效果，如智能駕駛、行人檢測、物體分類等，但仍需要在克服過擬合問題和提高模型通用性之間進行權衡。深度學習模型想要取得良好的成效離不開大量實驗數(shù)據(jù)的訓練和模型的優(yōu)化，但由于疵點數(shù)據(jù)集難以采集和疵點的特異性問題，疵點檢測仍存在一些問題亟待解決。

1)實驗數(shù)據(jù)的合理采集。疵點是織物在織制過程中由于原材料、生產設備及生產操作等因素的影響，在布面產生的各種缺陷[19]。常見的由紗線原因造成的疵點主要有竹節(jié)紗、錯緯、條干不勻、粗經等；由于織前準備原因造成的疵點主要有漿斑、經縮、棉球、油紗等；此外，多數(shù)疵點是由織機機械狀態(tài)不良和織布操作不當導致的，主要有稀緯、脫緯、雙緯、跳花、百腳、經縮、緯縮、斷經、毛邊、破洞、邊撐疵、云織、拆痕、穿錯等。數(shù)據(jù)樣本收集會耗費大量的人力成本，而且實際生產過程中并沒有很多自然生成的疵點數(shù)據(jù)，所以多數(shù)情況下會對采集到的數(shù)據(jù)進行數(shù)據(jù)增強操作，用的較多的是對原始數(shù)據(jù)集進行裁剪、翻轉等。綜上分析，如何合理地采集實驗數(shù)據(jù)是將深度學習引入織物疵點檢測需要面臨的挑戰(zhàn)。

2)由疵點特征產生的難點?？椢锛y理的多樣性致使對1種或幾種疵點表現(xiàn)良好的學習器，對其它疵點可能出現(xiàn)“過擬合”或“泛擬合”現(xiàn)象。細化學習方法，針對不同種類織物選取不同學習方法有利于降低虛警率，但同時也增加了人工成本。

在疵點檢測的過程中，通常有很多模型可供選擇，對同一種模型使用不同的參數(shù)配置時，取得的效果也會有所不同。現(xiàn)實中通常是計算成本和性能估計綜合考慮。

同時，目前絕大多數(shù)目標檢測任務通常是在大型通用數(shù)據(jù)集進行預訓練后，再在特定下游任務中進行遷移學習，然而因為通用數(shù)據(jù)集中的訓練目標和織物圖像相差太大，這種方式在疵點檢測上不一定適用，導致訓練難度增大。此外，一些特異性的疵點也是檢測的難點所在，具體包括：極小的疵點，如棉球、斷紗、小破洞、污點等，在檢測時非常容易漏檢。非規(guī)則的織物，在很多檢測方法中將織物背景當成一種周期性循環(huán)往復的信號，疵點的出現(xiàn)則破壞了這種信號，非規(guī)則的織物則不能使用這種方法。疵點的判斷依賴于背景信息，在提花織物中的花紋屬于背景，但在白坯布中則是疵點，造成誤檢漏檢。過于豐富的紋理和疵點類型，在深度學習方法中，存在著假設待預測的物體至少在訓練樣本中存在類似的分布，如果需要設計一套通用的疵點檢測算法，就必須使得訓練樣本中包含可能出現(xiàn)的所有背景紋理和疵點的組合。

針對不同織物圖像的不同特點，如何設計合理的深度學習模型，或者具有一定的普適性以適應不同織物圖像數(shù)據(jù)集的深度學習模型，這也是目前將深度學習引入織物疵點檢測領域的難點。

2 深度學習模型

深度學習主要由定義模型和損失函數(shù)、訓練模型、尋找優(yōu)化方法和循環(huán)迭代4步構成，其結構如圖1所示。在第1步可以搭建自己的模型，也可以根據(jù)任務對經典模型進行細微調整；第2步使用數(shù)據(jù)對模型進行訓練；第3步是分析訓練結果并進行優(yōu)化；最后一步是循環(huán)迭代直至獲得最佳結果。

圖1 深度學習基本步驟

目前主要的深度學習模型包括卷積神經網絡和自動編碼器等技術。

卷積神經網絡由多層卷積層和多層下采樣層重復疊加而成，具有良好的容錯能力以及能夠處理復雜環(huán)境下信息提取的自學習功能[20]。卷積神經網絡是一種強大的可視化模型，在圖像識別、圖像檢測等方面都已取得不錯的效果。根據(jù)不同的需要，可以產生多種特征層次結構，但是隨著網絡層次的逐步加深，模型會變得十分復雜，更加依賴硬件性能。Zeiler等[21]提出的反卷積網絡模型在實際的結構構成和實現(xiàn)方法上與卷積神經網絡有所不同。反卷積網絡更多的是充當可視化作用，對于一個復雜的深度卷積網絡，通過反卷積的還原可以對模型的處理過程進行可視化處理。反卷積網絡模型常應用于場景分割、生成模型等。

自動編碼器[22](auto-encoder)是深度學習中較為簡單的訓練方式，通過復現(xiàn)輸入信號逐層地調整整個網絡，其可以學習輸入數(shù)據(jù)的隱含特征，同時根據(jù)這些特征重構出原始數(shù)據(jù)。自動編碼器常用來進行數(shù)據(jù)的降維、降噪處理，但由于其與數(shù)據(jù)高度相關，故泛用性較差。

Geoffrey等[23]提出的受限玻爾茲曼機(RBM)能夠學習數(shù)據(jù)中復雜的規(guī)則，同時縮短訓練的時間，常用于處理特征提取、協(xié)同過濾等問題。Geoffrey等[24]還提出了深度信任網絡，它由若干個RBM的堆疊和1層有監(jiān)督的反向傳播網絡組成，即使網絡的層次較多，依舊可以合理優(yōu)化參數(shù)，使得深度神經網絡的學習更加高效。深度信任網絡訓練更快，常應用于運動捕捉等領域。

3 引入深度學習的疵點檢測方法

織物疵點檢測結果的評判標準與疵點檢測涉及的目標有關，主要可分為3種：疵點召回與否，即是否檢測出存在疵點；疵點分類與否，即是否檢測出疵點的類別；疵點位置回歸與否，即能否確定疵點的位置。

根據(jù)深度學習模型的特點，本文將織物疵點檢測方法分為3類：基于卷積神經網絡模型的疵點檢測；基于自動編碼器的疵點檢測；基于其它深度學習模型的疵點檢測。

3.1 基于卷積神經網絡的檢測方法

卷積神經網絡由于其強大的非線性擬合能力在圖像識別領域發(fā)揮出巨大威力，不少研究人員嘗試將卷積神經網絡引入到織物疵點檢測領域，表1示出卷積神經網絡模型的疵點檢測方法。Zhao等[18]提出一種基于VGG16網絡的檢測方法用于亞麻織物和圖像織物的疵點檢測，可檢測出破洞、污漬等6種疵點。實驗結果表明，該方法對于采集到的織物疵點檢測效果更好。隨著模型結構日趨復雜，模型層次也在不斷加深，Pandia等[25]將織物顏色作為重要特征設計了一種深度卷積神經網絡，從各種缺陷數(shù)據(jù)集的訓練階段進行學習，在測試階段利用了一種學習特性進行疵點分類。實驗結果表明，與傳統(tǒng)的淺層學習方法相比，可以提高疵點分類的準確率。Wu等[26]構造了改進的兩級疵點檢測器，以實現(xiàn)更好的通用性。實驗結果表明，與當前的檢測器相比，端到端的體系結構提高了基于區(qū)域的目標檢測器的性能。對于簡單背景紋理的織物圖像中的疵點檢測效果良好，但不擅長檢測復雜背景紋理中的疵點。

表1 基于卷積神經網絡模型的疵點檢測方法

Faster RCNN算法是基于候選區(qū)域的目標檢測算法中的代表算法，在目標檢測領域展現(xiàn)了優(yōu)異的性能。晏琳等[15]在原始Faster RCNN的基礎上進行改進，對坯布的疵點目標進行分類與檢測。實驗對比了Faster RCNN分別與VGG16、ResNet101結合時的檢測結果，結果表明，該方法可有效解決坯布疵點檢測問題，檢測準確率較高。安萌等[27]基于Faster RCNN網絡模型，對卷積神經網絡進行優(yōu)化，將不同尺度的特征金字塔網絡模型引入區(qū)域生成網絡(RPN)以增加細節(jié)化的淺層特征，通過對Softmax分類器進行正則化來減小類內間距、增大類間間距，不斷更新網絡參數(shù)來提高網絡收斂能力。實驗結果表明，相對于原始模型，改進后的模型對于織物疵點的檢測具有更高的準確率、泛化能力和魯棒性，但是檢測速度仍有待提高。

針對織物圖像采集過程中存在疵點樣本分布不均，現(xiàn)有織物樣本缺乏多樣性的問題，Liu等[28]提出了基于生成對抗網絡(GAN)的織物疵點檢測框架，能夠在已有樣本的基礎上學習生成新的樣本，通過對各種代表性的織物樣品進行綜合實驗，驗證提出的方法能有效地檢出織物疵點。李明等[29]提出應用GAN和Faster RCNN相結合的疵點識別算法。先采用GAN對采集的樣本數(shù)據(jù)進行擴充，然后再利用Faster RCNN進行檢測。實驗結果表明，該方法可提高色織物圖像庫中的疵點圖像檢測效率，并能準確獲取疵點位置和類別。Hu等[30]提出了基于深度卷積生成對抗網絡的無監(jiān)督織物疵點自動檢測方法。在實驗過程中與其它方法進行了比較，證明該方法在織物疵點檢測中的有效性，但檢測速度仍有待提升。通過數(shù)據(jù)增強的方式擴大樣本的方法也存在不足之處：一是生成新樣本的過程仍然需要相應背景的真實疵點圖像；二是需要花費更多的時間訓練生成對抗網絡來生成圖像。

相比于上述基于候選區(qū)域的檢測算法，基于回歸分析的算法在檢測速度上更具優(yōu)勢。Jing等[14]提出了一種基于改進的YOLOv3模型的實時性更高的織物疵點檢測方法。實驗結果表明，與YOLOv3相比，該方法可更有效地檢測和標記織物疵點，并有效降低誤檢率。但是此方法在對復雜紋理背景的織物進行檢測時，檢測性能會有所下降。為了提高織物疵點檢測和定位的準確性，縮短檢測時間，Peng等[31]提出了基于先驗錨定卷積神經網絡的織物疵點檢測方法。實驗結果表明，該方法顯著提高了織物疵點檢測的準確率和檢測速度，適用于織物疵點的自動檢測。Xie等[32]使用RefineDet作為基礎模型對特征提取模塊進行改進，在TILDA數(shù)據(jù)集上新模型的平均準確率可達80.2%。在香港圖案紋理數(shù)據(jù)集和DAGM2007數(shù)據(jù)集上，以多種檢測模型做對比，實驗結果顯示改進的模型效果更佳，可以實現(xiàn)較高的準確率和較好的實時性。

針對計算資源受限的應用場景，Liu等[33]提出一種淺層網絡DLSE-Net來判斷圖像中是否存在疵點。該網絡采用弱監(jiān)督學習方法和三分支結構來緩解不同層之間連接造成的語義鴻溝，實驗結果表明，在DAGM2007和自建數(shù)據(jù)集上，該方法能夠較高精度地定位疵點。Jun等[34]提出，采用稀疏卷積網絡來提取特征，可大大減少網絡中的參數(shù)數(shù)量和計算量。以天池競賽2 560像素×1 920像素的數(shù)據(jù)集中的破洞、污漬和折痕3種疵點為主，訓練后的模型可以準確地檢出疵點所在位置。

對基于卷積神經網絡的織物疵點檢測方法的數(shù)據(jù)集和檢測性能進行了整理，如表2所示。疵點檢測性能指標主要包括精度和運行速度(實時性)，同時列出了疵點類型(種類)和所使用的硬件資源。

從表2可以看出，引入深度學習模型的疵點檢測方法整體上取得了不錯的檢測效果。其中一些方法取得了較高的精度，同當時最好的機器學習等其它類型的方法比，檢測精度有明顯的提高；部分方法在保證較高精度的同時可以滿足或基本滿足實時性要求。

3.2 基于自動編碼器的檢測方法

自動編碼器是深度學習中最簡單的一種訓練方法, 通過復現(xiàn)輸入信號來逐層地調整整個網絡, 其可以學習輸入數(shù)據(jù)的隱含特征, 同時可以根據(jù)這些特征重構出原始數(shù)據(jù)。Li等[38]通過基于Fisher準則的堆疊去噪自動編碼器將織物貼片分類為無疵點類別和疵點類別，首次把深度學習引入該領域，為疵點檢測的研究提供了新的思路。實驗結果表明，該方法對周期性花紋織物和較為復雜的提花經編織物的疵點檢測是有效的。

針對傳統(tǒng)織物疵點檢測手工提取特征困難，疵點樣本有限的問題，Mei等[39]提出了基于無監(jiān)督學習的自動檢測和定位織物疵點的方法，實驗結果表明，該模型具有較好的魯棒性和整體性能，具有較高的查準率和召回率。景軍鋒等[40]結合卷積自動編碼器，提出基于Fisher準則的棧式去噪自動編碼器算法。實驗結果表明，該算法能夠有效地提取織物圖像的分類特征。為了克服在工業(yè)領域很難獲取大量的實際疵點數(shù)據(jù)這個難題，Han等[41]提出了一種基于堆疊式卷積自動編碼器的疵點檢測方法。自動編碼器僅使用非疵點數(shù)據(jù)和基于專家知識的疵點特征生成的合成疵點數(shù)據(jù)進行訓練。

基于自動編碼器的織物疵點檢測方法的數(shù)據(jù)集和檢測性能如表3所示。由于自動編碼器依據(jù)特定的樣本進行訓練,因此其適用性很大程度上被局限于與訓練樣本相似的數(shù)據(jù)，容易過擬合。

表3 基于自動編碼器的織物疵點檢測方法性能

3.3 基于其它深度學習模型的檢測方法

基于卷積神經網絡的疵點檢測方法取得了不錯的成果，但是存在一定的局限性。劉洲峰等[42]提出了基于稀疏優(yōu)化的織物疵點檢測算法。首先，通過稀疏表示原理從待檢測粗點圖像中學習自適應字典庫；然后求解出稀疏表示系數(shù)矩陣，重構出不包含疵點的正常圖像，將正常圖像與待檢測的疵點圖像相減，突出疵點區(qū)域，利用閾值分割定位疵點。

以外，Chen等[43]從算法的角度出發(fā)，提出了一種基于遺傳算法優(yōu)化的Gabor濾波器和Faster RCNN相結合的方法，針對紋理干擾問題，利用Gabor濾波器在頻率分析中的優(yōu)勢，結合遺傳算法確定最佳Gabor濾波器參數(shù)，然后通過將Gabor內核嵌入Faster RCNN中進行改進，得到了比單獨使用神經網絡更好的結果，然而推理速度有所下降。

Li等[35]提出了基于特征序列的注意力網絡，通過標注信息結合特征生成注意力圖，以根據(jù)輸入圖像的整體情況校正特征圖的響應。長短期記憶網絡(LSTM)被用來從連續(xù)的疵點中提取上下文信息。在做出判斷時，與逐個像素獨立做出的判斷相比，考慮順序信息可以減少意外誤判的數(shù)量。

基于上述其它深度學習模型的織物疵點檢測方法的數(shù)據(jù)集與檢測性能如表4所示。這些方法在利用卷積神經網絡優(yōu)勢的同時發(fā)掘了其它方法與之結合的可能性，提供了一條探索疵點檢測的新思路，與單獨使用卷積神經網絡相比，加入先驗信息后，精度得到了提高，然而檢測速度仍是需要提高的方向。

表4 基于其它深度學習模型的織物疵點檢測方法性能

4 結束語

本文總結了近年來基于深度學習的織物疵點檢測方法，對于不同模型在不同目標下能夠獲得的效果進行了對比，分析了模型的優(yōu)缺點和適用范圍，并對引入深度學習模型的織物疵點檢測方法的未來發(fā)展做出了展望。目前通過引入深度學習模型可以更好地提高檢測效率，但是仍存在不足。為更好地優(yōu)化織物圖像疵點檢測的準確度，未來應從以下幾個方面進行突破。

1)更加完善的數(shù)據(jù)集。目前，有關織物疵點檢測方法的研究都認為可以通過在織物生產過程中獲取或者實地采集拍攝從而創(chuàng)建自己的織物數(shù)據(jù)庫，而多數(shù)數(shù)據(jù)庫需要付費或者并沒有收集到足夠多的信息。為更好地評估一個模型的有效性和通用性，應該考慮創(chuàng)建一個公共免費的大型數(shù)據(jù)庫。

2)更加明確的評判準則。實際生產過程中，生產環(huán)境復雜，容易受光照、粉塵等因素影響，在不同生產環(huán)境和設備上采集的織物圖像會略有差異，因此如何在各樣的生產環(huán)境中克服環(huán)境因素是需要考慮的問題。因為實際生產數(shù)據(jù)中，人工標注的標簽不一定準確，不同標準下一個標簽可能時好時壞，所以一個統(tǒng)一的疵點檢測標準是必不可少的。

3)更好的適用性。隨著紡織技術的發(fā)展，織物的紋理結構變得越發(fā)復雜和精細，使得細小疵點被檢測識別的難度加大。不同的處理方法在不同尺度上檢測效果不同，單一的處理方法往往具有一定的局限性，采用混合方法在處理織物結構和疵點類型的變化方面具有更好的適用性。