基于深度殘差網(wǎng)絡(luò)的布匹疵點檢測方法

陳 康，朱 威，2，任振峰，鄭雅羽，2

1(浙江工業(yè)大學(xué) 信息工程學(xué)院，杭州 310023)2(浙江省嵌入式系統(tǒng)聯(lián)合重點實驗室，杭州 310023)

1 引 言

國際紡織行業(yè)的競爭日趨激烈，布匹質(zhì)量的優(yōu)劣程度對紡織生產(chǎn)的效益影響巨大[1]，紡織企業(yè)面臨著高質(zhì)量標(biāo)準(zhǔn)和高人力成本的巨大壓力.中國是世界上規(guī)模最大的紡織品生產(chǎn)國、消費國和出口國，是紡織產(chǎn)業(yè)鏈最完整、門類最齊全的國家，具有邁進(jìn)世界紡織強(qiáng)國陣營的扎實基礎(chǔ).但目前我國絕大部分紡織企業(yè)的布匹疵點檢測都依然停留在傳統(tǒng)的人工檢測階段.由于工人在長時間檢查之后會出現(xiàn)視覺疲勞，導(dǎo)致疵點檢測在精度、一致性、效率等方面出現(xiàn)嚴(yán)重下滑，一位熟練的工人漏檢率也在30%以上，檢測速度僅5-10m/min，因此使用疵點自動檢測技術(shù)就成為了提高布匹質(zhì)量的有效方法和必然趨勢[2].

現(xiàn)有的布匹瑕疵檢測方法主要分為：基于結(jié)構(gòu)分析、頻譜分析、基于模型分析、學(xué)習(xí)分析等幾大類[3].KarleKar等人[4]提出了一種結(jié)合小波變換和形態(tài)學(xué)的算法，通過檢測布匹紋理來提取瑕疵信息，獲得較好的成果.鄧超等人[5]利用Sobel算子的方向性，提出一種基于邊緣檢測的快速檢測算法，利用形態(tài)學(xué)處理和離散余弦變換自動檢測布匹疵點.Jia等人[6]通過形態(tài)學(xué)成分分析對圖案重復(fù)的網(wǎng)格花紋布匹自動分割，再通過Gabor濾波器檢測疵點信息.Li等人[7]將織物圖像分割成大小相同的碎塊，利用疵點和無疵點樣本對基于Fisher準(zhǔn)則疊置的去噪自編碼器進(jìn)行訓(xùn)練，計算了重建圖像與缺陷圖像之間的殘差，并通過閾值法對缺陷進(jìn)行定位，該方法在周期性花紋織物和復(fù)雜提花經(jīng)編織物的疵點檢測中具有較好效果.

自從2012年深度神經(jīng)網(wǎng)絡(luò)AlexNet[8]大獲成功之后，接連涌現(xiàn)了諸如VGG-NET[9]、Inception[10]、ResNet[11]等優(yōu)秀的分類網(wǎng)絡(luò).使用深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)正促使機(jī)器視覺研究進(jìn)入了一個新的階段.目前的卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測與識別方法主要有：1)基于區(qū)域建議的目標(biāo)檢測與識別方法，具有代表性的有R-CNN[12]、Fast R-CNN[13]、Faster R-CNN[14]，表現(xiàn)為進(jìn)一步精度提升、加速、端到端及更實用化，覆蓋了從分類到檢測、分割、定位各個領(lǐng)域；2)基于回歸的目標(biāo)檢測與識別算法，具有代表性的有YOLO[15]、SSD[16].近年來，隨著CNN的快速發(fā)展，已經(jīng)成為計算機(jī)視覺領(lǐng)域中的主流研究方法[17].相比于傳統(tǒng)的瑕疵檢測方法，CNN不需要人工提取瑕疵特征，具有圖像位移、縮放、和扭曲不變性，表現(xiàn)出極強(qiáng)的學(xué)習(xí)能力[18]，具有應(yīng)用到布匹疵點檢測的潛力.

針對現(xiàn)有的布匹圖像中背景紋理復(fù)雜、瑕疵類別多、瑕疵識別效率不高、識別準(zhǔn)確率低等問題，本文提出了一種基于深度殘差網(wǎng)絡(luò)的布匹疵點檢測方法，設(shè)計了視覺檢測裝置，使用線陣相機(jī)采集布匹圖像，在Faster R-CNN的基礎(chǔ)上使用深度殘差網(wǎng)絡(luò)提取特征信息，并增加預(yù)測錨點框，實現(xiàn)疵點的定位與分類.

2 布匹疵點視覺檢測裝置設(shè)計

布匹疵點視覺檢測裝置由三部分組成：光源系統(tǒng)、成像與處理系統(tǒng)、布匹傳動系統(tǒng)，結(jié)構(gòu)如圖1所示.

2.1 光源系統(tǒng)

在機(jī)器視覺檢測系統(tǒng)中，光源是必不可少的部分.為了獲得疵點區(qū)域與正常紋理區(qū)域的高品質(zhì)圖像，選擇合適的光源照明方案是重要的保證.光源的選取應(yīng)該從光源的照明亮度、均勻性、發(fā)熱程度、使用壽命等方面進(jìn)行考慮.常用的光源主要包括日光燈管、鹵素光源和LED光源等.LED燈具有體積小、能耗小、熱量低、亮度高、壽命長、照射均勻等優(yōu)良特點，能清晰反映出布匹表面的紋理特征和疵點特征，因此本文在光源類型的選擇上使用LED線性光源.如圖1所示，將LED線性光源斜射照明在布匹表面，并且照射方向與布匹傳送方向相反，調(diào)節(jié)照射角度，使投射至相機(jī)靶面為最大光照亮度，有利于突出疵點的邊緣細(xì)節(jié)，是理想的照明方式.由于布匹的顏色有深有淺，不同顏色背景的布匹對光的反射能力不同，因此在光源的控制上還需實現(xiàn)光源光強(qiáng)可調(diào)節(jié).計算機(jī)與光源控制器使用RS232串口通信，計算機(jī)輸出需要的光強(qiáng)，光源控制器通過改變輸入電壓來調(diào)整光強(qiáng).

2.2 成像與處理系統(tǒng)

布匹在實時在線檢測時，傳送速度較高，達(dá)到30m/min甚至80m/min以上，布匹圖像需要較高的分辨率和清晰度，至少需要160dpi才能獲得較為清晰的紋理和疵點，若使用面陣相機(jī)則難以滿足上述需求，而且使用面陣相機(jī)采集圖像時會造成前后圖像有部分交疊，導(dǎo)致已檢測過的部分布匹重復(fù)處理，浪費計算資源，因此本文選用2K的線陣相機(jī)作為布匹成像設(shè)備.由于在檢測過程中相機(jī)的檢測高度固定不變，因此選用35mm的定焦鏡頭配合相機(jī)采集布匹圖像.計算機(jī)可以通過PCIE接口拓展出多個GigE網(wǎng)絡(luò)接口，對于多相機(jī)拓展比較方便，因此相機(jī)的數(shù)據(jù)接口上也選用GigE網(wǎng)絡(luò)接口，相機(jī)拍攝的布匹圖像數(shù)據(jù)通過網(wǎng)口發(fā)送至計算機(jī).在本文檢測裝置中，用于實驗的布匹的寬度為60cm，如圖2所示，使用兩個2K線陣相機(jī)就能完成對整卷布匹的圖像采集.

2.3 布匹傳動系統(tǒng)

在布匹傳動系統(tǒng)的設(shè)計上，使用如圖2所示帶有壓輥的傳送帶裝置，布匹在經(jīng)過線陣相機(jī)之前，通過張力輥讓布匹保持一定張力，壓輥和傳送帶上的專用膠水保證布匹平整，使線陣相機(jī)可以拍攝到高質(zhì)量的、平整的布匹圖像.傳送帶的傳動由無級變速電機(jī)帶動，可以使傳動期間的速度穩(wěn)定，可以保證線陣相機(jī)所采集的圖像質(zhì)量一致性.

圖2 布匹傳動系統(tǒng)實物圖Fig.2 Image of fabric transmission system

3 布匹圖像預(yù)處理

3.1 光強(qiáng)調(diào)節(jié)

不同類型的布匹對光的反射率不同，在相同光強(qiáng)情況下淺色布匹會比深色布匹的反射效果好，因此在布匹檢測開始之前，需要調(diào)整光源的光照強(qiáng)度使采集到的圖像具有較好的成像效果，有利于下一步的疵點檢測.本文中光強(qiáng)調(diào)節(jié)使用如式(1)所示的方法，統(tǒng)計整幅圖像的平均灰度值G，其范圍為[0，255]，α是權(quán)重系數(shù)，β是偏置系數(shù).在檢測過程中，權(quán)重值保持不變，偏置值根據(jù)圖像灰度范圍選取，通過計算得到光強(qiáng)L，其值范圍為[0，100]，計算機(jī)通過串口與光源控制器保持通信，將需要的光強(qiáng)發(fā)送至光源控制器，光源控制器調(diào)整至設(shè)定的光強(qiáng).如圖3所示，在未調(diào)整光強(qiáng)之前整體圖像偏暗，細(xì)節(jié)呈現(xiàn)也較差，在調(diào)整光強(qiáng)之后圖像的整體亮度提升，布匹細(xì)節(jié)紋理也更為清晰，有利于后續(xù)的檢測分析.

圖3 調(diào)節(jié)光強(qiáng)前后圖像對比Fig.3 Comparison of adjusting the light intensity

L=α×G+β

(1)

3.2 加權(quán)均值濾波

噪聲信號有其不可期望性和無規(guī)律性，通常在布匹圖像上隨機(jī)分布.均值濾波器是一種線性濾波器，使用濾波器窗口內(nèi)的像素平均灰度值代替圖像中窗口中心處的灰度值，這樣可以降低圖像中的尖銳噪聲[19].為了在平滑圖像的同時盡量減少均值濾波器對圖像造成的模糊，本文使用式(2)所示的3×3加權(quán)均值濾波模板對原始圖像進(jìn)行濾波.如圖4所示，從左到右依次為原始圖像、均值濾波圖像、中值濾波圖像以及本文中所使用的加權(quán)平均濾波圖像，通過幾幅圖像的對比可以看出使用加權(quán)平均濾波不僅壓制了圖像中的尖銳噪聲還較好保留了布匹圖像的紋理信息，具有較好的濾波效果.

(2)

圖4 各種濾波方法濾波效果對比圖Fig.4 Comparison diagram of various filtering methods

3.3 數(shù)據(jù)集制作

布匹疵點圖像目前還沒有統(tǒng)一標(biāo)準(zhǔn)的公開數(shù)據(jù)集，因此本文在自主設(shè)計的檢測裝置上，采用檢測中使用的線陣相機(jī)手動拍攝的方式采集人工檢測后含疵點的全棉、亞麻、真絲、化纖布匹圖像，獲得了520張疵點圖片.本文進(jìn)一步參照文獻(xiàn)[5]將相近的一些疵點類型進(jìn)行歸并，最終將疵點劃分為重經(jīng)重緯、斷經(jīng)斷緯、筘痕、斑點、破洞、折痕、漬疵7個大類，涵蓋紡織業(yè)中常見的瑕點類型，如圖5所示.

圖5 7類疵點圖片F(xiàn)ig.5 Images of seven classes of defects

為了進(jìn)一步增加疵點樣本量，本文方法采用如圖6所示的圖像翻轉(zhuǎn)、圖像縮放、圖像融合等方式擴(kuò)充數(shù)據(jù)集實現(xiàn)數(shù)據(jù)增強(qiáng)，將布匹疵點數(shù)據(jù)集擴(kuò)充至2080張.圖像融合如式(3)所示，ImageM為融合后的圖像，Image1和Image2為兩張分辨率相同的布匹疵點圖像；α為Image1所占的權(quán)重系數(shù)，其取值范圍為[0，1]，β為Image2所占的權(quán)重系數(shù)，其取值范圍為[0，1]，且要求α+β=1，在本文中α取值為0.5，β取值為0.5；圖像融合的形式包含類間組合以及類內(nèi)組合.

圖6 布匹圖像數(shù)據(jù)增強(qiáng)Fig.6 Fabric image data enhancement

(3)

4 基于深度殘差網(wǎng)絡(luò)的布匹疵點檢測方法

本文以Faster R-CNN架構(gòu)為基礎(chǔ)設(shè)計布匹疵點檢測方法.Faster R-CNN引入了“注意”機(jī)制-區(qū)域生成網(wǎng)絡(luò)，使得對于目標(biāo)檢測任務(wù)形成一個統(tǒng)一的網(wǎng)絡(luò)框架.布匹疵點形式類別多樣，布匹種類、顏色豐富，而且布匹本身的紋理信息會帶來檢測干擾，依靠傳統(tǒng)方法難以同時處理好這幾點，而通過Faster R-CNN能夠?qū)崿F(xiàn)端到端的布匹疵點檢測任務(wù)，并且具有較好的泛化能力，適用性比傳統(tǒng)方法會更強(qiáng).

4.1 Faster R-CNN特征提取網(wǎng)絡(luò)修改

Faster R-CNN由特征提取網(wǎng)絡(luò)和區(qū)域生成網(wǎng)絡(luò)組成，原始的Faster R-CNN中的特征提取網(wǎng)絡(luò)為ZF-Net或者VGG-Net，在top-5上的分類錯誤率分別為11.2%和7.3%，而殘差網(wǎng)絡(luò)(ResNet)在top-5上達(dá)到了驚人的3.57%[11]，相較而言有了較大的提升，并且殘差網(wǎng)絡(luò)能學(xué)習(xí)到淺層信息，對尺度較小的疵點具有更強(qiáng)的特征提取能力.為了提升疵點檢測效果，本文方法以深度殘差網(wǎng)絡(luò)ResNet為特征提取網(wǎng)絡(luò)改進(jìn)Faster R-CNN.

4.1.1 殘差網(wǎng)絡(luò)

深度卷積神經(jīng)網(wǎng)絡(luò)的深度對最后的分類和識別效果有很大的影響，因此常規(guī)的設(shè)計思路就是把網(wǎng)絡(luò)設(shè)計的越深越好，但事實卻并不是如此.常規(guī)的網(wǎng)絡(luò)堆疊在一定階段之后隨著網(wǎng)絡(luò)的加深，效果會越來越差，在文獻(xiàn)[11]中指出一個56層網(wǎng)絡(luò)的性能卻不如20層的性能好，其中主要的原因就是隨著網(wǎng)絡(luò)層數(shù)的加深，梯度消失的現(xiàn)象越來越明顯，網(wǎng)絡(luò)的訓(xùn)練效果隨之下降.但是淺層網(wǎng)絡(luò)又無法明顯提升網(wǎng)絡(luò)的識別效果，因此如何在加深網(wǎng)絡(luò)下又解決梯度消失的問題是提升性能的關(guān)鍵.當(dāng)網(wǎng)絡(luò)退化時，淺層網(wǎng)絡(luò)能夠達(dá)到比深層網(wǎng)絡(luò)更好的訓(xùn)練效果，但如果把低層的特征傳到高層，那么效果應(yīng)該至少不比淺層網(wǎng)絡(luò)差.基于這種使用直接映射來連接網(wǎng)絡(luò)不同層的思想，ResNet應(yīng)運而生.

圖7 非瓶頸殘差模塊與瓶頸殘差模塊結(jié)構(gòu)圖Fig.7 Schematic diagram of non-bottleneckresidual module and bottleneck residual module

如圖7所示，殘差模塊除了正常的卷積層輸出外，還有一個分支把輸入直接連到輸出上，該輸出和卷積的輸出做算術(shù)相加得到最終的輸出，如式(4)所示，x是所示結(jié)構(gòu)的輸入，F(xiàn)(x)是卷積分支的輸出，H(x)是整個結(jié)構(gòu)的輸出.殘差結(jié)構(gòu)人為制造了恒等映射，讓整個結(jié)構(gòu)朝著恒等映射的方向收斂，確保最終的錯誤率不會因為深度的變大而越來越差.

H(x)=F(x)+x

(4)

若網(wǎng)絡(luò)層數(shù)較多，則靠近網(wǎng)絡(luò)輸出端的維度就會很大，若使用圖7左側(cè)結(jié)構(gòu)，會加重計算負(fù)擔(dān)，對于較深的網(wǎng)絡(luò)使用圖7右側(cè)的瓶頸殘差模塊來減少計算量，先用一個1×1卷積進(jìn)行降維，然后3×3卷積，從而令3×3的卷積可以在相對較低維度的輸入上進(jìn)行，以達(dá)到提高計算效率的目的，最后用1×1升維恢復(fù)原有的維度，整體上用的參數(shù)數(shù)目：1×1×256×64+3×3×64×64 +1×1×64×256=69632.若不使用瓶頸模塊就是兩個3×3×256的卷積，參數(shù)數(shù)目：3×3×256×256×2=1179648，與瓶頸模塊相比差了16.94倍.此外，ResNet采用全局平均池化層(GAP)替代全連接層，解決全連接層參數(shù)冗余的問題.

4.1.2 基于深度殘差網(wǎng)絡(luò)的Faster R-CNN設(shè)計

在原始Faster R-CNN中采用ZF網(wǎng)絡(luò)或VGG16作為CNN特征提取網(wǎng)絡(luò)，生成輸入圖像的特征圖，用于后續(xù)的區(qū)域建議網(wǎng)絡(luò)(Region Proposal Network，RPN)和全連接層分類輸出.這兩個網(wǎng)絡(luò)存在的主要弊端：1)卷積層數(shù)較少，提取的特征沒有卷積層數(shù)較多的網(wǎng)絡(luò)有效；2)雖然卷積層較少，但參數(shù)量卻很大，訓(xùn)練和檢測時占用的資源很大，并不比殘差網(wǎng)絡(luò)少.因此，本文方法將Faster R-CNN中的特征提取網(wǎng)絡(luò)替換為深度殘差網(wǎng)絡(luò)ResNet以獲得更好的布匹特征提取能力.

圖8 基于殘差網(wǎng)絡(luò)的Faster R-CNN網(wǎng)絡(luò)模型Fig.8 Model of Faster R-CNN network based on residual network

表1 ResNet各層結(jié)構(gòu)Table 1 Each layer structure of ResNet

如表1所示，殘差網(wǎng)絡(luò)根據(jù)特征通道數(shù)將卷積層分成了5個部分，不同層數(shù)的殘差網(wǎng)絡(luò)只是在各層的殘差堆疊塊數(shù)量有所不同，堆疊的形式都是一樣的.修改后的基于ResNet的Faster R-CNN網(wǎng)絡(luò)模型如圖8所示，對于輸入的布匹圖像先通過ResNet網(wǎng)絡(luò)的前4個卷積部分得到一幅由1024個通道組成特征圖.由RPN網(wǎng)絡(luò)生成布匹疵點感興趣區(qū)域(ROI)，不同大小的ROI映射到卷積特征圖中，通過ROI池化層生成固定尺寸的ROI卷積特征并送入到后續(xù)的ResNet第5部分卷積層.

如圖8所示，使用全局平均池化層替代原始的前兩個全連接層，不僅起到減少參數(shù)數(shù)量加快網(wǎng)絡(luò)運算的目的，而且還可以很好的減輕過擬合的發(fā)生.全局平均池化層直接使用特征圖的均值表示某個類的置信圖，比如有10個類，就在最后輸出10個特征圖，每個特征圖中的所有特征值加起來求出1個平均值，得到的10個平均值就是對應(yīng)類的概率或者置信度.由于全局平均池化層的參數(shù)數(shù)量為零，既起到減少參數(shù)加快計算速度、防止數(shù)據(jù)冗余的作用，又達(dá)到了避免由于全連接層參數(shù)過多帶來的過擬合風(fēng)險，同時也剔除了全連接層黑箱子操作的特征，直接賦予了每個通道實際的類別意義.輸入全局平均池化層的為經(jīng)ResNet第5部分卷積生成的7×7×2048的特征圖，經(jīng)過全局平均池化之后生成2048個特征映射經(jīng)全連接層進(jìn)一步提純特征之后分類輸出.使用ResNet第5部分卷積結(jié)合全局平均池化層僅僅使用了原始兩個全連接層參數(shù)量的17%，大幅減少了資源占用，優(yōu)化了運行速度.

4.2 增加錨點框提升對多尺度目標(biāo)的檢測

Faster R-CNN網(wǎng)絡(luò)模型的核心理念是端到端的設(shè)計模式，要求場景中目標(biāo)區(qū)域的定位與識別同時輸出，創(chuàng)新工作在于提出了如圖9中所示的RPN網(wǎng)絡(luò)，用于候選區(qū)域的選取與定位.而在RPN網(wǎng)絡(luò)中，若錨點框(anchor boxes)沒有正確地適配，神經(jīng)網(wǎng)絡(luò)將不會知道某些小的、大的或不規(guī)則對象的存在，也就不會有機(jī)會檢測它們，因此對錨點框的調(diào)整至關(guān)重要.

圖9 Faster R-CNN區(qū)域生成網(wǎng)絡(luò)的結(jié)構(gòu)Fig.9 Structure of region proposal network

在原始Faster R-CNN中，設(shè)置了兩個參數(shù)用于生成錨點框，分別為ratios=[0.5，1，2]代表生成錨點框的長寬比條件和scales=[8，16，32]代表生成錨點框的面積條件.原始圖像在經(jīng)過conv layers后變成原來1/16，那么scales中的尺寸為8×8、16×16、32×32分別對應(yīng)原圖的錨點框大小為像素面積為(16×8)×(16×8)= 128×128、(16×16)×(16×16)= 256×256、(16×32)×(16×32)= 512×512的區(qū)域，每個大小的區(qū)域按照ratios中的1∶2、1∶1、2∶1進(jìn)行變換，如圖10右側(cè)所示標(biāo)有尺寸信息的為16×16大小的錨點框.綜合所有變換，每個錨點窗口生成9個錨點框.

由于布匹疵點的尺度往往沒有規(guī)律性，如果完全使用原始的9種錨點框，則不能滿足多尺度疵點的檢測要求.因此本文方法在原有的基礎(chǔ)上將錨點框的種類增加到16種，使得ratios=[0.25，0.5，1，2]、scales=[4，8，16，32]，每個可以窗口生成16個尺度變化得錨點框.對錨點框進(jìn)行裁剪過后通過分類層計算框?qū)儆谇熬盎蛘吆缶暗牡梅智闆r，另一分支回歸層計算錨點框的4個平移縮放參數(shù)，即計算回歸后的邊界框參數(shù).RPN網(wǎng)絡(luò)回歸層計算回歸框坐標(biāo)公式為：

(5)

其中x，y，w和h表示預(yù)測框的中心坐標(biāo)以及寬度和高度，xa，ya，wa和ha表示錨點框的中心坐標(biāo)及其寬度和高度，x*，y*，w*和h*表示真實坐標(biāo)的中心坐標(biāo)及其寬度和高度，t*表示回歸框中心坐標(biāo)以及寬度和高度平移縮放參數(shù)的真實值，t表示回歸框平移縮放參數(shù)的預(yù)測值.

5 實驗與分析

主要包括硬件環(huán)境、訓(xùn)練優(yōu)化以及評價指標(biāo)等內(nèi)容，并對本文所提出方法與其它神經(jīng)網(wǎng)絡(luò)方法進(jìn)行對比和分析.

5.1 實驗環(huán)境及配置

在深度學(xué)習(xí)框架的選擇和搭建上，目前可選擇的環(huán)境包括Caffe、Pytorch、TensorFlow等，考慮到TensorFlow具有良好的可視效果，以及Faster R-CNN在TensorFlow上配置方便等優(yōu)點，本文方法最終選擇在TensorFlow框架上實現(xiàn)，并選取80%的布匹數(shù)據(jù)集作為訓(xùn)練集，剩余的作為測試集.實驗環(huán)境參數(shù)如表2所示.

表2 實驗環(huán)境參數(shù)
Table 2 Parameters of experimental environment

名稱參數(shù)系統(tǒng)Ubuntu16.04框架TensorFlow語言PythonCPUIntel i9-9900kGPUNVIDIA RTX2080tiRAM32G

5.2 實驗性能對比

在一幅布匹圖像中可能含有多個疵點，因此布匹疵點的分類屬于多標(biāo)簽分類任務(wù).在多標(biāo)簽圖像分類任務(wù)中，圖片的標(biāo)簽不止一個，不能使用普通單標(biāo)簽分類評價標(biāo)準(zhǔn)，而是采用信息檢索中的評價標(biāo)準(zhǔn)-平均準(zhǔn)確率(mean Average Precision，mAP).

本文方法中的殘差網(wǎng)絡(luò)使用ResNet101，與其對比的神經(jīng)網(wǎng)絡(luò)模型包括YOLO-v3、原始Faster R-CNN及其ResNet50和ResNet152的改進(jìn)版本、以及FPN[20]的ResNet50版本.在相同的80000次迭代下，各種方法的實驗結(jié)果如表3所示.從表中可以得出，YOLO-v3對于布匹疵點各類別的分類效果差別很大，其中對斷經(jīng)斷緯的檢測效果較好能達(dá)到0.8453，而對漬疵和破洞的檢測效果較差，分別只有0.0284和0.0716，使得其mAP僅有0.4332.特征提取網(wǎng)絡(luò)為VGG-16的原始Faster R-CNN的mAP達(dá)到0.7329.布匹的工業(yè)檢測需要對各個疵點類別都有較好的穩(wěn)定性，在這方面的表現(xiàn)上看Faster R-CNN更穩(wěn)定，在布匹疵點檢測上有較好的效果.在使用殘差網(wǎng)絡(luò)替代Faster R-CNN中原始特征提取網(wǎng)絡(luò)VGG-16之后，F(xiàn)aster R-CNN改進(jìn)后的布匹疵點檢測精度有了大幅度的提升，使用ResNet101改進(jìn)之后的mAP達(dá)到了0.8549，使用ResNet152改進(jìn)之后的mAP達(dá)到了0.9190，而使用ResNet50作為特征提取網(wǎng)絡(luò)的FPN的mAP僅為0.8391，因此改進(jìn)后的Faster R-CNN有較大的提升，尤其是對于重經(jīng)重緯和斑點瑕疵，在使用層數(shù)較多殘差網(wǎng)絡(luò)ResNet101和ResNet152后，相較于原始的VGG-16實現(xiàn)了0.2以上的mAP提升.本文方法在RPN網(wǎng)絡(luò)中結(jié)合更多類型的錨點框之后，基于ResNet101的Faster R-CNN性能進(jìn)一步得到提升，在斷經(jīng)斷緯、折痕上有了將近0.1的提升，而在漬疵上達(dá)到了0.35以上的提升，在測試集上達(dá)到了1.0.本文方法改進(jìn)錨點框后的網(wǎng)絡(luò)對于多種尺度的疵點檢測以及小目標(biāo)檢測更加精準(zhǔn)，mAP達(dá)到了0.9563，改進(jìn)前后檢測效果對比如圖10所示.本文方法在各類疵點上的檢測效果如圖11所示.

表3 分類性能對比(AP)
Table 3 Classification performance comparison(AP)

疵點類型YOLO-v3FPN-ResNet50Faster R-CNNVGG16Faster R-CNNResNet50本文Faster R-CNNResNet101Faster R-CNNResNet152本文Faster R-CNNResNet101-moreanchors重經(jīng)重緯0.63110.88850.69150.61680.90910.90910.9072斑點0.69660.75950.58020.63740.88200.82080.9057破洞0.07160.88480.81821.00001.00001.00001.0000斷經(jīng)斷緯0.84530.90160.72600.74480.86230.90911.0000折痕0.07160.86950.68330.73980.69930.88510.8809漬疵0.02840.82930.63120.76820.64010.90911.0000筘痕0.17360.74051.00001.00000.99171.00001.0000mAP0.43320.83910.73290.78670.85490.91900.9563

為了進(jìn)一步評估本文方法和其它網(wǎng)絡(luò)的性能，表4給出了各網(wǎng)絡(luò)方法在檢測640×480大小的布匹圖像的平均時間.從表4的對比可以看出，雖然使用殘差網(wǎng)絡(luò)會增加一些檢測耗時，但在30m/min的檢測速度下每個線陣相機(jī)每秒采集5幅圖像，同時使用兩個線陣相機(jī)的情況下，保證每幅圖像在100ms內(nèi)的檢測耗時就可以實現(xiàn)布匹實時檢測，經(jīng)本文改進(jìn)后的Faster R-CNN平均檢測用時為76ms，能夠達(dá)到實時檢測的目的.

圖11 布匹疵點檢測結(jié)果Fig.11 Fabric defect detection results

表4 對一幅分辨率為640×480大小的布匹圖像平均檢測用時(ms)Table 4 Average detection time for detecting a fabric image with a resolution of 640×480(ms)

5.3 訓(xùn)練優(yōu)化

學(xué)習(xí)率(Learning rate)作為深度學(xué)習(xí)中的重要超參，其決定著目標(biāo)函數(shù)能收斂到局部最小值以及何時收斂到最小值.當(dāng)學(xué)習(xí)率設(shè)置的過小時，收斂過程將變得十分緩慢；當(dāng)學(xué)習(xí)率設(shè)置的過大時，梯度可能會在最小值附近來回震蕩，甚至可能無法收斂.若固定學(xué)習(xí)率，則當(dāng)?shù)竭_(dá)收斂狀態(tài)時，會在最優(yōu)值附近一個較大的區(qū)域內(nèi)擺動；而當(dāng)隨著迭代輪次的增加而減小學(xué)習(xí)率，會使得收斂時，在最優(yōu)值附近一個更小的區(qū)域內(nèi)擺動.因此，選擇一個合適的學(xué)習(xí)率，對于模型的訓(xùn)練將至關(guān)重要.本文方法在訓(xùn)練初始設(shè)置學(xué)習(xí)率為0.001，使模型能快速收斂，在訓(xùn)練第二階段迭代次數(shù)在40000～60000時降低學(xué)習(xí)率到0.0001，之后將學(xué)習(xí)率降至0.00001使目標(biāo)函數(shù)能穩(wěn)定收斂至局部最小值.從表5可以看出，通過變化學(xué)習(xí)率訓(xùn)練，檢測效果進(jìn)一步得到提升，mAP達(dá)到了0.9664，尤其在重經(jīng)重緯上的提升明顯，在實驗的測試集中表現(xiàn)較好，提升了0.09以上，mAP值達(dá)到了1.0.不過本文方法對于斑點和折痕還有欠缺，僅有0.88左右，未能達(dá)到0.95以上，還有待提高.

表5 變化學(xué)習(xí)率的Faster R-CNN
ResNet101-moreanchors檢測效果(AP)
Table 5 Testing result of changing learning rate Faster
R-CNN ResNet101-moreanchors

疵點類型準(zhǔn)確率重經(jīng)重緯1.0000斑點0.8820破洞1.0000斷經(jīng)斷緯1.0000折痕0.8827漬疵1.0000筘痕1.0000mAP0.9664

6 總結(jié)與展望

隨著卷積神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)算法的快速興起，布匹疵點檢測領(lǐng)域進(jìn)入了人工智能的新階段.本文采用深度殘差網(wǎng)絡(luò)提取布匹圖像特征，并結(jié)合 Faster R-CNN目標(biāo)定位框架實現(xiàn)疵點的提取和分類，平均檢測準(zhǔn)確率達(dá)到96%，布匹檢測速度達(dá)到30m/min以上，顯著超越了人工的檢測精度以及檢測速度.本文方法是對2K分辨率相機(jī)下拍攝的圖像進(jìn)行檢測，對于更高分辨率下的相機(jī)，檢測速度尚不能滿足，需要對檢測方法繼續(xù)優(yōu)化，提升檢測速度.此外，目前的布匹疵點檢測研究主要集中在純色布匹，本文方法還不適用于含有復(fù)雜圖案的印花布匹的疵點檢測.在后續(xù)的研究中將會針對印花布匹的特征，精確局部化疵點區(qū)域，分析疵點類別特性，實現(xiàn)更多種類疵點的檢測.