基于Faster RCNN的布匹瑕疵識(shí)別系統(tǒng)①

蔡兆信,李瑞新,戴逸丹,潘家輝

(華南師范大學(xué) 軟件學(xué)院,佛山 528225)

1 引言

1.1 研究背景

經(jīng)歷了新中國(guó)成立后70 多年的社會(huì)主義建設(shè),我國(guó)的紡織業(yè)取得了飛躍的發(fā)展,目前已經(jīng)形成了種類齊全、生產(chǎn)布局合理、原料充足的生產(chǎn)局面.但步入信息化時(shí)代,紡織業(yè)產(chǎn)品質(zhì)量檢測(cè)仍停留在依靠人眼、經(jīng)驗(yàn)的基礎(chǔ)之上,容易因工作人員操作失誤、工廠設(shè)備的老化故障或環(huán)境溫度的變化等原因造成漏檢、檢錯(cuò)等情況[1].

少數(shù)紡織企業(yè)能通過智能驗(yàn)布系統(tǒng)解決其瑕疵檢出率低、人員成本高等問題,但其技術(shù)仍需不斷優(yōu)化.通過自動(dòng)化的布匹瑕疵檢測(cè),促使我國(guó)紡織工業(yè)邁向智能科技創(chuàng)新水平,推動(dòng)紡織工業(yè)行業(yè)的科技進(jìn)步,滿足中國(guó)紡織工業(yè)領(lǐng)域的發(fā)展需求仍然任重而道遠(yuǎn)[2].

1.2 研究現(xiàn)狀

國(guó)內(nèi)外學(xué)者已提出許多布匹瑕疵檢測(cè)算法,如Kandaswarmy 等研究彩色紋理圖像在不同光照下的特征分析技術(shù),選擇合適特征對(duì)其進(jìn)行紋理有效性圖像檢測(cè)[3],Shukla 等提出基于DSP 的視覺檢測(cè)系統(tǒng)方法,實(shí)時(shí)性強(qiáng)[4].

目前目標(biāo)檢測(cè)算法主要分為3 種類別:(1)基于區(qū)域建議的目標(biāo)檢測(cè)與識(shí)別算法,如RCNN,Fast RCNN和Faster RCNN;(2)基于回歸的目標(biāo)檢測(cè)與識(shí)別算法,如YOLO 和SSD;(3)基于搜索的目標(biāo)檢測(cè)與識(shí)別算法,如基于視覺注意的AttentionNet,基于強(qiáng)化學(xué)習(xí)的算法,其中目前最常用的目標(biāo)檢測(cè)算法為Faster RCNN,YOLO和SSD[5].YOLO 和SSD 算法主要針對(duì)大物體,且速度方面相對(duì)比Faster RCNN 快,但對(duì)于小物體目標(biāo)檢測(cè)其表現(xiàn)結(jié)果卻不太理想.

本研究基于Faster RCNN 算法開發(fā)一款紡織布匹表面瑕疵識(shí)別系統(tǒng).該系統(tǒng)通過采集高速相機(jī)拍攝的來自坯布、面料、服裝的帶有瑕疵的產(chǎn)品的影像數(shù)據(jù),完成對(duì)布匹圖像上瑕疵的檢測(cè),對(duì)布匹上的各種疵點(diǎn)精準(zhǔn)檢出,并準(zhǔn)確定位瑕疵坐標(biāo)位置.

2 數(shù)據(jù)擴(kuò)展

2.1 大規(guī)模學(xué)習(xí)算法的難點(diǎn)

大多數(shù)優(yōu)秀的神經(jīng)網(wǎng)絡(luò)都需要設(shè)置大量的參數(shù),以深度學(xué)習(xí)領(lǐng)域最常見的圖像識(shí)別來看,其中一種常用的特征提取模型為VGG16,用于初步提取圖像的特征值,然后再做后續(xù)的處理,如分類、邊框提取.要讓這些優(yōu)秀的神經(jīng)網(wǎng)絡(luò)模型正常工作我們通常需要大量的數(shù)據(jù),然而實(shí)際環(huán)境下我們并沒有如此龐大的數(shù)據(jù)集[6].幾種模型對(duì)比如表1所示.

除此之外,數(shù)據(jù)集里各類別的數(shù)據(jù)量比例懸殊也會(huì)影響模型的訓(xùn)練效果.因此在數(shù)據(jù)不均衡時(shí),為了獲得較高的準(zhǔn)確率,一般需要更多且更均勻的數(shù)據(jù).

2.2 圖像數(shù)據(jù)增強(qiáng)

克服數(shù)據(jù)量供不應(yīng)求和數(shù)據(jù)類別參差不齊的一種常用的做法就是數(shù)據(jù)增強(qiáng)[7].一般神經(jīng)網(wǎng)絡(luò)在剛開始或欠訓(xùn)練的時(shí)候,并不能區(qū)分出相似的數(shù)據(jù).將一張含有某物體的圖片進(jìn)行放大縮小加噪降噪的操作,早期的網(wǎng)絡(luò)也會(huì)認(rèn)為是同一個(gè)物體.數(shù)據(jù)增強(qiáng)主要有兩個(gè)好處:(1)增加訓(xùn)練的數(shù)據(jù)量,提高模型的泛化能力;(2)增加數(shù)據(jù)噪聲量,提高模型的魯棒性.

表1 VGG、DeepVideo 和GNMT 模型對(duì)比

3 布匹瑕疵檢測(cè)與識(shí)別

3.1 目標(biāo)檢測(cè)與識(shí)別算法

本研究的數(shù)據(jù)集中,缺陷區(qū)域面積占比不到1%的布匹樣本超過了82%,因此我們選擇檢測(cè)速度較低但對(duì)小物體較敏感的Faster RCNN 網(wǎng)絡(luò)(對(duì)比圖如圖1).

圖1 Faster RCNN 和SSD 在VGG16 模型上對(duì)小物體的檢測(cè)mAP 對(duì)比圖

Faster RCNN是2016年提出的一種新型神經(jīng)網(wǎng)絡(luò)[8],是從RCNN、Fast RCNN 進(jìn)一步改進(jìn)而來,其拋棄了Selective Search[9]做法直接利用RPN網(wǎng)絡(luò)來計(jì)算候選框,使得目標(biāo)檢測(cè)速度大幅度提高.

另外,我們針對(duì)布匹瑕疵目標(biāo)小的特點(diǎn),調(diào)整RPN網(wǎng)絡(luò)的anchor 大小和數(shù)量,以及學(xué)習(xí)率等參數(shù),提高了檢測(cè)的準(zhǔn)確率.

3.2 Faster RCNN 原理

Faster RCNN 主要由區(qū)域生成網(wǎng)絡(luò)(RPN)和Fast RCNN 構(gòu)成(圖2),在經(jīng)過基礎(chǔ)的卷積神經(jīng)網(wǎng)絡(luò)(本實(shí)驗(yàn)采用VGG16)初步提取特征值后,其中RPN 主要用于生成可能存在目標(biāo)的候選區(qū)域(proposal),Fast RCNN用于對(duì)候選區(qū)域內(nèi)的目標(biāo)進(jìn)行識(shí)別并分類,同時(shí)進(jìn)行邊界回歸[10]調(diào)整候選區(qū)域邊框的大小和位置使其更精準(zhǔn)地標(biāo)識(shí)瑕疵目標(biāo).Faster RCNN 相比前代的RCNN 和Fast RCNN 最大的改進(jìn)是將卷積結(jié)果共享與RPN 和Fast RCNN 網(wǎng)絡(luò),在提高準(zhǔn)確率的同時(shí)提高了檢測(cè)速度.

圖2 Faster RCNN 網(wǎng)絡(luò)結(jié)構(gòu)圖

RPN 網(wǎng)絡(luò)是一個(gè)全卷積網(wǎng)絡(luò),采用一個(gè)n×n的滑動(dòng)窗口在上一層共享卷積網(wǎng)絡(luò)的輸出特征圖上進(jìn)行滑窗選擇,對(duì)每一個(gè)點(diǎn)同時(shí)預(yù)測(cè)k個(gè)被稱為錨(anchor)的初始候選區(qū)域.對(duì)于一張大小為w×h的卷積特征圖,則可得到w×h×k個(gè)錨.接著將每個(gè)點(diǎn)映射到一個(gè)低維向量,用作后續(xù)的邊框分類和邊框回歸.邊框分類中,通過Softmax 分類anchor 得到對(duì)應(yīng)的前景(foreground)和背景(background),最終初步提取出foreground anchors作為目標(biāo)候選區(qū)域.而邊框回歸則用于回歸修正出錨的邊界框,獲得精確的proposals.因此要準(zhǔn)確分類和回歸邊框需要對(duì)RPN 網(wǎng)絡(luò)進(jìn)行訓(xùn)練以得到正確的回歸參數(shù).在訓(xùn)練RPN 的過程中采用端到端(end to end)的方式,損失函數(shù)通過平衡因子將分類損失和回歸損失相結(jié)合.訓(xùn)練好后的RPN 得到的候選區(qū)域,再在后續(xù)Fast RCNN 再做進(jìn)一步的檢測(cè)和糾正.

Fast RCNN 網(wǎng)絡(luò)通過ROI 池化后,輸出結(jié)果為固定長(zhǎng)度的特征向量.將特征向量經(jīng)過全連接層后分別輸入到Softmax 分類器和邊框回歸網(wǎng)絡(luò)(bounding box regression)分別獲得邊框區(qū)域內(nèi)對(duì)應(yīng)的類別和邊框偏移量,回歸得到更加精確的目標(biāo)檢測(cè)框.

3.3 調(diào)整RPN 網(wǎng)絡(luò)

RPN 的輸入是卷積層后的特征映射(feature maps),通過在特征圖中運(yùn)用anchor 機(jī)制和box regression,單獨(dú)判斷和定位瑕疵位置的網(wǎng)絡(luò).Anchor 以每一個(gè)錨點(diǎn)為中心生成大小不同的k個(gè)框,致力于使目標(biāo)對(duì)象能出現(xiàn)在某個(gè)框中.

統(tǒng)計(jì)顯示,本研究的數(shù)據(jù)集里瑕疵缺陷區(qū)域面積占比不到1%的布匹樣本超過了82%,因此,針對(duì)小目標(biāo)的問題,我們通過調(diào)整Faster RCNN 中的RPN 網(wǎng)絡(luò)的候選框的大小和數(shù)量來提高檢測(cè)率.以圖3、圖4為例,原始的RPN 網(wǎng)絡(luò)中每個(gè)點(diǎn)擁有9 個(gè)矩形,共有3 種形狀,長(zhǎng)寬比大約為0.5,1.0 和2.0,scale 為8,16,32.在本實(shí)驗(yàn)中,選擇k=36,即每個(gè)點(diǎn)擁有36 個(gè)anchor,針對(duì)布匹瑕疵目標(biāo)小的特點(diǎn),scale 為4,8,16,設(shè)置候選框的長(zhǎng)寬比為0.1,0.5,1,2,5,scale 為4,8,16.通過移動(dòng)anchor,利用Softmax 函數(shù)判斷是否為瑕疵區(qū)域,即判定positive 與negative,實(shí)現(xiàn)二分類,初步提取了檢測(cè)目標(biāo)候選區(qū)域box.當(dāng)?shù)玫絧ositive 的區(qū)域后,對(duì)瑕疵邊框進(jìn)行坐標(biāo)回歸運(yùn)算,獲取瑕疵區(qū)域更加精準(zhǔn)的proposals,同時(shí)剔除太小和超出邊界的proposals.

圖3 候選框調(diào)整前

圖4 候選框調(diào)整后

3.4 區(qū)域推薦網(wǎng)絡(luò)(RPN)損失函數(shù)

RPN 網(wǎng)絡(luò)層負(fù)責(zé)候選窗口的分類和回歸,本文中PRN 網(wǎng)絡(luò)的損失函數(shù)為分類交叉熵?fù)p失和回歸SmoothL1損失的總和,定義如下:

3.4.1 分類交叉熵?fù)p失

分類交叉熵公式定義為:

RPN 網(wǎng)絡(luò)中的分類器將候選框分為前景(foreground)和背景(background),分別標(biāo)為1 和0,并在訓(xùn)練過程中選擇256 個(gè)候選框.式(2)中,Ncls代表候選框數(shù)量,本實(shí)驗(yàn)中候選框數(shù)量為256.pi為框內(nèi)預(yù)測(cè)目標(biāo)的概率,為實(shí)際目標(biāo)的概率,定義為:

Lcls(pi,p?i)代表pi和p?i的對(duì)數(shù)損失,定義為:

3.4.2 回歸SmoothL1損失

回歸SmoothL1公式定義為:

式中,ti為候選框相對(duì)于目標(biāo)所在的真實(shí)框的預(yù)測(cè)的偏移量,為候選框相對(duì)于目標(biāo)所在的真實(shí)框的實(shí)際的偏移量.ti>和的定義如下:

其中,

Lreg為回歸損失,R為SmoothL1函數(shù),兩者的定義分別為:

4 實(shí)驗(yàn)與結(jié)果

本實(shí)驗(yàn)使用的布匹數(shù)據(jù)集取自2018年太湖新城與阿里云聯(lián)合舉辦的“2018 雪浪制造AI 挑戰(zhàn)”天池大賽.實(shí)驗(yàn)中分別進(jìn)行數(shù)據(jù)增強(qiáng)化和調(diào)整模型的參數(shù),采用9:1 的方式隨機(jī)選擇訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集,訓(xùn)練共迭代45 000 次.

4.1 實(shí)驗(yàn)環(huán)境與系統(tǒng)架構(gòu)

本實(shí)驗(yàn)的在MAC 系統(tǒng)上進(jìn)行,采用PyCharm 開發(fā)工具和MySQL 數(shù)據(jù)庫(kù),同時(shí)利用深度學(xué)習(xí)框架Tensorflow 1.14.0 和Keras 2.2.4 來搭建并訓(xùn)練模型,布匹瑕疵檢測(cè)系統(tǒng)前端和后臺(tái)開發(fā)分別采用Bootstrap 和Flask框架.布匹瑕疵檢測(cè)系統(tǒng)可運(yùn)行在瀏覽器(推薦Chrome和Firefox 瀏覽器)上,系統(tǒng)的功能主要由布匹瑕疵識(shí)別和瑕疵數(shù)據(jù)分析組成.在第三方硬件支持上,我們利用Google Colab 來對(duì)模型進(jìn)行訓(xùn)練.

4.2 實(shí)驗(yàn)過程

4.2.1 數(shù)據(jù)增強(qiáng)

本文中原始布匹數(shù)據(jù)集里共有37 種瑕疵類別,但每種類別所包含的數(shù)據(jù)量不均勻,如圖5,甚至個(gè)別數(shù)據(jù)異常懸殊,如邊擦洞種類有12 張圖片,而粗紗種類僅有2 張,總體而言正常樣本與某些缺陷類的比例超過了10:1.這對(duì)后期的訓(xùn)練工作帶來極大不便,易對(duì)原本數(shù)據(jù)量大的瑕疵檢測(cè)出來的準(zhǔn)確率比數(shù)據(jù)量小的要大,甚至模型只會(huì)檢測(cè)出數(shù)據(jù)量大的類別,拋棄小數(shù)據(jù)類別.

研究首先對(duì)原始圖像數(shù)據(jù)進(jìn)行增強(qiáng),主要方法有翻轉(zhuǎn)、亮度變化、加入噪聲、裁剪以及固定角度的旋轉(zhuǎn)等(圖6),同時(shí)還對(duì)數(shù)據(jù)量偏小的類別偏袒,提高類別數(shù)量的均衡度.數(shù)據(jù)增強(qiáng)后,共有4668 張布匹圖片數(shù)據(jù).

4.2.2 模型訓(xùn)練過程和主要參數(shù)設(shè)置

研究對(duì)原始的Faster RCNN 網(wǎng)絡(luò)進(jìn)行調(diào)整,對(duì)RPN網(wǎng)絡(luò)的候選框(或稱錨)進(jìn)行調(diào)整.檢測(cè)過程分為5 步:

(1)增強(qiáng)后的布匹數(shù)據(jù)為4668 張圖片,實(shí)驗(yàn)首先根據(jù)4668 張圖片轉(zhuǎn)化為VOC2007 數(shù)據(jù)集格式,然后按照20:1 的比例劃分訓(xùn)練集和測(cè)試集;

(2)將測(cè)試數(shù)據(jù)集放入VGG16 模型的初步提取圖像特征值,該層由基礎(chǔ)的卷積層(Conv)、激活層(ReLU)和池化層(Pooling)構(gòu)成,提取出圖片的特征映射,用于后續(xù)的RPN 層和ROI 層,;

(3)用訓(xùn)練好的RPN 網(wǎng)絡(luò)生成候選檢測(cè)框,也就是proposal;

(4)收集VGG16 網(wǎng)絡(luò)輸出的特征映射和RPN 網(wǎng)絡(luò)輸出的proposals,結(jié)合起來進(jìn)一步提取出proposal feature maps,送入后續(xù)全連接層判定目標(biāo)類別;

(5)最后進(jìn)行分類,利用Softmax 分類器和proposal feature maps 來判斷出檢測(cè)框內(nèi)的布匹瑕疵類別,并再做一個(gè)回歸(regression)獲得更為準(zhǔn)確的檢測(cè)框位置.

訓(xùn)練過程如圖7所示.主要參數(shù)調(diào)整如下:

(1)總迭代次數(shù)為4.5 萬次;

(2)學(xué)習(xí)率為0.001;

(3)一次訓(xùn)練所選取的樣本數(shù)(batch size)為256;

(4)候選框的尺度為4,8,16;

(5)候選框的長(zhǎng)寬比(ratios)為0.1,0.2,0.5,1,2,5.

4.2.3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)對(duì)4 種檢測(cè)方法(如表2所示)進(jìn)行對(duì)比,4 種方法分別為Fast RCNN (原始網(wǎng)絡(luò)+原始數(shù)據(jù))、Faster RCNN (原始網(wǎng)絡(luò)+原始數(shù)據(jù))、Faster RCNN (原始網(wǎng)絡(luò)+增強(qiáng)數(shù)據(jù))、Faster RCNN (調(diào)整網(wǎng)絡(luò)參數(shù)+增強(qiáng)數(shù)據(jù)),其中最后一種方法為本研究采用的方法.

圖7 布匹瑕疵檢測(cè)流程圖

對(duì)比分析4 種檢測(cè)方法的結(jié)果,Faster RCNN 平均訓(xùn)練時(shí)間總體比Fast RCNN 較長(zhǎng),在調(diào)整網(wǎng)絡(luò)和增強(qiáng)數(shù)據(jù)后更為如此,主要由于每個(gè)點(diǎn)的候選框(anchor)數(shù)量和訓(xùn)練集的數(shù)據(jù)量增大導(dǎo)致,但最終平均檢測(cè)準(zhǔn)確率顯著提升,平均每張圖片的檢測(cè)速度的變化幅度也在可接受范圍之內(nèi),因此這種檢測(cè)方法是可行的.

本研究測(cè)試采用的設(shè)備性能偏低,但在實(shí)際的檢測(cè)環(huán)境中,若采用性能較好的設(shè)備,單張圖片的檢測(cè)速度會(huì)進(jìn)一步提升,且準(zhǔn)確率也是較為可觀.

對(duì)測(cè)試數(shù)據(jù)集進(jìn)行測(cè)試得到的部分結(jié)果如圖8所示.在圖中紅色檢測(cè)框區(qū)域代表布匹瑕疵存在的位置,上方為對(duì)于該檢測(cè)框區(qū)域目標(biāo)的分類類別以及該類別的置信率.檢測(cè)結(jié)果如圖8所示,以圖8(d)為例,模型可以同時(shí)在一張圖檢測(cè)出3 處瑕疵,并分別標(biāo)識(shí)出對(duì)應(yīng)類別的置信率.總體準(zhǔn)確率為79.3%.

表2 4 種檢測(cè)方法結(jié)果對(duì)比

圖8 布匹瑕疵檢測(cè)結(jié)果圖

5 討論與總結(jié)

本研究針對(duì)原始布匹數(shù)據(jù)集中各類瑕疵的數(shù)據(jù)量不均勻以及瑕疵目標(biāo)小的特點(diǎn),分別對(duì)原始數(shù)據(jù)進(jìn)行了增強(qiáng),并選用對(duì)小目標(biāo)更為敏感的Faster RCNN 網(wǎng)絡(luò),并調(diào)整其中RPN 網(wǎng)絡(luò)中原始的anchors 大小和數(shù)量,提高瑕疵識(shí)別的準(zhǔn)確率.因此在數(shù)據(jù)處理和識(shí)別算法上有一定的創(chuàng)新,與傳統(tǒng)的使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行檢測(cè)和識(shí)別有較大的不同.另外研究基于Faster RCNN模型開發(fā)了一款基于Web 技術(shù)的布匹瑕疵檢測(cè)系統(tǒng),可在布匹生產(chǎn)線和市場(chǎng)等場(chǎng)合用于布匹質(zhì)量檢測(cè),提前感知生產(chǎn)上的不足和減低布匹買賣的損失.同時(shí)該系統(tǒng)使用到目前較為先進(jìn)的前端開發(fā)技術(shù),使系統(tǒng)在用戶交互上更加智能化,操作簡(jiǎn)單,互動(dòng)性強(qiáng).

本文將增強(qiáng)后的數(shù)據(jù)放入Faster RCNN 模型中進(jìn)行訓(xùn)練,通過4.5 萬次迭代訓(xùn)練,在檢測(cè)設(shè)備性能限制下,最終使得每張布匹的檢測(cè)時(shí)間保持在10 s 以內(nèi),測(cè)試準(zhǔn)確率為79.3%.

盡管相比于其他利用Faster RCNN 檢測(cè)布匹瑕疵的研究中90%以上的準(zhǔn)確率[11],本文的準(zhǔn)確率比較低,但本文是基于數(shù)據(jù)量少且類別不均勻的基礎(chǔ)上對(duì)進(jìn)行數(shù)據(jù)增強(qiáng),且多數(shù)布匹瑕疵目標(biāo)特征不明顯,并針對(duì)目標(biāo)的特點(diǎn)調(diào)整Faster RCNN 網(wǎng)絡(luò),同時(shí)分類出37 種類別,因此在總體性能上比該研究高.

綜上所述,本研究在數(shù)據(jù)量不足、各類別的數(shù)據(jù)量不均勻和目標(biāo)小的情況下,對(duì)現(xiàn)有的技術(shù)進(jìn)行改進(jìn)并實(shí)踐,在布匹生產(chǎn)質(zhì)量檢測(cè)領(lǐng)域中做出了實(shí)質(zhì)性的嘗試.