基于視覺顯著性與RBF 神經(jīng)網(wǎng)絡(luò)融合的織物瑕疵檢測(cè)

徐偉鋒，祝新軍，劉 山

(1. 紹興職業(yè)技術(shù)學(xué)院機(jī)電工程與交通學(xué)院，紹興 312000；2. 浙江大學(xué)控制科學(xué)與工程學(xué)院工業(yè)控制技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，杭州 310027)

隨著計(jì)算機(jī)視覺技術(shù)與圖像處理技術(shù)的發(fā)展，機(jī)器視覺檢測(cè)已廣泛應(yīng)用到缺陷檢測(cè)中。 而目前，大部分紡織企業(yè)仍采用織物傳統(tǒng)人工檢測(cè)方法，檢測(cè)質(zhì)量受人狀態(tài)影響，生產(chǎn)效率低，易產(chǎn)生誤檢、漏檢現(xiàn)象。 近年來(lái)，國(guó)內(nèi)外關(guān)于機(jī)器視覺在織物瑕疵檢測(cè)中的應(yīng)用研究，主要涉及空域法、頻域法、模型法和機(jī)器學(xué)習(xí)算法[1－2]。 如Hanmandlu 等[3]提出通過(guò)空間統(tǒng)計(jì)分析不規(guī)則圖像的灰度級(jí)表面分形維數(shù)特征，得到圖像的粗糙度和自相似性，但由于局部信息易被忽略，對(duì)織物較小的缺陷難以檢測(cè)。劉偉斌等[4]提出采用頻域?yàn)V波分析法，通過(guò)傅里葉變換獲得織物頻譜圖，利用頻域?yàn)V波獲得織物紋理信息，并通過(guò)高斯平滑后二值化分割出織物瑕疵，適用于規(guī)則紋理的織物檢測(cè)。 周文明等[5]針對(duì)織物紋理多樣性與織物瑕疵外形不確定性，提出一種應(yīng)用上下文視覺顯著性模型的檢測(cè)方法，通過(guò)織物圖像輸入視覺顯著性，生成織物顯著圖，確定織物瑕疵區(qū)域位置，能較好檢測(cè)出織物瑕疵，但容易將正常區(qū)域的織物圖像誤檢為有缺陷的織物圖像。同時(shí)，隨著人工智能技術(shù)的逐漸成熟，機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)算法也逐步應(yīng)用到織物瑕疵檢測(cè)中。 如吳志洋等[6]通過(guò)機(jī)器學(xué)習(xí)算法中的卷積神經(jīng)網(wǎng)絡(luò)，對(duì)單色織物瑕疵進(jìn)行設(shè)別與分類檢測(cè)，有效提升檢測(cè)速度和檢測(cè)準(zhǔn)確率，但算法參數(shù)量大、計(jì)算復(fù)雜，實(shí)效性不理想，不能滿足實(shí)際需求。 另外，由于神經(jīng)網(wǎng)絡(luò)算法對(duì)圖像有較強(qiáng)的分析和數(shù)據(jù)處理能力，能快速識(shí)別分類圖像缺陷[7]，但神經(jīng)網(wǎng)絡(luò)算法在織物瑕疵檢測(cè)中的應(yīng)用還處于初期階段，研究相對(duì)較少。 而在織物瑕疵檢測(cè)中，盡管織物瑕疵種類較多、背景較為復(fù)雜且位置不確定等特點(diǎn)，如典型的缺經(jīng)、斷緯、破洞和污漬缺陷，其缺陷特征各不相同，但從視覺顯著性來(lái)看，織物瑕疵區(qū)域必然與正常區(qū)域的對(duì)比度、紋理粗糙度和方向等特征存在差異，可通過(guò)提升缺陷區(qū)域的顯著度，從而提高織物瑕疵檢測(cè)準(zhǔn)確率和有效性。 所以，本文引入具有上下文感知的視覺顯著性，提出一種基于視覺顯著性與RBF 神經(jīng)網(wǎng)絡(luò)相融合的織物瑕疵檢測(cè)方法。

1 織物瑕疵檢測(cè)方法

本文織物瑕疵檢測(cè)方法流程框架如下頁(yè)圖1所示，包含檢測(cè)階段和訓(xùn)練階段兩部分。 檢測(cè)階段織物圖像輸入后，為去除圖像干擾，先對(duì)織物圖像采用空域中值濾波進(jìn)行預(yù)處理，接著引入視覺顯著性計(jì)算模型，進(jìn)行圖像區(qū)域?qū)Ρ榷?、紋理粗糙度和方向的視覺顯著性計(jì)算，將計(jì)算圖像區(qū)域?qū)Ρ榷鹊漠惓Ｌ卣鞫x為高顯著值，而圖像紋理粗糙度強(qiáng)調(diào)突出異常特征，正常特征為低顯著值，選取空間方向位置較為集聚的缺陷區(qū)域顯著性特征，對(duì)視覺顯著性織物瑕疵特征歸一化，并利用通過(guò)RBF 神經(jīng)網(wǎng)絡(luò)訓(xùn)練輸出圖像映射函數(shù)對(duì)顯著性圖像進(jìn)行重構(gòu)，結(jié)合網(wǎng)絡(luò)特征字典，提取織物瑕疵圖像特征，最后，對(duì)織物瑕疵顯著圖進(jìn)行定位分割，輸出檢測(cè)結(jié)果。 而訓(xùn)練階段主要利用現(xiàn)有織物圖像庫(kù)數(shù)據(jù)，構(gòu)建織物圖像樣本集進(jìn)行網(wǎng)絡(luò)訓(xùn)練，獲得圖像映射函數(shù)和網(wǎng)絡(luò)特征字典。

1.1 圖像預(yù)處理

織物圖像采集過(guò)程所用的CCD 工業(yè)相機(jī)易產(chǎn)生散粒噪聲和暗電流尖峰噪聲，同時(shí)還會(huì)受現(xiàn)場(chǎng)復(fù)雜環(huán)境不確定因素的影響，需先對(duì)織物圖像進(jìn)行圖像降噪處理，避免織物圖像失真，便于后續(xù)織物瑕疵圖像的檢測(cè)。 常用的圖像降噪處理方式主要有高斯濾波、均值濾波和中值濾波[8].而相比而言，中值濾波在空域?yàn)V波中具有較好的抑制非線性信號(hào)噪聲，假設(shè)織物原圖像f(l，j)和中值濾波后圖像g(l，j)，其數(shù)學(xué)模型為[9]:

g(i，j)＝med{f(i－k，j－l)，(k，l∈W)} (1)

式中，i、j分別為橫坐標(biāo)像素和縱坐標(biāo)像素，W為二維模板，通常空間區(qū)域?yàn)?×3 或5×5。

本文采用空間區(qū)間3×3 的中值濾波分別對(duì)典型缺經(jīng)、斷緯、破洞和污漬織物瑕疵進(jìn)行圖像濾波降噪，處理效果如圖2 所示。

圖2 典型織物瑕疵中值濾波處理前后對(duì)比

1.2 視覺顯著性計(jì)算

1.2.1 區(qū)域?qū)Ρ榷蕊@著性計(jì)算

織物圖像可分為多個(gè)局部圖像像素單元，按照區(qū)域顯著性特點(diǎn)，織物瑕疵顯著區(qū)域的像素單元較為聚集，而背景區(qū)域的圖像像素單元?jiǎng)t較為分散，圖像的像素單元之間差異性可通過(guò)上下文感知顯著性進(jìn)行表示，采用CA 模型[10]計(jì)算公式如下:

式中:dc(pi，pj)為空間區(qū)域上像素單元pi和pj之間的歐幾里得距離，dp(pi，pj)為空間區(qū)域上像素單元pi和pj之間的位置距離，λ為空間位置關(guān)系的調(diào)節(jié)因子。

而在圖像區(qū)域?qū)Ρ榷蕊@著性中，圖像背景的相似圖像像素單元會(huì)存在于不同的尺度，顯著圖像像素單元僅在某些尺度上存在。 假定以像素單元pi為中心的一組多尺度圖像的像素單元集合可表示每一個(gè)像素，pi的像素單元集合Rq＝{r1，...，rk}，則各個(gè)尺度上的顯著值計(jì)算公式如下:

1.2.3 紋理方向顯著性計(jì)算

根據(jù)織物的織造工藝，織物紋理方向主要涉及經(jīng)紗方向和緯紗方向，織物區(qū)域的經(jīng)緯取向性較強(qiáng)，可通過(guò)織物圖像經(jīng)緯方向投影向量來(lái)表征織物紋理方向的顯著性。 而織物正常紋理的投影向量呈現(xiàn)規(guī)則且穩(wěn)定特性，織物瑕疵紋理的投影向量則呈現(xiàn)不規(guī)則或有突變現(xiàn)象。 所以，設(shè)H(i，j)為h×w織物圖像像素塊，經(jīng)向和緯向的投影向量分別為Ph(i)和Pw(j)，則織物紋理方向投影一維向量的顯著性計(jì)算[12]如下:

1.3 基于RBF 神經(jīng)網(wǎng)絡(luò)的織物瑕疵特征提取

針對(duì)織物多維度的視覺顯著性特征，引入具有最優(yōu)逼近且多變量插值的徑向基函數(shù)(Radial－Basis Function， RBF)神經(jīng)網(wǎng)絡(luò)算法[13]，包含輸入層、隱含層和輸出層的網(wǎng)絡(luò)結(jié)構(gòu)，如下頁(yè)圖3 所示。其中，RBF 神經(jīng)網(wǎng)絡(luò)的徑向基傳遞函數(shù)和網(wǎng)絡(luò)隱含層到輸出層之間關(guān)系如下:

圖3 RBF 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

式中:ci為RBF 中心參數(shù)，σ2為RBF 寬度方差值，wi j∈Rn2×n3為隱含層至輸出層之間權(quán)值。

本文結(jié)合RBF 神經(jīng)網(wǎng)絡(luò)映射函數(shù)與織物顯著性缺陷圖像進(jìn)行重構(gòu)，通過(guò)網(wǎng)絡(luò)訓(xùn)練獲得的網(wǎng)絡(luò)特征字典對(duì)織物瑕疵重構(gòu)圖像進(jìn)行特征提取。 并利用反向傳播算法[14]，對(duì)RBF 神經(jīng)網(wǎng)絡(luò)權(quán)值參數(shù)優(yōu)化與網(wǎng)絡(luò)特征字典更新學(xué)習(xí)，通過(guò)前向傳播的誤差和結(jié)果對(duì)反向傳播權(quán)重參數(shù)進(jìn)行調(diào)整，并將構(gòu)造的RBF 神經(jīng)網(wǎng)絡(luò)對(duì)織物圖像進(jìn)行訓(xùn)練。 假設(shè)輸入圖像樣本集為m(x，y)，前向傳播輸出的誤差代價(jià)函數(shù)為:

1.4 織物瑕疵的定位分割

為獲得最終織物瑕疵圖像檢測(cè)目標(biāo)，還需對(duì)織物瑕疵圖像顯著性特征圖進(jìn)行定位分割。 而對(duì)比目前在缺陷分割中幾種較為實(shí)用的算法:大津法閾值、固定閾值、全局閾值、最大熵閾值等[15]。 本文采用基于MeanShift 聚類的最大熵自動(dòng)閾值法進(jìn)行定位分割，以圖像像素中的向量眾數(shù)為中心，通過(guò)平滑濾波將圖像分割成小區(qū)域，合并相鄰差異小的像素塊，獲取較突顯缺陷區(qū)域，并對(duì)突顯區(qū)域采用最大熵自動(dòng)閾值定位分割，獲得最終織物瑕疵檢測(cè)結(jié)果并輸出。

2 實(shí)驗(yàn)與分析

2.1 圖庫(kù)構(gòu)建及試驗(yàn)環(huán)境

本文使用的織物圖像庫(kù)圖片數(shù)據(jù)從浙江省某紡織企業(yè)獲得，含有織物瑕疵圖片1865 張和常規(guī)模板圖片78 張，圖片分辨率為4096×2160，在實(shí)驗(yàn)中，將1728 張缺陷圖片劃分為訓(xùn)練樣本集，剩下的215 張作為驗(yàn)證樣本集，主要涉及缺經(jīng)、吊邊、破洞、斷緯、污漬、帶紗等30 種典型的織物瑕疵。 而由于在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程需要大量的樣本數(shù)據(jù)，故對(duì)現(xiàn)有織物圖像庫(kù)圖片數(shù)據(jù)進(jìn)行切割和翻轉(zhuǎn)等增強(qiáng)處理，將原圖片數(shù)據(jù)集擴(kuò)容6 倍，以達(dá)到訓(xùn)練效果。 本文試驗(yàn)硬件環(huán)境CPU Intel Core(TM)2.81GHz， GPU NVIDA GeForce GTX 1660Ti，軟件編程環(huán)境操作系統(tǒng)Windows10、Matlabr2018a、Tensorflow1.9 和Python3.7。

2.2 結(jié)果與分析

為驗(yàn)證檢測(cè)方法的有效性，實(shí)驗(yàn)通過(guò)對(duì)織物典型缺經(jīng)、斷緯、破洞和污漬瑕疵檢測(cè)，將本文檢測(cè)方法與SR(Spectral Residual，剩余譜)模型檢測(cè)方法(方法1)、文獻(xiàn)[11]方法(方法2)檢測(cè)的顯著性特征圖進(jìn)行對(duì)比，檢測(cè)結(jié)果如上頁(yè)圖4 所示。

圖4 典型織物瑕疵檢測(cè)結(jié)果對(duì)比

從檢測(cè)結(jié)果和檢測(cè)性能對(duì)比來(lái)看，方法1 在對(duì)缺經(jīng)、污漬瑕疵的檢測(cè)中，部分缺陷特征沒(méi)有突現(xiàn)，未能被檢測(cè)出，同時(shí)從檢測(cè)性能對(duì)比表1 可知，該方法平均檢測(cè)準(zhǔn)確率不高。 方法2 對(duì)織物瑕疵顯著性的檢測(cè)效果較好，但在部分瑕疵檢測(cè)過(guò)程中，出現(xiàn)將正常圖像誤檢為瑕疵缺陷，平均檢測(cè)時(shí)間較長(zhǎng)。 相比而言，本文基于視覺顯著性與RBF 神經(jīng)網(wǎng)絡(luò)融合的織物瑕疵檢測(cè)方法能有效突出異常瑕疵區(qū)域，對(duì)顯著性較強(qiáng)的缺經(jīng)、斷緯、破洞瑕疵的檢測(cè)效果較好，并且對(duì)于背景紋理結(jié)構(gòu)較為復(fù)雜織物污漬瑕疵也能有效檢測(cè)，同時(shí)，從實(shí)際檢測(cè)效果和性能數(shù)據(jù)來(lái)看，本文方法在從平均檢測(cè)時(shí)間花費(fèi)也較少，平均檢測(cè)準(zhǔn)確率較高，能確保檢測(cè)效率，達(dá)到工業(yè)現(xiàn)場(chǎng)的預(yù)期檢測(cè)性能要求。

表1 三種檢測(cè)方法的檢測(cè)性能對(duì)比

3 結(jié)語(yǔ)

本文結(jié)合織物瑕疵顯著性特點(diǎn)，提出視覺顯著性與RBF 神經(jīng)網(wǎng)絡(luò)融合的織物瑕疵檢測(cè)方法。 織物圖像經(jīng)最佳中值濾波預(yù)處理后，通過(guò)計(jì)算獲得織物瑕疵區(qū)域?qū)Ρ榷取⒓y理粗糙度和紋理方向的異常顯著性，并對(duì)其顯著圖加權(quán)歸一化，同時(shí)融合訓(xùn)練獲得的映射函數(shù)重構(gòu)織物圖像，通過(guò)網(wǎng)絡(luò)特征字典對(duì)織物瑕疵重構(gòu)圖像提取特征，采用MeanShift 聚類最大熵自動(dòng)閾值法分割定位，能有效獲得織物瑕疵檢測(cè)結(jié)果。 從實(shí)驗(yàn)結(jié)果對(duì)比表明，本文所提方法能實(shí)時(shí)有效對(duì)多種異常特征較弱的織物瑕疵進(jìn)行檢測(cè)，適應(yīng)性強(qiáng)，檢測(cè)準(zhǔn)確率大幅提升，可滿足實(shí)際工業(yè)環(huán)境下織物瑕疵檢測(cè)要求。