基于改進(jìn)判別性完整局部二值模式與格分割的織物瑕疵檢測方法

趙樹志， 狄 嵐， 何銳波

(江南大學(xué) 數(shù)字媒體學(xué)院， 江蘇 無錫 214122)

目前解決紡織品瑕疵檢測問題的方法大致可分為3類：統(tǒng)計學(xué)方法、光譜和基于模型的方法[1]。近幾年，國內(nèi)研究人員董蓉等[2]提出了應(yīng)用積分圖的瑕疵檢測方法，石美紅等[3]提出了基于顯著紋理特征的疵點(diǎn)檢測方法。針對有圖案紡織品，Ngan等提出了基于小波預(yù)處理的黃金圖像相減方法(WGIS)[4]、布林線指標(biāo)方法(BB)[5]、正則帶方法(RB)[6]、基于基本圖案方法(MB)[7]、Elo評分方法(ER)[8]。這其中的一些方法都是基于自動提取子圖像基本圖案模板。大多數(shù)基于模板的方法都是基于預(yù)定義和手動確定信息來構(gòu)建模板。然而，其檢測準(zhǔn)確率在實(shí)際應(yīng)用中還因為瑕疵的多樣性而難以預(yù)測。這種固有的局限性制約了根據(jù)手動確定模板的方法在實(shí)際中的應(yīng)用。因此本文使用自動模板提取方法(格分割)[9]，以避免手動確定模板所帶來的局限性。

確定好模板后，針對模板進(jìn)行特征提取。在特征提取方法的選擇上，基于LBP(局部二值模式)特征的方法運(yùn)算速度快，并且能有效地描述圖像紋理特征，已受到廣泛關(guān)注和研究。但是LBP算法對噪聲敏感，且只考慮了中心像素與鄰域像素的差值符號特征，沒有考慮差值幅度，丟失了一部分?jǐn)?shù)據(jù)信息[10]。為了使LBP特征提取更加充分，Guo等提出了完整局部二值模式(CLBP)算法[11]，CLBP提取的特征比較全面且具有較強(qiáng)的鑒別能力，將其應(yīng)用在紋理分類中，取得了較高的識別率。但CLBP在提取全面信息的同時，不可避免地提取了干擾信息，不僅增加了時間復(fù)雜度，還影響了識別率。

針對傳統(tǒng)CLBP所存在的局限性，本文提出一種改進(jìn)算子，將光滑部分紋理信息考慮進(jìn)去，提高了紋理識別的精細(xì)度；將上述改進(jìn)的特征提取方法與一種自動格分割方法結(jié)合，在解決星形圖案和箱形圖案瑕疵中有較為出色的檢測效果；在比較2種直方圖離散程度時，使用雙向相對熵散度(KLD)計算方法，提高了直方圖間差異度，更有利于衡量離散度。

1 改進(jìn)disCLBP的瑕疵檢測算法實(shí)現(xiàn)

1.1 算法描述

本文算法總體分為2部分：訓(xùn)練部分和測試部分。

訓(xùn)練部分：對每張無瑕疵圖做格分割處理，并計算得到每個格子(塊)的特征直方圖，最后求所有格子的平均特征直方圖，再將每個格子的特征直方圖與平均直方圖做KLD散度(相對熵)計算求出散度值，最后得到閾值T。

測試部分：對瑕疵圖做格分割處理，計算每張瑕疵圖中每個格子的特征直方圖并與平均特征直方圖做KLD散度計算，將得到的每個值與閾值T做比較，大于閾值T的部分標(biāo)記為瑕疵。KLD散度計算原理以及閾值T的選取將在下文中介紹。整體算法流程如圖1所示。

圖1 算法流程圖Fig.1 Overall block diagram of proposed algorithm. (a) Training part; (b) Testing part

1.2 自動格分割

本文預(yù)處理方法使用形態(tài)學(xué)成分分析(MCA)[13]將原圖分成卡通層與紋理層2部分，并且只保留卡通層。下面采用基于自適應(yīng)K-Means算法[14]的格分割方法對圖像分塊，具體算法步驟為：

步驟1：用MCA得到輸入圖像的卡通層Ic并根據(jù)閾值二值化產(chǎn)生IIC；

粉絲們pick偶像，就是pick平凡努力的自己；粉絲們pick偶像，某種程度也是在享受反權(quán)威的快感。如果說2017年的娛樂關(guān)鍵詞是打call，2018年則為pick無疑。pick意為挑選、選擇，因選秀節(jié)目《偶像練習(xí)生》《創(chuàng)造101》的火爆而成功出圈。

步驟2：計算二值圖像IIC中各行背景像素數(shù)的多重集h，各列背景像素數(shù)的多重集v；計算各行背景像素數(shù)的多重集h和各列背景像素數(shù)的多重集v的峰值hp和vp；

步驟3：分別計算上述中的峰值hp和vp的越區(qū)切換算法(HC)輪廓系數(shù)，以最大輪廓系數(shù)對應(yīng)的聚類個數(shù)初始化 HC 算法，并對峰值hp和vp分別進(jìn)行聚類，得到的聚類中心構(gòu)成多重集hc和vc；

步驟4：根據(jù)多重集hc和vc計算閾值hmax和vmax，分別計算hp中不小于hmax的峰值所對應(yīng)行索引的間距和vp中不小于vmax的峰值所對應(yīng)列索引的間距，計算構(gòu)成穩(wěn)定行間距的最長連續(xù)行索引的集合Sh以及構(gòu)成穩(wěn)定列間距的最長連續(xù)列索引的集合Sv；

步驟5：擴(kuò)展集合Sh和集合Sv以覆蓋圖像的卡通成分Ic的大部分區(qū)域，并計算類格圖案的Lh理想行數(shù)Lh和理想列數(shù)Lv。這樣，即可確定出一個標(biāo)準(zhǔn)格的大小。

1.3 特征提取

圖2 格分割與特征提取Fig.2 Lattice segmentation and feature extraction

本文在傳統(tǒng)CLBP的基礎(chǔ)上提出了一種改進(jìn)窗口梯度差異度算子M，通過對比2像素點(diǎn)的灰度差異幅值的均值大小描述局部窗口內(nèi)灰度梯度差異特征。窗口灰度差異算子S與中心像素點(diǎn)描述算子C與傳統(tǒng)CLBP相同。改進(jìn)算子的計算方法如下：

式中：p為鄰域數(shù)目；s(x)為算子S、M、C的符號；gc為窗口中心像素點(diǎn)灰度值；gp為中心P鄰域各點(diǎn)灰度值；gN為每個窗口內(nèi)灰度值均值；N為圖像劃分子窗口個數(shù)。本文將改進(jìn)CLBP算法與判別性CLBP方法結(jié)合，將改進(jìn)disCLBP算法應(yīng)用到圖片特征提取中。上述格分割與特征提取的算法流程圖如圖2所示。

1.4 相對熵計算及閾值選取

由上述特征提取方法所得直方圖的含義是每類特征值在每副圖中出現(xiàn)的頻率。直方圖中，橫坐標(biāo)即為每類特征值，縱坐標(biāo)為每類特征值出現(xiàn)的次數(shù)。KLD散度(相對熵)[15]是一種用來衡量2個概率分布距離的方法(D1,D2)。本文采取一種改進(jìn)的KLD散度計算方法，與傳統(tǒng)方法不同的是，針對特征直方圖進(jìn)行雙向KLD計算并求和，計算方法如下：

式中：N為特征向量維數(shù)；Pi特征值為i的特征向量在待檢測圖的特征直方圖中出現(xiàn)的頻率；Qi為特征值為i的特征向量在平均特征直方圖中出現(xiàn)的頻率；D為相對熵的值。

在訓(xùn)練部分，通過計算無瑕疵圖的每個格子的特征直方圖與平均特征直方圖的KLD得到一些KLD散度值，在這些散度值中選取閾值的方法為

T=max(Tk)

式中：Tk為所有樣本中第k個格子計算得到的散度值。

2 實(shí)驗結(jié)果與分析

圖3 星形圖斷端疵點(diǎn)圖像設(shè)置不同(R,P)值的疵點(diǎn)檢測結(jié)果Fig.3 Star broken end defect image and fabric detection results using different (R,P) values.(a) Original drawing; (b) (1,8); (c) (3,8); (d) (5,12); (e) (5,16)

本文實(shí)驗使用了香港大學(xué)電氣和電子工程系工業(yè)自動化實(shí)驗室提供的81幅256像素×256像素的24位彩色紡織品圖像[9]，在實(shí)驗中這些圖像被轉(zhuǎn)換為8位的灰度圖像。81幅圖像包括2種圖案：箱形圖像和星形圖像，其中箱形圖像中包括26幅無瑕疵和15幅有瑕疵圖像；星形圖像中包括25幅無瑕疵和15幅有瑕疵圖像。2種圖案的有瑕疵圖像包括3種瑕疵類型：斷端，網(wǎng)紋，和細(xì)條紋，所有瑕疵圖像都有相同大小的瑕疵基準(zhǔn)圖，瑕疵基準(zhǔn)圖為二值圖像。其中1表示瑕疵，0表示背景。本文用于比較的算法有傳統(tǒng)LBP、WGIS、BB和ER。實(shí)驗部分所用到的評價指標(biāo)有：TPR、FPR、PPV、NPV。TPR表示瑕疵基準(zhǔn)圖中表示瑕疵的像素被算法正確標(biāo)定為瑕疵的比例，F(xiàn)PR表示瑕疵基準(zhǔn)圖中表示背景的像素被算法錯誤標(biāo)定為瑕疵的比例，PPV表示算法輸出的瑕疵基準(zhǔn)圖中的瑕疵所占比例，NPV表示算法輸出的瑕疵基準(zhǔn)圖中的背景所占比例。對于TPR，PPV和NPV，指標(biāo)值越大越好，對于FPR則越小越好。

2.1 不同半徑和鄰域?qū)z測效果的影響

對于disCLBP，設(shè)置不同的領(lǐng)域半徑R和不同的鄰域數(shù)目P都會影響檢測結(jié)果，本文針對這個問題首先進(jìn)行了對比實(shí)驗。在實(shí)驗中，分別設(shè)置(R，P)的值分別為(1,8)、(3,8)、(5,12)、(5,16)，針對星形和箱形圖進(jìn)行對比實(shí)驗，結(jié)果如表1、2、圖3～8所示。表中黑體表示該行的最優(yōu)數(shù)據(jù)。

表1 不同(R,P)值對星形圖案的檢測效果影響Tab.1 Effect of different (R,P) values on star patterns

表2 不同(R,P)值對箱形圖案的檢測效果影響Tab.2 Effect of different (R,P) values on box patterns

圖4 星形圖網(wǎng)紋疵點(diǎn)圖像設(shè)置不同(R,P)值的疵點(diǎn)檢測結(jié)果Fig.4 Star netting multiple defect image and fabric detection results using different (R,P) values.(a) Original drawing; (b) (1,8); (c) (3,8); (d) (5,12); (e) (5,16)

圖5 星形圖細(xì)條紋疵點(diǎn)圖像設(shè)置不同(R,P)值的疵點(diǎn)檢測結(jié)果Fig.5 Star thin bar defect image and fabric detection results using different (R,P) values.(a) Original drawing; (b) (1,8); (c) (3,8); (d) (5,12); (e) (5,16)

圖6 箱形圖斷端疵點(diǎn)圖像設(shè)置不同(R,P)值的疵點(diǎn)檢測結(jié)果Fig.6 Box broken end defect image and fabric detection results using different (R,P) values.(a) Original drawing; (b) (1,8); (c) (3,8); (d) (5,12); (e) (5,16)

圖7 箱形圖網(wǎng)紋疵點(diǎn)圖像設(shè)置不同(R,P)值的疵點(diǎn)檢測結(jié)果Fig.7 Box netting multiple defect image and fabric detection results using different (R,P) values. (a) Original drawing; (b) (1,8); (c) (3,8); (d) (5,12); (e) (5,16)

圖8 箱形圖細(xì)條紋疵點(diǎn)圖像設(shè)置不同(R,P)值的疵點(diǎn)檢測結(jié)果Fig.8 Box thin bar defect image and fabric detection results using different (R,P) values. (a) Original drawing; (b) (1,8); (c) (3,8); (d) (5,12); (e) (5,16)

2.1.1星形圖

對于星形圖中的斷端類型瑕疵圖、網(wǎng)紋類型瑕疵圖，在(R，P)值為(1,8)、(3,8)時TPR值差異不大且大于(5,12)、(5,16)時的值。對于細(xì)條紋類型瑕疵圖，(R，P)值為(3,8)、(5,12)時TPR值達(dá)到1.0，(5,16)時TPR值為0。瑕疵檢測結(jié)果如圖 3所示，TPR，F(xiàn)PR，PPV和NPV的平均值(平均值或平均數(shù)是算法對特定瑕疵類型的所有圖像檢測結(jié)果的平均值)見表1。

分析圖3～5可看出，在網(wǎng)紋類型瑕疵圖中，(R,P)值為(5,16)時TPR值雖然有0.61與(5,12)時差異不大但卻出現(xiàn)大面積的誤檢。在細(xì)條紋類型瑕疵圖中，(R,P)值為(1,8)時出現(xiàn)了小面積的誤檢，而(R,P)值為(5,16)時TPR值為0且檢測結(jié)果全部為誤檢。

2.1.2箱形圖

對于箱形圖中的斷端類型瑕疵圖，(R、P)值為(1,8)、(3,8)時的TPR值高于(5,12)和(5,16)時的TPR值，(3,8)時的TPR值最高。對于網(wǎng)紋類型瑕疵圖(R,P)值為(3,8)時的TPR值高于其他3種情況，(R,P)值為(5,12)、(5,16)時的TPR值相同且二者都低于(1,8)時的TPR值。對于細(xì)條紋類型瑕疵圖，(R,P)值為(3,8)時的TPR值最高，達(dá)到0.99，(R,P)值為(1,8)和(5,12)時的相同，(R,P)值為(5,16)時的TPR值最低。

圖9 星形圖斷端疵點(diǎn)圖像基于不同算法的檢測結(jié)果Fig.9 Star broken end defect image and fabric detection results using different algorithms. (a) Ground-truth; (b) Method of this paper; (c) LBP; (d) WGIS; (e) BB; (f) RB

分析圖6～8中可看出，在網(wǎng)紋類型瑕疵圖中，(R,P)值為(1,8)、(3,8)和(5,12)時，存在一定面積的誤檢，(5,16)時誤檢率低于其他3種情況。在細(xì)條紋類型瑕疵圖中，都沒有出現(xiàn)誤檢情況，當(dāng)(R、P)值設(shè)置為(3,8)時，TPR最高。

綜上所述，(R,P)值為(3,8)時對2種類型紡織品檢測效果最出色，且與相關(guān)文獻(xiàn)[16]中(R,P)值相同。以下對比實(shí)驗初始R,P值均為(3,8)。

2.2 本文算法與其他算法對比

將本文算法與傳統(tǒng)LBP、WGIS、BB和RB算法進(jìn)行了對比實(shí)驗。針對星形圖和箱形圖的對比實(shí)驗結(jié)果如表3～4、圖9～14所示。

表3 不同算法對星形圖案的檢測效果對比Tab.3 Test effect of different algorithms on star patterns

表4 不同算法對箱形圖案的檢測效果對比Tab.4 Test effect of different algorithms on box patterns

2.2.1星形圖分析

圖10 星形圖網(wǎng)紋疵點(diǎn)圖像基于不同算法的檢測結(jié)果Fig.10 Star netting multiple defect image and fabric detection results using different algorithms. (a) Ground-truth; (b) Method of this paper; (c) LBP; (d) WGIS; (e) BB; (f) RB

圖11 星形圖細(xì)條紋疵點(diǎn)圖像基于不同算法的檢測結(jié)果Fig.11 Star thin bar defect image and fabric detection results using different algorithms. (a) Ground-truth; (b) Method of this paper; (c) LBP; (d) WGIS; (e) BB; (f) RB

圖13 箱形圖網(wǎng)紋疵點(diǎn)圖像基于不同算法的檢測結(jié)果Fig.13 Box netting multiple defect image and fabric detection results using different algorithms. (a) Ground-truth; (b) Method of this paper; (c) LBP; (d) WGIS; (e) BB; (f) RB

圖14 箱形圖細(xì)條紋疵點(diǎn)圖像基于不同算法的檢測結(jié)果Fig.14 Box thin bar defect image and fabric detection results using different algorithms. (a) Ground-truth; (b) Method of this paper; (c) LBP; (d) WGIS; (e) BB; (f) RB

分析圖9～11可看出，在斷端瑕疵類型的檢測結(jié)果中本文算法與傳統(tǒng)LBP算法接近且優(yōu)于其他3種算法，在網(wǎng)紋瑕疵類型的檢測結(jié)果中本文算法優(yōu)于其他4種算法，在細(xì)條紋瑕疵類型檢測結(jié)果中本文算法優(yōu)于其他算法。

表3中數(shù)據(jù)顯示，本文算法在所有3種類型瑕疵中的TPR值均達(dá)到最優(yōu)，F(xiàn)PR值保持穩(wěn)定， PPV值在斷端中達(dá)到最優(yōu)。

2.2.2箱形圖分析

分析圖12～14可看出，本文算法在斷端和細(xì)條紋瑕疵類型圖中的檢測效果均為最優(yōu)， 在網(wǎng)紋類型瑕疵圖中可檢測出所有瑕疵，但是存在一定的誤檢。LBP算法無法檢測出所有瑕疵且存在小范圍的誤檢，其他3種算法的檢測結(jié)果都較差。

由表4數(shù)據(jù)可知，本文算法在所有3種類型瑕疵中的TPR值均達(dá)到最優(yōu)，NPV值在斷端、網(wǎng)紋和細(xì)條紋類型瑕疵中達(dá)到最優(yōu)?？傮w來看，本文方法的查全率整體優(yōu)于其他算法。

3 結(jié) 論

本文提出了一種改進(jìn)判別性完整局部二值模式(CLBP)織物瑕疵檢測方法。提出的改進(jìn)CLBP算子在一定程度上解決了傳統(tǒng)CLBP算法在圖像小部分區(qū)域變化幅度劇烈或變化幅度平緩時，傳統(tǒng)CLBP存在局限性的問題，并結(jié)合一種自動格分割算法將圖像分塊，充分發(fā)揮了改進(jìn)CLBP算子的特征提取效果。本文算法針對星形圖和箱形圖有較好的檢測效果，尤其是針對星形圖的檢測效果最佳，3種瑕疵類型的TPR值均可達(dá)到0.99，且明顯優(yōu)于對比算法的TPR值。針對箱形圖的2種瑕疵類型的TPR值均可達(dá)到0.95以上，且所有3種的TPR值明顯優(yōu)于對比算法。本文算法的局限性在于可以檢測紡織品的類型有限，由于使用的格分割方法無法對數(shù)據(jù)庫中的點(diǎn)形圖進(jìn)行分塊，故本文算法無法對點(diǎn)形圖進(jìn)行檢測。結(jié)合本文方法及其他瑕疵檢測方法來克服這些局限性是下一步研究的方向。