基于BP神經(jīng)網(wǎng)絡(luò)和隨機(jī)森林的織物圖像疵點判別網(wǎng)絡(luò)

馮曉霞，陳劍威，柳成林

(閩南師范大學(xué)數(shù)學(xué)與統(tǒng)計學(xué)院，福建 漳州 363000)

隨著計算機(jī)和圖像處理技術(shù)的發(fā)展，應(yīng)用人工神經(jīng)網(wǎng)絡(luò)代替人腦[1]進(jìn)行織物疵點判別成為可能.BP神經(jīng)網(wǎng)絡(luò)由以Rumelhar和McClelland為首的科學(xué)家在1986年提出[2].該網(wǎng)絡(luò)具有很強(qiáng)的非線性擬合能力，被廣泛應(yīng)用于織物疵點判別.李鵬飛等[3]借助織物圖像的灰度共生矩陣提取特征，用兩層BP神經(jīng)網(wǎng)絡(luò)檢測圖像疵點；周繼坤[4]借助玻纖布圖像的奇異分解提取特征，用兩層BP神經(jīng)網(wǎng)絡(luò)判別圖像中是否存在疵點；YIN等[5]借助斜紋織物圖像的灰度直方圖提取特征，用兩層BP神經(jīng)網(wǎng)絡(luò)判別圖像中是否存在兩種疵點(破洞和油污).上述方法在應(yīng)用BP神經(jīng)網(wǎng)絡(luò)對疵點進(jìn)行檢測或判斷時，均只使用了織物圖像的1類特征向量.BREIMAN[6]于2001年提出了隨機(jī)森林的概念，常被用作分類器；呂嵐[7]將圖像中興趣點的檢測歸結(jié)為模式識別中的分類問題，采用隨機(jī)森林檢測圖像興趣點；DEOTALE等[8]利用灰度圖像的共生矩陣和Gabor小波特征分別生成隨機(jī)樹，應(yīng)用隨機(jī)森林判別圖像中是否存在疵點.僅考慮1類特征描述圖像紋理過于單一，綜合多種特征刻畫圖像紋理，結(jié)合隨機(jī)森林對疵點進(jìn)行檢測或判斷也許能提高檢測效果或正確率.為提高運(yùn)用BP神經(jīng)網(wǎng)絡(luò)判別織物疵點時的準(zhǔn)確率，本文受文獻(xiàn)[3-8]啟發(fā)，借助頻譜圖濾波、灰度共生矩陣和局部二值模式分別提取織物圖像的3個特征向量，通過3個兩層BP神經(jīng)網(wǎng)絡(luò)并聯(lián)，結(jié)合隨機(jī)森林，設(shè)計出一種用于判別織物圖像疵點的新網(wǎng)絡(luò).

1 圖像特征向量選取

在確定圖像的特征向量后，BP神經(jīng)網(wǎng)絡(luò)輸入向量和輸入層的神經(jīng)元數(shù)量也隨之確定.本文借助頻率域濾波、灰度共生矩陣以及局部二值模式提取織物圖像的3類特征，得到3個特征向量作為BP神經(jīng)網(wǎng)絡(luò)的輸入向量.

1.1 基于頻譜圖濾波圖像的特征向量選取

為在頻率域上選取特征向量，需要先研究織物疵點圖像的頻譜圖.為此，對100幅織物疵點圖像做傅里葉變換得到相應(yīng)的頻譜圖.觀察不同類型織物疵點圖像的頻譜圖發(fā)現(xiàn)，其亮點分布方式大致有3種，見圖1.其中，圖1 a～c為不同類型的織物疵點圖像，圖1 d～f為相應(yīng)的頻譜圖.由圖1 d～f可知，頻譜圖上的亮點具有對稱性，且主要分布在4個方向，即水平、豎直以及45°和135°方向.

考慮到多尺度、多方向的圓形Gabor濾波器具有優(yōu)秀的局部特征表示能力[9]，文獻(xiàn)[10]在頻率域中設(shè)計了同一尺度的4個Gabor濾波器G1t和1個中心掩模F，從中確定2個最優(yōu)濾波器，與中心掩模相加構(gòu)成1個頻率域濾波器，用于織物疵點檢測，但疵點細(xì)節(jié)檢測不理想.為此，本研究在4個Gabor濾波器外側(cè)增加1個尺度的4個濾波器G2t，t=1，2，3，4，用于捕捉疵點細(xì)節(jié)信息.相關(guān)設(shè)計見圖2.

(1)

1.2 基于灰度共生矩陣的特征向量選取

1)角二階矩(Angular Second Moment)

.

(2)

角二階矩又被稱為能量，其數(shù)值大小能夠反映圖像灰度分布的均勻性以及紋理粗細(xì)程度.

2)對比度(Contrast)

.

(3)

對比度又被稱為慣性矩，其數(shù)值能夠反映圖像紋理的清晰度.

3)相關(guān)度(Correlation)

，

(4)

4)熵(Entropy)

.

(5)

熵是對圖像包含信息量的隨機(jī)性度量，其數(shù)值能反映圖像灰度分布的復(fù)雜程度.

(6)

1.3 基于LBP算子的特征向量選取

局部二值模式(簡稱LBP算子)是描述圖像局部空間結(jié)構(gòu)的非參數(shù)算子，在紋理分類中具有強(qiáng)區(qū)分能力[12].將織物圖像I上任意給定點(xc，yc)的灰度值ic與其8鄰域灰度值in(n=0，1，…，7)進(jìn)行比較，若in>ic，則對應(yīng)位置為1；否則對應(yīng)位置為0，由此得到的有序二值集合稱為LBP，I上的每個點都對應(yīng)一個LBP，借助它們來反映圖像的局部紋理特征.

(7)

圖3 兩層BP神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)

1.4 BP神經(jīng)網(wǎng)絡(luò)的相關(guān)知識

BP神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的非線性擬合能力，可映射任意復(fù)雜的非線性關(guān)系[13]，一般包括1層輸入層、若干層隱含層以及1層輸出層，其中，隱含層和輸出層均含有若干神經(jīng)元.BP神經(jīng)網(wǎng)絡(luò)具有信號前向傳遞和誤差反向傳遞的特點，信號前向傳遞將輸入向量從輸入層經(jīng)隱含層到達(dá)輸出層；反向傳播是將誤差信號從輸出層經(jīng)隱含層到輸入層逐層反傳，依次調(diào)整各層的權(quán)值和偏置值，直至網(wǎng)絡(luò)的輸出向量與期望輸出之間誤差滿足條件.

令函數(shù)f1、f2分別為隱含層和輸出層的激勵函數(shù)，則隱含層第j個輸出

.

(8)

由于hj(j=1，2，…，l)又是輸出層的輸入，故輸出層中第k個輸出

.

(9)

設(shè)期望輸出為(y1，y2，…，ym)T，則由式(9)獲得的輸出向量(o1，o2，…，om)T與(y1，y2，…，ym)T之間的誤差值

(10)

引入變量

(11)

(12)

(13)

其中：i=1，2，…，n；j=1，2，…，l；k=1，2，…，m.

(14)

(15)

其中：i=1，2，…，n；j=1，2，…，l；k=1，2，…，m.

(16)

(17)

(18)

(19)

其中：學(xué)習(xí)速率η∈(0，1)；i=1，2，…，n；j=1，2，…，l；k=1，2，…，m；s=1，2，….

應(yīng)用BP神經(jīng)網(wǎng)絡(luò)有訓(xùn)練和測試兩個階段.訓(xùn)練階段應(yīng)用訓(xùn)練集和式(16)～(19)反復(fù)更新各層每個神經(jīng)元的權(quán)值和偏置值，直到輸出向量(o1，o2，…，om)T與期望輸出(y1，y2，…，ym)T的誤差值E小于誤差閾值，訓(xùn)練停止；測試階段應(yīng)用訓(xùn)練階段得到的網(wǎng)絡(luò)對測試集進(jìn)行測試，并以測試準(zhǔn)確率衡量網(wǎng)絡(luò)的好壞，若準(zhǔn)確率達(dá)到要求，則表明該網(wǎng)絡(luò)設(shè)計合理.

2 BP神經(jīng)網(wǎng)絡(luò)和隨機(jī)森林的織物疵點判別

借助由1.1～1.3得到的3個織物圖像特征向量，本文設(shè)計了3個兩層BP神經(jīng)網(wǎng)絡(luò)，根據(jù)每個網(wǎng)絡(luò)輸入向量的維數(shù)確定其各層相應(yīng)神經(jīng)元的數(shù)量.由于3個BP神經(jīng)網(wǎng)絡(luò)的判別結(jié)果相互獨立，所以借鑒隨機(jī)森林的思想，將3個獨立的判別結(jié)果關(guān)聯(lián)起來，以期得到判別結(jié)果.

2.1 特征向量歸一化

2.2 BP神經(jīng)網(wǎng)絡(luò)中相關(guān)參數(shù)的確定

在應(yīng)用兩層BP神經(jīng)網(wǎng)絡(luò)判別織物圖像疵點時，需要確定網(wǎng)絡(luò)中各層神經(jīng)元的數(shù)量.首先，由1.1～1.3可知，3個網(wǎng)絡(luò)輸入向量的維數(shù)分別為k1=k2=8和k3=9，則輸入層神經(jīng)元的數(shù)量分別為n1=n2=8和n3=9.其次，本文旨在判別織物圖像中有無疵點，可用(1，0)和(0，1)分別表示圖像中含疵點和不含疵點，故輸出層神經(jīng)元的數(shù)量都是li=2(i=1，2，3).最后，確定隱含層神經(jīng)元數(shù)量，這是至關(guān)重要的.借助文獻(xiàn)[4]的方法，第i個網(wǎng)絡(luò)中隱含層神經(jīng)元的數(shù)量mi與其輸入層神經(jīng)元的數(shù)量ni之間滿足li=log2ni，經(jīng)四舍五入可得隱含層神經(jīng)元的數(shù)量都為li=3(i=1，2，3).

2.3 隨機(jī)森林

隨機(jī)森林[6]是一種常見的分類器，它可綜合多個輸出得到1個最終輸出.受文獻(xiàn)[7-8]啟發(fā)，本文根據(jù)3個BP神經(jīng)網(wǎng)絡(luò)的3個輸出向量，借助隨機(jī)森林判別織物圖像中是否存在疵點.

由于3個BP神經(jīng)網(wǎng)絡(luò)的輸出qi(i=1，2，3)∈{0，1}，從而隨機(jī)森林的輸出值Q∈{0，1，2，3}.當(dāng)至少有2個BP神經(jīng)網(wǎng)絡(luò)的輸出都為1時，判定織物圖像含疵點；否則，判定為不含疵點.因此，設(shè)定閾值為1，當(dāng)Q>1時，判定織物圖像中含疵點；當(dāng)Q≤1時，判定織物圖像中不含疵點.

2.4 基于BP神經(jīng)網(wǎng)絡(luò)和隨機(jī)森林的織物疵點判別流程

在1.1～1.3的基礎(chǔ)上，基于BP神經(jīng)網(wǎng)絡(luò)和隨機(jī)森林，設(shè)計判別織物圖像中是否存在疵點的流程，見圖4.

圖4 基于BP神經(jīng)網(wǎng)絡(luò)和隨機(jī)森林的織物疵點判別流程

3 試驗結(jié)果與分析

為了驗證本文提出方法的有效性，在the online database of Standard Fabric Defect Glossary中選取175幅大小均為150×150的織物圖像進(jìn)行試驗，并與文獻(xiàn)[4]中的網(wǎng)絡(luò)進(jìn)行對比.其中，有145幅織物圖像含疵點，30幅織物圖像不含疵點.包含的幾種常見織物疵點有斷經(jīng)、破洞、斷緯、水印、污漬等，見圖5.

圖5 常見織物疵點圖像

圖6 本文網(wǎng)絡(luò)與3個BP神經(jīng)網(wǎng)絡(luò)的判別準(zhǔn)確率

圖7 易被誤檢的織物圖像

3.1 織物圖像疵點判別

由圖6中的紅色曲線可知，本文設(shè)計的網(wǎng)絡(luò)整體判別準(zhǔn)確率P隨試驗次數(shù)N的增加變化基本平穩(wěn)，均超過了99.9%.圖6中的藍(lán)色、黃色和綠色折線代表獨立應(yīng)用基于頻率域濾波、灰度共生矩陣以及LBP算子3個BP神經(jīng)網(wǎng)絡(luò)判別織物圖像疵點得到的整體判別準(zhǔn)確率.從4條折線的位置關(guān)系可見，本文網(wǎng)絡(luò)的整體判別準(zhǔn)確率均高于其他3個網(wǎng)絡(luò).綜上表明，本文提出的網(wǎng)絡(luò)能有效且穩(wěn)定地判別織物圖像是否含有疵點.

應(yīng)用本文網(wǎng)絡(luò)對測試集中的織物圖像進(jìn)行判別時發(fā)現(xiàn)，該網(wǎng)絡(luò)在判別無疵點的織物圖像時，Q值均為0或1，即全部判別正確；判別含疵點的織物圖像時，Q值多為2或3，但存在Q值為0或1的情況，這就意味著有部分含疵點的織物圖像被誤檢.給出3幅Q值出現(xiàn)0或1次相對較多的含疵點織物圖像，見圖7.其中，圖7 a是3幅中Q值出現(xiàn)0或1次數(shù)最多的.

應(yīng)用訓(xùn)練好的3個BP神經(jīng)網(wǎng)絡(luò)對圖7中3幅織物圖像分別作500次判別試驗.因Q值由qi值決定，故統(tǒng)計網(wǎng)絡(luò)誤檢時相應(yīng)的qi值，i=1，2，3.結(jié)果顯示：圖7 a共被誤檢11次，其中，q1=q2=0有6次，q1=q2=q3=0有3次；圖7 b、c的情況類似，故認(rèn)為前兩個BP神經(jīng)網(wǎng)絡(luò)是造成誤檢的主要原因，而另一個原因可能是織物疵點與背景紋理的對比度太小，導(dǎo)致應(yīng)用3種方法提取的織物圖像特征向量未能完整地描述疵點的特征，進(jìn)而影響到判別的準(zhǔn)確性.

3.2 本文設(shè)計的網(wǎng)絡(luò)與文獻(xiàn)[4]網(wǎng)絡(luò)比較

為了進(jìn)一步驗證本文設(shè)計的基于BP神經(jīng)網(wǎng)絡(luò)和隨機(jī)森林的網(wǎng)絡(luò)性能，從兩個方面將本文網(wǎng)絡(luò)與文獻(xiàn)[4]網(wǎng)絡(luò)進(jìn)行比較.

1)特征向量提取.文獻(xiàn)[4]針對玻纖布的圖像應(yīng)用奇異值分解的方法提取了1個特征向量；針對織物圖像，本文應(yīng)用頻譜圖濾波、灰度共生矩陣和LBP算子的方法提取了3個特征向量，多樣化的特征向量可以更全面地對織物圖像進(jìn)行描述.

2)網(wǎng)絡(luò)復(fù)雜性.文獻(xiàn)[4]中BP神經(jīng)網(wǎng)絡(luò)的輸入向量為35維，隱含層有8個神經(jīng)元；本文3個獨立BP神經(jīng)網(wǎng)絡(luò)的輸入向量維數(shù)分別為8、8、9，隱含層的神經(jīng)元數(shù)量均為3，輸出層的神經(jīng)元數(shù)量與文獻(xiàn)[4]相同，都為兩個，即使應(yīng)用隨機(jī)森林做最終判別，從輸入層與隱含層以及隱含層與輸出層之間的連接角度看，本文的網(wǎng)絡(luò)比文獻(xiàn)[4]的網(wǎng)絡(luò)更加簡單、更有效率.

4 小 結(jié)

針對織物圖像疵點的判別問題，本文設(shè)計了一個基于3個兩層BP神經(jīng)網(wǎng)絡(luò)和隨機(jī)森林的判別網(wǎng)絡(luò)，其中3個BP神經(jīng)網(wǎng)絡(luò)的輸入向量是通過頻譜圖濾波、灰度共生矩陣和LBP算子分別提取并歸一化得到的，綜合獨立的3個BP神經(jīng)網(wǎng)絡(luò)的測試結(jié)果，結(jié)合隨機(jī)森林得到最終的判別結(jié)果.

針對the online database of Standard Fabric Defect Glossary中的175幅織物圖像(包含145幅含疵點的織物圖像和30幅不含疵點的織物圖像)，應(yīng)用本文設(shè)計的網(wǎng)絡(luò)對織物圖像進(jìn)行判別.試驗結(jié)果表明，該網(wǎng)絡(luò)的判別能力強(qiáng)，整體判別準(zhǔn)確率高達(dá)99.9%；針對3幅易被誤檢的含疵點織物圖像，分析了造成誤檢的可能原因；從兩個方面將本文設(shè)計的網(wǎng)絡(luò)與文獻(xiàn)[4]中的BP神經(jīng)網(wǎng)絡(luò)進(jìn)行了比較，結(jié)果可見，本文的網(wǎng)絡(luò)更加簡單、更有效率.