應(yīng)用卷積網(wǎng)絡(luò)及深度學(xué)習(xí)理論的羊絨與羊毛鑒別

王 飛， 靳向煜,2(. 東華大學(xué) 紡織學(xué)院， 上海 20620； 2. 東華大學(xué) 紡織面料技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室， 上海 20620)

應(yīng)用卷積網(wǎng)絡(luò)及深度學(xué)習(xí)理論的羊絨與羊毛鑒別

王 飛1， 靳向煜1,2
(1. 東華大學(xué) 紡織學(xué)院， 上海 201620； 2. 東華大學(xué) 紡織面料技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室， 上海 201620)

為解決羊絨與羊毛纖維圖像難以鑒別的問(wèn)題，提出一種基于卷積網(wǎng)絡(luò)和深度學(xué)習(xí)理論的鑒別方法。使用sigmoid分類器將卷積深度網(wǎng)絡(luò)提取的纖維圖像特征進(jìn)行粗分類，根據(jù)驗(yàn)證集合驗(yàn)證結(jié)果并記錄網(wǎng)絡(luò)的最優(yōu)權(quán)重。根據(jù)整體的分類網(wǎng)絡(luò)所獲取的權(quán)值，對(duì)每張樣本圖片使用改進(jìn)的局部增強(qiáng)整體的網(wǎng)絡(luò)模型提取局部特征，并對(duì)局部特征和整體特征進(jìn)行融合，根據(jù)這些融合特征建立新的分類網(wǎng)絡(luò)。在此基礎(chǔ)上，使用鄂爾多斯標(biāo)準(zhǔn)羊絨與羊毛數(shù)據(jù)集對(duì)網(wǎng)絡(luò)進(jìn)行50輪次的迭代訓(xùn)練，得到的最優(yōu)準(zhǔn)確率達(dá)92.1%。實(shí)驗(yàn)結(jié)果表明:采用深度卷積網(wǎng)絡(luò)表征纖維，并對(duì)羊絨羊與毛纖維圖像進(jìn)行分類的方法，能夠有效解決羊絨、羊毛等類似纖維鑒別問(wèn)題；若用于商業(yè)檢測(cè)，還需更多數(shù)據(jù)集的驗(yàn)證。

羊絨； 羊毛； 圖像鑒別； 卷積網(wǎng)絡(luò)

由于羊絨和羊毛的物理表征極為接近，二者的鑒別一直是紡織領(lǐng)域的難題。目前業(yè)界常用的羊絨與羊毛鑒別方法有掃描電鏡法[1]，近紅外光譜鑒別法[2]，脫氧核糖核酸(DNA)分析法[3]，電子顯微鏡纖維表征傳統(tǒng)計(jì)算機(jī)技術(shù)測(cè)量法[4-5]等。傳統(tǒng)的基于計(jì)算機(jī)圖像處理技術(shù)的羊絨與羊毛鑒別方法，通過(guò)計(jì)算機(jī)測(cè)量纖維表面形態(tài)一些特征的量化值對(duì)二者進(jìn)行鑒別，如纖維直徑、鱗片高度、鱗片厚度等，但是，這些方法對(duì)數(shù)據(jù)的敏感程度高，并且特征的測(cè)量工作難度較大。在使用計(jì)算機(jī)采樣時(shí)容易造成數(shù)據(jù)丟失，同時(shí)在還原數(shù)值時(shí)通過(guò)計(jì)算會(huì)造成數(shù)據(jù)的污染，此外由于近年來(lái)羊絨和羊毛纖維變異程度很大，羊毛與羊絨的直徑、鱗片高度等特征差異越來(lái)越小，僅依靠人工篩選很難滿足實(shí)際應(yīng)用中的需要。綜上所述，以上提及的幾種方法通常只有經(jīng)過(guò)專業(yè)訓(xùn)練的專業(yè)人員才能夠比較準(zhǔn)確鑒別，同時(shí)準(zhǔn)確率也不足以用于大批量的應(yīng)用環(huán)境，因此，采用精密儀器以及傳統(tǒng)計(jì)算機(jī)圖像比對(duì)方式鑒別羊絨與羊毛具有耗時(shí)長(zhǎng)、成本高、人工經(jīng)驗(yàn)依賴性強(qiáng)等不足。

近年來(lái)，以深度學(xué)習(xí)理論為代表的計(jì)算機(jī)視覺(jué)技術(shù)取得了突破性的發(fā)展，基于圖像特征的圖像分類與識(shí)別已取得了很大進(jìn)展。本文借鑒Alex-Net[6]圖像分類網(wǎng)絡(luò)，提出一種利用部分特征增強(qiáng)整體特征的卷積網(wǎng)絡(luò)的羊絨與羊毛鑒別方法，該方法獲取纖維表面的整體特征，并利用調(diào)整參數(shù)的模型通過(guò)整體網(wǎng)絡(luò)特征選取局部特征，將整體與局部特征進(jìn)行融合訓(xùn)練獲取分類網(wǎng)絡(luò)，最后利用獲取到的網(wǎng)絡(luò)對(duì)這2種纖維進(jìn)行分類與鑒別。

1 研究方法

采用的策略思路是利用羊絨與羊毛纖維的原始計(jì)算機(jī)圖像具有不同層次的特征，依據(jù)此特征值對(duì)2種纖維圖像進(jìn)行分類，這就可把近似類別纖維鑒別問(wèn)題轉(zhuǎn)化為圖像的分類問(wèn)題并加以解決。人們對(duì)圖像分類以及物體識(shí)別已做出了突破性的進(jìn)展，在諸多方法中，卷積網(wǎng)絡(luò)[7](convolutional neuron networks, CNNs)是一種對(duì)自然圖像分類極為有效的方法，該方法訓(xùn)練時(shí)間稍長(zhǎng)，但利用訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行分類時(shí)間效率較高。具體方法為首先需要使用卷積網(wǎng)絡(luò)提取原始圖像特征，然后介紹網(wǎng)絡(luò)的構(gòu)成，再利用所獲取的網(wǎng)絡(luò)，調(diào)整參數(shù)模型對(duì)分類網(wǎng)絡(luò)進(jìn)行局部特征提取，最后通過(guò)混合使用局部特征和整體特征，進(jìn)行特征增強(qiáng)，最后通過(guò)預(yù)測(cè)值和樣本真實(shí)標(biāo)簽值的比較來(lái)評(píng)價(jià)識(shí)別效果。

1.1 圖像特征與卷積網(wǎng)絡(luò)

圖1示出常見(jiàn)的彎曲度差異較大的2種羊絨及羊毛纖維。2種纖維從二維圖像角度觀察，外觀形態(tài)比較接近，由于不同范圍內(nèi)的直觀特征如直徑、鱗片厚度等人工選擇的一些特征很難作為量化區(qū)分的直接依據(jù)。同時(shí)，由于拍攝的環(huán)境并非嚴(yán)格無(wú)塵環(huán)境，所以樣本圖像存在若干肉眼可分辨的雜質(zhì)，如果使用傳統(tǒng)的圖像比對(duì)方法，這些內(nèi)容需要盡量剔除。同時(shí)由于樣本存在不規(guī)則的展開(kāi)形態(tài)，并且傳統(tǒng)圖像灰度圖的處理方式不能有效利用圖像的顏色及光澤度信息，所以傳統(tǒng)的圖像比對(duì)方法不適用于纖維的細(xì)分類。

圖1 整根的羊絨和羊毛不同形態(tài)的顯微鏡圖像Fig.1 Object-level microscope images of cashmere and wool.(a) Straight cashmere; (b) Curl cashmere; (c) Straight wool; (d) Curl wool

由于卷積網(wǎng)絡(luò)采用模擬人類識(shí)別物體的分層方式，鑒于樣本的原始特征存在背景包含信息較少且不具有典型的邊緣、層次等內(nèi)容，同時(shí)樣本圖片也是自然圖片，所以使用卷積網(wǎng)絡(luò)進(jìn)行特征提取不需要對(duì)樣本圖片進(jìn)行過(guò)多的人工干預(yù)。

卷積網(wǎng)絡(luò)是以像素圖像為基礎(chǔ)輸入單位的前饋型神經(jīng)網(wǎng)絡(luò)。其理論主要由生物學(xué)中的感受野啟發(fā)得到。卷積網(wǎng)絡(luò)有局部連接、空間次采樣以及權(quán)值共享3個(gè)主要特性。它的出現(xiàn)大大降低了以往神經(jīng)網(wǎng)絡(luò)的計(jì)算難度，同時(shí)也產(chǎn)生了在一定程度上的抗平移、抗變形以及抗扭曲的特性。由于以上幾點(diǎn)原因，卷積神經(jīng)網(wǎng)絡(luò)用于圖像的處理尤為合適。

同時(shí)考慮到具體羊絨與羊毛分類的任務(wù)，每個(gè)輸入圖像由一組像素的3個(gè)通道灰度值所組成，輸出為2個(gè)類別的后驗(yàn)概率分布。針對(duì)自然圖像的不同形態(tài)處理，卷積網(wǎng)絡(luò)具有平移、縮放、旋轉(zhuǎn)等不變性特點(diǎn)，所以使用卷積網(wǎng)絡(luò)處理不同形態(tài)的細(xì)分類羊絨、羊毛纖維圖像不需要進(jìn)行過(guò)多的人工干預(yù)處理。

1.2 卷積網(wǎng)絡(luò)模型選取

卷積網(wǎng)絡(luò)從全連接網(wǎng)絡(luò)演化而來(lái)，受生物學(xué)中接受視覺(jué)信息的局部接收野啟發(fā)，采用算法對(duì)全連接網(wǎng)絡(luò)中的信息進(jìn)行選擇傳遞，構(gòu)成了卷積網(wǎng)絡(luò)。卷積網(wǎng)絡(luò)分類分為以下幾個(gè)步驟：卷積層的使用及特征的提取；下采樣層的選用；通過(guò)訓(xùn)練樣本集進(jìn)行訓(xùn)練；使用訓(xùn)練所得網(wǎng)絡(luò)對(duì)測(cè)試樣本集進(jìn)行分類預(yù)測(cè)并記錄結(jié)果。

1.2.1卷積網(wǎng)絡(luò)輸入層及處理

鑒于計(jì)算量及硬件限制，在實(shí)驗(yàn)中采用的樣本圖片集合被處理為300像素×300像素。根據(jù)鄂爾多斯羊絨鑒別工程師提供的先驗(yàn)知識(shí)，樣本圖像的光澤也是鑒別羊絨與羊毛的關(guān)鍵要素，所以本文使用R、G、B 3個(gè)通道處理數(shù)據(jù)[8]，而不是如傳統(tǒng)圖像比對(duì)采用灰度圖像。這樣，一個(gè)輸入計(jì)算單元的計(jì)算數(shù)據(jù)量為300像素×300像素×3通道數(shù)×1 Byte即270 kByte。解決這個(gè)問(wèn)題的辦法是使用部分聯(lián)通特征的卷積網(wǎng)絡(luò)降低其計(jì)算量。由于自然圖像有其固有特性即圖像的一部分的統(tǒng)計(jì)特性與其他部分是基本一致的。

同時(shí)，實(shí)驗(yàn)使用4 800張的訓(xùn)練數(shù)據(jù)集合對(duì)于使用深度網(wǎng)絡(luò)進(jìn)行二分類的比賽，kaggle[9]數(shù)據(jù)競(jìng)賽平臺(tái)的貓狗大戰(zhàn)等圖像集合在數(shù)量級(jí)上仍有很大的差距，因此，對(duì)數(shù)據(jù)進(jìn)行增強(qiáng)處理是防止由于網(wǎng)絡(luò)深度加深而導(dǎo)致的數(shù)據(jù)過(guò)擬合情況發(fā)生的關(guān)鍵環(huán)節(jié)。本文采用了4種方式進(jìn)行了圖像的生成增強(qiáng)。分別是隨機(jī)平移、隨機(jī)角度旋轉(zhuǎn)、隨機(jī)縮放尺寸、隨機(jī)裁剪。

針對(duì)每個(gè)樣本均采用上述隨機(jī)變換的方式增強(qiáng)后生成20個(gè)樣本。如此，羊毛與羊絨的數(shù)據(jù)集合擴(kuò)展到了80 000訓(xùn)練樣本集合?？蛇_(dá)到二分類的數(shù)量要求，從而防止數(shù)據(jù)過(guò)擬合情況的發(fā)生。經(jīng)過(guò)生成增強(qiáng)方法處理的羊毛樣本樣例如圖2所示(本文僅選取了編號(hào)為1、2、3、4的圖像為例，羊絨的增強(qiáng)處理方法與此相同)。

圖2 單根羊毛纖維樣本生成增強(qiáng)處理樣例Fig.2 A single wool fiber sample instance after processing enhance-generating.(a) Enhanced image 1； (b) Enhanced image 2; (c) Enhanced image 3; (d) Enhanced image 4

在實(shí)驗(yàn)訓(xùn)練中，對(duì)每個(gè)樣本進(jìn)行如圖2所示的增強(qiáng)處理能夠有效地降低樣本的過(guò)擬合。

在輸入處理中，圖像以二維矩陣通過(guò)R、G、B 3個(gè)通道被算法拉長(zhǎng)成為1個(gè)列向量輸入到網(wǎng)絡(luò)中。雖然神經(jīng)網(wǎng)絡(luò)中激活函數(shù)通常采用logistic激活函數(shù)，但針對(duì)所處理纖維樣本特征及計(jì)算量的考慮，所選用的是簡(jiǎn)單非線性RELU激活函數(shù)。RELU激活函數(shù)的公式如下：

(1)

在使用的卷積網(wǎng)絡(luò)中每層使用了32到64不等數(shù)量的濾波矩陣，對(duì)同一副纖維圖像進(jìn)行特征提取。這樣處理也能夠把不同的濾波矩陣所輸出的內(nèi)容理解為樣本圖像經(jīng)不同特征提取后所得特征的集合。過(guò)濾矩陣的運(yùn)算結(jié)果也就是特征提取所得的矩陣為特征映射(feature map)，所以可使用較為深層的網(wǎng)絡(luò)分層次提取纖維圖像的不同層次的特征，為網(wǎng)絡(luò)最后的分類節(jié)點(diǎn)提供數(shù)據(jù)基礎(chǔ)及支持。

1.2.2下采樣層的選用

在上述卷積層提取了圖像的特征之后，接下來(lái)所要進(jìn)行的工作是使用這些特征值進(jìn)行分類，但是，若利用所獲取的所有特征去訓(xùn)練分類器，會(huì)出現(xiàn)計(jì)算維度過(guò)大的問(wèn)題。

同時(shí)由于纖維樣本的紋理復(fù)雜度低顏色單調(diào)，由實(shí)驗(yàn)得知，普通處理極容易出現(xiàn)提取特征的重疊；同時(shí)由于提高了特征映射的維度，訓(xùn)練過(guò)程中的過(guò)擬合也是一個(gè)不可忽視的問(wèn)題。本文在網(wǎng)絡(luò)中強(qiáng)化纖維圖片的紋理特征，添加所需的下采樣層避免上述問(wèn)題的發(fā)生。

在下采樣層輸入的特征矩陣為W1×H1×D1，其中空間變換幅度為F以及下采樣步長(zhǎng)S，通過(guò)下采樣過(guò)程產(chǎn)生一個(gè)W2×H2×D2的映射矩陣：

(2)

(3)

D2=D1

(4)

式中：W1、W2為圖像寬度；H1、H2為圖像高度；D1、D2為圖像的通道數(shù)。

由上述公式可得網(wǎng)絡(luò)下采樣可降低網(wǎng)絡(luò)前饋以及反向傳導(dǎo)的計(jì)算量，同時(shí)由于自然圖像的局部表征性質(zhì)，并沒(méi)有降低圖像的特征表達(dá)能力。

在下采樣層常用的2種算法分別是最大值下采樣max-pooling和均值下采樣mean-pooling。其中max-pooling是取得下采樣過(guò)濾矩陣范圍內(nèi)的最大特征值，常用于獲取紋理細(xì)節(jié)特征；而mean-pooling是以下采樣過(guò)濾矩陣范圍內(nèi)的特征矩陣的均值為特征值組成新的特征矩陣，常用于獲取圖像的整體特征。

針對(duì)2種不同的過(guò)濾策略，本文通過(guò)實(shí)驗(yàn)中進(jìn)行了針對(duì)性策略選擇。在訓(xùn)練過(guò)程中，第1輪粗分類中使用max-pooling層，意在于獲取纖維整體的紋理特征；而在第2輪局部特征提取中使用mean-pooling，從而獲取樣本纖維的局部的整體性特征。通過(guò)上述調(diào)整可在有限的數(shù)據(jù)集合中盡量挖掘所有數(shù)據(jù)的有效內(nèi)容。

1.3 改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)

利用Alex-Net方法，可在cifar圖像10分類樣本以及各類自然物品圖像分類競(jìng)賽中取得良好的分類效果。針對(duì)羊絨與羊毛自然圖像紋理特征較明顯的特點(diǎn)，該網(wǎng)絡(luò)結(jié)構(gòu)提取并表征其特征。

使用改進(jìn)的Alex-Net，其主要思想是不同的過(guò)濾器可獲取不同層次的樣本特征。如：紋理、光澤、邊緣、形態(tài)等。同時(shí)，由于樣本數(shù)量有限，且樣本的主要特征區(qū)別在于紋理及邊緣以及光澤等內(nèi)容，所以對(duì)Alex-Net進(jìn)行了降低維度的使用。圖3示出經(jīng)過(guò)改進(jìn)的Cashmere and Wool-Net(CW-Net)結(jié)構(gòu)。

圖3 改進(jìn)的CW-Net結(jié)構(gòu)Fig.3 Improved CW-Net structure

網(wǎng)絡(luò)中的特征矩陣均由基本像素點(diǎn)的灰度值構(gòu)成，同時(shí)基于小樣本，簡(jiǎn)單紋理等原因，本文只使用了3次卷積層提取特征。針對(duì)每個(gè)卷積層后都緊跟1個(gè)下采樣層對(duì)卷積提取的特征映射進(jìn)行降維。下采樣層均為最大值下采樣即max-pooling，這樣做能夠針對(duì)圖像的紋理特點(diǎn)進(jìn)行特征提取。圖3中最后2個(gè)全連接層是為2種纖維圖像分類計(jì)算而加入。同樣地，也在低維度對(duì)樣本集特征值進(jìn)行計(jì)算。所以文中的全連接層使用的連接單元數(shù)修改為256。最后根據(jù)2種纖維的二分類需求，修改最后1個(gè)全連接層使用one-hot的1個(gè)運(yùn)算位即可對(duì)二者進(jìn)行區(qū)分標(biāo)注，因此最后可使用sigmoid函數(shù)分類器對(duì)二者進(jìn)行最終的分類鑒別，從而降低運(yùn)算量。

其中使用的sigmoid函數(shù)為

f(x)=1/(1+e-x)

(5)

式中：x表示網(wǎng)絡(luò)中傳導(dǎo)的灰度計(jì)算值。

針對(duì)二分類問(wèn)題，設(shè)P(y=1|x,θ)=f(x)則P(y=0|x,θ)=1-f(x)。由式(5)及以上可得：

P(y|x,θ)=f(x)y(1-f(x))1-y

(6)

式中：y=0表示計(jì)算結(jié)果為羊絨；y=1表示計(jì)算結(jié)果為羊毛。

1.4 局部特征增強(qiáng)選擇

在使用上述改進(jìn)的CW-Net對(duì)樣本進(jìn)行第1輪粗分類之后。受文獻(xiàn)[10-12]啟發(fā)，使用部分特征增強(qiáng)整體特征[13]的思路，利用第1輪粗分類的結(jié)果網(wǎng)絡(luò)，每個(gè)樣本選取放大局部特征向量對(duì)整體圖像進(jìn)行增強(qiáng)。特征增強(qiáng)的步驟如下。

第1步：將原始樣本圖片768像素×576像素隨機(jī)劃分出20～200個(gè)300像素×300像素候選樣本。

第2步：使用CW-Net對(duì)隨機(jī)數(shù)量的候選纖維樣本區(qū)域進(jìn)行分類，選取分類概率最高的圖像作為增強(qiáng)部分圖像。

第3步：保存卷積網(wǎng)絡(luò)提取部分增強(qiáng)圖像的特征，用于下一步分類器的訓(xùn)練。

圖4示出纖維部分級(jí)特征選取過(guò)程。其中灰色方框?yàn)榻壎ù翱诘暮蜻x區(qū)域，純黑色方框?yàn)檫x定區(qū)域。

圖4 纖維部分級(jí)特征選取過(guò)程Fig.4 Part-level feature selection procedure

1.5 網(wǎng)絡(luò)整體結(jié)構(gòu)描述

通過(guò)上述網(wǎng)絡(luò)結(jié)構(gòu)，應(yīng)用部分增強(qiáng)整體的思路，本方法分為3個(gè)步驟：使用上述網(wǎng)絡(luò)結(jié)構(gòu)第1輪粗分類并記錄權(quán)重；第2輪中對(duì)原始圖像樣本采用候選區(qū)域劃分部分法，在原始768像素×576像素大小的圖像上隨機(jī)劃分20～200個(gè)300像素×300像素的候選區(qū)域，對(duì)其使用第1輪分類的結(jié)果對(duì)這 20個(gè)區(qū)域進(jìn)行預(yù)測(cè)，得分最高的圖像劃分為對(duì)應(yīng)類別；最后，對(duì)于選出的樣本中的候選區(qū)域加入整體樣本中再進(jìn)行第3輪訓(xùn)練。其中稍有調(diào)整的是第2輪的訓(xùn)練中修改所有的下采樣子層的max-pooling調(diào)整為mean-pooling，即采用均值下采樣，這里意圖為獲取局部樣本的整體特征。最后利用第3輪調(diào)優(yōu)的網(wǎng)絡(luò)進(jìn)行分類預(yù)測(cè)。圖5示出整體算法的結(jié)構(gòu)描述。

圖5 使用局部增強(qiáng)整體策略的整體網(wǎng)絡(luò)算法結(jié)構(gòu)Fig.5 Whole structure of part-level enhance object-level strategy

根據(jù)人類視覺(jué)細(xì)胞的分層增強(qiáng)性，通過(guò)3個(gè)輪次調(diào)優(yōu)，同時(shí)使用圖5中方法進(jìn)行部分特征對(duì)整體網(wǎng)絡(luò)進(jìn)行訓(xùn)練增強(qiáng)，則可獲取優(yōu)于單獨(dú)使用整體特征或者單獨(dú)使用部分特征進(jìn)行訓(xùn)練結(jié)果的鑒別網(wǎng)絡(luò)權(quán)重值。

2 實(shí)驗(yàn)與結(jié)果分析

實(shí)驗(yàn)樣本集合是鄂爾多斯羊絨集團(tuán)測(cè)試中心工程師拍攝的20批羊絨和24批羊毛纖維，其中樣本來(lái)自羊鄂爾多斯土種羊及澳洲雜交羊。樣本經(jīng)洗去雜質(zhì)并干燥處理后進(jìn)行拍攝，圖像拍攝儀器是北京合眾視野公司生產(chǎn)的CU系列纖維攝像機(jī)，該攝像機(jī)最高能夠得到光學(xué)放大500倍的顯微鏡圖像，獲取每張樣本原始圖像大小為768像素×576像素。根據(jù)國(guó)家推薦標(biāo)準(zhǔn)GB/T 16988—2013《特種動(dòng)物纖維與綿羊毛混合物含量的測(cè)定》中規(guī)定，分類樣本纖維須大于等于1 500根，并且機(jī)器學(xué)習(xí)網(wǎng)絡(luò)深度越深，所需要的樣本數(shù)越多，因此，本文選用的纖維圖像總數(shù)為4 800張，其中包含2 400根羊絨圖像和2 400根羊毛圖像，每輪次實(shí)驗(yàn)的數(shù)據(jù)集從樣本容量中隨機(jī)選擇各2 000張作為訓(xùn)練集樣本，同時(shí)選取余下的400張圖像作為驗(yàn)證集樣本。每張樣本圖片均被處理成.jpg格式，實(shí)驗(yàn)進(jìn)行50輪次的訓(xùn)練，并每次使用訓(xùn)練樣本所獲取的網(wǎng)絡(luò)對(duì)驗(yàn)證集進(jìn)行分類判斷，選取其中分類結(jié)果最優(yōu)的網(wǎng)絡(luò)參數(shù)。實(shí)驗(yàn)按照前文提到的方法和策略流程進(jìn)行。首先，原始纖維圖像要按照CW-Net進(jìn)行圖像特征提取，獲取第1輪纖維整體粗分類的網(wǎng)絡(luò)；然后利用第1輪獲取的網(wǎng)絡(luò)模型更換max-pooling層為min-pooling層對(duì)每張樣本進(jìn)行分部特征提取；最后使用第2步的分部特征對(duì)第1步獲取的整體特征進(jìn)行增強(qiáng)后對(duì)驗(yàn)證樣本進(jìn)行分類鑒別。

2.1 評(píng)估指標(biāo)

因?qū)嶒?yàn)中實(shí)際上屬于二分類問(wèn)題，可通過(guò)計(jì)算準(zhǔn)確率(AC)來(lái)衡量鑒別的有效程度。同時(shí)，也可分析訓(xùn)練的損失值(LS)評(píng)估該模型最后是否收斂于最小值，從而以此評(píng)估分類識(shí)別的效果。

其中準(zhǔn)確率定義如下：

(7)

式中：TP表示樣本的真實(shí)類別為正，最后預(yù)測(cè)得到的結(jié)果也為正；FP表示樣本的真實(shí)類別為負(fù)，最后預(yù)測(cè)得到的結(jié)果卻為正；FN表示樣本的真實(shí)類別為正，最后預(yù)測(cè)得到的結(jié)果卻為負(fù)；TN表示樣本的真實(shí)類別為負(fù)，最后預(yù)測(cè)得到的結(jié)果也為負(fù)。在文中計(jì)算的目標(biāo)是二分類，設(shè)羊絨為正值，羊毛為負(fù)值，則TP為統(tǒng)計(jì)羊絨經(jīng)過(guò)CW-Net計(jì)算結(jié)果為羊絨的數(shù)量；FP為統(tǒng)計(jì)羊毛被鑒別為羊絨的數(shù)量；FN為統(tǒng)計(jì)羊絨被鑒別為羊毛的數(shù)量；TN表示羊毛被鑒別為羊毛的數(shù)量。準(zhǔn)確率就是正確分類的羊絨及羊毛的數(shù)量與所有樣本數(shù)量的比值。

另外一個(gè)本文主要采用的統(tǒng)計(jì)指標(biāo)損失函數(shù)LS，該函數(shù)根據(jù)分類評(píng)分和訓(xùn)練集圖像數(shù)據(jù)實(shí)際分類的一致性，衡量某個(gè)具體參數(shù)集的質(zhì)量好壞。在此選擇對(duì)數(shù)損失函數(shù)，對(duì)數(shù)損失函數(shù)LS的計(jì)算公式如下：

(8)

其中：N為樣本數(shù)；M為類別數(shù)，在此類別數(shù)為2；yi,j表示當(dāng)?shù)趇個(gè)樣本為j類時(shí)為1，否則為0；pi,j表示第i個(gè)樣本被預(yù)測(cè)為j類的概率；其中y和p均為N×M的one-hot值矩陣。

綜上所述，本文方法中主要采用準(zhǔn)確率AC為主要指標(biāo)對(duì)網(wǎng)絡(luò)鑒別效果進(jìn)行判別。同時(shí)考慮到函數(shù)的收斂性，也選取損失函數(shù)LS作為參考評(píng)價(jià)指標(biāo)。其原因是損失值經(jīng)過(guò)不斷梯度計(jì)算迭代而變小時(shí)，所得的網(wǎng)絡(luò)收斂到局部極值，效果最好。

2.2 結(jié)果分析

實(shí)驗(yàn)中進(jìn)行的是監(jiān)督學(xué)習(xí)訓(xùn)練，每輪次從數(shù)據(jù)集中隨機(jī)選擇不同數(shù)量和比例的纖維圖像作為訓(xùn)練集和測(cè)試集，效果最佳的訓(xùn)練集與測(cè)試集的比例為5∶1。訓(xùn)練和測(cè)試均為50輪次，選取其中效果最優(yōu)的網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)。

表1示出分別使用標(biāo)準(zhǔn)的Alex-Net、object-level CW-Net、part-level CW-Net以及增強(qiáng)整體MixCW-Net 4種分類方法的準(zhǔn)確率和loss值。其中Alex-Net是Alex Krizhevsky的網(wǎng)絡(luò)結(jié)構(gòu)；object-level是使用CW-Net網(wǎng)絡(luò)以及僅使用纖維整體樣本進(jìn)行訓(xùn)練的方法；part-level CW-Net是使用CW-Net網(wǎng)絡(luò)以及1.4小節(jié)策略僅選取樣本局部進(jìn)行訓(xùn)練的方法；CW-Net是使用局部特征增強(qiáng)整體特征進(jìn)行訓(xùn)練的方法。

表1 不同結(jié)構(gòu)網(wǎng)絡(luò)的分類效果Tab.1 Classification results of different structure networks

從表1可看出，在處理樣本有限且表面紋理細(xì)節(jié)簡(jiǎn)單，同時(shí)背景等無(wú)意義內(nèi)容較多的圖像時(shí)，使用3輪次局部增強(qiáng)整體的CW-Net能夠比使用Alex-Net獲取更好的效果。同時(shí)，若使用了更深層次的vgg16等網(wǎng)絡(luò)則得到的LS值是0，發(fā)生了網(wǎng)絡(luò)彌散，所以針對(duì)樣本調(diào)整網(wǎng)絡(luò)為更低維度。同時(shí)，適當(dāng)降低網(wǎng)絡(luò)的深度以應(yīng)對(duì)樣本圖像的數(shù)量不足問(wèn)題。

表2示出不同混合樣本比例的分類效果。第1列給出了每次選擇的數(shù)據(jù)集的纖維數(shù)量，數(shù)量單位為纖維的根數(shù)，第2列給出了訓(xùn)練和預(yù)測(cè)的樣本混合比與比例。第3、4列給出了訓(xùn)練集和測(cè)試集的準(zhǔn)確率。最后一列是訓(xùn)練的損失值。

表2 不同混合樣本比例的分類效果Tab.2 Classification results of different mix ratio

從表2可看到，當(dāng)使用訓(xùn)練測(cè)試集合比為5∶1時(shí)得到最優(yōu)分類準(zhǔn)確率。使用50輪次隨機(jī)挑選的不同批次的數(shù)據(jù)集，在該混合比下測(cè)試集中準(zhǔn)確率最高為92.1%，最低為79.5%，同時(shí)對(duì)比其他混合比例，發(fā)現(xiàn)該比例損失值由8.0降低到0.29。

綜上所述，考慮到樣本數(shù)量有限，樣本總量為5 000張，去除樣本圖像帶有明顯雜質(zhì)及灰塵陰影的無(wú)效圖像，實(shí)驗(yàn)只選取了4 800張作為樣本。CW-Net針對(duì)圖像內(nèi)容簡(jiǎn)單，圖像無(wú)效內(nèi)容居多，圖案及顏色并不豐富的羊絨及羊毛纖維圖像進(jìn)行了低維度及深度降低的調(diào)整。在通過(guò)設(shè)計(jì)的3輪次模型的部分增強(qiáng)整體的實(shí)驗(yàn)中，得到的最佳測(cè)試樣本分類準(zhǔn)確率達(dá)到了92.1%。

與傳統(tǒng)計(jì)算機(jī)圖像處理識(shí)別方法相比較，該方法在訓(xùn)練階段速度在可接受范圍內(nèi)，且獲得最優(yōu)網(wǎng)絡(luò)值后檢測(cè)速度更快。針對(duì)與傳統(tǒng)圖像關(guān)鍵點(diǎn)比對(duì)算法樣本少、應(yīng)用范圍窄的問(wèn)題，網(wǎng)絡(luò)學(xué)習(xí)應(yīng)用范圍更廣，更適合用于大批量羊絨與羊毛的鑒別。同時(shí)考慮到羊的雜交及變異，羊絨與羊毛也產(chǎn)生的不可預(yù)測(cè)的變化，該方法獲得的分類效果較好。該方法使用的圖像樣本獲取方便、廉價(jià)、方法應(yīng)用性價(jià)比高，更容易推廣應(yīng)用。

3 結(jié) 論

本文提出了一種使用卷積網(wǎng)絡(luò)模型的羊絨與羊毛識(shí)別方法，該方法使用羊絨與羊毛的光學(xué)顯微鏡圖像，借助計(jì)算機(jī)卷積網(wǎng)絡(luò)技術(shù)中的特征提取及特征描述方法，將纖維鑒別問(wèn)題轉(zhuǎn)化為圖像分類問(wèn)題。通過(guò)改進(jìn)采用低維度的CW-Net提取纖維圖像表面特征，在使用部位特征增強(qiáng)整體纖維特征的同時(shí)，采用sigmoid分類器分類圖像，鑒別羊絨與羊毛。實(shí)驗(yàn)結(jié)果表明，該方法的鑒別效果較傳統(tǒng)計(jì)算機(jī)方法適用范圍更廣，鑒別速度更快，識(shí)別率更高，比較適合用于2種相似纖維的鑒別，但商業(yè)應(yīng)用尚需進(jìn)一步研究。下一階段的工作是獲取更多更高質(zhì)量的纖維樣本圖像，同時(shí)適當(dāng)調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)模型，優(yōu)化算法，同時(shí)也可適當(dāng)增加網(wǎng)絡(luò)深度，從而進(jìn)一步提高識(shí)別準(zhǔn)確率和鑒別的精度。

FZXB

[1] 盛冠忠,李龍. 關(guān)于山羊絨鑒別有關(guān)問(wèn)題的探討[J]. 毛紡科技, 2007(12): 52-55.

SHENG Guanzhong, LI Long. Study on distinguishing problem of cashmere fiber[J]. Wool Textile Journal, 2007(12): 52-55.

[2] ZOCCOLA M, LU N, MOSSOTTI R, et al. Identification of wool, cashmere, yak, and angora rabbit fibers and;quantitative determination of wool and cashmere in blend: a near;infrared spectroscopy study[J]. Fibers & Polymers, 2013, 14(8):1283-1289.

[3] TANG Minfeng, ZHANG Weiping, ZHOU Hui,et al. A real-time PCR method for quantifying mixed cashmere and wool based on hair mitochondrial DNA[J]. Textile Research Journal, DOI: 10.1177/0040517513494252.

[4] 石先軍, 胡新榮, 蔡光明,等. 基于鱗片紋圖基因碼的羊絨理論識(shí)別精度及正誤判率[J]. 紡織學(xué)報(bào), 2014, 35(4):5-10.

SHI Xianjun, HU Xinrong, CAI Guangming, et al. Theoretical recognition accuracy and error rate for cashmere based on scale pattern gene code[J]. Journal of Textile Research, 2014,35(4): 5-10.

[5] 季益萍,楊云輝,黃少君. 基于決策樹(shù)算法的羊絨羊毛鑒別[J]. 紡織學(xué)報(bào), 2013, 34(6): 16-20.

JI Yiping, YANG YunHui, HUANG Shaojun. Identification of wool and cashmere based on decision tree algorithm[J]. Journal of Textile Research, 2013, 34(6): 16-20.

[6] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. Image net classification with deep convolutional neural networks[J]. Advances in Neural Information Processing System, 2012, DOI: 10.1145/3065386.

[7] CHAKRADHAR S, SANKARADAS M, JAKKULA V, et al. A dynamically configurable coprocessor for convolutional neural networks[J]. Acm Sigarch Computer Architecture News, 2010,38(3):247-257.

[8] SUN B, ABDULLAH M I, YAN F, et al. An RGB multi-channel representation for images on quantum computers[J]. Journal of Advanced Computational Intelligence & Intelligent Informatics, 2013, 17(3):404-417.

[9] Distinguish images of dogs from cats. Dogs vs. cats redux: kernels edition [db/ol]. (2016-12-22)[2017-07-25].https://www.kaggle.com/c/dogs-vs-cats-redux-kernels-edition．

[10] GE Zhongyuan, ALEX Bewley, CHRISTOPHER Mccool, et al. Fine-grained classification via mixture of deep convolutional neural networks[J]. Computer Science, 2015, 9241(3):1-7.

[11] REN Shaoqing, HE Kaiming, ROSS Girshick, et al. Towards real-time lbject detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 39(6):1137-1149.

[12] ZHANG Ning. Part-Based R-CNNs for fine-grained category detection[C]//DONAHUE Jeff, GIRSHICK Ross. 13th European Conference on Computer Vision 2014. Swizerland: Springer International Publishing, LNCS, 2014: 834-849.

[13] XIAO Tianjun. The application of two-level attention models in deep convolutional neural network for fine-grained image classification[C]//XU Yichong, YANG Kuiyuan. 2015 IEEE Conference on Computer Vision and Patten Recognition(CVPR). USA: IEEE Xplore, 2015: 842-9850.

Identificationofcashmereandwoolbasedonconvolutionalneuronnetworksanddeeplearningtheory

WANG Fei1， JIN Xiangyu1,2
(1.CollegeofTextiles,DonghuaUniversity,Shanghai201620,China; 2.KeyLaboratoryofTextileScience&Technology,MinistryofEducation,DonghuaUniversity,Shanghai201620,China)

In order to solve the problem of the difficulty in identification of cashmere and wool fiber images, a novel identification method based on convolutional neuron network (CNN) and the deep learning theory was proposed. A sigmoid classier was used to carry out coarse classification on fiber image features extracted by the CNN. The results were verified according to the validation datasets, and the optimal weights of the network was recorded. Part-level features of each sample image are extracted by an improved part-level augment object-level network based on previously obtained parameters. In addition, the part-level and object-level features were fused, and a new network model was established based on the fused features. On this basis, Ordos′s standard cashmere and wool dataset was used to train the network for 50 times, and the best accuracy is 92.1%. The experiment results demonstrate that the method for classifying cashmere and wool images, based on the CNN features, can be applied to cashmere and wool or discriminate similar fibers identification successfully. However, a large number of sample sets and validations are required for commerical use.

cashmere; wool; image identification; convolutional neuron networks

10.13475/j.fzxb.20161202907

TS 131

A

2016-12-20

2017-08-29

王飛(1982—)，男，博士生。主要研究方向?yàn)闄C(jī)器視覺(jué)及深度學(xué)習(xí)算法在紡織品鑒別的應(yīng)用。靳向煜，通信作者， E-mail:jinxy@dhu.edu.cn。