基于深度卷積神經(jīng)網(wǎng)絡(luò)的極相似動(dòng)物纖維自動(dòng)識(shí)別技術(shù)

鐘躍崎,郭騰偉,路 凱,柴新玉

(1.東華大學(xué) 紡織學(xué)院, 上海 201620; 2.東華大學(xué) 紡織面料技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室, 上海 201620;3.蘇州科達(dá)科技股份有限公司, 江蘇 蘇州 200030; 4.許昌學(xué)院 信息工程學(xué)院, 河南 許昌 461000;5.文思海輝技術(shù)有限公司, 北京 100192)

1 山羊絨和綿羊毛纖維識(shí)別研究現(xiàn)狀

山羊絨和綿羊毛纖維均屬于動(dòng)物纖維,其外觀視覺形態(tài)、物理化學(xué)性質(zhì)以及結(jié)構(gòu)組成成分等方面都有很多相似之處,尋找一種能夠快速準(zhǔn)確地自動(dòng)鑒別山羊絨、綿羊毛纖維的方法,一直都是纖維鑒別中的挑戰(zhàn)。 從原理上而言,目前較為實(shí)用的解決方法大致分為3 種。 第1 種是從形態(tài)學(xué)的角度,第2種是從DNA 的角度,第3 種是從蛋白質(zhì)組學(xué)(proteomics)的角度。

從形態(tài)學(xué)的角度進(jìn)行動(dòng)物纖維的鑒別,主要是通過光學(xué)顯微鏡[1]或者電子顯微鏡[2]進(jìn)行纖維外觀形態(tài)的觀察,通過人工識(shí)別的方式,從山羊絨和綿羊毛纖維鱗片形狀、面積、密度,以及纖維的直徑、條干光澤度等方面根據(jù)主觀經(jīng)驗(yàn)做出判斷。 目前,光學(xué)顯微鏡下的人工鑒別是應(yīng)用最為廣泛的鑒別方法之一[3]。 掃描電子顯微鏡圖像由于放大倍數(shù)高,相對(duì)光學(xué)顯微鏡圖像更為清晰,容易分辨,故識(shí)別精度更高,但檢測(cè)周期長,對(duì)設(shè)備和制樣有特殊的要求。

隨著聚合鏈?zhǔn)椒磻?yīng)(Polymerase Chain Reaction,PCR)技術(shù)的發(fā)展,自2005 年起PCR 體外擴(kuò)增技術(shù)被用于山羊絨和綿羊毛檢測(cè),Subramanian 等[4]利用PCR-RFLP(Polymerase Chain Reaction Restriction Fragment Length Polymorphism)擴(kuò)增技術(shù)對(duì)提取的羊毛、羊絨線粒體DNA 進(jìn)行擴(kuò)增,提出了單核苷酸多態(tài)性法(Single Nucleotide Polymorphism, SNP法)。 2014 年,Tang 等[5]使用熒光PCR 法(TaqMan PCR)對(duì)綿羊毛和山羊絨混合物DNA 定量分析,證實(shí)了根據(jù)線粒體DNA 鑒別羊絨羊毛的可靠性。GB/T 36433—2018《紡織品 山羊絨和綿羊毛的混合物DNA 定量分析 熒光PCR 法》于2019 年1 月1 日起開始實(shí)施。

但是,纖維條干中幾乎不含核DNA,只含有很少量的線粒體DNA,并且纖維存放時(shí)間較長,易于使DNA 發(fā)生降解,提取DNA 困難,給鑒別造成很大困難[6]。 而羊絨、羊毛纖維中的蛋白質(zhì)含量很高,便于提取[7],因此可以從蛋白質(zhì)組學(xué)的角度解決山羊絨、綿羊毛的鑒別問題。 如采用質(zhì)譜譜圖特征(譜峰的強(qiáng)度, 質(zhì)/荷比和出峰的時(shí)間)、肽的特征(來源相同肽離子的質(zhì)量同位素峰)、或肽(相同肽不同電荷狀態(tài)的多個(gè)肽特征)來表示[8]。 特別是近年來廣泛用于蛋白質(zhì)、多肽、核酸和多糖等大分子研究領(lǐng)域[9]的基質(zhì)輔助激光解吸電離飛行時(shí)間質(zhì)譜技術(shù),吸引了越來越多的關(guān)注[10-12]。

然而,上述技術(shù)在實(shí)現(xiàn)無人工干預(yù)的全自動(dòng)實(shí)時(shí)檢測(cè)方面均難以勝任。 事實(shí)上,形態(tài)學(xué)檢測(cè)所提供的信息,利用機(jī)器學(xué)習(xí)的手段,是最有可能實(shí)現(xiàn)實(shí)時(shí)檢測(cè)的。 Wu 等[13]收集了5 種不同產(chǎn)地的山羊絨,使用近紅外光譜分析技術(shù)獲得相應(yīng)的光譜數(shù)據(jù)以及主成分分析(PCA)降維,再通過支持向量機(jī)對(duì)產(chǎn)地進(jìn)行分類。 季益萍等[14]通過3 種不同的決策樹模型,對(duì)纖維細(xì)度、鱗片高度等特征進(jìn)行數(shù)據(jù)的分類預(yù)測(cè)。 沈巍等[15]利用了支持向量機(jī)法進(jìn)行山羊絨、綿羊毛混紡比研究。 Zhong 等[16]提出了一種將山羊絨、綿羊毛纖維顯微鏡圖像轉(zhuǎn)換為投影曲線,然后提取投影曲線特征間接識(shí)別山羊絨、綿羊毛的算法。 路凱等[17-18]也提供了基于詞典模型和空間金字塔匹配對(duì)山羊絨、綿羊毛光學(xué)顯微鏡圖像進(jìn)行識(shí)別的算法。

上述方法有2 個(gè)共同點(diǎn),一是纖維的形態(tài)學(xué)特征往往來自于人為設(shè)定(Hand Crafted Features),二是所用樣本空間的容量有限,模型的泛化能力不強(qiáng)。事實(shí)上,隨著深度學(xué)習(xí)技術(shù)的進(jìn)步,已經(jīng)可以通過深度神經(jīng)網(wǎng)絡(luò),在更大的樣本容量上,實(shí)現(xiàn)泛化性能更好的多品種極相似動(dòng)物纖維的全自動(dòng)識(shí)別。

2 試樣準(zhǔn)備與圖像采集

本文使用了蒙古青羊絨、蒙古紫羊絨、國產(chǎn)青羊絨、國產(chǎn)白羊絨、普通羊毛(美利奴)和土種羊毛共計(jì)6 種纖維進(jìn)行測(cè)試。 按照GB/T 16988—2013《特種動(dòng)物纖維與綿羊毛混合物含量的測(cè)定》,使用哈氏切片器從纖維樣本中部切取長度為0.4 ～0.6 mm的纖維片段進(jìn)行制樣。 將制作好的切片放置在光學(xué)顯微鏡載物臺(tái)上,物鏡放大40 倍,目鏡放大10 倍,圖片保存格式為TIFF 格式,圖片大小為640×480 像素。 在整個(gè)過程中只對(duì)單根纖維的圖像拍攝保存,因?yàn)槎喔w維同時(shí)出現(xiàn)在視野中會(huì)交叉造成多焦面現(xiàn)象(1 根纖維清晰,另外其他纖維模糊)無法進(jìn)行判斷。 分別采集了國產(chǎn)青羊絨10 181 張,土種羊毛9 929 張, 普 通 毛 條10 007 張, 蒙 古 青 羊 絨10 093 張,國 產(chǎn) 白 羊 絨10 017 張, 蒙 古 紫 羊 絨10 836 張,合計(jì)61 063 張纖維圖片,6 種纖維光學(xué)顯微鏡圖像示例如圖1 所示。

圖1 6 種纖維光學(xué)顯微鏡圖像示例

由于深度神經(jīng)網(wǎng)絡(luò)需要在大樣本數(shù)據(jù)集上進(jìn)行訓(xùn)練,才能獲得比較好的泛化性能,因此在圖像數(shù)據(jù)量不足的情況下, 可使用數(shù)據(jù)增廣( Data Augmentation),一方面能夠擴(kuò)充樣本的數(shù)據(jù)量,增加訓(xùn)練集中樣本的多樣性,另一方面在一定程度上緩解過擬合現(xiàn)象帶來模型泛化性能的惡化。

常用的數(shù)據(jù)增廣技術(shù)有隨機(jī)翻轉(zhuǎn)、隨機(jī)旋轉(zhuǎn)、隨機(jī)裁剪,改變圖像對(duì)比度和亮度等。 鑒于本文實(shí)驗(yàn)所用的60 000 余張樣本圖像,在實(shí)踐中使用隨機(jī)水平翻轉(zhuǎn)、隨機(jī)垂直翻轉(zhuǎn)和圖像對(duì)比度改變這3 種策略。 需要注意的是,不推薦采用隨機(jī)裁剪的方式,因?yàn)檫@種方法處理后的圖片有可能均為背景,不存在纖維樣本,不利于神經(jīng)網(wǎng)絡(luò)訓(xùn)練。

實(shí)驗(yàn)所用計(jì)算機(jī)硬件配置如下:CPU 為Intel i7-3 770 K@3.50 GHz×8,內(nèi)存大小為8 GB,顯卡為NVIDIA GeForce GTX1070。 操作系統(tǒng)為Ubuntu 16.04TLS,本文相關(guān)代碼使用PyTorch 深度學(xué)習(xí)框架編寫。 在訓(xùn)練時(shí),共訓(xùn)練24 個(gè)輪次(epoch),并采用分段函數(shù)式的學(xué)習(xí)率衰減模式,即在訓(xùn)練過程每訓(xùn)練7 個(gè)輪次(epoch),學(xué)習(xí)率降為原來的1/10。在網(wǎng)絡(luò)參數(shù)的優(yōu)化方面,選取Adam 和Momentum這2 種優(yōu)化方式。

3 神經(jīng)網(wǎng)絡(luò)的篩選與驗(yàn)證

仔細(xì)觀察圖1 不難發(fā)現(xiàn),相對(duì)于常規(guī)圖像分類任務(wù)所面對(duì)的風(fēng)景、車輛或行人等彩色圖像,纖維的光學(xué)顯微鏡圖像內(nèi)容較為簡單,因此不宜采用參數(shù)數(shù)量太多且過于復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)。 另外,在訓(xùn)練神經(jīng)網(wǎng)絡(luò)之前,需要對(duì)參數(shù)的初始化方式進(jìn)行設(shè)置,通常有下述3 個(gè)方案可供選擇。

方案1:從零開始,在前述纖維顯微圖像數(shù)據(jù)集上進(jìn)行深度神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練。 鑒于神經(jīng)網(wǎng)絡(luò)參數(shù)矩陣初始值的設(shè)定能夠影響訓(xùn)練過程收斂與否,以及最終是否能夠訓(xùn)練出理想的實(shí)驗(yàn)結(jié)果。 故此在實(shí)驗(yàn)過程中,對(duì)網(wǎng)絡(luò)中的全連接層采用Xavier 初始化[19]。 令nin和nout分別為某層神經(jīng)網(wǎng)絡(luò)輸入和輸出的神經(jīng)元個(gè)數(shù),Xavier 初始化旨在維持輸入和輸出數(shù)據(jù)分布在方差層面的一致性,

方案2:將所選擇的神經(jīng)網(wǎng)絡(luò)先在一個(gè)更大規(guī)模的數(shù)據(jù)集上完成預(yù)訓(xùn)練,然后通過遷移學(xué)習(xí)的方法,在本文的數(shù)據(jù)集上完成權(quán)重矩陣的微調(diào),達(dá)到更好的識(shí)別精度。 這是因?yàn)槿祟惷鎸?duì)新的任務(wù)時(shí),往往也是優(yōu)先使用過往經(jīng)驗(yàn)和知識(shí),然后再針對(duì)新任務(wù)進(jìn)行改良優(yōu)化,并非總是從零開始重新學(xué)習(xí)。

本文采用在ImageNet 上訓(xùn)練過的不同卷積神經(jīng)網(wǎng)絡(luò)模型的參數(shù)作為神經(jīng)網(wǎng)絡(luò)參數(shù)矩陣的初始值。 這是因?yàn)镮mageNet 中擁有1 000 個(gè)類別、上百萬張圖像,在規(guī)模上和復(fù)雜度上相對(duì)于本文的數(shù)據(jù)集更有優(yōu)勢(shì)。 基于ImageNet 訓(xùn)練的模型往往具有非常強(qiáng)的廣義圖像視覺特征表達(dá)能力,從而在某種程度上能夠加快纖維識(shí)別模型的收斂速度,增強(qiáng)模型的泛化能力。

鑒于ImageNet 有1 000 個(gè)類別,而本文所用數(shù)據(jù)集只有6 個(gè)類別,故全連接層采用Xavier 初始化。完成了初始化之后,網(wǎng)絡(luò)中所有參數(shù)在整個(gè)訓(xùn)練過程中都會(huì)隨著訓(xùn)練過程中的梯度下降而得到更新。

方案3: 將所有卷積層均初始化為經(jīng)過ImageNet 上預(yù)訓(xùn)練的參數(shù)矩陣并固定不變,在訓(xùn)練過程中僅更新全連接層中的權(quán)重參數(shù)。

以ResNet18 為例,在山羊絨、綿羊毛分類任務(wù)中測(cè)試了3 種方案的表現(xiàn),結(jié)果如圖2 所示。 很顯然,方案2 的表現(xiàn)最好,而方案3 只有不到70%的準(zhǔn)確率,這說明基于ImageNet 預(yù)訓(xùn)練的圖像特征不能表達(dá)山羊絨、綿羊毛纖維圖像特征,必須通過ResNet18 網(wǎng)絡(luò)卷積層訓(xùn)練更新優(yōu)化后才能產(chǎn)生具有自動(dòng)提取山羊絨、綿羊毛圖像特征的能力,并通過全連接層進(jìn)行分類識(shí)別。 同時(shí),在測(cè)試集上,方案2的準(zhǔn)確率超過方案1 的15%以上,說明該方法比從零開始的訓(xùn)練更適合纖維圖像的識(shí)別任務(wù)。

圖2 3 種不同初始化方案訓(xùn)練集和測(cè)試集準(zhǔn)確率

有鑒于此,在后續(xù)的實(shí)驗(yàn)中,本文使用了VGG11、VGG13、VGG16、InceptionV3、InceptionV4、ResNet18、ResNet34 和ResNet50 共8 種網(wǎng)絡(luò)模型進(jìn)行對(duì)比,采用方案2 進(jìn)行參數(shù)初始化。 多種模型準(zhǔn)確率結(jié)果如圖3、4 所示。

圖3 8 種模型使用Adam 優(yōu)化器測(cè)試集下的準(zhǔn)確率

圖4 8 種模型使用Momentum 優(yōu)化器測(cè)試集下的準(zhǔn)確率

由實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn),ResNet18 在Adam 優(yōu)化器下測(cè)試集準(zhǔn)確率達(dá)到了最高,原因有二:①相對(duì)其他非殘差類型神經(jīng)網(wǎng)絡(luò),ResNet 引入了殘差跳躍結(jié)構(gòu),使梯度的流動(dòng)更為健康,即不會(huì)出現(xiàn)梯度消失和爆炸的問題,從而使得優(yōu)化效果良好,準(zhǔn)確率得到了較 大 提 升。 ② 對(duì) 比 ResNet34, ResNet50,InceptionV3,InceptionV4,在山羊絨、綿羊毛識(shí)別問題中,由于樣本類別只有2 種,且圖像本身較為簡單。 若將深度神經(jīng)網(wǎng)絡(luò)看作一個(gè)非線性擬合函數(shù),其所需的參數(shù)無需非常龐大,故ResNet18 恰好滿足了夠用的基本要求。 而其他網(wǎng)絡(luò)模型與之相比,參數(shù)更多,容易因參數(shù)冗余而造成過擬合現(xiàn)象,故而在測(cè)試集上的表現(xiàn)不及ResNet18。

此外,即使在準(zhǔn)確率接近的場(chǎng)合中,也會(huì)優(yōu)先選擇ResNet18。 因?yàn)槠錈o論在訓(xùn)練時(shí)還是在測(cè)試時(shí)速度更快,用時(shí)更少,更加高效,便于實(shí)用階段的部署。 另外從圖3 中可知,VGG 網(wǎng)絡(luò)在使用Adam 優(yōu)化器時(shí)效果較差,故此不建議使用Adam 算法對(duì)其進(jìn)行優(yōu)化。

為進(jìn)一步了解各種網(wǎng)絡(luò)的性能,對(duì)訓(xùn)練和測(cè)試過程中的總耗時(shí)進(jìn)行了測(cè)算,如表1、2 所示。

表1 8 種模型不同優(yōu)化器訓(xùn)練過程總耗時(shí) min

可以看到,ResNet18 網(wǎng)絡(luò)模型在訓(xùn)練過程中耗時(shí)最少,相比InceptionV4 少了420 min 左右,效率大幅提升。 在實(shí)際測(cè)試時(shí),對(duì)6 000 張測(cè)試集上的圖片進(jìn)行自動(dòng)鑒別,耗時(shí)均不到1 min,等于每秒鐘可以檢測(cè)至少100 張圖片,足以將基于深度神經(jīng)網(wǎng)絡(luò)的山羊絨、綿羊毛圖像識(shí)別流程用于實(shí)時(shí)檢測(cè)。

表2 8 種模型不同優(yōu)化器在6 000 張測(cè)試集圖片上總耗時(shí)s

為進(jìn)一步驗(yàn)證ResNet18 模型的性能,給出了6 種動(dòng)物纖維在測(cè)試集上識(shí)別準(zhǔn)確率的混淆矩陣分析,如圖5 所示。 混淆矩陣又稱為誤差矩陣,是一種較為高效評(píng)估有監(jiān)督學(xué)習(xí)目標(biāo)分類準(zhǔn)確率的工具。通過混淆矩陣可以將數(shù)據(jù)的真實(shí)值與通過模型預(yù)測(cè)的結(jié)果進(jìn)行對(duì)比。 由于這里的分類數(shù)目為6,故混淆矩陣大小為6×6。 其中每行代表實(shí)際纖維歸屬類別,每行的總數(shù)之和表示測(cè)試集中每類纖維的總根數(shù);每列代表通過ResNet18 得出的預(yù)測(cè)值,每列的總數(shù)之和表示預(yù)測(cè)為該類別纖維的總根數(shù);混淆矩陣對(duì)角線上的數(shù)字表示正確判斷為各個(gè)纖維類別的數(shù)量根數(shù)。

本文使用召回率表示每種纖維是否容易被神經(jīng)網(wǎng)絡(luò)區(qū)分。 召回率是指每種纖維類別預(yù)測(cè)正確數(shù)量根數(shù)占該類實(shí)際總根數(shù)的百分比值。 召回率越大代表該類別纖維越容易被區(qū)分,反之,越難被識(shí)別出來也就是越容易被錯(cuò)識(shí)別為其他纖維類別。 從混淆矩陣圖中可以看出普通毛條和蒙古紫絨非常容易被ResNet18 識(shí)別,其召回率高達(dá)99.8%和98.5%,其次是土種羊毛,為97.7%。 而國產(chǎn)白羊絨、國產(chǎn)青羊絨和蒙古青羊絨最難被識(shí)別,召回率分別是95.2%、95.5%和96.0%。 換言之,對(duì)ResNet18 而言,羊毛“冒充”羊絨是比較容易被識(shí)別出來的,而蒙古紫羊絨容易被識(shí)別是因?yàn)槠淅w維呈現(xiàn)深色,具有比較明顯的區(qū)分度。 從圖5 中還可以發(fā)現(xiàn)蒙古青羊絨和國產(chǎn)青羊絨互相被錯(cuò)分較多,這與實(shí)際情況相吻合,根據(jù)顏色類別條件劃分,他們都是屬于青羊絨,在物種屬性上也更為相近,因此互相區(qū)分度更小,被識(shí)別錯(cuò)誤較多。

圖5 6 種動(dòng)物纖維測(cè)試集混淆矩陣分析圖

在ResNet18 網(wǎng)絡(luò)中,最后一個(gè)卷積層輸出的特征圖(feature map)大小為512×7×7,意味著512 個(gè)7×7 的特征圖。 根據(jù)ResNet 的工作原理,在進(jìn)入Softmax 層進(jìn)行分類之前,需要先對(duì)7×7 的特征圖進(jìn)行全局平均池化,輸出1×1 的特征圖。 因?yàn)樽罱K分類結(jié)果實(shí)質(zhì)上是經(jīng)過池化后的512 個(gè)值與相應(yīng)的權(quán)重的乘積,所以實(shí)際上也是7×7 的特征圖與權(quán)重的乘積。 這里的權(quán)重代表了每個(gè)7×7 特征圖對(duì)最終分類結(jié)果的貢獻(xiàn)程度。 根據(jù)這一原理,可利用這512 個(gè)特征圖乘以對(duì)應(yīng)權(quán)重進(jìn)行求和得到一個(gè)新的7×7 的權(quán)重特征圖,這個(gè)權(quán)重特征圖上每個(gè)像素值對(duì)應(yīng)了其對(duì)分類結(jié)果的影響程度,結(jié)果越大代表影響程度越大,最后將該權(quán)重特征圖映射到大小為224×224 的原圖中,就可以直觀地看出哪個(gè)區(qū)域?qū)Ψ诸愋Ч绊懜蟆?/p>

圖6 所示熱力圖中,紅色代表該處的特征對(duì)最終識(shí)別的貢獻(xiàn)較大,藍(lán)色代表貢獻(xiàn)較小。 通過圖6(e)(f),可見大部分紅色區(qū)域都在纖維條干上拍攝較為清晰的部分,說明ResNet18 網(wǎng)絡(luò)的識(shí)別過程較好的模擬了人類識(shí)別,自動(dòng)“注意”到了整幅圖像中特征明顯的區(qū)域,并以此作為判斷的依據(jù)。 這也是深度學(xué)習(xí)擁有人工智能特色的原因所在。

圖6 國產(chǎn)白羊絨和國產(chǎn)青羊絨及其熱力圖

4 結(jié)束語

本文對(duì)不同卷積神經(jīng)網(wǎng)絡(luò)模型在自建的6 類別山羊絨/綿羊毛圖像數(shù)據(jù)集上進(jìn)行了訓(xùn)練和測(cè)試,發(fā)現(xiàn)ResNet18 通過加載在ImageNet 上預(yù)訓(xùn)練的網(wǎng)絡(luò)參數(shù)進(jìn)行遷移學(xué)習(xí)時(shí)效果最佳。 通過混淆矩陣,說明了本文所提出的方法在6 種極相似動(dòng)物纖維的鑒別中,鑒別準(zhǔn)確率均在95%以上,且泛化性能良好,可用于實(shí)時(shí)自動(dòng)檢測(cè)。

由于在使用光學(xué)顯微鏡的真實(shí)檢測(cè)環(huán)境中,載玻片上通常是多根纖維混搭,此時(shí)除了分類任務(wù)之外,還需給出具體聚焦清晰的纖維所在位置以判斷根數(shù), 因此整個(gè)任務(wù)變?yōu)榱四繕?biāo)檢測(cè)(object detection),未來可在訓(xùn)練集完備的情況下,采用相關(guān)目標(biāo)檢測(cè)網(wǎng)絡(luò)(如YOLO V4[21])開發(fā)更貼近實(shí)用的自動(dòng)檢測(cè)系統(tǒng)。

此外,由于深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練離不開標(biāo)注良好的圖像數(shù)據(jù),而目前的數(shù)據(jù)標(biāo)注均需人工參與。因此,該類方法在極相似纖維鑒別領(lǐng)域,不會(huì)超越人類的表現(xiàn)。 這也是為什么用該類方法,很難識(shí)別且肉眼也難以直接識(shí)別的黑色牦牛絨冒充黑色羊絨(細(xì)度、長度、色澤均相同的前提下),或者回用羊絨冒充純新羊絨的情況。