基于改進(jìn)Mobile-Net-V2的原棉雜質(zhì)分類方法

李 龍

(許昌電氣職業(yè)學(xué)院，河南 許昌 461000)

棉花在中國(guó)紡織業(yè)中因?yàn)橛凭玫臍v史，其高額的產(chǎn)量，以及巨大的使用量使得棉花在紡織品制造業(yè)中占舉足輕重的地位。2019年我國(guó)棉花種植面積為2.23×104km2，總產(chǎn)量588.9萬(wàn)t[1]。隨著機(jī)械自動(dòng)化技術(shù)的發(fā)展和機(jī)采棉技術(shù)的廣泛應(yīng)用，其中對(duì)棉花制品質(zhì)量起到較大影響的是大量的雜質(zhì)(如枝葉、砂石、蟲尸、鈴殼、破籽、不孕籽等)機(jī)器采集棉纖維之時(shí)被一起收集。雖然之后在籽清機(jī)、皮清機(jī)以及軋花機(jī)的不同階段的處理，皮棉中盡可能過(guò)濾了雜質(zhì)，但是根據(jù)經(jīng)驗(yàn)發(fā)現(xiàn)，由于皮棉采集批次不同，在多道處理后的棉纖維的含雜率也不盡相同。棉纖維中的雜質(zhì)含量會(huì)對(duì)后續(xù)制造造成條干不均、染色不勻、棉紗斷頭、損耗過(guò)大等不同影響。同時(shí)由于雜質(zhì)導(dǎo)致的紡織成品的廢品、次品率也和棉纖維的去雜質(zhì)率成反比關(guān)系[2]。

棉纖維的雜質(zhì)檢驗(yàn)的方法[3-4]主要有：光電檢測(cè)結(jié)合法，選用雜質(zhì)分析器以及原棉雜質(zhì)分析器的方法[5-6]，計(jì)算機(jī)圖像信息處理方法，自動(dòng)稱量與雜質(zhì)分析器相結(jié)合的方法。在實(shí)際的棉花雜質(zhì)檢驗(yàn)過(guò)程中，受其自身性質(zhì)影響，其檢驗(yàn)過(guò)程受多方面因素影響，直接影響其檢驗(yàn)效率，當(dāng)前的棉花含雜率檢測(cè)主要依靠人工分揀方式配合雜質(zhì)機(jī)器檢測(cè)對(duì)抽樣樣本進(jìn)行處理，該方式由于人工的參與導(dǎo)致耗時(shí)較長(zhǎng)，同時(shí)雜質(zhì)分離方式檢測(cè)效率低[7-8]。相比之下，計(jì)算機(jī)視覺(jué)可以提升棉花的雜質(zhì)檢測(cè)速度，提升檢測(cè)流程的自動(dòng)化程度[9-10]。因此，本文提出了一種基于計(jì)算機(jī)圖像的深度學(xué)習(xí)Mobile-Net-V2模型的棉花表面雜質(zhì)識(shí)別方法，同時(shí)設(shè)計(jì)了快速、穩(wěn)定的棉花表面雜質(zhì)自動(dòng)識(shí)別系統(tǒng)，彌補(bǔ)了人工分揀的低效率，提高雜質(zhì)檢測(cè)穩(wěn)定性，進(jìn)而為棉花表面雜質(zhì)分類以及棉花含雜率的測(cè)定提供基礎(chǔ)技術(shù)支撐，具有廣泛的應(yīng)用前景與現(xiàn)實(shí)意義。

1 理論基礎(chǔ)及系統(tǒng)搭建

1.1 棉花雜質(zhì)的計(jì)算機(jī)視覺(jué)表達(dá)

計(jì)算機(jī)視覺(jué)表達(dá)是指將人們主觀世界中的實(shí)際物體通過(guò)視覺(jué)采集裝置如照相機(jī)、攝像機(jī)等進(jìn)行點(diǎn)陣描述，將圖像信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)并利用計(jì)算機(jī)對(duì)其進(jìn)行分析識(shí)別的過(guò)程。計(jì)算機(jī)視覺(jué)作為一門學(xué)科形成于20世紀(jì) 60 年代，當(dāng)前已廣泛應(yīng)用于重工業(yè)零部件檢測(cè)、現(xiàn)代農(nóng)業(yè)數(shù)據(jù)分析[7-8]、移動(dòng)數(shù)據(jù)用戶決策、人臉識(shí)別等諸多領(lǐng)域。

1.2 系統(tǒng)基礎(chǔ)架構(gòu)

在以計(jì)算機(jī)視覺(jué)為主要判別方式的前提下，本文搭建了一套基于Mobile-Net-V2機(jī)器學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)的棉花雜質(zhì)識(shí)別系統(tǒng)，系統(tǒng)主要組成部分包括：LED光照系統(tǒng)、專業(yè)微單相機(jī)、嵌入式GPU(圖像處理單元)、嵌入式計(jì)算機(jī)、傳送軸，系統(tǒng)框架如圖1所示。

圖1 雜質(zhì)識(shí)別系統(tǒng)框架

依照系統(tǒng)設(shè)計(jì)其工作流程為：①隨機(jī)選取待檢測(cè)原棉樣本放置于檢測(cè)視窗的傳送軸；② 啟動(dòng)傳送機(jī)械，將棉樣拉平緊貼傳送軸便于檢測(cè)；③開啟輔助LED光源，開啟專業(yè)微單相機(jī)采集棉樣圖像；④通過(guò)有線傳輸將圖像傳輸至含有GPU處理能力的人工智能單片計(jì)算設(shè)備完成計(jì)算判別。⑤該判別設(shè)備通過(guò)wifi將判別結(jié)果發(fā)送至服務(wù)器；⑥ 檢測(cè)人員可以通過(guò)計(jì)算機(jī)或手持終端系統(tǒng)對(duì)判別結(jié)果進(jìn)行查詢。在滿足工況需要的情況下，系統(tǒng)采用LED照明設(shè)備、嵌入式智能計(jì)算設(shè)備，有效降低了用電量的同時(shí)，也降低了研制成本，具有一定的性價(jià)比。

2 基于Mobile-Net的棉花表面雜質(zhì)識(shí)別算法

依托棉花雜質(zhì)自動(dòng)識(shí)別系統(tǒng)，本文采用基于Mobile-Net-V2的棉花表面雜質(zhì)識(shí)別算法，通過(guò)圖像平滑濾波、梯度幅值和方向計(jì)算、非極大值抑制、高低閾值檢測(cè)以及邊緣連接，實(shí)現(xiàn)棉花表面雜質(zhì)的自動(dòng)識(shí)別。

2.1 構(gòu)造棉花雜質(zhì)訓(xùn)練圖片庫(kù)

為了對(duì)棉花的各類雜質(zhì)進(jìn)行精準(zhǔn)的定位識(shí)別，首先需要對(duì)棉花的雜質(zhì)數(shù)據(jù)進(jìn)行分類分析并建立有效的棉花雜質(zhì)類型數(shù)據(jù)標(biāo)注。鑒于棉花樣本的雜質(zhì)類型在圖像上顯示的相似性，所以在本文中只討論棉花的3種主要雜質(zhì)，即破籽、僵片、棉結(jié)，進(jìn)行類型識(shí)別的訓(xùn)練學(xué)習(xí)。原棉雜質(zhì)標(biāo)記圖見(jiàn)圖2，經(jīng)專家分類，紅色標(biāo)記為棉結(jié)，綠色標(biāo)記為破籽，黃色標(biāo)記為僵片。

圖2 原棉雜質(zhì)標(biāo)記圖

2.2 圖像預(yù)處理

導(dǎo)向?yàn)V波[5]是一種能夠在對(duì)圖像進(jìn)行有效平滑的基礎(chǔ)上，提高邊緣的細(xì)節(jié)的圖像增強(qiáng)算法。該方式最主要的就是能夠?qū)δ繕?biāo)圖像的細(xì)節(jié)進(jìn)行大幅的增強(qiáng)，同時(shí)在時(shí)間效率而言也較高。在棉花樣本的實(shí)時(shí)圖像處理中，該算法可以滿足對(duì)算法的時(shí)間復(fù)雜度要求。同時(shí)由于使用的是嵌入式計(jì)算機(jī)設(shè)備，所以更需要算法處理的高時(shí)效性?？紤]到處理的圖像樣本的特性，在原棉圖像雜質(zhì)的樣本特點(diǎn)上，其主要表現(xiàn)為色差和邊緣的卷曲性。

為了將樣本特點(diǎn)進(jìn)行放大利用，以便對(duì)雜質(zhì)進(jìn)行檢測(cè)和分類，在圖像的預(yù)處理步驟中選用了導(dǎo)向?yàn)V波算法，其具體算法描述如下：

qi=akIi+bi,?i∈ωk

(1)

qi=pi-ni

(2)

式中：p為圖像輸入，I為一個(gè)投影變換，稱為導(dǎo)向圖像，q為圖像輸出，a為所求的線性關(guān)系，b為截距。將輸出的圖像看成I的局部的空間線性變換，式(2)中n為噪聲。n是需要抑制的，因此優(yōu)化方式就是讓噪聲n取到最小。使用嶺回歸對(duì)式(1) (2)求局部最小值，即得式(3)：

南海的地緣政治重要性對(duì)南海周邊國(guó)家而言與美日兩國(guó)同等重要。因?yàn)檎紦?jù)南海諸島礁，既拓展了國(guó)土縱深，亦提升了自身在南海地區(qū)事務(wù)上的發(fā)言權(quán)和影響力，更遑論南海地區(qū)所能帶來(lái)的巨大的資源開發(fā)儲(chǔ)備了。更需提及的是越南、菲律賓等國(guó)還不斷憑借自身的地緣價(jià)值來(lái)引入域外行為體，以增強(qiáng)非法占據(jù)中國(guó)領(lǐng)土領(lǐng)海及海洋權(quán)益的底氣。例如越南就以“允許使用金蘭灣”作為籌碼來(lái)提升美國(guó)等國(guó)家對(duì)南海的地緣政治關(guān)切度。

(3)

算得的結(jié)果為：

(4)

(5)

2.3 Mobile-Net-V2模型結(jié)構(gòu)

Mobile-Net-V1是Google公司在2017年提出的一種輕量化的卷積網(wǎng)絡(luò)，相對(duì)于普通卷積網(wǎng)絡(luò)的優(yōu)勢(shì)有2點(diǎn)：一是網(wǎng)絡(luò)輕量化，計(jì)算復(fù)雜度降低；二是使用深度卷積塊的線性相加替換了復(fù)雜的映射操作。

而Mobile-Net-V2是在利用了Mobile-Net-V1的基礎(chǔ)上對(duì)利用了其第2個(gè)優(yōu)點(diǎn)，同時(shí)對(duì)V1模型在訓(xùn)練中異常的退化問(wèn)題進(jìn)行了解決。本文對(duì)Mobile-Net-V1和Mobile-Net-V2均采用了的通過(guò)線性加法解決計(jì)算復(fù)雜問(wèn)題進(jìn)行詳細(xì)的闡述。

2.3.1 降低計(jì)算復(fù)雜度

具體方法為：假設(shè)圖像的尺寸為N×W×H×M，其中N為圖像色深、W為圖像寬度(像素)、H為圖像高度(像素)、M為通道數(shù)量(個(gè))，設(shè)卷積核為a(長(zhǎng))×b(寬)×k(通道)，則使用普通卷積對(duì)圖像進(jìn)行卷積的計(jì)算復(fù)雜度為:N×W×H×M×a×b×k。

而利用Mobile-Net模型對(duì)普通卷積進(jìn)行拆分，分為Depthwise卷積以及Pointwise卷積的線性相加。其中Depthwise卷積可以描述為：將上述方法中的圖像按照通道分為M個(gè)組別，Depthwise 分組卷積見(jiàn)圖3。則該種操作的計(jì)算復(fù)雜度為：N×W×H×a×b×M。

圖3 Depthwise 分組卷積

而對(duì)應(yīng)的為了獲取每個(gè)點(diǎn)的特征值而進(jìn)行的Pointwise卷積操作是以原圖像進(jìn)行1×1卷積見(jiàn)圖4。該操作的計(jì)算復(fù)雜度為：N×W×H×M×k。

圖4 Pointwise 點(diǎn)卷積

通過(guò)以上對(duì)比發(fā)現(xiàn)計(jì)算量降低為原來(lái)的：

(6)

2.3.2 逆向殘差值

殘差值的使用在深度高于50層的網(wǎng)絡(luò)中可以明顯地提升訓(xùn)練后的網(wǎng)絡(luò)分類精度。但是Deptwise卷積網(wǎng)絡(luò)提取的特征數(shù)量受到特征輸入維度的抑制，直接加入殘差的結(jié)果可能會(huì)在使用1×1卷積對(duì)輸入進(jìn)行壓縮的過(guò)程中降低提取到的特征數(shù)量。Mobile-Net-V2在提取特征前，首先使用1×1的卷積通過(guò)通道的增加，提升了特征值的獲取數(shù)量。由于這里使用的升維的操作和常規(guī)網(wǎng)絡(luò)的降維互為逆操作，將Mobile-Net-V2的殘差利用方式稱為逆殘差。而在Mobile-Net-V2中使用的卷積步長(zhǎng)存在2種，一種步長(zhǎng)為1，一種步長(zhǎng)為2，其bottleneck網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 模型bottleneck結(jié)構(gòu)

在Mobile-Net-V2模型中，每層的第1個(gè)bottleneck為Stride=2，即不采用殘差；而其余層次的bottleneck使用Stride=1，使用殘差增強(qiáng)。

2.4 改進(jìn)模型結(jié)構(gòu)

通過(guò)對(duì)樣本的分析不難發(fā)現(xiàn)，原棉樣本中的雜質(zhì)小而雜，通過(guò)專業(yè)相機(jī)定焦鏡頭獲取的圖像尺寸為2 120像素×1 416像素，通過(guò)對(duì)實(shí)驗(yàn)數(shù)據(jù)的手動(dòng)標(biāo)注，發(fā)現(xiàn)原棉中的大部分雜質(zhì)面積可以被96像素×96像素覆蓋。于是，通過(guò)對(duì)常用的模型改進(jìn)結(jié)構(gòu)如表1所示。

表1 改進(jìn)模型的結(jié)構(gòu)

表1中BN層為bottleneck的簡(jiǎn)寫，其中t為BN層內(nèi)部維度提升的倍數(shù)，c為特征的維度，n為該BN層重復(fù)的次數(shù)，s為瓶頸層第1個(gè)卷積核移動(dòng)的步幅。將常規(guī)224像素×224像素為輸入的圖像針對(duì)原棉樣本所采集樣本特征進(jìn)行了計(jì)算尺寸的改進(jìn)為更適合本研究對(duì)象的96像素×96像素。Conv2d是二維卷積的縮寫，Avgpool代表的是平均池化層。

2.5 算法流程

通過(guò)對(duì)棉花圖像平滑濾波一階導(dǎo)數(shù)與濾波器的選取，計(jì)算其梯度幅值與方向，確定非極大值抑制策略，并根據(jù)自適應(yīng)方法實(shí)現(xiàn)高低閾值檢測(cè)以及雜質(zhì)邊緣的連接，在此基礎(chǔ)上，基于Canny的棉花表面雜質(zhì)識(shí)別算法流程如圖6所示。

圖6 算法流程

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境

為了驗(yàn)證實(shí)驗(yàn)的有效性和穩(wěn)定性，本文分別在計(jì)算機(jī)端和嵌入式開發(fā)板Jetson-Nano分別進(jìn)行訓(xùn)練及測(cè)試。實(shí)驗(yàn)樣本來(lái)自我國(guó)新疆地區(qū)棉花加工廠，樣本已劃分為好、中、差3個(gè)類別。選用的樣本皮棉試樣總計(jì)100 kg，隨機(jī)抽取樣本并進(jìn)行人工雜質(zhì)標(biāo)注，其好∶中∶差的比率為1.0∶1.5∶1.2。依托本文搭建的棉花雜質(zhì)識(shí)別系統(tǒng)，專業(yè)相機(jī)采集的棉樣圖像分辨率為4 240 像素×2 832 像素，圖像格式為無(wú)壓縮BMP格式，位深度24。在PC系統(tǒng)以及Jetson開發(fā)板中均選用了Tensorflow-lite開源框架，采用Pycharm 作為開發(fā)工具編寫雜質(zhì)識(shí)別算法軟件。

3.2 導(dǎo)向?yàn)V波增強(qiáng)

實(shí)驗(yàn)選取棉樣并采集其圖像如圖7(右上)所示，采用本文圖像增強(qiáng)算法進(jìn)行處理后效果結(jié)果如圖7(右下)所示。通過(guò)棉樣原圖與導(dǎo)向?yàn)V波結(jié)果圖對(duì)比分析可以發(fā)現(xiàn)，圖7(右上)中相應(yīng)的雜質(zhì)點(diǎn)經(jīng)過(guò)濾波增強(qiáng)后，在圖7(右下)都能有效地被增強(qiáng)，雜質(zhì)與圖像背景的界限分明，對(duì)原棉圖像中的紋理進(jìn)行了平滑，避免了雜質(zhì)與背景處理混淆。同時(shí)，經(jīng)過(guò)測(cè)試通過(guò)導(dǎo)向?yàn)V波后，原圖像大小占用空間僅為原圖像大小的25%左右。

圖7 濾波增強(qiáng)結(jié)果

在實(shí)驗(yàn)參數(shù)配置方面，導(dǎo)向?yàn)V波內(nèi)為了盡量保留邊的信息并消除棉花表面毛對(duì)圖像的判斷影響，設(shè)置設(shè)定圖像窗口半徑為1，eps=0.001，快導(dǎo)濾波器的降采樣系數(shù)為2。

3.3 分類結(jié)果對(duì)比分析

為進(jìn)一步驗(yàn)證本文雜質(zhì)分類識(shí)別方法的有效性，按照含分類錯(cuò)誤率進(jìn)行對(duì)比實(shí)驗(yàn)。首先，在現(xiàn)有皮棉試樣的基礎(chǔ)上，隨機(jī)選擇100個(gè)單位樣本，每個(gè)樣本質(zhì)量500 g，并為樣品編號(hào)。然后，針對(duì)每個(gè)樣品依次進(jìn)行人工標(biāo)注、本文實(shí)驗(yàn)平臺(tái)分類檢測(cè)。最后，分別對(duì)其檢測(cè)結(jié)果進(jìn)行對(duì)比分析，并計(jì)算標(biāo)準(zhǔn)誤差。

棉樣雜質(zhì)分類準(zhǔn)確率結(jié)果如圖8所示。其訓(xùn)練集樣本和測(cè)試集樣本選取方式為隨機(jī)選擇，二者比例為5∶1，利用預(yù)訓(xùn)練遷移學(xué)習(xí)，設(shè)置測(cè)試訓(xùn)練批次為30次。其結(jié)果中，分類精確率最高為訓(xùn)練集90.7%，測(cè)試集89.5%，從圖中可以觀測(cè)出，分類樣本穩(wěn)定情況下訓(xùn)練集和測(cè)試集的曲線基本吻合，可以分析該模型可以較好地匹配樣本圖像的分類。

圖8 原棉樣本雜質(zhì)分類準(zhǔn)確率

又經(jīng)過(guò)50次的測(cè)試集進(jìn)行錯(cuò)誤率測(cè)試，其結(jié)果見(jiàn)圖9。從圖9雜質(zhì)錯(cuò)誤率可以看出，在訓(xùn)練集和測(cè)試集使用相同參數(shù)時(shí)，結(jié)果差異較小，測(cè)試集錯(cuò)誤率略高于訓(xùn)練集。以棉花專家手工標(biāo)注檢測(cè)結(jié)果為參照，本文算法雜質(zhì)分類錯(cuò)誤率標(biāo)訓(xùn)練集準(zhǔn)偏差僅為0.051 7，測(cè)試集標(biāo)準(zhǔn)差為0.052 9，二者具有較高的吻合性，可以認(rèn)為算法最后收斂，同時(shí)較小的標(biāo)準(zhǔn)差說(shuō)明算法具有較高的穩(wěn)定性。

圖9 本文算法雜質(zhì)分類結(jié)果錯(cuò)誤率

3.4 破籽類雜質(zhì)識(shí)別效果分析

為了進(jìn)一步對(duì)樣本進(jìn)行充分利用，提升算法的穩(wěn)定性，同時(shí)考慮到破籽類(破籽、軟籽表皮、帶纖維籽屑)雜質(zhì)含量較高，使用10分交叉驗(yàn)證，對(duì)算法的穩(wěn)定性進(jìn)行進(jìn)一步的研究。實(shí)驗(yàn)選取棉樣10份，每份500 g并壓平拍照，人工雜質(zhì)標(biāo)注，并進(jìn)行編號(hào)。原棉雜質(zhì)識(shí)別分類結(jié)果如表2所示。

表2 原棉雜質(zhì)識(shí)別分類結(jié)果

根據(jù)實(shí)驗(yàn)數(shù)據(jù)，對(duì)量化雜質(zhì)分類識(shí)別結(jié)果進(jìn)行10分交叉驗(yàn)證進(jìn)行魯棒性的測(cè)試，同時(shí)對(duì)訓(xùn)練集和測(cè)試集進(jìn)行離散性的比較。本文算法識(shí)別結(jié)果的準(zhǔn)確率的訓(xùn)練集標(biāo)準(zhǔn)偏差為0.020，測(cè)試集標(biāo)準(zhǔn)差為0.027，反應(yīng)了最大值與最小值差異較小，驗(yàn)證了本文算法在雜質(zhì)分類識(shí)別方面的準(zhǔn)確性和穩(wěn)定性，同時(shí)觀察loss值，可以分析得出算法在訓(xùn)練的后期可以收斂，即該算法應(yīng)用于雜質(zhì)分類應(yīng)用有較大的可行性。

4 結(jié)束語(yǔ)

棉花雜質(zhì)的自動(dòng)化檢測(cè)與識(shí)別是我國(guó)棉花質(zhì)量檢測(cè)的中心內(nèi)容。本文針對(duì)現(xiàn)有原棉雜質(zhì)分析需要人工參與過(guò)多以及精度不容易量化的問(wèn)題，提出一種以機(jī)器學(xué)習(xí)算法為核心的Mobile-Net-V2模型的棉花表面雜質(zhì)自動(dòng)化識(shí)別方法，算法在圖像預(yù)處理以及網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行了一定的改進(jìn)，使之更契合于原棉雜質(zhì)的分類研究，通過(guò)實(shí)驗(yàn)分析，驗(yàn)證了本文方法能夠有效用于原棉檢測(cè)中的雜質(zhì)的分類識(shí)別。在當(dāng)前工作基礎(chǔ)上，開展物體自動(dòng)識(shí)別和增加識(shí)別的雜質(zhì)類別是今后需要研究的內(nèi)容。