基于改進型RFB-MobileNetV3的棉雜圖像檢測

徐 健，胡道杰，劉秀平，韓 琳，閆煥營

(1.西安工程大學 電子信息學院，陜西 西安 710048；2.深圳羅博泰爾機器人技術有限公司，廣東 深圳 518109)

棉花是紡織工業(yè)的主要原料，棉紗、棉布也是出口創(chuàng)匯的重要商品。目前，棉花的采摘方式主要是機器采摘，這種方式效率高，缺點是棉花含雜量大，導致生產過程中處理難度大。隨著棉花含雜率的提高，紡織品的缺陷率也大大上升，這將造成嚴重的紡織品浪費。同時人工除雜耗時耗力，生產效率低且排雜不徹底[1-2]。機器視覺采用非接觸式檢測，對于工業(yè)自動化生產檢測領域來說，不僅提高了系統(tǒng)的可靠性，而且有較高的制造效益和智能化程度，因此，基于機器視覺的檢測識別具有重要的研究價值[3]。通過改進算法對棉雜的檢測識別，可為棉花含雜率的測量提供基本技術支持[4]。

基于視覺的棉雜檢測算法主要有基于顏色特征提取的方法、閾值法和基于深度學習的方法等。基于顏色特征提取的方法主要是對圖像進行處理后，利用提取棉花纖維和變異性化纖的RGB色彩模型空間的各成分數(shù)據，可實現(xiàn)數(shù)值聚類分析。利用RGB彩色圖像閾值聚類數(shù)據分析的技術將得到的圖像數(shù)據細分為3級，依次是棉纖維、RGB分布均勻與不均勻的異性纖維，進而確定有無異性纖維，在對圖像進行形態(tài)學等預處理后，獲得棉花異性纖維特征，該方法可提升準確度，但檢測速度并未有改善[5]。閾值法是通過選擇線性插值法處理非極大值抑制實現(xiàn)高低閾值的迭代優(yōu)化，完成閾值自動優(yōu)化以及偽邊緣抑制進而檢測棉雜，但該方法有較大誤差[6]。基于深度學習的方法是使用了改進MobileNetV2模型對棉花表面雜質進行精準檢測與分類，但存在網絡判斷誤差，該方法在識別能力與速度方面還有待提高[7]。

在總結上述各種棉雜檢測方法中準確率與速度的限制因素的基礎上，本文采用改進型RFB-MobileNetV3(RFB-MNV3)為主體的檢測網絡框架作為檢測器，通過減少原來模型的冗余網絡層數(shù)，在不改變原模型準確率的前提下，優(yōu)化算法從而提高檢測速度。同時結合改進型RFB模塊部署到模型池化層中，提升檢測準確率與速度，滿足嵌入式設備實時在線檢測的需求。最后在同等情況下，將本文檢測算法與其它檢測算法進行分析比較，為棉雜的在線檢測提供技術理論參考。

1 MobileNetV3檢測算法流程

1.1 MobileNetV3模型結構

自深度學習開展以來，研究在樹莓派、手機等資源受限的嵌入式設備上部署輕量級網絡架構已成為趨勢。MobileNetV3(MNV3)作為輕量級神經網絡的目標檢測方法，其主要部分可作為YOLOv4中的CSPdarknet53來進行特征提取，如圖1所示。MNV3模型不但采用了深度可分離卷積方法，將空間濾波和特征形成機制分開，進而合理地分解傳統(tǒng)卷積結構，而且具有線性瓶頸的倒殘差機制，從而通過問題的低秩性質使得斷層結構變得更加合理。

圖1 MNV3 block結構圖

倒殘差結構中包括了1×1的深度卷積層和1×1投影層，當且僅當輸入與輸出之間存在著相同的通道后，才用剩余信號通道去連接殘差結構，該結構保持輸入與輸出緊湊連接，同時內部擴展到高維特征空間，以提高非線性通道變換的表達能力。MNV3模型增添了獨特的Bneck網絡結構，在結構中將H-Swish激活函數(shù)與ReLU激活函數(shù)互搭使用，以減少運算量，提高算法的推理性能。此外，為調整各通道的權重，在各通道上都添加了基于擠壓激勵結構的輕量級注意力模型。通過專家驗證，確認其在ImageNet中的分類準確率比MobileNetV2高3.2%，同時也將模型的冗余計算減少15%，檢測速度提高25%[8]。目前，將棉雜檢測分類的實際問題應用在工業(yè)純棉生產車間中，MNV3模型結構對準確率的提高有極大的促進作用，其信號通道自定義作用方式如下：

式中：α為輸入特征矩陣；H-Swish為代替原來Swish的激活函數(shù)；ReLU6為普通ReLU激活函數(shù)，限制最大輸出值為6，可在低精度時有很好的數(shù)值分辨率。ReLU6(α+3)/6近似替代Sigmoid函數(shù)[9]進行特征矩陣運算，得出輸出特征矩陣與α相乘，使網絡推理優(yōu)化以加快檢測速度。

1.2 檢測算法流程

將本文所提出的改進型RFB-MNV3方法運用在棉雜圖像檢測中，以準確迅速地檢測棉雜。首先，利用工業(yè)相機收集棉雜圖像，選取適用圖像作數(shù)據集，同時建立改進型RFB-MNV3模型環(huán)境，將原圖像進行預處理[10],使用卷積神經網絡迭代訓練，得到模型訓練的最優(yōu)權重，從而獲得雜質檢測識別效果的分析情況；隨后使用輕量化主干網絡進行特征提取，無論在速度上還是準確度上都能得到顯著提高，其具體檢測流程如圖2所示。

圖2 檢測流程

2 改進的MNV3網絡結構

一些經典的深度學習模型網絡可以達到較高的目標識別準確率，但存在網絡結構復雜、參數(shù)量多、內存要求高、預測速度慢等缺點。MNV3的互補搜索技術具有參數(shù)量少、性能高、速度快等特點，是一種輕量級且高效的網絡結構。在MNV3網絡結構基礎上，調整參數(shù)層和通道數(shù)，縮減參數(shù)量，可提高檢測速度，更適合雜質圖像的檢測識別。對收集到的棉雜數(shù)據集進行分析發(fā)現(xiàn)，樣品中的雜質呈細小而雜亂的分布。利用工業(yè)相機定焦鏡頭拍攝，再經灰度化預處理，得到尺寸為640像素×480像素的棉花圖像，將雜質圖像進行人工標注，棉花里的大部分雜質會被其它因素影響，因此，對之前使用的模型結構進行改進，改進后的MNV3結構如表1所示。

表1 改進后的MNV3結構

由表1可看出，本文研究通過刪除MNV3中一些冗余的網絡層結構，輸出通道數(shù)從1 280個改為240個，網絡層數(shù)從5個改為2個，但重要的模塊則被保留。減少卷積層和通道數(shù)的主要目的是提高算法的檢測速度，但同時會使模型的擬合度降低，因此，本文將除輸出層外其它所有層的激活函數(shù)都規(guī)定為Hard-Swish。因為MNV3部分激活函數(shù)是ReLU，其非線性比Hard-Swish要差，因此，使用Hard-Swish可確保擬合度不會下降。改進后的MNV3模型是在原MNV3模型訓練效果不變的條件下，減少了參數(shù)和網絡層，使改進后的MNV3模型更具輕量化，可使檢測速度提升更快。本文MNV3均采用改進后的模型。

3 改進型RFB模塊

由于僅改進模型的網絡層數(shù)，不能更好地優(yōu)化嵌入式設備中的在線檢測，因此要解決精度和速度的再優(yōu)化問題，本文選擇感受野(RFB)模塊[11]，其由不同卷積內核擴展速度的卷積層組成，可在淺層特征圖中獲得更多的容量信息，并增強檢測網絡的特征表示。原始RFB模塊實時算法特征表達能力不強，且特征提取器要求不能太深，導致各方面檢測效果不佳。本文提出的改進型RFB模塊結構圖如圖3所示。

圖3 改進型RFB模塊結構圖

棉雜圖像數(shù)據傳輸信號由上采樣層傳輸進入，通過用3×3卷積層取代5×5卷積層，用1×3+3×1卷積層取代3×3卷積層，模型被壓縮，使參數(shù)減少了約1/9，然后用1×1卷積激活ReLU函數(shù)。與原來的RFB模塊相比，其優(yōu)勢突出表現(xiàn)在2個方面：1)采用單獨的下采樣，RFB不需要考慮模塊輸入和輸出間通道不一致的問題，可采取直接連接的方法而不是快捷方式，壓縮結構將參數(shù)減少了25%，使信息傳輸過程更加暢通，即可增加RFB模塊的信息多樣性；2)改進RFB模塊將5×5卷積替換成1×3+3×1+3×3結構，在MNV3網絡結構中加入改進的RFB模型，池化層做連接處理，形成本文改進型RFB-MNV3網絡結構。該網絡結構通過信息擴大緩存加速算法的識別能力，使檢測準確率與速度進一步提升。

4 實驗過程及結果與分析

實驗環(huán)境以Windows 10為操作系統(tǒng)，處理器(CPU)為i7-7800X，顯卡(GPU)為NVIDIA GTX2080Ti，64 G內存。訓練環(huán)境是基于Keras：2.1.5，Tensorflow-GPU：1.13.1的深度學習框架，GPU加速庫為Cuda10.0、Cudnn7.4.1.5，編程語言采用Python3.6。

4.1 數(shù)據集

目標檢測模型的精度在一定程度上受數(shù)據集質量的影響。由于目前并沒有棉雜圖像的公開數(shù)據集，以機器視覺為主要判別方式的前提下，本文搭建了基于改進型RFB-MNV3模型的棉雜圖像采集系統(tǒng)，主要組成部分包括LED光照系統(tǒng)、工業(yè)相機、鏡頭、計算機、實驗架平臺。

依據實際工業(yè)生產情況，考慮到原棉中雜質較多，在實驗中隨機挑選10個500 g的棉雜樣品鋪平分散進行圖像采集。利用工業(yè)相機拍攝棉花中不同數(shù)量的棉殼、棉稈、頭發(fā)和棉葉雜質圖像，共收集到4 850張棉雜圖像。選取4種常見棉雜進行數(shù)據集制作，分別為棉殼(seed)、棉稈(stalk)、頭發(fā)(hair)和棉葉(leaf)。使用LabelImg工具標注所收集到的棉雜圖像(見圖4)，標注完成后就會生成相應的XML文件進行存儲。迭代訓練中的棉雜數(shù)據集會經過在線數(shù)據增強處理，防止出現(xiàn)過擬合，最終根據實際情況判斷選擇訓練集和測試集數(shù)量以8:2的比例劃分。

圖4 棉雜標注圖

4.2 訓練過程

卷積神經網絡的淺層學習特征具備通用性，故結合自建棉雜數(shù)據集與遷移學習思想，將這些通用特征學習從部分已訓練完善的網絡中遷移過來，以節(jié)省訓練時間。本文模型訓練主要有預訓練和微調2個部分。首先，通過改進型RFB-MNV3模型在公開檢測數(shù)據集上預訓練得到初始權重系數(shù)；其次，將得到的初始權重賦值給棉雜數(shù)據集訓練微調網絡；最后，為保護模型的穩(wěn)定性，設置早停機制，若網絡性能沒有提升則訓練過程就會停止，保存訓練得到的權重信息。

為進一步確認棉雜識別和鑒定方法的效果，采用AdamOptimizer優(yōu)化器進行參數(shù)優(yōu)化，因為其可控制學習速度，經過偏置校正后，每次迭代學習率都有一個確定范圍，使得參數(shù)比較平穩(wěn)。初始學習率默認為0.000 1。每個歸一化處理(Batch size)數(shù)據輸入后，采用梯度下降法對權重參數(shù)進行更新，初始訓練為200個訓練次數(shù)(Epoch)，且在不斷優(yōu)化權重下增加Epoch，這樣可增強改進型RFB-MNV3模型特征提取的優(yōu)化功能，實時對棉雜圖像進行檢測，進一步檢驗其模型穩(wěn)定性。棉雜特征圖中某處數(shù)值的大小表示為當前位置對當前特征強弱的反應。假如在第1個卷積層用了64張3×3的卷積核，那么在卷積結束后就有64張通道可以進行計算，也就是說在這層共產生了64張單通道的特征圖。主干特征提取網絡的可視化特征圖如圖5所示。

圖5 可視化特征圖

第1個卷積層操作完成后，且把同層的特征圖重疊在同一圖像的張量上，通道依據順序并排疊加，所有卷積層都可得到不同的特征。當卷積神經網絡不斷加深層數(shù)，從深層獲得的特征圖會不斷抽象化，使人眼難以識別目標的紋理和邊緣等特征，但改進后的RFB-MNV3模型網絡以其特立的跨層接入，可以使深層特征圖中的高層輸出特征圖與低層輸出特征圖進行互補和增強，這樣在多跳連接的過程中可以更好地描述目標特征信息，使整個網絡在不同層次上被提取為更豐富的特征。

4.3 性能檢測

為證明本文模型的有效性，分別對單類棉雜目標和多類棉雜目標進行檢測。圖6(a)、7(a)示出改進前模型對單類及多類棉雜目標的檢測結果，圖6(b)、7(b)示出改進后模型對單類及多類棉雜目標的檢測結果。對比可知，改進型RFB-MNV3模型檢測效果更好，定位準確且沒有漏檢。

圖6 改進前后模型對單類棉雜檢測結果

圖7 改進前后模型對多類棉雜檢測結果

為突出本文算法的優(yōu)越性，采用不同光照變化和變換相機位姿等條件下攝取的棉雜圖像進行驗證，圖8示出不同相機位姿的檢測結果?？梢?，在復雜變化條件下，本文改進模型可準確地對棉雜目標進行檢測，檢測準確率顯著提高。不同光照情況下的檢測結果如圖9所示，分別對應為光照較強、正常和較弱3種情況。對比可知，在不同光照條件下，本文改進模型可準確檢測棉雜，且無誤檢、漏檢情況。

圖8 不同相機位姿的檢測結果

圖9 不同光照條件下的檢測結果

4.4 評估指標

目標檢測領域一般利用平均準確率(AP)和平均準確率均值(mAP)作為模型性能效果的評價指標[12]。計算公式如下：

式中：fpre表示模型檢測出正確的目標數(shù)占總目標數(shù)的比例；frec表示模型已檢測出的目標數(shù)占總目標數(shù)的比例；TP為模型預測正確的正確樣本數(shù)；FP為模型預測錯誤的正確樣本數(shù)；FN為模型預測錯誤的錯誤樣本數(shù)；AP為召回率和準確率曲線下的面積；mAP為所有的類別的AP均值；k為檢測的總次數(shù);R為召回率，%；P為準確率，%。由于準確率與召回率受置信度的影響，即實驗中引入mAP值來表現(xiàn)模型的評價和性能效果。

改進型RFB-MNV3模型下棉雜分類的平均準確率如圖10、11所示。由各類別檢測結果的AP值看出，檢測平均準確率在83%～96%之間，其中識別棉殼的效果最好(平均準確率為96%)。改進型RFB-MNV3算法使各類別平均準確率均值可達到88.15%，即該模型能較好地將棉雜進行檢測識別，可基本滿足實際工業(yè)生產需求[13]。

圖10 棉雜分類平均準確率

圖11 改進型RFB-MNV3分類檢測效果

4.5 對比分析

為客觀證明本文改進方法的優(yōu)越性與可行性[14]，在自制棉雜數(shù)據集上，分別與其它經典算法進行對比，結果如表2所示。

表2 不同模型下的檢測效果對比

分析表2可得，改進型RFB-MNV3模型的參數(shù)量所占空間是MNV3的6.38%，與其它網絡模型相比為0.46%～3.42%。改進型RFB-MNV3模型檢測速度可達到0.02 s，檢測時間比MNV3快175 s，比其它網絡模型平均快213 s。網絡模型的檢測時間受不同因素影響，如卷積運算、激活函數(shù)等，雖然與參數(shù)量不是線性相關，但參數(shù)量下降后檢測時間也顯然會縮短，這有利于實時檢測。改進型RFB-MNV3模型的平均準確率為89.05%，比MNV3高6.83%，比其它網絡模型高8.48%～17.32%。平均準確率均值將平均精確率和召回率結合，可評價圖像分類的綜合性能。改進型RFB-MNV3模型的平均準確率均值比MNV3高6.31%，比其它網絡高8.76%～17.72%。綜上可知，對于棉雜圖像的分類識別，改進型RFB-MNV3模型的各項檢測指標均優(yōu)于其它網絡模型。

為驗證改進型RFB-MNV3模型的檢測效果，本文利用不同目標檢測模型算法在同一實驗平臺上進行訓練和測試，驗證結果如圖12所示?？梢钥闯?，改進型RFB-MNV3可顯著提升準確率。改進后算法在棉雜檢測方面具有高準確率且無漏檢，表明其在棉雜檢測分類中具有很大的應用可能性，本文算法可滿足棉花生產過程中所要求的基本應用[15]。

圖12 各類算法檢測結果對比

5 結 論

本文提出基于RFB-MNV3的棉雜檢測方法，根據棉雜的具體特征進行研究，通過對原始MNV3的改進以及引入改進型RFB模塊，提高模型的速度與精度，從而實現(xiàn)棉雜的有效檢測。本文提出的移動端部署輕量化網絡模型，目的是開發(fā)最優(yōu)化高效率輕量化網絡模型，以優(yōu)化嵌入式設備上的精確延遲交換，這將是今后棉雜檢測研究發(fā)展的趨勢。本文算法在網絡結構與檢測分析方面進行了改進，其在原棉檢測中可有效地用于棉雜識別，但還需要開發(fā)一種更優(yōu)化的算法，以計算棉花圖像中的含雜率，這將是今后進一步研究的內容。