基于深度學習的籽棉中異性纖維檢測方法

何曉昀， 韋 平， 張 林， 鄧斌攸， 潘云峰， 蘇真?zhèn)ィ?/p>

(1. 廣東理工學院， 廣東 肇慶 526100； 2. 四川大學 制造科學與工程學院， 四川 成都 610065)

棉花中異性纖維檢測是長期以來影響我國棉花和紡織品質量的瓶頸問題[1-2]。近年來，隨著機采棉面積的不斷擴大和地膜在棉田中的大量使用，這一問題愈加突出[3]。

文獻調研表明，目前國內外棉花中異性纖維的檢測均在皮棉階段完成[4]，此時采摘的棉花經過軋花和開清等加工工序，已經去除了棉籽，纖維松散、容攤平、攤薄、陰影較少，有利于機器視覺檢測；但其中的部分異性纖維經過加工后，成為難以辨認的細小碎片，另有少數(shù)因機械和風力的攪拌作用混入了棉團之中，很難被機器視覺系統(tǒng)或人眼識別。這些細小、破碎和隱匿的異性纖維隨機分布在棉花中，形狀各異，有的和棉花顏色相近，無論用人工方式還是機器視覺方式都很難進一步清除干凈[5]。

近年來，籽棉中異性纖維的機器視覺檢測引起了眾多研究者的興趣。季宏斌等[1]對管道內的籽棉圖像進行分割處理，識別出籽棉中的地膜；袁榮昌等[6]提出通過籽棉圖像的模糊識別對籽棉品級進行分級；王昊鵬等[4]提出一種基于局部二值模式和灰度共生矩陣的籽棉雜質分類識別方法，采用支持向量機作為分類器對籽棉中雜質進行分類識別；韋平等[7]提出采用線激光和LED構成雙光源照明，通過顏色變換、改進Sobel算子和一維最大熵閾值法處理圖像，使籽棉中異性纖維的識別率達到了74%?？傮w來說，籽棉成團、纖維緊密、陰影濃厚，團粒分布不均，圖像存在大量背景空洞，加之其中的白色異性纖維與棉花顏色相近，難以通過顏色、形狀、紋理等特征對圖像進行分割，因此，異性纖維的檢測遠未進入實用階段。

近年來人工智能的發(fā)展為圖像的識別提供了一種新途徑[8]：2006年，Hinton等[9]將有監(jiān)督和無監(jiān)督的2類神經網絡結合在一起，首次提出了深度學習的網絡模型； 2013年Girshick等提出了R-CNN算法[10]，開創(chuàng)了深度學習用于圖像檢測的新紀元，2016年又陸續(xù)提出了Fast RCNN[11]和Faster RCNN[12]算法。相對于YOLO等其他實時的深度網絡，F(xiàn)aster RCNN不僅檢測速度快，而且對復雜度高的圖像識別率較高[13]。由于籽棉圖像背景復雜，異性纖維所占比例較小，且易被棉花陰影遮擋，本文采用Faster RCNN深度學習算法分別對LED照明和“LED+線激光”雙光源照明的2種籽棉圖像進行訓練和檢測，提出了一種籽棉中異性纖維檢測的新方法。

1 圖像獲取

本文在相關文獻[7，14-15]研究的基礎上，分別采用LED照明和“LED+線激光”雙光源照明，使用Basler線掃描相機拍攝含異性纖維的籽棉圖像。其中LED燈照明亮度為12 500 lx；“LED+線激光”雙光源照明的激光采用650 nm紅色激光，功率為 7 010 mW/m2，亮度為3 300 lx；線掃描相機分辨率為4 096像素，行頻為7.2 kHz。實際生產中異性纖維在棉花中所占的比例非常少(每噸小于20 g)，實驗室內獲取大量異性纖維圖像較為困難。本文在實驗室環(huán)境下模擬實際生產中經過籽棉清理機的籽棉和異形纖維，將來自天驕紡織廠的12種各色異性纖維混入去除棉葉、棉殼等有機雜物的籽棉中，采用文獻[7]和[14]中的成像裝置，共獲得LED照明的籽棉圖像520張，“LED+線激光”雙光源照明的籽棉圖像1 148張。圖1示出2種照明條件下拍攝的含異性纖維的籽棉圖像。

圖1 含異性纖維的籽棉圖像Fig.1 Foreign fibers in cotton.(a) LED image;(b) “LED + leaner laser” image

2 基于深度學習的圖像處理

2.1 圖像預處理

本文運行Faster RCNN深度學習網絡的計算機采用intel i7芯片和Nvidia GTX1080顯卡；為加速運算，使用Ubuntu16.04平臺、CUDA和CUDNN共同處理數(shù)據(jù)。圖2示出預處理圖像。

圖2 預處理圖像Fig.2 Preprocessed image.(a) LED image；(b) "LED + leaner laser" image

首先將線掃描相機獲取的圖像裁剪為邊長在350～900像素范圍內的矩形圖像；然后在網絡訓練階段，用標注軟件Labelimg對圖像中的異性纖維進行人工標注，生成與圖像相對應的XML文件；最后將圖像與其對應的標注文件制作為訓練數(shù)據(jù)集和測試數(shù)據(jù)集。

2.2 深度學習網絡

本文采用的Faster RCNN深度學習網絡結構如圖3所示?？芍瑢嶒炗?3個卷積層、13個采樣層和4個池化層，通過多種卷積模板提取圖像的基本特征。然后，圖像的特征圖譜輸入到全連接層，最后利用多任務分類器完成特征分類和特征位置回歸。

圖3 Faster RCNN深度學習網絡結構Fig.3 Faster RCNN deep-learning network architecture

這種訓練方法結合無監(jiān)督的學習和有監(jiān)督的學習，通過大量樣本圖像的迭代，逐步減少誤差，逼近目標。達到預定的訓練精度后，大規(guī)模的神經網絡節(jié)點和連接將獲得的“智能”記憶存儲起來。當新的圖像輸入時，網絡通過各層運算完成待檢測圖像的識別。

2.3 網絡訓練

使用Faster RCNN深度學習網絡分別對LED照明和“LED+線激光”雙光源照明下的圖像進行訓練：首先將裁剪好的圖像輸入深度卷積網絡，生成特征圖譜；其次將特征圖譜輸入RPN網絡(region proposal network)生成目標候選區(qū)域；然后采用ROI池化層提取備選區(qū)域特征；最后利用多任務分類器做備選區(qū)域的位置回歸和目標類別判定。

根據(jù)經驗，每一階段迭代設置為8 000次，完成4階段共計3.2萬次迭代即可達到理想效果。圖4示出迭代損失曲線?？梢钥闯鲭S著訓練迭代次數(shù)的增加，損失率逐步縮小并趨于穩(wěn)定。

對本文實驗獲取的圖像進行訓練發(fā)現(xiàn)：LED照明下的520幅籽棉圖像需經過29.7 min可完成對Faster RCNN深度網絡的訓練;“LED+線激光”雙光源照明下1 148幅圖像經過52.03 min 可完成網絡訓練。

圖4 迭代損失函數(shù)曲線Fig.4 Loss rate curve of training

2.4 圖像檢測

為檢驗深度學習網絡的檢測能力，在訓練樣本外另選130張含異性纖維的測試圖像輸入訓練好的Faster RCNN網絡進行檢測。采用LED照明和“LED+線激光”雙光源照明的部分圖像檢測結果如圖5、6所示。圖像的識別速度為0.05 s/幅，圖中框選區(qū)域表示檢測出來的異性纖維位置。LED照明的4種樣品檢測結果的置信度分別為1.000、0.999、0.962、1.000；“LED+線激光”雙光源照明下4種樣品檢測結果的置信度分別為0.990、0.992、0.943、0.996。說明檢測結果可信程度高。

圖5 LED照明下的檢測結果Fig.5 Detection result by LED.(a)Sample 1;(a)Sample 2;(a)Sample 3;(a)Sample 4

圖6 “LED+線激光”雙光源照明下的檢測結果Fig.6 Detection result by "LED + leaner laser".(a)Sample 1;(a)Sample 2;(a)Sample 3;(a)Sample 4

3 結果與分析

本文對LED照明和“LED+線激光”雙光源照明的籽棉圖像分別采用基于閾值分割的圖像處理算法[15]和Faster RCNN深度網絡進行檢測，結果如表1所示。

表1 傳統(tǒng)閾值方法與深度學習識別率對比Tab.1 Comparison between traditional threshold method and deep-learning method

由表1可看出，基于深度學習方法的LED圖像識別率達到90.3%,雙光源圖像識別率為86.7%，二者均高于常規(guī)的圖像處理方法。其中，采用常規(guī)的閾值分割算法，LED照明環(huán)境下白色異性纖維的識別率只有5.9%，主要原因是白色異性纖維顏色和籽棉接近，難以找到最佳的閾值進行分割；在雙光源照明條件下，白色異性纖維產生強反光，其亮度值明顯高于棉花[16]，常規(guī)閥值算法的檢測率達到了74.4%，但仍然低于深度學習方法。

由表1還可以看出，采用的“LED+線激光”雙光源照明實驗的深度學習識別率略低于LED圖像，原因一是“LED+線激光”雙光源照明方法雖然能夠凸顯白色異性纖維信息，但同時丟失了部分圖像顏色信息；原因二是沒有對基于深度學習方法進行光源配置的優(yōu)化。

4 結束語

籽棉中異形纖維檢測是一個值得探索的研究方向。籽棉圖像陰影濃厚，傳統(tǒng)的圖像處理方法很難分割出背景與目標。本文的實驗和分析表明，在LED照明或“LED+線激光”雙光源照明的條件下，相對于常規(guī)的圖像處理方法，基于深度學習和CNN神經網絡的人工智能識別方法識別籽棉中各種異性纖維的能力更強。下一步可研究不同的照明條件和深度學習網絡對棉花中異性纖維檢測的影響，進而優(yōu)化成像系統(tǒng)和圖像的智能識別方法。

參考文獻：

[1] 季宏斌,劉培艷,陳濤. 基于機器視覺技術的機采棉地膜清理機的研制[J]. 中國棉花加工,2010(6):28-31.

JI Hongbin, LIU Peiyan, CHEN Tao.The cleaning machine of mulch film in seed cotton based on machine vision technology[J].China Cotton Processing, 2010(6):28-31.

[2] 古衛(wèi)東,袁龍勝. 淺談MQZS型籽棉三絲清理工藝[J]. 中國棉花加工,2014(2):42-43.

GU Weidong,YUAN Longsheng. The three type of MQZS cotton silk cleaning process[J]. China Cotton Processing, 2014(2):42-43.

[3] 王欣,李道亮,楊文柱,等. 基于可見光機器視覺的棉花偽異性纖維識別方法[J]. 農業(yè)機械學報,2015,46(8):7-14.

WANG Xin,LI Daoliang,YANG Wenzhu,et al. Lint cotton pseudo-foreign fiber detection based on visible spectrum computer vision [J]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(8):7-14.

[4] 王昊鵬,李慧. 基于局部二值模式和灰度共生矩陣的籽棉雜質分類識別[J].農業(yè)工程學報, 2015,31(3):236-241.

WANG Haopeng,LI Hui. Classification recognition of impurities in seed cotton based on local binary pattern and gray level co-occurrence matrix[J]. Transactions of the Chinese Society of Agricultural Engineering, 2015, 31(3):236-241.

[5] 張成梁,李蕾,董全成,等. 基于GA-SVM模型的機采籽棉雜質識別[J]. 農業(yè)工程學報,2016,32(24):189-196.

ZHANG Chengliang, LI Lei, DONG Quancheng,et al. Recognition for machine picking seed cotton impurities based on GA-SVM model[J]. Transactions of the Chinese Society of Agricultural Engineering, 2016,32(24):189-196.

[6] 袁榮昌,孫龍清,董晨曦,等. 基于模糊模式識別的籽棉品級分級模型[J]. 計算機應用,2011,31(8): 2097-2100.

YUAN Rongchang, SUN Longqing, DONG Chenxi, et al. Grading model of seed cotton based on fuzzy pattern recognition[J]. Journal of Computer Applications, 2011,31(8):2097-2100.

[7] 韋平,張林,劉翔,等. 籽棉中異性纖維的雙光源成像檢測方法[J]. 紡織學報,2017,38(4):32-38.

WEI Ping,ZHANG Lin,LIU Xiang， et al. Detecting method of foreign fibers in seed cotton using double illumination imaging[J].Journal of Textile Research, 2017,38(4):32-38.

[8] 李君寶,楊文慧,許劍清,等. 基于深度卷積網絡的SAR圖像目標檢測識別[J].導航定位與授時,2017(1):60-66.

LI Junbao,YANG Wenhui,XU Jianqing,et al. Deep convolutional network based SAR image object detection and recognition[J]. Navigation, Position and Timing, 2017(1):60-66.

[9] HINTON G E, SALAKHUTDINOV R R, et al. Reducing the dimensionality of data with neural net-works[J]. Science, 2006,504(5786):504 - 507.

[10] GIRSHICK R, DONAHUE J, DARRELL T, et al. Region-based convolutional networks for accurate object detection and segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(1):142-158.

[11] GIRSHICK R. Fast R-CNN[C]//Proceedings of the 2015 IEEE International Conference on Computer Vision. Santiago:IEEE, 2015:1440-1448.

[12] REN S Q, HE K M, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017,39(6):1137-1149.

[13] 張慧,王坤峰,王飛躍. 深度學習在目標視覺檢測中的應用進展與展望[J].自動化學報,2017,43(8):1289- 1305.

ZHANG Hui,WANG Kunfeng,WANG Feiyue. Advances and perspectives on applications of deep learning in visual object detection[J]. Acta Automatica Sinica, 2017, 43(8):1289-1305.

[14] 張林,韋平,伍劍波,等. 基于線激光與LED的棉花中異性纖維檢測方法[J]. 農業(yè)工程學報,2016,32(15):289-293.

ZHANG Lin, WEI Ping, WU Jianbo, et al. Detection method of foreign fibers in cotton based on illumination of linelaser and LED[J]. Transactions of the Chinese Society of Agricultural Engineering, 2016,32(15):289-293.

[15] 王冬,尹伯彪,劉翔,等. 棉花中白色異性纖維的線掃描激光成像檢測方法[J]. 農業(yè)工程學報,2015,31(9):310-314.

WANG Dong,YIN Bobiao,LIU Xiang,et al. Laser line scan imaging method for detection of white foreign fibers in cotton[J]. Transactions of the Chinese Society of Agricultural Engineering, 2015,31(9): 310-314.

[16] 劉翔,何相呈,蘇真?zhèn)?等. 棉花中白色異性纖維的激光成像快速檢測方法[J]. 農業(yè)工程學報,2014,30(15):190-196.

LIU Xiang,HE Xiangcheng,SU Zhenwei,et al. Laser imaging method for fast detecting white foreign fibers in cotton[J].Transactions of the Chinese Society of Agricultural Engineering, 2014,30(15): 190-196.