基于卷積神經(jīng)網(wǎng)絡(luò)的天麻表面破損檢測(cè)研究*

夏 敏，孫 鵬，費(fèi)琦琪，趙旭東，楊琳琳

(云南農(nóng)業(yè)大學(xué) 機(jī)電工程學(xué)院，云南 昆明 650201)

天麻(Gastrodia elata Blume)是中國(guó)名貴中藥材，可以治療頭痛眩暈、肢體麻木、小兒驚風(fēng)、癲癇、抽搐和破傷風(fēng)等癥狀，有較高的實(shí)用價(jià)值[1]。但如果天麻不經(jīng)分選直接進(jìn)入銷售市場(chǎng)，會(huì)嚴(yán)重降低其經(jīng)濟(jì)價(jià)值；傳統(tǒng)的人工分選方式，勞動(dòng)強(qiáng)度大、效率低，存在主觀性強(qiáng)、準(zhǔn)確率低和成本高等問(wèn)題，已不能滿足天麻分選的實(shí)際要求。

近幾年隨著人工智能不斷發(fā)展，人工神經(jīng)網(wǎng)絡(luò)和機(jī)器視覺(jué)等方法應(yīng)用越來(lái)越廣泛，利用深度學(xué)習(xí)自動(dòng)從大量樣本中識(shí)別特征并分類圖像的技術(shù)日漸成熟。如付豪等[2]設(shè)計(jì)并搭建基于機(jī)器視覺(jué)的玉米幼苗葉面積檢測(cè)裝置，開(kāi)發(fā)相應(yīng)的圖像采集及處理軟件對(duì)裝置進(jìn)行控制，并對(duì)獲取的玉米幼苗植株圖像進(jìn)行處理，以實(shí)現(xiàn)對(duì)玉米幼苗葉面積的在線無(wú)損檢測(cè)。王佳[3]通過(guò)計(jì)算機(jī)視覺(jué)技術(shù)對(duì)香芋進(jìn)行病害識(shí)別，利用建立的香芋病害數(shù)據(jù)庫(kù)，對(duì)需要識(shí)別的香芋病害進(jìn)行特征提取、病害分析，實(shí)現(xiàn)病害自動(dòng)識(shí)別。趙晶等[4]搭建了基于機(jī)器視覺(jué)的小粒咖啡豆檢測(cè)系統(tǒng)，開(kāi)發(fā)了系統(tǒng)分析與控制軟件，以期實(shí)現(xiàn)小?？Х裙S化生產(chǎn)中果徑寬度和烘焙程度的在線檢測(cè)分級(jí)。王利偉等[5]利用數(shù)字圖像處理相關(guān)技術(shù)對(duì)葡萄葉部白粉病、黑腐病和霜霉病圖像進(jìn)行預(yù)處理以及特征提取，并采用多特征組合的方式通過(guò)支持向量機(jī)(support vector machine)對(duì)病斑進(jìn)行分類識(shí)別測(cè)試。王奕[6]通過(guò)構(gòu)建二維馬鈴薯內(nèi)部病蟲(chóng)害視覺(jué)圖像采集模型，結(jié)合圖像的分塊融合檢測(cè)方法進(jìn)行特征識(shí)別和提取，采用顏色提取分解和紋理分割技術(shù)，實(shí)現(xiàn)對(duì)馬鈴薯內(nèi)部病蟲(chóng)害的特征識(shí)別。張飛云[7]分別提取小麥葉部病害的形狀、顏色和紋理特征參數(shù)，組成多特征參數(shù)，采用矢量量化神經(jīng)網(wǎng)絡(luò)對(duì)小麥病害進(jìn)行分類識(shí)別，算法簡(jiǎn)單，速度快，并且可以達(dá)到很高的識(shí)別率。但現(xiàn)階段的研究重點(diǎn)主要集中在葡萄、馬鈴薯、玉米和香芋等農(nóng)產(chǎn)品，利用機(jī)器視覺(jué)技術(shù)對(duì)天麻表面破損的分選方面缺乏深入研究。

因此本研究提出了一種基于ResNet101[8]的殘差神經(jīng)網(wǎng)絡(luò)方法，主要以腐爛、霉變、機(jī)械損傷及完好4 類天麻為研究對(duì)象，利用ResNet101 網(wǎng)絡(luò)中的輸入卷積層以及4 個(gè)卷積組進(jìn)行特征提取，區(qū)域候選網(wǎng)絡(luò)生成天麻表面破損的初步位置候選框，最終實(shí)現(xiàn)候選框的分類和定位；并與Faster_rcnn_inception、SSD 和Rfcn_resnet101[9]等3 種網(wǎng)絡(luò)的識(shí)別率進(jìn)行了比較，以期取得較好的識(shí)別結(jié)果，為農(nóng)產(chǎn)品檢測(cè)技術(shù)提供借鑒和參考。

1 材料與方法

1.1 試驗(yàn)數(shù)據(jù)

本研究的研究對(duì)象為云南省昭通市冬天麻的霉變、腐爛、機(jī)械損傷和完好4 種表面樣本，對(duì)表面破損圖像進(jìn)行分類識(shí)別。原始圖像總計(jì)700 余張，對(duì)圖像沿順時(shí)針?lè)较蛐D(zhuǎn)0°、90°、180°、270°和鏡像操作，將樣本集擴(kuò)充到3 500 張，訓(xùn)練集[10]2 800 張，測(cè)試集[11]700 張，部分圖像如圖1 所示。利用圖像標(biāo)注工具(Labelimg)標(biāo)記天麻表面破損的類別信息和位置信息。同時(shí)，統(tǒng)一將圖像分辨率修改為224×224 像素，以jpeg 格式導(dǎo)入計(jì)算機(jī)，構(gòu)建天麻表面破損數(shù)據(jù)庫(kù)。

圖1 天麻表面破損樣本圖Fig.1 Samples of surface damage of G.elate

1.2 試驗(yàn)方法

卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)是一種常見(jiàn)的深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)，主要由輸入層、卷積層(convolutional layer)[12]、池化層(pooling layer)[13]、全連接層及輸出層構(gòu)成，由于卷積層中輸出特征面的每一個(gè)神經(jīng)元與輸入的神經(jīng)元局部連接，并且通過(guò)與之對(duì)應(yīng)的權(quán)值和局部輸入進(jìn)行加權(quán)求和，由于多層卷積層和池化層能提取圖像的分類特征，Softmax[14]分類器能實(shí)現(xiàn)圖像分類識(shí)別，因此被廣泛用于圖像識(shí)別相關(guān)領(lǐng)域。

1.2.1 天麻表面破損檢測(cè)模型的基本結(jié)構(gòu)

天麻表面破損檢測(cè)模型利用ResNet101 卷積神經(jīng)網(wǎng)絡(luò)和區(qū)域候選網(wǎng)絡(luò)構(gòu)建，如圖2 所示。首先將處理后的224×224 像素圖像輸入Faster-RCNN[15]，利用ResNet101 網(wǎng)絡(luò)中的輸入卷積層以及4 個(gè)卷積組進(jìn)行特征提取，生成天麻表面破損卷積特征圖。其次將表面破損天麻卷積特征圖輸入?yún)^(qū)域生成網(wǎng)絡(luò)(region proposal network，RPN)，獲得天麻表面破損的初步位置候選框區(qū)域。再將天麻表面破損的初步候選框映射到天麻表面破損卷積特征圖，將其通過(guò)CNN 的感興趣區(qū)域池化層生成固定大小的天麻表面破損特征向量。最后將天麻表面破損特征向量輸入給Faster-R-CNN的2 個(gè)并行全連接層位置的精修層和分類層，最后得到表面破損天麻在圖像中的準(zhǔn)確位置和類別。

圖2 天麻外觀品質(zhì)檢測(cè)模型流程圖Fig.2 Flow chart of inspection model for appearance quality of G.elata

1.2.2 天麻表面破損檢測(cè)模型構(gòu)建

基于ResNet101 模型建立天麻表面破損分選模型。該模型包含1 個(gè)輸入層、5 組卷積層、2 個(gè)池化層、1 個(gè)輸出層和1 個(gè)Softmax 分類器。其中，5 組卷積包含1 個(gè)輸入卷積層33 個(gè)積木塊(building block)，每個(gè)building block 包含3 個(gè)卷積層，加上Softmax 分類層，共101 層。

輸入層[16]采用224×224×3 (H×W×D)大小的天麻樣本，當(dāng)輸入圖像是灰色圖像即單層圖像時(shí)D 為1，當(dāng)輸入圖像為三通道RGB (red，green，blue)圖像[17]時(shí)D 為3；利用特征提取層對(duì)特征進(jìn)行提取時(shí)采用64 個(gè)大小為7×7 的卷積核進(jìn)行特征提取，深度(padding)為3，步長(zhǎng)為2，與輸入層的樣本進(jìn)行卷積得到64 個(gè)大小為112×112 的特征圖，既保證了提取的特征信息量，也最大程度上增加了網(wǎng)絡(luò)運(yùn)算效率；通過(guò)5 組卷積層進(jìn)行卷積計(jì)算，得到最終特征圖為7×7×2 048 和并利用平均池化層[18](average pool)和7×7 的池化核，提取每個(gè)(7×7)的最大或者平均值，即得到的最終輸出為1×1×2 048；通過(guò)Softmax 分類器，得出腐爛樣本、霉變樣本、機(jī)械損傷樣本和完好樣本4 種樣本的訓(xùn)練識(shí)別效率。

2 結(jié)果與分析

參與模型訓(xùn)練的天麻表面破損樣本數(shù)3 500張，其中訓(xùn)練樣本2 800 張，測(cè)試樣本700 張。試驗(yàn)軟件采用tensorflow[19]框架，選用Python[20]為編程語(yǔ)言，進(jìn)行模型訓(xùn)練。

2.1 模型參數(shù)的設(shè)置

為了保證天麻表面破損圖像網(wǎng)絡(luò)模型的收斂速度及訓(xùn)練效果，首先采用變量控制法，經(jīng)試驗(yàn)求得最佳學(xué)習(xí)率值及迭代次數(shù)，試驗(yàn)結(jié)果如表1所示。

表1 設(shè)置不同的模型參數(shù)測(cè)試識(shí)別精度分析表Tab.1 Set different model parameters to test and identify the accuracy analysis table

由表1 可知：設(shè)置初始迭代次數(shù)為100，學(xué)習(xí)率為0.01，模型識(shí)別精度為31.32%；迭代次數(shù)不變，改變學(xué)習(xí)大小，當(dāng)學(xué)習(xí)率為0.003 時(shí)，模型精度最高；選定學(xué)習(xí)率0.003，改變迭代次數(shù)大小，當(dāng)?shù)螖?shù)為3 000 時(shí)，精度達(dá)到最高，高達(dá)96.13%。所以，選定模型參數(shù)學(xué)習(xí)率為0.003，迭代次數(shù)為3 000。

2.2 模型性能變化趨勢(shì)分析

損失函數(shù)[21]是評(píng)價(jià)Faster R-CNN ResNet101網(wǎng)絡(luò)模型對(duì)天麻表面破損識(shí)別的重要性能指標(biāo)。權(quán)重參數(shù)的初始學(xué)習(xí)速率設(shè)置為0.003，經(jīng)過(guò)3 000 次迭代后，分別提取模型3 類損失結(jié)果圖，如圖3 所示。

由圖3 可知：隨著迭代次數(shù)增加，并未出現(xiàn)過(guò)擬合現(xiàn)象，說(shuō)明訓(xùn)練后的模型具有較強(qiáng)的泛化能力，預(yù)測(cè)準(zhǔn)確率較高。在分類損失中，模型迭代到2 000 步左右時(shí)曲線逐漸趨于穩(wěn)定，分類損失值為0.15，說(shuō)明迭代到2 000 步時(shí)分類效果較好；在定位損失中，模型在1 800 步左右時(shí)定位損失值最小為0.20，說(shuō)明迭代到該步數(shù)時(shí)模型對(duì)圖像的定位與實(shí)際位置高度吻合，定位較好；在總損失中，模型在2 500 步時(shí)總損失值最小，曲線趨于平緩且平均識(shí)別率為95.14%，識(shí)別率高，可以有效識(shí)別天麻外觀缺陷。

圖3 迭代損失結(jié)果Fig.3 Iterative loss result

2.3 模型驗(yàn)證分析

為驗(yàn)證天麻表面破損識(shí)別模型的有效性，將測(cè)試集中的圖像輸入到已經(jīng)訓(xùn)練好的表面破損識(shí)別模型進(jìn)行識(shí)別率分析。選取測(cè)試集中700 幅圖像進(jìn)行一次性驗(yàn)證，驗(yàn)證結(jié)果如表2 所示。由表2可知：該模型的腐爛、霉變、機(jī)械損傷和完好樣本的平均識(shí)別率分別為92.93%、95.67%、93.49%、和91.89%，平均識(shí)別率均值為93.42%，查準(zhǔn)率為0.94，召回率為0.92。因此，所設(shè)計(jì)的殘差神經(jīng)網(wǎng)絡(luò)模型對(duì)天麻的腐爛、機(jī)械損傷、霉變和完好的圖像識(shí)別率高，可以準(zhǔn)確識(shí)別出天麻的外觀缺陷，縮短了檢測(cè)時(shí)間，提高了效率。識(shí)別結(jié)果如圖4 所示。

表2 驗(yàn)證結(jié)果Tab.2 Validation results

2.4 模型比較分析

為了表明本模型方法的優(yōu)越性，用本模型方法與SSD、Faster_rcnn_inception 與Rfcn_resnet101 3 種傳統(tǒng)神經(jīng)網(wǎng)絡(luò)識(shí)別方法進(jìn)行對(duì)比，如圖5所示。

由圖5 所示：本文提出的Fster R-CNN Resnet101 模型相較其他3 種模型隨著迭代次數(shù)的增加損失函數(shù)值逐漸降低，其損失值最低，該模型平均識(shí)別率為 95.14%。SSD、Faster_rcnn_inception 和Rfcn_ResNet101 的平均識(shí)別率分別為82.12%、84.45%和83.12%。相較于3 種模型，F(xiàn)aster R-CNN Resnet101 的識(shí)別率分別提高了13.02%和10.69%、12.02%，說(shuō)明Faster R-CNN ResNet101 網(wǎng)絡(luò)模型能快速準(zhǔn)確定位識(shí)別目標(biāo)。

圖4 驗(yàn)證結(jié)果Fig.4 Validation results

3 討論

本研究針對(duì)傳統(tǒng)天麻表面破損檢測(cè)主要依靠人工檢測(cè)的問(wèn)題，提出將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于天麻的表面破損識(shí)別中，建立了Faster R-CNN Res-Net101 的殘差神經(jīng)網(wǎng)絡(luò)天麻表面破損識(shí)別模型。

通過(guò)采集天麻4 種表面破損圖像，將采集到圖像進(jìn)預(yù)處理；通過(guò)CNN 結(jié)構(gòu)進(jìn)行圖像的特征提取，并生成特征圖，再將產(chǎn)生的特征圖利用RPN 網(wǎng)絡(luò)生成候選區(qū)域，并在池化層(ROI)將特征圖和候選區(qū)域進(jìn)行特征映射，最后進(jìn)行分類和回歸。Faster R-CNN ResNet101 網(wǎng)絡(luò)模型的平均識(shí)別準(zhǔn)確率為95.14%。

利用測(cè)試集進(jìn)行測(cè)試時(shí)，該模型對(duì)腐爛、霉變、機(jī)械損傷和完好的樣本識(shí)別的識(shí)別率分別為92.93%、95.67%、93.49%和91.89%，平均識(shí)別率為93.42%，查準(zhǔn)率為0.94，召回率為0.92。結(jié)果表明該模型針對(duì)天麻表面破損的實(shí)際問(wèn)題，能一次性分選出腐爛、霉變、機(jī)械損傷和完好的天麻，精度高、處理速度快，一定程度上避免了常規(guī)方法中由人工主觀選取特征的不足。

通過(guò)與SSD、Faster_rcnn_inception 與Rfcn_resnet101 相比，F(xiàn)aster R-CNN ResNet101 識(shí)別率最高為95.14%，相對(duì)其他3 種網(wǎng)絡(luò)模型識(shí)別率提高了11%左右。

由于本研究只對(duì)天麻的4 種常見(jiàn)表面樣品進(jìn)行了研究分析，存在一定的局限性，為了使模型能更好地推廣應(yīng)用在農(nóng)產(chǎn)品中，下一步工作將收集大量的天麻表面破損圖像，對(duì)模型進(jìn)行優(yōu)化和調(diào)整，以提高天麻表面破損圖像識(shí)別的實(shí)用性和準(zhǔn)確性。

4 結(jié)論

本文針對(duì)傳統(tǒng)天麻表面破損主要依靠人工檢測(cè)的問(wèn)題，提出利用殘差神經(jīng)網(wǎng)絡(luò)模型檢測(cè)方法識(shí)別天麻表面破損，平均識(shí)別率達(dá)95.14%，查準(zhǔn)率為0.94，召回率為0.92。與SSD、Faster_rcnn_inception 和Rfcn_resnet101 三種神經(jīng)網(wǎng)絡(luò)識(shí)別方法對(duì)比，識(shí)別精度分別提高了13.02%、10.69%和12.02%。該神經(jīng)網(wǎng)絡(luò)模型具有泛化能力強(qiáng)、準(zhǔn)確率較高和魯棒性較好等特點(diǎn)，為天麻表面破損的自動(dòng)化檢測(cè)研究提供了參考和借鑒。