基于知識(shí)蒸餾的胡蘿卜外觀品質(zhì)等級(jí)智能檢測(cè)

倪建功，李 娟，鄧立苗，韓仲志

基于知識(shí)蒸餾的胡蘿卜外觀品質(zhì)等級(jí)智能檢測(cè)

倪建功，李 娟，鄧立苗，韓仲志※

（青島農(nóng)業(yè)大學(xué)理學(xué)與信息科學(xué)學(xué)院，青島 266109）

胡蘿卜等級(jí)分類是提高胡蘿卜市場(chǎng)競(jìng)爭(zhēng)力的關(guān)鍵環(huán)節(jié)。傳統(tǒng)的胡蘿卜外部缺陷檢測(cè)采用特征提取+分類器模式，需要手工定義特征，客觀性差。為了解決上述問題，該研究提出一種基于知識(shí)蒸餾的網(wǎng)絡(luò)模型，通過引入教師模型來指導(dǎo)學(xué)生模型的訓(xùn)練，在保證準(zhǔn)確率的情況下減少網(wǎng)絡(luò)模型的參數(shù)量和運(yùn)行時(shí)間消耗。該試驗(yàn)采集了外觀無缺陷以及黑斑、彎曲、帶須根的四類胡蘿卜樣本圖片，將其導(dǎo)入網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練。通過使用Resnet34、Resnet50、Resnet101這3個(gè)不同教師模型來指導(dǎo)學(xué)生模型Resnet18的訓(xùn)練，蒸餾模型平均準(zhǔn)確率從94.3%分別提高到94.8%、95.2%、95.8%，其中Resnet101模型指導(dǎo)的Resnet18模型中正常胡蘿卜識(shí)別率提高到100%，正常、黑斑、須根識(shí)別率提高約2%，模型訓(xùn)練時(shí)間為11.3 h。此外，傳統(tǒng)Resnet50模型和Resnet101模型對(duì)數(shù)據(jù)集的識(shí)別準(zhǔn)確率分別是96.3%和96.9%，模型訓(xùn)練時(shí)間分別是19.3和31.3 h。試驗(yàn)發(fā)現(xiàn)：蒸餾模型識(shí)別率大幅優(yōu)于基于特征提取+分類器的傳統(tǒng)模型，且隨著教師模型網(wǎng)絡(luò)深度的增加，模型識(shí)別率也進(jìn)一步提高。從模型訓(xùn)練時(shí)間和模型部署上考慮，知識(shí)蒸餾是很有必要的，通過犧牲小部分準(zhǔn)確率可以大大縮短模型訓(xùn)練時(shí)間和降低模型部署成本。該研究所提出的知識(shí)蒸餾模型作為一種輕量級(jí)前端部署方法，對(duì)于改進(jìn)胡蘿卜外觀品質(zhì)自動(dòng)檢測(cè)裝置的性能具有積極意義。

深度學(xué)習(xí)；模型；品質(zhì)控制；胡蘿卜；等級(jí)分類；知識(shí)蒸餾

0 引 言

胡蘿卜是全球性十大蔬菜作物之一，適應(yīng)性強(qiáng)，產(chǎn)量大，種植十分普遍。在亞洲、歐洲和美洲分布最多，其中中國(guó)是世界上第一大胡蘿卜生產(chǎn)國(guó)[1]。2017年，世界胡蘿卜產(chǎn)量達(dá)到4 283.19萬t，其中中國(guó)產(chǎn)量達(dá)到2 027.43萬t，接近世界總產(chǎn)量的一半。胡蘿卜營(yíng)養(yǎng)豐富，富含胡蘿卜素和膳食纖維等多種營(yíng)養(yǎng)物質(zhì)，具有提高機(jī)體免疫力、促進(jìn)新陳代謝等功效[2]。然而，褐斑病、黑斑病等病害對(duì)胡蘿卜的營(yíng)養(yǎng)價(jià)值和外觀品質(zhì)影響較大[3]。因此，胡蘿卜的外觀品質(zhì)檢測(cè)是必不可少的。目前，大多數(shù)胡蘿卜生產(chǎn)加工企業(yè)主要采用手工分揀方式，這種方式效率低、主觀性強(qiáng)、標(biāo)準(zhǔn)寬松，不適合大規(guī)模生產(chǎn)和推廣。使用智能化的方法對(duì)胡蘿卜進(jìn)行等級(jí)分類可以大大提高胡蘿卜的市場(chǎng)競(jìng)爭(zhēng)力，提高企業(yè)和種植戶的效率[4]。因此，迫切需要一種智能化的技術(shù)解決胡蘿卜外觀品質(zhì)分類問題。

近年來，國(guó)內(nèi)外研究人員開始利用圖像處理技術(shù)對(duì)果蔬品質(zhì)進(jìn)行自動(dòng)檢測(cè)和分級(jí)[5]。但是這些研究主要集中于西紅柿[6]、蘋果[7]等相對(duì)容易處理的球形果蔬上，對(duì)胡蘿卜等非球形果蔬的研究還處于不成熟階段。Xie等[8]使用手動(dòng)提取胡蘿卜的圖像特征參數(shù)，提出了一種基于機(jī)器視覺的胡蘿卜表面缺陷關(guān)鍵參數(shù)提取算法將胡蘿卜分為4個(gè)不同的等級(jí)，準(zhǔn)確率為86.67%。韓仲志等[9]使用計(jì)算機(jī)視覺技術(shù)來檢測(cè)胡蘿卜青頭、須根與開裂情況。鄧麗苗等[10]使用圖像處理技術(shù)，通過構(gòu)建影響胡蘿卜分級(jí)的關(guān)鍵特征參數(shù)來實(shí)現(xiàn)胡蘿卜須根、彎曲、開裂的檢測(cè)，并自主研發(fā)一條胡蘿卜智能分選機(jī)生產(chǎn)線，可以實(shí)現(xiàn)不同等級(jí)胡蘿卜的在線分選。上述均為特征提取+分類器方法，平均識(shí)別率在85%左右，手工定義特征的非客觀性限制了識(shí)別率的提高。這種方法需要對(duì)每一類胡蘿卜構(gòu)建大量特征標(biāo)準(zhǔn)，工作量大且泛化能力不足。

深度學(xué)習(xí)是近年來一種熱門的模式分析方法，廣泛應(yīng)用于語音識(shí)別[11-12]、人臉識(shí)別[13]、圖像分類[14]、行為分析[15-16]等工業(yè)領(lǐng)域中，而且也開始應(yīng)用于農(nóng)業(yè)領(lǐng)域[17-19]。已經(jīng)有研究者將其應(yīng)用于糧食[20-21]、水果[22-23]、蔬菜[24-25]等農(nóng)產(chǎn)品的目標(biāo)檢測(cè)和質(zhì)量評(píng)價(jià)。楊彩霞等[26]利用深度卷積網(wǎng)絡(luò)對(duì)外觀無缺陷以及存在開裂、分枝和高刺缺陷的胡蘿卜進(jìn)行檢測(cè)，準(zhǔn)確率可以達(dá)到91.6%。深度神經(jīng)網(wǎng)絡(luò)高準(zhǔn)確率的實(shí)現(xiàn)主要是依賴對(duì)更深和更廣的網(wǎng)絡(luò)結(jié)構(gòu)的探索研究。盡管現(xiàn)代深度神經(jīng)網(wǎng)絡(luò)的性能有了顯著的提高，但是在模型訓(xùn)練時(shí)，仍然需要從巨大且冗余的數(shù)據(jù)中提取特征結(jié)構(gòu)。通常情況下不考慮實(shí)時(shí)性要求，最后訓(xùn)練得到的模型參數(shù)量較多。由于計(jì)算資源和延遲的限制，深度神經(jīng)網(wǎng)絡(luò)較難在實(shí)際中得到應(yīng)用。

Hinton等[27]最早提出知識(shí)蒸餾的思想，核心思想是利用一個(gè)大而準(zhǔn)確的教師模型來指導(dǎo)一個(gè)小而快速的學(xué)生模型。本研究基于這一思想，嘗試使用Resnet101[28]等模型為教師模型來指導(dǎo)Resnet18模型的訓(xùn)練，并將其首次應(yīng)用于胡蘿卜智能分選機(jī)生產(chǎn)線。通過知識(shí)蒸餾，使得到的模型能夠在保證準(zhǔn)確率的情況下減小網(wǎng)絡(luò)模型的參數(shù)量和模型運(yùn)行時(shí)間消耗，在犧牲少許準(zhǔn)確率的基礎(chǔ)上，大幅降低部署模型的成本。作為一種輕量化前端部署模型，特別適合于實(shí)際生產(chǎn)線應(yīng)用。

1 材料與方法

1.1 材料與設(shè)備

本研究所用胡蘿卜來自山東省青島市萊西市店埠鎮(zhèn)。采用特征提取+分類器[9]的胡蘿卜智能分選機(jī)生產(chǎn)線[10]進(jìn)行試驗(yàn)（如圖1），所有圖像均采集于該生產(chǎn)線，圖像包括4類不同品質(zhì)的胡蘿卜，具體為正常、彎曲、黑斑和帶須根胡蘿卜，如圖2所示。這4類不同品質(zhì)的胡蘿卜的分類參考中華人民共和國(guó)農(nóng)業(yè)部NY/T 1983—2011胡蘿卜等級(jí)規(guī)格標(biāo)準(zhǔn)[29]劃分。其中彎曲、黑斑、帶須根的胡蘿卜是次品樣本，與正常胡蘿卜相比，都存在一定的缺陷。該生產(chǎn)線追求正品樣本識(shí)別率，混入次品可再次人工分揀。

1.上料機(jī) 2.圖像處理系統(tǒng) 3.圖像采集系統(tǒng) 4.傳送系統(tǒng) 5.分級(jí)系統(tǒng) 6.相機(jī) 7.真實(shí)物料 8.鏡子 9.虛像

生產(chǎn)線實(shí)時(shí)采集圖像，圖像處理所用計(jì)算機(jī)主要性能指標(biāo)為：聯(lián)想E580，配置為Intel(R)Core(TM) i5-8250U CPU @ 1.60GHz-1.80GHz，16.0G RAM，Windows10 操作系統(tǒng)。采用Python3.6下 PyTorch1.1框架實(shí)現(xiàn)相關(guān)模型。數(shù)據(jù)采集由圖像采集系統(tǒng)獲取，圖像采集系統(tǒng)原理圖如圖1所示。圖像采集系統(tǒng)由一個(gè)照明室、一個(gè)線陣相機(jī)、兩個(gè)角度約為135°的鏡子和圓形LED燈條組成。其中線陣相機(jī)位于照明室頂部，圓形LED燈條位于線陣相機(jī)下方環(huán)繞分布，鏡子位于胡蘿卜的下方呈對(duì)稱分布，這樣相機(jī)就可以獲得3幅圖像（1幅真實(shí)圖像和2幅鏡子圖像），得到完整的胡蘿卜信息。圖像采集系統(tǒng)位于分選機(jī)中間部位，如圖1中虛線框所示。試驗(yàn)采集的圖像約3 266張，基本可以滿足神經(jīng)網(wǎng)絡(luò)訓(xùn)練需要，所以沒有對(duì)數(shù)據(jù)進(jìn)行擴(kuò)增處理。為了更好的反映各類不同胡蘿卜的數(shù)據(jù)分布，對(duì)各類胡蘿卜數(shù)據(jù)的數(shù)量進(jìn)行了統(tǒng)計(jì)，如表1所示。

圖2 4類胡蘿卜的示意圖

表1 4類胡蘿卜的數(shù)量分布

1.2 方 法

采用知識(shí)蒸餾的思想構(gòu)建3個(gè)知識(shí)蒸餾模型。利用教師模型來指導(dǎo)學(xué)生模型的訓(xùn)練，其中教師模型是一種大規(guī)模，參數(shù)量大的復(fù)雜網(wǎng)絡(luò)模型；學(xué)生模型是一種小規(guī)模，參數(shù)量小的精簡(jiǎn)網(wǎng)絡(luò)模型。通過誘導(dǎo)訓(xùn)練，實(shí)現(xiàn)小模型得到高準(zhǔn)確率的效果。訓(xùn)練方式如圖3所示。

首先，訓(xùn)練教師模型，讓其對(duì)目標(biāo)數(shù)據(jù)集進(jìn)行識(shí)別，并學(xué)習(xí)樣本中的屬性知識(shí)。然后，選擇胡蘿卜數(shù)據(jù)集，將教師模型中l(wèi)ogits輸出除以參數(shù)之后做Softmax計(jì)算，得到soft labels值。之后，將數(shù)據(jù)集數(shù)輸入到學(xué)生模型中，重復(fù)教師模型相同的操作并得到logits輸出，而后分成兩步計(jì)算：一是除以與教師模型相同的參數(shù)之后做Softmax計(jì)算，得到soft predictions，此輸出與soft labels比較；二是做Softmax計(jì)算后，得出預(yù)測(cè)值，此預(yù)測(cè)值與Ture labels進(jìn)行比較。兩部分損失函數(shù)相加，得到總的損失函數(shù)KD Loss。計(jì)算損失函數(shù)，梯度下降，更新參數(shù)。

例如，體育項(xiàng)目“擲鉛球”是一項(xiàng)力量運(yùn)動(dòng)，在教學(xué)擲鉛球的技術(shù)動(dòng)作時(shí)，體育老師不僅要演示手托鉛球，身體微傾，用力蹬轉(zhuǎn)，使勁擲出的動(dòng)作要領(lǐng)，并且要邊講解邊示范，還要關(guān)注鉛球出手后的飛行軌跡，對(duì)于這一系列的動(dòng)作拆解，老師若運(yùn)用標(biāo)準(zhǔn)鉛球作示范演示，無論是老師的體力還是學(xué)生的安全都得不到保障，且容易出現(xiàn)動(dòng)作變形，飛行偏離正常的軌跡，基于標(biāo)準(zhǔn)鉛球較重的原因，老師不妨用較輕的實(shí)心球來取代，讓學(xué)生在老師的反復(fù)講解和示范演示中掌握擲鉛球的動(dòng)作要領(lǐng)，也可避免老師因體力不支而出現(xiàn)示范動(dòng)作變形的情況。

1.2.1 知識(shí)蒸餾

神經(jīng)網(wǎng)絡(luò)的“softmax”輸出層會(huì)將前面的卷積層得到的預(yù)測(cè)結(jié)果轉(zhuǎn)化為概率值。該層會(huì)對(duì)預(yù)測(cè)結(jié)果取自然對(duì)數(shù)得到某一類的logit值Z，通過與所有類的logit值Z進(jìn)行比較，生成這個(gè)類的概率p；知識(shí)蒸餾通過對(duì)其進(jìn)行修改，增加一個(gè)系數(shù)，使得輸出層會(huì)產(chǎn)生一個(gè)“軟化”后的概率向量q

其中為溫度系數(shù)。隨著參數(shù)的增大，對(duì)應(yīng)的分布概率越平緩。教師網(wǎng)絡(luò)的預(yù)測(cè)輸出結(jié)果除以溫度參數(shù)之后再做softmax變換，可以獲得軟化后的概率分布q，用于之后KD Loss的計(jì)算。

1.2.2 殘差學(xué)習(xí)

通常在深度學(xué)習(xí)中，深度卷積網(wǎng)絡(luò)能夠整合高中低不同層次的特征，特征的層次通過加深網(wǎng)絡(luò)的層次來豐富。所以現(xiàn)在的深度學(xué)習(xí)模型越來越傾向于使用更深層的網(wǎng)絡(luò)結(jié)構(gòu)，以便于得到不同層次的特征，從而提高網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率。在使用深層次的網(wǎng)絡(luò)結(jié)構(gòu)時(shí)，通常會(huì)遇到梯度消失和網(wǎng)絡(luò)退化的問題。Resnet系列網(wǎng)絡(luò)的出現(xiàn)很好地解決了這個(gè)問題，并且可以提高網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率。解決這些問題的原因在于提出了殘差學(xué)習(xí)[23]單元這一模塊，它可以很好的解決網(wǎng)絡(luò)退化問題，殘差學(xué)習(xí)單元結(jié)構(gòu)如圖3所示。通過圖3可以得到

其中為下層輸出，()為上層輸入通過恒等映射（Identity Mapping）直接在輸入和輸出之間建立的一條關(guān)聯(lián)通道，從而可以學(xué)習(xí)到輸入和輸出之間的殘差。

圖3 知識(shí)蒸餾流程圖

1.2.3 損失函數(shù)

式中KL為相對(duì)熵，CE為交叉熵，為教師模型輸出經(jīng)過蒸餾后的結(jié)果，m為學(xué)生模型中的 soft predictions，m為學(xué)生模型中hard predictions經(jīng)過蒸餾后的結(jié)果，label 為數(shù)據(jù)集的真實(shí)標(biāo)簽，Lambda為比例系數(shù)。當(dāng)系數(shù)Lambda為0時(shí)，KD Loss = CE(label，m)，混合損失函數(shù)相當(dāng)于沒有使用知識(shí)蒸餾，只使用交叉熵?fù)p失函數(shù)的深度卷積神經(jīng)網(wǎng)絡(luò)。

2 結(jié)果與分析

2.1 預(yù)訓(xùn)練模型參數(shù)與可視化

4個(gè)網(wǎng)絡(luò)模型Resnet18、Resnet34、Resnet50、Resnet101的參數(shù)[28]如表2所示，其中深度是指該網(wǎng)絡(luò)模型所具有的層數(shù)，層數(shù)越多代表網(wǎng)絡(luò)深度越深，其性能也越好；大小是指模型存儲(chǔ)所需要的空間大小；計(jì)算力就是模型進(jìn)行參數(shù)運(yùn)算的次數(shù)，其數(shù)值越大代表模型參數(shù)量越大，模型越復(fù)雜；輸入尺寸是指網(wǎng)絡(luò)模型輸入層要求的圖片尺寸大小。

表2 模型的基本參數(shù)

通過對(duì)卷積層進(jìn)行特征可視化，可以更好地理解模型的運(yùn)行過程。從淺層到深層選擇卷積層進(jìn)行可視化，結(jié)果如圖4所示。神經(jīng)網(wǎng)絡(luò)的前面卷積層為淺層卷積層，后面的卷積層為深層卷積層，它們所關(guān)注的重點(diǎn)不同。圖4中，每一個(gè)小圖由不同卷積層可視化得到，它們按照從淺層到深層遞增的順序排序。從圖中可以看出圖像的形狀越來越不明顯，因?yàn)闇\層的卷積層提取的特征強(qiáng)調(diào)的是紋理、細(xì)節(jié)信息，物體的基本形狀能夠比較清晰地展現(xiàn)出來。隨著層數(shù)的增加，將會(huì)提取更多的抽象特征，通過更多的變換操作來更加完整地描述一個(gè)物體[30]。相對(duì)而言，層數(shù)越深，提取的特征越具有代表性。通過對(duì)網(wǎng)絡(luò)的可視化，可以更好地了解網(wǎng)絡(luò)對(duì)物體進(jìn)行識(shí)別時(shí)所著重關(guān)注的地方，圖像越亮的區(qū)域表示特征越明顯。

2.2 蒸餾模型訓(xùn)練測(cè)試結(jié)果

首先將所有樣本隨機(jī)排序。選取其中2 286個(gè)樣本作為訓(xùn)練集，將數(shù)據(jù)集導(dǎo)入到Resnet18中進(jìn)行模型的訓(xùn)練。剩下的980個(gè)樣本作為測(cè)試集來驗(yàn)證模型的性能。訓(xùn)練過程中先采用SGD優(yōu)化器對(duì)模型進(jìn)行優(yōu)化，再采用梯度下降法對(duì)模型進(jìn)行精調(diào)，設(shè)置初始學(xué)習(xí)率為0.001，批尺寸為8。經(jīng)過20個(gè)迭代后，模型KD Loss曲線趨于穩(wěn)定，訓(xùn)練停止。訓(xùn)練完成后將其在測(cè)試集上進(jìn)行測(cè)試，識(shí)別準(zhǔn)確率為94.3%。

圖4 特征可視化結(jié)果

作為對(duì)照試驗(yàn)，通過知識(shí)蒸餾使用Resnet34、Resnet50、Resnet101等3個(gè)網(wǎng)絡(luò)來指導(dǎo)Resnet18進(jìn)行模型的訓(xùn)練，同樣選取其中2 286個(gè)樣本作為訓(xùn)練集，進(jìn)行模型的訓(xùn)練。剩下的980個(gè)樣本作為測(cè)試集，與原先只使用Resnet18網(wǎng)絡(luò)的結(jié)果進(jìn)行對(duì)比，來驗(yàn)證知識(shí)蒸餾后模型的性能。使用Resnet18和分別使用Resnet34、Resnet50、Resnet101對(duì)Resnet18知識(shí)蒸餾后模型對(duì)胡蘿卜進(jìn)行訓(xùn)練和識(shí)別，4個(gè)模型訓(xùn)練和識(shí)別結(jié)果如圖5所示。

圖5 模型訓(xùn)練結(jié)果圖

表3 Resnet101網(wǎng)絡(luò)分類結(jié)果的混淆矩陣

其中使用Resnet101作為教師模型作為指導(dǎo)模型對(duì)980個(gè)未經(jīng)模型訓(xùn)練的樣本進(jìn)行預(yù)測(cè)試驗(yàn)，準(zhǔn)確率最高，達(dá)到了95.8%。模型分類的混淆矩陣如表3所示。通過混淆矩陣可以看出，模型對(duì)4類胡蘿卜的識(shí)別準(zhǔn)確率都是很高的。尤其是對(duì)正常胡蘿卜的分類，分類準(zhǔn)確率達(dá)到了100%，即使是對(duì)黑斑類胡蘿卜的分類準(zhǔn)確率也達(dá)到了90.9%，這說明模型是有效的。同時(shí)也可以看到，對(duì)模型最大的干擾來自于黑斑和彎曲這兩類之間的誤判。

2.3 知識(shí)蒸餾前后模型的影響

為了驗(yàn)證不同深度的網(wǎng)絡(luò)模型作為教師模型對(duì)學(xué)生模型準(zhǔn)確率的影響，分別利用Resnet34、Resnet50、Resnet101作為教師模型來指導(dǎo)學(xué)生模型Resnet18的訓(xùn)練，3種教師模型蒸餾前后識(shí)別結(jié)果匯總?cè)绫?所示。

通過試驗(yàn)結(jié)果可以發(fā)現(xiàn)，知識(shí)蒸餾技術(shù)后單一類準(zhǔn)確率及平均準(zhǔn)確率都有提升，單一類準(zhǔn)確率最高提高了2.3%，平均準(zhǔn)確率最高提高了1.5%。這是在原有網(wǎng)絡(luò)沒有使用知識(shí)蒸餾前識(shí)別準(zhǔn)確率已經(jīng)很高的基礎(chǔ)上帶來的提高，這說明通過知識(shí)蒸餾技術(shù)，學(xué)生模型可以充分吸收教師模型中獲取的知識(shí)，獲得本身所忽略的一些信息，從而在準(zhǔn)確率上獲得一定的提高。此外，通過對(duì)數(shù)據(jù)集的深入分析，可以發(fā)現(xiàn)在4類胡蘿卜中黑斑類的胡蘿卜的識(shí)別率最低，這可能是因?yàn)楹诎弑容^小或者顏色比較淺，給網(wǎng)絡(luò)識(shí)別帶來了困難，這是在今后的研究中要特別關(guān)注的。

表4 知識(shí)蒸餾前后的準(zhǔn)確率對(duì)比結(jié)果

采用不同深度的教師模型指導(dǎo)學(xué)生模型，來驗(yàn)證不同深度教師模型對(duì)學(xué)生模型的指導(dǎo)能力大小，平均識(shí)別率結(jié)果如表4所示。通過表4可以看出，隨著教師模型網(wǎng)絡(luò)深度的加深，識(shí)別準(zhǔn)確率也越來越高。當(dāng)教師網(wǎng)絡(luò)為Resnet101時(shí)，學(xué)生模型的準(zhǔn)確率最高。這說明通過使用層數(shù)更深的網(wǎng)絡(luò)作為教師網(wǎng)絡(luò)可以有效提高學(xué)生網(wǎng)絡(luò)的識(shí)別能力。同時(shí)，從表4可以看出，針對(duì)不同品質(zhì)特征（正常、彎曲、黑斑、帶須根）蒸餾操作對(duì)識(shí)別效果影響不同，其中3種模型的蒸餾操作對(duì)黑斑類胡蘿卜均不起作用，其模型的失效機(jī)理有待深入研究。

試驗(yàn)發(fā)現(xiàn)，當(dāng)教師模型為Resnet101時(shí)，學(xué)生模型Resnet18的識(shí)別準(zhǔn)確率最高，準(zhǔn)確率為95.8%。將它與傳統(tǒng)的resnnet50和Resnet101模型的準(zhǔn)確率等進(jìn)行比較，匯總結(jié)果如表5所示。通過表5可以看到，在參數(shù)方面，Resnet50 模型的參數(shù)量是Resnet18模型的2.19倍，Resnet101模型的參數(shù)量是Resnet18模型的3.81倍。參數(shù)量越多意味著模型越大，部署到相應(yīng)設(shè)備上就越困難；在訓(xùn)練時(shí)間上，蒸餾后的Resnet18的總訓(xùn)練時(shí)間為11.3 h，Resnet50的總訓(xùn)練時(shí)間是Resnet18的1.71倍，Resnet101的總訓(xùn)練時(shí)間是Resnet18的2.77倍；在準(zhǔn)確率方面，蒸餾后的Resnet18模型的準(zhǔn)確率為95.8%，Resnet50模型的準(zhǔn)確率為96.3%，Resnet101模型的準(zhǔn)確率為96.9%。通過對(duì)比可以發(fā)現(xiàn)在知識(shí)蒸餾后，Resnet18這一小模型的準(zhǔn)確率可以接近Resnet50和Resnet101這些大模型的準(zhǔn)確率。從模型訓(xùn)練時(shí)間和模型部署上考慮，知識(shí)蒸餾是很有必要的，通過犧牲小部分準(zhǔn)確率可以大大縮短模型訓(xùn)練時(shí)間和降低模型部署成本。

表5 模型使用知識(shí)蒸餾與未使用知識(shí)蒸餾的對(duì)比

3 討 論

本試驗(yàn)基于知識(shí)蒸餾對(duì)4種不同品質(zhì)的胡蘿卜進(jìn)行等級(jí)檢測(cè)。使用不同教師模型來指導(dǎo)學(xué)生模型的訓(xùn)練，從而獲得更高的準(zhǔn)確率。本試驗(yàn)中，當(dāng)教師模型為Resnet101時(shí)，學(xué)生模型Resnet18的試驗(yàn)結(jié)果較好，這說明越復(fù)雜的教師模型對(duì)學(xué)生模型的指導(dǎo)能力越好。試驗(yàn)結(jié)果表明，相對(duì)于傳統(tǒng)機(jī)器學(xué)習(xí)方法，本試驗(yàn)所使用方法對(duì)檢測(cè)不同等級(jí)的胡蘿卜是更具有優(yōu)勢(shì)的。

在采集胡蘿卜數(shù)據(jù)集的時(shí)候發(fā)現(xiàn)有一些胡蘿卜既具有黑斑，本身又帶須根，這是多目標(biāo)識(shí)別問題，給模型的識(shí)別造成了困難。在實(shí)際生活中，這種情況是存在且無法避免的，因?yàn)橄鄬?duì)于工業(yè)產(chǎn)品來說，農(nóng)產(chǎn)品具有多樣性，沒有一個(gè)統(tǒng)一標(biāo)準(zhǔn)來界定。因此通過收集大批量數(shù)據(jù)集來處理這個(gè)問題，當(dāng)上述特殊的胡蘿卜的數(shù)量遠(yuǎn)小于正常的數(shù)量時(shí)，這些具有兩種特性的胡蘿卜對(duì)模型識(shí)別的干擾也就會(huì)降到最低。在對(duì)試驗(yàn)結(jié)果進(jìn)行分析時(shí)，發(fā)現(xiàn)模型的誤判大多集中在黑斑和彎曲這兩類之間。這可能是因?yàn)橛械暮诎哳惡}卜黑斑不夠明顯和本身有些彎曲，或者是拍照時(shí)光線原因造成了分類錯(cuò)誤。實(shí)際應(yīng)用中因?yàn)檫@兩類都是次品，對(duì)正品分類影響不大。

考慮到有缺陷的中彎曲和帶須根相對(duì)于正常的來說，它們只是在果形上存在一定缺陷，但是不影響食用，而帶黑斑的是不能食用的。所以本研究把它們分為4類，目的是更加準(zhǔn)確的對(duì)胡蘿卜進(jìn)行分級(jí)。等級(jí)分類越細(xì)化，其經(jīng)濟(jì)價(jià)值轉(zhuǎn)化就更大。此外，本試驗(yàn)只分類了4類不同等級(jí)的胡蘿卜，這在實(shí)際中是不夠充分的，下一步應(yīng)該考慮擴(kuò)大要檢測(cè)的胡蘿卜類型。比如說，胡蘿卜損傷檢測(cè)和其他不規(guī)則胡蘿卜的也是十分有必要的。對(duì)于這些類別的胡蘿卜，其核心思想與本研究一致。通過采集對(duì)應(yīng)的數(shù)據(jù)集，導(dǎo)入網(wǎng)絡(luò)訓(xùn)練后就可以進(jìn)行相應(yīng)分級(jí)。同時(shí)，在試驗(yàn)過程中采用的都是Resnet101一系列的網(wǎng)絡(luò)模型，這可能造成了相類似的模型之間所學(xué)習(xí)到的特征也是類似的，進(jìn)而導(dǎo)致存在許多沒有利用起來的特征。一些文獻(xiàn)中提到了通過調(diào)整模型參數(shù)等來提高模型的準(zhǔn)確率，比如說更換不同的優(yōu)化器、調(diào)整學(xué)習(xí)率等。上述問題將是課題組下一步要研究的內(nèi)容。

4 結(jié) 論

本研究針對(duì)神經(jīng)網(wǎng)絡(luò)訓(xùn)練中模型數(shù)據(jù)利用率不充分和模型過大的問題，提出使用知識(shí)蒸餾技術(shù)建立了識(shí)別4種不同等級(jí)的胡蘿卜的分類模型。主要結(jié)論如下：

1）通過使用不同的教師模型優(yōu)化，使用混合損失函數(shù)，提高了網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率。對(duì)試驗(yàn)隨機(jī)采集的980個(gè)胡蘿卜圖像的測(cè)試，平均準(zhǔn)確率達(dá)到了95.8%。

2）當(dāng)教師模型為Resnet101時(shí)，學(xué)生模型Resnet18的試驗(yàn)準(zhǔn)確率為95.8%。相比較未蒸餾前的94.3%，模型平均準(zhǔn)確率提高1.5%，蒸餾后模型訓(xùn)練時(shí)間也相應(yīng)的得到了減少，說明該研究所使用的方法是可行的。

3）通過知識(shí)蒸餾可以使得一個(gè)小的模型準(zhǔn)確率接近大的模型的準(zhǔn)確率，這在模型部署及實(shí)際生產(chǎn)線應(yīng)用是十分重要的。

[1]譚國(guó)飛，王楓，馬靜，等. 室溫貯藏過程中胡蘿卜口感及部分營(yíng)養(yǎng)成分含量變化[J]. 植物資源與環(huán)境學(xué)報(bào)，2014，23(1)：107-109. Tan Guofei, Wang Feng, Ma Jing, et al. Changes of taste and content of some nutritional components of carrot during storage period under room temperature[J]. Journal of Plant Resources and Environment, 2014, 23(1): 107-109. (in Chinese with English abstract)

[2]易建勇，侯春輝，畢金峰，等. 果蔬食品中類胡蘿卜素生物利用度研究進(jìn)展[J]. 中國(guó)食品學(xué)報(bào)，2019，19(9)：286-297. Yi Jianyong, Hou Chunhui, Bi Jinfeng, et al. Review on carotenoid bioavailability in fruit and vegetable products[J]. Journal of Chinese Institute of Food Science and Technology, 2019, 19(9): 286-297. (in Chinese with English abstract)

[3]Watson A, Pung H, Hall B H. Managing leaf diseases of carrots with traditional and alternative fungicides including baseline sensitivity studies[J]. Crop Protection, 2017, 93: 52-59.

[4]Xie W, Wang F, Yang D. Research on carrot surface defect detection methods based on machine vision[J]. IFAC-PapersOnLine, 2019, 52( 30): 24-29.

[5]陶華偉，趙力，奚吉，等. 基于顏色及紋理特征的果蔬種類識(shí)別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2014，30(16)：305-311. Tao Huawei, Zhao Li, Xi Ji, et al. Fruits and vegetables recognition based on color and texture features[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(16): 305-311. (in Chinese with English abstract)

[6]龍燕，連雅茹，馬敏娟，等. 基于高光譜技術(shù)和改進(jìn)型區(qū)間隨機(jī)蛙跳算法的番茄硬度檢測(cè)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(13)：270-276. Long Yan, Lian Yaru, Ma Minjuan, et al. Detection of tomato hardness based on hyperspectral technology and modified interval random frog algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(13): 270-276. (in Chinese with English abstract)

[7]黃辰，費(fèi)繼友. 基于圖像特征融合的蘋果在線分級(jí)方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2017，33(1)：285-291. Huang Chen, Fei Jiyou. Online apple grading based on decision fusion of image features[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(1): 285-291. (in Chinese with English abstract)

[8]Xie W, Wang F, Yang D. Research on carrot grading based on machine vision feature parameters[J]. IFAC- PapersOnLine, 2019, 52(30): 30-35.

[9]韓仲志，鄧立苗，徐艷，等. 基于圖像處理的胡蘿卜青頭、須根與開裂的檢測(cè)方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2013，29(9)：156-161. Han Zhongzhi, Deng Limiao, Xu Yan, et al. Image processing method for detection of carrot green-shoulder, fibrous roots and surface cracks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(9): 156-161. (in Chinese with English abstract)

[10]Deng L, Du H, Han Z. A Carrot sorting system using machine vision technique[J]. Applied Engineering in Agriculture, 2017, 33(2): 149-156.

[11]蒼巖，羅順元，喬玉龍. 基于深層神經(jīng)網(wǎng)絡(luò)的豬聲音分類[J].農(nóng)業(yè)工程學(xué)報(bào)，2020，36(9)：195-204. Cang Yan, Luo Shunyuan, Qiao Yulong. Classification of pig sounds based on deep neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(9): 195-204. (in Chinese with English abstract)

[12]黎煊，趙建，高云，等. 基于連續(xù)語音識(shí)別技術(shù)的豬連續(xù)咳嗽聲識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(6)：174-180. Li Xuan, Zhao Jian, Gao Yun, et al. Pig continuous cough sound recognition based oncontinuous speech recognition technology[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(6): 174-180. (in Chinese with English abstract)

[13]鄭秋梅，謝換麗，王風(fēng)華，等. 一種基于局部三值模式的深度學(xué)習(xí)人臉識(shí)別算法[J]. 計(jì)算機(jī)與現(xiàn)代化，2018(2)：112-117. Zheng Qiumei, Xie Huanli, Wang Fenghua, et al. A deep learning face recognition algorithm based on local ternary pattern[J]. Computer and Modernization, 2018(2): 112-117.

[14]林相澤，張俊媛，朱賽華，等. 基于K-SVD和正交匹配追蹤稀疏表示的稻飛虱圖像分類方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(19)：216-222. Lin Xiangze, Zhang Junyuan, Zhu Saihua, et al. Sparse representation classification method of rice planthop-per image based on K-SVD and orthogonal matching pursuit algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(19): 216-222. (in Chinese with English abstract)

[15]Li Juan, Xu Chen, Jiang Lingxu, et al. Detection and analysis of behavior trajectory for sea cucumbers based on deep learning[J]. IEEE Access. 2020, 8: 18832-18840.

[16]Xu Wenkai, Zhu Zhaohu, Ge Fengli, et al. Analysis of behavior trajectory based on deep learning in ammonia environment for fish[J]. Sensors, 2020, 20(16): 1-11.

[17]Kamilaris A, Francesc X Prenafeta-Boldú. Deep learning in agriculture: A survey[J]. Computers and Electronics in Agriculture, 2018, 147(1): 70-90.

[18]戴建國(guó)，張國(guó)順，郭鵬，等. 基于無人機(jī)遙感可見光影像的北疆主要農(nóng)作物分類方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(18)：122-129. Dai Jianguo, Zhang Guoshun, Guo Peng, et al. Classification method of main crops in northern Xinjiang based on UAV visible waveband images[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(18): 122-129. (in Chinese with English abstract)

[19]韓文霆，郭聰聰，張立元，等. 基于無人機(jī)遙感的灌區(qū)土地利用與覆被分類方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2016，47(11)：270-277. Han Wenting, Guo Congcong, Zhang Liyuan, et al. Classification method of land cover and irrigated farm land use based on uav remote sensing in irrigation[J]. Transactions of the Chinese Society of Agricultural Machinery, 2016, 47(11): 270-277. (in Chinese with English abstract)

[20]Ni Chao, Wang Dongyi, Vinson Robert, et al. Automatic inspection machine for maize kernels based on deep convolutional neural networks[J]. Biosystems Engineering, 2019, 178: 131-144.

[21]陳進(jìn)，顧琰，練毅，等. 基于機(jī)器視覺的水稻雜質(zhì)及破碎籽粒在線識(shí)別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(13)：187-194. Chen Jin, Gu Yan, Lian Yi, et al. Online recognition method of impurities and broken paddy grains based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(13): 187-194. (in Chinese with English abstract)

[22]王丹丹，何東健. 基于 R-FCN 深度卷積神經(jīng)網(wǎng)絡(luò)的機(jī)器人疏果前蘋果目標(biāo)的識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(3)：156-163. Wang Dandan, He Dongjian. Recognition of apple targets before fruits thinning by robot based on R-FCN deep convolution neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(3): 156-163. (in Chinese with English abstract)

[23]Olaniyi E O, Oyedotun O K, Adnan K. Intelligent grading system for banana fruit using neural network arbitration[J]. Journal of Food Process Engineering, 2015, 40: e12335.

[24]Juncheng M, Keming D, Feixiang Z, et al. A recognition method for cucumber diseases using leaf symptom images based on deep convolutional neural network[J]. Computers & Electronics in Agriculture, 2018, 154: 18-24.

[25]謝忠紅，徐煥良，黃秋桂，等. 基于高光譜圖像和深度學(xué)習(xí)的菠菜新鮮度檢測(cè)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(13)：277-284. Xie Zhonghong, Xu Huanliang, Huang Qiugui, et al. Spinach freshness detection based on hyperspectral image and deep learning method[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(13): 277-284. (in Chinese with English abstract)

[26]楊彩霞，劉克成. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的胡蘿卜外觀缺陷分類實(shí)現(xiàn)[J]. 南陽理工學(xué)院學(xué)報(bào)，2019，11(4)：41-43. Yan Caixia, Liu Kecheng. Classification of carrot shape defects based on dcnn[J]. Journal of Nanyang Institute of Technology, 2019, 11(4): 41-43.

[27]Hinton G, Vinyals O, Dean J. Distilling the knowledge in a neural network[J]. Computer Science, 2015, 14(7): 38-39.

[28]He K, Zhang X, Ren S, et al. Deep Residual Learning for Image Recognition[C]// IEEE Conference on Computer Vision & Pattern Recognition. IEEE Computer Society, 2016.

[29]農(nóng)業(yè)標(biāo)準(zhǔn)出版研究中心. 最新中國(guó)農(nóng)業(yè)行業(yè)標(biāo)準(zhǔn)：種植業(yè)分冊(cè)[M]. 北京：中國(guó)農(nóng)業(yè)出版社，2013.

[30]Tang Pengjie, Wang Hanli, Sam Kwong. G-MS2F: GoogLeNet based multi-stage feature fusion of deep CNN for scene recognition[J]. Neurocomputing, 2017, 225: 188-197.

Intelligent detection of appearance quality of carrot grade using knowledge distillation

Ni Jiangong, Li Juan, Deng Limiao, Han Zhongzhi※

(,,266109,)

Carrot has widely been served in the human diet, due to its rich in nutrients, particularly on carotene and dietary fiber. However, the brown and black spot disease can ruin the appearance and nutritional quality of carrot during the planting. Therefore, the classification of carrot grades has become an essential part, to improve the competitiveness of carrots in the market. Specifically, the detailed grading can greatly contribute to the commercial value of carrots. Traditionally, a feature extraction with classifier mode was generally adopted to detect the carrot appearance, where the manual definition of features was required, leading to time consuming, less accuracy, and erroneous judgement. In this study, a novel network was proposed to solve the problem, based on a lightweight front-end deployment method, the knowledge distillation technique. Teacher and student models were selected, where a teacher model was introduced to guide the training of student model. The model in this network can be used to reduce the number of parameters and running time, while achieve high accuracy. 3 266 high-resolution images of carrot were collected from the sorting machine as the experimental data sets. Four grades were divided, including the normal, curved, black spot and fibrous root, according to the carrot grading standards of Ministry of Agriculture of the People's Republic of China NY/T 1983—2011. 70% of the dataset was randomly divided into the training sets, whereas, the remaining 30% into test sets. The dataset of carrot was first imported into the network model for training. A teacher model was then introduced, when training to induce a student model, where the teacher model was a large-scale and complex network with many participants, whereas, the student model was a small-scale and streamlined network with a small number of parameters. By inducing training, small models can finally achieve high accuracy. Three teacher models were used, including Resnet34, Resnet50, and Resnet101, in order to guide the training of student model of Resnet18. Correspondingly, the average accuracy of distillation model increased from 94.3% to 94.8%, 95.2%, and 95.8%, respectively. The recognition rate of normal carrot was improved to 100%, where the Resnet18 student model was guided by the Resnet101 teacher model. The recognition rate of normal, black spot and fibrous root increased by about 2%, while, the training time of the model was 11.3 h. In addition, the recognition accuracies of Resnet50 and Resnet101 teacher model were 96.3% and 96.9% respectively, whereas, the training time of models can be 19.3 h and 31.3 h, respectively. The experimental results showed that the recognition rate of distillation model was much higher than that of the traditional model based on feature extraction with classifier. The recognition rate of model can further improved as the increase in the depth of teacher model. Knowledge distillation can perform well from the perspective of training time and arrangement in the model. The training time and deployment of model can be greatly shortened with a tradeoff of accuracy. Consequently, the knowledge distillation model can be used to provide a promising significant support to improve the performance of automatic detection device for the appearance quality of carrots.

deep learning; models; quality control; carrot; rank classification; knowledge distillation

倪建功，李娟，鄧立苗，等. 基于知識(shí)蒸餾的胡蘿卜外觀品質(zhì)等級(jí)智能檢測(cè)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(18)：181-187.doi：10.11975/j.issn.1002-6819.2020.18.022 http://www.tcsae.org

Ni Jiangong, Li Juan, Deng Limiao, et al. Intelligent detection of appearance quality of carrot grade using knowledge distillation[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(18): 181-187. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2020.18.022 http://www.tcsae.org

2020-05-22

2020-09-12

國(guó)家自然科學(xué)基金項(xiàng)目（31872849）；山東省重點(diǎn)研發(fā)計(jì)劃（2019GNC1 06037）；山東省高等學(xué)校青創(chuàng)計(jì)劃團(tuán)隊(duì)（2020KJF004）；青島市科技發(fā)展計(jì)劃（19-6-1-66-nsh，19-6-1-72-nsh）

倪建功，主要從事圖像處理與人工智能研究。Email：1106668767@qq.com

韓仲志，博士，教授，主要從事農(nóng)業(yè)機(jī)器人與人工智能研究。Email：hanzhongzhi@qau.edu.cn

10.11975/j.issn.1002-6819.2020.18.022

S126；TP391.4

A

1002-6819(2020)-18-0181-07