結(jié)合改進(jìn)膠囊網(wǎng)絡(luò)與知識(shí)蒸餾的茶青分類方法研究

陳星燃，黃海松*，韓正功，范青松，朱云偉，胡鵬飛

結(jié)合改進(jìn)膠囊網(wǎng)絡(luò)與知識(shí)蒸餾的茶青分類方法研究

陳星燃1，黃海松1*，韓正功1，范青松1，朱云偉1，胡鵬飛2,3

1. 貴州大學(xué)現(xiàn)代制造技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，貴州 貴陽 550025；2. 貴州裝備制造職業(yè)學(xué)院，貴州 貴陽 551400；3. 清鎮(zhèn)紅楓山韻茶場有限公司，貴州 貴陽 551400

不同等級(jí)茶青的準(zhǔn)確分類，對(duì)名優(yōu)茶產(chǎn)業(yè)發(fā)展至關(guān)重要，采用傳統(tǒng)感官審評(píng)方法進(jìn)行分選會(huì)使結(jié)果存在一定的主觀性。采集茶青圖像建立數(shù)據(jù)集，結(jié)合幽靈注意力瓶頸層與膠囊網(wǎng)絡(luò)提出一種新型網(wǎng)絡(luò)模型：GA-CapsNet。通過基于線性衰減比例系數(shù)的成長知識(shí)蒸餾方法對(duì)該模型進(jìn)行訓(xùn)練，在遷移教師模型參數(shù)矩陣的同時(shí)，使學(xué)生模型隨著迭代自適應(yīng)降低依賴程度。試驗(yàn)結(jié)果表明，對(duì)比其他同類算法，所提出的方法在小規(guī)模數(shù)據(jù)集上分類性能優(yōu)異，精確率、召回率及F1-score分別為94.97%、95.51%、95.24%。本研究基于機(jī)器視覺與深度學(xué)習(xí)技術(shù)構(gòu)建了一種GA-CapsNet模型，為解決茶青分類問題提供了一種新思路。

膠囊網(wǎng)絡(luò)；知識(shí)蒸餾；注意力模塊；茶青分類

綠茶含有茶多酚等物質(zhì)，對(duì)人體健康頗有益處，是我國生產(chǎn)與消費(fèi)量最高的茶葉品類[1]。茶樹在貴州省擁有悠久的栽培歷史，茶產(chǎn)業(yè)是貴州省重要的生態(tài)產(chǎn)業(yè)[2-3]。隨著市場對(duì)高品質(zhì)綠茶需求的日益增加，貴州省綠茶產(chǎn)業(yè)的經(jīng)濟(jì)價(jià)值在不斷攀升[3-4]。茶青是指從茶樹上采摘的新鮮嫩芽，其質(zhì)量從根本上決定了成品茶的品質(zhì)[5]。采取傳統(tǒng)采摘方式會(huì)導(dǎo)致不同等級(jí)茶葉混雜，增加人工揀剔的時(shí)間和人力成本[6]，制約茶產(chǎn)業(yè)規(guī)模化生產(chǎn)和名優(yōu)茶經(jīng)濟(jì)價(jià)值提升。

計(jì)算機(jī)視覺技術(shù)通過與深度學(xué)習(xí)等技術(shù)結(jié)合，可實(shí)現(xiàn)對(duì)不同類別物品的快速甄別，在諸多領(lǐng)域得到了廣泛應(yīng)用。但針對(duì)茶青分類問題，國內(nèi)外學(xué)者所開展的研究仍十分有限。張怡等[7]探究了不同優(yōu)化器與殘差網(wǎng)絡(luò)組合對(duì)綠茶的劃分效果，發(fā)現(xiàn)以隨機(jī)梯度下降算法和ResNet-18結(jié)構(gòu)對(duì)茶葉的識(shí)別準(zhǔn)確率達(dá)到90.99%。汪建等[8]利用遺傳神經(jīng)網(wǎng)絡(luò)對(duì)二值化后的茶葉圖像進(jìn)行處理，對(duì)4類茶葉劃分的準(zhǔn)確度達(dá)到91.6%。毛騰躍等[9]融合支持向量機(jī)與特殊角點(diǎn)兩種方法，取得了94.24%的茶青分類準(zhǔn)確率。針對(duì)預(yù)處理后的茶青圖像，張晴晴[10]與張?zhí)N[11]分別利用改進(jìn)YOLOV3與Faster R-CNN算法，取得了89.35%和91%的分類準(zhǔn)確率。Xu等[12]結(jié)合機(jī)器視覺與電子鼻技術(shù)，對(duì)六類茶葉達(dá)到了99.44%的精確劃分。上述方法大多基于卷積神經(jīng)網(wǎng)絡(luò)搭建模型，需要大量樣本訓(xùn)練模型，而茶青數(shù)據(jù)集規(guī)模往往較為有限，采用傳統(tǒng)方法難以充分提取特征將嚴(yán)重限制分類性能。

綜上所述，本研究面向自建茶青數(shù)據(jù)集，基于注意力機(jī)制與幽靈連接，構(gòu)建一種通用模塊，并通過與膠囊網(wǎng)絡(luò)結(jié)合，提出一種用于茶青分類的改進(jìn)膠囊網(wǎng)絡(luò)；通過引入線性衰減比例系數(shù)，提出一種成長知識(shí)蒸餾的模型訓(xùn)練方法，充分利用教師模型自源域中習(xí)得的龐大參數(shù)矩陣，進(jìn)一步提升模型的分類性能，提供了一種使用深度學(xué)習(xí)技術(shù)解決茶青分類問題的新思路。

1 原始膠囊網(wǎng)絡(luò)

膠囊網(wǎng)絡(luò)為Hinton等[13]于2017提出的一種網(wǎng)絡(luò)結(jié)構(gòu)，將人的視覺感知系統(tǒng)描述為對(duì)大腦中圖像結(jié)構(gòu)的層次性解析[14]。通過引入膠囊的概念用矢量代替標(biāo)量進(jìn)行輸出信息的表達(dá)，膠囊網(wǎng)絡(luò)能夠同時(shí)保留局部位置關(guān)系和圖像的屬性信息值，使模型兼具平移不變性與平移同變性。最終，達(dá)到減少訓(xùn)練量的目的。膠囊網(wǎng)絡(luò)進(jìn)行預(yù)測時(shí)，本層膠囊中的特征值與權(quán)重矩陣相乘對(duì)下層膠囊進(jìn)行預(yù)測，隨后該預(yù)測值通過與耦合系數(shù)相乘獲取下層膠囊的輸出值。

2 模型與方法

2.1 ECA注意力機(jī)制

高效通道注意力機(jī)制（Efficient channel attention，ECA）是由Wang等[15]于2020年提出的一種考慮特征不同通道重要程度的注意力機(jī)制（圖1）。其中，輸入特征首先經(jīng)全局平均池化將全局信息壓縮到一個(gè)通道描述符中以整合特征信息，計(jì)算公式如式（1）所示；隨后利用一維卷積構(gòu)成的全連接層實(shí)現(xiàn)局部跨通道信息交互，獲取表征各通道重要程度的權(quán)重矩陣()，計(jì)算公式如式（2）所示，卷積層較傳統(tǒng)全連接層可起到增強(qiáng)有效特征權(quán)重與減少計(jì)算冗余的作用，卷積核數(shù)目由通道數(shù)進(jìn)行自適應(yīng)度調(diào)節(jié)，計(jì)算公式如式（3）所示[16]；最終通過殘差連接將輸入特征信息與權(quán)重矩陣進(jìn)行逐點(diǎn)相乘，根據(jù)通道重要程度重新分配特征權(quán)重，計(jì)算公式如式（4）所示。

()=() ·······················（1）

式中，∈R×H×W為輸入特征信息；為全局平均池化操作；()∈R×1×1為經(jīng)過全局平均池化后的特征信息。

式中，為特征信息的通道數(shù)；，為超參數(shù)，取=2，=1；|·|為取括號(hào)中最鄰近奇數(shù)的操作。

2.2 幽靈注意力膠囊網(wǎng)絡(luò)

為了在保證膠囊網(wǎng)絡(luò)處理小規(guī)模數(shù)據(jù)集優(yōu)異能力的同時(shí)進(jìn)一步提高分類性能，本研究引入ECA并結(jié)合多組幽靈連接（Ghost connection，GC）構(gòu)建幽靈注意力瓶頸層（Ghost attention bottleneck，GAB），對(duì)茶青圖像進(jìn)行處理（圖2）。在GAB左分支上，ECA首先對(duì)輸入特征進(jìn)行處理，達(dá)到關(guān)注強(qiáng)分類特征區(qū)域與抑制弱分類區(qū)的目的，隨后卷積、BN及激活層將進(jìn)一步提取特征信息。這種先運(yùn)用注意力機(jī)制進(jìn)行聚焦，再采用卷積進(jìn)行解析的圖像處理方式，可在減少注意力模塊計(jì)算冗余的同時(shí)，最大程度地符合人類對(duì)事物進(jìn)行認(rèn)知時(shí)所采用的視覺注意力機(jī)制[17]。

左分支上添加由逐點(diǎn)卷積層組成GC1與GC2，右分支上則通過逐漸卷積與BN層構(gòu)建GC3。3組GC以跨層跳躍連接的方式進(jìn)行維度轉(zhuǎn)換，實(shí)現(xiàn)不同深度特征的非線性疊加，此方式不僅能提取到更多利于分類的新特征，還能通過特征的累積解決因網(wǎng)絡(luò)層數(shù)加深所帶來的“退化”問題，使模型性能有效提升[18]。

圖1 ECA示意圖

圖2 幽靈注意力瓶頸層

針對(duì)原始膠囊網(wǎng)絡(luò)僅憑單一卷積層進(jìn)行特征提取，只能處理固定大小感知野特征，導(dǎo)致提取不變特征能力較弱。圖3為CIFAR10-quick網(wǎng)絡(luò)結(jié)構(gòu)，受Toraman等[19]的啟發(fā)，用9×9大小的卷積層代替其全連接層與激活層構(gòu)建新型網(wǎng)絡(luò)結(jié)構(gòu)以取代原始膠囊網(wǎng)絡(luò)中的單一卷積層。此外，用Mish代替原網(wǎng)絡(luò)中的ReLU函數(shù)處理輸入主膠囊層的特征，以避免原函數(shù)的負(fù)半軸梯度飽和現(xiàn)象，使模型擁有更好的梯度邊界[20]。依據(jù)文獻(xiàn)[17]的思想，為實(shí)現(xiàn)先聚焦再分析的仿生認(rèn)知過程，于網(wǎng)絡(luò)前端嵌入3組GAB對(duì)卷積后的特征進(jìn)行處理，提出一種新型的網(wǎng)絡(luò)結(jié)構(gòu)——幽靈注意力膠囊網(wǎng)絡(luò)（Ghost attention CapsNet，GA-CapsNet），對(duì)輸入的茶青圖像進(jìn)行分類，如圖4所示。

2.3 基于成長知識(shí)蒸餾的茶青分類模型訓(xùn)練方法

為借助復(fù)雜模型預(yù)訓(xùn)練時(shí)的龐大參數(shù)矩陣進(jìn)一步增強(qiáng)分類性能，并使GA-CapsNet的知識(shí)占比隨著迭代進(jìn)行實(shí)現(xiàn)自適應(yīng)的擴(kuò)大。基于線性衰減比例系數(shù)_，提出了一種成長知識(shí)蒸餾（Growing knowledge distillation，GKD）的模型訓(xùn)練方法。

本研究中以GA-CapsNet為學(xué)生模型，并將在ImageNet上預(yù)訓(xùn)練后ResNet50模型遷移至茶青圖像數(shù)據(jù)集上作為教師模型，結(jié)合_進(jìn)行學(xué)生模型的訓(xùn)練，這種方式不僅可以充分利用源域信息，提升學(xué)生模型泛化性，還可借助遷移學(xué)習(xí)增強(qiáng)其抗過擬合的能力，整體流程如圖5所示。

茶青圖像經(jīng)過預(yù)處理之后，首先以像素矩陣的形式輸入教師模型（ResNet50）和學(xué)生模型（GA-CapsNet），依次獲取到對(duì)應(yīng)不同類別茶青的概率p、p；隨后，通過蒸餾作用（Distillation）軟化概率分布，獲取軟標(biāo)簽p和軟預(yù)測p'，計(jì)算公式如式（5）、（6）所示。

式中p為教師模型對(duì)茶青圖像進(jìn)行處理后所得到的概率分布；p'為p經(jīng)溫度為的軟化作用后所得結(jié)果；=5為溫度參數(shù)。

式中p為學(xué)生模型對(duì)茶青圖像進(jìn)行處理后所得到的概率分布；p'為p經(jīng)溫度為的軟化作用后所得結(jié)果。

圖3 CIFAR10-quick示意圖

圖4 GA-CapsNet示意圖

圖5 基于成長知識(shí)蒸餾的模型訓(xùn)練流程圖

設(shè)置蒸餾作用中的溫度系數(shù)為1（Softmax function），對(duì)學(xué)生模型的概率分布p進(jìn)行處理，獲取硬預(yù)測p''，計(jì)算公式如式（7）所示。

式中p''為p經(jīng)Softmax函數(shù)處理后所得結(jié)果。

依次將軟標(biāo)簽p'與軟預(yù)測p'作為自變量輸入相對(duì)熵?fù)p失函數(shù)獲取到表征教師模型所習(xí)得暗知識(shí)的軟損失函數(shù)值Loss；將硬預(yù)測p''與真實(shí)標(biāo)簽Lables作為自變量輸入交叉熵?fù)p失函數(shù)獲取到表征學(xué)生模型自身所習(xí)得知識(shí)的硬損失函數(shù)值Loss，計(jì)算公式如式（8）、（9）所示。

式中，為茶青圖像像素矩陣的通道數(shù)目；=(1,2,3)為茶青類別數(shù)目；Loss為軟損失函數(shù)值；Loss為硬損失函數(shù)值。

在利用知識(shí)蒸餾對(duì)學(xué)生模型進(jìn)行訓(xùn)練時(shí)，引入線性衰減比例系數(shù)_，隨著迭代次數(shù)的增加以弱化教師模型影響，使學(xué)生模型降低對(duì)教師模型的依賴程度，計(jì)算公式如式（10）所示。在蒸餾初期，_取值較大而變化較慢，保證了兩模型之間暗知識(shí)的充分傳遞，使得學(xué)生模型分類性能迅速增強(qiáng)。隨著蒸餾進(jìn)行，學(xué)生模型已經(jīng)取得較高分類精度，_減小速率逐漸加大，_顯著增加，學(xué)生模型獨(dú)立性隨之增強(qiáng)，將生成更多進(jìn)行茶青分類的權(quán)重參數(shù)，實(shí)現(xiàn)其隨著迭代次數(shù)增加而降低依賴，達(dá)到成長的目標(biāo)。通過_與_調(diào)節(jié)Loss與Loss的占比組成總損失函數(shù)，借助梯度反向傳播實(shí)現(xiàn)暗知識(shí)的傳遞，計(jì)算公式如式（11）所示。

式中，α=0.6為GA-CapsNet成長初始比例系數(shù)；α=0.2為GA-CapsNet成長終止比例系數(shù)；=(1,2,……,100)為迭代次數(shù)；=100為最大迭代次數(shù)。

=_×Loss+_×2×Loss···················（11）

式中，為總損失函數(shù)值；_為線性衰減比例系數(shù)；_=1－_為成長因子。

3 試驗(yàn)方法

3.1 數(shù)據(jù)與試驗(yàn)環(huán)境

本研究所涉及的綠茶茶青圖像數(shù)據(jù)均采集自貴州省清鎮(zhèn)紅楓山韻茶場，數(shù)據(jù)劃分為單芽、一芽一葉和一芽二葉3類，并采用幾何變換、仿射變換、添加高斯噪聲等方式進(jìn)行數(shù)據(jù)增強(qiáng)，最終，數(shù)據(jù)集由各類茶青712張，共2?136張組成，其中，訓(xùn)練集與測試集的比例被劃分為3∶1。本研究所涉及的試驗(yàn)均在Window 10操作系統(tǒng)下進(jìn)行，由Python 3.7的Pytorch深度學(xué)習(xí)框架實(shí)現(xiàn)，并在NVDIA GeForce GTX 1650顯卡上進(jìn)行加速。

3.2 網(wǎng)絡(luò)整定實(shí)驗(yàn)

為驗(yàn)證GAB在茶青分類任務(wù)中對(duì)網(wǎng)絡(luò)性能的提升，確定其最佳數(shù)量，完成網(wǎng)絡(luò)結(jié)構(gòu)整定，本研究以GAB數(shù)量為劃分依據(jù)，依次設(shè)置含一組、兩組、三組和四組該瓶頸層的實(shí)驗(yàn)組GAB=1、GAB=2、GAB=3、GAB=4。在茶青數(shù)據(jù)集的測試集上，設(shè)置輪次為50，記錄各實(shí)驗(yàn)組所對(duì)應(yīng)的精確率（Precision）、召回率（Recall）及F1-score數(shù)據(jù)，并繪制模型綜合性能對(duì)比表。

3.3 消融實(shí)驗(yàn)

為驗(yàn)證所提方法GA-CapsNet+GKD的有效性，除采用本研究的實(shí)驗(yàn)組CapsNet+GAB+GKD以外，依次設(shè)置不采用幽靈注意力瓶頸層的消融實(shí)驗(yàn)組CapsNet+GKD、使用傳統(tǒng)殘差瓶頸層（Residual bottleneck，RB）的消融實(shí)驗(yàn)組CapsNet+RB+GKD、不采用知識(shí)蒸餾訓(xùn)練模型的消融實(shí)驗(yàn)組CapsNet+GAB。在自建茶青數(shù)據(jù)集上，設(shè)置輪次為100，計(jì)算各實(shí)驗(yàn)組的準(zhǔn)確率，并利用Origin繪制準(zhǔn)確率的變化曲線，分析不同實(shí)驗(yàn)組在各等級(jí)茶青上的分類性能。

3.4 對(duì)比實(shí)驗(yàn)

為衡量本研究所提方法GA-CapsNet+GKD的性能優(yōu)勢(shì)，依次設(shè)置實(shí)驗(yàn)組：CapsNet-DCD[19]、ResNet-Green tea[7]、Alter-Second[21]。設(shè)置輪次為100，獲取各實(shí)驗(yàn)組在測試集上的準(zhǔn)確率與交叉熵?fù)p失函數(shù)值變化曲線，并以精確率、召回率及F1-score為指標(biāo)構(gòu)建不同實(shí)驗(yàn)組所對(duì)應(yīng)的表格，對(duì)模型的性能進(jìn)行綜合分析。

4 結(jié)果與討論

4.1 網(wǎng)絡(luò)整定實(shí)驗(yàn)

表1為各實(shí)驗(yàn)組綜合性能比較表，分析可知，由于單芽茶青的強(qiáng)可分性，所有實(shí)驗(yàn)組在此類中均擁有卓越的分類表現(xiàn)，但在對(duì)一芽一葉與一芽二葉的復(fù)雜分類任務(wù)中，實(shí)驗(yàn)組間仍存在顯著的性能差異。在對(duì)一芽一葉的分類中，GAB=3組的精確率、召回率及F1-score分別為93.30%、93.82%、93.56%，較GAB=1與GAB=2實(shí)驗(yàn)組均有較大的提升，而GAB=4組相對(duì)于GAB=3組，各項(xiàng)指標(biāo)則分別下降了3.30%、2.81%、3.06%，在對(duì)一芽二葉的分類中存在同樣現(xiàn)象。以上結(jié)果表明，選取3組GAB整定網(wǎng)絡(luò)，所取得的GA-CapsNet網(wǎng)絡(luò)擁有最佳的分類表現(xiàn)。

4.2 消融實(shí)驗(yàn)

圖6為各消融實(shí)驗(yàn)組準(zhǔn)確率及損失變化曲線。CapsNet+GAB+GKD利用GAB生成大量有利于分類的幽靈特征圖，使整體分類性能明顯優(yōu)于CapsNet+GKD，最高分類準(zhǔn)確率提升了4.69%。與CapsNet+RB+GKD相比，CapsNet+GAB+GKD通過引入ECA與GC，模仿人類認(rèn)識(shí)事物的過程，使模型先聚焦強(qiáng)區(qū)分性特征區(qū)域再進(jìn)行后續(xù)處理，明顯改善損失變化曲線的震蕩現(xiàn)象，使最高分類準(zhǔn)確率上升了2.63%。與CapsNet+GAB相比，本研究利用成長知識(shí)蒸餾進(jìn)行模型訓(xùn)練，充分利用教師模型的源域信息，使最高分級(jí)準(zhǔn)確率由95.88%上升至97.57%。觀察損失變化曲線，實(shí)驗(yàn)組CapsNet+GAB+GKD與CapsNet+GAB相較于其余實(shí)驗(yàn)組表現(xiàn)出了較好的前期收斂性能，由此可以論證GAB在提取和處理茶青圖像特征方面具備優(yōu)越性，且隨迭代進(jìn)行，CapsNet+GAB+GKD進(jìn)一步收斂，其損失達(dá)到所有消融實(shí)驗(yàn)組中最低水平。

表1 各實(shí)驗(yàn)組在測試集上的綜合性能比較

觀察圖7中各消融實(shí)驗(yàn)組所對(duì)應(yīng)的混淆矩陣可知，在對(duì)一芽一葉茶青的分類中，實(shí)驗(yàn)組CapsNet+GAB+GKD與CapsNet+GAB分別以168和167的正確劃分?jǐn)?shù)目，表現(xiàn)出了較優(yōu)異的分類性能，由此可以說明GAB有利于模型進(jìn)行關(guān)鍵特征信息提取。在對(duì)一芽二葉茶青的分類中，CapsNet+GAB+GKD與CapsNet+RB+GKD分別實(shí)現(xiàn)了170與169例的正確分類，在所有實(shí)驗(yàn)組的分類表現(xiàn)中更具優(yōu)越性，可以說明基于GKD的模型訓(xùn)練方法可以使模型解析復(fù)雜特征的能力得到進(jìn)一步增強(qiáng)。

4.3 對(duì)比實(shí)驗(yàn)

圖8為各對(duì)比實(shí)驗(yàn)組準(zhǔn)確率及損失變化曲線。由圖8-A可知，GA-CapsNet+GKD的初始準(zhǔn)確率和整體變化曲線均呈現(xiàn)出最佳表現(xiàn)。對(duì)比CapsNet-DCD，本研究通過引入GAB與GKD，使最高準(zhǔn)確率上升了3.94%。ResNet-Green tea最高準(zhǔn)確率雖然與GA-CapsNet+GKD差距不大，但過擬合現(xiàn)象明顯，說明基于復(fù)雜網(wǎng)絡(luò)所搭建的模型并不適用于解決小規(guī)模數(shù)據(jù)問題。Alter-Second雖然可以利用深度卷積層提取多尺度特征信息，但由于缺乏注意力機(jī)制引導(dǎo)，無法關(guān)注強(qiáng)分類特征，使其準(zhǔn)確率較GA-CapsNet+GKD差距明顯。

由圖8-B可知，膠囊網(wǎng)絡(luò)GA-CapsNet+GKD與CapsNet-DCD的最低損失值雖高于卷積神經(jīng)網(wǎng)絡(luò)ResNet-Green tea與Alter-Second，但是前兩者因兼具平移不變性與平移同變性，能充分利用有限數(shù)據(jù)集中的特征信息，損失下降迅速，僅在第30輪次左右時(shí)便完成了收斂，而后兩者在整個(gè)過程中都震蕩十分劇烈，Alter-Second甚至在迭代后期出現(xiàn)發(fā)散跡象。

由表2可知，GA-CapsNet+GKD對(duì)各類茶青的精確率、召回率、F1-score均達(dá)到95%左右，優(yōu)于其余對(duì)比實(shí)驗(yàn)組。在一芽一葉的分類中，GA-CapsNet+GKD與ResNet-Green tea的表現(xiàn)明顯優(yōu)于其余實(shí)驗(yàn)組，且GA-CapsNet+GKD的精確率、召回率、F1-score與ResNet-Green tea相比分別提升了3.59%、6.16%、4.89%。而對(duì)一芽二葉進(jìn)行分類時(shí)，本研究所提方法的精確率、召回率及F1-score分別為94.97%、95.51%、95.24%，在分類性能上展現(xiàn)出明顯優(yōu)勢(shì)。

圖6 消融實(shí)驗(yàn)組在測試集上的準(zhǔn)確率及損失變化曲線

注：OB表示單芽，OF表示一芽一葉；TF表示一芽二葉

圖8 對(duì)比實(shí)驗(yàn)組在測試集上的準(zhǔn)確率及損失變化曲線

表2 對(duì)比實(shí)驗(yàn)組在測試集上的綜合性能比較

5 結(jié)論

本研究基于ECA注意力機(jī)制與維度轉(zhuǎn)換的GC提出通用模塊GAB，結(jié)合膠囊網(wǎng)絡(luò)，構(gòu)建一種改進(jìn)膠囊網(wǎng)絡(luò)GA-CapsNet，通過引入線性衰減比例系數(shù)與成長因子，在蒸餾過程中實(shí)現(xiàn)對(duì)該模型知識(shí)占比的自適應(yīng)調(diào)節(jié)，降低其依賴程度，并借助教師模型豐富的參數(shù)矩陣，完成對(duì)茶青數(shù)據(jù)集的準(zhǔn)確分類。通過消融實(shí)驗(yàn)，驗(yàn)證所提GAB與GKD的有效性，對(duì)比CapsNet-DCD、ResNet-Green tea、Alter-Second深度學(xué)習(xí)分類算法，本研究所提出的方法在小規(guī)模數(shù)據(jù)集上魯棒性更強(qiáng)，準(zhǔn)確率、精確率、召回率和F1-score分別為97.57%、94.97%、95.51%和95.24%，表現(xiàn)出了最優(yōu)越的綜合性能。

本研究將深度學(xué)習(xí)技術(shù)引入茶葉領(lǐng)域，為解決茶青分類中所面臨的問題提供了一種新的方法，擁有較好的分類表現(xiàn)。但實(shí)際生產(chǎn)中，環(huán)境擾動(dòng)因素復(fù)雜，且在對(duì)不同種類茶青進(jìn)行級(jí)別劃分時(shí)所采用的標(biāo)準(zhǔn)不一，因此本研究后續(xù)將通過在不同條件下采集茶青圖像進(jìn)一步豐富數(shù)據(jù)，并面向不同種類茶青開展廣泛研究，提升研究的泛化性與實(shí)際應(yīng)用價(jià)值。

[1] 石亞麗, 朱蔭, 馬婉君, 等. 名優(yōu)炒青綠茶揮發(fā)性成分研究進(jìn)展[J]. 茶葉科學(xué), 2021, 41(3): 285-301.

Shi Y L, Zhu Y, Ma W J, et al. Research progress on the volatile compounds of premium roasted green tea [J]. Journal of Tea Science, 2021, 41(3): 285-301.

[2] 劉元生, 劉方, 陳祖擁, 等. 貴州富鋅硒茶產(chǎn)區(qū)地質(zhì)環(huán)境條件與土壤元素地球化學(xué)特征[J]. 貴州大學(xué)學(xué)報(bào)(自然科學(xué)版), 2021, 38(5): 25-32.

Liu Y S, Liu F, Chen Z Y, et al. Geological environment conditions and geochemical characteristics of soil elements in zinc-selenium-rich tea producing areas in Guizhou [J]. Journal of Guizhou University (Natural Science), 2021, 38(5): 25-32.

[3] 陳青, 楊云, 王海燕. 貴州茶葉中微量鍺含量測定[J]. 貴州大學(xué)學(xué)報(bào)(自然科學(xué)版), 2002, 19(2): 141-144.

Chen Q, Yang Y, Wang H Y. Determination of trace germanium content in Guizhou tea [J]. Journal of Guizhou University (Natural Science), 2002, 19(2): 141-144.

[4] 郭建軍, 周藝, 王小英, 等. 貴州不同產(chǎn)區(qū)代表綠茶的品質(zhì)特征及香氣組分分析[J]. 食品工業(yè)科技, 2021, 42(5): 78-84.

Guo J J, Zhou Y, Wang X Y, et al. Analysis of quality features and aroma components in Guizhou representative green tea [J]. Food Industry Technology, 2021, 42(5): 78-84.

[5] 葉江華, 羅盛財(cái), 張奇, 等. 武夷山不同茶園茶樹茶青品質(zhì)的差異[J]. 福建農(nóng)林大學(xué)學(xué)報(bào)(自然科學(xué)版), 2017, 46(5): 495-501.

Ye J H, Luo S C, Zhang Q, et al. Difference of fresh tea leaf quality from different tea plantations in Wuyishan [J]. Journal of Fujian Agriculture and Forestry University (Natural Science Edition), 2017, 46(5): 495-501.

[6] 吳雪梅, 張富貴, 呂敬堂. 基于圖像顏色信息的茶葉嫩葉識(shí)別方法研究[J]. 茶葉科學(xué), 2013, 33(6): 584-589.

Wu X M, Zhang F G, Lv J T. Research on recognition of tea tender leaf based on image color information [J]. Journal of Tea Science, 2013, 33(6): 584-589

[7] 張怡, 趙珠蒙, 王校常, 等. 基于ResNet卷積神經(jīng)網(wǎng)絡(luò)的綠茶種類識(shí)別模型構(gòu)建[J]. 茶葉科學(xué), 2021, 41(2): 261-271.

Zhang Y, Zhao Z M, Wang X C, et al. Construction of green tea recognition model based on ResNet convolutional neural network [J]. Journal of Tea Science, 2021, 41(2): 261-271.

[8] 汪建, 杜世平. 基于顏色和形狀的茶葉計(jì)算機(jī)識(shí)別研究[J]. 茶葉科學(xué), 2008, 28(6): 420-424.

Wang J, Du S P. Identification investigation of tea based on HSI color space and figure [J]. Journal of Tea Science, 2008, 28(6): 420-424.

[9] 毛騰躍, 黃印, 文曉國, 等. 基于多特征與多分類器的鮮茶葉分類研究[J]. 中國農(nóng)機(jī)化學(xué)報(bào), 2020, 41(12): 75-83.

Mao T Y, Huang Y, Wen X G, et al. Research on classification of fresh tea based on multiple features and multiple classifiers [J]. Journal of Chinese Agricultural Mechanization, 2020, 41(12): 75-83.

[10] 張晴晴. 基于卷積神經(jīng)網(wǎng)絡(luò)的茶樹嫩芽識(shí)別研究[D]. 合肥: 安徽農(nóng)業(yè)大學(xué), 2020.

Zhang Q Q. Research on the identification of tea tree sprouts based on convolutional neural network [D]. Hefei: Anhui Agricultural University, 2020.

[11] 張?zhí)N. 茶葉嫩芽圖像識(shí)別方法研究[D]. 合肥: 安徽農(nóng)業(yè)大學(xué), 2020.

Zhang Y. Research on image recognition method of tea sprouts [D]. Hefei: Anhui Agricultural University, 2020.

[12] Xu M, Wang J, Gu S. Rapid identification of tea quality by E-nose and computer vision combining with a synergetic data fusion strategy [J]. Journal of Food Engineering, 2019, 241: 10-17.

[13] Sabour S, Frosst N, Hinton G E. Dynamic routing between capsules [C]//Luxburg U V, Guyon I, Bengio, et al. Proceedings of the 31st International Conference on Neural Information Processing Systems. New York: Curran Associates Inc., 2017: 3859-3869.

[14] Hinton G E, Sabour S, Frosst N. Matrix capsules with em routing [C/OL]//ICLR Organizing Committee. ICLR 2018 Conference Blind Submission, 2018[2022-11-26].

[15] Wang Q, Wu B, Zhu P, et al. ECA-Net: efficient channel attention for deep convolutional neural networks [J]. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020: 11531-11539.

[16] 魏鋮磊, 南新元, 李成榮, 等. 一種具有多尺度感受視野注意力機(jī)制的生活垃圾單階段目標(biāo)檢測方法[J]. 環(huán)境工程, 2022, 40(1): 175-183.

Wei C L, Nan X Y, Li C R, et al. A single-stage object detection method for domestic garbage based on multi-scale receptive filed attention mechanism [J]. Environmental Engineering: 2022, 40(1): 175-183.

[17] 徐巖, 李曉振, 吳作宏, 等. 基于殘差注意力網(wǎng)絡(luò)的馬鈴薯葉部病害識(shí)別[J]. 山東科技大學(xué)學(xué)報(bào)(自然科學(xué)版), 2021, 40(2): 76-83.

Xu Y, Li X Z, Wu Z H, et al. Potato leaf disease recognitition via residual atention network [J]. Journal of Shandong University of Science and Technology (Natural Science), 2021, 40(2): 76-83.

[18] Zhang S, Zhang S, Zhang C, et al. Cucumber leaf disease identification with global pooling dilated convolutional neural network [J]. Computers and Electronics in Agriculture, 2019, 162: 442-430.

[19] Toraman S, Alakus T B, Turkoglu I. Convolutional capsnet: a novel artificial neural network approach to detect COVID-19 disease from X-ray images using capsule networks [J]. Chaos, Solitons & Fractals, 2020, 140: 110122. doi: 10.1016/j.chaos.2020.110122.

[20] Misra D. Mish: a self regularized non-monotonic activation function [J]. BMVC 2020, 2020. doi: 10.48550/arXiv.1908.08681.

[21] Hu G, Yang X, Zhang Y, et al. Identification of tea leaf diseases by using an improved deep convolutional neural network [J]. Sustainable Computing: Informatics and Systems, 2019, 24: 100353. doi: 10.1016/j.suscom.2019.100353.

Research on the Classification Method of Tea Buds Combining Improved Capsule Network and Knowledge Distillation

CHEN Xingran1, HUANG Haisong1*, HAN Zhenggong1, FAN Qingsong1, ZHU Yunwei1, HU Pengfei2,3

1. Key laboratory of Advanced Manufacturing Technology of the Ministry of Education, Guizhou University, Guiyang 550025, China; 2. Guizhou Vocational College of Equipment Manufacturing, Guiyang 551400, China; 3. Qingzhen Hongfeng Mountain Yun Tea Factory Co., Ltd, Guiyang 551400, China

The accurate classification of different grades of tea buds is very important for the development of the famous tea industry. The use of traditional sensory evaluation methods for sorting makes the results subjective. In this research, a data set was established after tea leaf images were collected, and a new network model, GA-CapsNet, was proposed by combining the ghost attention bottleneck and capsule network. The model was trained by the method of growing knowledge distillation based on the linear decay scaling coefficient, while migrating the parameter matrix of teacher model, the student model was adaptively reduced with iteration. The experimental result shows that, compared with other similar algorithms, the proposed method had excellent classification performance on small-scale data sets. The accuracy, recall and F1-score were 94.97%, 95.51% and 95.24%, respectively. Here, a GA-CapsNet model based on machine vision and deep learning technology was established, which provided a new idea for solving the tea leaf classification problem.

capsule network, knowledge distillation, attention module, tea bud grading

S571.1；TP391.41

A

1000-369X(2022)03-387-10

2021-11-30

2022-02-16

貴州省科技計(jì)劃項(xiàng)目（黔科合支撐[2021]一般445、172、397，黔科合支撐[2022]一般165，黔科合基礎(chǔ)[2020]1Y232）、貴州大學(xué)引進(jìn)人才科研基金（貴大人基合字（2019）07號(hào)）、貴州省普通高等學(xué)校青年科技人才成長項(xiàng)目（黔教合KY 字[2021]096）

陳星燃，男，碩士研究生，主要從事深度學(xué)習(xí)與農(nóng)業(yè)工程的交叉研究。*通信作者：hshuang@gzu.edu.cn

（責(zé)任編輯：黃晨）