基于特征融合注意力機(jī)制的櫻桃缺陷檢測識別研究

代東南　馬?！⑵稹O孟研　馬德新

摘要：針對現(xiàn)有櫻桃缺陷檢測識別中存在的問題，為實(shí)現(xiàn)移動(dòng)端智能化快速檢測與精準(zhǔn)識別，本研究提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)對櫻桃圖像進(jìn)行缺陷檢測識別的輕量化模型，可為開發(fā)櫻桃的移動(dòng)端無損化智能檢測系統(tǒng)奠定理論基礎(chǔ)。首先，將采集到的完好櫻桃、刺激生長櫻桃、雙胞胎櫻桃和腐爛櫻桃4類櫻桃圖像經(jīng)預(yù)處理后按比例劃分訓(xùn)練集、驗(yàn)證集和測試集。其次，基于遷移學(xué)習(xí)對比分析NASNet-Mobile、MohileNetV2、ResNet18、InceptionV3、VGG-16網(wǎng)絡(luò)模型后，選擇各方面性能表現(xiàn)良好的MobileNetV2為基線模型，通過微調(diào)構(gòu)建I-MohileNetV2模型：然后在I-MohileNecV2基礎(chǔ)上，嵌入坐標(biāo)注意力（CA）模塊，構(gòu)建ICA-MohileNetV2模型，該模型平均準(zhǔn)確率達(dá)到97.09%，相比于基線模型（90.02%）提高7.85%，比I-MobileNetV2模型（94.34%）提高2.91%。可見，ICA-MobileNetV2作為可部署移動(dòng)端的輕量化模型，具有較高準(zhǔn)確率和較少參數(shù)，適用于櫻桃缺陷檢測與多分類任務(wù)，為櫻桃缺陷檢測與品質(zhì)分級研究提供了新思路。

關(guān)鍵詞：櫻桃；缺陷檢測；卷積神經(jīng)網(wǎng)絡(luò)；坐標(biāo)注意力機(jī)制

中圖分類號：S126 文獻(xiàn)標(biāo)識號：A 文章編號：1001-4942（2024）03-0154-09

櫻桃富含大量鐵元素和多種維生素，并以富含維生素C聞名于世，具有美容養(yǎng)顏、排毒祛濕、補(bǔ)血等多種功效。世界上櫻桃主要分布在美國、加拿大、智利等地，中國主要產(chǎn)地為山東、安徽、江蘇等。櫻桃在生長過程中，受遺傳、環(huán)境壓力、植物生長調(diào)節(jié)劑使用不當(dāng)和病蟲害侵襲等的影響，易形成刺激生長櫻桃、雙胞胎櫻桃等畸形果?；喂急仁菣烟移焚|(zhì)分級的關(guān)鍵指標(biāo)，NY/T2302-2013《農(nóng)產(chǎn)品等級規(guī)格櫻桃》規(guī)定：特級櫻桃中不能有畸形果：一級櫻桃中畸形果占比≤2%；二級櫻桃中畸形果占比≤5%。由此可見，櫻桃缺陷準(zhǔn)確識別對于提高其整體質(zhì)量評估、減少經(jīng)濟(jì)損失以及優(yōu)化H動(dòng)化采摘系統(tǒng)具有重要意義。目前，櫻桃缺陷的檢測識別主要依賴人工目視檢測，這種方法既耗時(shí)費(fèi)力，也不適合大批量檢測，且會(huì)造成一定資源浪費(fèi)。因此，開發(fā)一種準(zhǔn)確、高效且無損檢測櫻桃缺陷的方法具有重要的實(shí)際應(yīng)用價(jià)值。

深度學(xué)習(xí)（deep learning，DL）是一種表示學(xué)習(xí)方法，與傳統(tǒng)的機(jī)器學(xué)習(xí)方法相比能更好地提取數(shù)據(jù)特征，目前在果實(shí)識別、病害檢測等農(nóng)業(yè)生產(chǎn)活動(dòng)中應(yīng)用較廣泛。如Hossain等用深度學(xué)習(xí)方法搭建了水果識別框架：張永飛等提出了一種基于深度學(xué)習(xí)的關(guān)鍵點(diǎn)檢測方法，能對櫻桃的大小分級和有無果梗進(jìn)行準(zhǔn)確判別?；谏疃葘W(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)（convolutional neuralnetworks，CNN）可通過自動(dòng)提取并學(xué)習(xí)數(shù)據(jù)的多層表征來實(shí)現(xiàn)對復(fù)雜模式的模型構(gòu)建，現(xiàn)已有AlexNet、VGG、GoogeNet、Inception、ResNet等卷積神經(jīng)網(wǎng)絡(luò)被提出，這為提高圖像識別分類精度提供了新的技術(shù)支持。周輝禮利用CNN依據(jù)蘋果表皮成熟度進(jìn)行分級，準(zhǔn)確率為82%：Nithya等利用基于深度CNN的計(jì)算機(jī)視覺系統(tǒng)對優(yōu)質(zhì)芒果進(jìn)行分類，準(zhǔn)確率達(dá)98%。但傳統(tǒng)的CNN模型復(fù)雜度高，不易在移動(dòng)設(shè)備上開發(fā)應(yīng)用，如李天華等發(fā)現(xiàn)基于深度學(xué)習(xí)的視覺識別算法是采摘機(jī)器人的關(guān)鍵技術(shù)之一，但其在實(shí)際運(yùn)用中難以兼顧實(shí)時(shí)性和精準(zhǔn)性。因此，建立便于移動(dòng)端搭載的高效CNN模型對于拓展其實(shí)際應(yīng)用領(lǐng)域具有深遠(yuǎn)意義。

目前基于CNN對櫻桃缺陷檢測識別的研究相對較少，且大多研究中使用的網(wǎng)絡(luò)模型參數(shù)量大，難以在移動(dòng)端部署。劉洋等綜合比較Mo-bileNetV1模型和InceptionV3模型后，發(fā)現(xiàn)Mo-bileNetV1模型部署在移動(dòng)端性能更優(yōu)。因此，本研究利用構(gòu)建的4類櫻桃數(shù)據(jù)集，以輕量化Mo-bileNetV2網(wǎng)絡(luò)模型為基礎(chǔ)，微調(diào)構(gòu)建新的模塊，并添加特征融合注意力機(jī)制，構(gòu)建了ICA-Mobile-NetV2模型，獲得了較高的櫻桃缺陷檢測準(zhǔn)確率，且模型穩(wěn)定性較好，適合移動(dòng)端搭載，可為進(jìn)一步開發(fā)櫻桃缺陷在線識別系統(tǒng)提供技術(shù)支撐。

1 材料與方法

1.1 數(shù)據(jù)集構(gòu)建

1.1.1 圖像采集

供試櫻桃品種為市面常見的甜櫻桃主栽品種之一紅燈櫻桃。在5月下旬紅燈櫻桃成熟期，于青島平度、青島嶗山、煙臺福山櫻桃產(chǎn)區(qū)采摘櫻桃樣品，然后在室內(nèi)自然光照下采集櫻桃圖像，即：以A4白紙為背景，固定位置擺放櫻桃，采用佳能EOS80D單反相機(jī)（1800萬像素）進(jìn)行拍攝。共采集1549幅圖像，建立完好櫻桃、刺激生長櫻桃、雙胞胎櫻桃、腐爛櫻桃4類數(shù)據(jù)集。各類櫻桃示例見圖1。隨機(jī)對每類櫻桃圖像進(jìn)行劃分：70%作為訓(xùn)練集，20%作為驗(yàn)證集，10%作為測試集。各類數(shù)據(jù)集劃分詳情見表1。

1.1.2 圖像預(yù)處理

由于采集的樣本量較小，模型可能面臨泛化能力不足的問題。為解決此問題，采用數(shù)據(jù)增強(qiáng)技術(shù)如隨機(jī)旋轉(zhuǎn)、水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、對比度調(diào)整和亮度調(diào)整等來擴(kuò)充數(shù)據(jù)集。以刺激生長櫻桃圖像為例，經(jīng)過數(shù)據(jù)增強(qiáng)處理后的效果如圖2所示。

為了進(jìn)一步解決數(shù)據(jù)集中不同類別圖像數(shù)量占比不均的問題，采用數(shù)據(jù)平衡算法計(jì)算權(quán)重。設(shè)總類別數(shù)為C，類別i的樣本數(shù)為ni，總樣本數(shù)為N，那么，類別i的權(quán)重wi計(jì)算為：

wi=N/（C×ni）。

該算法將不同類別映射為不同權(quán)值，從而實(shí)現(xiàn)各數(shù)據(jù)集間的數(shù)據(jù)平衡，有助于提高深度學(xué)習(xí)模型在圖像分類任務(wù)中的性能。

1.2 試驗(yàn)環(huán)境與參數(shù)設(shè)置

本試驗(yàn)基于TensorFlow平臺，采用Keras深度學(xué)習(xí)框架。運(yùn)行環(huán)境為Windows10專業(yè)版（64位）操作系統(tǒng)，處理器為Intel Core i5-7300HQ，內(nèi)存8GB，顯卡為NVIDIA GeForce CTX 1050，顯存8CB。試驗(yàn)參數(shù)設(shè)置見表2。

1.3 模型性能評價(jià)指標(biāo)

采用準(zhǔn)確率（Accuracy）、精確率（Precision）、召回率（Recall）、F1分?jǐn)?shù)（F1-Score）、混淆矩陣（Confusion Matrix）作為模型性能評價(jià)指標(biāo)。其中，Accuracy為所有被正確識別的樣本數(shù)占總樣本數(shù)的比例：Precision是衡量模型正確預(yù)測能力的指標(biāo)，為預(yù)測正確的樣本數(shù)量占總體的比例：Recall表示在真實(shí)樣本中被正確預(yù)測的樣本數(shù)量占總樣本的比例；F1-Score是結(jié)合Precision和Recall的綜合指標(biāo)，為Precision和Recall的調(diào)和平均數(shù)，取值范圍是0-1，值越接近1表示輸出結(jié)果越好。計(jì)算公式如下：

式中：TP表示實(shí)際為正也被預(yù)測為正的樣本數(shù)量：FP表示實(shí)際為負(fù)但被預(yù)測為正的樣本數(shù)量：FN表示實(shí)際為正但被預(yù)測為負(fù)的樣本數(shù)量：TN表示實(shí)際為負(fù)也被預(yù)測為負(fù)的樣本數(shù)量。

混淆矩陣又稱可能性矩陣或錯(cuò)誤矩陣，用于比較分類結(jié)果和實(shí)際測得值。作為可視化工具，可以把分類結(jié)果精度顯示在一個(gè)混淆矩陣?yán)铩?/p>

1.4 模型構(gòu)建

1.4.1 基線網(wǎng)絡(luò)模型篩選

選擇5種網(wǎng)絡(luò)模型，包括MobileNetV2、NASNet-Mobile、VGG-16、In-ceptionV3、ResNet18，利用訓(xùn)練集數(shù)據(jù)進(jìn)行模型訓(xùn)練。通過比較5種模型的識別效果（表3），Mo-bileNetV2模型具有較高的識別準(zhǔn)確率，且模型參數(shù)量較小，易于后期在移動(dòng)端設(shè)備部署。因此，本研究選用MobileNetV2作為基線網(wǎng)絡(luò)模型。

1.4.2 MobileNetV2網(wǎng)絡(luò)結(jié)構(gòu)

MobileNetV2是2018年Sandler等提出的一款輕量型CNN模型。MobileNetV2采用深度可分離卷積代替普通卷積，可減少卷積核參數(shù)量，降低計(jì)算復(fù)雜度以加快運(yùn)行速度，從而使模型輕量化，利于面向?qū)嶋H的移動(dòng)端應(yīng)用場景。MobileNetV2網(wǎng)絡(luò)由卷積層、池化層以及系列瓶頸結(jié)構(gòu)（Bottleneck）構(gòu)成，見表4，其中Conv2d為普通的標(biāo)準(zhǔn)卷積操作，Avgpool表示全局平均池化。

Bottleneck結(jié)構(gòu)（圖3）在MobileNetV2中起到降低參數(shù)量、減少計(jì)算復(fù)雜度并提高計(jì)算效率的作用，由三層組成：1×1的卷積層（擴(kuò)展層）、3×3的深度可分離卷積層以及1×1的卷積層（投影層）。擴(kuò)展層用于將輸入特征圖的通道數(shù)增加，即擴(kuò)大其表示能力：緊接著的3x3深度卷積層通過分離通道間的卷積操作來減少計(jì)算量：投影層將擴(kuò)展后的特征圖壓縮回原通道數(shù)，避免了過多的信息丟失。Bottleneck結(jié)構(gòu)有效地實(shí)現(xiàn)了計(jì)算資源與模型性能之間的平衡，確保了模型在維持高效率的同時(shí)，也能夠提供杰出的性能表現(xiàn)，使得MobileNetV2模型在資源受限的設(shè)備上仍具有較好的適用性。

1.4.3 基于預(yù)訓(xùn)練模型的遷移學(xué)習(xí)策略

基于預(yù)訓(xùn)練模型的遷移學(xué)習(xí)策略是一種將現(xiàn)有預(yù)訓(xùn)練模型（例如在ImageNet上訓(xùn)練過的深度卷積神經(jīng)網(wǎng)絡(luò)）作為新任務(wù)的基礎(chǔ)結(jié)構(gòu)，并在此基礎(chǔ)上進(jìn)行修改和擴(kuò)展的方法。該策略可以通過利用預(yù)訓(xùn)練模型中已經(jīng)學(xué)到的通用特征提取能力，加速新任務(wù)的學(xué)習(xí)過程，并提高模型的性能。本研究使用MobileNetV2作為預(yù)訓(xùn)練模型，在此基礎(chǔ)上構(gòu)建新的全連接層，以幫助MobileNetV2模型更好地適應(yīng)櫻桃分類任務(wù)，捕捉到相關(guān)特征?？紤]到全連接層不同的神經(jīng)元個(gè)數(shù)搭配不同的激活函數(shù)對網(wǎng)絡(luò)學(xué)習(xí)能力和泛化能力的影響，即較多的神經(jīng)元數(shù)量可能會(huì)提高模型的表示能力和擬合能力，但同時(shí)也可能增加計(jì)算量和過擬合的風(fēng)險(xiǎn)，反之，較少的神經(jīng)元數(shù)量會(huì)降低計(jì)算量和過擬合風(fēng)險(xiǎn)，但可能限制模型的表示能力，因此，本研究將128、256、512、1024、2048這5種不同數(shù)量的神經(jīng)元，分別搭配Relu與Leaky-Relu兩種激活函數(shù)，設(shè)計(jì)5種不同的模塊進(jìn)行逐一對比，并對4種學(xué)習(xí)率（0.1、0.01、0.001、0.0001）進(jìn)行測試，選出性能表現(xiàn)優(yōu)秀的一組參數(shù)搭配作為后續(xù)試驗(yàn)的默認(rèn)參數(shù)設(shè)置。

1.4.4 特征融合注意力機(jī)制

注意力機(jī)制（atten-tion mechanism）是機(jī)器學(xué)習(xí)中的一種數(shù)據(jù)處理方法，廣泛應(yīng)用在自然語言處理、圖像識別等各種類型的機(jī)器學(xué)習(xí)任務(wù)中，主要使網(wǎng)絡(luò)能夠更加關(guān)注于重要的局部信息。Hou等在2021年提出了一種為輕量級網(wǎng)絡(luò)設(shè)計(jì)的注意力機(jī)制，稱為坐標(biāo)注意力（coordinate attention，CA），其結(jié)構(gòu)如圖4所示。CA通過在x和y兩個(gè)方向上進(jìn)行全局池化，將輸入特征在垂直和水平方向上聚合為兩個(gè)獨(dú)立的方向感知特征圖。與SE通道注意力不同，CA機(jī)制中每個(gè)注意力圖都捕獲了輸入特征圖沿著一個(gè)空間方向的長程依賴關(guān)系。CA機(jī)制通過將空間坐標(biāo)信息與通道特征加權(quán)融合，既提高了模型特征表示能力，又能增強(qiáng)模型泛化能力，避免增加計(jì)算量的同時(shí)擴(kuò)大感受野。

因CA靈活高效，可將其插入輕量級網(wǎng)絡(luò)以提高網(wǎng)絡(luò)精度。本研究將CA模塊添加至Mobile-NetV2網(wǎng)絡(luò)模塊Bottleneck倒置殘差結(jié)構(gòu)的3×3深度可分離卷積與1×1卷積之間，以提高卷積層的注意力和感知力，進(jìn)而提高模型的感知精度和分類性能，同時(shí)還能減少模型參數(shù)和加速模型訓(xùn)練過程。引入CA的MobileNetV2結(jié)構(gòu)如圖5所示。

2 結(jié)果與分析

2.1 遷移學(xué)習(xí)策略中相關(guān)參數(shù)的測試調(diào)整

2.1.1 全連接層神經(jīng)元與激活函數(shù)的確定

從圖6可見，當(dāng)神經(jīng)元個(gè)數(shù)為256、搭配Relu激活函數(shù)時(shí)，模型取得最高準(zhǔn)確率93.40%，說明此時(shí)的模型非線性表達(dá)能力和學(xué)習(xí)能力較原始模型有顯著增強(qiáng)。全連接層神經(jīng)元數(shù)量繼續(xù)增加，兩種激活函數(shù)間的差別縮小，且準(zhǔn)確率出現(xiàn)一定的下降，這可能是因?yàn)殡S著神經(jīng)元個(gè)數(shù)的增加，模型復(fù)雜度提高，運(yùn)算效率降低，產(chǎn)生過擬合趨勢。因此，最終確定神經(jīng)元個(gè)數(shù)為256，搭配Relu激活函數(shù)。

2.1.2 學(xué)習(xí)率的確定

學(xué)習(xí)率（learning rate，Lr）是訓(xùn)練模型時(shí)用于控制模型權(quán)重更新幅度的超參數(shù)。過低的學(xué)習(xí)率易導(dǎo)致收斂速度較慢，困在局部最小值附近：過高的學(xué)習(xí)率則易導(dǎo)致訓(xùn)練過程不穩(wěn)定，甚至無法收斂。本研究在控制其他變量相同的條件下，對0.1、0.01、0.001、0.0001這4種學(xué)習(xí)率進(jìn)行測試，結(jié)果（圖7）顯示，當(dāng)將學(xué)習(xí)率設(shè)置為0.001時(shí)，訓(xùn)練過程較為平穩(wěn)，模型穩(wěn)定性增強(qiáng)，收斂速度快，準(zhǔn)確率提高。

經(jīng)過上述測試分析，最終確定學(xué)習(xí)率為0.001、全連接層神經(jīng)元個(gè)數(shù)為256并搭配Relu激活函數(shù)的效果最好，由此組合成微調(diào)模塊后的網(wǎng)絡(luò)模型I-MobileNetV2。

2.2 注意力機(jī)制對模型性能影響分析

在I-MobileNetV2基礎(chǔ)上，添加CA模塊，組合成新的網(wǎng)絡(luò)模型ICA-MobileNetV2。對I-Mo-bileNetV2、ICA-MobileNetV2與未調(diào)整的Mobile-NetV2模型的識別效果進(jìn)行對比，結(jié)果（圖8）顯示，ICA-MobileNetV2準(zhǔn)確率明顯高于Mobile-NetV2和I-MobileNetV2模型，曲線振蕩幅度變小，且損失值下降更快。表明改進(jìn)后的ICA-Mo-bileNetV2模型性能提升，能快速平穩(wěn)收斂，而且收斂后的損失值也明顯低于改進(jìn)前。

為進(jìn)一步證實(shí)模型改進(jìn)的有效性，本研究又進(jìn)行了消融試驗(yàn)，即在參數(shù)不變的情況下，在I-MobileNetV2與MobileNetV2的同一位置分別添加SA（spatial attention）、SE（squeeze-and-excita-tion）和CBAM（convolutional block attention mod-ule）三種注意力模塊，對比分析這些改進(jìn)模型與本研究提出模型ICA-MobileNetV2在驗(yàn)證集上的準(zhǔn)確率。由表5可以看出，本研究提出的ICA-MobileNetV2模型對櫻桃缺陷識別的準(zhǔn)確率最高，達(dá)到97.09%，明顯高于其他模型1.08-7.04個(gè)百分點(diǎn)。

2.3 ICA-MobileNetV2模型的櫻桃識別效果分析

利用測試集的櫻桃圖像數(shù)據(jù)對ICA-Mobile-NetV2模型的識別效果進(jìn)行評價(jià)。結(jié)果（表6）顯示，該模型對雙胞胎櫻桃的識別效果最好，準(zhǔn)確率、精確度、召回率、F1分?jǐn)?shù)均達(dá)到100%?；贔1分?jǐn)?shù)，該模型對四類櫻桃的識別效果排序?yàn)殡p胞胎櫻桃>完好櫻桃>腐爛櫻桃>刺激生長櫻桃?？傮w來看，ICA-MobileNetV2模型對四類櫻桃的識別分類效果較好，各指標(biāo)均值都達(dá)到97%。

圖9是ICA-MobileNetV2測試結(jié)果的混淆矩陣。可見，預(yù)測值密集分布在對角線上，僅個(gè)別出現(xiàn)分類錯(cuò)誤，這可能是因?yàn)椴糠执碳どL情況相對不明顯的櫻桃以及腐爛范圍較小的櫻桃與完好櫻桃間相似度較高，特征提取過程中不易區(qū)分，從而導(dǎo)致識別錯(cuò)誤。

3 結(jié)論

本研究通過對比分析VCG-16、ResNet18、NASNet-Mobile、MobileNetV2、InceptionV3模型的識別效果，選擇參數(shù)量小且準(zhǔn)確率較高的輕量級模型MobileNetV2作為基線網(wǎng)絡(luò)模型。在此基礎(chǔ)上，對遷移學(xué)習(xí)策略中的神經(jīng)元數(shù)量、激活函數(shù)及學(xué)習(xí)率進(jìn)行測試，構(gòu)建了一個(gè)新的I-MobileNetV2模型，在預(yù)處理后的櫻桃數(shù)據(jù)測試集上，達(dá)到了94.34%的識別準(zhǔn)確率：進(jìn)一步在I-MobileNetV2網(wǎng)絡(luò)的殘差結(jié)構(gòu)中添加CA模塊，構(gòu)建了ICA-MobileNetV2模型。用驗(yàn)證集櫻桃圖像對ICA-MobileNetV2模型進(jìn)行檢驗(yàn)，識別準(zhǔn)確率達(dá)到97.09%，可以實(shí)現(xiàn)對缺陷櫻桃的高效識別與分類。

本研究基于特征融合注意力機(jī)制實(shí)現(xiàn)對缺陷櫻桃的識別，不僅省時(shí)省力，可有效減輕人工分揀對櫻桃果實(shí)的二次損傷，而且輕量化的網(wǎng)絡(luò)結(jié)構(gòu)也提高了其在可移動(dòng)智能篩選設(shè)備中部署的可行性。后續(xù)將增加櫻桃品種及缺陷樣本種類，豐富數(shù)據(jù)集，同時(shí)繼續(xù)優(yōu)化模型，提高其識別速度和能力，以更好地投入到生產(chǎn)實(shí)踐中。

基金項(xiàng)目：山東省自然科學(xué)基金項(xiàng)目（ZR2022MC152）；山東省高等學(xué)校青創(chuàng)人才引育計(jì)劃項(xiàng)目（202202027）