深度學(xué)習(xí)在水果品質(zhì)檢測中的應(yīng)用

陳 輝

(塔里木大學(xué) 信息工程學(xué)院，新疆 阿拉爾 843300)

0 引言

水果因其鮮美可口和富含多種營養(yǎng)受到許多消費(fèi)者的喜愛,隨著生活水平的不斷提高,消費(fèi)者開始越來越多注重水果品質(zhì),但水果在采收、貯藏、運(yùn)輸?shù)拳h(huán)節(jié)會(huì)因操作不當(dāng)或意外發(fā)生損傷,造成腐爛，在生產(chǎn)環(huán)節(jié)易受病蟲害影響，從而影響水果品質(zhì)。為了解決該問題，需對水果進(jìn)行檢測，篩選出有損傷的水果，提高水果的商品質(zhì)量。在對水果品質(zhì)進(jìn)行檢測時(shí)，若使用人工進(jìn)行評判，會(huì)受檢測人員的經(jīng)驗(yàn)水平影響，其受主觀性較大，使得檢測結(jié)果參差不齊，難以形成規(guī)范。深度學(xué)習(xí)因其能提取目標(biāo)的全局特征和局部特征，且能從大量數(shù)據(jù)中提取特征，在數(shù)據(jù)處理方面優(yōu)勢明顯，在目標(biāo)檢測識(shí)別領(lǐng)域深受歡迎。深度學(xué)習(xí)的特性在水果檢測和病蟲害識(shí)別等方面受到了廣泛關(guān)注。

1 深度學(xué)習(xí)簡介

深度學(xué)習(xí)[1](Deep Learning，DL)是機(jī)器學(xué)習(xí)的子集,機(jī)器學(xué)習(xí)從淺層機(jī)器學(xué)習(xí)發(fā)展到深度學(xué)習(xí)。深度學(xué)習(xí)是一種表示學(xué)習(xí)能夠?qū)W到數(shù)據(jù)更高層次的抽象表示，能自動(dòng)從數(shù)據(jù)中提取特征。通過對模型進(jìn)行預(yù)訓(xùn)練，能持續(xù)不斷地調(diào)整及優(yōu)化特征，可用于更快速方便地處理大量數(shù)據(jù)，擁有更好的性能和更高的精度。DL中的“深度”意指神經(jīng)網(wǎng)絡(luò)的層之深，最常見的人工神經(jīng)網(wǎng)絡(luò)由輸入層、隱藏層和輸出層組成如圖1所示,依次為輸入層、隱藏層和輸出層。

圖1 深度神經(jīng)網(wǎng)絡(luò)

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)[2](Convolutional Neural Network，CNN)是一種特殊的深層前饋網(wǎng)絡(luò)，CNN主要包含輸入層、卷積層、池化層、全連接層及輸出層。但是，在網(wǎng)絡(luò)結(jié)構(gòu)中，為了使輸出更加準(zhǔn)確，特征提取更加豐富，通常網(wǎng)絡(luò)模型中使用多卷積層和多池化層相結(jié)合的網(wǎng)絡(luò)模型，卷積神經(jīng)網(wǎng)絡(luò)分類模型的優(yōu)勢在于，摒棄了復(fù)雜煩瑣的圖像預(yù)處理過程，并將特征提取、分類器識(shí)別等模塊的功能集合在一個(gè)網(wǎng)絡(luò)里，節(jié)省了特征提取和數(shù)據(jù)重建等工作。同時(shí)整個(gè)網(wǎng)絡(luò)模型的復(fù)雜度得到簡化，層與層之間參數(shù)值的數(shù)量也有效減少，最終導(dǎo)致網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)和識(shí)別更容易，而且還提升了圖像分類的泛化能力及精準(zhǔn)度。

1.2 循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)[3](Recurrent Neural Networks，RNN)主要是用來解決序列數(shù)據(jù)問題。RNN隨著時(shí)間的推移反復(fù)迭代的結(jié)構(gòu)實(shí)現(xiàn)對序列數(shù)據(jù)的學(xué)習(xí)。RNN的高維隱藏狀態(tài)和非線性演化特性賦予了其更加強(qiáng)大復(fù)雜的表達(dá)分析能力,使RNN的隱藏狀態(tài)都能夠同時(shí)整合多個(gè)時(shí)間步節(jié)點(diǎn)上的信息,并利用其進(jìn)行準(zhǔn)確的預(yù)測。RNN在訓(xùn)練中會(huì)出現(xiàn)梯度消失問題，采用長短期記憶算法LSTM來解決此類問題。

1.3 生成對抗網(wǎng)絡(luò)

生成對抗網(wǎng)絡(luò)(Generative Adversarial Networks，GAN)是一種無監(jiān)督深度學(xué)習(xí)模型，通過計(jì)算機(jī)生成數(shù)據(jù)，GAN由生成器和判別器組成，生成器通過機(jī)器產(chǎn)生數(shù)據(jù)，判別器負(fù)責(zé)對這些數(shù)據(jù)進(jìn)行檢測判別其是真數(shù)據(jù)還是假數(shù)據(jù),通過不斷循環(huán)，獲得所需輸出。

2 深度學(xué)習(xí)在水果品質(zhì)檢測領(lǐng)域的研究現(xiàn)狀

2.1 水果品質(zhì)檢測領(lǐng)域常用模型

深度學(xué)習(xí)算法眾多紛雜，不同的算法適用于不同的應(yīng)用場景，選用合適的深度學(xué)習(xí)算法對水果品質(zhì)檢測準(zhǔn)確率和效率非常重要，深度學(xué)習(xí)主流的目標(biāo)檢測算法有Faster R-CNN、YOLO、SSD等。

2.1.1 YOLO算法

2016年,Joseph Redmon等[4]人提出了一種單階段(one-stage)的目標(biāo)檢測網(wǎng)絡(luò)YOLO。不久，YOLOv2也被提出，YOLOv2是一種單階段完整的對象檢測框架,是對YOLO的改進(jìn),使其更好、更快、更強(qiáng)。YOLOv2基于Darknet-19,其有19個(gè)卷積層,主要使用類似于VGGNet 的3×3過濾器。YOLOv2有22個(gè)卷積層和1個(gè)檢測層。YOLOv3基于Darknet-53,是YOLOv2的改進(jìn)。并具有類似 ResNet的跳躍連接。YOLOv3為了獲取更有意義和更細(xì)粒度的信息,將下層特征映射與上層特征映射進(jìn)行合并并進(jìn)一步處理。YOLOv4參考跨級局部網(wǎng)絡(luò)的思想,在 YOLOv3的基礎(chǔ)上使用特征學(xué)習(xí)效果更強(qiáng)的交叉跨級局部網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)。對特征圖進(jìn)行堆疊、卷積采用空間金字塔池化,目的是擴(kuò)大視覺感受也有利于全局檢測。路徑聚合網(wǎng)絡(luò)(Path Aggregation Network,PANet)將特征圖進(jìn)行上下采樣,以此來融合提取到的圖像信息。最后YOLOv4生成三個(gè)檢測頭Head去檢測目標(biāo)。不久后，YOLOv5被提出，是YOLOv4的改進(jìn), YOLOv5綜合了許多深度學(xué)習(xí)目標(biāo)檢測算法的優(yōu)點(diǎn)。

2.1.2 Faster R-CNN算法

R-CNN模型最初由R Girshick等[5]提出,成為兩階段目標(biāo)檢測R-CNN系列的開端。R-CNN通過不斷優(yōu)化改進(jìn)相繼出現(xiàn)Fast R-CNN、Faster R-CNN。Faster R-CNN用區(qū)域生成網(wǎng)絡(luò)(Region Proposal Network, RPN)取代R-CNN的選擇搜索方法,具有檢測速度更快的優(yōu)點(diǎn)。Faster R-CNN的原理是以CNN為基礎(chǔ)輸入圖像，經(jīng)過多層卷積層和池化層進(jìn)入RPN。RPN將特征分為兩個(gè)部分通過卷積核來實(shí)現(xiàn)。一般來說,Faster R-CNN可以看作是Fast R-CNN加上一個(gè)RPN。

2.1.3 SSD算法

SSD是一種單階段目標(biāo)檢測算法，采用多尺度目標(biāo)檢測，從網(wǎng)絡(luò)不同層抽取目標(biāo)不同尺度的特征做預(yù)測。SSD 是VGG16網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行修改得到，使用兩個(gè)卷積層替換VGG16網(wǎng)絡(luò)最后的全連接層，然后在VGG網(wǎng)絡(luò)的后面再增加4個(gè)卷積層。

Faster R-CNN、YOLO、SSD均能達(dá)到實(shí)時(shí)性要求且精度較高，F(xiàn)ast R-CNN較其他兩種算法精度更高，但速度慢。YOLO特點(diǎn)是速度快，YOLO提取特征采用將輸入圖片分成網(wǎng)格，造成精度低。SSD 借鑒了Fast R-CNN和YOLO的特點(diǎn)，SSD特點(diǎn)是速度快，但其在訓(xùn)練中產(chǎn)生較多超參數(shù)是一難點(diǎn)。未來研究可以結(jié)合多類算法的優(yōu)點(diǎn)進(jìn)行改進(jìn)，獲得合適的算法。

2.2 水果品質(zhì)外部檢測

水果在采摘和運(yùn)輸?shù)拳h(huán)節(jié)受到損傷，容易產(chǎn)生腐爛，從而影響水果的品質(zhì)，影響消費(fèi)者的購買欲望。近年來，國內(nèi)外眾多學(xué)者運(yùn)用深度學(xué)習(xí)技術(shù)對水果品質(zhì)外部檢測。

周輝禮[6]采用深度卷積神經(jīng)網(wǎng)絡(luò)對蘋果表面成熟度進(jìn)行了分類評估及識(shí)別,平均結(jié)果準(zhǔn)確率達(dá)到82%。在檢測蘋果腐爛、裂紋和蟲眼等方面，實(shí)驗(yàn)表明SSD＿ResNet101比Faster R-CNN＿ResNet101更佳。周勝安等[7]使用MobileNetV3 替代CenterNet原有的骨干網(wǎng)絡(luò),加快檢測速度,對MobileNetV3模塊進(jìn)行改進(jìn),提高模型對水果中小缺陷的識(shí)別。研究結(jié)果表明，深度CNN在分析水果內(nèi)部力學(xué)損傷方面具有廣闊的應(yīng)用前景。Ashutosh等[8]開發(fā)基于人工神經(jīng)網(wǎng)絡(luò)(ANN)的蘋果分類器。測試工作量采用ANN方法計(jì)算，建模結(jié)果表明實(shí)驗(yàn)數(shù)據(jù)和預(yù)測值之間有很好的一致性。較低的預(yù)測誤差證實(shí)了神經(jīng)網(wǎng)絡(luò)模型是蘋果品質(zhì)評價(jià)的有效工具。

2.3 水果品質(zhì)內(nèi)部檢測

水果糖度、酸度、堅(jiān)實(shí)度等內(nèi)部品質(zhì)也是水果檢測的重點(diǎn)，深度學(xué)習(xí)無法檢測水果內(nèi)部，需要結(jié)合光譜技術(shù)來檢測。近年來，深度學(xué)習(xí)和光譜技術(shù)結(jié)合廣泛應(yīng)用于水果內(nèi)部品質(zhì)檢測，是一種精準(zhǔn)、快速、無損的水果品質(zhì)檢測手段。

溫馨[9]重點(diǎn)研究分析對象為臍橙、香梨,其果實(shí)糖度為檢測的關(guān)鍵指標(biāo),依托深度學(xué)習(xí)和可見/近紅外光譜技術(shù),開發(fā)了一種水果糖度回歸模型(MLP-CNN)。MLP-CNN可實(shí)現(xiàn)對水果糖度的實(shí)時(shí)精準(zhǔn)、快速測量、無損。高沖[10]應(yīng)用高光譜與深度學(xué)習(xí)的技術(shù)，基于內(nèi)外部品質(zhì)無損檢測模型,開發(fā)品質(zhì)檢測及分級裝置。結(jié)果表明,設(shè)計(jì)開發(fā)的蘋果品質(zhì)檢測及分選裝置可以快速準(zhǔn)確檢測蘋果綜合品質(zhì),分級準(zhǔn)確率高,對促進(jìn)蘋果產(chǎn)業(yè)發(fā)展有積極意義。GarillosManliguez等[11]研究分析對象為木瓜，預(yù)測木瓜的六種成熟度，提出了一種對可見光和高光譜兩種成像模式獲取數(shù)據(jù)，然后進(jìn)行特征拼接來估測水果成熟度。樣品水果的形態(tài)變化通過RGB圖像可以很容易地測量，而從400～900 nm波長范圍的高光譜圖像中可以提取出與水果內(nèi)部性質(zhì)相關(guān)性的光譜特征，這是建立模型時(shí)必要因素。實(shí)驗(yàn)表明，采用強(qiáng)大的深度卷積神經(jīng)網(wǎng)絡(luò)模型和多模態(tài)輸入相結(jié)合，可以對水果成熟度進(jìn)行分類。其表明，多模態(tài)深度學(xué)習(xí)架構(gòu)和多模態(tài)成像在估測田間水果成熟度方面具有巨大的潛力，可以幫助果農(nóng)估測最佳收獲時(shí)間和應(yīng)用到其他農(nóng)產(chǎn)品中，促進(jìn)了深度學(xué)習(xí)在農(nóng)業(yè)中的應(yīng)用。

3 結(jié)語

深度學(xué)習(xí)在水果品質(zhì)檢測研究領(lǐng)域取得了顯著的成果，相比于機(jī)器學(xué)習(xí)等檢測技術(shù)優(yōu)勢明顯，傳統(tǒng)的檢測算法需要人為提取特征,且人為設(shè)計(jì)特征非常費(fèi)時(shí)費(fèi)力,參數(shù)的調(diào)整需要很長時(shí)間，不能很好適應(yīng)不同的檢測識(shí)別問題。深度學(xué)習(xí)因其能自動(dòng)提取特征，在目標(biāo)檢測領(lǐng)域廣受歡迎。其在水果品質(zhì)檢測方面準(zhǔn)確率和速度都相對較高，越來越多的學(xué)者將其應(yīng)用在水果品質(zhì)檢測研究中。

深度學(xué)習(xí)做模型訓(xùn)練需要大量數(shù)據(jù)，當(dāng)前公開的水果數(shù)據(jù)集比較少，符合模型訓(xùn)練的數(shù)據(jù)較少，數(shù)據(jù)采集需花費(fèi)大量時(shí)間。深度學(xué)習(xí)模型訓(xùn)練時(shí)間較長，對算力要求高。深度學(xué)習(xí)在水果品質(zhì)檢測領(lǐng)域尚處在實(shí)驗(yàn)研究階段，未被應(yīng)用于生產(chǎn)生活方面。隨著計(jì)算機(jī)性能的提升，期待水果品質(zhì)智能化檢測應(yīng)用在生產(chǎn)生活中，提高水果分類識(shí)別和品質(zhì)檢測效率，減少人力物力的投入。

(04)