水果分類識(shí)別與成熟度檢測技術(shù)綜述＊

陳貝文，陳 淦

（廣東外語外貿(mào)大學(xué)南國商學(xué)院計(jì)算機(jī)學(xué)院，廣東 廣州 510545）

0 引言

水果產(chǎn)量的提升大大地提高了對水果的品質(zhì)檢測與分級的要求。在生產(chǎn)和運(yùn)輸環(huán)節(jié)，需要對水果分類分揀以便于后面品質(zhì)檢測。在銷售環(huán)節(jié)，依據(jù)水果的成熟度、糖度、外觀完整度和尺寸等方面對水果進(jìn)行分級銷售來提高銷售量。如何快速且準(zhǔn)確地對水果進(jìn)行大規(guī)模品質(zhì)檢測與分級是一個(gè)迫在眉睫的問題。

早期的水果品質(zhì)檢測與分級是人工完成的。后來，機(jī)械代替了大部分人工的品質(zhì)檢測與分級的步驟，極大地提高了效率。但是由于機(jī)械的準(zhǔn)確度低，仍無法完全替代人工?；跈C(jī)器視覺技術(shù)分揀系統(tǒng)利用攝像頭或光譜成像設(shè)備替代人類視覺對水果進(jìn)行圖像采集，使用計(jì)算機(jī)進(jìn)行處理，實(shí)現(xiàn)水果圖像的識(shí)別、檢測與分級，最終篩選出不同分級的水果。因此，利用機(jī)器視覺對水果進(jìn)行品質(zhì)檢測與分級是水果行業(yè)的發(fā)展的必然趨勢。但是目前還有許多關(guān)鍵問題需要解決。例如，水果品質(zhì)的情況復(fù)雜，檢測難度大；對不同類別水果的品質(zhì)檢測與分級通用性低等。這些問題迫切需要得到解決。為了更全面地了解目前水果檢測相關(guān)技術(shù)領(lǐng)域的研究進(jìn)展，為后續(xù)研究提供參考，本文總結(jié)歸納了水果分類與識(shí)別、水果成熟度檢測的研究方法、原理和步驟。同時(shí)還對常見的水果數(shù)據(jù)集進(jìn)行總結(jié)，并簡單介紹了數(shù)據(jù)集的特點(diǎn)、用途。

1 水果分類與識(shí)別

目前水果分類與識(shí)別技術(shù)主要有以下兩大種方法：第一種是提取紋理、顏色、形狀等特征，通過傳統(tǒng)機(jī)器學(xué)習(xí)方法構(gòu)建水果分類器；第二種是構(gòu)建深度神經(jīng)網(wǎng)絡(luò)進(jìn)一步提高水果分類識(shí)別精度。

1.1 傳統(tǒng)水果分類與識(shí)別技術(shù)

傳統(tǒng)水果分類與識(shí)別方法一般使用人工設(shè)計(jì)的特征提取方法進(jìn)行特征提取，提取水果圖像的大小、形狀、顏色、紋理等特征，融合一個(gè)或者多個(gè)特征構(gòu)建分類器，實(shí)現(xiàn)水果自動(dòng)分類識(shí)別。圖1 是傳統(tǒng)水果圖像分類與識(shí)別系統(tǒng)流程圖。

圖1 傳統(tǒng)水果圖像分類與識(shí)別系統(tǒng)流程圖

陶華偉等人先利用顏色完全局部二值模式提取圖像紋理特征，利用顏色直方圖提取圖像顏色特征，采用匹配得分融合算法將顏色和紋理特征相融合，再進(jìn)行水果種類識(shí)別。最終實(shí)驗(yàn)結(jié)果表明，該方法相比其他的特征提取方法，時(shí)間開銷減少，識(shí)別率有所提高。

Zawbaa等人利用水果的形狀和顏色來識(shí)別每個(gè)圖像特征，該系統(tǒng)分三個(gè)階段：預(yù)處理階段、特征提取階段和分類階段。預(yù)處理階段減少顏色指數(shù)；特征提取階段使用尺度不變特征變換（SIFT）和形狀和顏色特征為數(shù)據(jù)集中的每個(gè)圖像生成特征向量；在分類階段采用K 最鄰近法分類和支持向量機(jī)（SVM）算法識(shí)別水果種類。實(shí)驗(yàn)結(jié)果表明，該方法能夠準(zhǔn)確地識(shí)別178種水果。大多數(shù)水果分類識(shí)別算法所使用的圖像往往是在嚴(yán)格限定的環(huán)境中采集的，消除了外界環(huán)境對圖像的影響。但是現(xiàn)實(shí)的環(huán)境是復(fù)雜的，由于水果圖像的顏色特征和紋理特征會(huì)隨著水果的生長周期的不同變得復(fù)雜，并且采集水果圖像時(shí)自然光照強(qiáng)度變化和陰影也會(huì)存在不同，這也會(huì)增加水果分類識(shí)別的難度，因此需要更好的分類識(shí)別方法來解決這些問題。

1.2 基于深度學(xué)習(xí)的水果分類與識(shí)別技術(shù)

深度學(xué)習(xí)的本質(zhì)就是深層網(wǎng)絡(luò)借助于非線性信息處理機(jī)制，通過有監(jiān)督和無監(jiān)督相結(jié)合的訓(xùn)練方式來實(shí)現(xiàn)對特征的提取和轉(zhuǎn)換，借助于分布式特征表示來實(shí)現(xiàn)對樣本間復(fù)雜數(shù)據(jù)關(guān)系的擬合。卷積神經(jīng)網(wǎng)絡(luò)（CNN）是深度學(xué)習(xí)中極具代表性的算法，應(yīng)用廣泛。圖2 是卷積神經(jīng)網(wǎng)絡(luò)基本流程圖。李思雯等人提出一種用集成的卷積神經(jīng)網(wǎng)絡(luò)方法來解決冰箱果蔬種類識(shí)別問題。該方法能夠有效提升深度學(xué)習(xí)模型中代表果蔬顏色特征的參數(shù)權(quán)重，使得智能冰箱果蔬種類識(shí)別率有一定提升。Hossain等人提出了一種基于深度學(xué)習(xí)的水果識(shí)別的有效框架。有研究數(shù)據(jù)表明經(jīng)過微調(diào)的經(jīng)典網(wǎng)絡(luò)模型在果蔬分類上具有較好的效果。Li等人利用改進(jìn)的VGGM 網(wǎng)絡(luò)模型進(jìn)行果蔬分類，實(shí)驗(yàn)結(jié)果表明，結(jié)合批處理歸一化層的VGGMBN 提高了網(wǎng)絡(luò)收斂速度和精度，相比于VGG網(wǎng)絡(luò)和AlexNet網(wǎng)絡(luò)，果蔬分類準(zhǔn)確度有了很大的提高，在測試數(shù)據(jù)集上的分類準(zhǔn)確度達(dá)到96.5%。深度神經(jīng)網(wǎng)絡(luò)相比傳統(tǒng)機(jī)器學(xué)習(xí)方法減少了人工干預(yù)過程，擁有自主學(xué)習(xí)特征和表達(dá)能力，許多學(xué)者對于深度學(xué)習(xí)技術(shù)在農(nóng)業(yè)中的研究也日漸深入。

圖2 卷積神經(jīng)網(wǎng)絡(luò)基本流程圖

2 水果成熟度檢測

根據(jù)檢測過程是否會(huì)對水果產(chǎn)生破壞，將水果成熟度檢測技術(shù)分為有損檢測技術(shù)和無損檢測技術(shù)兩大類。

2.1 水果成熟度的有損檢測技術(shù)

傳統(tǒng)檢測技術(shù)主要靠經(jīng)驗(yàn)和各類檢測分析儀器觀察水果的外觀，檢測水果的硬度、可溶性糖含量、可滴定酸含量等指標(biāo)，據(jù)此來判斷水果的成熟度。這些方法，除了人的經(jīng)驗(yàn)判斷水果的成熟度外，其他方法都會(huì)對水果產(chǎn)生一定的破壞，因此我們又把傳統(tǒng)檢測技術(shù)稱為有損檢測技術(shù)。根據(jù)檢測水果的指標(biāo)，我們將有損檢測技術(shù)分為外觀品質(zhì)檢測、硬度檢測、可溶性糖含量檢測和可滴定酸含量檢測。①基于外觀品質(zhì)判斷水果成熟度。這是一個(gè)最原始、最傳統(tǒng)的水果成熟度檢測方法。人們依靠長期的經(jīng)驗(yàn)，根據(jù)水果的大小、顏色、氣味等特征，對水果成熟度加以分析和判斷。②基于對硬度的檢測判斷水果成熟度。水果的硬度是衡量水果成熟度、水果品質(zhì)的重要指標(biāo)。在通常情況下，水果的硬度隨其成熟度的提高而逐漸降低。③基于對可溶性糖含量的檢測判斷水果成熟度。可溶性糖含量是檢測水果成熟度的另一個(gè)重要的指標(biāo)。通常情況下，水果的可溶性糖含量越高，成熟度等級越高。目前，檢測水果中的可溶性糖含量普遍采用的方法是容量法，例如費(fèi)林試劑滴定法；基于對可滴定酸含量的檢測判斷水果成熟度。④可滴定酸含量和可溶性糖含量一樣，是衡量果實(shí)成熟度的重要因素之一?，F(xiàn)在，更為常見的方法是基于電導(dǎo)法的酸度計(jì)測試法，該方法通過電導(dǎo)率法觀察電流流動(dòng)來測量樣品中可滴定酸含量，不需要化學(xué)試劑。操作簡單、檢測效率較高，但是該方法對操作的專業(yè)性要求高、同時(shí)屬于有損檢測。

2.2 水果成熟度的無損檢測技術(shù)

無損檢測又稱非破壞檢測，是一種在不破壞被檢對象的前提下，利用果品的物理性質(zhì)對其進(jìn)行檢測、評價(jià)的方法，保證了水果的完整性，是確定水果最佳采收期和按成熟度進(jìn)行準(zhǔn)確分級的關(guān)鍵。無損檢測技術(shù)具有無損、快速、準(zhǔn)確和實(shí)時(shí)性的特性。目前無損檢測技術(shù)可以分為以下幾類：光學(xué)特性分析法、電學(xué)特性分析法、聲學(xué)特性分析法、化學(xué)特性分析法、機(jī)器視覺分析法和其他成熟度無損檢測法。①水果對光的吸收、反射和投射特性會(huì)因?yàn)樗麅?nèi)部成分、外部特征和在不同的波長光線照射呈現(xiàn)出不同的特性。水果的分光反射率或吸收率在某一波長內(nèi)會(huì)出現(xiàn)峰值，而這一峰值的變化與水果的硬度、可溶性糖含量等內(nèi)部指標(biāo)存在一定的聯(lián)系，因此基于水果的光學(xué)特性進(jìn)行無損檢測是可行的，從而進(jìn)一步判斷水果的成熟度。②基于電學(xué)特性的水果成熟度無損檢測技術(shù)的原理是根據(jù)生物分子中束縛電荷對外加電場的響應(yīng)特性，通過電學(xué)參數(shù)反應(yīng)水果的內(nèi)部變化，并與其內(nèi)部某些生理指標(biāo)（例如硬度、可溶性糖含量、可滴定酸含量等）建立相關(guān)性關(guān)系，進(jìn)而用于檢測水果的成熟度。③基于聲學(xué)特性的水果成熟度無損檢測技術(shù)的主要原理是依據(jù)水果的各種聲學(xué)特性指標(biāo)變化來反映果實(shí)內(nèi)部的品質(zhì)。通過果實(shí)內(nèi)部某些生理指標(biāo)（例如硬度、可溶性糖含量、可滴定酸含量等）與聲學(xué)特性指標(biāo)建立相關(guān)關(guān)系，進(jìn)而用于檢測水果的成熟度。④基于化學(xué)特性的水果成熟度無損檢測技術(shù)主要依托電子鼻檢測技術(shù)（氣味掃描儀）。電子鼻對水果成熟度的無損檢測技術(shù)主要是模擬電子儀器感知水果成熟時(shí)所散發(fā)出的特定物質(zhì)（例如乙烯、酯類等），從而對其進(jìn)行的無損檢測。⑤機(jī)器視覺技術(shù)是以計(jì)算機(jī)和圖像獲取裝置為工具模擬人類的視覺功能，并從圖像中獲取某些特定的信息，對這些特定的信息進(jìn)行分析處理，判斷其與成熟度之間的相關(guān)關(guān)系。除了上述等無損檢測技術(shù)之外，還有生物傳感器檢測技術(shù)、核磁共振檢測技術(shù)、X射線衍射技術(shù)等。

3 常見的水果數(shù)據(jù)集

水果數(shù)據(jù)集在水果分類與識(shí)別、水果成熟度檢測等方面占有著重要的地位，數(shù)據(jù)集的優(yōu)劣會(huì)影響最終結(jié)果的準(zhǔn)確率。本節(jié)將重點(diǎn)介紹常用的水果數(shù)據(jù)集。

Fruits 360是目前常用的水果數(shù)據(jù)集之一，它是由Mihai Oltean 創(chuàng)建的一個(gè)實(shí)時(shí)更新的水果數(shù)據(jù)集，目前最近一次更新是在2020 年5 月份。Fruits 360 由90483 張100x100 的圖片（67692 張用來訓(xùn)練，22688 張用來測試）組成，包括131 種水果類型，每張圖片都只包含一種水果。Fruits 360數(shù)據(jù)集用途廣泛，可以用于研究水果分類與識(shí)別水果成熟度檢測等方面。除了Fruits 360 之外，還有很多其他的水果數(shù)據(jù)集。例如，F(xiàn)ruits-262：該數(shù)據(jù)集由AelchimMinut創(chuàng)建，由225640張不同大?。▓D片的大小為13x16、26x32、52x64、104x128、208x256）的圖片組成，其中包含了262 種水果類型。Fruit Recognition：該數(shù)據(jù)集由ChrisGorgolewski創(chuàng)建，由44406 張320x258 的圖片組成，其中包含15 種不同類型的水果。FruitImages for Object Detection：該數(shù)據(jù)集由MuhammedeBuyukkinaci創(chuàng)建，由300張圖片組成（240 張用來訓(xùn)練，60 張用來測試），包含了3 種不同的水果類型。以下歸納了常見的水果數(shù)據(jù)集，見表1。

表1 常見的水果數(shù)據(jù)集

4 分析與展望

近年來隨著水果行業(yè)的發(fā)展，水果檢測相關(guān)技術(shù)逐漸成為研究的熱點(diǎn)。水果檢測相關(guān)技術(shù)雖然已經(jīng)取得了一定的成果，但是還是存在著一些不足。首先對于水果分類與識(shí)別來說，分類識(shí)別的準(zhǔn)確性受外界環(huán)境的干擾大，未來如何克服外界環(huán)境的干擾，提高分類識(shí)別的準(zhǔn)確性是該鄰域的研究重點(diǎn)。對于水果成熟度檢測，傳統(tǒng)的成熟度檢測方法屬于有損檢測，會(huì)對果實(shí)產(chǎn)生一定的破壞，不利于大規(guī)模批量檢測。而無損檢測技術(shù)是較新的技術(shù)，發(fā)展還不成熟。同時(shí)現(xiàn)有的水果成熟度檢測的技術(shù)大多是針對某一種特定的水果的檢測，而很少有可以應(yīng)用到多種不同的水果。因此未來研究檢測多種水果成熟度的技術(shù)將會(huì)是水果成熟度檢測研究的新方向。