計(jì)算機(jī)視覺在農(nóng)產(chǎn)品外部品質(zhì)檢測(cè)中的應(yīng)用研究

姚 綴,呂建秋,向 誠(chéng),岑俏媛,田興國(guó),,*

(1.華南農(nóng)業(yè)大學(xué)數(shù)學(xué)與信息學(xué)院,廣東廣州 510642;2.華南農(nóng)業(yè)大學(xué)新農(nóng)村發(fā)展研究院,廣東廣州 510642;3.華南農(nóng)業(yè)大學(xué)食品學(xué)院,廣東廣州 510642)

農(nóng)產(chǎn)品是人類日常生活中必不可少的消費(fèi)品。伴隨著人民生活水平的不斷提高,消費(fèi)者對(duì)農(nóng)產(chǎn)品品質(zhì)的要求也日益增加[1]。在消費(fèi)者購(gòu)買農(nóng)產(chǎn)品時(shí),首先接觸的是農(nóng)產(chǎn)品的外部品質(zhì),也就是說,農(nóng)產(chǎn)品的外部品質(zhì)會(huì)直接影響消費(fèi)者的偏好和選擇[2]。因此,科學(xué)、準(zhǔn)確地評(píng)價(jià)農(nóng)產(chǎn)品外部品質(zhì)就成為了關(guān)鍵[3]。

傳統(tǒng)的農(nóng)產(chǎn)品品質(zhì)檢測(cè)方法多數(shù)依賴于人工處理,并且只能完成農(nóng)產(chǎn)品的外部品質(zhì)檢測(cè),對(duì)于農(nóng)產(chǎn)品內(nèi)部品質(zhì),大多數(shù)采用化學(xué)方法對(duì)樣本進(jìn)行破壞性分析。傳統(tǒng)的人工處理和化學(xué)檢測(cè)方法耗時(shí)、低效,為了能夠進(jìn)一步優(yōu)化農(nóng)產(chǎn)品品質(zhì)檢測(cè)的方案,近些年國(guó)內(nèi)外開展大量研究,努力尋找快速、準(zhǔn)確的農(nóng)產(chǎn)品品質(zhì)檢測(cè)方法[4]。計(jì)算機(jī)視覺是一種無損、快速、經(jīng)濟(jì)的檢測(cè)技術(shù),可通過電子感知圖像、解釋和識(shí)別標(biāo)記,實(shí)現(xiàn)人類視覺相同的效果。隨著信息科學(xué)的發(fā)展,計(jì)算機(jī)視覺模式識(shí)別和圖像處理技術(shù)日趨成熟,能為食品分類、分級(jí)和檢測(cè)提供更多信息。在過去的十年,計(jì)算機(jī)視覺在食品工業(yè)領(lǐng)域發(fā)展迅速。通過檢索WoS數(shù)據(jù)庫,發(fā)現(xiàn),2009～2018年計(jì)算機(jī)視覺在農(nóng)產(chǎn)品品質(zhì)檢測(cè)領(lǐng)域每年發(fā)布的研究論文數(shù)量明顯增加(圖1),計(jì)算機(jī)視覺在農(nóng)產(chǎn)品品質(zhì)檢測(cè)領(lǐng)域發(fā)展迅速。

圖1 2009～2018年計(jì)算機(jī)視覺在農(nóng)產(chǎn)品品質(zhì)檢測(cè)領(lǐng)域發(fā)布的研究論文數(shù)量Fig.1 Number of research papers published in the field of agricultural product quality inspection by computer vision in 2009～2018

計(jì)算機(jī)視覺廣泛應(yīng)用于農(nóng)產(chǎn)品[5-8]品質(zhì)評(píng)估中,已發(fā)表各種研究論文,其中一些側(cè)重于分析單一農(nóng)產(chǎn)品特定的外部質(zhì)量屬性(大小、顏色、表面缺陷等)[9-10],而另一些專注于特定技術(shù)(圖像分析、多光譜、高光譜、計(jì)算機(jī)斷層掃描、X射線等)[11],缺乏農(nóng)產(chǎn)品外部品質(zhì)分析詳細(xì)的概述。本文介紹了計(jì)算機(jī)視覺系統(tǒng)的組件、圖像處理和分析方法、農(nóng)產(chǎn)品外部質(zhì)量檢查的步驟。在此基礎(chǔ)上,分別對(duì)計(jì)算機(jī)視覺技術(shù)在農(nóng)產(chǎn)品外部質(zhì)量檢測(cè)等方面的主要應(yīng)用進(jìn)行綜述,旨在為農(nóng)產(chǎn)品加工行業(yè)自動(dòng)化發(fā)展提供技術(shù)支持[8-12]。

1 計(jì)算機(jī)視覺系統(tǒng)

計(jì)算機(jī)視覺是通過計(jì)算機(jī)獲取和分析真實(shí)場(chǎng)景的圖像,從而獲得場(chǎng)景中物體的信息的技術(shù)。計(jì)算機(jī)視覺的目的是從圖像中理解目標(biāo)信息,完成目標(biāo)的快速無損的檢測(cè)[13]。計(jì)算機(jī)視覺通過對(duì)獲取的圖像進(jìn)行處理與分析,完成目標(biāo)物體的定量/定性檢測(cè)[14-15]。計(jì)算機(jī)視覺是指能夠觀察物體和感知光學(xué)特性并解釋結(jié)果的機(jī)器視覺[16]。在文獻(xiàn)中,計(jì)算機(jī)視覺和機(jī)器視覺這兩個(gè)術(shù)語通?？梢曰Q使用。

計(jì)算機(jī)視覺系統(tǒng)一般包括光源,圖像采集設(shè)備(相機(jī)或成像設(shè)備)、計(jì)算機(jī)、光箱和載物臺(tái)五個(gè)基本部件組成(圖2),主要任務(wù)是圖像的采集、處理和分析識(shí)別[17]。計(jì)算機(jī)視覺系統(tǒng)在通過圖像采集設(shè)備獲取目標(biāo)圖像,并使用相關(guān)的圖像處理技術(shù)和算法做出決策[18]。目前計(jì)算機(jī)視覺系統(tǒng)以被廣泛應(yīng)用于農(nóng)產(chǎn)品品質(zhì)檢測(cè)。

圖2 計(jì)算機(jī)視覺系統(tǒng)組件Fig.2 Components of computer vision system

計(jì)算機(jī)視覺系統(tǒng)在農(nóng)產(chǎn)品外部品質(zhì)檢測(cè)中分為四個(gè)部分,依次為圖像數(shù)據(jù)采集、圖像預(yù)處理、特征提取以及圖像識(shí)別與分類。

圖像采集是使用圖像傳感器將模擬信號(hào)轉(zhuǎn)為數(shù)字信號(hào)的操作。在農(nóng)產(chǎn)品品質(zhì)檢測(cè)中,圖像采集可以使用相機(jī)[19]、高光譜成像[20-21]、近紅外成像[22]等工具。相機(jī)是圖像采集的常用工具,分為CMOS(互補(bǔ)性金屬氧化物半導(dǎo)體)攝像機(jī)和CCD(電荷耦合元件)型攝像機(jī)兩類。CCD相較于CMOS更加適合于圖像質(zhì)量要求高的場(chǎng)景,能夠盡量保持圖像的原始信息[23]。

圖像預(yù)處理是圖像增強(qiáng)的一種方式。它能通過減少圖像中的噪聲來實(shí)現(xiàn)目標(biāo)有關(guān)信息的可檢測(cè)性,從而改進(jìn)特征提取、圖像識(shí)別與分類的準(zhǔn)確性[24-27]。在農(nóng)產(chǎn)品品質(zhì)檢測(cè)中,圖像預(yù)處理最常用的方法是圖像平滑與圖像銳化。圖像平滑是通過突出低頻信息和抑制高頻信息的過程,目的是減少圖像的梯度,改善圖像質(zhì)量。圖像銳化恰好與之相反,是突出高頻信息的過程,它的目的是增強(qiáng)圖像的細(xì)節(jié)信息。

圖像的特征提取是使用圖像目標(biāo)的自身特性表示目標(biāo)全部信息的過程,在此過程中,將所得特征形成特征向量。這些特征向量唯一且精確地定義了對(duì)象形狀。特征提取的目的是通過提取特征在減少數(shù)據(jù)維度,在提高識(shí)別效率的同時(shí)增加識(shí)別準(zhǔn)確性。在農(nóng)產(chǎn)品質(zhì)量評(píng)估中,顏色、紋理和形態(tài)特征經(jīng)常用于分析農(nóng)產(chǎn)品的缺陷和成熟度[28]。

圖像識(shí)別與分類是農(nóng)產(chǎn)品品質(zhì)檢測(cè)的基本目標(biāo),它是模擬人類識(shí)別和判斷方式的一種持久化判別的方法[29-31]。它使用提取到的農(nóng)產(chǎn)品圖像的顏色、形狀、尺寸及表面缺陷等特征作為輸入數(shù)據(jù),然后應(yīng)用合適的分類算法完成分類任務(wù)。在計(jì)算機(jī)視覺系統(tǒng)中,多種算法如支持向量機(jī)(SVM)、卷積神經(jīng)網(wǎng)絡(luò)(CNN)、K-近鄰(KNN)等應(yīng)用于農(nóng)產(chǎn)品外部品質(zhì)檢測(cè)中。

2 計(jì)算機(jī)視覺在農(nóng)產(chǎn)品外部品質(zhì)檢測(cè)中的應(yīng)用

計(jì)算機(jī)視覺系統(tǒng)集成了圖像采集、處理和分析技術(shù)[32-33],通過簡(jiǎn)單地提供測(cè)試樣品的灰度值或RGB圖像,實(shí)現(xiàn)對(duì)測(cè)試樣品的無損、快速檢測(cè)。在過去的二十年中,計(jì)算機(jī)視覺系統(tǒng)已被廣泛應(yīng)用于農(nóng)產(chǎn)品外部品質(zhì)檢測(cè)中,并被證明是科學(xué)、強(qiáng)大的品質(zhì)檢測(cè)工具。本節(jié)將詳細(xì)描述計(jì)算機(jī)視覺技術(shù)在農(nóng)產(chǎn)品外部品質(zhì)檢測(cè)中的應(yīng)用。表1顯示了農(nóng)產(chǎn)品外部品質(zhì)檢測(cè)領(lǐng)域中應(yīng)用。

表1 關(guān)于農(nóng)產(chǎn)品外部品質(zhì)檢測(cè)的研究綜述Table 1 Summary of studies about the quality inspection of agricultural products

2.1 尺寸及形狀檢測(cè)

尺寸及形狀是農(nóng)產(chǎn)品外觀的一個(gè)特別特征。農(nóng)產(chǎn)品形狀的天然不規(guī)則性,使得農(nóng)產(chǎn)品形狀檢測(cè)與評(píng)估變得更加復(fù)雜[34]。在外觀評(píng)估研究中,面積、周長(zhǎng)、長(zhǎng)度和寬度是衡量農(nóng)產(chǎn)品尺寸和形狀的最常用特征[35]。在尺寸及形狀評(píng)估中,通常將農(nóng)產(chǎn)品的面積、周長(zhǎng)、長(zhǎng)度和寬度等作為特征,通過計(jì)算圖像中目標(biāo)樣本區(qū)域的像素個(gè)數(shù)獲取被測(cè)樣本的面積、周長(zhǎng)、長(zhǎng)度和寬度等[36]。農(nóng)產(chǎn)品的不規(guī)則形狀使得長(zhǎng)度和寬度作為特征時(shí),農(nóng)產(chǎn)品尺寸的判斷容易出現(xiàn)偏差[35]。Ohali等[37]計(jì)算圖像中果實(shí)覆蓋區(qū)域來評(píng)估果實(shí)的尺寸,并設(shè)計(jì)開發(fā)一套計(jì)算機(jī)視覺系統(tǒng),準(zhǔn)確率為80%,此研究中尺寸評(píng)估的標(biāo)準(zhǔn)受到主觀因素的影響,使得分類的準(zhǔn)確性存在一定的誤差。

基于面積特征的尺寸及形狀評(píng)估方法被廣泛的應(yīng)用于馬鈴薯、番茄、蘑菇等的分類[38-40]。Heinemann等[41]利用基于計(jì)算機(jī)視覺的自動(dòng)化系統(tǒng)對(duì)蘑菇進(jìn)行尺寸檢測(cè),25個(gè)樣本的檢測(cè)誤差為8%～25%,而人工檢測(cè)的誤差為14%～46%。孔彥龍等[42]提出了一種基于特征(質(zhì)量、形狀)融合的馬鈴薯分選方法。利用人工神經(jīng)網(wǎng)絡(luò)模型對(duì)馬鈴薯側(cè)視圖中的特征進(jìn)行學(xué)習(xí)分選,馬鈴薯形狀分選識(shí)別率為96%,可滿足實(shí)際應(yīng)用的要求。馬鈴薯有許多可能的形狀,需要分級(jí)出售,用于不同市場(chǎng)的統(tǒng)一課程。這給形狀分離帶來了困難。Martínez等[43]選取果實(shí)成熟指數(shù)為5的橄欖果實(shí),此時(shí)的橄欖果肉一半轉(zhuǎn)紫且果核發(fā)育完全,對(duì)果核的頂部、兩側(cè)網(wǎng)脈、最大長(zhǎng)度等提取了8組46個(gè)特征,使用偏最小二乘判別分析(PLSDA)進(jìn)行分類,準(zhǔn)確率可達(dá)89%。Zhu等[44]提出基于馬鈴薯最小外界柱體的體積法,對(duì)馬鈴薯的尺寸大小進(jìn)行分級(jí),分級(jí)準(zhǔn)確率為91.0%。

農(nóng)產(chǎn)品尺寸的檢測(cè)是農(nóng)產(chǎn)品自動(dòng)化分級(jí)的重要一步,面積是農(nóng)產(chǎn)品尺寸及外觀的重要特征。面積的計(jì)算需要通過農(nóng)產(chǎn)品輪廓確定,而傅里葉描述子是提取農(nóng)產(chǎn)品外部輪廓的有效方法之一。當(dāng)下,計(jì)算機(jī)視覺技術(shù)在番茄、馬鈴薯、蘋果、玉米、柚子等類球體農(nóng)產(chǎn)品尺寸和外形檢測(cè)中有著廣泛應(yīng)用和研究,而非類球體的農(nóng)產(chǎn)品(葉菜等)尺寸及檢測(cè)大多仍依賴于人工檢測(cè),因此,基于計(jì)算機(jī)視覺技術(shù)的非類球體農(nóng)產(chǎn)品尺寸及形狀檢測(cè)的研究可以為非類球體農(nóng)產(chǎn)品的自動(dòng)化分級(jí)提供技術(shù)支持。

2.2 顏色檢測(cè)

農(nóng)產(chǎn)品的品質(zhì)很大程度上取決于顏色、大小和缺陷等外觀特征,開發(fā)基于外觀特征鑒定農(nóng)產(chǎn)品品質(zhì)的自動(dòng)系統(tǒng)具有廣闊的市場(chǎng)前景[45-46]。顏色是農(nóng)產(chǎn)品的重要感官屬性,反映農(nóng)產(chǎn)品的成熟度、新鮮度等指標(biāo)。在計(jì)算機(jī)系統(tǒng)中常用的描述顏色的色彩空間有RGB、HIS、L*a*b*、YIQ等。

Syahrir等[47]在對(duì)番茄成熟度進(jìn)行判斷時(shí),使用L*a*b*模型代替RGB模型,并對(duì)圖像進(jìn)行濾波、閾值等預(yù)處理,最后通過R-G色差判斷番茄的成熟度和保質(zhì)期。王新忠等[48]在將成熟番茄從背景分離的過程中,利用YIQ顏色模型的計(jì)算過程簡(jiǎn)單、聚類性好的優(yōu)點(diǎn),提高機(jī)器視覺的實(shí)時(shí)性和魯棒性,從而較好的將成熟番茄從背景中分離。Wan等[49]在番茄成熟度的鑒別實(shí)驗(yàn)中,以番茄最大圓切割圖像中番茄顏色區(qū)域,并將番茄圖像劃分為5個(gè)區(qū)域,然后分別使用RGB和HSI色彩空間中的R、G、B、H、S、I分量的均值作為此區(qū)域番茄的顏色特征,通過BP神經(jīng)網(wǎng)絡(luò)對(duì)番茄成熟度進(jìn)行檢測(cè),識(shí)別率為99.31%。

Kurita等[50]在番茄成熟度的鑒別實(shí)驗(yàn)中,以R/G比值為顏色特征對(duì)番茄進(jìn)行成熟度分級(jí),分級(jí)準(zhǔn)確率高于單一顏色成分特征的分級(jí)結(jié)果。Leemans等[51]依據(jù)歐洲外部質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)將蘋果分為四類,在顏色分級(jí)中,將圖像的RGB值作為輸入,使用沒有隱藏層的簡(jiǎn)單神經(jīng)網(wǎng)絡(luò)對(duì)蘋果進(jìn)行檢測(cè),總體準(zhǔn)確率為78%。

顏色是農(nóng)產(chǎn)品成熟度與新鮮度的重要判別指標(biāo),因此顏色檢測(cè)在農(nóng)產(chǎn)品自動(dòng)化分級(jí)中占有重要地位。顏色直方圖、色彩空間轉(zhuǎn)化(RGB?HSI,RGB?YIQ)、色彩分量的均值與方差等是農(nóng)產(chǎn)品顏色的重要特征,是農(nóng)產(chǎn)品顏色檢測(cè)中常用的判別方法。圖像中目標(biāo)的顏色易受成像設(shè)備和環(huán)境的影響,顏色檢測(cè)模型的準(zhǔn)確率有待提高,模型的可移植性和擴(kuò)展性不足。因此,合適的成像設(shè)備和環(huán)境也是影響實(shí)驗(yàn)的重要因素。

2.3 表面缺陷檢測(cè)

表面缺損會(huì)影響農(nóng)產(chǎn)品的價(jià)格和消費(fèi)者的購(gòu)買意愿,表面缺損嚴(yán)重的農(nóng)產(chǎn)品會(huì)感染細(xì)菌造成農(nóng)產(chǎn)品的損壞,進(jìn)而影響農(nóng)產(chǎn)品的銷售[52]?；谟?jì)算機(jī)視覺技術(shù)的農(nóng)產(chǎn)品自動(dòng)分揀系統(tǒng)已有相關(guān)研究,由于自然環(huán)境、病蟲害等原因會(huì)導(dǎo)致農(nóng)產(chǎn)品出現(xiàn)不同程度的損傷,因此農(nóng)產(chǎn)品的表面缺陷檢測(cè)是農(nóng)產(chǎn)品無損分揀系統(tǒng)的開發(fā)的一個(gè)難題[53]。

Hu等[54]設(shè)計(jì)兩步k-means聚類算法對(duì)香蕉的缺陷進(jìn)行檢測(cè),第一步的k-means聚類用于分類香蕉的輪廓和背景,第二步的k-means聚類用于量化香蕉表面的損傷病變,實(shí)驗(yàn)結(jié)果證明可用于香蕉的缺陷檢測(cè)。Saito等[55]以茄子為研究對(duì)象,從茄子圖片中獲取顏色特征和長(zhǎng)度、周長(zhǎng)等形狀特征,采用人工神經(jīng)網(wǎng)絡(luò)模型,較好的區(qū)分正常茄子于表面損傷的茄子分類。Li等[56]將原始圖像進(jìn)行歸一化處理后,與原始圖像相減,然后通過閾值分割的方法提取蘋果表面缺損部位,設(shè)計(jì)并開發(fā)基于計(jì)算機(jī)視覺的蘋果表面缺損檢測(cè)系統(tǒng)。Blasco等[57]利用區(qū)域生長(zhǎng)算法分割柑橘類水果表面缺損特征,首先通過JSEG算法選取種子,然后通過區(qū)域迭代和區(qū)域合并獲得完整的缺損信息,分割成功率為94%。López-García等[58]采用基于多元分析的主成分分析方法建立特征空間,使用多分辨率的方法提高效率,較好的完成柑橘圖像表面缺損信息的分割與識(shí)別。

農(nóng)產(chǎn)品是否存在表面缺陷是農(nóng)產(chǎn)品自動(dòng)化分級(jí)的重要標(biāo)準(zhǔn)之一。表面缺陷檢測(cè)的重點(diǎn)在于確定表面缺損的位置,主要檢測(cè)方法分為兩類,一類是基于圖像相似性的表面缺損部位分割方法,常見的有閾值分割,區(qū)域生長(zhǎng)等方法,另一類是基于灰度值不連續(xù)性的表面缺損部分的分割方法,常見的有邊緣檢測(cè)等方法。大多數(shù)農(nóng)產(chǎn)品表面缺損的部位的顏色有別于正常部位,通過對(duì)比顏色特征的差別并設(shè)定合適的閾值,從而完成農(nóng)產(chǎn)品表面缺損位置的分割。因此,對(duì)農(nóng)產(chǎn)品表面缺損的定位也是目前研究的一個(gè)重要方向。

3 計(jì)算機(jī)視覺在農(nóng)產(chǎn)品外部品質(zhì)檢測(cè)中的不足與展望

3.1 計(jì)算機(jī)視覺在農(nóng)產(chǎn)品外部品質(zhì)檢測(cè)中的不足

計(jì)算機(jī)視覺系統(tǒng)作為一種簡(jiǎn)單、快速、無損的農(nóng)產(chǎn)品外部品質(zhì)檢測(cè)方法,在農(nóng)產(chǎn)品外部品質(zhì)檢測(cè)中取得一定成果的同時(shí)也暴露出一些不足。例如,由于計(jì)算機(jī)視覺系統(tǒng)中使用的相機(jī)分辨率不高,會(huì)影響獲取的圖像質(zhì)量,從而影響到圖像的外部品質(zhì)特征的提取,因此需要大量的樣本數(shù)據(jù)進(jìn)行訓(xùn)練模型,以期提高準(zhǔn)確率。此外,在農(nóng)產(chǎn)品外部品質(zhì)判斷的標(biāo)準(zhǔn)的制定上存在人為的主觀因素,從而影響分類算法的準(zhǔn)確性和實(shí)用性。

3.2 計(jì)算機(jī)視覺在農(nóng)產(chǎn)品外部品質(zhì)檢測(cè)中的展望

農(nóng)產(chǎn)品的外部品質(zhì)易受外界環(huán)境不斷變化,計(jì)算機(jī)視覺作為一種評(píng)估農(nóng)產(chǎn)品外部品質(zhì)的新方法,能夠同時(shí)測(cè)量農(nóng)產(chǎn)品的形狀、顏色和表面缺陷。在過去的幾年中,基于計(jì)算機(jī)視覺的農(nóng)產(chǎn)品外部品質(zhì)研究已取得較大突破,本文重點(diǎn)描述了計(jì)算機(jī)視覺計(jì)算在農(nóng)產(chǎn)品外部品質(zhì)檢測(cè)方面的最新進(jìn)展,包括顏色(成熟度)判斷、形狀檢測(cè)和表面缺陷檢測(cè)等,同時(shí)也揭示了計(jì)算機(jī)視覺技術(shù)應(yīng)用過程中存在的問題,并提出了參考意見。

為了促進(jìn)計(jì)算機(jī)視覺技術(shù)的發(fā)展,應(yīng)從以下三個(gè)方面入手,增強(qiáng)農(nóng)產(chǎn)品外部品質(zhì)檢測(cè)的客觀性與實(shí)用性。首先,不斷提高軟硬件設(shè)備性能,用于獲取包含更多樣本信息的高質(zhì)圖像。其次,研究開發(fā)能夠更加有效、可靠的提取農(nóng)產(chǎn)品外部品質(zhì)特征的算法,提高圖像特征對(duì)農(nóng)產(chǎn)品樣本表征的準(zhǔn)確性。最后完善農(nóng)產(chǎn)品外部品質(zhì)評(píng)價(jià)體系,使得農(nóng)產(chǎn)品外部品質(zhì)評(píng)價(jià)的標(biāo)準(zhǔn)更加合理,從而消除人為主觀因素的影響。