基于圖像識(shí)別的蘋果等級(jí)分級(jí)研究

于 蒙，李 雄，楊海潮

（武漢理工大學(xué) 物流工程學(xué)院，武漢 430070）

從水果的生產(chǎn)到銷售過程中需要一個(gè)分級(jí)裝箱的過程，主要指標(biāo)有大小、重量、形狀、顏色等。傳統(tǒng)的人工分級(jí)是通過肉眼觀察水果的各類特征從而進(jìn)行分級(jí)，然而其具有較大的局限性。近些年隨著機(jī)器視覺技術(shù)的發(fā)展，人們?yōu)榱颂岣咚旨?jí)效率，開始研究基于機(jī)器視覺對(duì)水果的外部特征，比如大小、形狀、顏色以及表面缺陷等進(jìn)行檢測(cè)。

1 水果品質(zhì)分級(jí)的研究進(jìn)展

目前，國(guó)內(nèi)外在水果品質(zhì)分級(jí)方面已進(jìn)行許多研究。文獻(xiàn)[1]設(shè)計(jì)了一種基于支持向量機(jī)SVM和Otsu’s方法的自動(dòng)可調(diào)的顏色分割方法，對(duì)300個(gè)蘋果進(jìn)行檢測(cè)，得到了較高的準(zhǔn)確率。文獻(xiàn)[2]運(yùn)用C4.5決策樹分類器設(shè)計(jì)并實(shí)現(xiàn)了蘋果自動(dòng)分選機(jī)的構(gòu)建。文獻(xiàn)[3]利用神經(jīng)網(wǎng)絡(luò)和計(jì)算機(jī)視覺方法對(duì)芒果進(jìn)行分類，精度高達(dá)94%。文獻(xiàn)[4]在番茄識(shí)別時(shí)采用顏色分量作為識(shí)別指標(biāo)，很好地解決了二值圖像中將花萼、果臍部位誤判為表面缺陷的問題。文獻(xiàn)[5]針對(duì)果實(shí)采摘機(jī)器人的果實(shí)檢測(cè)與識(shí)別，提出在YCrCb色彩空間中只注意色調(diào)、飽和度成分，然后再進(jìn)行分割，效果良好。文獻(xiàn)[6]利用近紅外光譜技術(shù)對(duì)水果成分進(jìn)行特征分析，采用聚類處理的方式進(jìn)行水果成分的特征分類，實(shí)現(xiàn)水果成分檢測(cè)，提高了水果成分檢測(cè)的正確率。文獻(xiàn)[7]通過Soble算法對(duì)水果圖像進(jìn)行邊緣提取，利用直方圖數(shù)據(jù)實(shí)現(xiàn)水果的大小分級(jí)。文獻(xiàn)[8]利用Canny算法獲取水果圖像中的目標(biāo)輪廓，并基于BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)芒果的分類，準(zhǔn)確率超過93%。

總而言之，研究人員將機(jī)器視覺技術(shù)作為水果自動(dòng)分級(jí)系統(tǒng)的基礎(chǔ)技術(shù)，已廣泛應(yīng)用于商業(yè)水果自動(dòng)分級(jí)系統(tǒng)中，大大提高了水果的經(jīng)濟(jì)價(jià)值。然而，該技術(shù)中對(duì)于水果顏色與缺陷的分級(jí)尚不完善，主要在于一般方法受光照強(qiáng)度的影響較大，不具備很好的魯棒性。故在此針對(duì)紅富士蘋果，提出了基于機(jī)器視覺的蘋果顏色與缺陷分級(jí)方法。該方法通過選擇蘋果圖像HSL顏色模型中色調(diào)值H通道分量，作為蘋果顏色分級(jí)的特征參數(shù)，利用SVM分類器對(duì)蘋果顏色等級(jí)進(jìn)行分類。同時(shí)，選擇蘋果圖像HSL顏色模型中亮度L通道的能量、熵、逆差矩這3個(gè)紋理特征，作為蘋果缺陷分級(jí)的特征參數(shù)，利用BP神經(jīng)網(wǎng)絡(luò)分類器對(duì)蘋果有無缺陷進(jìn)行分類。

2 試驗(yàn)設(shè)備與方法

2.1 試驗(yàn)設(shè)備

所研究的試驗(yàn)設(shè)備包括一個(gè)漫反射板的高角度入射光源、工業(yè)CCD相機(jī)以及微距鏡頭。

試驗(yàn)中的圖像處理及模式識(shí)別部分代碼是在Windows操作系統(tǒng)上運(yùn)行的，OpenCV作為計(jì)算機(jī)視覺庫(kù)與Visual Studio集成開發(fā)環(huán)境配合，能夠很方便地調(diào)用OpenCV庫(kù)中的相關(guān)函數(shù)接口，進(jìn)行試驗(yàn)研究。

2.2 圖像預(yù)處理方法

在此以紅富士蘋果為研究對(duì)象。在采集到蘋果圖像之后，先進(jìn)行圖像預(yù)處理。該研究涉及的預(yù)處理操作包括圖像的噪音去除、選擇合適的顏色通道、圖像分割和輪廓提取等步驟。經(jīng)過預(yù)處理的圖像可以為后期分級(jí)的特征參數(shù)提取排除各類干擾，提高分級(jí)正確率。

2.2.1 噪音去除

圖像中的噪聲會(huì)導(dǎo)致圖像質(zhì)量發(fā)生具有不確定性的降低。在圖像分割操作前，如果不去除噪聲，可能檢測(cè)到更多的非預(yù)期對(duì)象，這是因?yàn)橥ǔＴ肼暠硎緸閳D像中的小點(diǎn)，可作為對(duì)象分割。通常傳感器和掃描儀電路會(huì)產(chǎn)生這種噪聲。

這種亮度或色彩的變化可以表示成不同的噪聲類型，如高斯噪聲、尖峰噪聲和散粒噪聲。由于試驗(yàn)中圖像采集系統(tǒng)易產(chǎn)生椒鹽噪聲，因此采用了中值濾波器來去除。

2.2.2 色彩通道的選擇

將采集到的紅富士蘋果圖片，在OpenCV中進(jìn)行RGB三通道分離處理。原圖像的灰度圖和提取出的結(jié)果如圖1所示。

圖1 灰度圖及RGB各通道分量Fig.1 Gray-scale image and RGB channel components

HSL模型也是常用模型之一，它是工業(yè)界的一種顏色標(biāo)準(zhǔn)，通過對(duì)色調(diào) H（hue）、飽和度 S（saturation）、亮度 L（lightness）這 3個(gè)顏色通道的變化以及它們相互疊加來獲得各種顏色。將采集到的紅富士蘋果圖片由RGB模式轉(zhuǎn)換為HSL模式，并進(jìn)行HSL三通道分離，所提取出的結(jié)果如圖2所示。

圖2 HSL各通道分量Fig.2 HSL channel components

對(duì)于圖像采集系統(tǒng)收集到的原彩色圖像，由于試驗(yàn)環(huán)境的不同或照明系統(tǒng)安裝效果的不理想，在蘋果主體周圍不可避免地產(chǎn)生小面積的陰影；在灰度化圖像中，R、G、B通道分量的提取結(jié)果如圖1所示，都會(huì)不同程度地將陰影顯示出來，這對(duì)后期的圖像分割步驟會(huì)造成極大地干擾，對(duì)分揀系統(tǒng)的分揀精度和準(zhǔn)確性造成極大的影響。但是，由圖2 H、S、L通道分量的提取結(jié)果可見，S通道分量提取結(jié)果中除了蘋果主體外，背景部分都顯示為純黑色，與主體即前景部分的差異較大，使用閾值化分割的方法就可以輕松地把前景與背景分割開。故在此采用S通道分量作為后續(xù)圖像處理的輸入信號(hào)源。

2.2.3 圖像分割

在此采用了閾值化分割方法。在傳統(tǒng)的閾值化分割圖像方法中，輸入圖像往往是原圖像的灰度化圖像。要實(shí)現(xiàn)很好的圖像分割效果，對(duì)灰度化圖像前景和背景的差異有較高的要求，且具體的分割閾值需要進(jìn)行試驗(yàn)才能最終確定。在此結(jié)合上述內(nèi)容提出一種自動(dòng)閾值化分割算法。

在計(jì)算機(jī)視覺和圖像處理中，Otsu算法用于自動(dòng)執(zhí)行基于聚類的圖像閾值，或?qū)⒒叶葓D像轉(zhuǎn)變?yōu)槎祱D像。Otsu算法假定該圖像包含2類像素（前景像素和背景像素），然后計(jì)算出最佳閾值將這2類分開，這樣它們的綜合分布（內(nèi)部方差）是最小的，因此它們之間的類間方差最大。Otsu算法的具體流程如下：

步驟1統(tǒng)計(jì)灰度級(jí)中每個(gè)像素的個(gè)數(shù)；

步驟2計(jì)算每個(gè)像素在整幅圖像的概率分布；

步驟3對(duì)灰度級(jí)進(jìn)行遍歷搜索，計(jì)算當(dāng)前灰度值下前景與背景的類間概率；

步驟4計(jì)算不同灰度級(jí)下類間方差；

步驟5選擇當(dāng)類間方差最大時(shí)的灰度級(jí)作為圖像的全局閾值。

由蘋果圖像顏色通道的選擇可知，選取原彩色圖像經(jīng)噪音去除后提取S通道分量的圖像，再用Otsu算法自動(dòng)選取圖像分割的最佳全局閾值，可實(shí)現(xiàn)自動(dòng)閾值化分割圖像的效果。這種方法適用范圍廣，對(duì)于白色或黑色背景的圖像都能準(zhǔn)確分割提取出蘋果主體圖像，且對(duì)于圖像中陰影的影響不敏感，可準(zhǔn)確地進(jìn)行前景分割。圖像分割流程如圖3所示。

圖3 圖像分割流程Fig.3 Image segmentation flow chart

按圖3所示圖像分割流程對(duì)紅富士圖像進(jìn)行處理，結(jié)果如圖4所示?？梢娡ㄟ^該方法可以對(duì)蘋果實(shí)現(xiàn)較好的圖像分割效果。

圖4 原圖像與圖像分割效果Fig.4 Original image and image segmentation effect

2.2.4 輪廓提取

經(jīng)圖像分割后得到的圖像，基本可以清晰地獲取蘋果圖像的外部輪廓圖。但是在實(shí)際試驗(yàn)中，為了避免由于照明系統(tǒng)不符合要求而造成蘋果圖像一部分表面高光泛白，或由于蘋果圖像表面存在黑斑、缺陷等原因造成獲取的蘋果圖像外部輪廓中輪廓內(nèi)部產(chǎn)生陰影，影響后期圖像處理，因此還需對(duì)外部輪廓圖進(jìn)行輪廓提取，以獲取滿足要求的輪廓效果圖。帶缺陷的紅富士與圖像分割效果如圖5所示。

圖5 帶缺陷的紅富士與圖像分割效果Fig.5 Red Fuji with defects and image segmentation effect

在此通過opencv 將圖4（b）（d）（f）和圖5（b）的圖像進(jìn)行輪廓提取操作，可得到相應(yīng)的輪廓提取效果，如圖6所示。

圖6 對(duì)應(yīng)的輪廓提取效果Fig.6 Corresponding contour extraction effect

3 顏色與缺陷分級(jí)

3.1 顏色分級(jí)

顏色是評(píng)判水果優(yōu)劣的一個(gè)重要標(biāo)準(zhǔn)，優(yōu)質(zhì)水果通常具有良好的色澤和均勻的特性，根據(jù)這些信息可以對(duì)水果的品質(zhì)進(jìn)行分級(jí)。

3.1.1 特征參數(shù)

對(duì)于紅富士蘋果，因?yàn)镠SL顏色模型中，色調(diào)值H具有隨采樣蘋果的顏色不同而有不同的取值，且不受光照條件的影響。所以，在蘋果顏色分級(jí)中，采用蘋果圖像的色調(diào)值H作為顏色分級(jí)的特征參數(shù)。

在得到蘋果圖像的色調(diào)值H分量后，為更精確的描述蘋果顏色特征，也為減小分類器訓(xùn)練數(shù)據(jù)的數(shù)量，縮短訓(xùn)練時(shí)間，還需對(duì)色調(diào)值H分量數(shù)據(jù)進(jìn)行處理。采用直方圖對(duì)色調(diào)H分量進(jìn)行描述，可以更直觀地看出不同顏色蘋果的色調(diào)區(qū)別。

將得到的蘋果外部輪廓作為掩碼，與原彩色圖像結(jié)合，便可得到蘋果的彩色輪廓圖。3組不同等級(jí)顏色的蘋果輪廓圖和色調(diào)H分量圖及對(duì)應(yīng)的直方圖如圖7所示。最終得到的H通道分量直方圖數(shù)據(jù)將作為分類器訓(xùn)練的數(shù)據(jù)集來源。

圖7 蘋果輪廓圖和色調(diào)H分量圖及其直方圖Fig.7 Apple contour map and hue H component map and histogram

3.1.2 基于SVM分類器的顏色分級(jí)

由圖7可見，蘋果顏色分級(jí)本質(zhì)是對(duì)蘋果表面顏色的不同色調(diào)及色調(diào)值進(jìn)行分類，分類特征明顯，可以用較少的數(shù)據(jù)實(shí)現(xiàn)理想的顏色分級(jí)效果。而在模式識(shí)別領(lǐng)域中，SVM到目前為止仍是解決監(jiān)督問題、學(xué)習(xí)問題，特別是小樣本分類問題的最優(yōu)選擇。

利用SVM分類算法可以實(shí)現(xiàn)蘋果的顏色分級(jí)。將收集到的蘋果分為優(yōu)等品、一等品和二等品3個(gè)等級(jí)；在訓(xùn)練集上訓(xùn)練得到SVM模型后，對(duì)預(yù)先設(shè)置的預(yù)測(cè)集進(jìn)行預(yù)測(cè)，判定每張圖像中蘋果的等級(jí)。預(yù)測(cè)結(jié)果混淆矩陣見表1，其整體準(zhǔn)確率為89%。

由表可知，所設(shè)計(jì)的采用蘋果圖像的色調(diào)H分量直方圖作為特征的分類器，可以很好地對(duì)蘋果的顏色進(jìn)行分級(jí)。

表1 蘋果顏色等級(jí)分級(jí)混淆矩陣Tab.1 Apple color grading confusion matrix

3.2 缺陷分級(jí)

3.2.1 特征參數(shù)

水果表面的損傷和缺陷會(huì)嚴(yán)重影響水果內(nèi)外質(zhì)量，是水果分級(jí)中的一大難題。

在蘋果缺陷特征參數(shù)的選擇上，綜合考慮實(shí)時(shí)性和準(zhǔn)確率，參照文獻(xiàn)[9]給出的研究思路，選取缺陷分級(jí)特征參數(shù)的步驟如下：將蘋果彩色外部輪廓圖從RGB顏色模型轉(zhuǎn)換為HSL模型，并提取出亮度L通道分量，再計(jì)算出L通道分量的能量、熵和逆差矩這3個(gè)紋理特征，以此作為蘋果缺陷分級(jí)的特征參數(shù)。

1）能量 能量變換反映圖像灰度分布均勻程度和紋理粗細(xì)度。若灰度共生矩陣的元素值相近，則能量較小，表示紋理細(xì)致；若其中一些值而其它值小，則能量值較大，表明紋理較均勻、變化規(guī)則。

2）熵 圖像包含信息量的隨機(jī)性度量。當(dāng)共生矩陣中所有值均相等或者像素值表現(xiàn)出最大的隨機(jī)性時(shí)，熵最大。因此，熵值表明了圖像灰度分布的復(fù)雜程度，熵值越大，圖像越復(fù)雜。

3）逆差矩 逆差矩反映了紋理的清晰程度和規(guī)則程度，紋理清晰、規(guī)律性較強(qiáng)，值較大；如果是雜亂無章的，則值較小。

3.2.2 基于BP神經(jīng)網(wǎng)絡(luò)的缺陷分級(jí)

由于蘋果的缺陷類型眾多，且大小和嚴(yán)重程度各不相同，又因?yàn)楣：凸嗯c缺陷難以分辨，容易發(fā)生誤判，所以不能用簡(jiǎn)單的線性分類器模型進(jìn)行分類。

在此依靠OpenCV平臺(tái)，實(shí)現(xiàn)了利用BP神經(jīng)網(wǎng)絡(luò)分類器進(jìn)行蘋果缺陷分級(jí)。先將蘋果分為有缺陷和無缺陷2個(gè)等級(jí)，再將蘋果的亮度L通道分量圖像進(jìn)行提取特征，即亮度L通道分量圖像的能量、熵、逆差矩3個(gè)紋理特征，分水平、垂直、45°和135°等4個(gè)方向進(jìn)行采集。將得到的12個(gè)特征參數(shù)數(shù)據(jù)加到訓(xùn)練特征矩陣中。

定義神經(jīng)網(wǎng)絡(luò)的神經(jīng)元模型為3層。其中，輸入層神經(jīng)元個(gè)數(shù)為缺陷分級(jí)特征參數(shù)的個(gè)數(shù)12；隱藏層神經(jīng)元個(gè)數(shù)設(shè)置為輸入層的2倍，即24個(gè)；輸出層神經(jīng)元個(gè)數(shù)為兩類分類結(jié)果，即2個(gè)。然后，選擇激勵(lì)函數(shù)為sigmoid，權(quán)重更新率為0.1，權(quán)重更新沖量為0.9。當(dāng)參數(shù)都被初始化之后，開始訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型。

得到神經(jīng)網(wǎng)絡(luò)模型后，對(duì)預(yù)先設(shè)置的預(yù)測(cè)集的圖片進(jìn)行預(yù)測(cè)，判別每張圖像中蘋果的缺陷等級(jí)。預(yù)測(cè)試驗(yàn)結(jié)果見表2。由表可知，100張存在缺陷的圖像中，有96張等級(jí)判斷正確，4張判斷錯(cuò)誤，正確率為96%；100張無缺陷圖像中，95張等級(jí)判斷正確，5張判斷錯(cuò)誤，正確率為95%。其整體缺陷分級(jí)正確率為95.5%。

表2 蘋果缺陷分級(jí)預(yù)測(cè)混淆矩陣Tab.2 Confusion matrix for grading prediction of apple defects

由表可知，在此根據(jù)圖像亮度L通道分量的能量、熵和逆差矩3個(gè)紋理特征設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)分類器，可以很好地判斷蘋果是否有缺陷。

4 結(jié)語

基于圖像識(shí)別的蘋果等級(jí)分級(jí)研究，利用了機(jī)器視覺技術(shù)，提取蘋果HSL模式中各通道分量，結(jié)合OpenCV庫(kù)與Visual Studio軟件構(gòu)建了圖像處理和分級(jí)系統(tǒng)，對(duì)蘋果進(jìn)行顏色以及缺陷進(jìn)行檢測(cè)，能夠有效地實(shí)現(xiàn)對(duì)蘋果的精準(zhǔn)自動(dòng)化分級(jí)。蘋果分級(jí)系統(tǒng)使蘋果品質(zhì)分級(jí)自動(dòng)化能力提高，避免了采用人工分級(jí)的方式，節(jié)約人力的同時(shí)提高了分級(jí)效率，加快農(nóng)業(yè)信息化的快速發(fā)展。