基于機器視覺的蘋果在線分級

李 頎 胡家坤 -

(陜西科技大學(xué)電氣與控制工程學(xué)院，陜西 西安 710021)

目前，蘋果的分級主要靠人工完成，該方法存在主觀誤差大、效率低和蘋果易造成二次損傷等問題。隨著機器視覺技術(shù)的快速發(fā)展，圖像處理在水果質(zhì)量檢測方面也取得了深入進展[1]。Yang等[2]提出了基于多圖像特征和加權(quán)k均值聚類算法的蘋果自動分級方法，該方法能快速有效地將蘋果按質(zhì)量進行分級，但并不能實現(xiàn)蘋果缺陷類型的具體區(qū)分。Li等[3]提出了基于蘋果大小、顏色和果形特征的決策信息融合方法，利用BP神經(jīng)網(wǎng)絡(luò)分類器進行分類,然后將分類器的輸出進行組合構(gòu)造基本概率分類器，根據(jù)D-S融合規(guī)則進行決策，但其分級準(zhǔn)確率較低。王陽陽等[4]采用同態(tài)濾波和改進的K-means算法對蘋果圖像進行了背景分割和特征提取，但只能處理蘋果的一個面，因此準(zhǔn)確率較低。石瑞瑤等[5]利用鏡面反射的原理采集蘋果側(cè)面，再結(jié)合正面圖像進行處理，對鏡子中的圖像進行分割，增加了識別時間和分級效率。于蒙等[6]將彩色圖片HSI模型中S通量分離出來，采用神經(jīng)網(wǎng)絡(luò)對是否存在缺陷進行判斷，但該方法樣本大，訓(xùn)練速度慢，增加了系統(tǒng)運行時間，降低了分級效率。

試驗擬通過采集視野內(nèi)蘋果的正面和側(cè)面圖，綜合兩個面的特征對蘋果進行分級，通過粒子群優(yōu)化的SVM決策樹算法將蘋果分為特級果、一級果、二級果和等外果，以增加蘋果在線分級的準(zhǔn)確度并提高分級效率。

1 材料與方法

1.1 試驗材料

紅富士蘋果[7]：綜合GB/T 10651—2008以及NY/T 1075—2006，根據(jù)蘋果果徑、果形、著色度、疤痕和果銹特征將紅富士蘋果劃分為特級果、一級果、二級果和等外果，如表1所示。試驗樣本為經(jīng)人工嚴(yán)格揀選的各等級紅富士各100個，試驗地點為西安品誠電子科技有限公司。

表1 紅富士外觀等級分級標(biāo)準(zhǔn)

1.2 蘋果圖像采集

圖像采集裝置(圖1)包括傳送帶、黑色暗箱、LED燈、CCD彩色工業(yè)相機、PC、翻滾裝置以及光電傳感器。傳送帶尺寸為150 cm×40 cm；暗箱尺寸為40 cm×40 cm×40 cm；兩個長度為35 cm的LED補光燈置于暗箱頂部側(cè)面；CCD工業(yè)相機垂直懸掛于暗箱頂部中央位置，像素為300 W，最大分辨率為2 048×1 536，相機視場大小為40 cm×40 cm；光電傳感器位于暗箱入口處；翻滾裝置大小為40 cm×10 cm,最多可同時翻轉(zhuǎn)5個蘋果。

1. 傳送帶 2. 光電傳感器 3. 翻滾裝置 4. LED燈 5. CCD相機 6. PC 7. 暗箱

通過對蘋果果徑、果形、著色度、疤痕和果銹特征特點進行分析可知，根據(jù)蘋果上表面圖像可得出果徑特征，根據(jù)蘋果側(cè)面圖像可得到果形特征，根據(jù)果銹形成原因與分布特點可知其多分布于蘋果的上表面和側(cè)面。故為了提高分級準(zhǔn)確性，綜合蘋果上表面和一個側(cè)面圖像特征對蘋果進行在線分級。

當(dāng)光電傳感器檢測到有蘋果完全進入后，相機開始采集圖像。首先，將蘋果果梗擺放在與傳送帶運動方向垂直的方向上，此時攝像頭采集一幅蘋果上表面圖像，經(jīng)翻滾裝置后攝像頭采集一幅蘋果側(cè)面朝上的圖像。為了保證采集到的圖像清晰且光線均勻，在暗箱內(nèi)部兩側(cè)靠近頂部的位置安裝兩個相互對稱的LED補光燈。

1.3 背景分割

1.3.1 圖像預(yù)處理 系統(tǒng)通過攝像頭采集蘋果圖像，由于蘋果表面光滑，光線容易發(fā)生反射，所拍攝到的果面可能會因為角度和光照影響出現(xiàn)光照不均現(xiàn)象，故采用同態(tài)濾波方式對圖像進行增強，采用中值濾波方式消除噪聲。同時，為了提高蘋果在線分級的效率，僅對感興趣區(qū)域進行背景分割與特征提?。蛔詈缶C合兩幅不同位姿的蘋果圖像信息對蘋果進行分級。

1.3.2 背景分割 為了從蘋果圖像中提取出蘋果輪廓，一般采用邊緣檢測、閾值分割、區(qū)域提取3種方法。由于光照、拍攝角度等問題，單一的閾值又不利于多峰圖像的分割，在復(fù)雜背景下容易出現(xiàn)欠分割、過分割等問題，所以采用全局閾值分割效果并不理想。自適應(yīng)Ostu閾值分割算法可以通過自動計算最佳閾值對圖像中的蘋果進行提取。泛洪填充算法是從一個點開始，將其附近像素點依次填充成新的顏色，直到封閉區(qū)域內(nèi)的所有像素點均被填充成新顏色為止，采用泛洪填充算法將圖像中與背景顏色相近的部分填充成黑色，可以突出背景與前景的差距。故采用泛洪填充+自適應(yīng)Ostu的算法進行背景分割，使Ostu自適應(yīng)分割效果更加顯著，具體步驟如下。

(1) 將輸入的原圖[圖2(a)]進行圖像預(yù)處理。

(2) 對預(yù)處理后的圖像進行泛洪填充，計算得到圖像高度h和寬度w，種子點(w-1,h-1)，填充的顏色RGB新值為(0，0，0)，相對于種子點向下的像素值為(10，10，10)，向上的像素值為(9，9，9)，采用8領(lǐng)域填充法進行填充，結(jié)果如圖2(d)所示。

(3) 假設(shè)圖2(d)前景與背景分割閾值為t，前景點占圖像的比例為W0，均值為U0，背景點占圖像的比例為W1，均值為U1。那么，整個圖像的均值為：

U=W0×U0+W1×U1。

(1)

目標(biāo)函數(shù)為：

g(t)=W0×(U0-U)2+W1×(U1-U)2。

(2)

其中g(shù)(t)是分割閾值為t時的類間方差表達式。Ostu算法可以使g(t)取得全局最大值，當(dāng)g(t)達到最大時，所對應(yīng)的t被稱為最佳閾值，處理結(jié)果如圖2(f)所示。

由圖2可知，未進行泛洪填充處理的圖像灰度直方圖存在兩個尖峰，對原圖進行Ostu分割后的邊緣較差，存在欠分割問題；經(jīng)泛洪填充后的圖像直方圖尖峰明顯，進行Ostu分割處理效果很好，證明了試驗方法是可行的。

圖2 圖像分割過程與比較

1.4 特征提取

1.4.1 果徑 根據(jù)鮮蘋果分級標(biāo)準(zhǔn)可知，蘋果果徑等于蘋果的最大橫截面直徑。故采用最小外接圓法對蘋果上表面的二值化圖像進行計算，得到蘋果果徑，結(jié)果如圖3所示。

圖3 最小外接圓

首先按式(3)計算出最小外接圓的質(zhì)心(Cx,Cy)。

(3)

式中：

Cx——質(zhì)心的橫坐標(biāo)；

Cy——質(zhì)心的縱坐標(biāo)；

M10——二值圖中水平向右的像素個數(shù)；

M00——總像素個數(shù)；

M01——垂直向下的像素個數(shù)。

將圖像的質(zhì)心作為蘋果輪廓的圓心，遍歷輪廓上所有像素點，計算出目標(biāo)像素點離質(zhì)心的最大距離d，即最小外接圓的半徑。

(4)

式中：

xi——目標(biāo)像素點的橫坐標(biāo)；

yi——目標(biāo)像素點的縱坐標(biāo)；

d——兩點之間的距離。

R=f(2d),

(5)

式中：

R——果徑，mm；

f(x)——實際尺寸大小R與最小外接圓d之間對應(yīng)的關(guān)系。

通過游標(biāo)卡尺測量30個蘋果的真實半徑，使用CurveExpert軟件對f(x)進行擬合可得：

f(x)=0.843 6x-6.941 3。

(6)

1.4.2 果形 根據(jù)GB/T 22444—2008，按式(7)計算果形。

(7)

式中：

K——果形指數(shù)；

L——果實最大縱徑，mm；

D——果實最大橫徑，mm。

為了獲取果實的最大縱徑，對蘋果側(cè)表面圖像進行處理。利用最小外接矩形法提取蘋果的最大橫徑與最大縱徑，結(jié)果如圖4所示。

圖4 果形提取

1.4.3 著色度 目前，常用的彩色模型包括RGB模型和HSV模型。其中HSV模型更符合人眼對顏色的認(rèn)知，是面向彩色處理最常用的模型，其中H為色度、S為飽和度、V為明度[8]。故選擇在HSV顏色空間上對蘋果的著色度、疤痕和果銹特征進行提取。

根據(jù)紅富士蘋果分級標(biāo)準(zhǔn)可知，蘋果著色度為統(tǒng)計集中著色面，條紅或者片紅的程度。通過統(tǒng)計兩幀圖像中紅色所占的比例，得出紅富士蘋果的著色度。

首先將RGB圖轉(zhuǎn)換成HSV圖，然后選取紅色的提取范圍H(156～180)、S(43～256)、V(46～255)。經(jīng)閾值處理后統(tǒng)計圖像中白色像素點個數(shù)，按式(8)計算蘋果的著色度。

(8)

式中：

C——著色度；

C1——第一幀蘋果的著色度；

C2——第二幀蘋果的著色度；

r1——第一幀圖像閾值處理后白色像素點個數(shù)；

r2——第二幀圖像閾值處理后白色像素點個數(shù)；

s1——第一幀整個蘋果像素點個數(shù)；

s2——第二幀整個蘋果像素點個數(shù)。

蘋果著色的提取結(jié)果如圖5所示。

圖5 著色度提取

1.4.4 蘋果缺陷 蘋果在生長、采摘和運輸過程中受天氣、病害、蟲害和碰傷等傷害產(chǎn)生疤痕。蘋果果銹是一種比較常見的蘋果病害，特別是在中小果園種植的紅富士蘋果中最為常見，故將疤痕和果銹特征參數(shù)作為蘋果缺陷的判定依據(jù)。由于果梗處的顏色較深，比較容易被判定為疤痕，為了消除此影響，將除果梗處的蘋果區(qū)域視為感興趣區(qū)域。

為了提取蘋果疤痕和果銹特征，首先將采集到的蘋果圖像由RGB空間轉(zhuǎn)換到HSV空間，并且分離出圖像的H(色相)、S(飽和度)和V(亮度)通道圖像，如圖6、7所示。

圖6 蘋果疤痕圖像及HSV各通道圖像

圖7 蘋果果銹圖像及HSV各通道圖像

由圖6、7可知，蘋果的疤痕和果銹的亮度較暗，故根據(jù)蘋果HSV圖像的亮度值對蘋果的疤痕和果銹進行特征提取。通過分析疤痕和果銹圖像特點，將感興趣區(qū)域中像素點在V∈(120～140)的區(qū)域視為疤痕區(qū)域，V∈(150～180)的區(qū)域視為果銹區(qū)域。按式(9)計算蘋果疤痕和果銹。

(9)

式中：

S——疤痕面積，cm2；

G——果銹面積，cm2；

n1——V∈(120～140)像素點個數(shù)；

n2——V∈(150～180)像素點個數(shù)。

1.5 蘋果分級

由于SVM算法在小樣本訓(xùn)練集上的分類效果相比于其他分類算法有較好的表現(xiàn)，可以提高模型的泛化能力，能夠處理高維空間的數(shù)據(jù)，故選擇SVM算法對蘋果進行分類。但SVM算法最初是針對二分類問題提出的[9]，并不能直接應(yīng)用于多分類問題，由于試驗將蘋果分為多個等級，因此選擇多分類SVM分類器對蘋果進行分級。

SVM分類器的懲罰參數(shù)C與核參數(shù)σ對最后的分類結(jié)果影響非常大，所以需對其進行優(yōu)化選取。而粒子群算法有著很好的全局尋優(yōu)能力，可以有效解決非線性問題，收斂速度快，但容易陷入局部最優(yōu)[10]，故采用基于改進粒子群算法的SVM決策樹的分類方法進行蘋果分級工作，可以克服決策樹本身對門限敏感和錯誤傳遞的缺陷[11]。

對蘋果樣本進行果徑、果形、著色度、疤痕和果銹特征的提取，然后將特征參數(shù)送入SVM決策樹分級模型，通過分級模型將蘋果分為特級果、一級果、二級果和三級果。

1.5.1 SVM分類器的設(shè)計 假設(shè)訓(xùn)練樣本為(xi，yi)，i=1,2,…,l，xi∈Rn，yi∈{-1，1}，l為樣本個數(shù)，n為輸入維數(shù)。當(dāng)兩類樣本為線性可分時，選擇線性分類器的目標(biāo)函數(shù)為：

(10)

當(dāng)訓(xùn)練集樣本為線性不可分時，需引入松弛變量與懲罰參數(shù)，經(jīng)優(yōu)化的目標(biāo)函數(shù)為：

(11)

式中：

w、b——待求系數(shù)；

ζ——松弛變量(可由經(jīng)驗值得到)；

C——懲罰參數(shù)(控制松弛變量造成的影響)。

由于采集到的特征值所對應(yīng)的特征向量為高維特征向量，在低維空間線性不可分，故采用徑向基核函數(shù)對上述目標(biāo)函數(shù)進行求解，其數(shù)學(xué)表達式為：

(12)

式中：

‖x1-x2‖——向量間的距離；

σ——給常數(shù)(可由改進的粒子群優(yōu)化算法進行選取)。

(1) 首先將{C、σ}映射成一個粒子，然后對種群的大小、最大迭代次數(shù)、C與σ的取值范圍、粒子的初始位置以及速度進行初始化。

(2) 根據(jù)適應(yīng)度函數(shù)計算適應(yīng)度值，然后通過排序確定粒子群的全局歷史最優(yōu)值。

(3) 更新迭代新粒子的位置及速度。采用動態(tài)的慣性權(quán)重，其上限為0.9，下限為0.4，可以使得粒子群前期注重全局尋優(yōu)，后期注重局部尋優(yōu)，慣性權(quán)重隨迭代次數(shù)增加而降低。

(4) 迭代終止，輸出最優(yōu)懲罰參數(shù)C和核參數(shù)σ。

通過改進的粒子群優(yōu)化算法得到SVM參數(shù)，建立SVM二分類器，為建立SVM決策樹模型作好準(zhǔn)備。

1.5.2 SVM決策樹模型的建立 根據(jù)紅富士蘋果分級標(biāo)準(zhǔn)，將紅富士蘋果分成特等果、一級果、二級果和等外果4個類別。若采用SVM算法進行4分類需要構(gòu)造一個三級SVM分類模型，模型比較復(fù)雜，訓(xùn)練耗時，會降低蘋果在線分級的效率。故為了降低模型的復(fù)雜度，提高蘋果在線分級效率，采用決策樹+SVM多分類模型結(jié)合的方法進行蘋果分級。

由于等外果的果徑、果形、著色度、疤痕以及果銹特征參數(shù)與其他幾個級別蘋果的特征參數(shù)差別較大，故首先進行等外果等級的判定。假設(shè)蘋果圖像提取到的五維特征為η=[R，K，C，S，G]，將果徑、果形和著色度特征參數(shù)設(shè)為一組η1=[R，K，C]，將疤痕與果銹特征參數(shù)設(shè)為一組η2=[S，G]，將等外果設(shè)定閾值設(shè)為η01=[0.6，0.5，0.55]和η02=[0.5,0.1]。模型首先對輸入樣本進行等外果等級判斷，當(dāng)η1<η01或η2>η02時，系統(tǒng)將其判定為等外果，不再進行后續(xù)處理并直接輸出結(jié)果。當(dāng)η1≥η01且η2≤η02時系統(tǒng)將其判定為等內(nèi)果并進行后續(xù)的分級處理。SVM決策樹模型如圖8所示。

圖8 SVM決策樹模型

試驗采用SVM分類器級連+決策樹的方式建立分級模型，樣本在經(jīng)決策判斷后被送入SVM1分類器中，被分成特級果以及次級果，然后次級果被送入SVM2分類器中，被分成一級果以及等外果。

2 結(jié)果與分析

試驗是在Intel 酷睿i7處理器，運行內(nèi)存16G的電腦上進行。編程環(huán)境是python 3.5.4以及opencv 4.1.1。采用200萬像素?zé)o畸變工業(yè)CCD相機進行蘋果圖像采集，分辨率為1 280×760，幀率為60。

對采集到的第一幀蘋果圖像進行輪廓的提取，采用最小外接圓法得到蘋果的像素直徑，然后將其與通過游標(biāo)卡尺測量的蘋果真實果徑進行擬合處理，部分樣本數(shù)據(jù)如表2所示。

表2 部分樣本數(shù)據(jù)

經(jīng)曲線擬合可以獲得像素點個數(shù)與實際尺寸之間的關(guān)系，其平均誤差為1 mm，可以滿足實際需求。

試驗前，挑選出經(jīng)人工嚴(yán)格分揀的各級紅富士蘋果100個，隨機選取其中各50個作為SVM決策樹模型的訓(xùn)練樣本，其余樣本作為測試樣本。將200個訓(xùn)練樣本嚴(yán)格按照等級依次擺放在傳送帶上。將樣本的果徑、果形、著色度、疤痕和果銹5個特征作為模型的輸入，通過粒子群優(yōu)化算法對SVM1分類器和SVM2進行參數(shù)的選擇，最終完成整個SVM決策樹模型的訓(xùn)練。將粒子群優(yōu)化算法的種群數(shù)量設(shè)置為20，最大迭代次數(shù)設(shè)置為100，得到SVM1的懲罰參數(shù)C1=15.6，核參數(shù)σ1=3.4，SVM2的懲罰參數(shù)C2=17.2，核參數(shù)σ2=7.8，其粒子群的適應(yīng)度變化曲線如圖9所示。

圖9 適應(yīng)度變化曲線

然后用剩下的200個蘋果對試驗中的方法進行驗證，將各等級的50個樣本排序放置于傳送帶上，基于機器視覺技術(shù)，提取蘋果的多個特征，利用SVM決策樹模型對蘋果進行在線分級，結(jié)果如表3所示。以人工分級為標(biāo)準(zhǔn)，特級果、一級果、二級果和等外果的分級準(zhǔn)確率分別為96%，94%，98%，98%，總體準(zhǔn)確率為96.5%，由此驗證了文章提出的方法的準(zhǔn)確性和可行性。同時，在試驗環(huán)境下，當(dāng)傳送帶運行速率為0.3 m/s時，平均分級速度為4個/s，高于人工分級，可以滿足蘋果在線分級的需求。

表3 分級檢測結(jié)果

采用試驗方法對紅富士蘋果進行在線分級，分級準(zhǔn)確率較高，但仍對個別樣本做出了誤判，分析其原因主要有：

(1) 人工原因：當(dāng)人工對蘋果樣本進行標(biāo)注時，可能會出現(xiàn)個別蘋果標(biāo)注不準(zhǔn)確，造成了分級結(jié)果與人工對比時出現(xiàn)了差別，造成了誤判。為了消除此影響，后續(xù)將采用多重人工標(biāo)注法，確保人工標(biāo)注的準(zhǔn)確性。

(2) 外部原因：系統(tǒng)可能受到傳送帶速度不穩(wěn)，及光源不穩(wěn)定等問題的影響，造成蘋果等級的誤判，后續(xù)將對裝置進行改進，采用獨立穩(wěn)壓電源進行供電。

(3) 視覺原因：由于視覺成像限制，無法采集到整個蘋果的所有圖像，存在誤判的可能，后續(xù)將針對這一問題，在傳送帶兩側(cè)放置機械臂與攝像頭，攝像頭采集機械臂抓舉后蘋果的側(cè)面與底面圖像，提升系統(tǒng)的分級準(zhǔn)確性。

3 結(jié)論

文章提出了基于機器視覺的蘋果在線分級方法，通過對預(yù)處理圖像采取泛洪填充+自適應(yīng)Ostu閾值分割算法提取蘋果輪廓，采用改進的粒子群優(yōu)化的SVM決策樹模型對采集的蘋果進行分級。結(jié)果表明，蘋果分級的平均準(zhǔn)確率和效率分別達到了96.5%和4個/s，證明了試驗方法的可行性。但分級過程中仍存在個別誤判現(xiàn)象，為后續(xù)研究的改進之處。