基于機(jī)器視覺的藍(lán)莓果實分級研究

李建航，易克傳，劉 浪，張新偉，孫業(yè)榮

（安徽科技學(xué)院 機(jī)械工程學(xué)院，安徽 鳳陽 233100）

近些年，隨著人們生活水平的不斷提高，對水果品質(zhì)的要求越來越高。而分級是水果生產(chǎn)加工中提高品質(zhì)的重要環(huán)節(jié)。傳統(tǒng)的水果分級方法主要是靠人工分揀，不僅費(fèi)時費(fèi)力，而且分級也不準(zhǔn)確［1]。機(jī)器視覺檢測已經(jīng)在水果的檢測和水果的自動采摘中得到應(yīng)用，其中包括西瓜、臍橙、蘋果片的干燥程度、干棗的在線分級及成熟度檢測等。在水果檢測方面，劉啟全等［2]通過對采集的哈密瓜RGB圖像進(jìn)行處理后，采用橢圓擬合對哈密瓜輪廓進(jìn)行特征提取，利用橢圓的長軸以及橢圓率建立分級標(biāo)準(zhǔn)，并以固定的閾值進(jìn)行分級檢測，其準(zhǔn)確率為90.29%。王干等［3]針對臍橙外觀缺陷程度的分級檢測進(jìn)行了研究，利用圖像處理技術(shù)獲取缺陷和尺寸參數(shù)，進(jìn)而實現(xiàn)臍橙的分級檢測。郭志明等［4]利用機(jī)器視覺技術(shù)結(jié)合紅外光譜分析技術(shù)開發(fā)了蘋果品質(zhì)在線檢測系統(tǒng)，并采用蟻群算法建立最優(yōu)模型，預(yù)測集相關(guān)系數(shù)為0.9358，預(yù)測集均方根誤差為0.2619。在對干棗的在線分級處理中，采用閾值分割技術(shù)對干棗的尺寸、顏色以及缺陷的精確分類準(zhǔn)確性較高［5]。在水果的自動采摘方面，白克［6]設(shè)計了基于PLC和機(jī)器視覺相結(jié)合的控制系統(tǒng)，大大提高了水果的采摘效率。

本文以藍(lán)莓果實的分級加工為研究對象，通過采用機(jī)器視覺技術(shù)對采集的藍(lán)莓果實圖像進(jìn)行數(shù)字化處理，采用圖像分割標(biāo)記的手段，實現(xiàn)了對藍(lán)莓果實的準(zhǔn)確分割，對機(jī)器視覺技術(shù)用于水果分級具有重要意義。

1 材料與方法

1.1 供試材料

藍(lán)莓果實圖像采集系統(tǒng)主要由工業(yè)相機(jī)、鏡頭、相機(jī)支架、光源組成。實驗光源采用漫反射板的高角度LED入射光源，選擇白色作為采集背景。其工作原理為工業(yè)相機(jī)采集藍(lán)莓果實圖像后，將采集的圖像傳送到計算機(jī)中，通過對圖像的處理識別從而判斷藍(lán)莓果實的大小情況，系統(tǒng)結(jié)構(gòu)如圖1所示。

圖1 圖像采集系統(tǒng)結(jié)構(gòu)示意圖Fig.1 The str uctur e diagram of the image acquisition system

1.2 藍(lán)莓果實圖像預(yù)處理

1.2.1 圖像去噪 藍(lán)莓果實圖像采集后，由于系統(tǒng)本身傳輸?shù)恼`差以及光照強(qiáng)度等因素的影響，會使圖像在采集過程中產(chǎn)生分布不均勻的噪聲、斑點等干擾因素，這些噪聲對圖像的頻譜寬度有帶限作用，造成了采集后的圖像不清晰。為了提高采集圖像的質(zhì)量，采用去噪速度快且效果比較好的均值濾波算法對采集后的圖像進(jìn)行去噪處理。消除干擾因素，提高圖像的質(zhì)量，進(jìn)而提高圖像分割和面積測算的速度和準(zhǔn)確性。均值濾波算法的原理是利用模板區(qū)域的像素平均值代替中間值，進(jìn)而達(dá)到平滑作用［7]。

均值濾波像素值可表示為

式中，f(x i,y i)為模板區(qū)域內(nèi)i點的像素值；n為模板區(qū)域像素總和。

1.2.2 圖像增強(qiáng) 圖像經(jīng)過濾波處理后其邊緣變得模糊，采用Sobel算子對圖像進(jìn)行銳化處理，并采用直方圖均衡化的方法提高濾波后藍(lán)莓果實圖像的對比度［8]。其實現(xiàn)方法是以某個像素點與其周圍鄰域8個像素點組成3×3的區(qū)域，分別沿水平方向和垂直方向與卷積核對應(yīng)點乘積后求和，將其結(jié)果值賦為該點新值。直方圖均衡化是將原始圖像的灰度圖中某個比較集中的灰度區(qū)間均勻地分布到整個灰度空間，實現(xiàn)對圖像的非線性拉伸，達(dá)到增強(qiáng)目的。通過直方圖的均衡化可增加圖像的亮度和對比度（見圖2）。輸出圖像的灰度值為

式中，ni表示當(dāng)前像素個數(shù)；L表示圖像中灰度級總數(shù)。

圖2 直方圖均衡結(jié)果Fig.2 Histogram equalization results

1.2.3 圖像二值化 圖像二值化處理是將圖像中的目標(biāo)區(qū)域和背景區(qū)域處理成黑色與白色，進(jìn)而實現(xiàn)對目標(biāo)區(qū)域的提?。?]。圖像二值化的關(guān)鍵是對閾值的選取，由于圖像直方圖呈雙峰性，為了便于閾值的自動計算，本文選擇了具有較好分割效果的最大類間方差法進(jìn)行計算。最大類間方差法是以灰度直方圖為基礎(chǔ)，通過類間距離的極大準(zhǔn)則來確定分割區(qū)域的一種自適應(yīng)閾值分割方法［10]。最大類間方差法進(jìn)行閾值分割是對單通道圖像進(jìn)行多重閾值處理，以灰度直方圖中出現(xiàn)的谷底作為分割點，對波峰進(jìn)行分割。在對圖像進(jìn)行分割時，期望找到一個將目標(biāo)區(qū)域與背景分割出來的閾值T。大于閾值T的像素值設(shè)置為白色，像素值為1；小于閾值T的像素值設(shè)置為黑色，像素值為0。閾值分割后的圖像像素值h(x,y)為

式中，f(x,y)為分割前的像素值。

1.2.4 圖像形態(tài)學(xué)處理 圖像經(jīng)過分割后得到二值圖，如圖3（a）所示。從藍(lán)莓果實的二值圖像中可以發(fā)現(xiàn)，還存在一部分干擾點，而且藍(lán)莓果實區(qū)域有空洞，這些因素都會對藍(lán)莓果實圖像的處理造成影響。需要使用形態(tài)學(xué)處理方法對藍(lán)莓果實二值圖進(jìn)行二次處理［11]，如圖3（b）所示。二次處理對藍(lán)莓果實區(qū)域先后分別進(jìn)行了形態(tài)學(xué)操作以及連通區(qū)域去除。

圖3 藍(lán)莓果實圖像處理結(jié)果圖Fig.3 Results chart of blueberry image processing

1.3 藍(lán)莓果實面積計算

1.3.1 最小二乘法擬合圓 藍(lán)莓果實區(qū)域的投影面積反應(yīng)了藍(lán)莓果實的大小，是藍(lán)莓果實等級分類的重要指標(biāo)之一。目標(biāo)區(qū)域測量是物體選擇的重要特征，單個區(qū)域的灰度像素值是區(qū)域面積分割的主要依據(jù)。最小二乘法擬合是根據(jù)最小誤差平方和找到一組數(shù)據(jù)的最佳函數(shù)匹配。

設(shè)理想圓心為(x0,y0)，半徑為R，則擬合圓方程為

圓方程進(jìn)行變換后即為

對比（4）式和（5）式的參數(shù)求出a、b、c，即可求出圓心(x0,y0)與半徑R：

邊緣點的樣本集(X i,Y i),i∈(1,2,…,N)，樣本集中各點到圓心距離d i的平方與半徑平方的差為

令Q(a,b,c)為δi的平方和，即

求出參數(shù)a、b、c使得Q(a,b,c)值最小，且Q(a,b,c)≥0，可得

式中，

將（9）式代入（6）式，得出擬合圓心的坐標(biāo)位置(x0,y0)以及半徑R的值。擬合結(jié)果如圖4所示。

1.3.2 標(biāo)定 測量系統(tǒng)測量的藍(lán)莓果實尺寸都是以像素為單位，將計算機(jī)計算出來的像素值轉(zhuǎn)化為以mm為單位的尺寸［12]。在獲取藍(lán)莓果實圖像時加入已知面積的第四套（2017年）一角人民幣硬幣（1590.43 mm2）作為定標(biāo)物對攝像頭進(jìn)行標(biāo)定，如圖5所示。通過提取圖像中藍(lán)莓果實的像素值、定標(biāo)物的像素值和定標(biāo)物的實際面際求出藍(lán)莓果的實際面積。

式中，Sl為被測藍(lán)莓果實的實際面積；Nr為圖像中定標(biāo)物的像素值；Nl為藍(lán)莓果實的像素值；Sr為定標(biāo)物的實際面積。

圖4 最小二乘擬合圓Fig.4 Least-squar es fitting cir cle

圖5 藍(lán)莓果實定標(biāo)圖Fig.5 Calibr ation chart of blueber ry fr uit

2 結(jié)果與分析

藍(lán)莓果實區(qū)域經(jīng)過算法標(biāo)記處理后，可以計算出其面積與周長的像素值，可實現(xiàn)對藍(lán)莓果實大小進(jìn)行無損的測量。為測驗算法的準(zhǔn)確性，實驗選擇45個不同樣本的藍(lán)莓果實圖像，分別采用Photoshop工具手動分割和算法分割測算目標(biāo)區(qū)域的像素值。本文采用相對準(zhǔn)確率φ衡量測算精度，

式中，La為Photoshop工具手動分割出的目標(biāo)區(qū)域的像素值；Li為算法分割出的目標(biāo)區(qū)域的像素值。

將算法測出的面積像素值和周長像素值分別與手工測量的像素值建立回歸模型，實驗結(jié)果如圖6所示。面積計算的相關(guān)系數(shù)R2=0.99889，相對準(zhǔn)確率的平均值為98.93%；周長計算的相關(guān)系數(shù)R2=0.98003，相對準(zhǔn)確率的平均值為87.74%。由于部分藍(lán)莓果實上保留著果梗，導(dǎo)致計算藍(lán)莓果實周長時存在較大誤差。通過實驗數(shù)據(jù)可以發(fā)現(xiàn)，考慮到藍(lán)莓果實進(jìn)行分揀過程中樣本的隨機(jī)性與復(fù)雜性，采用藍(lán)莓果實投影面積作為藍(lán)莓果實等級分類標(biāo)準(zhǔn)比采用藍(lán)莓果實周長作為藍(lán)莓果實等級分類標(biāo)準(zhǔn)更加精確。

圖6 實驗結(jié)果Fig.6 The exper imental results

3 結(jié)語

本文以成熟藍(lán)莓彩色圖像作為研究對象，采用最大類間方差法對目標(biāo)區(qū)域進(jìn)行分割，并計算出藍(lán)莓果實區(qū)域的面積和周長。結(jié)果表明，藍(lán)莓果實面積計算的平均準(zhǔn)確率為98.93%；藍(lán)莓果實周長計算的平均準(zhǔn)確率為87.74%。

本研究通過實驗較準(zhǔn)確地計算了藍(lán)莓果實的面積和周長，但仍然存在一些問題需要改進(jìn)。由于不能將藍(lán)莓果實上保留的果梗進(jìn)行準(zhǔn)確的分割，導(dǎo)致對其進(jìn)行周長的精確計算存在較大的誤差。有些藍(lán)莓圖像的直方圖呈單峰不能準(zhǔn)確地將目標(biāo)區(qū)域從背景中分割出來，如何更加準(zhǔn)確地分割并使結(jié)果的魯棒性提高還需要繼續(xù)研究。本研究不依賴大量的樣品處理和模型訓(xùn)練，其復(fù)雜度和成本都較低。在后續(xù)工作中，對藍(lán)莓進(jìn)行更加深層次的數(shù)據(jù)分析，融合機(jī)器視覺方法與深度學(xué)習(xí)框架實現(xiàn)藍(lán)莓的等級檢測為研究重點。