基于機(jī)器視覺(jué)的蜜柑橫徑測(cè)量方法研究

司振超 ， 趙 勇 ， 王瑞鑫 ， 許廣洋 ， 郭亞涵

（1.河北科技工程職業(yè)技術(shù)大學(xué)，河北 邢臺(tái) 054000；2.河北省中小型非標(biāo)裝備技術(shù)創(chuàng)新中心，河北 邢臺(tái) 054000；3.河北省閥門智能裝備工程研究中心，河北 邢臺(tái) 054000）

目前，針對(duì)水果分級(jí)的方法大致可以分為人工分級(jí)、機(jī)械式分級(jí)、機(jī)器視覺(jué)檢測(cè)分級(jí)3種[1]。機(jī)器視覺(jué)技術(shù)可以根據(jù)實(shí)際水果圖像，應(yīng)用計(jì)算機(jī)技術(shù)進(jìn)行圖像處理，提取相應(yīng)的特征數(shù)據(jù)。由于機(jī)器視覺(jué)技術(shù)具有無(wú)損、快速、準(zhǔn)確、智能化程度高等優(yōu)點(diǎn)，已廣泛應(yīng)用于水果分級(jí)檢測(cè)中，并具有廣闊的應(yīng)用前景。橫徑是反映蜜柑品質(zhì)的重要參數(shù)指標(biāo)之一，本研究以蜜柑為檢測(cè)對(duì)象，基于機(jī)器視覺(jué)技術(shù)來(lái)探究蜜柑橫徑的測(cè)量方法，為蜜柑乃至柑橘類水果的智能化分級(jí)提供方法理論和數(shù)據(jù)基礎(chǔ)。

1 硬件采集系統(tǒng)及技術(shù)路線

通過(guò)視覺(jué)技術(shù)來(lái)進(jìn)行蜜柑橫徑的測(cè)量，采集蜜柑的圖像是基礎(chǔ)，提取蜜柑的邊緣輪廓是重點(diǎn)。本研究的圖像視覺(jué)硬件采集系統(tǒng)由計(jì)算機(jī)、工業(yè)相機(jī)、鏡頭、光源、載物臺(tái)、采集室等組成，被測(cè)物品放到載物臺(tái)上。在圖像采集的過(guò)程中，光源的亮度、位置和圖像的背景顏色對(duì)采集圖像的質(zhì)量有很大影響，根據(jù)現(xiàn)場(chǎng)實(shí)驗(yàn)條件和多次實(shí)驗(yàn)，采用環(huán)形光源，安裝在鏡頭處，背景顏色用白色。在工作時(shí)，工業(yè)相機(jī)和計(jì)算機(jī)通過(guò)網(wǎng)線進(jìn)行連接，將采集的圖片傳送給計(jì)算機(jī)進(jìn)行處理。圖像視覺(jué)硬件采集系統(tǒng)結(jié)構(gòu)示意圖和工業(yè)相機(jī)及鏡頭組裝圖如圖1所示，整個(gè)技術(shù)路線的流程如圖2所示。

圖1 圖像視覺(jué)硬件采集系統(tǒng)結(jié)構(gòu)示意圖和工業(yè)相機(jī)及鏡頭組裝圖

圖2 技術(shù)路線流程圖

2 圖像預(yù)處理與輪廓提取

2.1 圖像預(yù)處理

圖像的預(yù)處理主要包括圖像灰度轉(zhuǎn)化和去除噪聲。相機(jī)采集到的圖像是RGB彩色圖像，彩色圖像分為R、G、B三個(gè)分量，分別顯示出紅、綠、藍(lán)等各種顏色。圖像灰度化是指將RGB格式的圖像轉(zhuǎn)化為灰度圖像。本研究中采用的轉(zhuǎn)化方法是加權(quán)平均法，就是使用不同的權(quán)值分別對(duì)彩色圖像R、G、B三個(gè)分量進(jìn)行加權(quán)平均，得到較易識(shí)別處理的灰度圖[2]，計(jì)算公式如下：

其中，wR=0.299，wG=0.587，wB=0.114。蜜柑樣本原圖和轉(zhuǎn)化后的灰度圖如圖3所示。

圖3 蜜柑樣本原圖和轉(zhuǎn)化后的灰度圖

在圖像采集的過(guò)程中，由于采集設(shè)備、周圍環(huán)境、數(shù)據(jù)傳輸?shù)扔绊?，采集得到的圖像是混入噪聲的，導(dǎo)致圖像模糊、特征信息丟失等，因此在采集圖像后，首先對(duì)圖像進(jìn)行去噪處理。椒鹽噪聲是數(shù)字圖像中經(jīng)常處理的噪聲，能夠較大地影響采集圖像的信息質(zhì)量[2]。中值濾波能夠很好地去除椒鹽噪聲，在進(jìn)行噪聲去除的同時(shí)，也能很好地保留圖像特征信息。中值濾波是一種非線性濾波，它的運(yùn)算方式是找到某一個(gè)像素點(diǎn)鄰域中的灰度中值，用其替換該像素點(diǎn)的灰度值。設(shè)計(jì)一個(gè)窗口鄰域，將鄰域內(nèi)的所有像素點(diǎn)的灰度值做排序運(yùn)算，得到灰度中值，然后將窗口中心像素點(diǎn)的灰度值更改為已運(yùn)算出的灰度中值，使周圍的灰度值更接近于真實(shí)值，進(jìn)而消除噪聲點(diǎn)[3]。中值濾波原理示意圖如圖4所示，假設(shè)采用濾波窗口為3*3的滑動(dòng)窗口，窗口中心點(diǎn)作為移動(dòng)點(diǎn)滑動(dòng)，對(duì)窗口內(nèi)所有點(diǎn)的像素灰度值進(jìn)行排序：3、5、6、8、16、26、30、45、75，灰度中值為16。將得到的灰度中值作為窗口中心點(diǎn)的灰度值，如圖4所示。

圖4 中值濾波原理示意圖

數(shù)學(xué)表達(dá)式如下：

式中，f(x,y)計(jì)算得到在(x,y)處的像素灰度中值，g(s,t)是像素點(diǎn)(s,t)處的灰度值，(x,y)為像素坐標(biāo)，Sxy表示中心點(diǎn)在(x,y)處的鄰域中像素點(diǎn)的坐標(biāo)集合，一般采用3*3或5*5的窗格在圖像中滑動(dòng)。圖5是經(jīng)過(guò)5*5窗口的中值濾波后的效果圖。

圖5 蜜柑樣本灰度圖經(jīng)過(guò)5*5窗口的中值濾波后的效果圖

2.2 基于閾值分割技術(shù)的蜜柑圖像提取

閾值分割法的原理是根據(jù)圖像像素不同的灰度值，計(jì)算得到灰度直方圖，并進(jìn)行分析，對(duì)灰度圖像設(shè)置合適的灰度閾值，提取圖像中目標(biāo)。分割后的圖像公式[4]可表示為：

g(x,y)為分割后的圖像，f(x,y)為在點(diǎn)(x,y)處原始圖像灰度值，T為分割閾值。在采集的蜜柑圖像中，蜜柑圖像和背景圖像交界處的灰度值和背景像素灰度值分布比較明顯，適合采用閾值分割法進(jìn)行分割，目的是把蜜柑從圖像背景中準(zhǔn)確成功地分割出來(lái)[5]。濾波后的蜜柑樣本灰度圖采用閾值分割后的效果圖以及對(duì)應(yīng)的灰度直方圖，如圖6、圖7所示，其中目標(biāo)是白色，背景是黑色。

圖6 蜜柑樣本灰度圖采用閾值分割后的效果圖

由圖6、圖7可知，閾值分割后的蜜柑圖像上，在中間一定范圍內(nèi)，并沒(méi)有分割出蜜柑圖像，這是由于環(huán)形燈在蜜柑的正上方，造成在蜜柑表面的正上方存在反光現(xiàn)象[6]，這部分位置圖像的灰度值和背景灰度值差不多，但由于本研究主要提取蜜柑的邊緣圖像，因此此種現(xiàn)象并不影響結(jié)果。為了能更好地實(shí)現(xiàn)蜜柑的邊緣提取，需要對(duì)蜜柑閾值分割圖進(jìn)行填充，如圖8所示，并提取出蜜柑閾值分割圖的輪廓圖像，如圖9所示。

圖8 蜜柑樣本閾值分割圖填充后的效果圖

圖9 蜜柑樣本閾值分割圖的輪廓圖像及效果圖

由圖8、圖9可知，蜜柑閾值分割圖的輪廓圖像并不是真正的蜜柑的輪廓，有一定的誤差，并且為了減少蜜柑其他部位的圖像干擾，需要對(duì)蜜柑閾值分割圖的輪廓圖像進(jìn)行形態(tài)學(xué)處理，包括膨脹、腐蝕操作[5]，進(jìn)而從濾波后的原蜜柑灰度圖中提取出蜜柑邊緣圖像，如圖10所示。

圖10 濾波后的原蜜柑邊緣圖

2.3 基于邊緣檢測(cè)技術(shù)的蜜柑邊緣提取

邊緣檢測(cè)技術(shù)是基于灰度突變來(lái)分割圖像的最常用方法。選擇合適的邊緣檢測(cè)算子，能夠很容易得到蜜柑邊緣圖像。用得比較多的邊緣檢測(cè)算子有Roberts算子、Sobel算子、Canny算子、Laplacian算子等[7]，經(jīng)過(guò)試驗(yàn)比對(duì)，適用于Canny算子[8]。Canny算子是目前理論上相對(duì)最完善的一種邊緣檢測(cè)算法，主要分為四個(gè)步驟，流程[9]如圖11所示。

圖11 Canny算法流程圖

其中，計(jì)算梯度強(qiáng)度和方向的公式為：

其中，Gx，Gy是像素點(diǎn)分別在x，y方向上的偏導(dǎo)數(shù)。

在上文中得到的蜜柑邊緣圖像中，利用Canny算子邊緣檢測(cè)技術(shù)，能夠比較準(zhǔn)確地得到蜜柑的邊緣輪廓，并經(jīng)過(guò)邊緣連接處理得到蜜柑的邊緣輪廓圖及效果圖，如圖12所示。

圖12 利用Canny算子邊緣檢測(cè)技術(shù)提取蜜柑樣本的邊緣輪廓圖及效果圖

2.4 基于擬合圓法的蜜柑橫徑提取

通過(guò)測(cè)量蜜柑的橫徑值可以判斷蜜柑的大小[10]，由于蜜柑邊緣輪廓圖像形狀大部分是類圓形，可以用擬合圓法來(lái)擬合出圓，圓的直徑可以作為蜜柑的橫徑[6]。用最小二乘法來(lái)進(jìn)行圓的擬合，提取邊緣輪廓每個(gè)像素點(diǎn)的坐標(biāo)，通過(guò)最小化誤差的平方和找到一組像素輪廓點(diǎn)的最佳函數(shù)匹配。其具體的擬合圓的算法原理[11-12]如下。圓的方程公式為：

依據(jù)最小二乘法進(jìn)行圓擬合的理論，將所有的輪廓數(shù)據(jù)點(diǎn)到待擬合圓圓心的距離與待擬合圓的半徑求差并取平方，得到公式：

其中，(x0,y0)為待擬合圓的圓心，r為待擬合圓的半徑，(xi,yi)(i=1,2,...,n)為由邊緣提取到的輪廓數(shù)據(jù)點(diǎn)集坐標(biāo)。可以對(duì)上述公式做一些改進(jìn)，如下述公式：

根據(jù)最小二乘法原理，當(dāng)E最小時(shí)，求得的參數(shù)(x0,y0)、r為最佳擬合圓的參數(shù)。根據(jù)提取的蜜柑樣本的輪廓擬合出圓的效果圖，如圖13所示。

圖13 采用擬合圓法擬合出圓的效果圖

3 實(shí)驗(yàn)結(jié)果和分析

隨機(jī)準(zhǔn)備9個(gè)蜜柑，如圖14所示，并用游標(biāo)卡尺測(cè)量每一個(gè)蜜柑不同位置的最大橫徑三次，得到橫徑的平均值。同時(shí)記錄下相機(jī)標(biāo)定后的視覺(jué)系統(tǒng)測(cè)量的蜜柑橫徑值，轉(zhuǎn)化成實(shí)際工程單位 mm，如表1所示。

表1 蜜柑樣本測(cè)量結(jié)果數(shù)據(jù)比對(duì)表

圖14 用于測(cè)量的9個(gè)蜜柑樣本圖

由上述的試驗(yàn)數(shù)據(jù)得出，雖然采用擬合圓法得到的橫徑測(cè)量值和實(shí)測(cè)數(shù)據(jù)存在一定誤差，但是根據(jù)相對(duì)誤差的數(shù)據(jù)，基本在2%以內(nèi)，表明采用擬合圓法能夠比較合理、準(zhǔn)確地測(cè)量出蜜柑的橫徑數(shù)據(jù)。

4 結(jié)論

綜上所述，本研究主要探究基于機(jī)器視覺(jué)技術(shù)的蜜柑橫徑測(cè)量方法。從圖像采集系統(tǒng)獲取蜜柑樣本圖像，對(duì)圖像進(jìn)行灰度化、去除噪聲等預(yù)處理，通過(guò)閾值分割的方法將蜜柑圖像從背景圖像中分割出來(lái)。經(jīng)過(guò)圖像區(qū)域填充、形態(tài)學(xué)方法等處理，從原蜜柑灰度圖中得到蜜柑邊緣輪廓圖像。在邊緣檢測(cè)技術(shù)中，運(yùn)用Canny算子來(lái)提取出蜜柑的輪廓。采用擬合圓法來(lái)計(jì)算蜜柑的橫徑數(shù)據(jù)，并進(jìn)行數(shù)據(jù)分析，結(jié)果表明，采用擬合圓法能夠比較合理、準(zhǔn)確地提取蜜柑的橫徑數(shù)據(jù)，為蜜柑乃至柑橘類水果的智能化分級(jí)提供方法理論和數(shù)據(jù)基礎(chǔ)。在下一步研究中，可以基于機(jī)器視覺(jué)技術(shù)對(duì)蜜柑進(jìn)行其他指標(biāo)參數(shù)的提取，用來(lái)滿足對(duì)蜜柑的智能化分級(jí)的需求。