基于機器視覺的藍莓果實分級檢測算法

王偉 房銀杰 劉九慶 王智琦

摘 要： 為了實現(xiàn)藍莓果實的無損檢測和自動分級，提出一種基于機器視覺的藍莓果實分級檢測算法。應用OpenCV，Visual Studio 2015開發(fā)環(huán)境編寫算法程序，并搭建了一套基于機器視覺的藍莓果實自動分級檢測實驗裝置。通過實驗裝置的CCD攝像頭獲取藍莓果實圖像后，應用圖像處理技術(shù)對其進行降噪、HSV加權(quán)運算、開運算、二值化處理及邊緣檢測，獲取藍莓果實圖像的邊緣像素點集。對邊緣像素點集進行橢圓擬合后，應用最小二乘法確定藍莓果實的實際值與計算機測量值之間的數(shù)學關(guān)系，求取藍莓果實直徑。為了驗證算法的可行性，使用數(shù)字式游標卡尺對藍莓果實的測量值與檢測裝置的測量值進行實驗對比分析。實驗結(jié)果表明，測量誤差低于3.1%，驗證了算法的有效性。

關(guān)鍵詞： 藍莓果實； 機器視覺； 邊緣檢測； 最小二乘法； 分級檢測； 圖像處理

中圖分類號： TN911.73?34 文獻標識碼： A 文章編號： 1004?373X（2018）13?0038?05

Abstract： A new blueberries grading detection algorithm based on machine vision is proposed to realize the non?destructive detection and automatic grading of blueberries， and a set of experiment device for it is established. The OpenCV and Visual Studio 2015 development environment are used to compile the algorithm program. The blueberries image is acquired by means of CCD camera of the experiment device， for which the denoising， HSV weighting operation， open operation， binarization and edge detection are performed to obtain the edge pixel point set of blueberries image. The ellipse fitting is conducted for edge pixel point set， and then the least square method is adopted to determine the mathematic relation between the actual value and computer measured value of the blueberries to get the diameter of blueberries. The sizes of blueberries measured by digital vernier caliper and detection device were compared and analyzed in experiment to verify the feasibility of the algorithm. The experimental results show that the measurement error is less than 3.1%， which can meet the practical requirement.

Keywords： blueberry； machine vision； edge detection； least square method； grading detection； image processing

0 引 言

藍莓果實是一種具有較高經(jīng)濟價值和廣闊開發(fā)前景的漿果，果實具有較高的保健作用和藥用價值，日益受到人們的喜愛。隨著藍莓產(chǎn)業(yè)的發(fā)展和不同人群對藍莓果實的不同需求，需要一種快速、有效的藍莓果實分級方法。

當前，藍莓果實分級的方法主要有藍莓果實分級機和人工目測法兩種方法。藍莓果實分級機是按果實大小進行分級，它的工作原理是使果實沿著具有不同尺寸的網(wǎng)格或縫隙的分級篩移動，最小果實先從最小網(wǎng)格漏出，然后較大果實從較大網(wǎng)格漏出，按網(wǎng)格尺寸的差別，依次選出不同級別的果實，對果粉、果形有一定的損害，影響藍莓果實品質(zhì)。更普遍的分級方法是人工目測法，流水線上的工人通過目測果實果粉、果蒂撕裂、果形和果實成熟度，根據(jù)藍莓果實的幾何特性和色度特性評估藍莓等級[1]。但人工作業(yè)也存在以下不足：

1） 勞動強度大，成本高，效率低，分級人員視覺容易疲勞；

2） 分級質(zhì)量受勞動者主觀影響大；

3） 增加人工與藍莓的直接接觸機會，影響產(chǎn)品的食品衛(wèi)生安全等[2]。

綜上所述，針對藍莓果實分級沒有較完備的檢測方法這一需求，本文研究了一種利用機器視覺對藍莓果實進行品質(zhì)分級的無損檢測算法，以實現(xiàn)大批量、高精度、低損害的藍莓果實分級。

1 實驗裝置的搭建

1.1 硬件裝置

實驗裝置如圖1所示，裝置主要由CCD攝像頭（JD?202）、攝像頭支架、計算機、檢測平臺等組成。工作過程如下：首先，計算機通過CCD攝像頭獲取放置于檢測平臺的藍莓果實圖像；然后，計算機通過圖像處理程序?qū)λ{莓果實圖像進行處理；最后對藍莓果實進行分級檢測。

1.2 程序設(shè)計

實驗裝置軟件程序界面如圖2所示。

1） 按下“打開攝像頭”按鈕，軟件打開攝像頭并將視頻圖像傳至圖像顯示窗口。

2） 按下“分級檢測”按鈕，執(zhí)行圖像處理操作。在左邊的圖像顯示窗口輸出每個藍莓果實的編號，右側(cè)文本框輸出藍莓果實的尺寸和等級。

3） 軟件界面右邊的三個按鈕“H通道”“S通道”“V通道”分別用于HSV轉(zhuǎn)換顯示窗口中的圖像通道，目的在于更加直觀地觀察加權(quán)處理時各個通道的情況。程序流程如圖3所示。

2 圖像采集與圖像預處理

圖像采集的目的在于獲取清晰的藍莓果實圖像。由于檢測環(huán)境可能存在諸多不穩(wěn)定的因素（如光線偏差、檢測目標抖動以及噪聲干擾和其他不穩(wěn)定因素等），會對提取的藍莓圖像產(chǎn)生負面影響，因此，在研究中應用高斯低通濾波對圖像進行初步的降噪處理。為了提高實驗難度，在實驗中加入少許葉片作為干擾。

高斯低通濾波的作用是模糊圖像和降低噪聲，使低頻信號通過，而高頻信號（變化比較劇烈，如小邊緣，小鋸齒等）會在此操作后被過濾掉，對圖像起到平滑作用[3]，為后續(xù)的邊緣檢測消除干擾。處理前后圖像如圖4所示。

比較原始圖像和經(jīng)高斯濾波后的圖像可以看出，圖像在此操作后被模糊，同時圖像的小噪聲點被過濾掉。

3 圖像的處理與邊緣檢測

3.1 HSV加權(quán)處理

HSV圖像[4]是面向操作者而產(chǎn)生的圖像數(shù)據(jù)類型，它可直觀地提取包括藍莓果實的尺寸表面形態(tài)以及表面色度等相關(guān)數(shù)據(jù)信息。HSV加權(quán)步驟如下[5]：

1） 將RGB彩色圖像轉(zhuǎn)化為HSV圖像；

2） 分離HSV圖像的三個通道；

3） 對HSV的S通道和V通道做差。

加權(quán)處理結(jié)果如圖5所示，可以看出原來各個通道的圖像在噪聲干擾下顯得混亂，但經(jīng)過加權(quán)處理后的圖像不僅極大地消除了圖像噪聲，且凸顯出了各個被測實體，衰減了陰影對藍莓輪廓大小的干擾，方便提取藍莓果實的邊緣輪廓。

3.2 開運算

加權(quán)處理后，干擾和噪聲仍然存在。為了去除噪聲點的影響，應用開運算使圖像更加整齊，便于后續(xù)處理。開運算步驟如下：

1） 將加權(quán)圖像與原始背景圖像做差；

2） 對圖像進行開運算處理；

3） 將圖像取反再進行一次開運算。

開運算處理結(jié)果如圖6所示。可以看出經(jīng)過處理，目標圖像的輪廓更加清晰，而一些與目標無關(guān)的小面積物體被去除，同時在背景中由于光線產(chǎn)生的影響也被去除。

3.3 二值化處理

經(jīng)過處理后的圖像往往鄰域中有很多點的梯度值比較大，而邊緣檢測則是根據(jù)圖像中梯度較大的點進行輪廓繪制。在一些特殊情況下，這些圖像中梯度較大的點可能并不是要找的邊緣點，因此需要通過閾值化方法加以解決[6]。即在加權(quán)處理和開運算的基礎(chǔ)上對圖像進行二值化處理，利用閾值分割出所要檢測的實體圖像。二值化處理結(jié)果如圖7所示。由圖7可以看出圖像中一些梯度較大而不是邊緣的點被過濾掉了。

3.4 邊緣檢測

研究中選擇Canny算子[7]對藍莓果實的輪廓進行提取，在設(shè)置參數(shù)時僅提取外輪廓。邊緣檢測結(jié)果如圖8所示?？梢钥闯觯麑嵾吘壿喞逦?、完整，但圖像中仍包含有非藍莓果實輪廓。

3.5 目標判定

為了剔除邊緣檢測結(jié)果中的非藍莓果實輪廓，利用邊緣像素點計算藍莓果實輪廓的圓形度和面積，以濾除非藍莓的輪廓目標。

3.5.1 圓形度

圓形度可以用來判斷藍莓果實的完整性，并濾除非藍莓物質(zhì)。被檢測區(qū)域的圓形度越小，表明外形越復雜；被檢測區(qū)域的圓形度越大，表明形狀越接近圓形。圓形度計算公式如下[8]：

研究中對100個藍莓果實樣本進行測量，發(fā)現(xiàn)藍莓果實的圓形度普遍大于0.75，因此，在檢測過程中將目標輪廓的圓形度小于0.75的加以剔除。

3.5.2 輪廓面積大小

由于藍莓果實的大小一般在一定范圍之內(nèi)，因此輪廓面積大小可以作為判定目標輪廓的一個因素。研究中，預先設(shè)定藍莓輪廓面積范圍值為1 700～4 500個單位像素點。通過計算圖像中連通域輪廓面積，將不符合條件的輪廓剔除。

目標判定實驗結(jié)果如圖9所示，可以看出藍莓果實被全部準確地識別出來，并加以編號處理。

3.6 橢圓擬合與數(shù)據(jù)提取

藍莓果實的尺寸大小是藍莓果實分級的一個重要依據(jù)。不論人工測量還是藍莓果實分級機篩選，原則上都是以藍莓的直徑作為分級的主要依據(jù)之一。藍莓果實尺寸分級評定標準如表1所示。

在實驗中經(jīng)過對比多組樣本發(fā)現(xiàn)，藍莓果實的形狀多呈橢球體形狀，對藍莓果實的邊緣像素點進行橢圓擬合，并將橢圓的長徑作為藍莓果實直徑。

常用的橢圓擬合方法主要有三類： 基于Hough變換[9]的橢圓擬合方法，基于不變矩方法[10?11]，基于最小二乘法[12?14]。將橢圓擬合產(chǎn)生的橢圓長徑作為藍莓果實直徑，將對應藍莓果實的編號存入數(shù)據(jù)列表。擬合結(jié)果如圖10所示。

4 數(shù)據(jù)處理

為了將計算機計算出來的值轉(zhuǎn)化為以mm為單位的尺寸，應用最小二乘法對實驗數(shù)據(jù)進行處理，最小二乘法公式為[15]：

5 實驗分析

利用實驗裝置，選擇尺寸大小不一的10顆藍莓果實作為研究對象，藍莓果實的分級檢測結(jié)果如圖11所示。

為了驗證算法的準確性和有效性，將利用數(shù)字游標卡尺測量得到的藍莓果實直徑作為實際值，將由實驗裝置檢測得到的藍莓果實直徑作為測量值，實際值和測量值如表2所示。將二者進行比較分析，誤差系數(shù)計算表明測量精度較高，測量誤差較小。

6 結(jié) 論

本文提出一種基于機器視覺的藍莓果實檢測和分級算法，搭建了藍莓果實分級實驗裝置，利用OpenCV和Visual Studio 2015編寫藍莓果實分級的軟件。研究中應用圖像預處理、加權(quán)處理、開運算、二值化處理、邊緣檢測、橢圓擬合、最小二乘法等方法獲取藍莓果實圖像的計算機測量值與實際測量值之間的關(guān)系。實驗數(shù)據(jù)誤差分析表明，相對誤差保證在3%左右，驗證了算法的正確性和有效性。

參考文獻

[1] 中華人民共和國國家質(zhì)量監(jiān)督檢驗檢疫總局.GB/T 27658?2011.藍莓[S].北京：中華人民共和國國家質(zhì)量監(jiān)督檢驗檢疫總局，2011.

General Administration of Quality Supervision， Inspection and Quarantine of the People′s Republic of China. GB/T 27658?2011， blueberry [S]. Beijing： General Administration of Quality Supervision， Inspection and Quarantine of the People′s Republic of China， 2011.

[2] 朱江麗，田緒順，李景彬，等.紅棗自動分級技術(shù)的研究現(xiàn)狀及展望[J].安徽農(nóng)業(yè)科學，2011，39（36）：22864?22867.

ZHU Jiangli， TIAN Xushun， LI Jingbin， et al. Research status and prospect of ziziphus jujuba automatic grading technology [J]. Journal of Anhui agricultural sciences， 2011， 39（36）： 22864?22867.

[3] 左飛.數(shù)字圖像處理技術(shù)詳解與Visual C++實踐[M].北京：電子工業(yè)出版社，2014.

ZUO Fei. Digital image processing and Visual C++ practice [M]. Beijing： Electronic Industry Press， 2014.

[4] 肖鋒，李麗莎.HSV彩色空間的亞像素邊緣檢測[J].計算機與數(shù)字工程，2015，43（6）：1107?1112.

XIAO Feng， LI Lisha. Sub?pixel edge detection of HSV color space [J]. Computer & digital engineering， 2015， 43（6）： 1107?1112.

[5] 李志明.基于機器視覺的鮮棗群體大小檢測算法[J].工業(yè)儀表與自動化裝置，2016（5）：29?32.

LI Zhiming. Fresh jujubes group size detection algorithm based on machine vision [J]. Industrial instrumentation & automation， 2016（5）： 29?32.

[6] 毛星云，冷飛雪.Open CV3編程入門[M].北京：電子工業(yè)出版社，2015.

MAO Xingyun， LENG Feixue. Introduction to programming of Open CV3 [M]. Beijing： Electronic Industry Press， 2015.

[7] 薛武，張永生，董廣軍，等.Canny算子子像素邊緣檢測方法[J].遙感信息，2013，28（1）：8?10.

XUE Wu， ZHANG Yongsheng， DONG Guangjun， et al. An edge detection method of sub?pxel based on Canny operator [J]. Remote sensing information， 2013， 28（1）： 8?10.

[8] 黎自強，滕弘飛.廣義Hough變換：多個圓的快速隨機檢測[J].計算機輔助設(shè)計與圖形學學報，2006，18（1）：27?33.

LI Ziqiang， TENG Hongfei. Generalized Hough transform： fast randomized multi?circle detection [J]. Journal of computer aided design & computer graphics， 2006， 18（1）： 27?33.

[9] GANDER W， GOLUB G H， STREBEL R. Least?squares fitting of circles and ellipses [J]. Bit numerical mathematics， 1994， 34（4）： 558?578.

[10] 李秀明，石照耀.基于不變矩的橢圓（圓）識別方法[J].北京工業(yè)大學學報，2007（11）：1136?1140.

LI Xiuming， SHI Zhaoyao. Eillpses and circles recognition based on invariant moments [J]. Journal of Beijing University of Technology， 2007（11）： 1136?1140.

[11] 鈕毅.部分遮擋條件下橢圓目標識別[D].上海：上海交通大學，2007.

NIU Yi. Detection of partially occluded ellipses [D]. Shanghai： Shanghai Jiao Tong University， 2007.

[12] 閆蓓，王斌，李媛.基于最小二乘法的橢圓擬合改進算法[J].北京航空航天大學學報，2008（3）：295?298.

YAN Bei， WANG Bin， LI Yuan. Optimal ellipse fitting method based on least?square principle [J]. Journal of Beijing University of Aeronautics and Astronautics， 2008（3）： 295?298.

[13] 陳海峰，雷華，孔燕波，等.基于最小二乘法的改進的隨機橢圓檢測算法[J].浙江大學學報（工學版），2008，42（8）：1360?1364.

CHEN Haifeng， LEI Hua， KONG Yanbo， et al. An improved randomized algorithm for detecting ellipses based on least square approach [J]. Journal of Zhejiang University （engineering science）， 2008， 42（8）： 1360?1364.

[14] LI Liangfu， FENG Zuren， HE Kailiang. A randomized algorithm for detecting multiple ellipses based on least square approach [J]. Optoelectronics review， 2005， 13（1）： 61?67.

[15] 顏寧生.帶插值條件的最小二乘法[J].北京服裝學院學報（自然科學版），2007（2）：42?48.

YAN Ningsheng. Least squares with interpolation condition [J]. Journal of Beijing Institute of Clothing Technology （natural science edition）， 2007（2）： 42?48.