自然環(huán)境下山核桃果實(shí)的圖像識(shí)別提取方法

章云++周素茵++周竹

摘要：研究了自然環(huán)境下成熟山核桃果實(shí)的機(jī)器視覺圖像識(shí)別方法。通過分析順光、逆光、遮擋等環(huán)境下拍攝的山核桃成熟待采時(shí)的果實(shí)圖像，確定了2R-G-B色差模型，用最佳閾值函數(shù)進(jìn)行圖像分割，經(jīng)形態(tài)學(xué)濾波后采用Canny算子進(jìn)行邊緣檢測(cè)，提取出復(fù)雜背景下山核桃果實(shí)的輪廓。試驗(yàn)結(jié)果表明，該方法對(duì)山核桃果實(shí)的有效識(shí)別率達(dá)86.7%，可為山核桃采摘機(jī)器人的研發(fā)提供技術(shù)參數(shù)。

關(guān)鍵詞：成熟山核桃果；機(jī)器視覺；圖像識(shí)別

中圖分類號(hào)：TP391.41 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：0439-8114（2016）21-5643-03

DOI：10.14088/j.cnki.issn0439-8114.2016.21.053

The Method for Recognition and Extraction of Pecan Fruit in Natural Environment

ZHANG Yun1，2，ZHOU Su-yin1，2，ZHOU Zhu1，2

（1.School of Information Engineering，Zhejiang A&F University，Linan 311300，Zhejiang，China；

2.Zhejiang Provincial Key Laboratory of Forestry Intelligent Monitoring and Information Technology，Linan 311300，Zhejiang，China）

Abstract： The image recognition method based on machine vision for mature pecan fruit in natural environment was researched.When the pecan fruit is mature，the dprofile of pecan fruit under complex background was extracted through the analysis on the images of fruit trees in direct light，backlight，shelter and other environment by using the 2R-G-B color model，adopting optimum threshold function to achieve image segmentation and selecting Canny operator for edge detection after morphological filtering. The experiment results showed that the effective recognition accuracy of the image recognition method for pecan fruit reached 86.7%，which can provide technical parameters for the research of the pecan fruit picking robot.

Key words： mature pecan fruit； machine vision； image recognition

山核桃是中國(guó)特有的一種經(jīng)濟(jì)樹種，其果實(shí)經(jīng)過加工是一種口味醇香獨(dú)特、廣為大眾喜愛的名優(yōu)干果，具有較高的營(yíng)養(yǎng)、保健、美容及藥用價(jià)值，主要生長(zhǎng)在中國(guó)長(zhǎng)江以南的浙江、安徽等省。山核桃產(chǎn)區(qū)雖然海拔不高地形卻通常陡峭，山核桃樹一般高5～10 m，很難通過機(jī)械方法進(jìn)行采收，而白露之后的一兩周是山核桃每年僅有的采摘期，一戶人家一個(gè)星期往往需要打幾千斤的核桃[1]，危險(xiǎn)性因此更加高。目前，一些廠家試制出的山核桃采摘機(jī)械，多是基于高速振動(dòng)樹干或拍打枝條的半自動(dòng)機(jī)械，對(duì)山核桃樹的損傷較大，因此有必要繼續(xù)研發(fā)山核桃智能采摘機(jī)。在機(jī)器人采摘研究方面，中國(guó)起步不久[2]，近年來國(guó)內(nèi)許多高校積極介入農(nóng)業(yè)機(jī)器人領(lǐng)域的研究，通過跟蹤國(guó)外先進(jìn)技術(shù)，在機(jī)器人采摘領(lǐng)域內(nèi)取得了初步的成果[3-9]，但針對(duì)的多為溫室或地壟中的栽培作物，無法通用于自然生長(zhǎng)環(huán)境下的山核桃采摘，在許多關(guān)鍵技術(shù)上存在很大差異。

山核桃果既不同于果實(shí)與莖葉顏色差異較大的果蔬品種如蘋果、荔枝、柑橘等，也有著不同于獼猴桃、黃瓜等近色系果蔬的形態(tài)與顏色特征，之前鮮有針對(duì)山核桃果實(shí)分離識(shí)別方法的研究。為此，本文以自然環(huán)境下成熟山核桃果為研究對(duì)象，根據(jù)自然光下山核桃果的顏色特征選取合適的顏色模型，通過自動(dòng)獲取最佳閾值函數(shù)進(jìn)行圖像分割，經(jīng)形態(tài)學(xué)濾波消除噪聲后采用Canny算子進(jìn)行邊緣檢測(cè)，可以實(shí)現(xiàn)對(duì)山核桃果的有效識(shí)別。

1 圖像采集

本研究使用的圖像采集設(shè)備是三星GT-I9158相機(jī)。在各種自然光照下對(duì)多棵山核桃果樹上的成熟待采果實(shí)進(jìn)行拍攝。獲取圖像的分辨率為1 152×2 048，圖像類型為JPG。之后在聯(lián)想電腦Win7系統(tǒng)下使用MATLAB R2010a對(duì)所獲取的圖像進(jìn)行分析和處理。

2 圖像分割

2.1 選擇顏色模型

圖1為不同自然環(huán)境下拍攝的山核桃果圖像中為最具典型性的3張，轉(zhuǎn)換成各種顏色模型（包括RGB、YIQ、HSV、Ycbcr、灰度圖）進(jìn)行分析比較，發(fā)現(xiàn)辨識(shí)度都不佳。再嘗試RGB色差模型，將R、G、B三通道的灰度圖像分離出來，通過光標(biāo)讀取不同特征區(qū)域（山核桃果實(shí)、葉片、枝條、天空）的R、G、B值并分析特點(diǎn)，對(duì)比了2R-G-B及R-B兩種算法的結(jié)果，確定前者最為合適，轉(zhuǎn)換結(jié)果如圖2所示。

2.2 閾值分割

在進(jìn)行了顏色模型變換后，需要對(duì)圖像進(jìn)行二值化處理。目前，最常用和快速的圖像分割方法是閾值分割法，其基本原理是通過設(shè)定不同的特征閾值，把圖像像素點(diǎn)分成若干類。根據(jù)對(duì)閾值函數(shù)的不同約束，有全局、局部、動(dòng)態(tài)三種類型的閾值，其中全局閾值只與點(diǎn)的灰度值有關(guān)，可以通過分析灰度直方圖來確定閾值[10]。Bulanon等[11]先獲得亮度Y與紅色R的差值圖像，通過計(jì)算果實(shí)與背景的類間方差最大值求得最優(yōu)分割閾值；姜林等[12]通過分析R-G灰度采用Otsu閾值法對(duì)果實(shí)圖像進(jìn)行分割；趙曉霞等[13]采用大津法對(duì)灰度圖像進(jìn)行自動(dòng)二值化處理。本研究采用的是自動(dòng)獲取最佳閾值函數(shù)，先將圖像轉(zhuǎn)換成Double型，再將水平軸的閾值歸一化，經(jīng)閾值分割后的圖像如圖3所示。

3 提取果實(shí)邊緣信息

3.1 圖像去噪

因?yàn)樽匀画h(huán)境下山核桃果圖像背景的復(fù)雜性，僅運(yùn)用閾值分割還不能很好地從背景中完全分離出山核桃果實(shí)區(qū)域，分割后的圖像還會(huì)有一些殘留的噪聲，這些噪聲主要是一些跟山核桃果顏色特征很相近的枝葉造成的，而圖像噪聲的存在會(huì)妨礙對(duì)圖像做進(jìn)一步的分析，因此采用了形態(tài)學(xué)濾波進(jìn)行去噪。先對(duì)分割后的圖像進(jìn)行先膨脹再腐蝕（開運(yùn)算），再進(jìn)行均值濾波，就可以消除絕大部分的噪聲，得到比較干凈清晰的二值化的山核桃果實(shí)區(qū)域圖像，處理效果如圖4所示。

3.2 邊緣檢測(cè)

邊緣檢測(cè)的基本思想是通過檢測(cè)每個(gè)像元和其鄰域的狀態(tài)，如果其鄰域像元灰度值的變化比較大，說明該像元位于一個(gè)物體的邊界上。常用的邊緣檢測(cè)算子有：羅伯特（Roberts）邊緣算子、索貝爾（Sobel）邊緣算子、Prewitt邊緣算子、log邊緣算子、拉普拉斯（Laplacian）邊緣算子、坎尼（Canny）邊緣算子[10]。本研究在試驗(yàn)了各種邊緣檢測(cè)算子后，確定采用Canny算子對(duì)處理后的二值圖像進(jìn)行邊緣檢測(cè)，獲得的山核桃果輪廓信息如圖5所示。

對(duì)120幅圖像的試驗(yàn)結(jié)果進(jìn)行統(tǒng)計(jì)分析，圖像中遮擋面積小于50%的山核桃果實(shí)共計(jì)497個(gè)，最后能識(shí)別出特征輪廓（圓形或半圓形）的果實(shí)431個(gè)，成功率為86.7%。在這120幅圖像中，包括了各種自然光條件和視角情況，結(jié)果表明，本文采用的識(shí)別算法能很好地去除樹枝、樹葉、天空、土地等復(fù)雜背景，在逆光（仰視）、果實(shí)無遮擋的情況下輪廓提取得最完整，在順光（俯視）和有遮擋時(shí)輪廓提取不完整，甚至失去果實(shí)的基本特征產(chǎn)生誤識(shí)別。分析原因，可能是山核桃果實(shí)表面的棱狀突起以及色斑會(huì)在順光條件下產(chǎn)生陰影區(qū)和色差，在陽(yáng)光強(qiáng)烈時(shí)球狀果實(shí)還會(huì)出現(xiàn)局部的強(qiáng)反射光，在識(shí)別結(jié)果中就會(huì)產(chǎn)生各種變形，造成誤識(shí)別。后續(xù)可以通過建立形態(tài)特征模型對(duì)已提取的山核桃果實(shí)輪廓做進(jìn)一步的修正，此部分研究工作正在進(jìn)行中。

4 小結(jié)

研究了自然環(huán)境下成熟山核桃果實(shí)的圖像識(shí)別方法。利用2R-G-B色差模型對(duì)原始圖像進(jìn)行灰度化處理，采用最佳閾值函數(shù)進(jìn)行二值化處理，通過Canny算子進(jìn)行邊緣檢測(cè)，提取了山核桃果實(shí)的特征輪廓。試驗(yàn)結(jié)果表明，該方法能準(zhǔn)確提取山核桃果實(shí)特征輪廓，其有效識(shí)別率達(dá)86.7%，可有效消除樹枝、樹葉、天空、土地等復(fù)雜背景的影響，證明該方法可以基本滿足現(xiàn)場(chǎng)采摘作業(yè)的需要，可為今后山核桃智能采摘機(jī)機(jī)器視覺系統(tǒng)的研發(fā)提供理論基礎(chǔ)。

參考文獻(xiàn)：

[1] 杜香莉，郭軍戰(zhàn)，馮 汀.我國(guó)核桃資源的綜合利用研究[J].西北林學(xué)院學(xué)報(bào)，2003，18（3）：82-85.

[2] 呂繼東，趙德安，姬 偉，等.開放分布式蘋果采摘機(jī)器人控制系統(tǒng)研究及實(shí)現(xiàn)[J].小型微型計(jì)算機(jī)系統(tǒng)，2012，33（2）：289-292.

[3] 錢少明，楊慶華，王志恒，等.黃瓜抓持特性與末端采摘執(zhí)行器研究[J].農(nóng)業(yè)工程學(xué)報(bào)，2010，26（7）：107-112.

[4] 司永勝，喬 軍，劉 剛，等.蘋果采摘機(jī)器人果實(shí)識(shí)別與定位方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2010，41（9）：148-153.

[5] 熊俊濤，鄒湘軍，陳麗娟，等.荔枝采摘機(jī)械手果實(shí)識(shí)別與定位技術(shù)[J].江蘇大學(xué)學(xué)報(bào)（自然科學(xué)版），2012，33（1）：1-5.

[6] 丁亞蘭，耿 楠，周全程.基于圖像的獼猴桃果實(shí)目標(biāo)提取研究[J].微計(jì)算機(jī)信息，2009，25（18）：294-295.

[7] 呂 強(qiáng)，蔡健榮，趙杰文，等.自然場(chǎng)景下樹上柑橘實(shí)時(shí)識(shí)別技術(shù)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2010，41（2）：185-188.

[8] 張亞靜，李民贊，劉 剛，等.基于機(jī)器視覺和信息融合的鄰接蘋果分割算法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2009，40（11）：180-183.

[9] 崔永杰，蘇 帥，呂志海，等.基于Hough變換的獼猴桃毗鄰果實(shí)的分離方法[J].農(nóng)機(jī)化研究，2012，34（12）：166-169.

[10] 秦襄培.MATLAB圖像處理與界面編程寶典[M].北京：電子工業(yè)出版社，2009.

[11] BULANON D M，KATAOKA T，OTA Y，et al. A segmentation algorithm for the automatic recognition of Fuji apples at harvest[J].Biosystems Engineering，2002，83（4）：405-412.

[12] 姜 林，陳德鳳，潘 聰，等.不同形狀植物成熟果實(shí)的識(shí)別提取方法[J].科學(xué)技術(shù)與工程，2012，12（21）：5135-5143.

[13] 趙曉霞，張鐵中，陳兵旗，等.自然環(huán)境下桃子圖像分割算法[J].農(nóng)機(jī)化研究，2009，31（2）：107-111.