基于二次閾值的荔枝果與結果母枝圖像識別

郭艾俠，鄒湘軍，鄒海鑫

（1.華南農業(yè)大學 南方農業(yè)機械與裝備關鍵技術教育部重點實驗室，廣東 廣州510642；2.華南農業(yè)大學 信息學院，廣東 廣州510642）

0 引 言

果蔬采摘機器人的視覺關鍵技術研究在于如何檢測和識別目標，以確定其精確的三維空間位置，從而為機械手的運動提供參數(shù)［1－4］。通常采用圖像分割技術把自然環(huán)境下所采集的圖片劃分為一系列互不重疊的獨特區(qū)域來識別成熟采摘目標。由于自然光源、果實的晃動、果實與枝葉之間以及果實與果實之間的遮擋等問題，造成采摘機器人視覺識別與定位的工作效率仍較低，采摘目標的識別問題還需要進行更深入的研究［5］。而且由于單果類與串型水果在大小、顏色和紋理等特征上存在差異性，很難找到一種適合各類采摘目標的通用圖像分割方法。因此，針對特定的采摘對象需要選擇合適的圖像分割方法，才能把待采摘的水果目標從復雜的背景中快速、準確、無遺漏地分割出來。

成熟的荔枝串中含有多個荔枝果、一個主桿的結果母枝和一些葉子，對于荔枝串的識別尤其是串中結果母枝的識別較難。文獻 ［6］以荔枝各部位圖像顏色特征分析結果為基礎，把已獲取的RGB （red green blue）圖像轉換到HSV （hue saturation value）色彩空間，采用了稀疏水平集的方法對其H 通道圖進行分割處理從而識別出荔枝果。但是該方法并未給出識別結果母枝的方法，不利于后續(xù)采摘點的進一步選取與定位研究。文獻 ［7］使用了較為寬松的閾值對荔枝圖像在L＊a＊b＊ （L＊is lightness，a＊and b＊are the color－opponent dimensions）色彩空間的a＊分量圖進行初次閾值分割，去除了葉子、天空和地表等復雜背景。進而采用蟻群與帶空間約束的FCM （fuzzy c－means clustering）算法識別出了荔枝果。但是此研究未給出識別荔枝串與結果母枝的方法，而且對寬松閾值的設定途徑也沒有具體描述。文獻 ［8，9］通過經驗閾值對荔枝圖像的YCbCr色彩空間的Cr分量圖進行分割處理以去除大部分的復雜背景，然后再采用FCM 的分割方法實現(xiàn)了荔枝果與果梗的識別。但此研究并未提出荔枝串、荔枝果與結果母枝分類識別的概念。

在前人研究的基礎上，首先對采集荔枝圖像進行荔枝串、荔枝果與結果母枝的分類，特別進行了荔枝串在強光、逆光和普通光照條件下的分類，并基于文獻 ［10］的結論進行彩色荔枝圖像的灰度化處理。然后，采用實驗獲取的固定經驗閾值分割處理荔枝圖像的Cr通道圖以識別出荔枝串，并對已識別荔枝串的Cr通道圖進行Otsu的二次閾值分割識別出荔枝果。進而通過對已識別荔枝串與荔枝果的二值圖像進行相減運算，最終識別出結果母枝。最后對本文與文獻 ［8］在荔枝果與結果母枝的識別時間和面積特征提取的實驗數(shù)據對比分析。本文的研究結果將為荔枝采摘點的計算與視覺定位提供研究基礎。

1 彩色荔枝圖像各部位分類與灰度化處理

1.1 采集圖像中荔枝各部位的分類

復雜自然環(huán)境下所采集的荔枝圖像區(qū)域主要有：荔枝果、葉子和一些細小枝條、各類結果母枝和其他一些細縫所產生的淺黑色。其中荔枝串、荔枝果與結果母枝的分類如圖1所示，文中的荔枝圖像指的是自然環(huán)境下采集的含有成熟荔枝串和復雜背景的圖像。

1.2 彩色荔枝圖像的灰度化處理

圖1 荔枝各部位圖像

如果直接對自然環(huán)境下所采集的荔枝RGB彩色圖像進行分割，難度較大。而且采用K－Means、C－Means等模糊聚類的圖像分割方法直接對彩色荔枝圖像進行圖像處理時，對顏色差異較小的亮綠色葉子與偏綠色結果母枝情況，在給定聚類種數(shù)為3 （葉子等背景、果實和、結果母枝3類）時，該方法會視亮綠色葉子與偏綠色結果母枝二者為同類，從而導致結果母枝的誤分類［11］。而對彩色圖像中的單通道分量圖進行分割處理不僅可以縮短圖像處理時間，而且能提高目標識別效率［12］。為解決荔枝圖像各部位的分類識別問題，文獻 ［10］通過對采集荔枝圖像中的強光、普通光和逆光條件的荔枝果，顏色為偏紅、偏綠和偏褐等情況的結果母枝與葉子各類圖像的顏色特征進行探索性數(shù)據分析，得出了YCbCr色彩空間的Cr單通道圖是適合荔枝圖像分割的最佳色彩模型，并進一步給出在0.5～0.54區(qū)間范圍內選擇合理的閾值對荔枝圖像的YCbCr色彩空間的Cr單通道圖進行分割，能有效去除葉子和側枝等復雜大背景信息?；谠撗芯拷Y論，本文對彩色荔枝RGB 圖像進行YCbCr色彩空間的Cr分量圖的灰度化處理。

1.3 彩色荔枝圖像的灰度化處理過程與效果

彩色荔枝圖像的灰度化的過程是：將YCbCr色彩模型下的彩色荔枝圖像的每一像素點值采用選定的Cr顏色分量的值代替。該過程將彩色荔枝圖像轉化為灰度圖像，完成彩色圖像的灰度化。彩色荔枝圖像的灰度化轉換能夠較好地保留原彩色圖像中各顏色分量差異的信息，且有利于使用灰度圖像的分割方法進行圖像分割，減少圖像處理的計算量和對計算機的內存的占用，以提高識別荔枝各部位的速度。

在Matlab軟件的編輯環(huán)境下對彩色荔枝圖像進行灰度化的轉換。具體實現(xiàn)過程如下：

（1）讀入已采集的彩色荔枝圖片文件Litchi＿Img.jpg，該文件為RGB色彩模型下的彩色圖像。

（2）通過編程處理將RGB圖像Litchi＿rgb.jpg轉化為其在YCbCr色彩模型下的彩色圖像Litchi＿ycbcr。

（3）通過提取顏色分量命令把圖像Litchi＿ycbcr的Cr顏色分量圖提取出來，該顏色分量值即為彩色圖像中每一像素點的灰度值。

隨機選取一組自然環(huán)境下所采集荔枝圖像，采用本文選用的Cr顏色分量圖對其進行灰度化并顯示灰度圖像的直方圖，效果如圖2所示。

圖2 彩色荔枝圖像組的灰度圖及其直方圖

從圖2 （c）可以看出，荔枝圖像的Cr灰度直方圖呈現(xiàn)雙峰特性，此特性也能為荔枝各部位圖像分割策略提供依據。

2 荔枝各部位圖像分割策略

基于彩色荔枝圖像灰度處理的基礎上，荔枝串、荔枝果與結果母枝的圖像分割策略為：采用Otsu和最大熵法獲得閾值區(qū)間，通過實驗獲取固定經驗閾值。利用此閾值對荔枝圖像的Cr分量圖進行圖像分割處理，再結合形態(tài)學、最大區(qū)域標記與色彩還原等處理后識別出荔枝串。對已識別荔枝串的Cr灰度圖采用Otsu閾值圖像分割、形態(tài)學運算及最大區(qū)域標記等處理方式識別出荔枝果。最后把荔枝串與荔枝果的二值圖像進行減法運算最終識別出結果母枝。為得到各類識別目標的彩色效果圖，需要把每次分割處理得到的二值圖像與原圖進行疊加。荔枝各部位識別流程如圖3所示。

圖3 荔枝各部位分類識別流程

3 荔枝各部位識別實驗

3.1 實驗材料及環(huán)境

實驗的荔枝圖片是在自然環(huán)境下從廣州市南沙區(qū)和番禺區(qū)的荔枝園所采集的200 幅中隨機選出的90 幅，大小均處理為456＊342 。實驗的測試環(huán)境為Windows XP，主頻2.9GHz、內存2G 的PC 機，后臺測試軟件為MATLAB 7.10。

3.2 實驗過程與實驗結果

把選取的荔枝圖像分別按照強光、逆光、普通光照條件分成3類 （每類圖片30幅，共90幅），對每類圖片分別采用Otsu與最大熵閾值計算方法獲取了適合各類荔枝串圖像分割的閾值區(qū)間，分別為 ［0.4902，0.5294］、［0.5098，0.5333］和 ［0.5020，0.5412］。在每類閾值區(qū)間范圍內通過實驗獲取固定經驗閾值，分別 為0.5020、0.5300 和0.5108。采用各類固定閾值分別對90幅各類光照條件的荔枝圖像進行荔枝各部位分類識別的實驗測試 （實驗流程如圖3所示），荔枝串、荔枝果與結果母枝的識別率如表1所示。

表1 荔枝各部位識別率

以其中的一組不同光照條件下的3 幅荔枝圖像為例，所識別的荔枝串與荔枝果的效果如圖4 （b）、圖4 （c）所示。把已識別的荔枝串、荔枝果的二值圖像進行圖像相減運算后實現(xiàn)了結果母枝的識別，效果如圖4 （d）所示。

通過提取本文方法識別的荔枝果與結果母枝的面積特征、運行時間的數(shù)據，與文獻 ［8］中采用方法獲取的對應數(shù)據進行對比，對比結果見表2－表4。

3.3 實驗結果分析

從分割效果上看，采用本文選定閾值對荔枝串的分割效果較好，結果母枝分割結果也無地面、葉子等背景殘留。而對強光條件下的荔枝果的分割均會產生凹陷或者空洞，造成果實無法完整恢復。

從表2～4可以看出：在運行時間及面積特征提取上，兩次閾值的分割方法對強光和正常光照條件下的荔枝果的識別效果良好，時間上也有明顯優(yōu)勢。雖然部分結果母枝的面積特征信息可能會略小于文獻 ［8］的方法，但由于荔枝串的采摘只需在結果母枝上選擇一個采摘點進行定位即可實現(xiàn)，因此本文提出的基于二次閾值的荔枝各部位識別方法是一種較實用的分割算法。

圖4 本文方法識別荔枝各部位圖片組（從左到右依次是強光、逆光和普通光照）

4 結束語

本文以串型生長的荔枝果為研究對象，對視覺機器人的荔枝各部位圖像分類識別進行研究，主要包括：

（1）給出了荔枝圖像中荔枝串、荔枝果與結果母枝的分類，并進行了彩色荔枝圖像基于YCbCr色彩空間的Cr通道圖的灰度化處理。

（2）提出了固定閾值的荔枝串與二次閾值的荔枝果及結果母枝的圖像分割策略，并對強光、逆光及正常光3種光照條件下拍攝的90幅荔枝圖片進行了荔枝串、荔枝果與結果母枝分類識別的實驗，各部位的圖像分割效果較好。

（3）進行了荔枝果與結果母枝的識別時間、面積特征的實驗數(shù)據的對比分析，分析結果表明：采用二次閾值分割方法可實現(xiàn)荔枝串、荔枝果與結果母枝的分類分割的目的，且在運行時間上能否滿足實時的采摘需求。

而對強光條件下的荔枝果的分割所產生的凹陷或者空洞，造成果實無法完整恢復的問題還需做進一步的研究。

表2 兩種方法對正常光照條件下的結果母枝分割對比

表3 兩種方法強光照條件下的結果母枝分割對比

表4 兩種方法對逆光照條件下的結果母枝分割對比

［1］Bulanon D M，Kataoka T.Fruit detection system and an end－effector for robotic harvesting of Fuji apples［J］.Agricultural Engineering International：CIGR Journal，2010，12 （1）：203－210.

［2］WANG Yong，SHEN Mingxia，JI Changying.Model and analysis of color for different parts of ripe cotton in picking period［J］.Transactions of the Chinese Society of Agricultural Engineering，2007，23 （4）：183－185 （in Chinese）. ［王勇，沈明霞，姬長英.采摘期成熟棉花不同部位顏色識別分析 ［J］.農業(yè)工程學報，2007，23 （4）：183－185.］

［3］ZOU Xiangjun，ZOU Haixin，LU Jun.Virtual manipulator－based binocular stereo vision positioning system and errors modeling ［J］.Machine Vision and Applications，2012，23 （1）：43－63.

［4］LV Jidong，ZHAO De'an，JI Wei，et al.Fast positioning method of apple harvesting robot for oscillating fruit［J］.Transactions of the Chinese Society of Agricultural Engineering，2012，28 （13）：48－53 （in Chinese）.［呂繼東，趙德安，姬偉，等.蘋果采摘機器人對振蕩果實的快速定位采摘方法 ［J］.農業(yè)工程學報，2012，28 （3）：48－53.］

［5］LIU Jian，ZHANG Yunwei.Segmentation methods of eggplant images in the growth state based on HSI space［J］.Journal of Anhui Agriculture Science，2010，38 （14）：7554－7556 （in Chinese）.［劉健，張云偉.基于HIS空間的生長狀態(tài)下茄子圖像 的 分 割 方 法 ［J］.安 徽 農 業(yè) 科 學，2010，38 （14）：7554－7556.］

［6］MAO Liang，XUE Yueju，KONG Deyun，et al.Litchi image segmentation algorithm based on sparse field level set ［J］.Transactions of the Chinese Society of Agricultural Engineering，2011，27 （4）：345－349 （in Chinese）.［毛亮，薛 月 菊，孔 德運，等.基于稀疏場水平集的荔枝圖像分割算法 ［J］.農業(yè)工程學報，2011，27 （4）：345－349.］

［7］KONG Deyun，XUN Yueju，MAO Liang，et al.Litchi image segmentation algorithm based on ant colony and space constraints FCM ［J／OL］.［2011－12－09］.http：／／www.cnki.net／kcms／detail／11.2127.TP.20111209.1001.043.html（in Chinese）.［孔德運，薛月菊，毛亮，等.基于蟻群和帶空間約束FCM 的 荔 枝 圖 像 分 割 算 法 ［J／OL］.［2011－12－09］.http：／／www.cnki.net／kcms／detail／11.2127.TP.20111209.1001.043.html.］

［8］XIONG Juntao，ZOU Xiangjun，CHEN Lijuan，et al.Recognition of mature litchi in natural environment based on machine vision ［J］.Transactions of the Chinese Society for Agricultural Machinery，2011，42 （9）：162－166 （in Chinese）.［熊俊濤，鄒湘軍，陳麗娟，等.基于機器視覺的自然環(huán)境中成熟荔枝識別［J］.農業(yè)機械學報，2011，42 （9）：162－166.］

［9］XIONG Juntao，ZOU Xiangjun，CHEN Lijuan，et al.Visual position of picking manipulator for disturbed litchi［J］.Transactions of the Chinese Society of Agricultural Engineering，2012，28 （14）：36－40 （in Chinese）.［熊俊濤，鄒湘軍，陳麗娟，等.采摘機械手對擾動荔枝的視覺定位 ［J］.農業(yè)工程學報，2012，28 （14）：36－40.］

［10］GUO Aixia，ZOU Xiangjun，ZHU Mengsi，et al.Color feature analysis and recognition for litchi fruits and their main fruit bearing branch based on exploratory analysis［J］.Transactions of the Chinese Society of Agricultural Engineering，2013，29 （4）：191－198 （in Chinese）.［郭艾俠，鄒湘軍，朱夢思，等.基于探索性分析的荔枝果與結果母枝顏色特征分析與識別 ［J］.農業(yè)工程學報，2013，29 （4）：191－198.］

［11］CHEN Lijuan.Research on targets locating in nature environment based on machine vision ［D］.Guangzhou：South China Agricultural University，2012：36－48 （in Chinese）.［陳 麗娟.基于機器視覺的自然環(huán)境下的目標定于研究 ［D］.廣州：華南農業(yè)大學，2012：36－48.］

［12］ZHAO Jinying，ZHANG Tiezhong，YANG Li.Object pickingup with machine vision of tomato picking robot［J］.Transactions of the Chinese Society for Agricultural Machinery，2006，37（10）：200－203 （in Chinese）.［趙金英，張鐵中，楊麗.西紅柿采摘機器人視覺系統(tǒng)的目標提取 ［J］.農業(yè)機械學報，2006，37 （10）：200－203.］