果園環(huán)境中成熟楊梅自動檢測方法研究*

雷歡 吳亮生,2 焦?jié)申?陳再勵 馬敬奇 鐘震宇

特約論文

果園環(huán)境中成熟楊梅自動檢測方法研究*

雷歡1吳亮生1,2焦?jié)申?陳再勵1馬敬奇1鐘震宇1

（1.廣東省科學院智能制造研究所 廣東省現(xiàn)代控制技術重點實驗室，廣東 廣州 510070 2.仲愷農(nóng)業(yè)工程學院，廣東 廣州 510070）

針對果園環(huán)境中自動摘果機視覺系統(tǒng)受光照、遮擋等影響，導致成熟楊梅檢測準確率低的問題，提出一種基于機器視覺的成熟楊梅自動檢測方法。首先，利用RGB攝像頭采集果園環(huán)境中的楊梅圖像，并采用基于YUV顏色空間Y分量的限制對比度自適應直方圖均衡化算法對采集圖像進行處理，以補償光照對成像質(zhì)量的影響；然后，采用“G-R”，“2R-G-B”色差法分別提取背景和前景區(qū)域，并通過形態(tài)學、區(qū)域生長等操作，建立基于OneCut算法的前景、背景區(qū)域標記控制點集，從而自動分割成熟楊梅區(qū)域；最后，針對重疊楊梅區(qū)域采用標記控制的分水嶺變換方法與凸殼理論進行果實分離，實現(xiàn)每顆果實區(qū)域的準確定位。通過試驗驗證：該方法能準確檢測果園環(huán)境中成熟的楊梅果實，平均準確率為93.5%，平均召回率為90.6%，具有一定的實用價值。

果園環(huán)境；成熟楊梅檢測；限制對比度自適應直方圖均衡化算法；OneCut；分水嶺變換

0　引言

楊梅成熟期較短，且果實成熟后極易腐爛與落果，及時采摘是降低落果損失、提升果品的必然手段。隨著計算機和自動控制技術的快速發(fā)展，采用自動機械采摘方式可有效節(jié)約成本、提高采摘效率與果實品質(zhì)、提升果農(nóng)收入。而對成熟楊梅進行準確檢測，是實現(xiàn)楊梅自動采摘的前提。

目前，基于機器視覺的自動摘果機已逐步應用于農(nóng)業(yè)生產(chǎn)[1]，然而因果園環(huán)境中光照強度變化、果實成簇、枝葉遮擋等因素影響，自動摘果機視覺系統(tǒng)存在果實檢測準確率低的問題，制約了其在楊梅果園的實際應用。自動摘果機的研究主要是針對果實的顏色、形狀、紋理等單個或多個生物特征的組合[2-4]。從圖像處理的角度分析，果實的生物特征會因自然光照的變化引起光斑和陰影，導致果實、葉子和背景顏色發(fā)生變化，從而增加果實檢測的錯誤率。針對自然光照的影響，WANG C等提出一種改進的小波變換和基于Retinex的圖像增強算法，突出在各種光照條件下的圖像，并使用K-均值聚類分割果實區(qū)域[3]；XU L等利用全局同態(tài)濾波對光照分布不均勻的圖像進行圖像增強，取得一定的識別效果[4]；趙德安等提出一種改進的夜間R-G色差分割方法，分割潛在的蘋果目標區(qū)域，準確率達83.7％[5]；Si Y等利用色差和色差比的方法識別蘋果目標區(qū)域，再結(jié)合隨機圓環(huán)法和匹配算法定位蘋果[6]；WANG Q等在晚上使用人造光源建立圖像采集系統(tǒng)，從而在均勻光線下，精準識別紅色蘋果。近幾年基于深度學習的果實檢測方法也逐漸流行，如XIONG J等提出一種基于深度學習的樹上青芒果檢測方法，可較準確檢測自然環(huán)境下的芒果果實[8]。雖然基于深度學習的方法能獲得較好性能，但其訓練所需的各種條件環(huán)境下的樣本量較大，而實際應用中難以采集，且算法的訓練和推理很大程度依賴于高配置硬件設備。

近十年，專家學者對如何準確識別水果進行了大量研究，然而針對自然光照條件下果園環(huán)境中成熟楊梅果實分割與檢測的研究少之又少。本文針對成熟楊梅的檢測，提出一種基于機器視覺的果園環(huán)境中成熟楊梅的自動檢測方法。在自然光照條件下，首先，對楊梅圖像進行局部自適應圖像增強；然后，采用色差法提取前景和背景區(qū)域，并利用形態(tài)學、區(qū)域生長等操作生成用于分割的標記控制點；最后，結(jié)合OneCut算法和分水嶺變換方法，提取每顆成熟楊梅果實區(qū)域，實現(xiàn)果園環(huán)境中成熟楊梅的準確檢測。

1　成熟楊梅檢測流程

果園環(huán)境中成熟楊梅的檢測流程如圖1所示。

圖1 成熟楊梅檢測方法流程圖

果園環(huán)境中成熟楊梅的檢測流程主要包括4部分：1）局部自適應圖像增強，基于YUV顏色空間Y分量，采用限制對比度自適應直方圖均衡化（contrast limited adaptive histogram equalization, CLAHE）算法對楊梅圖像進行局部自適應圖像增強，以補償自然場景下光照影響；2）成熟楊梅區(qū)域估計，通過RGB顏色空間通道色差法提取圖像前景和背景區(qū)域，實現(xiàn)成熟楊梅區(qū)域初步提取；3）成熟楊梅區(qū)域分割，利用形態(tài)學和區(qū)域生長法對前景和背景區(qū)域進行標記，采用標記控制的OneCut算法對楊梅圖像進行處理，實現(xiàn)成熟楊梅區(qū)域分割；4）單顆楊梅果實分離，采用分水嶺變換方法對重疊果實進行分離，并利用凸殼運算對果實缺失區(qū)域進行估計，實現(xiàn)楊梅檢測。

2 楊梅圖像光照補償

在果園環(huán)境中采集數(shù)據(jù)時，楊梅圖像質(zhì)量會受光照不均、拍攝角度等條件影響。在處理光照分布不均勻的圖像時，傳統(tǒng)直方圖均衡化算法可能使圖像部分區(qū)域“過度曝光”，而CLAHE算法在補償光照影響的同時改善局部過度曝光問題。該算法將圖像分割為大小相同的多個子塊，對每個子塊進行直方圖均衡化，即設置裁剪像素，并將超出設定像素范圍的灰度值均勻分配到各像素點，從而改善圖像灰度值分配不均的情況，提高圖像清晰度。本文為了不改變圖像色彩信息而改善圖像亮度，僅提取YUV顏色空間的Y分量用于圖像增強，具體算法過程如下：

1）將采集的RGB圖像轉(zhuǎn)換為YUV顏色空間圖像，提取YUV圖像中代表亮度的Y通道；

2）將Y通道圖像劃分為大小相同的若干子塊，并對分割好的每個子塊進行直方圖裁剪，計算該子塊的像素平均值，如式(1)所示；

3）對比度受限值計算公式為

5）利用式(4)找出裁剪過后超出設定像素范圍的像素值，并重新分配；

6）將子塊進行直方圖均衡化，并利用線性差值算法解決子塊間產(chǎn)生的影響；

3 成熟楊梅分割與定位

果園中采集的楊梅圖像一般包含幾種遮擋的自然場景，如樹葉、樹枝、樹干、草地、天空等。雖然可利用單個顏色分量或各個顏色分量的特征關系進行圖像分割而得到不同目標，但楊梅果實面積偏小且生長位置眾多，導致圖像背景中也存在形態(tài)各異的楊梅，采用簡單的顏色分割無法在不改變前景區(qū)域楊梅形態(tài)的同時去除背景的“楊梅噪點”。TANG M提出的OneCut算法基于圖論分割方法[9]，具有反映全局圖像屬性的能力[10]，通過使用一次圖切割即可獲得硬分割結(jié)果。OneCut算法采用快速全局最優(yōu)二元分割技術，明確最小化目標和背景顏色分布之間的表觀重疊。提供一個包圍感興趣目標的矩形包圍盒，矩形包圍盒外面的像素使用硬性約束分配為背景。采用一次圖切割最小化公式（式(5)）表達的能量函數(shù)，實現(xiàn)目標分割。

圖2 楊梅果實的色差分割圖

圖3 楊梅前景區(qū)域分割與定位示意圖

楊梅因聚集生長，導致圖像中的楊梅有重疊或遮擋情況發(fā)生。分水嶺變換是基于拓撲理論的數(shù)學形態(tài)學的分割方法，對微弱邊緣具有良好的響應。但傳統(tǒng)分水嶺算法對圖像中的噪聲、物體表面細微的灰度變化，會產(chǎn)生過度分割現(xiàn)象。本文采用標記控制的分水嶺變換[11]進行單顆楊梅果實分割，其中前景目標的標記控制點是從前景區(qū)域找到局部極大值而得。針對因遮擋不全的果實采用凸殼理論進行處理，最終實現(xiàn)每顆成熟楊梅位置的精準檢測。

4　實驗及結(jié)果分析

在2018年5月楊梅成熟期，用手機拍攝廣州從化某天然楊梅果園圖像作為實驗圖像。果園中楊梅樹均為規(guī)則種植，在不同天氣時距離楊梅果實15 cm ～ 35 cm處采集圖像，圖像分辨率為3264×2448，包括遮擋和光照不均等情況的成熟及非成熟楊梅圖像。實驗在Windows10操作系統(tǒng) Visual Studio Code環(huán)境下，基于python-opencv 和numpy開源庫，采用python語言編程完成。實驗平臺硬件配置：Intel(R) Core(TM) i7-9750H；16.0 GB內(nèi)存；Nvidia Geforce GTX 1660 Ti。

為驗證本文方法的有效性，對成熟楊梅果實檢測質(zhì)量進行定量客觀評價，采用準確率（precision）和召回率（recall）和F-measure作為衡量算法優(yōu)劣的評價指標[12]，其計算公式為

由于人工標記的成熟楊梅真值圖像是根據(jù)楊梅在圖中的實際呈現(xiàn)所標記，不會對遮擋成熟楊梅區(qū)域進行估計標記，因此本文方法的性能測試是以分水嶺操作后、凸殼運算前的二值圖像與人工標記的真值圖像進行計算，以客觀反映算法分割效果。為評估與對比成熟楊梅檢測性能，將本文方法分別與基于直方圖均衡化與色差圖的OneCut分割方法（簡稱HCO）、基于CLAHE與色差圖的分水嶺分割方法（簡稱CCW）進行對比，其性能測試結(jié)果如表1所示。其中，果實序號分別為圖2(a)、圖2(b)中圖像橫坐標方向上成熟楊梅的排序號。

表1 實驗方法的性能測試結(jié)果

由表1可以看出：相比于HCO，本文方法的平均準確率、平均召回率分別高出4.4%，2.8%，可知利用CLAHE進行光照補償后，改善了楊梅果實區(qū)域圖像質(zhì)量，有利于后續(xù)成熟楊梅分割；相比于CCW，本文方法的平均準確率提升了約2%，且平均召回率高出15.3%，明顯優(yōu)于CCW；結(jié)合圖3所示，可知利用基于標記控制點的OneCut算法進行自動分割處理后，能明顯改善果實邊界較模糊的成熟楊梅尤其是略帶黃綠色的成熟楊梅區(qū)域的分割效果，提升成熟楊梅檢測方法的適用性。

5　結(jié)語

為了自動水果采摘系統(tǒng)能夠準確識別成熟楊梅，本文設計一種果園環(huán)境中基于機器視覺的成熟楊梅自動檢測方法。首先，利用基于YUV顏色空間Y分量的CLAHE，增強原始圖像對比度，減弱光照噪聲對成熟楊梅圖像質(zhì)量的影響；其次，利用色差法分別得到前景和背景標記圖，結(jié)合基于標記控制點的OneCut算法自動提取更精準的前景區(qū)域，有效避免背景中未成熟楊梅果實、枝葉遮擋等干擾；最后，通過試驗驗證該方法的有效性，可在果園環(huán)境中有效檢測并分割出成熟楊梅，平均準確率達93.5%，平均召回率達90.6%，具有較強的魯棒性和適用性，可用于成熟楊梅自動采摘檢測，且對于其他果實分割與檢測具有一定的借鑒意義。

[1] LINKER R, COHEN O, NAOR A. Determination of the number of green apples in RGB images recorded in orchards[J]. Computers and Electronics in Agriculture, 2011, 81: 45-57.

[2] WEI X, JIA K, LAN J, et al. Automatic method of fruit object extraction under complex agricultural background for vision system of fruit picking robot[J]. Optik-International Journal for Light and Electron Optics, 2014,125(19):5684-5689.

[3] WANG C, TANG Y, ZOU X, et al. A robust fruit image segmentation algorithm against varying illumination for vision system of fruit harvesting robot[J]. Optik-International Journal for Light and Electron Optics, 2017, 131: 626-631.

[4] XU L, LV J. Recognition method for apple fruit based on SUSAN and PCNN[J]. Multimedia Tools and Applications, 2018, 77(6):7205-7219.

[5] 趙德安,劉曉洋,陳玉,等.果樹采摘機器人夜間識別方法[J].農(nóng)業(yè)機械學報,2015,46(3):15-22.

[6] SI Y, LIU G, FENG J. Location of apples in trees using stereoscopic vision[J]. Computers and Electronics in Agriculture, 2015, 112:68-74.

[7] WANG Q, NUSKE S, BERGERMAN M, et al. Automated crop yield estimation for apple orchards[C]//Proceedings of International Symposium of Experimental Robotics. Springer International Publishing, 2013,88: 745-758.

[8] 熊俊濤,劉振,林睿,等.自然環(huán)境下樹上綠色芒果的無人機視覺檢測技術[J].農(nóng)業(yè)機械學報,2018,4:45-52.

[9] TANG M, GORELICK L, VEKSLER O, et al. GrabCut in One Cut[C]//International Conference on Computer Vision, Sydney: IEEE, 2013:1769-1776.

[10] CAMILUS K S, GOVINDAN V K. A review on graph based segmentation[J]. International Journal of Image Graphics & Signal Processing, 2012, 4(5):1-13.

[11] JUNG C, KIM C. Segmenting clustered nuclei using h-minima transform-based marker extraction and contour parameterization[J]. IEEE Transactions on Biomedical Engineering, 2010, 57(10), 2600-2604.

[12] CHANG H H, ZHUANG A H, VALENTINO D J, et al. Performance measure characterization for evaluating neuroimage segmentation algorithms[J]. Neuroimage, 2009, 47(1):122-135.

Study on Automatic Detection Method of Mature Bayberry in Orchard Environment

Lei Huan1Wu Liangsheng1,2Jiao Zeyu1Chen Zaili1Ma Jingqi1Zhong Zhenyu1

(1.Guangdong Key Laboratory of Modern Control Technology, Institute of Intelligent Manufacturing, Guangdong Academy of Science, Guangzhou 510070, China 2.Zhongkai University of Agriculture and Engineering, Guangzhou 510225, China)

In view of the problem that the vision system of the automatic fruit picker in the natural environment of the orchard is affected by the light, occlusion and other factors, which leads to the low detection accuracy of mature bayberry, An automatic detection method of mature bayberry based on machine vision is proposed. First of all, RGB camera is used to collect bayberry image in orchard environment. The input image is processed by contrast limited adaptive histogram equalization (CLAHE) based on Y component of YUV color space to compensate the influence of light on image quality. Then, the "G-R" and "2R-G-B" color difference methods are used to extract the background region and foreground region respectively. Based on the operations of morphology and region growth, the set of control points of foreground and background regions is established, and the region of mature bayberry fruit in natural environment is segmented automatically by OneCut segmentation algorithm. Finally, the watershed transform method and convex hull theory are used to segment the overlapped fruit, so that each arbutus fruit area can be located accurately. The experiment results show that the method can accurately detect the mature bayberry fruit in orchard environment, with an average precision of 93.5% and an average recall rate of 90.6%, which has a certain practical value.

orchard natural environment; mature bayberry detection; CLAHE; OneCut; watershed transformation

廣州市科技計劃項目（202002020063）；廣東省級鄉(xiāng)村振興戰(zhàn)略專項資金項目（2019KJ138）。

雷歡，男，1987年生，碩士，工程師，主要研究方向：機器視覺、人工智能。

吳亮生，男，1987年生，在讀碩士，工程師，主要研究方向：機器視覺、人工智能。

焦?jié)申?，男?991年生，博士，助理研究員，主要研究方向：機器視覺、人工智能。

陳再勵，男，1989年生，博士，工程師，主要研究方向：安全工程、人工智能

馬敬奇（通信作者），男，1988年生，碩士，工程師，主要研究方向：機器視覺、人工智能。E-mail: majingqiauto123@126.com

鐘震宇，男，1971年生，博士，研究員，主要研究方向：運動控制與機器視覺。

S225

A

1674-2605(2021)03-0002-07

10.3969/j.issn.1674-2605.2021.03.002