自然背景下計(jì)算機(jī)視覺技術(shù)在西紅柿采摘中的應(yīng)用

李思廣

(周口職業(yè)技術(shù)學(xué)院，河南 周口 466000)

?

自然背景下計(jì)算機(jī)視覺技術(shù)在西紅柿采摘中的應(yīng)用

李思廣

(周口職業(yè)技術(shù)學(xué)院，河南 周口 466000)

針對(duì)西紅柿種植過程中，采摘費(fèi)時(shí)費(fèi)力的問題，將計(jì)算機(jī)視覺技術(shù)與圖像處理和模式識(shí)別技術(shù)相結(jié)合，開發(fā)了在自然背景條件下的西紅柿自動(dòng)識(shí)別系統(tǒng)。運(yùn)用雙目立體視覺系統(tǒng)來識(shí)別紅色西紅柿，去除原始圖像的噪聲、轉(zhuǎn)換圖像的灰度、對(duì)新圖像進(jìn)行分割和目標(biāo)特征提取，從背景中把西紅柿分離出來；同時(shí)，針對(duì)果實(shí)間存在的重疊問題，采用圓形Hough變換算法，提取西紅柿的圓心坐標(biāo)和半徑特征，通過獲取T=Sqrt(s×l)圖像，恢復(fù)被遮擋西紅柿。利用該技術(shù)，采集了不同條件下的100張西紅柿照片，其中99張照片被準(zhǔn)確識(shí)別，識(shí)別率達(dá)到99%以上，能夠較好地滿足西紅柿采摘工作的要求。

雙目立體視覺；自動(dòng)識(shí)別；定位；西紅柿；采摘

0 引言

果蔬采摘作業(yè)有較強(qiáng)季節(jié)性，通常集中在成熟階段較短時(shí)間內(nèi)。采摘作業(yè)耗時(shí)費(fèi)力，屬于高度勞動(dòng)密集型工作，在收獲期間所需的人力占到整個(gè)種植過程的50%以上。進(jìn)行果蔬采摘作業(yè)時(shí)，所收獲果蔬的品質(zhì)好壞，會(huì)直接影響到果蔬在后續(xù)的儲(chǔ)存運(yùn)輸、食品加工和銷售等環(huán)節(jié)，并最終影響果蔬本身的市場(chǎng)價(jià)格。我國(guó)農(nóng)業(yè)生產(chǎn)的自動(dòng)化和智能化程度較低，目前國(guó)內(nèi)果蔬采摘工作基本上是靠人工完成。但是，隨著國(guó)民社會(huì)經(jīng)濟(jì)的高速發(fā)展、城鎮(zhèn)化進(jìn)程加快和人口老齡化加速,很多國(guó)家都出現(xiàn)或面臨著農(nóng)業(yè)生產(chǎn)勞動(dòng)力嚴(yán)重短缺問題,導(dǎo)致農(nóng)業(yè)生產(chǎn)經(jīng)濟(jì)成本提高，不利于農(nóng)業(yè)生產(chǎn)活動(dòng)的良性發(fā)展。另外，不同采摘者的經(jīng)驗(yàn)素質(zhì)各異，對(duì)果蔬品質(zhì)的評(píng)判標(biāo)準(zhǔn)不一，也影響了對(duì)果蔬的分級(jí)加工和銷售。因此，實(shí)現(xiàn)果蔬采摘作業(yè)的智能化和自動(dòng)化，是解決勞動(dòng)力不足、降低農(nóng)業(yè)生產(chǎn)成本、提高農(nóng)業(yè)生產(chǎn)效率的有效途徑[1]。

近年來，國(guó)內(nèi)外計(jì)算機(jī)視覺技術(shù)和人工智能控制技術(shù)得到了快速發(fā)展，特別是在果蔬采摘、農(nóng)產(chǎn)品質(zhì)量分級(jí)檢測(cè)[2]、植物病蟲害識(shí)別[3]和植物生長(zhǎng)信息監(jiān)測(cè)[4]等領(lǐng)域。美國(guó)學(xué)者Schertz和Brown于1968年首次提出將機(jī)器人技術(shù)運(yùn)用在果蔬采摘作業(yè)上，之后日本、法國(guó)、意大利、美國(guó)、英國(guó)等國(guó)家在這方面做了大量研究，并成功研制出西紅柿、茄子、茶葉、草莓、黃瓜、蘑菇和蘋果等智能采摘機(jī)器人。我國(guó)對(duì)采摘機(jī)器人的研究開始于20世紀(jì)90年代中期，隨后在各大院校學(xué)者的積極努力下得到了快速發(fā)展[5]。目前，我國(guó)西紅柿智能采摘作業(yè)的研究主要集中在各類視覺系統(tǒng)開發(fā)及圖像處理軟件等方面，但尚處于起步階段，應(yīng)用并不廣泛[6-7]。本研究針對(duì)西紅柿種植過程中采摘費(fèi)時(shí)費(fèi)力的問題，利用雙目立體視覺系統(tǒng)來識(shí)別紅色西紅柿，結(jié)合圓形Hough變換算法，提取西紅柿的圓心坐標(biāo)和半徑等特征，提高目標(biāo)定位精度。該技術(shù)的開發(fā)應(yīng)用可以解決西紅柿采摘過程中存在的多果重疊問題，同時(shí)能提高西紅柿的采摘效率，降低種植成本。

1 目標(biāo)的識(shí)別與定位

1.1 識(shí)別原理

計(jì)算機(jī)視覺系統(tǒng)是由光照箱、攝像頭、圖像采集卡及計(jì)算機(jī)軟硬件等部分組成，利用視覺傳感器獲取目標(biāo)物體的二維圖像，再將圖像信號(hào)轉(zhuǎn)換為一系列數(shù)據(jù)矩陣，經(jīng)過計(jì)算機(jī)的統(tǒng)計(jì)分析，完成對(duì)目標(biāo)物體的識(shí)別。

雙目立體視覺是計(jì)算機(jī)視覺的一種重要形式，主要通過成像設(shè)備從兩個(gè)不同位置觀察相同物體，獲取目標(biāo)物體不同角度兩幅圖像，通過計(jì)算圖像像素對(duì)應(yīng)點(diǎn)的坐標(biāo)偏差，獲取目標(biāo)物體三維坐標(biāo)信息，實(shí)現(xiàn)對(duì)目標(biāo)物體的定位。

本研究所采用的雙目立體視覺系統(tǒng)是由左右兩個(gè)攝像頭組成，構(gòu)建以左目坐標(biāo)為基礎(chǔ)的三維坐標(biāo)系，找到其在右攝像頭像面上對(duì)應(yīng)點(diǎn)，計(jì)算出該像素點(diǎn)的空間坐標(biāo)。

2 圖像處理

2.1 圖像的獲取

左右兩個(gè)攝像頭通過視頻采集卡與計(jì)算機(jī)相連，采集目標(biāo)物體圖像的數(shù)字信號(hào)，在計(jì)算機(jī)的控制下完成二維圖像的輸入及信號(hào)數(shù)字化工作。

2.2 圖像的預(yù)處理

對(duì)計(jì)算機(jī)得到的二維圖像進(jìn)行預(yù)處理，分離目標(biāo)圖像與背景圖像，使計(jì)算機(jī)更容易識(shí)別圖像中的目標(biāo)物體。

2.2.1 圖像噪聲的去除

中值濾波法可有效消除圖像中的孤立的噪聲點(diǎn)干擾，同時(shí)可以保護(hù)圖像的輪廓邊界，避免圖像邊界模糊。因此,本文采用該法對(duì)原始二維圖像進(jìn)行平滑處理，去除噪聲，提高圖像質(zhì)量。

2.2.2 圖像灰度化

為增加目標(biāo)圖像與背景圖像的對(duì)比度，避免目標(biāo)與背景區(qū)域的相互重合，需對(duì)原始的西紅柿圖像進(jìn)行灰度化處理。圖像灰度化處理時(shí)常用的是RGB顏色系統(tǒng)。

在RGB顏色系統(tǒng)中,R、G、B分別表示彩色數(shù)字圖像中紅、綠、藍(lán)三基色的亮度值,圖像中每個(gè)像素的顏色信息存在于3個(gè)基色的分量中，改變?nèi)珨?shù)值,可以混合出不同色彩。圖像中每個(gè)像素都有一個(gè)色度坐標(biāo)(r,g,b),坐標(biāo)軸上的3個(gè)頂點(diǎn)表示RGB 3種基色，原點(diǎn)(0,0,0)對(duì)應(yīng)黑色，頂點(diǎn)(1,1,1)對(duì)應(yīng)白色；亮度值取值區(qū)間為[0，255]，三色數(shù)值相同時(shí)為灰度色，而黑色與白色的連線為灰度級(jí)。

一副圖像由彩色變?yōu)榛叶群螅瑢?duì)應(yīng)點(diǎn)的灰度值為b=0.3B+0.59G+0.11R。

2.2.3 圖像分割

為了有效分析目標(biāo)圖像，需對(duì)圖像進(jìn)行分割，提取圖像中的意義的特征，除去背景干擾，最大限度將西紅柿本身圖像從背景環(huán)境中“抓取”出來，以提高量化特征值的準(zhǔn)確性。

本文采用圖像閾值分隔法，對(duì)圖像按照灰度分級(jí)；通過設(shè)定合適的閾值，將像素集合進(jìn)行區(qū)域劃分，各區(qū)域內(nèi)部及其相鄰區(qū)域均具有一致性屬性。

圖像分割處理后，整個(gè)西紅柿基本被分離出來，但需要對(duì)一些誤判的像素進(jìn)行進(jìn)一步處理。對(duì)于目標(biāo)果實(shí)內(nèi)部一些黑洞，可以以像素為單位，計(jì)算所有單連通區(qū)面積。當(dāng)單連通區(qū)面積小于設(shè)定閾值時(shí)，可作為噪聲去除。

2.2.4 果實(shí)特征的提取

正確識(shí)別西紅柿位置是完成采摘任務(wù)的基礎(chǔ)和關(guān)鍵，西紅柿外形接近圓形，可通過確定西紅柿圓心位置來確定西紅柿的采摘點(diǎn)。

本文通過圓形Hough變換采集目標(biāo)物特征，即西紅柿中心圓點(diǎn)位置。Hough變換是利用圖像坐標(biāo)空間變換，將識(shí)別目標(biāo)西紅柿問題轉(zhuǎn)化為空間坐標(biāo)系中點(diǎn)的聚類問題。通過該算法得到的擬合圓半徑和西紅柿半徑基本吻合。

2.2.5 目標(biāo)特征的提取

西紅柿生長(zhǎng)時(shí)，經(jīng)常會(huì)出現(xiàn)相互重疊和遮擋現(xiàn)象，如何順利實(shí)現(xiàn)采摘重疊和遮擋的西紅柿，是目前計(jì)算機(jī)視覺識(shí)別技術(shù)關(guān)鍵問題之一。

西紅柿接近圓形，對(duì)西紅柿的最小外接矩形邊長(zhǎng)閾值進(jìn)行檢測(cè)，當(dāng)長(zhǎng)寬比超過1.4時(shí)，可以判定西紅柿存在重疊。重疊時(shí)，對(duì)閾值分割后的彩色圖像進(jìn)行灰度化，T=Sqrt(S×I)，其中S和I是HSI顏色系統(tǒng)中飽和度和亮度，Sqrt為開方運(yùn)算。然后，再通過邊緣檢測(cè)，將得到的新圖像進(jìn)行3次腐蝕和膨脹運(yùn)算，將重疊或粘連部分分開，最后進(jìn)行特征提取處理。

3 成熟西紅柿的視覺檢測(cè)試驗(yàn)

利用上文所述的判別方法，對(duì)識(shí)別紅色西紅柿進(jìn)行檢測(cè)。本試驗(yàn)共進(jìn)行100張西紅柿圖像的處理，這些圖像均為不同條件下拍攝所得。每個(gè)圖片中的西紅柿數(shù)目在1～10個(gè)之間，大小不同，成熟的程度各異，在空間上隨機(jī)分布。經(jīng)過試驗(yàn)，其中99張被快速準(zhǔn)確識(shí)別，識(shí)別率在99%以上，對(duì)于被部分遮擋的，識(shí)別率在98.36%；無遮擋的，識(shí)別率在100%，具體試驗(yàn)結(jié)果如表1所示。

表1 成熟西紅柿的識(shí)別試驗(yàn)

4 結(jié)論

利用雙目立體視覺系統(tǒng)對(duì)紅色西紅柿進(jìn)行識(shí)別和定位，對(duì)原始圖像進(jìn)行去噪聲處理，圖像灰度化，并對(duì)新圖像進(jìn)行圖像分割和目標(biāo)特征提取，將西紅柿從背景中分離出來進(jìn)行定位；采用圓形Hough變換算法，提取西紅柿的圓心坐標(biāo)和半徑特征，通過獲取T=Sqrt(s×l)圖像，提取重疊果實(shí)邊界，實(shí)現(xiàn)果實(shí)特征提取。試驗(yàn)結(jié)果表明：該系統(tǒng)對(duì)成熟西紅柿的識(shí)別率在99%以上，能夠較好地滿足西紅柿采摘工作的要求，降低西紅柿種植時(shí)的采摘成本。

目前，計(jì)算機(jī)視覺技術(shù)隨著新的圖像處理、數(shù)據(jù)處理技術(shù)的升級(jí)而得到了進(jìn)一步的發(fā)展，在西紅柿的采摘過程中也得到較多的應(yīng)用。后續(xù)針對(duì)智能機(jī)器人在西紅柿的種植應(yīng)用過程中的問題，還需從機(jī)器采摘過程中降低對(duì)果實(shí)的損傷率、增強(qiáng)機(jī)器人系統(tǒng)的通用性和實(shí)用性等方便做進(jìn)一步的完善。

[1] 姜麗萍，陳樹人.果實(shí)采摘機(jī)器人的研究綜述[J].農(nóng)業(yè)裝備技術(shù),2006,32(1):8-10.

[2] 羅雪寧，倪明航，彭云發(fā)，等.淺談?dòng)?jì)算機(jī)視覺技術(shù)在果蔬外觀品種檢測(cè)中的應(yīng)用[J].新疆農(nóng)機(jī)化,2014(4):14-17.

[3] 柴阿麗，李寶聚，石延霞，等.基于計(jì)算機(jī)視覺技術(shù)的番茄葉部病害識(shí)別[J].園藝學(xué)報(bào),2010,37(9):1423-1430.

[4] 吳艷兵，樊啟洲，鄭健，等.計(jì)算機(jī)圖像處理技術(shù)在溫室黃瓜幼苗生長(zhǎng)信息檢測(cè)中的應(yīng)用 [J].湖南農(nóng)機(jī),2007(3):7-10.

[5] 張杰，李艷文.果蔬采摘機(jī)器人的研究現(xiàn)狀、問題及對(duì)策[J].機(jī)械設(shè)計(jì),2010,27(6):1-4.

[6] 郭凱敏，崔天時(shí)，張楨，等.西紅柿采摘機(jī)器人視覺系統(tǒng)的研究[J].農(nóng)機(jī)化研究,2016,38(12):217-226.

[7] 董坦坦，姬長(zhǎng)英，周俊，等.成熟番茄的圖像識(shí)別及其位姿的獲取研究[J].江西農(nóng)業(yè)學(xué)報(bào),2009,21(8):152-155.

[8] 張瑞合，姬長(zhǎng)英，沈明霞，等.計(jì)算機(jī)視覺技術(shù)在番茄收獲中的應(yīng)用[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2001,32(5): 50-52，58.

Application of Computer Vision Technology in Tomato Picking under Natural Background

Li Siguang

(Zhoukou Vocational and Technical College,Zhoukou 466000,China)

Computer vision technology is an important branch of computer technology. It has been widely used and developed from the beginning of last century. According to the picking time-consuming problem during tomato planting, the combination of computer vision technology and image processing and pattern recognition technology, developed under natural background condition of tomato automatic identification and picking method.Using binocular stereo vision system to identify the red tomatoes, removal of the original image noise,image conversion of gray,the new image of segmentation and target feature extraction, from the background to isolate the tomatoes; and according to the fruit of overlapping problem, using circular Hough transform algorithm, extraction tomatoes of the center coordinates and radius of the characteristics,through T=Sqrt (s x L) image acquisition, the restoration of occlusion tomatoes.Using this technique,100 tomato pictures were collected under different conditions, the 99 pictures were identified accurately and the recognition rate reached 99%, which could meet the requirements of the tomato picking.The development and application of this technology can improve the picking efficiency and reduce the production cost.

binocular stereo vision; automatic recognition; orientation; tomato; picking

2016-06-06

河南省高等學(xué)校重點(diǎn)科研項(xiàng)目(15B520047)

李思廣(1965-)，男，河南沈丘人，副教授，碩士，(E-mail)lisiguang@163.com。

S126;TP391.41

A

1003-188X(2017)07-0201-03