果實成熟度識別機器人設(shè)計——基于近紅外線信號處理

何　婕，羅　妤

(1.重慶工商職業(yè)學(xué)院 電子信息工程學(xué)院，重慶　401520；2.重慶科技學(xué)院 電氣與信息工程學(xué)院，重慶　401331)

?

果實成熟度識別機器人設(shè)計——基于近紅外線信號處理

何婕1，羅妤2

(1.重慶工商職業(yè)學(xué)院 電子信息工程學(xué)院，重慶401520；2.重慶科技學(xué)院 電氣與信息工程學(xué)院，重慶401331)

摘要：為了提高采摘機器人自動識別果實成熟度的智能化水平，提高果實識別的準(zhǔn)確性，實現(xiàn)機器人自主定位和自動規(guī)劃路徑能力，設(shè)計了一種新的自動化采摘機器人。該機器人利用圖像分割技術(shù)和近紅外信號處理技術(shù)，實現(xiàn)了果實成熟度的自動定位和判別。對采摘機器人的性能進(jìn)行了測試，包括蘋果圖像的分割和提取、果實成熟度的判斷和機器人路徑規(guī)劃。通過測試發(fā)現(xiàn)：機器人可以在復(fù)雜采摘背景下準(zhǔn)確地識別蘋果果實，并可以通過紅外線探測實現(xiàn)果實成熟度的判別，最終規(guī)劃出來合理的采摘路徑，實現(xiàn)果實的精準(zhǔn)采摘，為果蔬采摘機器人的研究提供了較有價值的參考。

關(guān)鍵詞：采摘機器人；紅外線探測；果實成熟度；圖像分割；路徑規(guī)劃

0引言

機器視覺系統(tǒng)是果實采摘機器人的重要組成部分，能否實現(xiàn)準(zhǔn)確的識別與定位果實是采摘機器人成功實現(xiàn)采摘的關(guān)鍵。果實采摘機器視覺一般采用主動成像系統(tǒng)，其抗干擾能力較強，可以直接獲取高清晰度的蘋果圖像，將其使用在蘋果果園這一非線性結(jié)構(gòu)化環(huán)境中，具有重要的現(xiàn)實意義。目前的采摘機器人大多數(shù)還不具備自動識別果實成熟度的能力，對于果實成熟度判斷的精度較低。本次研究將結(jié)合圖像分割技術(shù)和紅外線探測技術(shù)，提高采摘機器人果實成熟度的判斷能力，對于采摘機器人果實高精度的采摘具有重要的現(xiàn)實意義。

1果實成熟度自動識別機器人總體設(shè)計

機器人果實成熟度的識別主要依賴于機器視覺，通過高清攝像機獲取蘋果圖像，對蘋果進(jìn)行路徑跟蹤，然后利用近紅外光譜技術(shù)對成熟度進(jìn)行探測，對完全成熟期的果實進(jìn)行摘取。果實的定位流程如圖1所示。果實圖像的采集使用高清攝像頭，安裝在機器人執(zhí)行末端，采集得到圖像后利用閾值分割技術(shù)對蘋果圖像進(jìn)行識別，并劃分跟蹤軌跡，實現(xiàn)果實的準(zhǔn)確定位。

圖1　采摘機器人果實定位流程

圖2為采摘機器人的果實成熟度的判斷流程框架圖。通過圖像采集和圖像分割可以有效地識別蘋果果實，對果實進(jìn)行定位后利用紅外線探測技術(shù)對果實進(jìn)行識別，探測過程使用紅外探測器。為了提高紅外探測器的工作效率，使用多通道并行計算的D/A轉(zhuǎn)換器，可以同時實現(xiàn)多路信號的采集和處理；對驅(qū)動電機發(fā)出指令后，便可以執(zhí)行果實采摘動作。

2采摘機器人果實成熟度識別系統(tǒng)設(shè)計

果實采摘機器人使用高清攝像頭對蘋果圖像進(jìn)行采集，并使用紅外線探測器探測果實的成熟度。高清攝像頭和紅外線探測器均安裝在采摘機器人的執(zhí)行末端，結(jié)構(gòu)如圖3所示。

圖2　采摘機器人果實成熟度判斷流程

圖3　采摘機器人果實識別系統(tǒng)結(jié)構(gòu)示意圖

紅外線探測結(jié)果被PC單片機處理后會發(fā)出數(shù)字信號進(jìn)行采摘指令控制，發(fā)出的數(shù)字信號進(jìn)行數(shù)模轉(zhuǎn)換，數(shù)模轉(zhuǎn)換采用DAC0832微處理器。該處理器兼容型D/A轉(zhuǎn)換器，如圖4所示。

圖4　DNC0832引腳示意圖

圖4中，芯片的引腳較多，可以接受微處理控制功能，具有兩級鎖存的控制能力，可以實現(xiàn)多通道的D/A同步轉(zhuǎn)換與輸出，內(nèi)部參考電壓為0，需要外接參考電壓才能工作。

顏色的識別和判斷主要分為兩種方法：一種是HIS顏色空間方法；二是Lab顏色空間方法。其中，HIS顏色空間類似人眼感受顏色：H為色度，表示不同的顏色；I為明度，表示顏色的亮暗程度；S表示飽和度，表示顏色的深淺。將RGB轉(zhuǎn)換為HIS模型，則

(1)

其中，H、S和I分別表示色度、飽和度和明度，R、G、B分別表示紅色、綠色和橙色分量，取值為0～255。Lab顏色空間的L為照度，a為紅綠分量，b為藍(lán)黃分量。其中，L相當(dāng)于亮度，取值為0～100；a為從紅到綠的范圍，取值為-128～127；b表示從藍(lán)到黃的范圍，取值為-128-127。由RGB轉(zhuǎn)換為Lab，則有

(2)

其中，Xn、Yn和Zn的取值可以參考CIE標(biāo)準(zhǔn)流明D65參考白平衡點。f(t)和Y、Z為

(3)

依據(jù)顏色分級統(tǒng)計方法，將閾值a的最低等級設(shè)置為-5.8：當(dāng)a<-5.8時，判斷為果實枝葉；當(dāng)a>5.8時，識別為果實。其計算為

(4)

通過顏色分類方法，可將蘋果從背景圖像中成功地分離出來。Lab顏色空間判別建議表如表1所示。

表1　Lab顏色判別建議表

通過對蘋果圖像的處理，可以初步識別成熟果實圖像。要實現(xiàn)蘋果成熟度的準(zhǔn)確判斷，還需要結(jié)合紅外探測技術(shù)。其性能測試在下節(jié)中將做進(jìn)一步的詳細(xì)研究。

3果實成熟度自動識別機器人性能測試

為了驗證本次研究設(shè)計的果實自動識別與采摘機器人的可靠性，對采摘機器人的性能進(jìn)行了測試，包括果實圖像識別、成熟度檢測及機器人自動化路徑規(guī)劃能力。蘋果采摘的場景圖像如圖5所示。

圖5　果實采摘場景照片

在實際采摘過程中，受自然條件的影響，大部分的樹冠的蘋果會受到光照、枝葉和果實重疊的影響，使圖像的識別變得復(fù)雜；而使用lab顏色空間可以相對準(zhǔn)確地提取出蘋果的圖像，如圖6所示。

圖6　成熟蘋果閾值分割圖像

采摘中，可以根據(jù)不同成熟度蘋果的顏色閾值，對成熟蘋果圖像進(jìn)行提取，利用邊緣提取方法將成熟蘋果圖像分割出來，再對蘋果的面積和周長進(jìn)行計算，達(dá)到成熟蘋果圖像準(zhǔn)確識別的目的。

通過計算得到了如圖7所示的成熟蘋果面積和周長的計算結(jié)果圖。由圖7可知：提取出的主要蘋果面積為33 557個像素點，周長為428個像素點，通過迭代計算得到了如圖8所示的收斂殘差。

圖7　成熟蘋果面積和周長計算結(jié)果

圖8　殘差控制收斂曲線

圖9表示圖像識別計算過程中，得到的殘差收斂曲線。由圖9可以看出：在計算時間4ms時，計算誤差便開始接近于0，殘差較小，從而驗證了本次計算的可靠性。通過計算得到的成熟蘋果圖像的連通區(qū)域特征如表2所示。

表2　連通區(qū)域特征表

由表2可以看出：利用Lab顏色特征方法可以較好地分離出蘋果的圖像，根據(jù)圓形度也可以預(yù)先判斷果實是否成熟。為了進(jìn)一步確定果實的成熟度，使用紅外線探測的方法對果實的成熟度進(jìn)行探測，結(jié)果如圖9所示。

圖9　紅外線蘋果成熟度檢測結(jié)果曲線

由圖9可以看出：不同成熟度的蘋果對紅外線的反射率有所不同，可以根據(jù)不同的反射率來判斷果實的成熟度。判斷需要采摘的蘋果后，對機器人路徑進(jìn)行規(guī)劃，如圖10所示。

圖10　機器人二維路徑規(guī)劃圖

由圖10可知：在二維平面內(nèi)確定成熟蘋果目標(biāo)后，使用路徑規(guī)劃方法對蘋果目標(biāo)進(jìn)行跟蹤，并規(guī)劃出形式路徑；但是二維平面的機器人路徑規(guī)劃還是有一定的缺陷，需要結(jié)合三維路徑規(guī)劃來提高采摘的準(zhǔn)確度，如圖11所示。

圖11　采摘機器人三維路徑規(guī)劃圖

圖11中，A表示成熟蘋果的目標(biāo)，機器人從右側(cè)開始規(guī)劃形式路徑，并判斷最佳行駛路徑。其中，最佳行駛路徑為粗線部分，結(jié)合三維路徑規(guī)劃，采摘機器人可以精準(zhǔn)地采摘到成熟的蘋果果實。

4結(jié)論

1)為了提高果實采摘機器人果實成熟度的識別能力，提高果實采摘精度，本文依據(jù)閾值分割理論和紅外線信號處理技術(shù)，對果實成熟度識別系統(tǒng)進(jìn)行了改進(jìn)，提高了機器人自主識別成熟果實的能力及采摘的智能化水平。

2)對本次研究設(shè)計的自主識別果實成熟度的采摘機器人進(jìn)行了測試。通過測試發(fā)現(xiàn)：利用Lab顏色空間和閾值分割技術(shù)，可以在復(fù)雜的背景下提取出果實的圖像，邊緣提取效果較好。通過計算可以得到果實的面積和周長，利用紅外線探測技術(shù)成功的識別了果實成熟度，進(jìn)而劃分了采摘機器人的二維平面和三維立體路徑規(guī)劃，符合高精度采摘作業(yè)機器人的設(shè)計要求。

參考文獻(xiàn)：

[1]樊景超,周國民.蘋果近紅外光譜采集影響因素研究[J].安徽農(nóng)業(yè)科學(xué),2011,39(1):464-467.

[2]吳迪,陳孝敬,何勇.基于離散余弦變換和支持向量機的多光譜紋理圖像的茶葉分類研究[J].光譜學(xué)與光譜分析,2009,29(5):1382-1385.

[3]吳迪,吳洪喜,蔡景波,等.基于無信息變量消除法和連續(xù)投影算法的可見-近紅外光譜技術(shù)白蝦種分類方法研究[J].紅外與毫米波學(xué)報,2009,28(6): 423-427.

[4]史敏.基于紅外光譜技術(shù)的獼猴桃品質(zhì)檢測研究[D].楊凌:西北農(nóng)林科技大學(xué),2008:1-9.

[5]曹志勇,邱靖,曹志娟,等.基于改進(jìn)型神經(jīng)網(wǎng)絡(luò)的植物病蟲害預(yù)警模型的構(gòu)建[J].安徽農(nóng)業(yè)科學(xué),2010,38(1):538-540.

[6]時君偉,胡敏英,武志富,等.基于神經(jīng)網(wǎng)絡(luò)的視覺圖像處理研究[J].安徽農(nóng)業(yè)科學(xué),2009,37(19):9300- 9302.

[7]紀(jì)淑娟,柏蘭,李東華,等.南果梨糖度近紅外光譜無損檢測模型的建立[J].食品工業(yè)科技,2008,29(4): 281-283.

[8]于冠年,紀(jì)淑娟,魏寶東,等.1-MCP處理對冷藏后南果梨常溫貨架影響[J].北方園藝,2007(1):180-182.

[9]王圓圓,丁志杰,萬華林.基于視覺顏色聚類的彩色圖像分割[J].北京理工大學(xué)學(xué)報,2003,23(2):19-23.

[10]袁春蘭,熊宗龍.基于Sobel算子的圖像邊緣檢測研究[J].河海科技大學(xué)學(xué)報,2009,30(6):31-48.

[11]向方,段瑞玲,李慶祥,等.圖像邊緣檢測方法研究綜述[J].光學(xué)技術(shù),2005(3):415-419.

[12]周心明,蘭賽,徐燕.圖像處理中幾種邊緣檢測算法的比較[J].現(xiàn)代電力,2000(3):65-69.

[13]魏偉波,芮筱亭.圖像邊緣檢測方法研究[J].計算機工程與應(yīng)用,2006(30):88-91.

[14]林卉,趙長勝,舒寧.基于Canny算子的邊緣檢測及評價[J].黑龍江工程學(xué)院學(xué)報,2003(2):3-6,16.

[15]孫慧,周紅霞,李朝暉.圖像處理中邊緣檢測技術(shù)的研究[J].電腦開發(fā)與應(yīng)用,2002(10):7-9.

[16]宏福.圖像邊緣分割算法的優(yōu)化研究與仿真[J].計算機仿真,2011(8):280-283.

[17]丁吉昌,崔現(xiàn)成.一副疊加有噪聲圖像的邊緣分割的討論[J].醫(yī)療設(shè)備信息,2001(12):12-13.

[18]紀(jì)淑娟,李東華,柏蘭,等.掃描方式對南果梨近紅外光譜無損檢測模型建立的影響研究[J].食品科學(xué),2008,29(6):383-386.

[19]周瑩,傅霞萍,應(yīng)義斌.濕度對近紅外光譜檢測的影響[J].光譜學(xué)與光譜分析,2007,27(11):2197-2199.

[20]周俊,程嘉煜.基于機器視覺的農(nóng)業(yè)機器人運動障礙目標(biāo)檢測[J].農(nóng)業(yè)機械學(xué)報,2011,42(8):154-158.

[21]朱安民,明仲.基于神經(jīng)動力學(xué)的目標(biāo)跟蹤算法[J].深圳大學(xué)學(xué)報:理工版,2009,3(26):83-88.

[22]朱大奇,顏明重.移動機器人路徑規(guī)劃技術(shù)綜述[J].控制與決策, 2010,25(7):961-967.

[23]朱慶保.動態(tài)復(fù)雜環(huán)境下的機器人路徑規(guī)劃螞蟻預(yù)測算法[J].計算機學(xué)報, 2005,28(11):1898-1906.

Recognition of Fruit Maturity——Based on Near Infrared Signal Processing

He Jie1, Luo Yu2

(1.College of Electronic Information Engineering ,Chongqing Technology And Business Institute, Chongqing 401520,China; 2.School of Electrical and Information Engineering, Chongqing University of Science & Technology, Chongqing 401331,China)

Abstract：In order to improve the picking robot automatic identification of fruit maturity level of intelligence, improve fruit recognition accuracy, robot self localization and automatic planning path capacity design a new automatic picking robot, the robot using image segmentation technique and near infrared signal processing technology, to realize the automatic positioning of fruit maturity and discriminant. The performance of the picking robot was tested, including the segmentation and extraction of the apple image, the judgment of the fruit maturity and the path planning of the robot. Through the test found that the robot can be in complex picking background accurate recognition of apple fruit, and can be in infrared light to achieve the identification of fruit maturity. Finally, plan out the reasonable picking path, to obtain the fruit of accurate picking, for the fruit picking robot research provides a valuable reference.

Key words：picking robot; infrared detection; fruit maturity; image segmentation; path planning

中圖分類號：S225.91；TP242

文獻(xiàn)標(biāo)識碼：A

文章編號：1003-188X(2016)08-0194-05

作者簡介：何婕(1984-)，女，重慶人，講師，碩士。通訊作者：羅妤(1980-)，女, 四川廣元人, 講師,博士研究生，(E-mail)luoyu1980@126.com。

基金項目：重慶市教委科學(xué)技術(shù)研究項目(KJ1403805)

收稿日期：2015-07-27