葡萄果實(shí)定位方法的實(shí)驗(yàn)研究*

賈艷婷，馬本學(xué)，王運(yùn)祥，楊 杰，王 靜，周 強(qiáng)

（1.石河子大學(xué)機(jī)械電氣工程學(xué)院，新疆 石河子 832000；2.新疆兵團(tuán)農(nóng)業(yè)機(jī)械重點(diǎn)實(shí)驗(yàn)室）

葡萄果實(shí)定位方法的實(shí)驗(yàn)研究*

賈艷婷1，2，馬本學(xué)1，2，王運(yùn)祥1，2，楊 杰1，2，王 靜1，2，周 強(qiáng)1

（1.石河子大學(xué)機(jī)械電氣工程學(xué)院，新疆 石河子 832000；2.新疆兵團(tuán)農(nóng)業(yè)機(jī)械重點(diǎn)實(shí)驗(yàn)室）

準(zhǔn)確的定位是實(shí)現(xiàn)果蔬自動(dòng)化采摘的前提，本文以新疆特色葡萄為對(duì)象，利用自行設(shè)計(jì)搭建的葡萄定位雙目立體視覺(jué)系統(tǒng)實(shí)驗(yàn)平臺(tái)進(jìn)行田間實(shí)驗(yàn)，當(dāng)雙目攝像機(jī)與葡萄的距離為400～950 mm時(shí)，誤差分布范圍為0.15～11.50 mm。通過(guò)該項(xiàng)實(shí)驗(yàn)進(jìn)行研究，以期為葡萄自動(dòng)化采摘精確定位奠定基礎(chǔ)。

自動(dòng)化；葡萄；定位；誤差

我國(guó)葡萄產(chǎn)業(yè)發(fā)展迅速，2013年葡萄總產(chǎn)量高達(dá)1 055萬(wàn)t，其中新疆葡萄總產(chǎn)量占全國(guó)總產(chǎn)量19.8%，成為我國(guó)葡萄產(chǎn)量最大的省區(qū)[1]。由于葡萄采摘作業(yè)繁瑣，地區(qū)機(jī)械化落后，采摘作業(yè)的自動(dòng)化程度不高，多年來(lái)新疆葡萄采摘基本上都是手工進(jìn)行。待到金秋9月葡萄成熟時(shí)節(jié)，大量外來(lái)務(wù)工人員匯聚新疆采摘葡萄，采摘?jiǎng)趧?dòng)強(qiáng)度大、果實(shí)收獲季節(jié)性強(qiáng)、效率低。廣大果樹(shù)種植戶開(kāi)始期盼能實(shí)現(xiàn)水果自動(dòng)化智能化采摘，降低勞動(dòng)強(qiáng)度，減少支出費(fèi)用以增加收益。

農(nóng)產(chǎn)品收獲機(jī)械從研發(fā)至今已廣泛使用[2]，實(shí)現(xiàn)了機(jī)械化自動(dòng)化采收，逐步取代人力，減輕了人們田間繁重的勞作。近年來(lái)，學(xué)者針對(duì)蘋果[3]、番茄[4]、草莓[5]等果蔬采摘機(jī)器人已進(jìn)行深入的研究。本文針對(duì)自然場(chǎng)景中的新疆特色葡萄，通過(guò)葡萄定位雙目立體視覺(jué)系統(tǒng)實(shí)驗(yàn)平臺(tái)進(jìn)行定位試驗(yàn)，以為實(shí)現(xiàn)田間葡萄精確定位奠定基礎(chǔ)。

1 材料與方法

1.1 材料

1.1.1 研究對(duì)象及條件

新疆葡萄收獲旺季是每年8～10月份，本實(shí)驗(yàn)以自然場(chǎng)景中的新疆特色葡萄品種維多利亞為研究對(duì)象，于2014年8月在新疆石河子市葡萄研究所試驗(yàn)田中進(jìn)行實(shí)驗(yàn)。試驗(yàn)條件如下：天氣晴朗，太陽(yáng)直射溫度39℃，地表濕度40%，順光條件下葡萄表面平均光照強(qiáng)度為660 Lux，逆光條件下為202 Lux。

1.1.2 實(shí)驗(yàn)平臺(tái)

為了便于進(jìn)行田間葡萄定位的研究實(shí)驗(yàn)，自行設(shè)計(jì)并搭建了葡萄定位雙目立體視覺(jué)系統(tǒng)實(shí)驗(yàn)平臺(tái)（如圖 1所示）。 選用維視數(shù)字圖像公司 2臺(tái)IEEE1394a接口型號(hào)為MV-VS078FC的攝像機(jī)，配以MV-E1394PCI-E1394獨(dú)立雙通道數(shù)字采集卡，數(shù)據(jù)可高速傳輸至計(jì)算機(jī)。激光測(cè)距儀為GHLM-07B動(dòng)態(tài)激光測(cè)距傳感器。軟件環(huán)境為CCAS雙目測(cè)量測(cè)試開(kāi)發(fā)平臺(tái)。

圖1 葡萄定位雙目立體視覺(jué)系統(tǒng)實(shí)驗(yàn)平臺(tái)

1.2 方法

1.2.1 標(biāo)定

雙目攝像機(jī)標(biāo)定利用CCAS雙目測(cè)量測(cè)試開(kāi)發(fā)平臺(tái)的張正友平板標(biāo)定法進(jìn)行標(biāo)定，標(biāo)定板選用鋁合金材料的AFT-CT430高精度雙目視覺(jué)標(biāo)定板。標(biāo)定時(shí)將標(biāo)定板整體垂直置于視角范圍內(nèi)，將旋轉(zhuǎn)角度控制在20°左右，分別以X軸向上向下、以Y軸向左向右旋轉(zhuǎn)標(biāo)定板，通過(guò)自動(dòng)檢測(cè)標(biāo)定板上每個(gè)特征圓的圓心，校正標(biāo)定圖像并通過(guò)計(jì)算獲取左右攝像機(jī)內(nèi)外參數(shù)。雙目相機(jī)五對(duì)標(biāo)定圖像如圖2所示。

表1 雙目相機(jī)內(nèi)外部參數(shù)

表2 葡萄定位試驗(yàn)結(jié)果

圖2 雙目相機(jī)標(biāo)定圖像

雙目相機(jī)內(nèi)外部參數(shù)如表1所示，其中左右相機(jī)在u軸和v軸的有效焦距分別為fx，fy，不垂直因子均為0。

1.2.2 葡萄定位田間試驗(yàn)

本文針對(duì)自然場(chǎng)景中的葡萄，利用自行設(shè)計(jì)的葡萄定位雙目立體視覺(jué)系統(tǒng)實(shí)驗(yàn)平臺(tái)進(jìn)行田間葡萄定位實(shí)驗(yàn)。實(shí)驗(yàn)以不同高度、不同角度并貼以標(biāo)定點(diǎn)的葡萄串為對(duì)象，通過(guò)調(diào)整攝像機(jī)與葡萄果實(shí)之間的實(shí)際距離檢測(cè)葡萄串上的標(biāo)定點(diǎn)，進(jìn)而獲得標(biāo)定點(diǎn)的空間三維坐標(biāo)。

圖3 雙目攝像機(jī)采集圖像

根據(jù)實(shí)驗(yàn)需求分別設(shè)計(jì)直徑為5 mm、8 mm的圓形標(biāo)定點(diǎn)進(jìn)行實(shí)驗(yàn)，利用CCAS雙目測(cè)量測(cè)試開(kāi)發(fā)平臺(tái)開(kāi)啟雙目攝像機(jī)，根據(jù)場(chǎng)景觀測(cè)視角通過(guò)調(diào)節(jié)支撐雙目攝像機(jī)的云臺(tái)及滑桿進(jìn)一步調(diào)整攝像機(jī)安裝位置，并使用標(biāo)定板標(biāo)定相機(jī)，獲取同一場(chǎng)景中左右攝像機(jī)的2幅圖像（如圖3所示）。通過(guò)雙目檢測(cè)獲取圖像中葡萄果實(shí)上標(biāo)定點(diǎn)的信息，并將檢測(cè)的標(biāo)定點(diǎn)在左右2幅圖像中的成像位置進(jìn)行立體匹配，最終通過(guò)雙目測(cè)量計(jì)算標(biāo)定點(diǎn)的二維像素坐標(biāo)、空間三維坐標(biāo)及2個(gè)標(biāo)定點(diǎn)之間的距離。

圖4 葡萄定位誤差分布

2 結(jié)果與分析

實(shí)驗(yàn)利用葡萄定位雙目立體視覺(jué)系統(tǒng)實(shí)驗(yàn)平臺(tái)對(duì)自然場(chǎng)景中不同生長(zhǎng)位置的葡萄串進(jìn)行定位，同時(shí)利用卷尺、激光測(cè)距儀分別測(cè)量待檢測(cè)葡萄串與攝像機(jī)之間的實(shí)際距離，提供對(duì)比數(shù)據(jù)，測(cè)量范圍為400～950 mm，每隔50 mm進(jìn)行1組實(shí)驗(yàn)，試驗(yàn)結(jié)果其中1組數(shù)據(jù)如表2所示，表中左右圖像中標(biāo)定點(diǎn)坐標(biāo)為通過(guò)雙目檢測(cè)獲取的左右2幅圖像中同一標(biāo)定點(diǎn)的像素坐標(biāo)，標(biāo)定點(diǎn)三維坐標(biāo)中Z為深度信息，即葡萄串與攝像機(jī)實(shí)際距離。

通過(guò)統(tǒng)計(jì)60組葡萄定位實(shí)驗(yàn)，分析數(shù)據(jù)，繪制距離誤差分布圖（如圖4所示），當(dāng)葡萄果實(shí)與攝像機(jī)實(shí)際距離在400～650 mm時(shí)誤差分布較均勻，誤差平均值為3.09 mm。該葡萄定位雙目立體視覺(jué)系統(tǒng)實(shí)驗(yàn)平臺(tái)在實(shí)驗(yàn)距離范圍內(nèi)定位時(shí)產(chǎn)生最大誤差為11.5 mm，平均誤差為4.56 mm，定位結(jié)果存在的誤差隨著距離的增大而逐漸增大。誤差產(chǎn)生的主要原因有：（1）雙目攝像機(jī)標(biāo)定過(guò)程中產(chǎn)生的誤差，如標(biāo)定板精度、標(biāo)定板旋轉(zhuǎn)角度及左右攝像機(jī)安裝位置等因素；（2）田間環(huán)境中外界因素對(duì)葡萄定位雙目立體視覺(jué)系統(tǒng)實(shí)驗(yàn)平臺(tái)穩(wěn)定性的影響；（3）利用卷尺及激光測(cè)距儀測(cè)定實(shí)際距離時(shí)存在的誤差。

3 小結(jié)

本文將雙目立體視覺(jué)技術(shù)應(yīng)用于田間實(shí)驗(yàn)中，利用搭建的葡萄定位雙目立體視覺(jué)系統(tǒng)實(shí)驗(yàn)平臺(tái)進(jìn)行了葡萄定位的初步研究。在對(duì)雙目攝像機(jī)標(biāo)定的基礎(chǔ)上采集左右相機(jī)圖像，經(jīng)過(guò)雙目檢測(cè)、立體匹配、雙目測(cè)量獲取標(biāo)定點(diǎn)的像素坐標(biāo)及空間三維坐標(biāo)信息。實(shí)驗(yàn)結(jié)果表明，雙目攝像機(jī)與葡萄的距離為400～950 mm時(shí)，誤差分布為0.15～11.50 mm，該誤差滿足葡萄自動(dòng)化采摘對(duì)精度的要求。葡萄定位雙目立體視覺(jué)系統(tǒng)實(shí)驗(yàn)平臺(tái)不僅可以測(cè)定空間距離，并且可以測(cè)量待測(cè)目標(biāo)的長(zhǎng)度特性，為后續(xù)葡萄采摘機(jī)器人視覺(jué)系統(tǒng)的研究奠定基礎(chǔ)。

[1]中華人民共和國(guó)國(guó)家統(tǒng)計(jì)局.2014中國(guó)統(tǒng)計(jì)年鑒[M].北京∶中國(guó)統(tǒng)計(jì)出版社，2014.

[2]張鐵中，楊麗，陳兵旗，等.農(nóng)業(yè)機(jī)器人技術(shù)研究進(jìn)展[J].中國(guó)科學(xué)，2010（40）：71-87.

[3]王輝，毛文華，劉剛，等.基于視覺(jué)組合的蘋果作業(yè)機(jī)器人識(shí)別與定位[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2012，12（43）：165-170.

[4]鄭小東，趙杰文，劉木華.基于雙目立體視覺(jué)的番茄識(shí)別與定位技術(shù)[J].計(jì)算機(jī)工程，2004，30（22）：155-156.

[5]張鐵中，陳利兵，宋健.草莓采摘機(jī)器人的研究：Ⅱ.基于圖像的草莓重心位置和采摘點(diǎn)的確定 [J].中國(guó)農(nóng)業(yè)大學(xué)學(xué)報(bào)，2005（1）：48-51.

2015—03—13

大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目，項(xiàng)目編號(hào)：201410759037。