自然場(chǎng)景下葡萄定位方法的研究

胡洋洋，馬本學(xué)，李小霞

（1.石河子大學(xué)機(jī)械電氣工程學(xué)院，新疆 石河子 832003；2農(nóng)業(yè)部西北農(nóng)業(yè)裝備重點(diǎn)實(shí)驗(yàn)室）

0 引言

葡萄別名“草龍珠”，是世界的四大果品之一，葡萄的種植面積和產(chǎn)量是位于柑橘之后的世界第二大果樹作物，以其顏色鮮艷，酸甜可口，深受人們喜愛。葡萄不僅鮮食美味可口，有利人體新陳代謝，還可釀酒、榨汁、榨油、制干[1-3]。據(jù)調(diào)研，目前葡萄的采摘由人工完成，葡萄的采摘是葡萄鮮食、釀酒、干制等過程中最重要的環(huán)節(jié)，采摘作業(yè)質(zhì)量的好壞直接影響著葡萄后續(xù)加工品質(zhì)的等級(jí)。降低采摘成本解放勞動(dòng)力的同時(shí)提高葡萄的品質(zhì)是葡萄生產(chǎn)鏈中需要解決的關(guān)鍵問題。然而隨著國(guó)家的進(jìn)步，社會(huì)的發(fā)展，人口老齡化愈來愈嚴(yán)重。勞動(dòng)力短缺，勞動(dòng)成本激增，導(dǎo)致生產(chǎn)成本增加。果蔬生產(chǎn)屬于密集型的工作，果蔬采摘是整個(gè)果蔬生產(chǎn)中最耗時(shí)、最費(fèi)力的一個(gè)環(huán)節(jié)，收獲期間需投入的勞力約占整個(gè)種植過程的40%～50%[4-5]。收獲時(shí)節(jié)需要雇傭大量勞動(dòng)人員，勞動(dòng)強(qiáng)度大，采摘周期長(zhǎng)，效率低。新疆的葡萄采收基本上都是人工采摘，因此降低成本和勞動(dòng)強(qiáng)度的同時(shí)，提高經(jīng)濟(jì)效益，實(shí)現(xiàn)果實(shí)的自動(dòng)化采摘成為當(dāng)前亟需解決的問題。

隨著計(jì)算機(jī)數(shù)字圖像處理技術(shù)日趨成熟，計(jì)算機(jī)視覺技術(shù)已成為一門新興的綜合技術(shù)，在農(nóng)業(yè)上的應(yīng)用已取得了長(zhǎng)足的進(jìn)步[6]。本文針對(duì)自然場(chǎng)景中的新疆特色夏黑葡萄，通過基于雙目立體視覺系統(tǒng)的葡萄定位試驗(yàn)平臺(tái)進(jìn)行定位試驗(yàn)，以為實(shí)現(xiàn)葡萄采摘機(jī)器人的田間葡萄定位奠定基礎(chǔ)。

1 材料與方法

1.1 材料

鮮食葡萄圖像，地理坐標(biāo)位于東經(jīng)84'58"-86'24"，北緯43'26"-45'20"。試驗(yàn)條件如下：天氣晴朗，太陽直射溫度 36℃，地表濕度45%，順光條件下葡萄表面平均光照強(qiáng)度為720 Lux，逆光條件下為235 Lux。

1.2 試驗(yàn)平臺(tái)

為了便于進(jìn)行田間葡萄定位試驗(yàn)研究，自行設(shè)計(jì)并搭建了葡萄定位雙目立體視覺系統(tǒng)試驗(yàn)平臺(tái)。系統(tǒng)中雙目立體視覺系統(tǒng)設(shè)備選用維視圖像加拿大PointGreyResearch公司1394接口的工業(yè)相機(jī),型號(hào)為Bumblebee xb3。激光測(cè)距儀為GHLM-07B動(dòng)態(tài)激光測(cè)距傳感器，軟件環(huán)境為Visual Studio 2013開發(fā)平臺(tái)，圖1葡萄定位雙目立體視覺平臺(tái)。

圖1 葡萄定位雙目立體視覺平臺(tái)

1.3 葡萄的定位

1.3.1 雙目立體視覺相機(jī)的標(biāo)定

在項(xiàng)目實(shí)施的一年時(shí)間里，共計(jì)服務(wù)74690人次，其中跟蹤指導(dǎo)1529人，咨詢個(gè)案2378例，治療個(gè)案211例，困境家庭救助197戶，家庭宣傳活動(dòng)114次，勸和夫妻771對(duì)（見圖7），新婚咨詢輔導(dǎo)763對(duì)，小組活動(dòng)225節(jié)，社區(qū)活動(dòng)60次，沙龍活動(dòng)30次，講座18次，督導(dǎo)191次，培訓(xùn)84次，志愿服務(wù)11896人次，發(fā)放宣傳手冊(cè)24086本，機(jī)構(gòu)微信287篇，本地報(bào)紙報(bào)道139次，網(wǎng)站報(bào)道129次，各區(qū)縣圓滿完成各項(xiàng)指標(biāo)任務(wù)。

白麗筠原本在銀行打過一段工，不是正式員工，是外聘的，收入待遇都要比正式員工低一大截。她告訴我，他們銀行內(nèi)部對(duì)不同部門員工的稱呼很有意思。據(jù)她說，銀行內(nèi)部把前臺(tái)服務(wù)員叫做接客的。白麗筠就是接客的，不僅接客還要做一種推銷金銀幣的工作。做這個(gè)活的既有男服務(wù)生也有女服務(wù)生，不論男女都是既賣金幣也賣銀幣，但是她們私下里對(duì)賣金幣和賣銀幣是分開來叫的。她們管賣金銀幣的男服務(wù)生叫賣金的，管賣金銀幣的女服務(wù)生呢？賣銀幣的女服務(wù)生該叫什么？

本系統(tǒng)規(guī)劃主要從“業(yè)務(wù)引領(lǐng)技術(shù)、大交通多維度、大情報(bào)小行動(dòng)扁平勤務(wù)、系統(tǒng)級(jí)的精細(xì)管控、精準(zhǔn)實(shí)時(shí)信息服務(wù)”5個(gè)方面考慮.

葡萄不同于其他果蔬，呈穗狀生長(zhǎng)，由于種植模式的不斷優(yōu)化，葡萄果實(shí)垂直于地面呈單個(gè)串形生長(zhǎng)，果梗處被枝葉遮擋情況較少。提取葡萄顏色空間中的H分量，然后對(duì)其二值化[7],求出圖像的矩形框和葡萄質(zhì)心，因此萄果實(shí)采摘點(diǎn)的位置在葡萄果實(shí)區(qū)域的接矩形與重垂線的最高交點(diǎn)處，如圖3所示。

圖2 雙目相機(jī)標(biāo)定圖像

1.3.2 葡萄采摘點(diǎn)的確定

師生活動(dòng) 學(xué)生合作探究，教師引導(dǎo)學(xué)生用準(zhǔn)確的語言歸納猜想：在直角三角形中，當(dāng)銳角A的度數(shù)一定時(shí)，不管三角形的大小如何，它的對(duì)邊與鄰邊的比也是一個(gè)固定值.然后全班交流.

圖3 葡萄采摘點(diǎn)確定

對(duì)視差圖進(jìn)行目標(biāo)提取后得到目標(biāo)物體的一系列視差值，葡萄輪廓質(zhì)心和葡萄外接矩形框的交點(diǎn)偏上既是葡萄的采摘點(diǎn)，采摘點(diǎn)對(duì)應(yīng)的三維坐標(biāo)就是采摘點(diǎn)相關(guān)坐標(biāo)位置信息。對(duì)500～1 000 mm的葡萄圖像采集110張分為11組，每組10張，試驗(yàn)結(jié)果如表1所示。

圖4 葡萄的立體匹配

立體匹配是獲取目標(biāo)三維信息最重要、最關(guān)鍵的一步[8]。立體匹配是尋找實(shí)際場(chǎng)景中的點(diǎn)在兩幅圖像中的對(duì)應(yīng)點(diǎn)的過程，匹配的好壞決定了視差圖的質(zhì)量。匹配算法根據(jù)匹配方式的不同而分為兩大類:一類是區(qū)域匹配，區(qū)域匹配產(chǎn)生的稀疏矩陣不足以支撐稠密的點(diǎn)云信息，后期的重建效果不佳，另一類是特征點(diǎn)SIFT算法匹配，SIFT算法匹配圖像的局部特征，對(duì)旋轉(zhuǎn)、尺度縮放、亮度變化保持不變，對(duì)視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定性[9]。本文采用的是特征點(diǎn)的匹配，其結(jié)果如圖如4所示。

雙目相機(jī)內(nèi)外的參數(shù)標(biāo)定結(jié)果對(duì)三維坐標(biāo)計(jì)算至關(guān)重要，標(biāo)定的參數(shù)精度直接影響后期的深度信息，本文采用張正友平板標(biāo)定法進(jìn)行標(biāo)定。標(biāo)定板選用鋁合金材料的AFT-CT430高精度雙目視覺標(biāo)定板。標(biāo)定時(shí)將標(biāo)定板整體豎直置于視角范圍內(nèi)，將旋轉(zhuǎn)角度控制在20°左右，分別采用以原點(diǎn)順時(shí)針旋轉(zhuǎn)和以X軸和Y軸向左向右旋轉(zhuǎn),這樣共獲得18幅（左右相頭各9幅）圖像，圖2為右相頭所拍攝的相應(yīng)畫面。通過自動(dòng)檢測(cè)標(biāo)定板上每個(gè)圓點(diǎn)的圓心，校正標(biāo)定圖像并通過計(jì)算獲取左右攝像機(jī)內(nèi)外參數(shù)。

表1 葡萄識(shí)別定位結(jié)果

2 結(jié)果與分析

試驗(yàn)利用自己設(shè)計(jì)搭建的基于雙目立體視覺系統(tǒng)的葡萄識(shí)別定位試驗(yàn)臺(tái)對(duì)生長(zhǎng)在不同位置的葡萄進(jìn)行識(shí)別定位，根據(jù)葡萄的生長(zhǎng)位置，選擇測(cè)量范圍為500～1 000 mm每間隔50 mm進(jìn)行1組試驗(yàn)，1組拍攝10幅圖片，測(cè)量的葡萄數(shù)據(jù)如表1所示。通過統(tǒng)計(jì)110幅葡萄定位試驗(yàn)，最大誤差5.5 mm，最小誤差1.2 mm，平均誤差3.39 mm，誤差數(shù)據(jù)圖如圖4所示。

圖4 葡萄定位平均誤差

產(chǎn)生誤差的主要原因有：（1）雙目立體視覺像機(jī)標(biāo)定過程中產(chǎn)生的誤差，如標(biāo)定板精度、標(biāo)定次數(shù)較少；（2）實(shí)時(shí)性不高，當(dāng)光照強(qiáng)度變化時(shí)，有時(shí)特征點(diǎn)較少，對(duì)邊緣光滑的目標(biāo)無法準(zhǔn)確提取特征點(diǎn)；（3）激光測(cè)距儀測(cè)量時(shí)存在的誤差。

3 結(jié)論與展望

本文根據(jù)自己設(shè)計(jì)搭建可移動(dòng)的葡萄識(shí)別定位系統(tǒng)試驗(yàn)臺(tái)完成了葡萄定位試驗(yàn)；本次試驗(yàn)條件貼近果實(shí)采摘的實(shí)際作業(yè)條件，通過雙目立體相機(jī)的標(biāo)定，立體匹配，深度信息的獲?。辉囼?yàn)結(jié)果表明最大誤差5.5 mm，最小誤差1.2 mm，平均誤差3.39 mm，滿足葡萄采摘機(jī)器人自動(dòng)化采摘要求。

自然環(huán)境中，光照強(qiáng)度影響較大，果蔬釆摘機(jī)器人視覺系統(tǒng)加上光源將更有利于果實(shí)的識(shí)別和定位，考慮給葡萄采摘機(jī)器人視覺系統(tǒng)配備主動(dòng)光源來減小定位誤差。