基于視覺伺服的溫室番茄植株主莖跟蹤與測量方法

馮青春 王 秀 劉繼展 成 偉 陳 建

(1.中國農(nóng)業(yè)大學(xué)工學(xué)院， 北京 100083； 2.北京農(nóng)業(yè)智能裝備技術(shù)研究中心， 北京 100097；3.農(nóng)業(yè)智能裝備技術(shù)北京市重點實驗室， 北京 100097； 4.江蘇大學(xué)農(nóng)業(yè)裝備工程學(xué)院, 鎮(zhèn)江 212013)

0 引言

我國是鮮食番茄的生產(chǎn)和消費大國[1]。近年來，番茄種植管理人工成本不斷上漲，已達(dá)到總生產(chǎn)成本的35%以上[2]，其中，整枝打葉、授粉、采摘以及噴藥等勞動密集環(huán)節(jié)消耗整個生產(chǎn)周期人力投入的70%以上[2]。因此，研發(fā)代替或輔助人工作業(yè)的種植管理機器人[3-8]對于番茄種植產(chǎn)業(yè)可持續(xù)發(fā)展具有重要意義。作業(yè)對象的視覺信息獲取是支撐機器人作業(yè)的重要前提[9]。然而，番茄植株叢生交錯，作業(yè)對象(果、葉、花)沿主莖隨機生長、相互重疊遮擋，且植株行間空間狹窄，對其進(jìn)行大視場圖像采集處理存在成像物距小、冗余干擾多的問題。借鑒人工作業(yè)方式，跟蹤采集其不同區(qū)域的離散小視場圖像、沿植株主莖對不同作業(yè)對象進(jìn)行搜索是提高作業(yè)對象識別和定位效率的有效途徑。

對離散視場圖像配準(zhǔn)和拼接是獲取番茄主莖整體形態(tài)特征的必要途徑。目前，圖像配準(zhǔn)方法可分為圖像特征配準(zhǔn)和攝像機姿態(tài)配準(zhǔn)：圖像特征配準(zhǔn)通過提取角點[10-11]、輪廓線[12]和區(qū)域塊[13-15]等特征，基于幾何不變原理估計圖像之間的運動關(guān)系，該方法對圖像采集設(shè)備要求不高，但提取特征運算復(fù)雜、實時性差，多用于非實時圖像的融合應(yīng)用；攝像機姿態(tài)匹配通過實時獲取攝像機空間位姿參數(shù)[16-17]，基于透視成像原理解析不同視角下目標(biāo)形態(tài)的變換關(guān)系[18-19]，該方法數(shù)據(jù)融合精度高、實時性好，但是硬件結(jié)構(gòu)復(fù)雜、通用性差。鑒于番茄植株叢生無序、背景復(fù)雜多樣的特征，需要結(jié)合上述兩類方法對多視角不同區(qū)域圖像進(jìn)行融合，以滿足機器人作業(yè)視覺信息動態(tài)獲取需要。

本文面向工廠化番茄智能化管理需求，以作業(yè)區(qū)域植株圖像跟蹤采集為目的，研究基于雙目云臺攝像機的主莖離散區(qū)域圖像采集伺服控制方法，并通過融合多視角植株圖像特征，實現(xiàn)番茄主莖的圖像拼接與立體形態(tài)測量，從而為采摘、整枝、授粉等作業(yè)智能裝備的研發(fā)提供技術(shù)支撐。

1 多視角立體視覺系統(tǒng)設(shè)計

1.1 工廠化番茄種植環(huán)境

工廠化番茄種植環(huán)境如圖1所示，番茄種植行距約1 100 mm、株距300 mm。距地面高度600～1 500 mm的區(qū)域為番茄整枝、打葉、采摘等管理環(huán)節(jié)的作業(yè)區(qū)域。隨著植株不斷生長，通過釋放纏繞于主莖的吊線進(jìn)行落蔓，使得作業(yè)區(qū)域相對地面高度保持不變，因此本文以該高度區(qū)域內(nèi)的番茄植株為探測對象。智能管理作業(yè)平臺以植株行間軌道為支撐進(jìn)行移動，其視覺系統(tǒng)實時獲取兩側(cè)番茄植株圖像信息。

圖1 工廠化番茄種植環(huán)境Fig.1 Tomato factory-planted environment

1.2 雙目云臺圖像采集系統(tǒng)

圖2 雙目云臺視覺系統(tǒng)Fig.2 Binocular pan-tilt vision system1.雙目攝像機 2.垂直旋轉(zhuǎn)機構(gòu) 3.水平旋轉(zhuǎn)機構(gòu)

單株番茄管理作業(yè)區(qū)域?qū)?00 mm、高900 mm，且該區(qū)域番茄主莖呈傾斜姿態(tài)，為了避免大視場圖像冗余信息干擾，需通過拼接多個小視場圖像以覆蓋該條形作業(yè)區(qū)域。如圖2所示，圖像采集系統(tǒng)包括雙目攝像機和二自由度云臺機構(gòu)。鑒于番茄莖稈在近紅外波段具有強反射特征[20]，攝像機選用Basler公司acA1300-60gmNIR攝像機，并搭配1/3″ CCD、8 mm焦距鏡頭和(900±20)nm濾光片，距番茄植株900 mm位置，可獲得約寬450 mm、高400 mm視場區(qū)域圖像。云臺可進(jìn)行垂直和水平旋轉(zhuǎn)，以調(diào)整攝像機空間姿態(tài)從不同視角采集番茄植株不同區(qū)域的圖像。

1.3 視覺系統(tǒng)參數(shù)標(biāo)定

視覺系統(tǒng)參數(shù)包括攝像機自身透視成像參數(shù)和外部結(jié)構(gòu)參數(shù)，明確視覺系統(tǒng)參數(shù)是根據(jù)圖像二維數(shù)據(jù)獲取立體視覺信息的必要前提。本文略去雙目攝像機參數(shù)標(biāo)定過程[21]，重點描述雙目攝像機與旋轉(zhuǎn)云臺的坐標(biāo)轉(zhuǎn)換關(guān)系標(biāo)定。如圖2所示，雙目攝像機坐標(biāo)系OCXCYCZC原點OC位于左攝像機感光芯片中心，XC軸和YC軸分別與芯片水平和垂直中心線重合，ZC軸與鏡頭光心重合。云臺坐標(biāo)系OTXTYTZT中ZT軸為其水平旋轉(zhuǎn)軸，XT軸為其垂直旋轉(zhuǎn)軸，原點OT為兩軸交點。若云臺依次繞ZT軸和XT軸水平和垂直旋轉(zhuǎn)角分別為α和β，根據(jù)歐拉角旋轉(zhuǎn)矩陣[22]表示方法，坐標(biāo)系OTXTYTZT相對姿態(tài)變換矩陣可表示為

(1)

式中RB——旋轉(zhuǎn)矩陣

tB——平移向量

O——維度為3的零向量

(2)

(3)

(4)

將RB代入式(3)，可得tB，從而完成坐標(biāo)系OTXTYTZT和OCXCYCZC之間轉(zhuǎn)換矩陣T的標(biāo)定。

2 番茄主莖圖像跟蹤采集

2.1 圖像跟蹤采集原理

根據(jù)番茄主莖形態(tài)變化動態(tài)調(diào)整攝像機姿態(tài)，是番茄植株圖像跟蹤采集的基本原理。如圖3所示，攝像機視場內(nèi)主莖中心線上端、下端和中間點圖像坐標(biāo)分別為(utop,vtop)、(ubottom,vbottom)和(ucentor,vcentor)?？紤]到攝像機自下而上采集番茄植株圖像，且圖像邊緣畸變誤差較大，因此以(ucentor,vcentor)為跟蹤起始參考點、(ubottom,vbottom)為跟蹤目標(biāo)參考點。同一視場內(nèi)兩個參考點對應(yīng)的攝像機坐標(biāo)(xC,yC,zC)和(x′C,y′C,z′C)可由雙目攝像機測量得到。

攝像機由姿態(tài)i調(diào)整為i+1，主莖表面點P需從起始參考點移動至目標(biāo)參考點，即其圖像坐標(biāo)由(ucentor,vcentor)向下移動至(ubottom,vbottom)。鑒于在小視場區(qū)域內(nèi)植株主莖形態(tài)變化有限，可認(rèn)為在姿態(tài)i和i+1下，攝像機視場中圖像坐標(biāo)(ubottom,vbottom)對應(yīng)的攝像機坐標(biāo)近似為(x′C,y′C,z′C)。

圖3 多視角圖像跟蹤采集Fig.3 Multi-view image capturing

2.2 攝像機姿態(tài)伺服控制

攝像機姿態(tài)伺服控制根據(jù)參考點在攝像機坐標(biāo)系中的預(yù)期位置，控制云臺旋轉(zhuǎn)位移增量進(jìn)行視覺跟蹤。由式(2)可得，攝像機連續(xù)姿態(tài)下點P的當(dāng)前坐標(biāo)(xC,yC,zC)和預(yù)期坐標(biāo)(x′C,y′C,z′C)存在關(guān)系

(5)

(6)

將式(1)代入式(6)可得

(7)

3 番茄主莖拼接與測量

3.1 離散主莖圖像形態(tài)拼接

假定采集圖像過程中番茄植株保持靜止，則獲得的序列圖像中主莖的形態(tài)變化僅與攝像機的姿態(tài)調(diào)整有關(guān)。相鄰姿態(tài)所得圖像i和i+1存在高度為vcentor-vtop的重疊區(qū)域，因此根據(jù)重疊像素配準(zhǔn)約束可獲得不同視角下主莖的圖像形態(tài)變換關(guān)系。

如圖4所示，在圖像i中設(shè)定高、寬分別為h=|vcentor-vtop|和w=|utop-ucentor|的矩形模板域，分別以主莖上端點和中間點為對角點。同理，在圖像i+1中設(shè)定同樣大小的待匹配區(qū)域，以主莖下端點(ubottom,vbottom)為旋轉(zhuǎn)原點，以Δθ=10°為步長，依次旋轉(zhuǎn)獲得一系列候選區(qū)域。鑒于相鄰視場主莖相對旋轉(zhuǎn)角度為銳角，因此模板旋轉(zhuǎn)角θ范圍為-90°～90°。

圖4 相鄰視場主莖圖像匹配Fig.4 Adjacent view-field images matching

采用像素灰度差值絕對值和(SAD)表示模板區(qū)域和候選區(qū)域的相似度[25-26]，計算公式為

(8)

式中SAD——像素灰度差值絕對值和

A——匹配區(qū)域

M——A區(qū)域內(nèi)像素數(shù)量

g(i)——模板區(qū)域(u(i),v(i))的灰度

(9)

圖像旋轉(zhuǎn)變換后，使兩幅圖像的起始和目標(biāo)跟蹤參考點重合，即可實現(xiàn)主莖相鄰區(qū)域圖像形態(tài)拼接。

3.2 跟蹤參考點坐標(biāo)轉(zhuǎn)換

(10)

(11)

3.3 主莖立體形態(tài)參數(shù)測量

(12)

式中N——主莖不同區(qū)域的參考點總數(shù)

圖5 主莖立體形態(tài)測量Fig.5 Main-stem morphology measurement

(13)

式中 (k1,k2,k3)——主莖空間方向向量

令a=k1/k2、b=k2/k3，化簡式(13)可得

(14)

若參考點總數(shù)為N，則離散參考點與擬合直線偏差可表示為

(15)

根據(jù)最小二乘算法原理，由式(15)分別對a和b求偏導(dǎo)，并令其偏導(dǎo)為零，求解a和b

(16)

4 試驗與結(jié)果分析

4.1 試驗

為了驗證番茄主莖跟蹤測量方法的實際效果，在北京市昌平區(qū)特菜大觀園番茄溫室內(nèi)開展了現(xiàn)場試驗(圖6)。隨機選擇15株番茄植株，對距地面高600～1 500 mm的管理作業(yè)區(qū)域內(nèi)的主莖進(jìn)行測量。由于視覺系統(tǒng)的視場高度約400 mm，為了覆蓋作業(yè)區(qū)域的主莖高度，設(shè)定攝像機云臺由水平初始姿態(tài)自動調(diào)整兩次，對每株番茄跟蹤采集3幅圖像，并對此序列圖像中的主莖形態(tài)進(jìn)行拼接和測量。試驗過程中，采用Cognex VisonPro圖像處理軟件，將實時識別離散視場中的主莖像素區(qū)域作為跟蹤依據(jù)，以盡量避免主莖識別算法(本文未涉及)對試驗結(jié)果的影響。

圖6 現(xiàn)場試驗Fig.6 Field test

4.2 結(jié)果分析

圖7 主莖跟蹤和拼接偏差Fig.7 Main-stemsplicing deviation

表1 試驗結(jié)果Tab.1 Test results

圖8 人工與自動測量結(jié)果相關(guān)性Fig.8 Manual and auto measurement results correlation

主莖立體形態(tài)參數(shù)L、H和ω自動與人工測量值相關(guān)性統(tǒng)計如圖8所示。由于人工采用軟尺可精確貼合主莖，主莖長度的人工測量數(shù)據(jù)均大于視覺自動測量，二者決定系數(shù)為0.993 3(圖8a)，最大偏差148.00 mm(相對偏差8.95%)、最小偏差6.00 mm(相對偏差0.69%)、平均偏差46.20 mm(相對偏差3.94%)。主莖高度的人工測量結(jié)果與自動測量結(jié)果的決定系數(shù)為0.842 6(圖8b)，測量偏差最大為51.00 mm(相對偏差5.65%)、最小3.00 mm(相對偏差0.37%)、平均18.60 mm(相對偏差2.21%)。受重力作用番茄主莖多呈凹曲線形態(tài)，人工測量得到的生長傾角為其兩端連線的傾角，而自動測量得到多點擬合直線傾角，因此人工測量的生長傾角均大于自動測量，二者決定系數(shù)為0.979 3(圖8c)，角度偏差最大7.00°(相對偏差15.56%)、最小1.00°(相對偏差1.19%)、平均4.33°(相對偏差6.58%)。

圖9 測量偏差隨主莖生長傾角變化曲線Fig.9 Measurement deviations with various main-stem’s inclination

此外如圖9所示，對于作業(yè)區(qū)域內(nèi)生長傾角較大、直立程度較高的主莖，視覺系統(tǒng)具有較高的測量精度；反之，對于傾斜度較大的主莖測量結(jié)果與人工測量存在較大偏差。特別地，對于7號植株其相對地面生長傾角最小，對其形態(tài)測量和圖像拼接的偏差最大。原因在于，特定作業(yè)高度區(qū)域內(nèi)，主莖長度隨其生長傾斜程度變大而增加，其上下兩端與固定放置的攝像機之間的距離差異相應(yīng)增大。由于雙目攝像機對于遠(yuǎn)端目標(biāo)具有更大測量誤差，從而導(dǎo)致視覺系統(tǒng)對于傾斜程度較大的主莖測量誤差較大。盡管如此，對于廣泛應(yīng)用的吊線落蔓番茄栽培模式，通過精準(zhǔn)收放吊線長度，可有效提高番茄植株直立程度，以確保本文視覺系統(tǒng)獲得較高測量精度。

5 結(jié)束語

根據(jù)工廠化番茄智能化種植管理需求，構(gòu)建主莖圖像動態(tài)跟蹤采集系統(tǒng)，以提高作業(yè)對象視覺信息獲取效率。基于雙目云臺攝像機的植株主莖跟蹤與測量方法，可以實現(xiàn)其離散區(qū)域圖像的采集和拼接，并測量其可見區(qū)域的長度、高度和生長傾角等立體形態(tài)參數(shù)。試驗表明，在距地面高度600～1 500 mm作業(yè)區(qū)域內(nèi)，采用視覺系統(tǒng)對主莖離散參考點的跟蹤偏差最大值和平均值分別為25像素和21像素，對相鄰視場主莖圖像拼接偏差的最大值和平均值分別為8°和3.77°，對主莖長度、高度和生長傾角測量值與人工測量值的決定系數(shù)分別為0.993 3、0.842 6和0.979 3，平均測量偏差分別為46.20 mm、18.60 mm和4.33°，最大相對偏差分別為8.95%、5.65%和15.56%，并且對于直立程度高的植株具有更好的測量效果。本研究可為番茄智能化采摘、打葉和授粉等作業(yè)目標(biāo)視覺搜索提供參考。