基于雙目視覺(jué)的田間作物高度和收割邊界信息提取

魏新華 張 敏 劉青山 李 林

(江蘇大學(xué)江蘇省農(nóng)業(yè)裝備與智能化高技術(shù)研究重點(diǎn)實(shí)驗(yàn)室， 鎮(zhèn)江 212013)

0 引言

農(nóng)業(yè)機(jī)械無(wú)人駕駛可以減少勞動(dòng)力需求，提高作業(yè)精度和效率[1-2]，基于聯(lián)合收獲機(jī)的無(wú)人駕駛技術(shù)的研究尤為重要。傳統(tǒng)的聯(lián)合收獲機(jī)無(wú)人駕駛技術(shù)主要是基于衛(wèi)星導(dǎo)航信號(hào)實(shí)現(xiàn)車(chē)輛自主行走[3-4]。在收獲機(jī)作業(yè)時(shí)，需要實(shí)時(shí)監(jiān)測(cè)作物高度，為撥禾輪高度實(shí)時(shí)調(diào)控提供依據(jù)。當(dāng)無(wú)人收獲機(jī)處于田地邊緣作物邊界參差不齊、樹(shù)木遮擋無(wú)法接收衛(wèi)星信號(hào)以及衛(wèi)星信號(hào)短暫丟失等場(chǎng)景時(shí)，僅依靠衛(wèi)星導(dǎo)航不能有效作業(yè)，需要對(duì)收割邊界進(jìn)行實(shí)時(shí)監(jiān)測(cè)，實(shí)現(xiàn)輔助導(dǎo)航。

目前關(guān)于作物高度檢測(cè)的研究方法主要有視覺(jué)和傳統(tǒng)測(cè)距兩種。SRITARAPIPAT等[5]通過(guò)圖像處理分析稻田中固定標(biāo)記棒和水稻的相對(duì)高度，以獲取實(shí)際水稻高度。文獻(xiàn)[6-8]通過(guò)深度相機(jī)進(jìn)行作物高度信息提取。文獻(xiàn)[9-10]使用雙目立體相機(jī)的視差圖實(shí)現(xiàn)作物高度計(jì)算。此外，文獻(xiàn)[11-12]利用激光雷達(dá)測(cè)距系統(tǒng)進(jìn)行作物高度測(cè)量。以上測(cè)高方式或固定測(cè)量、或需要同時(shí)檢測(cè)作物的底點(diǎn)與頂點(diǎn)、或僅適用于有壟種植方式，均不適用于稻麥作物的實(shí)際收獲場(chǎng)景。

邊界檢測(cè)方法主要有視覺(jué)和激光兩種。文獻(xiàn)[13-16]通過(guò)圖像處理的方法進(jìn)行邊界提取，文獻(xiàn)[17-18]利用激光測(cè)距方法，根據(jù)收割邊界兩側(cè)高度差異來(lái)檢測(cè)邊界。以上視覺(jué)方法均基于單目相機(jī)，在谷物成熟度不同、背景對(duì)比度不同等多樣化的收獲場(chǎng)景下，算法缺乏穩(wěn)定適用性。激光雷達(dá)不適用于充滿(mǎn)灰塵和秸稈碎末的收獲場(chǎng)景，且在作物生長(zhǎng)稀疏的場(chǎng)景無(wú)法有效提取收割邊界線(xiàn)。

為滿(mǎn)足無(wú)人駕駛收獲機(jī)在動(dòng)態(tài)收割場(chǎng)景下對(duì)作物高度和收割邊界的實(shí)時(shí)檢測(cè)，本文提出一種基于雙目視覺(jué)的稻麥聯(lián)合收獲機(jī)田間作物高度和收割邊界的提取方法。利用雙目相機(jī)獲取被測(cè)物體的三維信息，將其轉(zhuǎn)換為實(shí)際高度，結(jié)合彩色圖像對(duì)作物高度進(jìn)行計(jì)算，同時(shí)根據(jù)實(shí)際高度數(shù)據(jù)檢測(cè)收割邊界，實(shí)現(xiàn)對(duì)田間作物高度和收割邊界的動(dòng)態(tài)提取。

1 高度數(shù)據(jù)獲取

1.1 數(shù)據(jù)采集

雙目視覺(jué)技術(shù)是將2個(gè)普通相機(jī)相距固定的間隔安裝，先進(jìn)行相機(jī)標(biāo)定獲得內(nèi)外參數(shù)，校正畸變圖像，然后對(duì)左右相機(jī)拍攝的2幅圖像進(jìn)行立體匹配，確定被測(cè)物體分別在2幅圖像上的位置，最后根據(jù)被測(cè)物體在2幅圖像上的位置差異和幾何關(guān)系，來(lái)計(jì)算其深度信息。本文使用ZED雙目相機(jī)，該相機(jī)可輸出左右2幅彩色圖像、深度圖、相機(jī)坐標(biāo)系下三維坐標(biāo)等。

數(shù)據(jù)采集系統(tǒng)包括計(jì)算機(jī)端、相機(jī)和IMU(慣性測(cè)量單元)，相機(jī)安裝在中聯(lián)重科PL60 4LZT-6.0ZE型稻麥聯(lián)合收獲機(jī)上，使用Inter i5處理器、運(yùn)行Visual Studio 2015軟件開(kāi)發(fā)工具，相機(jī)安裝位置和數(shù)據(jù)采集系統(tǒng)如圖1a所示。對(duì)水稻進(jìn)行收獲作業(yè)，過(guò)程中獲取左右2個(gè)相機(jī)分別拍攝的彩色圖像、左圖像素點(diǎn)對(duì)應(yīng)的左相機(jī)坐標(biāo)系下的三維相機(jī)坐標(biāo)，彩色圖像分辨率為1 280像素×720像素，圖1b、1c為一組數(shù)據(jù)示意圖。

圖1 數(shù)據(jù)采集系統(tǒng)和數(shù)據(jù)示意圖Fig.1 Data acquisition system and data diagram1.計(jì)算機(jī)端 2.相機(jī)+IMU

1.2 實(shí)際高度獲取

作物高度計(jì)算以及根據(jù)高度數(shù)據(jù)檢測(cè)收割邊界，需對(duì)三維相機(jī)坐標(biāo)進(jìn)行處理，獲得其對(duì)應(yīng)的實(shí)際高度。圖2為作業(yè)場(chǎng)景示意圖，(O,X,Y,Z)為左相機(jī)坐標(biāo)系，(x,y,z)為相機(jī)坐標(biāo)，h為點(diǎn)(x,y,z)實(shí)際高度。計(jì)算地面平面方程后，根據(jù)點(diǎn)到平面距離公式計(jì)算實(shí)際高度。

圖2 作業(yè)場(chǎng)景示意圖Fig.2 Schematic of operation scene1.相機(jī) 2.作物 3.地面所在平面

1.2.1初始平面標(biāo)定

為計(jì)算作業(yè)前的初始平面，在地面平坦且沒(méi)有作物的區(qū)域采集數(shù)據(jù)，獲取該場(chǎng)景三維相機(jī)坐標(biāo)。對(duì)三維數(shù)據(jù)進(jìn)行濾波處理，先進(jìn)行統(tǒng)計(jì)濾波，去除明顯離群點(diǎn)，以提高平面計(jì)算的準(zhǔn)確性；然后通過(guò)直通濾波選取地面感興趣區(qū)域，選取坐標(biāo)值屬于中間部分的數(shù)據(jù)，去掉處于邊緣及距離較遠(yuǎn)等精度相對(duì)較低的數(shù)據(jù)，同時(shí)去除收獲機(jī)割臺(tái)部分及周?chē)鸁o(wú)關(guān)環(huán)境。采用隨機(jī)抽樣一致算法(Random sample consensus， RANSAC)對(duì)濾波后的數(shù)據(jù)進(jìn)行平面擬合[19]，擬合結(jié)果視為初始平面，如圖3所示。

圖3 初始平面標(biāo)定示意圖Fig.3 Initial plane calibration diagram

1.2.2實(shí)時(shí)平面獲取

由于田間地面起伏不平并非理想平面，收獲機(jī)作業(yè)時(shí)車(chē)身會(huì)發(fā)生俯仰、橫滾以及地盤(pán)凹陷等情況，導(dǎo)致相機(jī)產(chǎn)生位姿變化，如果按照初始平面方程作為整個(gè)作業(yè)過(guò)程的基準(zhǔn)平面，會(huì)對(duì)后續(xù)作物信息的計(jì)算造成誤差。因此，使用WT901C型IMU獲取相機(jī)的位姿變化，對(duì)地面平面進(jìn)行實(shí)時(shí)校正，減少計(jì)算物體實(shí)際高度數(shù)據(jù)時(shí)產(chǎn)生的誤差。

安裝相機(jī)和IMU時(shí)，使兩者各軸方向一致，根據(jù)IMU狀態(tài)獲得相機(jī)坐標(biāo)系的變化。相機(jī)和IMU坐標(biāo)軸方向如圖4a所示，具體安裝方式如圖4b所示，相機(jī)靜置在一平面板上，相機(jī)底面與平面板貼合，調(diào)整IMU位置，使其頂面與相機(jī)背面貼合，同時(shí)側(cè)邊與平面板貼合，圖4c為安裝方式右視圖，此時(shí)相機(jī)與IMU各軸方向一致，將相機(jī)和IMU按照該狀態(tài)固定。

圖4 相機(jī)和IMU安裝示意圖Fig.4 Installation diagram of camera and IMU

IMU數(shù)據(jù)基于預(yù)積分與相機(jī)數(shù)據(jù)融合，第k、k+1幀圖像數(shù)據(jù)分別對(duì)應(yīng)第i、j時(shí)刻的IMU數(shù)據(jù)，對(duì)第i、j時(shí)刻之間測(cè)量的IMU數(shù)據(jù)進(jìn)行預(yù)積分，計(jì)算旋轉(zhuǎn)、速度和位移增量ΔRij、Δvij和Δpij。

(1)

式中 ΔRij——i時(shí)刻到j(luò)時(shí)刻的旋轉(zhuǎn)增量

Δvij——i時(shí)刻到j(luò)時(shí)刻的速度增量

Δpij——i時(shí)刻到j(luò)時(shí)刻的位移增量

ΔRin——i時(shí)刻到n時(shí)刻的旋轉(zhuǎn)增量

Δvin——i時(shí)刻到n時(shí)刻的速度增量

nαn、ngn——IMU噪聲

bαn、bgn——IMU零偏

Δt——IMU測(cè)量值時(shí)間間隔

結(jié)合預(yù)積分增量和前一幀圖像時(shí)刻對(duì)應(yīng)的IMU狀態(tài)，更新IMU狀態(tài)

(2)

式中Rk、vk、pk——k幀圖像對(duì)應(yīng)的IMU狀態(tài)

Rk+1、vk+1、pk+1——k+1幀圖像對(duì)應(yīng)的IMU狀態(tài)

gw——世界坐標(biāo)系下重力加速度

Δtij——圖像幀時(shí)間間隔

選取初始平面上3點(diǎn)，計(jì)算作業(yè)過(guò)程中IMU位姿變化后對(duì)應(yīng)的新坐標(biāo)，根據(jù)新坐標(biāo)計(jì)算此時(shí)作業(yè)的實(shí)時(shí)地面平面。相機(jī)坐標(biāo)值變換前后關(guān)系為

(3)

式中 (x,y,z)——初始狀態(tài)相機(jī)坐標(biāo)

(x′,y′,z′)——當(dāng)前狀態(tài)相機(jī)坐標(biāo)

R′——兩狀態(tài)之間的旋轉(zhuǎn)矩陣

p′——兩狀態(tài)之間的平移矩陣

O——零矩陣

R′和p′分別由IMU此刻旋轉(zhuǎn)狀態(tài)和平移狀態(tài)獲得。

1.2.3實(shí)際高度計(jì)算

被測(cè)物體的實(shí)際高度即為相機(jī)坐標(biāo)(x,y,z)到地面平面的距離，根據(jù)點(diǎn)到平面距離計(jì)算公式有

(4)

式中Ac、Bc、Cc、Dc——相機(jī)坐標(biāo)系下地面平面方程參數(shù)

其中，Acx+Bcy+Ccz+Dc=0為相機(jī)坐標(biāo)系下地面平面方程。

驗(yàn)證基于相機(jī)測(cè)高的精度，在3種不同場(chǎng)景下，對(duì)與相機(jī)相隔不同距離的物體進(jìn)行高度測(cè)量，每種場(chǎng)景測(cè)10組數(shù)據(jù)，與被測(cè)物體的實(shí)際高度比較，結(jié)果如表1所示，距離越遠(yuǎn)，誤差越大，平均絕對(duì)誤差為0.006 8 m。感興趣區(qū)域內(nèi)作物與相機(jī)距離小于5 m，本文測(cè)高方法滿(mǎn)足實(shí)際測(cè)高需求。由于地面和相機(jī)呈一定角度，相機(jī)坐標(biāo)轉(zhuǎn)換到高度數(shù)據(jù)時(shí)，相機(jī)深度測(cè)量帶來(lái)的誤差會(huì)一定程度上減小。

表1 相機(jī)測(cè)高精度Tab.1 Camera height measurement accuracy

將相機(jī)坐標(biāo)轉(zhuǎn)換為實(shí)際高度數(shù)據(jù)后，獲取和左彩色圖像像素點(diǎn)一一對(duì)應(yīng)的高度灰度圖，像素值代表實(shí)際高度，單位為m。選取最近待收割區(qū)域中干擾最少的區(qū)域作為感興趣區(qū)域，在此區(qū)域內(nèi)進(jìn)行作物信息計(jì)算，如圖5a紅色矩形框所示區(qū)域，圖5b為感興趣區(qū)域?qū)?yīng)的高度灰度圖，圖5c為感興趣區(qū)域高度三維示意圖。

圖5 獲取感興趣區(qū)域Fig.5 Obtaining region of interest

2 作物高度和收割邊界提取

2.1 作物高度提取

本文將感興趣區(qū)域分為：水稻上部、水稻中下部和已收割區(qū)域。水稻上部為作物高度計(jì)算的目標(biāo)區(qū)域，水稻中下部和已收割區(qū)域統(tǒng)稱(chēng)為背景。水稻上部高度大于背景高度，但是水稻上部和中下部之間存在高度的連續(xù)變化，兩者邊界處高度差值較小，因此僅依靠高度數(shù)據(jù)無(wú)法將其準(zhǔn)確區(qū)分。彩色圖像水稻上部與水稻中下部具有明顯邊界特征，但水稻收獲場(chǎng)景多樣化、作物成熟度不同等，難以找出統(tǒng)一的特征區(qū)分水稻上部和已收割區(qū)域。因此，本文提出一種融合高度數(shù)據(jù)和彩色圖像的方法計(jì)算水稻高度，圖6為水稻高度計(jì)算流程圖。

圖6 水稻高度計(jì)算流程圖Fig.6 Flow chart of rice height calculation

首先采取聚類(lèi)方法對(duì)高度數(shù)據(jù)進(jìn)行劃分，將高度平均值最大的類(lèi)作為水稻高度計(jì)算的候選區(qū)域；同時(shí)對(duì)彩色圖像進(jìn)行處理，將水稻上部目標(biāo)和中下部區(qū)分出來(lái)；然后融合兩者結(jié)果，得到水稻高度計(jì)算目標(biāo)區(qū)域，計(jì)算該區(qū)域內(nèi)高度數(shù)據(jù)均值，獲取水稻高度。

2.1.1高度數(shù)據(jù)聚類(lèi)

K均值算法應(yīng)用廣泛，計(jì)算速度快，但要隨機(jī)選取初始聚類(lèi)中心，聚類(lèi)個(gè)數(shù)需要預(yù)先指定，因此聚類(lèi)結(jié)果受初始值影響較大且不穩(wěn)定。密度峰聚類(lèi)算法(Density peaks clustering，DPC)是由RODRIGUEZ等[21]提出的算法，主要思想是結(jié)合密度及距離2種特征，選取聚類(lèi)中心進(jìn)行聚類(lèi)，但密度峰聚類(lèi)算法需要計(jì)算每個(gè)數(shù)據(jù)點(diǎn)和其余所有點(diǎn)的距離，不適合數(shù)據(jù)樣本大的場(chǎng)合，且需要人工根據(jù)決策圖選取聚類(lèi)中心，不適用實(shí)時(shí)處理的場(chǎng)景。針對(duì)以上2種算法優(yōu)缺點(diǎn)，本文提出一種基于改進(jìn)的結(jié)合密度峰聚類(lèi)和K均值聚類(lèi)的方法對(duì)高度數(shù)據(jù)聚類(lèi)。

改進(jìn)后的聚類(lèi)算法主要流程為：作出高度灰度圖的直方圖對(duì)應(yīng)的曲線(xiàn)，將曲線(xiàn)極大值點(diǎn)作為初始聚類(lèi)中心候選點(diǎn)，引入權(quán)值綜合描述初始聚類(lèi)中心候選點(diǎn)的密度和距離，規(guī)定權(quán)值判定準(zhǔn)則自適應(yīng)選取初始聚類(lèi)中心，將高度數(shù)據(jù)進(jìn)行區(qū)間劃分犧牲了一定精確性，改進(jìn)算法獲得的初始聚類(lèi)中心與密度峰聚類(lèi)算法結(jié)果會(huì)有較小差值，最后用K均值聚類(lèi)迭代計(jì)算達(dá)到最佳聚類(lèi)結(jié)果。

改進(jìn)算法具體步驟如下：

(1)將高度數(shù)據(jù)劃分到m個(gè)區(qū)間，作出直方圖，計(jì)算直方圖對(duì)應(yīng)的曲線(xiàn)f(x)的n個(gè)極大值點(diǎn)xi={x1,x2,…,xn}，圖7a為極大值示意圖，將極大值點(diǎn)當(dāng)作高局部密度候選點(diǎn)，即候選聚類(lèi)中心，對(duì)應(yīng)的極大值為密度ρi，即

圖7 聚類(lèi)過(guò)程參數(shù)Fig.7 Clustering process parameter diagram

ρi=f(xi) (i=1,2,…,n)

(5)

(2)計(jì)算極大值點(diǎn)xi的最小距離σi，遍歷所有極大值點(diǎn)，找到比極大值點(diǎn)xi密度大且與xi距離最小的極大值點(diǎn)xj，由于本文數(shù)據(jù)范圍較小，為減小密度過(guò)大的影響，xj與xi之間的距離乘以區(qū)間個(gè)數(shù)m進(jìn)行修正，σi為

σi=min(|xi-xj|m)
(ρj>ρi;i,j=1,2,…,n)

(6)

得到圖7b所示的決策圖。

(3)計(jì)算每個(gè)極值點(diǎn)的簇中心權(quán)值λi，定義為該點(diǎn)密度和距離的乘積，即

λi=ρiσi(i=1,2,…,n)

(7)

將所有簇中心權(quán)值降序排列，計(jì)算該點(diǎn)與后一點(diǎn)的差值，拐點(diǎn)定義為首次出現(xiàn)且差值小于閾值的點(diǎn),拐點(diǎn)之前的簇中心權(quán)值對(duì)應(yīng)的極大值點(diǎn)為初始聚類(lèi)中心。圖7b較大的3個(gè)圓點(diǎn)為自適應(yīng)選取的聚類(lèi)中心。

(4)確定初始聚類(lèi)中心和聚類(lèi)數(shù)目后，計(jì)算其余高度數(shù)據(jù)到各個(gè)聚類(lèi)中心的距離,并歸為最小距離所對(duì)應(yīng)的類(lèi)。

(5)其余的點(diǎn)遍歷完成并歸類(lèi)后，對(duì)每一類(lèi)計(jì)算均值,作為該類(lèi)的新聚類(lèi)中心,并重復(fù)步驟(4)，直至聚類(lèi)中心變化小于設(shè)定閾值。

根據(jù)以上步驟對(duì)圖5b的高度數(shù)據(jù)聚類(lèi)，得到圖8a所示的聚類(lèi)結(jié)果，由圖8a看出，該樣本被分為3類(lèi)：①包含大部分水稻上部的數(shù)據(jù)。②包含水稻中下部和小部分水稻上部的數(shù)據(jù)。③已收割區(qū)域數(shù)據(jù)。且水稻上部類(lèi)均值最大，中下部次之，未收割最小。將均值最大的類(lèi)作為計(jì)算水稻高度的候選區(qū)域，即包含大部分水稻上部數(shù)據(jù)的類(lèi)，如圖8b所示。

圖8 聚類(lèi)結(jié)果Fig.8 Clustered result graph

基于本文改進(jìn)算法和基于密度峰聚類(lèi)算法選取的初始聚類(lèi)中心值平均差值為0.010 3 m，占數(shù)據(jù)總范圍的0.96%，表明本文改進(jìn)算法計(jì)算的初始聚類(lèi)中心具有較好密度表達(dá)能力。在當(dāng)前數(shù)據(jù)集下，密度峰聚類(lèi)算法僅計(jì)算所有點(diǎn)兩兩之間距離，耗時(shí)大于5 min，且不包括密度計(jì)算等操作，改進(jìn)之后得到聚類(lèi)中心候選點(diǎn)的平均時(shí)間0.131 0 s，整個(gè)聚類(lèi)過(guò)程平均時(shí)間0.701 4 s。K均值迭代次數(shù)，在隨機(jī)產(chǎn)生聚類(lèi)中心時(shí)迭代次數(shù)平均為18.4次，改進(jìn)后平均為2.5次。改進(jìn)后的聚類(lèi)算法不僅有效自適應(yīng)找到較為準(zhǔn)確的初始聚類(lèi)中心，且大大縮短了運(yùn)行時(shí)間。

2.1.2基于彩色圖像的水稻目標(biāo)提取

水稻上部和中下部由于受到光照強(qiáng)度不同，亮度會(huì)有明顯差距，而且兩者顏色也有明顯差異，水稻上部顏色偏黃，中下部偏綠。對(duì)同時(shí)包含亮度和顏色信息的R、G、B分量進(jìn)行歸一化，由RGB顏色空間轉(zhuǎn)換到rgb顏色空間，歸一化后的顏色特征因子r、g、b分別為

(8)

圖9a為圖5a中感興趣區(qū)域歸一化的結(jié)果。從圖9a可以看到，未收割區(qū)域中歸一化圖像的水稻上部目標(biāo)區(qū)域比原圖更顯著。對(duì)歸一化后的圖像進(jìn)行灰度化，利用最大類(lèi)間方差法自適應(yīng)獲取閾值進(jìn)行圖像分割，得到二值化結(jié)果，如圖9b所示。圖中白色區(qū)域?yàn)槟繕?biāo)區(qū)域，包括水稻上部區(qū)域，以及已收割區(qū)域中的部分區(qū)域。

圖9 彩色圖像目標(biāo)提取結(jié)果Fig.9 Diagram of color image target extraction results

2.1.3作物高度計(jì)算

將高度聚類(lèi)結(jié)果中均值最大的類(lèi)作為水稻高度計(jì)算候選區(qū)域，把該區(qū)域反映到圖像對(duì)應(yīng)位置。候選區(qū)域和彩色圖像處理結(jié)果中的目標(biāo)區(qū)域進(jìn)行與運(yùn)算,得到共同目標(biāo)區(qū)域，即圖10白色區(qū)域。該區(qū)域內(nèi)的高度數(shù)據(jù)集為Rh，對(duì)屬于Rh的高度數(shù)據(jù)h計(jì)算均值，獲取水稻高度

圖10 水稻高度計(jì)算區(qū)域示意圖Fig.10 Diagram of calculated rice height area

(9)

式中s——Rh集合內(nèi)數(shù)據(jù)個(gè)數(shù)

2.2 收割邊界提取

互相關(guān)函數(shù)在信號(hào)分析中表示2個(gè)信號(hào)之間的相關(guān)程度，互相關(guān)系數(shù)越大，表明相關(guān)程度越高，描述2個(gè)不同信號(hào)的相關(guān)性時(shí)，既適用于隨機(jī)信號(hào)，也適用于確知信號(hào)。圖11曲線(xiàn)為高度灰度圖中一行的高度數(shù)據(jù)，已收割區(qū)域和未收割區(qū)域存在著明顯高度差異，呈現(xiàn)變形階躍函數(shù)的特征。基于這一數(shù)據(jù)分布特點(diǎn)，建立模型函數(shù)，根據(jù)灰度圖中行高度數(shù)據(jù)序列和模型函數(shù)之間的互相關(guān)性提取收割邊界點(diǎn)。

圖11 圖像和高度對(duì)照Fig.11 RGB image and height comparison chart

模型函數(shù)q(t)定義為

(10)

利用模型函數(shù)從左至右檢測(cè)行高度序列得到收割邊界點(diǎn)，計(jì)算每一時(shí)刻高度數(shù)據(jù)序列與模型函數(shù)的互相關(guān)系數(shù)，互相關(guān)系數(shù)最大值對(duì)應(yīng)的時(shí)刻dmax為收割邊界點(diǎn)對(duì)應(yīng)的位置。在d時(shí)刻兩者互相關(guān)系數(shù)定義為[22-23]

(11)

式中rhq(d)——模型函數(shù)d時(shí)刻的互相關(guān)系數(shù)

h(t)——高度數(shù)據(jù)序列

mh——高度數(shù)據(jù)序列平均值

mq——模型函數(shù)平均值

N——高度數(shù)據(jù)序列的數(shù)據(jù)個(gè)數(shù)

為保證準(zhǔn)確度的同時(shí)提高計(jì)算速度，對(duì)高度灰度圖每10行進(jìn)行一次邊界點(diǎn)提取。利用最小二乘法對(duì)邊界點(diǎn)進(jìn)行直線(xiàn)擬合，得到收割邊界直線(xiàn)。邊界點(diǎn)和擬合直線(xiàn)結(jié)果在高度灰度圖中位置如圖12a所示，結(jié)果顯示邊界點(diǎn)可被準(zhǔn)確識(shí)別,最下面的邊界點(diǎn)附近作物輕微向內(nèi)傾斜，使提取的邊界點(diǎn)偏左，利用最小二乘法進(jìn)行擬合時(shí)減小了該點(diǎn)影響。圖12b為彩色圖中邊界點(diǎn)和邊界線(xiàn)對(duì)應(yīng)位置，圖12c為三維高度圖中邊界位置示意圖，為方便顯示，邊界線(xiàn)高度取為0.8 m。

圖12 收割邊界提取結(jié)果Fig.12 Cut-edge extraction result

2個(gè)相鄰場(chǎng)景收割邊界線(xiàn)的斜率和邊界點(diǎn)位置變化不會(huì)太大，所以可根據(jù)當(dāng)前邊界線(xiàn)對(duì)下一幀數(shù)據(jù)邊界點(diǎn)候選區(qū)域進(jìn)行預(yù)測(cè)。收獲機(jī)正常作業(yè)時(shí)，位置連續(xù)調(diào)整的左右范圍在15 cm以?xún)?nèi)，由相機(jī)坐標(biāo)獲知15 cm對(duì)應(yīng)感興趣區(qū)域底部圖像行的平均寬度為22像素，因此規(guī)定50像素為邊界點(diǎn)候選區(qū)域?qū)挾?。在下一幀邊界檢測(cè)時(shí)，以當(dāng)前邊界線(xiàn)上的點(diǎn)為中心，邊界點(diǎn)候選區(qū)域?yàn)?0像素，在候選區(qū)域內(nèi)從左至右進(jìn)行邊界點(diǎn)檢測(cè)。

計(jì)算收割邊界的目的主要是提供導(dǎo)航依據(jù)，因此要根據(jù)擬合的邊界直線(xiàn)計(jì)算航向偏差和橫向偏差。航向偏差為邊界直線(xiàn)和收獲機(jī)行駛方向所在直線(xiàn)的夾角。相機(jī)安裝于收獲機(jī)正前方，其距離地面高度3.00 m，收獲機(jī)割臺(tái)寬2.10 m，相機(jī)支架位于中間偏左0.45 m位置。因此相機(jī)坐標(biāo)系的Z軸正軸方向指向收獲機(jī)前進(jìn)方向，如圖13a所示，將Z軸所在直線(xiàn)L0投影到地面平面得到直線(xiàn)L′0，直線(xiàn)L′0表示收獲機(jī)行駛方向所在直線(xiàn)。收割邊界直線(xiàn)方程為L(zhǎng)1，L1投影到地面平面得到直線(xiàn)L′1，L′0和L′1同在地面平面，L′0和L′1的夾角為航向偏差。L′1相對(duì)于L′0左偏定義為正，右偏定義為負(fù)，以此區(qū)分邊界線(xiàn)方向。

橫向偏差定義為割臺(tái)右側(cè)與收割邊界點(diǎn)之間的距離。相機(jī)坐標(biāo)系的X軸與收獲機(jī)前進(jìn)方向垂直，原點(diǎn)為左相機(jī)中心。如圖13b中黑色直線(xiàn)為X=0所在直線(xiàn)，X=0所在直線(xiàn)、收割邊界直線(xiàn)和感興趣區(qū)域底端的交點(diǎn)分別為P0、P1，P0、P1對(duì)應(yīng)X軸坐標(biāo)值分別為X0、X1，且X0=0。左相機(jī)距相機(jī)中心0.06 m，根據(jù)割臺(tái)寬度和相機(jī)安裝位置，則左相機(jī)中心距離割臺(tái)右側(cè)邊緣0.66 m，割臺(tái)右側(cè)X軸坐標(biāo)值為X2，即X2=0.66 m，則橫向偏差為X2-X1。

圖13 航向偏差和橫向偏差示意圖Fig.13 Diagrams of course deviation and lateral deviation

3 結(jié)果分析

3.1 作物高度

在鎮(zhèn)江市大港新區(qū)進(jìn)行現(xiàn)場(chǎng)實(shí)驗(yàn)，對(duì)成熟期的南粳9108品種水稻進(jìn)行收獲，靜態(tài)場(chǎng)景采集10個(gè)樣本，每個(gè)樣本用卷尺測(cè)量20組水稻高度數(shù)據(jù)，測(cè)量高度為地面到穗最高點(diǎn)或葉片最高點(diǎn)的距離。實(shí)際高度為20組高度數(shù)據(jù)去掉最大值和最小值的平均值，將采集的樣本實(shí)際高度和計(jì)算高度進(jìn)行比較，結(jié)果見(jiàn)表2。

從表2可以得出，高度計(jì)算平均絕對(duì)誤差為0.043 m，標(biāo)準(zhǔn)差為0.020 m。實(shí)際田中水稻的頂部并不是一個(gè)理想的平整面，而是分布在一定高度范圍內(nèi)，所以計(jì)算的水稻高度平均誤差小于5 cm，滿(mǎn)足測(cè)量需求。由于作物高度計(jì)算時(shí)對(duì)目標(biāo)區(qū)域的整穗和整個(gè)葉片上部進(jìn)行處理，而實(shí)際測(cè)量穗最高點(diǎn)或葉片最高點(diǎn)，因此計(jì)算結(jié)果普遍比測(cè)量的高度低。田間地面凹凸不平，水稻底點(diǎn)的測(cè)量高度不同，也會(huì)造成誤差。本文作物高度提取算法平均每幀耗時(shí)0.823 s，收獲機(jī)作業(yè)速度約1 m/s，感興趣區(qū)域包含前方2 m范圍內(nèi)作物，每秒視頻數(shù)據(jù)取一幀數(shù)據(jù)進(jìn)行處理，可應(yīng)用于實(shí)時(shí)場(chǎng)景。

表2 高度結(jié)果比較Tab.2 Height results comparison m

3.2 收割邊界

為驗(yàn)證本文收割邊界提取算法在不同場(chǎng)景下的適用性，采集多種場(chǎng)景的樣本進(jìn)行分析，包括常規(guī)、作物生長(zhǎng)稀疏、邊緣作物向外傾斜、作物部分存在漏播、作物被施藥機(jī)車(chē)輪壓過(guò)和倒伏等。圖14為不同場(chǎng)景下邊界檢測(cè)結(jié)果, 邊界均被有效識(shí)別。未收割作物內(nèi)部出現(xiàn)多種干擾情況，割茬呈現(xiàn)不同顏色和紋理，收割區(qū)域和未收割區(qū)域?qū)Ρ瘸潭炔煌?，表明該方法適應(yīng)性較高，其中對(duì)倒伏場(chǎng)景的邊界檢測(cè)僅適用于靠近邊界的作物并未完全倒伏的情況。

圖14 不同場(chǎng)景收割邊界檢測(cè)結(jié)果 Fig.14 Cut-edge detection results in different scenes

對(duì)本文算法計(jì)算的航向偏差和橫向偏差進(jìn)行驗(yàn)證。人工標(biāo)記的邊界線(xiàn)作為參考邊界線(xiàn)，計(jì)算本文算法與參考邊界線(xiàn)之間的夾角，該夾角為航向偏差的誤差。卷尺測(cè)量收獲機(jī)割臺(tái)右端到其最近的邊界點(diǎn)的距離，作為實(shí)際橫向偏差。表3為航向偏差和橫向偏差結(jié)果比較。

表3 偏差結(jié)果比較Tab.3 Deviation results comparison

由表3可得，航向偏差平均誤差為1.04°，實(shí)際和計(jì)算的橫向偏差之間的平均絕對(duì)誤差為0.084 m，表明本文邊界識(shí)別較為精確。邊界線(xiàn)與感興趣區(qū)域底部交點(diǎn)和實(shí)際割臺(tái)右側(cè)最近的邊界點(diǎn)兩者存在一定偏差，以及人工測(cè)量誤差等都會(huì)造成橫向偏差計(jì)算的誤差。作物邊界若超過(guò)割臺(tái)右端發(fā)生漏割，此時(shí)橫向偏差小于0，反之則大于0。其中檢測(cè)到圖14b、14c橫向偏差小于0，判為發(fā)生漏割，圖14e橫向偏差較大，表明收割范圍較小。對(duì)整個(gè)高度數(shù)據(jù)序列進(jìn)行計(jì)算，平均每幀耗時(shí)0.802 s，預(yù)測(cè)候選區(qū)域后，平均每幀運(yùn)行時(shí)間為0.124 s，提高了運(yùn)行速度，適用于實(shí)時(shí)的收割場(chǎng)景。對(duì)采集的600幀數(shù)據(jù)進(jìn)行邊界提取計(jì)算，邊界識(shí)別正確率為93.30%，表明本文收割邊界提取算法有較高的準(zhǔn)確性。

4 結(jié)論

(1)利用雙目視覺(jué)實(shí)現(xiàn)作物高度和收割邊界信息的動(dòng)態(tài)提取，作物高度提取平均誤差為0.043 m，邊界識(shí)別正確率達(dá)93.30%，航向偏差平均誤差為1.04°，橫向偏差平均絕對(duì)誤差為0.084 m，可以為聯(lián)合收獲機(jī)實(shí)時(shí)自適應(yīng)調(diào)控提供依據(jù)。

(2)基于本文改進(jìn)算法對(duì)高度數(shù)據(jù)分類(lèi)，可以自適應(yīng)選取聚類(lèi)中心，且提高了運(yùn)行速度。結(jié)合彩色圖像提高了作物高度計(jì)算的準(zhǔn)確性。

(3)計(jì)算高度數(shù)據(jù)序列和模型函數(shù)的互相關(guān)系數(shù)來(lái)獲取收割邊界點(diǎn)，根據(jù)前一圖像邊界結(jié)果界定后一圖像邊界點(diǎn)候選區(qū)域，提高了運(yùn)行速度。