Kinect傳感器的植株冠層三維數(shù)據(jù)測(cè)量

劉慧，徐慧，沈躍，李寧

（江蘇大學(xué)電氣信息工程學(xué)院，江蘇 鎮(zhèn)江212013）

Kinect傳感器的植株冠層三維數(shù)據(jù)測(cè)量

劉慧，徐慧，沈躍，李寧

（江蘇大學(xué)電氣信息工程學(xué)院，江蘇 鎮(zhèn)江212013）

植株三維信息重構(gòu)能為植株生長(zhǎng)狀態(tài)監(jiān)測(cè)和精確噴霧施藥提供有效數(shù)據(jù)。提出一種基于Kinect傳感器技術(shù)的植株冠層三維數(shù)據(jù)測(cè)量的方法。由Kinect傳感器進(jìn)行植株彩色和深度圖像數(shù)據(jù)的采集，提取和處理所采集的植株冠層目標(biāo)有效三維信息，完成對(duì)植株深度數(shù)值和水平投影面積的計(jì)算。以規(guī)則形狀物體與不規(guī)則植株為實(shí)驗(yàn)對(duì)象，對(duì)三維數(shù)據(jù)測(cè)量方法進(jìn)行準(zhǔn)確性實(shí)驗(yàn)測(cè)試，并將實(shí)驗(yàn)結(jié)果與人工測(cè)量結(jié)果進(jìn)行比對(duì)。實(shí)驗(yàn)結(jié)果顯示，該方法的深度和面積測(cè)量的準(zhǔn)確性較高，深度測(cè)量誤差小于1.0%，面積測(cè)量誤差小于3.6%。選取溫室吊蘭作為場(chǎng)地實(shí)驗(yàn)對(duì)象，采用由測(cè)量機(jī)構(gòu)和控制處理機(jī)構(gòu)組成的冠層三維檢測(cè)系統(tǒng)對(duì)吊蘭冠層進(jìn)行三維數(shù)據(jù)測(cè)量，并實(shí)時(shí)輸出深度以及水平投影面積信息，其深度測(cè)量的相對(duì)誤差為1.77%。研究表明，該方法具有較高的可行性，適用于溫室植株冠層三維數(shù)據(jù)測(cè)量。

Kinect傳感器；植株深度；冠層結(jié)構(gòu)；水平投影面積；三維數(shù)據(jù)

劉慧， 徐慧， 沈躍， 李寧. Kinect傳感器的植株冠層三維數(shù)據(jù)測(cè)量［J］. 農(nóng)業(yè)現(xiàn)代化研究， 2016， 37（5）: 995-1000.

Liu H， Xu H， Shen Y， Li N. Measurement and 3D-reconstruction of plants based on Kinect sensor［J］. Research of Agricultural Modernization， 2016， 37（5）: 995-1000.

基于圖像的植株三維重構(gòu)是指利用機(jī)器視覺(jué)原理通過(guò)相機(jī)獲取圖像對(duì)農(nóng)作物的三維重構(gòu)方法［1］，主要應(yīng)用于農(nóng)作物植株生長(zhǎng)狀態(tài)的實(shí)時(shí)監(jiān)測(cè)、藥物肥料的精確噴灑以及病蟲害的及時(shí)防治等研究領(lǐng)域。由于該方法能夠快速有效的對(duì)目標(biāo)物體進(jìn)行三維重構(gòu)，在計(jì)算機(jī)等相關(guān)科學(xué)領(lǐng)域引起廣泛關(guān)注，成為一大研究熱點(diǎn)［2］。

基于圖像的作物三維重構(gòu)主要分為兩類：基于雙目或多目視覺(jué)測(cè)距方法［3］的作物三維重構(gòu)和基于深度攝像機(jī)測(cè)距方法［4］的作物三維重構(gòu)。國(guó)內(nèi)外學(xué)者對(duì)其在農(nóng)作物果實(shí)識(shí)別以及植株的三維重構(gòu)等進(jìn)行了深入研究，Hayashi等［5］設(shè)計(jì)的草莓采摘機(jī)器人視覺(jué)系統(tǒng)，通過(guò)兩邊的兩個(gè)攝像機(jī)和中間的攝像機(jī)確定果柄的位置，對(duì)草莓果實(shí)進(jìn)行三維重構(gòu)。王傳宇等［6］利用兩個(gè)位置相對(duì)固定的攝像機(jī)組成雙目立體視覺(jué)系統(tǒng)，對(duì)室內(nèi)的玉米葉片結(jié)構(gòu)進(jìn)行了準(zhǔn)確的三維重構(gòu)。宋健等［7］通過(guò)單攝像機(jī)在距離一定的位置獲得不同角度的圖像，由圖像特征的差值實(shí)現(xiàn)對(duì)茄子果實(shí)的三維重構(gòu)。Chéné等［8］提出了一種植物深度圖像葉子的分割算法，該算法通過(guò)低成本的深度攝像機(jī)對(duì)多種植物冠層的深度圖像進(jìn)行拍攝，并對(duì)植物冠層進(jìn)行了三維重構(gòu)。周薇等［9］采用一個(gè)彩色相機(jī)和一個(gè)深度相機(jī)對(duì)目標(biāo)物進(jìn)行圖像的獲取，提出了一種利用深度攝像機(jī)對(duì)果樹的冠層三維重構(gòu)的配準(zhǔn)算法。但這類方法采用單一的或分離式的彩色相機(jī)和深度相機(jī)進(jìn)行目標(biāo)的圖像采集處理，同時(shí)對(duì)于形狀不規(guī)則、復(fù)雜顏色干擾下的植株作物冠層無(wú)法進(jìn)行有效地測(cè)量。

目前，Kinect作為一種同時(shí)具有彩色攝像頭和深度攝像頭的傳感器，主要集中應(yīng)用于體感游戲、教育、醫(yī)學(xué)等［10-14］領(lǐng)域，Kinect傳感器在溫室植株三維重構(gòu)與測(cè)量中的應(yīng)用還鮮見(jiàn)報(bào)道。本文以溫室吊蘭為場(chǎng)地實(shí)驗(yàn)研究對(duì)象，提出了一種基于Kinect傳感器技術(shù)的植株冠層三維數(shù)據(jù)測(cè)量方法，由Kinect對(duì)植株進(jìn)行彩色和深度圖像數(shù)據(jù)的采集，提取和處理所采集的植株目標(biāo)有效三維信息，對(duì)其進(jìn)行冠層深度和水平投影面積的計(jì)算，完成植株冠層三維數(shù)據(jù)的檢測(cè)。

1　原理與方法

Kinect傳感器是微軟發(fā)布的XBOX360體感周邊外設(shè)，攝像頭部分由紅外投影機(jī)和一組彩色攝像頭、深度攝像頭光學(xué)部件組成（圖1）［15］。

圖1　Kinect結(jié)構(gòu)示意圖Fig. 1 Structure schematic drawing of Kinect

1.1Kinect原理

Kinect傳感器通過(guò)彩色攝像頭獲取空間的彩色圖像，同時(shí)由紅外投影機(jī)向空間發(fā)射紅外線，根據(jù)結(jié)構(gòu)光技術(shù)［16］通過(guò)紅外攝像頭即深度攝像頭，捕捉空間物體的深度數(shù)據(jù)并生成深度圖像。

Kinect深度圖像獲取速度默認(rèn)為30 FPS （Frames Per Second），每一幀深度圖像中每個(gè)像素點(diǎn)存儲(chǔ)的數(shù)值為深度值，即為目標(biāo)物體與Kinect攝像頭之間的平面距離，通過(guò)這些深度數(shù)據(jù)輔以計(jì)算處理構(gòu)建空間中物體的三維模型。其縱向的視野角度為43°，橫向?yàn)?7°，深度探測(cè)的最佳范圍為1 m左右，在農(nóng)作物檢測(cè)應(yīng)用方面，為了更好的獲取植株的枝葉細(xì)節(jié)特征，一般選取0.9-1.5 m的距離進(jìn)行農(nóng)作物的檢測(cè)，理想條件下使用，深度數(shù)據(jù)的精度可達(dá)毫米級(jí)［17］。

1.2目標(biāo)深度數(shù)據(jù)獲取

圖2　深度數(shù)據(jù)獲取步驟Fig. 2 Process of depth data acquisition

由Kinect深度攝像頭獲取原始深度圖像，所存儲(chǔ)的數(shù)據(jù)為空間中所有物體的深度數(shù)據(jù)，在實(shí)際的植株冠層三維數(shù)據(jù)測(cè)量的應(yīng)用中，需要去除其他非植株雜物的干擾，僅獲取目標(biāo)植株的深度數(shù)據(jù)。本文的目標(biāo)深度數(shù)據(jù)獲取步驟見(jiàn)圖2，首先通過(guò)彩色圖像和深度圖像匹配的方法去除顏色和深度雜物的干擾，得到目標(biāo)植株的圖像，由該圖像像素提取獲得目標(biāo)的像素點(diǎn)坐標(biāo)，通過(guò)遍歷深度圖像像素點(diǎn)坐標(biāo)的方法，將對(duì)應(yīng)的像素點(diǎn)深度數(shù)據(jù)提取出來(lái)形成深度數(shù)據(jù)集，并進(jìn)行計(jì)算得到目標(biāo)的實(shí)際深度數(shù)值。

用平均數(shù)、中位數(shù)和眾數(shù)3種統(tǒng)計(jì)方法進(jìn)行計(jì)算，并與實(shí)際測(cè)量所得數(shù)據(jù)比較。選取背景墻面上20 cm × 20 cm綠色方塊區(qū)域?yàn)闄z測(cè)目標(biāo)，區(qū)域厚度可忽略不計(jì)，依據(jù)傳感器有效使用范圍參數(shù)，設(shè)置Kinect與墻面深度距離分別為0.9 m、1.0 m、1.1 m、1.2 m、1.3 m、1.4 m，進(jìn)行6次重復(fù)實(shí)驗(yàn)，獲取綠色方塊區(qū)域的深度數(shù)據(jù)（表1）。

在相同的測(cè)量環(huán)境中，分別對(duì)同一深度數(shù)據(jù)集進(jìn)行3種方法的計(jì)算，實(shí)驗(yàn)結(jié)果顯示，選用平均數(shù)進(jìn)行計(jì)算的深度值與參考值最為接近，可達(dá)到最優(yōu)的處理效果。

表1　多種計(jì)算方法與深度數(shù)據(jù)值Table 1 Depth data to different calculation methods

1.3目標(biāo)水平投影面積計(jì)算

Kinect紅外攝像機(jī)的視場(chǎng)呈金字塔形（圖3），根據(jù)射影幾何［18-19］的性質(zhì)，物體在彩色和深度圖像中的幾何投影面積并不是物體的實(shí)際水平投影面積，根據(jù)所得的深度值由三角關(guān)系對(duì)物體的實(shí)際水平投影面積進(jìn)行計(jì)算。

圖3　Kinect紅外攝像機(jī)的視場(chǎng)Fig. 3 Field view of Kinect infrared camera

以規(guī)則的表面為例，其檢測(cè)的深度值h與實(shí)際面積s的關(guān)系為：式中：a、b、h、s分別為目標(biāo)檢測(cè)區(qū)域的實(shí)際長(zhǎng)、寬、深度值和面積，a1、b1、h1、s1為其幾何投影區(qū)域的長(zhǎng)、寬、深度值和面積。可得檢測(cè)區(qū)域的實(shí)際面積s的計(jì)算公式為：

由目標(biāo)深度數(shù)據(jù)獲取的方法，可計(jì)算得檢測(cè)區(qū)域?qū)嶋H深度值h，幾何投影區(qū)域的深度值h1由Kinect初始的深度圖像獲取，同時(shí)計(jì)算得初始圖像的實(shí)際面積，幾何投影面積s1則選擇由幾何投影面像素點(diǎn)占總像素點(diǎn)的百分比，通過(guò)初始圖像的實(shí)際面積計(jì)算得到。

計(jì)算過(guò)程中，物體的實(shí)際水平投影面積與其形狀無(wú)關(guān)，只與其深度值、像素點(diǎn)的百分比以及幾何投影面積有關(guān)，因此公式同樣適用于不規(guī)則物體的水平投影面積的計(jì)算。

2　實(shí)驗(yàn)與數(shù)據(jù)

為檢測(cè)本文提出的基于Kinect傳感器技術(shù)的植株冠層三維數(shù)據(jù)測(cè)量方法的準(zhǔn)確性，選用微軟公司發(fā)布的“Kinect for Windows”版本的Kinect設(shè)備，分別以規(guī)則的綠色長(zhǎng)方體和綠色盆栽植株進(jìn)行實(shí)驗(yàn)，并用Matlab軟件中的mesh函數(shù)對(duì)空間矩陣中的深度數(shù)據(jù)進(jìn)行三維色圖重構(gòu)，同時(shí)自定義Colorbar函數(shù)設(shè)置漸變色彩對(duì)不同深度的信息進(jìn)行標(biāo)識(shí)，對(duì)綠色盆栽植株進(jìn)行冠層的三維重構(gòu)。

2.1規(guī)則物體測(cè)量

規(guī)則物體選取綠色長(zhǎng)方體，檢測(cè)面為30 cm × 10 cm長(zhǎng)方形，依據(jù)傳感器有效使用范圍參數(shù)，選取Kinect傳感器與長(zhǎng)方體正面的深度距離分別為0.9 m、1.1 m、1.3 m進(jìn)行3次重復(fù)實(shí)驗(yàn)，對(duì)長(zhǎng)方體的深度數(shù)據(jù)以及水平投影面積等信息進(jìn)行計(jì)算輸出，其中綠色長(zhǎng)方體識(shí)別圖像中，白色區(qū)域即為識(shí)別出的綠色目標(biāo)物體。將測(cè)出的數(shù)據(jù)與實(shí)際的距離和面積信息相比對(duì)，3次實(shí)驗(yàn)中深度數(shù)據(jù)的相對(duì)誤差均小于1%，水平投影面積的相對(duì)誤差均小于4%（表2），可見(jiàn)本文基于Kinect傳感器技術(shù)的測(cè)量方法測(cè)量規(guī)則物體的深度值和水平投影面積具有較高的準(zhǔn)確性。

2.2植株測(cè)量和三維重構(gòu)

綠色植株選取非洲茉莉盆栽進(jìn)行測(cè)量與三維重構(gòu)，盆栽底部半徑約為0.12 m，以盆栽底部前端為參考點(diǎn)，與Kinect的距離為植株的深度距離，設(shè)置1.1 m、1.3 m、1.5 m的深度距離進(jìn)行3次重復(fù)實(shí)驗(yàn)。綠色植株識(shí)別圖像中的白色區(qū)域即為所需識(shí)別的綠色植株目標(biāo)，三維重構(gòu)圖形中，藍(lán)色部分代表深度值為0的區(qū)域，彩色漸變區(qū)域代表對(duì)應(yīng)的深度值區(qū)域，即檢測(cè)區(qū)域內(nèi)植株的三維重構(gòu)圖形（表3）。對(duì)3次實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析，由于測(cè)量時(shí)以盆栽底部前端為參考點(diǎn)，實(shí)驗(yàn)所測(cè)得不同深度處的水平投影面積分別為：1.1 m處為0.045 5 m2，1.3 m處為0.045 3 m2，1.5 m處為0.045 8 m2，三種深度距離所測(cè)得的面積具有很高的一致性。

表2　Kinect對(duì)綠色長(zhǎng)方體檢測(cè)面的測(cè)量Table 2 Measurement of green square detection surface by Kinect

3　場(chǎng)地實(shí)驗(yàn)

表3　Kinect對(duì)綠色植株的測(cè)量和三維重構(gòu)Table 3 Measurement and 3D reconstruction of green plant by Kinect

在檢測(cè)實(shí)驗(yàn)方案中，提出的一種基于Kinect傳感器技術(shù)的植株冠層三維數(shù)據(jù)測(cè)量方法能夠?qū)崿F(xiàn)規(guī)則綠色物體和不規(guī)則植株深度面積的準(zhǔn)確測(cè)量以及植株三維重構(gòu)。為了進(jìn)一步驗(yàn)證該方法的有效性，選取溫室吊蘭作為場(chǎng)地實(shí)驗(yàn)對(duì)象，采用冠層三維測(cè)量與重構(gòu)系統(tǒng)對(duì)吊蘭冠層進(jìn)行三維重構(gòu)，并實(shí)時(shí)輸出深度以及水平投影面積信息。

3.1實(shí)驗(yàn)方案

冠層三維測(cè)量與重構(gòu)實(shí)驗(yàn)平臺(tái)包括測(cè)量機(jī)構(gòu)和控制及處理機(jī)構(gòu)。測(cè)量機(jī)構(gòu)主要由Γ型鋁型材支架和Kinect傳感器等組成，支架高度在0.5-2 m內(nèi)可調(diào)，Kinect傳感器固定于Γ型鋁型材支架橫梁尾端，檢測(cè)方向由上往下，檢測(cè)區(qū)域?yàn)橐缘孛孀鞅尘暗钠矫婢匦慰颉？刂萍疤幚頇C(jī)構(gòu)由PC機(jī)和USB延長(zhǎng)線等組成，Kinect傳感器通過(guò)USB延長(zhǎng)線接口連至PC機(jī)，由PC機(jī)內(nèi)自主編寫的Matlab程序?qū)鞲衅鬟M(jìn)行控制，采集區(qū)域圖像信息，實(shí)測(cè)數(shù)據(jù)由USB延長(zhǎng)線傳輸至PC機(jī)中，同時(shí)進(jìn)行處理和計(jì)算，并輸出相應(yīng)的數(shù)據(jù)、圖像結(jié)果。

實(shí)驗(yàn)場(chǎng)地位于江蘇大學(xué)溫室實(shí)驗(yàn)基地，大棚寬度約4.85 m，高度約2.2 m。吊蘭盆栽種植區(qū)域長(zhǎng)10 m，寬1.8 m，占地18 m2。由前期室內(nèi)規(guī)則物體與植株深度數(shù)據(jù)檢測(cè)實(shí)驗(yàn)效果，場(chǎng)地實(shí)驗(yàn)條件設(shè)置為Kinect傳感器與地面的垂直高度1.9 m，隨機(jī)抽取植株檢測(cè)區(qū)域長(zhǎng)約1.9 m，寬約1.4 m，植株盆栽數(shù)約40株，花盆高0.2 m，即吊蘭盆栽枝葉的深度值約1.7 m。

3.2實(shí)驗(yàn)結(jié)果

Kinect傳感器獲取的溫室吊蘭盆栽的原始空間彩色圖像，吊蘭盆栽為不規(guī)則擺放，盆栽間的空隙較大，邊緣空隙明顯（圖4）。Kinect傳感器獲取的溫室吊蘭盆栽的原始深度圖像，從圖中可以看出，傳感器所獲取的深度圖像效果并不理想，如果直接用于植株的識(shí)別，其中雜物對(duì)目標(biāo)的干擾大，獲取的深度數(shù)據(jù)量也非常大，不利于對(duì)植株目標(biāo)的實(shí)時(shí)檢測(cè)和數(shù)據(jù)處理。

本文的植株測(cè)量和重構(gòu)方法通過(guò)對(duì)吊蘭盆栽的枝葉進(jìn)行色彩特征和深度范圍限制匹配識(shí)別處理，去除盆栽底部、地面等背景雜物的干擾，同時(shí)由深度數(shù)據(jù)獲取方法和水平投影面積計(jì)算方法，對(duì)吊蘭植株與傳感器之間的深度距離進(jìn)行計(jì)算，并得出水平投影面積，通過(guò)函數(shù)重構(gòu)圖形，即為植株深度空間矩陣進(jìn)行的三維色圖重構(gòu)效果圖（圖4）。

圖4　溫室吊蘭冠層檢測(cè)和三維重構(gòu)圖形Fig. 4 Detection and 3D reconstruction of greenhouse potted bracket-plants

對(duì)實(shí)驗(yàn)測(cè)得的植株深度值和水平投影面積分析：檢測(cè)的吊蘭盆栽枝葉深度值為1.73 m，與設(shè)置的吊蘭盆栽枝葉深度值相對(duì)比，即Kinect的傳感器與地面的垂直高度去除花盆高所得的實(shí)際深度值基本吻合，相對(duì)誤差為1.77%，準(zhǔn)確性非常高。計(jì)算得該檢測(cè)區(qū)域內(nèi)吊蘭盆栽冠層的水平投影面積為1.29 m2。

4　結(jié)論

針對(duì)植株三維信息的采集和重構(gòu)，本文提出了一種基于Kinect傳感器技術(shù)的植株冠層三維數(shù)據(jù)測(cè)量方法，該方法中深度數(shù)值的計(jì)算，采用平均數(shù)作為衡量的標(biāo)準(zhǔn)，得到的深度值與實(shí)際值最為接近，可達(dá)到最優(yōu)的處理效果，規(guī)則物體的測(cè)量實(shí)驗(yàn)中，深度值的相對(duì)誤差小于1%；水平投影面積的計(jì)算，通過(guò)幾何投影的像素點(diǎn)百分比，由幾何投影面積計(jì)算獲得實(shí)際面積，規(guī)則物體的測(cè)量實(shí)驗(yàn)中，水平投影面積的相對(duì)誤差小于4%。溫室場(chǎng)地實(shí)驗(yàn)中，由三維測(cè)量與重構(gòu)系統(tǒng)通過(guò)測(cè)量機(jī)構(gòu)和控制及處理機(jī)構(gòu)的結(jié)合，運(yùn)用數(shù)學(xué)方法和Matlab軟件程序進(jìn)行處理，完成了溫室吊蘭冠層的深度以及水平投影面積信息的輸出和三維重構(gòu)，較好地達(dá)到了預(yù)期的效果。

通過(guò)檢測(cè)實(shí)驗(yàn)和溫室場(chǎng)地實(shí)驗(yàn)的驗(yàn)證，本文基于Kinect傳感器技術(shù)的植株測(cè)量與三維重構(gòu)的方法，能夠應(yīng)用于溫室吊蘭植株的三維重構(gòu)和深度、面積信息的測(cè)量。該方法也可進(jìn)一步推廣應(yīng)用于其他不規(guī)則形狀的植株三維重構(gòu)與測(cè)量，實(shí)現(xiàn)基于Kinect傳感器的農(nóng)業(yè)植株生長(zhǎng)狀態(tài)的實(shí)時(shí)監(jiān)測(cè)、藥物肥料的精確噴灑以及病蟲害的及時(shí)防治等過(guò)程中植株信息的采集和處理。

［1］ 劉剛， 司永勝， 馮娟. 農(nóng)林作物三維重建方法研究進(jìn)展［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2014， 45（6）: 38-46， 19.

Liu G， Si Y S， Fen J. 3D Reconstruction of agriculture and forestry crops［J］. Transactions of the Chinese Society for Agricultural Machinery， 2013， 45（6）: 38-46， 19.

［2］ Zhu J， Wang L， Yang R G， et al. Reliability fusion of time-of-flight depth and stereo geometry for high quality depth maps［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2011，33（7）: 1400-1414.

［3］ 項(xiàng)榮， 應(yīng)義斌， 蔣煥煜， 等. 基于雙目立體視覺(jué)的番茄定位［J］.農(nóng)業(yè)工程學(xué)報(bào)， 2012， 28（5）: 161-167.

Xiang R， Ying Y B， Jiang H Y， et al. Localization of tomatoes based on binocular stereo vision［J］. Transactions of the Chinese Society of Agricultural Engineering， 2012， 28（5）: 161-167.

［4］ 李長(zhǎng)勇， 曹其新. 基于深度圖像的蔬果形狀特征提?。跩］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2012， 43（S1）: 242-245.

Li C Y， Cao Q X. Extraction method of shape feature for vegetables based on depth image［J］. Transactions of the Chinese Society for Agricultural Machinery， 2012， 43（S1）: 242-245.

［5］ Hayashi S， Shigematsu K， Yamamoto S， et al. Evaluation of a strawberry-harvesting robot in a field test［J］. Biosystems Engineering， 2010， 105（2）: 160-171.

［6］ 王傳宇， 趙明， 閻建河， 等. 基于雙目立體視覺(jué)技術(shù)的玉米葉片三維重建［J］. 農(nóng)業(yè)工程學(xué)報(bào)， 2010， 26（4）: 198-202.

Wang C Y， Zhao M， Yan J H， et al. Three-dimensional reconstruction of maize leaves based on binocular stereovision system［J］. Transactions of the Chinese Society of Agricultural Engineering， 2010， 26（4）: 198-202.

［7］ 宋健， 孫學(xué)巖， 張鐵中， 等. 開放式茄子采摘機(jī)器人設(shè)計(jì)與試驗(yàn)［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2009， 40（1）: 143-147.

Song J， Sun X Y， Zhang T Z， et al. Design and experiment of opening picking robot for eggplant［J］. Transactions of the Chinese Society for Agricultural Machinery， 2009， 40（1）: 143-147.

［8］ Chéné Y， Rousseau D， Lucidarme P， et al. On the use of depth camera for 3D phenotyping of entire plants［J］. Computers and Electronics in Agriculture， 2012， 82: 122-127.

［9］ 周薇， 馮娟， 劉剛， 等. 蘋果采摘機(jī)器人中的圖像配準(zhǔn)技術(shù)［J］.農(nóng)業(yè)工程學(xué)報(bào)， 2013， 29（11）: 20-26.

Zhou W， Fen J， Liu G， et al. Application of image registration technology in apple harvest robot［J］. Transactions of the Chinese Society of Agricultural Engineering， 2013， 29（11）: 20-26.

［10］ 劉晉鋼， 劉衛(wèi)斌， 劉晉霞. Kinect與Unity3D數(shù)據(jù)整合技術(shù)在體感游戲中的應(yīng)用研究［J］. 電腦開發(fā)與應(yīng)用， 2014， 27（11）: 7-11， 14.

Liu J G， Liu W B， Liu J X. Application research of somatosensory game based on Kinect and unity3D data integration technology［J］. Computer Development & Applications， 2014， 27（11）: 7-11， 4.

［11］ 李卉， 王蔚. 基于Kinect體感交互的兒童注意力測(cè)評(píng)系統(tǒng)［J］.現(xiàn)代教育技術(shù)， 2014， 24（7）: 120-126.

Li H， Wang W. An attention measuring technology for children based on somatosensory interaction using Microsoft Kinect［J］. Modern Educational Technology， 2014， 24（7）: 120-126.

［12］ 陳燕軍， 汪地， 楊浩， 等. 基于Kinect的手術(shù)輔助系統(tǒng)研究［J］.計(jì)算機(jī)技術(shù)與發(fā)展， 2014， 24（9）: 81-83， 88.

Chen Y J， Wang D， Yang H， et al. Research on operation auxiliary system based on Kinect［J］. Computer Technology and Development， 2014， 24（9）: 81-83， 88.

［13］ 張克華， 王書平， 尹曉紅， 等. 復(fù)雜室內(nèi)環(huán)境下的單一的Kinect導(dǎo)盲系統(tǒng)［J］. 光學(xué) 精密工程， 2015， 23（8）: 2419-2427.

Zhang K H， Wang S P， Yin X H， et al. Blind navigation aid system with Kinect sensor in complex indoor environments［J］. Optics and Precision Engineering， 2015， 23（8）: 2419-2427.

［14］ 李東年， 周以齊. 采用改進(jìn)粒子群優(yōu)化粒子的三維人手跟蹤［J］.光學(xué) 精密工程， 2014， 22（10）: 2870-2878.

Li D N， Zhou Y Q. Three dimensional hand tracking by improved particle swarm optimized particle filter［J］. Optics and Precision Engineering， 2014， 22（10）: 2870-2878.

［15］ 余濤. Kinect應(yīng)用開發(fā)實(shí)戰(zhàn)：用最自然的方式與機(jī)器對(duì)話［M］.北京: 機(jī)械工業(yè)出版社， 2012.

Yu T. Dialogue with the Machine in the Most Natural Way［M］. Beijing: Machinery Industry Press， 2012.

［16］ 蘇顯渝， 張啟燦， 陳文靜. 結(jié)構(gòu)光三維成像技術(shù)［J］. 中國(guó)激光，2014， 41（2）: 1-10.

Su X Y， Zhang Q C， Chen W J. Three-dimensional imaging based on structured illumination［J］. Chinese Journal of Lasers， 2014，41（2）: 1-10.

［17］ 吳俊， 夏軍. 基于Kinect的景深提取算法研究［J］. 光電子技術(shù)，2014， 34（2）: 113-116， 120.

Wu J， Xia J. Depth map extraction algorithm based on Kinect［J］. Optoelectronic Technology， 2014， 34（2）: 113-116， 120.

［18］ 孫瑜， 李占利. 基于射影幾何的CCD相機(jī)幾何模型研究［J］.計(jì)算機(jī)工程， 2015， 41（5）: 270-273.

Sun Y， Li Z L. Research on geometric model of CCD camera based on Projective geometry［J］. Computer Engineering， 2015，41（5）: 270-273.

［19］ 吳海斌， 于曉洋. 應(yīng)用市售設(shè)備的結(jié)構(gòu)光系統(tǒng)模型及標(biāo)定［J］.光學(xué) 精密工程， 2008， 16（4）: 617-623.

Wu H B， Yu X Y. Structured light system model using off-theshelf components and its calibration［J］. Optics and Precision Engineering， 2008， 16（4）: 617-623.

（責(zé)任編輯：童成立）

Measurement and 3D-reconstruction of plants based on Kinect sensor

LIU Hui， XU Hui， SHEN Yue， LI Ning
（School of Electrical and Information Engineering， Jiangsu University， Zhenjiang， Jiangsu 212013， China）

The image reconstruction for three dimensional （3D） plant structures could be used to monitor plant growth automatically and provide real-time spray amount information for precision agriculture. A 3D image reconstruction method based on Kinect sensor technology was proposed to measure canopy stereoscopic structures. The color images and depth images of plants were detected with a Kinect sensor at the same time. The depth distances between objects and sensor were obtained based on average calculations after multiple depth image measurements. The horizontal projection area of plants and 3D canopy structure reconstructions of plants were achieved by extracting useful data and fusing color image and depth image information. Some regular-shaped objects and irregular-shaped plants were chosen as scanning targets to test the accuracy of the proposed method for depth distance and horizontal projection area estimation. The experiment results showed that the new method could detect both regular-shaped objects and irregular-shaped plants accurately with depth distance error less than 1.0% and horizontal projection area error less than 3.6% in all three depth detection distances from 1.1 m to 1.3 m. A planting area for potted chlorophytes in a greenhouse were used as scanning targets to verify the performance of the new method for detecting depth distances， measuring horizontal projection area，and reconstructing 3D canopy structures in real time. A 3D image detection and reconstruction system integrated with a Kinect sensor measuring mechanism and a position controller was used to conduct the experiments. The experiment results showed the average depth distance error was less than 1.77% and the proposed method has a high feasibility for 3D canopy structure measurements of greenhouse plants.

Kinect sensor； plant depth； canopy structure； horizontal projection area； 3D-reconstruction

National Natural Science Foundation of China （51505195）； Natural Science Foundation of Jiangsu Province （BK20130501）；Chinese Postdoctoral Science Foundation （2014M550272）.

LIU Hui， E-mail: amity@ujs.edu.cn.

21 November， 2015；Accepted 11 May， 2016

S491

A

1000-0275（2016）05-0995-06

10.13872/j.1000-0275.2016.0055

國(guó)家自然科學(xué)基金項(xiàng)目（51505195）；江蘇省自然科學(xué)基金項(xiàng)目（BK20130501）；中國(guó)博士后科學(xué)基金（2014M550272）。

劉慧（1980-），女，江蘇南京人，博士，副教授，碩士生導(dǎo)師，主要從事電能質(zhì)量檢測(cè)與控制、農(nóng)業(yè)電氣化與自動(dòng)化、嵌入式系統(tǒng)與開發(fā)、生物醫(yī)學(xué)信號(hào)處理研究，E-mail: amity@ujs.edu.cn；徐慧（1991-），女，江蘇揚(yáng)州人，碩士研究生，主要從事農(nóng)業(yè)電氣化與自動(dòng)化、機(jī)器人控制和智能噴霧控制研究，E-mail: xuhui_ujs@163.com。

2015-11-21，接受日期：2016-05-11