基于雙目立體視覺的植株生長狀態(tài)無損監(jiān)測方法的研究

尹世和，梁 玉，韋鴻鈺，楊 煜，馬稚昱※

（1.仲愷農(nóng)業(yè)工程學(xué)院機(jī)電工程學(xué)院，廣州 510225；2.廣東省現(xiàn)代農(nóng)業(yè)裝備研究所，廣州 510630）

基于雙目立體視覺的植株生長狀態(tài)無損監(jiān)測方法的研究

尹世和1，梁 玉2，韋鴻鈺1，楊 煜1，馬稚昱1※

（1.仲愷農(nóng)業(yè)工程學(xué)院機(jī)電工程學(xué)院，廣州 510225；2.廣東省現(xiàn)代農(nóng)業(yè)裝備研究所，廣州 510630）

基于雙目立體視覺的植物生長狀態(tài)無損測量方法研究，能快速地對(duì)植株生長進(jìn)行無損監(jiān)測，尤其能準(zhǔn)確測量傾斜生長的植株高度，對(duì)于農(nóng)業(yè)工程研究有重要意義。本研究在實(shí)驗(yàn)室搭建計(jì)算機(jī)雙目立體視覺平臺(tái)，對(duì)大豆植株生長進(jìn)行無損監(jiān)測。由于植物的形態(tài)與生長條件限制，雙相機(jī)光軸與基線的夾角未能構(gòu)成最佳雙目測量系統(tǒng)，因此本研究對(duì)雙目立體視覺平臺(tái)本身的精度進(jìn)行了校驗(yàn)。利用VC++ 6.0編制的圖像分析處理軟件，結(jié)合界跟蹤算法與斜率計(jì)算對(duì)植株的頂芽進(jìn)行識(shí)別，能取得很好的效果。研究表明，實(shí)驗(yàn)表明雙目立體視覺可應(yīng)用于植物無損監(jiān)測，具有廣闊的應(yīng)用前景。

雙目視覺 圖像處理 無損測量 植株 株高

0 引言

雙目立體視覺技術(shù)是目前可視化研究中的關(guān)鍵技術(shù)，是利用兩個(gè)攝像機(jī)同時(shí)對(duì)同一物體從不同方位觀測，獲取不同視角下的兩幅圖像，進(jìn)而利用三角測量原理從兩幅圖像的視差中獲取物體的空間三維信息，實(shí)現(xiàn)物體的三維重構(gòu)，進(jìn)一步實(shí)現(xiàn)對(duì)被測物體的運(yùn)動(dòng)狀態(tài)、形態(tài)特征等相關(guān)信息的動(dòng)態(tài)監(jiān)測。近年來隨著機(jī)器視覺技術(shù)的快速發(fā)展，及圖像處理技術(shù)的專業(yè)化、計(jì)算機(jī)硬件成本的降低和速度的提高，計(jì)算機(jī)視覺技術(shù)得到廣泛應(yīng)用，尤其是伴隨溫室產(chǎn)業(yè)的不斷發(fā)展，國內(nèi)外在利用計(jì)算機(jī)視覺技術(shù)檢測溫室植物生長方面已經(jīng)開展了廣泛研究。Affeldt、Guye、Meyer及Gunasekaran[1-4]等研究人員分別利用機(jī)器視覺技術(shù)對(duì)大豆、番茄、玉米等植物的各種生長信息進(jìn)行了無損檢測的研究。2005年，Ishizuka[5]等研究了利用機(jī)器視覺技術(shù)對(duì)多株水稻的出葉速度和葉片生長率進(jìn)行了研究，發(fā)現(xiàn)溫度和日照時(shí)間對(duì)水稻苗的出葉速度和葉片生長率都有很大的影響。但由于農(nóng)業(yè)中的研究對(duì)象都是植物，其特點(diǎn)是個(gè)體差異很大，生長背景復(fù)雜，這就給圖像的處理及特征提取帶來很大的困難，因而需要研究高效率、高精度的圖像處理方法。

本研究以大豆植株為研究對(duì)象，采用雙目立體視覺技術(shù)構(gòu)建了一套適用于多株連續(xù)無損監(jiān)測系統(tǒng)，應(yīng)用于植株高度測量，實(shí)現(xiàn)對(duì)植物株高的無損實(shí)時(shí)監(jiān)測。

1 雙目視覺系統(tǒng)測量原理

雙目視覺系統(tǒng)的基本原理是對(duì)被觀測對(duì)象同時(shí)

從兩個(gè)不同視角獲取圖像，然后根據(jù)三角測量原理計(jì)算圖像中的對(duì)應(yīng)像素間的視差，獲取被觀測對(duì)象的三維信息，實(shí)現(xiàn)被觀測對(duì)象的三維重構(gòu)。目前根據(jù)相機(jī)安裝方式的不同，雙目視覺系統(tǒng)主要由以下幾種模式：雙目橫向模式、雙目橫向會(huì)聚模式及雙目縱向模式（也稱雙目軸向模式）。

在雙目相機(jī)安裝過程中，兩個(gè)相機(jī)安裝夾角及基線長度是影響系統(tǒng)測量精度的主要因素[6]，為了增加測量精度，基線一般不能太小，但基線長度也不可太長，否則，由于物體各部分相互遮擋，兩個(gè)攝像機(jī)可能不能同時(shí)觀察到目標(biāo)點(diǎn)。雙目立體視覺成像模型如圖1所示。左右相機(jī)中心分別是Ol和Or，左右鏡頭中心分別是Fl和Fr，OlFl和OrFr分別是左右相機(jī)的光軸。鏡頭中心連線FlFr是系統(tǒng)的基線。αl和αr分別是相機(jī)光軸與基線的夾角。pl和pr分別是空間點(diǎn)P在左右相機(jī)上的成像點(diǎn)。當(dāng)相機(jī)光軸與基線的夾角αl和αr相等，即αl=αr并且α∈[30°，60°]且α∈[30°，60°]范圍內(nèi)系統(tǒng)的測量誤差較小，在45°左右時(shí)系統(tǒng)測量誤差最小，夾角對(duì)稱分布可構(gòu)成最佳雙目測量系統(tǒng)[7]。

現(xiàn)實(shí)測量中，成熟大豆植株的高度高為30～80 cm，為了保證植株在相機(jī)圖像范圍內(nèi)并防止平臺(tái)部件接觸植株，設(shè)定相機(jī)支架與植株苗床的距離為800 mm，基線B=270 mm，因此相機(jī)光軸與基線的夾角采用αl=αr=80°，相機(jī)中心距苗床高度為40 cm。

圖1 雙目立體視覺成像模型

2 雙目監(jiān)測系統(tǒng)的硬件設(shè)計(jì)

為了能在長時(shí)間連續(xù)實(shí)現(xiàn)對(duì)多株植株的形態(tài)參數(shù)無損測量及分析，本文構(gòu)建了一套多點(diǎn)自動(dòng)旋轉(zhuǎn)式雙目視覺監(jiān)測系統(tǒng)，如圖2所示。雙目相機(jī)安裝在一旋轉(zhuǎn)云臺(tái)上，旋轉(zhuǎn)云臺(tái)可在210°內(nèi)每隔一定間隔定角度自動(dòng)旋轉(zhuǎn)；該旋轉(zhuǎn)云臺(tái)被安裝在水平直線導(dǎo)軌上，直線導(dǎo)軌在步進(jìn)電機(jī)驅(qū)動(dòng)下每隔一定時(shí)間可以每隔一定距離自動(dòng)取像、測量、分析，實(shí)現(xiàn)對(duì)對(duì)株植株個(gè)體生長參數(shù)的監(jiān)測分析。

該測量平臺(tái)的控制中心采用以PLC作控制器的控制模式，計(jì)算機(jī)通過串口與PLC進(jìn)行通信。該測量平臺(tái)可測量前后兩排多株植株。

圖2 移動(dòng)旋轉(zhuǎn)平臺(tái)示意圖

3 雙目監(jiān)測系統(tǒng)的軟件系統(tǒng)

實(shí)現(xiàn)該測量的過程包括了以下幾個(gè)模塊：圖像采集、相機(jī)標(biāo)定、特征提取、立體匹配、三維重構(gòu)。本實(shí)驗(yàn)選擇了維視數(shù)字圖像技術(shù)有限公司提供的分辨率為1 024×768的MV-VD078SC/SM型雙攝像機(jī)。標(biāo)定系統(tǒng)利用維視數(shù)字圖像技術(shù)有限公司開發(fā)的CCAS雙目測量測試開發(fā)平臺(tái)，基于張正友平板標(biāo)定方法可以輕松實(shí)現(xiàn)雙相機(jī)的標(biāo)定[8]。

雙目標(biāo)定時(shí)，首先對(duì)雙目系統(tǒng)中的每一個(gè)相機(jī)進(jìn)行單相機(jī)標(biāo)定，確認(rèn)相機(jī)的畸變系數(shù)和內(nèi)參矩陣，從而確定所選每個(gè)相機(jī)的內(nèi)部參數(shù)。得到單相機(jī)的參數(shù)后，再用所構(gòu)建的雙目測試系統(tǒng)的雙相機(jī)從不同的角度去拍攝該標(biāo)定板，角度不同對(duì)同一標(biāo)定板獲取不同的2張圖像，分別計(jì)算2張圖像的相應(yīng)像素坐標(biāo)再和實(shí)際標(biāo)定板的坐標(biāo)匹配就可以得到當(dāng)前

雙相機(jī)的位置參數(shù)。

不同種類植物的株高定義不同，測量方法也就不同。本研究以直立型大豆植株為研究對(duì)象，其株高是指從植株根部露出土壤部分到植株最高點(diǎn)的距離。因此本研究的雙相機(jī)采用了基線B=270 mm相機(jī)光軸與基線的夾角αl=αr=80°的方式安裝。并對(duì)測量平臺(tái)的精度和誤差進(jìn)行了實(shí)驗(yàn)驗(yàn)證。

4 雙目監(jiān)測平臺(tái)的精度實(shí)驗(yàn)

本實(shí)驗(yàn)通過自制校驗(yàn)標(biāo)靶（圖3）進(jìn)行，標(biāo)靶上分布5個(gè)距離不同的紅色特征點(diǎn)，采用VC++編寫了雙目測試平臺(tái)精度校驗(yàn)的軟件系統(tǒng)，其流程如圖4所示，包括了圖像獲取、特征分割、輪廓提取、去除噪聲、立體匹配、三維重建及誤差計(jì)算。

圖3 精度校驗(yàn)標(biāo)靶圖案

利用該雙目測試系統(tǒng)，如圖5所示，兩臺(tái)相機(jī)同時(shí)從不同角度、不同位置獲取46張標(biāo)靶圖像，對(duì)標(biāo)靶圖像上的不同特征點(diǎn)進(jìn)行了識(shí)別，并對(duì)圖像上的每個(gè)特征點(diǎn)的三維坐標(biāo)進(jìn)行重構(gòu)、計(jì)算及分析。通過三維坐標(biāo)計(jì)算特征點(diǎn)之間距離及并與標(biāo)靶上特征點(diǎn)的實(shí)際距離作對(duì)比，得到該雙目測量平臺(tái)的測量誤差，從而對(duì)測量平臺(tái)本身精度進(jìn)行校驗(yàn)，實(shí)驗(yàn)數(shù)據(jù)見表1。

如表1所示，通過對(duì)比46組平臺(tái)精度校驗(yàn)所輸出的測量誤差數(shù)據(jù)可見，當(dāng)雙目測量系統(tǒng)的基線為270 mm、相機(jī)光軸與基線的夾角為αl=αr=80°時(shí)，該雙目測量系統(tǒng)的測量精度達(dá)到99.62%，標(biāo)靶傾斜角度越小誤差較小，適合植株高度的測量需求。

圖4 平臺(tái)精度校驗(yàn)程序的程序流程圖

圖5 本研究的一次平臺(tái)精度校驗(yàn)

從測量結(jié)果看，產(chǎn)生誤差的可能原因是標(biāo)定板的選擇，標(biāo)定板的精度對(duì)系統(tǒng)測量誤差具有一定的影響，標(biāo)定板的精度越高，系統(tǒng)的測量誤差就越小，而且標(biāo)定板的大小也會(huì)影響測量誤差，一般標(biāo)定板的大小應(yīng)為測量范圍的1/3左右。

表1 雙目測試平臺(tái)精度實(shí)驗(yàn)誤差數(shù)據(jù)結(jié)果 mm

5 結(jié)論

本文針對(duì)植株生長參數(shù)的測量構(gòu)建了一套多點(diǎn)自動(dòng)旋轉(zhuǎn)式無損雙目視覺監(jiān)測系統(tǒng)，并對(duì)該系統(tǒng)的測量誤差進(jìn)行了試驗(yàn)分析。這套系統(tǒng)可以對(duì)多株植物的株高實(shí)現(xiàn)無損快速測量，測量的精度可達(dá)99.62%，測量誤差主要來自與標(biāo)定系統(tǒng)的誤差。該系統(tǒng)可以節(jié)省植物生長過程中植株參數(shù)測量的勞動(dòng)力，使人們從單調(diào)、重復(fù)和高強(qiáng)度的監(jiān)測工作中解放出來，克服了人類視覺的易疲勞、誤差大等局限性，提高了監(jiān)測的準(zhǔn)確性和連續(xù)性，真正實(shí)現(xiàn)了植物生長的無損監(jiān)測。

[1]Affeldt H A,Brown G K,Pason N,etal. Treetrunk growth and damage prognosesby digital image analysis[J].Transactions of the ASAE, 1989,32(5):1812-1820.

[2]Guyer A.Machine vision and image processing for plant identification[J].Transaction of ASAE, 1986,29(6):1500-1507.

[3]MeyerG E,StepanetA,Shelton D P and Dickey E C.Electronic image analysis of crop residue cover on soil[J].Transaction of ASAE, 1987,31(3):968-973.

[4]Gunasekaran S,Cooper T M,Berlage A G,et al.Imageprocessing forstresscracksin corn kernels[J].Transactions of the ASAE,1987,30 (1):266-271.

[5]Ishizuka T,Tanabata T,Takano M,et al.Kinetic measuring method of rice growth in tillering stage using automatic digital imaging system [J].Environment Control in Biology,2005,43 (2):83-96.

[6]婁小平，郭美萍.雙目視覺測量系統(tǒng)標(biāo)定精度提高方法研究[J].北京信息科技大學(xué)學(xué)報(bào)（自然科學(xué)版）,2010（1）：16-20.

[7]劉瓊，秦現(xiàn)生，應(yīng)申舜，等.雙目視覺測量系統(tǒng)結(jié)構(gòu)參數(shù)設(shè)計(jì)及精度分析[J].中國機(jī)械工程,2008（22）:2728-2732.

[8]岳曉峰，祁歡.基于張正友平面模板法的雙目立體視覺系統(tǒng)標(biāo)定[J].機(jī)械工程師，2014（2）：1-3.The Research of Non-destructive Measurement which Based on the Binocular Stereoscopic Vision

Yin Shihe1,Liang Yu2,Wei Hongyu2,Yang Yu2,Ma Zhiyu2
(College of Mechanical and Electrical Engineering,ZhongKai University of Agriculture and Engineering, GuangZhou 510225,China;Modern Agricultural Equipment of Guangdong Province,Guangzhou,510630)

The research of non-destructive measurement which based on the binocular stereoscopic vision can monitor the plant without destruction quickly.Particularly,this means can measure the plant height accurately which is significant to agricultural engineering research.We established the computer binocular stereo vision platform in our laboratory and then used it to monitor the soybean.Since the restricts that limit the morphology of plants and growths which makes the dual camera optical axis Angle with the baseline can never the best binocular measurement system.So we checkout the precision of binocular stereo vision platform.It can take good effect to identify the terminal bud of the plant by using VC++6.0,boundary tracking algorithm and slope calculation.The research shows that binocular stereoscopic vision can put into use in non-destructive testing of plant,which has great prospect.

stereo vision;Image processing;Non-destructive Measurement;Plant;Plant Height.

2012年廣東省扶持農(nóng)業(yè)機(jī)械化發(fā)展專項(xiàng)課題：瓜類蔬菜機(jī)械化嫁接加工技術(shù)集成與示范（項(xiàng)目編號(hào)KB12061）

尹世和（1991-），男，本科，主要研究方向機(jī)械設(shè)計(jì)及其自動(dòng)化。Email：yin_shi_he@163.com。

※通訊作者：馬稚昱（1974-），女，副研究員，主要研究方向現(xiàn)代農(nóng)業(yè)裝備。Email：mazhiyu2002@hotmail.com。