基于雙目視覺的植物三維重建方法及應(yīng)用

孫茜 鄭書河

摘要 概述了雙目視覺技術(shù)與基于雙目視覺的三維重建方法，介紹了基于雙目視覺的三維重建技術(shù)的發(fā)展歷程，分析了近幾年基于雙目視覺的三維重建方法在重構(gòu)植物三維模型中的應(yīng)用進(jìn)展，提出了一種基于雙目視覺技術(shù)的茶梢冠層三維重構(gòu)的方法。該方法具有成本低廉、易于實(shí)現(xiàn)、受光照影響小、實(shí)時(shí)性好等優(yōu)點(diǎn)，適合在自然環(huán)境中對(duì)果實(shí)、植物冠層等進(jìn)行三維重建，可為果蔬采摘、植物生長(zhǎng)狀況監(jiān)測(cè)、樹木修剪等領(lǐng)域的研究提供有益參考。

關(guān)鍵詞 雙目視覺;三維重建;植物可視化;茶梢冠層

中圖分類號(hào) S126? 文獻(xiàn)標(biāo)識(shí)碼 A

文章編號(hào) 0517-6611（2021）24-0011-07

doi：10.3969/j.issn.0517-6611.2021.24.003

Method of Plant 3D Reconstruction Based on Binocular Vision and Its Application

SUN Qian，ZHENG Shu-he （College of Mechanical and Electrical Engineering，F(xiàn)ujian Agriculture and Forestry University，F(xiàn)uzhou，F(xiàn)ujian 350002）

Abstract Introduced the binocular vision technology，the 3D reconstruction method and the historical development of the 3D reconstruction technology based on binocular vision.We also analyzed the application progress of 3D reconstruction method in reconstructing 3D model of plants，proposed a method of 3D reconstruction of tea canopy based on binocular vision technology，and pointed out the future development trend of this method.This method has the advantages of low cost，easy implementation，less affected by illumination，and better real-time performance.It’s suitable for the 3D reconstruction of fruits and plant canopy in the natural environment，it provided a useful reference for research in the fields of fruit and vegetable picking，plant growth monitoring，and tree pruning.

Key words Binocular vision;3D reconstruction;Plant visualization;Tea crown layer

基金項(xiàng)目 茶園全程機(jī)械化作業(yè)關(guān)鍵技術(shù)研究（K1520005A05）;福建省自然科學(xué)基金（2017J01423）。

作者簡(jiǎn)介 孫茜（1996—），女，黑龍江綏化人，碩士研究生，研究方向：茶樹冠層三維重建技術(shù)。*通信作者，教授，博士生導(dǎo)師，從事智能農(nóng)業(yè)裝備研究。

收稿日期 2021-07-14

智慧農(nóng)業(yè)的研究和應(yīng)用日益蓬勃發(fā)展，逐步成為全球農(nóng)業(yè)發(fā)展的大趨勢(shì)，植物的可視化研究也逐漸成為研究熱點(diǎn)[1-2]。植物可視化是將植物學(xué)、計(jì)算機(jī)圖形學(xué)、仿真、傳感器等專業(yè)知識(shí)結(jié)合在一起，使植物的形態(tài)結(jié)構(gòu)在計(jì)算機(jī)上逼真重現(xiàn)的技術(shù)[3-4]。通過植物可視化技術(shù)，可以實(shí)現(xiàn)在計(jì)算機(jī)上模擬植物的生長(zhǎng)過程[5-7]、重建植物單個(gè)器官的三維模型[5-7]、植物冠層生理生態(tài)功能仿真計(jì)算[8-10]、植物的表型分析[11]等操作。植物可視化的實(shí)現(xiàn)依賴于植物三維重建技術(shù)，是進(jìn)行植物生長(zhǎng)過程模擬的前提[12]，是植物冠層生理生態(tài)功能仿真計(jì)算的關(guān)鍵，在植物表型分析中扮演著至關(guān)重要的角色，對(duì)實(shí)現(xiàn)植物虛擬仿真分析、決策及應(yīng)用，推廣智慧農(nóng)業(yè)具有十分重要的意義[13]。

雙目立體視覺技術(shù)模擬人眼獲取相同點(diǎn)產(chǎn)生的視差從而進(jìn)行目標(biāo)三維重建，獲取三維圖像[14-15]。與三維數(shù)字化儀等獲取植物點(diǎn)云信息的方式相比，雙目立體視覺技術(shù)成本更低、數(shù)據(jù)處理更少、實(shí)時(shí)性更好[16];與Kinect等獲取深度圖像方式相比，雙目立體視覺技術(shù)對(duì)硬件、成本要求更低，不易受到光照的影響[17-18];與基于模型的三維重建技術(shù)相比，雙目立體視覺技術(shù)計(jì)算復(fù)雜度更小，系統(tǒng)實(shí)時(shí)性更高[19];與基于多視角圖像三維重建技術(shù)相比，雙目立體視覺的設(shè)備和模型更簡(jiǎn)單易實(shí)現(xiàn)，更適合戶外場(chǎng)景的重建。

1 雙目視覺技術(shù)概述

1.1 雙目視覺系統(tǒng)簡(jiǎn)介

雙目立體視覺是機(jī)器視覺的一個(gè)重要分支，它模仿人的視覺原理獲取圖像的深度信息，將二維圖像轉(zhuǎn)換為三維圖像，使機(jī)器具有感知三維空間的能力[20]。雙目視覺系統(tǒng)分為兩種[21]：一種是平行式光軸雙目視覺系統(tǒng)[22]，另一種是匯聚式光軸雙目視覺系統(tǒng)[23]，其中平行式光軸雙目視覺系統(tǒng)是雙目視覺系統(tǒng)在理想狀態(tài)下的一種形式，而在實(shí)際的工作中由于安裝誤差等因素，使用的雙目視覺系統(tǒng)為匯聚式光軸雙目視覺系統(tǒng)（圖1）。

雙目立體視覺是利用視差原理的一種機(jī)器視覺方法，該方法利用三角測(cè)量原理進(jìn)行三維信息的獲取，基本原理如圖2所示。

基于雙目視覺的三維重建方法大致可以分為5個(gè)步驟，分別是圖像采集、雙目相機(jī)標(biāo)定、圖像矯正、立體匹配和三維重建[24-25]。

①圖像采集：圖像采集是采用兩臺(tái)相同的相機(jī)左右平行放置，同時(shí)獲取同一個(gè)場(chǎng)景中的目標(biāo)物體圖像。在采集圖像后需要對(duì)圖像進(jìn)行預(yù)處理，為后續(xù)工作做準(zhǔn)備。

②雙目相機(jī)標(biāo)定[26]：雙目相機(jī)標(biāo)定是為了獲取相機(jī)的內(nèi)參和外參系數(shù)，有了相機(jī)的內(nèi)外參數(shù)可以對(duì)相機(jī)拍攝的圖像進(jìn)行校正，并對(duì)畸變進(jìn)行優(yōu)化，得到畸變相對(duì)較小的圖像，為立體匹配提供約束條件，為三維重建提供所需的相機(jī)參數(shù)。

③圖像矯正：在實(shí)際的雙目立體視覺系統(tǒng)中，無法保證兩相機(jī)的絕對(duì)平行，以及相機(jī)的本身存在一定的畸變，所以要對(duì)采集的圖像進(jìn)行校正。雙目校正主要利用極線約束，使兩張圖像的同一特征點(diǎn)處在同一水平直線上，這樣在特征匹配時(shí)只需要在極線上進(jìn)行搜索匹配，而不是搜索整個(gè)二維圖像，大大減少了匹配的計(jì)算量。

④立體匹配[27]：立體匹配就是將左右兩張圖像上的特征點(diǎn)對(duì)應(yīng)匹配起來。根據(jù)優(yōu)化理論方法的不同可以分為局部匹配和全局匹配。立體匹配是對(duì)物體進(jìn)行三維重建中至關(guān)重要的一步，立體匹配結(jié)果的好壞決定著三維重建的結(jié)果是否精準(zhǔn)。

⑤三維重建[28]：雙目視覺方法中的三維重建是采用三角測(cè)量原理計(jì)算獲取的立體匹配圖像的深度值，從而可以得到稠密的三維空間點(diǎn)云，隨后，再對(duì)獲取的三維空間點(diǎn)云進(jìn)行網(wǎng)格化和差值計(jì)算，進(jìn)而可以得到物體的三維結(jié)構(gòu)模型。

1.2 雙目立體視覺技術(shù)發(fā)展歷程

在19世紀(jì)30年代，Wheatstone[29]論證了人具有立體視覺，成為了雙目立體視覺的開端。從20世紀(jì)50年代開始，就不斷有科研人員提出雙目視覺的相關(guān)原理。Aschenbrenner[30]提出了隨機(jī)立體圖原理，該原理假設(shè)兩幅圖像上的隨機(jī)點(diǎn)一一對(duì)應(yīng)，將任意一個(gè)隨機(jī)點(diǎn)在兩個(gè)圖像中的位移進(jìn)行編碼表示，即可得到該點(diǎn)的深度，此過程叫做立體匹配。Julesz等[31-33]的研究中也得出了類似的結(jié)論，對(duì)同一場(chǎng)景的左右兩幅圖像進(jìn)行特征點(diǎn)提取，完成兩幅圖像視差的計(jì)算。

20世紀(jì)60年代，麻省理工學(xué)院Roberts在對(duì)簡(jiǎn)單規(guī)則的多面體三維結(jié)構(gòu)進(jìn)行研究后認(rèn)為，三維物體可以簡(jiǎn)單地用二維的形狀組合來表示，利用計(jì)算機(jī)實(shí)現(xiàn)二維圖像的立體匹配[34]。隨著研究的深入，研究的范圍逐漸擴(kuò)大，立體匹配方法得到了持續(xù)的完善。

20世紀(jì)70年代，麻省理工學(xué)院Marr和Poggio提出了一種計(jì)算視覺理論[35]，該理論通過3種限制條件，完成隨機(jī)點(diǎn)立體視圖的融合。Marr提出的D.Marr計(jì)算視覺理論框架，極大地推動(dòng)了立體視覺技術(shù)的發(fā)展，使得立體視覺成為計(jì)算機(jī)視覺中一個(gè)很重要的分支。在該理論被提出后不久，Grimson[36]對(duì)該算法進(jìn)行了進(jìn)一步的推導(dǎo)，證明其能夠應(yīng)用于自然環(huán)境中的圖像的匹配。

自此，在計(jì)算機(jī)視覺領(lǐng)域，涌現(xiàn)了大量的基于D.Marr計(jì)算視覺理論的新的立體視覺方法，使立體視覺技術(shù)得到快速的發(fā)展，并在航天測(cè)繪、機(jī)器人視覺、軍事運(yùn)用、醫(yī)學(xué)成像和工業(yè)檢測(cè)等領(lǐng)域得到廣泛應(yīng)用[37]。

ASADA等[38]

設(shè)計(jì)了一款立體視覺伺服系統(tǒng)，利用雙目立體視覺系統(tǒng)預(yù)測(cè)物體的運(yùn)動(dòng)方向從而實(shí)現(xiàn)自適應(yīng)跟蹤。Fang等[39]設(shè)計(jì)了一款智能車輛系統(tǒng)，該系統(tǒng)采用了傳感器融合方法，電磁波探測(cè)和雙目立體視覺疊加對(duì)道路信息進(jìn)行識(shí)別，實(shí)現(xiàn)道路信息的三維重建，可以較為精確地測(cè)量出車輛高速移動(dòng)時(shí)的距離信息。上海交通大學(xué)的自主機(jī)器人實(shí)驗(yàn)室設(shè)計(jì)了6款月球漫游機(jī)器人[40]，它們?nèi)坎捎秒p目視覺系統(tǒng)來實(shí)現(xiàn)導(dǎo)航和避障功能。阮曉東等[41]提出了一種基于立體視覺的多自由度機(jī)器裝置姿態(tài)的測(cè)量方法，該方法算法簡(jiǎn)單，計(jì)算量小，可以準(zhǔn)確測(cè)量機(jī)器裝置的自由度特征點(diǎn)坐標(biāo)。高慶吉等[42]采用了異構(gòu)雙目活動(dòng)視覺系統(tǒng)實(shí)現(xiàn)全自主足球機(jī)器人導(dǎo)航，該系統(tǒng)由固定攝像機(jī)和可以水平旋轉(zhuǎn)的攝像機(jī)組成，可以通過兩臺(tái)相機(jī)的協(xié)調(diào)來對(duì)目標(biāo)進(jìn)行多視角捕捉和數(shù)據(jù)融合，以提高測(cè)量精度。2013年成功發(fā)射的嫦娥三號(hào)月球車?yán)秒p目視覺技術(shù)進(jìn)行導(dǎo)航，共安裝了3對(duì)立體相機(jī)，分別用來實(shí)現(xiàn)導(dǎo)航、避障等不同的功能[43]。

2 基于雙目立體視覺的植物三維重建方法研究進(jìn)展

近年來，隨著基于雙目視覺的三維重建技術(shù)在工業(yè)、航空航天等領(lǐng)域的日益成熟，國(guó)內(nèi)外對(duì)基于雙目視覺的三維重建技術(shù)在植物領(lǐng)域的應(yīng)用研究熱度很高，該技術(shù)針對(duì)研究對(duì)象搭建合適的雙目立體視覺系統(tǒng)獲取研究對(duì)象的左右兩幅圖像，然后在進(jìn)行相機(jī)標(biāo)定后，利用圖像處理技術(shù)和立體匹配技術(shù)獲取研究對(duì)象的三維信息，對(duì)其進(jìn)行三維重建。目前國(guó)內(nèi)外對(duì)于基于雙目立體視覺的植物三維重建技術(shù)的研究主要集中在果蔬的定位采摘、植株的表型分析和對(duì)植株的部分器官進(jìn)行三維重建3個(gè)方面。

2.1 果蔬的定位采摘

劉妤等[44]提出了一種基于雙目視覺的戶外柑橘空間定位法，該方法采用匯聚式光軸雙目視覺系統(tǒng)采集柑橘的左右圖像（圖3），結(jié)合LAB和HSV色彩空間對(duì)柑橘區(qū)域進(jìn)行提取篩選（圖4），確定柑橘的中心點(diǎn)，完成中心點(diǎn)的匹配（圖5），再利用雙目立體視覺的視差原理，獲取柑橘的三維坐標(biāo)信息，確定柑橘的遮擋關(guān)系，并按照深度值對(duì)柑橘進(jìn)行排序（圖6）。將該方法與人工測(cè)量值進(jìn)行對(duì)比，誤差為6.38 mm，可以滿足柑橘采摘機(jī)器人作業(yè)的精度要求。

此外，還有許多的國(guó)內(nèi)外學(xué)者利用雙目視覺技術(shù)對(duì)果蔬進(jìn)行定位，為采摘提供機(jī)器視覺基礎(chǔ)。王磊等[45]開發(fā)了一種基于嵌入式ARM的蘋果采摘雙目視覺系統(tǒng)。該系統(tǒng)結(jié)合CMOS雙目攝像頭和ARM cotexA9四核處理器開發(fā)一款專用的采摘機(jī)器人視覺處理模塊，經(jīng)過目標(biāo)提取、立體匹配等操作，并對(duì)BM、SGBM和AD Census 3種算法進(jìn)行對(duì)比，發(fā)現(xiàn)ADCensus算法的誤差最小，在2.4 m內(nèi)可以對(duì)采摘目標(biāo)進(jìn)

行精確測(cè)距并實(shí)時(shí)顯示，可以滿足采摘機(jī)器人的快速定位要求。周云成等[46]提出了一種基于自監(jiān)督學(xué)習(xí)的番茄植株圖像深度估計(jì)模型，該模型可以根據(jù)雙目相機(jī)輸入的圖像對(duì)植株進(jìn)行深度估計(jì)。試驗(yàn)結(jié)果表明，該模型對(duì)植株進(jìn)行深度估計(jì)的相對(duì)誤差可以控制在2.5 cm內(nèi)，可以為農(nóng)業(yè)機(jī)械的視覺模塊提供一定的理論依據(jù)。Jafari等[47]采用平行式光軸雙目視覺系統(tǒng)采集櫻桃樹圖像，用ABLM和ABGM兩種匹配算法分別對(duì)櫻桃樹圖像進(jìn)行立體匹配，得到視差圖后發(fā)現(xiàn)ABGM算法更好，并且在自然條件下是具有魯棒性的。

通過雙目視覺技術(shù)中立體匹配得到的視差圖獲取的植物深度信息誤差較小，實(shí)時(shí)性較高，可以為果蔬采摘機(jī)器人快速定位提供技術(shù)支持和理論依據(jù)。

2.2 植株的表型分析 Nugroho等[48]提出了基于深度感知的立體相機(jī)植物高度監(jiān)控系統(tǒng)（圖7），使用平行式光軸雙目視覺系統(tǒng)獲取植物圖像，對(duì)植物進(jìn)行三維重建，根據(jù)獲得的植株三維模型對(duì)植株的高度進(jìn)行測(cè)量。與人工測(cè)量結(jié)果進(jìn)行對(duì)比，試驗(yàn)結(jié)果表明，測(cè)量萵苣誤差最大為5.56 cm，決定系數(shù)大于0.7，可以進(jìn)行植株的高測(cè)量，但是仍需要進(jìn)行改進(jìn)，將誤差最小化。

殷悅等[49]建立了基于雙目立體視覺的植物虛擬生長(zhǎng)模型的人機(jī)交互系統(tǒng)，該系統(tǒng)利用雙目相機(jī)對(duì)擬南芥的圖像進(jìn)行采集，使用MATLAB、OpenCV和OpenGL完成擬南芥的三維重建，獲取擬南芥的表型參數(shù)。與真實(shí)值進(jìn)行線性擬合對(duì)比，葉片長(zhǎng)度的相關(guān)系數(shù)為0.940 4，葉片寬度的相關(guān)系數(shù)為0.974 0，莖稈長(zhǎng)度的相關(guān)系數(shù)為0.986 2，誤差均在±5%內(nèi)，該系統(tǒng)對(duì)擬南芥進(jìn)行三維重建具有一定的可靠性。楊鵬樹等[50]開展了作物苗期農(nóng)田障礙物三維信息檢測(cè)方法的研究，提出了一種基于雙目視覺特征的障礙物檢測(cè)算法。首先利用圖像分割算法去除天空和作物苗背景，提取障礙物的邊緣，確定障礙物的目標(biāo)區(qū)域，然后通過重心特征點(diǎn)立體匹配獲取視差圖，結(jié)合相機(jī)標(biāo)定參數(shù)進(jìn)行三維重建，最后計(jì)算障礙物的距離、寬度和高度等三維信息。與實(shí)際測(cè)量值對(duì)比，結(jié)果表明：障礙物三維信息的平均相對(duì)誤差分別為4.70%、5.79%和1.78%，可以較好地滿足田間障礙物檢測(cè)的需求。ZOYMAK1[51]建立了雙目立體視覺系統(tǒng)，基于LabVIEW編程語言對(duì)作物和雜草進(jìn)行三維重建，提取作物和雜草的三維信息，對(duì)作物和雜草進(jìn)行區(qū)分。將立體視覺的結(jié)果與物理測(cè)量結(jié)果進(jìn)行比較，作物和雜草的相關(guān)系數(shù)r分別為0.981和0.989，試驗(yàn)結(jié)果表明該系統(tǒng)能夠測(cè)量深度信息，為區(qū)分作物和雜草提供理論依據(jù)。Bao等[52]開發(fā)了一種高通量的基于現(xiàn)場(chǎng)的機(jī)器人表型分析系統(tǒng)，該方法結(jié)合了最新的立體匹配算法，對(duì)高粱進(jìn)行三維重建后，提取植株表型信息，如：植株高度、植株寬度、植株表面積、莖直徑等。

使用雙目視覺技術(shù)對(duì)植物進(jìn)行表型分析，提取植株的表型參數(shù)的結(jié)果顯示，該方法可以對(duì)植株的表型參數(shù)進(jìn)行提取，且誤差較小，但是植物的表型分析需要的精度較高，對(duì)于此方向的應(yīng)用應(yīng)當(dāng)繼續(xù)改進(jìn)優(yōu)化。

2.3 植株部分器官的三維重建 Hanz等[53]根據(jù)玫瑰花叢修剪規(guī)則使用雙目立體視覺系統(tǒng)對(duì)玫瑰花枝干進(jìn)行三維重建，重建流程見圖8。該方法首先使用全卷積分割網(wǎng)絡(luò)（FSCN）對(duì)左側(cè)圖像進(jìn)行分割，然后根據(jù)視差方法計(jì)算植物圖像的深度，結(jié)合分割圖像和視差圖像計(jì)算玫瑰花的骨架和分支結(jié)構(gòu)，最后進(jìn)行三維重建。該方法在室內(nèi)和室外不同的環(huán)境下進(jìn)行試驗(yàn)，對(duì)各個(gè)步驟進(jìn)行了評(píng)估，與實(shí)際數(shù)據(jù)和取得較好結(jié)果的二維圖骨架分割方法進(jìn)行了比較（圖9），該方法的分割準(zhǔn)確度提高了1.26%，視差圖像的誤差從0.252 7降到了0.086 9，整體重建與地面的距離與真實(shí)值的誤差僅為0.859 0 cm，表明該方法的穩(wěn)定性較好，三維重建的準(zhǔn)確度較高。

殷小舟等[54]利用雙目立體視覺系統(tǒng)對(duì)非洲菊等花卉進(jìn)行三維重建，采用Delaunay三角部分重建了花卉的曲面模型，該方法較好地還原了花卉的真實(shí)面目，具有快速、無損等特點(diǎn)，其不足之處在于必須采集花卉頂部的圖像，花卉的側(cè)面以及花卉的花蕊部分重建效果不甚理想。賀磊盈等[55]以無葉山核桃樹為研究對(duì)象，根據(jù)果實(shí)自適應(yīng)振動(dòng)收獲方式的需要，研究了一種利用雙目視覺技術(shù)基于雙輪廓同步跟蹤的果樹枝干三維重建方法，該方法結(jié)合了閾值分割算法和輪廓跟蹤技術(shù)對(duì)果樹的枝干進(jìn)行提取，細(xì)化后得到枝干骨架并用二叉樹進(jìn)行描述，然后根據(jù)拓?fù)浣Y(jié)構(gòu)、極線約束及形狀的相似性匹配得到雙視圖中樹枝骨架對(duì)應(yīng)關(guān)系，最后對(duì)山核桃樹枝干進(jìn)行三維重建。試驗(yàn)結(jié)果表明，使用該方法重建的三維枝干與真實(shí)枝干在視覺上很接近，估測(cè)的枝干半徑與實(shí)測(cè)的半徑間相對(duì)誤差小于9%，該方法可以為果實(shí)的自適應(yīng)振動(dòng)收獲提供技術(shù)參考。Dandrifosse等[56]提出了基于立體視覺成像小麥冠層的方案，該方案使用雙目立體視覺系統(tǒng)采集小麥冠層的圖像，使用MATLAB立體相機(jī)校準(zhǔn)器對(duì)立體視覺系統(tǒng)進(jìn)行校準(zhǔn)后，采用SVM分類集對(duì)圖像進(jìn)行分割，然后利用LAI和MTA算法生成每個(gè)圖像的三維點(diǎn)云，最后利用Delaunay三角剖分法將三維點(diǎn)云轉(zhuǎn)換為三維網(wǎng)絡(luò)，完成三維重建。

對(duì)植物進(jìn)行三維重建完成植株的可視化，需要較高的重建精度，可以將植物的模型完整清晰地重構(gòu)出來，但是目前的研究結(jié)果不夠理想，需要繼續(xù)優(yōu)化拍攝角度，提高算法精度。

3 一種基于雙目視覺的茶梢冠層三維重構(gòu)方法

茶起源于中國(guó)[57]，茶產(chǎn)業(yè)一直是中國(guó)農(nóng)業(yè)經(jīng)濟(jì)的重要產(chǎn)業(yè)[58-59]，同時(shí)也是傳播中華文化的重要途徑。智慧茶園是智慧農(nóng)業(yè)的一部分，可以更好地幫助茶農(nóng)管理茶園，同時(shí)以可視化的方式將茶園的數(shù)據(jù)信息傳輸?shù)骄W(wǎng)絡(luò)上對(duì)茶葉的品質(zhì)、產(chǎn)量進(jìn)行分析，為消費(fèi)者提供品質(zhì)保障。茶梢冠層的三維重構(gòu)可以為茶園可視化提供一定的技術(shù)支持和理論依據(jù)。

實(shí)現(xiàn)茶園可視化需要滿足任何時(shí)間在茶園的任意地點(diǎn)都可以對(duì)有代表性的茶梢冠層序列進(jìn)行三維重構(gòu)的要求，這就需要選用的三維重建技術(shù)具有成本低、天氣影響小、速度快等優(yōu)點(diǎn)。而基于雙目視覺的三維重建技術(shù)就可以滿足上述要求，只要在茶園內(nèi)擺放好足夠數(shù)量的雙目視覺系統(tǒng)，就可以對(duì)茶梢冠層進(jìn)行三維重構(gòu)，輸出茶梢冠層的表型信息，讓用戶直觀地觀察到茶梢的生長(zhǎng)情況，同時(shí)也可以為茶樹的修剪采摘定位提供一定的依據(jù)，具體的技術(shù)路線如圖10所示。

4 小結(jié)

基于雙目視覺的三維重建方法具有成本低廉、易實(shí)現(xiàn)、受光照影響較小、實(shí)時(shí)性較好等優(yōu)點(diǎn)，更適合在室外的自然環(huán)境中對(duì)果實(shí)、植物冠層等進(jìn)行三維重建，可以廣泛地應(yīng)用于果蔬定位采摘、植物生長(zhǎng)狀況監(jiān)測(cè)，樹木修剪等領(lǐng)域。基于雙目視覺的茶梢冠層三維重構(gòu)方法不受天氣影響，可以隨時(shí)為用戶提供茶梢冠層生長(zhǎng)的三維模型，為智慧茶園的早日實(shí)現(xiàn)提供一定的理論參考。

參考文獻(xiàn)

[1] 趙春江，陸聲鏈，郭新宇，等.數(shù)字植物研究進(jìn)展：植物形態(tài)結(jié)構(gòu)三維數(shù)字化[J].中國(guó)農(nóng)業(yè)科學(xué)，2015，48（17）：3415-3428.

[2] 趙春江.智慧農(nóng)業(yè)發(fā)展現(xiàn)狀及戰(zhàn)略目標(biāo)研究[J].智慧農(nóng)業(yè)，2019，1（1）：1-7.

[3] 劉丹，諸葉平，劉海龍，等.植物三維可視化研究進(jìn)展[J].中國(guó)農(nóng)業(yè)科技導(dǎo)報(bào)，2015，17（1）：23-31.

[4] 周靜靜，郭新宇，吳升，等.基于多視角圖像的植物三維重建研究進(jìn)展[J].中國(guó)農(nóng)業(yè)科技導(dǎo)報(bào)，2019，21（2）：9-18.

[5] PRUSINKIEWICZ P，LINDENMAYER A.Developmental models of herbaceous plants[M]//PRUSINKIEWICZ P，LINDENMAYER A.The Algorithmic beauty of plants.New York：Springer，1990.

[6] BRADBURY R.Fractal modelling：Growth and form in biology[J].Journal of experimental marine biology & ecology，1995，185（1）：131-132.

[7] 趙星，DE REFFYE PHILIPPE，熊范綸，等.虛擬植物生長(zhǎng)的雙尺度自動(dòng)機(jī)模型[J].計(jì)算機(jī)學(xué)報(bào)，2001，24（6）：608-615.

[8] CHELLE M，ANDRIEU B.The nested radiosity model for the distribution of light within plant canopies[J].Ecological modelling，1998，111（1）：75-91.

[9] DA SILVA D，BOUDON F，GODIN C，et al.Multiscale framework for modeling and analyzing light interception by trees[J].SIAM journal on multiscale modeling & simulation，2008，7（2）：910-933.

[10] DRAGONI D，LAKSO A N，PICCIONI R M.Transpiration of apple trees in a humid climate using heat pulse sap flow gauges calibrated with whole-canopy gas exchange chambers[J].Agricultural & forest meteorology，2005，130（1/2）：85-94.

[11] 黃偉.基于植物生長(zhǎng)過程仿真的虛擬植物建模研究[D].重慶：重慶大學(xué)，2011.

[12] 胡鵬程，郭焱，李保國(guó)，等.基于多視角立體視覺的植株三維重建與精度評(píng)估[J].農(nóng)業(yè)工程學(xué)報(bào)，2015，31（11）：209-214.

[13] 劉剛，司永勝，馮娟.農(nóng)林作物三維重建方法研究進(jìn)展[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2014，45（6）：38-46.

[14] 趙晨園，李文新，張慶熙.雙目視覺的立體匹配算法研究進(jìn)展[J].計(jì)算機(jī)科學(xué)與探索，2020，14（7）：1104-1113.

[15] 黃鵬程，江劍宇，楊波.雙目立體視覺的研究現(xiàn)狀及進(jìn)展[J].光學(xué)儀器，2018，40（4）：81-86.

[16] 溫維亮，郭新宇，趙春江，等.基于三維數(shù)字化的玉米株型參數(shù)提取方法研究[J].中國(guó)農(nóng)業(yè)科學(xué)，2018，51（6）：1034-1044.

[17] 方志力，溫維亮，郭新宇，等.基于Kinect的三維玉米植株骨架提取[J].系統(tǒng)仿真學(xué)報(bào)，2017，29（3）：524-530.

[18] 余秀麗，王丹丹，牛磊磊，等.Kinect在現(xiàn)代農(nóng)業(yè)信息領(lǐng)域中的應(yīng)用與研究進(jìn)展[J].農(nóng)機(jī)化研究，2015，37（11）：216-221.

[19] 趙元棣，溫維亮，郭新宇，等.基于參數(shù)化的玉米葉片三維模型主脈提取[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2012，43（4）：183-187.

[20] 朱袁旭.基于多視角圖片的三維重建算法實(shí)現(xiàn)[D].南京：東南大學(xué)，2019.

[21] 鄭太雄，黃帥，李永福，等.基于視覺的三維重建關(guān)鍵技術(shù)研究綜述[J].自動(dòng)化學(xué)報(bào)，2020，46（4）：631-652.

[22] ZOU X J，ZOU H X，LU J.Virtual manipulator-based binocular stereo vision positioning system and errors modelling[J].Machine vision and applications，2012，23（1）：43-63.

[23] 李占賢，許哲.雙目視覺的成像模型分析[J].機(jī)械工程與自動(dòng)化，2014（4）：191-192.

[24] 張文明，劉彬，李海濱.基于雙目視覺的三維重建中特征點(diǎn)提取及匹配算法的研究[J].光學(xué)技術(shù)，2008，34（2）：181-185.

[25] BRUNO F，BIANCO G，MUZZUPAPPA M，et al.Experimentation of structured light and stereo vision for underwater 3D reconstruction[J].ISPRS journal of photogrammetry and remote sensing，2011，66（4）：508-518.

[26] SMISEK J，JANCOSEK M，PAJDLA T.3D with kinect[C]//2011 IEEE International Conference on Computer Vision Workshops（Conference Paper）.Barcelona，Spain：IEEE，2011：1154-1160.

[27] HIRSCHMULLER H，SCHARSTEIN D.Evaluation of stereo matching costs on images with radiometric differences[J].IEEE transactions on pattern analysis and machine intelligence，2009，31（9）：1582-1599.

[28] 黃林超.基于雙目立體視覺的三維重建技術(shù)研究[D].廣州：華南理工大學(xué)，2019.

[29] WHEATSTONE C.Contributions to the physiology of vision.Part the first.On some remarkable，and hitherto unobserved，phenomena of binocular vision[J].Philosophical transactions of the royal society of London，2009，128：371-394.

[30] SHIPLEY T.The first random-dot texture stereogram[J].Vision research，1971，11（12）：1491-1492.

[31] JULESZ B，MILLER J E.Automatic stereoscopic presentation of functions of two variables[J].Bell system technical journal，1962，41（2）：663-676.

[32] WRIGHT W D.Foundations of cyclopean perception[J].Journal of modern optics，1972，19（6）：550.

[33] JULESZ B.Towards the automation of binocular depth perception[J].Communications of the ACM，1962，5（6）：439-444.

[34] ZHI Q，COOPERSTOCK J R.Toward dynamic image mosaic generation with robustness to parallax[J].

IEEE transactions on image processing，2012，21（1）：366-378.

[35] MARR D，NISHIHARA H K.Representation and recognition of the spatial organization of three-dimensional shapes[J].Proceedings of the royal society of london，1978，200（1140）：269-294.

[36] GRIMSON W? W L.A computer implementation of a theory of human stereo vision[J].Philosophical transactions of the royal society B：Biological sciences，1981，292（1058）：217-253.

[37] CAO H，WANG R W，WEN X B，et al.A novel recognition algorithm in 3D point clouds based for on local spherical harmonics[C]//2019 IEEE International Conference on Mechatronics and Automation（ICMA）.Tianjin，China：IEEE，2019：1041-1046.

[38] ASADA M，TANAKA T，HOSODA K.Adaptive binocular visual servoing for independently moving target tracking[C]//Proceedings of the 2000 IEEE International Conference on Robotics & Automation.San Francisco，CA，USA：IEEE，2000.

[39] FANG Y，MASAKI I，HORN B.Depth-based target segmentation for intelligent vehicles：Fusion of radar and binocular stereo[J].IEEE transactions on intelligent transportation systems，2002，3（3）：196-202.

[40] 魏菊錦.基于雙目視覺的三維重建方法研究[D].沈陽：沈陽工業(yè)大學(xué)，2016.

[41] 阮曉東，李世倫，諸葛良，等.用立體視覺測(cè)量多自由度機(jī)械裝置姿態(tài)的研究[J].中國(guó)機(jī)械工程，2000，11（5）：571-573.

[42] 高慶吉，洪炳熔，阮玉峰.基于異構(gòu)雙目視覺的全自主足球機(jī)器人導(dǎo)航[J].哈爾濱工業(yè)大學(xué)學(xué)報(bào)，2003，35（9）：1029-1032，1088.

[43] 王保豐，周建亮，唐歌實(shí)，等.嫦娥三號(hào)巡視器視覺定位方法[J].中國(guó)科學(xué)：信息科學(xué)，2014，44（4）：452-460.

[44] 劉妤，劉灑，楊長(zhǎng)輝，等.基于雙目立體視覺的重疊柑橘空間定位[J].中國(guó)農(nóng)業(yè)科技導(dǎo)報(bào)，2020，22（9）：104-112.

[45] 王磊，李會(huì)容，周科，等.嵌入式ARM的果蔬采摘雙目視覺系統(tǒng)與算法設(shè)計(jì)[J].光電子·激光，2020，31（1）：71-80.

[46] 周云成，許童羽，鄧寒冰，等.基于自監(jiān)督學(xué)習(xí)的番茄植株圖像深度估計(jì)方法[J].農(nóng)業(yè)工程學(xué)報(bào)，2019，35（24）：173-182.

[47] JAFARI MALEKABADI A，KHOJASTEHPOUR M，EMADI B.Disparity map computation of tree using stereo vision system and effects of canopy shapes and foliage density[J].Computers and electronics in agriculture，2019，156：627-644.

[48] NUGROHO A P，F(xiàn)ADILAH M A N，WIRATMOKO A，et al.Implementation of crop growth monitoring system based on depth perception using stereo camera in plant factory[J].IOP conference series earth and environmental science，2020，542（1）：1-9.

[49] 殷悅，張慧春，鄭加強(qiáng).基于雙目立體視覺的植物三維重建系統(tǒng)[J].中國(guó)農(nóng)機(jī)化學(xué)報(bào)，2021，42（3）：129-135.

[50] 楊鵬樹，劉卉，王曉翠，等.基于雙目視覺的作物苗期障礙物三維信息檢測(cè)方法[J].農(nóng)機(jī)化研究，2021，43（4）：11-16.

[51] ZOYMAK1 B.Determination of plant height for crop and weed discrimination by using stereo vision system[J].Journal of tekirdag agricultural faculty，2020，17（1）：97-107.

[52] BAO Y，TANG L，BREITZMAN M W，et al.Field-based robotic phenotyping of sorghum plant architecture using stereo vision[J].Journal of field robotics，2019，36（2）：397-415.

[53] CUEVAS-VELASQUEZ H，GALLEGO A J，F(xiàn)ISHER R B.Segmentation and 3D reconstruction of rose plants from stereoscopic images[J].Computers and electronics in agriculture，2020，171：1-29.

[54] 殷小舟，淮永建，黃冬輝.基于雙目立體視覺的花卉三維重建[J].揚(yáng)州大學(xué)學(xué)報(bào)（農(nóng)業(yè)與生命科學(xué)版），2012，33（3）：91-94.

[55] 賀磊盈，武傳宇，杜小強(qiáng).基于雙輪廓同步跟蹤的果樹枝干提取及三維重建[J].農(nóng)業(yè)工程學(xué)報(bào)，2014，30（7）：182-189.

[56] DANDRIFOSSE S，BOUVRY A，LEEMANS V，et al.Imaging wheat canopy through stereo vision：Overcoming the challenges of the laboratory to field transition for morphological features extraction[J].Frontiers in plant science，2020，11：1-15.

[57] 王偉羊.基于計(jì)算機(jī)視覺的采茶機(jī)導(dǎo)航技術(shù)研究[D].杭州：浙江工業(yè)大學(xué)，2016.

[58] 鄭瓊娥，雷國(guó)銓.三產(chǎn)融合與茶產(chǎn)業(yè)轉(zhuǎn)型升級(jí)：?jiǎn)栴}、驅(qū)動(dòng)力與路徑[J].學(xué)術(shù)交流，2019（5）：114-123.

[59] 劉珈妮，劉少群，孫彬妹，等.茶產(chǎn)業(yè)科技扶貧模式與經(jīng)驗(yàn)淺析[J].福建茶葉，2020，42（6）：115-116.