實測數(shù)據(jù)驅(qū)動的小型植物三維重建研究

陸聲鏈， 李 幗， 吳 升

(1.廣西師范大學 計算機科學與信息工程學院 廣西 桂林 541004；2.北京農(nóng)業(yè)信息技術研究中心 北京 100097)

實測數(shù)據(jù)驅(qū)動的小型植物三維重建研究

陸聲鏈1， 李 幗1， 吳 升2

(1.廣西師范大學 計算機科學與信息工程學院 廣西 桂林 541004；2.北京農(nóng)業(yè)信息技術研究中心 北京 100097)

以小型植物為對象，根據(jù)植物的形態(tài)結(jié)構(gòu)特點，采用三維數(shù)字化技術獲取植物主干和枝條的空間信息，重建植物枝干骨架拓撲結(jié)構(gòu)模型；然后以植物器官的三維網(wǎng)格模型為模板，結(jié)合不同器官在植物上的生長規(guī)律，實現(xiàn)植物形態(tài)結(jié)構(gòu)的精細三維重建.實驗結(jié)果表明，該方法能較好地實現(xiàn)不同類型小型植物不同生長時期植株形態(tài)結(jié)構(gòu)的多分辨率三維重建，用戶可以根據(jù)需要調(diào)整三維模型的精細程度，從而為開展植物株型分析研究、植物品種展示及植物三維資源庫開發(fā)等應用提供了簡單、靈活的技術.

植物形態(tài)建模; 三維數(shù)字化; 三維重建; 數(shù)字植物

0 引言

植物形態(tài)結(jié)構(gòu)的建模是計算機圖形學和農(nóng)學研究領域的重要研究內(nèi)容. 從20世紀70年代起，圍繞植物形態(tài)結(jié)構(gòu)的三維建模，研究者提出了各種各樣的方法，包括L-systems[1]及其改進方法[2]、參考軸技術[3]、雙尺度自動機模型[4]和GreenLab模型[5]等.由于這些方法對植物形態(tài)結(jié)構(gòu)進行了高度的抽象，因此需要具有豐富的植物結(jié)構(gòu)甚至生理知識才能較好地構(gòu)建特定植物的三維形態(tài)結(jié)構(gòu)模型.近年來，隨著各種現(xiàn)代測量儀器在工業(yè)上的成功應用，越來越多的研究者在嘗試基于實測數(shù)據(jù)的植物形態(tài)結(jié)構(gòu)三維重建.按數(shù)據(jù)源獲取方式的不同，這些方法可以分為3種：基于圖像的重建[6-10]、基于三維數(shù)字化儀測量數(shù)據(jù)的重建[11-15]和基于數(shù)據(jù)點云的重建[16-19].

圖1 總體實施流程Fig.1 Overview of the implementation process

雖然目前基于實測數(shù)據(jù)的植物形態(tài)測量和重建方面的研究取得了一些進展，但由于植物形態(tài)結(jié)構(gòu)特有的復雜性，使得植物形態(tài)結(jié)構(gòu)的原位測量和精確三維重建仍然是一個十分困難的問題.本文針對作物株型分析、植物品種展示等應用中對小型植物形態(tài)結(jié)構(gòu)的原位測量和高精度三維重建的需求，在兼顧重建質(zhì)量和數(shù)據(jù)獲取時間成本的情況下，綜合考慮了以上3種重建方法的適用性和優(yōu)劣，選用三維數(shù)字化儀作為植物形態(tài)特征數(shù)據(jù)的獲取設備.

1 總體實施流程

本文方法的總體實施流程如圖1所示，主要包括數(shù)據(jù)獲取、骨架重建、植株重建3個步驟.其中，數(shù)據(jù)獲取階段主要是利用三維數(shù)字化儀按某種規(guī)則從植物上獲取代表植株拓撲結(jié)構(gòu)的三維空間點坐標；在骨架重建階段，根據(jù)事先定義好的數(shù)據(jù)獲取規(guī)則，對這些空間點坐標進行解析，實現(xiàn)植株枝干拓撲結(jié)構(gòu)的三維重建；最后基于植物的骨架結(jié)構(gòu)，結(jié)合第一步獲取得到的植株上每個器官的空間位置信息，從器官模板中選取相應器官的三維網(wǎng)格模板，從而實現(xiàn)單株植物的精細三維重建.

2 關鍵技術

2.1 植株拓撲結(jié)構(gòu)數(shù)據(jù)獲取

每一棵植物都是由枝條、葉子、花、果實等器官組成的，考慮到葉子是影響植物的外觀形態(tài)和功能計算的主要器官，因此我們在獲取數(shù)據(jù)時僅考慮植物枝干和葉子，花、果實、卷須等其他附屬器官僅在植株重建時根據(jù)需要靈活添加.

圖2 黃瓜植株的重建Fig.2 Reconstruction of cucumber stand

以單葉植物(即每個節(jié)間只有一片葉子的植物)為例，每個節(jié)間僅需少數(shù)幾個空間特征點即可較好地描述一片葉子的空間形態(tài).例如，在圖2中的黃瓜植株上選取5個點.其中，p1為葉子在枝條(莖)上的著生點，p2為葉柄和葉片的交叉點，那么p1、p2兩個點不僅確定了該葉柄的長度，而且指定了其空間走向；p3是葉尖點，p4和p5分別是葉子左右邊緣的最外側(cè)點.顯而易見，p2和p3確定了葉片的長度，p4和p5則確定了葉片的寬度.因此，這5個特征點不僅能夠確定枝條上一個節(jié)位上葉子的空間姿態(tài)，同時也確定了該葉子的大小和方向.當然，也可以選取更多的特征點，如圖2所示，每個節(jié)間選取11個點，以便能夠更好地描述葉子的空間姿態(tài).不過，更多的點意味著需要更多的測量時間.

三維數(shù)字化儀具有精確測量物體空間三維坐標的功能，因此我們用三維數(shù)字化儀進行上述植物形態(tài)空間特征點的獲取.由于植物往往具有多根枝條(莖)，枝條上還可能有分支，每根枝條往往有多個節(jié)間.對于數(shù)據(jù)獲取順序，一般是從根部往上的順序進行數(shù)據(jù)獲取，即對同一根枝條，從枝條根部的節(jié)間開始，順序往其頂部節(jié)間進行獲取，每獲取一根枝條，就將該枝條的所有特征點保存到同一個文件中.需要注意的是，當一棵植物有多個枝條時，從根部往上，逐根枝條進行測量，當遇到某個枝條存在分支時，測量完該枝條上每個節(jié)間的特征點后，馬上按從下往上的順序，對每個分支進行測量.所有枝條測量完成后，將這些枝條對應的特征點數(shù)據(jù)文件都保存在同一個文件夾中.

2.2 骨架重建

如上一小節(jié)所述，在每個節(jié)間的特征點中，相鄰兩個節(jié)的葉子的著生點同時確定了枝條上對應節(jié)間的長度和空間走向，將一根枝條上每個節(jié)間的葉子著生點連接起來，即可實現(xiàn)枝條骨架的重建.同時，在數(shù)據(jù)獲取時將每根枝條的特征點順序保存在同一個文件中，讀取這些特征點后，根據(jù)數(shù)據(jù)獲取時制定的規(guī)則，包括每個節(jié)間獲取幾個點，就可以對這些數(shù)據(jù)進行分組，每組數(shù)據(jù)就對應了一個葉子的空間姿態(tài).因此，骨架重建就是對三維數(shù)字化儀所獲取的植株特征點數(shù)據(jù)進行解析并進行拓撲結(jié)構(gòu)連接.圖2中，b是按a所示的規(guī)則獲取特征點數(shù)據(jù)進行重建后得到的黃瓜植株骨架.其中，曲線上的點為三維數(shù)字化儀直接獲取得到的植株特征點，通過連接這些特征點即可勾畫出表示植株的莖(藤蔓)、葉柄和葉片邊緣輪廓的線條.這些線條是利用特征點作為控制點,然后用B樣條曲線表示的[20].從圖2b即可看出，這樣的植株骨架已經(jīng)精確地描述了一個植株的主要空間拓撲結(jié)構(gòu)，包括每個葉子的大小和空間朝向.

2.3 植株重建

植株重建的任務是在骨架重建的基礎上，重構(gòu)植株上每個器官的三維形態(tài)，主要包括枝條(莖)、葉子的網(wǎng)格曲面生成以及其他附屬器官的添加.

其中，枝條(莖)和葉柄都可以看作類圓柱形物體，可以在骨架線的基礎上加上半徑，然后利用參數(shù)化方法生成圓柱體網(wǎng)格曲面[20].而半徑信息可以在數(shù)據(jù)獲取階段手工測量得到，也可以作為用戶手工調(diào)整的參數(shù).對于葉片三維曲面的重建，最簡單的方法是在骨架重建得到的每個葉片輪廓線的基礎上，利用參數(shù)化方法生成.例如圖2c，就是對葉片用Delaunay三角化方法得到的三維重建結(jié)果.

從圖中也可以看出，由于在獲取數(shù)據(jù)時每個葉子僅采集了少數(shù)幾個特征點，通過這些點重建的葉片邊緣都很光滑，與大多數(shù)具有裂片、鋸齒等邊緣形態(tài)特征的真實植物葉片存在較大差距.要精細地描述植物葉子復雜的外形特征，就需要采集幾十甚至更多的特征點，這無疑會極大增加數(shù)據(jù)采集的時間成本.為此，我們采用了器官模板技術，用來在不增加三維特征點數(shù)據(jù)采集工作量的基礎上，提高植株器官曲面三維重建的精細程度.

圖3 3個黃瓜葉片模板Fig.3 Three templates of cucumber leaves

以葉片為例，器官模板技術的處理流程如下：首先建立目標植物若干個葉片的三維網(wǎng)格曲面(圖3即為3個黃瓜葉片的網(wǎng)格曲面模型)，每個葉片網(wǎng)格曲面即為一個模板，并以.obj格式的外部文件存儲到模板庫中.在植株重建過程中，由于植株骨架上每個葉片的特征點確定了該葉片的位置、大小和方向，因此對每個葉子，直接從葉片模板庫中選取一個葉片網(wǎng)格曲面，放置到指定空間位置并根據(jù)對應的特征點調(diào)整該網(wǎng)格曲面的大小和方向即可.

2.4 器官模板的構(gòu)建

與植物個體相比，植物器官同樣具有豐富的外部形態(tài).如果對植株上每個器官都建立其三維網(wǎng)格曲面模型的話，又將是一件巨大的工作.考慮到相同品種的植物器官都有極大的相似性，同種器官形態(tài)上的區(qū)別更多體現(xiàn)在因處于不同生長階段而表現(xiàn)的不同.例如，同一根枝條上的葉子，根部出生較早的葉子和中部以及頂部萌發(fā)較晚的葉子普遍存在明顯差異.

因此，以節(jié)位為依據(jù)，將植物的葉子分為下部葉、中部葉和上部葉3種類型，對每種類型的葉子，利用高精度三維掃描儀直接從植物群體中抽樣獲取該類型葉子幾個葉片的三維點云數(shù)據(jù)，并重建每個采樣葉片的三維曲面模型(見圖1).

3 應用示例

本文描述的基于三維數(shù)字化測量數(shù)據(jù)的小型植物三維重建方法已經(jīng)在Visual Studio 2008開發(fā)環(huán)境下結(jié)合OpenGL圖形引擎進行了實現(xiàn)，本小節(jié)將選取部分植物為例子，展示該方法如何實現(xiàn)植物形態(tài)結(jié)構(gòu)的多尺度建模.

第一個例子將展示如何通過數(shù)字化儀測量數(shù)據(jù)進行西瓜植株和群體的三維重建.在該例子中，利用Polhemus FastScan三維掃描儀附帶的數(shù)字化探筆獲取了8棵西瓜植株的空間拓撲結(jié)構(gòu)特征點，基于這些特征點可自動初步重建每個植株的三維模型(圖4b)，最后利用葉子的模板進行精細重構(gòu).所開發(fā)的軟件同時提供了批量導入特征點的功能以實現(xiàn)群體的三維重建(見圖4d).

我們也在葡萄樹、梔子樹、蘋果樹等形態(tài)結(jié)構(gòu)更為復雜的樹木類植物的小樹齡植株上測試了該方法，圖5展示了三維數(shù)字化儀測量數(shù)據(jù)的工作現(xiàn)場和葡萄樹、梔子樹的三維重建結(jié)果.

4 討論和結(jié)語

本文介紹了一個結(jié)合三維數(shù)字化儀測量數(shù)據(jù)和器官網(wǎng)格模板的小型植物精細三維重構(gòu)的技術方案及實現(xiàn)案例.該方法可以構(gòu)建不同種類小型植物的三維植物模型，并通過調(diào)整器官模板的網(wǎng)格精度的方式靈活控制植株三維模型的精度.該方法避免了僅利用葉子的少量形態(tài)特征點進行重建而導致的冠層葉子模型精度不高的問題，同時又充分利用了植物葉子所具有的形態(tài)相似性，沒有對植物的每一個葉片進行三維掃描，從而極大減少了數(shù)據(jù)采集時間.兩者結(jié)合起來，使重建的植物三維模型具有更高的準確性和精度，同時盡量減少植物三維重建所需要的數(shù)據(jù)獲取時間.

圖4 西瓜植株及群體三維重建過程Fig.4 3D reconstruction of watermelon stand and community

圖5 幼齡果樹的三維重建Fig.5 3D reconstruction of small fruit trees

需要指出的是，植物的形態(tài)結(jié)構(gòu)十分復雜，本文的工作僅考慮植物某個特定時期的靜態(tài)結(jié)構(gòu)建模.而實際上，植物是動態(tài)生長的，隨時受環(huán)境的影響并在形態(tài)和外觀上做出反饋.特別是在需要考慮周圍的環(huán)境因素的情況下，構(gòu)建幾何、顏色、紋理和生理功能均與真實植物高度吻合的植物模型仍然有很多問題需要解決，有待進一步深入研究.

[1] PRUSINKIEWICZ P. Modeling and visualization of biological structures[C]// Proceeding of Graphics Interface '93. Toronto, 1993:128-137.

[2] 常村紅，葛寒松，譚同德. 三維樹木模擬研究與應用[J]. 河南科技大學學報(自然科學版), 2012,33(1):41-44.

[3] DE REFFYE P, EDELIN C, FRANCON J, et al. Plant models faithful to botanical structure and development[J]. Computer graphics, 1988, 22(4): 151-158.

[4] ZHAO X, DE REFFYE P, XIONG F L, et al. Dual-scale automaton model for virtual plant development[J]. Chinese journal of computers, 2001, 24(6):608-615.

[5] HU B G, DE REFFYE P, ZHAO X, et al. GreenLab: a new methodology towards plant functional-structural model-structural aspect[C]// International Symposium on Plant Growth, Modeling, Simulation, Visualization and Their Applications. Beijing, 2003: 21-35.

[6] QUAN L, TAN P, ZENG G. Image-based plant modeling[J]. ACM transactions on graphics, 2006, 25(3): 599-604.

[7] TAN P, FANG T, XIAO J, et al. Single image tree modeling[J]. ACM transaction on graphics, 2008, 27(5):1-7.

[8] 趙春江，楊亮，郭新宇，等. 基于立體視覺的玉米植株三維骨架重建[J]. 農(nóng)業(yè)機械學報, 2010,41(4): 157-162.

[9] 王傳宇，郭新宇，吳升，等. 采用全景技術的機器視覺測量玉米果穗考種指標[J]. 農(nóng)業(yè)工程學報,2013,29(24): 155-162.

[10]KAZMII W, FOIX S, ALENYA G, et al. Indoor and outdoor depth imaging of leaveswith time-of-flight and stereo vision sensors: analysis and comparison[J]. ISPRS journal of photogrammetry and remote sensing, 2014,88: 128-146.

[11]SINOQUET H, MOULIA B, BONHOMME R. Estimating the three-dimensional geometry of a maize crop as an input of radiation models: comparison between three dimensional digitising and plant profiles[J]. Agr for Meteorol, 1991, 55(3/4):233-249.

[12]SINOQUET H, RIVET P, GODIN C. Assessment of the three-dimensional architecture of walnut trees using digitising[J]. Silva fennica,1997, 31(3):265-273.

[13]WU J, GUO Y. An integrated method for quantifying root architecture of field-grown maize[J]. Annals of botany, 2014，114: 841-851.

[14]LU S L, GUO X Y, DU J J, et al. Reconstruction of tree structure from multi-scale measurement data[C]//World Automation Congress.Hawaii,2014:855-858.

[15]DALLABETTA N, COSTA F, GUERRA A, et al. 3D digitizing tool to determine fruit quality distribution within the canopy[C]//The X International Symposium on Modelling in Fruit Research and Orchard Management. Montpellier, 2015: 27.

[16]CHENG Z, ZHANG X, CHEN B. Simple reconstruction of tree branches from a single range image[J]. Journal of computer science and technology, 2007, 22(6): 846-858.

[17]BOUDON F, PREUKSAKAM C, FERRARO P, et al. Quantitative assessment of automatic reconstructions of branching systems[C]// Proceedings of the 7th International Conference on Functional-Structural Plant Models. Finland, 2013: 64-66.

[18]SYLVAIN D, CHRISTIAN J, PASCAL R. PypeTree: a tool for reconstructing tree perennial tissues from point clouds[J]. Sensors, 2014, 14(3): 4271-4289.

[19]BALDUZZI M, BOUDON F, GODIN C. Optimal 3D reconstruction of plants canopy from terrestrial laser scanner data by fusion of the 3D point information and the intensity value[C]//Proceedings of the 7th International Conference on Functional-Structural Plant Models. Finland, 2013:58-60.

[20]趙春江, 陸聲鏈, 郭新宇, 等. 西瓜三維形態(tài)幾何建模和真實感繪制技術研究[J]. 中國農(nóng)業(yè)科學, 2008, 41(12): 4155-4163.

(責任編輯：王浩毅)

Data-driven 3D Reconstruction of Small Plant Structure

LU Shenglian1, LI Guo1, WU Sheng2

(1.CollegeofComputerScienceandInformationTechnology,GuangxiNormalUniversity,Guilin541004,China;2.BeijingResearchCenterforInformationTechnologyinAgriculture,Beijing100097,China)

The method for a detailed 3D reconstruction of small plant was presented. Feature points measured by using 3D digitizer and organ’s 3D templates was combined .These feature points were used to reconstruct the skeleton model of the plant.The organ’s 3D template was created by 3D point cloud data measured from real plant organs, or created with interactive designing.The experimental results indicated that the proposed method was suitable for multi-scale structural modeling of different plants with high details and flexibility.

modeling plant structure; 3D digitization; 3D reconstruction; digital plant

2016-12-01

國家“863”高技術研究發(fā)展計劃項目(2013AA102405)．

陸聲鏈(1979—)，男，廣西桂平人，副研究員，主要從事計算機圖形學、虛擬現(xiàn)實方向研究，E-mail:shllu@126.com；通信作者：吳升(1982—)，男，河南駐馬店人，博士研究生，主要從事農(nóng)業(yè)信息技術研究，E-mail:wus@nercita.org.cn.

TP391

A

1671-6841(2017)03-0084-04

10.13705/j.issn.1671-6841.2016334