面向表型精確鑒定的豆株快速三維重建

傅汝佳，冼楚華，李桂清，萬雋杰，曹鋮，楊存義，高月芳

面向表型精確鑒定的豆株快速三維重建

傅汝佳1，冼楚華1，李桂清1，萬雋杰2，曹鋮2，楊存義2，高月芳2

（1.華南理工大學(xué) 計算機科學(xué)與工程學(xué)院，廣東 廣州 510006； 2.華南農(nóng)業(yè)大學(xué)農(nóng)學(xué)院，廣東 廣州 510640）

利用計算機視覺與圖像技術(shù)對植物進行數(shù)字化重建是植物表型組學(xué)的重要手段。以國內(nèi)常見的糧食作物豆類植株為研究對象，利用RGB-D深度相機采集的深度圖像對豆株進行快速三維數(shù)字化重建，首先，基于點云分層聚類提取點云骨架點；然后，根據(jù)各骨架點到根節(jié)點的最短距離連接第一階段的主干骨架點，并根據(jù)形態(tài)特征篩選子圖和主干圖的連接點、選擇子圖生長路徑；最后，由連接骨架進行植物數(shù)字化建模。實驗表明，基于真實大豆植株點云的單幀和配準數(shù)據(jù)，本文方法能對不同形態(tài)特征的大豆植株進行快速三維重建，并能對分辨率不高、噪音干擾較大、配準誤差較大等情形做處理。

植物表型組學(xué)；植物三維重建；骨架提??；植物建模

三維植物重建是計算機圖形學(xué)、計算機視覺和數(shù)字農(nóng)業(yè)等領(lǐng)域的研究熱點。真實精確的三維植物形狀可以應(yīng)用于游戲動畫圖形、虛擬現(xiàn)實、農(nóng)業(yè)數(shù)字化生產(chǎn)等領(lǐng)域。具有真實感的三維植物模型也是網(wǎng)絡(luò)虛擬場景中最具代表性的自然景觀模型，被廣泛應(yīng)用于虛擬旅游、虛擬城市和虛擬生態(tài)景觀模擬以及數(shù)字化農(nóng)業(yè)生產(chǎn)等領(lǐng)域。同時，數(shù)字植物是數(shù)字農(nóng)業(yè)的基礎(chǔ)性工作，綜合利用數(shù)字化技術(shù)對植物的生命過程和農(nóng)業(yè)生產(chǎn)過程進行定量化和可視化研究，而植物形態(tài)結(jié)構(gòu)的真實感建模與三維可視化正是數(shù)字植物首先要解決的問題之一。

植物表型組學(xué)是研究植物生長、表現(xiàn)和組成的科學(xué)，近年來植物表型組學(xué)作為一種有前景的干預(yù)手段廣受關(guān)注，在植物發(fā)育過程中對高維植物形態(tài)進行準確、高通量的測量是植物表型組學(xué)的研究內(nèi)容之一，大豆是重要的糧食和油料作物，是高質(zhì)量人類蛋白質(zhì)的主要來源，可以預(yù)見，隨著人口的增加和土地的退化，對大豆的需求將不斷增加，然而由于大豆植物的復(fù)雜性，對大豆植株表型的研究較少。研究植物的形態(tài)結(jié)構(gòu)對于明確大豆的生長規(guī)律具有重要意義，理想的方法是將大豆的每個器官三維重建為精細的器官網(wǎng)格，得到所有形態(tài)學(xué)表型特征，如骨架結(jié)構(gòu)、葉片寬度和莖稈粗細等。但在大多情況下，很難獲得單個植物的完整形態(tài)。因此，解析這些器官特征的另一種方法是從3D點云中提取骨架。

近年來，由于民用級深度相機可用性和功率的提高，令掃描小型和復(fù)雜植物更為方便，為大豆植株快速三維重建提供了可能。消費級RGB-D掃描設(shè)備（如微軟Kinect二代掃描設(shè)備等）價格低廉、系統(tǒng)簡單，適合在室內(nèi)場所構(gòu)建植物三維重建系統(tǒng)。但基于RGB-D的三維植物掃描面臨深度相機分辨率較低、掃描范圍小、噪聲大、深度信息易缺失等問題，通過提取三維植物的骨架點進行建模是解決這些問題較便利可行的方法之一。

大豆植株的形態(tài)特征對選育種、長勢監(jiān)測、長相評價都有重要意義，骨架是植株表型中結(jié)構(gòu)特征的簡明表示，有助于描述其形狀和三維物體的基本拓撲結(jié)構(gòu)。植物點云通常由一個軀干和諸多復(fù)雜密集的植物莖稈分支以及葉片組成，用深度相機掃描得到的點云提取植物骨架，由于受掃描設(shè)備精度限制，加之枝葉復(fù)雜、數(shù)據(jù)嘈雜不完整，提取比較棘手。

為此提出一種多階段處理框架，通過Kinect對得到的大豆植株點云進行快速植物三維重建。方法分4步，每步的輸入都以上一階段的輸出結(jié)果作為初值。第1階段：對Kinect采集的點云數(shù)據(jù)進行數(shù)據(jù)預(yù)處理和多幀配準，得到完整的植株點云；第2階段：對第1階段得到的大豆植株點云進行分層采樣，對每一層級進行聚類，得到植株的骨架點；第3階段：設(shè)置骨架圖，對每個點的近鄰，以歐氏距離為權(quán)重構(gòu)造連通圖，從最低點開始進行Dijkstra路徑生長，得到骨架點主干圖，并對每個分支子圖進行主干點和子圖對應(yīng)點篩選，對篩選得到的每個分支點分別進行Dijkstra路徑生長，并連接主干點和子圖的對應(yīng)點；第4階段：觀察大豆植株的形態(tài)特征，設(shè)置植物骨架對應(yīng)的半徑，通過pyvista可視化庫進行三維可視化。

1　相關(guān)工作

本節(jié)分別從基于點云的骨架提取以及植物點云建模介紹相關(guān)工作。

1.1　基于點云的骨架提取

BLUN［1］利用對稱軸分析法根據(jù)模型視覺特征提取骨架，但在現(xiàn)實應(yīng)用中難以實現(xiàn)。CAO等［2］建立了一種簡易的基于近鄰的點云拓撲關(guān)系，用拉普拉斯算子將點云模型壓縮為零體積的點集，然后對點集進行拓撲細化，獲得模型的曲線骨骼。Voronoi圖和Reeb圖是2種具代表性的基于數(shù)學(xué)結(jié)構(gòu)分析的點云骨架提取方法，DEY等［3］提出一種用Voronoi圖直接近似骨骼曲線的方法，但Voronoi圖方法只適合提取簡單多面體骨架，不適合離散模型，其缺點是對噪聲非常敏感，并且隨著模型復(fù)雜度的增加，算法的計算量將非常龐大。Reeb圖由SHINAGAWA等［4］提出，利用數(shù)據(jù)輸入點中的標量函數(shù)，構(gòu)造數(shù)據(jù)結(jié)構(gòu)圖，對數(shù)據(jù)邊緣點與點之間的關(guān)系進行映射。HUANG等［5］針對三維點云數(shù)據(jù)提出了一種L1中軸骨架提取算法，對原始點云進行隨機采樣，通過不斷擴大鄰域半徑，迭代收縮采樣點，將采樣點均勻地投影到鄰域的中心位置，得到收縮的線性骨架。SHAF等［6］通過構(gòu)造一個可變形的球體網(wǎng)格使其在點云內(nèi)部沿各個方向擴展生長，在變形過程中獲取不完整點云的骨架。NIBLACK等［7］引入鞍點的概念，解決了基于距離變換提取的骨架連通性問題，得到連通的線骨架。WU等［8］基于物理學(xué)中互斥力計算模型的平衡點，得到模型的骨骼曲線。就植物點云而言，LIVNY等［9］將植物骨架結(jié)構(gòu)定義為枝干結(jié)構(gòu)圖（BSG），由根節(jié)點為起點，以任意兩點的歐氏距離為權(quán)重，以權(quán)重為路徑用Dijkstra算法構(gòu)建最小路徑圖，并設(shè)置若干與植物生長關(guān)聯(lián)的幾何參數(shù)，以植物形態(tài)特征，如上細下粗作為約束條件優(yōu)化骨架。DU等［10］基于點云生成Delaunay三角剖分，并生成最小生成樹，提取樹木骨架。BREMER等［11］結(jié)合基于對象的點云分析提取樹木骨架。張?zhí)彀驳龋?2］以Dijkstra距離分段為基礎(chǔ)，用線性規(guī)劃方法得到樹木骨架結(jié)構(gòu)。

1.2　植物點云建模

植物點云建?？煞譃閮深?。第1類利用軟件處理植物點云數(shù)據(jù)獲取植物參數(shù)，再利用建模軟件和得到的參數(shù)進行植物建模。PFEIFER等［13］用圓柱體和B-樣條曲線跟蹤和擬合點云數(shù)據(jù)，并成功重建了植物的枝干結(jié)構(gòu)。RUTZINGER等［14］將由車載激光設(shè)備獲得的點云數(shù)據(jù)進行Alpha Shape簡化，并基于提取的基本參數(shù)，遵循特定的生長規(guī)律生成Open Alea三維植物模型。TEOBALDELLI等［15］采集了數(shù)百棵無葉柳樹枝條樣本，用JRC-3D Reconstructor軟件提取樣本的幾何參數(shù)，構(gòu)建了多級樹狀圖，并用AMAPmod 重建了植物的形態(tài)結(jié)構(gòu)。第2類用算法直接處理點云數(shù)據(jù)，提取植物模型結(jié)構(gòu)。XU等［16］基于聚類的植物模型重建工作，利用經(jīng)驗范圍和歐氏距離生成植物的層級結(jié)構(gòu)，進而依據(jù)點與根節(jié)點之間的最短路徑參數(shù)對目標點進行算法排序，生成多個不同層級的聚類，按序連接具有相鄰系的聚類中心點，生成骨架，完成植物的三維重建； BUCKSCH等［17］將八叉樹作為存儲結(jié)構(gòu)，重新組織點云結(jié)構(gòu)，通過設(shè)置體素鄰域規(guī)則建立體素鄰域關(guān)系，并按照多體素空間法則完成八叉樹圖的創(chuàng)建，進而根據(jù)幾何學(xué)原理及自定義法則對節(jié)點進行合并與刪除操作，提取完整的植物骨架。

近年來，植物三維重建研究在國內(nèi)得到快速發(fā)展，鐘南等［18］綜合多種L-system的優(yōu)勢，三維可視化植物根系生長，實現(xiàn)了大豆的根系可視化；劉閣等［19］利用L-system生成了蘋果樹樹干和虛擬植物模型；陳勁等［20］用無向圖組織點云數(shù)據(jù)，基于類主干點約束生成最小生成樹初始樹木骨架，建立了高逼真度的樹木模型。

2　算法流程

用1臺二代掃描設(shè)備Kinect和1個轉(zhuǎn)盤掃描大豆植株數(shù)據(jù)。轉(zhuǎn)盤旋轉(zhuǎn)一周，相機距離植株約1 m，利用植株點云進行骨架提取，實現(xiàn)快速三維重建。步驟如下：

Step 1 數(shù)據(jù)采集和預(yù)處理。用一臺標定的Kinect 相機掃描大豆植株，植株在平臺上旋轉(zhuǎn)一周，每60°獲取一幀RGB-D數(shù)據(jù)，對RGB-D數(shù)據(jù)進行數(shù)據(jù)對齊處理，得到植株點云，用直通濾波去除植株背景，用統(tǒng)計濾波去除點云中的離群點。

Step 2 植株點云剛體配準。用自動旋轉(zhuǎn)平臺的方法對點云進行兩兩配準，將得到的不同角度的點云變換至同一坐標系下，實現(xiàn)點云拼接，并通過ICP方法進行精細配準。

Step 3 點云分層聚類。將配準點云的最低點作為植株點云的根節(jié)點，以歐氏距離為度量將點云分成多層，對各層點云分別進行歐氏聚類，將聚類重心作為骨架點。

Step 4 骨架點連接。將骨架點云視為一幅圖，取該點云每個點的近鄰為該點的鄰域（本文=4），即最接近該點的個點，連通領(lǐng)域內(nèi)的點云，得到點云圖的連通分量，從骨架點云的最低點出發(fā)生成Dijkstra路徑，得到骨架主干圖，并從其他連通分量子圖中篩選出最合適的路徑生長點，進行路徑生長及骨干圖連接。

Step 5 植株三維重建。通過pyvista可視化庫用圓柱進行骨架可視化，并通過觀察大豆植株的形態(tài)特征，定制圓柱半徑，隨機添加葉子，得到具有植株形態(tài)真實感的大豆植株虛擬模型。

2.1　點云獲取和剛體配準

2.1.1大豆RGB-D掃描數(shù)據(jù)采集與預(yù)處理

掃描設(shè)備為Kinect（v2），首先將大豆植株水平放置于旋轉(zhuǎn)平臺，將Kinect也水平放置于與植株高度相當(dāng)?shù)牡胤剑⒁忭毸椒胖?，植株?yīng)放置于旋轉(zhuǎn)平臺正中央。拍攝環(huán)境如圖1左側(cè)圖所示。

拍攝過程中，Kinect相機保持不動，首先將一支鉛筆豎立于旋轉(zhuǎn)平臺中央，獲取一幀旋轉(zhuǎn)平臺旋轉(zhuǎn)軸數(shù)據(jù)，將其用于配準，標記旋轉(zhuǎn)平臺刻度，每60°為一格；然后，植株所在的平臺旋轉(zhuǎn)一圈，每60°拍攝一幀，共6幀數(shù)據(jù)，分別調(diào)用Kinect的深度攝像頭和RGB攝像頭獲取深度信息和彩色信息；最后調(diào)用Kinect官方SDK進行深度圖和彩色圖對齊。深度像素和彩色像素坐標映射關(guān)系為

點云數(shù)據(jù)預(yù)處理流程如圖1所示，由于直接對齊生成的單幀點云離群點較多，須進行去除離群點操作。

圖1　點云數(shù)據(jù)預(yù)處理

2.1.2植株點云剛體粗配準

圖2　旋轉(zhuǎn)軸

步驟如下：

（5）求步驟（3）矩陣的逆。

（6）求步驟（2）矩陣的逆。

（7）求步驟（1）矩陣的逆。

2.1.3ICP精細配準

ICP是經(jīng)典的配準算法，可用于匹配2個點云，得到2個點云之間的位姿轉(zhuǎn)換關(guān)系。ICP采用最小二乘估計計算變換矩陣，原理簡單，精度較高。

ICP算法：

假設(shè)源點云和目標點云之間的位姿對應(yīng)關(guān)系由最近點確定，簡要流程如下：

（3）剔除距離較遠的點對。

（5）極小化誤差函數(shù)，當(dāng)對應(yīng)距離小于給定閾值時，算法結(jié)束；否則根據(jù)得到的旋轉(zhuǎn)平移更新源點云，繼續(xù)上述步驟。

依此類推，將各幀點云統(tǒng)一至第1幀坐標系，實現(xiàn)最終配準。

2.2　植株點云分層聚類

2.2.1植株點云分層

點云分層距離示意如圖3（a）所示，用相同顏色表示同一層點云，如圖3（b）所示。

圖4為=30時的點云分層情況，為方便區(qū)分，賦予不同層點云不同的顏色，可見，點云被細分成了多層。

圖4　K=30時點云分層

2.2.2歐氏聚類

經(jīng)分層后，可發(fā)現(xiàn)每層的大豆植株點云。觀察大豆植株的形態(tài)特征可知，枝干和主干之間存在明顯的空隙，這就使得同一層點云在空間上具有不連續(xù)性，可以就此特征利用局部點云的鄰接以及全局點云的非連續(xù)性，將每一層點云分別抽離出來進行歐氏聚類，并將重心作為骨架點。

歐氏聚類是基于歐氏距離考量的聚類方法，步驟如下：

在本文方法中，基于kdTree近鄰搜索加速歐氏聚類過程。骨架點的提取整體均勻，并且有效提取了植物的莖稈部分。

2.3　骨架點的連接

對得到的骨架點云，需用正確的骨架連接將其組織成正確的骨架形態(tài)，基于植物生長特性考量，采用Dijkstra路徑生長的方式模擬植物的生長過程，對骨架點云圖，將每個點云均設(shè)置為與臨近的個點相鄰，骨架點云連通圖隨的不同可能有1個或多個連通分量。具體步驟如下：

Step 1 設(shè)置點云圖的每個點與周邊最近的個點鄰接，以兩點之間歐氏距離為權(quán)重。

Step 2 從骨架點云圖的最低點開始路徑生長，生成主干骨架圖。

Step 3 對其他連通分量，基于后面2.3.3節(jié)的辦法進行子圖子節(jié)點與主干圖主節(jié)點連接點的篩選及路徑生長。

Step 4 連接子節(jié)點與主節(jié)點，算法結(jié)束。

2.3.1連通圖的生成

2.3.2主干圖的生成

并稱生成的路徑為主干圖，生成的主干圖如圖5所示。

2.3.3子圖的生成及與主干圖的連接

生成主干圖后，由于其他連通分量的點與主干圖點云路徑不可達，所以不在主干圖的路徑上，此時，基于植物形態(tài)考量，其他連通分量通常為離主干較遠的枝干，基于枝干的生長方向通常也是從離主干較近的某個點開始生長這一自然現(xiàn)象，提出以下枝干生成策略：

時選定作為主干上的主節(jié)點，記點集中的任意一點為，計算到的歐氏距離Di，直線與的夾角，到點集中某一點的距離。

2.4　骨架三維可視化

得到完整的骨架點以及骨架連接關(guān)系后，利用pyvista三維可視化庫進行骨架三維可視化。連接每段骨架，用圓柱類代替骨架，基于大豆植株形態(tài)特征考量，賦予每段圓柱半徑參數(shù)，并在過渡處做平滑處理，最后隨機添加樹葉，完成三維可視化工作。

2.4.1骨架半徑設(shè)置

隨機添加樹葉，最終得到的pyvista三維可視化圖如圖7所示。

3　實驗結(jié)果分析

3.1　骨架提取的均勻性分析

對2種不同骨架形態(tài)特征的植株進行了實驗，結(jié)果表明，本文方法提取骨架點的速度更快，骨架點分布更均勻，在噪聲較大的情況下，骨架提取質(zhì)量仍較好，見圖8。

圖8　點云骨架點提取

3.2骨架連接的正確性分析

對不同的植株骨架點進行了骨架連接，結(jié)果表明，骨架連接正確性良好，對不同的植株，均能較好地完成連接和還原植株骨架形態(tài)，見圖9。

圖9　完整骨架連接

3.3　骨架點生成及骨架連接時間分析

對不同植株點云的分層和聚類方法選擇及連接方式進行了時間測試，實驗表明，本文方法均能較快地對多植株點云數(shù)據(jù)進行骨架點獲取和骨架連接。為方便實驗對比，本文同時對2株大豆植株點云和1株較大的樹木點云骨架點獲取和連接時間進行了實驗（表1），結(jié)果表明，當(dāng)點云數(shù)較小時，聚類和骨架點獲取的時間較長，連接的時間較短，而當(dāng)點云數(shù)較大時，隨著骨架點的增多，近鄰搜索的時間隨之大幅增加，骨架點連接所需時間長于骨架點獲取時間?？傮w而言，本文方法可對小型大豆植株進行快速重建。

表1　植株點云重建耗時

3.4　魯棒性分析

受Kinect精度和植株枝葉茂盛影響，采集的點云數(shù)據(jù)噪聲和遮擋較多，以及因深度部分缺失導(dǎo)致點云部分缺失。針對以上問題，本文通過去除離群點等處理，效果有較大提升，當(dāng)某個角度拍攝的植株有枝葉遮擋時，可通過旋轉(zhuǎn)平臺旋轉(zhuǎn)拍攝多幀圖片，經(jīng)點云配準得到更完備的植株空間信息，并利用配準后的點云再配準。對枝葉更為稠密的點云，可增加聚類參數(shù)，設(shè)置更多分層，避免丟失植物空間信息。由于本文方法依賴植株枝葉的空間間隔，因此，當(dāng)植物枝葉茂密且枝葉間幾乎無間隔時效果欠佳，對擴散性生長、具有明顯枝葉間隔的植物效果較好。

3.5　樹木骨架重建方法對比及適用性分析

本文將樹木骨架重建方法應(yīng)用于大豆植株點云，整體而言，擴散性生長的樹木骨架重建方法對大豆植株的重建有一定借鑒意義，但由于大小和生長形態(tài)上的差異，且根部的營養(yǎng)運輸受高度影響，樹木的根部半徑和枝條半徑差異較大，故不能直接用樹木骨架重建方法處理大豆植株。

基于大豆植株的擴散性生長特點，本文直接將文獻［10］的樹木重建方法應(yīng)用于大豆植株點云（圖10），由圖10可知，植株根部十分粗大，末梢十分細小，失真度較高。同樣將該方法應(yīng)用于非大豆植株，實驗結(jié)果表明，對形態(tài)相似的外擴生長的植物具有一定的參考意義。

圖10　樹木重建方法應(yīng)用于大豆植株點云

而將本文方法應(yīng)用于非大豆植株時，實驗結(jié)果表明，本文方法對形態(tài)相似的外擴生長的植物具有一定參考意義。圖11為應(yīng)用本文方法時一棵樹的骨架點提取，圖12為其骨架連接，可見其骨架點提取均勻，骨架連接基本與樹木形態(tài)吻合。

圖11　樹木點云骨架點提取

圖12　樹木點云骨架連接

4　結(jié)語

在植物表型鑒定中，研究植株的形態(tài)結(jié)構(gòu)對研究植物的生長發(fā)育規(guī)律和培育育種有重要意義，植物的形態(tài)結(jié)構(gòu)可分為幾何結(jié)構(gòu)和拓撲結(jié)構(gòu)，骨架是對表型結(jié)構(gòu)特征的簡明表示，有助于描述形狀和三維物體的基本拓撲結(jié)構(gòu)。

基于大豆植株的點云，以歐氏距離為度量，用空間區(qū)分層次的方法對植株進行點云分層，并以歐氏聚類的中心點為骨架點，根據(jù)大豆植株的生長特性設(shè)計算法，進行骨架連接，最后根據(jù)大豆植株的特點設(shè)置參數(shù)，三維可視化具有結(jié)構(gòu)真實感的植株模型，將其用于植株的精確表型鑒定。在方法的普適性和魯棒性上仍有提升空間，未來工作將聚焦于以下四方面：

4.1 由于Kinect的精度問題，配準后的植株仍有較多的噪聲點，當(dāng)枝干過于稠密或遮擋較多時，基于空間歐氏距離的分層聚類方法，將對最終的配準精度造成很大影響，需繼續(xù)研究如何去噪。

4.2 植株點云骨架點提取，對枝干較為復(fù)雜的大豆植株，如果分層較少，則不能很好地還原植株真實拓撲結(jié)構(gòu)，分層過多則算法運行時間增加，且稠密的骨架點易產(chǎn)生錯誤連接，影響植株的真實感，對大豆植株形態(tài)的復(fù)雜性進行度量并自動分層是今后新的努力方向。

4.3 數(shù)據(jù)集聚類自適應(yīng)尺度問題。若要將本方法應(yīng)用于不同植物，則需要重新設(shè)置歐氏聚類的搜索半徑和最小聚類，操作較煩瑣，如能找到一種自適應(yīng)尺度的聚類方法，則可能具有更好的泛化性。

4.4 參數(shù)化重建。本文可抽象出幾個重點參數(shù)進行植物重建，如分層數(shù)、近鄰搜索設(shè)置的值、歐氏聚類的搜索參數(shù)鄰域半徑等，其中分層數(shù)的增加會增加植物骨架的細節(jié)，增加算法運行復(fù)雜度，近鄰搜索的值，需權(quán)衡植物點云局部連接的正確性和全局連通性，歐氏聚類則取決于重建植物的尺度。

［1］BLUM H. Biological shape and visual science （Part I）［J］. Journal of Theoretical Biology， 1973， 38（2）： 205-287. DOI： 10.1016/0022-5193（73）90175-6

［2］CAO J， TAGLIASACCHI A， OLSON M， et al. Point cloud skeletons via laplacian based contraction［C］//2010 Shape Modeling International Conference. Piscataway： IEEE， 2010： 187-197. DOI： 10.1109/SMI.2010.25.

［3］DEY T K， ZHAO W L. Approximating the medial axis from the Voronoi diagram with a convergence guarantee［J］. Algorithmica， 2004， 38（1）： 179-200. DOI： 10.1007/s00453-003-1049-y

［4］SHINAGAWA Y， KUNII T L. Constructing a Reeb graph automatically from cross sections［J］. IEEE Computer Graphics and Applications， 1991 （6）： 44-51. DOI： 10.1109/38.103393.

［5］HUANG H， WU S H， COHEN-OR D， et al.1-medial skeleton of point cloud［J］. ACM Transactions on Graphic，2013， 32（4）：65. DOI： 10.1145/2461912. 2461913.

［6］SHARF A， LEWINER T， SHAMIR A， et al. On the fly curve skeleton computation for 3D shapes［J］. Computer Graphics Forum， 2007， 26（3）： 323-328. DOI： 10.1111/j.1467-8659.2007.01054.x

［7］NIBLACK C W， GIBBONS P B， CAPSON D W. Generating skeletons and centerlines from the distance transform［J］. CVGIP： Graphical Models and Image Processing， 1992， 54（5）： 420-437. DOI： 10.1016/1049-9652（92）90026-T

［8］WU F C， MA W C， LIOU P C， et al. Skeleton extraction of 3D objects with visible repulsive force［C］//KOBBELT L，SCHEDER P，HOPDE H.Eurographics Symposium on Geometry Processing. New York： ACM Press， 2003.

［9］LIVNY Y， YAN F， OLSON M， et al. Automatic reconstruction of tree skeletal structures from point clouds［J］. ACM Transaction of Graphics， 2010， 29（6）：151. DOI： 10.1145/1866158.1866177

［10］DU S L， LINDENBERGH R， LEDOUX H， et al. AdTree： Accurate， detailed， and automatic modelling of laser-scanned trees［J］. Remote Sensing， 2019， 11（18）： 2074. DOI： 10.3390/rs11182074

［11］BREMER M， RUTZINGER M， WICHMANN V. Derivation of tree skeletons and error assessment using LiDAR point cloud data of varying quality［J］. ISPRS Journal of Photogrammetry and Remote Sensing， 2013， 80： 39-50. DOI： 10.1016/j.isprsjprs. 2013.03.003

［12］張?zhí)彀?，云挺，薛?lián)鳳，等. 基于骨架提取的樹木主枝干三維重建算法［J］. 南京師范大學(xué)學(xué)報（工程技術(shù)版）， 2014， 14（4）： 51-57. DOI： 10.3969/j.issn. 1672-1292.2014.04.009

ZHANG T A， YUN T， XUE L F， et al. Three-Dimensional reconstruction algorithm of tree limbs based on skeleton extraction［J］. Journal of Nanjing Normal University （Engineering and Technology Edition）， 2014， 14（4）： 51-57. DOI： 10.3969/j.issn. 1672-1292.2014.04.009

［13］PFEIFER N， WINTERHALDER D. Modelling of tree cross sections from terrestrial laser scanning data with free-form curves［C］//International Archives of Photogrammetry， Remote Sensing and Spatial Information Sciences. Nice： ISPRS， 2004： 76-81.

［14］RUTZINGER M， PRATIHAST A K， OUDE ELBERINK S， et al. Detection and modelling of 3D trees from mobile laser scanning data［C］//International Archives of Photogrammetry， Remote Sensing and Spatial Information Sciences. Nice： ISPRS， 2010： 520-525.

［15］TEOBALDELLI M， PUIG A D， ZENONE T， et al. Building a topological and geometrical model of poplar tree using portable on-ground scanning LIDAR［J］. Functional Plant Biology， 2008， 35（10）： 1080-1090. DOI： 10.1071/FP08053.

［16］XU H， GOSSETT N， CHEN B Q. Knowledge and heuristic-based modeling of laser-scanned trees［J］. ACM Transactions on Graphics， 2007， 26（4）： 19-es. DOI： 10.1145/1289603.1289610

［17］BUCKSCH A， LINDENBERGH R. CAMPINO： A skeletonization method for point cloud processing［J］. ISPRS Journal of Photogrammetry and Remote Sensing， 2008， 63（1）： 115-127. DOI： 10. 1016/j.isprsjprs.2007.10.004

［18］鐘南，羅錫文，秦琴. 基于生長函數(shù)的大豆根系生長的三維可視化模擬［J］. 農(nóng)業(yè)工程學(xué)報， 2008， 24（7）： 151-154. DOI： 10.3321/j.issn：1002-6819. 2008.07.031

ZHONG N， LUO X W， QIN Q. Modeling and visualization of three-dimensional soybean root system growth based on growth functions［J］. Transactions of the Chinese Society of Agricultural Engineering， 2008， 24（7）： 151-154. DOI： 10.3321/j.issn：1002-6819.2008.07.031

［19］劉閣，周國民，胡林. 基于 L 系統(tǒng)的開心形蘋果樹枝干模型［J］. 安徽農(nóng)業(yè)科學(xué)， 2009， 37（16）： 7795-7796， 7804. DOI： 10.3969/j.issn.0517-6611.2009. 16.191

LIU G， ZHOU G M， HU L. Trunk and branch model of open-center apple tree based on the L system［J］. Journal of Anhui Agricultural Sciences， 2009， 37（16）： 7795-7796， 7804. DOI： 10.3969/j.issn.0517-6611.2009.16.191

［20］陳動，張振鑫，王臻，等. 骨架優(yōu)化下的地面激光樹木點云重建方法［J］. 地球信息科學(xué)學(xué)報， 2019， 21（2）： 236-248. DOI：10.12082/dqxxkx.2019.180223

CHEN D， ZHANG Z X， WANG Z， et al. Individual tree modeling from terrestrial laser scanning point clouds via skeleton-based optimization［J］. Journal of Geo-Information Science， 2019， 21（2）： 236-248. DOI：10.12082/dqxxkx.2019.180223

Rapid 3D reconstruction of bean plant for accurate phenotype identification

FU Rujia1, XIAN Chuhua1, LI Guiqing1, WAN Juanjie2, CAO Cheng2, YANG Cunyi2, GAO Yuefang2

(1,,510006,;2,,510640,)

Using computer vision and image technology to digitally reconstruct plants is an important means for plant phenotyping. In this paper, we take the common grain crop legume plants in China as the research object, study the rapid three-dimensional digital reconstruction of the bean plants based on the depth images collected by the RGB-D depth camera for accurate phenotype identification. Firstly, the skeleton points are extracted from the point cloud of bean plant by employing a hierarchical clustering algorithm. Secondly, the backbone skeleton points of the first stage are connected according to the shortest distance of each skeleton point to the root node. According to the morphological characteristics, the connection points of the subgraph and the backbone graph are filtered out and the path growth of the subgraph is performed. Finally, the 3D plant model is reconstructed based on the connected skeleton. Experiments show that, under a single frame and registration data of multiple real soybean plants point cloud, the method of this article can carry out rapid three-dimensional reconstruction of the soybean plants with different morphological characteristics, and it is robust for situations such as low resolution, large noise interference, and large registration error.

plant phenotyping; plant 3D reconstruction; skeleton extraction; plant modeling

10.3785/j.issn.1008-9497.2021.05.002

TP 391.41

A

1008?9497（2021）05?531?09

2020?12?08.

廣東省自然科學(xué)基金資助項目（2021A1515011849，2019A1515011793）；中央高?；究蒲袠I(yè)務(wù)費項目（2020ZYGXZR042）；國家自然科學(xué)基金項目（51978271）.

傅汝佳（1996—），ORCID：https：//orcid.org/0000-0003-4088-2805，男，碩士研究生，主要從事計算機視覺、計算機圖形學(xué)研究，E-mail：964219224@qq.com.