基于骨架的玉米植株三維點(diǎn)云果穗分割與表型參數(shù)提取

朱 超，苗 騰，許童羽，李 娜，鄧寒冰，周云成

·研究速報(bào)·

基于骨架的玉米植株三維點(diǎn)云果穗分割與表型參數(shù)提取

朱 超，苗 騰※，許童羽，李 娜，鄧寒冰，周云成

（1. 沈陽農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院，沈陽 110866；2. 遼寧省農(nóng)業(yè)信息化工程技術(shù)研究中心，沈陽 110866）

當(dāng)前三維點(diǎn)云處理技術(shù)難以在玉米植株點(diǎn)云上對(duì)果穗進(jìn)行識(shí)別和表型參數(shù)提取。針對(duì)該問題，該研究采用基于骨架的玉米植株器官分割流程對(duì)植株三維點(diǎn)云的果穗器官進(jìn)行分割和表型參數(shù)提取。首先，優(yōu)化基于骨架的玉米植株莖葉分割方法，在成熟期植株點(diǎn)云上實(shí)現(xiàn)植株骨架的提取、器官子骨架的分解以及器官點(diǎn)云的分割；再根據(jù)器官高度、子骨架長度、圓柱特征和點(diǎn)云數(shù)量4個(gè)約束條件從器官點(diǎn)云中識(shí)別出果穗點(diǎn)云；最后提取果穗相關(guān)的表型參數(shù)。試驗(yàn)結(jié)果表明，該研究方法對(duì)玉米果穗的識(shí)別率為91.3%；果穗點(diǎn)云分割的平均1分?jǐn)?shù)、精確度、召回率分別為0.73、0.82和0.70；穗位高、穗長、穗粗、株高穗位高比4個(gè)表型參數(shù)的提取值與人工實(shí)測值線性關(guān)系顯著，決定系數(shù)分別為0.97、0.78、0.85和0.96，均方根誤差分別為3.23 、4.98、 0.73 cm和0.07。該研究方法具備提取果穗器官點(diǎn)云和表型參數(shù)的能力，可為玉米高通量表型檢測、玉米三維重建等研究和應(yīng)用提供技術(shù)支持。

植物；表型；機(jī)器視覺；玉米果穗；點(diǎn)云分割；骨架提取

0 引 言

玉米是世界上最重要的糧食作物之一，其產(chǎn)量對(duì)保障全球糧食供應(yīng)至關(guān)重要。高通量、自動(dòng)化地對(duì)玉米表型參數(shù)進(jìn)行測量對(duì)提高玉米育種效率、促進(jìn)玉米科學(xué)發(fā)展具有重要意義[1-2]。

果穗相關(guān)的表型參數(shù)是一類重要的農(nóng)藝性狀。例如，穗位高直接影響著玉米產(chǎn)量、抗倒伏性及生態(tài)適應(yīng)性[3]；適宜的株高穗位高比有利于機(jī)械收獲[4]；果穗大小及形狀決定了玉米的籽粒產(chǎn)量[5]。很多研究面向玉米考種工作的實(shí)際需求，利用計(jì)算機(jī)視覺技術(shù)對(duì)果穗二維數(shù)字圖像進(jìn)行分析，自動(dòng)測量穗長、穗粗、穗行、行粒數(shù)等果穗表型參數(shù)[6-11]。一些研究者在二維植株圖像中識(shí)別果穗像素，進(jìn)而實(shí)現(xiàn)了果穗的自動(dòng)計(jì)數(shù)[12-13]以及生長過程的連續(xù)監(jiān)測[14]。但是二維圖像只能表示果穗在某一特定方向上的投影，難以對(duì)完整的三維結(jié)構(gòu)進(jìn)行恢復(fù)。

隨著三維激光掃描儀[15-16]、飛行時(shí)間相機(jī)[17-18]以及激光雷達(dá)[19-20]等三維傳感器的普及，部分研究者開始進(jìn)行基于三維點(diǎn)云的果穗結(jié)構(gòu)重建與表型解析相關(guān)研究。王傳宇等通過雙目立體視覺技術(shù)重建各視角下的玉米果穗表面點(diǎn)云，再通過點(diǎn)云配準(zhǔn)拼接獲得整個(gè)果穗表面點(diǎn)云[21]。溫維亮等對(duì)果穗點(diǎn)云進(jìn)行收縮，通過歐式聚類的方法實(shí)現(xiàn)了果穗籽粒的分割[22]，并基于Voronoi圖的網(wǎng)格重建方法重構(gòu)了果穗網(wǎng)格模型[23]。上述技術(shù)方法均是針對(duì)收獲后的果穗單獨(dú)進(jìn)行三維重建，難以對(duì)玉米植株點(diǎn)云上的果穗進(jìn)行原位信息提取，因此無法自動(dòng)測量穗位高、株高穗位高比等表型參數(shù)。針對(duì)玉米植株點(diǎn)云處理方法的研究多圍繞早期玉米植株的莖葉分割和表型檢測[24-25]開展工作。朱超等提出一種基于骨架的早期玉米莖葉分割方法[26], 該方法利用拉普拉斯點(diǎn)云骨架提取方法[27]獲得玉米植株骨架，并根據(jù)骨架拓?fù)湫畔?duì)莖、葉器官進(jìn)行定位和識(shí)別，最后采用自上向下的分割策略實(shí)現(xiàn)了莖葉點(diǎn)云的精確分割。相比早期玉米植株，長有果穗的成熟期玉米植株拓?fù)涓訌?fù)雜，器官類別和數(shù)量更多，而且果穗的形態(tài)特征與葉、莖差異較大，因此現(xiàn)有的莖葉分割算法均難以進(jìn)行果穗的原位點(diǎn)云提取。

針對(duì)該問題，本研究改進(jìn)了基于骨架的玉米莖葉分割方法[26]，通過優(yōu)化器官子骨架提取算法、引入果穗點(diǎn)云識(shí)別算法，嘗試直接在玉米植株點(diǎn)云上對(duì)果穗進(jìn)行分割和參數(shù)提取，為玉米高通量表型檢測、三維幾何重建等研究和應(yīng)用提供技術(shù)手段。

1 材料與方法

1.1 點(diǎn)云數(shù)據(jù)獲取與預(yù)處理

田間試驗(yàn)于2019年5月至10月在沈陽農(nóng)業(yè)大學(xué)玉米試驗(yàn)田（123.56E，41.82N）進(jìn)行。供試玉米品種為先玉335、遼單586、遼單502、遼單1281和遼單145，玉米種植行距60 cm，株距25 cm。

數(shù)據(jù)采集時(shí)，將田間植株移植到盆中，并人工測量株高、穗位高、穗長和穗粗4種表型參數(shù)，之后將植株轉(zhuǎn)移到室內(nèi)進(jìn)行點(diǎn)云獲取。使用FreeScan X3手持激光掃描儀進(jìn)行三維點(diǎn)云獲取，由于該掃描儀需要借助激光感光片進(jìn)行三維定位，因此數(shù)據(jù)采集時(shí)，將粘貼有感光片的多個(gè)支架圍在植株四周，保證激光線能同時(shí)掃描到植株和感光片，數(shù)據(jù)獲取過程如圖1a所示。掃描得到的原始點(diǎn)云數(shù)據(jù)中除了植株外，還包含了部分支架和花盆的點(diǎn)云如圖1b所示。使用三維點(diǎn)云處理軟件CloudCompare將支架點(diǎn)和花盆點(diǎn)云手動(dòng)去除，并進(jìn)行下采樣處理，得到最終的玉米植株點(diǎn)云（圖1c）。下采樣后，每個(gè)植株點(diǎn)云包含10 000左右個(gè)點(diǎn)，該數(shù)量的點(diǎn)云即可保留玉米果穗的形態(tài)特征，也能對(duì)植株骨架進(jìn)行高效提取。獲取點(diǎn)云之后，人工測量。

1.2 果穗分割方法流程

本研究提出的果穗分割方法以植株散亂點(diǎn)云為輸入，通過基于骨架的器官點(diǎn)云分割、果穗識(shí)別和表型參數(shù)提取3個(gè)主要步驟，實(shí)現(xiàn)對(duì)果穗點(diǎn)云的分割和穗位高、株高穗位高比、穗長、穗粗4種表型參數(shù)的自動(dòng)測量。

1.3 基于骨架的器官點(diǎn)云分割

本研究采用文獻(xiàn)[26]中所述的點(diǎn)云分割流程進(jìn)行玉米器官點(diǎn)云分割。文獻(xiàn)[26]方法主要針對(duì)包含莖、葉兩種器官的早期玉米植株，而長有雄穗、果穗的成熟期玉米植株拓?fù)湫螒B(tài)更加復(fù)雜，器官數(shù)量更多，因此該方法中的骨架提取、骨架分解、點(diǎn)云分割等關(guān)鍵步驟不適合處理成熟期植株點(diǎn)云。本研究對(duì)這些步驟進(jìn)行優(yōu)化，實(shí)現(xiàn)成熟期植株點(diǎn)云的器官分割。

1.3.1 骨架提取

與文獻(xiàn)[26]相同，采用拉普拉斯骨架提取算法[27]生成玉米植株骨架，并用連通無向圖對(duì)骨架進(jìn)行表示。與早期玉米植株相比，成熟期玉米植株點(diǎn)云在雄穗?yún)^(qū)域有時(shí)會(huì)出現(xiàn)點(diǎn)云缺失、密度低的問題，導(dǎo)致該區(qū)域形成的骨架與其他器官形成的骨架分離，造成植株骨架成為非連通無向圖。為解決該問題，本研究采用廣度優(yōu)先搜索方法獲得植株骨架的所有連通分支，保留頂點(diǎn)數(shù)量最多的連通分支作為玉米植株骨架，其余連通分支形成的小骨架均刪除，確保植株骨架為連通無向圖。圖2a為本研究提取的成熟期植株骨架圖。

1.3.2 骨架分解

在骨架分解時(shí)，本研究借鑒文獻(xiàn)[26]思路，首先基于迪杰斯特拉算法[28]將植株骨架分解為多個(gè)器官子骨架，之后根據(jù)器官形態(tài)特征，將器官子骨架分類為1個(gè)莖子骨架和多個(gè)非莖子骨架。文獻(xiàn)[26]僅通過器官子骨架之間的夾角特征進(jìn)行類型判別，但面對(duì)成熟期植株骨架時(shí)會(huì)出現(xiàn)誤分類現(xiàn)象。本研究在夾角特征基礎(chǔ)上，引入點(diǎn)云圓柱特征輔助進(jìn)行子骨架類型的判別。

為計(jì)算植株點(diǎn)云任意點(diǎn)的圓柱特征，首先采用kd-tree空間搜索算法[29]尋找其在植株點(diǎn)云中的32個(gè)近鄰點(diǎn)；之后利用主成分分析方法[30]計(jì)算這些近鄰點(diǎn)在3個(gè)主成分方向上的特征值1、2、3（1≥2≥3），則點(diǎn)的圓柱特征f用下式計(jì)算

植株莖、雄穗和果穗?yún)^(qū)域點(diǎn)云的圓柱特征值較大，而葉片的圓柱特征較小。

本研究首先通過夾角特征從所有器官子骨架中得到多個(gè)候選的莖子骨架，之后計(jì)算每個(gè)候選子骨架周邊點(diǎn)云的圓柱特征平均值，值最大的候選器官子骨架為莖子骨架，其余所有器官子骨架均為非莖子骨架（圖2b）。從圖2b中可以看出，每個(gè)器官子骨架均為一個(gè)單向連通圖。但本研究生成的器官子骨架存在2個(gè)問題：

1）存在一個(gè)器官對(duì)應(yīng)多個(gè)器官子骨架的情況，例如雄穗會(huì)產(chǎn)生多個(gè)子骨架。

2）產(chǎn)生的器官子骨架并不是器官點(diǎn)云的完整中軸表示，例如一些葉片子骨架只是葉片上半?yún)^(qū)域點(diǎn)云的中軸，果穗的子骨架只是果穗尖端部分點(diǎn)云的中軸。

但上述2個(gè)問題對(duì)果穗器官分割的影響不大，本研究只需將果穗尖端區(qū)域點(diǎn)云的子骨架提取出來就能夠?qū)崿F(xiàn)后續(xù)的果穗分割和識(shí)別。

1.3.3 點(diǎn)云分割

采用文獻(xiàn)[26]方法，首先利用器官子骨架對(duì)莖和非莖器官進(jìn)行點(diǎn)云粗分割，再以粗分割的器官點(diǎn)云作為種子點(diǎn)，通過從植株頂部到底部的順序，依次對(duì)未分割的點(diǎn)進(jìn)行器官分類，最終實(shí)現(xiàn)器官的精細(xì)分割。

早期植株頂部新生葉片互相包裹，從而造成新葉分割困難。為解決該問題，文獻(xiàn)[26]采用了最優(yōu)傳輸距離作為點(diǎn)云器官分類的依據(jù)。但最優(yōu)傳輸距離的計(jì)算量大，隨著點(diǎn)云數(shù)量的增加，整個(gè)分割算法的效率會(huì)大幅降低。成熟期玉米植株的點(diǎn)云數(shù)量較多，并且果穗器官處于植株中部，不存在器官互相包裹的問題，因此本研究采用歐式距離替代最優(yōu)傳輸距離，從而提高器官點(diǎn)云分割的效率。

圖2c為器官分割的可視化結(jié)果圖，從圖中可以看出，植株上部的器官比中下部的器官分割效果差。這是由于上部器官間距近、器官間的點(diǎn)云邊界不明顯，從而造成提取出的器官骨架不完整，進(jìn)而影響了分割精度。而果穗與周邊葉片的邊界相對(duì)明顯，因此果穗點(diǎn)云能較完整地分割出來，為后續(xù)果穗器官的識(shí)別和表型提取奠定了基礎(chǔ)。

1.莖器官子骨架 2.非莖器官子骨架

1. Stem organ sub-skeleton 2.Non stem organ sub-skeleton

注：子圖2c中不同器官點(diǎn)集采用不同顏色進(jìn)行表示。

Note: The point clouds of different organs are represented by different colors in subgraph 2c.

圖2 基于骨架的器官點(diǎn)云分割示意圖

Fig.2 Schematic diagram of organ point cloud segmentation based on skeleton

1.4 果穗器官識(shí)別

采用器官高度、器官子骨架長度、圓柱特征、點(diǎn)云數(shù)量4個(gè)約束條件在非莖器官點(diǎn)集（圖3a）中識(shí)別果穗器官點(diǎn)集，同時(shí)滿足上述4個(gè)約束的器官被認(rèn)為是果穗器官。

1）器官高度約束

觀察發(fā)現(xiàn)，果穗位置通常在玉米植株的中下部，因此可通過器官高度排除植株上部的器官。計(jì)算植株點(diǎn)云每個(gè)點(diǎn)到莖根頂點(diǎn)的距離，其中距離最小值和最大值分別用符號(hào)0（cm）、1（cm）表示。對(duì)于一個(gè)非莖器官集合，找到集合內(nèi)點(diǎn)到莖根頂點(diǎn)距離的最大值，如果該值不大于2/3 (0+1)，則該器官滿足器官高度約束（圖3b）。

2）器官子骨架長度約束

觀察發(fā)現(xiàn)，果穗長度比葉片長度小，因此可排除長度較大的器官點(diǎn)集。計(jì)算所有器官子骨架長度的平均值，子骨架長度小于該平均值的器官滿足長度約束（圖3c）。

3）圓柱特征約束

在非莖器官中，相比于葉片，果穗形態(tài)更接近圓柱形，因此可通過點(diǎn)云圓柱特征來識(shí)別果穗。對(duì)于一個(gè)器官，如果其點(diǎn)云圓柱特征的平均值大于閾值e，則該器官滿足圓柱特征約束（圖3d）。本研究將e設(shè)為0.18。

4）點(diǎn)云數(shù)量約束

本研究將點(diǎn)云個(gè)數(shù)較少的器官點(diǎn)集看作是某個(gè)器官過分割的結(jié)果，因此只有當(dāng)器官點(diǎn)集的點(diǎn)云數(shù)量大于閾值n時(shí)被認(rèn)為滿足點(diǎn)云數(shù)量約束（圖3e）。本研究將n設(shè)為30。

圖3為果穗器官識(shí)別過程的示意圖。在進(jìn)行果穗識(shí)別時(shí)，通過器官高度約束可將植株上方分割效果較差的雄穗和新葉排除掉。利用器官子骨架長度約束可以排除掉器官子骨架提取效果較好的中下部葉片器官。圓柱特征會(huì)將絕大多數(shù)的葉片排除。點(diǎn)云數(shù)量約束主要排除由于誤分割導(dǎo)致的小區(qū)域點(diǎn)云，防止這些點(diǎn)云同時(shí)滿足其他3種約束。圖3f為果穗器官識(shí)別結(jié)果。

1.5 表型參數(shù)提取

利用識(shí)別出的果穗器官點(diǎn)集提取穗位高、株高穗位高比、穗長和穗粗4個(gè)表型形狀參數(shù)。

果穗器官點(diǎn)集中如果包含噪聲點(diǎn)，會(huì)影響表型參數(shù)的精度，因此在提取表型參數(shù)之前，先對(duì)果穗器官進(jìn)行去噪處理。首先計(jì)算每個(gè)點(diǎn)到其8近鄰點(diǎn)的平均歐式距離，然后估算所有平均距離的均值和方差。如果某個(gè)點(diǎn)到其8近鄰點(diǎn)的平均距離不小于與的和，則該點(diǎn)為噪聲，從果穗器官點(diǎn)集中刪除。

由于穗位高被定義為最高穗著生點(diǎn)到地面的距離[4]，因此穗位高和株高穗位高比兩個(gè)參數(shù)只與最上方的果穗有關(guān)。為提取株高和穗位高參數(shù)，首先計(jì)算莖根頂點(diǎn)到中軸()的投影點(diǎn)s，之后計(jì)算所有點(diǎn)云到()的投影點(diǎn)與s的歐式距離，其中的最大距離為株高參數(shù)，果穗點(diǎn)云投影點(diǎn)與s的最大距離為穗位高參數(shù)，兩者比值為株高穗位高比參數(shù)。

提取每個(gè)果穗器官點(diǎn)云的有向最小包圍盒，其中包圍盒最長邊的長度為穗長參數(shù)，其余兩個(gè)邊長度的平均值作為穗粗參數(shù)。

1.8 性能評(píng)估

使用識(shí)別率來評(píng)估本研究方法對(duì)果穗器官的識(shí)別能力。對(duì)于植株上的一個(gè)果穗，如果分割出的果穗器官點(diǎn)集中包含該果穗的點(diǎn)云，則認(rèn)為該果穗被成功識(shí)別。果穗的識(shí)別率等于成功識(shí)別的果穗數(shù)量除以植株果穗總數(shù)。使用精確度（Precision）、召回率（Recall）、1分?jǐn)?shù)（1 score）對(duì)點(diǎn)云的分割精度進(jìn)行評(píng)估[26]。采用線性回歸分析評(píng)價(jià)人工測量的表型參數(shù)與本研究參數(shù)提取值之間的關(guān)系，并使用決定系數(shù)2和均方根誤差RMSE進(jìn)行定量化評(píng)估。

2 結(jié)果與分析

2.1 果穗點(diǎn)云識(shí)別和分割結(jié)果

算法在配置為2.2GHZ CPU、DDR32G內(nèi)存的筆記本工作站上進(jìn)行了測試。本文算法處理約10 000個(gè)點(diǎn)左右的玉米植株，平均處理時(shí)間在24 s，其中75%的時(shí)間用于骨架提取。

為了評(píng)價(jià)本研究方法的準(zhǔn)確性，在“先玉335”、“遼單586”、“遼單502”、“遼單1281”和“遼單145”5個(gè)品種中各選擇3株成熟期玉米植株進(jìn)行測試。15個(gè)植株中，8株長有2個(gè)穗，7株長有1個(gè)穗，本研究稱上方的果穗為第1果穗，下方的果穗為第2果穗。利用CloudCompare軟件獲得點(diǎn)云手動(dòng)分割結(jié)果。

圖4是不同品種玉米果穗的識(shí)別和分割結(jié)果可視化圖。從圖中可以看出，所有植株的第1果穗均被識(shí)別出來，識(shí)別率為100%；第2果穗中有2個(gè)果穗未被識(shí)別出來，分別為圖4b中第2個(gè)植株和圖4c中第1個(gè)植株，識(shí)別率為75%；果穗總識(shí)別率為91.3%。

本研究方法的果穗分割結(jié)果如表1所示。全部果穗的點(diǎn)云分割的平均1分?jǐn)?shù)、平均精確率和平均召回率分別為0.73、0.82和0.70，其中第1果穗的上述3個(gè)分割指標(biāo)分別為0.81、0.92和0.74，識(shí)別出的6個(gè)第2果穗的3個(gè)分割指標(biāo)分別為0.78、0.85和0.75，全部8個(gè)第2果穗的3個(gè)分割指標(biāo)分別為0.52、0.56和0.50。2個(gè)未被識(shí)別出的第2果穗的3個(gè)分割指標(biāo)均視作0。

表1 果穗分割精度

本研究分割的精確率要遠(yuǎn)高于召回率，說明本研究方法將非果穗點(diǎn)云分割成果穗點(diǎn)云的情況較少，但果穗點(diǎn)云被誤分割為其他器官的情況較多，從而造成果穗的欠分割，從圖4中也可以看出，很多果穗分割的并不完整，這是點(diǎn)云欠分割的典型特征。

在第1果穗中，1分?jǐn)?shù)和召回率的最低值分別為0.67和0.55，均出現(xiàn)在圖4c中的第1個(gè)植株樣本；精確率的最低值為0.80，出現(xiàn)在圖4a中的第1個(gè)植株樣本。在識(shí)別出的第2果穗中，1分?jǐn)?shù)和召回率最低值分別為0.67和0.57，均來自圖4b中第1個(gè)樣本；精確率的最低值為0.73，來自圖4d中的第1個(gè)樣本。對(duì)照?qǐng)D4中的可視化結(jié)果，能夠看出上述這些指標(biāo)低的果穗樣本均出現(xiàn)了較明顯的欠分割現(xiàn)象。當(dāng)然，個(gè)別樣本也存在過分割的現(xiàn)象，如圖4e中第1個(gè)植株樣本的第2果穗、圖4b中第2個(gè)植株樣本的第1果穗，這兩個(gè)果穗將其周邊其他器官的點(diǎn)云誤分割成果穗點(diǎn)云。但不論是欠分割還是過分割，發(fā)生錯(cuò)誤的區(qū)域均在果穗與其他器官的交界處，說明本研究分割方法在識(shí)別果穗和其他器官交界區(qū)域的能力有待提高。

本研究識(shí)別和分割果穗時(shí)，要求穗尖區(qū)域點(diǎn)云遠(yuǎn)離其他器官。如果果穗尖端區(qū)域與鄰近的器官緊挨在一起，會(huì)導(dǎo)致果穗點(diǎn)云與鄰近器官的點(diǎn)云邊界不清晰。例如圖 4b中第2個(gè)植株，其第2果穗穗尖與第1果穗和鄰近的穗位葉緊密地挨在一起；圖4c中第1個(gè)植株，其第2果穗穗尖與莖挨在一起。這兩個(gè)果穗點(diǎn)云與鄰近器官點(diǎn)云均混合在一起，沒有較清晰的邊界。而處理這類果穗點(diǎn)云時(shí)，本研究骨架提取方法只會(huì)生成1個(gè)子骨架作為果穗點(diǎn)云和其鄰近器官點(diǎn)云的中軸，從而導(dǎo)致果穗子骨架提取失敗，進(jìn)而無法分割和識(shí)別出果穗器官點(diǎn)云。本研究對(duì)第2果穗的識(shí)別率要低于第1果穗也同樣是這個(gè)原因，本研究選取的植株測試樣本的第2果穗都未成熟，因此果穗都較小，其更容易出現(xiàn)穗尖區(qū)域不明顯的現(xiàn)象。

2.2 表型參數(shù)提取結(jié)果

各表型參數(shù)提取結(jié)果與人工測量結(jié)果的對(duì)比如圖5所示。根據(jù)穗位高定義，穗位高和株高穗位高比兩個(gè)參數(shù)只考慮第1果穗，因此這兩個(gè)參數(shù)分別有15組數(shù)據(jù)；穗長和穗粗參數(shù)考慮了所有成功識(shí)別的果穗，共20組數(shù)據(jù)。由于植株上的果穗點(diǎn)云含有苞葉，因此實(shí)測的穗長和穗粗?jǐn)?shù)據(jù)是在有苞葉的果穗上測量得到。穗位高、穗長、穗粗和株高穗位高比自動(dòng)提取值與實(shí)測值線性關(guān)系顯著，決定系數(shù)2分別為0.97、0.78、0.85和0.96，均方根誤差RMSE分別為3.23、4.98、0.73 cm和0.07。

穗位高、株高穗位高比兩個(gè)表型參數(shù)提取值與實(shí)測值非常接近，說明本研究方法能夠較好地估算出果穗在植株上的相對(duì)位置。提取的穗位高值整體上略高于實(shí)測值、株高穗位高比略低于實(shí)測值，這是由于本研究方法在分割果穗時(shí)更容易出現(xiàn)欠分割，導(dǎo)致果穗著生點(diǎn)位置比實(shí)測值高造成的。本研究方法的欠分割問題，也會(huì)導(dǎo)致分割出的果穗點(diǎn)云不完整，從而造成穗長、穗粗參數(shù)提取值的誤差。

總體上看，本研究提取的表型參數(shù)具有較低的誤差，與人工實(shí)測值之間具有較高的相關(guān)性，一定程度上驗(yàn)證了本研究表型參數(shù)提取方法的實(shí)用性和穩(wěn)定性。

3 結(jié) 論

本研究采用基于骨架的玉米植株器官分割流程對(duì)植株三維點(diǎn)云的果穗器官進(jìn)行分割和表型參數(shù)提取，驗(yàn)證了在玉米成熟期植株點(diǎn)云上識(shí)別、分割果穗器官的可能性。通過分析本研究試驗(yàn)結(jié)果，得出以下結(jié)論：

1）本研究方法對(duì)果穗總識(shí)別率為91.3%，其中，第1果穗的識(shí)別率達(dá)到100%，第2果穗的識(shí)別率為75%。

2）本研究對(duì)果穗的點(diǎn)云分割的平均1分?jǐn)?shù)、平均精確率和平均召回率分別為0.73、0.82和0.70，其中第1果穗的上述指標(biāo)分別為0.81、0.92和0.74，識(shí)別出的6個(gè)第2果穗的3個(gè)指標(biāo)分別為0.78、0.85和0.75。

3）穗位高、穗長、穗粗、株高穗位高比4個(gè)表型參數(shù)提取值與實(shí)測值的決定系數(shù)分別為0.97、0.78、0.85和0.96，均方根誤差分別為3.23、4.98、0.73 cm和0.07。

結(jié)果表明，本研究方法具有提取果穗器官點(diǎn)云和表型參數(shù)的能力，可為玉米高通量表型檢測、玉米三維重建等研究和應(yīng)用提供技術(shù)手段。

[1]Tester M, Langridge P. Breeding technologies to increase crop production in a changing world[J]. Science, 2010, 327(5967): 818-822.

[2]Benjamin K, Andreas G. NGS technologies for analyzing germplasm diversity in genebanks[J]. Briefings in Functional Genomics, 2012, 11(1): 38-50.

[3]Lu S, Li M, Zhang M, et al. Genome-wide association study of plant and ear height in maize[J]. Tropical Plant Biology, 2020, 13(3): 262-273.

[4]Zsubori Z, Gyenes-Hegyi Z, Illés O, et al. Inheritance of plant and ear height in maize (L. )[J]. Acta Agraria Debreceniensis, 2002, 8: 34-38.

[5]Miller N D, Haase N J, Lee J, et al. A robust, high-throughput method for computing maize ear, cob, and kernel attributes automatically from images[J]. Plant Journal, 2017, 89(1): 169-178.

[6]劉長青，陳兵旗. 基于機(jī)器視覺的玉米果穗?yún)?shù)的圖像測量方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2014，30(6)：131-138. Liu Changqing, Chen Bingqi. Method of image detection for ear of corn based on computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(6): 131-138. (in Chinese with English abstract)

[7]周金輝，馬欽，朱德海，等. 基于機(jī)器視覺的玉米果穗產(chǎn)量組分性狀測量方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(3)：221-227. Zhou Jinhui, Ma Qin, Zhu Dehai, et al. Measurement method for yield component traits of maize based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(3): 221-227. (in Chinese with English abstract)

[8]杜建軍，郭新宇，王傳宇，等. 基于穗粒分布圖的玉米果穗表型性狀參數(shù)計(jì)算方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2016，32(13)：168-176. Du Jianjun, Guo Xinyu, Wang Chuanyu, et al. Computation method of phenotypic parameters based on distribution map of kernels for corn ears[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(13): 168-176. (in Chinese with English abstract)

[9]杜建軍，郭新宇，王傳宇，等. 基于全景圖像的玉米果穗流水線考種方法及系統(tǒng)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(13)：195-202. Du Jianjun, Guo Xinyu, Wang Chuanyu, et al. Assembly line variety test method and system for corn ears based on panoramic surface image[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(13): 195-202. (in Chinese with English abstract)

[10]宋鵬，張晗，羅斌，等. 基于多相機(jī)成像的玉米果穗考種參數(shù)高通量自動(dòng)提取方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(14)：181-187. Song Peng, Zhang Han, Luo Bin, et al. High throughput automatic extraction method of corn ear parameters based on multiple cameras images[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(14): 181-187. (in Chinese with English abstract)

[11]Makanza R, Zaman-Allah M, Cairns J E, et al. High-throughput method for ear phenotyping and kernel weight estimation in maize using ear digital imaging[J]. Plant Methods, 2018, 15(1): 49.

[12]Yu Z H, Zhou H B, Li C N. An image based automatic recognition method for the flowering stage of maize[C]// International Symposium on Multispectral Image Processing and Pattern Recognition, Xiangyang, China, SPIE Digital library, 2017.

[13]Jia H L, Qu M H, Wang G, et al. Dough-stage maize (L) ear recognition based on multiscale hierarchical features and multifeature fusion[J]. Mathematical Problems in Engineering, 2020, 2020(2): 1-14.

[14]Brichet N, Fournier C, Turc O, et al. A robot-assisted imaging pipeline for tracking the growths of maize ear and silks in a high-throughput phenotyping platform[J]. Plant Methods, 2017, 13(1): 96-108.

[15]Paulus S, Schumann H, Kuhlmann H, et al. High-precision laser scanning system for capturing 3D plant architecture and analysing growth of cereal plants[J]. Biosystems Engineering, 2014, 121: 1-11.

[16]Paulus S, Dupuis J, Riedel S, et al. Automated analysis of barley organs using 3D laser scanning: an approach for high throughput phenotyping[J]. Sensors, 2014, 14(7): 12670-12686.

[17]Chéné Y, Rousseau D, Lucidarme P, et al. On the use of depth camera for 3D phenotyping of entire plants[J]. Computers and Electronics in Agriculture, 2012, 82: 122-127.

[18]Busemeyer L, Mentrup D, M?ller K, et al. BreedVision: A multi-sensor platform for non-destructive field-based phenotyping in plant breeding[J]. Sensors, 2013, 13(3): 2830-2847.

[19]Lin Y. LiDAR: An important tool for next-generation phenotyping technology of high potential for plant phenomics?[J]. Computers and Electronics in Agriculture, 2015, 119: 61-73.

[20]Garrido M, Paraforos D S, Reiser D, et al. 3D maize plant reconstruction based on georeferenced overlapping lidar point clouds[J]. Remote Sensing, 2015, 7(12): 17077-17096.

[21]王傳宇，郭新宇，吳升，等. 基于計(jì)算機(jī)視覺的玉米果穗三維重建方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2014，45(9)：274-279. Wang Chuanyu, Guo Xinyu, Wu Sheng, et al. Three dimensional reconstruction of maize ear based on computer vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(9): 274-279. (in Chinese with English abstract)

[22]溫維亮，郭新宇，楊濤，等. 玉米果穗點(diǎn)云分割方法研究[J]. 系統(tǒng)仿真學(xué)報(bào)，2017，29(12)：3030-3034，3041. Wen Weiliang, Guo Xinyu, Yang Tao, et al. Point cloud segmentation method of maize ear[J]. Journal of System Simulation, 2017, 29(12): 3030-3034, 3041. (in Chinese with English abstract)

[23]溫維亮，王勇健，許童羽，等. 基于三維點(diǎn)云的玉米果穗幾何建模[J]. 中國農(nóng)業(yè)科技導(dǎo)報(bào)，2016，18(5)：88-93. Wen Weiliang, Wang Yongjian, Xu Tongyu, et al. Geometric modeling of maize ear based on three-dimensional point cloud[J]. Journal of Agricultural Science and Technology, 2016, 18(5): 88-93. (in Chinese with English abstract)

[24]Elnashef B, Filin S, Lati R N. Tensor-based classification and segmentation of three-dimensional point clouds for organ-level plant phenotyping and growth analysis[J]. Computers and Electronics in Agriculture, 2019, 156: 51-61.

[25]Jin S C, Su Y J, Wu F F, et al. Stem-leaf segmentation and phenotypic trait extraction of individual maize using terrestrial LiDAR data[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(3): 1336-1346.

[26]朱超，苗騰，許童羽，等. 基于骨架和最優(yōu)傳輸距離的玉米點(diǎn)云莖葉分割和表型提取[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(4)：188-198. Zhu Chao, Miao Teng, Xu Tongyu, et al. Segmentation and phenotypic trait extraction of maize point cloud stem-leaf based on skeleton and optimal transportation distances[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(4): 188-198. (in Chinese with English abstract)

[27]Cao J J, Tagliasacchi A, Olson M, et al. Point cloud skeletons via Laplacian based contraction[C]//IEEE International Conference on Shape Modeling and Applications, Aix-en-Provence, France, Institute of Electrical and Electronics Engineers, 2010.

[28]Dijkstra E W. A note on two problems in connexion with graphs[J]. Numerische Mathematik, 1959, 1(1): 269-271.

[29]Miller F P, Vandome A F, Mcbrewster J. Kd-tree[M]. San Francisco, California, USA: Alpha Press, 2009.

[30]Whitlark D, Dunteman G H. Principal components analysis[J]. Journal of Marketing Research, 1990, 27(2): 243.

Ear segmentation and phenotypic trait extraction of maize based on three-dimensional point cloud skeleton

Zhu Chao, Miao Teng※, Xu Tongyu, Li Na, Deng Hanbing, Zhou Yuncheng

(1.,,110866,; 2,110866,)

Accurate and high-throughput maize plant phenotyping is vital for crop breeding and cultivation research. Ear related phenotypic parameters are important agronomic traits. However, fully automatic and fine ear organ segmentation of maize shoots from three-dimensional (3D) point clouds is still challenging. To address this issue, a skeleton-based maize plant organ segmentation process was used to segment the ear organs of the plant and extract phenotypic parameters. Firstly, the Laplace based skeleton extraction algorithm was utilized to generate plant skeleton. In this study, breadth first search method was used to obtain all the connected branches of the plant skeleton. The connected branches with the largest number of vertices were retained as the plant skeleton, while the small skeletons formed by the other connected branches were deleted to ensure that the plant skeleton is a connected undirected graph. Secondly, the plant skeleton was decomposed into several organ sub skeletons using Dijkstra algorithm, and then the organ sub skeletons were divided into stem sub skeletons and non-stem sub skeletons according to the angle features of sub skeletons and point cloud cylinder features. After that, the organ sub skeletons were used to obtain the seed points of each organ, and then the unsegmented points were classified in the order from the top to the bottom of the plant in turn, to get the final organ segmentation results. Four constraints (organ height constraint, sub-skeleton length constraint, cylindrical feature constraint, and the point cloud number constraint) were used to identify ear organs from all organ instances. Four constraints (organ height constraint, sub-skeleton length constraint, cylindrical feature constraint, and the point cloud number constraint) were used to identify ear organs from all organ instances. Four phenotypic traits, ear height, ear length, ear diameter and the ratio of plant height to ear height, were extracted using the ear organ instance. The segmentation method was tested on 15 maize plants. This study took about 24 seconds to process the maize plant with 10 000 point clouds. The result showed that the proposed method had a strong ability of ear recognition. The ear recognition accuracy was 91.3%. The average1 score, average precision, and average recall of the all the ear organs were 0.73, 0.82, and 0.70 respectively. Furthermore, to compare with the phenotypic parameters obtained by the proposed method in this paper and those obtained by manual measurement, the regression analysis was done and the results showed that the determination coefficients of ear height, ear length, ear diameter and the ratio of plant height to ear height, were 0.97, 0.78, 0.85, and 0.96, respectively, the root mean square error were 3.23, 4.98, 0.73 cm, and 0.07, respectively. There were also some problems in this method. First of all, if the distance between the ear tip point cloud and the other organ point cloud was too close, the ear skeleton might fail to be extracted, resulting in the ear could not be segmented, which often occurred in the second ear with a smaller volume. Secondly, the ability of the segmentation method to identify the boundary between the ear and other organs needs to be improved, which would lead to false segmentation of the ear point cloud, and more probability of under segmentation. The proposed algorithm cloud extract the point cloud and phenotypic parameters of ear organs. As far as we know, this was the first method to obtain this effect. The proposed approach might play an important role in further maize research and applications, such as genotype-to-phenotype study, geometric reconstruction, and dynamic growth monitoring.

plant; phenotype; computer vision; maize ear; point cloud; segmentation; skeleton extraction

朱超，苗騰，許童羽，等. 基于骨架的玉米植株三維點(diǎn)云果穗分割與表型參數(shù)提取[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(6)：295-301.doi：10.11975/j.issn.1002-6819.2021.06.036 http://www.tcsae.org

Zhu Chao, Miao Teng, Xu Tongyu, et al. Ear segmentation and phenotypic trait extraction of maize based on three-dimensional point cloud skeleton[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(6): 295-301. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.06.036 http://www.tcsae.org

2020-12-13

2021-02-11

國家自然科學(xué)基金（31901399）；遼寧省重點(diǎn)研發(fā)計(jì)劃項(xiàng)目（2019JH2/10200002）；中國博士后基金（2018M631821）

朱超，博士生，研究方向?yàn)樽魑锉硇蜋z測技術(shù)。Email：20161008@stu.syau.edu.cn

苗騰，博士，副教授，研究方向?yàn)閿?shù)字植物技術(shù)和表型檢測技術(shù)。Email：miaoteng@syau.edu.cn

10.11975/j.issn.1002-6819.2021.06.036

TP391.4

A

1002-6819(2021)-06-0295-07