胡建平,劉 凱,,郭新宇,吳 升,溫維亮※
(1. 東北電力大學(xué)理學(xué)院,吉林 132012;2. 北京市農(nóng)林科學(xué)院信息技術(shù)研究中心,北京 100097;3. 國(guó)家農(nóng)業(yè)信息化工程技術(shù)研究中心,北京 100097;4. 數(shù)字植物北京市重點(diǎn)實(shí)驗(yàn)室,北京 100097)
植物表型研究通過(guò)集成自動(dòng)化平臺(tái)裝備和信息化技術(shù)手段,獲取多尺度、多生境、多源異構(gòu)植物表型海量數(shù)據(jù),解決了傳統(tǒng)植物表型獲取工作量大、效率低、誤差大、適用性弱等問(wèn)題,將極大的促進(jìn)功能基因組學(xué)、作物分子育種與高效栽培的進(jìn)程。隨著激光雷達(dá)傳感器和基于多視角三維重建技術(shù)的快速發(fā)展,利用三維點(diǎn)云進(jìn)行3D表型研究成為高通量獲取植物形態(tài)結(jié)構(gòu)表型的一種有效手段,受到研究人員的廣泛關(guān)注。
骨架是三維數(shù)據(jù)和模型的抽象表現(xiàn)形式,能夠直觀的表達(dá)物體的拓?fù)溥B接關(guān)系和幾何結(jié)構(gòu),尤其適用于描述分枝形植物植株和長(zhǎng)窄形葉片的形狀結(jié)構(gòu)。因此,研究人員圍繞植物三維點(diǎn)云骨架提取開(kāi)展了大量研究工作。
經(jīng)典的三維點(diǎn)云骨架提取方法主要包括基于拉普拉斯矩陣和L1中值骨架提取算法。由于植物具有特定的形狀結(jié)構(gòu)特征,直接采用這些提取方法提取骨架往往難以得到理想的結(jié)果,需結(jié)合植物形狀結(jié)構(gòu)特征在原方法基礎(chǔ)上進(jìn)行改進(jìn)和完善。植物點(diǎn)云骨架提取主要包括單株尺度和器官尺度。在單株尺度,宗澤等結(jié)合最小二乘法和遺傳算法,提出了一種用于計(jì)算作物表型參數(shù)的骨架提取算法,能夠通過(guò)提取的骨架得到較為準(zhǔn)確的表型信息;對(duì)于整株植物,張衛(wèi)正等通過(guò)骨架細(xì)化算法建立植株的骨架模型,利用二叉樹(shù)分析骨架模型,最終確立各級(jí)節(jié)點(diǎn)及各個(gè)葉片實(shí)現(xiàn)莖葉分割;Xiang等通過(guò)分層聚類,實(shí)現(xiàn)高粱植株點(diǎn)云的骨架提??;Wu等通過(guò)改進(jìn)拉普拉斯算法,對(duì)玉米植株點(diǎn)云提取骨架,可以得到精確的骨架結(jié)果。植株尺度點(diǎn)云骨架提取需要在確保植株拓?fù)浣Y(jié)構(gòu)準(zhǔn)確的前提下,盡可能的提高骨架提取的精度,進(jìn)一步用于器官分割和表型解析。在器官尺度,趙元棣等通過(guò)計(jì)算離散網(wǎng)格的平均曲率和網(wǎng)格曲面參數(shù)化方法,實(shí)現(xiàn)玉米葉片三維點(diǎn)云的主脈曲線提?。籜iao等通過(guò)檢測(cè)點(diǎn)云首尾端點(diǎn)實(shí)現(xiàn)橢圓形葉片的葉脈骨架提取。器官尺度骨架提取對(duì)精度要求比植株尺度更高,因此對(duì)點(diǎn)云缺失更敏感。
葉片是植物的重要組成部分,其形狀結(jié)構(gòu)的差異直接影響植物的生長(zhǎng)發(fā)育和最終產(chǎn)量。由于植物本身器官間存在大量遮擋、植物葉片表面材質(zhì)屬性復(fù)雜,導(dǎo)致所采集的植物三維點(diǎn)云數(shù)據(jù)通常存在缺失。此外,受品種和環(huán)境等因素的影響,植物葉片通常具有特定的形狀結(jié)構(gòu)特征。因此,直接應(yīng)用計(jì)算機(jī)圖形學(xué)領(lǐng)域一般化的骨架提取算法難以得到理想的植物葉片點(diǎn)云骨架提取結(jié)果。本研究針對(duì)玉米葉片缺失點(diǎn)云數(shù)據(jù)的骨架提取問(wèn)題,考慮到長(zhǎng)窄形葉片葉脈曲線兩側(cè)葉面結(jié)構(gòu)的對(duì)稱性,設(shè)計(jì)了一種新穎的自適應(yīng)加權(quán)算子來(lái)計(jì)算玉米葉片點(diǎn)云的骨架約束點(diǎn)集,并引入主曲線對(duì)骨架約束點(diǎn)集進(jìn)行優(yōu)化,可實(shí)現(xiàn)缺失點(diǎn)云數(shù)據(jù)的玉米葉片骨架的魯棒提取。
本文提出的基于自適應(yīng)加權(quán)算子的玉米葉片點(diǎn)云骨架提取流程可概括如下:首先通過(guò)K-means聚類將玉米葉片點(diǎn)云數(shù)據(jù)劃分為若干個(gè)變化較為平緩的部分;然后對(duì)每個(gè)部分按設(shè)定步長(zhǎng)計(jì)算多個(gè)與葉脈垂直的截面,根據(jù)距離提取每個(gè)截面附近的點(diǎn)作為當(dāng)前截面的相關(guān)點(diǎn)集;隨后通過(guò)設(shè)計(jì)的自適應(yīng)加權(quán)算子提取每個(gè)截面相關(guān)點(diǎn)集對(duì)應(yīng)的骨架約束點(diǎn),將從葉片中提取的所有約束點(diǎn)形成骨架約束點(diǎn)集;最后通過(guò)計(jì)算骨架約束點(diǎn)集的主曲線得到最終玉米葉片點(diǎn)云骨架。算法流程如圖1所示。
圖1 基于自適應(yīng)加權(quán)算子和主曲線的玉米葉片點(diǎn)云骨架提取流程圖 Fig.1 Flow chart of skeleton extraction of maize leaf point cloud based on adaptive weighting operator and principal curve
采用作物單株高通量表型平臺(tái)MVS-Pheno,于2020年獲取吐絲期玉米植株點(diǎn)云數(shù)據(jù),并利用玉米植株點(diǎn)云標(biāo)注軟件Label3DMaize分割得到玉米葉片三維點(diǎn)云。由于MVS-Pheno平臺(tái)是利用多視角成像原理得到的植株三維點(diǎn)云,受獲取光環(huán)境和葉片遮擋等因素影響,所得到的植株葉片點(diǎn)云存在少量缺失。為驗(yàn)證算法的有效性,從多個(gè)玉米植株上選取30個(gè)具有典型形狀結(jié)構(gòu)特征的葉片,各葉片點(diǎn)云形狀結(jié)構(gòu)特征描述及相關(guān)信息見(jiàn)表1。
表1 玉米葉片形狀基本信息介紹 Table 1 Introduction to the basic information of maize leaf shape
對(duì)獲取得到的玉米葉片點(diǎn)云數(shù)據(jù),首先通過(guò)去噪和降采樣的方式去除噪聲點(diǎn),并在不降低點(diǎn)云數(shù)據(jù)質(zhì)量的情況下減少點(diǎn)的數(shù)量,以期提高后續(xù)計(jì)算效率;然后,采用K近鄰(K-Nearest Neighbor)算法確定每個(gè)點(diǎn)的鄰域,并使用主成分分析(Principal Component Analysis,PCA)算法估計(jì)點(diǎn)云中各點(diǎn)的法向;最后,通過(guò)最小生成樹(shù)算法來(lái)調(diào)整點(diǎn)云中每個(gè)點(diǎn)的法向,滿足法向在方向上的一致性,最終得到點(diǎn)云數(shù)據(jù)中所有點(diǎn)的法向信息。對(duì)于預(yù)處理后的玉米葉片點(diǎn)云數(shù)據(jù),再通過(guò)K均值聚類的方式將單個(gè)葉片分為若干部分(一般葉片分為3~4個(gè)部分即可),使每部分的形狀變化較為平緩,如圖2所示。
圖2 葉片聚類結(jié)果示例圖 Fig.2 Example diagram of leave clustering results
三維物體的骨架可通過(guò)計(jì)算垂直于骨架方向的截面與三維物體相交所得曲線的中心點(diǎn)計(jì)算(如圖3所示)。然而,在歐式空間中垂直于葉片伸長(zhǎng)方向(骨架方向)的截面與三維物體的相交曲線不易顯式計(jì)算,因此,本文采用垂直于葉片伸長(zhǎng)方向相關(guān)點(diǎn)集替代截面與三維物體相交所得曲線,并用其進(jìn)行后續(xù)骨架約束點(diǎn)的計(jì)算。
圖3 提取截面相關(guān)點(diǎn)及骨架的示意圖 Fig.3 Schematic diagram of extracting the related points of cross sections and the corresponding skeleton
本文采用改進(jìn)的距離場(chǎng)方法計(jì)算各截面對(duì)應(yīng)的相關(guān)點(diǎn)集,該距離場(chǎng)通過(guò)計(jì)算點(diǎn)云中的點(diǎn)與其包圍盒的距離構(gòu)建出該點(diǎn)云的距離場(chǎng),這種方法與傳統(tǒng)方法相比可以極大的降低計(jì)算成本。
對(duì)于通過(guò)K均值聚類得到的原始玉米葉片變化比較平緩的某個(gè)子葉片點(diǎn)集= {p|= 1,2,...,},首先通過(guò)PCA算法計(jì)算該點(diǎn)云數(shù)據(jù)的三個(gè)特征向量1、、,并將其進(jìn)行標(biāo)準(zhǔn)正交化構(gòu)成正交矩陣=[′′],然后以標(biāo)準(zhǔn)正交基1′、′、′構(gòu)建新的笛卡爾坐標(biāo)系,構(gòu)建方向包圍盒(Oriented Bounding Box)。計(jì)算該部分點(diǎn)云數(shù)據(jù)中每個(gè)點(diǎn)到與葉片伸長(zhǎng)方向垂直的正交面的距離并進(jìn)行歸一化,得到該部分點(diǎn)云數(shù)據(jù)的距離場(chǎng),然后通過(guò)距離場(chǎng)從葉片點(diǎn)云中抽提出每個(gè)截面對(duì)應(yīng)的相關(guān)點(diǎn)集。距離場(chǎng)計(jì)算公式如下:
其中D表示點(diǎn)p在距離場(chǎng)中的歸一化距離,表示與葉片伸長(zhǎng)方向垂直的正交面(由于整個(gè)葉片點(diǎn)云被分為若干個(gè)較為平緩的部分,所以該正交面為當(dāng)前點(diǎn)所在部分包圍盒的一端,如圖4所示,(p,)表示p到正交面的距離。
圖4 子葉片的距離場(chǎng) Fig.4 Distance field of each sub-leaf
該距離場(chǎng)可將整個(gè)葉片點(diǎn)云劃分為多個(gè)子集,每個(gè)子集為一個(gè)相關(guān)點(diǎn)集,可以近似為一個(gè)垂直于葉片伸長(zhǎng)方向的截面點(diǎn)集合,具體形式如下:
其中為設(shè)定的最大截面數(shù),試驗(yàn)中設(shè)置為100,t表示第個(gè)截面對(duì)應(yīng)的起始距離。
為了克服玉米葉片點(diǎn)云數(shù)據(jù)采樣不均勻以及數(shù)據(jù)缺失等影響,本文設(shè)計(jì)了一個(gè)自適應(yīng)加權(quán)算子來(lái)計(jì)算每個(gè)截面相關(guān)點(diǎn)集S的骨架約束點(diǎn)c,其實(shí)質(zhì)是根據(jù)葉片點(diǎn)云數(shù)據(jù)的空間分布特征自適應(yīng)的計(jì)算每個(gè)截面相關(guān)點(diǎn)集S的中心,并根據(jù)點(diǎn)云數(shù)據(jù)的缺失情況對(duì)計(jì)算出來(lái)的中心點(diǎn)進(jìn)行適當(dāng)?shù)囊苿?dòng),使得骨架約束點(diǎn)c接近于玉米葉片中間的葉脈點(diǎn),其計(jì)算方法如下:
空間距離權(quán)重主要解決點(diǎn)云數(shù)據(jù)的采樣不均勻?qū)е鹿羌芗s束點(diǎn)提取偏移的問(wèn)題,其計(jì)算公式為:
其中p為截面相關(guān)點(diǎn)集S中的點(diǎn),q為p點(diǎn)的K近鄰集合(p)中的點(diǎn),表示點(diǎn)p在空間距離上的影響參數(shù),在本文的試驗(yàn)中設(shè)置為整個(gè)玉米葉片點(diǎn)云數(shù)據(jù)中點(diǎn)的平均距離。
法向差異權(quán)重通過(guò)當(dāng)前點(diǎn)法向與葉片朝向的差異獲得,目的是為了使獲得骨架約束點(diǎn)位于葉片點(diǎn)云數(shù)據(jù)的內(nèi)部,其計(jì)算公式為:
點(diǎn)云完整性權(quán)重主要解決玉米葉片點(diǎn)云數(shù)據(jù)存在缺失對(duì)骨架約束點(diǎn)提取干擾的問(wèn)題。對(duì)于完整的葉片點(diǎn)云,該權(quán)重為0;隨著缺失部分的增大,點(diǎn)云完整性權(quán)重也會(huì)相應(yīng)的增加。對(duì)于缺失的葉片點(diǎn)云,僅利用空間距離權(quán)重和法向差異權(quán)重提取的骨架約束點(diǎn)在缺失部分產(chǎn)生較大偏差,因此,點(diǎn)云完整性權(quán)重作為一個(gè)補(bǔ)償,可通過(guò)該權(quán)重讓骨架約束點(diǎn)朝缺失方向移動(dòng)來(lái)進(jìn)行校準(zhǔn)。具體的,本文將截面相關(guān)點(diǎn)集投影到與葉片伸長(zhǎng)方向垂直的正交面上并求其凹?xì)?。凹?xì)ぷ鳛橐粋€(gè)多邊形,存在大量缺失部分對(duì)應(yīng)的邊長(zhǎng)是較長(zhǎng)的,可計(jì)算凹?xì)ぷ铋L(zhǎng)的邊與總邊長(zhǎng)的比值來(lái)判斷缺失情況,具體如下:
其中l表示凹?xì)に纬傻亩噙呅蔚牡跅l邊的長(zhǎng)度,為判斷點(diǎn)云數(shù)據(jù)缺失的閾值,在本文的試驗(yàn)中設(shè)置為0.1。
使用公式(4)對(duì)玉米葉片點(diǎn)云每個(gè)截面的相關(guān)點(diǎn)集進(jìn)行運(yùn)算,能夠得到一組玉米葉片的骨架約束點(diǎn)集。
主曲線是線性主成分分析的非線性推廣,主要通過(guò)尋找到一條曲線,使得數(shù)據(jù)集中的點(diǎn)到該曲線的距離和最小,實(shí)質(zhì)上是尋找通過(guò)數(shù)據(jù)集中間位置的一條光滑曲線。由于前面提取的骨架約束點(diǎn)集是通過(guò)對(duì)每個(gè)子葉片分別計(jì)算的,不同子葉片之間的約束點(diǎn)集可能會(huì)存在一些不連續(xù)的情況,因此可以通過(guò)計(jì)算上述所有玉米子葉片的骨架約束點(diǎn)集的主曲線,得到更加接近葉脈位置的骨架曲線。
本文使用Verbeek等提出的迭代插入新線段的方式來(lái)計(jì)算骨架約束點(diǎn)集的主曲線,以優(yōu)化調(diào)整玉米葉片骨架。首先通過(guò)PCA 算法從樣本集中提取主成分線段,然后依據(jù)條件重新劃分樣本集,并調(diào)整對(duì)應(yīng)的Voronoi區(qū)域得到新的主成分線段集合,直到滿足指定線段數(shù)目為止,最后通過(guò)貪心算法構(gòu)建Hamiltonian路徑得到最終的主曲線。主要步驟如下:
1)初始化。令=1,將所有子葉片的骨架約束點(diǎn)集作為樣本集C,并用其構(gòu)成初始Voronoi區(qū)域V(包含所有骨架約束點(diǎn)),通過(guò)對(duì)其進(jìn)行主成分分析,以第一主成分為方向,并從質(zhì)心開(kāi)始向其正負(fù)方向分別取長(zhǎng)度為1.5倍V標(biāo)準(zhǔn)差長(zhǎng)度的線段作為初始的主成分線段L,并計(jì)算中每個(gè)骨架約束點(diǎn)到主成分線段的投影及距離。距離計(jì)算公式為:
其中表示點(diǎn)云中的一個(gè)點(diǎn),(()?)表示直線段所在直線的參數(shù)方程。
2)插入新的主成分線段。首先從骨架約束點(diǎn)集中找到離主成分線段集合 {,...,L}最遠(yuǎn)的點(diǎn),同時(shí)該點(diǎn)周圍有3個(gè)以上點(diǎn)(包括3個(gè)),用其構(gòu)建新的樣本集C;然后在新的樣本集C中計(jì)算其第一主成分線段L加入到主成分線段集合中得到 {,...,L},并重新計(jì)算新的Voronoi區(qū)域 {,...,V},直到達(dá)到設(shè)定的最大線段數(shù)目或者使如下的能量函數(shù)最小為止:
其中為骨架約束點(diǎn)集的方差,是所有主成分線段的長(zhǎng)度之和,表示骨架約束點(diǎn)集中點(diǎn)的數(shù)目,c表示 Voronoi區(qū)域中的點(diǎn),L是第條主成分線段。
3)生成主曲線。通過(guò)貪心算法對(duì)所計(jì)算的主成分線段集合構(gòu)建Hamiltonian路徑,并使用2-opt優(yōu)化算法對(duì)得到的路徑進(jìn)行優(yōu)化,得到最終的主曲線。
上述計(jì)算骨架約束點(diǎn)集的主曲線生成的骨架可能會(huì)在葉片基部和葉尖部產(chǎn)生收縮,故在得到骨架后,需要通過(guò)后處理對(duì)骨架兩端的位置進(jìn)行校準(zhǔn)。將骨架約束點(diǎn)集首尾兩點(diǎn)作為骨架的起始點(diǎn)和結(jié)束點(diǎn),搜索骨架兩端延長(zhǎng)線方向到首尾骨架約束點(diǎn)即可實(shí)現(xiàn)該后處理。首尾兩端點(diǎn)校準(zhǔn)后,可提高骨架提取精度,以及后續(xù)表型(如葉長(zhǎng))計(jì)算的精度。
利用本文所提出的基于自適應(yīng)加權(quán)算子和主曲線的玉米葉片點(diǎn)云骨架提取方法,對(duì)所選取的玉米葉片點(diǎn)云數(shù)據(jù)進(jìn)行骨架提取,結(jié)果如圖5所示。
對(duì)于輸入的玉米葉片點(diǎn)云數(shù)據(jù),其理想的玉米葉片骨架應(yīng)該是玉米葉片的葉脈。從圖5可以看出,對(duì)于常見(jiàn)玉米葉形的點(diǎn)云數(shù)據(jù),均能提取出較好的結(jié)果;對(duì)于存在點(diǎn)云缺失的數(shù)據(jù),如葉片6~8,本文方法也能較好地提取出葉片骨架。
圖5 玉米葉片骨架提取可視化結(jié)果 Fig.5 Visual results of maize leaf skeleton extraction
為了定量評(píng)價(jià)對(duì)于缺失點(diǎn)云數(shù)據(jù)骨架提取的準(zhǔn)確性,對(duì)完整葉片點(diǎn)云手動(dòng)去除部分點(diǎn)進(jìn)行試驗(yàn),并引入Hausdroff距離對(duì)比去除前后點(diǎn)云所提取骨架差異。Hausdorff距離是一種度量空間中任意兩點(diǎn)云之間的距離,其值越小表示兩點(diǎn)云的相似程度越高,如果為0則說(shuō)明兩點(diǎn)云完全相同。圖6給出了葉片1和葉片2去除部分點(diǎn)前后所提取骨架的可視化差異,它們?cè)谕暾腿笔闆r下所提取骨架的Hausdorff距離和葉長(zhǎng)的比值分別為1.3%和0.3%。這些結(jié)果表明,本文方法對(duì)于存在缺失數(shù)據(jù)的點(diǎn)云數(shù)據(jù)仍能提取出較好的骨架,并且與完整的葉片點(diǎn)云提取結(jié)果差異不大。
圖6 完整點(diǎn)云數(shù)據(jù)與缺失點(diǎn)云數(shù)據(jù)提取骨架結(jié)果對(duì)比 Fig.6 Comparison of skeletons extracted from complete point cloud data and missing point cloud data
為測(cè)試該算法對(duì)于整株玉米的葉片骨架提取的效果,選取2株玉米植株點(diǎn)云數(shù)據(jù)進(jìn)行測(cè)試。測(cè)試時(shí)首先對(duì)植株進(jìn)行器官點(diǎn)云分割,再對(duì)植株上的所有葉片進(jìn)行骨架提取,結(jié)果如圖7所示??梢暬Y(jié)果表明,利用本文方法所提取的植株上所有葉片的骨架均能準(zhǔn)確反映其三維形狀結(jié)構(gòu)特征。此外,通過(guò)骨架計(jì)算的葉長(zhǎng)與實(shí)測(cè)葉長(zhǎng)的單株平均絕對(duì)百分比誤差(MAPE)為1.79%,標(biāo)準(zhǔn)化均方根誤差(NRMSE)為1.99%。
圖7 兩株玉米植株葉片骨架提取結(jié)果 Fig.7 Skeleton extraction results of the leaves in two maize plants
本文通過(guò)自適應(yīng)加權(quán)算子和主曲線實(shí)現(xiàn)了玉米葉片點(diǎn)云數(shù)據(jù)的骨架提取,下面針對(duì)自適應(yīng)加權(quán)算子中完整性權(quán)重和主曲線對(duì)骨架提取的貢獻(xiàn)進(jìn)行分析。
對(duì)于圖6中手動(dòng)刪除部分點(diǎn)后所得的有較大的數(shù)據(jù)缺失的葉片1,圖8給出了對(duì)其在自適應(yīng)加權(quán)算子中是否使用點(diǎn)云完整性權(quán)重所提取的骨架約束點(diǎn)集的對(duì)比結(jié)果。從圖8中可以看出,包含完整性權(quán)重的自適應(yīng)加權(quán)算子所提取的骨架約束點(diǎn)(藍(lán)色)在葉片1缺失處更接近葉片中間,而不包含完整性權(quán)重的自適應(yīng)加權(quán)算子所提取的骨架約束點(diǎn)(紅色)在葉片1缺失處明顯偏離葉片中間位置。
圖8 有無(wú)完整性權(quán)重提取的骨架約束點(diǎn)結(jié)果 Fig.8 Skeleton constraint point results extracted with completeness weight or not
圖9給出了對(duì)于圖8中提取的骨架約束點(diǎn)集所生成的主曲線的對(duì)比結(jié)果。從中可以看出,通過(guò)骨架約束點(diǎn)集生成的主曲線能夠在一定程度上對(duì)骨架進(jìn)行校正,并且使得提取的骨架更加均勻平滑,方便后續(xù)應(yīng)用。然而,對(duì)于不包含完整性權(quán)重的自適應(yīng)加權(quán)算子所提取的骨架約束點(diǎn)(藍(lán)色),由于骨架約束點(diǎn)在葉片1缺失處明顯偏離葉片中間位置,所生成的主曲線(紅色)仍然存在較大的偏離。相反的,對(duì)于包含完整性權(quán)重的自適應(yīng)加權(quán)算子所提取的骨架約束點(diǎn),所生成的主曲線(黑色)則接近于玉米葉片的中間位置。
圖9 有無(wú)完整性權(quán)重提取的骨架約束點(diǎn)集生成的主曲線 Fig.9 Results of principle curves extracted by skeleton constraint point sets with completeness weight or not
為評(píng)估本文提出的玉米葉片點(diǎn)云骨架提取方法先進(jìn)性,用本方法和Cao等提出的利用Laplace算子收縮進(jìn)行點(diǎn)云提取骨架方法進(jìn)行對(duì)比,如圖10所示。由圖10可知,本文方法提取的骨架更加呈現(xiàn)曲線形式,在形態(tài)上較Laplace方法以點(diǎn)集的形式表示的骨架更為精細(xì);而且對(duì)于存在缺失的葉片點(diǎn)云數(shù)據(jù),Laplace方法在缺失處的提取的骨架明顯存在偏離中心的情況,并且經(jīng)常出現(xiàn)分叉結(jié)構(gòu),如圖10所示,而本文方法不會(huì)出現(xiàn)分叉情況,說(shuō)明本文方法可以提取更加準(zhǔn)確反映玉米葉片三維形狀特征的骨架。
圖10 兩種骨架提取方法的結(jié)果對(duì)比 Fig.10 Comparison of results of two skeleton extraction methods
玉米葉片的骨架是計(jì)算諸多葉片表型的有效途徑,如葉長(zhǎng)、葉傾角和葉方位角等。其中,骨架提取精度對(duì)葉長(zhǎng)的計(jì)算影響最大。為此,對(duì)比了通過(guò)本方法提取骨架計(jì)算得到的葉長(zhǎng)與實(shí)測(cè)葉長(zhǎng)的差異,如表2所示。本文使用了幾種典型的誤差度量來(lái)測(cè)量上述30個(gè)葉片的葉長(zhǎng)計(jì)算誤差,包括平均絕對(duì)百分比誤差(Mean Absolute Percent Error,MAPE)、均方根誤差(Root Mean Square Error,RMSE)和標(biāo)準(zhǔn)化均方根誤差(Normalized Root Mean Square Error,NRMSE)。本方法計(jì)算葉長(zhǎng)的MAPE為2.10%,RMSE為2.21cm,NRMSE為2.89%,而對(duì)比的Laplace方法計(jì)算葉長(zhǎng)的MAPE為6.16%,RMSE為6.31cm,NRMSE為8.26%。上述結(jié)果表明本方法提取葉片點(diǎn)云骨架可以得到更好的結(jié)果,利用本方法提取骨架所計(jì)算的葉長(zhǎng)具有較高的精度。
表2 本文方法和Laplace方法的葉長(zhǎng)計(jì)算結(jié)果對(duì)比 Table 2 Comparison of leaf length calculation results generated by the method in this paper and Laplace method
由于植物葉片表面光學(xué)屬性和環(huán)境因素的影響,以及部分?jǐn)?shù)據(jù)獲取手段受獲取角度和植物器官自身遮擋的限制,數(shù)據(jù)缺失在植物葉片點(diǎn)云中普遍存在。如何利用缺失點(diǎn)云數(shù)據(jù)盡可能高精度地實(shí)現(xiàn)葉片骨架提取對(duì)于進(jìn)一步表型信息的提取尤為重要。直接基于點(diǎn)云位置收縮的方法通過(guò)計(jì)算鄰域中心點(diǎn)計(jì)算骨架特征點(diǎn),如分層聚類、Laplace骨架提取、L1中值和平面參數(shù)化等方法,其難以避免因點(diǎn)云缺失產(chǎn)生骨架點(diǎn)偏移和葉脈曲線扭曲問(wèn)題。盡管Wu等針對(duì)玉米葉片形態(tài)特征對(duì)提取的骨架進(jìn)行矯正,提升了骨架與葉片的重合度和葉尖點(diǎn)位置,但其仍無(wú)法解決部分點(diǎn)云缺失產(chǎn)生的骨架偏移問(wèn)題。葉脈骨架的偏移和扭曲將直接導(dǎo)致提取的葉長(zhǎng)參數(shù)偏大、骨架驅(qū)動(dòng)的葉片三維建模失真等問(wèn)題?;谌笔c(diǎn)云的骨架提取是計(jì)算機(jī)圖形學(xué)領(lǐng)域的經(jīng)典問(wèn)題,但已有研究多側(cè)重于對(duì)具有圓柱形對(duì)稱性的人體、動(dòng)物和文物開(kāi)展,或用于解決圓柱形植物枝干和器官的骨架提取,直接應(yīng)用其解決薄面形葉片的骨架提取時(shí)難以達(dá)到理想的效果。Jin等在玉米植株點(diǎn)云分割的基礎(chǔ)上,通過(guò)尋找葉片在不同投影方向上的最小損失,可得到整體光順的玉米葉片骨架。該方法對(duì)于基于缺失點(diǎn)云的表型解析是一個(gè)較為理想的解決方案,但所提取骨架與實(shí)際葉脈多是在某個(gè)投影方向上擬合效果較好,在其他方向仍有偏離。本方法在骨架約束點(diǎn)提取過(guò)程中,針對(duì)性地設(shè)計(jì)了點(diǎn)云完整性權(quán)重,在一定程度上解決了玉米葉片點(diǎn)云數(shù)據(jù)缺失的骨架提取問(wèn)題;同時(shí),通過(guò)引入主曲線方法,利用葉片完整部分點(diǎn)云所提取的骨架約束點(diǎn)對(duì)缺失部分提取的骨架進(jìn)行再次矯正,因此本文方法對(duì)于點(diǎn)云缺失具有更好的魯棒性。
長(zhǎng)窄形植物葉片的葉脈具有一定的光滑性,為提升骨架提取與葉面的重合度,研究人員常利用樣條曲線方法對(duì)所提取的骨架特征點(diǎn)進(jìn)行優(yōu)化處理。主曲線方法與樣條曲線方法具有較高的相似性。樣條曲線是通過(guò)控制點(diǎn)構(gòu)建樣條曲線,但其形態(tài)對(duì)控制點(diǎn)尤為敏感,控制點(diǎn)分布的變化會(huì)形成不同的樣條曲線,導(dǎo)致利用其提取骨架產(chǎn)生較大偏差。而主曲線方法不存在該問(wèn)題,可以更好的保證提取骨架的準(zhǔn)確性。同時(shí)本方法提取的骨架可以呈現(xiàn)曲線形式,較傳統(tǒng)的點(diǎn)集的形式更為精細(xì)。
本文提出的骨架提取方法可實(shí)現(xiàn)玉米葉片點(diǎn)云骨架的自動(dòng)提取,無(wú)需后期手動(dòng)調(diào)整,對(duì)于處理表型大數(shù)據(jù)非常重要,尤其是在可實(shí)現(xiàn)玉米單株3D數(shù)據(jù)高通量獲取的背景下,自動(dòng)化的表型解析方法對(duì)于推動(dòng)植物表型組學(xué)研究具有重要作用。
1)本文提出了一種基于自適應(yīng)加權(quán)算子和主曲線的玉米葉片點(diǎn)云骨架提取方法,可實(shí)現(xiàn)玉米葉片骨架的精確提取。該方法使用的點(diǎn)云完整性權(quán)重可以提升點(diǎn)云缺失葉片的骨架提取效果。對(duì)比利用完整葉片點(diǎn)云和手動(dòng)去除部分點(diǎn)形成缺失的葉片點(diǎn)云所提取骨架,二者的Hausdorff距離和葉長(zhǎng)的比值低于1.3%。方法中主曲線的引入可以提升骨架的光滑性和骨架點(diǎn)分布的均勻性。
2)利用本方法針對(duì)典型的玉米葉片所提取骨架計(jì)算葉長(zhǎng)與實(shí)測(cè)葉長(zhǎng)的平均絕對(duì)百分比誤差為2.10%,均方根誤差為2.21 cm,標(biāo)準(zhǔn)化均方根誤差為2.89%,與同類方法相比可提升葉片表型解析精度。本方法也可很好地應(yīng)用在整株玉米的表型解析中,通過(guò)用其對(duì)整株玉米葉片進(jìn)行測(cè)試,所提取骨架計(jì)算的葉長(zhǎng)與實(shí)測(cè)葉長(zhǎng)的單株平均絕對(duì)百分比誤差和標(biāo)準(zhǔn)化均方根誤差均在2%以內(nèi)。本方法提取骨架過(guò)程中無(wú)需手動(dòng)交互,可實(shí)現(xiàn)自動(dòng)化的骨架提取和表型解析。