基于水稻三維模型的表型參數(shù)提取及生物量估測

程志強，方圣輝

（武漢大學遙感信息工程學院，湖北 武漢 430072）

水稻一直是我國重要的糧食作物之一，對維系我國糧食安全和社會穩(wěn)定發(fā)揮著重要作用[1]。為了實現(xiàn)水稻作物的遺傳改良和產(chǎn)量提升，當下許多研究關注于水稻作物表型[2-3]。水稻作物表型提取方法已經(jīng)經(jīng)歷了人工測量、二維圖像分析和專業(yè)數(shù)字化儀器測量等階段[4]。其中，人工測量、專業(yè)數(shù)字化儀器測量的方法[5]勞動量大且具有一定的破壞性。相較于二維圖像分析技術(shù)，三維重建技術(shù)可以提取二維圖像不具備的空間信息，成為近年來研究的熱點。

當前，植株三維重建方法主要分為兩類。一類是利用傳感器直接獲得植物點云的主動視覺法[6]。其中，PAULUS等[7]使用三維激光掃描儀實現(xiàn)了大麥器官的自動掃描建模，TANG 等[8]使用時差法和可見光成像提取玉米苗期植株性狀。然而，這類方法因受到設備昂貴、環(huán)境要求苛刻、重建效率低下等限制無法投入大規(guī)模應用。另一類是基于多視角圖像的攝影測量方法，如運動恢復重建（Structure from motion，SFM）[9]、空間雕刻（Structure from space carving，SSC）[10]等。這類方法能夠捕獲植株高密度空間點云信息和色彩紋理信息，從而實現(xiàn)更優(yōu)的三維重建效果。胡鵬程等[11]利用SFM 方法實現(xiàn)了盆栽黃瓜、茄子、青椒的三維重建，但該方法依賴于特征點匹配結(jié)果，難以完成水稻等紋理稀疏、葉片細窄植物的三維重建。SSC算法利用物體的多視角圖像和二值輪廓，采用視角交集的方法計算植株的可視化外殼，最終保留體素構(gòu)成的目標三維模型，可以高效穩(wěn)定地完成葉片細窄植物的三維重建?；谠摲椒ǎ瑓堑さ萚12]通過旋轉(zhuǎn)拍攝盆栽水稻圖像，成功實現(xiàn)了對不同時期和品種的水稻樣本進行三維重建。魏天翔等[4]在空間雕刻的基礎上加入了深度學習背景分割技術(shù)，實現(xiàn)了對田間單株水稻的重建。

水稻體積（Volume of rice，VR）是一個與水稻生物量信息密切相關、指示水稻生長狀況的重要參數(shù)指標，但在當下研究中卻并未得到廣泛關注。傳統(tǒng)的體積測量方法往往會對水稻植株造成破環(huán)，而最近提出的基于植株三維模型的體積測量方法如點云包圍盒方法[13]、凸包法[14]，則由于水稻結(jié)構(gòu)復雜、內(nèi)部存在大量遮擋，難以獲取準確的水稻體積。因此，在不破壞水稻植株的前提下，如何精確獲取水稻的體積參數(shù)，仍是當下研究中亟待解決的問題。

Alpha-shape算法最初用于構(gòu)建點集輪廓，目前已廣泛應用于建筑物輪廓提取和三維重建[15]。該算法可以構(gòu)建反映物體在空間中表面積、體積、疏密程度等特征的模型，但如何利用它提取水稻點云輪廓并進行三維曲面重建仍缺乏深入研究。鑒于此，利用Alpha-shape 算法生成水稻植株三維曲面模型，精確提取株高（Plant height，PH）、莖粗（Stem thickness，ST）、植被覆蓋度（Vegetation coverage，VC）、體積等多類重要表型參數(shù)，并使用水稻體積估算水稻生物量（Biomass of rice，BR），為水稻表型研究提供一種無損可靠的參數(shù)測算方法。

1 材料和方法

圖1展示了基于水稻三維模型提取表型參數(shù)和估測生物量的過程。首先，采集了水稻的多視角圖像，利用張氏標定法確定相機內(nèi)外參數(shù)[16]并通過色彩信息分離水稻與背景。接下來，通過空間雕刻方法生成水稻體素模型。隨后，實現(xiàn)水稻表型參數(shù)的提取和生物量的估測。具體而言，基于水稻體素模型構(gòu)建曲面模型，提取株高、莖粗、植被覆蓋度和水稻體積等表型參數(shù)，并利用水稻體積來估測水稻生物量。最后，將獲得的表型參數(shù)提取結(jié)果與人工測量值進行比對分析，以驗證模型的精度。

圖1 水稻三維重建流程圖Fig.1 Diagram of the 3D reconstruction flow of rice

1.1 水稻體素三維重建

1.1.1 序列圖像采集 圖像采集地點位于武漢大學花山水稻試驗基地，采集設備為Canon EOS 6D Mark Ⅱ單反相機，拍攝分辨率為1 600 像素×2 400像素，固定焦距f 為24 mm，保持拍攝光圈、ISO 和曝光時間等參數(shù)一致，以最大程度地還原水稻真實色彩。為了對水稻進行全面觀察和研究，選用了1 穴2株種植的盆栽水稻作為試驗對象。在合適的水稻觀察點放置棋盤格標定板并進行多角度拍攝，拍攝距離保持在0.6～1.0 m，以保證完整地捕捉水稻在各個方位視角的表型信息。本研究共包含4 個時期（幼苗期、分蘗期、拔節(jié)期和抽穗期）的水稻樣本，每株水稻采集了20 張照片，包含水稻俯視圖、正反視圖和左右視圖。

1.1.2 水稻輪廓提取 水稻輪廓提取是水稻體素三維重建的必要步驟，旨在去除投影在水稻輪廓外的體素塊，從而分離出精確的水稻體素模型。在可見光范圍內(nèi)，抽穗期以前的水稻呈現(xiàn)為綠色，而抽穗期至成熟期的水稻顏色則逐漸變黃。根據(jù)上述特性，基于色彩信息提取水稻輪廓。HSV 空間[17]能夠直觀地表達色彩的明暗、色調(diào)以及鮮艷程度，常用于分割指定顏色的物體。因此，采用HSV 分量閾值對水稻輪廓進行提取。HSV 分量閾值設置如表1所示，水稻原始圖像和水稻輪廓提取結(jié)果如圖2所示。

表1 HSV閾值設置Tab.1 HSV threshold settings

圖2 水稻原始圖像和水稻輪廓提取結(jié)果Fig.2 Original rice image and silhouette extraction result

1.1.3 相機標定 相機標定旨在建立包圍盒中每個體素的三維空間坐標與對應的二維像素坐標之間的映射關系，該映射關系如公式（1）所示。

其中，[Xw,Yw,Zw,1]T表示世界坐標系下的坐標點，[u,v,1]T則表示該點在某視圖圖像中的像素點坐標。世界坐標系是以棋盤格固定內(nèi)角點為原點，棋盤格所在平面為oxy 平面的坐標系。P是將空間坐標轉(zhuǎn)換為像素坐標的投影矩陣，由相機內(nèi)參數(shù)矩陣K和相機外參數(shù)矩陣[R t]相乘所得。R、t分別是相機的旋轉(zhuǎn)矩陣和平移向量，它們通過張氏標定法獲得，用于表示相機在世界坐標系中的位置，如圖3所示。s為尺度因子。

圖3 相機在世界坐標系中的位置Fig.3 Position of the camera in world coordinate system

1.1.4 空間雕刻 在水稻體素三維重建的過程中，需要獲取相機標定得到的世界坐標范圍，在范圍內(nèi)建立包圍盒并進行體素化。然而，如果體素塊過大，會導致水稻建模結(jié)果過于粗糙甚至出現(xiàn)錯誤；而過小則會極大地增加程序的時間復雜度和空間復雜度。為平衡三維重建精度和程序運行速度，首先采用邊長為3 mm 的體素塊初始化網(wǎng)格，然后以邊長為1 mm 的體素塊重新建立更加準確的包圍盒，執(zhí)行空間雕刻算法。

空間雕刻流程如圖4所示，首先根據(jù)公式（1）計算包圍盒中每個體素塊角點在某一視圖圖像的像素坐標，去除坐標在水稻輪廓外的體素塊。接下來，遍歷所有視圖圖像，重復上述步驟進行水稻外殼的細化，最終生成水稻體素模型。隨后，將水稻體素模型轉(zhuǎn)換為點云模型。最后遍歷點云，使用投影變換公式計算每個點云在不同視圖的投影坐標，以點云在所有視圖中的RGB 均值C(w)作為該點的色彩值，C(w)計算過程如公式（2）所示。

圖4 空間雕刻流程Fig.4 Process of space carving

其中，n代表視圖數(shù)量，Pi代表第i個視圖對應的投影矩陣，w表示水稻三維點云中的任意點。

1.2 水稻表型參數(shù)提取及生物量估測

1.2.1 水稻曲面模型重構(gòu)及表型參數(shù)提取Alpha-shape是一種邊界點的提取算法，適用于無序點云的邊界提取和將點云模型轉(zhuǎn)換為曲面模型。該算法基于空間中的3 個點構(gòu)建半徑為α的球，以判定點云模型的邊界。α參數(shù)直接決定了算法的精度和模型的重建效果，通過調(diào)整α值，利用該算法建立不同精度的水稻曲面模型。圖5 展示了利用Alpha-shape算法重建分蘗期水稻曲面模型的效果。當α=100 時，水稻內(nèi)部結(jié)構(gòu)被高度包圍，曲面模型接近于水稻外部點云構(gòu)建的凸包，無法展現(xiàn)水稻的具體結(jié)構(gòu)。隨著α的減小，重建出的曲面模型更接近于水稻原始圖像和點云的結(jié)果。當α=10 時，曲面模型的重建結(jié)果較好，水稻的幾何結(jié)構(gòu)表達效果較為精細，但存在部分葉片粘連的問題。當α減小到1時，水稻的曲面模型與點云模型基本一致，此時的模型接近于真實水稻。當α繼續(xù)減小時，由于α小于水稻點云之間的距離，無法建立有效的曲面模型。

圖5 不同α 參數(shù)下的水稻曲面模型Fig.5 Curved surface models of rice with different α parameters

通過調(diào)整α參數(shù)值，構(gòu)建出不同精度的水稻曲面模型，反映出水稻在空間伸展時的不同形態(tài)和疏密特征。當α較大時，可以通過計算凸包體積獲取水稻在生長過程中占據(jù)的實際空間，當α較小時，水稻模型更接近真實形態(tài)，此時可以利用Alpha-shape算法將曲面模型分割為多個三角體區(qū)域，計算各三角體區(qū)域的體積并相加得到整個曲面模型的體積，從而實現(xiàn)水稻體積的提取。

將水稻株高定義為植株最高點到盆沿所在平面的垂直距離。在本研究中，標定板水平放置在盆沿所在平面上，因此將標定板所在平面定義為世界坐標系中的Z=0 平面，水稻三維模型的高度即為水稻株高參數(shù)。水稻株高的提取方式如圖6所示。

圖6 水稻株高參數(shù)提取示意圖Fig.6 Schematic diagram of extraction of rice plant height

在水稻進入分蘗期后，由于分蘗數(shù)量增加且根部遮擋較少，在此時期測量水稻莖粗可以獲得更加準確的結(jié)果。本研究將水稻莖粗定義為整株水稻盆沿平面往上1 cm 根莖橫截面的最長直徑，在點云模型中表現(xiàn)為根莖橫截面最大坐標值與最小坐標值的差值。在提取根莖橫截面時，可能存在葉片遮擋引起的噪點，因此在計算坐標差值以前需要進行去噪處理。水稻莖粗提取的具體過程如圖7所示。水稻植被覆蓋度被定義為水稻植株在地面的垂直投影面積占最小外接矩形面積的百分比，人工測量值則為水稻拍攝俯視圖植株部分與其最小外接矩形面積的百分比。為了提取該參數(shù)，需要將水稻曲面模型平面投影至Z=0 平面，然后計算在二維圖像中的占比。植被覆蓋度具體提取方式如圖8所示。

圖7 水稻莖粗參數(shù)提取示意圖Fig.7 Schematic diagram of extraction of rice stem thickness

圖8 水稻植被覆蓋度參數(shù)提取示意圖Fig.8 Schematic diagram of schematic diagram of extraction of rice vegetation coverage

1.2.2 水稻生物量估測 通常，植物生物量指單位面積內(nèi)有機物質(zhì)干質(zhì)量的總量[18]，然而水稻作為一種對水分極為敏感的糧食作物，其鮮質(zhì)量仍然具有重要的研究意義。因此，將水稻生物量定義為水稻植株地上部分的鮮質(zhì)量。在數(shù)據(jù)采集階段，以單株水稻地上部分的鮮質(zhì)量作為水稻生物量的人工測量值，以α=1 時水稻曲面模型的體積作為水稻體積計算值，建立兩者的線性回歸預測模型，并基于該模型估測水稻生物量。

2 結(jié)果與分析

2.1 水稻體素三維重建結(jié)果

采集不同時期的水稻多視角圖像，使用VisualSFM[19]和Context Capture[20]軟件生成了相應的點云模型。與此同時，使用空間雕刻方法實現(xiàn)了水稻三維重建，并與2 種軟件的結(jié)果進行對比分析。表2 展示了各種重建方法生成的平均水稻點云數(shù)量。

表2 不同重建方法的平均水稻點云數(shù)量Tab.2 Average number of rice point clouds with different reconstruction method

通過對比結(jié)果可以發(fā)現(xiàn)，VisualSFM 重建點云數(shù)量極少，這是因為VisualSFM 沒有重建出有效的水稻模型，而Context Capture 重建的水稻點云數(shù)量龐大，其中存在大量的背景冗余。由于VisualSFM無法重建水稻模型，不再對其進行討論。圖9 展示了使用Context Capture 軟件和空間雕刻方法得到不同時期的水稻三維模型。重建結(jié)果顯示，Context Capture 的重建結(jié)果存在嚴重的水稻葉片和莖稈扭曲失真，而相比之下，空間雕刻方法能夠重建更完整的水稻模型，還原出水稻真實形態(tài)。

圖9 Context Capture和空間雕刻重建結(jié)果Fig.9 Reconstruction results of Context Capture and SSC

2.2 水稻表型參數(shù)提取結(jié)果

2.2.1 水稻體積 由于水稻體積真值無法直接獲取，將Alpha-shape 提取的水稻體積與凸包法提取的水稻體積進行對比，用于估算本研究水稻體積提取的準確性。具體而言，提取了不同α值下的水稻體積，并計算了它們與凸包法提取的體積之間的決定系數(shù)（R2）和平均絕對百分比誤差（MAPE）。

由表3 可知，當α=1 000 時，2 種方法得到的水稻體積趨于相等，決定系數(shù)高達0.99，MAPE僅為3.97%。隨著α的減小，水稻曲面模型逐漸變得復雜和真實，求得的水稻體積逐漸減少，與凸包法得到的體積差值變大，相關性也逐漸減小。當α=1時，2種方法的決定系數(shù)僅為0.42，而MAPE則高達97.14%，說明由于水稻的莖葉延展特性不同，相同的水稻外包模型內(nèi)部結(jié)構(gòu)差異明顯，也進一步說明隨著α的減小，Alpha-shape 算法構(gòu)建的水稻模型能更加真實地反映水稻生長情況，本研究在α=1 的情況下求得的水稻體積最接近真實值。

表3 不同α對應體積參數(shù)計算結(jié)果與凸包法所計算水稻體積之間的決定系數(shù)及平均絕對百分比誤差Tab.3 R2 and MAPE of rice volume calculated by Alpha-shape with different α and convex hull

2.2.2 水稻其他表型參數(shù) 利用Context Capture 和空間雕刻重建水稻模型，分別提取水稻俯視圖的最小外接矩形和包圍盒，并對三維模型進行點云分割和去噪處理，從而獲得了水稻的株高、植被覆蓋度和莖粗等參數(shù)，并計算了參數(shù)計算值與人工測量值之間的MAPE和均方根誤差（RMSE）指標。

圖10 為水稻表型參數(shù)計算值與人工測量值散點圖，參數(shù)評估結(jié)果顯示，空間雕刻方法提取的水稻表型參數(shù)的R2、RMSE和MAPE均優(yōu)于專業(yè)三維建模軟件Context Capture，驗證了空間雕刻方法在水稻表型參數(shù)提取方面的有效性。

圖10 水稻不同表型參數(shù)計算值與人工測量值散點圖Fig.10 Scatter plot of measured and calculated rice phenotypic parameter values

2.3 水稻生物量估測結(jié)果

圖11 展示了人工測量的水稻生物量與水稻體積參數(shù)的散點圖。結(jié)果顯示，體積參數(shù)與水稻生物量信息的相關性較弱，R2僅為0.34?？紤]到水稻孕穗以后，相同體積下稻穗質(zhì)量明顯更大，因此植株是否含穗會對水稻生物量信息產(chǎn)生影響，從而影響最終的提取結(jié)果。為了分析水稻是否含穗對水稻生物量測量的影響，將數(shù)據(jù)樣本分為了含穗和不含穗2類，并將它們作為獨立數(shù)據(jù)樣本進行回歸分析。

圖11 水稻生物量測量值和體積計算值散點圖Fig.11 Scatter plot of measured BR and calculated VR

圖12 展示了分類后的水稻生物量人工測量值和體積參數(shù)提取結(jié)果的散點圖，其中藍色點代表不含穗的水稻植株樣本，橙色點代表含穗的植株樣本。與圖11相比，圖12中2類樣本各自計算的回歸結(jié)果更具相關性，其中含穗水稻樣本R2達到了0.77，不含穗的水稻樣本R2達到了0.83，相較于分類前有了明顯的提高。此外，含穗水稻植株和不含穗水稻植株的分布態(tài)勢也符合含穗水稻植株密度更大的現(xiàn)實規(guī)律。

圖12 分類水稻生物量測量值和體積計算值散點圖Fig.12 Scatter plot of categorical measured BR and calculated VR

圖13 展示了將植株分為兩類后水稻生物量的人工測量值與系統(tǒng)計算值的散點圖及y=x參照?？梢钥吹?，分為2 類回歸計算的水稻生物量和人工檢測值之間存在較強的相關性，RMSE和MAPE均可控制在較小范圍內(nèi)，證明了本研究利用水稻體積參數(shù)估測水稻生物量的有效性及可靠性。

圖13 水稻生物量測量值和計算值散點圖Fig.13 Scatter plot of measured BR and calculated BR

2 類數(shù)據(jù)分別計算的結(jié)果顯示，不含穗植株的RMSE和MAPE分別為53.38 g、17.52%，含穗植株的RMSE和MAPE分別為80.40 g、19.95%?？梢钥闯觯诓缓肭闆r下水稻植株體積與生物量的相關程度大于含穗情況，這是因為含穗水稻在不同時期稻穗生物量體積比例不同，從而影響最終的提取結(jié)果。

3 結(jié)論與討論

本研究結(jié)果表明，使用空間雕刻方法重建水稻三維模型比SFM 方法更為優(yōu)越，在點云冗余、表型參數(shù)估測等方面均表現(xiàn)更好，其中水稻株高、莖粗、單株植被覆蓋度的MAPE分別為7.15%、14.91%和12.59%，均低于使用Context Capture 軟件重建提取的水稻表型誤差結(jié)果。這是因為空間雕刻算法不需要進行特征匹配，所以其細化和分割體素的過程不會扭曲和冗余水稻模型，從而提取的相關表型更加準確[21]。盡管如此，SFM 方法仍然是目前多視角圖像三維重建的主流方法，這是因為其操作簡單、具有高自動化和魯棒性的優(yōu)點[22]。相比之下，雖然空間雕刻算法能取得更加精確的重建結(jié)果，但是它需要提前進行相機標定，實現(xiàn)過程更為復雜[23]。因此，在未來的研究中，可以考慮結(jié)合SFM 方法和空間雕刻方法，在不借助標定板的情況下實現(xiàn)水稻的三維重建。

此外，植物冠層的體積特征對于指示植株生物量信息和生長狀況具有重要意義。針對植株體積參數(shù)計算的需求，李慶等[24]證明Alpha-shape算法可用于計算冠層結(jié)構(gòu)參數(shù)，楊征鶴等[25]基于該算法成功實現(xiàn)了對番茄植株的體積計算，與凸包法相比平均誤差降低了15.3%，越來越多的研究證明了該算法在植株三維模型體積計算方面的有效性?；蛟S是因為水稻生長情況復雜，雖然吳丹等[12]成功重建了水稻三維模型，但是并未考慮基于水稻模型實現(xiàn)水稻體積和生物量的估測。本研究使用Alphashape 將體素模型進一步改進獲得了曲面模型，從而提取了水稻模型的體積并用于估測水稻生物量，按照抽穗期將水稻分為2 類，討論是否含穗對估測的影響。研究結(jié)果顯示，針對抽穗期以前的水稻，預測的生物量較為準確，水稻體積與生物量人工測量值的R2達到了0.83。然而，對于抽穗期以后水稻，水稻體積與生物量人工測量值的R2為0.77，預測誤差RMSE和MAPE也更高。如前所述，這是由于不同的水稻植株穗質(zhì)量比例和生長情況各不相同導致。

本研究存在一些局限性：首先，由于計算機內(nèi)存和處理器性能的限制，本研究在僅使用CPU 進行建模時耗時較長，難以投入大規(guī)模應用；其次，本研究在使用體積參數(shù)估測水稻生物量時，僅考慮了水稻是否含穗對結(jié)果的影響，而由于水稻生長情況的復雜性，植株之間存在較大差異，因此在綜合考慮其他因素之后或許會得到更準確的估測值；最后，本研究僅提取了水稻株高、莖粗、植被覆蓋度和體積等表型參數(shù)，而如葉傾角、展開度、植株骨架等更多的表型參數(shù)的研究還有待進一步開展。在后續(xù)研究中，將考慮采用GPU 加速和優(yōu)化體素存儲結(jié)構(gòu)等方式來提高算法的效率，同時還將探索提取和研究更多水稻表型參數(shù)，以便更全面地了解水稻的生長形態(tài)和特性。

綜上所述，本研究通過空間雕刻方法重建了水稻高精度的三維模型，并基于此提取出了更全面的水稻表型參數(shù)，通過體積參數(shù)成功預測了水稻生物量，從三維層面為水稻表型研究提供了參考。此外，本研究發(fā)現(xiàn)，空間雕刻算法對重建物體沒有限制，理論上適用于任何對象的重建，具有廣泛的應用價值，因此對如小麥、高粱等缺乏特征紋理信息的禾本科農(nóng)作物重建均具有參考價值。