基于移動Kinect的低成本植物三維結(jié)構(gòu)表型分析

孟祥爽，林 沂

北京大學(xué)地球與空間科學(xué)學(xué)院，遙感與地理信息系統(tǒng)研究所，北京 100871

引 言

對于21世紀的作物研究而言，如何根據(jù)作物的遺傳組成預(yù)測其表現(xiàn)是一項重大挑戰(zhàn)[1]。表型可用于描述植物性狀，表型由大量的結(jié)構(gòu)、 功能和過程來表征，能夠充當連接基因型與環(huán)境的橋梁。作物結(jié)構(gòu)是一種明顯但重要的表型類型，與蒸發(fā)、 蒸騰和光合作用等許多生物物理過程相關(guān)，能夠反映作物適應(yīng)資源有限的生長條件的機制[2]。因此，在精準農(nóng)業(yè)領(lǐng)域迫切需要能夠?qū)χ参锶S結(jié)構(gòu)進行移動表型分析的高性能且低成本的新技術(shù)[1]。

基于不同類型的三維數(shù)據(jù)采集技術(shù)，如激光雷達(light detection and ranging，LiDAR)、 立體視覺和RGB-D設(shè)備，已經(jīng)開發(fā)了一系列用于植物三維結(jié)構(gòu)表型分析的方法[3-4]。商業(yè)化LiDAR能直接獲取植物的三維點云，是植物表型分析的有效手段[5]。安裝農(nóng)業(yè)機械上的LiDAR能以非破壞性的方式估算植物的密度、 體積和葉面積等參數(shù)[6]，但是LiDAR相對較高的價格限制了其在農(nóng)業(yè)應(yīng)用中的普遍性。

立體視覺系統(tǒng)通常由商業(yè)相機組成，成本相對較低，因此被廣泛用于表型技術(shù)的開發(fā)[7-8]。然而，高精度立體視覺系統(tǒng)通常需要兩個由固定基線分開的相機，在使用前需要校準，操作較繁瑣[9]。運動恢復(fù)結(jié)構(gòu)(structure from motion，SfM)可以只依賴一臺相機完成相同的任務(wù)[10]，通過SfM技術(shù)使用多幅圖像生成的點云可用于反演植物的結(jié)構(gòu)參數(shù)[9]。

具有測量傳感器和物體之間距離能力的低成本RGB-D設(shè)備也被嘗試用于植物表型分析，例如Microsoft公司發(fā)布的Kinect傳感器，已被用于葉片分割和尺寸估計[11-12]。然而，Kinect在植物表型分析中的應(yīng)用潛力尚未得到充分研究。理論上，Kinect可以通過不同的方式測量植物三維結(jié)構(gòu)，即：點云可直接從Kinect的深度圖像(depth image，DI)中生成；使用SfM的方法從彩色圖像生成；以及通過合并DI和SfM點云生成融合數(shù)據(jù)(merged data, MD)。現(xiàn)有研究尚未針對不同的采樣模式(例如靜態(tài)、 等距靜態(tài)或連續(xù)移動)及其組合對于植物表型分析的表現(xiàn)進行討論。為填補這一空白，本文旨在探討以上三種方式反演植物結(jié)構(gòu)參數(shù)的性能，并基于Kinect構(gòu)建用于提取植物三維結(jié)構(gòu)的低成本且穩(wěn)健的移動表型分析技術(shù)。

1 實驗部分

1.1 設(shè)備

Kinect傳感器由一個紅外發(fā)射器和兩個CMOS相機(RGB相機和紅外相機)組成(圖1)。它能以30 fps的速率生成分辨率為640×480像素的RGB和深度圖像，或以12 fps的速率生成分辨率為1 280×960像素的RGB圖像。

圖1 Kinect傳感器，由紅外發(fā)射器(i)，RGB相機(ii)>和紅外相機(iii)組成Fig.1 The Kinect sensor, composed by an IR projector (i), a RGB camera (ii) and an IR camera (iii)

1.2 數(shù)據(jù)采集

實驗于2015年4月進行，用于實驗的植物種類是在北京大學(xué)校園內(nèi)生長的玉簪(Hostaplantaginea)，其分布廣泛并且具有大而扁平的葉子。Kinect傳感器被安裝在可移動的框架上，并用繩子固定在地面上方1.2 m處，如圖2所示。實驗共獲取了兩組圖像，第一組為對于每株植物的分辨率為640×480像素的靜態(tài)彩色和深度圖像。為采集第二組圖像，將框架沿著植物行列以約0.03 m·s-1的速度向前移動約3 m，獲取了分辨率為1 280×960像素的66幅彩色圖像。

圖2 實驗場景，Kinect傳感器安裝在帶有輪子的框架上，手動向前推動以實現(xiàn)移動觀測Fig.2 Illustration of the experiment scenarios, with the Kinect sensor mounted on a shelf with wheels that was manually pushed forward to achieve the mobile observations

為評估以DI，SfM和MD三種方式生成的點云反演植物三維結(jié)構(gòu)參數(shù)的準確性，使用FARO X330激光掃描儀測量試驗區(qū)以提供基準數(shù)據(jù)。該掃描儀發(fā)射波段為1 550 nm的紅外脈沖，每秒可獲取超過122 000個點，在10 m距離處誤差約為2 mm。

1.3 研究方法

1.3.1 點云生成

數(shù)據(jù)處理的初步任務(wù)通過DI、 SfM和MD三種方式生成點云。DI點云由顏色和深度圖像生成，基于Windows Developer Toolkit配準兩種圖像后，每個像素被轉(zhuǎn)化為一個具有位置(XYZ)和顏色(RGB)信息的點，DI生成的密集且均勻分布的點云可用于反演植物的三維結(jié)構(gòu)參數(shù)。

SfM點云通過VIsualSFM軟件[13]使用66幅彩色圖像生成，根據(jù)輸入圖像生成稀疏點云，再將其增強為密集點云。但SfM點云在植物結(jié)構(gòu)參數(shù)的反演中表現(xiàn)出兩個不足。首先，視覺解譯表明在葉片上有許多孔洞，點云密度不足以反演精細的結(jié)構(gòu)參數(shù)。其次，由于地表具有輕微的起伏，當我們使用參照物將點云的單位校準為米制時，可能會導(dǎo)致數(shù)據(jù)中產(chǎn)生一些誤差。

為解決這兩個問題，本文提出了第三種MD方法，即合并以DI和SfM方式得到的點云。從兩組點云中挑選對應(yīng)點進行粗略配準，再通過迭代最近點算法(iterative closest point, ICP)完成精確配準，從而生成MD點云。以FARO X330激光掃描儀獲取的點云作為基準數(shù)據(jù)，用于評估這三種方法反演植物結(jié)構(gòu)參數(shù)的性能，評價指標為R2和RMSE。

1.3.2 植物點云分割

探討Kinect用于植物表型分析的可行性，需進行植物點云的提取。多種方法可用于分離三維點云中的植物，例如基于RGB信息的植被指數(shù)ExG[9]，但其對光照條件敏感。本文使用基于歐氏距離的k-means聚類實現(xiàn)DI，SfM和MD點云的植物分割，將地面和植物點分為不同的聚類。在FARO點云中植物和地面點相互接觸，無法通過聚類的方式區(qū)分，因此將地面視為平面，采用隨機采樣一致性(random sample consensus，RANSAC)算法提取點云中的平面模型，以分離植物和地面點，再通過k-means聚類分割FARO點云中的每株植物。

1.3.3 植物結(jié)構(gòu)參數(shù)反演

從四組點云中分別裁剪出10片完整葉子用于反演葉面積、 圓形度(circularity)、 偏心率(eccentricity)和葉傾角等結(jié)構(gòu)參數(shù)。使用不規(guī)則三角網(wǎng)(triangulated irregular network，TIN)生成點云的三角網(wǎng)格，匯總?cè)切蚊娣e作為葉面積。圓形度和偏心率表征了葉片在形狀規(guī)律上的幾何形態(tài)，可用于葉片識別。定義分別為

(1)

其中R1和R2分別為葉片的內(nèi)切圓和外接圓的半徑，

(2)

其中L1和L2分別為葉片的長軸和短軸的長度。

為反演葉片的圓度和偏心率，對葉片點云進行主成分分析(principal component analysis，PCA)，通過前兩個主成分將點云投影到二維平面，并對投影點進行柵格化以生成葉片圖像，根據(jù)葉片圖像計算圓形度和偏心率。對于葉傾角的反演，額外使用了7片少部分被遮擋的葉片，將葉片擬合為平面，通過計算平面法向量與地面法線之間的夾角獲取葉傾角。

1.3.4 葉片輪廓建模

一些葉片結(jié)構(gòu)參數(shù)的反演是基于其邊界進行的，因此難以估計被遮擋葉片的結(jié)構(gòu)參數(shù)。為此開發(fā)了葉片幾何描繪(leaf geometry delineation，LGD)模型來表征葉片的輪廓，以恢復(fù)部分被遮擋葉片的幾何形態(tài)。使用PCA算法將葉片點投影到二維平面，通過凸包(convex hull，CH)算法提取葉片的邊界點，并將其坐標變換到極坐標系。根據(jù)葉片的形狀，使用心形線模型[式(3)和式(4)]擬合葉片輪廓。

r=a(1-cosθ)

(3)

(4)

其中r和a分別為每個邊界點的極半徑和極角。

2 結(jié)果與討論

2.1 植物分割結(jié)果

在數(shù)據(jù)處理和點云分割之后，四組數(shù)據(jù)的植物點云如圖3所示，可以初步解譯為DI和MD表征植物結(jié)構(gòu)的能力優(yōu)于SfM。

2.2 植物結(jié)構(gòu)參數(shù)反演結(jié)果

對于葉面積的估計，基于DI點云的結(jié)果優(yōu)于SfM點云，甚至優(yōu)于MD點云的結(jié)果，表現(xiàn)為具有最高的R2(分別為0.71，0.16和0.62)和最低的RMSE，如圖4所示。這一結(jié)果與圖3的直觀解譯相一致，即SfM以相對不完整的方式表征植物葉片，而MD重建葉片的邊緣具有不平滑現(xiàn)象，導(dǎo)致葉面積反演精度的降低。

圖3 基于(a)DI，(b)SfM，(c)MD和(d)FARO的植物分割結(jié)果Fig.3 Illustration of the plant segmentation results for a same plant related to the Kinect (a) DI-, (b) SfM-, (c) MD- and (d) FARO-derived results

圖4 FARO反演的葉面積(x軸)和Kinect(a)DI，(b)SfM和(c)MD反演的葉面積(y軸)之間的比較Fig.4 Comparisons between the FARO-derived leaf areas (x axis) and the Kinect sensor (a) DI-, (b) SfM-, and (c) MD-derived ones (y axis), respectively

對于葉片圓形度和偏心率的反演，基于MD點云的結(jié)果表現(xiàn)出比DI和SfM點云更好的性能，其R2最高(對于圓形度分別為0.79，0.52和0.13，對于偏心率分別為0.76，0.40和0.21)并且RMSE最低，如圖5和圖6所示。這些結(jié)果表明，對于表征葉片幾何的任務(wù)，基于MD的策略可以通過合并DI和SfM點云來實現(xiàn)信息增強的效果。

圖5 FARO反演的葉片圓形度(x軸)和Kinect(a)DI，(b)SfM和(c)MD反演的葉片圓形度(y軸)之間的比較Fig.5 Comparisons between the FARO-derived leaf circularity (x axis) and the Kinect sensor (a) DI-, (b) SfM-, and (c) MD-derived ones (y axis), respectively

圖6 FARO反演的葉片偏心率(x軸)和Kinect(a)DI，(b)SfM和(c)MD反演的葉片偏心率(y軸)之間的比較Fig.6 Comparisons between the FARO-derived leaf eccentricity (x axis) and the Kinect sensor (a) DI-, (b) SfM-, and (c) MD-derived ones (y axis), respectively

對于葉傾角的反演，SfM點云的表現(xiàn)優(yōu)于DI和MD點云，具有更高的R2(分別為0.74, 0.70和0.61)和更低的RMSE，如圖7所示。MD點云對葉傾角估計能力最弱的主要原因在于DI數(shù)據(jù)的采集過程，即Kinect傳感器測量深度過程中存在誤差[14]，這種誤差也被傳遞到MD點云中。不同于圓形度和偏心率等結(jié)構(gòu)參數(shù)，葉傾角對深度測量的準確性更敏感。由于SfM點云僅通過彩色圖像生成，獨立于深度圖像，因此該數(shù)據(jù)對于葉傾角的反演精度最高。

圖7 FARO反演的葉傾角(x軸)和Kinect(a)DI，(b)SfM和(c)MD反演的葉傾角(y軸)之間的比較Fig.7 Comparisons between the FARO-derived leaf inclination (x axis) and the Kinect sensor (a) DI-, (b) SfM-, and (c) MD-derived ones (y axis), respectively

在Kinect傳感器的移動模式中，不同的點云生成方式被證明適用于不同結(jié)構(gòu)參數(shù)的反演。DI點云在葉面積反演方面效果最好，MD點云對葉片圓形度和偏心率的反演精度最高，而SfM點云反演葉傾角的表現(xiàn)最佳。這表明，對于植物表型分析的不同任務(wù)，三種方式的集成有助于提高結(jié)構(gòu)參數(shù)反演的有效性和穩(wěn)健性。

2.3 葉片輪廓建模

LGD模型通過心形線擬合葉片邊緣實現(xiàn)葉片輪廓建模，如圖8所示。根據(jù)凸包和LGD反演的邊界點所包圍面積的R2、 RMSE和RMSEr來評價該模型。就葉面積的估計而言，LGD模型可以很好地表征目標葉片的形狀，如表1所示。對于四個數(shù)據(jù)集，R2均超過0.96，RMSEr均低于3%。這表明可通過LGD模型恢復(fù)部分被遮擋葉片的幾何形態(tài)，進而反演其結(jié)構(gòu)參數(shù)。

表1 在四組點云中，葉子的凸包和LGD反演的邊界點包圍面積的比較Table 1 Comparisons of leaves areas enclosed by the CH- and LGD-derived boundary points of the leaves in the four datasets

2.4 影響因素分析

影響Kinect表型分析表現(xiàn)的主要因素可能是其運動，與靜態(tài)植物表型分析技術(shù)相比，移動植物表型分析往往具有相對較低的精度。運動中的表型分析平臺可能會遇到各種干擾，例如不平滑的地表會導(dǎo)致彩色和深度圖像以及生成的點云具有空間偏差，并且該誤差可能會被引入到結(jié)構(gòu)參數(shù)的反演中。

基于SfM生成的點云太過稀疏，直觀地表現(xiàn)為葉片點云上的孔洞，難以滿足表征植物的要求。這是由于Kinect設(shè)備的圖像分辨率最高只有1 280×960像素，意味著Kinect既不能覆蓋大面積地表，也不能實現(xiàn)作物冠層的高密度采樣，特別是當移動框架的高度增加時。由于本研究中的Kinect傳感器使用俯視測量模式，因此在產(chǎn)生的點云中仍存在遮擋效應(yīng)。此外，Kinect傳感器無法避免數(shù)據(jù)采集中的一些缺點，例如光照條件和測量范圍的限制[15]。

2.5 潛在的改進

由于主要影響因素是系統(tǒng)的運動，因此Kinect傳感器可以固定在車輛上以克服地表不平滑的影響。還可考慮將Kinect傳感器與GPS和IMU模塊相結(jié)合，雖然這意味著系統(tǒng)成本的增加，但可以優(yōu)化數(shù)據(jù)配準過程以及提高植物結(jié)構(gòu)參數(shù)反演的精度。

為減少冠層重疊導(dǎo)致的視野障礙并獲取有關(guān)作物下層的更多信息，可嘗試將另一個Kinect傳感器集成到移動框架上。新添加的傳感器可以安裝在較低的高度，有助于平衡地表和作物結(jié)構(gòu)細節(jié)之間的問題。兩個Kinect也可通過傾斜成像方式部署，以增加反映作物下層結(jié)構(gòu)的可能性。還可嘗試將新一代的Kinect V2應(yīng)用于植物表性分析，其具有更高的圖像分辨率和更大的測量范圍，有助于更精細地表征植物結(jié)構(gòu)并改善遮擋效應(yīng)。此外，還應(yīng)增加數(shù)據(jù)處理和參數(shù)反演的自動化程度，這有助于在有限時間內(nèi)重復(fù)進行表型分析，以更好地理解作物狀態(tài)、 功能和習(xí)性。

3 結(jié) 論

將Kinect傳感器在植物表型分析中的適用性推向了新的階段，探討了將其作為一種低成本移動表型分析技術(shù)的可能性。從Kinect采集的數(shù)據(jù)以三種方式獲取植物點云，通過反演葉面積、 圓形度、 偏心率和葉傾角等結(jié)構(gòu)參數(shù)來驗證其可靠性。結(jié)果表明，基于DI，SfM和MD的方式適用于估計不同類型的結(jié)構(gòu)參數(shù)，反演結(jié)果的差異源于三種方式在結(jié)構(gòu)表征上的不同機制，這些方法的適當集成可以提高移動式Kinect對植物表型分析的穩(wěn)健性。考慮到對不同應(yīng)用的適應(yīng)性和低廉的價格，Kinect傳感器可用于開發(fā)精準農(nóng)業(yè)的移動表型分析系統(tǒng)，并加速理解基因型與環(huán)境之間的關(guān)系。