師 翊 耿 楠 胡少軍 張志毅 張 晶
(1.西北農林科技大學機械與電子工程學院, 陜西楊凌 712100; 2.農業(yè)農村部農業(yè)物聯(lián)網重點實驗室, 陜西楊凌 712100; 3.西北農林科技大學信息工程學院, 陜西楊凌 712100; 4.國立魯昂應用科學學院信息與系統(tǒng)特征實驗室, 魯昂 76800)
果樹是重要的經濟作物,優(yōu)化果樹冠層的光照分布情況對提高果實產量與品質具有重要意義[1]。光是驅動果樹生理機制的重要資源,在自然環(huán)境中,樹冠層結構復雜,冠層內光照資源的分布情況一直是現(xiàn)代農業(yè)信息化領域中的一個難題。近年來,“數(shù)字植物”概念的提出,為冠層光照的研究提供了新的思路與手段[2]。
傳統(tǒng)的冠層光照研究主要基于三維數(shù)字化儀[3],首先將樹木重構為三維模型,然后利用傳感器分析冠層對光的截獲率,但重構的樹木三維模型精度較低,與實際模型誤差較大,并且三維數(shù)字化儀價格昂貴,操作較為復雜[4]。PRUSINKIEWICZ等[5]基于光線在植物冠層內的傳輸機理開展了冠層內空間光能的分布研究。近年來,張晶等[6]使用正向光線跟蹤的方法,模擬光輻射在樹木冠層中的傳輸過程,其不足之處在于使用八叉樹進行光線求交計算量大、耗時長。郭彩玲等[7]提出了基于蘋果樹冠層計盒維數(shù)的光照分布預測方法,得到了較好的預測結果,但是采集點云數(shù)據(jù)與光強數(shù)據(jù)所用的設備價格較為昂貴。JAROSZ[8]使用Monte Carlo算法,將葉片視為朗伯體,由于Monte Carlo算法是一種均值的統(tǒng)計測度且忽略了葉片的各向異性,故精度不高。三維激光掃描技術的迅速發(fā)展極大提高了物體三維信息獲取的精度和速度,為精確重構果樹三維模型、開展光照分布研究提供了技術支持[9-11]。
針對上述問題,本文以實測點云為依據(jù),提出一種高精度、低成本、低耗時的方法進行果樹冠層光照計算。使用Kinect 2.0雙面采集果樹的原始點云數(shù)據(jù),預處理后,采用改進的空間殖民算法和廣義圓柱體對果樹進行三維重構,在垂直方向上將果樹模型每0.1 m分層劃分,自頂向下逐層渲染,獲得陰影圖,同時使用光照度計在相同位置測量光照強度。構建以每層陰影圖灰度和每層點云的顏色為輸入、以相對光照強度為輸出的隨機森林網絡,將此作為蘋果樹冠層光照分布預測模型。
模型構建的算法流程圖如圖1所示。
圖1 算法流程圖Fig.1 Flow chart of algorithm
采用微軟公司生產的Kinect 2.0作為數(shù)據(jù)采集設備。Kinect 2.0是Kinect 1.0的升級版本[12],采用飛行時間原理(Time of flight)獲取點云數(shù)據(jù),精度更高,可達0.02 mm,有效深度范圍0.5~4.5 m,有效幀率30 f/s,可獲取顏色信息與深度信息數(shù)據(jù),滿足重構需求[13]。2018年7—8月在西北農林科技大學園藝學院蘋果試驗園內進行數(shù)據(jù)采集,采集現(xiàn)場與獲取的RGB點云圖像如圖2所示。
圖2 數(shù)據(jù)采集Fig.2 Data acquisition
采集果樹點云數(shù)據(jù)時使用雙面采集策略,樹下放置4個參考球作為人工標記點。獲取點云數(shù)據(jù)后,使用直通濾波與Statistical outlier removal濾波分別去除地面大尺度噪聲點與果樹周圍離群散點。去噪后基于4點法粗配與ICP精配對雙面點云數(shù)據(jù)進行配準操作[14],從而得到果樹的完整點云數(shù)據(jù)。采用改進的空間殖民算法[15]與管道模型理論[16-17]重構枝干模型[18],基于葉序規(guī)則添加樹葉[19],最終得到果樹三維模型,整個過程如圖3所示。
圖3 蘋果樹重構過程Fig.3 Reconstruction processes of apple tree
為了揭示太陽輻射在冠層內部傳播情況,本文使用“切片法”將冠層自上而下層層分割,模擬不同冠層深度光照強度的變化。將重構的果樹三維模型置于虛擬場景中,建立與模型包圍盒[20]大小相同的虛擬長方體,自頂向下每0.1 m對果樹模型進行Boolean運算從而達到逐層切割的效果,將切割后的結果分別保存,使用渲染器逐層渲染,得到陰影圖全集如圖4a所示。在常見的渲染器中,POV-Ray渲染器[21]可根據(jù)模型的雙向反射分布函數(shù) (Bidirectional reflectance distribution function, BRDF)和雙向透射分布函數(shù)(Bidirectional transmission distribution function, BTDF)的物理特征設置反射、透射參數(shù)[22],設定光照強度,可最大限度模擬真實的光照與陰影情況,因此本文選擇POV-Ray渲染器渲染冠層的陰影圖像。由于本文采用相對光照強度作為度量,因此將渲染器中光強設定為1.0,試驗對象樹高2.5 m,冠層高1.9 m,對冠層每0.1 m切片渲染一次,共計19幅圖像,第1幅為純白圖像,不計入總數(shù)。
將每層渲染出的陰影圖按照圖4b所示平均分割為36份[9],根據(jù)冠層高度確定具體的分割層數(shù)。
圖4 陰影圖分割Fig.4 Segmentation of shadow image
光強數(shù)據(jù)采集時間為2018年7—8月,此為蘋果樹的葉幕穩(wěn)定期[23],采集地點為西北農林科技大學北校區(qū)園藝學院栽培試驗園區(qū)(陜西楊凌)。試驗品種為“陜富6號”,果樹定植于2008年,約30%的果樹定植于2012年,行距5 m,株距2 m,樹高2.5 m左右,行間生草,修剪方式為常規(guī)冬剪。隨機選取3棵長勢良好,樹形一致的自由紡錘形蘋果樹為光強數(shù)據(jù)采集對象,分別命名為蘋果樹1、蘋果樹2、蘋果樹3,每月連續(xù)測量5個晴天,隨機選取的蘋果樹基本參數(shù)如表1所示。
表1 蘋果樹參數(shù)Tab.1 Parameters of selected apple trees
采用陰影圖灰度和每層顏色的數(shù)據(jù)特征為輸入,以相對光照強度為輸出的隨機森林網絡,因此相對光照強度的測量十分重要,是模型的預測目標。為了細分冠層的光能分布,以樹根為中心,以樹木直射陰影為界,將每層陰影圖分為36塊小網格,每個網格大小根據(jù)實際渲染出的陰影圖進行均分,劃分策略如圖5a所示。
圖5 光強數(shù)據(jù)采集Fig.5 Acquisition of light intensity data
為了能夠采集冠層內部的光強數(shù)據(jù),將采集策略確定為垂直插入式,選取不易彎曲變形的不銹鋼矩管管材,定制的伸縮式子母桿高度為3 m,每0.1 m打限位孔,桿頭固定光照度計。外界光強會隨著時間以及天氣發(fā)生變化,晴朗天氣太陽高度角在80°以上時,光照強度變化較為緩慢[24],因此采集時間為11:00—13:00。為了能夠提高數(shù)據(jù)采集的效率,將微型攝像頭固定于桿頭,使用自主開發(fā)的圖像捕獲軟件,當自上而下采集數(shù)據(jù)時,能夠同時獲得3個光照度計的讀數(shù)。測量桿上放置水平儀,保證桿體處于垂直狀態(tài)。測量時,按照圖5a將桿體置于網格中插入冠層,自冠頂至冠底每0.1 m采集光強數(shù)據(jù),直至36個點全部采完,測量的同時在果樹邊緣的空地采集光照強度,冠層光照數(shù)據(jù)與空地光照強度的比值即為相對光強,采集現(xiàn)場如圖5b所示。
為了揭示冠層內部光照強度的分布情況,對樹點云數(shù)據(jù)進行細分,采用“縱向分層、橫向分塊”的細分策略[25]。如圖6所示,根據(jù)樹冠的高度,在垂直方向上將樹冠每0.1 m進行分層,在剖面方向上,將樹冠的截面分割為36份,使之與光強采集策略一致。圖6a為整棵樹分層后的效果,圖6b為縱向第15層剖面的分塊結果。
圖6 點云劃分Fig.6 Point cloud division
光能在冠層內的傳播是一個復雜的過程,冠層內的光照輻射來自于太陽直射輻射、大氣散射輻射和冠層內葉片連續(xù)的漫反射與透射形成次級散射[26]。其中太陽直射輻射是影響冠層光能吸收的最主要因素。當太陽直射輻射到達冠層后,一部分穿過冠層到達地面,另一部分被冠層截獲形成次級散射用于光合作用。目前,基于物理特征的正向光線傳播計算法為冠層光能傳播較為準確的計算方法?;贐RDF和BTDF的幾何特征,當光線到達葉片表面時,發(fā)生漫反射與透射,在計算光線傳播時,需要考慮葉片傾角的變化,不斷進行光線與葉片的求交計算,算法耗時長、效率低。為了提高計算效率,往往將葉片簡化為朗伯體,計算耗時雖變小但精度下降較多。在自然環(huán)境中,蘋果樹冠層的陰影顏色變化和冠層顏色特征具有一定的模糊性,難以描述其與光照強度的精確關系[27]。
針對上述問題,本文基于陰影圖的灰度特征與冠層點云的顏色特征,采用機器學習的方法預測冠層內的光照強度。
以蘋果樹1為例,根據(jù)冠層高度,將選取的蘋果樹冠層點云縱向每0.1 m切分為19層,每層再平均分為36份,冠層點云被切分為19×36=684份點云小塊,選取每塊點云的平均RGB數(shù)值作為分塊點云的顏色特征;將每層點云對應的陰影圖像也均分36份,同樣共計19×36=684份,將每小份圖像的平均灰度作為陰影圖像的灰度特征;根據(jù)光強數(shù)據(jù)采集策略,自上而下每0.1 m采集光強數(shù)據(jù),每層測36個點,同樣共計19×36=684個點,隨機選取的3棵蘋果樹7—8月每月分別測5個晴天,則每棵樹的數(shù)據(jù)量為19×36×10=6 840。
選取隨機森林回歸算法預測蘋果樹冠層內的光照分布情況。以蘋果樹1為例,從原始的10 d數(shù)據(jù)中,隨機選取9 d的數(shù)據(jù)作為訓練集,1 d的數(shù)據(jù)為驗證集,用來構建回歸模型。以陰影圖灰度特征+點云RGB顏色特征作為輸入,以光照強度作為輸出,分別使用逐步線性回歸(Stepwise linear regression, SLR)、K最近鄰(K-nearest neighbor, KNN)回歸、支持向量回歸(Support vector regression, SVR)以及集成回歸方法中的AdaBoost回歸、漸進梯度回歸樹(Gradient boost regression tree, GBRT)、隨機森林(Random forest, RF)回歸,使用TensorFlow1.4框架下的數(shù)據(jù)分析包對原始數(shù)據(jù)進行回歸分析。
根據(jù)文獻[9,27],光照強度與陰影顏色、冠層點云顏色有著較為緊密的關系,并且不同的顏色空間對回歸分析的結果有較大影響,因此選取陰影顏色特征與冠層點云顏色特征作為本研究的特征向量。陰影顏色特征由每層陰影圖分層渲染得到,由于渲染得到的是灰度圖,所以陰影顏色特征即為陰影灰度;冠層點云顏色特征由Kinect 2.0顏色傳感器獲取,默認顏色空間為RGB。根據(jù)文獻[9],植物在太陽光照射下所呈現(xiàn)出的顏色與葉片中葉綠素的熒光效應關系緊密,不同的光照強度會使植物呈現(xiàn)出不同顏色與明暗變化,在常用的顏色空間中,選取HSI空間與Lab空間作為對比[28]。根據(jù)顏色空間轉換公式將RGB顏色分別轉換到HSI空間與Lab空間[9]。為了探究不同顏色特征與光照強度的相關性,特征選取方案如下。組合特征方案:①陰影灰度特征+點云RGB特征。②陰影灰度特征+點云HSI特征。③陰影灰度特征+點云Lab特征。單特征方案:①僅陰影灰度特征。②僅點云RGB特征。③僅點云HSI特征。④僅點云Lab特征。
試驗回歸程序在Windows 7操作系統(tǒng)平臺下,使用Visual Studio 2013集成化開發(fā)環(huán)境、OpenGL庫、點云庫(Point cloud library, PCL),TensorFlow1.4 框架、Spider3.0、scikit-learn庫以及Matlab 2014b完成,計算機配置為CPU i5-3450,3.1 GHz,內存8 GB,顯卡AMD Radeon HD 6700 Series。
為了驗證不同模型的性能,選取2.1節(jié)3棵樣本樹的原始數(shù)據(jù)對其進行回歸分析,使用十折交叉驗證法對不同模型進行精度評價[29],選取決定系數(shù)(R2)和平均絕對百分比誤差(Mean absolute percentage error, MAPE)作為評價指標。
不同模型回歸結果與精度如圖7和表2所示。從圖7和表2可以看出,針對本文的數(shù)據(jù)特征,集成回歸方法的結果普遍優(yōu)于經典回歸方法,其中隨機森林模型表現(xiàn)最優(yōu),故本文采用隨機森林回歸模型進行光照預測分析。
為了探究不同特征選擇方案的合理性,使用RF模型對組合特征方案與單特征方案進行回歸分析,將預測值與真實值對比,選取R2和MAPE作為特征選擇方案的評價指標。根據(jù)表3和表4可知,“陰影灰度特征+點云HSI特征”方案的回歸結果最優(yōu),決定系數(shù)R2和MAPE指標均優(yōu)于其他方案,因此本研究選取陰影灰度特征+點云HSI特征的四維數(shù)據(jù)作為回歸模型的輸入。
圖7 不同模型回歸結果對比Fig.7 Comparison of regression results with different models
回歸模型蘋果樹1蘋果樹2蘋果樹3R2MAPER2MAPER2MAPESLR模型0.2710.7760.2940.7570.2670.792KNN模型0.5860.5040.5540.5720.5780.562SVR模型0.5970.4850.5110.6070.4950.544AdaBoost模型0.4470.5720.4270.5970.4940.551GBRT模型0.7640.4580.7790.4330.7570.473RF模型0.8260.3120.8320.3190.8080.375
表3 組合特征回歸結果對比Tab.3 Comparison of regression results with combined features
表4 單特征回歸結果對比Tab.4 Comparison of regression results with single feature
為了驗證模型的泛化性能,選擇試驗對象時,為了增加樣本的差異性,蘋果樹1與蘋果樹2樹齡相同,均為10年,樹形近似,而蘋果樹3樹齡為6年,明顯比另外2棵樹矮小。隨機選取蘋果樹1的8 d數(shù)據(jù)作為訓練集,將蘋果樹1剩余的2 d數(shù)據(jù)作為驗證集,分別隨機抽取蘋果樹2與蘋果樹3的1 d數(shù)據(jù)作為測試集,使用“陰影灰度特征+點云HSI特征”方案,分別對蘋果樹2與蘋果樹3進行RF回歸,同樣方法,使用蘋果樹2的數(shù)據(jù)分別對蘋果樹1與蘋果樹3進行RF回歸;使用蘋果樹3的數(shù)據(jù)分別對蘋果樹1與蘋果樹2進行RF回歸,得到的回歸結果如圖8所示。
由圖8可知,蘋果樹3的樹齡與樹形與另外兩顆樹相差較大,回歸結果相對較差一些;蘋果樹1與蘋果樹2樹齡相同,樹形相似,雖然數(shù)據(jù)中混入了蘋果樹3部分光照數(shù)據(jù),但仍保持了較好的預測結果,由此可以看出,RF回歸模型有著較強的泛化性能,同時也說明樹形對預測結果會產生較大影響。
圖8 回歸結果對比Fig.8 Comparison of regression results
為驗證RF光照預測模型的性能,選擇文獻[9]中的GA-BP模型、FNN模型進行對比。選取2.1節(jié)中蘋果樹1的數(shù)據(jù)作為對比測試數(shù)據(jù)。對比結果如表5所示,RF模型在訓練時間、識別時間等方面與GA-BP模型和FNN模型相比均有較大優(yōu)勢,因此RF模型更加適用于蘋果樹冠層光照預測。
為進一步驗證光照預測模型的精度及有效性,使用分層誤差揭示不同回歸模型的性能。使用切片法對冠層進行逐層切割,分層誤差指冠層剖面的每層36個數(shù)據(jù)點的平均MAPE,共計19層。從圖9來看,RF模型的分層誤差總體小于GA-BP模型,F(xiàn)NN模型比GA-BP模型表現(xiàn)稍好,僅在第2、6、9、10、15層的誤差接近或小于FR模型,在剩余層的誤差均大于RF模型,并且RF模型在第12層以后,誤差波動趨于穩(wěn)定,因此RF模型性能優(yōu)于GA-BP模型和FNN模型。
表5 不同模型性能對比Tab.5 Performance comparison of different models
圖9 不同模型分層誤差對比Fig.9 Comparison of layer MAPE with different models
4.5.1模型可靠性分析
RF回歸模型由多棵回歸樹構成,每棵樹基于原始數(shù)據(jù)的樣本子集生成,RF回歸模型具有較強的穩(wěn)定性。此外,RF回歸模型不需要對訓練數(shù)據(jù)進行預處理,可直接訓練,在4.2節(jié)中做特征方案評價時,模型輸入數(shù)據(jù)有1維、3維和4維不等,數(shù)據(jù)量為6 840×3=20 520,模型均高效、穩(wěn)定地輸出了預測結果,滿足預測模型的可靠性需求。
4.5.2模型普適性分析
RF預測模型的多樹結構與自助采樣策略使得模型有較好的泛化性能與抗噪能力。根據(jù)4.3節(jié)與4.6節(jié)的回歸結果,RF預測模型對樹形相近的樹同樣有較高的預測精度,所以RF預測模型有較強的普適性。
4.5.3模型適用范圍
本文提出的光照預測模型主要適用紡錘形蘋果樹,旨在揭示冠層陰影特征、顏色特征與光照強度之間的復雜關系,依據(jù)試驗結果,本研究提出的模型對樹形相近的樹木冠層數(shù)據(jù)預測結果R2在0.736以上,同樣具有適用性。
從生物學角度得知,由于呼吸作用和光合作用同時存在,當太陽高度角在60°以上時,果樹進行大量有機質積累[30],所以在太陽高度角60°以上時是研究光照分布的適合時間。由于本研究使用的冠層剖面陰影圖是基于POV-Ray渲染器垂直渲染,所以光照強度也是在11:00—13:00太陽直射時測得,此時段所測數(shù)據(jù)適用預測模型的輸入層。
為驗證模型的實用性,隨機選取一棵蘋果樹點云和光強數(shù)據(jù)以及玉蘭樹點云和光強數(shù)據(jù)作為測試實例,其重構圖與回歸結果如圖10所示。
圖10 預測模型重構圖與回歸結果Fig.10 Regression results and reconstruction image of prediction model
測試樣本中的蘋果樹和玉蘭樹冠層高度分別為1.8 m和1.5 m,冠層劃分的層數(shù)分別為18層和15層;圖10分別展示了測試樣本的三維重構模型和回歸結果分布。依據(jù)測試結果,本研究提出的RF預測模型在對同種蘋果樹數(shù)據(jù)作回歸分析時,保持了較高的預測精度,R2為0.814,MAPE為0.351。而對樹種不同、樹形相似的玉蘭樹做回歸分析時,預測結果R2為0.736,MAPE為0.462,與蘋果樹預測結果相比,MAPE增大了31.6%,但是仍保持了較高的預測精度,因此RF模型是一種性能穩(wěn)定,普適性較強的光照強度預測方法。
4.7.1RF模型與其他模型的比較
在本研究中,由于特征選擇方案的不同,回歸模型的輸入有1維、3維、4維不等,而輸出都是1維光照強度。從回歸結果來看,RF模型很好地得到了顏色特征與光照強度之間的非線性關系與分層關系。SLR模型只能擬合顏色特征與光照強度之間的一般線性關系,極大限制了SLR模型的預測精度。KNN模型與SVR模型受鄰域數(shù)據(jù)的影響較大,而本研究采取了分層劃分的數(shù)據(jù)預處理策略,一定程度上增加了鄰域對預測結果的影響,所以KNN與SVR模型的預測精度也并不高。RF模型對數(shù)據(jù)分布與數(shù)據(jù)類型的連續(xù)性和離散性沒有特殊要求,可以模擬變量之間的復雜非線性關系和高階交互關系,針對本文顏色特征存在一定的模糊性與復雜性的特點適用性很強,AdaBoost模型與GBRT模型雖然可以擬合非線性關系,但是由于和RF模型更新學習器與節(jié)點分割的原理不同以及RF模型穩(wěn)定性強,因此,預測精度低于RF模型。
4.7.2影響光照強度的主要特征
從不同特征方案的回歸結果來看,組合特征方案中的“陰影灰度特征+點云HSI特征”的方案最優(yōu),回歸結果的決定系數(shù)R2為0.864,MAPE為0.236,但是另外兩種組合方案同樣保持了較高的預測精度,“陰影灰度特征+點云RGB特征”方案和“陰影灰度特征+點云Lab特征”方案的決定系數(shù)R2分別為0.826、0.796,MAPE分別為0.312、0.394;在單特征方案中,與組合特征方案相比,預測精度整體下降,其中“僅陰影灰度特征”的回歸結果最優(yōu),回歸結果的決定系數(shù)R2為0.816,MAPE為0.345,而在點云顏色特征方案中,HSI顏色空間表現(xiàn)最優(yōu),回歸結果的決定系數(shù)R2為0.782,MAPE為0.417,其他兩種顏色空間與HSI相比,預測精度有較大降幅;此外,在數(shù)據(jù)采集過程中,太陽高度角的小幅變化,BRDF模型的一些基本假設以及空氣散射等因素,也會對精度產生一定的影響。
(1)RF模型的回歸結果R2為0.864,MAPE為0.236。結果表明,RF模型可以較好地揭示陰影灰度和顏色特征與光照強度之間的非線性關系,其預測精度明顯高于其他5種預測模型。
(2)陰影灰度與光照強度有較強的相關性,不同的顏色空間對預測結果影響較大,其中HSI顏色空間與光照強度有較強的相關性。
(3)基于果樹實測點云數(shù)據(jù)進行三維重構,使用隨機森林回歸模型,基于冠層陰影渲染圖與光照強度數(shù)據(jù)進行回歸分析,揭示了蘋果樹冠層內光照強度的分布情況,回歸模型可為樹冠層光能利用、剪枝等研究提供參考。