基于深度學習多源數(shù)據(jù)融合的生菜表型參數(shù)估算方法

朱逢樂，嚴 霜，孫 霖，何夢竹，鄭增威，喬 欣

（1.浙大城市學院計算機與計算科學學院，杭州 310015； 2.浙江工業(yè)大學機械工程學院，杭州 310023； 3.智能植物工廠浙江省工程實驗室，杭州 310015； 4.浙江大學計算機科學與技術學院，杭州 310027）

0 引 言

生菜，為菊科萵苣屬一年或兩年生草本植物，在世界范圍內(nèi)廣泛種植，是大眾喜愛的主要蔬菜之一。生菜的干質量、濕質量、株高、直徑和葉面積等外部表型參數(shù)與生菜生長勢和產(chǎn)量直接相關，對生菜的生長監(jiān)測和產(chǎn)量預估意義重大，有助于實現(xiàn)設施蔬菜栽培的數(shù)字化、自動化、智能化。傳統(tǒng)的生菜表型參數(shù)定量測量方式耗費人力，效率低下；更嚴重的是，在干濕質量測量中，若對土培或基質培生菜采用傳統(tǒng)的破壞式稱量方法，會使得生菜生長無法繼續(xù)，無法對特定植株生長過程中的干濕質量進行連續(xù)測量。因此，發(fā)展快速無損的表型檢測方法勢在必行。

可見光圖像易于獲取，包含豐富的作物表型信息，基于可見光的機器視覺和圖像處理技術是表型參數(shù)無損估算的研究熱點。大多數(shù)研究基于二維RGB圖像開展。李曉斌等采集了生菜整個生命周期俯視及側視兩類序列圖像數(shù)據(jù)，并同步人工測量生菜生長勢的動態(tài)參數(shù)數(shù)據(jù)，對圖像進行背景分割后從圖像中手動提取生菜投影面積、株高、群體覆蓋指數(shù)3項指標，并通過回歸分析證實了提取的特征在表征生菜生長勢方面具有可行性。Du等提出了一種目標檢測-語義分割-表型分析方法，設計多種幾何特征和顏色特征，實現(xiàn)了對每個生菜植株的靜態(tài)、動態(tài)特征的提取，發(fā)現(xiàn)靜態(tài)特征的積累率準確地反映了生菜植株的生長狀況，并人工測定冠層寬度參數(shù)，通過回歸分析驗證了所提取圖像特征的有效性。Reyes-Yanes等采集多株生菜的俯視圖和側視圖，進行圖像實例分割后對單株生菜樣本手動提取多種幾何特征，基于葉面積特征計算生長速率參數(shù)，基于多種幾何特征構建濕質量線性回歸模型，實現(xiàn)了生菜生長速率和濕質量的實時測量。劉林等對日光溫室環(huán)境下基質培生菜采集俯視圖和側視圖，對其進行背景分割后設計并提取幾何特征、顏色特征和紋理特征，并與生長環(huán)境特征進行融合后作為機器學習模型的輸入，構建濕質量回歸模型，用于個體和群體的濕質量無損估算，相對誤差平均值達11.50%。Valle等在RGB圖像的基礎上，增加近紅外圖像的采集實現(xiàn)生菜等作物葉面積和葉片生長速率的計算，對葉面積估算的決定系數(shù)達0.997。另外，有少數(shù)研究采集生菜的三維信息以獲得更精準的外部表型參數(shù)估算。Mortensen等對大田種植生菜采集彩色3D點云，提出了一種在3D點云中分割生菜并估計濕質量的方法，從分割的生菜點云中手動提取體積、表面積、葉覆蓋面積和高度特征，將其與實際測量的濕質量構建回歸模型，結果表明，基于點云數(shù)據(jù)計算得到的表面積特征能夠精準地預測濕質量，對兩種生菜品種的濕質量估算平均絕對百分比誤差分別達到40%和62%。上述研究均證明了機器視覺和圖像處理技術在生菜表型參數(shù)估算方面的可行性，但僅針對一種或兩種表型參數(shù)進行建模，不利于對作物進行全面的生長狀況評估；更重要的是，這些研究均基于人工設計或選取的圖像特征，且特征提取方法均為手動提取，對數(shù)據(jù)信息的挖掘不充分，估算精度不足，過分依賴于專家經(jīng)驗的多寡，受制于采集環(huán)境的變化。

近年來，深度學習在各個領域得到成功應用，在農(nóng)業(yè)領域滲透到植物表型研究的方方面面，也取得了不錯的成績。綜合利用機器視覺和深度學習技術對植物的重要表型參數(shù)進行采集和分析是生菜生產(chǎn)過程管理的一種重要技術手段。Zhang等針對以往研究嚴重依賴于手動設計特征、易受環(huán)境噪聲影響等問題，提出了一種基于二維RGB圖像和卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）監(jiān)測溫室生菜生長相關表型參數(shù)的方法，訓練CNN模型建立生菜圖像與相應表型參數(shù)之間的關系，可估算的參數(shù)包括葉濕質量、葉干質量和葉面積，估算決定系數(shù)分別為0.893 8、0.891 0和0.915 6，均一化均方根誤差分別為26.00%、22.07%和19.94%。Bauer等針對大面積航拍歸一化植被差異指數(shù)（Normalised Difference Vegetation Index，NDVI）圖像，結合CNN模型實現(xiàn)生菜的計數(shù)和尺寸估計，計數(shù)決定系數(shù)達到0.97。Chang等基于預訓練的深度分割神經(jīng)網(wǎng)絡提取生菜的葉面積，進行生菜生長分析。上述研究證明了深度學習在生菜表型參數(shù)估算方面的潛力，但是在圖像數(shù)據(jù)源方面，僅依賴于二維俯視圖，未考慮植株三維立體形態(tài)對表型參數(shù)估算的影響，模型性能還有待提升。

為此，本文針對多品種基質培生菜，基于深度學習技術，設計實現(xiàn)了一種融合二維RGB圖像和深度圖像的多源數(shù)據(jù)生菜表型參數(shù)估算方法，在包含4個生菜品種、涵蓋生菜生長全過程的多源圖像數(shù)據(jù)集上進行5種表型參數(shù)（干質量、濕質量、株高、直徑、葉面積）的高精度、快速估算；分別僅使用RGB圖像和深度圖像開展消融試驗，探究本文融合方法的有效性；引入傳統(tǒng)的特征提取和回歸方法開展對比試驗，驗證本文所提方法在生菜表型參數(shù)估算中的優(yōu)勢；分別在生菜不同品種和不同生長階段上進行估算對比試驗，評估模型對不同數(shù)據(jù)子集的估算性能，以期驗證方法估算精度，為基質培環(huán)境下生菜表型參數(shù)估算提供參考。

1 材料與方法

1.1 圖像采集與數(shù)據(jù)集構建

本研究開展于2021年5－6月，在設施環(huán)境因子高度可控的植物工廠環(huán)境下，基質栽培4種生菜，在不同的生長時間點采集多源圖像，并隨即測定5種表型參數(shù)。

試驗地點為浙大城市學院智能植物工廠實驗室，試驗材料為市場上較為常見的4種生菜，包括Aphylion（L.cv.）、Lugano（L.cv.）、Salanova（L.cv.）、Satine（L.cv.），其中Aphylion和Lugano為綠葉生菜，Salanova(Oakleaf葉形)和Satine為紅葉生菜，如圖1a所示。將生菜種子放入穴盤中在培養(yǎng)箱環(huán)境下培育，待幼苗生長到“五葉一心”時，定植到16 cm×16 cm×25 cm基質盆中，置于植物工廠多層種植架上。整個生長過程中保持環(huán)境參數(shù)可控，溫度為27/22 ℃（晝/夜），相對濕度為50%～60%，人工LED光強為(200±5)mol/(m·s)、光周期為16 h/d、紅藍光質比為3:1，營養(yǎng)液每日10:00滴灌一次。Aphylion、Lugano、Salanova、Satine分別栽培92、96、102、98盆，每盆栽種1株，共388株生菜樣本。

從栽種后第10天開始，每隔5 d取55株生菜樣本進行圖像采集和表型參數(shù)測量，第50天取最后的58株樣本進行數(shù)據(jù)采集，如圖1b所示。由于表型參數(shù)測量為有損方式，故數(shù)據(jù)采集后植株不再繼續(xù)栽培。

圖1 生菜表型參數(shù)估算圖像數(shù)據(jù)集示意圖 Fig.1 Schematic diagram of lettuce image dataset for phenotypic parameters estimation

本文使用低成本的RealSense D415 RGBD相機進行生菜表型參數(shù)的圖像數(shù)據(jù)采集，RGBD相機是一種可以同時測量像素點顏色和深度信息的相機，輸出可見光圖像（下稱RGB圖像）和深度圖圖像（下稱Depth圖像）。RGB圖像包含肉眼可見的一些基本特征，如葉片大小、顏色、形狀等，能夠提供較為基本的植物特征信息。深度圖像能夠記錄所拍攝物體與相機鏡頭的距離信息，可以反映植株的三維立體特征，為植物表型參數(shù)估算提供空間深度信息。在圖像采集平臺上，將RGBD相機以俯視生菜的視角進行安裝，懸掛在生菜正上方約0.90 m處，如圖2所示。采集的圖像格式為PNG格式，圖像原始分辨率為1 920×1 080像素。計算機驅動RGBD相機進行圖像采集，記錄從定植到收獲各個生長階段的生菜RGBD俯視圖像，如圖1b所示。每株生菜樣本對應一組RGBD圖像，共388張RGB圖像和Depth圖像。

圖2 生菜表型參數(shù)估算圖像數(shù)據(jù)集獲取示意圖 Fig.2 Schematic diagram of image dataset acquisition for lettuce phenotypic parameters estimation

每株生菜樣本圖像采集之后隨即人工測量其表型參數(shù)，包括濕質量、干質量、株高、直徑和葉面積，如圖3所示。采用游標卡尺測量株高和冠層最大直徑，其中株高為冠層葉片最高點至基質直線距離，冠層最大直徑為冠層葉尖最大直線距離；采用葉面積儀（LI-3100 Area Meter, LI-COR Inc., Lincoln, USA）測量冠層葉面積；采用電子天平（精度0.1g）測量去除根部后的樣本濕質量；再將樣本置于紙質信封中90 ℃烘干48 h，采用電子天平測得其干質量。圖3展示了不同品種和各個表型參數(shù)的直方圖數(shù)據(jù)分布。從品種上看，樣本分布比較均衡；從濕質量、干質量、株高和葉面積來看，生長階段早期的樣本數(shù)較多，后期的樣本數(shù)偏少；從直徑來看，直徑處于中等大小的樣本數(shù)較多，小直徑和大直徑的樣本數(shù)偏少。

圖3 不同品種生菜圖像數(shù)據(jù)集表型參數(shù)的 樣本分布直方圖 Fig.3 Sample distribution histogram of lettuce image dataset according to different varieties and phenotypic parameters

本文基于構建的數(shù)據(jù)集開展生菜表型參數(shù)估算研究，對采集的RGBD圖像進行背景分割和數(shù)據(jù)歸一化，輸入深度學習多源數(shù)據(jù)融合算法建立5種表型參數(shù)同步估算模型。

1.2 生菜圖像分割

為減少雜亂背景的干擾，提高算法的可靠性，本研究對生菜表型參數(shù)圖像數(shù)據(jù)集進行了圖像背景分割。根據(jù)Rother等對圖像分割問題建模，圖像分割可以轉換為圖論中的最小割問題，在其研究中，前景和背景的標記選取依賴于手動的框選，不利于大規(guī)模數(shù)據(jù)集和生產(chǎn)應用中的圖像分割。為此，本文構建了生菜圖像自動前景標記和圖像分割的方法。

對每一品種，預先取一個標準圖像樣本，如圖4a所示，在分割如圖4b、圖4c所示的生菜圖像時，將圖像劃分為若干個15×15像素的區(qū)域，再對每個區(qū)域求歸一化顏色直方圖，計算其與標準圖像樣本的歸一化顏色直方圖之間的相似性。采用KL散度（Kullback-Leibler divergence）衡量直方圖的相似性，如式（1）所示：

式中為圖像的KL散度，為像素值。

KL散度不允許輸入包含零元素，所以將歸一化后的結果加上0.01再進行計算。根據(jù)試驗結果，設定閾值=0.7，KL散度低于閾值的區(qū)域可以被認為是包含生菜像素的區(qū)域。處于生菜輪廓邊緣，但包含部分背景的區(qū)域也和標準圖像樣本具有很高的相似度，若直接將整個區(qū)域標記，則會導致處于邊緣處的背景被標記為前景，進而影響分割結果。因此，僅標記每個15×15像素 區(qū)域正中間的5×5個像素，這樣可以有效減少處于生菜輪廓邊緣處的背景被標記為前景的情況，優(yōu)化分割效果。標記結果如圖4d所示，小方塊即為標記結果。

圖4 生菜圖像分割過程示意圖 Fig.4 Schematics of image segmentation procedure of lettuce

至此，已標記好前景T，背景T，通過運行GrabCut算法計算得到分割掩膜，如圖4e所示。將原始RGB和Depth圖像與分割掩膜進行運算，得到分割結果，如圖4f、圖4g所示。圖5展示了分割完畢的生菜圖像示例（與圖1中的樣本一一對應）。

圖5 生菜圖像分割結果示意圖 Fig.5 Schematics of image segmentation results of lettuce

1.3 生菜圖像數(shù)據(jù)歸一化

由于數(shù)據(jù)分布、數(shù)據(jù)尺度等原因，圖像數(shù)據(jù)集的原始圖像數(shù)據(jù)并不適合于直接輸入到神經(jīng)網(wǎng)絡中進行訓練，因此需要對生菜圖像進行數(shù)據(jù)歸一化。

數(shù)據(jù)歸一化可以提高分類器的預測能力，不同的數(shù)據(jù)歸一化方法中，Z-Score方法使用均值和標準差的方法比其他方法更有效。本文使用Z-Score對圖像進行數(shù)據(jù)歸一化。將裁切后的圖像中第個通道的第個像素點pixel(= 0,1,2，=0,1,2...,369 664)通過Z-Score歸一化轉化為pixel′，如式（2）所示：

式中μ為通道圖像像素值的均值，σ為通道圖像像素值的標準差，pixel代表通道的第個像素點。RGB圖像有3個通道，Depth圖像僅有1個通道。

1.4 生菜表型參數(shù)估算模型

本文生菜表型參數(shù)估算深度學習多源數(shù)據(jù)融合模型如圖6所示，由特征提取部分、多源特征融合部分和回歸網(wǎng)絡部分構成。深度學習模型的輸入為背景分割和歸一化后的圖像數(shù)據(jù)，輸出為濕質量、干質量、株高、直徑和葉面積5個參數(shù)。

圖6 生菜表型參數(shù)估算深度學習多源數(shù)據(jù)融合模型示意圖 Fig.6 Schematic of the deep learning multi-source data fusion model for estimating phenotypic parameters of lettuce

特征提取部分采用殘差神經(jīng)網(wǎng)絡（Residual neural network, ResNet）分別對RGB圖像和Depth圖像自動學習和提取生菜的有效特征，用于后續(xù)生菜表型參數(shù)估算。ResNet是一種用于解決傳統(tǒng)CNN深度學習中退化問題的網(wǎng)絡結構，是目前計算機視覺領域最常用的深度學習模型之一，在植物表型領域也得到廣泛的應用。ResNet由若干個殘差塊構成，殘差塊中的shortcut連接將殘差塊提取的特征和殘差塊的輸入直接相加作為輸出，實現(xiàn)跨層的前向傳播和反向傳播，這種殘差學習的思想使得ResNet可以解決深度學習中的退化問題，構建更深的深度模型。殘差塊結構如圖7所示，由三層卷積層和一條shortcut連接組成。

圖7 ResNet殘差塊結構示意圖 Fig.7 Schematic of the residual block structure of ResNet

殘差塊計算如式（3）所示： 式中，，分別為殘差塊第1，2，3層的輸出特征，x和y分別表示殘差塊的輸入和輸出。

常用的ResNet框架有ResNet18（18的含義為網(wǎng)絡總共包含18層，下同）、ResNet34、ResNet50、ResNet101和ResNet152。本文使用ResNet50的預訓練模型作為生菜表型參數(shù)估算模型的特征提取網(wǎng)絡。模型經(jīng)過預先在ImageNet上的訓練，達到了較好的特征提取性能。相對于其他參數(shù)初始化方法，這樣的初始值更容易遷移到生菜表型參數(shù)估算中，訓練時可以在小型數(shù)據(jù)集上快速收斂。ResNet50的網(wǎng)絡結構如圖8所示。 ResNet50特征提取的結果是長度為2 048的特征向量。分別將RGB圖像I和Depth圖像I輸入到兩個ResNet50中進行特征提取，得到兩個長度為2 048的特征向量f和f，如式（4）：

圖8 ResNet50結構示意圖 Fig.8 Schematic of ResNet50 structure

多源特征融合部分將RGB圖像特征向量f和Depth圖像特征向量f進行拼接，得到一個長度為4 096的生菜表型參數(shù)特征向量，如式（5）所示：

將融合后的生菜特征向量輸入到回歸網(wǎng)絡部分進行表型參數(shù)回歸擬合?；貧w網(wǎng)絡由多層全連接（Fully Connected, FC）和激活函數(shù)構成，通過調整隱層數(shù)量和隱層中神經(jīng)元數(shù)量，可以優(yōu)化回歸模型。最終得到的模型中，F(xiàn)C層數(shù)為三層（包含一層輸入層，一層隱層和一層輸出層），第一層FC含有1 024個神經(jīng)元，第二層FC含有512個神經(jīng)元，第三層FC含有5個神經(jīng)元。為防止出現(xiàn)梯度彌散和神經(jīng)元死亡等問題，本文激活函數(shù)為LeakyReLU，其計算如式（6）所示，回歸網(wǎng)絡的計算公式如式（7）所示：

式中為激活函數(shù)的輸入，系數(shù)取0.01，FC(=1,2,3)為分別是回歸網(wǎng)絡全連接層的第1，2，3層，F，F分別為FC和FC的輸出

生菜表型參數(shù)估算模型的輸出為一個長度為5的向量，、、、、分別表示濕質量、干質量、株高、直徑、葉面積。

本文的生菜表型參數(shù)估算屬于回歸問題，采用歸一化均方誤差（Normalized Mean Square Error, NMSE）作為誤差函數(shù)，其計算如式（8）所示：

式中′表示人工測量的真實值向量，′′、′′′分別表示人工測量的真實濕質量、干質量、株高、直徑、葉面積，表示估算結果向量，、、、、分別表示估算的濕質量、干質量、株高、直徑、葉面積。

1.5 參數(shù)設定與模型評估

模型訓練使用交叉驗證的方法，將數(shù)據(jù)集平均劃分為4個子集、、、，每個子集有97條樣本。以作為測試集，、、作為訓練集進行訓練，得到模型I，在上進行估算試驗，得到的估算結果，以此類推得到4個子集的估算結果，將它們合并起來作為最終的估算結果。本文所有估算試驗結果均采用此結果。

本文深度學習多源數(shù)據(jù)融合模型基于Pytorch 1.9.0編程實現(xiàn)，軟件環(huán)境為Ubuntu 20.04.3 LTS，硬件環(huán)境為Intel Core i9-10900K CPU 3.70GHz，內(nèi)存為64GB，GPU為NVIDIA GeForce RTX 3090。模型訓練使用Adam優(yōu)化器；為了抑制訓練過程中的過擬合現(xiàn)象，模型中的FC層使用相同的丟棄率0.2，訓練300輪次，批處理大小為16。初始化時，F(xiàn)C層的學習率設為1×10，對ResNet50預訓練模型進行微調，學習率設為2×10；訓練50輪之后，降低學習率，F(xiàn)C層的學習率為2×10，ResNet50預訓練模型微調學習率為4×10。

為評價回歸模型性能，采用決定系數(shù)（Coefficient of Determination,）和平均絕對百分比誤差（Mean Absolute Percentage Error, MAPE, %）作為評價指標，其計算分別如式（9）和式（10）所示：

1.6 對比方法

采用傳統(tǒng)機器學習模型進行性能對比，包括隨機森林（Random Forest, RF）和支持向量回歸（Support Vector Regression, SVR）兩種。與本文提出的深度網(wǎng)絡方法中直接以圖像作為模型輸入不同，在使用傳統(tǒng)的RF和SVR進行回歸擬合時，需要人為進行特征提取。本文參考劉林等的研究，選取了生菜輪廓周長、生菜投影面積、Depth圖像眾數(shù)作為形狀特征，RGB圖像的分量眾數(shù)、分量眾數(shù)作為顏色特征，RGB圖像的分量熵值、分量熵值作為紋理特征。其中，熵值E的計算如式（11）所示：

式中(,)表示圖像在，處的像素值，，分別為圖像的寬和高。

采用相同的交叉驗證方法和數(shù)據(jù)集劃分，基于提取的形狀、顏色和紋理特征分別構建RF和SVR模型對生菜表型參數(shù)進行估算試驗，對比方法中模型的實現(xiàn)均基于scikit-learn機器學習庫。

2 結果與分析

2.1 生菜各表型參數(shù)估算結果

按上文所述方法進行深度學習多源數(shù)據(jù)融合模型訓練與評估，即得到對所有品種的全部樣本的各表型參數(shù)的估算結果，訓練過程損失函數(shù)曲線如圖9所示，隨著迭代次數(shù)增加，損失函數(shù)損失值逐漸減小并趨于穩(wěn)定，對一個樣本的平均估算耗時約為37.067 ms。估算結果誤差和相關性分析如圖10所示?？梢钥闯觯疚谋硇蛥?shù)估算方法對生菜的濕質量、干質量、株高、直徑和葉面積估算均表現(xiàn)優(yōu)異，均高于0.94。對比相關研究來看，本文濕質量估算達到了0.982 1，高于文獻[6]的0.949 3、文獻[11]的0.94和文獻[15]的0.898 3；本文干質量估算達到了0.984 4，高于文獻[15]的0.891 0；本文直徑估算達到了0.941 1，高于文獻[8]的0.88；本文葉面積估算達到了0.962 3，高于文獻[15]的0.915 6。上述結果對比表明，相比于以往研究，本文方法的估算結果與真實值有更好的相關性；另一方面，本文的MAPE指標均小于8%，表明所提出的表型參數(shù)估算方法具有潛在的應用價值。

圖9 訓練過程損失函數(shù)曲線 Fig.9 Loss function curve during model training

圖10 基于深度學習多源數(shù)據(jù)融合模型的生菜各表型參數(shù)估算結果 Fig.10 Estimation results of different phenotypic parameters of lettuce based on deep learning multi-source data fusion model

2.2 消融試驗結果

為驗證本文提出的融合RGB圖像和Depth圖像進行生菜表型參數(shù)估算的有效性，開展了消融試驗，分別僅使用RGB圖像、Depth圖像作為數(shù)據(jù)源進行對比，得到對所有品種的全部樣本的各表型參數(shù)的估算結果，結果如表1所示。

表1 生菜表型參數(shù)估算深度學習模型消融試驗結果 Table 1 Results of ablation experiment on the deep learning model for phenotypic parameters estimation of lettuce

消融試驗結果表明：僅使用單源圖像數(shù)據(jù)（RGB或Depth圖像）的估算模型在各項指標上有不錯的表現(xiàn)，其中僅使用RGB圖像的模型在濕質量、干質量和葉面積的估算中，分別達到了0.976 1、0.985 1和0.936 7，高于僅采用RGB單源圖像數(shù)據(jù)的同類研究結果，其原因在于相較于手動提取特征或僅使用5層卷積網(wǎng)絡提取特征的方法，本文使用的ResNet50網(wǎng)絡能夠自動學習并充分挖掘圖像中含有的表型參數(shù)相關特征，擁有更強的特征提取能力，更有利于回歸擬合和估算。

將RGB圖像和Depth圖像進行特征融合后，估算性能得到了進一步提升，尤其在株高、直徑和葉面積3種表型參數(shù)上，株高的相對于RGB和Depth圖像分別約提升了0.052 3和0.072，MAPE分別降低了3.381和4.387個百分點；直徑的相對于RGB和Depth圖像分別約提升了0.046 8和0.075 5，MAPE分別降低了1.155和1.786個百分點；葉面積的相對于RGB和Depth圖像分別約提升了0.025 6和0.034 8，MAPE分別降低了2.280和2.877個百分點。其中，在對株高的估算中，由于不同植株基質厚度對株高手工測量的影響和RealSense D415中深度相機本身的誤差（在2 m左右有2%以內(nèi)的誤差），導致Depth圖像的估算結果稍差于RGB圖像，但是將二者融合后株高的估算精度有明顯提升，說明深度信息補充了RGB圖像中缺少的特征，有利于株高的估算；在對干質量的估算中，盡管融合多源數(shù)據(jù)和僅使用單源數(shù)據(jù)的模型相差不大，但從MAPE指標上看，融合多源數(shù)據(jù)的模型明顯比僅使用單源數(shù)據(jù)的模型誤差更低。消融試驗發(fā)現(xiàn)，相較于僅使用單源數(shù)據(jù)的方法，本文所提的融合多源數(shù)據(jù)的表型參數(shù)估算方法在各個表型參數(shù)上均有不同程度的性能提升，說明Depth圖像提供的植株三維立體形態(tài)信息有助于模型對表型參數(shù)作出更精準的估算。

2.3 傳統(tǒng)估算方法對比試驗結果

為驗證本文表型參數(shù)估算方法的有效性，采用上文所述的傳統(tǒng)估算方法進行定量對比試驗，得到對所有品種的全部樣本的各表型參數(shù)的估算結果，結果如表2所示。

表2 生菜表型參數(shù)估算不同方法結果對比 Table 2 Results comparison between different methods for phenotypic parameters estimation of lettuce

對比試驗結果表明：RF模型對生菜的株高、直徑、葉面積的估算結果和SVR模型對直徑、葉面積的估算結果尚可接受，MAPE均在10%左右或更低，均高于0.81，具有一定的實用意義。但RF對濕質量、干質量的估算結果和SVR對濕質量、干質量、株高的估算結果誤差很大，MAPE均在13%以上，無法投入實際應用。其原因為傳統(tǒng)的手動特征提取方法受制于人工經(jīng)驗，無法充分挖掘圖像中的有效表型信息，而且特征提取過程與回歸擬合過程的分離顯著降低了數(shù)據(jù)處理流程的自動化程度。相比之下，本文基于深度學習多源數(shù)據(jù)融合算法構建的生菜表型參數(shù)估算模型具有強大的有效特征自動學習能力和非線性數(shù)據(jù)擬合能力，且端到端的訓練方式大大提升了生菜表型參數(shù)估算的自動化程度，顯著優(yōu)于傳統(tǒng)的估算方法。

2.4 不同生菜品種的估算結果

為驗證本文的表型參數(shù)估算方法對不同生菜品種的適應性，分別對數(shù)據(jù)集中4個品種的生菜進行估算試驗，結果如圖11所示?？梢钥闯?，所有品種的各項參數(shù)估算的MAPE均低于10%，且總體上表型參數(shù)估算結果無明顯的品種傾向性，說明本研究的生菜表型參數(shù)估算方法適用于不同顏色、形狀的生菜品種，具有一定的跨品種適應性。

圖11 不同生菜品種的表型參數(shù)估算結果MAPE對比 Fig.11 MAPE comparison on the estimation of phenotypic parameters between different varieties of lettuce

2.5 不同生菜生長階段的的估算結果

為驗證本文的表型參數(shù)估算方法對生菜不同生長階段的適應性，對數(shù)據(jù)集樣本按實測濕質量進行分組，按濕質量從小到大排序，均分為3個階段。其中，實測濕質量介于(0, 33.1 g]的樣本共132條，稱為生長前期樣本；實測濕質量介于(33.1 g, 149.0 g]的樣本共129條，稱為生長中期樣本；實測濕質量介于(149.0 g, 459.7g]的樣本共127條，稱為生長后期樣本。對3個生長階段的表型參數(shù)估算MAPE結果如圖12所示。可以看出，濕質量、葉面積兩項參數(shù)的估算誤差隨著生菜的生長逐漸增大，這是因為幼苗期的生菜葉片更加舒展，圖像可以更加完整地體現(xiàn)出冠層所有葉片的性狀；隨著植株生長，葉片逐漸出現(xiàn)重疊，生長后期的冠層葉片尤為緊湊，被遮擋部分的表型信息無法通過RGBD相機直接采集到，增大模型估算誤差。相反，直徑的估算誤差隨著生菜的生長逐漸降低，是因為生長早期的生菜冠層輪廓形狀不規(guī)則，難以提煉出直徑參數(shù)的規(guī)律，而隨著植株的生長，冠層輪廓形狀逐漸接近圓形，更利于直徑參數(shù)的估算。類似的，株高的估算誤差也隨生菜的生長逐漸降低，則是因為生長前期生菜株高增大較快，且樣本間株高差異較大，而生長中后期株高趨于穩(wěn)定，樣本間差異減小，更利于株高的估算。

圖12 不同生菜生長階段的表型參數(shù)估算結果MAPE對比 Fig.12 MAPE comparison on the estimation of phenotypic parameters between different growth stages of lettuce

盡管各參數(shù)的估算誤差隨著生菜生長階段不同而有所差異，但各生長階段的各項表型參數(shù)估算的MAPE均低于10%，表明本模型亦對不同生長階段、不同植株大小的生菜具有一定的適應性。

3 結 論

本文針對基質培生菜，使用深度學習技術，設計實現(xiàn)了一種融合二維RGB圖像和深度圖像的生菜表型參數(shù)估算方法，在包含4個生菜品種、涵蓋生菜生長全過程的圖像數(shù)據(jù)集上進行干質量、濕質量、株高、直徑、葉面積的高精度估算，主要結論如下：

1）提出了一種基于深度學習多源數(shù)據(jù)融合的生菜表型參數(shù)估算模型，以預處理后的生菜RGB和深度圖像作為輸入，對生菜5種表型參數(shù)的估算決定系數(shù)均高于0.94，優(yōu)于以往的研究結果。

2）消融試驗結果表明：僅使用單源圖像數(shù)據(jù)（RGB或深度圖像）的估算模型在各項指標上依然有不錯的表現(xiàn)，而將兩者進行信息融合后，估算性能得到進一步的提升，尤其在株高、直徑和葉面積3種表型參數(shù)上，株高的相對于RGB和深度圖像分別約提升了0.052 3和0.072，MAPE分別降低了3.381和4.387個百分點；直徑的相對于RGB和Depth圖像分別約提升了0.046 8和0.075 5，MAPE分別降低了1.155和1.786個百分點；葉面積的相對于RGB和Depth圖像分別約提升了0.025 6和0.034 8，MAPE分別降低了2.280和2.877個百分點，證明了本文所提出的多源圖像數(shù)據(jù)融合方法的有效性。

3）與傳統(tǒng)估算方法的對比結果表明：隨機森林（Random Forest, RF）和支持向量回歸（Support Vector Regression, SVR）在某些表型參數(shù)的估算上誤差很大，RF對濕質量、干質量的估算結果和SVR對濕質量、干質量、株高的估算結果MAPE均在13%以上，應用價值不高；相比之下，本文的估算方法在各個表型參數(shù)上都具有良好的估算性能，優(yōu)于傳統(tǒng)方法。

4）對不同生菜品種的估算結果表明：本研究的生菜表型參數(shù)估算方法適用于不同顏色、形狀的生菜品種，具有一定的跨品種適應性；對不同生菜生長階段的估算結果表明：盡管各參數(shù)估算誤差隨著生菜生長階段不同而有所差異，但各生長階段的各項表型參數(shù)估算的平均絕對百分比誤差（Mean Absolute Percentage Error, MAPE）均低于10%，表明本模型亦對不同生長階段、不同植株大小的生菜具有一定的適應性。

因此，本研究提出的融合RGB和深度圖像的深度學習模型可以有效對生菜的多種表型參數(shù)進行無損、高精度估算，對設施蔬菜快速生長監(jiān)測和產(chǎn)量預估有重要的應用價值。后續(xù)研究會采集更多品種的生菜以增強模型的魯棒性。