基于超分辨率重建和多模態(tài)數(shù)據融合的玉米表型性狀監(jiān)測

車熒璞，王 慶，李世林，李保國，馬韞韜

?農業(yè)信息與電氣技術?

基于超分辨率重建和多模態(tài)數(shù)據融合的玉米表型性狀監(jiān)測

車熒璞，王 慶，李世林，李保國，馬韞韜※

（中國農業(yè)大學土地科學與技術學院，北京 100193）

無人機遙感技術已逐漸成為獲取作物表型參數(shù)的重要工具，如何在不降低測量精度的同時提高空間分辨率和測量通量受到表型研究人員的重視。該研究以玉米為研究對象，獲取5個生育期無人機圖像序列，結合小波變換與雙三次插值對數(shù)碼影像進行超分辨率重建，提取原始影像和重建影像的冠層結構、光譜等參數(shù)。基于單一參數(shù)和多模態(tài)數(shù)據構建地上生物量估算模型。結果表明：重建影像質量較高、失真較小，其峰值信噪比為21.5，結構相似性為0.81。航高60 m的重建影像地面采樣距離與30 m的原始影像相近，但每分鐘可多獲取0.2 hm2地塊的圖像。多模態(tài)數(shù)據融合在一定程度上克服冠層飽和問題，相對于單一參數(shù)獲得更高的生物量估測精度，擬合的決定系數(shù)為0.83，單一參數(shù)擬合的決定系數(shù)為0.095～0.750。在采用更高飛行高度條件下，結合超分辨率重建和多模態(tài)數(shù)據融合估算生物量的精度沒有降低、反而略有提高，滿足更高測量通量的需求，為解碼基因型與表型關聯(lián)的策略提供依據。

無人機；遙感；地上生物量；玉米；超分辨率重建；多模態(tài)數(shù)據融合

0 引 言

玉米（）是世界上產量最大、種植范圍最廣的糧食作物。選育具有高產、耐脅迫、抗病的優(yōu)良玉米品種，可以在有限的農業(yè)資源環(huán)境中提高糧食產量[1]。在作物育種過程中，表型提取已成為加快育種進程的瓶頸，如何快速、高通量地獲取作物表型信息是一大難題。傳統(tǒng)的田間試驗對表型參數(shù)的獲取大多還停留在人工操作的階段，耗時耗力，效率低，準確度差，且空間覆蓋不全，不能滿足高通量獲取田間作物信息的要求，迫切需要高效、快速獲取作物表型信息的手段[2-3]。

無人機遙感技術成為一種極具潛力的快速測量農學參數(shù)的方式，得到了研究者的關注[4-5]。無人機可以搭載多種傳感器，如數(shù)碼相機、多光譜相機、高光譜相機、熱像儀和激光雷達等用于獲取大田多模態(tài)數(shù)據。無人機遙感相較于衛(wèi)星遙感等傳統(tǒng)遙感技術，具有機動、靈活，更高的時間和空間分辨率的特點，然而在通量上卻遠小于衛(wèi)星等遙感平臺，這限制了無人機遙感技術在大尺度農田上的應用。通常為了提高無人機遙感在調查地物的通量而采取更高的飛行高度，這有效地提高了無人機遙感測量的效率，然而卻帶來了影像分辨率降低以及圖像失真等現(xiàn)象，造成了無人機遙感的測量精度下降。因此探索一種基于軟件或算法以提高無人機遙感影像分辨率的技術具有重要意義，超分辨率重建技術是通過圖像處理的方式從低分辨率的影像重建出相應的高分辨率影像的技術，提高圖像采集通量的同時，不損失表型參數(shù)的估算精度，具有相當重要的應用價值[6]。小波變換具有多尺度、多分辨率的性質，能夠提供圖像頻域中高頻信息，有效提取圖像優(yōu)異的細節(jié)特征，使得超分辨率重建后的圖像細節(jié)信息更加清晰豐富[7-8]。

已有研究基于無人機遙感影像通過圖像處理技術獲取作物冠層結構[9-10]、冠層光譜特征[11-13]等表型特征，開發(fā)作物生物量預測模型，監(jiān)控作物長勢[14-15]。其中株高和葉面積指數(shù)是表征植物生長狀況和產量狀況的作物冠層結構特征，通過對不同生育期株高等表型屬性的測量，可以評估關鍵的遺傳性狀、植物的基本生理和環(huán)境條件對植物的影響[14]。葉面積指數(shù)可用于指示植物冠層的生長和產量表現(xiàn)[16]，定量分析葉面積指數(shù)的動態(tài)變化，可用于早期營養(yǎng)診斷和育種研究[17]。植被指數(shù)是冠層光譜特征的重要組成部分，可準確估算葉片氮含量，含水量以及衰老程度，為科學合理施肥以及監(jiān)控作物生長具有重要的指導作用[18-19]。

研究表明[19-20]，將無人機圖像顏色指數(shù)、結構與紋理特征參數(shù)結合，可以提高植物性狀的估計精度。Bendig等[14]結合基于數(shù)碼相機提取的植被指數(shù)與株高信息，利用多元線性回歸或多元非線性回歸對特征信息進行分析模型的性能優(yōu)于單獨的植被指數(shù)，決定系數(shù)大于0.80。陶惠林等[15]基于無人機高清數(shù)碼影像提取出冬小麥的株高和21種數(shù)碼影像圖像指數(shù)，構建多生育期生物量估算模型，僅用數(shù)碼影像圖像指數(shù)構建的生物量估算模型決定系數(shù)為0.72，圖像指數(shù)與株高信息結合所得模型精度和穩(wěn)定性更高，決定系數(shù)為0.82。這些研究結果表明多模態(tài)數(shù)據融合有助于提高生物量估測的精度，可應用于高通量表型分析和精確農業(yè)生態(tài)應用和管理。然而，在高通量植物表型和精準農業(yè)背景下，結合來自數(shù)碼相機的冠層信息和基因種群結構信息，對作物生物量估測的貢獻尚不清晰?；蚍N群結構分析可對每個樣本的來源進行判斷，分配基因型，有助于理解生物進化歷程，并且可以通過基因型和表型的關聯(lián)研究確定樣本所屬的亞群[21]。

綜上，本研究提出了結合小波變換與雙三次插值技術對無人機影像進行超分辨率重建，評估了重建的影像對作物形態(tài)特征的估算精度，分析了該方法的數(shù)據采集通量。利用多模態(tài)數(shù)據融合技術對生物量進行估算，評估了多模態(tài)數(shù)據融合后進行生物量估測的精度，并與單獨使用冠層植被指數(shù)、結構、基因種群結構信息進行生物量估測的精度進行比較。探索了一種高通量獲取表型方法，為監(jiān)控植株長勢和解碼基因型與表型關聯(lián)的策略提供依據。

1 材料與方法

1.1 田間試驗

田間試驗于2018年5—9月在吉林省梨樹縣中國農業(yè)大學梨樹試驗基地（43°16′45″N，124°26′10″E）進行（圖 1）。試驗田土壤為黑土，質地為黏壤土，土層厚2 m以上。以30份具有廣泛遺傳多樣性的玉米自交系為研究對象，每個小區(qū)種植2行同一基因型玉米材料，每行共21株植株，設置3次重復。總共有90個種植小區(qū)，小區(qū)面積為5 m×1.2 m，行距為0.6 m，株距為0.25 m。在周圍均勻布設13個地面控制點（Ground Control Point，GCP），采用華測T8型智能實時動態(tài)測量（Real Time Kinematic，RTK）系統(tǒng)（華測導航，上海）測定控制點的三維空間位置。于2018年5月11日進行播種，田間管理與當?shù)靥镩g管理模式相同。

1.2 無人機航拍圖像的獲取及田間測量

采用DJI inspire 2型無人機（大疆，深圳）搭載禪思X5S型數(shù)碼相機（大疆，深圳），分別獲取出苗后5 d（出苗期）、30 d（6葉期）、46 d（12葉期）、62 d（抽雄期）、78 d（籽粒灌漿中期）5個關鍵生育期的數(shù)碼影像。用于超分辨率重建的飛行高度設置為60 m，相機角度為90°。采用傾斜攝影的方式獲取用于葉面積指數(shù)計算的三維點云數(shù)據。飛行高度為10 m，傾斜攝像角度分別為45°、90°和135°。圖像間航向重疊度和旁向重疊度均設置為80%，飛行任務在天空晴朗無風的條件進行。

無人機影像采集后，同日進行地面植株的測量和取樣。在熱帶亞群、溫帶堅桿亞群、溫帶非堅桿亞群和混合亞群4個亞群種質中均勻選取10種玉米材料，每種材料隨機選取3株進行株高（cm）、葉面積（m2）、生物量（kg）的測定，取其平均值作為實測值，其中株高是指其自然狀態(tài)下最高點到地面的垂直距離。將植株帶回試驗室將葉片分開，采用LI-3000C便攜式葉面積儀（LI-COR，美國）測量植株各葉位的葉面積。將取樣植株的地上部烘干至恒質量，然后稱干質量。

1.3 無人機影像數(shù)據預處理

采用實景三維建模軟件Agisoft Metashape v1.6.1將航拍獲取的數(shù)碼影像序列進行三維點云、數(shù)字表面模型（Digital Surface Model，DSM）和數(shù)字正射影像（Digital Orthophoto Map，DOM）的重建。首先，根據圖像的定位定向信息，采用尺度不變特征轉換（Scale Invariant Feature Transform，SIFT）算法檢測相鄰圖像對應的特征點，估計相機的參數(shù)和位置。使用立體運動恢復結構（Structure From Motion，SFM）算法根據特征點構造稀疏點云，然后利用GCP的三維坐標信息優(yōu)化稀疏點云的位置。采用多視覺聚簇法（Cluster Multi-View Stereo，CMVS）算法從稀疏的點云生成稠密的點云。最后，生成飛行區(qū)域的DOM和DSM。將點云輸出保存為.txt文件，將DSM和DOM輸出保存為.tiff文件?；谔镩g試驗布置將點云，DSM和DOM進一步分割成單個小區(qū)并對每個小區(qū)的地理位置標注編號。RGB相機的DSM和DOM的地面采樣距離（Ground Sampling Distance，GSD）分別為1.38 cm/像素和2.76 cm/像素。

1.4 圖像超分辨率重建

利用雙三次插值與小波分析組合和三次樣條插值與小波分析組合的2種方式分別對數(shù)字高程模型和數(shù)字正射影像進行圖像超分辨率重建研究（圖2），并對兩種組合方式的圖像重建質量進行比較。超分辨率重建方法具體步驟如下：1）將測試影像進行二維小波分解，獲得垂直、水平、對角3個方向的高頻子圖和低頻子圖，低頻子圖不參與圖像重建；2）將獲得的高頻子圖依次進行雙三次插值或三次樣條插值操作，插值后的高頻子圖的圖像長與寬均增加1倍；3）基于文獻[7]提出的將原始測試影像的RGB值乘以2后與插值后的高頻子圖進行二維小波逆運算，獲得最終的超分辨圖像重建結果。可使重建后圖像的亮度與原圖一致，重建效果更好。

為驗證模型的有效性，選取20張影像進行測試。對原始影像進行隔行隔列降采樣模擬影像降采樣過程。對降采樣影像進行超分辨率重建。為了評估圖像重建的質量，對重建結果與原始影像進行定量比較。評價指標采用峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）、結構相似性（Structural Similarity，SSIM）和平均絕對誤差比值（Mean Absolute Deviation Ratio，MAER）。PSNR和SSIM值越大，MAER的值越小，表明待測試圖像與參考圖像之間的失真越小，待測試圖像質量較好。PSNR、SSIM和MAER的計算公式分別如式（1）～式（3）所示

1.5 特征信息的獲取

本研究分別提取玉米整個生育期的冠層覆蓋度、株高和植被指數(shù)，基于三維體素指數(shù)算法估算葉面積，利用種群分層結構分析計算每個自交系材料基因組含有不同種質亞群的比例，最后基于多模態(tài)數(shù)據融合估算玉米生物量。由于田間存在滴灌帶、灌溉管等干擾場景，導致植被分割的背景較復雜，采用傳統(tǒng)的植被指數(shù)分割，難以得到較理想的分割結果，故本研究采用支持向量機的方法剔除二維圖片和三維點云的非植被像素，對二維圖片進行冠層覆蓋度的計算，此方法具有魯棒性，在有限的訓練數(shù)據集情況下具有很好的泛化能力[22]。將圖像數(shù)據集按照8∶2的比例分為訓練集（32張）和驗證集（8張），對植被分類模型內部參數(shù)進行訓練和調整分類性能最好的超參數(shù)，進一步評估測量值與估計值的一致性程度以及評估分類模型的泛化能力?；诠趯痈采w度的位置生成掩膜（圖3），去除土壤背景，計算冠層覆蓋度。株高信息則是利用不同小區(qū)的冠層上邊界減去參考地面進行計算。參考地面高程為第一次航拍的小區(qū)DSM中位數(shù)?；贒SM的第99分位數(shù)作為上邊界估算的株高與實測株高相關性最好[9-10]，因此利用DSM的第99分位數(shù)減去第一次航拍的小區(qū)DSM中位數(shù)計算株高。

基于拼接圖像提取了9個常用的可見光植被指數(shù)（表 1），分別為修正綠紅植被指數(shù)（Modified Green Red Vegetation Index，MGRVI）、歸一化綠藍差值植被指數(shù)（Normalized Green Blue Difference Index，NGBDI）、超綠超紅差分植被指數(shù)（excess green minus excess red index，EXGR）、植被指數(shù)（vegetative，VEG）、植被顏色指數(shù)（Color Index of Vegetation，CIVE）、紅綠藍植被指數(shù)（Red-Green-Blue Vegetation Index，RGBVI）、綠葉植被指數(shù)（Green Leaf Index，GLI）、大氣阻抗植被指數(shù)（Vegetation Atmospherically Resistant Index，VARI）、Woebbecke指數(shù)（Woebbecke Index，WI）。統(tǒng)計小區(qū)植被指數(shù)灰度值的平均值作為該指數(shù)的特征值。

表1 可見光植被指數(shù)

利用三維體素指數(shù)[9,30]進行小區(qū)葉面積指數(shù)的計算。三維體素指數(shù)的計算方法為1）將小區(qū)植被點云進行三維體素化，三維體素大小的范圍為0.005～0.200 m，間隔為0.005 m；2）計算每個三維體素中包含的點云數(shù)量，點云數(shù)大于5的三維體素為有效的三維體素；3）計算縱向每一層有效的三維體素的數(shù)量，并除以該層全部三維體素的數(shù)量，獲得有效的三維體素比值；4）計算每層有效的三維體素比值的總和，以此建立估測葉面積指數(shù)的方程。葉面積指數(shù)（LAI）的計算公式如式（4）所示

根據種群遺傳結構計算每個自交系材料基因組含有不同種質亞群的比例，作為基因種群結構數(shù)據用于生物量的估算模型中。利用種群分層結構分析將30個玉米材料聚為熱帶亞群、溫帶堅桿亞群、溫帶非堅桿亞群和混合亞群4個種質亞群，處于同一亞群內的不同個體親緣關系較高，而亞群與亞群之間則親緣關系稍遠[21]，分成了7個熱帶亞群（TST）、9個溫帶堅桿亞群（SS）、8個溫帶非堅桿亞群（NSS）和6個混合亞群（MIXED）。

1.6 建立生物量估算模型與評價指標

采用偏最小二乘回歸（Partial Least Squares Regression，PLSR）構建玉米地上部生物量估測模型，該模型構建步驟如下：1）對冠層特征參數(shù)進行數(shù)據歸一化處理，消除不同參數(shù)數(shù)值上的差異；2）計算參數(shù)的相關系數(shù)矩陣；3）根據貢獻率選取主成分；4）構建回歸表達式。本研究利用留一交叉驗證法計算出各個主成分的預測誤差平方和（Prediction Sum Squares，PRESS）進行主成分的選取。PRESS越小，表示PLSR模型估計精度越高，因此基于PRESS最小來確定主成分個數(shù)。采用決定系數(shù)（coefficient of determination，2）、均方根誤差（Root Mean Square Error，RMSE）和相對均方根誤差（relative Root Mean Square Error，rRMSE）檢驗生物量估測模型的性能，評價生物量實際值與模型計算值的吻合程度。2越大，相應的MSE和rRMSE越小，則模型的估測精度越高。其計算如式（5）所示

2 結果與分析

2.1 超分辨率重建模擬試驗的結果評估

通過評價指標對重建結果進行評估（圖4）。采用雙三次插值重建的數(shù)字正射影像的峰值信噪比為21.5，結構相似性為0.81，平均絕對誤差比值為6.4%。采用三次樣條插值重建的數(shù)字正射影像的峰值信噪比為20.6，結構相似性為0.78，平均絕對誤差比值為6.9%。這表明雙三次插值重建的數(shù)字正射影像質量略高、失真略小，評價指標結果與Wang等[31]采用基于稀疏表示的超分辨率圖像重建方法對單幅低分辨率遙感影像的空間分辨率進行增強的結果相近，其峰值信噪比為23.8，結構相似性為0.88。表明本研究應用的方法可為其他低分辨率影像的超分辨率圖像重建提供有用的高頻細節(jié)信息。數(shù)字正射影像與地面高程模型的地面采樣距離分別為1.38 cm和2.76 cm。重建后各個影像的地面采樣距離均縮小50%，分別為0.69 cm和1.38 cm。經計算30 m航高數(shù)字正射影像的地面采樣距離為0.82 cm，因此60 m航高重建的數(shù)字正射影像的地面采樣距離可達到30 m的標準。無人機在飛行高度60 m比30 m每分鐘可以多獲取0.2 hm2地塊的圖像數(shù)據。因此采用雙三次插值進行超分辨率圖像重建在不損失圖像質量的同時，有利于節(jié)省無人機采樣時間，提高圖像采樣通量。

2.2 株高和葉面積指數(shù)（LAI）的精度評估

目前，基于無人機遙感技術的株高的獲取，大多是基于冠層高度模型進行的。冠層高度模型去除了地形起伏的影響，直接反映了植株的冠層高度分布信息。本研究將冠層高度模型與超分辨重建結合，計算了原始影像和重建影像6葉期、12葉期、抽雄期、籽粒灌漿中期4個生育期玉米的株高，并與地面實測值進行比較（圖5）。結果顯示原始影像和重建影像的株高估測值與實測值間相關性較好，且模型誤差較小，rRMSE均為2.8%。綜合對比重建影像的估算精度略高于原始影像，重建影像的決定系數(shù)為0.89，RMSE 為3.9 cm，原始影像的2為0.88，RMSE達4 cm。

圖6展示了最佳三維體素大小以及相應的降采樣點云。將小區(qū)植被點云進行降采樣可以為三維體素估算LAI降低運算成本。通過比較0.005～0.200 m范圍的三維體素構建的LAI估算方程的決定系數(shù)，最佳三維體素大小選為0.07 m。分別利用6葉期、抽雄期和籽粒灌漿中期3個關鍵生育期的點云數(shù)據建立估測葉面積指數(shù)的方程，進一步評估LAI的估算精度，并與實測值進行對比分析。結果顯示LAI估測值與LAI實測值吻合程度較高，2為0.72，RMSE為0.14，rRMSE為7.9%（圖7）。

2.3 基于所有特征的大田作物生物量估算

分別對從原始影像與重建影像提取的所有表型參數(shù)的相關關系進行了分析，如圖8。結果表明除TST、NSS、SS、MRGRVI、VARI和WI參數(shù)外，其余參數(shù)間的決定系數(shù)的絕對值均在0.6以上，其中VEG與GLI、VARI與MGRVI、GLI與RGBVI、RGBVI與EXGR、RGBVI與EXGR的相關系數(shù)達到0.9以上。CIVE與株高、WI指數(shù)、溫帶非堅桿亞群、熱帶亞群參數(shù)呈正相關，其他參數(shù)均呈負相關。TST與CIVE和WI指數(shù)呈正相關，其他參數(shù)均呈負相關。重建影像與原始影像的表型參數(shù)相關關系差異不大，差值絕對值穩(wěn)定在0.05之內。綜合結果說明不同參數(shù)間存在多重共線性。

基于PRESS最小來確定最佳主成分個數(shù)為5，前5個主成分對自變量和因變量的累積貢獻率分別為99.9%和84.9%。確定主成分個數(shù)后，利用PLSR 算法基于兩種影像提取的所有表型特征參數(shù)構建生物量估算模型。將PLSR建模得到的生物量估算值與相應的實測值進行了比較（圖 9，圖10）。比較基于單個表型參數(shù)的生物量估算中，植被指數(shù)信息優(yōu)于其他特征，決定系數(shù)為0.75。株高也具有相當?shù)墓罍y精度，決定系數(shù)大于0.68。單一采用冠層覆蓋度、葉面積指數(shù)的生物量估算精度較低的原因是玉米生長中后期，冠層覆蓋度、葉面積指數(shù)將不再增長，反而隨著衰老出現(xiàn)下降的趨勢。冠層覆蓋度、葉面積指數(shù)和基因種群結構信息雖然表現(xiàn)相對較差，但在生物量估算方面也有潛力。融合所有的表型參數(shù)進行生物量估測時，可以獲得更高的估測精度。這是因為多種信息的耦合可以在一定程度上克服冠層飽和問題，這與之前的研究一致[15,32]。重建影像的株高對生物量的估算精度沒有降低、反而略高于原始影像，重建影像利用多模態(tài)數(shù)據估算的生物量與實測值的RMSE為0.19 kg，略優(yōu)于原始影像的0.20 kg。并且重建影像生物量估算值比原始影像較集中于回歸線，如圖中圓圈所示（圖 9，圖 10）。因此運用超分辨率重建和多模態(tài)數(shù)據融合構建生物量估算模型有助于實現(xiàn)生物量精準估測的目標。

2.4 不同種質亞群的生物量、葉面積和株高差異比較與生物量反演制圖

對不同生育期的生物量、葉面積與株高實測值進行數(shù)據最值歸一化，采用方差分析評估不同種質亞群的差異。對各種質亞群組間在表型參數(shù)上的差異顯著性（<0.05）進行檢驗（圖11）。在4組種質亞群中溫帶堅桿亞群生物量顯著大于混合亞群，株高顯著大于其他種質亞群，生物量、葉面積和株高的中位數(shù)均大于其他種質亞群?；旌蟻喨荷锪亢腿~面積均顯著小于溫帶非堅桿亞群，并且混合亞群生物量、葉面積和株高中位數(shù)均小于其他種質亞群。因此基因種群結構信息在一定程度上影響了作物的生長。

基于重建影像和多模態(tài)數(shù)據融合對整個研究區(qū)6葉期、12葉期、抽雄期和籽粒灌漿中期的生物量進行估測，估算的生物量空間分布如圖12所示。結合生物量反演結果，4個生育期生物量的空間分布情況比較一致。不同種質亞群材料的生物量差別較大。經過計算不同亞群生物量排序由大到小為溫帶堅桿亞群、溫帶非堅桿亞群、熱帶亞群、混合亞群。原因可能是本研究的試驗地點為溫帶半濕潤季風氣候區(qū)，氣溫降雨條件比較適宜溫帶亞群材料的生長，不利于混合和熱帶亞群材料的生長。6葉期玉米地上生物量多處于1～3 kg范圍內，12葉期處于2～5 kg范圍內，抽雄期處于3～6 kg范圍內，籽粒灌漿中期則處于4～7 kg范圍內?？傮w而言，生物量反演模型的估算值與實測值基本相符，且處于較理想的生物量區(qū)間內。

3 結 論

1）本研究以30份具有廣泛遺傳多樣性的玉米自交系為研究對象，探索結合小波變換與雙三次插值對數(shù)字表面模型和數(shù)字正射影像進行超分辨率重建的算法，評估了利用超分辨率重建影像的質量。重建的影像質量較高、失真較小，峰值信噪比為21.5，結構相似性為0.81，平均絕對誤差比值為6.4%。比較了原始影像和重建影像估算田間作物表型特征參數(shù)的精度差異，分析了該方法在提高數(shù)據采集通量的優(yōu)勢。重建影像對株高以及生物量估算的決定系數(shù)較高，分別為0.89和0.83。并且無人機飛行高度60 m的重建影像地面采樣距離與飛行高度為30 m的原始影像相近，但每分鐘可多獲取0.2 hm2地塊的圖像。因此，超分辨率重建技術在提高無人機農業(yè)測繪的效率同時，還能提高低分辨率圖像的質量，利用重建影像對株高以及生物量估測精度均有提高。

2）利用多模態(tài)數(shù)據融合技術對生物量進行估算，并評估了利用單一參數(shù)和多模態(tài)數(shù)據融合進行生物量估算的精度。單獨使用冠層覆蓋度、株高、葉面積指數(shù)、植被指數(shù)以及基因種群結構數(shù)據估算生物量的的決定系數(shù)為0.095～0.75。株高、葉面積指數(shù)、植被指數(shù)以及基因種群結構數(shù)據融合可以在一定程度上克服冠層飽和問題，相對于單一參數(shù)能獲得更高的生物量估測精度，決定系數(shù)為0.83、RMSE為0.19 kg。因此結合超分辨率和多模態(tài)數(shù)據融合技術可以實現(xiàn)對航拍影像進行更高效更準確的數(shù)據分析，獲取作物表型信息，從而量化表型參數(shù)，解碼基因型與表型關聯(lián)的策略，為優(yōu)勢基因型選育提供依據。

[1] Malambo L, Popescu S C, Murray S C, et al. Multitemporal field-based plant height estimation using 3D point clouds generated from small unmanned aerial systems high-resolution imagery[J]. International Journal of Applied Earth Observation and Geoinformation, 2018, 64: 31-42.

[2] Yu N, Li L, Schmitz N, et al. Development of methods to improve soybean yield estimation and predict plant maturity with an unmanned aerial vehicle based platform[J]. Remote Sensing of Environment, 2016, 187: 91-101.

[3] 牛慶林，馮海寬，楊貴軍，等. 基于無人機數(shù)碼影像的玉米育種材料株高和LAI監(jiān)測[J]. 農業(yè)工程學報，2018，34(5)：73-82.

Niu Qinglin, Feng Haikuan, Yang Guijun, et al. Monitoring plant height and leaf area index of maize breeding material based on UAV digital images[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(5): 73-82. (in Chinese with English abstract)

[4] 劉建剛，趙春江，楊貴軍，等. 無人機遙感解析田間作物表型信息研究進展[J]. 農業(yè)工程學報，2016，32(24)：98-106.

Liu Jiangang, Zhao Chunjiang, Yang Guijun, et al. Review of field-based phenotyping by unmanned aerial vehicle remotesensing platform[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(24): 98-106. (in Chinese with English abstract)

[5] Yang W, Feng H, Zhang X, et al. Crop phenomics and high-throughput phenotyping: Past decades, current challenges, and future perspectives[J]. Molecular Plant, 2020, 13(2): 187-214.

[6] 段立娟，武春麗，恩擎，等. 基于小波域的深度殘差網絡圖像超分辨率算法[J]. 軟件學報，2019，30(4)：941-953.

Duan Lijuan, Wu Chunli, En Qing, et al. Deep residual network in wavelet domain for image super- resolution[J]. Journal of Software, 2019, 30(4):941-953 (in Chinese with English abstract).

[7] Rahiman V A, George S N. Robust single image super resolution using neighbor embedding and fusion in wavelet domain[J]. Computers & Electrical Engineering, 2018, 70: 674-689.

[8] 吳強，張銳. 基于局部異常因子的近地全天時星圖小波去噪[J]. 光學學報，2020，40(8)：46-54.

Wu Qing, Zhang Rui. Wavelet denoising of near-earth all-day star map based on local outlier factor[J]. Acta Optica Sinica, 2020, 40(8): 46-54. (in Chinese with English abstract)

[9] Che Y, Wang Q, Xie Z, et al. Estimation of maize plant height and leaf area index dynamics using an unmanned aerial vehicle with oblique and nadir photography[J]. Annals of Botany, 2020, 126(4): 765-773.

[10] 王慶，車熒璞，柴宏紅，等. 基于無人機可見光與激光雷達的甜菜株高定量評估[J]. 農業(yè)機械學報，2021，52(3)：178-184.

Wang Qing, Che Yingpu, Chai Honghong, et al. Quantitative evaluation of sugar beet plant height based on UAV-RGB and UAV-LiDAR[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(3):178-184. (in Chinese with English abstract)

[11] Zhou X, Zheng H B, Xu X Q, et al. Predicting grain yield in rice using multi-temporal vegetation indices from UAV-based multispectral and digital imagery[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2017, 130: 246-255.

[12] 楊俊，丁峰，陳晨，等. 小麥生物量及產量與無人機圖像特征參數(shù)的相關性[J]. 農業(yè)工程學報，2019，35(23)：104-110.

Yang Jun, Ding Feng, Chen Chen, et al. Correlation of wheat biomass and yield with UAV image characteristic parameters[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(23): 104-110. (in Chinese with English abstract)

[13] 趙曉慶，楊貴軍，劉建剛，等. 基于無人機載高光譜空間尺度優(yōu)化的大豆育種產量估算[J]. 農業(yè)工程學報，2017，33(1)：110-116.

Zhao Xiaoqing, Yang Guijun, Liu Jiangang, et al. Estimation of soybean breeding yield based on optimization of spatial scale of UAV hyperspectral image[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(1): 110-116. (in Chinese with English abstract)

[14] Bendig J, Yu K, Aasen H, et al. Combining UAV-based plant height from crop surface models, visible, and near infrared vegetation indices for biomass monitoring in barley[J]. International Journal of Applied Earth Observation and Geoinformation, 2015, 39: 79-87.

[15] 陶惠林，徐良驥，馮海寬，等. 基于無人機數(shù)碼影像的冬小麥株高和生物量估算[J]. 農業(yè)工程學報，2019，35(19)：107-116.

Tao Huilin, Xu Liangji, Feng Haikuan, et al. Estimation of plant height and biomass of winter wheat based on UAV digital image[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(19): 107-116. (in Chinese with English abstract)

[16] Roth L, Aasen H, Walter A, et al. Extracting leaf area index using viewing geometry effects-a new perspective on high-resolution unmanned aerial system photography[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2018, 141: 161-175.

[17] Lei L, Qiu C, Li Z, et al. Effect of leaf occlusion on leaf area index inversion of maize using UAV-LiDAR data[J]. Remote Sensing, 2019, 11(9): 1067-1081.

[18] Maimaitijiang M, Ghulam A, Sidike P, et al. Unmanned aerial system (UAS)-based phenotyping of soybean using multi-sensor data fusion and extreme learning machine[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2017, 134: 43-58.

[19] Maimaitijiang M, Sagan V, Sidike P, et al. Soybean yield prediction from UAV using multimodal data fusion and deep learning[J]. Remote Sensing of Environment, 2020, 237: 111599.

[20] Zheng H, Cheng T, Zhou M, et al. Improved estimation of rice aboveground biomass combining textural and spectral analysis of UAV imagery[J]. Precision Agriculture, 2019, 20(3): 611-629.

[21] 趙久然，李春輝，宋偉，等. 基于SNP芯片揭示中國玉米育種種質的遺傳多樣性與群體遺傳結構[J]. 中國農業(yè)科學，2018，51(4)：626-644.

Zhao Jiuran, Li Chunhui, Song Wei, et al. Genetic diversity and population structure of important chinese maize breeding germplasm revealed by SNP-chips[J]. Scientia Agricultura Sinica, 2018, 51(4): 626-644. (in Chinese with English abstract)

[22] Sheykhmousa M, Mahdianpari M, Ghanbari H, et al. Support vector machine versus random forest for remote sensing image classification: A meta-analysis and systematic review[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2020, 13: 6308-6325.

[23] Jia X, Haibin G, Qingmin M, et al. Spatial pattern analysis of haloxylon ammodendron using UAV imagery: A case study in the gurbantunggut desert[J]. International Journal of Applied Earth Observation and Geoinformation, 2019, 83: 101891.

[24] Upendar K, Agrawal K N, Chandel N S, et al. Greenness identification using visible spectral colour indices for site specific weed management[J]. Plant Physiology Reports, 2021, 26(1): 179-187.

[25] Li J, Shi Y, Veeranampalayam-Sivakumar A N, et al. Elucidating sorghum biomass, nitrogen and chlorophyll contents with spectral and morphological traits derived from unmanned aircraft system[J]. Frontiers in Plant Science, 2018, 9: 1046-1058.

[26] Bareth G, Bolten A, Gnyp M L, et al. Comparison of uncalibrated rgbvi with spectrometer-based ndvi derived from uav sensing systems on field fcale[J]. ISPRS- International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2016, 41: 837-843.

[27] Blancon J, Dutartre D, Tixier M H, et al. A high-throughput model-assisted method for phenotyping maize green leaf area index dynamics using unmanned aerial vehicle imagery[J]. Frontiers in Plant Science, 2019, 10: 685-700.

[28] Hamuda E, Glavin M, Jones E. A survey of image processing techniques for plant extraction and segmentation in the field[J]. Computers and Electronics in Agriculture, 2016, 125: 184-199.

[29] Xue J, Su B. Significant remote sensing vegetation indices: A review of developments and applications[J]. Journal of Sensors, 2017, 17: 1353691-1353708.

[30] Jimenez-Berni J A, Deery D M, Rozas-Larraondo P, et al. High throughput determination of plant height, ground cover, and above-ground biomass in wheat with LiDAR[J]. Frontiers in Plant Science, 2018, 9: 237-254.

[31] Wang S, Wei Y, Long K, et al. Image super-resolution via self-similarity learning and conformal sparse representation[J]. IEEE Access, 2018, 6: 68277-68287.

[32] Li B, Xu X, Zhang L, et al. Above-ground biomass estimation and yield prediction in potato by using UAV-based RGB and hyperspectral imaging[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2020, 162: 161-172.

Monitoring of maize phenotypic traits using super-resolution reconstruction and multimodal data fusion

Che Yingpu, Wang Qing, Li Shilin, Li Baoguo, Ma Yuntao※

(,,100193,)

High-throughput phenotyping has posed an urgent challenge on plant genetics, physiology, and breeding at present. Particularly, traditional manual cannot meet the needs of high-throughput phenotyping for breeding, due mainly to time-consuming and labour-intensive work with a limited sample size. Alternatively, the Unmanned Aerial Vehicle (UAV) Remote Sensing can be widely expected to serve as an important tool for crop phenotypic parameters. The main reason can be the high temporal and spatial resolution, fast image acquisition, easy operation and portability, as well as relatively low cost. However, it is also inevitable to balance the flight height and image resolution or accuracy during image acquisition. Efficient techniques are urgently needed to reconstruct the high-resolution images without lossing the measurement accuracy, while improving the spatial resolution and image acquisition. In this study, the maize phenotypic traits were effectively monitored using super-resolution reconstruction and multimodal data fusion. The UAV image sequences of maize were also captured at seedling, 6th leaf, 12th leaf, tasseling, and milk stage. The super-resolution images were then reconstructed combined with the wavelet transform and bicubic interpolation. The reconstructed images presented higher reconstruction quality, less distortion with peak signal-to-noise ratio of 21.5, structure similarity of 0.81, and mean absolute error ratio of 6.4%. A lower error was also achieved for the plant height and biomass estimation with the root mean square error of 3.9 cm and 0.19 kg, respectively. Ground Sampling Distance (GSD) of the reconstructed image at a flight height of 60 m was similar to that of the original image at a flight height of 30 m. Subsequently, the UAV at a flight height of 60 m was utilized to scan 0.2 hm2 larger fields per minute than that at a flight height of 30 m. The plant height, canopy coverage and vegetation index were also extracted from the original and reconstructed images. Leaf area index was calculated by point cloud reconstructed by oblique photography. The original shape of point cloud was remained, while point cloud was compressed for a higher efficiency using 3-D voxel filtering. Specifically, a better correlation was achieved, where the measured LAI was the slope of 0.72 and the root mean square error of 0.14. All canopy structure, spectrum and population structure parameters were then used to construct estimation models of above ground biomass using single characteristic parameter and multimodal data. A higher estimation accuracy of above ground biomass was obtained by multimodal data fusion, compared with a single parameter with the coefficient of determination was 0.83 and root mean square error of 0.19 kg. Therefore, a combination of image super-resolution reconstruction and multimodal data fusion can be widely expected to deal with the canopy saturation for higher spatial resolution and estimation accuracy, indicating fully meeting the demand for higher throughput of data acquisition. Meanwhile, the finding can provide a highly effective and novel solution to the estimation of above ground biomass. More importantly, the correlation between genotype and phenotype can also be extended to cultivate high-quality maize varieties suitable for mechanized production.

UAV; remote sensing; above ground biomass; maize; super-resolution reconstruction; multimodal data fusion

車熒璞，王慶，李世林，等. 基于超分辨率重建和多模態(tài)數(shù)據融合的玉米表型性狀監(jiān)測[J]. 農業(yè)工程學報，2021，37(20)：169-178.doi：10.11975/j.issn.1002-6819.2021.20.019 http://www.tcsae.org

Che Yingpu, Wang Qing, Li Shilin, et al. Monitoring of maize phenotypic traits using super-resolution reconstruction and multimodal data fusion[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(20): 169-178. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.20.019 http://www.tcsae.org

2021-04-05

2021-06-10

內蒙古科技重大專項和成果轉化項目（2019ZD024，2019CG093，2020GG0038）

車熒璞，博士生，研究方向為植物表型、農業(yè)信息化。Email：cheyingpu@126.com

馬韞韜，博士，教授，研究方向為植物功能-結構-環(huán)境互作的表型與模型。Email：yuntao.ma@cau.edu.cn

10.11975/j.issn.1002-6819.2021.20.019

S127

A

1002-6819(2021)-20-0169-10