基于圖像特征和隨機(jī)森林的油菜生物量估算*

李海同，陳旭，王剛，關(guān)卓懷，江濤，吳崇友

(農(nóng)業(yè)農(nóng)村部南京農(nóng)業(yè)機(jī)械化研究所，南京市，210014)

0 引言

喂入量是聯(lián)合收獲機(jī)的一個(gè)最重要設(shè)計(jì)參數(shù)和性能參數(shù)，喂入量過大會導(dǎo)致聯(lián)合收獲機(jī)作業(yè)質(zhì)量下降，喂入量太小則不能充分發(fā)揮收獲機(jī)的性能導(dǎo)致工作效率低下[1-2]。為實(shí)現(xiàn)聯(lián)合收獲機(jī)工作參數(shù)和狀態(tài)依據(jù)作物田間狀態(tài)自動控制，首先要對其喂入量進(jìn)行實(shí)時(shí)監(jiān)測，為此許多學(xué)者圍繞在聯(lián)合收獲機(jī)喂入量檢測方法開展研究[3-4]，而油菜生物量是聯(lián)合收獲機(jī)喂入量的重要決定因素。

機(jī)器視覺和圖像處理技術(shù)的進(jìn)步及其在植被覆蓋率、含水率等農(nóng)業(yè)領(lǐng)域的應(yīng)用，為基于圖像處理的油菜生物量計(jì)算提供了思路和方法。潘靜等[5]通過水稻冠層密度圖像光譜分析，以2R+G顏色特征參數(shù)值作為收割機(jī)喂入密度特征，并與實(shí)際測得的喂入密度值進(jìn)行擬合建立模型，能夠?qū)崿F(xiàn)水稻喂入密度的檢測。劉漢青[6]設(shè)計(jì)了基于機(jī)器視覺的油菜收獲疏密度檢測系統(tǒng)，利用卷積神經(jīng)網(wǎng)絡(luò)算法實(shí)現(xiàn)油菜疏密度檢測，并根據(jù)疏密度控制收割機(jī)的前進(jìn)速度使喂入量保持在設(shè)定范圍內(nèi)。劉楊等[7]提取馬鈴薯株高和植被覆蓋度，選取6種植被指數(shù)和3種農(nóng)學(xué)參數(shù)作為特征參數(shù)，通過線性回歸、偏最小二乘回歸、隨機(jī)森林算法和支持向量機(jī)估算馬鈴薯生物量。陶惠林等[8]基于無人機(jī)高清數(shù)碼影像生成冬小麥的作物表面模型并提取21種數(shù)碼影像圖像指數(shù)，構(gòu)建3種不同時(shí)期冬小麥的生物量估算模型并進(jìn)行對比，挑選出冬小麥生物量估算的最優(yōu)模型。楊雪峰等[9]通過面向?qū)ο笥跋穹治龊突貧w分析等技術(shù)，獲取區(qū)域尺度下胡楊冠幅、樹高和密度等森林結(jié)構(gòu)參數(shù)，通過生長方程計(jì)算得到區(qū)域尺度森林地上生物量。利用作物的可見光圖像提取與生物量有關(guān)的特征，通過回歸算法建立作物生物量估算模型可作為生物量計(jì)算的依據(jù)。

本研究利用無人機(jī)拍攝聯(lián)合收獲期油菜的圖像并稱量單位面積內(nèi)地上油菜的質(zhì)量，獲取油菜的可見光圖像和生物量信息，提取圖像的色彩和紋理特征并利用相關(guān)性分析篩選出與油菜生物量顯著相關(guān)的特征參數(shù)，分別建立基于隨機(jī)森林，主分成分析和支撐向量機(jī)的油菜生物量估算模型，訓(xùn)練模型并比較3種估算模型的評價(jià)指標(biāo)，探討利用無人機(jī)可見光圖像預(yù)測聯(lián)合收獲期油菜生物量的方法，為聯(lián)合收獲期油菜生物量智能化檢測提供參考。

1 材料與方法

1.1 圖像采集與數(shù)據(jù)集構(gòu)建

本研究中的圖像采集于2020年6月在江蘇省鹽城市大豐區(qū)東方綠洲現(xiàn)代農(nóng)業(yè)園(33°6′7″N，120°48′12″E)內(nèi)進(jìn)行試驗(yàn)，如圖1所示。

圖1 研究區(qū)域Fig.1 Location of the study area

采樣時(shí)試驗(yàn)樣品油菜的農(nóng)藝特性為：種植密度27萬株/hm2，植株平均高度1.72 m，莖稈、莢果和籽粒含水率分別為38.4%、19.8%、24.6%，采樣時(shí)將1 m×1 m 的正方形采樣框水平放置于采樣區(qū)的試驗(yàn)油菜上作為采樣區(qū)。研究使用的無人機(jī)為大疆 PHANTOM 4PRO，相機(jī)有效像素為2 000萬，無人機(jī)在采樣框上方15 m處飛行拍攝采集圖像，數(shù)據(jù)采集時(shí)間為2019年6月2日，天氣晴朗無云，風(fēng)速小于3級，適合無人機(jī)飛行，采集時(shí)間為14:00至17:00。每張照片拍攝完成后人工收割采樣區(qū)內(nèi)地上部分油菜并稱重，得到單位面積內(nèi)油菜的生物質(zhì)量，由此獲得油菜生物量的實(shí)測值。本研究選取生長密度有差異的120個(gè)采樣區(qū)域作為研究對象獲得樣本圖像。

1.2 特征提取和篩選

由于采集的聯(lián)合收獲期油菜圖像包括采樣區(qū)內(nèi)外兩部分，采樣框內(nèi)的區(qū)域?yàn)楸狙芯克璧膱D像信息，而采樣框以外的區(qū)域可視為噪聲信息，需將其剔除后提取圖像特征，首先通過灰度化、平滑和膨脹掩膜等預(yù)處理方法獲取采樣框區(qū)內(nèi)的圖像，如圖2所示。

圖2 圖像預(yù)處理Fig.2 Pretreatment of image

根據(jù)文獻(xiàn)[5]、[10-12]的研究結(jié)果，作物生物量可由作物圖像的顏色和紋理特征表征，根據(jù)油菜圖像特征本研究提取樣本圖像的RGB和HSI顏色空間的顏色分量及歸一化顏色分量r、g、b共9個(gè)初始圖像顏色特征，并構(gòu)造表1所示的13個(gè)可見光圖像指數(shù)。每次采樣時(shí)采樣框放置的角度難以完全一致，導(dǎo)致采樣區(qū)域性狀和大小不一，因此顏色分量采用均值消除采樣區(qū)域形態(tài)差異的影響。

表1 可見光圖像指數(shù)及數(shù)學(xué)表達(dá)式Tab.1 Characteristic parameters of optical images

灰度共生矩陣能反映出圖像灰度關(guān)于方向、相鄰間隔、變化幅度的綜合信息，本研究首先計(jì)算圖像的灰度共生矩陣P，然后提取共生矩陣的能量(ENG)、相關(guān)度(COR)、對比度(CON)、熵(HOM)和逆方差(IDM)5個(gè)紋理特征及其二階矩，紋理特征計(jì)算公式如式(1)～式(5)所示。

(1)

(2)

(3)

(4)

(5)

(6)

(7)

(8)

(9)

式中：k——灰度值的級數(shù)；

i——行號；

j——列；

p(i，j)——灰度值(i，j)出現(xiàn)的概率。

本研究共提取圖像的32個(gè)顏色和紋理特征，使用全部特征建模將產(chǎn)生信息冗余，導(dǎo)致數(shù)學(xué)模型過于復(fù)雜且影響運(yùn)行速度。為降低維度精簡模型提高運(yùn)算速度，首先采用Pearson相關(guān)性分析研究油菜生物量和圖像特征的相關(guān)系數(shù)，定量描述油菜生物量與特征參數(shù)的相關(guān)程度，明確油菜生物量的主要決定因素，與油菜生物量顯著相關(guān)的圖像特征和相關(guān)系數(shù)如表2所示。

表2 油菜生物量圖像特征選擇結(jié)果Tab.2 Selection results of image features for rape biomass

從相關(guān)性分析結(jié)果中可以看出，初始圖像特征中的能量ENG、熵HOM、對比度CON、對比度二階矩stdCON、相關(guān)性COR、相關(guān)性二階矩stdCOR，逆方差I(lǐng)DM和色調(diào)與亮度的比值H/I，8個(gè)圖像特征與油菜生物量之間達(dá)到了極顯著水平(P<0.01)；能量二階矩stdENG和逆方差二階矩stdIDM與油菜生物量之間呈現(xiàn)出了顯著的相關(guān)性(P<0.05)。

2 油菜生物量估算模型

以提取的 10個(gè)顯著特征參數(shù)作為輸入?yún)?shù)，以油菜生物量為輸出參數(shù)，分別基于隨機(jī)森林(Random forest，RF)、主成分分析(Principal component analysis，PCA)和支持向量機(jī)(Support vector machine，SVM)建立聯(lián)合收獲期油菜生物量的估算模型，獲取油菜生物量估算值，挑選 67%樣本數(shù)據(jù)(80個(gè))作為建模集，33%樣本數(shù)據(jù)(40個(gè))作為驗(yàn)證集以此來構(gòu)建油菜生物量估算模型[14]，分別用于模型訓(xùn)練和驗(yàn)證。采用均方根誤差(RMSE)、相對誤差(RE)和決定系數(shù)(R2)3個(gè)指標(biāo)評價(jià)估算模型的準(zhǔn)確性，3個(gè)指標(biāo)的計(jì)算方法如下。

(10)

(11)

(12)

式中：yi′——生物量估算值，kg/m2；

yi——生物量真實(shí)值，kg/m2；

n——測試集樣本個(gè)數(shù)。

2.1 基于RF的生物量估算模型

隨機(jī)森林是由多棵分類回歸樹(Classification And Regression Tree，CART)構(gòu)成的組合分類模型，森林中的每一棵決策樹之間沒有關(guān)聯(lián)，但模型的最終輸出由森林中的每一棵決策樹共同決定。隨機(jī)森林是典型的集成學(xué)習(xí)算法，裝袋法的代表模型[13-14]，CART決策樹模型為弱學(xué)習(xí)器，采樣樣本和特征的雙重隨機(jī)抽樣構(gòu)建決策樹保證不出現(xiàn)過擬合的現(xiàn)象[15-17]。本研究首先建立基于隨機(jī)森林的油菜生物量估算模型，根據(jù)袋外誤差(Out of bag error，oob error)與決策樹數(shù)量之間的關(guān)系確定決策樹數(shù)量為50。

通過對120個(gè)訓(xùn)練樣本進(jìn)行有放回的隨機(jī)采樣，構(gòu)建出50個(gè)采樣集，基于50個(gè)采樣集構(gòu)建50棵決策樹作為油菜生物量估算模型的學(xué)習(xí)器，CART決策樹以最小平方誤差作為劃分樣本的依據(jù)。通過網(wǎng)格搜索方法確定決策樹的深度h為20，每個(gè)節(jié)點(diǎn)包含的最小樣本數(shù)量為2，分裂一個(gè)結(jié)點(diǎn)需要的最小樣本數(shù)為2。

2.2 基于PCA的油菜生物量估算模型

主成分分析法采用降維的思想，通過構(gòu)造原變量適當(dāng)?shù)木€性組合，利用較少的綜合指標(biāo)代替原先的較多的變量，使復(fù)雜的信息簡單化[18-19]。本研究首先通過主成分累計(jì)貢獻(xiàn)率選取合適的主成分個(gè)數(shù)，根據(jù)成分的特征值和載荷得出各主成分關(guān)于標(biāo)準(zhǔn)變量的函數(shù)表達(dá)式，再利用回歸分析建立油菜生物量與主成分之間的回歸方程，最后將方程中的標(biāo)準(zhǔn)變量轉(zhuǎn)化為可見光圖像的特征參數(shù)，建立基于主成分分析(Principal component analysis，PCA)的油菜生物量估算模型。

本研究利用SPSS 22對10個(gè)特征參數(shù)進(jìn)行主成分分析，自變量累積解釋因變量的能力如表3所示，成分矩陣如表4所示。X1～X10分別為能量、能量二階矩、熵、對比度、對比度二階矩、相關(guān)性、相關(guān)性二階矩、逆方差、逆方差二階矩和色調(diào)與亮度的比值10個(gè)變量經(jīng)標(biāo)準(zhǔn)化處理后的標(biāo)準(zhǔn)化變量。

表3 主成分的特征值及貢獻(xiàn)率Tab.3 Characteristic value and accumulative contribution rate of each principal component

表4 各主成分的成分矩陣Tab.4 Component matrix of each principal component

由表3可知，前3個(gè)特征值大于1的主成分對因變量的累積解釋能力達(dá)到78.484%，因此提取3個(gè)主成分即可表現(xiàn)出10個(gè)指標(biāo)的作用效果。據(jù)表3中的特征值和成分矩陣分別得到3個(gè)主成分Z1、Z2、Z3的函數(shù)表達(dá)式

Z1=0.089 9X1-0.211X2-0.936X3-

0.906X4-0.874X5+0.895X6+0.598X7+

0.889X8-0.402X9+0.397X10

(13)

Z2=-0.08X1+0.0897X2+0.105X3+

0.052X4+0.01X5+0.006X6+0.636X7-

0.058X8-0.158X9+0.397X10

(14)

Z3=0.122X1+0.084X2-0.144X3+0.136X4-

0.015X5-0.173X6-0.085X7+0.93X8+

0.396X9-0.844X10

(15)

以提取的3個(gè)主成分作為自變量，以與之對應(yīng)的油菜生物量作為因變量進(jìn)行線性回歸，并將模型中的標(biāo)準(zhǔn)變量轉(zhuǎn)換為提取的10個(gè)特征參數(shù)，得出基于主成分回歸的聯(lián)合收獲期油菜生物量估算模型。

2.3 基于SVM的生物量估算模型

支撐向量機(jī)(Support vector machine，SVM)作為一種有監(jiān)督的學(xué)習(xí)方法，SVM 通過不同的核函數(shù)將線性不可分的數(shù)據(jù)映射到高維空間，將非線性問題轉(zhuǎn)換為線性可分?jǐn)?shù)據(jù)[20-21]，在用于回歸預(yù)測研究中有較多應(yīng)用，并且有較高的預(yù)測精度。本文以聯(lián)合收獲期油菜的圖像特征和生物量為訓(xùn)練數(shù)據(jù)，通過支持向量基(SVM)建立油菜生物量與可見光圖像之間的映射關(guān)系，獲得基于SVM的油菜生物量估算模型。

在SVM中對訓(xùn)練和學(xué)習(xí)效果影響最大的2個(gè)參數(shù)為C和δ，其中參數(shù)C直接影響模型的穩(wěn)定性，參數(shù)δ反映了支持向量之間的相關(guān)程度，決定模型預(yù)測的推廣能力和泛化性[22]。因此，在對油菜生物量預(yù)測時(shí)對參數(shù)C和δ進(jìn)行調(diào)節(jié)和優(yōu)化，得到較為理想的預(yù)測結(jié)果。本文對SVM預(yù)測生物量準(zhǔn)確性的評價(jià)通過生物量估算值與真實(shí)值之間的誤差對比，以誤差最小為目標(biāo)選擇最優(yōu)參數(shù)，目標(biāo)函數(shù)可表示為

minε=min|yie(C,δ)-yi|

(16)

式中：ε——估算值與真實(shí)值之間的偏差，kg/m2；

yie——第i個(gè)訓(xùn)練樣本對應(yīng)的估算生物量，kg/m2；

C——懲罰參數(shù)；

δ——核函數(shù)參數(shù)。

依據(jù)相關(guān)文獻(xiàn)中SVM參數(shù)的取值范圍，將取值范圍作為上下限約束，可表示為

(17)

本文核函數(shù)采用線性核函數(shù)進(jìn)行計(jì)算，使用5-fold交叉驗(yàn)證對SVM回歸模型進(jìn)行交叉驗(yàn)證，使用fitrsvm自動優(yōu)化超參數(shù)，確定使交叉驗(yàn)證損失減少5倍的超參數(shù)由此得出基于支持向量機(jī)的油菜生物量估算模型。

2.4 結(jié)果與分析

利用上述3個(gè)模型估算測試集中40個(gè)樣本的生物量，油菜生物量的估算值與真實(shí)值的關(guān)系如圖3所示，3個(gè)模型的評價(jià)指標(biāo)如表5所示。

(a)基于隨機(jī)森林的油菜生物量估算模型

表5 不同估算模型的評價(jià)指標(biāo)Tab.5 Evaluation indexes of different prediction models

由表5中估算結(jié)果的評價(jià)指標(biāo)可知，油菜生物量在1.0～4.5 kg/m2時(shí)，基于隨機(jī)森林、主成分分析和支撐向量機(jī)三種方法的油菜生物量估算模型決定系數(shù)R2均大于0.5，可用于聯(lián)合收獲期油菜生物量估算。三種模型的評價(jià)指標(biāo)—均方根誤差RMSE、相對誤差RE和決定系數(shù)R2分別為0.24 kg/m2、0.04%～22.23%、0.87，0.36 kg/m2、0.92%～21.14%、0.71和0.26 kg/m2、0.28%～34.17%、0.84，對比三種估算模型的估算精度可知，基于隨機(jī)森林的油菜生物量估算結(jié)果的決定系數(shù)最大且均方根誤差最小，最小相對誤差最小而最大相對誤差稍大于主成分模型的估算結(jié)果，表明模型的穩(wěn)定性和精精度較高，是一種較優(yōu)的估算模型。

3 討論

本文探討了利用聯(lián)合收獲期油菜無人機(jī)可見光圖像提取與油菜生物量相關(guān)性較高的圖像特征，主要為紋理特征，建立三種油菜生物量估算模型，這與以往估算作物生物量的方法和結(jié)果有所不同。原因是聯(lián)合收獲期油菜葉片已全部脫落，顏色特征差異較小而角果和分枝的粗細(xì)、疏密等特征差異較大，因此本文利用可表示出圖像色調(diào)的深淺亮度的HSI分量和紋理特征檢索具有粗細(xì)、疏密等方面較大差別的圖像。本研究僅用一個(gè)地區(qū)的聯(lián)合收獲期油菜數(shù)據(jù)構(gòu)建生物量估算模型且暫未考慮油菜植株高度對生物量的影響，后續(xù)還需采集不同年限、不同地點(diǎn)和不同品種的油菜樣本進(jìn)行分析，并將油菜植株高度融合計(jì)算模型提高模型的泛化能力。

4 結(jié)論

1)基于無人機(jī)可見光提取聯(lián)合收獲期油菜圖像的色彩和紋理特征共32個(gè)特征參數(shù)，通過顯著性檢驗(yàn)與相關(guān)性分析篩選與油菜生物量顯著相關(guān)的10個(gè)特征參數(shù)，用于表征油菜生物量。

2)以篩選的顯著特征為輸入?yún)?shù)，以油菜生物量為輸出值，分別建立基于隨機(jī)森林、主成分分析和支持向量機(jī)的聯(lián)合收獲期油菜生物量估算模型；將樣本按照2∶1的比例分為訓(xùn)練集和測試集，利用多次交叉驗(yàn)證確定模型參數(shù)并估算測試集上的油菜生物量。

3)研究結(jié)果表明，三種模型估算聯(lián)合收獲期油菜生物量的3個(gè)評價(jià)指標(biāo)RMSE、RE和R2分別為0.24 kg/m2、0.04%～22.23%、0.87，0.36 kg/m2、0.92%～21.14%、0.71和0.28 kg/m2、0.26%～34.17%、0.84；對比結(jié)果表明基于隨機(jī)森林算法的油菜生物量估算模型具有較高精度和穩(wěn)定性，是一種較優(yōu)的估算模型。本文基于圖像特征和決策樹的聯(lián)合收獲期油菜生物量估算方法探究了田間油菜生物量信息快速、無損檢測方法，可為油菜聯(lián)合收獲機(jī)作業(yè)過程中喂入量智能化檢測提供參考和依據(jù)。