基于深度學(xué)習(xí)的玉米植株表型檢測方法研究

楊琳琳, 別書凡, 王建坤, 皇甫懿, 劉 焱, 李文峰, 施 杰

(1.云南農(nóng)業(yè)大學(xué)機電工程學(xué)院,云南昆明 650201; 2.云南省作物模擬與智能調(diào)控重點實驗室,云南昆明 650201)

玉米是世界上重要的糧食作物,其營養(yǎng)價值較高,同時,玉米也是食品、輕工業(yè)、化工業(yè)等產(chǎn)業(yè)不可或缺的原料之一。玉米長勢會直接影響到其產(chǎn)量和品質(zhì),有效地監(jiān)測玉米長勢可以為田間管理、早期產(chǎn)量估算提供宏觀的信息,為國家和相關(guān)部門決策提供重要的參考依據(jù),因此玉米長勢監(jiān)測研究具有重要的現(xiàn)實意義[1-2]。

近年來,植物表型組學(xué)逐漸興起并成為一門快速發(fā)展的數(shù)據(jù)密集型學(xué)科[3-4]。借助機器視覺技術(shù)、圖像分割和深度學(xué)習(xí)等技術(shù)來準(zhǔn)確地對植物的重要特征進行采集和分析,是育種和生產(chǎn)過程管理的重要技術(shù)手段[5]。玉米的表型信息能直觀地描述玉米長勢,傳統(tǒng)的植物表型研究主要依靠人工觀察和測量得到,這種方法往往依賴于手動檢測小樣本的個別性狀,能夠得到的數(shù)據(jù)量非常有限,并且難以對植物的多種性狀進行綜合分析,也容易引入人為因素導(dǎo)致的測量數(shù)據(jù)誤差[6-7]。因此,需要一種新型玉米表型檢測方法,能快速、無損、準(zhǔn)確地獲取表型?；跓o人機的玉米植株表型檢測方法在大田中已有應(yīng)用[8],但無人機僅能檢測大田作物的整體生長狀況,缺乏對單株植物的表型監(jiān)測?；跈C器視覺的玉米幼苗表型性狀檢測裝置,實現(xiàn)了玉米葉面積、植株鮮質(zhì)量及株高等表型參數(shù)的預(yù)測模型[9]。但該研究檢測裝置圖像處理原理簡單,所獲取的圖像表型信息有限,沒有充分利用圖像信息。

本研究提出了一種基于深度學(xué)習(xí)的玉米植株表型檢測方法,對采集圖像進行效果最優(yōu)的降采樣,針對數(shù)據(jù)不均衡現(xiàn)象改進均方誤差(MSE)和平均絕對誤差(MAE),實現(xiàn)了對單株玉米植株表型的無損檢測。

1 試驗材料與預(yù)處理

玉米采用鳳糯6號種子,種植于云南農(nóng)業(yè)大學(xué)機電工程學(xué)院實驗樓,采集5～7葉期的玉米。試驗數(shù)據(jù)于2022年5月在云南農(nóng)業(yè)大學(xué)機電工程學(xué)院實驗樓209采集。

1.1 圖像采集

采集玉米植株不同角度主視圖3幅以及俯視圖1幅,其中玉米植株主視圖拍攝相機距離玉米植株95 cm,俯視圖拍攝相機距離底部95 cm。共拍攝玉米植株圖像400幅。

拍攝相機采用海康威視MV-CA060-10GC彩色工業(yè)相機,搭配?？低昅VL-HF0628M-6MPE鏡頭,玉米植株主視圖分辨率為1 788×1 436,玉米植株俯視圖及玉米葉片圖像分辨率為 2 388×1 408(圖1和圖2)。

1.2 表型數(shù)據(jù)采集

玉米植株表型檢測主要針對玉米植株鮮質(zhì)量、干質(zhì)量、葉面積進行研究。(1)玉米植株鮮質(zhì)量的測量。采用精度為 0.01 g 的電子秤進行測量。(2)玉米植株干質(zhì)量的測量。首先由花盆邊緣處對玉米植株底部進行裁剪,將得到的植株放入烘烤箱,105 ℃殺青30 min,然后 80 ℃ 恒溫至恒質(zhì)量,最后稱質(zhì)量[10]。(3)葉面積的測量。葉面積使用常州三豐儀器科技有限公司的YMJ-A型號葉面積測量儀進行測量。

1.3 圖像預(yù)處理

1.3.1 圖像分割 針對玉米植株表型進行回歸監(jiān)測,其中大部分表型的回歸需要去除復(fù)雜的圖像背景,圖像背景分割的效果會直接影響表型回歸檢測的精度[11]?？紤]到圖像背景較為復(fù)雜,圖像標(biāo)注工作費時費力,因此決定使用基于深度學(xué)習(xí)的圖像分割對拍攝的數(shù)據(jù)圖像進行處理,選擇基于PASCAL VOC數(shù)據(jù)集訓(xùn)練的Deeplab V3+模型進行玉米植株圖像的分割工作。由于所使用的玉米植株圖像只包含單個待檢測對象,因此語義分割能夠滿足分割玉米植株和葉片與背景,使用實例分割會帶來額外的計算資源消耗,因此玉米植株和葉片與背景的分割均使用語義分割方法。分割效果如圖3和圖4所示。

1.3.2 數(shù)據(jù)增強 數(shù)據(jù)增強是指對圖像進行不同的變化后,得到更大的數(shù)據(jù)集,使用該數(shù)據(jù)集訓(xùn)練可以減少過擬合現(xiàn)象,能夠提高網(wǎng)絡(luò)的泛化能力[12]。常見的數(shù)據(jù)增強方式有按角度旋轉(zhuǎn)、水平翻轉(zhuǎn)、豎直翻轉(zhuǎn)、調(diào)整對比度和色度等,由于本研究進行的玉米葉片和植株表型回歸檢測,圖像中顏色與表型特征相關(guān)性較大,因此不宜改變色度和對比度等,數(shù)據(jù)增強采用水平和豎直翻轉(zhuǎn)、圖像90°旋轉(zhuǎn)等方式,各個操作交叉使用。

1.3.3 圖像歸一化 數(shù)據(jù)歸一化是指將數(shù)據(jù)映射到某一區(qū)間,圖像數(shù)據(jù)的每個像素值為0～255之間,圖像歸一化操作是把圖像像素值除以255,將圖像像素值歸一化到0～1之間[13],這種歸一化操作能夠加快網(wǎng)絡(luò)的訓(xùn)練,提高模型的收斂速度。由于作物表型數(shù)據(jù)是連續(xù)值,因此將表型數(shù)據(jù)也進行歸一化處理,模型推理階段需要進行反歸一化,將表型數(shù)據(jù)放大到原區(qū)間,以便進行后續(xù)的數(shù)據(jù)分析。

2 玉米植株表型檢測模型搭建

2.1 玉米鮮質(zhì)量表型檢測基礎(chǔ)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)當(dāng)中一個非常重要的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。它更多的是用于圖像圖片處理、視頻處理、音頻處理以及自然語言處理等。卷積神經(jīng)網(wǎng)絡(luò)總共有輸入層、卷積層、池化層、全連接層4個部分[14-15]。玉米鮮質(zhì)量表型檢測所用到的卷積神經(jīng)網(wǎng)絡(luò),其基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)如表1所示,命名為N-0,該模型輸入為4幅玉米植株圖像。

表1 基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)

考慮通過使用深度卷積和深度可分離卷積降低模型的參數(shù)量和計算量,分別使用普通卷積、深度卷積、深度可分離卷積進行對比試驗,尋找最優(yōu)的卷積方式。

普通卷積是用1個卷積核與輸入的所有通道進行卷積,然后將不同通道相同位置卷積后的結(jié)果再相加。卷積核的通道數(shù)等于輸入的通道數(shù),輸出的通道數(shù)等于卷積核數(shù)。使用大小為4×4、步距為4的平均池化替換基礎(chǔ)網(wǎng)絡(luò)模型中的Conv1。

深度卷積(DW卷積)的1個卷積核只負(fù)責(zé)1個通道,1個卷積核只與1個通道卷積,卷積核數(shù)與輸入的通道數(shù)相等,輸出的通道數(shù)等于輸入的通道數(shù)[16]。所以,深度卷積只能改變特征圖的大小,不改變通道數(shù)?？梢?這種運算能對輸入層的每個通道進行獨立卷積運算[17]。由于單獨的深度卷積無法提高特征圖的通道數(shù),基于深度卷積的模型第1層均使用卷積核為64個的普通卷積,以提高后續(xù)特征圖的通道數(shù)。

深度可分離卷積(DS卷積)主要分為2個部分,分別是深度卷積和逐點卷積[18]。深度卷積對上層輸入的不同通道特征圖使用不同的卷積核單獨進行卷積操作,逐點卷積將深度卷積的輸出使用 1×1 大小的普通卷積進行卷積。

2.2 圖像降采樣

由于多視角多輸入模型相對于單輸入模型來說,模型計算量和模型參數(shù)量都提升了多倍,而所采集的圖像數(shù)據(jù)為512×512,為了降低模型計算消耗的資源和降低模型參數(shù)量,考慮通過降低圖像尺寸,在圖像輸入卷積神經(jīng)網(wǎng)絡(luò)前或者在卷積神經(jīng)網(wǎng)絡(luò)前幾層進行圖像降采樣,考慮使用大步距卷積作為模型第1層卷積層,使用resize進行降尺寸和大步距池化層降采樣3種方法,判斷3種方法對結(jié)果的影響。

2.3 MSE和MAE的改進

本研究所構(gòu)建的數(shù)據(jù)集屬于小型數(shù)據(jù)集,存在表型數(shù)據(jù)不均衡問題,如圖5所示,回歸數(shù)據(jù)在中間段數(shù)據(jù)量大,在兩端數(shù)據(jù)量少,不同區(qū)間的數(shù)據(jù)量差距較大。不均衡的數(shù)據(jù)會導(dǎo)致模型過于關(guān)注數(shù)量較多的樣本,而對數(shù)量較少的樣本關(guān)注不足,影響模型的性能。在分類任務(wù)中會使得數(shù)據(jù)量小的類別分類錯誤,回歸任務(wù)中會使得模型結(jié)果更偏向于區(qū)間樣本較多的數(shù)據(jù),給模型效果帶來極大的誤差。

在處理數(shù)據(jù)不均衡問題時,選擇合適的損失函數(shù)可以有效地解決數(shù)據(jù)中的不平衡問題,通過使用加權(quán)損失函數(shù),可以使模型對于數(shù)量較少的區(qū)間給予更高的權(quán)重,從而提高少數(shù)區(qū)間樣本的預(yù)測準(zhǔn)確率,增強模型的預(yù)測效果。本研究對回歸函數(shù)進行改進,以達到對不同數(shù)據(jù)量的樣本區(qū)間給予不同的權(quán)重。

均方誤差(MSE)是回歸損失函數(shù)中最常用的誤差,它是預(yù)測值與目標(biāo)值之間差值平方和的均值,其公式如下所示：

(1)

平均絕對誤差(MAE)是另一種常用的回歸損失函數(shù),它是預(yù)測值與目標(biāo)值之差絕對值和的均值,表示預(yù)測值的平均誤差幅度,其公式如下所示：

(2)

圖6是均方誤差值與平均絕對誤差的曲線分布,其中目標(biāo)值為0,預(yù)測值為-10～10,最小值為目標(biāo)值與預(yù)測值相同。

MSE是差值的平方和,平方會放大數(shù)據(jù)中異常值的影響,并對誤差較大的樣本進行懲罰,可以更加關(guān)注預(yù)測誤差較大的數(shù)據(jù)點,使得模型對異常值更加敏感。且損失函數(shù)是連續(xù)可導(dǎo)的,在優(yōu)化算法中更具優(yōu)勢。同時,由于MSE的計算結(jié)果是誤差的平方和除以樣本數(shù)量,因此其單位是原始數(shù)據(jù)單位的平方,無法直接比較不同數(shù)據(jù)集上的誤差大小。

MAE可以避免平方帶來的問題,更加穩(wěn)健,易于理解和解釋,誤差的單位和真實值相同。但對誤差較大的樣本沒有懲罰效果,因此可能忽略一些重要的數(shù)據(jù)點。由圖6可以看出,MAE曲線連續(xù),但是在[y-f(x)=0]處不可導(dǎo),在優(yōu)化算法中需要使用其他方法進行優(yōu)化。而且MAE大部分情況下梯度相等,這意味著對于小的損失值,其梯度也與大的損失值相同,不利于函數(shù)的收斂和模型的學(xué)習(xí)[19]。

綜合來看,MSE和MAE在不同情況下都有其優(yōu)劣之處,但兩者面對數(shù)據(jù)不均衡問題時,都不能對不同數(shù)據(jù)量的區(qū)間賦予差別明顯的權(quán)重。

為了解決這個問題,本研究提出了改進MSE和MAE,命名為B-MSE和B-MAE,如式3和4所示。

B-MSE=(1+MSE)×MSE;

(3)

B-MAE=(1+MAE)×MAE。

(4)

B-MSE對于MSE的改進在于加入了1個懲罰因子,即(1+MSE)。它用于平衡數(shù)量較少的樣本和數(shù)量較多的樣本之間的權(quán)重,從而使模型更加關(guān)注數(shù)量較少的樣本,以提高模型的性能。當(dāng)MSE較小時,懲罰因子(1+MSE)的值接近1,此時模型更加關(guān)注數(shù)量較多的樣本;而當(dāng)MSE較大時,懲罰因子(1+MSE)的值會增加,從而使模型更加關(guān)注數(shù)量較少的樣本。具體來說,假設(shè)在一個房價預(yù)測問題中,大部分房屋的價格都在20萬～50萬元之間,但是存在少量豪宅,價格超過了500萬元,使用傳統(tǒng)的MSE指標(biāo)進行評估時,模型可能更容易偏向于預(yù)測那些價格較為普遍的房屋,而對于少數(shù)極端樣本預(yù)測的準(zhǔn)確度不高。但是如果使用(1+MSE)×MSE指標(biāo),則對于這些極端樣本的誤差懲罰力度比傳統(tǒng)MSE指標(biāo)更大,從而使得模型更加關(guān)注這些極端樣本的預(yù)測,提高了對于少量極端樣本的識別能力。懲罰因子(1+MSE)的加入提高了模型的泛化能力和魯棒性。

圖7是改進后的B-MSE和B-MAE的曲線分布。

2.4 模型性能評價指標(biāo)

在分類問題中,常見的評價指標(biāo)除了準(zhǔn)確率外,還有混淆矩陣、精度、召回率等評價指標(biāo)。為了增加評價指標(biāo)的可信度,除了使用相關(guān)系數(shù)r和確定系數(shù)R2外,另使用平均絕對百分比誤差(MAPE)對模型進行評價,如式所示：

(5)

相關(guān)系數(shù)r可以描述2個變量之間的相關(guān)程度,r值越接近1表示兩變量相關(guān)程度越強。確定系數(shù)R2可以表示兩變量回歸方程擬合度的高低,R2越接近1表示兩變量回歸擬合越好。因此,使用相關(guān)系數(shù)r和確定系數(shù)R2評估模型在測試集上的預(yù)測精度,如式(6)和式(7)所示：

(6)

(7)

3 結(jié)果與分析

3.1 基于普通卷積的鮮質(zhì)量檢測模型

使用大小為4×4、步距為4的平均池化替換基礎(chǔ)網(wǎng)絡(luò)模型中的Conv1,命名為N-1。通過resize方式降低圖像尺寸的模型,在基礎(chǔ)模型上去除Conv1,輸入圖像尺寸為128×128,命名為N-2。以玉米植株鮮質(zhì)量為檢測目標(biāo),對3種模型進行試驗,其中N-0模型最優(yōu)MAE為0.060 39,N-1模型MAE為0.065 19,N-2模型MAE為0.074 36。使用測試集進行模型驗證,各個模型在測試集上試驗結(jié)果如表2所示。

表2 基于普通卷積模型改進前的試驗結(jié)果

使用B-MSE損失函數(shù)對3種模型進行訓(xùn)練,保存最小B-MAE值,N-0模型最小B-MAE為0.064 20,N-1模型最小B-MAE為0.065 19,N-2模型最小B-MAE為0.087 28,由于MAE改進方式是MAE×(1+MAE),因此模型B-MAE稍大。使用測試集進行模型驗證,各個模型在測試集上試驗結(jié)果見表3。

表3 基于普通卷積模型改進后的試驗結(jié)果

由上述試驗結(jié)果可以發(fā)現(xiàn),同一模型下,B-MSE和B-MAE的使用提高了模型在測試集上的相關(guān)系數(shù)r和確定系數(shù)R2,并且降低了MAPE。

3.2 基于深度卷積的鮮質(zhì)量檢測模型

由于單獨的深度卷積無法提高特征圖的通道數(shù),因此,基于深度卷積的模型第1層均使用卷積核為64個的普通卷積,以提高后續(xù)特征圖的通道數(shù)。

將首層卷積為大步距卷積的深度卷積模型命名為DW-0,使用池化進行降采樣的模型命名為DW-1,使用resize操作的模型命名為DW-2。

使用MSE損失函數(shù)對上述3個模型進行訓(xùn)練,其中DW-0模型驗證集最低MAE為0.063 17,DW-1 模型驗證集最低MAE為0.090 88,DW-2模型驗證集最低MAE為0.077 33。各模型在測試集上的效果如表4所示。

表4 基于深度卷積模型改進前的試驗結(jié)果

同樣的使用B-MSE和B-MAE進行訓(xùn)練,其中DW-0模型驗證集最低B-MAE為0.053 92,DW-1模型驗證集最低B-MAE為0.093 94,DW-2 模型驗證集最低B-MAE為0.095 84。各模型在測試集上的效果如表5所示。

表5 基于深度卷積模型改進后的試驗結(jié)果

由表4和表5可知,使用B-MSE各個模型效果均有提升。對比所有模型,基于B-MSE的 DW-0 和DS-0模型及基于MSE損失函數(shù)的 DW-0 模型效果均較好,3個模型在測試集上的相關(guān)系數(shù)均達到了0.98以上,確定系數(shù)均達到了0.97以上,平均絕對百分比誤差MAPE均在3.2%以內(nèi)。

3.3 基于深度可分離卷積的鮮質(zhì)量檢測模型

使用深度可分離卷積替換普通卷積模型中的卷積層,命名為DS-0,使用大小為4×4、步距為4的平均池化替換基礎(chǔ)網(wǎng)絡(luò)模型中的首層卷積,命名為DS-1。通過resize方式降低圖像尺寸的模型,輸入圖像尺寸為128×128,命名為DS-2。

首先使用MSE和MAE作為損失函數(shù)和評價指標(biāo)進行深度可分離卷積模型的訓(xùn)練,其中DS-0模型最低MAE為0.062 89,DS-1最低MAE為 0.058 95,DS-2最低MAE為0.047 66。各模型在測試集上效果如表6所示。

表6 基于深度可分離卷積模型改進前的試驗結(jié)果

使用B-MSE損失函數(shù)對3種模型進行訓(xùn)練,保存最小B-MAE值,DS-0模型最小B-MAE為0.075 30,DS-1模型最小B-MAE為0.074 01,DS-2 模型最小B-MAE為0.089 76,基于深度可分離卷積的各個模型在測試集上試驗結(jié)果如表7所示。由表7可知,首層使用大步距卷積的DS-0模型在測試集上的結(jié)果均優(yōu)于DS-1模型和DS-2模型。

表7 基于深度可分離卷積模型改進后的試驗結(jié)果

由表6和表7可知,基于B-MSE的損失函數(shù)相對于基于MSE的損失函數(shù)的模型,對測試集結(jié)果的相關(guān)系數(shù)r、確定系數(shù)R2均有提升,除基于B-MSE的DS-2模型外,DS-0和DS-1模型在測試集上的MAPE均有降低。由表6和表7可知,除 DS-2 模型外,基于深度可分離卷積和B-MSE損失函數(shù)的模型在測試集上的效果均優(yōu)于對應(yīng)的基于普通卷積的模型。

3.4 玉米植株干質(zhì)量檢測

使用DW-0和DS-0模型對玉米植株干質(zhì)量進行模型訓(xùn)練和檢測。首先使用MSE損失函數(shù)進行訓(xùn)練,DW-0模型最優(yōu)MAE為0.080 10,DS-0模型最優(yōu)MAE為0.068 02,測試集結(jié)果如表8所示。

表8 玉米干質(zhì)量檢測模型改進前的試驗結(jié)果

使用B-MSE損失函數(shù)進行訓(xùn)練,DW-0模型最優(yōu)B-MAE為0.081 84,DS-0模型最優(yōu)B-MAE為0.059 43,測試集結(jié)果如表9所示。

表9 玉米干質(zhì)量檢測模型改進后的試驗結(jié)果

由表8和表9可知,基于B-MSE的模型在測試集上效果相對于使用MSE損失函數(shù)模型均有提升,且DW-0模型在平均絕對百分比誤差上要優(yōu)于DS-0。

3.5 玉米植株葉面積檢測

使用DW-0和DS-0模型對玉米植株干質(zhì)量進行模型訓(xùn)練和檢測。首先使用MSE損失函數(shù)進行訓(xùn)練,DW-0模型最優(yōu)MAE為0.058 58,DS-0模型最優(yōu)MAE為0.063 27,測試集結(jié)果如表10所示。

表10 玉米葉面積檢測模型改進前的試驗結(jié)果

使用B-MSE損失函數(shù)進行訓(xùn)練,DW-0模型最優(yōu)B-MAE為0.069 88,DS-0模型最優(yōu)B-MAE為0.059 43,測試集結(jié)果如表11所示。

表11 玉米葉面積檢測模型改進后的試驗結(jié)果

由表10和表11可知,使用B-MSE損失函數(shù)的DW-0模型在測試集上的各個指標(biāo)均有提升,且由于DS-0模型,使用B-MSE的DS-0模型在測試集上相關(guān)系數(shù)r和確定系數(shù)R2對比使用MSE損失函數(shù)的DS-0模型略有降低,平均絕對百分比誤差MAPE降低。

4 結(jié)論與討論

本研究對比了普通卷積、深度卷積、深度可分離卷積3種卷積的效果,并針對小型數(shù)據(jù)集表型數(shù)據(jù)不均衡問題,改進了MSE和MAE,進行對比試驗。在玉米鮮質(zhì)量模型上,基于深度卷積和B-MSE損失函數(shù)的DW-0模型效果最優(yōu)。使用鮮質(zhì)量模型上表現(xiàn)較好的DW-0模型與DS-0模型,在玉米植株干質(zhì)量和葉面積檢測模型中進行對比試驗,結(jié)果均為基于B-MSE損失函數(shù)的DW-0模型效果最優(yōu)。結(jié)果表明,使用深度卷積的效果最好,改進后的B-MSE和B-MAE提高了模型在測試集上的相關(guān)系數(shù)r和確定系數(shù)R2,并且降低了MAPE。

本研究基于深度學(xué)習(xí)的玉米植株表型檢測方法,提供了一種對單株玉米植株表型進行檢測的方法,提高了玉米植株鮮質(zhì)量、干質(zhì)量、葉面積的檢測準(zhǔn)確率。該方法未來可以應(yīng)用于農(nóng)業(yè)機器人、自動化灌溉和施肥、精準(zhǔn)農(nóng)業(yè)等領(lǐng)域,給玉米植株智能精準(zhǔn)化管理提供可行性。