基于Mask R-CNN的玉米干旱卷曲葉片檢測(cè)

安江勇，黎萬(wàn)義，李茂松※

（1. 中國(guó)農(nóng)業(yè)科學(xué)院農(nóng)業(yè)資源與農(nóng)業(yè)區(qū)劃研究所/農(nóng)業(yè)農(nóng)村部農(nóng)業(yè)遙感重點(diǎn)實(shí)驗(yàn)室，北京100081；2. 中國(guó)科學(xué)院自動(dòng)化研究所，北京100190）

0 引言

旱災(zāi)是主要的自然災(zāi)害之一，隨著全球氣候變暖，旱災(zāi)的強(qiáng)度和頻率逐漸增加［1-3］。干旱是影響玉米產(chǎn)量的主要因素之一，快速、及時(shí)的玉米干旱監(jiān)測(cè)對(duì)保障玉米豐產(chǎn)穩(wěn)產(chǎn)具有重要意義，傳統(tǒng)的干旱監(jiān)測(cè)方法有土壤水分、農(nóng)業(yè)氣象預(yù)報(bào)和人為診斷等，雖能對(duì)玉米干旱做出判斷，但具有滯后性［4-5］。在干旱脅迫下玉米植株表現(xiàn)出一系列的表型特征，如葉片萎焉、卷曲、顏色變化和植株生長(zhǎng)緩慢等［6］。隨著計(jì)算機(jī)視覺和作物表型組學(xué)的發(fā)展，傳統(tǒng)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)算法廣泛應(yīng)用于農(nóng)作物生物或非生物脅迫識(shí)別［7-8］，常用的圖像識(shí)別和分類算法是對(duì)一張圖像的內(nèi)容進(jìn)行識(shí)別和分類，然而在農(nóng)業(yè)生產(chǎn)實(shí)踐中特別是大田條件下一幅圖像中包含多種生物或非生物脅迫，如不同的病蟲害、土壤水分分布不均，導(dǎo)致在大田條件下采集的同一幅圖像里既有適宜水分的植株，也有干旱萎焉的植株［9］。在一幅圖像中包含多物體、多目標(biāo)情況下，受到復(fù)雜的圖像背景及多物體之間的相互影響，常用的圖像識(shí)別算法無(wú)法對(duì)圖像進(jìn)行精確識(shí)別和分級(jí)。因此，常用的圖像識(shí)別算法如傳統(tǒng)機(jī)器學(xué)習(xí)（SVM，ANN，DT）或深度學(xué)習(xí)模型（AlexNet，GoogleNet，ResNet）在多物體識(shí)別中仍然存在問(wèn)題。計(jì)算機(jī)視覺技術(shù)應(yīng)用于生物或非生物脅迫的防災(zāi)減災(zāi)和監(jiān)測(cè)預(yù)警中不僅要對(duì)圖像中生物或非生物脅迫進(jìn)行正確的識(shí)別和分級(jí)，而且要對(duì)目標(biāo)位置進(jìn)行精確定位，以便采取合適和準(zhǔn)確的防災(zāi)減災(zāi)措施，保障作物正常生長(zhǎng)，提高作物產(chǎn)量水平。

目標(biāo)檢測(cè)是使用計(jì)算機(jī)視覺中目標(biāo)檢測(cè)算法對(duì)一幅圖像中目標(biāo)物體進(jìn)行識(shí)別、分類和定位。目標(biāo)檢測(cè)算法既能識(shí)別出圖像中物體的類別，更進(jìn)一步地分割出目標(biāo)物體在圖像中的位置［10］。近年來(lái)隨著計(jì)算機(jī)視覺和人工智能的發(fā)展，目標(biāo)檢測(cè)方法逐漸應(yīng)用于農(nóng)作物生物或非生物脅迫監(jiān)測(cè)應(yīng)用研究中。Xia等［11］使用深度學(xué)習(xí)模型對(duì)24種昆蟲進(jìn)行識(shí)別，在模型中應(yīng)用區(qū)域候選網(wǎng)絡(luò)（Region Proposal Network）對(duì)圖像進(jìn)行處理生成目標(biāo)候選窗口，試驗(yàn)結(jié)果表明該目標(biāo)檢測(cè)模型能得到很高的精度。Tian等［12］使用改進(jìn)的YOLO模型對(duì)不同時(shí)期的蘋果進(jìn)行檢測(cè)和定位，結(jié)果表明YOLO能很好地進(jìn)行蘋果檢測(cè)和定位。Hasan等［13］在大田條件下獲取10個(gè)小麥品種的數(shù)字圖像，使用R-CNN對(duì)小麥麥穗進(jìn)行精確的檢測(cè)和計(jì)數(shù)，通過(guò)計(jì)算小麥麥穗的密度對(duì)小麥產(chǎn)量進(jìn)行預(yù)測(cè)。然而，盡管目前基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法在農(nóng)業(yè)領(lǐng)域已開展作物識(shí)別研究，但對(duì)農(nóng)業(yè)生物或非生物脅迫識(shí)別方法研究較少。干旱是主要的非生物脅迫之一［1］。在干旱脅迫下，玉米水分代謝和光合作用受阻，玉米植株表現(xiàn)出葉片萎焉、發(fā)黃、卷曲、失去光澤等性狀，而葉片卷曲是玉米干旱脅迫表型中典型的表型特征［6］，在其他生長(zhǎng)環(huán)境條件合適的情況下，玉米葉片卷曲可視為主要由干旱脅迫造成。因此，文章期望通過(guò)對(duì)玉米卷曲葉片的檢測(cè)實(shí)現(xiàn)玉米植株干旱精確識(shí)別，為玉米干旱脅迫的防災(zāi)減災(zāi)提供及時(shí)準(zhǔn)確的監(jiān)測(cè)信息，為精準(zhǔn)灌溉提供技術(shù)支持，保障玉米豐產(chǎn)穩(wěn)產(chǎn)。

1 材料與方法

1.1 供試材料

實(shí)驗(yàn)采用盆栽控旱方法，在中國(guó)農(nóng)業(yè)科學(xué)院農(nóng)業(yè)資源與農(nóng)業(yè)區(qū)劃所溫室內(nèi)進(jìn)行（39°57′39°N，116°19′18°E），共設(shè)置 2 個(gè)處理，即干旱處理和適宜對(duì)照。每個(gè)處理 8 盆，共16盆植株，將4盆植株分為一組獲取玉米圖像（2盆干旱玉米植株和2盆適宜對(duì)照玉米植株）。供試玉米品種為鄭單958［14］，該品種是我國(guó)目前種植面積最大的玉米品種，具有高產(chǎn)、穩(wěn)產(chǎn)、抗倒、抗病、適應(yīng)性廣的特點(diǎn)，綜合農(nóng)藝性狀好，黃淮海地區(qū)夏播生育期96 d左右，株高240 cm，穗位高100 cm左右。供試土壤為潮土，土壤田間持水量為25%，基本理化性質(zhì)為土壤全氮1.09 g/kg，堿解氮95.12 mg/kg，速效鉀130.50 mg/kg，速效磷25.81 mg/kg，有機(jī)質(zhì)16.10 g/kg，pH 8.58，實(shí)驗(yàn)所用花盆高29 cm，上緣直徑27.5 cm。

1.2 玉米圖像獲取

實(shí)驗(yàn)設(shè)計(jì)在玉米拔節(jié)—抽穗期進(jìn)行玉米植株數(shù)字圖像采集，圖像獲取時(shí)間2018年8月1—5日。采集圖像時(shí)將同一組的4株玉米植株放在一起，包括2盆干旱脅迫和2盆水分適宜植株，使用單反相機(jī)從玉米植株正上方獲取玉米圖像（圖1），圖像大小為5 184×3 456像素，共4組，每組處理獲取25張圖像，共獲取玉米數(shù)字圖像100張。圖像采集采用4臺(tái)單反相機(jī)，型號(hào)為EOS700D，有效像素1 800萬(wàn)，CMOS感應(yīng)器，鏡頭實(shí)際焦距f=18～135 mm，拍攝照片以JPG格式自動(dòng)存儲(chǔ)SD卡中。每臺(tái)相機(jī)安裝品色282信號(hào)接收器用于自動(dòng)獲取玉米圖像，相機(jī)距地面2.5 m，控旱期間自動(dòng)獲取玉米圖像。

圖1 圖像獲取裝置及獲取的玉米圖像：a單反相機(jī)；b定時(shí)遙控器；c玉米圖像Fig.1 Image acquisition device and acquired maize image

1.3 Mask R-CNN模型

Mask R-CNN是基于Faster R-CNN架構(gòu)提出的新型目標(biāo)檢測(cè)網(wǎng)絡(luò)，Mask R-CNN是在Faster R-CNN基礎(chǔ)上增加了mask預(yù)測(cè)分支（Mask representation branch）和用RoIAlign取代RoI Pooling結(jié)構(gòu)實(shí)現(xiàn)特征圖像與原圖像像素級(jí)對(duì)齊［15］。以前的目標(biāo)檢測(cè)（Faster R-CNN）算法僅是對(duì)圖像中目標(biāo)進(jìn)行識(shí)別和定位，沒有加入實(shí)例分割，對(duì)農(nóng)作物的檢測(cè)和定位不太準(zhǔn)確。由于農(nóng)作物中物體相互遮擋，環(huán)境條件復(fù)雜，而且農(nóng)作物中病斑或者其他脅迫特征圖像往往區(qū)域很小，是不規(guī)則的圖形，如病蟲害，葉片卷曲等。目標(biāo)檢測(cè)算法不僅要檢測(cè)物體，還對(duì)物體進(jìn)行精細(xì)定位。在Faster R-CNN模型中使用RoI Pooling對(duì)特征圖進(jìn)行池化操作，RoI Pooling在池化過(guò)程中對(duì)特征圖做了2次量化操作，特征圖在縮放過(guò)程中并不是按像素對(duì)齊的，所以當(dāng)經(jīng)過(guò)池化后的特征圖映射到原圖像時(shí)會(huì)有較大的偏差，導(dǎo)致目標(biāo)檢測(cè)效果差，這對(duì)物體的分類沒有影響，但是對(duì)圖像的分割影響很大。因此該文采用Mask R-CNN對(duì)葉片卷曲進(jìn)行檢測(cè)（圖2）。

圖2 Mask R-CNN模型結(jié)構(gòu) ［15］Fig.2 Mask R-CNN model structure

1.4 模型訓(xùn)練流程及精度計(jì)算

如圖3所示，將實(shí)驗(yàn)分為2個(gè)階段：（1）目標(biāo)檢測(cè)模型的建立，包括圖像獲取、標(biāo)注和檢測(cè)模型訓(xùn)練，首先通過(guò)盆栽實(shí)驗(yàn)獲取不同干旱等級(jí)的玉米植株圖像，然后使用LabelMe軟件對(duì)卷曲葉片進(jìn)行標(biāo)注［16］，并將標(biāo)注好的圖像分為訓(xùn)練集和測(cè)試集，圖像標(biāo)注好后將訓(xùn)練數(shù)據(jù)輸入Mask R-CNN進(jìn)行訓(xùn)練，最后得到玉米葉片卷曲檢測(cè)模型；（2）目標(biāo)檢測(cè)模型測(cè)試，利用已訓(xùn)練好的卷曲葉片檢測(cè)模型對(duì)測(cè)試圖像進(jìn)行卷曲葉片檢測(cè)，得到卷曲葉片的數(shù)量、卷曲置信度、分割掩碼等檢測(cè)結(jié)果。

圖3 Mask R-CNN對(duì)玉米卷曲葉片檢測(cè)流程Fig.3 Flow chart of detection of maize rolled leaves by Mask R-CNN

將采集的圖像數(shù)據(jù)集隨機(jī)劃分為訓(xùn)練集和測(cè)試集，其中80%為訓(xùn)練集（80張），20%為測(cè)試集（20張），并在Mask R-CNN模型中進(jìn)行訓(xùn)練和驗(yàn)證。在訓(xùn)練過(guò)程中通過(guò)TensorFlow可視化工具TensorBoard來(lái)查看模型的收斂情況。當(dāng)模型訓(xùn)練好后用測(cè)試集對(duì)模型進(jìn)行評(píng)估。采用不同IOU閾值（Intersection Over Union）對(duì)模型進(jìn)行評(píng)估，計(jì)算模型的準(zhǔn)確度（Precision），召回率（Recall），調(diào)和平均值（F1score）和均值平均精度（mAP）等評(píng)價(jià)指標(biāo)，其計(jì)算公式為：

式（1）～（4）中，TP代表分類正確的正例，F(xiàn)P代表分類錯(cuò)誤的正例，F(xiàn)N代表分類錯(cuò)誤的反例，N代表圖像樣本數(shù)；Precision是模型的識(shí)別準(zhǔn)確度，為正確檢測(cè)到的樣本占所有實(shí)際被檢測(cè)到樣本的比例；Recall是模型的召回率，為正確檢測(cè)的樣本數(shù)占應(yīng)該檢測(cè)到樣本數(shù)的比例；F1score是準(zhǔn)確度和召回率的調(diào)和平均數(shù)；mAP為Mask R-CNN模型對(duì)卷曲葉片檢測(cè)的均值平均精度。

該實(shí)驗(yàn)將IOU閾值分別設(shè)置為0.5和0.75。IOU閾值可定義為葉片卷曲檢測(cè)模型中葉片卷曲真實(shí)標(biāo)注框（Ground truth）和模型預(yù)測(cè)邊框（Prediction）的交集與卷曲真實(shí)標(biāo)注框和模型預(yù)測(cè)框的并集的比值，其計(jì)算公式為：

式（5）中，G代表目標(biāo)物體真實(shí)的邊框大?。℅round truth），P代表模型預(yù)測(cè)的目標(biāo)物體邊框大?。≒rediction）。在該實(shí)驗(yàn)中葉片卷曲可視為二分類問(wèn)題即對(duì)葉片卷曲和背景的識(shí)別。二分類問(wèn)題可分為正例（Positive）和反例（Negative），如表1所示，TP和FP分別代表分類正確的正類和分類錯(cuò)誤的正例，F(xiàn)N和TN分別代表分類錯(cuò)誤的反例和分類正確的反例。

表1 葉片卷曲檢測(cè)模型判斷是否為卷曲的混淆矩陣Table 1 Confusion matrix for judging whether the leaf roll detection model is roll or not

1.5 圖像標(biāo)注及圖像數(shù)據(jù)集的建立

使用Mask R-CNN對(duì)玉米卷曲葉片進(jìn)行識(shí)別時(shí)，首先需要對(duì)卷曲葉片進(jìn)行標(biāo)注。該實(shí)驗(yàn)使用LabelMe軟件對(duì)100張圖像的玉米卷曲葉片進(jìn)行標(biāo)注，由于玉米葉片是不規(guī)則的物體，因此標(biāo)注時(shí)采用多邊形框?qū)崿F(xiàn)精細(xì)標(biāo)注，如圖4所示，每張圖像標(biāo)注后生成一個(gè)JSON文件，JSON文件里包含了圖像標(biāo)注的信息，包括目標(biāo)物的位置坐標(biāo)、目標(biāo)物的類別標(biāo)簽和圖像大小信息等。圖像標(biāo)注后進(jìn)行圖形的注釋，根據(jù)JSON文件內(nèi)葉片卷曲標(biāo)注的位置信息，使用OpenCV軟件分別畫出每個(gè)卷曲葉片的二值圖像，最后根據(jù)每個(gè)卷曲葉片的注釋信息和原始圖像生成Mask R-CNN所需格式的JSON文件，該文件包含了所有圖像的類別標(biāo)簽，卷曲葉片的坐標(biāo)信息等。

圖4 玉米植株圖像標(biāo)注卷曲葉片F(xiàn)ig.4 Label rolled leaves with maize plant image

2 結(jié)果分析

2.1 定量評(píng)估

表2為葉片檢測(cè)模型在不同IOU閾值下對(duì)測(cè)試集20張玉米植株圖像葉片卷曲檢測(cè)的均值平均精度，準(zhǔn)確度，召回率和F1score值。分析可知，在IOU閾值為0.5時(shí)，玉米葉片檢測(cè)的均值平均精度為74.35%，準(zhǔn)確度，召回率和F1score分別為88.37%，45.83%和60.36%。而IOU閾值為0.75時(shí)，模型的均值平均精度，準(zhǔn)確度，召回率和F1score分別為52.25%，74.92%，38.48%和50.85%。由于在其他條件一定的情況下，玉米葉片卷曲由干旱脅迫造成，因此檢測(cè)出有卷曲葉片的玉米植株可判定為受到了干旱脅迫。

表2 不同IOU閾值下Mask R-CNN葉片卷曲檢測(cè)模型對(duì)葉片卷曲檢測(cè)的精度比較Table 2 Accuracy comparison of Mask R-CNN rolled leaf detection model under different IOU thresholds

2.2 定性分析

Mask R-CNN進(jìn)行玉米卷曲葉片檢測(cè)的結(jié)果如圖5所示，其中圖5a、圖5b和圖5c分別為測(cè)試集中隨機(jī)選取的3張玉米植株原始圖像，圖5a1、圖5b1和圖5c1分別為3張?jiān)紙D進(jìn)行卷曲葉片標(biāo)注結(jié)果，圖5a2、圖5b2和圖5c2分別為Mask R-CNN對(duì)3張?jiān)紙D進(jìn)行卷曲葉片的檢測(cè)結(jié)果。從結(jié)果可知Mask R-CNN能很好地檢測(cè)玉米卷曲葉片，如圖5a1中共標(biāo)注了12個(gè)卷曲葉片，Mask R-CNN檢測(cè)出了9個(gè)（圖5a2），檢測(cè)精度為75%；圖5b1中共標(biāo)注了9個(gè)卷曲葉片，Mask R-CNN檢測(cè)出了9個(gè)卷曲葉片（圖5b2），檢測(cè)精度為100%；圖5c1中共標(biāo)注了10個(gè)卷曲葉片（圖5c2），Mask R-CNN檢測(cè)出9個(gè)卷曲葉片，檢測(cè)精度為90%，在使用Mask R-CNN檢測(cè)玉米卷曲葉片時(shí)卷曲葉片檢測(cè)置信度高（表3），3個(gè)圖像樣本的卷曲葉片檢測(cè)置信度均在98%以上，絕大多數(shù)卷曲置信度為100%和99%。在IOU閾值為0.5時(shí)圖5a樣本的卷曲葉片檢測(cè)的均值平均精度，準(zhǔn)確度，召回率和F1score分別為75%，90.9%，43.18%和58.55%；圖5b樣本檢測(cè)的均值平均精度，準(zhǔn)確度，召回率和F1score分別為76.4%，86.6%，50.5%，63.8%；圖5c樣本的均值平均精度為78.9%，準(zhǔn)確度，召回率和F1score分別為88.9%，48.2%，62.51%（表4）。

圖5 玉米葉片卷曲檢測(cè)圖：a/b/c原始圖像樣本；a1/b1/c1標(biāo)注圖像；a2/b2/c2 Mask R-CNN模型檢測(cè)圖像Fig.5 Maize rolled leaf detection figures

表3 不同圖像樣本的卷曲置信度Table 3 Rolled confidence of different image samples

表4 IOU閾值為0.5時(shí)不同圖像樣本的檢測(cè)精度Table 4 Detection accuracy of different image samples at IOU threshold of 0.5

3 討論

干旱脅迫對(duì)作物生長(zhǎng)造成嚴(yán)重影響，在干旱脅迫下作物發(fā)生一系列生理生化反應(yīng)來(lái)抵御干旱脅迫對(duì)植株的傷害［17-19］，表現(xiàn)出葉片卷曲，失去光澤和萎焉等癥狀［20-21］，葉片卷曲是玉米干旱脅迫典型的表型特征［6］。近年來(lái)，隨著表型組學(xué)的發(fā)展，相關(guān)學(xué)者開展了基于葉片卷曲的玉米干旱脅迫診斷研究。如陳浩［21］使用數(shù)碼相機(jī)獲取大田條件下玉米的可見光圖像，使用矩形度，葉形比和圓度率3個(gè)參數(shù)來(lái)量化玉米葉片卷曲程度對(duì)不同抗旱性玉米干旱脅迫進(jìn)行診斷；岳煥然等［22］通過(guò)獲取玉米俯視圖像，提取玉米葉片舒展和卷曲時(shí)的葉寬，使用玉米葉片的卷曲圈數(shù)來(lái)表征玉米的干旱等級(jí)。上述不同方法從不同的角度反映干旱脅迫下玉米葉片的卷曲狀況，然而此類方法首先需要對(duì)卷曲葉片進(jìn)行分割等復(fù)雜的預(yù)處理工作，然后再計(jì)算葉片的卷曲度，無(wú)法對(duì)卷曲葉片進(jìn)行直接定位，同時(shí)，此類方法卷曲程度的計(jì)算都是基于某一拍攝角度，因此在大田自然條件下難以實(shí)際應(yīng)用。該研究直接以卷曲葉片為研究對(duì)象，使用目標(biāo)檢測(cè)模型直接對(duì)干旱脅迫下玉米卷曲葉片進(jìn)行檢測(cè)，該檢測(cè)方法不需要對(duì)卷曲葉片進(jìn)行分割處理和計(jì)算卷曲程度，節(jié)約圖像預(yù)處理時(shí)間，在進(jìn)行卷曲檢測(cè)時(shí)，能在圖像中直接對(duì)卷曲葉片進(jìn)行定位和分割，由于在大田條件下玉米葉片雜亂交錯(cuò)，葉片相互重疊，盡管對(duì)單一葉片進(jìn)行手動(dòng)分割并計(jì)算葉片卷曲程度能反映葉片的卷曲特征，但此類方法泛化能力較差，不同的拍攝視角會(huì)有不同的結(jié)果，然而目標(biāo)檢測(cè)模型是基于葉片卷曲表型通過(guò)大量的數(shù)據(jù)訓(xùn)練后直接對(duì)卷曲葉片進(jìn)行檢測(cè)，模型具有更好的泛化能力，因此與已有研究相比使用卷曲葉片檢測(cè)方法對(duì)作物干旱進(jìn)行識(shí)別在大田作物應(yīng)用上具有更好的實(shí)用性

結(jié)果表明目標(biāo)檢測(cè)模型在自然條件下能直接對(duì)玉米卷曲葉片進(jìn)行檢測(cè)，同時(shí)分割出卷曲葉片的具體位置，具有快速、精確等特點(diǎn)，葉片卷曲檢測(cè)置信度在98%以上，均值平均精度為74.35%，表明基于Mask R-CNN模型的目標(biāo)檢測(cè)方法能很好地對(duì)玉米卷曲葉片進(jìn)行檢測(cè)和分割。模型在測(cè)試集上的卷曲檢測(cè)精度為74.35%，檢測(cè)精度不高的一個(gè)原因是訓(xùn)練集數(shù)量較小，導(dǎo)致卷曲葉片的特征庫(kù)數(shù)量有限，自然條件下植株葉片形狀千變?nèi)f化且相互重疊遮擋，模型需要進(jìn)行大量的學(xué)習(xí)才能應(yīng)對(duì)復(fù)雜的條件。

4 結(jié)論

該研究通過(guò)采集玉米數(shù)字圖像，基于Mask R-CNN模型實(shí)現(xiàn)了對(duì)干旱脅迫下玉米卷曲葉片的目標(biāo)檢測(cè)，對(duì)玉米干旱脅迫的及時(shí)和準(zhǔn)確監(jiān)測(cè)具有重要意義。該方法能直接對(duì)卷曲葉片進(jìn)行定位和分割，使模型具有更高的置信度。然而該模型由于樣本量較小，檢測(cè)精度為74.35%，還需要在今后的研究中進(jìn)一步提升。在后續(xù)研究中將獲取大田條件下不同品種、不同生育期、不同拍攝角度的玉米數(shù)字圖像，建立玉米卷曲葉片大數(shù)據(jù)集，同時(shí)標(biāo)注更多的數(shù)據(jù)樣本，開發(fā)設(shè)計(jì)適用于干旱脅迫的目標(biāo)檢測(cè)模型，使該模型通過(guò)對(duì)大數(shù)據(jù)樣本的學(xué)習(xí)，提高精度。同時(shí)，為了提高實(shí)際應(yīng)用能力，將卷曲葉片檢測(cè)模型開發(fā)成相應(yīng)的APP安裝在移動(dòng)設(shè)備如無(wú)人機(jī)和智能手機(jī)上，為玉米干旱識(shí)別提供行及時(shí)、準(zhǔn)確和大范圍的實(shí)時(shí)監(jiān)測(cè)信息。此外，目標(biāo)檢測(cè)算法也可用于農(nóng)業(yè)生物、非生物脅迫和作物表型等方面的研究，如病蟲害的檢測(cè)等。