田間玉米苗期高通量動態(tài)監(jiān)測方法

張小青 邵松 郭新宇 樊江川

摘要：目前對玉米出苗動態(tài)檢測監(jiān)測主要是依靠人工觀測，耗時耗力且只能選擇小的樣方估算整體出苗情況。為解決人工出苗動態(tài)管理不精準(zhǔn)的問題，實現(xiàn)田間精細(xì)化管理，本研究以田間作物表型高通量采集平臺獲取的高時序可見光圖像和無人機平臺獲取的可見光圖像兩種數(shù)據(jù)源構(gòu)建了不同光照條件下的玉米出苗過程圖像數(shù)據(jù)集?？紤]到田間存在環(huán)境背景復(fù)雜、光照不均等因素，在傳統(tǒng)Faster R-CNN的基礎(chǔ)上構(gòu)建殘差單元，使用ResNet50作為新的特征提取網(wǎng)絡(luò)來對Faster R-CNN進(jìn)行優(yōu)化，首先實現(xiàn)對復(fù)雜田間環(huán)境下玉米出苗識別和計數(shù);進(jìn)而基于表型平臺所獲取的高時序圖像數(shù)據(jù)，對不同品種、不同密度的玉米植株進(jìn)行出苗動態(tài)連續(xù)監(jiān)測，對各玉米品種的出苗持續(xù)時間和出苗整齊度進(jìn)行評價分析。試驗結(jié)果表明，本研究提出的方法應(yīng)用于田間作物高通量表型平臺出苗檢測時，晴天和陰天的識別精度分別為95.67%和91.36%;應(yīng)用于無人機平臺出苗檢測時晴天和陰天的識別精度分別91.43%和89.77%，可以滿足實際應(yīng)用場景下玉米出苗自動檢測的需求。利用表型平臺可獲取時序數(shù)據(jù)的優(yōu)勢，進(jìn)一步進(jìn)行了玉米動態(tài)出苗檢測分析，結(jié)果表明利用本模型得到的動態(tài)出苗結(jié)果與人工實際觀測具有一致性，說明本研究提出的模型的具有魯棒性和泛化性。

關(guān)鍵詞：玉米苗期;Faster R-CNN;識別;計數(shù);出苗動態(tài)監(jiān)測

中圖分類號：S24文獻(xiàn)標(biāo)志碼：A文章編號：202103-SA003

引用格式：張小青，邵松，郭新宇，樊江川.田間玉米苗期高通量動態(tài)監(jiān)測方法[J].智慧農(nóng)業(yè)（中英文），2021， 3 （2）： 88-99.

ZHANG Xiaoqing， SHAO Song， GUO Xinyu， FAN Jiangchuan. High-throughput dynamic monitoring method of field maize seedling[J]. Smart Agriculture， 2021， 3（2）： 88-99. （in Chinese with English abstract）

1引言

作物出苗是影響田間管理決策的重要農(nóng)藝因素，通過監(jiān)測出苗情況可在正確的時間進(jìn)行補種以減少損失[1]。傳統(tǒng)上，通常通過用少數(shù)采樣點進(jìn)行目視觀察（人工計數(shù)）來估測作物出苗數(shù)量[2]，既費時又費力，無法覆蓋大的生產(chǎn)領(lǐng)域。隨著圖像獲取方式的進(jìn)步，計算機視覺技術(shù)在作物生長檢測中的應(yīng)用[3-6]得到了廣泛的關(guān)注。獲取高分辨率的特定地點作物出苗信息是實施精確田間管理的基礎(chǔ)。同時，準(zhǔn)確的作物出苗信息可用于了解土壤和環(huán)境對作物出苗的影響[7]。因此，為提高監(jiān)測效率，近距離遙感技術(shù)被用來評估作物出苗情況。基于無人機圖像數(shù)據(jù)進(jìn)行的出苗檢測方法，在各種作物中得到了廣泛的應(yīng)用[8]。目前使用無人機對作物出苗的研究主要集中在出苗數(shù)量和均勻性上[9]。

21世紀(jì)以來，成像技術(shù)的發(fā)展為高通量植物表型平臺（Plant High-throughput Phenotypic Platform，HTPP）的開發(fā)提供了機會。1998年，比利時CropDesign公司成功開發(fā)世界上首套大型植物高通量表型平臺，命名為TraitMill[10]。2016年，德國Lemna Tec公司開發(fā)了第一個產(chǎn)品級田間高通量植物表型平臺Scanalyzer Field[11]，標(biāo)志著植物表型獲取技術(shù)正式走向大田測量。高通量表型平臺的高通量、自動化、高精度等特點，極大地提高了作物圖像采集的效率和準(zhǔn)確性，同時也為玉米出苗動態(tài)監(jiān)測提供了新的研究手段。

近年來，隨著卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，深度學(xué)習(xí)已在自然語言處理[12]、圖像識別[13]、視頻跟蹤[14]等領(lǐng)域超越了傳統(tǒng)的機器學(xué)習(xí)算法。在農(nóng)業(yè)領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)較強的圖像特征提取能力也使越來越多的研究人員將深度學(xué)習(xí)應(yīng)用于作物表型信息獲取[15]、遙感影像分類[16]等領(lǐng)域。深度學(xué)習(xí)模型已經(jīng)用于從無人機、地面機器人系統(tǒng)收集的圖像數(shù)據(jù)集中提取隱藏信息，以監(jiān)測作物發(fā)育[17]和預(yù)測產(chǎn)量[18]。一些流行的深度學(xué)習(xí)模型AlexNet[19]、VGG[20]、GoogleNet[21]和ResNet[22]等被用于處理農(nóng)業(yè)中的復(fù)雜數(shù)據(jù)。基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法如YOLO[23]和SSD[24]一階檢測器系列和Faster R-CNN[25]兩階檢測系列已被證實在對作物出苗檢測上取得了不錯的效果。

根據(jù)以上分析，本研究目的是利用田間作物表型平臺獲取的高時序、連續(xù)可見光圖像以及無人機平臺獲取的可見光圖像構(gòu)建數(shù)據(jù)集，提出基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional. Neural. Network，CNN）的圖像特征自動提取方法，實現(xiàn)對復(fù)雜的田間環(huán)境下玉米幼苗的快速準(zhǔn)確識別，為玉米田間智能耕作管理提供技術(shù)儲備?；趦?yōu)化的Faster R-CNN模型來實現(xiàn)玉米出苗檢測，結(jié)合非極大值抑制方法（Non-Maximum Suppression，NMS）對單位面積的玉米幼苗進(jìn)行計數(shù)。依據(jù)表型平臺的時序圖像實現(xiàn)不同玉米品種的出苗動態(tài)監(jiān)測，以此來判斷出不同品種玉米的出苗特征及差異，并對兩種平臺的出苗檢測精度進(jìn)行驗證比較。

2材料與方法

2.1圖像采集

研究分別使用無人機平臺和田間作物表型高通量采集平臺（軌道式）搭載可見光傳感器進(jìn)行高通量原始圖像數(shù)據(jù)獲取。因此，圖像采集試驗分為兩部分，其中試驗一使用無人機平臺進(jìn)行圖像獲取，試驗二使用田間作物表型高通量采集平臺進(jìn)行圖像獲取。

2.1.1無人機可見光圖像采集

試驗一于2018年在北京市通州區(qū)實驗基地開展（39°56′N，116°16′E）。使用大疆M600 Pro六旋翼無人機作為圖像采集平臺，搭載型號為SONY-5100的相機（采用20 mm的定制機械鏡頭）對試驗田內(nèi)玉米苗期冠層圖像進(jìn)行采集?？紤]到小型無人機的續(xù)航能力和圖像的分辨率等問題，設(shè)置無人機的飛行高度為30m，航向重疊度為70%，旁向重疊度為65%。試驗的采集時間為2018年5月8日（出苗）至2018年5月23 日?？紤]所獲取圖像的質(zhì)量問題，選擇在無風(fēng)或者微風(fēng)的時候用無人機采集數(shù)據(jù)。所獲取的可見光原始圖像分辨率為5280×3956px。圖1展示了無人機實物圖、田間場景圖以及無人機獲取可見光圖像。

2.1.2表型平臺可見光圖像采集

試驗二在北京市農(nóng)林科學(xué)院試驗田內(nèi)開展（39°56′N，116°16′E）。試驗二地塊長15m，寬6m。在其上方搭建了數(shù)字植物北京市重點實驗室自主研發(fā)的田間作物高通量表型平臺（軌道式）。在平臺的覆蓋范圍內(nèi)種植了AD268和XD20兩個玉米品種，每個品種分別以25，000株/ha，40，000株/ha和55，000株/ha三種密度進(jìn)行種植，共計6個小區(qū)，每個小區(qū)種植4行，共24行，行長2.5m。兩個品種玉米于2020年7月23日播種，種植后以正常水肥管理。圖2為地塊中種植情況示意圖。

在本次試驗中，使用Microsoft，Kinect V2.0作為成像單元圖像采集設(shè)備，有效像素為500萬px。鏡頭垂直向下，采用自動曝光模式獲取玉米冠層圖像。圖像采集時間從2020年7月26日（出苗）開始到2020年9月28日止，每天分別選擇上午10點和下午3點兩個時間點采集玉米出苗冠層圖像，所獲取的圖像原始分辨率為2048×2048 px。田間作物高通量表型平臺圖像采集裝置如圖3所示。

2.2數(shù)據(jù)集構(gòu)建

2.2.1圖像預(yù)處理

綜合考慮硬件條件和試驗參數(shù)的需要，同時為了便于模型訓(xùn)練，將試驗二中獲取的原始圖像（分辨率為2048×2048 px）縮放至960×960 px輸入模型。而為了與田間作物高通量表型平臺獲取的圖像保持統(tǒng)一，對試驗一中獲取的無人機可見光原始圖像（分辨率為5280×3956 px）同樣縮放至960×960 px，采用滑動步長剪裁的方式裁剪圖像。并且為了充分覆蓋到遙感影像中目標(biāo)的信息，裁剪時保證一定的重疊度，從而能夠提高模型后期訓(xùn)練的效率和精度。

使用圖像注釋工具LabelImg對裁剪及縮放后的圖像進(jìn)行幼苗的邊界框標(biāo)注，通過最小外接矩形將樣本中的玉米苗標(biāo)出，記錄該矩形的左上和右下的頂點坐標(biāo)，并設(shè)置類別標(biāo)簽為seedling。圖4展示了數(shù)據(jù)從縮放、裁剪到標(biāo)注的整體流程。

2.2.2最終數(shù)據(jù)集組成

為實現(xiàn)玉米出苗檢測的目標(biāo)，本研究選取試驗一中玉米剛出苗時期的無人機獲取的圖像作為數(shù)據(jù)集，即5月8日至5月10日，共計4天。分別選取每天原始圖像數(shù)據(jù)28張，共計112張。經(jīng)過滑動步長裁剪后，每張原始圖像被裁剪成12張960×960 px的圖像，共計1344張。考慮到圖像的質(zhì)量問題，手動剔除了過度曝光、質(zhì)量較低的圖像。經(jīng)過篩選后，剩余1188張圖像構(gòu)成試驗一數(shù)據(jù)集。將此數(shù)據(jù)集按照7：3的比例劃分為訓(xùn)練集和測試集。對于試驗二，選取玉米剛出苗時期的表型平臺獲取的圖像作為數(shù)據(jù)集，即7月28日至8月3日，共計6天。分別選取每天原始圖像數(shù)據(jù)150張，共計1200張。經(jīng)過縮放后放入試驗二數(shù)據(jù)集。同時由于所選取日期的天氣情況不同（即同時包括了晴天和陰天），能夠保證不同光照條件下模型的泛化性能。

本研究最終數(shù)據(jù)集組成如表1所示。圖5展示了兩種平臺數(shù)據(jù)分別在不同光照條件下預(yù)處理后的圖像及其標(biāo)注，其中圖5（a）為不同光照條件下無人機平臺圖像及其標(biāo)注，圖5 （b）為不同光照條件下表型平臺圖像及其標(biāo)注。

2.3玉米幼苗檢測網(wǎng)絡(luò)

本研究基于卷積神經(jīng)網(wǎng)絡(luò)在圖像特征提取上的優(yōu)異表現(xiàn)，構(gòu)建了基于Faster R-CNN玉米出苗動態(tài)檢測模型，該模型以無人機和田間作物高通量表型平臺采集的玉米冠層圖像為數(shù)據(jù)源，對玉米田間出苗狀況進(jìn)行監(jiān)測。玉米出苗網(wǎng)絡(luò)的檢測過程如圖6所示。

2.3.1Faster R-CNN模型框架

本研究采用Faster R-CNN深度學(xué)習(xí)模型作為基礎(chǔ)框架，其網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示。

由圖7可見，F(xiàn)aster R-CNN網(wǎng)絡(luò)主要有四個主要內(nèi)容。首先是卷積層對輸入的圖片，F(xiàn)aster R-CNN使用一組基礎(chǔ)的conv+relu+pooling層提取圖片的特征圖（Feature map），用于后續(xù)候選框檢測網(wǎng)絡(luò)（Region Proposal. Network）和全連接層。在RPN層中使用尺寸為3×3 px的滑動窗口遍歷該特征圖，以每個錨點（滑動窗口中心）為中心，設(shè)計不同的長寬比生成多尺度候選區(qū)域。ROI Pooling層在此基礎(chǔ)上提取候選特征圖（Proposal. Feature Maps），得到固定尺寸的候選特征。最后經(jīng)過分類和回歸，輸出候選區(qū)所屬的類和候選區(qū)域在圖中的精確位置。

2.3.2ResNet50特征提取網(wǎng)絡(luò)

本研究以田間玉米冠層圖像為數(shù)據(jù)，進(jìn)行出苗動態(tài)檢測。田間場景比較復(fù)雜，不同光照和不同采集裝置得到的圖像具有很大的差異，傳統(tǒng)的Faster R-CNN網(wǎng)絡(luò)中特征提取網(wǎng)絡(luò)為VGG。VGG結(jié)構(gòu)層次相對較淺，難以達(dá)到預(yù)期效果，因此本研究在Faster R-CNN網(wǎng)絡(luò)基礎(chǔ)上設(shè)計應(yīng)用殘差（Residual）學(xué)習(xí)單元，使用ResNet50作為特征提取網(wǎng)絡(luò)。

研究中用到的特征提取網(wǎng)絡(luò)ResNet50結(jié)構(gòu)如圖8所示。ResNet50共有5個編碼層，第一個編碼層是由卷積層和池化層構(gòu)成，后面4個編碼層就是4個殘差塊。殘差結(jié)構(gòu)中包括兩個分支，其中，第一個分支是使用三個卷積層、批歸一化層以及修正線性單元（Rectified Linear Unit， ReLU）[26]層進(jìn)行特征處理，而另一個分支則是通過直接映射處理。在使用特征映射融合將這兩個分支集成起來后，整個網(wǎng)絡(luò)只需要學(xué)習(xí)輸入和輸出之間的差異，簡化了學(xué)習(xí)的目標(biāo)和難度。表2展示了特征提取網(wǎng)絡(luò)的具體參數(shù)配置。

2.3.3激活函數(shù)與損失函數(shù)

本研究中網(wǎng)絡(luò)訓(xùn)練時選取ReLu作為激活函數(shù)，當(dāng)輸入值為負(fù)時，ReLu函數(shù)的輸出值恒為0;當(dāng)輸入值為正時，ReLu函數(shù)的值與輸入值相等，即：

（1）

本研究模型的損失函數(shù)主要由兩部分組成，其中第一部分是分類損失[27]，其具體公式如下：

（2）

其中，p為第i個檢測框的預(yù)測值;當(dāng)預(yù)測值與標(biāo)注區(qū)域的重疊區(qū)域大于0.7時p=1，當(dāng)預(yù)測值與標(biāo)注區(qū)域的重疊區(qū)域小于0.3時p=0;N表示網(wǎng)絡(luò)訓(xùn)練過程中生成的256個檢測框。

第二部分是回歸損失，用于確定網(wǎng)絡(luò)訓(xùn)練過程中的偏移量，其具體公式為：

（3）

其中，t表示訓(xùn)練階段預(yù)測值的偏移量;t表示訓(xùn)練階段相對于實際的偏移量;λ是平衡回歸損失和分類損失的參數(shù)。

3結(jié)果與分析

3.1試驗參數(shù)設(shè)置及訓(xùn)練過程分析

模型訓(xùn)練硬件平臺采用Intel （R） Xeon（R） CPU E5-2683 v3處理器，128 GB內(nèi)存，兩塊GTX 1070Ti顯卡，以及8GB顯存。軟件環(huán)境在Windows 10操作系統(tǒng)下進(jìn)行配置，語言開發(fā)環(huán)境為Python3.6、Anaconda3和TensorFlow 1.13.2。

選擇隨機梯度下降法（Stochastic Gradient Descent，SGD）來更新學(xué)習(xí)率，從而對Faster RCNN網(wǎng)絡(luò)進(jìn)行訓(xùn)練。訓(xùn)練時將初始學(xué)習(xí)率設(shè)置為le：衰減率設(shè)置為0.9。為了加快訓(xùn)練速度和訓(xùn)練初期防止權(quán)值被破壞，在迭代前20個epoch時候，凍結(jié)一部分網(wǎng)絡(luò)權(quán)值的更新，迭代20個epoch之后把所有神經(jīng)網(wǎng)絡(luò)進(jìn)行解凍訓(xùn)練，同時將學(xué)習(xí)率調(diào)整為le，衰減率依然設(shè)置為0.9。設(shè)置網(wǎng)絡(luò)訓(xùn)練的迭代次數(shù)為500個epoch，每個epoch訓(xùn)練1000步。訓(xùn)練Loss曲線如圖9所示。

由圖9可以看出，模型在前40個批次損失快速下降，40個批次后模型的損失曲線趨于平穩(wěn)。不斷對模型進(jìn)行訓(xùn)練，直到損失趨于穩(wěn)定并不再變化，最終迭代到500次時，停止訓(xùn)練。

3.2模型訓(xùn)練結(jié)果

該模型對于無人機可見光以及田間作物高通量表型平臺可見光兩種圖像在不同光照條件下的玉米幼苗檢測效果如圖10所示。直觀上可以看出，以ResNet50作為特征提取網(wǎng)絡(luò)進(jìn)行的幼苗檢測，具有更好的檢測結(jié)果，而且晴天檢測結(jié)果優(yōu)于陰天檢測結(jié)果。表型平臺圖像中基本所有出苗都被有效地檢測出來，而無人機圖像中有很少一部分出苗的玉米沒有被檢測出來。

3.3評價指標(biāo)

對訓(xùn)練結(jié)束之后的模型進(jìn)行性能判斷，對于分類模型通常采用精確率（Precision）、召回率（Recall）、交并比（Intersection Over Union，IOU）作為評價指標(biāo)，而平均絕對誤差（Mean Absolute Error，MAE）通常被用來評價計數(shù)模型的性能。本研究采用以上4個評價指標(biāo)來對模型的檢測計數(shù)性能進(jìn)行客觀的評估。各評價指標(biāo)的公式如下：

（4）

（5）

其中，尸為Precision，表示在所有模型預(yù)測為玉米幼苗的結(jié)果中，預(yù)測正確數(shù)量占總數(shù)的比例;R為Recall，表示模型預(yù)測為玉米幼苗的數(shù)量占實際幼苗數(shù)量的比例;TP（True Positive）表示正陽性是指樣本預(yù)測值為正實際也為正;FP（False Positive）表示假陽性是指樣本預(yù)測值為正實際為負(fù);FN（False Negative）表示假陰性是指樣本預(yù)測值為負(fù)實際為正的。

（6）

其中，IOU表示模型預(yù)測的邊界框與真實標(biāo)注的邊界框的交集和并集的比值;A表示模型預(yù)測的邊界框;B表示人工標(biāo)注的邊界框即為真實值。

（7）

其中，表示預(yù)測值;y表示真實值;和y可以是任意形狀，每個形狀包含m個元素。MAE即為絕對誤差的平均值，可以更好地反映預(yù)測值誤差的實際情況，平均絕對誤差值越小即表示模型訓(xùn)練的效果越好。

根據(jù)上述所列出的評價指標(biāo)對無人機圖像和表型平臺圖像進(jìn)行分析，結(jié)果如表3～表5所示。圖11（97頁）為模型在不同平臺和不同天氣下輸出的P-R曲線。PR曲線中將recall設(shè)置為橫坐標(biāo)，precision設(shè)置為縱坐標(biāo)。曲線與坐標(biāo)周包圍的面積為AP，AP越大，說明檢測結(jié)果越好

由表3可以看到本研究基于ResNet特征提取網(wǎng)絡(luò)的Faster R-CNN在整體測試集上的表現(xiàn)要優(yōu)于傳統(tǒng)的Faster R-CNN模型。由表4和表5可以看出本研究模型晴天時在高通量表型平臺上精度可以達(dá)到95.67%，表現(xiàn)要優(yōu)于無人機平臺精度（91.43%），陰天時在表型平臺和無人機平臺上的識別精度也可以達(dá)到91.36%和89.77%。改進(jìn)后的Faster R-CNN模型可以滿足對高通量表型平臺和無人機平臺對出苗檢測的要求。

3.4玉米出苗動態(tài)監(jiān)測

考慮到田間作物高通量表型平臺能夠獲取每天的時序性可見光圖像（圖12）。本研究采用其所獲取圖像實現(xiàn)不同品種玉米的動態(tài)出苗檢測。平臺覆蓋地塊中分別以三種不同密度種植了AD268和XD20兩種玉米植株，每種密度四次重復(fù)。除去保護(hù)行，共24行，行長為2.5m即密度為25，000株/ha每行種植6棵植株，密度為40，000株/ha每行種植9棵植株，密度為55，000株/ha每行種植12棵植株。各品種玉米于7月23日同時播種。使用本研究訓(xùn)練的模型從7月26日（未出苗）開始對各品種玉米連續(xù)10d的冠層圖像進(jìn)行出苗檢測計數(shù)，直至所有植株完全出苗。統(tǒng)計并繪制了同一個品種不同密度的植株出苗數(shù)量的變化曲線，如圖12所示。

從圖12（a）可以看出AD268品種玉米植株于7月27日開始出苗，于8月4日全部出苗結(jié)束。而圖12（b）的XD20品種玉米植株同樣于7月27日開始出苗，三種不同密度植株在8月1日均全部出苗。為了更加直觀地展示不同密度玉米植株的出苗情況，分別統(tǒng)計了不同種類和不同種植密度的玉米植株從第一天出苗至出苗結(jié)束所需天數(shù)，如表6所示。

結(jié)合圖12可知，XD20品種的玉米植株比AD268品種的玉米植株從開始出苗到結(jié)束所需的時間更短即出苗更整齊。而在本次試驗中，在相同種植條件及灌溉條件下，密度為25，000株/ha的玉米植株從開始出苗至結(jié)束所需時間相對另兩種密度玉米植株更短。利用本研究所提模型進(jìn)行動態(tài)出苗檢測結(jié)果與人工實測結(jié)果保持一致，說明本研究所提方法具有一定的魯棒性和泛化性。

4結(jié)論

本研究以無人機平臺可見光圖像以及田間作物表型高通量采集平臺可見光圖像兩種數(shù)據(jù)源構(gòu)建了不同光照條件下玉米冠層圖像數(shù)據(jù)集。使用Resnet 50代替VGG 16來優(yōu)化Faster R-CNN模型，對所獲取共計2388張圖像進(jìn)行了訓(xùn)練和測試。優(yōu)化后的模型在測試集上的平均識別精度為91.87%，并對在不同平臺和不同光照下的模型檢測精度進(jìn)行了對比。其中，高通量表型平臺對出苗進(jìn)行預(yù)測時，晴天和陰天的識別精度可以分別達(dá)到95.67%和91.63%。無人機平臺對出苗進(jìn)行預(yù)測時，晴天和陰天的識別精度可以分別達(dá)到91.36%和89.77%。研究結(jié)果表明，應(yīng)用本模型可實現(xiàn)在田間作物高通量表型平臺上玉米幼苗檢測，達(dá)到可觀的效果。而在無人機平臺上的檢測精度卻相對偏低。這是由于兩種平臺所獲取的圖像空間分辨率大小不一樣、采用的預(yù)處理方式也不一樣。導(dǎo)致處理后兩種平臺的圖像數(shù)據(jù)所包含的玉米幼苗數(shù)量也不一致，因此在進(jìn)行幼苗檢測時會出現(xiàn)不同平臺的檢測精度差。

在此基礎(chǔ)上，根據(jù)田間作物高通量表型平臺所獲取的時序圖像對玉米出苗數(shù)量變化進(jìn)行統(tǒng)計，分析了本試驗中AD268和XD20兩個品種玉米在三種不同種植密度條件下，從出苗開始至結(jié)束所需時間。結(jié)果表明，不同品種的出苗持續(xù)時間存在顯著差異，XD20相比AD268出苗持續(xù)時間更短，出苗更整齊。本研究方法具備一定的準(zhǔn)確性和科學(xué)性，同時也為使用無人機和表型平臺獲取玉米冠層圖像進(jìn)行識別計數(shù)任務(wù)及出苗動態(tài)檢測提供了一定的理論依據(jù)和借鑒價值。

本研究根據(jù)田間作物表型平臺從玉米未出苗開始連續(xù)10天所獲取的時序可見光圖像，進(jìn)一步應(yīng)用該優(yōu)化模型對不同玉米品種在不同種植密度下的出苗動態(tài)進(jìn)行了監(jiān)測。以上結(jié)果說明本研究建立的基于深度學(xué)習(xí)的玉米出苗檢測模型不僅可以實現(xiàn)無人機可見光圖像中玉米幼苗的準(zhǔn)確識別與檢測，也能夠通過田間作物表型高通量平臺實現(xiàn)對玉米出苗的動態(tài)連續(xù)監(jiān)測。通過對兩種平臺的對比，田間表型高通量平臺相對于無人機表型平臺所獲取的圖像更加精細(xì)，時序性更強，所以出苗檢測的準(zhǔn)確度更高，能夠更好地為玉米播種質(zhì)量和種子質(zhì)量評價提供技術(shù)支撐，為田間大面積測定出苗率及產(chǎn)量估算提供參考。

參考文獻(xiàn)：

[1] JIM S. New systems enhance seed and product-placement at planting[J]. Cotton Grower， 2021， 57（1）： 16-18.

[2] WILES L J， SCHWEIZER E E. The cost of counting and identifying weed seeds and seedlings[J]. Weed Science， 1999， 47（6）： 667-673.

[3] ZHAO W， YAMADA W， Li T， et al. Augmenting crop detection for precision agriculture with deep visual. transfer learning： A case study of bale detection[J]. Remote Sensing， 2021， 13： ID 23.

[4] SAKO Y， MCDONALD M， FUJIMURA K， et al. A system for automated seed vigour assessment[J]. Seed Science and Technology， 2001， 29（3）： 625-636.

[5] HOFMASTER A， FUJIMURA K， MCDONALD M， et al. An automated system for vigor testing three-day-old soybean seedlings[J]. Seed Science and Technology， 2003， 31（3）： 701-713.

[6] MARCOS-FILHO J， BENNETT M， MCDONALD M， et al. Assessment of melon seed vigour by an automated computer imaging system compared to traditional. procedures[J]. Seed Science and Technology， 2006， 34 （2）： 485-497.

[7] FORCELLA F， ARNOLD R L B， SANCHEZ R， et al. Modeling seedling emergence[J]. Field Crops Research， 2000， 67（2）： 123-139.

[8] FENG A， ZHOU J， VORIES E， et al. Evaluation of cotton emergence using UAV-based narrow-band spectral. imagery with customized image alignment and stitching algorithms[J]. Remote Sensing， 2020， 12（11）： ID 1764.

[9] GNADINGER F， SCHMIDHALTER U. Digital. counts of maize plants by unmanned aerial. vehicles （UAVs）[J]. Remote sensing， 2017， 9（6）： ID 544.

[10] REUZEAU C， FRANKARD V， HATZEELD Y， et al. Traitmill?： A functional. genomics platform for the phenotypic analysis of cereals[J]. Plant Genetic Resources： Characterisation and Utilisation， 2006， 4： 20-24.

[11] VIRLET N， SABERMANESH K， SADEGHI - TEHRAN P， et al. Field scanalyzer： An automated robotic field phenotyping platform for detailed crop monitoring[J]. Functional. Plant Biology， 2017， 44（1）： 143-153.

[12]李寒冰.基于深度學(xué)習(xí)的輿情監(jiān)測系統(tǒng)[D].北京：北京交通大學(xué)，2019.

LI H. Public opinion monitoring system based on deep learning[D]. Beijing： Beijing Jiaotong University， 2019.

[13]李衛(wèi).深度學(xué)習(xí)在圖像識別中的研究及應(yīng)用[D].武漢：武漢理工大學(xué)，2014.

LI W. The research and application of deep learning in image recognition[D]. Wuhan： Wuhan University of Technology， 2014.

[14]史璐璐.深度學(xué)習(xí)及其在視頻目標(biāo)跟蹤中的應(yīng)用研究[D].南京：南京郵電大學(xué)，2019.

SHI L. Research on deep learning and its applications in video object tracking[D]. Nanjing： Nanjing University of Posts and Telecommunications， 2019.

[15] GRINBLAT G L， UZAL. L， GLARESE M. Deep learning for plant identification using vein morphological. patterns [J]. Computers and Electronics in Agriculture， 2016， 127：418-424.

[16]楊建宇，周振旭，杜貞容，等.基于SegNet語義模型的高分辨率遙感影像農(nóng)村建設(shè)用地提取[J].農(nóng)業(yè)工程學(xué)報，2019， 35（5）： 251-258.

YANG J， ZHOU Z， DU Z， et al. Rural. construction land extraction from high spatial. resolution remote sensing image based on SegNet semantic segmentation model[J]. Transactions of the CSAE， 2019， 35（5）： 251-258.

[17] HUMPHREY E J， BELLO J P， LECUN Y. Moving beyond feature design： Deep architectures and automatic feature learning in music informatics[C]// The 13th International. Society for Music Information Retrieval. Conference. Piscataway， New York， USA： IEEE， 2012： 403-408.

[18] NANNI L， GHIDONI S， BRAHNAM S. Handcrafted vs. non-handcrafted features for computer vision classification[J]. Pattern Recognition， 2017， 71： 158-172.

[19] KRIZHEVSKY A. One weird trick for parallelizing convolutional. neural. networks[EB/OL]. 2014. http：// arxiv.org/abs/1404.5997v2.

[20] SIMONYAN K， ZISSERMAN A. Very deep convolutional. networks for large-scale image recognition[EB/OL]. 2014. arXiv： 1409.1556 [cs.CV].

[21] SZEGEDY C， LIU W， JIA Y， et al. Going deeper withconvolutions[C]// The IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， New York， USA： IEEE， 2015： 1-9.

[22] HE K， ZHANG X， REN S， et al. Deep residual. learning for image recognition[C]// The IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington， DC， USA： IEEE Computer Society， 2016： 770-778.

[23] REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： Unified， real-time object detection[C]// The IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway， New York， USA： IEEE， 2016： 779-788.

[24] LIU W， ANGUELOV D， ERHAN D， et al. SSD： Single shot multibox detector[C]// European Conference on Computer Vision. Springer， Cham， Switzerland： 2016： 21-37.

[25] REN S， HE K， GIRSHICK R， et al. Faster R-CNN： Towards real-time object detection with region proposal. networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016， 39（6）： 1137-1149.

[26] MADEC S， JIN X， LU H， et al. Ear density estimation from high resolution RGB imagery using deep learning technique[J]. Agricultural. and Forest Meteorology， 2019，264：225-234.

[27] ZOU H， LU H， LI Y， et al. Maize tassels detection： A benchmark of the state of the art[J]. Plant Methods， 2020， 16（1）： 1-15.

High-Throughput Dynamic Monitoring Method of Field Maize Seedling

ZHANG Xiaoqing1，2，3， SHAO Song1，2， GUO Xinyu1，2， FAN Jiangchuan1，2*

（1. Beijing Research Center for Information Technology in Agriculture， Beijing 100097， China; 2. Beijing Key Lab of Digital. Plant， National. Engineering Research Center for Information Technology in Agriculture， Beijing 100097， China; 3. College of Information Technology， Shanghai Ocean University， Shanghai 201306， China）

Abstract： At present， the dynamic detection and monitoring of maize seedling mainly rely on manual. observation， which is timeconsuming and laborious， and only small quadrats can be selected to estimate the overall emergence situation. In this research， two kinds of data sources， the high-time-series RGB images obtained by the plant high-throughput phenotypic platform （HTPP） and the RGB images obtained by the unmanned aerial. vehicle （UAV） platform， were used to construct the image data set of maize seedling process under different light conditions. Considering the complex background and uneven illumination in the field environment， a residual. unit based on the Faster R-CNN was built and ResNet50 was used as a new feature extraction network to optimize Faster R-CNN to realize the detection and counting of maize seedlings in complex field environment. Then，based on the high time series image data obtained by the HTPP， the dynamic continuous monitoring of maize seedlings of different varieties and densities was carried out， and the seedling duration and uniformity of each maize variety were evaluated and analyzed. The experimental. results showed that the recognition accuracy of the proposed method was 95.67% in sunny days and 91.36% in cloudy days when it was applied to the phenotypic platform in the field. When applied to the UAV platform to monitor the emergence of maize， the recognition accuracy of sunny and cloudy days was 91.43% and 89.77% respectively. The detection accuracy of the phenotyping platform image was higher， which could meet the needs of automatic detection of maize emergence in actual. application scenarios. In order to further verify the robustness and generalization of the model， HTPP was used to obtain time series data， and the dynamic emergence of maize was analyzed. The results showed that the dynamic emergence results obtained by HTPP were consistent with the manual. observation results， which shows that the model proposed in this research is robust and generalizable.

Key words： field maize; Faster R-CNN; recognition; counting; dynamic seedling detection

（登陸www.smartag.net.cn免費獲取電子版全文）

作者簡介：張小青（1995—），女，碩士研究生，研究方向為深度學(xué)習(xí)與圖像處理。E-mail：15151935830@163.com。

*通訊作者：樊江川（1988—），男，碩士，工程師，研究方向為植物表型組學(xué)、農(nóng)業(yè)遙感。電話：13381125869。E-mail：fanjc@nercita.org.cn。