基于Faster R-CNN的枸杞開花期與果實(shí)成熟期識(shí)別技術(shù)*

朱永寧，周 望，楊 洋，李劍萍，李萬(wàn)春，金紅偉，房 峰

基于Faster R-CNN的枸杞開花期與果實(shí)成熟期識(shí)別技術(shù)*

朱永寧1，3，4，周 望2**，楊 洋1，3，4，李劍萍1，3，4，李萬(wàn)春1，3，4，金紅偉2，房 峰2

（1.中國(guó)氣象局旱區(qū)特色農(nóng)業(yè)氣象災(zāi)害監(jiān)測(cè)預(yù)警與風(fēng)險(xiǎn)管理重點(diǎn)實(shí)驗(yàn)室，銀川 750002；2.航天新氣象科技有限公司，無(wú)錫 214000；3.寧夏氣象防災(zāi)減災(zāi)重點(diǎn)實(shí)驗(yàn)室，銀川 750002；4.寧夏氣象科學(xué)研究所，銀川 750002）

以寧夏16套枸杞農(nóng)田實(shí)景監(jiān)測(cè)系統(tǒng)2018年和2019年拍攝的圖像作為資料，結(jié)合枸杞開花期和果實(shí)成熟期的植物學(xué)特征，利用更快速的基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)（Faster R-CNN）方法對(duì)圖像進(jìn)行訓(xùn)練、分類，構(gòu)建枸杞開花期和果實(shí)成熟期的識(shí)別算法，以平均精確率（AP）和平均精度均值（mAP）作為模型的評(píng)價(jià)指標(biāo)，并將自動(dòng)識(shí)別結(jié)果與專家目視判斷結(jié)果和田間觀測(cè)記錄進(jìn)行對(duì)比。結(jié)果表明：當(dāng)網(wǎng)絡(luò)結(jié)構(gòu)中重要超參數(shù)批尺寸（batch size）和迭代次數(shù)（iterations）分別取值64和20000時(shí)，mAP值達(dá)到0.74，在測(cè)試集上對(duì)花和果實(shí)的識(shí)別效果好于其它參數(shù)?；贔aster R-CNN判識(shí)的枸杞開花期和果實(shí)成熟期與專家目視判斷的差異在2～5d，這兩種方法的判斷對(duì)象和判斷標(biāo)準(zhǔn)一致，可比性強(qiáng)，專家目視判斷的結(jié)果可以作為自動(dòng)識(shí)別技術(shù)的驗(yàn)證標(biāo)準(zhǔn)，用來(lái)優(yōu)化并調(diào)整算法。自動(dòng)識(shí)別結(jié)果與同期田間觀測(cè)記錄的差異在0～12d，差異的主要原因是這兩種方法的判識(shí)對(duì)象和標(biāo)準(zhǔn)不一致，難以利用田間觀測(cè)的結(jié)果優(yōu)化自動(dòng)識(shí)別算法。

枸杞；開花期識(shí)別；果實(shí)成熟期識(shí)別；發(fā)育期識(shí)別；Faster R-CNN；圖像識(shí)別

作物觀測(cè)是農(nóng)業(yè)氣象觀測(cè)的重要組成部分，主要包括發(fā)育期、生長(zhǎng)狀況、產(chǎn)量結(jié)構(gòu)以及病蟲害等，發(fā)育期作為諸多農(nóng)業(yè)氣象指標(biāo)的分界線[1]，是氣象為農(nóng)服務(wù)的基礎(chǔ)信息。根據(jù)現(xiàn)行的農(nóng)業(yè)氣象觀測(cè)規(guī)范，要求對(duì)作物環(huán)境的物理要素（氣象要素、田間土壤濕度等）和作物要素（發(fā)育期、生長(zhǎng)狀況、產(chǎn)量等）進(jìn)行平行觀測(cè)[2]。氣象要素觀測(cè)從2020年4月即實(shí)現(xiàn)了全面自動(dòng)化，目前土壤水分的監(jiān)測(cè)也有了自動(dòng)土壤水分站，但作物要素的觀測(cè)仍然依靠人工和簡(jiǎn)單的儀器進(jìn)行實(shí)地測(cè)量[3]，長(zhǎng)期以來(lái)農(nóng)業(yè)氣象觀測(cè)耗費(fèi)人力、時(shí)效性不足，另外要求具有豐富經(jīng)驗(yàn)的專業(yè)人員，難以普及[4]，現(xiàn)行的觀測(cè)方法已不能滿足業(yè)務(wù)服務(wù)發(fā)展的需求。

近年來(lái)隨著物聯(lián)網(wǎng)、計(jì)算機(jī)硬件尤其是圖形處理器（GPU）的出現(xiàn)以及深度學(xué)習(xí)等技術(shù)的發(fā)展，基于圖像的作物分類、作物發(fā)育期以及病蟲害識(shí)別等均取得了不少研究成果。李濤等利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）進(jìn)行訓(xùn)練，對(duì)玉米雄穗進(jìn)行識(shí)別進(jìn)而對(duì)玉米抽雄期進(jìn)行判識(shí)，其識(shí)別率、精確度和召回率分別達(dá)到了99.42%、99.53%和99.37%[5]，陸明等分別用RGB和HSL顏色空間提取綠色和黃色像素占整幅圖像的比例對(duì)夏玉米發(fā)育期進(jìn)行判定，識(shí)別正確率達(dá)到了94.24%，其中播種期、出苗期、三葉期和七葉期的識(shí)別正確率達(dá)到100%[6]。劉闐宇等通過(guò)Faster R-CNN方法準(zhǔn)確定位圖像中的葡萄葉片，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的病害檢測(cè)算法，對(duì)6種常見葡萄病害的平均精度值達(dá)到66.47%，其中褐斑病與白粉病的平均精度值超過(guò)70%[7]。劉永娟利用計(jì)算機(jī)視覺技術(shù)對(duì)玉米發(fā)育期識(shí)別進(jìn)行了研究，其結(jié)果與人工觀測(cè)結(jié)果誤差在2d以內(nèi)[8]。熊俊濤等利用Mask R-CNN模型對(duì)大豆葉片生長(zhǎng)期葉片缺素癥狀的檢測(cè)方法進(jìn)行了研究，訓(xùn)練的模型在測(cè)試機(jī)上的分類準(zhǔn)確率為89.42%[9]。張博等將空間金字塔池化與改進(jìn)的YOLOv3深度卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合，提出了一種農(nóng)作物害蟲種類識(shí)別算法，該算法在實(shí)際場(chǎng)景下對(duì)20類害蟲進(jìn)行了識(shí)別測(cè)試，識(shí)別精度均值達(dá)到88.07%[10]。多位學(xué)者的研究表明，圖像識(shí)別技術(shù)在作物發(fā)育期、病蟲害等方面的識(shí)別均有良好的應(yīng)用前景和可行性[11-12]，其優(yōu)勢(shì)在于省時(shí)、高效且能克服人工觀測(cè)的主觀性。

由于卷積神經(jīng)網(wǎng)絡(luò)（CNN）具有局部連接，權(quán)重共享以及匯聚的特性，這些特性使其具有一定程度上的平移、縮放和旋轉(zhuǎn)不變形，在圖像和視頻分析任務(wù)上表現(xiàn)突出[13]。近年來(lái)發(fā)展出了包括R-CNN、SPP-Net、Fast R-CNN、Faster R-CNN、YOLO以及SSD算法等，其中YOLO和SSD作為一階檢測(cè)器，其效率更高，在實(shí)時(shí)目標(biāo)檢測(cè)方面具有更強(qiáng)的適用性。而R-CNN、Fast R-CNN以及Faster R-CNN是基于候選區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)，其檢測(cè)性能更優(yōu)，在公開基準(zhǔn)上取得了更好的結(jié)果。Faster R-CNN模型由區(qū)域建議網(wǎng)絡(luò)和Fast R-CNN結(jié)合而成，用區(qū)域建議網(wǎng)絡(luò)代替選擇性搜索算法，解決了技術(shù)區(qū)域建議時(shí)間開銷大的瓶頸問(wèn)題，在識(shí)別速度和精度上都進(jìn)一步提高[14]，被廣泛用于作物特征識(shí)別[15-19]、雜草識(shí)別[20-22]以及遙感、醫(yī)學(xué)等多個(gè)領(lǐng)域的研究[23-24]。

2018年，在寧夏農(nóng)業(yè)氣象服務(wù)體系和農(nóng)村氣象災(zāi)害防御體系項(xiàng)目的支持下，建成了16套枸杞農(nóng)田實(shí)景監(jiān)測(cè)系統(tǒng)。為了充分利用圖像資料，研究枸杞發(fā)育期的自動(dòng)識(shí)別算法，逐步實(shí)現(xiàn)發(fā)育期的自動(dòng)觀測(cè)，本研究探索了枸杞開花期和果實(shí)成熟期的識(shí)別技術(shù)，由于發(fā)育期的觀測(cè)無(wú)需做到實(shí)時(shí)檢測(cè)，只需要對(duì)圖像中的目標(biāo)特征進(jìn)行高精度的檢測(cè)，因此選擇Faster R-CNN技術(shù)。

1 資料與方法

1.1 資料

枸杞圖像資料來(lái)自2018-2019年寧夏16套枸杞農(nóng)田小氣候站上的實(shí)景監(jiān)測(cè)系統(tǒng)，該系統(tǒng)采用高清攝像機(jī)DH-SD-6A9630U，攝像頭有效像素為500萬(wàn)，可以實(shí)現(xiàn)360°水平旋轉(zhuǎn)、0～90°垂直旋轉(zhuǎn)和變焦拍攝。每套監(jiān)測(cè)系統(tǒng)于枸杞生長(zhǎng)季（4月1日-11月15日）每天拍攝10張圖像，圖像拍攝高度為6m，圖像分辨率為2560×1920，圖像文件為24位RGB真彩色JPG格式。拍攝到枸杞開花期和果實(shí)成熟期特征圖像共3000余張，去除鏡頭污損、拍攝視場(chǎng)角度不理想的圖像，最后剩余圖像樣本數(shù)為1210張。為避免參與訓(xùn)練的某類別圖像數(shù)目過(guò)少或過(guò)多而出現(xiàn)欠擬合或過(guò)擬合現(xiàn)象，采用旋轉(zhuǎn)、裁剪、翻轉(zhuǎn)的方法進(jìn)行數(shù)據(jù)增強(qiáng)，保證枸杞開花期和果實(shí)成熟期兩個(gè)類別的圖像樣本數(shù)量均衡，最后得到試驗(yàn)樣本共7260張，其中訓(xùn)練集圖像5808張，測(cè)試集圖像1452張。將數(shù)據(jù)增強(qiáng)后的樣本按照PASCAL VOC2007數(shù)據(jù)集格式進(jìn)行劃分，圖像分辨率為2560×1920，圖像文件為24位RGB真彩色JPG格式。根據(jù)枸杞開花期和果實(shí)成熟期具有的顯著圖像特征，利用labelImg標(biāo)簽工具將所有圖像樣本中的花和果實(shí)作為標(biāo)簽對(duì)象，共標(biāo)出12100朵“花”的標(biāo)簽和11602個(gè)“果實(shí)”標(biāo)簽（圖1）。

1.2 研究方法

攝像頭控制。在攝像頭的有效拍攝范圍內(nèi)選定兩個(gè)區(qū)域，每個(gè)區(qū)域選定連續(xù)排列的5棵枸杞樹，設(shè)定攝像頭拍攝角度，每次拍攝時(shí)都按照設(shè)定的角度對(duì)每棵枸杞樹樹冠進(jìn)行拍攝，每天拍攝1次，每次拍攝10張圖像。

開花期和果實(shí)成熟期資料的獲取采用3種方法。

（1）田間觀測(cè)法。參照《農(nóng)業(yè)氣象觀測(cè)規(guī)范枸杞》[25]，2019年在銀川枸杞研究所觀測(cè)站（Y0200）和中寧石喇叭村觀測(cè)站（Y0211）于枸杞生長(zhǎng)季同步進(jìn)行田間觀測(cè)。田間觀測(cè)選擇與攝像頭拍攝相同的10棵枸杞樹，在每個(gè)觀測(cè)植株上選定2個(gè)枝條作為觀測(cè)枝條。當(dāng)觀測(cè)枝條上出現(xiàn)某一發(fā)育期的特征時(shí)，即認(rèn)為該枝條進(jìn)入此發(fā)育期，地段內(nèi)枸杞群體進(jìn)入發(fā)育期的時(shí)間，按照觀測(cè)的總枝條數(shù)中進(jìn)入發(fā)育期的枝條數(shù)所占的百分率確定，≥50%即為進(jìn)入普遍期。枸杞的發(fā)育期中包含開花與果實(shí)成熟特征的主要發(fā)育期有6個(gè)，即老眼枝開花期（老眼枝上有花開放）、老眼枝果實(shí)成熟期（老眼枝上的青果迅速膨大，變成鮮紅色，有光澤）、夏果枝開花期（夏果枝上有花開放）、夏果成熟期（夏果枝上的青果迅速膨大，變成鮮紅色，有光澤）、秋梢開花期（秋果枝上有花開放）以及秋果成熟期（秋果枝上的青果變紅）。

圖1 枸杞“花”和“果實(shí)”的特征標(biāo)簽

（2）專家目視判斷法。選取Y0200和Y0211兩個(gè)站點(diǎn)的全部圖像，由5名經(jīng)驗(yàn)豐富的專家對(duì)圖像進(jìn)行目視判斷，判斷標(biāo)準(zhǔn)是一張圖像中出現(xiàn)某一發(fā)育期的特征達(dá)到5個(gè)，則認(rèn)為這一棵枸杞樹達(dá)到了這一發(fā)育期的普遍期，某一天的10張圖像中有5張達(dá)到普遍期，則認(rèn)為地段內(nèi)的枸杞群體進(jìn)入該發(fā)育期，綜合各位專家的意見給出專家目視判斷的結(jié)果。

（3）自動(dòng)判識(shí)法。利用Faster R-CNN對(duì)訓(xùn)練集圖像進(jìn)行訓(xùn)練，構(gòu)建枸杞開花期和果實(shí)成熟期自動(dòng)識(shí)別算法，根據(jù)算法對(duì)圖像中開花和果實(shí)成熟的特征進(jìn)行標(biāo)注。該方法的仿真實(shí)驗(yàn)平臺(tái)為GPU服務(wù)器，處理器為Intel Broadwell E5-2650 v4，主頻2.2GHz，128GB內(nèi)存，4TB硬盤，GPU采用NVIDIA Titan XP，運(yùn)行環(huán)境為Ubuntu 16.04.9，Python 2.7，數(shù)學(xué)內(nèi)核庫(kù)MKL 2017版，CUDA 8.0與cuDNN 8.0深層神經(jīng)網(wǎng)絡(luò)庫(kù)，深度學(xué)習(xí)框架采用Caffe。

根據(jù)觀測(cè)經(jīng)驗(yàn)，枸杞樹冠一般修剪為兩層，每層平均10個(gè)枝條，攝像頭由于俯拍的原因能夠拍攝到第一層的10個(gè)枝條。按照觀測(cè)總枝條的50%出現(xiàn)某發(fā)育期的特征作為進(jìn)入普遍期的原則，規(guī)定當(dāng)一張圖像中出現(xiàn)5個(gè)特征點(diǎn)即認(rèn)定這幅圖像拍攝的這棵枸杞樹進(jìn)入了普遍期。拍攝的10幅圖像中，有5幅圖像達(dá)到普遍期即算作觀測(cè)的田塊達(dá)到了普遍期。

由于枸杞的發(fā)育期中，具有開花特征和果實(shí)成熟特征的各有3個(gè)發(fā)育期，利用Faster R-CNN構(gòu)建的開花期和果實(shí)成熟期識(shí)別算法，只能對(duì)特征進(jìn)行識(shí)別，但無(wú)法識(shí)別出是屬于老眼枝的花（或果實(shí)）還是春梢或者秋梢的花（或果實(shí)）。根據(jù)枸杞發(fā)育特征，在判斷不同階段的開花或果實(shí)成熟時(shí)引入時(shí)間序列判斷。從有圖像開始逐日判識(shí)，將第一次判識(shí)出開花普遍期的時(shí)間認(rèn)定為老眼枝開花普遍期，將10張圖像中開花特征為0的時(shí)間作為第一個(gè)節(jié)點(diǎn)，再往后判斷出現(xiàn)開花普遍期時(shí)，認(rèn)定為夏果枝開花普遍期，至10張圖像中開花特征為0的時(shí)間作為第二個(gè)節(jié)點(diǎn)，再往后判斷出現(xiàn)開花普遍期時(shí)，則作為秋梢開花普遍期。同樣的方式用以判斷果實(shí)成熟期的日期。

2 結(jié)果與分析

2.1 基于Faster R-CNN進(jìn)行枸杞開花期和果實(shí)成熟期判斷的關(guān)鍵技術(shù)

2.1.1 Faster R-CNN整體流程

Faster R-CNN主要由RPN網(wǎng)絡(luò)和Fast R-CNN目標(biāo)檢測(cè)組成[26]，VGG16網(wǎng)絡(luò)用于提取候選圖像的特征圖，RPN網(wǎng)絡(luò)用于生成區(qū)域候選框。Fast R-CNN基于RPN提取的候選框檢測(cè)并識(shí)別候選區(qū)域中的目標(biāo)。Faster R-CNN的整體流程共有4個(gè)環(huán)節(jié)（圖2）。

圖2 Faster R-CNN的目標(biāo)檢測(cè)結(jié)構(gòu)

（1）特征提?。篎aster R-CNN首先使用VGG16網(wǎng)絡(luò)提取候選圖像的特征圖，該特征圖被共享用于后續(xù)RPN層和全連接層。

（2）RPN網(wǎng)絡(luò)：RPN網(wǎng)絡(luò)用于生成候選區(qū)域框。該層通過(guò)判斷錨點(diǎn)屬于前景或者背景，再利用邊界框回歸修正錨框獲得精確的候選框。

（3）ROI池化：該層收集輸入的特征圖和候選的目標(biāo)區(qū)域，綜合這些信息后提取目標(biāo)區(qū)域的特征圖，送入后續(xù)全連接層判定目標(biāo)類別。

（4）目標(biāo)分類和回歸：利用目標(biāo)區(qū)域特征圖計(jì)算目標(biāo)區(qū)域的類別，同時(shí)再次利用邊界框回歸獲得檢測(cè)框最終的精確位置。

2.1.2 VGG16網(wǎng)絡(luò)模型

特征圖的提取對(duì)最后的結(jié)果準(zhǔn)確與否至關(guān)重要，VGG16的卷積層和池化層均采用相同的卷積核參數(shù)和池化核參數(shù)，模型由若干卷積層和池化層堆疊的方式構(gòu)成，比較容易形成較深的網(wǎng)絡(luò)結(jié)構(gòu)，具有很強(qiáng)的特征提取能力[27]。該網(wǎng)絡(luò)具有13個(gè)卷積層、13個(gè)激勵(lì)層和4個(gè)池化層（圖3）。其中卷積操作的步長(zhǎng)為1，邊界填充為1，卷積核寬、高為3×3，既保證了卷積前后圖像寬高不變，又可以在提升網(wǎng)絡(luò)深度的同時(shí)避免權(quán)重參數(shù)過(guò)多。池化層采用2×2且步長(zhǎng)為2的最大池化，池化層不影響圖像的通道數(shù)目，但每次池化過(guò)后圖像的寬高都將減半。卷積的通道數(shù)有64、128、256、512個(gè)等級(jí)別，通道數(shù)量表示圖像經(jīng)卷積提取特征后的特征圖數(shù)量。每個(gè)卷積層之后用ReLu激活函數(shù)進(jìn)行非線性變換，此操作不影響特征的寬高及通道數(shù)目。通過(guò)參數(shù)設(shè)置，輸入圖像經(jīng)過(guò)13層卷積和4層池化后得到的輸出特征圖的寬高變?yōu)樵瓐D像的1/16，通道數(shù)目由RGB三通道變?yōu)?12。

圖3 VGG16網(wǎng)絡(luò)結(jié)構(gòu)

2.1.3 試驗(yàn)指標(biāo)評(píng)價(jià)

為了客觀評(píng)價(jià)訓(xùn)練模型的優(yōu)劣，選用平均精確率（AP）和平均精度均值（mAP）作為模型性能的評(píng)價(jià)指標(biāo)。AP是P-R曲線下面的面積，P為精確率，R為召回率。AP是針對(duì)單個(gè)類別，AP值越高分類器分類效果越好。mAP是多個(gè)類別AP的平均值，mAP的取值范圍為[0，1]，mAP越大，說(shuō)明訓(xùn)練出來(lái)的識(shí)別模型目標(biāo)檢測(cè)效果越好。P和R的計(jì)算式為

式中，TP為被正確劃分為正樣本的數(shù)量，F(xiàn)P為被錯(cuò)誤劃分為正樣本的數(shù)量，F(xiàn)N為被錯(cuò)誤劃分為負(fù)樣本的數(shù)量。

2.1.4 網(wǎng)絡(luò)訓(xùn)練

在數(shù)據(jù)集固定的情況下，深度學(xué)習(xí)模型的最終效果取決于超參數(shù)調(diào)節(jié)的好壞。超參數(shù)優(yōu)化是一個(gè)組合優(yōu)化問(wèn)題，無(wú)法像一般參數(shù)通過(guò)自我學(xué)習(xí)不斷調(diào)整，需要進(jìn)行人工或優(yōu)化算法進(jìn)行設(shè)置。使用網(wǎng)格搜索的方式來(lái)調(diào)整優(yōu)化超參數(shù)。為了保證實(shí)際環(huán)境中拍攝的圖像與訓(xùn)練圖像樣本保持一致性，在訓(xùn)練數(shù)據(jù)時(shí)，對(duì)前80% epoch進(jìn)行所有數(shù)據(jù)的訓(xùn)練，后面20% epoch只訓(xùn)練原始數(shù)據(jù)。在學(xué)習(xí)率固定的情況下，選取重要超參數(shù)batch size和iterations按照網(wǎng)格搜索方式尋找最佳參數(shù)組合。其中，學(xué)習(xí)率為0.001，batch size取值范圍為[32，64]，迭代次數(shù)為[10000，20000，30000]。測(cè)試時(shí)，將枸杞開花和果實(shí)成熟特征的提取和分類加載到訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，將分辨率為2560×1920的24位RGB真彩色的枸杞生長(zhǎng)圖像輸入進(jìn)行卷積運(yùn)算，進(jìn)行端到端處理，利用評(píng)價(jià)指標(biāo)對(duì)不同參數(shù)測(cè)試結(jié)果進(jìn)行評(píng)價(jià)，結(jié)果見表1。

由表1可知，基于本研究采用的試驗(yàn)仿真平臺(tái)，在使用VGG16作為特征提取網(wǎng)絡(luò)的基礎(chǔ)上，當(dāng)學(xué)習(xí)率為0.001，網(wǎng)絡(luò)重要超參數(shù)batch size和iterations分別取值64和20000時(shí)，在測(cè)試集上對(duì)花和果實(shí)的識(shí)別效果好于其它參數(shù)。

表1 不同超參數(shù)組合在測(cè)試集上的測(cè)試結(jié)果

注：AP 是平均精確率，mAP是平均精度均值。

Note: AP is Average Precision，mAP is mean Average Precision.

2.2 Faster R-CNN自動(dòng)識(shí)別與田間觀測(cè)結(jié)果對(duì)比分析

對(duì)比2019年Faster R-CNN自動(dòng)識(shí)別的枸杞開花和果實(shí)成熟普遍期結(jié)果與田間觀測(cè)結(jié)果（表2），由表2可知，Y0200站自動(dòng)識(shí)別結(jié)果比田間觀測(cè)結(jié)果整體偏晚2～11d，差異最大的是夏果枝開花期，差異最小的為老眼枝開花期和秋果成熟期。而Y0211站的情況正好相反，自動(dòng)識(shí)別的結(jié)果比田間觀測(cè)記錄結(jié)果整體偏早0～12d，差異最大的是夏果枝開花期，差異最小的為老眼枝果實(shí)成熟期?？梢姡贔aster R-CNN判識(shí)的結(jié)果與田間觀測(cè)結(jié)果在不同發(fā)育期和不同站點(diǎn)表現(xiàn)不一致。分析導(dǎo)致差異的原因，一是判識(shí)對(duì)象不一致，田間觀測(cè)時(shí)不僅明確了每棵枸杞樹，同時(shí)明確了每個(gè)枝條，觀測(cè)不會(huì)因遮擋、隱藏影響觀測(cè)結(jié)果。自動(dòng)識(shí)別算法的判識(shí)對(duì)象是圖像，由于是二維信息無(wú)法解決遮擋的問(wèn)題，當(dāng)出現(xiàn)的特征被遮擋、隱藏?zé)o法拍攝到時(shí)，自動(dòng)判識(shí)結(jié)果比田間觀測(cè)結(jié)果偏晚。二是判識(shí)標(biāo)準(zhǔn)不一致，田間觀測(cè)以出現(xiàn)發(fā)育期特征的枝條數(shù)占觀測(cè)總枝條數(shù)的百分比作為標(biāo)準(zhǔn)，圖像識(shí)別中以一副圖像中出現(xiàn)5個(gè)特征點(diǎn)為標(biāo)準(zhǔn)，兩種方式的可對(duì)比性不強(qiáng)。

表2 2019年枸杞開花期和果實(shí)成熟普遍期自動(dòng)識(shí)別結(jié)果與田間觀測(cè)結(jié)果對(duì)比

注：Y0200為銀川枸杞研究所觀測(cè)站，Y0211為中寧石喇叭村觀測(cè)站。P1、P2、P3、P4、P5和P6分別為老眼枝開花期、老眼枝果實(shí)成熟期、夏果枝開花期、夏果成熟期、秋梢開花期和秋果成熟期?！?”表示沒有得到對(duì)應(yīng)的發(fā)育期日期。下同。

Note: Y0200 is the code of YinchuanResearch Institute Observation Station, Y0211 is the code of Zhongning Shilabacun Observation Station. P1,P2,P3,P4,P5 and P6 are flowering period on the first fruit bearing shoot, fruit maturity on the first fruit bearing shoot, flowering period on the summer fruit bearing shoot, fruit maturity on the summer fruit bearing shoot, flowering period on the autumn fruit bearing shoot, fruit maturity on the autumn fruit bearing shoot, respectively. - means that the corresponding developmental date has not been obtained.The same as below.

由于2019年9月的連陰、降雨天氣導(dǎo)致Y0211站花蕾嚴(yán)重受損，后期未觀測(cè)到秋梢開花普遍期和秋果成熟普遍期，自動(dòng)識(shí)別技術(shù)也未識(shí)別到這兩個(gè)發(fā)育期，兩種方法結(jié)果一致。

2.3 Faster R-CNN自動(dòng)識(shí)別與專家目視判斷結(jié)果對(duì)比分析

對(duì)比2019年Faster R-CNN自動(dòng)識(shí)別的枸杞開花期和果實(shí)成熟普遍期結(jié)果與專家目視判斷結(jié)果（表3），由表3可知，Y0200站自動(dòng)識(shí)別結(jié)果與田間觀測(cè)結(jié)果整體相差2～4d，差異最大的是夏果枝開花期，差異最小的是老眼枝開花期和秋果成熟期。Y0211站自動(dòng)識(shí)別結(jié)果與專家目視判斷結(jié)果相差3～5d。Y0211站由于天氣原因未出現(xiàn)秋梢開花普遍期和秋果成熟普遍期，自動(dòng)識(shí)別技術(shù)也未識(shí)別到這兩個(gè)發(fā)育期，結(jié)果一致。整體上看，自動(dòng)識(shí)別結(jié)果與專家目視判斷的結(jié)果差異明顯縮小，主要原因首先是觀測(cè)對(duì)象一致，兩種方法均從圖像中獲取信息，如果完全遮擋，自動(dòng)識(shí)別和專家目視均無(wú)法判斷，另外，兩種方法的觀測(cè)標(biāo)準(zhǔn)一致。二者依然存在差異的原因是圖像中開花和果實(shí)成熟特征部分被遮擋，專家認(rèn)為是開花或果實(shí)成熟特征，但自動(dòng)識(shí)別會(huì)遺漏，這一點(diǎn)專家的判斷結(jié)果明顯好于自動(dòng)識(shí)別（圖4），自動(dòng)識(shí)別算法在這一點(diǎn)上還需完善。圖4a中，專家目視判斷出的開花特征共6個(gè)，自動(dòng)識(shí)別結(jié)果為4個(gè)，圖4b中，專家目視判斷出的果實(shí)成熟特征共5個(gè)，自動(dòng)識(shí)別結(jié)果為3個(gè)。造成差異的原因都是特征被樹葉或枝條遮擋，自動(dòng)識(shí)別算法未提取到，可見利用VGG16提取的特征還存在缺陷，需要進(jìn)一步完善。

表3 2019年枸杞開花期和果實(shí)成熟普遍期自動(dòng)識(shí)別結(jié)果與專家目視判斷結(jié)果對(duì)比

圖4 Faster R-CNN自動(dòng)識(shí)別與專家目視判斷開花特征和果實(shí)成熟特征結(jié)果

注：紅色邊框?yàn)閷＜夷恳暸袛嘟Y(jié)果，綠色錨點(diǎn)為自動(dòng)判斷結(jié)果。

Note: Red frame is the result of expert visual judgment, green anchor point is the result of automatic judgment.

3 結(jié)論與討論

3.1 結(jié)論

（1）在學(xué)習(xí)率固定的情況下，選取重要超參數(shù)batch size和iterations，按照網(wǎng)格搜索方式尋找最佳參數(shù)組合，當(dāng)batch size和iterations分別取值64和20000時(shí)，在測(cè)試集上對(duì)枸杞花和果實(shí)的識(shí)別效果好于其它參數(shù)。

（2）基于Faster R-CNN自動(dòng)識(shí)別的枸杞開花和果實(shí)成熟普遍期結(jié)果與田間觀測(cè)結(jié)果相差0～12d，導(dǎo)致差異較大的原因一是兩種方法的判識(shí)對(duì)象不同，二是觀測(cè)標(biāo)準(zhǔn)不一致。由于差異無(wú)法從根本上避免，所以難以利用田間觀測(cè)結(jié)果對(duì)自動(dòng)識(shí)別算法進(jìn)行調(diào)整或優(yōu)化。

（3）基于Faster R-CNN自動(dòng)識(shí)別結(jié)果與專家目視判斷結(jié)果相差2～5d，兩種方式都以圖像作為判識(shí)對(duì)象，在判斷標(biāo)準(zhǔn)上也一致，具有更強(qiáng)的可比性，存在差異的主要原因是自動(dòng)識(shí)別算法提取的特征存在缺陷，可以用專家目視判斷的結(jié)果加以優(yōu)化。

3.2 討論

隨著服務(wù)需求的變化和各項(xiàng)技術(shù)的發(fā)展，自動(dòng)觀測(cè)將是農(nóng)業(yè)氣象觀測(cè)發(fā)展的一個(gè)趨勢(shì)?；趫D像識(shí)別技術(shù)的發(fā)育期自動(dòng)判識(shí)如果想要代替現(xiàn)有的田間觀測(cè)，首先需要足夠準(zhǔn)確的算法，還同時(shí)需要一套不同于田間觀測(cè)的規(guī)范和標(biāo)準(zhǔn)。從本研究結(jié)果看，田間觀測(cè)和圖像識(shí)別的結(jié)果有著難以解決的差異，后期應(yīng)該在開展識(shí)別技術(shù)研究的同時(shí)推進(jìn)規(guī)范和標(biāo)準(zhǔn)的制定。

判斷一幅圖像是否達(dá)到某發(fā)育期時(shí)，本研究設(shè)定當(dāng)一幅圖像中具有5個(gè)特征點(diǎn)時(shí)即算作達(dá)到了普遍期，這一點(diǎn)是根據(jù)前期的觀測(cè)經(jīng)驗(yàn)給出的標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)的適用性還需進(jìn)一步討論。另外，本研究認(rèn)為現(xiàn)行的田間觀測(cè)規(guī)范中判斷地段作物群體進(jìn)入發(fā)育期的原則在自動(dòng)觀測(cè)中仍然可以遵循，以觀測(cè)的總圖像數(shù)中進(jìn)入發(fā)育普遍期的圖像數(shù)所占的百分率確定。

[1]王純枝,毛留喜,楊曉光,等.黃淮海地區(qū)冬小麥農(nóng)業(yè)氣象指標(biāo)體系的構(gòu)建[J].氣象與環(huán)境科學(xué),2019,42(1):3-10.

Wang C Z,Mao L X,Yang X G,et al.Construction of agrometeorological index system for winter wheat in HuangHuaiHai region[J].Meteorological and Environmental Sciences,2019,42(1):3-10.(in Chinese)

[2]中國(guó)氣象局.農(nóng)業(yè)氣象觀測(cè)規(guī)范[M].北京:氣象出版社,1993:9-10.

China Meteorological Administration.Specification for agrometeorological observation[M].Beijing:China Meteorological Press,1993:9-10. (in Chinese)

[3]胡萌琦.普及型生態(tài):農(nóng)業(yè)氣象自動(dòng)觀測(cè)方法研究與應(yīng)用[D].南京:南京農(nóng)業(yè)大學(xué),2011.

Hu M Q.Study of universal eco-meteorological and agro-meteorological automatic observation method[D]. Nanjing:Nanjing Agriculture University,2011.(in Chinese)

[4]張雪芬,薛紅喜,孫涵,等.自動(dòng)農(nóng)業(yè)氣象觀測(cè)系統(tǒng)功能與設(shè)計(jì)[J].應(yīng)用氣象學(xué)報(bào),2012,23(1):105-112.

Zhang X F,Xue H X,Sun H,et al.Function and designing of automatic system for agro-meteorology[J].Journal of Applied Meteorological Science,2012,23(1):105-112.(in Chinese)

[5]李濤,吳東麗,胡錦濤,等.基于深度學(xué)習(xí)的玉米抽雄期判識(shí)[J].電子測(cè)量技術(shù),2019,42(11):102-106.

Li T,Wu D L,Hu J T,et al.Maize tasseling period recognition based on deep learning[J].Electronic Measurement Technology,2019,42(11):102-106.(in Chinese)

[6]陸明,申雙和,王春艷,等.基于圖像識(shí)別技術(shù)的夏玉米生育期識(shí)別方法初探[J].中國(guó)農(nóng)業(yè)氣象,2011,32(3):423-429.

Lu M,Shen S H,Wang C Y,et al.Initial exploration of maize phenological stage based on image recognition[J].Chinese Journal of Agrometeorology,2011,32(3):423-429.(in Chinese)

[7]劉闐宇,馮全,楊森.基于卷積神經(jīng)網(wǎng)絡(luò)的葡萄葉片病害檢測(cè)方法[J].東北農(nóng)業(yè)大學(xué)學(xué)報(bào),2018,49(3):73-83.

Liu T Y,Feng Q,Yang S.Detecting grape diseases based on convolutional neural network[J].Journal of Northeast Agricultural University,2018,49(3):73-83.(in Chinese)

[8]劉永娟.基于計(jì)算機(jī)視覺技術(shù)的玉米生育期識(shí)別研究[D].無(wú)錫:江南大學(xué),2017.

Liy Y J.Research on recognition of corn growth period based on computer vision technology[D].Wuxi:Jiangnan University,2017.(in Chinese)

[9]熊俊濤,戴森鑫,區(qū)炯洪,等.基于深度學(xué)習(xí)的大豆生長(zhǎng)期葉片缺素癥狀檢測(cè)方法研究[J/OL].農(nóng)業(yè)機(jī)械學(xué)報(bào),http://kns.cnki.net/kcms/detail/11.1964.S.20191112.0943.004.html.

Xiong J T,Dai S X,Qu J H,et al.Leaf deficiency symptoms detection of soybean based on deep learning[J/OL]. Transactions of the Chinese Society for Agricultural Machinery,http://kns.cnki.net/kcms/detail/11.1964.S.20191112.0943.004.html.(in Chinese)

[10]張博,張苗輝,陳運(yùn)忠.基于空間金字塔池化和深度卷積神經(jīng)網(wǎng)絡(luò)的作物害蟲識(shí)別[J].農(nóng)業(yè)工程學(xué)報(bào),2019,35(19): 209-215.

Zhang B,Zhang M H,Chen Y Z.Crop pest identification based on spatial pyramid pooling and deep convolution neural network[J].Transactions of the CSAE,2019,35(19): 209-215.(in Chinese)

[11]王彥翔,張艷,楊成婭,等.基于深度學(xué)習(xí)的農(nóng)作物病害圖像識(shí)別技術(shù)進(jìn)展[J].浙江農(nóng)業(yè)學(xué)報(bào),2019,31(4):669-676.

Wang Y X,Zhang Y,Yang C Y,et al.Advances in new nondestructive detection and identification techniques of crop diseases based on deep learning[J].Acta Agriculturae Zhejiangensis,2019,31(4):669-676.(in Chinese)

[12]梁胤豪,陳全,董彩霞,等.基于深度學(xué)習(xí)和無(wú)人機(jī)遙感技術(shù)的玉米雄穗檢測(cè)研究[J].福建農(nóng)業(yè)學(xué)報(bào),2020,35(4): 456-464.

Liang Y H,Chen Q,Dong C X,et al.Application of deep-learning and UAV for field surveying corn tassel[J].Fujian Journal of Agricultural,2020,35(4):456-464. (in Chinese)

[13]邱錫鵬.神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)[M].北京:機(jī)械工業(yè)出版社,2020:114.

Qiu X P.Neural networks and deep learning[M].Beijing: China Machine Press,2020:114.(in Chinese)

[14]陳思聰.深度學(xué)習(xí)技術(shù)及在花卉識(shí)別中的應(yīng)用[J].信息與電腦,2019(21):70-72.

Chen S C.Deep learning technology and its application in flower recognition[J].China Computer & Communication, 2019(21):70-72.(in Chinese)

[15]孫哲,張春龍,葛魯鎮(zhèn),等.基于Faster R-CNN的田間西蘭花幼苗圖像檢測(cè)方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2019,50(7): 216-221.

Sun Z,Zhang C L,Ge L Z,et al.Image detection method for broccoli seedlings in field based on faster R-CNN[J]. Transactions of the Chinese Society for Agricultural Machinery,2019,50(7):216-221.(in Chinese)

[16]席芮,姜?jiǎng)P,張萬(wàn)枝,等.基于改進(jìn)Faster R-CNN的馬鈴薯芽眼識(shí)別方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2020,51(4):216-223.

Xi R,Jiang K,Zhang W Z.et al.Recognition method for potato buds based on improved faster R-CNN[J]. Transactions of the Chinese Society for Agricultural Machinery,2020, 51(4):216-223. (in Chinese)

[17]王靜濤,宋文龍,李克新,等.依據(jù)Faster R-CNN的活體植株葉片氣孔檢測(cè)方法[J].東北林業(yè)大學(xué)學(xué)報(bào),2020,48(2): 34-39.

Wang J T,Song W L,Li K X,et al.A Stoma detection method for living plant leaves with faster R-CNN[J]. Journal of Northeast Forestry University,2020,48(2):34-39. (in Chinese)

[18]Shu Q T,Jing P,Hao F L,et al.Passion fruit detection and counting based on multiple scale Faster R-CNN using RGB-D images[J].Agriculture Week,2020,21(11):1072-1091.

[19]李就好,林樂(lè)堅(jiān),田凱,等.改進(jìn)Faster R-CNN的田間苦瓜葉部病害檢測(cè)[J].農(nóng)業(yè)工程學(xué)報(bào),2020,36(12):179-185.

Li J H,Lin L J,Tian K,et al.Detection of leaf diseases of balsam pear in the field based on improved Faster R-CNN[J].Transactions of the CSAE,2020,36(12):179-185. (in Chinese)

[20]李春明,逯杉婷,遠(yuǎn)松靈,等.基于Faster R-CNN的除草機(jī)器人雜草識(shí)別算法[J].中國(guó)農(nóng)機(jī)化學(xué)報(bào),2019,40(12): 171-176.

Li C M,Lu S T,Yuan S L,et al.Weed identification algorithm of weeding robot based on Faster R-CNN[J]. Journal of Chinese Agricultural Mechanization,2019, 40(12):171-176.(in Chinese)

[21]張樂(lè),金秀,傅雷揚(yáng),等.基于Faster R-CNN深度網(wǎng)絡(luò)的油菜田間雜草識(shí)別方法[J].激光與光電子學(xué)進(jìn)展,2020, 57(2): 304-312.

Zhang L,Jin X,Fu L Y,et al.Recognition approaches of weeds in rapeseed field based on Faster R-CNN deep network[J].Laser & Optoelectronics Progress,2020,57(2): 304-312.(in Chinese)

[22]彭明霞,夏俊芳,彭輝.融合FPN的Faster R-CNN復(fù)雜背景下棉田雜草高效識(shí)別方法[J].農(nóng)業(yè)工程學(xué)報(bào),2019, 35(20):202-209.

Peng M X,Xia J F,Peng H.Efficient recognition of cotton and weed in field based on Faster R-CNN by integrating FPN[J].Transactions of the CSAE,2019,35(20):202-209.(in Chinese)

[23]Wang J W,Luo H B,Yu P F,et al.Small objects detection in UAV aerial images based on improved Faster R-CNN[J]. Journal of Measurement Science and Instrumentation, 2020,1(11):11-16.

[24]周兵,李潤(rùn)鑫,尚振宏,等.基于改進(jìn)的Faster R-CNN目標(biāo)檢測(cè)算法[J].激光與光電子學(xué)進(jìn)展,2020,57(10):105-112.

Zhou B,Li R X,Shang Z H,et al.Object detection algorithm based on improved Faster R-CNN[J].Laser & Optoelectronics Progress,2020,57(10):105-112.(in Chinese)

[25]劉靜,馬力文,李潤(rùn)懷,等.農(nóng)業(yè)氣象觀測(cè)規(guī)范枸杞:QX/T 282-2015[S].中國(guó)氣象局,2015.

Liu J,Ma L W,Li R H,et al.Specification for agrometeorological observation:QX/T 282-2015[S].China Meteorological Administration,2015. (in Chinese)

[26]Ren S Q,He K M,Girshick R,et al.Faster R-CNN:towards real-time object detection with region proposal networks[J]. Transactions on Pattern Analysis and Machine Intelligence, 2017,39(6):1137-1149.

[27]Simonyan K,Zisserman A.Very deep convolutional networks for large-scale image recognition[J/OL]. ComputerScience,2014 [2014-09-01]. https://arxiv.org/abs/ 1409.1556.

Automatic Identification Technology ofFlowering Period and Fruit Ripening Period Based on Faster R-CNN

ZHU Yong-ning1，3，4, ZHOU Wang2, YANG Yang1，3，4, LI Jian-ping1，3，4, LI ,Wan-chun1，3，4, JIN Hong-wei2, FANG Feng2

（1.Key Laboratory for Meteorological Disaster Monitoring and Early Warning and Risk Management of Characteristic Agriculture in Arid Regions, CMA, Ningxia Yinchuan 750002, China; 2. Aerospace Newsky Technology Co.Ltd, Wuxi 214000; 3. Key Laboratory of Meteorological Disaster Prevention and Reduction of Ningxia, Yinchuan 750002; 4.Ningxia Meteorological Science Institute, Yinchuan 750002）

From 2018 to 2019, 16 sets offarmland monitoring systems had been built in Ningxia. Each system took 10 images every day, and over 30,000 images of the growth oftrees were taken in two years. To study the recognition technology of the flowering period and fruit ripening period ofbased on these images, three methods were used in this paper to judge the developmental stage of. The first one was the field observation method. In this method, two fields where the real-life monitoring system was installed were selected, and thetrees in the two fields were manually observed once in every two days during the growing season. Thetrees selected by manual observation should be consistent with the ones photographed by the farmland monitoring systems. The second method was expert visual judgment, in which 5 experienced experts were invited to judge all the images. The judgment standard was as follows. If there were 5 features in a certain developmental period in an image, it was considered that thistree had reached the universal period of this developmental period. If 5 out of 10 images on a certain day reached the universal period of this developmental period, it was considered that thepopulation in the filed had entered this developmental period. Based on the opinions of the experts, the result of the expert visual judgment was given. The third method is the automatic recognition method. In this method, more than 3000 images with characteristics offlowering and fruit ripening were screened out from all the images. Removed the images with lens fouling or unsatisfactory field of view, and finally, the number of remaining image samples was 1210. To avoid the phenomenon of underfitting or overfitting due to too few or too many images of a certain category involved in training, rotation, cropping and flipping were used for data enhancement. The data enhanced samples were divided according to the format of the PASCAL VOC2007 data set. Finally, a total of 7260 experimental samples were obtained, including 5808 images in the training set and 1452 images in the test set. According to the significant image characteristics ofin the flowering and fruit ripening periods, the labelImg label tool was used to label all the flowers and fruits in the image samples, marking 12100 ‘flower’ labels and 11602 ‘fruit’ labels. Then, faster region-based convolutional neural network (Faster R-CNN) was utilized to train and classify the selected images, and to construct the algorithm for identifying the flowering period and fruit ripening period of. In the constructed algorithm, the judgment standard was the same as that in the second method, and the time series judgment was introduced when judging the different stages of flowering or fruit ripening. Taking AP and mAP as the evaluation indicators of the automatic recognition model, the results showed that the mAP value could reach 0.74 on the test set when the important hyperparameters batch size and the number of iterations in the network structure were set to be 64 and 20000 respectively, which outperforms other hyperparameters setting. Comparing the results of the three methods, it could be found that the difference between the automatic recognition results and the field observation records during the same period was 0-12 days. The main reason for the difference was that the observation objects and standards of the two methods were inconsistent. The observation object of the automatic recognition method was a two-dimensional image, and it could not be judged when the feature was occluded. The object of field observation is thetree, which is not affected by occlusion. Besides, the standards of these two methods were different. The standard of the automatic recognition method was based on the number of feature points observed in the image, while the field observation method was based on the ratio of the observed feature points to the expected feature points of thetree that could not be obtained in the automatic recognition method. The difference between the two methods could not be eliminated fundamentally, so it was difficult to optimize the automatic recognition algorithm using the results of the field observations method. The comparison results also showed that the difference between the automatic recognition results and the expert visual judgments was within 2-5d. The judgment objects and standards of these two methods were consistent, so the results were highly comparable. The results of expert visual judgment could be used as the verification standard to optimize and adjust the automatic recognition method.

；Flowering period recognition; Fruit ripening period recognition; Growth stages recognition；Faster R-CNN；Automatic image recognition

10.3969/j.issn.1000-6362.2020.10.006

朱永寧,周望,楊洋,等.基于Faster R-CNN的枸杞開花期與果實(shí)成熟期識(shí)別技術(shù)[J].中國(guó)農(nóng)業(yè)氣象,2020,41(10):668-677

2020-05-20

周望，E-mail：zhou.wang@js1959.com

中國(guó)氣象局旱區(qū)特色農(nóng)業(yè)氣象災(zāi)害監(jiān)測(cè)預(yù)警與風(fēng)險(xiǎn)管理重點(diǎn)實(shí)驗(yàn)室開放研究基金（CAMF-201813）；第四批寧夏青年科技人才托舉工程項(xiàng)目（TJGC2019058）；寧夏回族自治區(qū)重點(diǎn)研發(fā)計(jì)劃（2019BEH03008）；寧夏回族自治區(qū)重點(diǎn)研發(fā)項(xiàng)目（2017BY080）

朱永寧，E-mail：zhuyongning.007@163.com