基于YOLOv5s模型的小麥品種(系)穗數(shù)檢測

臧賀藏，趙晴，周萌，曹廷杰，張杰，李國強，鄭國清

(1. 河南省農(nóng)業(yè)科學院農(nóng)業(yè)經(jīng)濟與信息研究所/農(nóng)業(yè)農(nóng)村部黃淮海智慧農(nóng)業(yè)技術重點實驗室，河南 鄭州 450002；2. 河南省農(nóng)業(yè)科學院小麥研究所，河南 鄭州 450002)

小麥是我國重要的糧食作物，全世界約35%～40%的人口以小麥為主食[1－3]。2021年，我國小麥種植面積2 291.1 萬公頃，產(chǎn)量1.34 億噸，是世界最大的小麥生產(chǎn)國[4]。小麥產(chǎn)量由單位面積穗數(shù)、每穗粒數(shù)和粒重構成[5，6]，及時準確獲取穗數(shù)可為小麥產(chǎn)量估測和品種評價提供科學依據(jù)。在實際生產(chǎn)中，小麥穗數(shù)的獲取主要以人工實地調(diào)查為主，即選取一定長度的小麥樣段，人工調(diào)查穗數(shù)，然后根據(jù)整片區(qū)域小麥的平均行距，推算單位面積小麥穗數(shù)。這種方法存在主觀性強、隨機性強、缺乏統(tǒng)一標準等弊端，費時費力、效率低，而且不能實時、快速地獲取統(tǒng)計結果。

隨著機器視覺技術的快速發(fā)展，圖像處理技術在病蟲害檢測[7－11]、表型參數(shù)監(jiān)測[12－14]以及產(chǎn)量預測[15－17]方面得到了廣泛應用，目前在小麥穗數(shù)識別和數(shù)量檢測方面也有一些研究，如杜穎等[2]在無氮、低氮、正常氮和高氮4 個氮水平下，基于超像素分割和顏色特征，快速準確地統(tǒng)計出大田小麥穗數(shù)；高姻燕等[18]基于YOLOv3 對無人機航拍得到的典型田間小麥穗數(shù)圖像進行檢測，實現(xiàn)了小麥穗數(shù)及時高效地估測；劉哲等[19]提出一種基于改進的Bayes 摳圖算法的麥穗小穗自動計數(shù)方法，可以實現(xiàn)小麥小穗數(shù)的高效、自動計數(shù)；鄧國強等[20]采用數(shù)碼相機獲取人工接種赤霉病菌的麥穗圖像，然后基于改進的U－net 模型對標記好的發(fā)病麥穗圖像進行訓練，可以很好地識別與監(jiān)測小麥赤霉病穗。但以往研究多集中于不同栽培管理措施下的小麥穗數(shù)識別，且應用YOLOv5s 訓練模型對小麥品種(系)穗數(shù)識別和統(tǒng)計的研究報道甚少。鑒于科研人員便于攜帶、易操作的需求，本研究利用智能手機進行麥穗圖像采集，然后針對密度高、遮擋及交叉重疊嚴重導致的麥穗檢測錯誤和漏檢等問題，以2020—2021年度參加國家冬小麥黃淮南片水地組區(qū)域試驗的82 個小麥品種(系)為材料，通過目標檢測手段YOLOv5s 獲得訓練模型，實現(xiàn)麥穗的自動識別和數(shù)量統(tǒng)計，以期為田間小麥品種(系)穗數(shù)統(tǒng)計和產(chǎn)量估測提供技術支撐。

1 材料與方法

1.1 試驗地概況

供試材料為參加2020—2021年度國家冬小麥黃淮海南片水地組區(qū)域試驗的82 個小麥品種(系)，種植于河南省農(nóng)業(yè)科學院河南現(xiàn)代農(nóng)業(yè)研究開發(fā)基地。該地位于北緯35°0′44″、東經(jīng)113°41′44 ″，屬暖溫帶大陸性季風氣候，年平均氣溫為14.4℃，多年平均降雨量為549.9 mm，全年日照時數(shù)2 300～2 600 h，小麥—玉米輪作為該地區(qū)的主要種植模式。

試驗共設有501 個小區(qū)，隨機區(qū)組排列，3 次重復；每個小區(qū)種植6 行小麥，小區(qū)面積12 m2。播種日期為2020年10月9 日，種植密度195 萬株/hm2。試驗田管理措施高于普通大田。

1.2 數(shù)據(jù)采集與數(shù)據(jù)集構建

1.2.1 公開數(shù)據(jù)集 由于人工標記抽穗期圖像工作量較大，因此從Global Wheat Challenge 2021(https:/ /www.aicrowd.com/challenges/global-wheatchallenge-2021)提供的公開數(shù)據(jù)集中篩選出拍攝清晰無遮擋的2 583 幅圖像，圖像分辨率為1 024像素×1 024 像素，用作模型訓練集和驗證集的樣本圖像分別為2 325 幅和258 幅，部分圖像示例如圖1 所示。

圖1 全球小麥數(shù)據(jù)集中部分圖像示例

1.2.2 圖像數(shù)據(jù)采集 于2021年4月19 日上午10 時、天氣晴朗無云時，使用智能手機Honor 20 pro 拍攝正處于抽穗期的麥穗圖像。拍攝時將智能手機固定在手持拍攝桿上，于小麥冠層上方50 cm 處垂直拍攝。篩選出拍攝清晰無遮擋的360幅圖像作為測試集，圖像分辨率為960 像素×720像素。

1.2.3 數(shù)據(jù)集構建和標注 為了獲得更好的圖像檢測結果，利用標注工具Labelimg 對麥穗圖像進行紅色方框標注，即在每個麥穗位置標記一個紅色方框。標注結果可以保存為YOLO 系列的.CSV文件，包括train/box＿loss、train/obj＿loss、train/cls＿loss、precision、recall、mAP＿0.5、mAP＿0.5:0.95、val/box＿loss、val/obj＿loss、val/cls＿loss、x/lr0、x/lr1、x/lr2。

1.3 模型構建

1.3.1 YOLOv5s 訓練模型網(wǎng)絡結構 YOLO 系列是單階段目標檢測具有代表性的算法，其中YOLOv5 網(wǎng)絡模型在YOLOv4 基礎上進行了改進，主要包括YOLOv5s、YOLOv5m、YOLOv5l 和YOLOv5x 四個版本，而YOLOv5s 具有運行速度快、靈活性高的特點，在模型快速部署上具有較強的優(yōu)勢，檢測速度在四個版本中最快[21]。與其他3 個版本比較，YOLOv5s 是YOLOv5 模型中體積最小的網(wǎng)絡模型，具有深度最淺和寬度最窄的優(yōu)勢，可以更好地滿足實時性需求，所需消耗的參數(shù)量和計算量最小。

本研究即采用YOLOv5s 進行訓練模型構建，由輸入端(Input)、主干網(wǎng)絡(Backbone)、頸部(Neck)、頭部(Head)和輸出端(Output)五部分組成，網(wǎng)絡結構如圖2 所示。輸入端輸入的圖像尺寸為640×640×3，采用Mosaic 數(shù)據(jù)增強、Anchor自適應錨框計算和圖像縮放等策略對圖像進行預處理。在YOLOv5 中使用CSPDarknet53 作為模型的主干網(wǎng)絡，包括Focus 模塊、Conv 模塊、C3 模塊和SPP 模塊，其作用是從輸入圖像中提取豐富的語義特征；頸部采用FPN 和PAN 生成特征金字塔，用來增強對多尺度目標的檢測；頭部是對從頸部傳遞來的特征進行預測，并生成3 個不同尺度的特征圖。

圖2 YOLOv5s 算法網(wǎng)絡結構

1.3.2 YOLOv5s 主干網(wǎng)絡模塊 YOLOv5s 主干網(wǎng)絡結構示意圖如圖3 所示。

圖3 YOLOv5s 網(wǎng)絡中主干網(wǎng)絡模塊結構示意圖

Conv 模塊的結構為Conv2d＋BN＋SiLU，依次是卷積層、歸一化操作和激活函數(shù)。

Focus 模塊的目的是減少模型的計算量，加快網(wǎng)絡的訓練速度。首先將輸入大小為3×640×640 的圖像切分成4 個切片，每個切片的大小為3×320×320。然后使用拼接操作將4 個切片通過通道維度拼接起來，得到的特征圖尺度為12×320×320。再經(jīng)過一次卷積操作，最終得到32×320×320 的特征圖。

C3 模塊由兩個分支組成，在第一條分支中輸入的特征圖要通過3 個連續(xù)的Conv 模塊和多個堆疊的Bottleneck 模塊；在第二條分支中，特征圖僅通過一個Conv 模塊，最終將兩個分支按通道拼接在一起。其中，Bottleneck 模塊可更好地提取目標的高級特征，主要由兩個連續(xù)的卷積操作和一個殘差操作組成。

SPP 模塊是空間金字塔池化模塊，用來擴大網(wǎng)絡的感受野。在YOLOv5s 中SPP 模塊的輸入特征圖大小為512×20×20，通過一個Conv 模塊后通道數(shù)減半；然后對特征圖使用卷積核分別為5×5、9×9、13×13 的最大池化操作，并將3 種特征圖與輸入特征圖按通道拼接后再通過一個Conv 模塊，最終輸出的特征圖大小為512×20×20。

1.4 模型訓練

試驗選用Intel(R) Core(TM) i7－10600 CPU ＠2.90GHz，GPU 選擇NVIDIA GeForce RTX3090，顯存24GB，使用PyTorch1.10 作為深度學習框架。

將訓練集、驗證集和測試集圖像的尺寸統(tǒng)一調(diào)整為640 像素×640 像素，并分為多個批次，遍歷所有批次后完成一次迭代。優(yōu)化器選擇SGD，設置初始學習率為0.01，隨著迭代次數(shù)增加降低學習率至0.001。

1.5 模型驗證

為了驗證模型檢測精度，隨機抽取10 幅圖像，基于統(tǒng)一的麥穗計數(shù)標準，挑選具有相關農(nóng)學背景的2 名人員分別對每幅圖像中的麥穗進行計數(shù)，取平均值作為該圖像對應的小麥穗數(shù)測量值。

1.6 評價指標

為評估YOLOv5s 模型檢測效果，采用精準率(precision，P)、召回率(recall，R)、平均精度均值mAP(mean average precision)和F1 值(F1－Score)作為評價小麥穗數(shù)檢測模型性能的指標。計算公式如下:

式中TP 指正確檢測出的圖像中小麥麥穗數(shù)量；FP 指誤把圖像中背景識別為小麥麥穗的數(shù)量；FN 指未正確識別出的小麥麥穗數(shù)量；P(k)表示可以識別k 幅圖像的精度；dR(k)表示識別的圖像數(shù)量從k 改變時召回率的變化。

2 結果與分析

2.1 模型檢測效果

利用YOLOv5s 訓練模型對不同小麥新品種(系)麥穗圖像進行檢測，結果如圖4 所示，圖中紅色框標注即為YOLOv5s 訓練模型對麥穗識別的結果。通過與原始圖像對比發(fā)現(xiàn)，YOLOv5s 訓練模型可以較好地檢測出紅色方框中特別小的麥穗，麥穗邊界框回歸也更精準，有效提高了對小目標的檢測精度，較好地解決了麥穗的遮擋和重疊問題，提高了麥穗計數(shù)的準確率。

圖4 小麥穗部圖像檢測結果

2.2 模型訓練結果

由圖5 可以看出，經(jīng)過60 次訓練，最終模型的精準率為96.47%，召回率為93.98%，mAP 為0.971，損失值降至0.03，說明該模型準確率、召回率較高，損失值較低，達到了收斂。

圖5 訓練結果

2.3 模型檢測結果驗證

為驗證YOLOv5s 模型在小麥品種(系)麥穗計數(shù)上的準確率，隨機抽取10 幅圖像，人工統(tǒng)計麥穗數(shù)量，并將兩種方法的統(tǒng)計結果進行對比分析，結果(表1)顯示，利用YOLOv5s 模型檢測的準確率在94.39%～96.55%，平均95.60%，誤差為3.45～5.61，精度較高，且對每幅圖像的檢測平均耗時0.07s，檢測效率遠高于人工統(tǒng)計。

表1 人工統(tǒng)計與YOLOv5 模型統(tǒng)計結果對比

3 討論與結論

穗數(shù)是決定小麥產(chǎn)量的重要表型性狀，根據(jù)影像資料進行麥穗檢測是小麥表型研究的熱點[22]?；跓o人機數(shù)碼圖像的小麥穗數(shù)監(jiān)測主要采用目標檢測方法獲取小麥穗的數(shù)量和幾何圖形[23－25]。Fernandez-Gallego 等[26]采用深度學習算法基于小麥穗部熱圖進行麥穗計數(shù)。鮑文霞等[27]基于數(shù)碼相機拍攝的田間小麥穗部圖像，采用遷移學習方法，構建了麥穗計數(shù)函數(shù)模型，實現(xiàn)了田間麥穗的計數(shù)。范夢揚等[28]利用部署于田

間的攝像頭采集小麥穗的低分辨率群體圖像，并采用支持向量機法獲取了圖像中的麥穗數(shù)量。陳佳瑋等[29]采用輕量級深度學習技術構建了安卓手機智能化分析軟件，利用安卓智能手機俯拍小麥圖像，可離線識別圖像中的麥穗數(shù)量。

本研究基于YOLOv5s 訓練模型，利用智能手機拍攝的圖像，完成了小麥新品種的麥穗數(shù)量檢測，模型檢測精準率、召回率和平均精度均值分別為96.47%、93.98%和0.971，單幅圖像平均檢測時間為0.07 s，與人工基于圖像的統(tǒng)計結果相比，準確率達到95.60%，取得了較好的檢測效果與泛化特性。表明YOLOv5s 訓練模型在復雜田間環(huán)境中的適用性較高，能較好地解決小麥穗的遮擋和重疊問題，從而高效、準確地檢測出小麥穗數(shù)，可為實際生產(chǎn)中小麥穗計數(shù)及產(chǎn)量估測提供技術參考。

隨著深度學習技術的快速發(fā)展，使用現(xiàn)有卷積神經(jīng)網(wǎng)絡進行小麥穗數(shù)檢測的精度已經(jīng)不能滿足科研人員的需求。在今后的研究方向中，本課題組將根據(jù)小麥穗數(shù)檢測任務的特征，進一步優(yōu)化卷積神經(jīng)網(wǎng)絡結構，使用擬合度更高的數(shù)據(jù)集，以實現(xiàn)對小麥穗數(shù)更高精度的識別。