基于FCN網(wǎng)格定位和特征融合的水培生菜幼苗狀態(tài)檢測方法

關(guān)鍵詞：水培生菜；深度學習；目標檢測；FCN；特征融合

中圖分類號：S126 文獻標識碼：A 文章編號：2095-1795（2023）05-0039-08

DOI： 10.19998/j.cnki.2095-1795.2023.05.008

0引言

育苗是水培種植過程中的核心環(huán)節(jié)，秧苗的質(zhì)量會直接影響水培蔬菜的產(chǎn)量和品質(zhì)。在水培蔬菜的實際育苗過程中，幼苗分揀是一個不可或缺的步驟，通常需要人工對問題幼苗進行分揀，并且只能分揀1次，目前主要依靠人力完成，勞動強度較大、所需時間長、人工成本高。水培蔬菜問題幼苗狀態(tài)的檢測是提高育苗效率的關(guān)鍵環(huán)節(jié)之一，而人工分揀存在一定的偶然性、誤判性和間歇性。同時，當前已存在自動播種機、自動幼苗移栽機，但現(xiàn)有的農(nóng)業(yè)機械未能自動識別幼苗狀態(tài)。因此，實現(xiàn)對問題幼苗狀態(tài)的自動檢測，及時去除問題幼苗，提高育苗成功率，降低人力成本，有助于推進育苗分揀智能化。

隨著設(shè)施蔬菜產(chǎn)業(yè)的不斷發(fā)展，蔬菜育苗方式逐漸向集約化和工廠化模式轉(zhuǎn)化。物聯(lián)網(wǎng)、區(qū)塊鏈和人工智能等信息技術(shù)的快速發(fā)展，計算機視覺技術(shù)不斷創(chuàng)新，取得新突破，為實現(xiàn)育苗自動化及育苗設(shè)備的智能化提供了良好的技術(shù)條件?；谟嬎銠C視覺技術(shù)的方法具有直觀、無損的特點，近年來許多研究人員將其應用于幼苗識別與檢測領(lǐng)域。早期的幼苗檢測研究主要從圖像中提取顏色、紋理和形態(tài)等特征，并根據(jù)不同的特征對目標進行區(qū)分。YU Zhenghong等提出了一種作物分割方法AP-HI，能夠較好地自動檢測出玉米幼苗的出苗期和三葉期，該方法取得了96.68%的檢測精度。LI Hongwei等采用Lab顏色模型結(jié)合Otsu方法提取水稻幼苗信息，提出一種以幼苗葉尖為端點的幼苗檢測算法，實現(xiàn)了93.5%的檢測精度。JIN Xin等采用模糊C均值算法檢測盆栽幼苗的高通量圖像信息，實現(xiàn)了對幼苗個體的分割和幼苗空位的識別。這些方法主要基于作物顏色、形狀、紋理、光譜和位置等特征的一種或多種組合實現(xiàn)幼苗識別與檢測，計算簡單、效率高，但不能較好地適應復雜的環(huán)境條件，而且都是建立在手工特性和淺層的訓練架構(gòu)，方法性能容易停滯，對噪聲敏感，魯棒性低。

深度學習是機器學習的一個分支，由多個處理層組成的計算模型來學習多個抽象層次的數(shù)據(jù)表示，利用數(shù)據(jù)本身特點進行自我學習，具有較強的圖像數(shù)據(jù)表征能力，克服了傳統(tǒng)視覺方法的局限性，其中最具代表性的模型之一是卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN），目前廣泛應用于計算機視覺領(lǐng)域。從2012年開始，研究人員們提出了一系列具有代表性的CNN模型，包括AlexNet、VGG、GoogLeNet和ResNet等。近年來，深度學習方法已廣泛應用于幼苗檢測領(lǐng)域。JIANG Y等采用卡爾曼濾波的Inception ResNet v2特征提取器與Faster R-CNN目標檢測器相結(jié)合，用于對棉花幼苗進行單幀檢測和視頻跟蹤，實現(xiàn)了田間高通量的幼苗計數(shù)，取得了98.0%的判定系數(shù)。孫哲等采用Faster R-CNN模型，引入Dropout優(yōu)化網(wǎng)絡的超參數(shù)，實現(xiàn)了對田間西蘭花幼苗圖像的檢測，取得了91.73%的平均精度。胡文澤等提出基于Cascade R-CNN的玉米幼苗檢測方法，取得了91.76%的平均檢測精度。孟慶寬等提出了一種輕量二階段檢測模型的自然環(huán)境多類蔬菜幼苗識別方法，取得了97.47%的識別精度。上述研究表明，深度學習方法應用于幼苗檢測領(lǐng)域的技術(shù)可行性和有效性，可改善傳統(tǒng)方法的不足，具有提高水培生菜幼苗狀態(tài)檢測效果的潛力。然而，上述方法的主要研究對象是棉花、西蘭花和玉米幼苗的檢測，大多數(shù)目標的尺寸直觀、分布稀疏。因此，上述方法是否適用于小目標和密集的水培生菜幼苗圖像，試驗效果有待驗證。針對水培生菜幼苗狀態(tài)檢測方面，在此前工作中，LI Zhenbo等提出了一種基于改進Faster R-CNN的水培生菜幼苗自動檢測方法，實現(xiàn)了86.2%的平均檢測精度。但處于雙株狀態(tài)下的幼苗與死亡狀態(tài)相比，檢測精度存在差距。

在上述研究的基礎(chǔ)上，本研究從提高雙株狀態(tài)水培生菜幼苗狀態(tài)檢測精度出發(fā)，展開進一步的研究與探討。以育苗海綿板孔洞內(nèi)的幼苗問題狀態(tài)作為研究對象，提出一種基于全卷積網(wǎng)絡（Fully Convolutional Network，F(xiàn)CN）網(wǎng)格定位和特征融合的水培生菜幼苗狀態(tài)檢測方法。該方法改變傳統(tǒng)的邊框回歸方式，利用FCN的位置敏感特性，采用FCN網(wǎng)格定位獲取網(wǎng)格點精確的空間信息。同時，結(jié)合特征融合策略，整合相鄰網(wǎng)格點的特征，充分利用不同網(wǎng)格點間的相關(guān)性，提高模型的檢測精度。

1問題幼苗狀態(tài)檢測方法

1.1模型結(jié)構(gòu)

識別精度是水培生菜問題幼苗狀態(tài)檢測的一個重要指標，可明確反映幼苗的生長狀況，為苗種選擇提供數(shù)據(jù)支撐。本研究在基于改進Faster R-CNN的水培生菜幼苗自動檢測方法的基礎(chǔ)上，借鑒FCN的位置敏感特性，改變邊框回歸方式，同時結(jié)合特征融合策略，加強特征間的空間信息，實現(xiàn)對水培生菜幼苗不同狀態(tài)的高精度檢測，同時預測問題幼苗類別的置信度。基于FCN和特征融合的水培生菜問題幼苗狀態(tài)檢測模型主要由水培生菜幼苗圖像的特征提取、區(qū)域建議框的生成、幼苗問題狀態(tài)分類和邊界框回歸組成，模型結(jié)構(gòu)如圖1所示。

（1）特征提取。該模塊選擇HRNet（High Resolution Network）作為特征提取網(wǎng)絡，在整個特征提取過程中，始終保持高分辨率表示，不斷融合不同分辨率大小的特征圖，獲得語義表達能力強、信息豐富的圖像特征表示。

（2） RPN網(wǎng)絡。經(jīng)過端到端的訓練，生成處于死亡和雙株狀態(tài)的水培生菜幼苗的目標候選框，同時通過分類器執(zhí)行分類任務，比較每個候選框的置信度得分，判斷候選框?qū)儆谇熬盎虮尘?，該模型沿用了Focal Loss作為分類損失。同時，利用錨框回歸得到問題幼苗狀態(tài)的候選框邊界框。

（3）RoI Align。根據(jù)輸入圖像，將RoI區(qū)域映射到特征圖的對應位置，將各種維度不同的RoI變換成相同維度的特征。

（4）幼苗狀態(tài)分類和邊界框回歸。在經(jīng)過RoI Align層之后，獲得了相同維度的特征，目標框的分類仍沿用了Faster R-CNN中的方式。目標框的回歸則引入基于FCN的網(wǎng)格定位模塊，同時結(jié)合特征融合策略，用以提升水培生菜問題幼苗狀態(tài)檢測的精度。

1.2 FCN網(wǎng)格定位模塊

傳統(tǒng)的邊框定位模塊是一個回歸分支，主要是通過設(shè)計幾個全連接層，在高層特征圖中預測候選框的偏移量，如圖2a所示。由于全連接層的存在，高層特征圖會被處理為一個高維向量，但這種方式會減弱特征間的空間信息。而FCN網(wǎng)絡恰恰具有位置敏感性，因此在邊框回歸模塊，采用將目標回歸區(qū)域劃分為網(wǎng)格，并利用FCN來預測網(wǎng)格點的位置，如圖2b所示，以便更好地保留特征的空間信息，并獲得像素級的網(wǎng)格點位置。

基于FCN網(wǎng)格定位模塊設(shè)計了一個N×N的網(wǎng)格形式，用于在目標邊界框進行目標點的對齊，具體實現(xiàn)如圖3所示。以3x3網(wǎng)格形式為例，每個建議框的特征由一個固定空間大小為14×14的RoI Align操作進行提取，此后采用8個3×3大小的擴張卷積來擴大感受野，2個反卷積層來獲取分辨率為56像素×56像素的特征圖。網(wǎng)格點預測分支會輸出3×3個分辨率為56像素×56像素的熱力圖，同時在每個熱力圖上采用像素級分類得到概率分布圖。此外，在訓練過程中，每張熱力圖均有與之對應的監(jiān)督圖，并通過二值交叉損失進行優(yōu)化。

2幼苗狀態(tài)自動檢測試驗

2.1試驗平臺及數(shù)據(jù)

試驗平臺的軟件環(huán)境為Ubuntu 18.04 LTS 64位系統(tǒng)，選用Python 3.7進行編程，深度學習框架為Pytorch 1.5，搭載Intel（R）Xeon（R） CPU E5-2683 V3處理器和NVIDIA Tesla Vl00 GPU。試驗圖像數(shù)據(jù)仍沿用此前研究中水培生菜幼苗數(shù)據(jù)集，數(shù)據(jù)總量3 120張。

2.2模型參數(shù)設(shè)置

模型的特征提取網(wǎng)絡采用在ImageNet數(shù)據(jù)集上預訓練的HRNet分類模型參數(shù)進行初始化，其他新的參數(shù)采用MSRA進行初始化。在RPN中，每幅圖像中有256個正負樣本比例為1：1的錨點，錨框中包括5種尺度和3種寬高比，正負錨框的IoU閾值分別為0.7和0.3。在分類分支中，將與真值交并比gt;0.5的RoIs會被設(shè)置為正樣本。該模型均采用RoI Align在類別分類和網(wǎng)格分支，但池化尺寸有所不同，類別分類和網(wǎng)格分支的尺寸分別為7×7和14×14。

在模型訓練階段，采用自建的水培生菜幼苗圖像數(shù)據(jù)進行訓練，選用SGD優(yōu)化器優(yōu)化訓練損失，動量為0.9，權(quán)重衰減為1.0×10^-4，設(shè)置隨機種子個數(shù)為100。此外，在模型訓練過程中，將樣本數(shù)設(shè)置為4。同時，學習率采用了熱身策略，即初始學習率為3.394×10^-5，經(jīng)過3665次迭代后，逐漸提升到2.5×10^-3的線性增加策略。同樣，RPN中的分類損失依然采用Focal Loss分類損失，超參數(shù)γ和α分別設(shè)置為2和0.25。在整體訓練過程中，一共采用了25個epoch，每個epoch保存1次，選取訓練達到收斂且檢測精度最高的模型作為最終的檢測模型。在模型測試階段，RPN階段為每張圖像生成1000個RoI區(qū)域，這些RoI區(qū)域特征將通過RoI Align層和類別分類分支處理，生成類別置信度得分，并采用閾值為0.5的NMS方法，選取置信度得分最好的100個RoI區(qū)域。此后，將篩選出的這些RoI區(qū)域的特征，輸入到網(wǎng)格分支進行位置預測。

2.3評價指標

為了驗證模型的可靠性和穩(wěn)定性，客觀評價水培生菜幼苗狀態(tài)檢測模型的泛化性能，采用精確率P（Precision）、召回率R（Recall）、準確率Accuracy和檢測精度AP（Average Precision）作為模型性能對量指標。其中，P、R、Accuracy和AP按式（4）、式（5）、式（6）和式（7）計算。

AP——P-R曲線的面積，用于反映不同召回率下的準確率

在本研究應用場景下，水培蔬菜幼苗的雙株或死亡狀態(tài)為正樣本，其他類物體和背景為負樣本。

3試驗結(jié)果與分析

3.1試驗結(jié)果

3.1.1模型訓練

在模型訓練過程中，采用2940張水培生菜幼苗圖像作為訓練集，60張圖像作為驗證集進行模型參數(shù)的調(diào)優(yōu)。模型共迭代17500次，在訓練過程中，訓練集和驗證集的訓練曲線如圖4所示。每當模型完成一個輪次訓練后，采用驗證集進行參數(shù)調(diào)優(yōu)。由圖4a可知，隨著迭代次數(shù)的不斷增加，訓練集和驗證集的準確率逐漸提升，并趨于穩(wěn)定。同時，圖4b反映了模型在訓練集和測試集上的總損失逐漸降低至平緩，二者曲線走勢相近，說明模型訓練效果良好。

3.1.2模型測試

在模型訓練完成后，對測試集120張水培生菜幼苗圖像進行檢測。試驗的識別結(jié)果如表1所示，當將IoU值設(shè)置為0.5時，處于死亡和雙株狀態(tài)的水培生菜幼苗檢測的平均準確率分別為90.2%和86.0%，平均識別精度mAP為88.1%，識別精度優(yōu)于此前研究，尤其是雙株類別的檢測精度得到明顯提高，說明FCN網(wǎng)格定位模塊的有效性。為了測試模型的檢測效果，選取在不同高度下拍攝的水培生菜圖像進行測試。圖5和圖6分別展示了在完整和部分泡沫板上問題幼苗的檢測效果，該模型能較好地識別不同問題生長狀態(tài)下的幼苗。其中，die和double分別表示死亡狀態(tài)和雙株狀態(tài)的水培生菜幼苗。

3.2對比試驗

3.2.1不同網(wǎng)格點選取個數(shù)對比

在該模型中，主要是改變了邊框回歸的方法，利用FCN架構(gòu)對空間信息的敏感性，構(gòu)建網(wǎng)格引導模塊來優(yōu)化邊框回歸效果。表2展示了不同網(wǎng)格點個數(shù)的選擇對檢測精度的影響，其中，2個網(wǎng)格點表示采用邊框中的左上角點和右下角點進行監(jiān)督，4個網(wǎng)格點在此基礎(chǔ)上增加了邊界框中剩余的2個角點，9個網(wǎng)格點則是在4個網(wǎng)格點的基礎(chǔ)上，再增加每條邊框的中點和邊界框的中心點。為了驗證網(wǎng)格引導定位模塊的有效性，表2中的試驗均未采用特征融合策略。隨著網(wǎng)格點個數(shù)設(shè)置的增加，模型的檢測精度也隨之增加。相較于傳統(tǒng)的邊框回歸方法，網(wǎng)格引導模塊結(jié)合多點監(jiān)督的方式，有效提升了幼苗狀態(tài)的檢測精度。

3.2.2不同特征融合方式對比

為了驗證特征融合模塊的有效性，表3展現(xiàn)了不同特征融合方式的對比結(jié)果，其中包含了前文所提及的一階融合和二階融合方式，同時也對比了三階融合方式的效果，所有試驗均采用了3x3的網(wǎng)格分布方式。試驗結(jié)果表明，相較于未采用特征融合的方法，采用特征融合方式，能夠進一步提升問題狀態(tài)幼苗的檢測精度。二階融合方式相較于一階融合方式，進一步提升了處于死亡和雙株狀態(tài)的幼苗檢測精度。而三階融合方式相較于二階融合方式，雖然處于死亡狀態(tài)的幼苗檢測精度提高了0.3%，但處于雙株狀態(tài)的幼苗檢測精度下降了0.7%，同時加大模型訓練時間與復雜度。因此，本模型選擇了二階融合作為網(wǎng)格點特征融合方式，對比未進行特征融合的方法，處于死亡和雙株的幼苗檢測精度分別提升了0.3%和0.4%，說明了特征融合方式能夠更好地整合不同網(wǎng)格點之間的空間關(guān)聯(lián)性，有助于提高邊框的定位精度。

3.2.3不同檢測方法對比

為了比較不同目標檢測框架的檢測效果，將本方法與其他檢測器FSAF（Feature Selective Anchor Free）、YOLOv3、FoveaBox、ATSS（Adaptive Training SampleSelection）和CornerNet進行比較，待模型訓練至收斂后，采用測試集對其進行評估，得到不同檢測方法的檢測精度，如表4所示。此外，為了比較不同模型的檢測速度，引入了平均處理圖片數(shù)（Frame PerSecond，F(xiàn)PS）來評估檢測速度。試驗結(jié)果表明，本方法的檢測精度達到最優(yōu)，實現(xiàn)了水培生菜問題幼苗狀態(tài)的高精度檢測。同時，本方法與其他方法在檢測速度方面仍有待提高，YOLOv3的檢測速度為本方法的近5倍。因此，實現(xiàn)檢測精度與檢測速度的平衡，仍然是本研究未來繼續(xù)探索的方向。

4結(jié)束語

本研究提出了一種基于FCN網(wǎng)格定位和特征融合的水培生菜幼苗狀態(tài)檢測方法，結(jié)合FCN的位置敏感特性，改變傳統(tǒng)基于邊框的回歸方式，獲取網(wǎng)格點精確的空間信息，實現(xiàn)目標的精準定位。同時，利用特征融合策略，整合相鄰網(wǎng)格點的特征圖，充分利用不同網(wǎng)格點間的相關(guān)性，提高模型檢測精度。試驗結(jié)果表明，該方法對處于死亡和雙株狀態(tài)的幼苗檢測精度分別為90.2%和86.0%，尤其雙株狀態(tài)的幼苗檢測精度得到了明顯提升，說明引入FCN網(wǎng)格定位及特征融合模塊的有效性，為溫室幼苗的分揀智能化、種植自動化提供技術(shù)支持。

本研究還存在有待改進之處，在實時檢測速度上，相較于一階段目標檢測方法存在明顯的差距；在后續(xù)工作中，將繼續(xù)對上述問題進行深入研究，可通過改變特征提取網(wǎng)絡HRNet為輕量級的Lite HRNet，引入Transformer模塊等方式，實現(xiàn)對水培蔬菜問題幼苗狀態(tài)的快速、高精度檢測。

行業(yè)動態(tài)

2023中國農(nóng)業(yè)品牌創(chuàng)新發(fā)展大會在京召開

2023年5月8日，由農(nóng)業(yè)農(nóng)村部市場與信息化司指導、中國農(nóng)業(yè)大學主辦的2023中國農(nóng)業(yè)品牌創(chuàng)新發(fā)展大會在北京召開。

會議指出，農(nóng)業(yè)品牌發(fā)展已經(jīng)成為推動農(nóng)業(yè)高質(zhì)量發(fā)展、加快建設(shè)農(nóng)業(yè)強國的重要抓手。近年來，農(nóng)業(yè)品牌推進機制逐步健全，31個省（區(qū)、市）均出臺品牌支持政策；發(fā)展基礎(chǔ)日益夯實，綠色食品和有機農(nóng)產(chǎn)品有效用標產(chǎn)品達6萬余個，新增產(chǎn)地冷藏保鮮設(shè)施庫容1800萬t；培育數(shù)量穩(wěn)步提升，全國省級農(nóng)業(yè)農(nóng)村部門重點培育區(qū)域公用品牌超3000個，農(nóng)業(yè)品牌對產(chǎn)業(yè)提質(zhì)增效和農(nóng)民增收帶動效益明顯增強。

會議強調(diào)，加快建設(shè)農(nóng)業(yè)強國，農(nóng)業(yè)品牌在保障供給、提升科技裝備、完善經(jīng)營體系、加強產(chǎn)業(yè)韌性及提升市場競爭力等方面將發(fā)揮重要的牽引作用。加快推進農(nóng)業(yè)品牌發(fā)展，要立足我國國情，遵循品牌建設(shè)基本規(guī)律，聚焦特色產(chǎn)業(yè)，做活“土特產(chǎn)”，加快培育一批“鄉(xiāng)字號”“土字號”產(chǎn)品品牌；抓住兩個“三品一標”，以高質(zhì)量供給夯實品牌發(fā)展根基；創(chuàng)新品牌營銷，推動渠道優(yōu)化升級，加快構(gòu)建農(nóng)產(chǎn)品營銷服務體系；加強對外合作推廣，講好中國品牌故事，推動中國農(nóng)業(yè)品牌“出?！?。

會議期間，聚焦農(nóng)業(yè)品牌精品培育與供應鏈建設(shè)主題舉辦研討交流活動，圍繞果品、畜禽、水產(chǎn)等重點品類，組織開展精品培育品牌優(yōu)質(zhì)渠道對接會，首批精品培育品牌主體與頭部供應鏈企業(yè)進行對接合作。

據(jù)悉，2023年4月農(nóng)業(yè)農(nóng)村部印發(fā)《支持脫貧地區(qū)打造區(qū)域公用品牌實施方案（2023—2025年）》，會議發(fā)布了支持脫貧地區(qū)打造區(qū)域公用品牌倡議書，啟動了“菜籃子”產(chǎn)品暨品牌農(nóng)產(chǎn)品消費促進行動。同期，發(fā)布了《中國農(nóng)業(yè)品牌政策研究報告（2023）》《農(nóng)產(chǎn)品區(qū)域公用品牌互聯(lián)網(wǎng)傳播影響力指數(shù)研究報告（2023）》和《2023脫貧地區(qū)區(qū)域公用品牌電商消費指南》。

（來源：中國農(nóng)業(yè)信息網(wǎng)http：//www.agri.cn/V20/ZX/nyyw/202305/t20230508_7981219.htm）