適用于嵌入式設備的輕量級深度學習網絡RepYOLO

摘要：提出了一種輕量級深度學習網絡模型RepYOLO算法，并將其移植到嵌入式設備MCU/MPU中。該網絡模型RepYOLO以YOLOv4為基礎網絡模型，通過改進YOLOv4的主干網絡CSPDarkNet為RepBlock結構、在Neck層中引入CBAM注意力機制以及在Head層替換anchor-based檢測頭為anchor-free檢測頭并加入ATSS算法減小計算量、提高推理速度和檢測精度。結果表明，與原YOLOv4模型相比，網絡模型RepYOLO在小麥穗檢測上表現出更顯著的優(yōu)勢，其精度率、召回率、F1值和平均精度均值分別提高了4.7、3.6、1.5、1.7個百分點；此外，RepYOLO在嵌入式設備MCU/MPU上的推理時間分別降低了37.03%和41.44%。

關鍵詞：目標檢測；深度學習；嵌入式設備；輕量級網絡；RepYOLO；小麥穗

中圖分類號：TP391.41；S224" " " " "文獻標識碼：A

文章編號：0439-8114（2024）08-0153-05

DOI：10.14088/j.cnki.issn0439-8114.2024.08.026 開放科學（資源服務）標識碼（OSID）：

A lightweight deep learning network RepYOLO for embedded devices

ZHOU Gan-weia， CHEN Jia-yuea， WU Jia-weia， ZHAO Ya-qia， ZHAO Yi-kaia， ZHANG Xiao-yingb

（a.College of Information Science and Engineering； b.School of Software， Shanxi Agricultural University， Taigu" 030801，Shanxi，China）

Abstract： A lightweight deep learning network model RepYOLO algorithm was proposed and transplanted to embedded device MCU/MPU. The network model RepYOLO took YOLOv4 as the base network model. By modifying YOLOv4’s backbone network CSPDarkNet to the RepBlock structure， introducing the CBAM attention mechanism in the Neck layer， and replacing the anchor-based detection head with an anchor-free detection head in the head layer along with integrating the ATSS algorithm， the computational load was reduced， and both inference speed and detection accuracy were improved. The experimental results showed that compared with the original YOLOv4 model， the network model RepYOLO showed more significant advantages in wheat spike detection， and its precision rate， recall rate， F1 value and average precision value were increased by 4.7， 3.6， 1.5 and 1.7 percentage points， respectively. In addition， RepYOLO reduced inference time on embedded devices MCU/MPU by 37.03% and 41.44%， respectively.

Key words： object detection； deep learning； embedded device； lightweight network； RepYOLO； wheat spike

嵌入式設備結合深度學習技術在農業(yè)領域的應用為現代農業(yè)帶來了前所未有的優(yōu)勢。深度學習使得嵌入式設備能夠進行精細化的農業(yè)管理。例如，通過圖像識別技術，設備可以監(jiān)測作物的生長情況、葉片顏色等指標，判斷是否需要調整灌溉和施肥方案。這種個性化的管理方式不僅提高了農作物的產量，還節(jié)約了水資源和肥料的使用。深度學習推動了農業(yè)機械的智能化發(fā)展。嵌入式設備結合自主導航和目標檢測技術可使農業(yè)機械能夠自動完成耕種、播種、施肥和收割等任務，不僅提高了生產效率，還減輕了農民的體力勞動，使得農民釋放了更多時間用于其他重要工作。但深度學習算法通常需要大量的計算資源進行模型訓練和推斷，且農業(yè)機械搭載的嵌入式設備的計算能力有限，限制了處理復雜深度學習任務時的效率和性能。本研究選取小麥（Triticum aestivum L.）作為識別目標，對搭載嵌入式設備的識別精度和速度進行分析，旨在改進傳統(tǒng)的目標檢測算法，在保持高精度識別的情況下，盡量減少深度學習的復雜度和規(guī)模，使其能夠支持低性能的農業(yè)嵌入式設備搭載。

呂志遠等［1］提出了組合增強的YOLOX-ViT技術協(xié)同識別番茄花果，準確率為92.30%。張振國等［2］改進了YOLOv3模型，提高了在復雜環(huán)境下紅花絲的檢測準確率。張日紅等［3］改進YOLOv4的輕量化算法，提出了YOLOv4-GHDW，在一定程度上實現了檢測速度、識別精度間的平衡，使得在實際種植環(huán)境下對菠蘿苗心有較好的識別效果。這些研究成果表明，深度學習在農業(yè)領域具有廣闊的應用前景，為農業(yè)生產提供了新的技術手段和管理方法。因此，在未來的農業(yè)實時監(jiān)測中，無人機與深度學習的結合將發(fā)揮越來越重要的作用，并為農業(yè)生產帶來更高的生產效益和經濟效益。然而，在實際應用中，現有的云平臺技術監(jiān)測方法存在延遲問題，并且當沒有局域網或大型算力設備的支持時，無法實施［4］。因此，將監(jiān)測程序直接移植到嵌入式設備（如無人機等）中能夠有效解決這一問題。在無人機目標識別方面，精度與實時性是最基本的要求。然而，在實踐應用中，無人機所搭載的芯片性能通常受到限制，包括模型參數數量和結構導致的模型復雜性以及芯片設計參數指標導致的設備性能局限，使得直接在芯片上應用深度學習網絡變得困難。為了克服上述問題，本研究提出了實時監(jiān)測深度學習網絡RepYOLO，其可以在有限算力的嵌入式設備（如無人機、MCU/MPU）上運行［5］。

訓練的數據集復雜度高，能夠有效提高檢測模型精度。而小麥穗表型呈現出小而密集的特征，在田間分布中可能產生重疊和遮擋等復雜場景。因此，本研究選擇了小麥穗公開數據集［6］以及通過爬蟲和試驗田獲得的真實數據集作為試驗數據，利用該數據考察了模型的檢測精度、準確率以及在嵌入式設備上的性能，最終得到了一個精度高、輕量級的目標檢測模型，可有效部署在嵌入式設備上。

1 材料與方法

1.1 數據預處理與數據增強

圖像數據集來源于全球小麥數據集，并采用爬蟲和實地田間采集的方法擴充數據，以確保數據集的多樣性。數據集包含4種小麥表型特征，即谷粒飽和度、小麥穗成熟度、穗長特征和麥芒特征。為了保證數據集的統(tǒng)計特征符合正態(tài)分布，需要評估偏度、峰度、標準差和Z-score等統(tǒng)計指標。在數據預處理階段，將圖像裁剪為416 px×416 px的圖片，并利用高斯低通濾波方法突出小麥穗的表型特征，以減少在采集過程中導致的圖片噪聲問題。

為了增強模型的泛化能力，避免過擬合現象，采用數據增強技術（如高斯模糊、隨機噪聲等）對預處理后的圖像再處理。在數據集劃分上，按7∶2∶1的比例隨機劃分為訓練集、驗證集和測試集［7］。

1.2 RepYOLO目標檢測模型

1.2.1 YOLOv4模型 在計算機視覺領域，目標檢測是重要任務，其目標是自動識別和定位圖像中特定目標的位置。其中，應用最廣泛的是YOLO系列模型。YOLOv4［8］模型通過多尺度檢測、CSPDarkNet［9］、SAM和CE Loss［10］等方法實現高效的目標檢測［8］。該模型利用深度卷積神經網絡提取圖像特征，可以同時在不同尺度上檢測多個目標。通過優(yōu)化邊界框回歸和融合多層特征，能夠在復雜場景中快速且準確地識別和定位目標。多尺度檢測機制使得模型能夠捕捉不同大小目標的特征，而CSPDarkNet網絡結構增強了信息流動，進一步提高了檢測性能［11］。PAN層在特征融合方面發(fā)揮重要作用，有助于更好地理解圖像內容［12。同時，引入SAM和CE Loss技術有助于優(yōu)化模型的預測結果，進一步提高檢測的精度。YOLOv4模型如圖1所示。

1.2.2 基于YOLOv4改進的RepYOLO目標檢測模型 RepYOLO是基于標準YOLOv4改進的模型。首先，對YOLOv4的主干網絡CSPDarkNet進行改進，采用RepBlock結構［12］，以進一步減小模型的計算量，提高模型的推理速度。其次，在Neck模塊中引入CBAM注意力機制，以進一步提高檢測模型的精度，并更好地融合了高級語義特征與低級的空間特征［13］。最后，將Head層網絡中的anchor-based檢測頭替換為anchor-free檢測頭，并引入ATSS算法，以解決訓練過程中的正負樣本匹配問題［14，15］。

相較于標準YOLOv4算法，RepYOLO在網絡結構和算法模塊上都進行了優(yōu)化，使其在目標檢測任務中展現出更高的性能?；赮OLOv4改進的RepYOLO模型如圖2所示。

1.2.3 RepYOLO模型的移植環(huán)境 將RepYOLO模型移植到兩臺配置不同的CPU/MPU嵌入式硬件設備，模型移植環(huán)境的具體配置如表1所示。

1.3 模型性能的評價指標

1.3.1 評價指標 在目標檢測任務中，常用精度率、召回率、F1值和平均精度均值（mAP）等指標來評價模型的性能。精度率表示測試集中識別的所有樣本中被正確識別為正樣本的比例。召回率表示測試集中所有正樣本樣例中被正確識別為正樣本的比例。 F1值是精度率和召回率的調和均值，用于綜合評估模型的準確率和召回率。mAP表示模型在所有目標類別上的平均檢測準確性，是多類別任務中的重要指標，mAP越大，模型在多類別檢測任務中表現得越好［16］。這些指標的計算如下。

[P=TPTP+FP]

[R=TPTP+FN]

[F1=2P×RP+R]

[mAP=01P（R）dR]

式中，P和R分別表示精度率和召回率；TP（真陽性）表示模型預測的小麥穗目標框與實際小麥穗目標框相符的數量；FP（假陽性）是指被預測為小麥穗目標框但實際上不是小麥穗目標框的數量；FN（假陰性）代表被預測為背景但實際上是個別小麥穗目標框的樣本數量；mAP表示召回率R從0變化到1過程中對應的精度率的積分值［17］。

1.3.2 推理速度 在評估模型的推理速度時，常用內存訪問開銷（MAC）和浮點運算數（FLOPs）兩個參數衡量模型的計算復雜度。MAC指的是模型進行推理時訪問內存的次數，反映了模型在推理過程中對內存的使用情況［18］。較高的MAC意味著模型在推理時需要頻繁地讀取內存數據，導致推理速度較慢［19］。FLOPs表示推理過程中的浮點運算次數，包括矩陣的乘法及其他運算。通常情況下，FLOPs越大，模型的計算復雜度越高，推理速度越慢［20］。通過對MAC和FLOPs的評估，可以了解模型的計算復雜度和推理速度，從而針對性地選擇適合特定應用場景的模型，以滿足不同實際需求。

2 結果與分析

2.1 模型的推理精度

對YOLOv4和基于YOLOv4改進的RepYOLO算法的性能進行了比較，結果（表2）表明，相對于YOLOv4標準模型，RepYOLO模型的精度率、召回率、F1和mAP分別提高了4.7、3.6、1.5、1.7個百分點，表明RepYOLO在檢測精度性能方面取得了顯著的提升，該模型表現良好。

RepYOLO模型在目標檢測任務中表現出更高的精度率和召回率，說明模型能夠更準確地識別和定位目標，且不易漏檢；同時，F1值的提高，說明RepYOLO在精度率和召回率間取得了更好的平衡，具有更全面的性能表現；而mAP的增加進一步印證了RepYOLO模型在多類別目標檢測上的優(yōu)越性。這些結果顯示了RepYOLO算法在檢測精度方面的優(yōu)勢，為其在實際應用中的推廣提供了充分的支持。

2.2 檢測結果可視化

使用訓練好的RepYOLO模型和對比模型預測小麥穗測試集，并評估其結果的準確性。在實地數據采集過程中，不同生長期的小麥穗呈現出不同的分布特征，導致模型在檢測過程中出現一定的漏檢、誤檢等問題，如圖3所示。小麥抽穗期，與RepYOLO模型相比，YOLOv4模型存在嚴重漏檢問題；小麥充漿期，與RepYOLO模型相比，YOLOv4主要出現了誤檢問題；小麥收獲期，與RepYOLO模型相比，YOLOv4模型同時出現了漏檢、誤檢問題。因此，在檢測效果上RepYOLO模型檢測精確度高于YOLOv4模型。

2.3 模型的推理速度

由表3可知，相較于YOLOv4模型，RepYOLO模型在Raspherrypi 4B和Jetson Nano上的平均推理時間分別降低了37.03%和41.44%，表明優(yōu)化后的模型有效地降低了MAC（內存訪問開銷），從而顯著提升了推理速度。

3 小結與討論

本研究在YOLOv4基礎上提出一種輕量級深度學習網絡RepYOLO，并將其移植到了嵌入式設備（如無人機、MCU/MPU）中，通過對試驗結果的綜合分析，得出了以下結論。

首先，試驗結果表明，RepYOLO相較于原有的YOLOv4算法在識別小麥穗任務上表現出顯著的進步。在小麥穗圖片的檢測準確率和精度方面，RepYOLO都取得了明顯提升。這意味著模型得到了成功優(yōu)化，使其更適用于農業(yè)領域的實時監(jiān)測任務，為農民提供了更精準的小麥生長狀況監(jiān)測服務。

其次，通過對不同小麥表型的熱力圖可視化分析，RepYOLO相比原有的YOLOv4算法更準確地覆蓋了目標對象區(qū)域，顯示出更強的魯棒性和更好的關鍵特征提取能力。這使得RepYOLO成為一種高效可靠的目標檢測模型，為智能農業(yè)的發(fā)展提供了強有力的支持。

最后，通過對推理速度指標的分析，發(fā)現相較于原有的YOLOv4模型，改進的RepYOLO模型在Raspherrypi 4B和Jetson Nano上的推理時間分別降低了37.03%和41.44%。這意味著本研究提出的模型在硬件使用效率方面取得了顯著的改進，使其在資源受限的嵌入式設備上能夠更高效地運行。

綜上所述，RepYOLO模型不僅在識別小目標任務上取得了顯著的進步，并且在嵌入式設備上具有高效的運行能力。這些結果對于實施農業(yè)監(jiān)測和在其他嵌入式設備中應用具有重要意義。未來，可以繼續(xù)改進模型，并進一步擴展其在更多領域的應用，推動深度學習技術在智能農業(yè)和工業(yè)領域的發(fā)展。

參考文獻：

［1］ 呂志遠，張付杰，魏曉明，等.采用組合增強的YOLOX-ViT協(xié)同識別溫室內番茄花果［J］.農業(yè)工程學報，2023，39（4）：124-134.

［2］ 張振國，邢振宇，趙敏義，等.改進YOLOv3的復雜環(huán)境下紅花絲檢測方法［J］.農業(yè)工程學報，2023，39（3）：162-170.

［3］ 張日紅，區(qū)建爽，李小敏，等.基于改進YOLOv4的輕量化菠蘿苗心檢測算法［J］.農業(yè)工程學報，2023，39（4）：135-143.

［4］ 歐陽雪，徐彥彥，毛養(yǎng)素，等.云計算與區(qū)塊鏈平臺的遙感影像安全檢索方案［J］.電子與信息學報，2023，45（3）：856-864.

［5］ 李 丹，鄧 飛，趙良玉，等.基于深度學習的無人機自主降落標識檢測方法［J］.航空兵器，2023，30（5）：115-120.

［6］ DAVID E，MADEC S，SADEGHI-TEHRAN P， et al. Global wheat head detection （GWHD） dataset： A large and diverse dataset of high-resolution RGB-labelled images to develop and benchmark wheat head detection methods［J］. Plant phenomics， 2020， 2020：3521852.

［7］ 章倩麗，李秋生，胡俊勇，等.基于PP-YOLO改進算法的臍橙果實實時檢測［J］.北京聯合大學學報，2022，36（4）：58-66.

［8］ BOCHKOVSKIY A， WANG C Y， LIAO H Y M. YOLOv4： Optimal speed and accuracy of object detection［J］. ［2023-06-10］.http：//arxiv.org/PDF/2004.10934.

［9］ ZHANG Z， LU X， CAO G， et al. ViT-YOLO： Transformer-based YOLO for object detection［A］. 2021 IEEE/CVF international conference on computer vision workshops （ICCVW）［C］.IEEE， 2021.2799-2808.

［10］ WANG X， SONG J. ICIoU： Improved loss based on complete intersection over union for bounding box regression［J］. IEEE Access， 2021.105686-105695.

［11］ 江明哲.基于深度學習的復雜環(huán)境下番茄目標檢測與定位技術研究［D］.重慶：重慶郵電大學，2022.

［12］ WANG K， LIEW J H， ZOU Y， et al. Panet： Few-shot image semantic segmentation with prototype alignment［A］.2021 IEEE/CVF international conference on computer vision workshops （ICCVW）［C］.IEEE， 2019.9197-9206.

［13］ WOO S， PARK J，LEE J Y， et al. Cbam： Convolutional block attention module［A］.2021 IEEE/CVF international conference on computer vision workshops （ICCVW）［C］.IEEE， 2018. 3-19.

［14］ GE Z， LIU S， WANG F， et al. Yolox： Exceeding yolo series in 2021［J］. arXiv， 2021， 2107：08430.

［15］ ZHANG S， CHI C， YAO Y， et al. Bridging the gap between anchor-based and anchor-free detection via adaptive training sample selection［A］. 2020 IEEE/CVF conference on computer vision and pattern recognition （CVPR） ［C］. IEEE， 2020.9759-9768.

［16］ 肖天元，艾廷華，余華飛，等.地圖綜合圖卷積神經網絡點群簡化方法［J］.測繪學報，2024，53（1）： 158-172.

［17］ 夏 雪，柴秀娟，張 凝，等.用于邊緣計算設備的果樹掛果量輕量化估測模型［J］.智慧農業(yè)（中英文），2023，5（2）： 1-12.

［18］ ZHANG X， ZHOU X， LIN M， et al. Shufflenet： An extremely efficient convolutional neural network for mobile devices［C］. 2018 IEEE conference on computer vision and pattern recognition（CVPR）［C］.IEEE， 2018.6848-6856.

［19］ MA N， ZHANG X， ZHENG H T， et al. Shufflenet v2： Practical guidelines for efficient cnn architecture design［A］. 15th European conference on computer vision （ECCV）［C］. Springer， 2018.122-138.

［20］ 趙 迪， 葉盛波， 周 斌.基于Grad-CAM的探地雷達公路地下目標檢測算法［J］.電子測量技術，2020，43（10）： 113-118.

基金項目：山西省大學生創(chuàng)新創(chuàng)業(yè)項目（20220180）；山西省基礎研究青年科學研究項目（202203021212414）

作者簡介：周橄尉（2002-），男，江蘇徐州人，在讀本科生，研究方向為電子信息科學與技術，（電話）16635425685（電子信箱）20201209510@stu.sxau.edu.cn；通信作者，張小英（1981-），女，山西呂梁人，教授，主要從事控制理論、圖像處理、智慧農業(yè)研究，（電話）15803449361（電子信箱）xiaoyingzhang@sxau.edu.cn。