基于紋理特征與深度學(xué)習(xí)的小麥圖像中的穗粒分割與計數(shù)

許鑫 耿慶 鄭凱 石磊 馬新明

摘要：穗粒數(shù)是小麥產(chǎn)量構(gòu)成的重要因素和估測產(chǎn)量的參數(shù)之一，傳統(tǒng)的人工計數(shù)方法耗時費力，人為因素影響大。為了實現(xiàn)對小麥穗粒數(shù)的智能、快速監(jiān)測，以百農(nóng)307、新麥26、稷麥336這3個小麥品種為試驗材料，利用智能手機于小麥灌漿后期拍攝麥穗圖像，隨后對麥穗圖像進行預(yù)處理并歸一化為480×480像素大小，結(jié)合深度學(xué)習(xí)和遷移學(xué)習(xí)機制，構(gòu)建基于凍結(jié)-解凍機制的HRNet模型的小麥小穗圖像分割計數(shù)深度學(xué)習(xí)模型，利用圖像處理算法、小麥小穗圖像紋理特征確定小穗像素數(shù)與穗粒數(shù)之間的關(guān)系閾值，構(gòu)建小穗粒數(shù)預(yù)測模型，實現(xiàn)對小麥穗粒的預(yù)測計數(shù)。結(jié)果表明，對比同樣采用凍結(jié)-解凍機制的PSPNet模型、DeeplabV3+分割模型、U-Net模型及無凍結(jié)解凍機制的HRNet模型，采用基于凍結(jié)-解凍機制的HRNet模型對小麥小穗的分割效果更優(yōu)，且具有更好的魯棒性，分割精確度為0.959 4，平均交并比（mIoU）為0.911 9，類別平均像素準確率（mPA）為0.941 9，召回率為0.941 9；通過3個不同品種小麥的麥穗圖像對小穗進行計數(shù)，所得決定系數(shù)（R2）為0.92，平均絕對誤差為0.73，平均相對誤差為2.89%；籽粒計數(shù)的R2為0.92，平均絕對誤差為0.43，平均相對誤差為5.51%。由研究結(jié)果可知，基于凍結(jié)-解凍機制得出的HRNet模型的小麥小穗圖像分割算法能夠有效分割小麥圖像中的小穗，并獲得更加豐富的語義信息，可用于解決小目標圖像分割困難及訓(xùn)練欠擬合問題，通過粒數(shù)預(yù)測模型可以快速、精確地對小麥的籽粒數(shù)進行預(yù)測，從而為小麥高效、智能化估產(chǎn)提供算法支撐。

關(guān)鍵詞：麥穗；籽粒數(shù)；圖像處理；HRNet；深度學(xué)習(xí)；圖像分割

中圖分類號：TP391；S512.1文獻標識碼：A文章編號：1000-4440（2024）04-0661-14

Segmentation and counting of wheat spikes and grains based on texture features and deep learning

XU Xin1，GENG Qing1，ZHENG Kai2，SHI Lei2，MA Xin-ming1，3

（1.College of Information and Management Science， Henan Agricultural University， Zhengzhou 450002， China；2.National Bureau of Statistics Henan Survey Corps， Zhengzhou 450002， China;3.College of Agronomy， Henan Agricultural University， Zhengzhou 450002， China）

Abstract： The number of grains per ear is an important factor in the composition of wheat yield and one of the parameters for estimating wheat yield. The traditional manual counting method is time-consuming and labor-intensive， and human factors have a great influence. In order to realize the intelligent and rapid monitoring of the number of grains per ear， three varieties of Bainong 307， Xinmai 26 and Jimai 336 were used as test materials， and the wheat ear images were taken with a smart phone at the late stage of wheat grain filling. Based on the image processing technology， the wheat ear images were preprocessed and normalized to 480×480 pixels. Combining deep learning and transfer learning mechanisms， a HRNet wheat spikelet segmentation and counting deep learning model based on the freeze-thaw mechanism was constructed. Image processing algorithms and wheat spikelet texture features were used to determine the threshold of the relationship between the number of spikelet pixels and the number of grains per spike. The spikelet-grain number prediction model was constructed to realize the prediction and counting of wheat spikes. The results showed that compared with PSPNet， DeeplabV3 + segmentation model， U-Net which also used freeze-thaw mechanism and HRNet without freeze-thaw mechanism， the HRNet model based on the freeze-thaw mechanism had a better segmentation effect on wheat spikelets， and had better robustness. The segmentation accuracy was 0.959 4， the mean intersection over union （mIoU） was 0.911 9， the mean pixel accuracy （mPA） was 0.941 9， and the recall rate was 0.941 9. The spikelets were counted by the images of three different wheat varieties. The determination coefficient （R2） was 0.92， the average absolute error was 0.73， and the average relative error was 2.89%. The R2 of grain counting was 0.92， the average absolute error was 0.43， and the average relative error was 5.51%. It shows that the HRNet wheat spikelet image segmentation algorithm through the freeze-thaw mechanism can effectively segment wheat spikelets and obtain richer semantic information， which can be used to solve the problems of difficult segmentation of small target images and training underfitting. The model can quickly and accurately predict the number of wheat grains， so as to provide algorithm support for efficient and intelligent yield estimation of wheat.

Key words：wheat ear;grain number;image processing;HRNet;deep learning;image segmentation

小麥是中國重要的糧食作物，2021年中國小麥總產(chǎn)量達1.37×108 t，約占糧食總產(chǎn)量的21%。小麥產(chǎn)量關(guān)乎國家糧食安全[1]，科學(xué)準確地預(yù)測小麥產(chǎn)量有助于保障糧食供給安全和社會穩(wěn)定[2]。小麥灌漿期是決定其產(chǎn)量形成的關(guān)鍵生長期，小麥的單位面積產(chǎn)量由單位面積穗數(shù)、每穗粒數(shù)和千粒質(zhì)量3個要素構(gòu)成[3]，因此研發(fā)快速準確的小麥測產(chǎn)方法是科學(xué)估測小麥產(chǎn)量的迫切需求。傳統(tǒng)的小麥估產(chǎn)方式主要是在小麥收獲前進行人工調(diào)查，估測的產(chǎn)量不僅常常受到人為因素的影響，而且耗時耗力、效率低，從而制約了小麥產(chǎn)量估測的時效性、準確度[1，3]。相反，圖像處理、機器學(xué)習(xí)和計算機視覺等技術(shù)可以快速準確地進行小麥產(chǎn)量估測，能夠為小麥植株表型信息的獲取提供技術(shù)支持[4]。

穗粒數(shù)是進行禾谷類作物產(chǎn)量估測的3個要素之一，已經(jīng)成為智能化估產(chǎn)的重要研究方向。趙三琴等[5]采用稻穗結(jié)構(gòu)圖像特征測量方法，明確了稻穗結(jié)構(gòu)圖像特征與籽粒數(shù)間的相關(guān)關(guān)系，為稻穗穗粒數(shù)的估測提供了依據(jù)。王棟等[6]在無需脫粒的條件下設(shè)計了一種智能表型解析算法，通過分析稻穗圖像的表型信息，結(jié)合圖像處理、深度學(xué)習(xí)方法考察每穗粒數(shù)和多種穗粒的相關(guān)性狀。通過借鑒水稻穗粒數(shù)的估測研究，杜世偉等[7]從小麥穗的結(jié)構(gòu)特征入手，通過小麥小穗面積像素數(shù)與穗粒數(shù)間的關(guān)系間接獲取穗粒數(shù)，證明了通過麥穗結(jié)構(gòu)特征研究穗粒數(shù)的可行性。

圖像處理和機器學(xué)習(xí)技術(shù)的發(fā)展，為麥穗數(shù)、穗粒數(shù)的分割識別提供了一種重要的監(jiān)測手段[8]。雖然圖像處理技術(shù)被廣泛用于識別麥穗數(shù)和穗粒數(shù)，但這些方法側(cè)重于紋理特征、顏色特征和形態(tài)特征的提取，在效率、實際應(yīng)用方面仍存在問題。基于農(nóng)學(xué)知識，杜世偉等[7]采用擬合拋物線的方法對麥穗的小穗進行分割，并對小穗數(shù)、籽粒數(shù)進行精確統(tǒng)計，準確率高達97%。Fernandez-Gallego等[9]采用局部最大峰值法計算大田紅-綠-藍（RGB）彩色圖像中的麥穗數(shù)，計數(shù)成功率高于90%。在目前的圖像處理技術(shù)中，圖像特征的提取仍然需要大量人工干預(yù)，這對環(huán)境、技術(shù)提出了很高要求，而機器學(xué)習(xí)被證明在圖像分割和識別領(lǐng)域具有顯著優(yōu)勢。劉哲等[10]基于顏色特征、K-means聚類技術(shù)提出了一種全新的小麥麥穗計數(shù)算法，其識別準確率可達94%。Xu等[11]通過K-means聚類算法實現(xiàn)了麥穗輪廓特征的自動提取，進而成功構(gòu)建了一種高效卷積神經(jīng)網(wǎng)絡(luò)（CNN），將麥穗識別精度提高到98.3%。然而，傳統(tǒng)圖像處理技術(shù)和機器學(xué)習(xí)方法仍然存在識別分割時間較長且效率較低、復(fù)雜圖像的識別分割效果差等問題[5，12]。

深度學(xué)習(xí)技術(shù)在不同領(lǐng)域、應(yīng)用場景和尺度下展現(xiàn)出了優(yōu)異的特征提取能力和泛化能力，被廣泛應(yīng)用于識別麥穗數(shù)、穗粒數(shù)。Wei等[13]結(jié)合遷移學(xué)習(xí)方法構(gòu)建了Faster R-CNN網(wǎng)絡(luò)，并優(yōu)化了小麥籽粒檢測與計數(shù)模型，使模型的籽粒計數(shù)錯誤率小于3%。Hu等[14]基于注意力機制實現(xiàn)了一種全新的生成對抗網(wǎng)絡(luò)來計算小麥穗數(shù)、小穗數(shù)，識別分割小麥穗和小穗的F1值為84.9%。Dandrifosse等[15]在灌漿期獲取小麥圖像，并將深度學(xué)習(xí)方法與小麥的RGB圖像相結(jié)合，實現(xiàn)了田間小麥麥穗的計數(shù)，麥穗檢測、分割的平均F1值分別為0.93、0.86，相較于人工觀察方法取得了更好的結(jié)果。Zhao等[16]提出了一種改進的YOLOv5方法，用于準確檢測無人機圖像中的小麥穗，平均檢測準確率（AP）為94.1%。雖然深度學(xué)習(xí)技術(shù)在小麥表型信息的提取方面有著不可比擬的優(yōu)勢，能夠?qū)崿F(xiàn)較高精度的圖像分割與識別[17]，但仍然存在小麥穗粒圖像的獲取大多需要專業(yè)相機等設(shè)備、難以在復(fù)雜的生產(chǎn)中應(yīng)用[18]、針對密集小目標的圖像識別與分割能力不足、目標之間容易出現(xiàn)粘連、精度難以提高等問題[4，14]。

基于小麥穗粒識別、分割及計數(shù)中存在的精度、效率問題，本研究擬以小麥穗粒數(shù)為研究對象，選擇百農(nóng)307、新麥26和稷麥336這3個小麥品種進行大田試驗，利用移動終端拍攝麥穗圖像，構(gòu)建麥穗穗粒數(shù)深度學(xué)習(xí)分割模型。利用圖像處理技術(shù)對小麥小穗的分割結(jié)果進行處理，結(jié)合小麥小穗紋理特征構(gòu)建小穗粒數(shù)預(yù)測模型，以期實現(xiàn)對小麥穗粒的預(yù)測計數(shù)，獲得快速高效的分割計數(shù)結(jié)果并對小麥產(chǎn)量進行精確估測。

1材料與方法

1.1試驗設(shè)計

試驗在河南農(nóng)業(yè)大學(xué)原陽科教園區(qū)（35°6′46″N， 113°56′51″E）進行，選擇主栽小麥品種百農(nóng)307、新麥26和稷麥336，按照正常施氮量施肥，圖1為試驗地點的無人機圖像。小麥播種量采用當(dāng)?shù)刈罴巡シN量，百農(nóng)307的播種量為187.5 kg/hm2，新麥26的播種量為187.5 kg/hm2，稷麥336的播種量為142.5 kg/hm2，播種日期為2021年10月23日，行距為20 cm。試驗施用的氮肥均為尿素（含46% N），磷肥為過磷酸鈣（含12% P），鉀肥為氯化鉀（含60% K），氮肥作基肥、追肥的比例為6∶4，追肥在拔節(jié)期施入，磷鉀肥作基肥一次性施入。田間管理措施同一般高產(chǎn)田。

1.2數(shù)據(jù)采集

從小麥灌漿期開始進行采樣，圖像采集設(shè)備為HUAWEI Mate 40 Pro（主攝像頭像素5.000×107，副攝像頭像素2.000×107）和Realme Q3（主攝像頭像素4.800×107，副攝像頭像素8.000×106），拍攝時間為9：00-16：00。由于數(shù)據(jù)集的復(fù)雜性和多樣性對模型的泛化水平有很大影響，因此試驗采用2種圖像采集方式：一種是離體取樣，在實驗室環(huán)境下對麥穗進行圖像采集；另一種是就地取樣，在大田環(huán)境下對麥穗進行圖像采集[4]。在對每株麥穗進行圖像采集后，對麥穗的小穗數(shù)、籽粒數(shù)進行人工計數(shù)。圖像采集時，將移動設(shè)備平行于麥穗，通過調(diào)整與麥穗之間的距離使麥穗完整清晰地出現(xiàn)在移動設(shè)備取景框中，并顯示清晰的穗部圖像。為了降低拍攝距離差異所造成的誤差，拍攝設(shè)備與麥穗之間的距離保持在10 cm左右。根據(jù)該方法得到的原始麥穗圖像如圖2所示。

分別取不同品種、不同氮肥處理、不同拍攝背景的小麥30～40株，獲得原始麥穗圖像共660張，麥穗數(shù)據(jù)集的情況見表1。

1.3技術(shù)路線

對麥穗圖像進行預(yù)處理，形成麥穗數(shù)據(jù)集，并使用深度學(xué)習(xí)分割網(wǎng)絡(luò)對小麥小穗進行圖像分割，經(jīng)過訓(xùn)練得到預(yù)測模型，并調(diào)用預(yù)測模型對測試集進行測試，結(jié)合圖像處理技術(shù)確定小穗面積像素數(shù)和穗粒數(shù)之間的閾值關(guān)系，構(gòu)建粒數(shù)預(yù)測模型，從而實現(xiàn)小麥穗粒數(shù)的精準預(yù)測和計數(shù)。圖3展示了本研究中擬采用的技術(shù)路線。

1.4數(shù)據(jù)預(yù)處理

1.4.1數(shù)據(jù)歸一化數(shù)據(jù)歸一化是將所有圖像轉(zhuǎn)換成統(tǒng)一尺寸以方便模型的訓(xùn)練，同時可降低模型運算量、減少過擬合的風(fēng)險。當(dāng)原始麥穗圖像的尺寸過大時，對設(shè)備的要求會較高。為了兼顧設(shè)備運算能力、圖像數(shù)量及質(zhì)量，需要對原始圖像進行歸一化處理[16]。因此，在對本研究中的模型進行訓(xùn)練前，先將數(shù)據(jù)集中的圖像尺寸歸一化為480×480像素。

1.4.2數(shù)據(jù)增強圖像數(shù)量會影響模型的訓(xùn)練，導(dǎo)致測試精度下降。數(shù)據(jù)增強利用原始數(shù)據(jù)集中的圖像進行擴展，能夠解決圖像數(shù)量不足的問題[14]。隨機裁剪可能會去除麥穗圖像的特征信息，因此主要通過旋轉(zhuǎn)90°、180°、270°及水平、垂直翻轉(zhuǎn)來增強數(shù)據(jù)集。圖像的細節(jié)層次和噪聲都能影響模型的訓(xùn)練，這就需要通過高斯模糊對圖像進行處理。通過不斷調(diào)整高斯卷積核大小找出最合適的高斯模糊處理。經(jīng)比較，將高斯卷積核的大小設(shè)置為5×5。

1.4.3數(shù)據(jù)集的構(gòu)建為了實現(xiàn)麥穗圖像的分割任務(wù)，本研究采用監(jiān)督學(xué)習(xí)模式，即先人工標注數(shù)據(jù)樣本，再訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)使其具備一定的泛化能力[19]。通過Labelme圖像標注工具手動標記小麥小穗、背景2類分割對象，并通過標注信息將其轉(zhuǎn)為遮罩圖像。麥穗圖像與其遮罩圖像一起構(gòu)成了深度學(xué)習(xí)分割模型所需的數(shù)據(jù)集。在麥穗數(shù)據(jù)集中，3個品種、每種處理的圖像數(shù)量均勻分布，訓(xùn)練集和驗證集的分布比例為9∶1[11]，其中訓(xùn)練集有594張圖像，驗證集有66張圖像，測試集有66張圖像。

1.5模型的構(gòu)建

小麥小穗圖像的分割是復(fù)雜背景下的二分類任務(wù)，小穗圖像之間像素點相近，圖像粘連嚴重，因此對深度學(xué)習(xí)模型的解析力和全局信息獲取能力要求較高。為了確保分割精度和計算效率，本研究構(gòu)建HRNet、PSPNet、DeeplabV3+分割模型及U-Net來進行小麥小穗圖像的分割研究。

1.5.1HRNet模型HRNet的特點是多個分辨率分支并行和不同分支信息的交互，能夠保持高分辨率，并獲得強大的語義信息、精準的位置信息，從而在不斷上下采樣的過程中避免大量有效信息的丟失，對于位置敏感的語義分割任務(wù)而言效果顯著。將數(shù)據(jù)集中的麥穗圖像轉(zhuǎn)換為特征圖后，經(jīng)過多個卷積塊的并行及多分辨率融合模塊得到不同融合輸出。針對語義分割任務(wù)，HRNet的表征分支通過上采樣來提高低分辨率特征圖像的分辨率，并將其堆疊、融合在一起形成小穗預(yù)測圖[20]?；贖RNet的麥穗小穗數(shù)分割網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

1.5.2PSPNet模型PSPNet在全卷積網(wǎng)絡(luò)（FCN）的基礎(chǔ)上進行了改進，以增加了空洞卷積的ResNet網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)，對輸入的麥穗圖像進行特征提取。將提取的特征輸入到金字塔池化模塊，便得到不同深度且維度縮減后的金字塔特征。這些金字塔特征經(jīng)過上采樣和特征合并，最終輸出小穗特征圖[21]?；赑SPNet的麥穗小穗數(shù)分割網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

1.5.3DeeplabV3+分割模型DeeplabV3+分割模型為編碼器-解碼器結(jié)構(gòu)[22]。在編碼器部分，數(shù)據(jù)集中的麥穗圖像通過Backbone和空洞空間金字塔池化（ASPP）處理得到5組特征圖并將其融合，最后作為解碼器的輸入[23]。在解碼器部分，經(jīng)過通道降維、插值上采樣和卷積塊等處理，便能得到分辨率大小與原圖相同的小穗預(yù)測圖[24]。基于DeeplabV3+分割模型的麥穗小穗數(shù)分割網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。

1.5.4U-Net模型U-Net也是編碼器-解碼器結(jié)構(gòu)的深度學(xué)習(xí)網(wǎng)絡(luò)。數(shù)據(jù)集中的麥穗圖像通過編碼器提取小穗特征，其中主要采用卷積模塊、池化層獲得輸入圖像的高層級特征向量，并將其作為解碼器的輸入[25]。在解碼器中，通過反卷積來增大特征圖像分辨率并用解碼模塊對其進行解碼。經(jīng)過解碼器處理之后，能得到特征圖中像素屬于小穗類別的概率，從而判斷像素的類別，最終生成小穗圖像分割結(jié)果[26]，基于U-Net的麥穗小穗數(shù)分割網(wǎng)絡(luò)結(jié)構(gòu)見圖7。

1.6基于紋理特征的小穗粒數(shù)預(yù)測模型

有研究發(fā)現(xiàn)，由麥穗結(jié)構(gòu)特征間接獲取穗粒數(shù)具有可行性，通過觀察麥穗的幾何和紋理特征，能夠明確麥穗結(jié)構(gòu)圖像特征與籽粒數(shù)間的相關(guān)關(guān)系[6-7，12]。小麥小穗通常成對存在于穗軸兩側(cè)，但是由于頂端的小穗是幼穗分化后最后出現(xiàn)的小穗，因此并沒有與其成對的小穗。在確定小穗數(shù)量及其面積像素數(shù)（圖像面積對應(yīng)的像素數(shù)）之后，通過基于紋理特征的小穗粒數(shù)預(yù)測模型便能獲得各個小穗對應(yīng)的籽粒數(shù)，各小穗對應(yīng)的籽粒數(shù)之和就是小麥總穗粒數(shù)。小麥小穗的紋理特征如圖8所示。

選取的麥穗樣本經(jīng)過深度學(xué)習(xí)分割模型預(yù)測后，部分小穗之間會有粘連，需要用圖像處理方法消除重疊或粘連的部分。通過OpenCV、NumPy讀入預(yù)測結(jié)果[27]，并對預(yù)測結(jié)果進行灰度處理，將色彩空間由RGB轉(zhuǎn)換為灰度（GRAY），之后便可以120為閾值進行二值化處理，大于該閾值的像素點的值設(shè)置為255（即白色），小于該閾值的像素點的值設(shè)置為0（即黑色）。二值化圖像需要通過腐蝕變換來消除噪點[28]，隨后可以發(fā)現(xiàn)原本重疊的部分不再重疊，便可根據(jù)提供的邊界點繪制形狀，從而進行輪廓提取與輪廓面積的計算。提取到的輪廓數(shù)、輪廓面積即為小麥的小穗數(shù)、面積像素數(shù)。

不同拍攝距離對小麥小穗像素數(shù)和穗粒數(shù)之間的關(guān)系閾值有一定影響，為了避免這種影響帶來的誤差，在圖像采集過程中使移動設(shè)備與麥穗之間的距離基本保持一致，以確保小麥穗部圖像的一致性[5，7]。各個小麥品種均選取200個小穗樣本，從而確定小穗面積像素數(shù)與穗粒數(shù)之間的關(guān)系閾值，通過該閾值可以獲得具有1～4個籽粒小穗的面積像素數(shù)范圍。

根據(jù)分割后各小穗面積的像素數(shù)推測其代表的粒數(shù)，而粒數(shù)不同會導(dǎo)致明顯的面積差異。由圖9可以看出，小穗的像素數(shù)（Y）被3 條閾值線分為4個區(qū)間，分別是Y<700、700≤Y<1 500、1 500≤Y≤2 100與Y>2 100，小穗面積像素數(shù)分別對應(yīng)1個、2個、3個、4個籽粒。該方法可以消除麥穗一側(cè)各小穗之間重疊與粘連的部分，并準確地計算其面積對應(yīng)的像素數(shù)，從而根據(jù)劃定的閾值預(yù)測各小穗代表的籽粒數(shù)。

1.7精度評價指標

本研究采用精確度（Precision）、召回率（Recall）、類別平均像素準確率（mPA）和平均交并比（mIoU）等評價指標評估分割模型的精度，這些指標都是由混淆矩陣中的參數(shù)計算得出的，而混淆矩陣的作用是對每個真實像元的位置和預(yù)測像元的位置進行比較，從而對模型進行評估[29]。

Precision=TP/（TP+FP）（1）

Recall=TP/（TP+FN）（2）

IoU=TP/（TP+FP+FN）（3）

mPA=sum（Pk）k（4）

mIoU=1k+1∑ki=0TPTP+FP+FN（5）

式中，TP為被分割模型預(yù)測為真的正樣本數(shù)，F(xiàn)P為被分割模型預(yù)測為真的負樣本數(shù)，F(xiàn)N為被分割模型預(yù)測為假的正樣本數(shù)，IoU為交并比，k為總類別數(shù)，Pk為每個類別的像素預(yù)測準確率。

為了評估計數(shù)模型的精度，本研究采用的指標包括均方根誤差（RMSE）、平均絕對誤差（MAE）、平均相對誤差（MRE）和決定系數(shù)（R2）[30]。其中，以人工計數(shù)得到的小穗數(shù)、穗粒數(shù)作為真實值，以根據(jù)圖像分割算法、粒數(shù)預(yù)測模型得到的小穗數(shù)、穗粒數(shù)作為預(yù)測值。

pi=|xi-yi|xi×100%（6）

R2=1- ∑ni=1（xi-yi）2∑ni=1（xi-x—）2（7）

RMSE=1n∑ni=1（xi-yi）2（8）

MAE=1n∑ni=1|xi-yi|（9）

MRE=1n∑ni=1pi×100%（10）

式中，pi為單個樣本的相對誤差，xi為樣本麥穗小穗數(shù)或籽粒數(shù)的真實值，yi為樣本麥穗小穗數(shù)或籽粒數(shù)的測量值，x—為樣本麥穗小穗數(shù)或籽粒數(shù)真實值的平均值，n為各個小麥品種的樣本數(shù)量。

1.8訓(xùn)練環(huán)境

本研究模型的訓(xùn)練環(huán)境如下：中央處理器（CPU）為Intel （R） Xeon （R） Silver 4114 CPU@2.20 GHz處理器，內(nèi)存為64 GB，圖形處理器（GPU）為NVIDIA Corporation GP104GL（16 GB顯存），操作系統(tǒng)為Ubuntu，深度學(xué)習(xí)框架為Pytorch 1.12，編譯環(huán)境為Python 3.9.12，在相同試驗環(huán)境下對所有算法進行對比。

一般情況下，網(wǎng)絡(luò)若從0開始訓(xùn)練得到的效果并不好，出現(xiàn)這種現(xiàn)象的原因主要是權(quán)值太過隨機、特征提取效果不明顯[30]。因此根據(jù)遷移學(xué)習(xí)的思想，本研究構(gòu)建了凍結(jié)-解凍機制。由于神經(jīng)網(wǎng)絡(luò)主干的特征提取部分提取到的特征具有通用性，因而模型的預(yù)訓(xùn)練權(quán)重在不同數(shù)據(jù)集上也有通用性。為了加快訓(xùn)練效率及防止權(quán)值被破壞，可以對神經(jīng)網(wǎng)絡(luò)的主干部分進行凍結(jié)訓(xùn)練[31]。在凍結(jié)訓(xùn)練階段，主干網(wǎng)絡(luò)被凍結(jié)，使用預(yù)訓(xùn)練權(quán)重進行訓(xùn)練，特征提取網(wǎng)絡(luò)不變，只細微地調(diào)整網(wǎng)絡(luò)。在解凍訓(xùn)練階段，主干網(wǎng)絡(luò)被解凍，特征提取網(wǎng)絡(luò)發(fā)生改變，所有參數(shù)都將被更新。

凍結(jié)階段的訓(xùn)練參數(shù)如下：模型開始的訓(xùn)練世代（Init_Epoch，取值為0）、模型凍結(jié)訓(xùn)練的迭代次數(shù)（Freeze_Epoch，取值為50）及模型凍結(jié)訓(xùn)練的批大?。‵reeze_batch_size，取值為16）。解凍階段的訓(xùn)練參數(shù)如下：模型訓(xùn)練的總迭代次數(shù)（UnFreeze_Epoch，取值為300），模型在解凍后的批大?。║nfreeze_batch_size，取值為8）。

2結(jié)果與分析

2.1小麥小穗分割模型的訓(xùn)練結(jié)果

使用基于凍結(jié)-解凍機制的HRNet模型、PSPNet模型、DeeplabV3+分割模型及U-Net模型對相同的麥穗訓(xùn)練集進行訓(xùn)練。從圖10可以看出，在不斷迭代的過程中，4種模型的mIoU值都處于上升趨勢，并且迭代次數(shù)的增加使分割模型逐漸穩(wěn)定，最終達到穩(wěn)定收斂的狀態(tài)，基于凍結(jié)-解凍機制的HRNet模型的mIoU值基本穩(wěn)定在0.910 0左右，可見該模型對麥穗數(shù)據(jù)集的分割效果較好。該模型在訓(xùn)練和驗證的過程中表現(xiàn)出良好的穩(wěn)定性，損失值快速下降并最終收斂到0.014 0左右，網(wǎng)絡(luò)的訓(xùn)練效果、收斂速度較好，不存在損失值突變的情況，且變化幅度較小。損失值在訓(xùn)練集、驗證集上的變化趨勢基本一致，差距也很小，說明在梯度計算過程中，該模型能夠迅速找到合適的梯度方向，具有較好的性能穩(wěn)定性和學(xué)習(xí)效果，并且泛化能力較強。

2.2小麥小穗分割模型的性能比較

為了衡量本研究所提模型的有效性，根據(jù)不同分割模型采用不同主干網(wǎng)絡(luò)、優(yōu)化器及學(xué)習(xí)率，并采用多種評價指標對比模型訓(xùn)練的結(jié)果和性能。由表2可以看出，以hrnetv2_w32為主干網(wǎng)絡(luò)、Adam為優(yōu)化器的基于凍結(jié)-解凍機制的HRNet模型取得了最好的分割精度（mIoU=0.911 9），以hrnetv2_w32為主干網(wǎng)絡(luò)、Adam為優(yōu)化器的基于無凍結(jié)-解凍機制的HRNet模型次之（mIoU=0.901 9），以MobileNetv2為主干網(wǎng)絡(luò)、SGD為優(yōu)化器的PSPNet模型的分割精度最低（mIoU=0.814 2）。針對HRNet模型，通過對比是否使用凍結(jié)-解凍機制，證明了基于遷移學(xué)習(xí)的凍結(jié)-解凍機制能夠提高模型的精度，加快訓(xùn)練效率，原因在于該機制能夠使主干權(quán)值不過分隨機，從而提高特征提取的效果。4種模型使用Adam優(yōu)化器的訓(xùn)練結(jié)果要優(yōu)于使用SGD優(yōu)化器的訓(xùn)練結(jié)果，原因在于Adam通過結(jié)合一階動量和二階動量來自適應(yīng)學(xué)習(xí)率，解決了SGD優(yōu)化器下降速度慢、容易取得局部最優(yōu)解的問題[29]。

2.3小麥小穗分割效果比較

在采用最優(yōu)主干網(wǎng)絡(luò)和優(yōu)化器為Adam的情況下，使用麥穗測試集對比分析基于凍結(jié)-解凍機制的HRNet模型、U-Net模型、PSPNet模型及DeeplabV3+分割模型的分割能力，分割效果如圖11所示。從分割效果看，對于輸入的麥穗圖像，PSPNet模型、DeeplabV3+分割模型的分割效果不是很理想，雖然能夠劃分小麥小穗和背景，但是小穗之間粘連嚴重，這是因為小穗之間的灰度特征相似，像素值相近，容易被劃分為一個整體，而背景灰度值與麥穗相差較遠，容易被劃分出來[27-28]。U-Net模型的分割效果雖然好一些，但在復(fù)雜環(huán)境下丟失了一些細節(jié)。相比之下，以hrnetv2_w32為主干網(wǎng)絡(luò)、Adam為優(yōu)化器的基于凍結(jié)-解凍機制的HRNet模型對于麥穗圖像的分割能力較強，不易受其他噪聲影響，能夠準確分割出小穗并計算小穗的數(shù)量和面積。

2.4麥穗粒數(shù)的計數(shù)精度分析與評價

每個小麥品種選取30張樣本圖像，采用基于凍結(jié)-解凍機制的HRNet模型和圖像處理算法對小麥樣本圖像中的小穗進行分割與計數(shù)，再根據(jù)劃定的面積像素數(shù)閾值計算各個小穗的籽粒數(shù)、麥穗總籽粒數(shù)，并與人工計數(shù)法所得結(jié)果進行對比分析，可得小穗粒數(shù)預(yù)測模型的計數(shù)結(jié)果（圖12）及小穗、籽粒的計數(shù)精度評價結(jié)果。由圖12、表3可以看出，3個小麥品種麥穗圖像中小穗計數(shù)的均方根誤差（RMSE）為0.63，平均絕對誤差為0.73，平均相對誤差為2.89%，決定系數(shù)（R2）為0.92；籽粒計數(shù)的RMSE為2.84，平均絕對誤差為0.43，平均相對誤差為5.51%，R2為0.92。由研究結(jié)果可以看出，基于凍結(jié)-解凍機制的HRNet模型和圖像處理算法相較于傳統(tǒng)圖像處理算法，對小穗、籽粒的計數(shù)準確度較高，MAE、MRE都更低，預(yù)測值與真實值的擬合程度較好。因此本方法適用于不同品種的麥穗，能夠顯著提高小穗數(shù)的計數(shù)精度，進而實現(xiàn)單株麥穗籽粒數(shù)的高精度、自動化計數(shù)[32]。

3討論

本研究結(jié)果表明，基于凍結(jié)-解凍機制的HRNet模型和圖像處理算法得到的小麥小穗數(shù)、穗粒數(shù)與人工計數(shù)結(jié)果基本一致。Alkhudaydi等[33]的研究結(jié)果表明，在小麥灌漿后期可以獲得質(zhì)量較好的圖像，有利于提高深度學(xué)習(xí)分割模型的精度。由本研究結(jié)果可知，分割和計數(shù)結(jié)果在不同小麥品種間的表現(xiàn)基本一致。麥穗圖像的采集時間是2022年5月15日、6月8日，在數(shù)據(jù)量一般的條件下，基于凍結(jié)-解凍機制的HRNet模型不僅取得了良好的分割效果，而且在其他日期采集的圖像上的表現(xiàn)突出[5]。研究發(fā)現(xiàn)，在晴朗多云的環(huán)境下，將移動設(shè)備平行于麥穗并相距10 cm左右拍攝的圖像能夠獲得更好的效果，因為該距離能夠清晰地獲取麥穗表型細節(jié)，并有助于實際應(yīng)用。相較于采用互補金屬氧化物半導(dǎo)體（CMOS）工業(yè)相機[7]、無人機等進行圖像采集，使用移動設(shè)備采集圖像的實用性更好，適用性更強，更方便快捷。趙三琴等[5]率先確定了稻穗結(jié)構(gòu)圖像特征與籽粒數(shù)間的相關(guān)關(guān)系，杜世偉等[7]將這種方法引入小麥研究中，證明通過小穗像素數(shù)間接獲取穗粒數(shù)的可行性。小穗粒數(shù)預(yù)測模型通過確定小穗像素數(shù)與穗粒數(shù)間的關(guān)系閾值來預(yù)測每個小穗對應(yīng)的粒數(shù)，以深度學(xué)習(xí)分割模型預(yù)測的結(jié)果作為輸入。相較于以處理后的RGB圖像作為輸入，這種方法能夠更快速、準確地計算小穗像素數(shù)，從而精確預(yù)測穗粒數(shù)。

總的來說，通過在相同數(shù)據(jù)集中對比同樣采用凍結(jié)-解凍機制的PSPNet模型、DeeplabV3+分割模型、U-Net模型及無凍結(jié)-解凍機制的HRNet模型，提出了基于凍結(jié)-解凍機制的HRNet模型，該模型在灌漿期小麥圖像中小穗和穗粒的分割方面表現(xiàn)出了較好的性能（mIoU=0.911 9）。利用圖像處理算法對預(yù)測圖像進行各個小穗的分割，計算小穗的數(shù)量和像素數(shù)，并根據(jù)粒數(shù)預(yù)測模型，由各小穗的像素數(shù)得到籽粒數(shù)，進而獲得整個麥穗的籽粒數(shù)。相較于傳統(tǒng)圖像處理算法[12]，本研究方法極大提高了小穗數(shù)的識別精度，能夠?qū)崿F(xiàn)對單株麥穗籽粒進行較高精度的自動計數(shù)[34]。

本研究結(jié)果有助于開發(fā)一種低成本、快速且易于實施的小麥小穗和穗粒計數(shù)系統(tǒng)。目前的研究主要通過固定拍攝高度[35]或設(shè)置參考物和地面標準[36]等措施來降低誤差，這在一定程度上影響了該方法的實用性，未來使用無人機低空采集圖像來進行小麥小穗、穗粒的計數(shù)是研究目標之一。

4結(jié)論

為了對小麥圖像中的穗粒進行更加精確的分割與計數(shù)，本研究通過獲取小麥材料和數(shù)據(jù)，提出一種基于凍結(jié)-解凍機制的HRNet模型，結(jié)合圖像處理算法，實現(xiàn)了小麥穗粒的精確計數(shù)，主要結(jié)論如下：1）針對麥穗圖像語義信息比較復(fù)雜，圖像中的小穗及穗粒之間粘連覆蓋現(xiàn)象嚴重等問題，提出在原始HRNet模型基礎(chǔ)上，根據(jù)遷移學(xué)習(xí)思想，增加凍結(jié)-解凍機制，以提高特征提取效率，防止權(quán)值太過隨機，從而加快訓(xùn)練效率?；趦鼋Y(jié)-解凍機制的HRNet模型預(yù)測出的效果明顯優(yōu)于對比組的網(wǎng)絡(luò)模型，證明該模型魯棒性較好。2）使用基于凍結(jié)-解凍機制的HRNet模型對麥穗數(shù)據(jù)集圖像進行訓(xùn)練、驗證和測試，用mIoU等指標對分割結(jié)果的準確性及分割效果進行評估。結(jié)果顯示，小麥穗粒的分割精確度為0.959 4，mIoU值為0.911 9，mPA值為0.941 9，召回率為0.941 9，與同樣采用凍結(jié)-解凍機制的PSPNet模型、DeeplabV3+分割模型、U-Net模型及無凍結(jié)-解凍機制的HRNet模型相比，分割精確度有所提升，表現(xiàn)出較強的泛化能力。3）本研究從小麥小穗圖像入手，采用圖像處理算法確定小穗像素數(shù)與穗粒數(shù)的關(guān)系閾值，根據(jù)農(nóng)學(xué)知識找出麥穗總粒數(shù)的計算方法，通過計算人工計數(shù)結(jié)果和預(yù)測值的擬合程度和誤差，發(fā)現(xiàn)相較于傳統(tǒng)圖像處理算法，本研究方法極大提高了小穗數(shù)的計數(shù)精度，能夠?qū)崿F(xiàn)對單株麥穗籽粒進行較高精度的自動計數(shù)。4）本研究方法可用于估算小麥小穗數(shù)和穗粒數(shù)，提高小麥產(chǎn)量估算效率，同時還可為農(nóng)業(yè)工作者提供快速、自動化的高通量小麥小穗、穗粒計數(shù)系統(tǒng)，提高工作效率。本研究方法同樣適用于小麥圖像中小穗、穗粒的分割和計數(shù)，也可以用于其他植物圖像中的分割和計數(shù)。在未來的工作中，預(yù)計目標是降低圖像采集成本，提高該方法的計數(shù)精度和應(yīng)用范圍。由于本方法是間接獲取麥穗籽粒數(shù)，后續(xù)需要探索新的方法以消除間接誤差。

參考文獻：

[1]張領(lǐng)先，陳運強，李云霞，等. 基于卷積神經(jīng)網(wǎng)絡(luò)的冬小麥麥穗檢測計數(shù)系統(tǒng)[J]. 農(nóng)業(yè)機械學(xué)報，2019，50（3）：144-150.

[2]LI Q Y， CAI J， BERGER B， et al. Detecting spikes of wheat plants using neural networks with laws texture energy[J]. Plant Methods，2017，13（1）：1-13.

[3]HU W J， FAN J， DU Y X， et al. MDFC-ResNet： an agricultural IoT system to accurately recognize crop diseases[J]. IEEE Access，2020，8：115287-115298.

[4]MISRA T， ARORA A， MARWAHA S， et al. SpikeSegNet-a deep learning approach utilizing encoder-decoder network with hourglass for spike segmentation and counting in wheat plant from visual imaging[J]. Plant Methods，2020，16（1）：1-20.

[5]趙三琴，李毅念，丁為民，等. 稻穗結(jié)構(gòu)圖像特征與籽粒數(shù)相關(guān)關(guān)系分析[J]. 農(nóng)業(yè)機械學(xué)報，2014，45（12）：323-328.

[6]王棟，陳佳瑋，沈利言，等. 基于圖像的水稻穗粒相關(guān)性狀智能檢測算法研究[J]. 植物生理學(xué)報，2022，58（5）：957-971.

[7]杜世偉，李毅念，姚敏，等. 基于小麥穗部小穗圖像分割的籽粒計數(shù)方法[J]. 南京農(nóng)業(yè)大學(xué)學(xué)報，2018，41（4）：742-751.

[8]QIU R， HE Y， ZHANG M. Automatic detection and counting of wheat spikelet using semi-automatic labeling and deep learning[J]. Frontiers in Plant Science，2022，13：872555.

[9]FERNANDEZ-GALLEGO J A， KEFAUVER S C， GUTIRREZ N A， et al. Wheat ear counting in-field conditions： high throughput and low-cost approach using RGB images[J]. Plant Methods，2018，14（1）：1-12.

[10]劉哲，黃文準，王利平. 基于改進K-means聚類算法的大田麥穗自動計數(shù)[J]. 農(nóng)業(yè)工程學(xué)報，2019，35（3）：174-181.

[11]XU X， LI H Y， YIN F， et al. Wheat ear counting using K-means clustering segmentation and convolutional neural network[J]. Plant Methods，2020，16：106.

[12]李毅念，杜世偉，姚敏，等. 基于小麥群體圖像的田間麥穗計數(shù)及產(chǎn)量預(yù)測方法[J]. 農(nóng)業(yè)工程學(xué)報，2018，34（21）：185-194.

[13]WEI W， YANG T L， RUI L， et al. Detection and enumeration of wheat grains based on a deep learning method under various scenarios and scales[J]. Journal of Integrative Agriculture，2020，19（8）：1998-2008.

[14]HU G， QIAN L， LIANG D， et al. Self-adversarial training and attention for multi-task wheat phenotyping[J]. Applied Engineering in Agriculture，2019，35（6）：1009-1014.

[15]DANDRIFOSSE S， ENNADIFI E， CARLIER A， et al. Deep learning for wheat ear segmentation and ear density measurement： from heading to maturity[J]. Computers and Electronics in Agriculture，2022，199：107161.

[16]ZHAO J， ZHANG X， YAN J， et al. A wheat spike detection method in UAV images based on improved YOLOv5[J]. Remote Sensing，2021，13（16）：3095.

[17]MISRA T， ARORA A， MARWAHA S， et al. Web-SpikeSegNet： deep learning framework for recognition and counting of spikes from visual images of wheat plants[J]. IEEE Access，2021，9：76235-76247.

[18]LI J， LI C， FEI S， et al. Wheat ear recognition based on RetinaNet and transfer learning[J]. Sensors，2021，21（14）：4845. DOI：10.3390/s21144845.

[19]段凌鳳，熊雄，劉謙，等. 基于深度全卷積神經(jīng)網(wǎng)絡(luò)的大田稻穗分割[J]. 農(nóng)業(yè)工程學(xué)報，2018，34（12）：202-209.

[20]WANG J D， SUN K， CHENG T H， et al. Deep high-resolution representation learning for visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2020，43（10）：3349-3364.

[21]ZHAO H， SHI J， QI X， et al. Pyramid scene parsing network[C]. Honolulu， HI， USA：IEEE，2017：2881-2890.

[22]CHEN L C， ZHU Y， PAPANDREOU G， et al. Encoder-decoder with atrous separable convolution for semantic image segmentation[C]. Berlin：Springer，2018：801-818.

[23]邱云飛，溫金燕. 基于DeepLabV3+與注意力機制相結(jié)合的圖像語義分割[J]. 激光與光電子學(xué)進展，2022，59（4）：130-139.

[24]馬冬梅，李鵬輝，黃欣悅，等. 改進DeepLabV3+的高效語義分割[J]. 計算機工程與科學(xué)，2022，44（4）：737-745.

[25]RONNEBERGER O， FISCHER P， BROX T. U-net：convolutional networks for biomedical image segmentation[C]. Berlin：Springer International Publishing，2015：234-241.

[26]梁波，盧軍，曹陽. 基于改進U-Net卷積神經(jīng)網(wǎng)絡(luò)的鋼軌表面損傷檢測方法[J]. 激光與光電子學(xué)進展，2021，58（2）：334-340.

[27]MA J C， LI Y X， DU K M， et al. Segmenting ears of winter wheat at flowering stage using digital images and deep learning[J]. Computers and Electronics in Agriculture，2020，168：105159.

[28]ALHARBI N， ZHOU J， WANG W. Automatic counting of wheat spikes from wheat growth images[C]. Funchal， Madeira， Portugal：SciTePress，2018：346-355.

[29]FERNANDEZ-GALLEGO J A， KEFAUVER S C， GUTIRREZ N A， et al. Wheat ear counting in-field conditions： high throughput and low-cost approach using RGB images[J]. Plant Methods，2018，14（1）：22.

[30]KHAKI S， SAFAEI N， PHAM H， et al. Wheatnet： a lightweight convolutional neural network for high-throughput image-based wheat head detection and counting[J]. Neurocomputing，2022，489：78-89.

[31]WANG Y， QIN Y， CUI J. Occlusion robust wheat ear counting algorithm based on deep learning[J]. Frontiers in Plant Science，2021，12：645899. DOI：10.3389/fpls.2021.645899.

[32]MAJI A K， MARWAHA S， KUMAR S， et al. SlypNet：spikelet-based yield prediction of wheat using advanced plant phenotyping and computer vision techniques[J]. Frontiers in Plant Science，2022，13：889853.

[33]ALKHUDAYDI T， ZHOU J， DE LA LGLESIA B. Counting spikelets from infield wheat crop images using fully convolutional networks[J]. Neural Computing and Applications，2022，34（20）：17539-17560.

[34]XU C， JIANG H Y， YUEN P， et al. MHW-PD： a robust rice panicles counting algorithm based on deep learning and multi-scale hybrid window[J]. Computers and Electronics in Agriculture，2020，173：105375.

[35]HASAN M M， CHOPIN J P， LAGA H， et al. Detection and analysis of wheat spikes using convolutional neural networks[J]. Plant Methods，2018，14（1）：1-13.

[36]SADEGHI-TEHRAN P， VIRLET N， AMPE E M， et al. DeepCount： in-field automatic quantification of wheat spikes using simple linear iterative clustering and deep convolutional neural networks[J]. Frontiers in Plant Science，2019，10：1176.

（責(zé)任編輯：徐艷）

收稿日期：2023-02-27

基金項目：國家統(tǒng)計局重大統(tǒng)計專項（2022ZX11）；河南省科技創(chuàng)新杰出人才項目（184200510008）；河南省現(xiàn)代農(nóng)業(yè)產(chǎn)業(yè)技術(shù)體系項目（S2010-01-G04）

作者簡介：許鑫（1984-），男，河南鄧州人，博士，副教授，主要從事智慧農(nóng)業(yè)與大數(shù)據(jù)技術(shù)方面的研究。（E-mail）xuxin468@163.com

通訊作者：馬新明，（E-mail） wheatdoctor@163.com