融合注意力機(jī)制的小麥赤霉病語(yǔ)義分割網(wǎng)絡(luò)

陳鵬 馬子涵 章軍 夏懿 王兵 梁棟

摘要：小麥赤霉病是導(dǎo)致小麥大幅度減產(chǎn)的病害之一，對(duì)其開(kāi)展自動(dòng)識(shí)別研究具有重大意義。然而，傳統(tǒng)方法一般通過(guò)閾值、色彩直方圖等在農(nóng)田復(fù)雜背景下開(kāi)展小麥赤霉病的分割識(shí)別研究，其分割識(shí)別精確度較差并且泛化能力也不盡如意。為了在節(jié)省大量人力成本的同時(shí)對(duì)小麥赤霉病病斑進(jìn)行快速、準(zhǔn)確地分割從而輔助農(nóng)業(yè)工作者對(duì)小麥患病的嚴(yán)重程度進(jìn)行確認(rèn)并開(kāi)展后續(xù)的針對(duì)性研究，提出一種融合卷積神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制的小麥赤霉病語(yǔ)義分割網(wǎng)絡(luò)模型UNetA。該模型依據(jù)小麥赤霉病數(shù)據(jù)集的特點(diǎn)，使用融合了位置自注意力和空間注意力的注意力機(jī)制模塊，并將注意力機(jī)制模塊融入改進(jìn)了的UNet結(jié)構(gòu)中，再利用加權(quán)交叉熵?fù)p失函數(shù)來(lái)衡量預(yù)測(cè)值與實(shí)際值的差距同時(shí)緩解樣本不均衡問(wèn)題。試驗(yàn)結(jié)果表明，與現(xiàn)有的經(jīng)典網(wǎng)絡(luò)模型相比，UNetA模型的分割精度和實(shí)時(shí)性明顯占據(jù)優(yōu)勢(shì)，其MIoU值達(dá)到83.90%，分割單張圖像所用平均時(shí)間僅為0.588 0 s。

關(guān)鍵詞：UNet；注意力；小麥赤霉?。粓D像語(yǔ)義分割

中圖分類號(hào)：S435： TP391

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：2095-5553 （2023） 04-0145-08

Abstract： Fusarium Head Blight （FHB） of wheat is one of the most terrible diseases that lead to wheat yield reduction. It is of great significance to carry out automatic identification research on wheat FHB. However， the traditional methods of segmentation and recognition of wheat scab under complex field background is generally carried out through threshold value， color histogram， etc.， and its segmentation and recognition accuracy is poor and its generalization ability is not satisfactory. In order to quickly and accurately segment FHB scab and then effectively confirm the severity of the disease for assisting agricultural workers to carry out subsequent researches， this paper proposes a semantic segmentation network model， UNetA， based on UNet structure and attention mechanism for wheat FHB. The wheat ear pictures are augmented and then input into the convolution layer of UNetA model for extracting feature map. The Attention mechanism consists with position attention and channel attention after convolution layer to make further extraction， and then Encoder-Decoder structure with skip-connection and BN layer makes up the rest part together. The whole network utilizes cross-entropy loss with weighted parameters to balance the gap between classes and to measure the difference between predicted label and actual label. Subsequently， UNetA model is compared with the state-of-the-art methods. The experiment results show that the proposed method performs favorably against others in terms of MIoU in the same configuration and obtains an 83.90% of MIoU. Moreover， the proposed method spends 0.588 0 s time for wheat sacb segmentation， shorter than others.

Keywords：? UNet; attention mechanism; fusarium head blight of wheat; image sematic segmentation

0 引言

糧食生產(chǎn)在全球經(jīng)濟(jì)以及國(guó)計(jì)民生中都占據(jù)舉足輕重的地位。小麥作為中國(guó)主要支柱型農(nóng)作物，其產(chǎn)量和質(zhì)量的持續(xù)性增長(zhǎng)一直是相關(guān)研究人員關(guān)注的焦點(diǎn)。赤霉病是小麥的?；疾『χ?，小麥從幼苗期到抽穗期均可受害，它能引起高達(dá)40%的減產(chǎn)并使種子失去種用和工業(yè)價(jià)值。因此，及時(shí)、高效地發(fā)現(xiàn)病情并可視化受害程度以便評(píng)估顯得至關(guān)重要。

基于圖像處理和機(jī)器學(xué)習(xí)技術(shù)的方法已經(jīng)大規(guī)模的應(yīng)用到農(nóng)業(yè)病蟲(chóng)害的檢測(cè)中，比如：基于區(qū)域局部顏色和紋理分布特征的柑橘潰瘍病檢測(cè)方法［1］，費(fèi)米能量分割方法［2］，自適應(yīng)閾值分割算法［3］。然而，以上所用的大多數(shù)方法都是在受控背景下進(jìn)行的，而非農(nóng)田真實(shí)背景環(huán)境，而背景問(wèn)題的解決直接關(guān)系著研究能否應(yīng)用于實(shí)際工程。

隨著技術(shù)的變革，以深度卷積神經(jīng)網(wǎng)絡(luò)為代表的許多優(yōu)質(zhì)方法［4-9］極大地推動(dòng)了計(jì)算機(jī)視覺(jué)領(lǐng)域的發(fā)展。學(xué)者們發(fā)現(xiàn)在擁有大規(guī)模訓(xùn)練數(shù)據(jù)和高性能計(jì)算基礎(chǔ)的前提下，DCNN在分類、分割以及目標(biāo)檢測(cè)方面具有驚人的性能［10］，隨后越來(lái)越多的研究將卷積網(wǎng)絡(luò)用于農(nóng)作物病蟲(chóng)害的識(shí)別與分割之中。比如：基于圖像分類的對(duì)植物物種進(jìn)行分類［11］，多種病害分類檢測(cè)［12-13］，小麥赤霉病患病檢測(cè)［14］，蘋(píng)果葉片病害識(shí)別檢測(cè)［15-17］，病害等級(jí)分類［18］等。與圖像分類不同，圖像語(yǔ)義分割需要對(duì)圖片逐像素分類，進(jìn)行像素級(jí)的預(yù)測(cè)。Zhang等［19］提出基于脈沖耦合神經(jīng)網(wǎng)絡(luò)（PCNN）和改進(jìn)的人工蜂群的病害分割算法，該算法通過(guò)自動(dòng)優(yōu)化PCNN參數(shù)來(lái)分割麥穗病斑。Ennadifi等［20］從背景中分割、提取小麥果穗，而后采用了基于GradCAM算法對(duì)小麥穗部病害進(jìn)行無(wú)監(jiān)督定位的方法。張善文等［21］通過(guò)使用具有漸進(jìn)微調(diào)的遷移學(xué)習(xí)并運(yùn)用多尺度特征提取網(wǎng)絡(luò)實(shí)現(xiàn)黃瓜病害葉片圖像分割。Liang等［22］受到金字塔池化模塊的啟發(fā)，設(shè)計(jì)網(wǎng)絡(luò)實(shí)現(xiàn)了小麥白粉病孢子的高效分割。劉永波等［23］使用并行的兩組U-Net［24］模型實(shí)現(xiàn)玉米葉部病斑圖像的語(yǔ)義分割。陳進(jìn)等［25］使用加深了的U-Net模型對(duì)水稻籽粒圖像進(jìn)行分割。在計(jì)算機(jī)視覺(jué)中，注意力機(jī)制基于像素之間的相似性原理有效擴(kuò)大了感受野以便獲取全局聯(lián)系和局部聯(lián)系［26］。鐘昌源等［27］提出分組注意力模塊用于農(nóng)作物葉片分割；王璨等［28］提出了引入遞歸交叉注意力模塊和通道注意力模塊的雙注意力機(jī)制用于幼苗期玉米的識(shí)別與分割。

目前，對(duì)小麥麥穗赤霉病進(jìn)行圖像語(yǔ)義分割主要涉及的問(wèn)題有：（1）農(nóng)田環(huán)境下圖像背景復(fù)雜。（2）小麥麥穗形狀不規(guī)則且部分麥穗有麥芒遮擋。（3）赤霉病病斑部分所占比例相較于麥穗整體而言較小。（4）麥穗圖像不容易標(biāo)注導(dǎo)致數(shù)據(jù)集可用樣本數(shù)量較少。針對(duì)以上問(wèn)題，在對(duì)患有赤霉病的小麥麥穗的特點(diǎn)進(jìn)行研究分析之后，本文提出一種融合了注意力機(jī)制（Attention Mechanism）的改進(jìn)了的UNet網(wǎng)絡(luò)——UnetA。為緩解樣本不平衡的問(wèn)題，本文使用帶有權(quán)重懲罰系數(shù)的交叉熵?fù)p失函數(shù)輔佐網(wǎng)絡(luò)以達(dá)到更高性能。

1 小麥赤霉病分割模型

1.1 數(shù)據(jù)集介紹與處理

本文所用數(shù)據(jù)集為單株小麥麥穗圖像，該圖像由本實(shí)驗(yàn)室使用專業(yè)設(shè)備在小麥農(nóng)田拍攝所得。小麥數(shù)據(jù)集共有500張，其中健康小麥植株圖像為270張，患有赤霉病的小麥植株圖像有230張。數(shù)據(jù)集的標(biāo)注類別共有三種：一類為背景，一類為小麥麥穗，余下的一類為赤霉病病斑部分。健康與非健康小麥圖像及標(biāo)注圖如圖1所示，從左至右分別為完全健康植株，部分患病植株和完全患病植株，圖中綠色標(biāo)注表示整株小麥麥穗，紅色標(biāo)注為赤霉病病斑部分，黑色為背景。數(shù)據(jù)集劃分為：訓(xùn)練集400張，驗(yàn)證集50張，測(cè)試集50張。為了使各個(gè)集合中患病與不患病植株圖像分布比例盡可能相等，進(jìn)行數(shù)據(jù)集劃分時(shí)在保證比例相同的基礎(chǔ)上使用隨機(jī)劃分原則。

在設(shè)定好這些方法的縮放倍數(shù)范圍、旋轉(zhuǎn)范圍以及噪聲干擾程度范圍等參數(shù)后，由網(wǎng)絡(luò)在限定范圍內(nèi)隨機(jī)生成數(shù)值作為具體參數(shù)傳入，網(wǎng)絡(luò)模型在完成數(shù)據(jù)樣本的讀取操作后立即執(zhí)行該預(yù)處理過(guò)程，最終達(dá)到訓(xùn)練圖像數(shù)量大幅度擴(kuò)增的目的。

1.2 UNetA模型構(gòu)建

由于使用的小麥數(shù)據(jù)集的特點(diǎn)是：樣本數(shù)量較??；每張圖像有用的語(yǔ)義信息類別并不十分豐富；樣本主體的結(jié)構(gòu)單一，邊界不清晰，推測(cè)適用于醫(yī)學(xué)小樣本分割的UNet網(wǎng)絡(luò)比ResNet等常用骨干網(wǎng)絡(luò)更適用于本文所用數(shù)據(jù)集?？紤]到圖像語(yǔ)義分割常用的通過(guò)增大卷積核來(lái)提高感受野的方法并不適合赤霉病病斑占比較小的小麥數(shù)據(jù)集，基于注意力機(jī)制具有在不急劇增加計(jì)算量的情況下有效地獲取全局信息并著重處理主要特征的優(yōu)勢(shì)，本文提出了將改進(jìn)的UNet網(wǎng)絡(luò)與注意力機(jī)制進(jìn)行融合的UNetA網(wǎng)絡(luò)，并通過(guò)試驗(yàn)證明了UNetA模型的有效性。

1.2.1 UNetA網(wǎng)絡(luò)

UNet網(wǎng)絡(luò)采用逐像素分類的思想，通過(guò)跳躍連接的方式使深層網(wǎng)絡(luò)獲取盡可能多的低層細(xì)節(jié)信息。網(wǎng)絡(luò)由卷積層、四個(gè)下采樣塊和四個(gè)上采樣塊組成了5層U型結(jié)構(gòu)。整個(gè)網(wǎng)絡(luò)可分為兩部分，第一部分是由卷積和池化組成的編碼器，用于提取特征；第二部分是由卷積和上采樣組成的解碼器。解碼器的每一層都將編碼器相應(yīng)層的低維度特征信息與自身的高維度信息融合在一起，最終在保持網(wǎng)絡(luò)復(fù)雜度盡可能低的同時(shí)取得了很好的效果。

UNetA網(wǎng)絡(luò)在UNet的基礎(chǔ)上進(jìn)行調(diào)整并添加了注意力機(jī)制來(lái)實(shí)現(xiàn)小麥赤霉病的分割。UNetA網(wǎng)絡(luò)結(jié)構(gòu)以及經(jīng)過(guò)每次卷積后的特征圖大?。–×H×W，C為通道數(shù)，H為特征圖的高度，W為特征圖的寬度）如圖2所示。

輸入圖像經(jīng)過(guò)兩次填充為1的卷積進(jìn)行信息交互后，進(jìn)入注意力機(jī)制模塊提取關(guān)鍵信息并弱化不相關(guān)的信息。然后獲得的特征圖通過(guò)最大池化操作進(jìn)行下采樣，下采樣四次后即完成了編碼器部分。接下來(lái)進(jìn)入到以上采樣為主要操作的解碼器階段。UNetA網(wǎng)絡(luò)在第三次上采樣后進(jìn)行跳躍連接時(shí)，將現(xiàn)有特征圖與編碼器中的通過(guò)雙注意力機(jī)制模塊和最大池化下采樣層的特征圖融合起來(lái)得到新的特征圖。新的特征圖進(jìn)行最后一次上采樣后與輸入圖像經(jīng)過(guò)兩次卷積得到的特征圖進(jìn)行連接，再經(jīng)過(guò)一層用于防止過(guò)擬合的BN層之后，通過(guò)兩層卷積網(wǎng)絡(luò)即可得到最終的輸出。在每層執(zhí)行跳躍連接操作之前，編解碼器中的特征圖在通過(guò)卷積操作時(shí)還會(huì)進(jìn)行填充，使之與編碼器中對(duì)應(yīng)層的特征圖大小相同以便進(jìn)行跳躍連接。

1.2.2 注意力模塊

注意力機(jī)制構(gòu)造注意力權(quán)重矩陣圖的理論依據(jù)是：兩個(gè)向量的點(diǎn)乘的幾何意義是這兩個(gè)向量的相似度，即點(diǎn)乘的值越大則夾角越小，這兩個(gè)向量的相關(guān)性就越大。本文的注意力模塊融合了位置自注意力機(jī)制和空間注意力機(jī)制。如圖3所示，模塊的位置自注意力分支先將輸入特征圖（N，C，H，W）進(jìn)行轉(zhuǎn)置，本文所用數(shù)據(jù)為（10，64，150，150），N=10在網(wǎng)絡(luò)中并無(wú)變動(dòng)，N為一次處理的圖像數(shù)。轉(zhuǎn)置后的特征圖與改變了維度的原特征圖進(jìn)行矩陣乘法操作，得到一個(gè)C×C（64×64）的位置自注意力權(quán)重矩陣圖，該矩陣圖用來(lái)提供像素點(diǎn)之間的位置相關(guān)性。緊接著權(quán)重圖與原特征圖相乘，即完成特征圖上像素之間的信息共享。在空間注意力分支中，將輸入的多個(gè)通道的特征圖在每個(gè)通道的相同位置分別取值之后求平均，然后壓縮成一張等大的平均值矩陣特征圖，同時(shí)在所有通道的相應(yīng)位置進(jìn)行最大池化操作。將得到的最大池化特征圖與平均池化特征圖聯(lián)合起來(lái)形成新的特征圖。新特征圖經(jīng)過(guò)卷積和激活函數(shù)即成為最終的空間注意力權(quán)重圖。為了抑制不相關(guān)信息并使重要信息更加突出，將權(quán)重圖與第一個(gè)分支結(jié)果圖進(jìn)行連接，至此完成空間注意力分支的所有操作。最終將兩個(gè)分支得到的特征圖相加即為輸出。

2 試驗(yàn)結(jié)果與分析

2.1 模型設(shè)置

為了驗(yàn)證提出的UNetA網(wǎng)絡(luò)的有效性，本文列出了UnetA與其他模型在小麥數(shù)據(jù)集上的試驗(yàn)數(shù)據(jù)。所有實(shí)驗(yàn)的運(yùn)行環(huán)境統(tǒng)一配置為：操作系統(tǒng)為linux系統(tǒng)，所用GPU型號(hào)為GTX 1080Ti，使用版本為3.7的python語(yǔ)言，基于pytorch框架實(shí)現(xiàn)。UNetA網(wǎng)絡(luò)的動(dòng)量和權(quán)重衰減系數(shù)分別設(shè)置為0.95和0.001。實(shí)驗(yàn)時(shí)批處理大小設(shè)置為10，采用隨機(jī)梯度下降（SGD）算法進(jìn)行優(yōu)化。在比較過(guò)step、poly、cos等學(xué)習(xí)率下降策略的效果后，發(fā)現(xiàn)cos策略最適合本文所用網(wǎng)絡(luò)和數(shù)據(jù)集。

本文在訓(xùn)練時(shí)將小麥圖像的最長(zhǎng)邊設(shè)置為224個(gè)像素，另一邊按比例縮放，然后隨機(jī)裁剪為150×150。最長(zhǎng)邊設(shè)置為224是因?yàn)榻?jīng)過(guò)試驗(yàn)發(fā)現(xiàn)224個(gè)像素更適合上述處理過(guò)程。

2.2 參數(shù)討論

圖4（a）中展示了cos、poly、step等學(xué)習(xí)率下降策略對(duì)MIoU的影響，其中cos策略的MIoU最高，為0.839 0。在epoch未達(dá)到500時(shí)，step下降策略因?yàn)閷W(xué)習(xí)率下降較慢而更占優(yōu)勢(shì)，但隨著訓(xùn)練次數(shù)的增加，取得最佳效果的是cos策略。當(dāng)訓(xùn)練到800次左右時(shí)，cos、poly、step折線圖的上升趨勢(shì)均不再明顯而是逐漸趨于平穩(wěn)。

動(dòng)量除了能夠加速網(wǎng)絡(luò)的收斂外，其值越大網(wǎng)絡(luò)越不容易陷入局部最小，但帶來(lái)的震蕩也越大，導(dǎo)致有可能錯(cuò)過(guò)最佳點(diǎn)。圖4（b）展示了不同動(dòng)量帶來(lái)的影響，M099，M095，M09，M08分別表示動(dòng)量等于0.99，0.95，0.9，0.8。通過(guò)曲線圖4（b）可看出，在訓(xùn)練前期，當(dāng)動(dòng)量為0.95時(shí)，test loss下降的最快。雖然整個(gè)訓(xùn)練過(guò)程中M095、M09、M08的下降趨勢(shì)基本相同，但是M095的test loss值遠(yuǎn)低于M08并且比M09的收斂時(shí)間要早一些。M099可能因?yàn)閯?dòng)量值過(guò)大而造成收斂速度最慢且震蕩明顯。

從圖4（c）中可以看出，SGD優(yōu)化器更適用于UNetA網(wǎng)絡(luò)。RMSprop使用梯度平方的指數(shù)加權(quán)平均減小梯度的擺動(dòng)，Adam在RMSprop的基礎(chǔ)上保存了梯度的指數(shù)衰減平均值。在數(shù)據(jù)特征明顯且變化不大時(shí)，通過(guò)調(diào)整SGD的參數(shù)更容易實(shí)現(xiàn)快速收斂。就本文所用數(shù)據(jù)集而言，在網(wǎng)絡(luò)使用SGD早已趨于收斂時(shí)，Adam和RMSprop仍處于震蕩期，其中Adam的震蕩尤為劇烈；在SGD訓(xùn)練已結(jié)束時(shí)，Adam和RMSprop才逐漸趨于收斂不再有明顯震蕩。

圖4（d）的BS8，BS10，BS12表示批處理（batch_size）分別為8，10，12。如果將所有樣本都在同一時(shí)間輸入到網(wǎng)絡(luò)中，則很難確定全局最優(yōu)學(xué)習(xí)率且對(duì)顯卡等硬件要求也較為苛刻，而每次只輸入一個(gè)樣本又使得模型的泛化效果較差。batch_size的引入在充分利用并行計(jì)算能力提高速度的同時(shí)可以獲得較為準(zhǔn)確的梯度方向。此外，batch_size的隨機(jī)抽取操作可以解決使用數(shù)據(jù)增廣帶來(lái)的同一批數(shù)據(jù)相關(guān)性過(guò)高問(wèn)題。由圖4（d）可以看出batch_size等于10的時(shí)候更合適，此時(shí)的MIoU明顯高于其他兩者。更大的batch_size需要更多的內(nèi)存去支持且由于小麥數(shù)據(jù)集數(shù)據(jù)樣本較少，較大值會(huì)造成每個(gè)epoch的迭代次數(shù)減少，導(dǎo)致訓(xùn)練效果下降。若batch_size值較小，求平均或求和得到的函數(shù)值則不能充分描述每個(gè)樣本。

weight_decay即為L(zhǎng)2正則化，通過(guò)影響網(wǎng)絡(luò)權(quán)重參數(shù)的更新使權(quán)重收斂到某一個(gè)絕對(duì)值較小的常數(shù)，降低模型的復(fù)雜度來(lái)緩解過(guò)擬合現(xiàn)象的發(fā)生。在網(wǎng)絡(luò)沒(méi)有出現(xiàn)過(guò)擬合的情況下，圖4（e）的折線圖顯示當(dāng)權(quán)重衰減參數(shù)是0.001時(shí)，網(wǎng)絡(luò)有更好的效果。權(quán)值越大越能更好地?cái)M合樣本點(diǎn)，也越容易受到噪聲的影響；取較小值雖可以屏蔽噪聲的影響但會(huì)因忽略細(xì)節(jié)變化使擬合效果下降。

2.3 與其他模型對(duì)比試驗(yàn)

UNetA網(wǎng)絡(luò)與現(xiàn)有其他分割網(wǎng)絡(luò)進(jìn)行對(duì)比的結(jié)果如表1所示。在以MIoU為評(píng)測(cè)標(biāo)準(zhǔn)時(shí)，UnetA網(wǎng)絡(luò)的分割精度比Deeplabv3+高了3.92%。相較CENet、DenseASPP、RefineNet、SegNet、UNet等網(wǎng)絡(luò)，UnetA網(wǎng)絡(luò)的MIoU分別提高了8.59%、2.13%、2.40%、3.78%、0.61%。

除MIoU外，本文還將UNetA網(wǎng)絡(luò)與上述各個(gè)網(wǎng)絡(luò)在GPU內(nèi)存占用量以及圖像平均分割時(shí)間這兩個(gè)方面作對(duì)比，試驗(yàn)結(jié)果如表1的第三和第四列所示。在保持batch_size大小一致時(shí)，只有CENet以及DenseASPP網(wǎng)絡(luò)的GPU占用量小于UNetA網(wǎng)絡(luò)，但兩者分割一張圖像的平均用時(shí)均較長(zhǎng)而且分割精度遠(yuǎn)低于UNetA。RefineNet的分割用時(shí)將近UNetA的兩倍，但分割用時(shí)的增加并沒(méi)有使網(wǎng)絡(luò)的MIoU相較于UNetA有明顯優(yōu)勢(shì)。SegNet的分割速度相較于UNetA而言慢了37.75%，且相對(duì)精度低了4.50%。Deeplabv3+相較于UNetA而言相對(duì)精度低4.67%，相對(duì)分割用時(shí)高45.62%。UNet網(wǎng)絡(luò)的GPU占用量略高于UNetA網(wǎng)絡(luò)，且MIoU比UNetA低0.61%，分割時(shí)間更是遠(yuǎn)高于UNetA，達(dá)到了0.937 4 s，而UNetA只需要0.588 0 s。

試驗(yàn)結(jié)果表明UNetA網(wǎng)絡(luò)在分割精度、實(shí)時(shí)性等方面均有較大優(yōu)勢(shì)，未來(lái)可將其投入智慧農(nóng)業(yè)方面的實(shí)際應(yīng)用當(dāng)中。

2.4 模型結(jié)果分析及示例展示

用作對(duì)比的網(wǎng)絡(luò)中，有的網(wǎng)絡(luò)的高層添加了最大池化層，例如RMP（Residual Multi-kernel pooling）［29］，一些添加了空洞卷積［30］來(lái)盡可能地獲取更多的上下文信息。然而當(dāng)以本文所用的小麥數(shù)據(jù)集為輸入且到達(dá)RMP所在的網(wǎng)絡(luò)位置時(shí)，特征圖所包含的信息已經(jīng)經(jīng)過(guò)多次提取，特征圖每個(gè)部分所含的信息都極為重要，此時(shí)進(jìn)行最大池化造成的信息損失對(duì)分割精度有較大的影響?？斩淳矸e雖然能有效擴(kuò)大感受野，但是卻帶來(lái)了額外的計(jì)算量并且對(duì)于本文所用數(shù)據(jù)集而言，由于大部分圖像的小麥病斑部分在整張圖像中占比較小，使用空洞卷積反而會(huì)帶來(lái)額外的負(fù)擔(dān)。綜上，對(duì)本文數(shù)據(jù)集使用注意力機(jī)制能更有效、全面地提取上下文信息，使網(wǎng)絡(luò)更好地區(qū)分出小麥病斑、正常植株和背景部分。

部分網(wǎng)絡(luò)可視化分割結(jié)果圖如圖5所示。圖5的每行分別為完全患病植株、部分患病植株以及健康植株，其中第一列是輸入圖片，第二列是標(biāo)注圖，第三至六列分別是Deeplabv3+、DenseASPP、RefineNet和UNetA等網(wǎng)絡(luò)的分割效果圖。其中紅色部分是標(biāo)注編號(hào)為數(shù)字1的赤霉病病斑部分，綠色部分為標(biāo)注編號(hào)為數(shù)字2的小麥麥穗部分，黑色即為背景部分，標(biāo)注編號(hào)為0。

然而小部分圖像的分割效果較差，如圖6所示。圖中紅色部分是赤霉病病斑部分，綠色部分是小麥麥穗部分。圖6（a）、圖6（b）均為背景顏色與小麥顏色相近且小麥果穗上有較多的麥芒遮擋；圖6（c）除具有圖6（a）、圖6（b）的劣勢(shì)外，還比較模糊，不易區(qū)分出背景和分割目標(biāo)部分；圖6（d）背景中小麥葉片的顏色與小麥果穗底部部分顏色基本相同。在接下來(lái)的研究中需要盡可能提高與背景顏色相近的標(biāo)注部分的分割精度以及減少遮擋對(duì)圖像分割的影響，以使網(wǎng)絡(luò)有更進(jìn)一步的效果。

3 結(jié)論

1） 本文提出了一種基于注意力機(jī)制的小麥赤霉病語(yǔ)義分割卷積網(wǎng)絡(luò)UNetA，旨在分割出小麥麥穗中患有赤霉病的部分以此來(lái)減輕相關(guān)農(nóng)業(yè)科研工作者的人工成本并可協(xié)助其進(jìn)行后續(xù)研究。

2） 本文使用農(nóng)田背景下的單株小麥作為試驗(yàn)對(duì)象，同時(shí)為緩解數(shù)據(jù)類間不均衡問(wèn)題，在計(jì)算損失時(shí)使用帶有懲罰權(quán)重的交叉熵?fù)p失函數(shù)。根據(jù)數(shù)據(jù)集的特點(diǎn)，本文針對(duì)UNet網(wǎng)絡(luò)做出改進(jìn)，即融合了空間注意力以及位置自注意力機(jī)制并添加BN層。與Deeplabv3+、CENet、DenseASPP、RefineNet、SegNet、UNet等現(xiàn)有分割效果優(yōu)異的網(wǎng)絡(luò)相比，UNetA網(wǎng)絡(luò)的MIoU分別高出3.92%、8.59%、2.13%、2.40%、3.78%、0.61%。

3） 在相同的數(shù)據(jù)集上的分割速度對(duì)比試驗(yàn)證明，UNetA網(wǎng)絡(luò)的分割速度較Deeplabv3+、CENet、DenseASPP、RefineNet、SegNet、UNet也有明顯優(yōu)勢(shì)。

參 考 文 獻(xiàn)

［1］ Zhang M， Meng Q. Automatic citrus canker detection from leaf images captured in field ［J］. Pattern Recognition Letters， 2011， 32（15）： 2036-2046.

［2］ Phadikar S， Sil J， Das A K. Rice diseases classification using feature selection and rule generation techniques ［J］. Computers and Electronics in Agriculture， 2013， 90： 76-85.

［3］ Wang J， He J， Han Y， et al. An adaptive thresholding algorithm of field leaf image ［J］. Computers and Electronics in Agriculture， 2013， 96（6）： 23-39.

［4］ Chen L C， Papandreou G， Schroff F， et al. Rethinking Atrous convolution for semantic image segmentation ［J］. 2017： 21-22.

［5］ Visin F， Kastner K， Cho K， et al. ReNet： A recurrent neural network based alternative to convolutional networks ［J］. Computer Science， 2015， 25（7）： 2983-2996.

［6］ Li Z， Gan Y， Liang X， et al. LSTM-CF： Unifying context modeling and fusion with LSTMs for RGB-D scene labeling ［J］. Springer International Publishing， 2016： 541-557.

［7］ Zheng S， Lu J， Zhao H， et al. Rethinking semantic segmentation from a sequence-to-sequence perspective with transformers ［C］. Computer Vision and Pattern Recognition. IEEE， 2021.

［8］ Mnih V， Heess N， Graves A， et al. Recurrent models of visual attention ［J］. Advances in Neural Information Processing Systems， 2014.

［9］ Jie H， Li S， Gang S. Squeeze-and-Excitation Networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2019.

［10］ Szegedy C， Liu W， Jia Y， et al. Going deeper with convolutions ［C］. 2015 IEEE Conference on Computer Vision and Pattern Recognition， 2015.

［11］ Grinblat G L， Uzal L C， Larese M G， et al. Deep learning for plant identification using vein morphological patterns ［J］. Computers and Electronics in Agriculture， 2016， 127： 418-424.

［12］ Srdjan S， Marko A， Andras A， et al. Deep neural networks based recognition of plant diseases by leaf image classification ［J］. Computational Intelligence and Neuroscience， 2016： 1-11.

［13］ 劉冬寒， 錢程. 基于遷移學(xué)習(xí)和殘差網(wǎng)絡(luò)的農(nóng)作物病害識(shí)別［J］. 計(jì)算機(jī)科學(xué)與應(yīng)用， 2021， 11（4）： 1165-1172.

Liu Donghan， Qian Cheng. Crop disease recognition based on residual network of transfer learning ［J］. Computer Science and Application， 2021， 11（4）： 1165-1172.

［14］ Xiu J， Jie L， Wang S， et al. Classifying wheat hyperspectral pixels of healthy heads and Fusarium head blight disease using a deep neural network in the wild field ［J］. Remote Sensing， 2018， 10（3）： 395.

［15］ Liu B， Zhang Y， He D， et al. Identification of apple leaf diseases based on deep convolutional neural networks ［J］. Symmetry， 2017， 10（1）： 11.

［16］ Fang T， Chen P， Zhang J， et al. Identification of apple leaf diseases based on convolutional neural network ［C］. International Conference on Intelligent Computing. Springer， Cham， 2019： 553-564.

［17］ Chao X， Hu X， Feng J， et al. Construction of apple leaf diseases identification networks based on Xception fused by SE module ［J］. Applied Sciences， 2021，11（10）.

［18］ Fang T， Chen P， Zhang J， et al. Crop leaf disease grade identification based on an improved convolutional neural network ［J］. Journal of Electronic Imaging， 2020， 29（1）： 013004.

［19］ Zhang D， Wang D，Gu C， et al. Using neural network to identify the severity of wheat Fusarium head blight in the field environment ［J］. Remote Sensing， 2019， 11（20）： 2375.

［20］ Ennadifi E， Laraba S， Vincke D， et al. Wheat diseases classification and localization using convolutional neural networks and GradCAM visualization ［C］. 2020 International Conference on Intelligent Systems and Computer Vision （ISCV）， 2020.

［21］ 張善文， 王振， 王祖良. 多尺度融合卷積神經(jīng)網(wǎng)絡(luò)的黃瓜病害葉片圖像分割方法［J］. 農(nóng)業(yè)工程學(xué)報(bào)， 2020， 36（16）： 149-157.

Zhang Shanwen， Wang Zhen， Wang Zuliang. Method for image segmentation of cucumber disease leaves based on multi-scale fusion convolutional neural networks ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2020， 36（16）： 149-157.

［22］ Liang X， Wang B. Wheat powdery mildew spore images segmentation based on U-Net ［J］. Journal of Physics： Conference Series， 2020， 1631（1）.

［23］ 劉永波， 胡亮， 曹艷， 等. 基于U-Net的玉米葉部病斑分割算法［J］. 中國(guó)農(nóng)學(xué)通報(bào)， 2021， 37（5）： 88-95.

Liu Yongbo， Hu Liang， Cao Yan， et al. Image segmentation for maize leaf disease based on U-Net ［J］. Chinese Agricultural Science Bulletin， 2021， 37（5）： 88-95.

［24］ Ronneberger O， Fischer P， Brox T. U-Net： Convolutional networks for biomedical image segmentation ［C］. Medical Image Computing and Computer-Assisted Intervention—MICCAI 2015： 18th International Conference， 2015： 234-241.

［25］ 陳進(jìn)， 韓夢(mèng)娜， 練毅， 等. 基于U-Net模型的含雜水稻籽粒圖像分割［J］. 農(nóng)業(yè)工程學(xué)報(bào)， 2020， 36（10）： 174-180.

Chen Jin， Han Mengna， Lian Yi， et al. Segmentation of impurity rice grain images based on U-Net model ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2020， 36（10）： 174-180.

［26］ 張漢， 張德祥， 陳鵬， 等. 并行注意力機(jī)制在圖像語(yǔ)義分割中的應(yīng)用［J］. 計(jì)算機(jī)工程與應(yīng)用， 2022， 58（9）： 151-160.

Zhang Han， Zhang Dexiang， Chen Peng， et al. Application of parallel attention mechanism in image semantic segmentation ［J］. Computer Engineering and Applications， 2022， 58（9）： 151-160.

［27］ 鐘昌源， 胡澤林， 李淼， 等. 基于分組注意力模塊的實(shí)時(shí)農(nóng)作物病害葉片語(yǔ)義分割模型［J］. 農(nóng)業(yè)工程學(xué)報(bào)， 2021， 37（4）： 208-215.

Zhong Changyuan， Hu Zelin， Li Miao， et al. Real-time semantic segmentation model for crop disease leaves using group attention module ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2021， 37（4）： 208-215.

［28］ 王璨， 武新慧， 張燕青， 等. 基于雙注意力語(yǔ)義分割網(wǎng)絡(luò)的田間苗期玉米識(shí)別與分割［J］. 農(nóng)業(yè)工程學(xué)報(bào)， 2021， 37（9）： 211-221.

Wang Can， Wu Xinhui， Zhang Yanqing， et al. Recognition and segmentation of maize seedlings in field based on dual attention semantic segmentation network ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2021， 37（9）： 211-221.

［29］ Gu Z， Cheng J， Fu H， et al. CE-Net： Context encoder network for 2D medical image segmentation ［J］. IEEE Transactions on Medical Imaging， 2019.

［30］ Li Z，Gan Y， Liang X， et al. LSTM-CF： Unifying context modeling and fusion with LSTMs for RGB-D scene labeling ［C］. Computer Vision-ECCV 2016： 14th European Conference， 2016： 541-557.