基于改進(jìn)Swin-Unet的小麥條銹病分割方法

摘要：條銹病是影響小麥產(chǎn)量及糧食安全的重要因素，條銹病圖像的精準(zhǔn)分割是實(shí)現(xiàn)計算機(jī)輔助精準(zhǔn)防治的重要基礎(chǔ)。針對小麥條銹病圖像中病斑形態(tài)復(fù)雜、病斑與非病斑之間邊界模糊、分割精度低的問題，本研究提出了一種基于改進(jìn)Swin-Unet的小麥條銹病圖像分割方法，通過在Swin-UneT中引入SENet（Squeeze-and-Excitation Networks）和殘差網(wǎng)絡(luò)（ResNeT）模塊來增強(qiáng)模型對條銹病特征的表達(dá)能力。實(shí)驗結(jié)果表明，改進(jìn)Swin-UneT對背景、孢子和葉片的查準(zhǔn)率分別為99.24％、82.32％和94.36％，可以從復(fù)雜環(huán)境中有效分割出背景、孢子和葉片圖像，具有較好的計算機(jī)視覺處理能力和分割評估效果。改進(jìn)Swin-Unet總體分割準(zhǔn)確率、平均交并比和均像素準(zhǔn)確率分別為96.88％、84.91％和90.50％，較Swin-Unet分別提高了2.84、4.64個和5.38個百分點(diǎn)；與其他網(wǎng)絡(luò)模型（U-Net、PSPNet、DeepLabV3+和Swin-Unet）相比，改進(jìn)Swin-Unet具有最佳分割效果。表明本研究提出的方法可以精準(zhǔn)檢測和分割小麥條銹病圖像，這可為田間復(fù)雜環(huán)境下小麥條銹病的自動檢測和早期預(yù)防提供技術(shù)支持。

關(guān)鍵詞：小麥條銹??；語義分割；Swin-Unet；注意力機(jī)制

中圖分類號：S126 文獻(xiàn)標(biāo)識號：A 文章編號：1001-4942（2024）12-0147-07

小麥?zhǔn)鞘澜缟现匾募Z食作物，可為全球約三分之一的人口提供糧食。國家統(tǒng)計局網(wǎng)站數(shù)據(jù)顯示，2023-2024年度河南省小麥播種面積2 309萬hm2，產(chǎn)量1 382億kg。隨著我國人口基數(shù)的增加、耕地面積的減少，實(shí)現(xiàn)小麥自給自足的根本出路在于提高單產(chǎn)。然而，據(jù)FAO估算，全世界每年由病蟲害導(dǎo)致的糧食減產(chǎn)約占總產(chǎn)量的25％。條銹病是我國華北小麥種植區(qū)常年頻發(fā)的病害之一，可導(dǎo)致部分麥田大量減產(chǎn)，嚴(yán)重影響我國小麥生產(chǎn)和糧食安全，培育抗病小麥品種和早期防治是降低其危害的重要手段。鑒于此，探索快速、智能的小麥條銹病圖像分割方法，實(shí)現(xiàn)田間復(fù)雜環(huán)境下小麥條銹病的自動檢測，可為其早期防治提供技術(shù)支持。

目前，在作物育種實(shí)踐中，研究者致力于培育抗病小麥品種，開發(fā)小麥抗病表型精準(zhǔn)預(yù)測方法。但在實(shí)際生產(chǎn)中，小麥條銹病的調(diào)查大多仍主要依靠人工田間調(diào)查，耗時耗力且準(zhǔn)確性低。隨著遙感技術(shù)的快速發(fā)展，諸多學(xué)者借助遙感技術(shù)，基于遙感圖像中光譜特征的提取，實(shí)現(xiàn)了作物病害識別及發(fā)病程度估算?；谶b感技術(shù)的病害檢測方法主要有經(jīng)驗統(tǒng)計模型和機(jī)器學(xué)習(xí)方法，其中經(jīng)驗統(tǒng)計模型較為簡單且只需要較少的輸入數(shù)據(jù)，被廣泛用作基于過程模型的常見替代方案，可以評估作物病害的嚴(yán)重程度；機(jī)器學(xué)習(xí)方法近年來發(fā)展較快，常見的隨機(jī)森林法、支持向量機(jī)法和偏最小二乘法等已在作物病害監(jiān)測領(lǐng)域取得成功。例如：Pujari等利用Radon變換和投影算法處理小麥、玉米等谷物感染白粉病、葉銹病等真菌病害的圖像，使用支持向量機(jī)算法實(shí)現(xiàn)了不同病害的檢測與分類；Xu等將清晰的小麥葉銹病圖像轉(zhuǎn)換為RGB模型中的G單通道灰度圖像，基于Sober算法進(jìn)行垂直邊緣檢測，通過計算病斑與葉片的面積比例對小麥發(fā)病等級做出準(zhǔn)確診斷：Guo等基于無人機(jī)圖像提取的植被指數(shù)和紋理特征，建立了基于偏最小二乘回歸法的小麥黃銹病監(jiān)測模型。

近年來，基于深度學(xué)習(xí)的各種神經(jīng)網(wǎng)絡(luò)由于對圖像處理的高效性和成本優(yōu)勢，被廣泛用于作物病害圖像的自動檢測，能夠解決傳統(tǒng)人工方法效率低且費(fèi)時費(fèi)力的問題，進(jìn)一步提高病害檢測的效率和準(zhǔn)確性。例如為了解決傳統(tǒng)圖像在分割場景和任務(wù)需求方面的局限性，鮑文霞等根據(jù)小麥赤霉病發(fā)生區(qū)域與健康區(qū)域的顏色分布特點(diǎn)，利用多路卷積神經(jīng)網(wǎng)絡(luò)對小麥赤霉病圖像進(jìn)行識別；Zhang等利用全卷積神經(jīng)網(wǎng)絡(luò)和脈沖耦合神經(jīng)網(wǎng)絡(luò)對田間背景下麥瘟病的嚴(yán)重程度進(jìn)行了快速、準(zhǔn)確的識別與劃分。

隨著計算機(jī)視覺技術(shù)的快速發(fā)展，深度學(xué)習(xí)在作物病害圖像分割任務(wù)中取得顯著進(jìn)展：Zhang等提出了小麥赤霉病孢子分割模型CRF_ResUNet++，MIoU達(dá)到0.943；Li等提出了一種采用注意力引導(dǎo)和規(guī)模感知策略的改進(jìn)Res-UNet網(wǎng)絡(luò)。以上研究能夠?qū)π←溔~片病害圖像的特征進(jìn)行深層次的提取，但不能充分利用小麥葉片圖像豐富的上下文信息，仍然會存在細(xì)節(jié)丟失、邊界模糊等問題。因此，如何實(shí)現(xiàn)病斑區(qū)域的精準(zhǔn)分割，是作物病害檢測的關(guān)鍵問題。隨著人工智能技術(shù)的不斷進(jìn)步，Transformer架構(gòu)在計算機(jī)視覺領(lǐng)域取得了突破性進(jìn)展，Swin-Un-et是基于iranstormer的分割網(wǎng)絡(luò)，利用Transformer有效解決了U型網(wǎng)絡(luò)在處理大尺度圖像時計算量過大、物體邊緣分割不清晰等問題。張越等提出了基于改進(jìn)Swin-Unet的遙感圖像分割方法，解決了遙感圖像邊界分割不連續(xù)、目標(biāo)漏分等問題，提高了遙感圖像分割的精度。目前在小麥條銹病圖像分割方面也取得了一定的研究成果，如Su等提出了一種將語義分割模型UNet、無人機(jī)多光譜和RGB影像相結(jié)合的小麥條銹病識別框架。然而，該方法用到的標(biāo)簽數(shù)據(jù)較為稀缺，使得準(zhǔn)確率不高，因此不能做到大范圍推廣。本研究針對小麥條銹病的病斑形態(tài)復(fù)雜、病斑與非病斑之間邊界模糊、分割精度低的問題，提出了基于改進(jìn)Swin-Unet的小麥葉片條銹病圖像分割方法，以Swin-Unet模型為基礎(chǔ)架構(gòu)，結(jié)合SENet和ResNet模塊來增強(qiáng)模型對條銹病特征的表達(dá)能力，以期為小麥條銹病精準(zhǔn)分割及病害自動化檢測提供技術(shù)支撐。

1材料與方法

1.1數(shù)據(jù)集構(gòu)建

基于人工智能系統(tǒng)的作物病害處理數(shù)據(jù)集（Crop Disease Treatmem Dataset，CDTS）是青海省第一個開放的小麥條銹病圖像數(shù)據(jù)集（數(shù)據(jù)來源：https：／／pan.baidu.com/s/lhYmyjxyFsWQpMr06FixOug？pwd=fpOk）。青海省農(nóng)業(yè)科學(xué)院科研人員在小麥條銹病栽培溫室中使用不同的移動設(shè)備拍攝，共獲得2 353張538種不同分辨率的原始圖像，包含了上午、中午、晚上不同光照和不同角度下的圖像：將原始圖像劃分為多個512×512像素的小圖像，構(gòu)建了含有33 238張圖像的CDTS數(shù)據(jù)集。該數(shù)據(jù)集中小麥條銹病圖像示例如圖1所示。CDTS數(shù)據(jù)集提供的圖像和標(biāo)注為使用深度學(xué)習(xí)算法進(jìn)行小面積、高相似度語義分割提供了數(shù)據(jù)支持。

本研究從CDTS數(shù)據(jù)集中隨機(jī)挑選2 000張小麥條銹病圖像，然后按照8：1：1的比例劃分訓(xùn)練集、驗證集和測試集。

1.2改進(jìn)Swin-Unet的小麥條銹病分割模型

Swin-Unet的整體結(jié)構(gòu)由編碼器、瓶頸、解碼器和跳躍連接組成，是基于Transformer結(jié)構(gòu)的語義分割網(wǎng)絡(luò)，結(jié)合了Swin-Transformer和Unet，在圖像分割任務(wù)上取得了顯著的性能提升。Swin-Unet中的補(bǔ)丁合并層可以增加圖像的特征維數(shù)，補(bǔ)丁擴(kuò)展層可以實(shí)現(xiàn)對圖像的上采樣操作：此外，在圖像的編碼和解碼過程中，該網(wǎng)絡(luò)結(jié)構(gòu)能夠?qū)崿F(xiàn)局部到全局的自注意，對全局特征進(jìn)行像素級分割和預(yù)測任務(wù)，更好地保留圖像特征，能有效防止感興趣區(qū)域的誤分類。

針對小麥條銹病的病斑形態(tài)復(fù)雜、病斑與非病斑之間邊界模糊、分割精度低的問題，本研究對Swin-Unet進(jìn)行優(yōu)化和改進(jìn)，提出了基于改進(jìn)Swin-Unet的小麥條銹病圖像分割方法，改進(jìn)Swin-Unet的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

1.2.1引入SENet模塊 通道注意力機(jī)制的目標(biāo)是自適應(yīng)調(diào)整通道特征的權(quán)重，使得網(wǎng)絡(luò)可以更好地關(guān)注重要特征，抑制不重要特征。SENet是通過學(xué)習(xí)通道間的相關(guān)性來動態(tài)調(diào)整特征圖的權(quán)重，以增強(qiáng)重要特征的表示，從而提高模型性能。本研究對Swin-Unet網(wǎng)絡(luò)進(jìn)行改進(jìn)，在每次跳躍連接時，首先將跳躍連接的特征張量作為SENet模塊的輸入，然后應(yīng)用Squeeze操作和Excitation操作來獲得特征加權(quán)的結(jié)果，最后將SENet模塊的輸出添加到解碼器對應(yīng)的特征張量中，在跳躍連接處形成輸出特征張量，用于后續(xù)的解碼器操作。這種方法增強(qiáng)了低級和高級特征之間的聯(lián)系，從而為多尺度預(yù)測和分割提供了更精細(xì)的特征。

1.2.2引入ResNet模塊 ResNet是一種深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，被廣泛應(yīng)用于目標(biāo)檢測和語義分割等計算機(jī)視覺任務(wù)中。由于ResNet中殘差塊的設(shè)計不會導(dǎo)致特征提取的計算能力隨著網(wǎng)絡(luò)的加深而降低，因此，適合用該殘差塊替換位于瓶頸位置的兩個連續(xù)的Transtormer塊。為了更好地提取小麥條銹病區(qū)域特征，提高整體分割效果，本研究經(jīng)過優(yōu)化和比較，利用ResNet34中的Layer4結(jié)構(gòu)作為Swin-Unet中的瓶頸，使用ResNet網(wǎng)絡(luò)層來增加子特征圖像的提取，從而提高模型對小麥葉片病斑區(qū)域的分割精度。

1.3評價指標(biāo)

為了有效和客觀地評估小麥條銹病圖像的分割效果，本研究采用交并比（Intersection over Umon，IoU）、查準(zhǔn)率（Precision）、召回率（Recall）、準(zhǔn)確率（Accuracy）、均交并比（Mean Intersection over Uruon，MIoU）和均像素準(zhǔn)確率（Mean PixelAccuracy，MPA）作為語義分割的評價指標(biāo)。具體計算公式如下：

1.4實(shí)驗環(huán)境及模型參數(shù)

實(shí)驗選用Intel CoreTM i7 10600 CPU，主頻2.90 GHz，GPU選擇NVIDIA GeForce RTX3090，顯存24 GB，使用PyTorch作為深度學(xué)習(xí)框架。本實(shí)驗中所有模型訓(xùn)練使用的優(yōu)化器為Adam，初始學(xué)習(xí)率為0.01，動量因子為0.9，訓(xùn)練迭代輪次為100，批處理量為4，輸入網(wǎng)絡(luò)圖像設(shè)置為512x512像素。

2結(jié)果與分析

2.1改進(jìn)Swin-Unet網(wǎng)絡(luò)模型的訓(xùn)練結(jié)果

圖3顯示了改進(jìn)Swin-Unet模型的訓(xùn)練損失曲線，可以看出，在網(wǎng)絡(luò)訓(xùn)練迭代初期，改進(jìn)Swin-Unet的訓(xùn)練損失曲線迅速降低：在訓(xùn)練迭代中期，改進(jìn)Swin-Unet的訓(xùn)練損失曲線保持適度降低：在訓(xùn)練迭代后期，改進(jìn)Swin-Unet訓(xùn)練損失曲線趨于穩(wěn)定。同時驗證損失曲線與訓(xùn)練損失曲線之間的差距極小。表明改進(jìn)后的RSE-Swin Unet具有出色的穩(wěn)定性。

2.2不同網(wǎng)絡(luò)模型對背景及小麥條銹病孢子和葉片的分割性能比較

為驗證改進(jìn)Swin-Unet網(wǎng)絡(luò)模型對小麥條銹病圖像的分割效果，選擇U-Net、PSPNet、DeepLabV3+和Swin-Unet網(wǎng)絡(luò)模型與其進(jìn)行對比實(shí)驗，表1展示了不同網(wǎng)絡(luò)模型對背景、孢子和葉片的分割性能。在背景分類中，改進(jìn)Swin-Unet網(wǎng)絡(luò)模型分割效果最好，IoU、查準(zhǔn)率和召回率分別為98.41％、99.24％、99.16％，與Swin-Unet相比，分別提高了2.39、0.23、1.04個百分點(diǎn)。在條銹病孢子分類中，改進(jìn)Swin-Unet的分割效果較好，IoU和召回率分別為65.79％和76.62％，分別比Swin-Unet提高12.01、16.48個百分點(diǎn)：而查準(zhǔn)率為82.32％，與Swin-Unet相當(dāng)。在葉片分類中，U-Net的分割效果最好，IoU、查準(zhǔn)率和召回率分別為92.16％、94.69％、97.18％；改進(jìn)Swin-Unet模型的分割效果較好，IoU、查準(zhǔn)率和召回率分別為90.53％、94.36％和95.71％，與Swin-Unet相比，查準(zhǔn)率高出0.94個百分點(diǎn)，而其余兩指標(biāo)略低。

2.3不同網(wǎng)絡(luò)模型的小麥條銹病分割性能比較

表2展示了不同網(wǎng)絡(luò)模型的小麥條銹病總體分割性能，可以看出，改進(jìn)Swin-Unet具有最佳分割結(jié)果，準(zhǔn)確率、MIoU、MPA分別為96.88％、84.91％、90.50％，與Swin-Unet相比，分別提高了2.84、4.64、5.38個百分點(diǎn)。表明本研究提出的方法能夠準(zhǔn)確識別和分割小麥條銹病病斑，適合于小麥條銹病圖像分割。

2.4不同網(wǎng)絡(luò)模型的小麥條銹病分割結(jié)果比較

對改進(jìn)Swin-Unet網(wǎng)絡(luò)與其他主流分割網(wǎng)絡(luò)在小麥條銹病圖像分割任務(wù)中的結(jié)果進(jìn)行比較（圖4），可以看出，改進(jìn)Swin-Unet取得了最佳分割效果：其他主流網(wǎng)絡(luò)模型雖也能準(zhǔn)確分割出病斑區(qū)域，但不能有效分割病斑與非病斑之間邊界模糊區(qū)域。這可能是本研究使用ResNet34的Layer4作為模型的瓶頸，增加了圖像特征計算的收斂性，因而可以獲得較好的分割效果。綜上表明，改進(jìn)Swin-Unet展現(xiàn)出卓越性能，較好地解決了病斑與非病斑之間邊界模糊的問題，顯著提升了對相似紋理和復(fù)雜背景的精準(zhǔn)識別能力，尤其在小麥條銹病的分割結(jié)果中表現(xiàn)最優(yōu)。

3討論與結(jié)論

深度學(xué)習(xí)算法可以有效地分割背景、條銹病孢子和葉片，但對于原始算法來說，當(dāng)圖像的背景復(fù)雜度高、對比度低且存在粘連現(xiàn)象時，原始網(wǎng)絡(luò)對目標(biāo)的特征提取較差，容易造成漏分割。研究認(rèn)為，農(nóng)作物病害識別網(wǎng)絡(luò)EssNet可以在復(fù)雜環(huán)境下對農(nóng)作物的11種病害進(jìn)行識別，準(zhǔn)確率為95.21％。本研究以Swin-Unet模型為基礎(chǔ)架構(gòu)，引入SENet和ResNet模塊，提出了基于改進(jìn)Swin-Unet的小麥葉片條銹病圖像分割方法，該方法在小麥條銹病數(shù)據(jù)集上取得了較好的分割結(jié)果，可以精準(zhǔn)分割小麥條銹病圖像，能夠滿足小麥條銹病檢測的基本需求，可為小麥條銹病的自動檢測和早期預(yù)防提供技術(shù)支持。

Li等采用深度學(xué)習(xí)對小麥條銹病圖像進(jìn)行語義分割，將難以區(qū)分的孢子和斑點(diǎn)分為不同的類別，并對背景、葉片（含斑點(diǎn)）和孢子進(jìn)行了精確的分割。然而，他們的方法不能充分利用小麥葉片圖像豐富的上下文信息，仍然會存在細(xì)節(jié)丟失、邊界模糊等問題。相比之下，本研究所用數(shù)據(jù)集中有大量的圖像，改進(jìn)Swin-Unet較好地解決了信息丟失和邊界模糊的問題，能夠有效地捕獲條銹病圖像中的全局和局部特征信息，增強(qiáng)模型對條銹病特征的表達(dá)能力。實(shí)驗結(jié)果顯示，該方法的小麥條銹病圖像整體分割準(zhǔn)確率、MIoU和MPA分別達(dá)到96.88％、84.91％和90.50％，較Swin-Unet分別提高了2.84、4.64、5.38個百分點(diǎn)，也明顯優(yōu)于其他網(wǎng)絡(luò)模型（U-Net、PSPNet、Deep-LabV3+）。

綜合來看，本研究提出的方法具有較好的計算機(jī)視覺處理能力和性能評估檢測效果，分割性能好，可以精準(zhǔn)地檢測和分割小麥條銹病，為田間復(fù)雜環(huán)境下小麥條銹病的自動檢測提供了新的方法。