基于改進(jìn)Swin-Unet的遙感圖像分割方法

摘 要：針對遙感圖像數(shù)據(jù)本身存在分辨率高、背景復(fù)雜和光照不均等特性導(dǎo)致邊界分割不連續(xù)、目標(biāo)錯分漏分以及存在孔洞等問題，提出了一種基于改進(jìn)Ｓｗｉｎ-Ｕｎｅｔ 的遙感圖像分割方法。在編碼器末端引入空洞空間金字塔池化（ＡｔｒｏｕｓＳｐａｔｉａｌ Ｐｙｒａｍｉｄ Ｐｏｏｌｉｎｇ，ＡＳＰＰ） 模塊，用于捕獲多尺度特征，增強網(wǎng)絡(luò)獲取不同尺度的能力，充分提取上下文信息；將解碼器端的Ｓｗｉｎ Ｔｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ 替換為殘差Ｓｗｉｎ Ｔｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ，不僅保留了原始信息，又能夠緩解模型出現(xiàn)梯度彌散現(xiàn)象；在跳躍連接中引入殘差注意力機制，可以讓模型更加關(guān)注特征圖中的重要特征信息，抑制無效信息，從而提高模型分割的準(zhǔn)確率。在自建數(shù)據(jù)集上進(jìn)行實驗，結(jié)果表明，改進(jìn)后的網(wǎng)絡(luò)平均交并比（ｍｅａｎ Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ，ｍＩｏＵ） 達(dá)到了８０． ５５％ ，提高了４． １３ 個百分點，證明改進(jìn)后的網(wǎng)絡(luò)可以有效提高遙感圖像分割的精度。

關(guān)鍵詞：遙感圖像；語義分割；ＳｗｉｎＵｎｅｔ；空洞空間金字塔池化；殘差注意力機制

中圖分類號：ＴＰ７５１ 文獻(xiàn)標(biāo)志碼：Ａ 開放科學(xué)（資源服務(wù)）標(biāo)識碼（ＯＳＩＤ）：

文章編號：１００３－３１０６（２０２４）０５－１２１７－０９

０ 引言

遙感圖像包含豐富的地物特征信息［１］，通過遙感圖像分割技術(shù)，可以幫助人們自動提取出關(guān)鍵信息，為合理分析和利用土地資源提供應(yīng)用指導(dǎo)，已廣泛應(yīng)用于軍事、農(nóng)業(yè)、城市規(guī)劃、自然災(zāi)害監(jiān)測、道路分析和森林植被等各個領(lǐng)域。然而，由于遙感圖像的分辨率高、紋理信息豐富、同物異譜和異物同譜現(xiàn)象明顯［２］，給遙感圖像分割帶來了很大挑戰(zhàn)。

近年來，越來越多的學(xué)者針對如何提高遙感圖像分割精度的問題展開了研究［３］。閾值分割算法通過選取合適的閾值來實現(xiàn)目標(biāo)和背景的分離，算法難度小、實現(xiàn)簡單，能夠?qū)崿F(xiàn)圖像的快速分割［４］，但對噪聲比較敏感［５］，不適用于復(fù)雜場景下的遙感圖像分割。聚類分割算法具有分割速度快、拓展性強、無監(jiān)督、高效等特性［６］，但初始聚類中心和聚類數(shù)量難以確定，對噪聲也較為敏感［７］。支持向量機（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ，ＳＶＭ）方法可以排除大量冗余樣本，具有較好的魯棒性［８］，但耗時較長，并且只能用于小型數(shù)據(jù)集，對空間的信息利用率不高［９］。閾值、聚類和ＳＶＭ 分割方法屬于傳統(tǒng)圖像分割方法，對于復(fù)雜的遙感圖像來說，傳統(tǒng)分割方法時間效率低、分割的精度并不能滿足實際需要。Ｕｎｅｔ是由Ｒｏｎｎｅｂｅｒｇｅｒ 等［１０］提出的一種對稱的編碼－解碼結(jié)構(gòu)，它可以融合淺層和深層次的語義信息［１１］，并且簡單靈活，可以在較小的數(shù)據(jù)集上獲得良好的分割效果［１２］，但仍會由于空間和細(xì)節(jié)信息的丟失而導(dǎo)致邊緣分割模糊［１３］。深度學(xué)習(xí)方法可以更深層次地提取遙感圖像的特征，但不能充分利用遙感圖像豐富的上下文信息，仍然會存在細(xì)節(jié)丟失、邊界模糊等問題。

將Ｕ 型網(wǎng)絡(luò)與Ｔｒａｎｓｆｏｒｍｅｒ 結(jié)合已經(jīng)成為近２ 年來的研究熱點之一［１４］。Ｓｗｉｎ-Ｕｎｅｔ［１５］是一種以Ｔｒａｎｓｆｏｒｍｅｒ 為骨干網(wǎng)絡(luò)的Ｕ 型網(wǎng)絡(luò)，它可以利用Ｔｒａｎｓｆｏｒｍｅｒ 來彌補Ｕｎｅｔ 本身在捕獲長距離依賴上的缺陷。Ｇａｏ 等［１６］改進(jìn)了Ｓｗｉｎ-Ｕｎｅｔ 以解決糖尿病視網(wǎng)膜病變黃斑水腫區(qū)域分割不準(zhǔn)確的問題，結(jié)果表明，改進(jìn)后的網(wǎng)絡(luò)不僅提高了視網(wǎng)膜黃斑水腫的整體語義分割精度，還進(jìn)一步提高了多尺度、多區(qū)域水腫區(qū)域的語義分割效果。張文康［１７］針對云區(qū)域識別精度低的問題，采用了Ｓｗｉｎ-Ｕｎｅｔ 模型對云圖進(jìn)行識別，結(jié)果表明，該模型可以從遙感圖像中提取更多的語義信息，獲得更好的識別效果，雖然云的邊緣和細(xì)節(jié)仍存在一定的誤差，但整體上提高了對云圖的識別精度。Ｙａｏ 等［１８］針對遙感圖像同物異譜和同譜異物問題，提出將改進(jìn)后的Ｓｗｉｎ-Ｕｎｅｔ 模型作為一個純Ｔｒａｎｓｆｏｒｍｅｒ 模型和新的預(yù)處理方式。實驗結(jié)果證明，該模型能夠更有效地提升遙感圖像分割的精度，相比于傳統(tǒng)模型更有優(yōu)勢。然而，Ｓｗｉｎ-Ｕｎｅｔ 提取的遙感圖像仍然存在邊緣模糊、目標(biāo)漏分等問題。

針對遙感圖像背景復(fù)雜、分辨率高導(dǎo)致遙感圖像的分割結(jié)果不理想的問題，本文設(shè)計了一種基于改進(jìn)Ｓｗｉｎ-Ｕｎｅｔ 圖像分割算法。本文的主要貢獻(xiàn)如下：① 標(biāo)注新的遙感數(shù)據(jù)集，并進(jìn)行數(shù)據(jù)增強等一系列預(yù)處理操作；② 在編碼器末端引入空洞空間金字塔池化，充分提取多尺度遙感圖像特征，增大感受野；③ 將殘差思想引入解碼器端的Ｓｗｉｎ ＴｒａｎｓｆｏｒｍｅｒＢｌｏｃｋ，防止模型出現(xiàn)過擬合現(xiàn)象；④ 在跳躍連接中引入殘差注意力機制，增強重要特征，抑制不重要特征。

１ 基于改進(jìn)Ｓｗｉｎ-Ｕｎｅｔ 的遙感圖像分割網(wǎng)絡(luò)

１． １ 網(wǎng)絡(luò)結(jié)構(gòu)

本文在Ｓｗｉｎ-Ｕｎｅｔ 的基礎(chǔ)上加以改進(jìn)來實現(xiàn)遙感圖像分割，改進(jìn)Ｓｗｉｎ-Ｕｎｅｔ 網(wǎng)絡(luò)結(jié)構(gòu)如圖１ 所示。改進(jìn)后的Ｓｗｉｎ-Ｕｎｅｔ 網(wǎng)絡(luò)包括編碼器、解碼器和跳躍連接３ 個部分。在編碼器部分，輸入圖像先通過圖像分塊處理（Ｐａｔｃｈ Ｐａｒｔｉｔｉｏｎ）操作，將輸入圖像劃分為一個個大小相等的分塊，再通過線性嵌入（Ｌｉｎｅａｒ Ｅｍｂｅｄｄｉｎｇ）改變每個分塊的通道數(shù)目。將這些分塊輸入多個Ｓｗｉｎ Ｔｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ 和圖像塊合并層（Ｐａｔｃｈ Ｍｅｒｇｉｎｇ）中，在編碼器的末端引入空洞空間金字塔池化（Ａｔｒｏｕｓ Ｓｐａｔｉａｌ Ｐｙｒａｍｉｄ Ｐｏｏｌｉｎｇ，ＡＳＰＰ）模塊，用于提取不同尺度信息，增大感受野，提取更多細(xì)節(jié)信息。其中，Ｓｗｉｎ Ｔｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ可以提取圖像特征，Ｐａｔｃｈ Ｍｅｒｇｉｎｇ 操作的主要作用是下采樣，可以將特征圖的長寬變?yōu)樵瓉淼囊话?，同時通道數(shù)增加為原來的２ 倍。解碼器部分包括了多個殘差Ｓｗｉｎ Ｔｒａｎｓｆｏｒｍｅｒ 模塊（Ｒｅｓ-Ｓｗｉｎ ＴｒａｎｓｆｏｒｍｅｒＢｌｏｃｋ）和圖像塊擴展層（Ｐａｔｃｈ Ｅｘｐａｎｄｉｎｇ）。Ｒｅｓ-Ｓｗｉｎ Ｔｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ 中引入了殘差思想，可以有效防止模型出現(xiàn)過擬合現(xiàn)象，提升模型的泛化能力。Ｐａｔｃｈ Ｅｘｐａｎｄｉｎｇ 的主要作用是上采樣，可以將特征圖的長寬變?yōu)樵瓉淼模?倍，通道數(shù)減半。最后一個Ｐａｔｃｈ Ｅｘｐａｎｄｉｎｇ 將特征圖的長寬變?yōu)樵瓉淼模?倍，通道數(shù)不變，最后經(jīng)過一個線性映射得到最終的遙感圖像分割結(jié)果。在跳躍連接部分，將編碼器端的Ｓｗｉｎ Ｔｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ 與解碼器端的Ｒｅｓ-Ｓｗｉｎ Ｔｒａｎｓ-ｆｏｒｍｅｒ Ｂｌｏｃｋ 進(jìn)行跨層連接，彌補了信息的丟失，同時在跳躍連接中加入了殘差通道注意力模塊（Ｒｅｓ-ＳＥ Ｂｌｏｃｋ），可以關(guān)注特征圖中重要的信息，抑制不重要的信息，以提升圖像的分割精度。

１． ２ ＡＳＰＰ

圖像分割網(wǎng)絡(luò)大多是基于編碼器－解碼器的結(jié)構(gòu)，在通過下采樣擴大感受野、上采樣恢復(fù)至原圖的過程中，很容易丟失一些重要的語義特征信息，并且未能充分考慮上下文信息，往往會造成很大的精度損失。ＡＳＰＰ 模塊是由Ｃｈｅｎ 等［１９］在ＤｅｅｐＬａｂ Ｖ２ 中首次提出的，它可以利用不同膨脹率的空洞卷積并行捕獲圖像的不同尺度特征，獲得不同的感受野特征，并將其進(jìn)行融合，充分考慮了上下文信息，同時提高了網(wǎng)絡(luò)對細(xì)節(jié)特征的提取能力。

ＡＳＰＰ 模塊主要包括５ 條分支，第１ 條分支為１ 個１×１ 的卷積，第２、３、４ 條分支為空洞率分別為３、６、１２ 的３×３ 空洞卷積，第５ 條分支為全局平均池化（Ｇｌｏｂａｌ Ａｖｅｒａｇｅ Ｐｏｏｌｉｎｇ，ＧＡＰ）。其中，空洞卷積可以在不增加模型參數(shù)量的同時，增大特征圖的感受野［２０］。最后通過雙線性差值將圖像還原至原始圖像大小。ＡＳＰＰ 模塊如圖２ 所示。本文在ＳｗｉｎＵｎｅｔ 編碼器的末端加入ＡＳＰＰ 模塊，可以充分提取多尺度信息，增大感受野，同時也有助于解碼器恢復(fù)細(xì)節(jié)信息。

１． ３ Ｒｅｓ-Ｓｗｉｎ Ｔｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ

隨著深度學(xué)習(xí)網(wǎng)絡(luò)模型層數(shù)的不斷增加，網(wǎng)絡(luò)模型很容易出現(xiàn)過擬合和網(wǎng)絡(luò)退化的問題，進(jìn)一步限制了網(wǎng)絡(luò)模型精度的提升。為了解決這一問題，Ｈｅ 等［２１］提出了ＲｅｓＮｅｔ 模型，它通過一條有向快捷連接，將輸入直接越層連接到輸出，在不增加參數(shù)量的前提下，有效緩解了網(wǎng)絡(luò)出現(xiàn)梯度彌散的現(xiàn)象，同時捕獲了更加豐富的語義特征，提高了圖像識別的精度。

受到ＲｅｓＮｅｔ 的啟發(fā)，本文將殘差思想引入ＳｗｉｎＴｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ，用一條快捷連接，連接ＳｗｉｎＴｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ 的頭尾，通過恒等映射來防止網(wǎng)絡(luò)模型出現(xiàn)梯度消失的現(xiàn)象。本文將成對帶有Ｗｉｎｄｏｗ Ｍｕｌｔｉ-Ｈｅａｄ Ｓｅｌｆ Ａｔｔｅｎｔｉｏｎ （Ｗ-ＭＳＡ）和ＳｈｉｆｔＷｉｎｄｏｗｓ Ｍｕｌｔｉ-Ｈｅａｄ Ｓｅｌｆ-Ａｔｔｅｎｔｉｏｎ（ＳＷ-ＭＳＡ）的模塊作為一個Ｓｗｉｎ Ｔｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ，Ｒｅｓ-Ｓｗｉｎ ＴｒａｎｓｆｏｒｍｅｒＢｌｏｃｋ 結(jié)構(gòu)如圖３ 所示。實驗中發(fā)現(xiàn)，將解碼器端的Ｓｗｉｎ Ｔｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ 替換為Ｒｅｓ-Ｓｗｉｎ ＴｒａｎｓｆｏｒｍｅｒＢｌｏｃｋ 后，可以有效提高模型對遙感圖像分割的準(zhǔn)確率。

１． ４ 殘差注意力機制

跳躍連接能夠通過將編碼器端的低層次特征與解碼器端的高層次特征進(jìn)行拼接，進(jìn)一步彌補信息的丟失。然而，低層次特征中包含大量冗余的信息，同時缺少特定的語義信息，可能會影響遙感圖像分割的精度。為此，本文將殘差注意力機制引入跳躍連接中，可以強化重要的特征區(qū)域，減弱冗余的特征區(qū)域，從而提高遙感圖像分割的準(zhǔn)確率。

注意力機制［２２］是在２０１７ 年提出的，它的基本思路是從特征通道角度入手，增強重要的特征通道信息，弱化不重要的特征通道信息。壓縮與激勵（Ｓｑｕｅｅｚｅ ＆ Ｅｘｃｉｔａｔｉｏｎ，ＳＥ）模塊主要包括壓縮和激勵兩部分。壓縮（Ｓｑｕｅｅｚｅ）部分將特征圖進(jìn)行ＧＡＰ操作，生成１×１×Ｃ 的向量；激勵（Ｅｘｃｉｔａｔｉｏｎ）部分使用２ 個全連接層來得到每個特征通道的通道權(quán)重，最后進(jìn)行Ｓｃａｌｅ 操作，將得到的權(quán)重與原有的特征圖進(jìn)行相乘，得到最后的輸出結(jié)果。

殘差注意力機制首先對Ｓｗｉｎ Ｔｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ輸出特征圖進(jìn)行Ｒｅｓｈａｐｅ 操作，將其從Ｌ×Ｃ 形狀改變?yōu)椋取粒住粒?形狀。接著，對特征圖進(jìn)行ＧＡＰ、全連接等一系列操作，并將得到的特征圖通過Ｓｃａｌｅ 操作與原特征圖相乘；然后，通過一條快捷連接將改變形狀后的Ｓｗｉｎ Ｔｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ 直接與Ｓｃａｌｅ 操作后得到的特征圖相加，得到新的特征圖；最后，再通過Ｒｅｓｈａｐｅ 操作，將其從Ｈ×Ｗ ×Ｃ 形狀重新恢復(fù)為Ｌ×Ｃ 形狀大小。殘差注意力機制既沒有增加模型的參數(shù)量，又保留了原始信息，同時也防止模型出現(xiàn)過擬合問題。殘差注意力機制結(jié)構(gòu)如圖４ 所示。

２ 實驗

２． １ 數(shù)據(jù)集制作及預(yù)處理

ＷＨＵ-ＲＳ１９ 數(shù)據(jù)集［２３］是從Ｇｏｏｇｌｅ Ｅａｒｔｈ 中提取的遙感影像圖像，包含機場、沙灘、橋梁、沙漠、農(nóng)田和足球場等１９ 個場景類別，每一類大約有５０ 張圖像，共計１ ００５ 張圖像，每張圖像尺寸為６００ ｐｉｘｅｌ×６００ ｐｉｘｅｌ。由于受尺度、方向和照明等因素影響，該數(shù)據(jù)集更為復(fù)雜。

ＲＳＣ１１ 數(shù)據(jù)集［２４］是中科院于２０１６ 年發(fā)布的開源高分辨率遙感影像，涵蓋了美國多個城市的影像圖片，包含了港口、居民區(qū)、鐵路、立交橋、儲罐、密林和疏林等１１ 個類別，圖像尺寸為５１２ ｐｉｘｅｌ ×５１２ ｐｉｘｅｌ，每一類大約有１００ 張圖像，整個數(shù)據(jù)集總共有１ ２３２ 張圖像。

本文從ＷＨＵ-ＲＳ１９ 和ＲＳＣ１１ 數(shù)據(jù)集內(nèi)篩選出了一些具有明顯特征的類別，去除了相似、重復(fù)和單一背景的類別，形成遙感圖像分類數(shù)據(jù)集。通過使用Ｐｙｔｈｏｎ 腳本，將數(shù)據(jù)集內(nèi)所有圖像的后綴名修改為ｐｎｇ 并調(diào)整圖像大小為５１２ ｐｉｘｅｌ × ５１２ ｐｉｘｅｌ。然而，由于遙感圖像分類數(shù)據(jù)集屬于圖像分類數(shù)據(jù)集，缺乏語義分割標(biāo)簽，因此需要Ｌａｂｅｌｍｅ 手動標(biāo)注圖像，生成遙感圖像分割數(shù)據(jù)集。標(biāo)注完成后，通過“ｌａｂｅｌｍｅ２ｖｏｃ”腳本將標(biāo)注完成后所生成的ｊｓｏｎ 文件批量轉(zhuǎn)換為語義分割數(shù)據(jù)集，并將語義分割數(shù)據(jù)集內(nèi)的ＲＧＢ 彩色標(biāo)簽轉(zhuǎn)換為對應(yīng)的單通道數(shù)字標(biāo)簽。最后采用水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、對比度增強、旋轉(zhuǎn)和添加噪聲等一系列數(shù)據(jù)增強方法，最終得到的遙感圖像分割數(shù)據(jù)集總共有３ ５２８ 張圖像，其中選?。?０００ 張作為訓(xùn)練集，５２８ 張作為測試集。原圖片與標(biāo)注圖片（部分?jǐn)?shù)據(jù)集）展示如圖５ 所示。

２． ２ 實驗環(huán)境

本文的實驗環(huán)境基于Ｕｂｕｎｔｕ １８． ０４ 系統(tǒng)，采用的深度學(xué)習(xí)框架為Ｐｙｔｏｒｃｈ。實驗所用的ＧＰＵ 為單卡的ＮＶＩＤＩＡ ＲＴＸ＿３０９０，ＣＵＤＡ 的版本為１１． ７。預(yù)訓(xùn)練權(quán)重使用在ＩｍａｇｅＮｅｔ 數(shù)據(jù)集上預(yù)先訓(xùn)練好的ｓｗｉｎ＿ｔｉｎｙ＿ｐａｔｃｈ４＿ｗｉｎｄｏｗ７＿２２４． ｐｔｈ 權(quán)重，初始學(xué)習(xí)率為０． ０１，動量為０． ９，優(yōu)化算法為隨機梯度下降（Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ，ＳＧＤ）方法。訓(xùn)練模型的ｅｐｏｃｈ 設(shè)置為３００ 個，ｂａｔｃｈ ｓｉｚｅ 大小為１２，窗口大小為８。

２． ３ 損失函數(shù)

本文使用的損失函數(shù)為經(jīng)典的交叉熵?fù)p失（Ｃｒｏｓｓ Ｅｎｔｒｏｐｙ Ｌｏｓｓ，ＣＥ Ｌｏｓｓ）和骰子損失（ＤｉｃｅＬｏｓｓ）相結(jié)合的損失函數(shù)。二者結(jié)合的損失函數(shù)公式為：

Ｌｏｓｓ（ｙ，ｙｐｒｅｄ ） ＝ ０． ４Ｌｏｓｓｃｅ（ｙ，ｙｐｒｅｄ ）＋ ０． ６ＬｏｓｓＤｉｃｅ（ｙ，ｙｐｒｅｄ ），（１）

ＣＥ Ｌｏｓｓ 是經(jīng)典的語義分割中常用的損失函數(shù)，可以很好地優(yōu)化類間距離，同時還可以緩解ＤｉｃｅＬｏｓｓ 訓(xùn)練造成的震蕩問題，其公式為：

由于遙感圖像的前景與背景之間存在不平衡的問題，Ｄｉｃｅ Ｌｏｓｓ 可以減輕復(fù)雜背景對分割結(jié)果的影響，衡量前景與背景之間的重疊部分，很好地解決部分圖像中前景所占比例較小的問題，用來計算真實值和預(yù)測值之間的相似度，其公式為：

式中：ｎ 為遙感圖像分割的類別數(shù)。

２． ４ 評價指標(biāo)

為了驗證改進(jìn)網(wǎng)絡(luò)的有效性，本文采用平均交并比（ｍｅａｎ Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ，ｍＩｏＵ）、總體準(zhǔn)確率（Ｏｖｅｒａｌｌ Ａｃｃｕｒａｃｙ，ＯＡ）和平均像素精度（ｍｅａｎＰｉｘｅｌ Ａｃｃｕｒａｃｙ，ｍＰＡ）作為評價指標(biāo)來評估模型對遙感圖像的分割效果，具體計算公式如下：

式中：ｋ 表示遙感圖像分割的類別數(shù)（不包含背景），ｐｉｉ 表示真正例，即實際為類別ｉ 且被正確地預(yù)測為類別ｉ 的像素數(shù)量；ｐｉｊ 表示假正例，即實際為類別ｉ卻被錯誤地預(yù)測為類別ｊ 的像素數(shù)量；ｐｊｉ 表示假負(fù)例，即實際為類別ｊ 卻被錯誤地預(yù)測為ｉ 的像素數(shù)量。

３ 實驗結(jié)果與分析

３． １ 消融實驗結(jié)果與分析

為了驗證所引入模塊的有效性，本文依次將Ｒｅｓ-Ｓｗｉｎ Ｔｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ、殘差注意力機制以及ＡＳＰＰ 疊加到基線模型中進(jìn)行消融實驗，并通過評價指標(biāo)結(jié)果評估每個模塊對模型性能的影響效果。消融實驗評估結(jié)果對比如表１ 所示。其中，Ｒｅｓ＿ＳＥ表示殘差注意力機制，Ｒｅｓ ＿ Ｓｗｉｎ 表示Ｒｅｓ-ＳｗｉｎＴｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ，ＡＳＰＰ 表示空洞空間金字塔池化。

從表１ 可以看出，引入Ｒｅｓ-Ｓｗｉｎ ＴｒａｎｓｆｏｒｍｅｒＢｌｏｃｋ 后，相較于基線模型，模型的ｍＩｏＵ 提升了１． １２ 個百分點。在此基礎(chǔ)上，進(jìn)一步添加殘差注意力機制，ｍＩｏＵ 提高了１． ９３ 個百分點，最后引入ＡＳＰＰ 模塊，模型的ｍＩｏＵ、ＯＡ 和ｍＰＡ 分別提高了４． １３、１． ７６、５． ５ 個百分點，進(jìn)一步驗證了本文所提的３ 個模塊均可以有效提升遙感圖像分割的精度。

為了更直觀地比較各個模塊對分割結(jié)果的影響，本文對消融實驗結(jié)果進(jìn)行了可視化，消融實驗分割結(jié)果對比如圖６ 所示。從圖６ 可以看出，原始的Ｓｗｉｎ-Ｕｎｅｔ 模型存在著明顯的漏分和錯分問題，但隨著Ｒｅｓ＿Ｓｗｉｎ、Ｒｅｓ＿ＳＥ 和ＡＳＰＰ 等模塊的逐步引入，目標(biāo)輪廓變得更加準(zhǔn)確和清晰，模型的分割效果與真實標(biāo)簽更加接近，目標(biāo)誤分、漏分的現(xiàn)象也有所減少，這充分證明了本文所提模型能夠有效地改善遙感圖像分割的結(jié)果。

３． ２ 模型對比實驗結(jié)果與分析

為了驗證本文所提模型的優(yōu)越性，本文分別將測試圖片輸入到訓(xùn)練好的Ｕｎｅｔ、ＳｅｇＮｅｔ、ＤｅｅｐｌａｂＶ３ ＋、Ｓｗｉｎ-Ｕｎｅｔ 以及本文所提模型中進(jìn)行對比實驗，并隨機選擇了幾張預(yù)測圖像進(jìn)行了可視化，模型對比實驗分割結(jié)果如圖７ 所示。模型對比實驗除了改變網(wǎng)絡(luò)模型外，其余實驗條件均保持一致，包括數(shù)據(jù)集、數(shù)據(jù)增強方式等。

從圖７ 可以看出，Ｕｎｅｔ 能夠基本還原物體輪廓，但存在較多噪聲和多分類識別錯誤現(xiàn)象；相比之下，ＳｅｇＮｅｔ 表現(xiàn)有所提升，噪聲和誤分類現(xiàn)象得到一定改善；ＤｅｅｐｌａｂＶ３ ＋能夠識別更大的區(qū)域，噪聲也有所減少，但在邊緣輪廓識別方面仍有待提高；Ｓｗｉｎ-Ｕｎｅｔ 能夠準(zhǔn)確識別目標(biāo)物體，但仍存在未被識別和錯誤識別的像素；而本文所提模型更接近真實標(biāo)簽，能夠準(zhǔn)確分割出更為精細(xì)的遙感目標(biāo)，顯著改善了目標(biāo)錯分和漏分現(xiàn)象，分割效果最佳。

為了客觀評估不同方法對遙感圖像分割效果的影響，本文通過３ 個評價指標(biāo)來對不同方法進(jìn)行定量評估。各個方法的模型對比實驗結(jié)果如表２ 所示。

由表２ 可知，本文所提的模型在各項評價指標(biāo)中均取得了較大的提升。本文模型的ｍＩｏＵ 為８０． ５５％ ，相比于其他模型分別提高了１０． ５４％ 、６． ２３％ 、６． ７３％和４． １３％ ；ＯＡ 為９１． ８９％ ，比其他模型分別提升了６． ６％ 、４． ９１％ 、４． ４２％ 和１． ７６％ ；ｍＰＡ 為９０． ３６％ ，分別提升了１０． ９６％ 、８． ６２％ 、７． ９２％ 和５． ５％ ，提升效果顯著。由此可以證明，本文提出的模型分割效果最好，驗證了融合多尺度提取更細(xì)節(jié)的特征、引入殘差減少過擬合、引入殘差注意力機制關(guān)注重要特征的有效性，優(yōu)化了遙感圖像分割的效果。

４ 結(jié)束語

本文提出了一種基于改進(jìn)Ｓｗｉｎ-Ｕｎｅｔ 的遙感圖像分割方法，并用于自建的遙感圖像分割數(shù)據(jù)集，以解決遙感圖像分割邊界模糊、目標(biāo)漏分等問題。在原有Ｓｗｉｎ-Ｕｎｅｔ 的基礎(chǔ)上，引入ＡＳＰＰ 模塊，融合不同尺度遙感圖像特征，增大感受野；使用Ｒｅｓ-ＳｗｉｎＴｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ，不僅保留了原始特征信息，還有效防止了模型出現(xiàn)過擬合問題；在跳躍連接中引入殘差注意力機制，增強重要特征信息，弱化冗余背景特征信息。實驗結(jié)果表明，改進(jìn)后的Ｓｗｉｎ-Ｕｎｅｔ 網(wǎng)絡(luò)分割結(jié)果與真實標(biāo)簽更為接近，相比于其他模型，分割效果均有所提升，證明了本文所提模型的優(yōu)越性和有效性。雖然本文所提方法取得了較好的提升效果，但Ｓｗｉｎ-Ｕｎｅｔ 模型復(fù)雜度較高。未來將進(jìn)一步優(yōu)化Ｓｗｉｎ-Ｕｎｅｔ 網(wǎng)絡(luò)，降低其復(fù)雜度，并設(shè)計更加輕量化的網(wǎng)絡(luò)模型。

參考文獻(xiàn)

［１］ ＷＵ Ｚ Ｈ，ＧＡＯ Ｙ Ｍ，ＬＩ Ｌ，ｅｔ ａｌ． Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆＨｉｇｈｒｅｓｏｌｕｔｉｏｎ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ Ｉｍａｇｅｓ Ｕｓｉｎｇ Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ ｗｉｔｈ Ａｄａｐｔｉｖｅ Ｔｈｒｅｓｈｏｌｄ［Ｊ］． ＣｏｎｎｅｃｔｉｏｎＳｃｉｅｎｃｅ，２０１８，３１（２）：１６９－１８４．

［２］ ＷＡＮＧ Ｃ，ＸＵ Ｗ，ＰＥＩ Ｘ Ｆ，ｅｔ ａｌ． Ａｎ Ｕｎｓｕｐｅｒｖｉｓｅｄ Ｍｕｌｔｉｓｃａｌｅ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｍｅｔｈｏｄ Ｂａｓｅｄ ｏｎ Ａｕｔｏｍａｔｅｄ Ｐａｒａｍｅｔｅｒｉｚａｔｉｏｎ ［Ｊ］． Ａｒａｂｉａｎ Ｊｏｕｒｎａｌ ｏｆ Ｇｅｏｓｃｉｅｎｃｅｓ，２０１６，９（１５）：１－１０．

［３］ ＪＩＡＮＧ Ｂ Ｄ，ＡＮ Ｘ Ｙ，ＸＵ Ｓ Ｆ，ｅｔ ａｌ． Ｉｎｔｅｌｌｉｇｅｎｔ Ｉｍａｇｅ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ：Ａ Ｒｅｖｉｅｗ Ｔｈｒｏｕｇｈ Ｄｅｅｐ ＬｅａｒｎｉｎｇＴｅｃｈｎｉｑｕｅｓ ｆｏｒ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ ［Ｊ ］．Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ｉｎｄｉａｎ Ｓｏｃｉｅｔｙ ｏｆ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ，２０２３，５１：１８６５－１８７８．

［４］ 黃旭，張世義，李軍． 圖像分割技術(shù)研究綜述［Ｊ］． 裝備機械，２０２１（２）：６－９．

［５］ 閔蕾，高昆，李維，等． 光學(xué)遙感圖像分割技術(shù)綜述［Ｊ］． 航天返回與遙感，２０２０，４１（６）：１－１３．

［６］ 何瀚志，朱紅，王競． 基于聚類分析的醫(yī)學(xué)圖像分割綜述［Ｊ］． 中國科技信息，２０１７（１５）：４３．

［７］ 王怡，涂宇，羅斐，等． 彩色圖像分割方法綜述［Ｊ］． 電腦知識與技術(shù)，２０２０，１６（２３）：１８３－１８４．

［８］ ＬＵ Ｗ Ｚ，ＬＩＡＮＧ Ｌ Ｘ，ＷＵ Ｘ Ｓ，ｅｔ ａｌ． Ａｎ Ａｄａｐｔｉｖｅ Ｍｕｌｔｉｓｃａｌｅ Ｆｕｓｉｏｎ Ｎｅｔｗｏｒｋ Ｂａｓｅｄ ｏｎ Ｒｅｇｉｏｎａｌ Ａｔｔｅｎｔｉｏｎ ｆｏｒ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ Ｉｍａｇｅｓ ［Ｊ ］． ＩＥＥＥ Ａｃｃｅｓｓ，２０２０，８：１０７８０２－１０７８１３．

［９］ ＺＨＡＮＧ Ｌ Ｂ，ＬＩ Ａ Ｘ，ＬＩ Ｘ Ｗ，ｅｔ ａｌ． Ｒｅｍｏｔｅ ＳｅｎｓｉｎｇＩｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｂａｓｅｄ ｏｎ ａｎ Ｉｍｐｒｏｖｅｄ ２Ｄ ＧｒａｄｉｅｎｔＨｉｓｔｏｇｒａｍ ａｎｄ ＭＭＡＤ Ｍｏｄｅｌ［Ｊ］． ＩＥＥＥ Ｇｅｏｓｃｉｅｎｃｅ ａｎｄＲｅｍｏｔｅ Ｓｅｎｓｉｎｇ Ｌｅｔｔｅｒｓ，２０１５，１２（１）：５８－６２．

［１０］ ＲＯＮＮＥＢＥＲＧＥＲ Ｏ，ＦＩＳＣＨＥＲ Ｐ，ＢＲＯＸ Ｔ． ＵＮｅｔ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ［Ｃ］∥Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒａｓｓｉｓｔｅｄ ＩｎｔｅｒｖｅｎｔｉｏｎＭＩＧＧＩ ２０１５． Ｍｕｎｉｃｈ：Ｓｐｒｉｎｇｅｒ，２０１５：２３４－２４１．

［１１］ ＺＨＡＮＧ Ｚ Ｘ，ＬＩＵ Ｑ Ｊ，ＷＡＮＧ Ｙ Ｈ． Ｒｏａｄ Ｅｘｔｒａｃｔｉｏｎ ｂｙＤｅｅｐ Ｒｅｓｉｄｕａｌ ＵＮｅｔ［Ｊ］． ＩＥＥＥ Ｇｅｏｓｃｉｅｎｃｅ ａｎｄ ＲｅｍｏｔｅＳｅｎｓｉｎｇ Ｌｅｔｔｅｒｓ，２０１８，１５（５）：７４９－７５３．

［１２］ ＳＵ Ｚ Ｂ，ＬＩ Ｗ，ＭＡ Ｚ，ｅｔ ａｌ． Ａｎ Ｉｍｐｒｏｖｅｄ ＵＮｅｔ Ｍｅｔｈｏｄｆｏｒ ｔｈｅ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ Ｉｍａｇｅｓ［Ｊ］． Ａｐｐｌｉｅｄ Ｉｎｔｅｌｌｉｇｅｎｃｅ，２０２２，５２（３）：３２７６－３２８８．

［１３］ 黃杰，蔣豐． 遙感影像中建筑物的Ｕｎｅｔ 分割改進(jìn)［Ｊ］．計算機系統(tǒng)應(yīng)用，２０２１，３０（１０）：３１９－３２４．

［１４］ 傅勵瑤，尹夢曉，楊鋒． 基于Ｔｒａｎｓｆｏｒｍｅｒ 的Ｕ 型醫(yī)學(xué)圖像分割網(wǎng)絡(luò)綜述［Ｊ］． 計算機應(yīng)用，２０２３，４３ （５ ）：１５８４－１５９５．

［１５］ ＣＡＯ Ｈ，ＷＡＮＧ Ｙ Ｙ，ＣＨＥＮ Ｊ，ｅｔ ａｌ． ＳｗｉｎＵｎｅｔ：ＵｎｅｔｌｉｋｅＰｕｒｅ Ｔｒａｎｓｆｏｒｍｅｒ ｆｏｒ Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ［Ｃ］∥Ｃｏｍｐｕｔｅｒ ＶｉｓｉｏｎＥＣＣＶ ２０２２ Ｗｏｒｋｓｈｏｐｓ． Ｔｅｌ Ａｖｉｖ：Ｓｐｒｉｎｇｅｒ，２０２２：２０５－２１８．

［１６］ ＧＡＯ Ｚ Ｊ，ＣＨＥＮ Ｌ． Ｒｅｓｅａｒｃｈ ｏｎ Ｓｅｍａｎｔｉｃ ＳｅｇｍｅｎｔａｔｉｏｎＭｅｔｈｏｄ ｏｆ Ｍａｃｕｌａｒ Ｅｄｅｍａ ｉｎ Ｒｅｔｉｎａｌ ＯＣＴ Ｉｍａｇｅｓ Ｂａｓｅｄ ｏｎＩｍｐｒｏｖｅｄ ＳｗｉｎＵｎｅｔ［Ｊ］． Ｅｌｅｃｔｒｏｎｉｃｓ，２０２２，１１（１５）：２２９４．

［１７］ 張文康． 基于ＳｗｉｎＵｎｅｔ 的云分割算法的研究［Ｊ］． 儀器儀表用戶，２０２２，２９（４）：５－９．

［１８］ ＹＡＯ Ｊ Ｙ，ＪＩＮ Ｓ Ｇ． Ｍｕｌｔｉｃａｔｅｇｏｒｙ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆＳｅｎｔｉｎｅｌ２ Ｉｍａｇｅｓ Ｂａｓｅｄ ｏｎ ｔｈｅ Ｓｗｉｎ ＵＮｅｔ Ｍｅｔｈｏｄ［Ｊ］．Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ，２０２２，１４（１４）：３３８２．

［１９］ ＣＨＥＮ Ｌ Ｃ，ＰＡＰＡＮＤＲＥＯＵ Ｇ，ＳＣＨＲＯＦＦ Ｆ，ｅｔ ａｌ． Ｒｅｔｈｉｎｋｉｎｇ Ａｔｒｏｕｓ Ｃｏｎｖｏｌｕｔｉｏｎ ｆｏｒ Ｓｅｍａｎｔｉｃ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ［ＥＢ／ ＯＬ］． （２０１７ －１２ －０５）［２０２３ －０６ －０６］． ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ ／ ａｂｓ ／ １７０６． ０５５８７．

［２０］ 姚慶安，張鑫，劉力鳴，等． 融合注意力機制和多尺度特征的圖像語義分割［Ｊ］． 吉林大學(xué)學(xué)報（理學(xué)版），２０２２，６０（６）：１３８３－１３９０．

［２１］ ＨＥ Ｋ Ｍ，ＺＨＡＮＧ Ｘ Ｙ，ＲＥＮ Ｓ Ｑ，ｅｔ ａｌ． Ｄｅｅｐ ＲｅｓｉｄｕａｌＬｅａｒｎｉｎｇ ｆｏｒ Ｉｍａｇｅ Ｒｅｃｏｇｎｉｔｉｏｎ［Ｃ］∥２０１６ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＲＲ）． Ｌａｓ Ｖｅｇａｓ：ＩＥＥＥ，２０１６：７７０－７７８．

［２２］ ＨＵ Ｊ，ＳＨＥＮ Ｌ，ＳＵＮ Ｇ． ＳｑｕｅｅｚｅａｎｄＥｘｃｉｔａｔｉｏｎ Ｎｅｔｗｏｒｋｓ［Ｃ］∥２０１８ ＩＥＥＥ ／ ＣＶＦ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｓａｌｔ Ｌａｋｅ Ｃｉｔｙ：ＩＥＥＥ，２０１８：７１３２－７１４１．

［２３］ ＳＨＥＮＧ Ｇ Ｆ，ＹＡＮＧ Ｗ，ＸＵ Ｔ，ｅｔ ａｌ． Ｈｉｇｈｒｅｓｏｌｕｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｃｅｎｅ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ｕｓｉｎｇ ａ Ｓｐａｒｓｅ Ｃｏｄｉｎｇ ＢａｓｅｄＭｕｌｔｉｐｌｅ Ｆｅａｔｕｒｅ Ｃｏｍｂｉｎａｔｉｏｎ［Ｊ］． Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆＲｅｍｏｔｅ Ｓｅｎｓｉｎｇ，２０１２，３３（８）：２３９５－２４１２．

［２４］ ＺＨＡＯ Ｌ Ｊ，ＴＡＮＧ Ｐ，ＨＵＯ Ｌ Ｚ． Ｆｅａｔｕｒｅ Ｓｉｇｎｉｆｉｃａｎｃｅｂａｓｅｄ Ｍｕｌｔｉｂａｇｏｆｖｉｓｕａｌｗｏｒｄｓ Ｍｏｄｅｌ ｆｏｒ Ｒｅｍｏｔｅ ＳｅｎｓｉｎｇＩｍａｇｅ Ｓｃｅｎｅ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ Ａｐｐｌｉｅｄ ＲｅｍｏｔｅＳｅｎｓｉｎｇ，２０１６，１０（３）：０３５００４．

作者簡介

張 越 女，（１９９８—），碩士研究生。主要研究方向：圖像處理、計算機視覺。

王 遜 女，（１９７３—），碩士，副教授。主要研究方向：數(shù)據(jù)挖掘、軟件工程、機器學(xué)習(xí)。