基于深度學(xué)習(xí)的衛(wèi)星影像耕地變化檢測方法及系統(tǒng)應(yīng)用

魏汝蘭，王洪飛，盛 森，江一帆，余亞芳

（廣東南方數(shù)碼科技股份有限公司，廣東 廣州 510665）

0 引言

《中華人民共和國國民經(jīng)濟(jì)和社會發(fā)展第十四個五年規(guī)劃和2035 年遠(yuǎn)景目標(biāo)綱要》（簡稱“十四五”規(guī)劃）指出要堅持最嚴(yán)格的耕地保護(hù)制度?？焖侔l(fā)現(xiàn)耕地變化是耕地保護(hù)工作的關(guān)鍵一步，傳統(tǒng)人工判讀方式不能滿足大批量影像實時監(jiān)測的應(yīng)用需求。近年來，深度學(xué)習(xí)尤其是卷積神經(jīng)網(wǎng)絡(luò)的快速發(fā)展，為遙感自動化監(jiān)測提供了有力的工具［1-5］。

目前，基于深度學(xué)習(xí)的耕地變化檢測已得到較為廣泛的研究，主流方式是基于多時相的變化檢測，即利用覆蓋同一區(qū)域前后兩個時期的遙感影像識別此區(qū)域內(nèi)的耕地變化，具體可分為直接變化檢測法和分類后比較法。直接變化檢測方法是當(dāng)前的熱門研究課題［6-8］，如：Zhang 等［9］采用孿生卷積神經(jīng)網(wǎng)絡(luò)，實現(xiàn)了更優(yōu)對象輪廓保持的變化檢測結(jié)果；王志有等［10］在孿生網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上進(jìn)行改進(jìn)，提出基于分支卷積神經(jīng)網(wǎng)絡(luò)的變化檢測方法；梁哲恒等［11］采用多尺度特征注意力融合的變化檢測方法，解決變化檢測的多尺度問題。上述直接檢測法在實驗環(huán)境中均取得了較好效果，然而在現(xiàn)實場景中，直接變化檢測方法面臨兩個問題：一是該方法要求前后兩期影像需進(jìn)行高精度配準(zhǔn)和輻射校正［12］，而且兩期影像需盡量來自相同的傳感器、相似的氣候條件與氣象條件，這在實際業(yè)務(wù)場景中很難滿足；二是由于實際場景中耕地發(fā)生變化的圖斑往往較少，正樣本難以獲取，導(dǎo)致以直接變化檢測方式進(jìn)行耕地變化提取將產(chǎn)生正負(fù)樣本不均衡問題。分類后比較法［13］首先基于語義分割方法分別提取前后兩期影像的耕地圖斑，再通過疊加分析得出變化區(qū)域范圍。此類方法檢測的準(zhǔn)確性很大程度依賴于分類準(zhǔn)確性，而且疊加分析會累積兩期影像的分類誤差，因此距離落地應(yīng)用還存在一定差距。

綜合考慮上述問題，本文以耕地變化發(fā)現(xiàn)的工程化落地為目標(biāo)，結(jié)合項目數(shù)據(jù)特點，提出了一種更貼合實際場景的耕地變化檢測技術(shù)路線與方法。該方法對分類后比較法加以改進(jìn)：首先使用耕地語義分割模型對后一期影像進(jìn)行耕地提取，然后進(jìn)行疊加分析，由于客戶重點關(guān)注耕地減少圖斑，因此提取的耕地圖斑經(jīng)后處理與前一期耕地矢量圖斑做網(wǎng)格化的擦除處理得到耕地疑似減少圖斑。本文貢獻(xiàn)在于：①耕地語義分割模型研究方面，提出RABD模型：采用編解碼結(jié)構(gòu)，以ResNet101 作為模型骨干；加入空洞空間金字塔池化模塊（Atrous Spatial Pyramid Pooling，ASPP）［14］，提高模型感受野；引入雙向加權(quán)特征金字塔模塊（Bidirectional Feature Pyramid Network，BiFPN）［15］，融合多尺度局部和全局特征，有效提升模型對邊界的分割效果；②在與矢量圖斑做擦除處理時，使用基于網(wǎng)格的變化區(qū)域分析算法替代傳統(tǒng)矢量的疊加分析算法，解決了變化圖斑細(xì)碎和計算效率低下等問題；③研制出一款適用于大規(guī)模工程落地的耕地變化發(fā)現(xiàn)系統(tǒng)，提升人工查找耕地減少圖斑效率約70%，對基于AI的耕地保護(hù)項目落地具有重要意義。

1 方法技術(shù)

1.1 耕地語義分割模型

耕地語義分割模型是本文核心技術(shù)，目前語義分割的網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化可分為兩個方面：①提升提取特征效果，如早期的語義分割模型FCN［16］、DeepLabv2［17］、PSPNet［18］、DANet［19］，采取了不同骨干模型作為特征提取器；②融合不同層次的特征，如Unet［20］、RefineNet［21］、SFNet［22］等模型，融合底層和高層特征，確保模型學(xué)習(xí)到更全面的語義信息。

本文提出耕地語義分割模型RABD（ResNet101+ASPP+BiFPN+Decoder），借鑒經(jīng)典的語義分割模型Deeplabv3+編解碼結(jié)構(gòu)，以ResNet101 作為模型骨干，并且使用擴(kuò)張卷積空間金字塔池化模塊（ASPP），獲取圖像豐富的上下文語義信息，適用于遙感圖像處理。同時，借鑒了EfficientDet 模型中加權(quán)雙向特征金字塔模塊（BiFPN），它允許簡單快速地融合不同的層次特征，加強多尺度特征學(xué)習(xí)，有效改善了分割邊界結(jié)果。模型結(jié)構(gòu)如圖1所示。

Fig.1 A semantic segmentation model for cultivated land圖1 耕地語義分割模型

（1）ResNet101（骨干網(wǎng)絡(luò)）。ResNet（Residual Networks）是深度學(xué)習(xí)中的一種重要網(wǎng)絡(luò)結(jié)構(gòu)，其核心思想是引入“殘差連接”（Residual Connections），以便更有效地訓(xùn)練深度網(wǎng)絡(luò)。本文選擇ResNet101 作為骨干網(wǎng)絡(luò)，它是ResNet 家族中的一個版本，具有101 層，它除能避免梯度消失/爆炸問題這種殘差網(wǎng)絡(luò)通用特性外，還有更深的網(wǎng)絡(luò)但無需增加復(fù)雜性，也有更好的特征表示和更強的泛化能力等優(yōu)越性能，已廣泛應(yīng)用于圖像分割任務(wù)。

（2）ASPP 模塊。本文在骨干網(wǎng)絡(luò)最后一個卷積層連接了一個ASPP 模塊，通過增大感受野獲取語義上下文信息。在深度卷積網(wǎng)絡(luò)中，感受野的大小能夠大致體現(xiàn)出獲取上下文信息的能力，但實際上模型深層的感受野范圍很小，導(dǎo)致模型學(xué)習(xí)到的特征范圍有限。而ASPP 模塊可以增加感受野范圍，提高模型分割精度，但不會增加模型的參數(shù)量。

（3）BiFPN 模塊。本文采用雙向加權(quán)特征金字塔網(wǎng)絡(luò)聚合不同層次的特征表示，從骨干網(wǎng)絡(luò)中提取2-4 級特征｛L2，L3，L4｝，并采用自頂向下和自底向上的雙向特征融合。

（4）Decoder 模塊。對BiFPN 模塊得到的不同層特征進(jìn)行卷積和上采樣至相同大小，再將不同層的特征連接起來，形成最終特征表示。最后，特征表示在經(jīng)過卷積層卷積后，得到影像所有像素的預(yù)測值。

1.2 兩期耕地圖斑擦除處理方法

此處定義，獲取到的用于擦除處理的前一期耕地圖斑（一般為上一年度變更調(diào)查成果數(shù)據(jù)）為前期矢量圖斑，基于最新一期影像，通過耕地語義分割模型提取并經(jīng)過后處理的圖斑為后期矢量圖斑。

進(jìn)行兩期耕地圖斑擦除處理時，針對未發(fā)生變化的耕地圖斑，由于兩期耕地圖斑采集方式不同、配準(zhǔn)精度問題等原因?qū)е赂剡吔绱嬖趯Σ积R的問題（如圖2 所示，藍(lán)色為前期耕地矢量邊界，紅色為后期耕地提取邊界，彩圖掃OSID 碼可見，下同），直接疊加分析會帶來大量細(xì)碎的偽變化圖斑。

Fig.2 Comparison of the results of semantic segmentation reasoning for cultivated land between the previous and later periods圖2 前后兩期耕地矢量邊界對不齊示意圖

為解決上述問題，本文提出一種基于網(wǎng)格方式的兩期耕地圖斑擦除處理方法，具體流程如圖3所示。

Fig.3 Two phase speckle erasure processing flow based on grid圖3 基于網(wǎng)格的兩期圖斑擦除處理流程

（1）兩期耕地矢量圖斑分別網(wǎng)格化。將原有矢量空間劃分為1 m×1 m 的網(wǎng)格，整個空間用長m、寬n的矩陣表示為A［m］［n］，計算每個網(wǎng)格是否在矢量區(qū)域內(nèi)，如果位置為（i，j）網(wǎng)格的50%面積都被含在矢量區(qū)域內(nèi)，則將矩陣A［i］［j］的值設(shè)置為1，否則將此值設(shè)置為0。

（2）前期網(wǎng)格腐蝕處理。為解決邊界誤差，使用腐蝕算法處理前期網(wǎng)格，經(jīng)過數(shù)據(jù)分析，耕地邊界誤差一般在15 m 以內(nèi)，因此設(shè)置半徑為15 m 的圓形核。

（3）后期網(wǎng)格碎圖斑過濾。根據(jù)實際項目需求，利用聯(lián)通區(qū)過濾，將小于50 m2的細(xì)碎圖斑過濾掉。

（4）兩期網(wǎng)格求差。先對兩期網(wǎng)格的矩陣對應(yīng)位置相乘，得到耕地不變區(qū)域網(wǎng)格，再使用腐蝕后的前期耕地網(wǎng)格A2 與不變區(qū)域網(wǎng)格做對應(yīng)位置求差得到腐蝕后的變化區(qū)域D0，其過程計算公式為D0［i］［j］=A2［i］［j］-A2［i］［j］*B2［i］［j］。

（5）膨脹還原變化區(qū)。步驟（4）得到的為腐蝕后的變化區(qū)域，先通過聯(lián)通區(qū)過濾掉面積小于20 m2的變化區(qū)域，再使用半徑為15 m 的圓形核進(jìn)行膨脹還原。

（6）最終變化區(qū)域求解。步驟（5）還原的變化區(qū)域會與后期耕地網(wǎng)格有一定重疊，去除這些重疊可得到最終變化區(qū)域，計算公式為D2［i］［j］=D1［i］［j］-D1［i］［j］*B2［i］［j］。

基于網(wǎng)格方式的兩期耕地圖斑擦除處理方法不僅有效解決兩期耕地圖斑邊界對不齊導(dǎo)致的大量偽變化，而且計算效率比傳統(tǒng)矢量計算方式更優(yōu)。

2 實驗與結(jié)果分析

2.1 實驗區(qū)與數(shù)據(jù)集

本文以西南某省份3 個試點區(qū)為實驗區(qū)，面積共18 279 km2，該地區(qū)以旱地為主，水田、水澆地有少量分布。數(shù)據(jù)采用在耕地保護(hù)中常用的0.8 m 分辨率的GF-2、BJ-2等高分辨率衛(wèi)星最新正射影像以及上一年度變更調(diào)查成果中的耕地矢量圖斑，兩期數(shù)據(jù)已完成配準(zhǔn)。

采集耕地語義分割模型樣本，基于配套的土地利用變更調(diào)查耕地矢量圖斑和影像數(shù)據(jù)，人工對耕地圖斑進(jìn)行修整，具體要求包括：①剔除耕地圖斑內(nèi)所有非耕地紋理的圖斑（包括其他地物、云霧、陰影等與耕地?zé)o關(guān)的遮擋物）；②在影像上呈現(xiàn)相同顏色與紋理特征的地塊要保持分類一致，不可出現(xiàn)相同特征但一半為耕地一半非耕地的情況；③圖斑矢量無覆蓋、自相交、偽節(jié)點和多部件等問題；④邊界誤差控制在5 個像元以內(nèi)；⑤最終成果保留所有200 m2以上的耕地圖斑。

采集樣本約230 424個圖斑，如表1所示，覆蓋了旱地、水田、水澆地3 種耕地類型，由于耕地的影像特征受季節(jié)影響明顯，因此樣本還覆蓋各季度的影像數(shù)據(jù)。

Table 1 Sample collection for semantic segmentation of cultivated land表1 耕地語義分割樣本采集

基于以上影像及標(biāo)簽數(shù)據(jù)制作了512×512 的樣本共 49 176張，樣本按照9∶1隨機(jī)分成訓(xùn)練集與測試集。

2.2 評價指標(biāo)

本文采用圖像分割中的常用評價指標(biāo)：準(zhǔn)確率、召回率和F1分?jǐn)?shù)，三者的數(shù)學(xué)定義分別如下：

其中，TP 表示正確分類的正類別數(shù)，F(xiàn)P 表示錯誤分類的正類別數(shù)，TN 表示正確分類的負(fù)類別數(shù)，F(xiàn)N 表示錯誤分類的負(fù)類別數(shù)。在本實驗中，正類別代表耕地像素，負(fù)類別代表非耕地像素。

2.3 模型訓(xùn)練

采用CentOS 操作系統(tǒng)，基于Pytorch 框架結(jié)合Python語言完成環(huán)境搭建。模型訓(xùn)練的初始學(xué)習(xí)率、動量分別設(shè)置為0.01 和0.9，分別迭代1 萬次、3 萬次、5 萬次后，學(xué)習(xí)率依次降低為0.001、0.000 1 和0.000 01，損失函數(shù)得到進(jìn)一步收斂。

2.4 不同分割網(wǎng)絡(luò)比較

為了證明RABD 網(wǎng)絡(luò)有更好的分割效果，本文將其與SegFormer、Deeplabv3plus 進(jìn)行對比實驗，而為了選擇更好的骨干網(wǎng)絡(luò)，又對比了ResNet50、ResNet101，形成4 個網(wǎng)絡(luò)在相同環(huán)境和數(shù)據(jù)集下進(jìn)行訓(xùn)練。實驗表明，ResNet101+Aspp+BiFpn 效果最優(yōu)，具體比較結(jié)果如表2、圖4 所示。圖4 中，（a）為后期影像，（b）為耕地真值，（c）為SegFormer 耕地提取結(jié)果，（d）為Deeplabv3plus 提取結(jié)果，（e）為ResNet50+Aspp+BiFpn 提取結(jié)果，（f）為ResNet101+Aspp+BiFpn 提取結(jié)果。實驗結(jié)果表明，在實際項目的數(shù)據(jù)集中，ResNet101+Aspp+BiFpn 分割結(jié)果比其他3 種模型結(jié)構(gòu)擁有更完整的對象輪廓和更好的內(nèi)部一致性，且準(zhǔn)確率、召回率、F1分?jǐn)?shù)均超過90%，具有落地應(yīng)用價值。

Table 2 Evaluation indicators for semantic segmentation model of cultivated land表2 耕地語義分割模型評估指標(biāo)（%）

Fig.4 Comparison of inference results for semantic segmentation of cultivated land圖4 耕地語義分割推理結(jié)果比較

2.5 不同擦除分析比較

為驗證基于網(wǎng)格的兩期圖斑擦除方法的有效性，將其與傳統(tǒng)矢量疊加方法進(jìn)行了比較。測試數(shù)據(jù)選擇研究區(qū)1景40 000×40 000 像素的影像進(jìn)行對比分析，結(jié)果如表3、圖5 所示（其中，紅色圖斑為柵格擦除處理結(jié)果，其他為矢量擦除處理結(jié)果，彩圖掃OSID 碼可見）?？梢钥闯?，基于網(wǎng)格的疊加分析一方面大幅降低了偽變化圖斑數(shù)量，另一方面性能也有了大幅提升。

Table 3 Overlay analysis results comparison of two methods表3 兩種方式疊加分析結(jié)果比較

Fig.5 Comparison of two erasure processing results圖5 兩種擦除處理結(jié)果比較

3 軟件實現(xiàn)及應(yīng)用

3.1 軟件實現(xiàn)

將耕地語義分割模型與兩期耕地圖斑擦除處理算法封裝成耕地變化發(fā)現(xiàn)系統(tǒng)產(chǎn)品，其技術(shù)架構(gòu)如圖6 所示，主要包括推理與擦除服務(wù)和模型服務(wù)推理引擎。

Fig.6 Technical architecture圖6 技術(shù)架構(gòu)

系統(tǒng)的推理與擦除服務(wù)是基于Flask 框架構(gòu)建，它使用了RabbitMQ 隊列作為任務(wù)調(diào)度方式，確保了分布式推理和任務(wù)的并行處理。為保證數(shù)據(jù)的穩(wěn)定性和完整性，選擇Mysql 作為數(shù)據(jù)庫，所有通信均基于Http 進(jìn)行。該服務(wù)涵蓋多個關(guān)鍵環(huán)節(jié)：預(yù)處理服務(wù)、Triton 推理、后處理服務(wù)和擦除處理服務(wù)。

模型服務(wù)推理引擎是基于Triton 構(gòu)建。為確?？焖俸透咝У臄?shù)據(jù)處理，系統(tǒng)采用GPU 的分布式部署，并選擇GRPC 作為通信方式。

關(guān)于數(shù)據(jù)存儲，系統(tǒng)使用Mysql 數(shù)據(jù)庫存儲與任務(wù)相關(guān)的所有記錄，包括但不限于任務(wù)的中間過程文件路徑、最終推理結(jié)果路徑和進(jìn)度信息。更進(jìn)一步，系統(tǒng)采用了Cephfs 和Nfs 分布式文件存儲系統(tǒng)，以確保中間過程文件和最終推理結(jié)果的穩(wěn)定存儲。

為了充分利用可用的硬件資源并提高模型推理效率，影像的滑窗切片通過負(fù)載均衡模塊被分發(fā)到各服務(wù)端節(jié)點加以處理。推理服務(wù)引擎進(jìn)一步優(yōu)化，采用了多核CPU、多GPU 以及容器之間的共享內(nèi)存等硬件資源，以實現(xiàn)推理性能的整體提升。

在部署方面，系統(tǒng)配置了兩個計算節(jié)點，每個節(jié)點都裝載了3 塊Tesla V100。實驗數(shù)據(jù)顯示，推理20 景大約30 000×30 000 的影像只需36 min 3 s。這意味著在3 天內(nèi)可以完成全省約2 000 景的影像推理任務(wù)，完全能夠滿足省級用戶需求。

3.2 應(yīng)用情況

為測試軟件的價值，選擇某縣2022 年一景GF-2 影像數(shù)據(jù)作為測試數(shù)據(jù)，比較人工判圖、AI+人工審核兩種方式的耗時與正確圖斑個數(shù)，結(jié)果如表4所示。

Table 4 Comparison of indicators between two methods for detecting changes in cultivated land表4 兩種耕地變化發(fā)現(xiàn)方式指標(biāo)比較

人工智能提取的作用有兩點：①縮短作業(yè)時間約70%（提升模型準(zhǔn)確率還可進(jìn)一步降低人工審核時間）；②可發(fā)現(xiàn)人工容易漏檢的小型建筑、道路等，如圖7 所示（其中，紅色圖斑為AI 提取，黃色圖斑為人工提取，箭頭所指位置表示AI提取到而人工漏標(biāo)的變化圖斑）。

Fig.7 Comparison of two methods for extracting cultivated land圖7 兩種占耕提取方式比較

4 結(jié)語

本文以AI 耕地保護(hù)的工程化應(yīng)用為目標(biāo)，基于前期耕地矢量圖斑與后期衛(wèi)星遙感影像，利用深度學(xué)習(xí)語義分割模型和柵格化擦除處理算法，實現(xiàn)了耕地減少的精準(zhǔn)智能化檢測，為耕地的用途管制提供了新的思路，具有重要應(yīng)用價值。不足之處在于，耕地語義分割模型由于水田、大棚、地膜等樣本不足導(dǎo)致漏檢，漏檢的耕地圖斑在疊加分析后誤判為占耕，后續(xù)需有針對性地補充此類樣本以降低占耕誤檢率，進(jìn)一步提升耕地變化發(fā)現(xiàn)準(zhǔn)確率。