基于神經(jīng)網(wǎng)絡(luò)的遙感圖像變化檢測系統(tǒng)

摘要：變化檢測是計(jì)算機(jī)視覺領(lǐng)域極具研究價(jià)值的技術(shù)分支。為提高長江沿岸生產(chǎn)建設(shè)活動的監(jiān)管效率，以影像配準(zhǔn)為基礎(chǔ)，結(jié)合自注意力與特征信息提取，提出了長江沿岸建筑物變化檢測系統(tǒng)。該系統(tǒng)集影像處理、影像配準(zhǔn)、變化檢測為一體，實(shí)現(xiàn)了全流程自動化處理的功能。結(jié)果表明：① 設(shè)計(jì)的系統(tǒng)在影像配準(zhǔn)上將精度誤差控制在2個(gè)像素內(nèi)，達(dá)到了像素級精度。② 該系統(tǒng)在變化檢測測試數(shù)據(jù)集上的F1值取得了優(yōu)于75%的結(jié)果，證明該系統(tǒng)的精度較高。研究成果也可應(yīng)用于大型水庫岸線保護(hù)監(jiān)測等場景中，提升庫區(qū)治理管理的效率。

關(guān) 鍵 詞：遙感圖像； 人工智能； 影像配準(zhǔn)； 變化檢測； 岸線監(jiān)測

中圖法分類號： TP183

文獻(xiàn)標(biāo)志碼： A

DOI：10.16232/j.cnki.1001-4179.2024.09.031

0 引 言

近年來，隨著社會經(jīng)濟(jì)的快速發(fā)展，人類活動日益增多，土地利用與生產(chǎn)建設(shè)需求愈發(fā)強(qiáng)烈，隨之帶來的監(jiān)管難度越來越大。因此，發(fā)展土地利用監(jiān)測技術(shù)，及時(shí)準(zhǔn)確掌握地表建筑物變化對國家經(jīng)濟(jì)建設(shè)、生態(tài)建設(shè)和可持續(xù)發(fā)展起著至關(guān)重要的作用。

互聯(lián)網(wǎng)、人工智能、遙感大數(shù)據(jù)等現(xiàn)代新興技術(shù)發(fā)展迅速，驅(qū)動遙感智能監(jiān)測、監(jiān)控技術(shù)迅速崛起。深度學(xué)習(xí)等人工智能技術(shù)的引入進(jìn)一步促進(jìn)了遙感領(lǐng)域的蓬勃發(fā)展。依托人工智能、計(jì)算機(jī)視覺的相關(guān)研究，一大批基于遙感影像的智能應(yīng)用如遙感圖像配準(zhǔn)、變化檢測等取得了巨大的進(jìn)步［1-2］。

遙感圖像配準(zhǔn)算法分為手動、自動、半自動3種不同方式，可見光傳感器圖像通常使用基于特征的圖像配準(zhǔn)算法。該算法需要提取穩(wěn)定一致的特征，在遙感圖像中，河流、湖泊、道路、標(biāo)志性建筑物在不同成像分辨率和成像模式下均能保持穩(wěn)定，且可以輕易區(qū)分。傳統(tǒng)的圖像配準(zhǔn)算法通常采用基于SIFT、SURF、FAST等特征點(diǎn)描述子的特征點(diǎn)提取方法，這些描述符提取簡單，易于使用，但對于圖像源的差異變化不敏感，魯棒性不強(qiáng)。而隨著卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，基于卷積神經(jīng)網(wǎng)絡(luò)的特征提取與配準(zhǔn)方法開始逐漸應(yīng)用于圖像配準(zhǔn)中，如Alexey等［3］提出通用特征學(xué)習(xí)方法訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，增強(qiáng)了特征的泛化屬性與魯棒性，在匹配任務(wù)中優(yōu)于SIFT描述子；Yang等［4］使用預(yù)訓(xùn)練的VGG網(wǎng)絡(luò)提取特征，在遙感領(lǐng)域取得了較好的效果；Ma等［5］提出基于DocUNet的配準(zhǔn)方法，使用兩層堆疊的Unet進(jìn)行特征學(xué)習(xí)。然而，現(xiàn)有研究所使用的數(shù)據(jù)集尺寸較小（寬、高均小于1 000像素），無法適應(yīng)如高分二號遙感圖像等大尺寸數(shù)據(jù)的輸入，因而限制了這些方法的實(shí)際場景使用。

近些年來，基于深度學(xué)習(xí)的多時(shí)相遙感圖像變化檢測方法也取得了長足的發(fā)展，它基于多層結(jié)構(gòu)組成的模型能夠?qū)W習(xí)具有多個(gè)抽象級別范圍的數(shù)據(jù)樣本的表示層次［6-7］。從方法上來說，應(yīng)用于變化檢測的深度學(xué)習(xí)方法可以分為4類：全監(jiān)督、半監(jiān)督、無監(jiān)督和遷移學(xué)習(xí)。全監(jiān)督方法通過從標(biāo)記的訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)輸入圖像與二值變化結(jié)果的映射關(guān)系來獲得一個(gè)精度較高的模型［8-9］；半監(jiān)督與無監(jiān)督方法主要用來處理大量可用于變化檢測的成對數(shù)據(jù)無標(biāo)注的問題［10-11］；遷移學(xué)習(xí)則支持使用一種數(shù)據(jù)類型的訓(xùn)練模型去推理另一種數(shù)據(jù)類型的輸出。以此3種方法為基礎(chǔ)，模型一般選擇孿生結(jié)構(gòu)或基于U-Net結(jié)構(gòu)處理數(shù)據(jù)［12-13］，生成特征，輸出結(jié)果。

然而，基于深度學(xué)習(xí)的變化檢測方法都是針對已經(jīng)預(yù)處理與配對完成的遙感影像，針對大尺寸影像的端到端變化檢測的研究還處于起步階段。當(dāng)前各類針對遙感圖像的處理模型，不論是基于傳統(tǒng)方法還是基于深度學(xué)習(xí)方法，都只關(guān)注某一角度的問題。如果想要實(shí)現(xiàn)端到端一步到位地處理原始輸入圖像，并獲取帶有準(zhǔn)確地理位置信息的最終變化檢測結(jié)果，必須花費(fèi)大量的時(shí)間進(jìn)行模型篩選匹配、參數(shù)調(diào)優(yōu)、中間流程數(shù)據(jù)處理等工作，不利于各類模型的落地應(yīng)用。

針對上述問題，本文建立了端到端的遙感圖像變化檢測系統(tǒng)，以長江沿岸建筑物為研究對象，實(shí)現(xiàn)了集影像預(yù)處理、影像配準(zhǔn)與變化檢測的全流程自動化的功能。此外，在圖像配準(zhǔn)部分，將網(wǎng)格配準(zhǔn)法與深度學(xué)習(xí)的方法結(jié)合，提出了適用于大尺寸遙感圖像配準(zhǔn)的深度學(xué)習(xí)方法，以期提升河湖岸線動態(tài)監(jiān)測的效率。

1 遙感圖像變化檢測系統(tǒng)原理

本文提出的遙感圖像變化檢測系統(tǒng)整體框架如圖1所示，整個(gè)系統(tǒng)共分為3個(gè)部分：影像預(yù)處理、影像配準(zhǔn)和變化檢測。各部分以依次級聯(lián)的方式形成端到端的處理流程，有效地提高了系統(tǒng)的處理效率。首先，系統(tǒng)以L1級遙感影像對作為輸入，經(jīng)過影像預(yù)處理得到用于影像配準(zhǔn)的影像對；其次，該影像對通過網(wǎng)格配準(zhǔn)、圖像裁剪輸出地理位置信息精準(zhǔn)匹配、滿足變化檢測模型輸入尺寸要求的影像對；最后，針對每一個(gè)裁剪的影像對輸入到變化檢測模型后產(chǎn)生的輸出結(jié)果，按照裁剪方式拼接回原圖即可得到二值化的變化檢測結(jié)果。

1.1 影像預(yù)處理

該模型將兩個(gè)包含MSS與PAN遙感圖像的壓縮文件作為整個(gè)系統(tǒng)的輸入，經(jīng)過解壓、正射校正、圖像融合這3個(gè)步驟的處理后生成一對遙感圖像作為后續(xù)操作的輸入。

其中，正射校正通過在圖像中選取地面控制點(diǎn)，利用原來已經(jīng)獲取的該圖像范圍內(nèi)的數(shù)字高程模型（DEM）數(shù)據(jù)，對圖像同時(shí)進(jìn)行傾斜修正和投影差修正，將影像重采樣成正射影像［14］。本文使用的GF2數(shù)據(jù)中包含兩類數(shù)據(jù)源：① 低分辨率的多光譜MSS圖像，分辨率為3.2 m；② 高分辨率單波段PAN圖像，分辨率為0.8 m。在經(jīng)過正射校正后，這兩類數(shù)據(jù)源的分辨率分別被調(diào)整為4.0 m與0.8 m。

圖像融合操作是將低分辨率的多光譜圖像與高分辨率的單波段圖像重采樣生成一幅高分辨率多光譜圖像［15］。使用Gram-Schmidt Pan Sharpening（GS）方法來完成此操作，GS改進(jìn)了PCA中信息過分集中的問題，不受波段限制，可較好地保持空間紋理信息，尤其是能高保真保持光譜特征。這個(gè)方法將分辨率為4.0 m的MSS圖像與分辨率為0.8 m的PAN圖像融合為分辨率為0.8 m的重采樣結(jié)果圖像，具體過程如下：

（1） 將多光譜影像的每個(gè)波段視為一個(gè)向量，將全色影像視為一個(gè)參考向量。

（2） 將全色影像的參考向量與第一個(gè)多光譜波段向量進(jìn)行內(nèi)積運(yùn)算，得到一個(gè)標(biāo)量。

（3） 將這個(gè)標(biāo)量乘以第一個(gè)多光譜波段向量，得到一個(gè)新的向量。

（4） 將新的向量從多光譜影像中減去，得到一個(gè)新的多光譜波段向量。

（5） 重復(fù)以上步驟，將全色影像的參考向量與剩余的多光譜波段向量進(jìn)行內(nèi)積運(yùn)算，并將得到的標(biāo)量乘以相應(yīng)的多光譜波段向量，然后從多光譜影像中減去，得到新的多光譜波段向量。

重復(fù)以上步驟，直到處理完所有的多光譜波段向量，即可得到全色波段和多光譜波段融合后的影像。圖像預(yù)處理前后的輸入與輸出結(jié)果如圖2所示。

1.2 影像配準(zhǔn)

影像配準(zhǔn)是變化檢測模型的前提與基礎(chǔ)。為適應(yīng)遙感圖像分辨率高、圖像尺寸大的特點(diǎn)，本文提出基于網(wǎng)格的深度學(xué)習(xí)圖像配準(zhǔn)方法，在滿足遙感圖像數(shù)據(jù)輸入需求的同時(shí)利用深度學(xué)習(xí)網(wǎng)絡(luò)改善模型性能［16］。

影像配準(zhǔn)的整體結(jié)構(gòu)可分為特征點(diǎn)提取、特征點(diǎn)匹配、單應(yīng)性矩陣計(jì)算、圖像變換等4個(gè)部分。整體流程如圖3所示。

首先使用SuperPoint深度學(xué)習(xí)網(wǎng)絡(luò)代替?zhèn)鹘y(tǒng)的SIFT特征提取器，對圖像的特征點(diǎn)進(jìn)行提?。?7］。SuperPoint網(wǎng)絡(luò)分為編碼器與解碼器兩部分，其中解碼器又分為特征點(diǎn)提取與描述符計(jì)算2個(gè)子網(wǎng)絡(luò)，子網(wǎng)絡(luò)共享編碼器特征，分別輸出特征點(diǎn)位置及其描述符。

其次，將得到的兩組特征點(diǎn)集合及其描述符輸入SuperGlue深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行特征點(diǎn)匹配［18］，SuperGlue網(wǎng)絡(luò)將特征信息映射到高維空間，通過圖神經(jīng)網(wǎng)絡(luò)中交替的自注意力與交叉注意力模塊創(chuàng)建更強(qiáng)的描述信息，隨后使用Sinkhorn算法獲得匹配得分矩陣，對不能匹配的特征點(diǎn)進(jìn)行剔除。

最后，由于圖像對之間的仿射變換可以由單應(yīng)性矩陣獲得，使用RANSAC（隨機(jī)一致性采樣）算法通過所得的特征點(diǎn)對擬合單應(yīng)性矩陣［19］。RANSAC算法是從一組含有噪聲的數(shù)據(jù)中正確估計(jì)數(shù)學(xué)模型參數(shù)的迭代算法。RANSAC算法首先選擇出可以估計(jì)模型的最小數(shù)據(jù)集，隨機(jī)截取特征點(diǎn)子集計(jì)算數(shù)據(jù)模型（即擬合單應(yīng)性矩陣結(jié)果），隨后將其他特征點(diǎn)代入模型，評估剩余的特征點(diǎn)是否符合所得模型，以內(nèi)點(diǎn)（即符合模型的特征點(diǎn)數(shù)量）作為模型評價(jià)指標(biāo)，重復(fù)上述過程直至迭代結(jié)束并選擇最優(yōu)結(jié)果。得到最優(yōu)單應(yīng)性矩陣后，通過單應(yīng)性矩陣與原始圖像矩陣相乘，即可對原始圖像進(jìn)行變換，獲得配準(zhǔn)結(jié)果。

在配準(zhǔn)流程中，為適應(yīng)高分2號遙感圖像分辨率高、尺寸大的特點(diǎn)，首先對圖像進(jìn)行縮放并使用SuperGlue算法進(jìn)行粗配準(zhǔn)，粗配準(zhǔn)誤差控制在20個(gè)像素以內(nèi)。隨后，使用網(wǎng)格法將一組景圖像按區(qū)域進(jìn)行劃分，區(qū)域大小為1024×1024，圖像尺寸不足的部分以0像素進(jìn)行填充，以進(jìn)行逐區(qū)域的圖像配準(zhǔn)。在經(jīng)過區(qū)域的特征點(diǎn)匹配后，將特征點(diǎn)對映射到景圖像并存儲，最終以景圖像的特征點(diǎn)對集合進(jìn)行單應(yīng)性矩陣的擬合。本文提出的圖像配準(zhǔn)算法在一景高分2號遙感圖像上達(dá)到了2個(gè)像素以內(nèi)的誤差。

1.3 變化檢測

為適應(yīng)變化檢測模型需求，將配準(zhǔn)所得圖像進(jìn)行裁剪。同時(shí)，為防止圖像中的部分建筑因裁剪而無法被檢測，導(dǎo)致模型精度降低，在裁剪過程中加入了20%的區(qū)域重疊。

該模型的變化檢測部分將剪裁為固定大小的一組圖像對作為輸入，每對輸入是同一位置不同時(shí)間拍攝的經(jīng)過一系列預(yù)處理的遙感視角圖像，其對應(yīng)結(jié)果為一張與輸入圖像對大小相同的二值圖，1表示對應(yīng)像素位置發(fā)生了變化，0表示未變化。為了完成上述任務(wù)，使用一種雙時(shí)圖像轉(zhuǎn)換模塊，通過高效建模上下文時(shí)空域信息，生成更加準(zhǔn)確的變化檢測結(jié)果。

在模型內(nèi)部，將輸入圖像對表示為幾個(gè)令牌，并使用轉(zhuǎn)換編碼器在基于令牌的緊湊時(shí)空中建模上下文，然后將學(xué)習(xí)到豐富信息的令牌通過轉(zhuǎn)換解碼器反饋給像元間隔以精煉原始特征［20］。

整個(gè)變化檢測模型的結(jié)構(gòu)如圖4所示。

模型通過主干網(wǎng)絡(luò)的卷積模塊，得到每個(gè)輸入圖像的特征圖，然后將它們送入特征增強(qiáng)部分生成增強(qiáng)的雙時(shí)態(tài)特征。最后，將得到的雙時(shí)態(tài)特征送入預(yù)測頭以產(chǎn)生像素級的變化檢測預(yù)測結(jié)果。整個(gè)網(wǎng)絡(luò)有3個(gè)主要組成部分：第一是孿生語義標(biāo)記器，將像素分組并為每個(gè)時(shí)間輸入生成一個(gè)緊湊的語義令牌集；第二部分是變換編碼器，對基于令牌的時(shí)空中的語義概念進(jìn)行上下文建模；最后一個(gè)部分是孿生變換解碼器，將對應(yīng)的語義標(biāo)記投影回像元間隔，得到每個(gè)時(shí)態(tài)的精細(xì)化特征圖。

在獲取到每張輸入圖像的特征圖后，對于其上的每個(gè)像素點(diǎn)，使用逐點(diǎn)卷積得到L個(gè)語義組，每個(gè)組表示一個(gè)語義概念。然后通過對每個(gè)語義組沿長寬維度使用歸一化指數(shù)函數(shù)進(jìn)行操作后獲取到空間注意力圖，并在最后計(jì)算其加權(quán)平均值，獲取到語義令牌集，公式如下：

Ti=（S（C（Xi，K）））TXi（1）

式中：Xi表示輸入圖像；i為圖像序號；C（·）表示可學(xué)習(xí)的內(nèi)核K∈Rc×l的點(diǎn)卷積；S（·）是針對點(diǎn)卷積結(jié)果的指數(shù)歸一化操作；Ti是最終得到的令牌集。

獲得語義令牌集后，使用自注意力［21］的方式更新特征，每一個(gè)自注意力層包含3個(gè)輸入：查詢Q，鍵K，值V。對于第l層的自注意力計(jì)算，使用如下公式生成上述值：

Q=Tl-1Wq（2）

K=Tl-1Wk（3）

V=Tl-1Wv（4）

式中：Wq、Wk、Wv為可學(xué)習(xí)參數(shù)，Tl-1為上一個(gè)自注意力層輸出，每一個(gè)自注意力頭的計(jì)算公式為

At（Q，K，V）=S（QKTd）V（5）

式中：d為特征向量長度。

最后的解碼器部分負(fù)責(zé)將表示概念的令牌集投影回像元間隔，以獲得像素級別的特征。

2 數(shù)據(jù)集

2.1 數(shù)據(jù)集標(biāo)注

參考數(shù)據(jù)集標(biāo)注軟件LabelMe［22］及相關(guān)軟件，使用適用于變化檢測數(shù)據(jù)集標(biāo)注的自制標(biāo)注軟件Labelme_cd進(jìn)行樣本標(biāo)注（圖5）。該軟件基于Python語言的PyQt框架開發(fā)，通過多窗口同步標(biāo)注的方式實(shí)現(xiàn)了一組變化圖像中變化區(qū)域的聯(lián)合標(biāo)注。

2.2 變化檢測數(shù)據(jù)集

基于高分2號衛(wèi)星遙感圖像，共標(biāo)注大小為512×512的變化檢測數(shù)據(jù)集5 000對，并生成了相關(guān)掩模結(jié)果，以.png格式保存，部分?jǐn)?shù)據(jù)樣例如圖6所示。

本文選擇的圖像時(shí)間從2016年到2022年不等，時(shí)間跨度從2 a到6 a不等，整個(gè)數(shù)據(jù)集中變化實(shí)例像素分布如圖7所示。

3 結(jié)果分析

3.1 影像配準(zhǔn)結(jié)果

第i行第j列像素的影像配準(zhǔn)效果使用下述公式進(jìn)行衡量：

TEST（i，j）=P（i，j）×h（6）

Error=1M1NMi=1Nj=1（Norm（GT（i，j），TEST（i，j）））（7）

式中：N表示圖像數(shù)量；M表示圖像中控制點(diǎn)數(shù)量；Norm表示2-范數(shù)；GT表示真實(shí)結(jié)果；P表示待配準(zhǔn)圖像控制點(diǎn)；h表示單應(yīng)性矩陣。

該公式表示取全部圖像的全部控制點(diǎn)對，將其中一組圖像的控制點(diǎn)對按照圖3所述配準(zhǔn)流程進(jìn)行變化，將所得結(jié)果與另一組圖像的控制點(diǎn)計(jì)算平均歐氏距離，作為最終的衡量指標(biāo)。

本文共選取了3景圖像150對控制點(diǎn)進(jìn)行指標(biāo)計(jì)算，分別計(jì)算粗配準(zhǔn)與最終配準(zhǔn)精度，結(jié)果如表1～2所列。

可以看到，最終配準(zhǔn)結(jié)果相較于粗配準(zhǔn)誤差減少了90%以上，平均相對誤差在4.5×10-5左右，使得遙感景圖像配準(zhǔn)精度在2個(gè)像素以內(nèi)。配準(zhǔn)的樣例影像如圖8所示。

3.2 變化檢測結(jié)果

變化檢測通常使用3個(gè)指標(biāo)來度量模型的整體精度，即Precision、Recall和F1-score。Precision是正確預(yù)測的變化像素個(gè)數(shù)占所有預(yù)測的變化像素個(gè)數(shù)比例；Recall是正確預(yù)測的變化像素個(gè)數(shù)占標(biāo)注的變化像素個(gè)數(shù)比例；F1-score是對于變化檢測結(jié)果的總體評估，其公式如下：

Precision=TPTP+FP（8）

Recall=TPTP+FN（9）

F1-score=2×Precision×RecallPrecision+Recall（10）

其中，TP為正確預(yù)測正類樣本數(shù)，TN為正確預(yù)測負(fù)類樣本數(shù)，F(xiàn)P錯誤預(yù)測正類樣本數(shù)，F(xiàn)N為錯誤預(yù)測為負(fù)類樣本數(shù)。最終，變化檢測模型在提出的數(shù)據(jù)集上的測試指標(biāo)如表3所列。可以看出，本文提出的變化檢測模型在訓(xùn)練集上F1值達(dá)到了接近90%的效果，在測試集上F1值取得了優(yōu)于75%的效果，模型整體精度較好。

以一對大小為2048×2048的遙感圖像作為輸入，最終的變化檢測結(jié)果如圖9所示。

4 結(jié) 論

本次研究基于長江沿岸遙感影像，設(shè)計(jì)并實(shí)現(xiàn)了包含影像預(yù)處理、影像配準(zhǔn)、變化檢測的長江流域沿岸建筑物變換檢測系統(tǒng)，以監(jiān)控長江沿岸大型工程建設(shè)的合理化、規(guī)范化，為長江流域岸線保護(hù)監(jiān)測工作提供技術(shù)支撐，提高管理效率。實(shí)例研究表明，本文所提方法中影像配準(zhǔn)方法的誤差在2個(gè)像素以內(nèi)，變化檢測模型的F1值在測試集上達(dá)到了優(yōu)于75%的效果。此外，該系統(tǒng)還可以進(jìn)一步與數(shù)字孿生技術(shù)結(jié)合，為國家用地規(guī)劃與建設(shè)保駕護(hù)航。

隨著云計(jì)算、大數(shù)據(jù)、人工智能、虛擬現(xiàn)實(shí)與分布式計(jì)算的創(chuàng)新與發(fā)展，未來將更多地將新技術(shù)與本文所提出的變化檢測系統(tǒng)進(jìn)行融合，進(jìn)一步優(yōu)化系統(tǒng)效率，擴(kuò)展應(yīng)用范圍［23］，強(qiáng)化技術(shù)應(yīng)用廣度與深度，為全面實(shí)施“共抓大保護(hù)，不搞大開發(fā)”戰(zhàn)略提供決策支持。

參考文獻(xiàn)：

［1］ 隆星宇，李輝，白雪山，等.基于深度學(xué)習(xí)的人工滑坡隱患自動識別新方法［J］.人民長江，2023，54（7）：113-120.

［2］ ZHOU K，ZHANG Z，GAO C，et al.Rotated feature network formultiorientation object detection of remote-sensing images［J］.IEEE Geoscience and Remote Sensing Letters，2020，18（1）：33-37.

［3］ ALEXEY D，F(xiàn)ISCHER P，TOBIAS J，et al.Discriminative unsupervised feature learning with exemplar convolutional neural networks［J］.IEEE TPAMI，2016，38（9）：1734-1747.

［4］ YANG Z，DAN T，YANG Y.Multi-temporal remote sensing image registration using deep convolutional features［J］.IEEE Access，2018，6：38544-38555.

［5］ MA K，SHU Z，BAI X，et al.Docunet：document image unwarping via a stacked u-net［C］∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2018：4700-4709.

［6］ LECUN Y，BENGIO Y，HINTON G.Deep learning［J］.Nature，2015，521：436-444.

［7］ GONG M，YANG H，ZHENG P.Feature learning and change feature classification based on deep learning for ternary change detection in SAR images［J］.ISPRS Journal of Photogrammetry and Remote Sensing，2017，129：212-225.

［8］ DAUDT R C，LE SAUX B，BOULCH A，et al.Urban change detection for multispectral earth observation using convolutional neural networks［C］∥IGARSS 2018-2018 IEEE International Geoscience and Remote Sensing Symposium.IEEE，2018：2115-2118.

［9］ LEBEDEV M A，VIZILTER Y V，VYGOLOV O V，et al.Change detection in remote sensing images using conditional adversarial networks［J］.The International Archives of the Photogrammetry，Remote Sensing and Spatial Information Sciences，2018，42：565-571.

［10］SAKURADA K，SHIBUYA M，WANG W.Weakly supervised silhouette-based semantic scene change detection［C］∥2020 IEEE International Conference on Robotics and Automation （ICRA）.IEEE，2020：6861-6867.

［11］ZHENG Z，MA A，ZHANG L，et al.Change is everywhere：Single-temporal supervised object change detection in remote sensing imagery［C］∥Proceedings of the IEEE/CVF International Conference on Computer Vision，2021：15193-15202.

［12］ZAGORUYKO S，KOMODAKIS N.Learning to compare image patches via convolutional neural networks［C］∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2015：4353-4361.

［13］DAUDT R C，LE S B，BOULCH A.Fully convolutional siamese networks for change detection［C］∥2018 25th IEEE International Conference on Image Processing （ICIP）.IEEE，2018：4063-4067.

［14］李俊杰，傅俏燕.DEM對高景衛(wèi)星影像正射校正的影響分析［J］.地理空間信息，2021，19（9）：50-52，60，7.

［15］張智華，余錦佩，李軍偉，等.高分二號遙感影像融合方法比較分析［J］.江西測繪，2022（4）：31-34.

［16］李維，王瑞，鄧傳斌.基于SURF算子的遙感圖像配準(zhǔn)方法研究［J］.單片機(jī)與嵌入式系統(tǒng)應(yīng)用，2023，23（6）：61-64，69.

［17］DE T D，MALISIEWICZ T，RABINOVICH A.Superpoint：self-supervised interest point detection and description［C］∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops，2018：224-236.

［18］SARLIN P E，DE T D，MALISIEWICZ T，et al.Superglue：learning feature matching with graph neural networks［C］∥Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition，2020：4938-4947.

［19］FISCHLER M A，BOLLES R C.Random sample consensus：a paradigm for model fitting with applications to image analysis and automated cartography［J］.Communications of the ACM，1981，24（6）：381-395.

［20］CHEN H，QI Z，SHI Z.Remote sensing image change detection with transformers［J］.IEEE Transactions on Geoscience and Remote Sensing，2021，60：1-14.

［21］VASWANI A，SHAZEER N，PARMAR N，et al.Attention is all you need［C］∥31st Annual Conterence on Neural Information Processing Systems，Long Beach，CA USA，2017，30：5998-6008.

［22］RUSSELL B C，TORRALBA A，MURPHY K P，et al.LabelMe：a database and web-based tool for image annotation［J］.International Journal of Computer Vision，2008，77：157-173.

［23］祁蘭蘭，王金亮，農(nóng)蘭萍，等.基于GF-1衛(wèi)星數(shù)據(jù)的洱海干季水質(zhì)時(shí)空變化監(jiān)測［J］.人民長江，2021，52（9）：24-31.

（編輯：郭甜甜）

Change detection system of remote sensing images based on neural network

WANG Xiang1，ZHANG Zhixin2，3，4，MOU Haodong5，LIU Tianhang5，ZHANG Yusong1，ZHANG Yuzhu1

（1.China Yangtze Power Co.，Ltd.，Wuhan 443000，China； 2.Network & Information Center，Changjiang Water Resources Commission，Wuhan 430010，China； 3.Center of Technology Innovation for Digital Enablement of River Basin Management，Wuhan 430010，China； 4.Smart Changjiang Innovation Team of Changjiang Water Resources Commission，Wuhan 430010，China； 5.School of Artificial Intelligence and Automation，Huazhong University of Science and Technology，Wuhan 430074，China）

Abstract：

Change detection is a highly valuable research branch in the field of computer vision.In order to improve the monitoring efficiency of production and construction activities along the Changjaing River，a building change detection system along the Chanjiang River was proposed on the basis of image registration，combined with self-attention and feature extraction.It integrated image processing，image registration and change detection，achieving automatic operation across overall processes.The results show that the designed system minimizes the registration accuracy error within two pixels，achieving pixel-level accuracy.Moreover，the system achieves a result of more than 75% in terms of F1 score on the proposed change detection test dataset，demonstrating its high accuracy.The research can be further applied in the shoreline management of large reservoirs，improving the efficiency of governance of reservoirs.

Key words：

remote sensing images； artificial intelligence； image registration； change detection； shoreline mornitoring