Transformer特征引導的雙階段地圖智能生成

方政，付瑩，劉利雄

北京理工大學計算機學院，北京 100081

0 引言

地圖在現(xiàn)代社會中發(fā)揮著十分重要的作用，無論是人民群眾日常生活出行，還是交通物流路線規(guī)劃等，都離不開地圖的幫助。然而，現(xiàn)有的地圖通常是由地圖矢量數(shù)據(jù)通過專業(yè)的地圖繪制專家繪制得到（Haunold 和Kuhn，1993；Ablameyko 等，1993）。地圖矢量數(shù)據(jù)的收集與更新、專家的聘請和地圖的繪制都需要花費大量的時間和金錢。現(xiàn)如今城市的變化日新月異，傳統(tǒng)地圖繪制方法已經(jīng)難以滿足地圖更新的需要，尤其是在地震、泥石流等突發(fā)地質(zhì)災難下，快速更新地圖顯得尤為重要。因此，如何快速且低成本地制作地圖是一個亟需解決的問題。

相比于地圖矢量數(shù)據(jù)的收集，遙感圖像在蘊含大量地圖相關(guān)信息的同時采集更加快速與便宜。遙感圖像可以由無人機、衛(wèi)星和飛機拍攝得到，若能利用遙感圖像生成對應的地圖圖像，則可以大幅降低地圖制作成本，提高地圖更新速度。隨著深度學習的發(fā)展，已經(jīng)出現(xiàn)了許多圖像生成的方法，如Pix2pix（pixel-to-pixel）（Isola 等，2017），Pix2pixHD（pixel-topixel high definition）（Wang 等，2018）和CycleGAN（cycle-consistent adversarial networks）（Zhu 等，2017）等，其本質(zhì)是將圖像從一個域轉(zhuǎn)移至另一個域。這些方法是利用生成對抗網(wǎng)絡（generative adversarial network，GAN）（Goodfellow等，2014）實現(xiàn)的，它們將一類圖像作為生成器的輸入，利用生成器生成對應的圖像。為了確保生成的圖像能夠更加接近目標域圖像，采用判別器對生成的地圖進行判別。利用遙感圖像生成對應的地圖圖像可視做一種特殊的圖像生成任務。目前已經(jīng)有研究者提出了GeoGAN（geographic generative adversarial network）（Ganguli 等，2019）、SMAPGAN（semisupervised generation of styled map tiles based on the generative adversarial network）（Chen等，2021）、CreativeGAN（creative generative adversarial network）（Fu 等，2022）和LAMG-CAMG（levelaware map generator-consistency-aware map generator）（Chen等，2022）等方法專門用于從遙感圖像生成地圖圖像。其中GeoGAN 和SMAPGAN 基本上只是沿用圖像生成的思路，沒有針對地圖生成任務的特性進行優(yōu)化。而后來的CreativeGAN 針對生成的地圖中地理要素容易混淆的問題，提出了一個結(jié)合語義信息的生成模型，但依舊考慮到當語義信息不準確時導致地圖生成誤差，這使得該模型仍具有一定的局限性。LAMG-CAMG 則是一種針對多層級地圖的生成模型，利用多層級地圖之間的關(guān)系來生成高質(zhì)量地圖，并沒有分析討論地圖生成任務本身的難點。

為此，需要進一步分析和討論地圖生成任務的難點，即地理要素類內(nèi)差異性和地理要素域間差異性。地理要素類內(nèi)差異性指的是遙感圖像中同類地理要素具有各式各樣的外觀，難以分辨；而地圖圖像中同類地理要素呈現(xiàn)的外觀具有一致性，如圖1 所示。將類內(nèi)差異明顯的地理要素正確劃分為對應的類別是地圖生成中的一大難點。地理要素域間差異性指的是遙感圖像和地圖圖像中對應地理要素存在幾何形狀上的差異。如遙感圖像中植被要素邊緣不平整，而地圖圖像中對應的植被要素邊緣平整。如何使得生成地圖中地理要素符合實際地圖中要素幾何特點是地圖生成中的另一大難點。

圖1 數(shù)據(jù)集例圖Fig.1 Dataset examples（（a）remote sensing images；（b）map images；（c）segmentation images）

本文提出了一種Transformer特征引導的雙階段地圖智能生成方法，用于解決地圖生成任務中的難點，使用一個統(tǒng)一的模型便可從遙感圖像中生成高質(zhì)量地圖圖像?？偟膩碚f，本文的主要工作如下：1）設計使用基于Transformer 的特征提取模塊，該模塊可以提供類內(nèi)一致性更好的地理要素特征用于指導生成器生成高質(zhì)量地圖，有效減輕了地理要素類內(nèi)差異性導致的地圖生成困難問題。2）設計雙階段生成框架，在初步地圖的基礎上進行二次生成，緩解了由于地理要素域間差異性導致的生成地圖地理要素不準確情況，提高了生成地圖的質(zhì)量。3）在AIDOMG（aerial image dataset for online map generation）（Fu 等，2022）數(shù)據(jù)集上進行測試，與先進的地圖生成方法和一般圖像生成方法進行比較，結(jié)果表明，此方法能有效提高生成地圖的質(zhì)量。

1 相關(guān)工作

1.1 傳統(tǒng)地圖生成方法

傳統(tǒng)方法中地圖需要專家從地圖矢量數(shù)據(jù)中利用專業(yè)軟件進行地圖繪制（陶陶 等，2007），而地圖矢量數(shù)據(jù)的獲取則需要專業(yè)人員在現(xiàn)場使用設備進行收集（Haunold 和Kuhn，1993；Ablameyko 等，1993）。該地圖制作方法的優(yōu)點是地圖精度高，質(zhì)量好；缺點是制作過程需要花費大量的人力物力，難以做到大范圍地圖的快速更新。

現(xiàn)如今城市建設速度日新月異，一兩年的時間很多地方已經(jīng)面目全非。對于主要的城市來說，或許能夠花費大量人力物力在數(shù)月內(nèi)更新地圖。但是對于大部分城市或鄉(xiāng)鎮(zhèn)地圖而言，地圖的更新時間長達一年（Zhong 等，2021）。這種地圖的更新速度難以滿足現(xiàn)在城市建設變化的速度。尤其是在遇到突發(fā)地質(zhì)災難導致的地貌地形變化時，一張有效的地圖能幫助不計其數(shù)的受難人民。現(xiàn)有的傳統(tǒng)地圖生成方法難以滿足地圖更新的需求，需要有一種快速又價格低廉的地圖生成方法用于生成地圖。

1.2 基于深度學習的圖像生成方法

基于深度學習的圖像生成方法能夠利用一個域的圖像生成另一個域的圖像。如利用素描圖像生成已經(jīng)上色的圖像（Xiang 等，2022），或利用年老時人臉圖像生成年輕時人臉圖像（宋昊澤和吳小俊，2019）。地圖生成任務可以看成是一種特殊的圖像生成任務，該任務利用遙感圖像生成地圖圖像。因此，圖像生成方法可以用于地圖生成，下面將介紹基于深度學習的經(jīng)典圖像生成方法。

Pix2pix（Isola 等，2017）提出了一個統(tǒng)一的框架用于解決圖像生成問題，使用CGAN（conditional generative adversarial network）（Mirza 和Osindero，2014）完成分割圖轉(zhuǎn)換街景圖、邊緣圖轉(zhuǎn)換真實圖和遙感圖轉(zhuǎn)換地圖任務。Pix2pixHD（Wang 等，2018）則在Pix2pix 的基礎上進行改進，使用多尺度的判別器和生成器解決了高分辨率圖像的生成問題。雖然Pix2pix 和Pix2pixHD 在生成任務上效果不錯，但是要求具備配對數(shù)據(jù)。CycleGAN（Zhu 等，2017）的提出則解決不配對數(shù)據(jù)的圖像生成問題，它引入循環(huán)一致性，利用不配對的數(shù)據(jù)完成圖像生成任務。為了解決多域圖像遷移問題，StarGAN（star generative adversarial network）（Choi 等，2018）利用一個生成器完成多域之間的圖像生成工作，能夠有效利用多域的數(shù)據(jù)信息。

地圖生成本質(zhì)上是一種圖像生成，利用一個域的圖像生成另一個域的圖像。但是因為圖像生成方法沒有考慮并解決地圖生成任務的難點，即地理要素類內(nèi)差異性和地理要素域間差異性。因此，直接將圖像生成的方法用到地圖生成任務上難以獲得高質(zhì)量的地圖圖像。

1.3 基于深度學習的地圖生成方法

目前，已有研究人員針對地圖生成任務，提出了專門用于地圖生成的模型，如GeoGAN（Ganguli 等，2019）、SMAPGAN（Chen 等，2021）和CreativeGAN（Fu 等，2022）等。這些方法用對抗生成學習遙感圖像到地圖圖像的映射關(guān)系，用于從遙感圖像生成地圖圖像。其中，GeoGAN 沿用了CGAN 的結(jié)構(gòu)，設計了為遙感生成地圖的網(wǎng)絡。SMAPGAN 則提出了一個半監(jiān)督的生成模型，解決了不完全配對的遙感—地圖數(shù)據(jù)進行地圖生成問題，但是并沒有解決生成質(zhì)量差的問題。CreativeGAN 則是一個結(jié)合語義信息的生成模型，利用語義信息指導生成器生成更加準確的地圖圖像。

上述方法均基于生成對抗網(wǎng)絡，可以在生成器和判別器持續(xù)的對抗訓練下不斷優(yōu)化輸出，判別器判斷圖像是否真實，并學習損失來懲罰輸出與目標之間的差異。然而，上述方法沒有深入分析并解決地圖生成任務中由地理要素類內(nèi)差異性和地理要素域間差異性導致的地圖生成困難問題，這使得上述方法仍具有一定的局限性。

2 本文方法

利用遙感圖像生成地圖是一項具有挑戰(zhàn)性的工作。其核心難點有兩個：1）地理要素類內(nèi)差異性。實際環(huán)境中的地理要素種類繁多，同種地理要素之間的差異過大，即便同樣都是建筑，其外部樣式也不一樣。如圖1 中遙感圖像所示，有灰頂建筑、藍頂建筑、褐頂建筑和紅頂建筑等。這使得模型難以生成地理要素對應準確的地圖。2）地理要素域間差異性。遙感圖像中的地理要素邊緣并不都是光滑整齊的，存在大量參差不齊的現(xiàn)象，而地圖圖像中對應的地理要素邊緣平滑連貫。這使得利用遙感圖像生成的地圖圖像地理要素存在不準確的情況。如圖1 中遙感圖像所示，植被要素邊緣明顯凹凸不平，但是在地圖圖像中，植被要素呈現(xiàn)光滑平整的邊緣。直接利用遙感圖像生成地圖圖像沒有考慮上述問題的解決，導致生成的地圖圖像中地理要素幾何外觀生成不準確。

為了緩解上述問題，本文提出了一個基于遙感圖像的Transformer（Dosovitskiy 等，2021）特征引導地圖智能生成方法。對于第1 個難點，即地理要素類內(nèi)差異性，提出方法利用一個基于Transformer 結(jié)構(gòu)的特征提取模塊提取高質(zhì)量地理要素特征，用于輔助地圖生成。該模塊將多樣的地理要素進行簡化提煉，去除無用的外觀紋理等類內(nèi)差異大的信息，將其劃分為地圖中普遍存在的5 類主要地理要素特征，即道路、建筑、水域、植被和其他背景這5 個類別。增加具有明確語義信息的主要地理要素特征作為輸入，相比于單獨的遙感圖像更利于指導生成器生成高質(zhì)量地圖。對于第2 個難點，即地理要素域間差異性，提出方法利用雙階段生成框架緩解地理要素域間差異性導致的地圖地理要素幾何外觀生成不準確情況。遙感圖像和地圖圖像的地物信息不完全對應，存在幾何形狀上的差異，僅使用一個生成器難以生成準確的地圖圖像。雙階段生成框架利用第1個生成器生成初步地圖圖像，然后利用第2個生成器對初步生成的地圖進行修正，使用實際地圖作為約束，顯式學習初步生成地圖到實際地圖地物信息的幾何形狀修復任務。雙階段生成框架能夠修正初步地圖中存在的幾何形狀不正確的地理要素，緩解地理要素域間差異性導致的地圖地理要素幾何外觀生成不準確情況，使其更加貼近實際地圖。提出方法模型如圖2 所示，具體可以分為基于Transformer的特征提取模塊、初步對抗生成模塊和精修對抗生成模塊這3個模塊。

圖2 本文方法模型結(jié)構(gòu)圖Fig.2 The model structure chart of the proposed method（（a）model process；（b）structure of feature extraction module based on Transformer；（c）structure of preliminary/refined generative adversarial module）

2.1 基于Transformer的特征提取模塊

地圖圖像中存在一些頻繁出現(xiàn)的地理要素，稱為主要地理要素，如道路、水域、植被、建筑和其他背景。主要地理要素占據(jù)地圖絕大部分面積，對地圖的準確性和質(zhì)量影響較大。

為了使得特征提取模塊能夠有效提取出對應的特征信息，數(shù)據(jù)集中提供了包含這5 種主要地理要素的分割圖。圖1（c）為可視化的分割圖，分割圖中所有地理要素均為同一顏色，如在地圖圖像中建筑有兩種顏色，而分割圖像中建筑僅表示建筑這個種類，故用一種顏色標識。模型將利用特征提取模塊提取包含主要地理要素的特征，使得生成器能關(guān)注這些主要的地理要素。特征提取模塊最重要的作用是提取出有效的地理要素特征，其本質(zhì)上類似一種語義分割網(wǎng)絡，需要將不同語義信息賦予像素?？紤]到特征提取模塊需要盡可能準確地提取出有效的特征，因此采用最新的Transformer 結(jié)構(gòu)作為特征提取骨干網(wǎng)絡。為了從復雜的遙感圖像中提取有效的地理要素特征，需要較大的感受野以覆蓋物體整體，提取較強的語義信息。Transformer 結(jié)構(gòu)基于自注意力機制，構(gòu)建了圖像各像素之間的關(guān)系，具有更廣的感受野，能更有效地提取特征信息（Dosovitskiy 等，2021）。具體來說，該模塊分為兩個部分，第1 部分為骨干網(wǎng)絡，用于提取有效的特征信息。骨干網(wǎng)絡采 用Swin-Transformer（Liu 等，2021）結(jié) 構(gòu)，利 用Transformer 強大的建模能力，能夠有效地提取出遙感圖像特征。第2 部分為分割網(wǎng)絡，包括主干分割網(wǎng)絡和輔助分割網(wǎng)絡兩個組成部分。主干分割網(wǎng)絡由金字塔池化模塊（pyramid pooling module，PPM）（Zhao 等，2017）和特征金字塔（feature pyramid network，F(xiàn)PN）（Lin 等，2017）組成，利用特征金字塔提取多層次的特征信息，將高層地理要素語義信息融入中層和低層地理要素語義信息中，同時利用PPM引入全局語義信息，進而獲取更有效的地理要素特征。輔助分割網(wǎng)絡由一個輕量級的全卷積網(wǎng)絡（fully convolutional network，F(xiàn)CN）（Long 等，2015）組成，該網(wǎng)絡對骨干網(wǎng)絡提取特征進行處理，生成輔助標簽信息，用于在訓練時進一步約束骨干網(wǎng)絡，使其提取的特征信息更加準確。

2.2 初步對抗生成模塊

初步對抗生成模塊用于實現(xiàn)地圖生成，其結(jié)構(gòu)基于CGAN（Mirza 和Osindero，2014），在判別器中加入實際地圖作為約束，使其生成匹配實際地圖的圖像。該模塊的作用是生成初步地圖圖像，用于后續(xù)的精修對抗生成。該模塊分為初步生成器和判別器?？紤]到生成圖像的高分辨率，該模塊設計為一種多尺度的初步生成器和判別器，用于處理高分辨率的遙感圖像。

初步生成器的輸入包括遙感圖像和主要地理要素特征，輸出為初步地圖圖像，其中遙感圖像和主要地理要素特征進行concat 合并，如圖2（a）所示。該生成器由兩個子網(wǎng)絡組成，即一個全局生成器和一個局部生成器。全局生成器的輸入是下采樣的遙感圖像和主要地理要素特征，這增大了感受野，使得模型關(guān)注到更大范圍的信息。局部生成器關(guān)注地圖細節(jié)特征的生成，輸入的尺度為原始分辨率，并通過相加融合全局生成器生成的低分辨率地圖，如圖2（c）所示?；谶@種結(jié)構(gòu)，生成器能更好地利用高分辨率圖像的特征，生成高質(zhì)量的圖像。

判別器的輸入為初步地圖圖像和遙感圖像，輸出為單通道置信度圖，用于約束地圖生成，提高生成地圖的質(zhì)量。為了處理高分辨率圖像，判別器也設計為多尺度形式。判別器由3 個子判別器組成，它們具有相同的結(jié)構(gòu)，接收不同尺寸的地圖圖像和遙感圖像。3 個子判別器輸入的圖像尺寸分別為原始尺寸、2倍下采樣和4倍下采樣。每個子判別器均由3 個步幅為2 的下采樣卷積層和兩個步幅為1 的卷積層組成。

通過使用初步對抗生成模塊，可以得到初步地圖圖像，該初步地圖由于真實環(huán)境中存在的地理要素層疊問題，地理要素難以準確分布，因此需要進一步提高地圖圖像質(zhì)量。

2.3 精修對抗生成模塊

初步地圖由于地理要素域間差異性，往往存在局部地圖生成不準確的情況。精修對抗生成模塊的作用是學習實際地圖中地理要素的幾何特征，用于修正初步地圖中存在的地理要素幾何外觀不準確的情況，進而得到高質(zhì)量的精修地圖圖像。該模塊分為精修生成器和精修判別器。

精修生成器的輸入為初步地圖圖像，輸出為精修地圖圖像。該生成器結(jié)構(gòu)與初步生成器相同，都由全局生成器和局部生成器組成，用于處理高分辨率的遙感圖像。精修判別器的輸入輸出和功能均與初步判別器相同，為了減少模型參數(shù)量，精修對抗生成模塊與初步對抗生成模塊共用同一個判別器。

通過使用精修對抗生成模塊，可以對初步地圖中不準確的地理要素進行修正，得到更準確的地圖圖像。

2.4 損失函數(shù)

對于該模型的各個模塊，分別設計了對應的損失函數(shù)。整個模型的損失函數(shù)可以分為兩個部分，對抗生成損失函數(shù)Lgan和特征提取損失函數(shù)Lextr。Lgan為模型中初步對抗生成模塊和精修對抗生成模塊的損失函數(shù)，位于圖2中綠色部分。Lextr為模型中基于Transformer 的特征提取模塊的損失函數(shù)，位于圖2中紫色部分。

2.4.1 對抗生成損失函數(shù)

對于對抗生成損失函數(shù)Lgan而言，它由兩部分組成，分別是初步生成對抗網(wǎng)絡的損失函數(shù)和精修生成對抗網(wǎng)絡的損失函數(shù)，即

式中，λ′和λ″為損失函數(shù)的比例系數(shù)，分別設置為1和4。

式中，λcon、λadv、λper和λfm分別是各損失函數(shù)的比例系數(shù)，令λadv為1，λcon、λper和λfm為10 進行平衡損失。下面將逐個介紹該模型使用的損失函數(shù)。

1）內(nèi)容損失函數(shù)Lcon計算的是生成圖像與真實圖像之間的像素差距，添加該損失函數(shù)可以使生成器生成更精確的圖像，具體為

式中，N是圖像的像素數(shù)，Im是實際地圖，Ir是遙感圖像，G1是初步生成器。

2）對抗損失函數(shù)Ladv是生成對抗網(wǎng)絡的基礎損失函數(shù)，用于生成器和判別器的訓練，可以使得生成的圖像細節(jié)更加逼真，具體為

式中，D是判別器。

3）感知損失函數(shù)Lper關(guān)注特征圖之間的距離，常用于提升生成的地圖的整體視覺質(zhì)量，具體為

式中，F(xiàn)為特征提取網(wǎng)絡，i用于指定F的第i層特征圖，n為特征提取網(wǎng)絡層數(shù)。該損失函數(shù)使用VGG16（Visual Geometry Group 16-layer）（Simonyan和Zisserman，2015）作為特征提取網(wǎng)絡。

4）特征匹配損失函數(shù)Lfm有助于穩(wěn)定訓練。它計算的是判別器中提取的真實圖像和生成圖像之間的差異，具體為

式中，n表示判別器總層數(shù)。

2.4.2 特征提取損失函數(shù)

對于特征提取網(wǎng)絡而言，其本質(zhì)上是一個像素級語義分割任務。因此，可以選擇使用交叉熵損失函數(shù)（de Boer 等，2005）作為特征提取損失函數(shù)，即

式中，Ldec作為交叉熵損失函數(shù)，計算的是最終輸出和實際標簽之間的距離，而Laux作為交叉熵損失函數(shù)，計算的是輔助FCN 分支的輸出和實際標簽之間的距離。令λdec=1和λaux=0.4進行平衡損失。

Ldec交叉熵損失函數(shù)計算為

式中，N為樣本量，M為分割的類別數(shù)量，y為實際標簽的分布，p為最終輸出的標簽分布。Laux的計算與Ldec相似，不同之處在于輸入是輔助分割網(wǎng)絡得到的標簽分布。

3 實驗結(jié)果及分析

3.1 實驗平臺

在Ubuntu20.04 64位系統(tǒng)上搭建深度學習開發(fā)環(huán)境，選用PyCharm 作為集成開發(fā)環(huán)境，實驗框架基于Python 語言實現(xiàn)，選用深度學習框架為Pytorch。主要配置為64.0 GB 內(nèi)存，Intel Core i9-10850 @ 3.60 GHz CPU，顯 卡（GPU）型號為NVIDIA GeForce RTX 3090，顯存24 GB。深度學習開發(fā)環(huán)境為Python 3.7.9和PyTorch 1.7.1。

3.2 實驗數(shù)據(jù)和評價指標

為了充分驗證提出的方法，實驗在AIDOMG（Fu等，2022）數(shù)據(jù)集上進行。它是目前最大的用于遙感圖像生成地圖的數(shù)據(jù)集。該數(shù)據(jù)集包含6 個不同大洲的9 個不同區(qū)域的數(shù)據(jù)。數(shù)據(jù)包括遙感圖像、地圖圖像和語義分割標簽。不同地區(qū)的城市具有不同的光照條件、植被類型和建筑風格，這使得不同區(qū)域的遙感圖像的地貌特征差異較大。

此外，為了定量準確地評估模型的生成效果，實驗使用FID（Frechet inception distance）、WD（Wasserstein distance）和1-NN（1-nearest neighbor）score 作為度量。這些指標通常用來評價GAN 的生成結(jié)果，并且這些指標在辨別性、健壯性和效率方面效果不錯。此外，為了更全面評價，實驗還采用經(jīng)典的峰值信噪比（peak signal to noise ratio，PSNR）作為評價指標。FID 和WD 越低，1-NN 越接近0.5，PSNR 越高，結(jié)果越好。

3.3 實驗設置

對于基于Transformer的特征提取模塊和兩個對抗生成模塊選用不同的優(yōu)化器針對性地訓練。使用AdamW（adaptive moment estimation with weight decay）對基于Transformer 的特征提取模塊進行優(yōu)化，并設置β1=0.9，β2=0.999，設置初始化學習率為0.000 015，采用熱啟動的方式，熱啟動步數(shù)設置為1 500。同時，使用在ImageNet（Deng 等，2009）上預訓練的Swin-Transformer 模型初始化骨干網(wǎng)絡，并隨機初始化其余部分。對于兩個對抗生成模塊，使用Adam 優(yōu)化器進行優(yōu)化，并設置β1=0.5，β2=0.999。對抗生成模塊的參數(shù)進行隨機初始化。模型訓練100個epoch。

3.4 實驗分析

為了證明提出方法的有效性，實驗部分將提出方法與現(xiàn)有的圖像生成方法和地圖生成方法進行比較。此外，還對提出方法進行了消融實驗，用于說明模型各個模塊的作用以及基于Transformer的特征提取模塊的優(yōu)越性。

3.4.1 對比實驗

在對比實驗中，選取數(shù)據(jù)集中地貌特征較復雜的城市?？诤洼^簡單的城市巴黎進行主要的對比實驗。為了使得實驗更全面和更有說服力，對比方法選取了7 種圖像生成方法：Pix2pix（pixel-to-pixel）（Isola等，2017），Pix2pixHD（pixel-to-pixel high definition）（Wang 等，2018）、CycleGAN（cycle-consistent adversarial network）（Zhu等，2017）、SPADE（spatiallyadaptive DE）（Park 等，2019），SelectionGAN（multichannel attention selection generative adversarial network）（Tang 等，2019）、TSIT（two-stream image to image translation）（Jiang 等，2020）和LPTN（laplacian pyramid translation network）（Liang 等，2021）以及現(xiàn)有最新的兩種地圖生成方法SMAPGAN（generative adversarial network-based semisupervised styled map tile generation method）（Chen 等，2021）和CreativeGAN（creative generative adversarial network）（Fu等，2022）。

不同算法在?？诤桶屠鑵^(qū)域的地圖生成結(jié)果如表1 和表2 所示?？梢钥闯?，提出方法在這兩個城市上的大部分指標結(jié)果均取得了最優(yōu)。在?？诔鞘猩希岢龇椒ǖ腇ID 指標結(jié)果為97.99，WD 指標結(jié)果為9.701，1-NN 指標結(jié)果為0.874 9，PSNR指標結(jié)果為27.594 dB。在巴黎城市上，提出方法的FID 指標結(jié)果為76.35，WD 指標結(jié)果為8.520，1-NN 指標結(jié)果 為0.681 9，PSNR指標結(jié)果為27.183 dB。可以發(fā)現(xiàn)，提出方法的結(jié)果在這些GAN評價指標上遠超其他方法，這足以證明提出方法的有效性。至于PSNR 指標，因為該指標統(tǒng)計的是像素級別，所以往往值越高并不能代表效果越好。

表1 不同算法在?？趨^(qū)域的地圖生成結(jié)果Table 1 Quantification of map generation results of different algorithms in Haikou area

表2 不同算法在巴黎區(qū)域的地圖生成結(jié)果Table 2 Quantification of map generation results of different algorithms in Paris area

圖3 和圖4 分別展示了對比方法與提出方法在?？诤桶屠鑳蓚€城市上的可視化結(jié)果圖?？梢园l(fā)現(xiàn)，大部分的方法難以生成準確的且較為對應的道路、建筑和植被等地理要素。提出方法無論是在地理要素的完整程度上，還是分布位置上均顯著超過其他方法生成的地圖圖像。這說明了提出方法生成的地圖能更準確貼合實際地理情況，具有較高的實際應用價值。在表1 和表2 中，PSNR 指標最高的算法為SMAPGAN，但是從圖3 和圖4 中可以明顯發(fā)現(xiàn)，SMAPGAN 的視覺效果不如提出方法。目前有一些研究（Ledig 等，2017）也發(fā)現(xiàn)傳統(tǒng)指標PSNR 等難以準確描述生成的圖像質(zhì)量。仍保留PSNR 指標的原因是該指標雖然不能有效比較不同模型的結(jié)果優(yōu)劣，但是在消融實驗部分仍能說明模塊改動的有效性。

圖3 生成地圖在海口區(qū)域的可視化結(jié)果Fig.3 Visualization results of each method in Haikou area experiment（（a）remote sensing image；（b）image of Pix2pix；（c）image of Pix2pixHD；（d）image of CycleGAN；（e）image of CreativeGAN；（f）image of SMAPGAN；（g）image of SPADE；（h）image of SelectionGAN；（i）image of TSIT；（j）image of LPTN；（k）ours；（l）real map image）

圖4 生成地圖在巴黎區(qū)域的可視化結(jié)果Fig.4 Visualization results of each method in Paris area experiment（（a）remote sensing image；（b）image of Pix2pix；（c）image of Pix2pixHD；（d）image of CycleGAN；（e）image of CreativeGAN；（f）image of SMAPGAN；（g）image of SPADE；（h）image of SelectionGAN；（i）image of TSIT；（j）image of LPTN；（k）ours；（l）real map image）

此外，為了進一步說明提出方法的泛化性，選取了在?？诤桶屠鑵^(qū)域上除提出方法模型外表現(xiàn)最優(yōu)的模型CreativeGAN，在AIDOMG 數(shù)據(jù)集的其他城市上與提出方法進一步比較。如表3 所示，提出方法在其他7 個區(qū)域上各指標幾乎都能夠達到最優(yōu)。模型在不同區(qū)域生成地圖可能會得到不同的效果，特別是當城市地貌特征相差很大時。提出方法在這些不同區(qū)域上均取得了最優(yōu)效果，這證明了提出方法相比對比方法的優(yōu)越性。

表3 提出方法與CreativeGAN在其他區(qū)域上的生成結(jié)果Table 3 Quantification of the generation results of our method and CreativeGAN on other regions

3.4.2 消融實驗

消融實驗分為兩個部分，實驗1 基于初步對抗生成模塊逐步添加模塊，用于說明提出方法中各個模塊的效果及帶來的影響；實驗2 替換不同的特征提取模塊，用于說明基于Transformer 的特征提取模塊的優(yōu)越性。

實驗1 基于初步對抗生成模塊逐步添加模塊，表4 展示了在初步對抗生成模塊上逐步添加基于Transformer 的特征提取模塊和精修對抗生成模塊的消融實驗結(jié)果?？梢园l(fā)現(xiàn)，隨著模塊的添加，F(xiàn)ID、WD 和1NN 指標的數(shù)值均比不添加該模塊的時候更低，PSNR 指標的數(shù)值比不添加該模塊的時候更高，這說明了實驗結(jié)果隨著模塊的添加而變好。

表4 模型各模塊消融實驗結(jié)果量化情況Table 4 Quantification of ablation experimental results of each module of the model

在加入了基于Transformer 的特征提取模塊之后，F(xiàn)ID 指標為113.97，效果提高了32.5%，WD 指標為10.008，效果提高了16.6%，1-NN指標為0.899 3，效果提高了9.3%，PSNR 指標為27.361 dB，效果提高了0.49%。這證明了特征提取模塊的有效性，具有明確語義信息的主要地理要素特征比單獨的遙感圖像更能指導生成器生成高質(zhì)量地圖?；赥ransformer 的特征提取模塊的作用是提供主要地理要素特征，將遙感圖像中復雜多樣的地理要素進行簡化，賦予明確的語義信息，使得模型關(guān)注到地圖中的主要地理要素生成，生成質(zhì)量更好的地圖。

消融實驗可視化結(jié)果如圖5 所示，其中，圖5（c）是加入初步對抗生成模塊和特征提取模塊的可視化結(jié)果，圖5（d）是加入初步對抗生成模塊、特征提取模塊和精修對抗生成模塊的可視化結(jié)果。從圖5 可以發(fā)現(xiàn)，添加特征提取模塊后道路的分布情況更加準確，建筑部分不應該存在的連接部分被去除，建筑分布更符合實際地圖中的建筑分布情況，背景也更符合實際地圖背景分布，沒有占據(jù)道路的分布位置。

圖5 消融實驗可視化結(jié)果Fig.5 Visualization results of ablation experiment（（a）remote sensing images；（b）images of preliminary generative adversarial module；（c）images of preliminary generative adversarial module+feature extraction module；（d）images of preliminary generative adversarial module+feature extraction module+refined generative adversarial module；（e）real map）

在加入了精修對抗生成模塊之后，F(xiàn)ID 指標為97.99，提高了14.0%，WD 指標為9.701，提高了3.1%，1-NN 指標為0.874 9，提高了2.7%，PSNR 指標為27.594 dB，提高了0.9%。結(jié)果表明，精修對抗生成模塊能有效修正不準確的地理要素，緩解了地理要素域間差異性導致的地理要素分布不準確問題，進而得到更好的地圖圖像。從圖5 中可以發(fā)現(xiàn)，添加該模塊后視覺效果整體更接近真實地圖，原本地圖中地理要素存在邊緣不平滑現(xiàn)象得到了修正，使得地圖更加貼近真實地圖。

圖6 展示了一些PSNR 指標與視覺效果和FID指標相反的例圖，進一步說明PSNR 并不能很好地評估圖像質(zhì)量，需要結(jié)合其他評價指標共同評價。

圖6 視覺效果與指標結(jié)果相反例圖Fig.6 Examples of the opposite of visual effect and metrics

實驗2 選擇了多種語義分割網(wǎng)絡作為模型中的特征提取模塊，表5 展示了提出方法使用不同特征提取模塊的實驗結(jié)果?？梢园l(fā)現(xiàn)，當使用基于Transformer 的特征提取模塊時，實驗結(jié)果在大部分評價指標上取得了最優(yōu)，這證明了Transformer 具有更強的建模能力，能夠有效提取出特征信息，指導生成器生成高質(zhì)量的地圖圖像。

表5 模型選用不同特征提取模塊消融實驗結(jié)果量化情況Table 5 Quantification of ablation experimental results with different feature extraction modules

4 結(jié)論

本文提出了一種Transformer特征引導的雙階段地圖智能生成方法。本文方法提出了基于Transformer 的特征提取模塊和雙階段生成框架，緩解了地圖生成任務中地理要素類內(nèi)差異性和地理要素域間差異性導致的高質(zhì)量地圖生成困難問題。本文方法利用基于Transformer的特征提取模塊提取有效且類內(nèi)一致的地理要素特征，用于指導生成器生成地圖，有效緩解了地理要素類內(nèi)差異性導致的地圖生成困難的情況。同時，本文方法利用雙階段生成框架，以實際地圖為監(jiān)督，顯式學習初步生成地圖到實際地圖地物信息的幾何形狀修復任務，緩解了地理要素域間差異性導致的地理要素幾何外觀不準確的情況，得到更高質(zhì)量的地圖圖像。本文方法在多個城市數(shù)據(jù)集上表現(xiàn)效果優(yōu)于對比方法，在多個數(shù)據(jù)集上效果最佳，大部分的地理要素在生成地圖上均能對應。但是本文方法所生成的地圖質(zhì)量距離實際應用仍存在一定差距，尤其是存在嚴重遮擋問題時，如圖7 所示。其原因可能是當?shù)乩硪卣趽鯂乐氐臅r候，特征提取模塊難以準確提取出有效的特征信息用于輔助地圖生成。后續(xù)工作將考慮在方法中添加額外的約束條件，輔助特征信息的提取，以提高地圖生成質(zhì)量。

圖7 生成失敗例圖Fig.7 Examples of failure generation（（a）remote sensing images；（b）generated images；（c）map images）