基于Segnet網(wǎng)絡(luò)和遷移學(xué)習(xí)的全景街區(qū)影像變化檢測

余曉娜，黃 亮, ，陳朋弟

(1.昆明理工大學(xué) 國土資源工程學(xué)院，昆明 650093；2.云南省高校高原山區(qū)空間信息測繪技術(shù)應(yīng)用工程研究中心，昆明 650093)

街區(qū)作為城市建筑物的主要組成部分，精確、實(shí)時(shí)地對(duì)道路街區(qū)進(jìn)行變化提取，對(duì)于城市規(guī)劃和土地利用調(diào)查具有十分重要的作用。例如，在城市發(fā)展中所出現(xiàn)的居民區(qū)改造、工業(yè)區(qū)向郊區(qū)遷移、商業(yè)區(qū)整改等。全景街區(qū)影像研究通過不同時(shí)期影像的獲取，可以對(duì)城市街道的違建、違停進(jìn)行排查，保證一個(gè)規(guī)整有序的城市環(huán)境。對(duì)全景街區(qū)影像進(jìn)行變化檢測，不僅能輔助城市的違章排查、災(zāi)后評(píng)估，還能檢測出城市土地利用的變化情況，為政府在城市建設(shè)方面提供科學(xué)合理的理論參考。全景街區(qū)影像是指通過車載相機(jī)所采集到的360°街區(qū)全視場影像[1]。但是由于全景影像所包含的地物復(fù)雜，不僅包括建筑物上的玻璃幕墻，還包括一些廢墟、電線桿、交通燈等，所以傳統(tǒng)的方法不適用于全景街區(qū)影像的變化檢測。

目前，有很少一部分學(xué)者對(duì)全景街區(qū)影像的變化檢測鄰域進(jìn)行研究。主要原因是對(duì)全景街區(qū)的變化檢測存在“語義鴻溝”問題[2-3]。軒永倉等基于FCN網(wǎng)絡(luò)模型實(shí)現(xiàn)圖像像素級(jí)的預(yù)測，為復(fù)雜場景圖像的語義分割做了良好鋪墊[4]。Wu C等運(yùn)用貝葉斯理論和基于規(guī)則的方法，提高了場景變化檢測準(zhǔn)確率[5]。Arabi Mohammed El Amin等提出了一種基于CNN特征的衛(wèi)星圖像變化檢測方法，并得到較高精度[6]。劉文濤等通過級(jí)聯(lián)式FCN和空洞卷積的方法，實(shí)現(xiàn)建筑物屋頂?shù)木_分割和提取[7]。魏楊等基于深度學(xué)習(xí)識(shí)別出初步候選區(qū)，其次通過Fast R-CNN網(wǎng)絡(luò)框架，實(shí)現(xiàn)農(nóng)作物蟲害的精準(zhǔn)識(shí)別[8]。鄧國徽提出的基于改進(jìn)的FCN網(wǎng)絡(luò)模型算法準(zhǔn)確地識(shí)別出施工場地[9]。Nicolas等通過引入多核卷積，并基于SegNet框架執(zhí)行準(zhǔn)確的語義分割，最終實(shí)現(xiàn)全景影像的準(zhǔn)確標(biāo)記[10]。雖然深度學(xué)習(xí)在遙感領(lǐng)域的應(yīng)用比較廣泛，也得到了比較理想的效果，但目前國內(nèi)外對(duì)于全景街區(qū)影像的變化檢測研究則相對(duì)較少。

筆者采用全景街區(qū)影像作為實(shí)驗(yàn)數(shù)據(jù)，并結(jié)合深度學(xué)習(xí)和遷移學(xué)習(xí)的思想，提出了基于Segnet網(wǎng)絡(luò)的全景街區(qū)影像變化檢測。相比傳統(tǒng)方法，采用SegNet進(jìn)行語義分割，可以更好地區(qū)分出不同地物目標(biāo)，更加準(zhǔn)確地進(jìn)行地物提取。采用遷移學(xué)習(xí)的思想，可以大大縮短訓(xùn)練時(shí)間，提高實(shí)驗(yàn)精度，還為全景街區(qū)影像的變化檢測研究提供理論參考。該方法在語義層次上檢測到區(qū)域的變化情況，對(duì)現(xiàn)實(shí)中的街道違建排查、土地利用情況以及城市規(guī)劃方面有重要意義。

1 全景街區(qū)影像變化檢測

筆者研究了基于Segnet網(wǎng)絡(luò)和遷移學(xué)習(xí)的全景街區(qū)影像變化檢測。首先，對(duì)數(shù)據(jù)集“TSUNAMI”做預(yù)訓(xùn)練；其次，對(duì)訓(xùn)練集進(jìn)行分類歸并，分類歸并的主要依據(jù)是地物的光譜、紋理等特征；然后，通過Segnet網(wǎng)絡(luò)對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行語義分割，得到語義分割結(jié)果圖；最后，對(duì)2幅語義分割結(jié)果圖進(jìn)行差值運(yùn)算，得到最終的變化結(jié)果圖，并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行精度評(píng)價(jià)。與傳統(tǒng)的方法相比，先對(duì)數(shù)據(jù)做訓(xùn)練，對(duì)訓(xùn)練模型做信息的分類歸并，再進(jìn)行語義分割，較傳統(tǒng)方法得到較高精度。采用Segnet網(wǎng)絡(luò)做語義分割使變化信息提取更加準(zhǔn)確，并對(duì)類和類之間的區(qū)分也更加明顯。另一方面，Segnet網(wǎng)絡(luò)和遷移學(xué)習(xí)相結(jié)合，大大減少了實(shí)驗(yàn)的工作量，縮短實(shí)驗(yàn)時(shí)間，提高實(shí)驗(yàn)結(jié)果的精度。該方法不僅適用于全景街區(qū)影像的變化檢測，也適用于道路、建筑物、交通標(biāo)志等信息的提取，有較大發(fā)展?jié)摿?，其技術(shù)路線圖如圖1所示。

圖1 技術(shù)路線圖Fig. 1 Technical roadmap

1.1 Segnet神經(jīng)網(wǎng)絡(luò)

Hinton G.E.在2006年第一次提出了深度學(xué)習(xí)的概念[11]。深度學(xué)習(xí)中常見的網(wǎng)絡(luò)結(jié)構(gòu)有CNN、FCN、PSPNet、U-Net、Segnet等，研究選取了目前應(yīng)用比較成熟且廣泛的Segnet網(wǎng)絡(luò)模型作為實(shí)驗(yàn)?zāi)Ｐ?。Segnet網(wǎng)絡(luò)的核心主要包括一個(gè)編碼網(wǎng)絡(luò)和一個(gè)與之對(duì)應(yīng)的解碼網(wǎng)絡(luò)。Segnet網(wǎng)絡(luò)沿用了FCN圖像語義分割的思想，并且該網(wǎng)絡(luò)是基于像素級(jí)別的端到端網(wǎng)絡(luò)架構(gòu)。Segnet沿用了FCN網(wǎng)絡(luò)模型的思想，將VGG16中的全連接層去掉，將編碼(encoder)信息和解碼(decoder)信息直接連接，編碼網(wǎng)絡(luò)和解碼網(wǎng)絡(luò)作為整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)的核心部分，其優(yōu)點(diǎn)是保留了影像中大量有用的特征信息，使實(shí)驗(yàn)過程中需要訓(xùn)練的參數(shù)大大減少，縮減了實(shí)驗(yàn)數(shù)據(jù)的訓(xùn)練時(shí)間，最重要的是得到了相對(duì)較高精度的語義分割圖像。

Segnet神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示：Segnet的網(wǎng)絡(luò)結(jié)構(gòu)主要包括卷積層(convolution)、歸一化層(batch normalisation)、激活函數(shù)(ReLU)以及池化層(pooling)。

圖2 Segnet神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig 2 Segnet neural network structure

從圖2可以看出，Segnet網(wǎng)絡(luò)結(jié)構(gòu)是一個(gè)對(duì)稱的網(wǎng)絡(luò)模型，網(wǎng)絡(luò)的左邊表示編碼網(wǎng)絡(luò)，右邊表示解碼網(wǎng)絡(luò)。Segnet網(wǎng)絡(luò)的基本工作原理：在網(wǎng)絡(luò)結(jié)構(gòu)中，pooling層與upsampling層主要進(jìn)行影像分割，在整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)中，特征地物的提取主要依靠位于左邊的卷積層來完成，然而在提取的過程中，pooling層的主要作用是使圖片逐漸變小，這個(gè)過程被稱為編碼；右邊的網(wǎng)絡(luò)架構(gòu)主要進(jìn)行反卷積和upsampling操作，反卷積主要是使得圖像的分類特征得以體現(xiàn)，而upsampling層主要是將分割后的影像恢復(fù)和原始輸入圖像一樣的大小，這個(gè)過程稱為解碼過程。通過編碼網(wǎng)絡(luò)不斷提取特征，隨之傳輸?shù)较鄳?yīng)的解碼網(wǎng)絡(luò)，對(duì)分割圖像進(jìn)行解碼，最后再通過softmax分類器輸出最終的語義分割結(jié)果圖。

通過卷積運(yùn)算，使影像中有用的特征信息更加突出，而忽略及削減影像中次要的信息，達(dá)到抑制噪聲的目的。連接在卷積層之后的稱為池化層，一般來說，池化層中特征圖的個(gè)數(shù)和卷積層的特征圖個(gè)數(shù)是保持一致的，兩者之間是一一對(duì)應(yīng)的關(guān)系。其中Maximum pooling、Mean pooling、Random pooling以及Pyramid pooling等是目前常用的池化方法[12-14]。

在Segnet的訓(xùn)練過程中，由于線性表達(dá)無法滿足樣本的多樣性，以及實(shí)驗(yàn)過程中的復(fù)雜分類識(shí)別任務(wù)和訓(xùn)練數(shù)據(jù)集過大等原因，通常采用ReLU函數(shù)進(jìn)行擬合。ReLU激活函數(shù)是目前大多數(shù)卷積神經(jīng)網(wǎng)絡(luò)所采用的激活函數(shù)，ReLU函數(shù)具有計(jì)算靈活、收斂快等特點(diǎn)，主要解決梯度下降的問題。其數(shù)學(xué)表達(dá)式為

(1)

當(dāng)輸出信號(hào)大于0時(shí)，輸出等于輸入；當(dāng)輸出信號(hào)小于等于0時(shí)，輸出等于0。歸一化層一般用于激活函數(shù)之前，最主要的作用是使學(xué)習(xí)的速度加快。

2010年，Zeiler等提出了反卷積的概念[15]。從網(wǎng)絡(luò)結(jié)構(gòu)上來說，反卷積層相當(dāng)于一個(gè)上采樣的過程，在訓(xùn)練過程中，通常由于全連接層的維度太大，訓(xùn)練的時(shí)候會(huì)出現(xiàn)參數(shù)增加而增大計(jì)算量的情況，為了解決這個(gè)問題，通常引入反卷積層。這樣做的主要原因是因?yàn)榉淳矸e層能把圖像丟失的信息找回來，這樣能最大限度的保留上下文信息，使得訓(xùn)練結(jié)果更加準(zhǔn)確。

由于測試數(shù)據(jù)集較少，于是通過對(duì)圖像的拉伸、旋轉(zhuǎn)、平移等操作，增大數(shù)據(jù)集，把需要測試的數(shù)據(jù)集放進(jìn)已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)模型中，這樣不僅縮短了訓(xùn)練時(shí)間，而且得到了較高的精度。

1.2 遷移學(xué)習(xí)

遷移學(xué)習(xí)于1990年出現(xiàn)在機(jī)器學(xué)習(xí)領(lǐng)域[16-17]。遷移學(xué)習(xí)的實(shí)質(zhì)就是運(yùn)用已有的知識(shí)解決相關(guān)領(lǐng)域問題的一種方法，最終實(shí)現(xiàn)知識(shí)在相關(guān)領(lǐng)域之間的遷移。在深度學(xué)習(xí)的過程中，為了克服實(shí)驗(yàn)數(shù)據(jù)樣本過少，導(dǎo)致模型泛化能力不足，網(wǎng)絡(luò)出現(xiàn)過擬合的現(xiàn)象，需引入遷移學(xué)習(xí)。采用遷移學(xué)習(xí)需要注意2個(gè)問題：一是新的學(xué)習(xí)中需要識(shí)別的類別在預(yù)訓(xùn)練模型中訓(xùn)練過；二是預(yù)訓(xùn)練模型應(yīng)該具有足夠的泛化能力。在計(jì)算機(jī)視覺和遙感影像處理領(lǐng)域，遷移學(xué)習(xí)的應(yīng)用是很常見的，遷移學(xué)習(xí)能夠優(yōu)化網(wǎng)絡(luò)訓(xùn)練模型，減少數(shù)據(jù)集訓(xùn)練的時(shí)間，解決卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)樣本較少的問題，遷移學(xué)習(xí)的廣泛應(yīng)用在一定程度上也能擴(kuò)大卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域。一般來說，按照遷移學(xué)習(xí)研究的內(nèi)容不同，將遷移學(xué)習(xí)分為4種[18]：以實(shí)例為研究對(duì)象、以特征為研究對(duì)象、以參數(shù)為研究對(duì)象以及基于關(guān)聯(lián)規(guī)則的遷移學(xué)習(xí)。遷移學(xué)習(xí)示意圖如圖3所示。

圖3 遷移學(xué)習(xí)示意圖Fig 3 Schematic diagram of migration learning

2 實(shí)驗(yàn)結(jié)果及分析

2.1 數(shù)據(jù)來源

數(shù)據(jù)來源于日本東北大學(xué)情報(bào)科學(xué)研究所，是日本某一地區(qū)海嘯前后的全景街區(qū)影像。該數(shù)據(jù)獲取使用與GPS數(shù)據(jù)匹配的車輛，其具體做法是在一輛車上安裝全方位攝像頭，通過車頂上的GPS傳感器，在一個(gè)城市的街道上相隔一段時(shí)間，采集2次數(shù)據(jù)，得到2組全方位街區(qū)影像。分別在海嘯前和海嘯后進(jìn)行數(shù)據(jù)采集，得到如圖4所示的全景街區(qū)影像。選取2組原始影像作為實(shí)驗(yàn)數(shù)據(jù)，其中圖4表示的是典型的全景街區(qū)影像，而圖5表示的是空曠郊區(qū)的影像，選取這2組影像，目的是驗(yàn)證方法對(duì)不同類型的全景街區(qū)影像都適用。圖4、圖5中2組影像的大小都為1 024像素×224像素，通過目視判讀，可以看出圖4中包括了建筑物、天空、電線桿、道路、車輛等地物。圖5中包括了建筑物、天空、車輛、空地等基本地物，從影像中可以看出，不同的拍攝環(huán)境及拍攝條件，得到的同一地區(qū)影像的光譜特征、紋理特征存在較大差異，這一現(xiàn)象給實(shí)驗(yàn)帶來巨大挑戰(zhàn)。實(shí)驗(yàn)選擇最大似然法、SVM作為Segnet的對(duì)比實(shí)驗(yàn)。

圖4 第一組實(shí)驗(yàn)數(shù)據(jù)Fig. 4 Data of the first experiment

圖5 第二組實(shí)驗(yàn)數(shù)據(jù)Fig 5 Data of the second experiment

2.2 實(shí)驗(yàn)結(jié)果分析

研究首先采用機(jī)器學(xué)習(xí)的方法對(duì)原始圖像進(jìn)行變化檢測：基于ENVI對(duì)2組影像進(jìn)行處理，分別采用了最大似然法和支持向量機(jī)的方法對(duì)原始數(shù)據(jù)進(jìn)行分類，將得到的分類數(shù)據(jù)相減，得到的結(jié)果如圖6(b)、6(c)和圖7(b)、7(c)所示；采用提出方法得到的變化檢測結(jié)果如圖6(d)和圖7(d)所示。其中圖6為原始數(shù)據(jù)一的變化檢測結(jié)果圖，圖7為原始數(shù)據(jù)二的變化檢測結(jié)果圖。然后將相減結(jié)果與參考圖6(a)、圖7(a)分別進(jìn)行精度評(píng)價(jià)。

圖6 第一組實(shí)驗(yàn)結(jié)果圖Fig 6 The first set of experimental results

對(duì)于第一組實(shí)驗(yàn)結(jié)果，最大似然和SVM方法的精度分別為65.1%和72.1%，提出方法的精度為81.4%。從變化的結(jié)果圖中可以看出：與參考圖對(duì)比，最大似然法和SVM的方法對(duì)建筑物墻體和道路的分類比較差，尤其是影像最左邊的墻體及墻體上的窗戶，都出現(xiàn)了錯(cuò)分現(xiàn)象，道路的分類主要存在的問題是邊界線沒有提取出來，仍然有錯(cuò)分的情況。對(duì)比圖4，可以看出造成這種現(xiàn)象最主要的原因是光譜差異，圖4中變化前和變化后的影像光譜差異明顯，并且主要體現(xiàn)在建筑物和道路上。造成這種現(xiàn)象的原因可能是數(shù)據(jù)獲取時(shí)天氣、光照等條件存在差異。而提出的方法對(duì)于建筑物和天空的分類結(jié)果比較好，一個(gè)比較大的問題是在變化后的影像中，對(duì)于車輛的提取結(jié)果較差，但是總體精度有所提高。

圖7 第二組實(shí)驗(yàn)結(jié)果圖Fig 7 The second set of experimental results

對(duì)于第二組實(shí)驗(yàn)結(jié)果，最大似然和SVM 2種方法的精度分別為66.5%和70.6%，提出的方法精度為82.2%。從變化的結(jié)果圖中看出：與參考圖對(duì)比，最大似然法存在的問題是對(duì)建筑物的分類結(jié)果較差，基本整個(gè)建筑物都被錯(cuò)分為其他地物，主要原因是紋理信息比較相像。SVM方法的優(yōu)勢在于對(duì)道路的提取有很好的效果，整個(gè)道路都被提取出來，且沒有出現(xiàn)噪聲和碎小的圖斑，但是整個(gè)天空出現(xiàn)了較大部分錯(cuò)分的情況。參照?qǐng)D5，可以初步推斷造成這種現(xiàn)象的原因是變化前后的影像中，天空的光譜差異較明顯。對(duì)于提出的方法，分類結(jié)果明顯改善，但是也存在對(duì)地物邊界識(shí)別不明顯的問題，盡管如此，提出方法較最大似然法和SVM的變化檢測精度有較大提高。根據(jù)以上變化檢測結(jié)果，可以得出結(jié)論：雖然機(jī)器學(xué)習(xí)方法在遙感影像變化檢測中應(yīng)用也較廣泛，但是仍然不適用于全景街區(qū)影像的變化檢測。

研究采用漏檢率、錯(cuò)檢率以及總體精度作為精度評(píng)價(jià)的指標(biāo)。其中漏檢率指實(shí)際變化了，但是被檢測為未變化的像元數(shù)占總像元的比例；錯(cuò)檢率是指實(shí)際未變化，但被檢測為變化的像元數(shù)站總像元數(shù)的比例；總體精度指正確變化的像元數(shù)占總像元數(shù)的比例[19]。研究方法與機(jī)器學(xué)習(xí)的方法相比，其分類的精度和變化檢測的精度都得到了明顯提高。在第一組實(shí)驗(yàn)數(shù)據(jù)中，基于Segnet網(wǎng)絡(luò)的變化檢測方法較其他2種方法，精度分別提高了16.3%和9.3%；在第二組實(shí)驗(yàn)數(shù)據(jù)中，基于Segnet網(wǎng)絡(luò)的變化檢測方法較其他2種方法，精度分別提高了15.7%和11.6%。說明Segnet網(wǎng)絡(luò)適用于全景街區(qū)影像的變化檢測，Segnet網(wǎng)絡(luò)在全景街區(qū)影像變化檢測中的應(yīng)用，為街道違建、違章、違停排查，災(zāi)后評(píng)估提供了有力的理論支撐，對(duì)于城市的科學(xué)規(guī)劃和輔助政府決策作出了重大貢獻(xiàn)，其對(duì)比結(jié)果如表1和表2所示。

表1 第一組實(shí)驗(yàn)結(jié)果精度對(duì)比Table 1 Comparison of the accuracy of the first set of experimental results %

表2 第二組實(shí)驗(yàn)結(jié)果精度對(duì)比Table 2 Comparison of the accuracy of the second set of experimental results %

第一組實(shí)驗(yàn)結(jié)果中最大似然法、支持向量機(jī)、基于Segnet網(wǎng)絡(luò)的漏檢率分別為4.9%、5.7%、10.6%，錯(cuò)檢率分別為30.0%、22.2%、8.0%；第二組實(shí)驗(yàn)結(jié)果中最大似然法、支持向量機(jī)、基于Segnet網(wǎng)絡(luò)的漏檢率分別為1.5%、2.6%、2.5%，錯(cuò)檢率分別為32.0%、26.7%、15.3%。

3 結(jié) 論

針對(duì)采用傳統(tǒng)方法難以得到高精度的全景街區(qū)變化信息的問題，提出了一種基于Segnet和遷移學(xué)習(xí)的全景街區(qū)影像變化檢測方法。在實(shí)驗(yàn)過程中，實(shí)驗(yàn)數(shù)據(jù)主要是2組變化前后的全景街區(qū)影像，并采用了最大似然法以及SVM作為對(duì)比實(shí)驗(yàn)，得出以下結(jié)論：

1)從實(shí)驗(yàn)結(jié)果圖中可以看出，道路和天空的變化信息的提取精度相對(duì)較高，而建筑物由于受紋理信息復(fù)雜性和相鄰地物的干擾，其檢測的精度相對(duì)較低。

2)2組實(shí)驗(yàn)中最大似然法、SVM、Segnet的總體精度分別為65.1%、72.1%、81.4%和66.5%、70.6%、82.2%，提出方法較最大似然法和支持向量機(jī)的方法精度明顯提高。在災(zāi)后評(píng)估、街區(qū)違建違停排查、城市道路合理規(guī)劃、土地利用變化等領(lǐng)域有著重要的作用。

3)基于Segnet神經(jīng)網(wǎng)絡(luò)和遷移學(xué)習(xí)的思想，通過對(duì)已有訓(xùn)練集的改進(jìn)，使最終精度較機(jī)器學(xué)習(xí)的方法有了很大提高，但是并沒有達(dá)到最佳效果。針對(duì)數(shù)據(jù)集重新制定訓(xùn)練集，并對(duì)數(shù)據(jù)重新進(jìn)行實(shí)驗(yàn)，以得到更高精度是下一步將開展的工作。