2020年青藏高原湖泊語義分割數(shù)據(jù)集

王兆濱，高雄，康建芳，艾鳴浩

1.蘭州大學(xué)信息科學(xué)與工程學(xué)院，蘭州 730000

2.中國科學(xué)院西北生態(tài)環(huán)境資源研究院，蘭州 730000

3.國家冰川凍土沙漠科學(xué)數(shù)據(jù)中心，蘭州 730000

數(shù)據(jù)庫（集）基本信息簡介

images/BZ_73_709_1835_1062_1913.pngimages/BZ_73_1086_1835_2222_1913.pngimages/BZ_73_709_1915_1062_1993.pngimages/BZ_73_1086_1915_2222_1993.pngimages/BZ_73_709_1995_1062_2073.pngimages/BZ_73_1086_1995_2222_2073.pngimages/BZ_73_709_2075_1062_2154.pngimages/BZ_73_1086_2075_2222_2154.pngimages/BZ_73_709_2156_1062_2234.pngimages/BZ_73_1086_2156_2222_2234.pngimages/BZ_73_709_2236_1062_2314.pngimages/BZ_73_1086_2236_2222_2314.pngimages/BZ_73_709_2316_1062_2394.pngimages/BZ_73_1086_2316_2222_2394.pngimages/BZ_73_709_2396_1062_2474.pngimages/BZ_73_1086_2396_2222_2474.pngimages/BZ_73_709_2476_1062_2555.pngimages/BZ_73_1086_2476_2222_2555.pngimages/BZ_73_709_2557_1062_2791.pngimages/BZ_73_1086_2557_2222_2635.pngimages/BZ_73_1086_2635_2222_2713.pngimages/BZ_73_1086_2713_2222_2791.pngimages/BZ_73_709_2793_1062_3027.pngimages/BZ_73_1086_2793_2222_2871.pngimages/BZ_73_1086_2871_2222_2949.pngimages/BZ_73_1086_2949_2222_3027.png

引 言

湖泊水體提取是遙感圖像分析的一個(gè)重要研究領(lǐng)域，并且青藏高原上分布著約 1612個(gè)湖泊，面積超過1 km2的湖泊約占1200個(gè)，占中國湖泊數(shù)量與面積的一半[1]。一方面，湖泊對全球溫度變化非常敏感，且在碳循環(huán)中扮演著重要的角色，而青藏高原上湖泊密集，為研究者們提供了重要的機(jī)會(huì)[2]。另一方面，湖泊與人類的生產(chǎn)和生活息息相關(guān)，比如農(nóng)業(yè)灌溉、交通運(yùn)輸和提供人類賴以生存的飲用水源等。因此，研究基于遙感圖像的湖泊水體的自動(dòng)提取具有重要意義。

語義分割是計(jì)算機(jī)視覺領(lǐng)域的一項(xiàng)關(guān)鍵技術(shù)，其是對圖像中的所有像素進(jìn)行分類，并將所有的圖像分割成若干個(gè)具有語義類別的區(qū)域來表示現(xiàn)實(shí)生活的實(shí)際物品。與自然圖像語義分割數(shù)據(jù)集相比，遙感圖像的拍攝角度是不同的，圖像中目標(biāo)通常是向上的，且在圖像中以任意的方向出現(xiàn)[3]。

對于遙感圖像的語義分割任務(wù)已經(jīng)得到了廣泛的研究，大部分的研究方法都是將基于自然圖像的語義分割方法遷移到遙感圖像處理領(lǐng)域。由于深度學(xué)習(xí)對數(shù)據(jù)集的規(guī)模存在一定的要求，若數(shù)據(jù)集過小，則模型不能對目標(biāo)進(jìn)行充分的學(xué)習(xí)。但遙感圖像的獲取存在一定的限制，其語義分割數(shù)據(jù)集往往都不會(huì)太大。研究者們通常使用在大規(guī)模的自然圖像數(shù)據(jù)集上預(yù)訓(xùn)練而獲得的預(yù)訓(xùn)練權(quán)重，然后在遙感圖像數(shù)據(jù)集上精細(xì)調(diào)整權(quán)重，用于遙感領(lǐng)域的語義分割[4]。

雖然此方法可以提高模型的精度，但是由于自然圖像與遙感圖像有較大的差別，主要體現(xiàn)在同一類別尺度變化較大，且遙感圖像中具有復(fù)雜的背景。因此，使用自然圖像數(shù)據(jù)集獲得的語義分割模型也就不適用于遙感圖像，使用基于自然圖像數(shù)據(jù)集的預(yù)訓(xùn)練方法對模型準(zhǔn)確率的提升還是具有較大局限性。

隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，可以使用基于深度學(xué)習(xí)方法來對遙感圖像中湖泊進(jìn)行分割[5-6]。雖然，基于閾值法和常規(guī)機(jī)器學(xué)習(xí)算法對湖泊水體提取的研究仍具有一定的優(yōu)勢，但是深度學(xué)習(xí)方法對特征的學(xué)習(xí)能力相比其他方法還是具有較大的優(yōu)勢。本數(shù)據(jù)集，可用于青藏高原區(qū)域湖泊的災(zāi)害分析和評估研究。一方面可以基于語義分割方法對湖泊進(jìn)行提取，也可以對后面的研究進(jìn)行數(shù)據(jù)支持。另一方面，可以使用本數(shù)據(jù)集來對語義分割模型進(jìn)行預(yù)訓(xùn)練，解決了使用自然數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練的局限性，從而提高研究模型的準(zhǔn)確率。

1 數(shù)據(jù)采集和處理方法

1.1 數(shù)據(jù)來源

本研究建立了以青藏高原湖泊水體為研究對象且由 RGB圖像組成的可見光光譜遙感圖像數(shù)據(jù)集，其中的圖像全部來自于谷歌地球。在遙感圖像中，大小和方向的差異是產(chǎn)生目標(biāo)物體偏差的主要原因，為了消除偏差和增加多樣性，我們可以使用數(shù)據(jù)增廣來擴(kuò)充數(shù)據(jù)集，使得模型可以充分學(xué)習(xí)目標(biāo)物體的語義特征。

1.2 數(shù)據(jù)采集方法

1.2.1 訓(xùn)練樣本制作

與自然圖像相比，遙感圖像的尺寸往往很大。在本數(shù)據(jù)集中，圖像的原始大小一般為1457×971，個(gè)別圖像的大小會(huì)有細(xì)微的差別，但由于GPU顯存和其他軟硬件的限制，不能將原始圖像直接輸入到模型，需要對原始圖像進(jìn)行縮放，并將原始圖像分割成不重疊的塊。本數(shù)據(jù)集中只有湖泊與非湖泊兩種類別，在青藏高原上，湖泊只占一小部分，而非湖泊則占有較大的部分，因此會(huì)產(chǎn)生數(shù)據(jù)集正負(fù)樣本不平衡問題，進(jìn)而模型不能充分學(xué)習(xí)到正樣本的特征，產(chǎn)生欠擬合問題。因此，使用數(shù)據(jù)平衡策略來平衡正負(fù)樣本。如果正樣本在圖像中的占比非常小，將丟棄圖像。反之，我們則保留該圖像。最后從所有的子圖像中隨機(jī)選取了共6774 張大小為256×256的包含湖泊的圖像。

1.2.2 數(shù)據(jù)標(biāo)注

在得到了裁剪后的子圖像后，需要將所得到的圖像進(jìn)行數(shù)據(jù)標(biāo)注。本研究使用的數(shù)據(jù)標(biāo)注軟件為labelme，其是麻省理工大學(xué)人工智能實(shí)驗(yàn)室采用Python語言編寫研發(fā)的圖形界面的圖像標(biāo)注軟件。使用labelme軟件打開裁剪后的子圖像并對圖像中的湖泊水體沿著湖泊邊緣進(jìn)行標(biāo)注，對所有的標(biāo)注結(jié)果分配類別為lake，最終得到標(biāo)注后的json文件。數(shù)據(jù)標(biāo)注形式及類別如圖1所示。

圖1 labelme對圖像進(jìn)行數(shù)據(jù)標(biāo)注

1.2.3 文件格式轉(zhuǎn)換

在完成數(shù)據(jù)標(biāo)注后，得到的json文件并不能直接用于語義分割模型的訓(xùn)練。因此，需要對得到的json文件進(jìn)行批量轉(zhuǎn)換。轉(zhuǎn)換后的文件如圖 2所示，其中共包含 5個(gè)文件，需提取 img.png和label.png作為訓(xùn)練圖像和真值圖像。對于圖片中所有相同的類別，賦予其相同的顏色。在本數(shù)據(jù)集中只有兩個(gè)類別，一個(gè)是湖泊，另一個(gè)是背景。

圖2 json文件轉(zhuǎn)換后的圖像文件

1.2.4 數(shù)據(jù)增廣

數(shù)據(jù)增廣是深度學(xué)習(xí)任務(wù)中用于在訓(xùn)練樣本較小的情況下生成新的樣本以增加訓(xùn)練集樣本數(shù)量的一種常用技術(shù)。在本研究每個(gè)訓(xùn)練時(shí)代之前，對所有訓(xùn)練樣本使用最常見的翻轉(zhuǎn)（上-下、左-右）和在（0°，90°）中以任意角度旋轉(zhuǎn)方法來提高模型的泛化能力。數(shù)據(jù)增廣的結(jié)果如圖3所示，其中A為原始圖像；B是將原始圖像左右翻轉(zhuǎn)；C是將原始圖像上下翻轉(zhuǎn)；D-F是將原始圖像以（0°，90°）中的任意角度旋轉(zhuǎn)；a-f為A-F對應(yīng)的真值圖像。

圖3 數(shù)據(jù)增廣的示例

1.3 數(shù)據(jù)集的劃分

一般來說，深度學(xué)習(xí)模型學(xué)習(xí)的本質(zhì)是學(xué)習(xí)數(shù)據(jù)分布，為了保證模型所學(xué)習(xí)到的特征可以對數(shù)據(jù)進(jìn)行正確的預(yù)測，需要保證訓(xùn)練集和測試集具有近似的分布。隨機(jī)選擇6164張RGB圖像作為訓(xùn)練集，剩下的610張RGB圖像用作測試集。

1.4 模型訓(xùn)練和應(yīng)用細(xì)節(jié)

語義分割模型訓(xùn)練的過程一般分為訓(xùn)練階段和測試階段。在訓(xùn)練階段，每次可將批量的RGB圖像和通過數(shù)據(jù)標(biāo)注以及格式轉(zhuǎn)換后的真值圖像作為訓(xùn)練樣本輸入到模型中。在前向傳播過程中，經(jīng)過一系列的卷積（反卷積）層、標(biāo)準(zhǔn)化層、池化層和激活函數(shù)層來進(jìn)行特征的提取，最后通過softmax函數(shù)來得到最后的標(biāo)簽映射。將得到的標(biāo)簽映射和真值圖像輸入到損失函數(shù)中來計(jì)算損失值。最后，在反向傳播過程中通過梯度下降法來更新模型的參數(shù)。在測試階段，使用在訓(xùn)練集上獲得最佳評價(jià)指標(biāo)的模型參數(shù)來預(yù)測測試集中的圖像，并將得到的預(yù)測標(biāo)簽映射與真值圖像進(jìn)行比較，通過相關(guān)的評價(jià)指標(biāo)確定模型性能的好壞。語義分割模型訓(xùn)練的流程如圖4所示。

圖4 語義分割模型流程圖

本模型算法是基于深度學(xué)習(xí)開源框架 pytorch[7]，且模型的訓(xùn)練參數(shù)使用 Kaiming[8]初始化來得到。交叉熵?fù)p失函數(shù)[9]被用來計(jì)算預(yù)測標(biāo)簽和真值圖像的損失值，為了最小化交叉熵?fù)p失函數(shù)，使用Adam[10]優(yōu)化器來更新模型的參數(shù)，將權(quán)重衰減系數(shù)設(shè)置為 0.001，并使用學(xué)習(xí)率衰減策略來防止模型的過擬合。使用學(xué)習(xí)率衰減策略的主要原因是在模型訓(xùn)練的后期，較大的學(xué)習(xí)率會(huì)越過最優(yōu)解從而導(dǎo)致模型不能收斂到最小值。最終模型經(jīng)過70個(gè)時(shí)代后收斂到最小值。

2 數(shù)據(jù)樣本描述

本數(shù)據(jù)集共分為train_img和trian_label兩部分，其中train_img文件夾內(nèi)共包含6774 張大小為256×256的RGB谷歌地球遙感影像，其空間分辨率為17 m，train_label文件夾內(nèi)為6774 張?jiān)加跋裣鄬?yīng)的二分類標(biāo)簽圖像，其中紅色為湖泊水體，黑色為背景。

圖5中展示了青藏高原中RGB圖像及其對應(yīng)的真值圖像。

圖5 湖泊水體提取研究區(qū)

3 數(shù)據(jù)質(zhì)量控制和評估

3.1 評價(jià)指標(biāo)

語義分割是深度學(xué)習(xí)中熱門的研究領(lǐng)域之一，不同于圖像分類方法，但歸根結(jié)底也是一種圖像像素分類方法。所以，其分類結(jié)果由True Positive(TP)，F(xiàn)alse Positive(FP)，True Negative(TN)，F(xiàn)alse Negative(FN)，即真陽性，假陽性，真陰性，假陰性4種情況來構(gòu)成混淆矩陣。常用的衡量算法精度的評價(jià)指標(biāo)如下：

(1) Overall Accuracy（OA，總體準(zhǔn)確率）：這是一個(gè)評價(jià)算法精度最直接的評價(jià)指標(biāo)，即正確分類的像素?cái)?shù)與總像素?cái)?shù)的比值。

(2) Recall（RC，召回率）：召回率是正確預(yù)測為湖泊的像素?cái)?shù)與湖泊所有像素?cái)?shù)的比率。

(3) Mean Intersection Over Union（MIoU，平均交并比）：MIoU是正確分類的像素?cái)?shù)和真值圖像像素?cái)?shù)之比與對應(yīng)類別中檢測到的像素?cái)?shù)之比的平均值。

(4) True Water Rate（TWR，真水率）：TWR是正確分類的湖泊像素?cái)?shù)與標(biāo)記的湖泊像素?cái)?shù)的比值。

(5) False Water Rate（FWR，誤水率）：FWR為錯(cuò)誤分類湖泊像素?cái)?shù)與標(biāo)記的湖泊像素?cái)?shù)之比。

3.2 湖泊水體提取結(jié)果評價(jià)

通過使用 MSLWENet[5]、DeepLab V3+[11]、PSPNet[12]、MWEN[13]和 Unet[14]對本數(shù)據(jù)集進(jìn)行驗(yàn)證，其結(jié)果表明，由本數(shù)據(jù)集訓(xùn)練出的語義分割模型還是比較理想的，能夠有效的解決湖泊類內(nèi)方差大、類間方差小以及小湖泊誤分類等問題。其中MSLWENet在驗(yàn)證集上OA達(dá)到了98.53%，并且在類內(nèi)方差大地區(qū)的OA為98.31%、類間方差小地區(qū)的OA為98.78%以及對小湖泊識別的OA達(dá)到了98.70%。除此之外，MSLWENet的RC、MIoU、TWR和FWR評價(jià)指標(biāo)分別為97.67%、96.09%、97.47%、2.53%，都明顯優(yōu)于其他4個(gè)對比模型，具體信息如表1所示。DeepLab V3+和PSPNet是自然圖像分割領(lǐng)域的經(jīng)典模型，由于使用了具有強(qiáng)特征提取能力的ResNet[15]作為編碼器，所以在湖泊水體提取任務(wù)也獲得了不錯(cuò)的性能，但是在細(xì)節(jié)上與 MSLWENet還是具有一定的差異。MWEN是專用于遙感圖像水體提取的神經(jīng)網(wǎng)絡(luò)，Unet是醫(yī)學(xué)圖像分割領(lǐng)域的經(jīng)典模型，但是由于這兩個(gè)模型使用了淺層編碼器，所以將其應(yīng)用到青藏高原區(qū)域水體提取任務(wù)時(shí)，不能很好地處理噪聲干擾和提取足夠的特征用于像素分類。其中DeepLab V3+、PSPNet、MWEN和Unet在驗(yàn)證集上的OA分別為98.10%、98.08%、97.75%和96.12%，在類內(nèi)方差大地區(qū)的OA分別為97.07%、97.70%、96.22%和92.97%，在類間方差小地區(qū)的OA為95.87%、96.85%、95.30%和84.89%，以及對小湖泊識別的OA為98.57%、98.26%、98.30%和96.81%。

表1 不同神經(jīng)網(wǎng)絡(luò)模型在驗(yàn)證集上的定量比較

圖6中第1-2行為小湖泊提取可視化結(jié)果，第3-4行為類間方差小區(qū)域提取的可視化結(jié)果，第5-6行為類內(nèi)方差大區(qū)域提取的可視化結(jié)果。其中a(1)-a(5)為測試集中的原始圖像；(b(1)-b(5))是原始圖像所對應(yīng)的真值圖像；c(1)-c(5)、d(1)-d(5)、e(1)-e(5)、f(1)-f(5)、g(1)-g(5)分別是 MSLWENet、DeepLab V3+、PSPNet、MWEN和Unet的提取結(jié)果。通過對圖6分析可以得到，非湖泊類別中存在的冰川積雪、山體陰影與湖泊具有相似的光譜特征，同為湖泊但是在紋理光譜等特征卻存在著較大的差異以及對小湖泊水體提取的準(zhǔn)確率是衡量算法性能的重要方面。

圖6 不同模型提取湖泊水體的性能比較

4 數(shù)據(jù)價(jià)值

基于閾值法和傳統(tǒng)機(jī)器學(xué)習(xí)等方法的湖泊水體提取，雖然取得了不錯(cuò)的進(jìn)展，但仍存在一定的局限性。比如，閾值法及其相關(guān)算法，存在最佳閾值的選擇問題；而傳統(tǒng)的機(jī)器學(xué)習(xí)算法，則涉及到特征工程中特征的組合和選擇問題。最后算法的性能好壞主要就是取決于特征工程所獲得的特征能否正確表達(dá)樣本的真實(shí)屬性。

深度學(xué)習(xí)語義分割這一計(jì)算機(jī)視覺領(lǐng)域中的重點(diǎn)研究領(lǐng)域，近些年來逐漸被應(yīng)用到遙感圖像湖泊水體提取中，但是這也存在著一個(gè)弊端，就是數(shù)據(jù)集的制作問題。本文所制作的數(shù)據(jù)集一方面可以用來作為湖泊語義分割數(shù)據(jù)集，來對青藏高原上的湖泊進(jìn)行水體提取的研究。另一方面也可以用本數(shù)據(jù)集來做預(yù)訓(xùn)練獲得預(yù)訓(xùn)練權(quán)重，從而提高湖泊水體相關(guān)研究者們在自己數(shù)據(jù)集上的精度。這對青藏高原的生態(tài)穩(wěn)定以及環(huán)境的可持續(xù)發(fā)展具有重要的意義。

5 數(shù)據(jù)使用方法和建議

本數(shù)據(jù)集所保存的圖像文件，可以通過Python中的PIL和Opencv庫中的相關(guān)模塊或包來進(jìn)行讀取，并輸入到深度學(xué)習(xí)模型中。