半監(jiān)督高分辨率遙感圖像分類方法

閭海慶 王 靜 楊 靜

(1. 中國(guó)能源建設(shè)集團(tuán)湖南省電力設(shè)計(jì)院有限公司, 湖南 長(zhǎng)沙 410007;2. 湖南省第三測(cè)繪院, 湖南 長(zhǎng)沙 410007;3. 中國(guó)水利水電第八工程局有限公司, 湖南 長(zhǎng)沙 410004)

0 引言

隨著科學(xué)技術(shù)的發(fā)展,高分系列遙感衛(wèi)星采集遙感圖像分辨率可達(dá)米級(jí),與以往的低分辨遙感衛(wèi)星相比,可得到更多有效地面信息。高分辨率遙感圖像可反應(yīng)地表地形、建筑物和植被分布[1-3],借助人工智能算法精準(zhǔn)分類地表類型,為進(jìn)一步促進(jìn)和深化土地利用率提供了信息保障[4-5]。

借助人工智能算法分類遙感圖像已成為熱門研究方向,例如文獻(xiàn)[6]提出了聯(lián)合一二階池化網(wǎng)絡(luò)學(xué)習(xí)的場(chǎng)景分類模型,首先借助殘差網(wǎng)絡(luò)提取圖像初始特征,然后通過(guò)相似度的二階池化算子得到遙感圖像有效二階信息,最后借助交叉熵和類距離加權(quán)損失函數(shù)訓(xùn)練網(wǎng)絡(luò)。文獻(xiàn)[7]提出一種K-means聚類引導(dǎo)的閾值分類方法,首先對(duì)原始圖像進(jìn)行K均值聚類初分割,然后對(duì)非目標(biāo)區(qū)域手工剔除,再對(duì)處理之后的新對(duì)象進(jìn)行閾值分割和圖像優(yōu)化,完成對(duì)象的提取;最后對(duì)所有處理得到的地物標(biāo)簽進(jìn)行合并,實(shí)現(xiàn)遙感圖像的識(shí)別與分類。文獻(xiàn)[8]提出一種多尺度灰度和紋理結(jié)構(gòu)特征融合的方法模型提取遙感圖像特征,借助局部二進(jìn)制模式提取紋理特征,然后與灰度信息結(jié)合,最后利用多級(jí)機(jī)器學(xué)習(xí)分類識(shí)別遙感圖像。文獻(xiàn)[9]提出了一種融合自注意力機(jī)制和殘差卷積網(wǎng)絡(luò)的遙感圖像分類方法,首先利用卷積神經(jīng)網(wǎng)絡(luò)提取豐富的深度紋理語(yǔ)義特征,然后在卷積網(wǎng)絡(luò)的最后3個(gè)瓶頸層嵌入多頭自注意力模塊,挖掘遙感圖像復(fù)雜的全局結(jié)構(gòu)信息。文獻(xiàn)[10]提出了基于3D密集全卷積的高光譜圖像分類算法,算法通過(guò)密集模塊中的3D卷積核分別提取光譜特征和空間特征,采用特征映射模塊替換傳統(tǒng)網(wǎng)絡(luò)中的池化層和全連接層,最后通過(guò)softmax分類器進(jìn)行分類。文獻(xiàn)[11]提出一種殘差學(xué)習(xí)改進(jìn)語(yǔ)義模型的高分辨率遙感影像分類方法,該方法以分割網(wǎng)絡(luò)語(yǔ)義模型(segmentation net, SegNet)[12]為基礎(chǔ),通過(guò)構(gòu)建更深層次的網(wǎng)絡(luò)結(jié)構(gòu)并加入殘差塊以提高模型的特征提取能力,從而提取更深層次影像空譜特征實(shí)現(xiàn)分類。

上述的高分辨率遙感圖像分類算法均需對(duì)訓(xùn)練集標(biāo)注,但高分辨率遙感圖像地形復(fù)雜、訓(xùn)練集較大,很難人工完成所有遙感圖像標(biāo)準(zhǔn),為此本文提出一種基于修正匹配半監(jiān)督模型(fixmatch)[13]的高分辨率遙感圖像分類模型。先使用深度網(wǎng)絡(luò)(visual geometry group network,VGG)[14]作為遙感圖像分類網(wǎng)絡(luò),再借助FixMatch半監(jiān)督模型完成模型訓(xùn)練,得到穩(wěn)定性的VGG分類網(wǎng)絡(luò)模型。

1 遙感圖像半監(jiān)督模型

1.1 VGG16遙感圖像分類網(wǎng)絡(luò)

VGG網(wǎng)絡(luò)是牛津大學(xué)計(jì)算機(jī)視覺組研發(fā)的深度卷積神經(jīng)網(wǎng)絡(luò),該網(wǎng)絡(luò)模型設(shè)計(jì)簡(jiǎn)潔且在多種數(shù)據(jù)集中表現(xiàn)較好,被廣泛使用。VGG模型中最為廣泛使用的是VGG16模型,該模型具有16個(gè)卷積層和3個(gè)全連接層,如圖1所示。

圖1 VGG16模型圖

1.2 FixMatch半監(jiān)督模型

圖2 FixMatch模型

無(wú)監(jiān)督的訓(xùn)練過(guò)程包含兩種思想在里面,即一致性正則化和偽標(biāo)簽訓(xùn)練。

一致性正則化是當(dāng)前半監(jiān)督學(xué)習(xí)算法中最重要的部分,其理論假設(shè)為:同一張圖像經(jīng)過(guò)不同方式增強(qiáng),經(jīng)過(guò)卷積網(wǎng)絡(luò)輸出預(yù)測(cè)結(jié)果相同,對(duì)原圖像和增強(qiáng)后圖像計(jì)算損失值,可有效對(duì)網(wǎng)絡(luò)模型有監(jiān)督訓(xùn)練,具體損失函數(shù)計(jì)算方式見式(1)。

(1)

式中,α和pm都是隨機(jī)函數(shù),故式(1)中函數(shù)值不同。

偽標(biāo)簽技術(shù)是利用已訓(xùn)練的卷積網(wǎng)絡(luò)模型為未標(biāo)注數(shù)據(jù)獲取人工標(biāo)簽,并且僅保留最大類概率超過(guò)預(yù)設(shè)閾值的標(biāo)簽,則損失函數(shù)寫成式(2)。

(2)

式中,τ為偽標(biāo)簽閾值。

FixMatch模型主要步驟如下。

(1)批量輸入有標(biāo)簽訓(xùn)練數(shù)據(jù)x={(xb,pb):b∈(1,2,…,B)}和無(wú)標(biāo)簽訓(xùn)練數(shù)據(jù)U={ub:b(1,2,…,μB)},閾值τ,無(wú)標(biāo)簽數(shù)據(jù)率為μ,無(wú)標(biāo)簽損失函數(shù)權(quán)重為λμ。

壓力導(dǎo)致人們喪失對(duì)生活的控制，而錦鯉帶來(lái)的心理上的確定感，能讓他們覺得自己重新成為人生的主人。即使并不奏效，但跟風(fēng)轉(zhuǎn)發(fā)錦鯉時(shí)所產(chǎn)生的愉悅感和“同病相憐”式心境，是對(duì)現(xiàn)實(shí)的一種紓解，也是對(duì)未來(lái)的一種積極暗示。

有標(biāo)簽訓(xùn)練數(shù)據(jù)交叉熵?fù)p失函數(shù)為式(3)。

(3)

(2)循環(huán)操作,從b=1到μB。

網(wǎng)絡(luò)模型預(yù)測(cè)弱增強(qiáng)圖像結(jié)果,可寫成式(4)。

(4)

式中,ub為圖像弱增強(qiáng)數(shù)據(jù)。

(3)對(duì)無(wú)標(biāo)簽數(shù)據(jù)計(jì)算偽標(biāo)簽交叉熵?fù)p失函數(shù)，見式(5)。

(5)

(4)有標(biāo)簽和無(wú)標(biāo)簽數(shù)據(jù)訓(xùn)練損失函數(shù)為，見式(6)。

(6)

對(duì)無(wú)標(biāo)簽訓(xùn)練數(shù)據(jù),需進(jìn)行不同方式的增強(qiáng),經(jīng)過(guò)卷積網(wǎng)絡(luò)輸出預(yù)測(cè)結(jié)果相同,計(jì)算損失函數(shù),達(dá)到半監(jiān)督學(xué)習(xí)的目的。圖像增強(qiáng)主要可分為弱增強(qiáng)和強(qiáng)增強(qiáng),弱增強(qiáng)主要是翻轉(zhuǎn)和平移等策略;強(qiáng)增強(qiáng)策略主要有自動(dòng)對(duì)比增強(qiáng)、顏色增強(qiáng)、壓縮變換、尺度變化等等。

2 結(jié)果與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)介紹

為了驗(yàn)證本文所提半監(jiān)督遙感圖像分類算法的有效性,借助航拍數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。航拍數(shù)據(jù)集是由西北工業(yè)大學(xué)創(chuàng)建的公開遙感圖像分類數(shù)據(jù)集,該數(shù)據(jù)集共有45個(gè)類別,每個(gè)場(chǎng)景有700張圖像,圖像尺寸為256×256×3,如圖3所示為NWPU-RESISC45數(shù)據(jù)集部分圖像。本文實(shí)驗(yàn)軟件環(huán)境為Ubuntn20.4,使用Pytorch1.8框架,硬件GPU為3080ti-12G顯卡。

使用NWPU-RESISC45數(shù)據(jù)集中90%的圖像作為訓(xùn)練集,10%的圖像作為測(cè)試集,并把訓(xùn)練集中50%的圖像作為無(wú)標(biāo)簽訓(xùn)練集數(shù)據(jù)。

(a)飛機(jī)

(b)橋梁

(c)公路

(d)船

2.2 實(shí)驗(yàn)結(jié)果分析

為了防止過(guò)擬合,本文借助早停法訓(xùn)練模型,當(dāng)驗(yàn)證集錯(cuò)誤率在20循環(huán)中出現(xiàn)增長(zhǎng)時(shí),停止模型訓(xùn)練,圖4為修正匹配半監(jiān)督深度學(xué)習(xí)(FixMatch visual geometry group network,FixMatch_VGG16)模型的損失函數(shù)。

圖4 損失函數(shù)曲線

為了證明所提半監(jiān)督FixMatch_VGG16模型的優(yōu)越性,借助VGG16模型與本文所提方法對(duì)比實(shí)驗(yàn),對(duì)NWPU-RESISC45數(shù)據(jù)集中45類樣本單獨(dú)統(tǒng)計(jì)分類準(zhǔn)確率,具體如折線圖5所示。由折線圖5知,FixMatch_VGG16模型與VGG16模型在各種樣本分類準(zhǔn)確率相差較小,均小于0.02;第8種教堂和第28種公路,上述兩種模型分類效果較差,準(zhǔn)確率均低于0.8。

圖5 NWPU-RESISC45數(shù)據(jù)集單類分類準(zhǔn)確率折線圖

借助半監(jiān)督FixMatch_VGG16模型分類效果如圖6所示,飛機(jī)、農(nóng)場(chǎng)、公路和輪船都可以有效分類。

圖6 FixMatch_VGG16模型分類效果

為了更好評(píng)價(jià)不同算法的綜合分類效果,本文半監(jiān)督分類方法與殘差神經(jīng)網(wǎng)絡(luò)18(Res Net18)、殘差神經(jīng)網(wǎng)絡(luò)50(Res Net50)[15]、深度網(wǎng)絡(luò)11(visual geometry group network 11, VGG11)、深度網(wǎng)絡(luò)16(visual geometry group network 16, VGG6)分類模型對(duì)比實(shí)驗(yàn),對(duì)NWPU-RESISC45數(shù)據(jù)集統(tǒng)計(jì)平均分類準(zhǔn)確率,統(tǒng)計(jì)結(jié)果如表1所示。由表1可知,ResRet18模型平均分類準(zhǔn)確率最低;VGG16模型的平均分類準(zhǔn)確率最高;本文所提半監(jiān)督FixMatch_VGG16模型比ResNet50模型平均分類準(zhǔn)確率高0.02,比VGG16模型低0.3,由此可表明所提半監(jiān)督模型具有較強(qiáng)的范化性。

表1 不同模型的平均分類準(zhǔn)確率 單位:%

3 結(jié)束語(yǔ)

為了更高效、快速的分類高分辨率遙感圖像,本文提出了一種基于半監(jiān)督學(xué)習(xí)算法的遙感圖像分類方法：①借助VGG16模型作為高分辨率遙感圖像主干網(wǎng)絡(luò);②對(duì)訓(xùn)練數(shù)據(jù)集部分制作標(biāo)簽有監(jiān)督學(xué)習(xí),其余數(shù)據(jù)進(jìn)行弱增強(qiáng)和強(qiáng)增強(qiáng),得到偽標(biāo)簽訓(xùn)練模型,已達(dá)到半監(jiān)督學(xué)習(xí)目的;③得到訓(xùn)練模型分類遙感圖像。實(shí)驗(yàn)表明，本文所提半監(jiān)督FixMatch_VGG16模型具有較強(qiáng)的范化性和優(yōu)越性,可廣泛應(yīng)用到遙感圖像分類領(lǐng)域。