摘要:為了實(shí)現(xiàn)在目標(biāo)域僅有無(wú)標(biāo)注樣本的條件下對(duì)異構(gòu)遙感影像上的水稻提取模型進(jìn)行高質(zhì)量構(gòu)建和復(fù)用,構(gòu)建了一種基于時(shí)空約束的深度異構(gòu)特征遷移學(xué)習(xí)模型。首先,基于空間位置構(gòu)建源域和目標(biāo)域無(wú)標(biāo)簽樣本組,并提取其深度特征;其次,構(gòu)建異構(gòu)特征遷移模型,創(chuàng)建同名樣本特征轉(zhuǎn)換、同名樣本特征正則、樣本重建損失函數(shù),減少特征負(fù)遷移影響,實(shí)現(xiàn)異構(gòu)特征的精準(zhǔn)遷移;最后,建立半監(jiān)督分類模型,通過(guò)引入HingLoss損失來(lái)消除錯(cuò)誤偽標(biāo)簽的影響,實(shí)現(xiàn)分類精度的提高。結(jié)果表明,本研究方法能夠?qū)崿F(xiàn)不同分辨率下影像間的樣本特征遷移,相較于未經(jīng)過(guò)特征遷移的情況,準(zhǔn)確率提升了27.68個(gè)百分點(diǎn),F(xiàn)1分?jǐn)?shù)提升了17.3個(gè)百分點(diǎn)。
關(guān)鍵詞:無(wú)標(biāo)注樣本; 水稻提??; 高分辨率遙感影像; 深度異構(gòu)遷移學(xué)習(xí)
中圖分類號(hào):P237" " " " "文獻(xiàn)標(biāo)識(shí)碼:A
文章編號(hào):0439-8114(2024)08-0236-07
DOI:10.14088/j.cnki.issn0439-8114.2024.08.039 開(kāi)放科學(xué)(資源服務(wù))標(biāo)識(shí)碼(OSID):
Extraction of rice from remote sensing images based on deep heterogeneous transfer learning
QIU Ru-qiong1,2, HE Li-hua3, LI Meng-fan2
(1. National Engineering Research Center of Geographic Information System,China University of Geosciences(Wuhan), Wuhan" 430074,China;
2. Hubei Development Planning Research Institute Co., Ltd., Wuhan" 430071,China;3. Hubei Geography National Condition Monitoring Center, Wuhan" 430071,China)
Abstract: In order to achieve high-quality construction and reuse of rice extraction models from remote sensing images based on heterogeneous with only unlabeled samples in the target domain, a deep heterogeneous feature transfer learning model based on temporal and spatial constraints was constructed. Firstly, unlabeled sample groups in the source domains and target domains were constructed based on spatial location, and their deep features were extracted; secondly, in order to reduce the negative transfer impact of features and realize precise transfer of heterogeneous features, a heterogeneous feature transferring model was constructed by using a composite loss function including corresponding sample feature conversion loss, corresponding sample feature regular loss, and sample reconstruction loss; finally, in order to improve the accuracy of classification, a semi-supervised classification model was established, and HingLoss was introduced to eliminate the impact of wrong pseudo labels. The results showed that the research method could realize sample feature transfer between images at different resolutions. Compared with the case without feature transfer, the accuracy rate was improved by 27.68 percentage points, and the F1 score was improved by 17.3 percentage points.
Key words: unlabeled sample; extraction of rice; high resolution remote sensing images; deep heterogeneous transfer learning
高分辨率衛(wèi)星影像已經(jīng)被廣泛應(yīng)用到水稻提取中。目前高分辨率的水稻遙感提取方法主要包括傳統(tǒng)機(jī)器學(xué)習(xí)方法[1-8]以及深度學(xué)習(xí)方法[9-13]。然而無(wú)論是傳統(tǒng)機(jī)器學(xué)習(xí)還是深度學(xué)習(xí)方法在使用無(wú)標(biāo)注樣本進(jìn)行模型訓(xùn)練時(shí),因?qū)W習(xí)到的特征表達(dá)能力有限,模型效果急劇下降。同時(shí),由于衛(wèi)星傳感器、拍攝角度、光照、背景等因素的影響,導(dǎo)致衛(wèi)星影像間的數(shù)據(jù)特征和分布存在較大差異,也會(huì)導(dǎo)致即使使用大量已標(biāo)注樣本得到的模型,其魯棒性也不太理想。
因此,如何在無(wú)標(biāo)注樣本的條件下,實(shí)現(xiàn)異構(gòu)衛(wèi)星影像上的模型高質(zhì)量構(gòu)建和復(fù)用,是一個(gè)極具挑戰(zhàn)的技術(shù)問(wèn)題,同時(shí)具有良好的應(yīng)用價(jià)值。
異構(gòu)遷移學(xué)習(xí)是一種機(jī)器學(xué)習(xí)范式,它通過(guò)將一個(gè)或多個(gè)異構(gòu)場(chǎng)景(源域)中的樣本、特征以及模型等知識(shí)遷移到目標(biāo)場(chǎng)景(目標(biāo)域)以提高目標(biāo)場(chǎng)景(目標(biāo)域)的學(xué)習(xí)性能。異構(gòu)遷移學(xué)習(xí)可以分為對(duì)稱型異構(gòu)遷移學(xué)習(xí)和非對(duì)稱型異構(gòu)遷移學(xué)習(xí),對(duì)稱型異構(gòu)遷移方法有SCL算法[14]、CLSCL算法[15]等,非對(duì)稱型異構(gòu)遷移方法有HDP算法[16]、HHTL算法[17]等。在遙感應(yīng)用領(lǐng)域,基于同構(gòu)的特征遷移或模型遷移[18-22]研究較多,異構(gòu)遷移學(xué)習(xí)及在水稻遙感提取上的研究較為鮮見(jiàn)。一景遙感影像通常會(huì)同相鄰的另外一景遙感影像存在空間交集,因此作為目標(biāo)域的遙感影像可以通過(guò)影像和影像的交集,同源域影像建立相應(yīng)的映射關(guān)系,從而可以進(jìn)行異構(gòu)的特征遷移。
基于這樣的思路,本研究選取江漢平原為研究區(qū)域,以水稻為研究對(duì)象,以源域和目標(biāo)域的無(wú)標(biāo)簽樣本為基礎(chǔ),通過(guò)構(gòu)建包含樣本重建損失的綜合性異構(gòu)遷移損失函數(shù),構(gòu)建一種基于時(shí)空約束的無(wú)監(jiān)督深度異構(gòu)特征遷移學(xué)習(xí)模型,對(duì)源影像(GF2)上的水稻樣本特征和分類模型進(jìn)行學(xué)習(xí)和遷移,實(shí)現(xiàn)目標(biāo)影像(GF1)上水稻的精確提取。
1 研究區(qū)域與數(shù)據(jù)源
研究區(qū)域如圖1所示,在江漢平原潛江市和江陵縣交界處,面積481.41 km2,地理坐標(biāo)介于北緯29°26′—31°37′,東經(jīng)111°14′—114°36′,是重要的水稻產(chǎn)地之一。
選擇2019年7月28日的GF2數(shù)據(jù)(圖1左下影像)、2019年8月2日的GF1數(shù)據(jù)(圖1右上影像)為數(shù)據(jù)源。其中GF2數(shù)據(jù)為源影像,GF1數(shù)據(jù)為目標(biāo)影像,對(duì)兩景影像分別進(jìn)行了正射校正、幾何配準(zhǔn)、圖像融合、輻射定標(biāo)和大氣校正等數(shù)據(jù)處理。
對(duì)于源影像(GF2),于2019年8月18—24日使用無(wú)人機(jī)+集思寶UG 905對(duì)研究區(qū)范圍內(nèi)的水稻等地物樣本邊界軌跡進(jìn)行實(shí)地采集。各地類樣本數(shù)量如表1所示。對(duì)目標(biāo)影像(GF1)在研究區(qū)域通過(guò)內(nèi)業(yè)勾畫(huà)了約1 000個(gè)無(wú)標(biāo)注樣本,其中在源影像和目標(biāo)影像交叉區(qū)域的無(wú)標(biāo)注樣本為498個(gè)。
2 方法
2.1 模型總體框架
本研究的目標(biāo)是建立一個(gè)遷移模型,將源影像(GF2)的判別能力遷移到目標(biāo)影像(GF1)上去,實(shí)現(xiàn)對(duì)目標(biāo)影像的判別。由于源影像特征和目標(biāo)影像特征由不同的過(guò)程產(chǎn)生,同時(shí)只有源影像上有標(biāo)注樣本,而目標(biāo)域上并沒(méi)有標(biāo)簽樣本,因此需要采用無(wú)監(jiān)督的異構(gòu)遷移學(xué)習(xí)方法來(lái)實(shí)現(xiàn)。
針對(duì)上述目標(biāo),本研究給出如下形式化描述。
定義1:給定源影像(GF2)上有標(biāo)注樣本數(shù)據(jù)集XS′={xs1,xs2,…,xsn},其標(biāo)注集YS′={ys1,ys2,…,ysn};給定目標(biāo)影像(GF1)的無(wú)標(biāo)注樣本數(shù)據(jù)集XT={xt1,xt2,…,xtm}。
定義2:假設(shè)高分辨率遙感影像受傳感器、大氣條件等影響的對(duì)應(yīng)過(guò)程為[f]。源影像圖斑特征可以表達(dá)為[Fs=f(Xs)],目標(biāo)影像圖斑特征可以表示為[Ft=f(XT)]。
定義3:為了能夠?qū)W習(xí)源影像和目標(biāo)影像的特征遷移關(guān)系,本研究在目標(biāo)影像和源影像的交集區(qū)域,利用XT的空間信息構(gòu)建一組同名無(wú)標(biāo)注樣本組。首先,在目標(biāo)影像和源影像的交集區(qū)域,從XT中選定k個(gè)樣本[XTj={xtj1,xtj2,…,xtjk}],其中,[j1,…,jk∈] [{1,…,m}]。由于XTj和XS可能會(huì)有交集,為了研究目標(biāo)域無(wú)標(biāo)注樣本下的異構(gòu)特征遷移的通用性,選定XTj和XS無(wú)交集,即[XTj?XS=?]。然后,基于XTj的空間位置在源影像(GF2)構(gòu)建同名樣本集[XSj={xsj1,xsj2,] […,xsjk}],XTj和XSj構(gòu)建同名樣本組[{(xsj1,xtj1),(xsj2,xtj2),…,] [(xsjk,xtjk)}]。
基于XTj和XSj構(gòu)建的無(wú)標(biāo)注樣本組,構(gòu)建基于時(shí)空約束的無(wú)監(jiān)督深度異構(gòu)特征遷移學(xué)習(xí)模型,其總體框架如圖2所示,包括深度特征提取模塊、異構(gòu)特征遷移模塊、分類模型模塊。
2.2 深度特征提取模塊
多項(xiàng)研究表明,采用卷積神經(jīng)網(wǎng)絡(luò)能夠從遙感圖像中學(xué)到很好的特征信息[23-27]。經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)主要包括卷積層、池化層和全連接層,其中卷積層通過(guò)計(jì)算輸入影像中的局部區(qū)域與濾波器的點(diǎn)積輸出特征。本研究利用Krizhevsky等[28]提出的AlexNet模型對(duì)同名樣本集進(jìn)行深度特征提取。AlexNet網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示,包括5個(gè)卷積層和3個(gè)全連接層,使用Dropout層和局部響應(yīng)歸一化層(LRN)提高神經(jīng)網(wǎng)絡(luò)的性能,增強(qiáng)模型的泛化能力,AlexNet的5個(gè)卷積層用于圖像特征的提取。
由于GF2和GF1的樣本數(shù)據(jù)為四通道數(shù)據(jù),同時(shí)樣本大小不一致,因此基于AlexNet進(jìn)行深度特征提取時(shí),需對(duì)樣本數(shù)據(jù)進(jìn)行預(yù)處理,即采用AlexNet Conv1-conv5的默認(rèn)設(shè)置,將樣本大小調(diào)整為224×224×4。
2.3 異構(gòu)特征遷移模塊
2.3.1 損失函數(shù)
1)同名樣本特征轉(zhuǎn)換損失函數(shù)構(gòu)建。對(duì)于[Hsj=?Fsj=?f(Xsj),Htj=?Ftj]=[?f(Xtj)],為使得[Hsj=Htj],構(gòu)建同名樣本特征轉(zhuǎn)換損失函數(shù)。
[Lco-occurance(?)=1ku=1k?sju-?tju2=1ku=1k?(f(xsju))-?(f(xtju))2] " (1)
其中,k為無(wú)標(biāo)注樣本組的數(shù)量;[?sju]∈[Hsj],[?tju]∈[Htj];[xsju]∈[Xsj],[xtju]∈[Xtj]。
2)同名樣本重建損失函數(shù)構(gòu)建。在進(jìn)行異構(gòu)特征遷移中,不是所有遷移的特征是有益的,部分相關(guān)性低的特征會(huì)對(duì)遷移效果產(chǎn)生負(fù)面影響,導(dǎo)致負(fù)遷移,因此需要對(duì)遷移特征的合理性進(jìn)行評(píng)估。本研究通過(guò)將公共特征空間的特征恢復(fù)為原始樣本數(shù)據(jù)來(lái)實(shí)現(xiàn)對(duì)遷移特征的評(píng)估,保證對(duì)重要、正確的特征進(jìn)行遷移,減少負(fù)遷移。
同名樣本特征重建的損失函數(shù)如下。
[Lreconstruction?,w,ψ=1ku=1kxsju-xsju2+1ku=1Mxtju-xtju2=1ku=1kxsju-w1(xsju)ψ1?sju-w2(xsju)ψ2?sju2+1ku=1kxtju-w1(xtju)ψ1?tju-w2(xtju)ψ2xtju2=1ku=1Nxsju-w1(xsju)ψ1?(xsju)-w2(xsju)ψ2?(xsju)2+1ku=1kxtju-w1(xtju)ψ1?(xtju)-w2(xtju)ψ2?(xtju)2](2)
式中,k為無(wú)標(biāo)注樣本組的數(shù)量;[xsju∈Xsj],[xtju∈Xtj];[xsju]為[xsju]的重構(gòu),[xtju]為[xtju]的重構(gòu);[ψ1、ψ2]為公共特征恢復(fù)成原始樣本的恢復(fù)映射;[w1]、[w2為]權(quán)重向量,其中[w1(x)+w2(x)=1],且[w1(x),w2(x)≥0]。
3)同名樣本特征正則損失函數(shù)構(gòu)建。由于一些特征映射可以通過(guò)降低特征的幅度來(lái)減少特征的差異而不是降低同名樣本的特征差異,本研究通過(guò)引入一些正則項(xiàng)來(lái)限制公共特征的分布,使其與多元單位高斯盡可能接近。本研究構(gòu)建的同名樣本特征正則損失函數(shù)如式(3)所示。
[Lregularizationσ2,?=1Ku=1kDKL(N(?sju,diag(σ2fsju))||N(0,Id))+1ku=1kDKL(N(?tju,diag(σ2ftju))||N(0,Id))=1ku=1kDKL(N(?(xsju),diag(σ2fsju))||N(0,Id))+1ku=1kDKL(N(?(xtju),diag(σ2xtju))||N(0,Id))] " (3)
式中,k為無(wú)標(biāo)注樣本組的數(shù)量;[fsju∈Fsj],[ftju∈Ftj];[Id]是d維對(duì)角元為1的單位陣,[diagσ2=diag(σ21,…,σ2d)]為對(duì)角元為[σ21,…,σ2d]的對(duì)角陣;[DKL]為KL散度用于計(jì)算概率分布之間的散度;[N]為正態(tài)分布。
4)總體遷移損失函數(shù)??傮w遷移損失為同名樣本特征損失、同名樣本重建損失、同名樣本特征正則化損失之和。
2.3.2 網(wǎng)絡(luò)結(jié)構(gòu) 異構(gòu)特征遷移模型的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示,包括源域和目標(biāo)域2個(gè)分支。源域分支輸入為Fsj,目標(biāo)域分支輸入為Ftj。由于Fsj、Ftj作為特征向量本身不具有空間和時(shí)間特性,因此模型采用全連接網(wǎng)絡(luò)。
在源域和目標(biāo)域2個(gè)分支上,F(xiàn)sj、Ftj經(jīng)過(guò)fc1、fc2、fc3共3個(gè)全連接層進(jìn)行特征輸出。fc1、fc2、fc3的激活函數(shù)為Relu函數(shù),通過(guò)增加網(wǎng)絡(luò)稀疏性來(lái)降低梯度消失風(fēng)險(xiǎn)。fc3層輸出方差([σ2])、特征轉(zhuǎn)換([φ])、權(quán)值(W)3類特征數(shù)據(jù)。
對(duì)于方差和特征轉(zhuǎn)換數(shù)據(jù),源域和目標(biāo)域根據(jù)同名樣本關(guān)聯(lián),通過(guò)特征轉(zhuǎn)換損失和同名樣本特征正則損失進(jìn)行后向傳遞。
對(duì)于特征轉(zhuǎn)換結(jié)果,源域和目標(biāo)域建立結(jié)構(gòu)相同的樣本重建網(wǎng)絡(luò),包括4層孿生全連接網(wǎng)絡(luò)(fc4、fc5、fc6、fc7),其輸出數(shù)據(jù)([ψ])同權(quán)值(W)構(gòu)建樣本重建損失進(jìn)行后向傳遞。
2.4 分類模型模塊
為了充分利用無(wú)標(biāo)注樣本數(shù)據(jù),本研究采用半監(jiān)督學(xué)習(xí)的方法進(jìn)行分類模型構(gòu)建和訓(xùn)練。由于分類器的輸入為特征向量,因此分類器的網(wǎng)絡(luò)結(jié)構(gòu)由4個(gè)全連接層(fc1、fc2、fc3、fc4)組成,其中fc1、fc2、fc3采用ReLu作為激活函數(shù),fc4采用Softmax進(jìn)行分類。
分類模型所對(duì)應(yīng)的半監(jiān)督損失函數(shù)見(jiàn)式(4)。
[Lclassification(Y,H)=12ku=12k(-F(L(y′ju,f(hju)))+d)+1nu=1nL(ysu,f(hsu))]" " " " (4)
式中,Y為分類器標(biāo)簽集;H為輸入的特征集合,H={Hsj,Htj,Hs};[y′ju]為Hsj、 Htj輸入分類器得到的偽標(biāo)簽,u=1,2,3,…,2k;ysu∈YS,即源域標(biāo)注集XS的樣本標(biāo)簽;[f(hju)]為Hsj、Htj輸入分類器后得到的概率,[f(hsu)]為Hs輸入分類器后得到的概率;[L(ysu,f(hsu))]和[L(y′ju,f(hju))]為交叉熵函數(shù);F()為HingLoss損失函數(shù);d為HingLoss損失函數(shù)的偏置,設(shè)置d=1。
本研究在無(wú)標(biāo)簽樣本特征上引入HingLoss損失函數(shù),其原因?yàn)槿魺o(wú)標(biāo)注樣本特征{Hsj,Htj }經(jīng)分類器得到的偽標(biāo)簽不正確,則[L(y′ju,f(hju))]損失將很大。為了抑制該損失,消除錯(cuò)誤的偽標(biāo)簽,取[-F(L(y′ju,] [f(hju)))+d=-HingLoss(L(y′ju,f(hju)))+1]來(lái)實(shí)現(xiàn),即[L(y′ju,f(hju))]損失越大,[-F(L(y′ju,f(hju)))]則越小。
3 結(jié)果與分析
3.1 異構(gòu)特征遷移學(xué)習(xí)結(jié)果及分析
3.1.1 試驗(yàn)環(huán)境和超參數(shù)
1)軟件環(huán)境。操作系統(tǒng)為內(nèi)存64 GB的CentOS7.2;深度學(xué)習(xí)框架為T(mén)ensorFlow2.0;編程環(huán)境為Python3.7。
2)硬件環(huán)境。CPU型號(hào)為 Intel(R) Xeon(R) E5-2650 v4 @2.20GHz,GPU為T(mén)esla P100 16G。
3)參數(shù)設(shè)置。重建損失batchsize設(shè)定為30,特征損失batchsize設(shè)定為20,學(xué)習(xí)率初始設(shè)置為0.001,通過(guò)貝葉斯自動(dòng)化調(diào)參框架進(jìn)行學(xué)習(xí)率調(diào)整。
3.1.2 總體遷移損失情況 總體遷移損失經(jīng)過(guò)20次迭代后迅速收斂到0.020 00左右,經(jīng)過(guò)360次迭代收斂到0.002 00左右,經(jīng)過(guò)530次迭代后收斂到0.001 44左右。
3.1.3 基于同名圖斑的異構(gòu)特征遷移變化分析 為了定量化描述異構(gòu)特征到公共特征空間后的變化,本研究基于同名樣本分別計(jì)算原始特征空間上同名樣本特征距離(Dx)和公共特征空間上同名樣本特征距離(Dh)。
[Dx=1Ωu∈Ωxsiu-stju2]" " " " " " "(5)
[Dh=1Ωu∈Ωhsiu-htju2]" " " " "(6)
式中,[Ω]為訓(xùn)練集和測(cè)試集對(duì)應(yīng)元素指標(biāo)集。
通過(guò)plotly軟件繪制的原始特征空間和公共特征空間上的特征低維可視化結(jié)果如圖5所示??梢钥闯?,通過(guò)遷移學(xué)習(xí),公共特征空間比原始特征空間要小,這意味著遷移學(xué)習(xí)將源影像樣本特征和目標(biāo)影像樣本特征的公共特征進(jìn)行學(xué)習(xí)并遷移,遷移后的樣本特征相對(duì)于源樣本特征會(huì)丟失部分信息。
3.2 分類試驗(yàn)結(jié)果對(duì)比分析
采用準(zhǔn)確率(Accuracy,Acc)、精確率(Precision,P)、召回率(Recall,R)、F1分?jǐn)?shù)(F1-score,F(xiàn)1)4項(xiàng)評(píng)價(jià)指標(biāo)進(jìn)行方法評(píng)價(jià)。
為了對(duì)異構(gòu)特征遷移學(xué)習(xí)結(jié)果進(jìn)行細(xì)致分析,做了2組試驗(yàn),即:①不做特征遷移學(xué)習(xí)時(shí),模型在源影像和目標(biāo)影像的分類結(jié)果;②進(jìn)行異構(gòu)遷移學(xué)習(xí)后,模型在源影像和目標(biāo)影像的分類結(jié)果。試驗(yàn)結(jié)果如表2所示。
3.2.1 異構(gòu)特征遷移學(xué)習(xí)對(duì)源影像上分類結(jié)果的影響 對(duì)于源影像進(jìn)行異構(gòu)特征遷移學(xué)習(xí),分類的準(zhǔn)確率從96.82%下降到92.91%,F(xiàn)1-score從95.94%下降到86.67%。從表2可以看出,召回率下降明顯,導(dǎo)致準(zhǔn)確率和F1-score的下降,而召回率下降明顯是因?yàn)橄鄬?duì)于原始空間的特征信息,遷移后特征信息為公共的特征信息,相對(duì)于原始的特征信息有所降低(圖5)。
3.2.2 異構(gòu)特征遷移學(xué)習(xí)對(duì)目標(biāo)影像上分類結(jié)果的影響 對(duì)于目標(biāo)影像不進(jìn)行異構(gòu)特征遷移學(xué)習(xí),相對(duì)源影像的分類結(jié)果,準(zhǔn)確率、F1-score等精度評(píng)價(jià)指標(biāo)下降十分明顯,準(zhǔn)確率從96.82%下降到60.78%,F(xiàn)1-score從95.94%下降到68.97%。特征遷移前在GF1影像上進(jìn)行水稻分類的測(cè)試結(jié)果如圖6所示,許多實(shí)際為水稻的地塊被錯(cuò)誤地分為非水稻,表明直接使用基于源影像(GF2)上的分類模型進(jìn)行水稻分類,很難實(shí)現(xiàn)對(duì)水稻的準(zhǔn)確提取。特征遷移后在GF1影像上進(jìn)行水稻分類的測(cè)試結(jié)果如圖7所示,當(dāng)進(jìn)行異構(gòu)特征遷移學(xué)習(xí)后,在目標(biāo)影像上的分類準(zhǔn)確率提升明顯,水稻分類的準(zhǔn)確率從60.78%上升到88.46%,F(xiàn)1-score從68.97%上升到86.27%。
為了進(jìn)一步驗(yàn)證本研究所提出的異構(gòu)遷移模型的性能,將其與CLSCL、HHTL這2類典型異構(gòu)特征遷移方法進(jìn)行對(duì)比,結(jié)果如表3所示。從表3可以看出,本研究方法相對(duì)CLSCL方法有很大優(yōu)勢(shì),其原因?yàn)镃LSCL方法僅進(jìn)行公共特征遷移,缺少基于特征對(duì)樣本的重建,因此所遷移特征的精確性較差。本研究方法相對(duì)HHTL方法有一定的優(yōu)勢(shì),表明其不僅可以有效地提取代表性的異構(gòu)特征,同時(shí)對(duì)特征間轉(zhuǎn)化具有較好的可控性,能夠減少變換后的未標(biāo)記目標(biāo)域與已標(biāo)記源域之間的分布偏差,進(jìn)而得到比HHTL更好的遷移效果。
4 小結(jié)
為了實(shí)現(xiàn)在目標(biāo)域無(wú)標(biāo)注樣本條件下對(duì)異構(gòu)遙感影像上的水稻提取模型進(jìn)行高質(zhì)量構(gòu)建和復(fù)用,本研究基于目標(biāo)域無(wú)標(biāo)簽樣本的空間位置在源域上生成同名的無(wú)標(biāo)簽樣本數(shù)據(jù),并建立了包含樣本重建損失在內(nèi)的綜合性異構(gòu)遷移損失函數(shù),從而構(gòu)建了一種基于時(shí)空約束的無(wú)監(jiān)督深度異構(gòu)特征遷移學(xué)習(xí)模型,實(shí)現(xiàn)目標(biāo)域無(wú)標(biāo)簽樣本的情況下異構(gòu)特征的精確性遷移,進(jìn)而在異構(gòu)目標(biāo)域影像上對(duì)水稻進(jìn)行精確提取。
本研究在對(duì)試驗(yàn)結(jié)果進(jìn)行分析后,得到如下結(jié)論:①異構(gòu)特征遷移學(xué)習(xí)能夠?qū)崿F(xiàn)對(duì)源樣本特征和模型的學(xué)習(xí)和遷移,與不使用特征遷移進(jìn)行對(duì)比,分類準(zhǔn)確率可提升27.68個(gè)百分點(diǎn)。②異構(gòu)特征遷移學(xué)習(xí)后得到的公共特征空間保留了樣本特征的公共信息,通過(guò)特征-樣本重構(gòu)可以實(shí)現(xiàn)特征的精確遷移。
本研究方法存在的不足主要是依賴影像和影像的重疊區(qū),因此如何擺脫這種空間依賴性,實(shí)現(xiàn)目標(biāo)域無(wú)標(biāo)注樣本的異構(gòu)特征遷移有待進(jìn)一步研究。
參考文獻(xiàn):
[1] 謝登峰,張錦水,潘耀忠,等.Landsat 8和MODIS融合構(gòu)建高時(shí)空分辨率數(shù)據(jù)識(shí)別秋糧作物[J].遙感學(xué)報(bào),2015,19(5):791-805.
[2] 陳安旭,李月臣.基于Sentinel-2影像的西南山區(qū)不同生長(zhǎng)期水稻識(shí)別[J].農(nóng)業(yè)工程學(xué)報(bào),2020,36(7):192-199.
[3] 高永康,王臘紅,陳家贏,等.一種利用形態(tài)相似性的水稻信息提取算法[J].遙感信息,2020,35(2):76-86.
[4] 許童羽,胡開(kāi)越,周云成,等.基于CART決策樹(shù)和BP神經(jīng)網(wǎng)絡(luò)的landsat 8影像粳稻提取方法[J].沈陽(yáng)農(nóng)業(yè)大學(xué)學(xué)報(bào),2020," "51(2):169-176.
[5] 王建勛,華 麗,鄧世超,等.基于GF-1與MODIS時(shí)空融合的南方丘陵區(qū)水稻提取研究[J].中國(guó)農(nóng)業(yè)資源與區(qū)劃,2019,40(5):37-46.
[6] 趙亞杰,黃進(jìn)良,王立輝,等.基于時(shí)空融合NDVI及物候特征的江漢平原水稻種植區(qū)提取研究[J].長(zhǎng)江流域資源與環(huán)境,2020,29(2):424-432.
[7] 賴格英,楊星衛(wèi).南方丘陵地區(qū)水稻種植面積遙感信息提取的試驗(yàn)[J].應(yīng)用氣象學(xué)報(bào),2000,11(1):47-56.
[8] 李 石,宋曉巍,張 菁,等.基于遙感數(shù)據(jù)的沈陽(yáng)水稻種植面積提取及精度分析[J].大麥與谷類科學(xué),2016,33(4):63-66.
[9] KUSSUL N,LAVRENIUK M,SKAKUN S,et al. Deep learning classification of land cover and crop types using remote sensing data[J].IEEE geoscience and remote sensing letters,2017,14(5):778-782.
[10] WEI S,ZHANG H,WANG C,et al. Multi-temporal SAR data large-scale crop mapping based on U-Net model[J].Remote sensing,2019,11(1):68.
[11] YANG X,YE Y,LI X,et al. Hyperspectral image classification with deep learning models[J].IEEE transactions on geoscience and remote sensing,2018,56(99):5408-5423.
[12] ZHONG L,HU L,ZHOU H. Deep learning based multi-temporal crop classification[J].Remote sensing of environment,2019,221:430-443.
[13] HUETE A,DIDAN K,MIURA T,et al. Overview of the radiometric and biophysical performance of the MODIS vegetation indices[J].Remote sensing of environment,2002,83(1-2):195-213.
[14] BLITZER J C,MCDONALD R T,PEREIRA F C N. Domain adaptation with structural correspondence learning[A].Proceedings of conference on empirical methods in natural language processing[C].Sydney,Australia,2006.120-128.
[15] PRETTENHOFER P,STEIN B B. Cross-language text classification using structural correspondence learning[A].Proceedings of 48th annual meeting of the association for computational linguistics[C]. Uppsala,Sweden,2010.1118-1127.
[16] NAM J,F(xiàn)U W,KIM S,et al. Heterogeneous defect prediction[J].IEEE transactions on software engineering,2017,44(9):874-896.
[17] ZHOU J T,PAN S J,TSANG I W,et al. Hybrid heterogeneous transfer learning through deep learning[A]. Proceedings of AAAI conference on artificial intelligence[C].Québec,Canada,2014.2213-2219.
[18] 趙 亮,吳立宗,彭紅春,等.基于遷移學(xué)習(xí)的高分辨率遙感影像道路信息提?。跩].江蘇海洋大學(xué)學(xué)報(bào)(自然科學(xué)版),2020,29(2):69-72.
[19] 周紹光,吳 昊,趙嬋娟,等.利用同質(zhì)區(qū)特性的高光譜圖像遷移學(xué)習(xí)分類[J].計(jì)算機(jī)工程與應(yīng)用,2021,57(21):224-233.
[20] MEI S,JI J,HOU J,et al. Learning sensor-specific spatial-spectral features of hyperspectral images via convolutional neural networks[J].IEEE transactions on geoscience and remote sensing,2017,55(8):4520-4533.
[21] WANG Z,DU B,SHI Q,et al. Domain adaptation with discriminative distribution and manifold embedding for hyperspectral image classification[J].IEEE transactions on geoscience and remote sensing,2019,16(7):1155-1159.
[22] 施慧慧,徐雁南,滕文秀,等.高分辨率遙感影像深度遷移可變形卷積的場(chǎng)景分類法[J].測(cè)繪學(xué)報(bào),2021,50(5):652-663.
[23] 張 帆.面向高分辨率遙感影像分析的深度學(xué)習(xí)方法研究[D].武漢:武漢大學(xué),2017.
[24] 周 瑜.基于卷積神經(jīng)網(wǎng)絡(luò)的高分辨率遙感圖像分類方法研究[D].重慶:重慶郵電大學(xué),2018.
[25] 王海軍.深度卷積神經(jīng)網(wǎng)絡(luò)在遙感影像分類的應(yīng)用研究[D].北京:中國(guó)地質(zhì)大學(xué)(北京),2018.
[26] 許慧敏.基于深度學(xué)習(xí)U-Net模型的高分辨率遙感影像分類方法研究[D].成都:西南交通大學(xué),2018.
[27] 閆 苗,趙紅東,李宇海,等.基于卷積神經(jīng)網(wǎng)絡(luò)的高光譜遙感地物多分類識(shí)別[J].激光與光電子學(xué)進(jìn)展,2019,56(2):191-198.
[28] KRIZHEVSKY A,SUTSKEVER I,HINTON G E. ImageNet classification with deep convolutional neural networks[J].Communications of the ACM, 2017,60(6):84-90.
基金項(xiàng)目:湖北省自然資源廳科研項(xiàng)目(ZRZY2021KJ03)
作者簡(jiǎn)介:邱儒瓊(1977-),女,湖北公安人,正高級(jí)工程師,在讀博士研究生,主要從事遙感數(shù)據(jù)智能處理的理論和應(yīng)用研究,(電話)13871363256(電子信箱)404251392@qq.com。