一種自適應(yīng)學(xué)習(xí)率的遙感影像分類方法

王研， 段琳琳， 楊玲

摘? 要： 在對遙感影像進(jìn)行分類識別處理時，深度學(xué)習(xí)技術(shù)容易陷于局部最優(yōu)，模型參數(shù)往往需要手動調(diào)整。提出一種基于模擬退火算法的自適應(yīng)學(xué)習(xí)率方法，并建立層疊去噪自動編碼器模型。給模型添加一定學(xué)習(xí)率比例，以實現(xiàn)學(xué)習(xí)率在迭代中自動改變。通過對比實驗以及曲面擬合方法，驗證了該方法的有效性、實用性和可靠性。該方法能自動調(diào)整學(xué)習(xí)率參數(shù)且能夠避免局部最優(yōu)解，分類精度和效率均有所提高。

關(guān)鍵詞： 模擬退火算法; 分類; 自適應(yīng); 學(xué)習(xí)率; 層疊去噪自動編碼器

中圖分類號：TP751? ? ? ? ? 文獻(xiàn)標(biāo)識碼：A? ? ?文章編號：1006-8228（2022）06-27-05

A remote sensing image classification method based on adaptive learning rate

Wang Yan1， Duan Linlin2， Yang Ling1

（1. Henan University， Kaifeng， Henan 475004， China; 2. No.1 Senior High School of Xiangcheng）

Abstract： When classifying and identifying remote sensing images， deep learning technologies are easy to fall into a local optimum， and model parameters are often adjusted manually. In this paper， a method of adaptive learning rate based on simulated annealing algorithm is proposed， and a stacked denoising auto encoder model is constructed. The learning rate is given a proportion so that it can change automatically in the iteration. The effectiveness， practicability and reliability of above algorithm are verified through comparative experiments and surface fitting methods. The results indicate that the proposed method can automatically adjust the learning rate and avoid local optimal solutions， which improves the classification accuracy and efficiency.

Key words： simulated annealing algorithm; classification; adaptive; learning rate; stacked denoising auto encoder

0 引言

在遙感影像分類領(lǐng)域，模型構(gòu)建和參數(shù)取值對實驗結(jié)果有著很大影響。想要深入學(xué)習(xí)遙感影像特征，就需要依靠不時改變模型參數(shù)值來滿足[1]。

參數(shù)自適應(yīng)方法的研究在一些領(lǐng)域內(nèi)已有顯著成效，如米龍[2]將自適應(yīng)調(diào)整算法用于改善紅豆的篩選分類結(jié)果;Shrestha等人[3]應(yīng)用以權(quán)值收斂準(zhǔn)則為基礎(chǔ)的自適應(yīng)方法，顯著提高了收斂速度;楊德州等人[4]為解決訓(xùn)練速度較慢的問題，建立了結(jié)合自適應(yīng)學(xué)習(xí)率方法的光熱電場DNI預(yù)測模型;馬偉昌[5]在深度堆疊網(wǎng)絡(luò)的訓(xùn)練算法中引用自適應(yīng)學(xué)習(xí)率思想，改進(jìn)了腦電信號識別方法。

在遙感影像處理領(lǐng)域，目前大多數(shù)研究依舊采用手動調(diào)整模型參數(shù)的方式，如宋廷強(qiáng)等人[6]根據(jù)訓(xùn)練收斂速度，手動調(diào)整AA-SegNet網(wǎng)絡(luò)模型的學(xué)習(xí)率;雒培磊等人[7]應(yīng)用超參數(shù)人工調(diào)優(yōu)的方式提高影像配準(zhǔn)和拼接精度;朱友君[8]使用手動調(diào)節(jié)超參數(shù)的方式進(jìn)行城市影像道路分割模型訓(xùn)練;鄭重等人[9]通過大量實驗得到合適的地面塌陷識別參數(shù)。雖然均取得了較好成果，但過程耗時耗力。因此面對遙感影像特征復(fù)雜的現(xiàn)狀，本文以研究較少、結(jié)構(gòu)簡單、能夠進(jìn)行特征自動提取的自動編碼器（Auto encoder，AE）[10]為研究基礎(chǔ)，基于模擬退火算法并結(jié)合層疊去噪自動編碼器模型，提出一種方便可行的學(xué)習(xí)率自適應(yīng)方法，以適應(yīng)學(xué)習(xí)過程中不斷變化的狀況，跳出局部最優(yōu)解，進(jìn)一步改善分類識別的精度和效率。

1 數(shù)據(jù)

本文實驗數(shù)據(jù)來源于數(shù)據(jù)集AID（Aerial image dataset），選擇其中部分內(nèi)容作為實驗數(shù)據(jù)，以降低復(fù)雜度[11-13]。具體為：①抽選七類地物，其中二類的數(shù)量為收錄總量，其余五類的樣本數(shù)量均為100個;②用于訓(xùn)練和測試的樣本各585個。表1為整體樣本信息。

影像尺寸過大，將導(dǎo)致數(shù)據(jù)復(fù)雜度增大，處理效率低。參考以往研究[14]、結(jié)合實驗設(shè)施性能，修改樣本尺寸大小為28pixel×28pixel。并使用最大最小值歸一化方法（Min-Max normalization，MMN）對影像數(shù)據(jù)進(jìn)行預(yù)處理，從而減小數(shù)值之間差異[15]。另外，為了降低挑戰(zhàn)性，先前的分類研究中[16，17]大多均衡設(shè)置每個類別的樣本量，在本文中，每個類別的樣本量并不均衡，可以很好的驗證實驗方法的有效性。

2 學(xué)習(xí)率自適應(yīng)模型

2.1 層疊去噪自動編碼器

層疊去噪自動編碼器（Stacked denoising auto encoder，SDAE），由能夠從注入噪聲的數(shù)據(jù)中重構(gòu)出無噪聲數(shù)據(jù)的去噪自動編碼器（Denoising auto encoder，DAE）層疊構(gòu)成，只需在其頂層加上分類器即可實現(xiàn)分類功能，圖1為其結(jié)構(gòu)模型圖。

本文選用魯棒性較好的層疊去噪自動編碼器（SDAE）為主要模型，訓(xùn)練過程主要分兩個階段。

⑴ 預(yù)訓(xùn)練階段：運(yùn)用逐層貪婪算法進(jìn)行無監(jiān)督訓(xùn)練。依據(jù)樣本和SDAE結(jié)構(gòu)的特點，分別設(shè)置各層DAE的參數(shù)值。之后，導(dǎo)入樣本數(shù)據(jù)進(jìn)行第一個DAE的訓(xùn)練，然后將結(jié)果向下一級傳遞并重復(fù)訓(xùn)練過程，各層DAE都完成訓(xùn)練后結(jié)束。

⑵ 微調(diào)階段：預(yù)訓(xùn)練完成后，對整體模型做反向調(diào)優(yōu)，以此微調(diào)模型參數(shù)。

2.2 模擬退火算法

模擬退火算法（Simulated annealing，SA），一種結(jié)合概率突跳特性的隨機(jī)尋優(yōu)算法[18，19]。基本思想為：按照Metropolis準(zhǔn)則判斷物體從狀態(tài)[A]進(jìn)入[B]時，是否保持[B]為當(dāng)前狀態(tài)。設(shè)狀態(tài)[A]、[B]下的能量分別為：[EA]、[EB]。

⑴ [EB≤EA]，則接受狀態(tài)向[B]的移動（能量最低的狀態(tài)對應(yīng)于最優(yōu)解）。

⑵ [EB>EA]，則以概率[PAB]接受[B]為當(dāng)前狀態(tài)。

[PAB=exp?EKT]? ⑴

其中[?E]表示能量差，[K]表示Boltzmann常數(shù)，[T]表示溫度。

2.3 基于模擬退火算法的學(xué)習(xí)率自適應(yīng)方法

本文基于模擬退火算法并結(jié)合SDAE模型提出的學(xué)習(xí)率自適應(yīng)方法，主要過程如下。

⑴ 構(gòu)建并初始化SDAE模型。依據(jù)參考文獻(xiàn)[20]將各層的單元數(shù)設(shè)置為：2352-2276-588-284-7。

⑵ 設(shè)迭代次數(shù)為[x]，學(xué)習(xí)率為[εx]。目標(biāo)函數(shù)如式⑵所示。

[L=1mi=1mJai，li+λ2Ni=1Wi2]? ⑵

其中[ai]和[li]分別為含噪數(shù)據(jù)的輸入與重構(gòu)信息，[Jai，li]表示[ai]與[li]之間的誤差絕對值，[λ]為正則系數(shù)，[Wi]為權(quán)值矩陣。

⑶ 設(shè)學(xué)習(xí)率比例為[R]，根據(jù)目標(biāo)函數(shù)判斷學(xué)習(xí)率取值。若[Lx+1≤Lx]，則保留[εx+1]作為當(dāng)前學(xué)習(xí)率;若[Lx+1>Lx]，則以[R?εx+1]作為當(dāng)前學(xué)習(xí)率。

⑷ 判斷學(xué)習(xí)能否結(jié)束。若已達(dá)到終止條件，則停止學(xué)習(xí);否則，依據(jù)條件循環(huán)上述步驟。這一過程有兩個依據(jù)：達(dá)到迭代上限或者得到所需精度時[21]。本文選用前者作為判斷條件以獲得實驗所能達(dá)到的最高精度。

根據(jù)該方法進(jìn)行學(xué)習(xí)時，權(quán)值矩陣[W]和偏置量[b]的更新依據(jù)分別為：

[?W'n=κ??Wn+ε?Q?L?Wn]? ⑶

[?b'n=?bn+ε?Q?L?bn]? ?⑷

其中[κ]表示權(quán)值動量，[Q?L?Wn]、[Q?L?bn]分別表示[W]和[b]的偏導(dǎo)數(shù)均值。

3 實驗結(jié)果與分析

使用AID航空圖像數(shù)據(jù)集實驗以證實所提算法的有效性。此外，使用基于曲面擬合的方法驗證其分類結(jié)果的可靠性。

3.1 結(jié)果與分析

本文模型采用固定其他參數(shù)不變，分別變動加噪率、正則項和動量項的方法，依據(jù)參數(shù)最優(yōu)原則得出相應(yīng)的最優(yōu)參數(shù)值分別為加噪率0.95、[L2]正則項0.1、動量項0.7，進(jìn)而改變學(xué)習(xí)率取值以得到最佳實驗效果。為避免學(xué)習(xí)率取值過大導(dǎo)致無法收斂，故根據(jù)彈性間隔變動對學(xué)習(xí)率取0.01，0.05，0.1至0.9共11個取值。

添加自適應(yīng)模型（方法1）與未添加學(xué)習(xí)率比例（方法2）的實驗結(jié)果如圖2所示。

觀察圖2可知：學(xué)習(xí)率在0.3處時，方法2的分類精度已經(jīng)達(dá)到最高，為82.05%，而在0.01處時，方法1達(dá)到最高精度，為98.97%。這說明學(xué)習(xí)率自適應(yīng)方法能跳出局部最優(yōu)解。

實驗結(jié)果所對應(yīng)的評價指標(biāo)數(shù)據(jù)見表2、表3。

由表2、表3可知：

⑴ 方法1相較于方法2，Kappa系數(shù)提高了0.2146，整體分類精度（OA）提高了0.1692;

⑵ 添加自適應(yīng)方法的實驗中，各類的生產(chǎn)精度（PA）與用戶精度（UA）也均有所提高，其中海灘的PA值增加了50%，教堂的UA值增加了39.31%。

圖3是在學(xué)習(xí)率為0.01的情況下，更改學(xué)習(xí)率比例得到的分類精度圖。

從圖3中可以看出，學(xué)習(xí)率比例取值0.01、0.05和0.1時，精度均是最大值98.97%。

本文計算機(jī)系統(tǒng)為Windows7（64Bit），4核，CPU 2.21GHZ，RAM 4GB;所使用軟件為Matlab（R2016a）。選取學(xué)習(xí)比例為0.1，進(jìn)行自適應(yīng)和手動賦予這兩種方法的實驗耗時對比。結(jié)果表明：當(dāng)采用手動添加時，所用時間為1948.24s;運(yùn)用學(xué)習(xí)率自適應(yīng)方法時僅耗時1356.80s。說明自適應(yīng)方法能夠明顯提高分類實驗效率。

綜合上述實驗結(jié)果可以看出，將本文方法應(yīng)用到遙感影像分類實驗中，能夠避免陷入局部最優(yōu)陷阱、緩解手動操作效率低的狀況，提高分類精度，縮減實驗時長。

3.2 基于曲面擬合的精度驗證

最小二乘算法（Least Square Algorithm，LS）[22]能夠解出具有最優(yōu)參數(shù)的擬合曲線，使得各數(shù)據(jù)點與該曲線之間的距離和值達(dá)到最小。此外，依據(jù)相同的原理，LS還能夠處理最優(yōu)函數(shù)匹配問題。

設(shè)所擬合的曲面模型為：

[f=a1+a2x21+a3x22+a4x1x2+a5x1+a6x2ω]? ⑸

其中[x1]為學(xué)習(xí)率，[x2]為學(xué)習(xí)率比例，[y]為結(jié)果精度，[ai]為系數(shù)，[ω]為隨機(jī)誤差項。

由[x1]、[x2]、[y]構(gòu)成的三維空間點與擬合曲面之間的距離和值達(dá)到最小，便是本文需要求得目標(biāo)函數(shù)的本質(zhì)。由此能夠驗證實驗結(jié)果的可靠性。三維空間點的形式可以表示為[x11，x21，y1，x12，x22，y2，…，x1i，x2i，yi]。實驗中根據(jù)空間點可求得：

[f=-0.1313-0.9117x21+0.3991x22- 0.2919x1x2]? ? ? ? ?[+1.8006x1-0.0582x2] ⑹

空間點與函數(shù)⑹之間的距離和值最小，就意味著結(jié)果誤差達(dá)到了最小值。圖4為可視化模型。

表4展示了空間點能夠擬合的幾個模型。其中F值（統(tǒng)計量觀測值）和R2（可決系數(shù)）越大，p值和σ（誤差方差估計值）越小，代表模型擬合效果越佳，具有較高的合理性。表中所展示函數(shù)模型的R2均大于0.6，P值均小于0.05，意味著這些模型都適用于上述空間點的擬合，證明了實驗結(jié)果的可靠性及研究方法的科學(xué)性。模型⑹的R2最高，σ值最小，故其擬合效果最好。

4 結(jié)束語

在遙感影像分類研究中，深度學(xué)習(xí)技術(shù)的應(yīng)用在不斷進(jìn)步的同時也遇到了一些阻礙。本文參考已有研究，提出一種結(jié)合模擬退火算法的自適應(yīng)學(xué)習(xí)率方法，旨在研究中跳出局部最優(yōu)、實現(xiàn)自動調(diào)參。采用AID數(shù)據(jù)集進(jìn)行實驗，結(jié)果證明了本文所提的自適應(yīng)學(xué)習(xí)率計算方法能有助于更深層的學(xué)習(xí)影像特征，提高分類精度，學(xué)習(xí)效率也較高，能有效解決以往算法中的陷入局部最優(yōu)和需要手動調(diào)參等問題。下一步研究工作的重點是增加實驗的數(shù)據(jù)量，并增加分類類別以驗證本文算法的泛化性能。

參考文獻(xiàn)（References）：

[1] 段琳琳.基于深度學(xué)習(xí)的遙感影像分類研究[D]. 河南：河南大學(xué)，2018

[2] 米龍.自適應(yīng)深度學(xué)習(xí)算法在目標(biāo)分類問題中的應(yīng)用[D].沈陽：東北大學(xué)，2014

[3] SHRESTHA S B， SONG Q. Weight convergence of SpikeProp and adaptive learning rate： Communication， Control， & Computing[C]， Fifty-first Annual Allerton Conference Allerton House： IEEE，2014

[4] 楊德州，李錦鍵，呂金歷，等.基于改進(jìn)CNN的光熱電場太陽直接法向輻射預(yù)測研究[J].可再生能源，2021，39（2）：182-188

[5] 馬偉昌.基于自適應(yīng)學(xué)習(xí)率深度堆疊網(wǎng)絡(luò)的腦電信號識別方法研究[D].重慶：重慶郵電大學(xué)，2020

[6] 宋廷強(qiáng)，李繼旭，張信耶.基于深度學(xué)習(xí)的高分辨率遙感圖像建筑物識別[J].計算機(jī)工程與應(yīng)用，2020，56（8）：26-34

[7] 雒培磊，李國慶，曾怡.一種改進(jìn)的基于深度學(xué)習(xí)的遙感影像拼接方法[J].計算機(jī)工程與應(yīng)用，2017，53（20）：180-186

[8] 朱友君.基于卷積神經(jīng)網(wǎng)絡(luò)的城市遙感影像道路分割[D].成都：電子科技大學(xué)，2019

[9] 鄭重，張敬東，杜建華.基于深度學(xué)習(xí)的遙感圖像中地面塌陷識別方法研究[J].現(xiàn)代商貿(mào)工業(yè)，2017（35）： 189-192

[10] RIFAI S， VINCENT P， MULLER X， et al. Contractive Auto-Encoders： Explicit Invariance During Feature Extraction： Proceedings of the 28 th International Conference on Machine Learning[C]： ICML，2011

[11] SHAO W， YANG W， XIA G S， et al. A Hierarchical Scheme of Multiple Feature Fusion for High-Resolution Satellite Scene Categorization： Proceedings of the 9th international conference on Computer Vision Systems[C]：ICVS，2013

[12] ZHOU W， SHAO Z， DIAO C， et al. High-resolution remote-sensing imagery retrieval using sparse features by auto-encoder[J]. Remote Sensing Letters， 2015，6（10-12）：775-783

[13] YANG W， YIN X， XIA G. Learning High-level Features for Satellite Image Classification With Limited Labeled Samples[J]. Transactions on Geoscience and Remote Sensing，2015，53（8）：4472-4482

[14] 柳振東.卷積神經(jīng)網(wǎng)絡(luò)在圖像分類中的研究與應(yīng)用[D].天津：中國民航大學(xué)，2017

[15] 湯榮志.數(shù)據(jù)歸一化方法對提升SVM訓(xùn)練效率的研究[D].濟(jì)南：山東師范大學(xué)，2017

[16] QU B， LI X L， TAO D C， et al. Deep semantic understanding of high resolution remote sensing image： International Conference on Computer[C]： IEEE，2016

[17] HU F， XIA G， HU J， et al. Transferring Deep Convolutional Neural Networks for the Scene Classification of High-Resolution Remote Sensing Imagery[J].Remote sensing （Basel， Switzerland），2015，7（11）：14680-14707

[18] 江麗.基于粒子群與模擬退火算法的BP網(wǎng)絡(luò)學(xué)習(xí)方法研究[D].合肥：安徽大學(xué)，2013

[19] 陳國飛.基于模擬退火的粒子群算法的函數(shù)優(yōu)化研究[D].長沙：中南大學(xué)，2013

[20] 劉祖瑾，楊玲，劉祖涵，等.一種結(jié)合深度置信網(wǎng)絡(luò)與最優(yōu)尺度的植被提取方法[J].激光與光電子學(xué)進(jìn)展，2018，55（2）：158-167

[21] 滿鳳環(huán)，陳秀宏，何佳佳.一種基于模擬退火算法改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)[J].微電子學(xué)與計算機(jī)，2017，34（9）：58-62

[22] 張雪峰.最小二乘與最小二乘支撐向量機(jī)[D].成都：電子科技大學(xué)，2007