基于殘差網(wǎng)絡的海洋溫躍層分析方法

初 曉, 孟祥鶴哲, 張 凱, 胡成全,

(1. 長春財經(jīng)學院 信息工程學院, 長春 130122； 2. 吉林大學 計算機科學與技術(shù)學院, 長春 130012)

海洋躍層[1]指海水中某些水文要素(如溫度、 鹽度和密度等)在垂直方向上出現(xiàn)突變或不連續(xù)劇變的水層, 主要用于區(qū)別上下層海水的物理性質(zhì), 也稱為飛躍層, 是研究海洋生物多樣性的重要因素, 在聲波探測、 水下通信等領(lǐng)域應用廣泛. 關(guān)于海洋躍層的研究目前已有很多結(jié)果[2-4]. 文獻[5]提出了利用擬階梯函數(shù)逼近法研究標準溫躍層及存在逆溫層的溫躍層, 較好地擬合了溫度曲線； 文獻[1]對復雜海域存在多個厚度較薄的躍層, 提出了一種篩選溫躍層和合并溫躍層的方法, 并對不等距微分法、 垂直梯度法和七點二次平滑算法的優(yōu)缺點進行了對比分析； 在此基礎上, 文獻[6]闡述了垂直梯度法和最優(yōu)分割法, 并分析比較了這兩種方法在確定溫躍層上下邊界時的性能； 文獻[7]提出了一種基于熵值法獲取得分, 并以此作為判斷標準的新方法, 在定量分析溫躍層的同時, 實現(xiàn)了對溫躍層樣本的定性分析. 本文基于上述研究成果, 對三層殘差網(wǎng)絡模型進行改進, 將改進模型用于溫躍層分析判定, 并通過實驗證明其對世界海洋地圖集2013(WOA13)海洋區(qū)域數(shù)據(jù)溫躍層分類的有效性.

1 神經(jīng)網(wǎng)絡

1.1 卷積神經(jīng)網(wǎng)絡 卷積神經(jīng)網(wǎng)絡(convolutional neural networks, CNN)是一類包含卷積計算的特殊人工前饋神經(jīng)網(wǎng)絡, 近年來被廣泛應用于計算機視覺、 自然語言處理及模式識別等領(lǐng)域. 卷積神經(jīng)網(wǎng)絡有兩個特征： 局部感知和卷積核參數(shù)共享. 局部感知是指每層的神經(jīng)元只與其上一層部分神經(jīng)元連接即可, 只進行局部感知, 而不是整體感知. 但如果程序中只應用局部感知理論, 會導致網(wǎng)絡參數(shù)過大, 需對卷積核參數(shù)進行共享, 從而進一步壓縮權(quán)重[8]. 圖1為卷積神經(jīng)網(wǎng)絡的總體結(jié)構(gòu). 隨著圖形處理器(GPU)的推廣, 卷積神經(jīng)網(wǎng)絡得到迅速發(fā)展, 其優(yōu)異的特征提取功能在各領(lǐng)域被廣泛應用.

圖1 卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)

圖2 殘差網(wǎng)絡基本結(jié)構(gòu)

1.2 殘差網(wǎng)絡 深度學習的主要問題是梯度消失和梯度爆炸, 傳統(tǒng)解決方案均基于數(shù)據(jù)的初始化和正則化, 雖然解決了梯度問題, 但隨著網(wǎng)絡深度的不斷增加, 出現(xiàn)了正確率開始飽合下降及網(wǎng)絡的退化問題. 殘差單位的提出不僅解決了退化問題和梯度問題, 還兼顧了網(wǎng)絡性能的提升. 殘差網(wǎng)絡的基本結(jié)構(gòu)如圖2所示.

殘差單元的基本思想是解決在信息輸入時因精度提高和卷積層數(shù)過多而導致的飽和, 以及隨著網(wǎng)絡深度的增加而導致準確率降低的問題. 本文假設x為信息輸入,H(x)為特征輸出, 則殘差公式為

F(x)=H(x)-x.

(1)

殘差網(wǎng)絡是為了將學習目標由原始的完整輸出H(x)變?yōu)闅埐罟紽(x). 輸入值x可與后面的層直接相連, 使后面的層可直接學習殘差值, 即殘差連接(skip connect)中的短連接結(jié)構(gòu)(shortcut), 短連接可實現(xiàn)多層次的跨越, 通過執(zhí)行恒等映射實現(xiàn)增加網(wǎng)絡深度的目的. 殘差單元計算公式為

xl+1=f[xl+F(xl,Wl)],

(2)

其中：xl和xl+1分別為第l個殘差單元的輸入和輸出；f表示激活函數(shù);W為卷積核;F表示殘差函數(shù). 當殘差為0時, 堆積層只做恒等映射, 保證網(wǎng)絡性能不下降, 但實際上殘差不可能為0, 這也實現(xiàn)了堆積層在輸入特征基礎上學習到新的特征, 從而擁有更好的性能.

2 數(shù)據(jù)處理

2.1 數(shù)據(jù)集 WOA13是一組基于各種現(xiàn)場測量得出的海洋氣候變量的網(wǎng)格化字段集, 其主要描述海洋溫濕度、 磷酸、 硅酸和硝酸鹽度等數(shù)據(jù), 數(shù)據(jù)集分別包括年度周期、 季節(jié)周期和月份周期對世界海洋數(shù)據(jù)進行的統(tǒng)計, 是研究海洋對地球氣候和環(huán)境影響的重要數(shù)據(jù)源之一[9]. 本文在對WOA13數(shù)據(jù)預處理的基礎上, 對全球海洋按照測量點進行區(qū)域劃分, 并對其進行基于溫躍層的二分類處理, 將處理后的兩類數(shù)據(jù)分別作為訓練集和測試集, 然后使用Keras(人工神經(jīng)網(wǎng)絡庫)+TensorFlow(基于數(shù)據(jù)流編程的符號數(shù)學系統(tǒng))框架, 對實驗結(jié)構(gòu)進行對比, 選取針對WOA13三維海洋數(shù)據(jù)最適合的分類網(wǎng)絡結(jié)構(gòu).

2.2 溫躍層分析方法 對海洋溫躍層的分析, 首先需確定水體分層的厚度. 設z表示水體分層的厚度(單位: m), 具有平衡噪聲抑制和分辨率的作用. 如果z取值過大, 則將導致計算所得溫度梯度變化不明顯； 如果z取值過小, 則會因為采樣點較少而導致梯度估計時噪聲較大. 現(xiàn)有針對溫躍層的常用探測方法中, 都是根據(jù)經(jīng)驗確定z值, 對溫躍層的探測無法完全自主實現(xiàn).

其次需要確定分層的邊界值. 目前具代表性的溫躍層探測有3種方法： 峰值法、 平均梯度法和最優(yōu)分割法. 峰值法是根據(jù)計算得到的溫度梯度峰值點求對應深度的方法, 根據(jù)峰值點分別向上、 向下進行一定距離的擴展, 以此確定溫躍層的上下邊界, 這種計算方法的優(yōu)點是算法簡單, 但擴展的距離仍依賴人為經(jīng)驗進行選取, 不能實現(xiàn)自適應性. 平均梯度法是利用垂直水層的探測值計算平均溫度梯度, 并以計算結(jié)果為閾值確定溫躍層的方法, 如果溫度梯度高于閾值, 則視當前水層在溫躍層內(nèi), 這種方法主要應用于溫躍層分布相對均勻的海域. 最優(yōu)分割方法是指通過對有序樣品進行聚類分析的方法, 在溫躍層分析時對水溫剖面進行分層, 分為三層結(jié)構(gòu): 上層為均勻?qū)? 中層為溫躍層, 下層也是均勻?qū)? 利用兩次求解最優(yōu)二分割的方式得到最優(yōu)三分割, 以此為依據(jù)將溫度梯度分為3 組, 實現(xiàn)分割后各組內(nèi)部差異性最小, 且組與組間實現(xiàn)差異性最大. 最優(yōu)分割法計算較復雜, 通常應用離線計算.

2.3 溫躍層計算方法 溫躍層是水下溫度迅速下降的、 介于上層薄溫水層和下層厚冷水層之間的一層海水層, 其溫度和密度變化較大, 分布于不同海域的不同位置. 因為海水中鹽度幾乎是穩(wěn)定的, 壓力對密度幾乎沒有影響, 所以海水的水溫成為最重要的影響因素, 溫躍層內(nèi)海水的溫度和密度變化迅速, 因此成為海水分層的重要標志. 目前溫躍層分析方法主要有數(shù)值函數(shù)分析法、 擬階梯函數(shù)法、 S-T法和垂向梯度法等. 溫鹽剖面數(shù)據(jù)的分辨率可能存在不均勻的情形, 因此可采用不等距微分法和垂直梯度法相結(jié)合計算要素的垂直梯度, 獲取溫躍層特征值, 達到觀測數(shù)據(jù)的合理利用, 從而獲取躍層的特征值信息. 其基本原理如下.

設觀測的層數(shù)為n層, 對應的層深數(shù)組為A, 要素數(shù)組為N. 在數(shù)據(jù)空間間隔均勻的情形下可直接采用垂直梯度法, 其基本原理為

(3)

其中：G表示要素的垂直梯度；N表示某一層要素；A表示某一層水深；K表示層深序號. 在數(shù)據(jù)空間間隔不均勻的情形下可采用不等距微分法, 基本原理為

(4)

(5)

對于邊界值, 即i=1和i=n處, 使用蛙跳公式(后差公式, 前差公式)法進行計算：

(6)

(7)

2.4 神經(jīng)網(wǎng)絡選取 確定溫躍層區(qū)域后, 本文將23 940塊海洋區(qū)域三維數(shù)據(jù)按2∶1分為訓練集和測試集, 即訓練集包含15 960塊海洋區(qū)域三維數(shù)據(jù), 測試集包含7 980塊海洋區(qū)域三維數(shù)據(jù), 所有模型均訓練20次, 結(jié)果列于表1. 由表1可見, 效果最好的ResNet-18模型對海洋三維數(shù)據(jù)的分類準確率最高, 為90.425 4%, 說明殘差網(wǎng)絡模型對海洋區(qū)域三維數(shù)據(jù)的分類在性能上優(yōu)于其他模型, 也證明了對于圖像分類性能極強的殘差網(wǎng)絡同樣適用于海洋三維數(shù)據(jù), 所以本文將選取殘差網(wǎng)絡作為基于WOA13海洋數(shù)據(jù)溫躍層分析的網(wǎng)絡模型, 并對其進行改進.

表1 不同網(wǎng)絡模型的實驗結(jié)果對比

3 基于改進殘差網(wǎng)絡的溫躍層分析

圖3 改進的三層殘差單元

3.1 殘差網(wǎng)絡殘差單元的改進 本文基于新型的ResNet V2結(jié)構(gòu)對殘差單元進行改進, 將原來的二層殘差單元改進為三層, 將原來大小為3×3的2個卷積層改為3個卷積層, 其卷積核大小分別為1×1,3×3,1×1. 改進的三層殘差單元如圖3所示， 其中：m,n為通道數(shù)量；k為加寬因子. 使用三層卷積的優(yōu)勢在于首層和末層中的1×1卷積可減少模型的參數(shù), 同時可加速訓練過程; 3×3的卷積層可提升性能, 減少參數(shù), 且將AlexNet中的Dropout保留層加入到3×3的卷積層中, 能更好地減少過擬合問題.

改進后的殘差單元公式為

xl+1=xl+W3σ{W2σ[W1σ(xl)]},

其中：xl表示第l層的輸入；xl+1表示第(l+1)層的輸出；σ表示BN和ReLU函數(shù)；W表示卷積核. 通過改進, 殘差單元網(wǎng)絡層數(shù)增加了一層, 因此本文將ResNet-18網(wǎng)絡改進為ResNet-26網(wǎng)絡.

在第一個卷積層中, 卷積核大小為7×7, 通道數(shù)為64, 步長為1; 最大池化層為2×2, 步長為2. 經(jīng)過最大池化層后, 再經(jīng)過2,3,4,5四個卷積組， 每個卷積組中殘差單元數(shù)為2, 卷積組2的殘差塊結(jié)構(gòu)為： 1×1, 通道數(shù)64； 3×3, 通道數(shù)64； 1×1, 通道數(shù)256. 卷積組3的殘差塊結(jié)構(gòu)為： 1×1, 通道數(shù)128； 3×3, 通道數(shù)128； 1×1, 通道數(shù)512. 卷積組4的殘差塊結(jié)構(gòu)為： 1×1, 通道數(shù)256； 3×3, 通道數(shù)256； 1×1, 通道數(shù)1 024. 卷積組5的殘差塊結(jié)構(gòu)為： 1×1, 通道數(shù)512； 3×3, 通道數(shù)512； 1×1, 通道數(shù)2 048. 平均池化層是最后一層, 尺寸為4×4, 輸出1×1×4 096, 該層需經(jīng)歷一個全連接層Softmax函數(shù), Softmax函數(shù)包含5個神經(jīng)元. 為進一步證明改進的殘差單元對WOA13海洋數(shù)據(jù)分類的準確性優(yōu)于原模型, 本文設計4組對比實驗, Dropout設為默認值0.5, 其結(jié)果列于表2.

表2 殘差單元改進對比實驗結(jié)果

3.2 超參數(shù)選取 超參數(shù)的設置直接影響網(wǎng)絡性能. 本文分別針對首層卷積核的大小、 Batch Size(批大小)、 殘差單元數(shù)量及加寬因子進行實驗, 通過不斷控制變量, 選取不同超參數(shù)進行實驗. 實驗結(jié)果表明, 本文最終的超參數(shù)選擇為： 第一層卷積核為7×7, Batch Size為64, 殘差塊個數(shù)為2, 加寬因子為1. 經(jīng)過超參數(shù)調(diào)整, ResNet-26對海洋三維數(shù)據(jù)的分類最高準確率提高了0.5%.

圖4 改進的ResNet-26實驗數(shù)據(jù)結(jié)果

3.3 保留率設置 上述實驗雖已驗證了在AlexNet網(wǎng)絡模型基礎上加入保留層(Dropout)的三層殘差單元ResNet-26網(wǎng)絡模型對海洋三維數(shù)據(jù)進行二分類有效, 但Dropout的設置對準確率有一定影響. 本文分別對保留率為0.4,0.5,0.6,0.7,0.8這5種情形進行實驗. 實驗結(jié)果表明, 在其余參數(shù)均與上述實驗相同的情形下, 保留率為0.7時, 準確率達到峰值95.103 8%. 應用改進后的ResNet-26對數(shù)據(jù)進行二分類實驗, 實驗結(jié)果如圖4所示, 其中: 藍色實線表示訓練結(jié)果; 黃色虛線表示測試結(jié)果.

為保證實驗結(jié)果的準確性, 本文利用WOA13數(shù)據(jù)集中全球海域的月級別平均數(shù)據(jù), 對1995—2012年的2月、 5月、 8月和11月平均海洋數(shù)據(jù)進行實驗, 不同月份數(shù)據(jù)實驗對比結(jié)果列于表3. 由表3可見, 本文方法可行、 有效.

表3 不同月份數(shù)據(jù)的實驗結(jié)果對比