基于深度卷積神經(jīng)網(wǎng)絡(luò)的海洋多目標(biāo)渦旋檢測方法

劉啟明,楊樹國,趙 莉

(1.青島科技大學(xué) 數(shù)理學(xué)院,山東 青島266061;2.青島市中醫(yī)醫(yī)院(市海慈醫(yī)院),山東 青島266033)

渦旋是世界海洋中普遍存在的一種中尺度海洋現(xiàn)象,是指尺度小于羅斯貝波的海水旋轉(zhuǎn)運(yùn)動(dòng)的總稱,其中半徑為第一斜壓羅斯貝半徑量級(即10～100 km)的渦旋被稱為中尺度渦旋;而半徑小于第一斜壓羅斯貝半徑且大于邊界層湍流尺度的渦旋被稱為次中尺度渦旋(即0.1～10 km)。按照旋轉(zhuǎn)方向可分為氣旋渦和反氣旋渦,北(南)半球氣旋渦中,海水呈逆(順)時(shí)針旋轉(zhuǎn)。無論南北半球,由于地球自轉(zhuǎn)誘導(dǎo)的科氏力,氣旋渦(反氣旋渦)的中心伴隨著輻散(輻聚),所以產(chǎn)生上升流(下沉流)[1]。因此,這些渦旋一方面將海洋深層的冷水和營養(yǎng)鹽輸送到海洋上層,另一方面也會(huì)將海洋表面的暖水輸送到海洋深層,通過對水體的混合和運(yùn)輸改變海洋的溫鹽場結(jié)構(gòu),進(jìn)而對海洋動(dòng)力過程、生態(tài)系統(tǒng)變遷及全球氣候變化產(chǎn)生重要的影響[2]。因此,對于海洋渦旋檢測的研究具有重要的科學(xué)意義和實(shí)際應(yīng)用價(jià)值。

上世紀(jì)以來,國內(nèi)外眾多海洋學(xué)者對海洋渦旋的檢測問題進(jìn)行了大量研究,取得了一系列研究進(jìn)展,提出了諸多檢測算法。目前,傳統(tǒng)的檢測算法主要有基于物理特征、流場幾何特征、手工標(biāo)注特征及混合算法等方法。其中,基于物理特征的Okubo-Weiss(OW)參數(shù)法[3-4]深受學(xué)者青睞,多應(yīng)用于地中海海域、秘魯海域[5-6],它可以較好地將渦旋特征從特定情景場中提取出來,但參數(shù)的選取過分依賴于專家經(jīng)驗(yàn),并且直接影響檢測的精度,因此該方法的檢測準(zhǔn)確度較低?；诹鲌鰩缀翁卣鞯腤inding Angle(WA)纏繞角方法[7],通過計(jì)算并篩選流場瞬時(shí)閉合曲線的方式對渦旋進(jìn)行識別,但由于渦旋在形成及消亡過程中往往不具備流場閉合曲線的特征,因此該方法的漏檢率較高;類似地,NENCIOLI也提出了一種純粹基于幾何特征的方法(vector geometry,VG)方法[8];這些基于流場幾何特征的檢測方法都存在共同的缺點(diǎn),即需要對數(shù)據(jù)進(jìn)行逐點(diǎn)檢測,再利用流場幾何特征進(jìn)行判斷,為了保證渦旋識別的準(zhǔn)確率往往致使計(jì)算量過大、效率過低?；谑止?biāo)注特征的方法一般涉及到的特征比較低級,無法表現(xiàn)出渦旋的高動(dòng)態(tài)性。另外也有一些學(xué)者將上述的傳統(tǒng)算法加以融合而發(fā)展出混合算法,例如YI等提出的基于海表面異常高度和物理特征(OW)參數(shù)法的渦旋檢測方法[9]、MCWILLIAMS提出的將流場幾何特征和相對渦度結(jié)合起來的海洋渦旋檢測方法[10]。雖然混合算法具有其融合的各個(gè)子算法的優(yōu)點(diǎn),但是對歷史數(shù)據(jù)的質(zhì)量要求較高,并強(qiáng)烈依賴于專家經(jīng)驗(yàn),因此檢測渦旋的效率依舊較低。

近年來,隨著深度學(xué)習(xí)的蓬勃發(fā)展,人工智能技術(shù)在各領(lǐng)域得到高效應(yīng)用,學(xué)者們開始將傳統(tǒng)的方法與深度學(xué)習(xí)進(jìn)行結(jié)合,取得了卓越成就[11]。例如深度學(xué)習(xí)通過創(chuàng)建多層神經(jīng)網(wǎng)絡(luò),對訓(xùn)練樣本進(jìn)行擬合,已經(jīng)被廣泛應(yīng)用于語音、圖像的識別和檢測等方面[12-13]。同時(shí),伴隨著超分辨率遙感衛(wèi)星技術(shù)的快速發(fā)展,越來越多的高時(shí)空分辨率的海洋表面高度遙感圖像數(shù)據(jù)可以供研究人員使用,已有學(xué)者針對海洋渦旋檢測的特點(diǎn),把海洋表面高度數(shù)據(jù)視為二維圖像,結(jié)合機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的方法對海洋渦旋進(jìn)行檢測識別。如ASHKEZARI等[14]通過構(gòu)建渦旋相位角特征矩陣,利用支持向量機(jī)(SVM)進(jìn)行分類訓(xùn)練,再通過使用滑動(dòng)窗格進(jìn)行渦旋檢測。LGUENSAT 等[15]在經(jīng)典的語義分割框架中,利用編碼器-解碼器網(wǎng)絡(luò)(U-Net)對氣旋和反氣旋進(jìn)行了識別,但沒有對語義信息和特征進(jìn)行充分的利用,缺乏對檢測到的渦旋大小等特征進(jìn)行定量分析。

本工作基于深度學(xué)習(xí)方法,結(jié)合先進(jìn)的語義分割理論,提出了一個(gè)海洋多目標(biāo)渦旋檢測的深度模型,該模型能夠有效提取并利用渦旋的語義信息和特征,充分捕捉邊緣信息,有效地實(shí)現(xiàn)多目標(biāo)渦旋檢測,最后,將本文提出的方法與傳統(tǒng)方法進(jìn)行了對比實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明,本工作的方法性能更優(yōu)。

1 數(shù)據(jù)

大量高質(zhì)量數(shù)據(jù)是深度學(xué)習(xí)模型成功訓(xùn)練的重要基礎(chǔ),盡管有學(xué)者已經(jīng)創(chuàng)建了海洋渦旋數(shù)據(jù)集,但是其中的大多數(shù)沒有公開發(fā)布,相關(guān)研究人員無法直接使用,在一定程度上限制了該領(lǐng)域的發(fā)展。因此,本研究工作使用哥白尼海洋環(huán)境監(jiān)測服務(wù)中心(CMEMS)最新發(fā)布的海表面高度衛(wèi)星遙感數(shù)據(jù)產(chǎn)品,該產(chǎn)品由Data Unification and Altimeter Combination System(DUACS)多任務(wù)融合高度計(jì)數(shù)據(jù)處理系統(tǒng)處理發(fā)布,將Jason-3、Sentinel-3A、HY-2A 等運(yùn)行中的衛(wèi)星探測的海表面高度(sea surface height,SSH)數(shù)據(jù)加以集成,再使用最優(yōu)插值方法計(jì)算獲得,來自多衛(wèi)星高度計(jì)的融合數(shù)據(jù)具有很高的時(shí)間和空間分辨率,可以為海洋渦旋檢測任務(wù)提供近實(shí)時(shí)的衛(wèi)星遙感數(shù)據(jù)。

本研究海域?yàn)闊釒鞅碧窖蠛Ｓ?0°～32°N、109°E～141°E),包括中國南海及其東部海域(如圖1所示)。本研究使用了從2000年1月1日至2021年3月5日的7 735張每日海表面高度圖像。

本工作所設(shè)計(jì)的深度學(xué)習(xí)算法除了需要給定海表面高度圖像外,還需要給定對應(yīng)的標(biāo)簽圖像,然而數(shù)據(jù)集沒有直接給出,因此本工作采用經(jīng)典的渦旋檢測(Py-eddy-tracker,PET)算法[16]來創(chuàng)建標(biāo)簽圖像數(shù)據(jù),該數(shù)據(jù)與海表面高度圖像共同構(gòu)成本工作的數(shù)據(jù)集:其中訓(xùn)練集由前20年的數(shù)據(jù)構(gòu)成,共包含7 306張海洋表面高度圖像及標(biāo)簽圖像;測試集包含2020年1月1日至2021年3月5日的429張海洋表面高度圖像及標(biāo)簽圖像。圖像的空間分辨率為0.25°×0.25°,大小為128像素×128像素,每張圖像均為單通道圖像。在形成數(shù)據(jù)集時(shí),為了減少異常數(shù)據(jù)對結(jié)果的影響,對標(biāo)簽圖像數(shù)據(jù)進(jìn)行了預(yù)處理:對于陸地及島嶼區(qū)域,將其對應(yīng)的像素值替換為類別像素值0,對于氣旋區(qū)域,將其標(biāo)準(zhǔn)像素值替換為類別像素值1,對于反氣旋區(qū)域,將其標(biāo)準(zhǔn)像素值替換為類別像素值2。由于海洋渦旋是緩慢動(dòng)態(tài)移動(dòng)的,單個(gè)渦旋可以存活幾周至幾個(gè)月[17-18],因此不需要進(jìn)行數(shù)據(jù)增強(qiáng)(如向訓(xùn)練集中添加裁剪、旋轉(zhuǎn)后的數(shù)據(jù)圖像)。

2 基于深度卷積神經(jīng)網(wǎng)絡(luò)的多目標(biāo)海洋渦旋檢測模型

為了能夠更好地提取多個(gè)渦旋的特征,以及更高效地融合不同尺度的特征,從而獲得更好的渦旋檢測效果,本工作基于深度學(xué)習(xí)方法建立了一個(gè)基于深度卷積神經(jīng)網(wǎng)絡(luò)的多目標(biāo)海洋渦旋檢測模型。模型的具體結(jié)構(gòu)如圖2所示。

該模型由編碼和解碼兩個(gè)部分組成[19],其中編碼部分主要進(jìn)行渦旋特征的提取及融合,包含改進(jìn)后的密集卷積塊,以及跨層融合到下采樣操作的整個(gè)過程;解碼部分使用轉(zhuǎn)置卷積進(jìn)行上采樣操作,直到最終檢測出渦旋。

2.1 編碼部分

本工作所提出的海洋渦旋檢測模型的編碼部分,是基于改進(jìn)的密集卷積模塊的特征提取器。提取輸入的海表面高度圖像的渦旋特征后,再通過跨層融合將全部特征融合起來。通過以上操作,不僅能提取到豐富的渦旋特征,還能將不同層次的語義特征和邊界細(xì)節(jié)特征融合起來,捕獲到圖像更多的全局和局部信息。

具體地,將海表面高度圖像輸入后,首先進(jìn)行渦旋特征提取,主要通過基于卷積操作的密集模塊完成,具體操作如圖3所示。

圖3 密集模塊簡圖Fig.3 Sketch of the dense module

每個(gè)密集模塊包含如圖3(b)所示的四個(gè)層,用來提取輸入圖像的特征,其原理如下:

其中,H為批正則化、激活、卷積、隨機(jī)失活等非線性操作,x l為第l層的輸出特征圖。從輸入圖像開始,通過第l層密集模塊的操作H(·)生成含有k層的輸出特征圖x l。

密集模塊的非線性操作H中,最重要的是卷積操作,其原理如下:

其中,y(i)為輸出特征圖第i個(gè)像素點(diǎn)位置的特征值,ω(t)為卷積核,t為卷積核的長度,x(·)為輸入特征圖相應(yīng)區(qū)域的特征值。

利用上述過程,對輸入圖像進(jìn)行特征提取并生成特征圖,之后引入跨層融合來減少卷積過程中的信息丟失,如圖3(a)所示。

在下采樣中,對密集模塊的輸入特征圖x l－1和輸出特征圖x l進(jìn)行級聯(lián)操作,級聯(lián)后再進(jìn)行最大池化操作,使得每個(gè)區(qū)域內(nèi)的最大特征得以保留,參數(shù)減少,其原理為:

其中,Win,Wout分別表示特征圖寬度的輸入值和輸出值;Hin,Hout分別表示特征圖高度的輸入和輸出值;Cin,Cout分別表示通道數(shù)的輸入值和輸出值;S為步長,K為卷積核的大小。

經(jīng)過上述特征提取、特征融合及下采樣操作,得到的特征圖中含有豐富的語義信息,特別是在特征融合過程中,每一層都將之前所有層的輸入進(jìn)行融合,再傳遞給之后的所有層,這樣的跨層融合結(jié)構(gòu)具有眾多的優(yōu)勢,尤其是提高了特征的重用,每一層都可以得到前面各層的特征信息,參數(shù)的重用率更高,各層的有效特征全部進(jìn)行了融合,可以充分利用渦旋的細(xì)節(jié)特征以及空間特征。

本工作輸入SSH 圖像大小為128×128,采用2×2最大池化,選取k＝12,輸入圖像經(jīng)過特征提取、特征圖融合及下采樣操作后,模型的編碼工作全部完成,得到了充分提取、高度融合的海洋渦旋特征圖,為解碼工作提供了豐富的特征信息,有助于獲得更加精準(zhǔn)的渦旋檢測結(jié)果。

2.2 解碼部分

當(dāng)全部特征提取及融合完成后,解碼部分負(fù)責(zé)將融合后的特征圖還原到輸入分辨率大小,逐步還原后經(jīng)交叉熵?fù)p失Soft Max分類,得出海洋渦旋檢測的具體結(jié)果。首先進(jìn)行特征圖尺寸的恢復(fù),也就是將編碼部分得到的特征圖經(jīng)解碼操作變成輸入圖像原始尺寸大小。然后進(jìn)行編碼解碼操作,編碼部分通過構(gòu)建下采樣路徑來獲得特征圖,解碼部分則是一個(gè)相反的過程,通過構(gòu)建一個(gè)上采樣路徑來使提取到的特征圖逐步恢復(fù)空間分辨率,主要由上采樣操作(轉(zhuǎn)置卷積或反卷積操作)和跳過連接組成。下采樣和上采樣的主要操作如圖4所示。

圖4 下采樣和上采樣過程Fig.4 Downsampling and upsampling process

當(dāng)編碼部分完成特征提取后,上采樣操作開始工作,并且和對應(yīng)的跳過連接進(jìn)行通道上的融合,以此增強(qiáng)特征圖的空間分辨率,形成新的輸入。由于下采樣過程中的池化操作會(huì)在一定程度上損失有效特征信息,引入跳過連接則能保留原來大量的信息,可改善特征提取到上采樣操作過程中的信息丟失,這對于海洋渦旋檢測任務(wù)來說十分必要。

特征圖還原完成后,最后一步就是使用Soft Max分類得到海洋氣旋(類別1)、反氣旋(類別2)和背景(類別0)3類的概率,即每個(gè)類別的最終結(jié)果。

本工作所用的訓(xùn)練樣本為{(x(i),y(i))},i＝1,…,n,類標(biāo)簽為y(i)∈{0,1,2},使用Soft Max函數(shù)計(jì)算樣本屬于每個(gè)類別的概率:

通過梯度下降法求得損失函數(shù)極小化后的權(quán)重系數(shù)w,最大概率～y對應(yīng)的類別即x的分類類別,即得到每個(gè)像素所對應(yīng)的渦旋類別。

解碼部分以編碼部分的輸出特征圖x16作為輸入,經(jīng)過上述3次上采樣操作及通道融合后,特征圖大小變?yōu)檩斎牒１砻娓叨葓D像大小128×128,再經(jīng)過Soft Max分類后,輸出海洋渦旋檢測的結(jié)果,即得到分割圖像。至此,解碼工作全部完成,也獲得整個(gè)海洋渦旋檢測結(jié)果。

3 模型訓(xùn)練設(shè)置

3.1 模型損失函數(shù)與優(yōu)化

深度學(xué)習(xí)多分類任務(wù)通常采用交叉熵函數(shù)作為損失函數(shù)進(jìn)行訓(xùn)練,針對海洋渦旋檢測任務(wù)的正負(fù)樣本不均衡的特點(diǎn),本工作使用改進(jìn)的加權(quán)骰子系數(shù)作為損失函數(shù),加速網(wǎng)絡(luò)的訓(xùn)練。

骰子系數(shù)通常用來度量兩個(gè)樣本之間的相似度,一般定義為

其中,Dice i(i＝1,2,3)分別表示氣旋、反氣旋和背景的系數(shù),w i(i＝1,2,3)則分別表示三者對應(yīng)的權(quán)重。

3.2 模型超參數(shù)設(shè)置

在本工作采用的數(shù)據(jù)集中,訓(xùn)練集包括的訓(xùn)練樣本有7 306張圖片,驗(yàn)證集包括的驗(yàn)證樣本有471張圖片。由于數(shù)據(jù)樣本量充足并且排除參數(shù)設(shè)置的影響,本文模型以及其他對比模型的參數(shù)設(shè)置完全相同,采用Adam 優(yōu)化器,訓(xùn)練批次epoch 設(shè)置為50,學(xué)習(xí)率設(shè)置為0.001,訓(xùn)練的批數(shù)batch size設(shè)置為6。為了避免過擬合現(xiàn)象的產(chǎn)生,采用了歸一化層和神經(jīng)元保留比例為80%的Dropout層。模型的整個(gè)訓(xùn)練過程需要7 h左右,同樣實(shí)驗(yàn)條件下,本工作模型訓(xùn)練集的精度達(dá)到94%,比Eddy Net算法精度提高了4個(gè)百分點(diǎn),在驗(yàn)證階段相對于其他模型也表現(xiàn)出更好的性能。

4 實(shí)驗(yàn)結(jié)果

為了檢驗(yàn)本工作提出方法的渦旋檢測效果,在上述數(shù)據(jù)集上,對不同的方法Eddy Net、PET 和本工作的方法進(jìn)行了對比性實(shí)驗(yàn),檢測結(jié)果如圖5所示(圖中紅綠色塊分別代表反氣旋渦和氣旋渦):

圖5 不同檢測方法結(jié)果對比Fig.5 Comparison of the results of different testing methods

從圖5可以看出,本工作方法的結(jié)果與PET 方法更為相似,因?yàn)楸竟ぷ鞯哪Ｐ褪怯善浣Y(jié)果訓(xùn)練的,但是與Eddy Net方法相比,本工作的方法檢測到了更多的渦旋,尤其是對于邊緣區(qū)域小而模糊的渦旋,也能精確地捕捉到這些信息和特征。

由于受專家經(jīng)驗(yàn)及篩選條件嚴(yán)格的限制,傳統(tǒng)方法的漏檢率較高,而人工智能的方法由于能夠檢測到更小的渦旋,因此比傳統(tǒng)方法檢測到的渦旋數(shù)量更多。圖6為2020年1月1日至2021年3月5日南海及其附近海域這兩種方法檢測到的海洋渦旋數(shù)量比較。在此期間,Eddy Net 算法共檢測到49 752個(gè)海洋渦旋,本算法共檢測到68 726個(gè)海洋渦旋,并且本算法檢測到的氣旋和反氣旋的數(shù)量均比Eddy Net算法檢測到的多(見表1),兩個(gè)結(jié)果之間的單日最大差為64。

圖6 兩種方法檢測出的2020年1月1日至2021年3月5日的海洋渦旋數(shù)量對比Fig.6 Comparison of the number of ocean eddies detections by the two methods during Jan 1st,2020 and Mar 5th,2021

表1 不同方法檢測到的海洋渦旋數(shù)量統(tǒng)計(jì)Table 1 Statistics on the number of ocean eddies detected by different methods

本方法加強(qiáng)了對特征的重用,提高了特征的利用效率,因而能夠獲取渦旋的更多細(xì)節(jié)特征,尤其是對于檢測區(qū)域邊緣特征的利用更加高效,因此能夠準(zhǔn)確區(qū)分開相隔較近的多個(gè)渦旋,如圖7所示,Eddy-Net算法和本方法在對氣旋檢測結(jié)果的對比中,本方法檢測效果更加接近真實(shí)情況,如圖7(c)地轉(zhuǎn)流圖所示,尤其是對于相隔較近的兩個(gè)渦旋的檢測,本方法能夠更好地將其分離和檢測出來。衡量海洋渦旋檢測性能的另一個(gè)指標(biāo)就是半徑大小,因此本工作對比了所檢測海域的渦旋半徑大小,如表2所示,這是兩種方法對渦旋半徑進(jìn)行了5次計(jì)算并求得平均值的結(jié)果,本工作所提出的方法檢測到的渦旋平均半徑和最大半徑都更大,而最小半徑更小,這同樣也驗(yàn)證了本工作方法具備檢測到更小渦旋的能力。

圖7 不同檢測方法結(jié)果對比Fig.7 Comparison of the results of different testing methods

表2 不同方法檢測到的海洋渦旋半徑統(tǒng)計(jì)Table 2 Statistics on the radius of ocean eddies detected by different methods

5 結(jié) 語

本工作所提出的海洋多目標(biāo)渦旋檢測算法能夠捕捉到多渦旋的豐富細(xì)節(jié)特征,融合了深層次的語義信息,適合海洋多渦旋檢測任務(wù)。同時(shí),本工作利用2000 年至2020 年的海表面高度圖像數(shù)據(jù)和PET 算法提取的渦旋信息標(biāo)簽作為訓(xùn)練數(shù)據(jù),2020年1月1日至2021年3月5日的429張海洋表面高度圖像作為測試數(shù)據(jù),對本方法與傳統(tǒng)算法PET以及Eddy Net算法進(jìn)行了比較,結(jié)果表明,本算法能夠檢測到更多的海洋渦旋,特別是對于小尺度邊緣渦旋的捕捉,效果更優(yōu)。因此,本工作所提出的方法更適合海洋多目標(biāo)渦旋檢測。