基于LSTM神經(jīng)網(wǎng)絡(luò)的地震事件分類

張 帆 楊曉忠 王樹波

1(華北電力大學(xué)控制與計(jì)算機(jī)工程學(xué)院 北京 102206) 2(華北電力大學(xué)數(shù)理學(xué)院 北京 102206) 3(內(nèi)蒙古自治區(qū)地震局 內(nèi)蒙古 呼和浩特 010051)

0 引 言

天然地震的活動(dòng)性是統(tǒng)計(jì)地震學(xué)的主要研究對(duì)象,也是地震預(yù)測(cè)工作的重要依據(jù)。地震臺(tái)網(wǎng)除了記錄到天然地震,還能記錄到非天然地震,非天然地震包括爆破、塌陷和采動(dòng)影響的巖層破斷等。地震類型的識(shí)別錯(cuò)誤會(huì)影響地震目錄的質(zhì)量,并對(duì)地震學(xué)的相關(guān)研究產(chǎn)生影響[1]。在地震監(jiān)測(cè)工作中,地震事件類型的區(qū)分主要依靠人工完成,依賴分析人員的知識(shí)和經(jīng)驗(yàn)[2]。隨著地震資料數(shù)量的增多,地震分析工作量也不斷增加,這增加了分析人員的負(fù)擔(dān),受到經(jīng)驗(yàn)的限制和主觀性的影響,地震事件分類也會(huì)出現(xiàn)誤判。因此,實(shí)現(xiàn)地震的自動(dòng)事件分類尤為重要。

不同事件類型在時(shí)域、頻域等方面的差異可以作為識(shí)別判據(jù)[3-5],這些研究成果為機(jī)器學(xué)習(xí)技術(shù)的應(yīng)用建立了基礎(chǔ)。傳統(tǒng)的機(jī)器學(xué)習(xí)技術(shù),如支持向量機(jī)和神經(jīng)網(wǎng)絡(luò)等,可以以數(shù)據(jù)驅(qū)動(dòng)的方式訓(xùn)練模型參數(shù),在地震事件分類上取得較好效果[6-9],這些方法需要大量的特征工程工作,可能丟失原始數(shù)據(jù)蘊(yùn)含的有效信息。

近年來,深度學(xué)習(xí)在圖像和語(yǔ)音識(shí)別、自然語(yǔ)言處理等領(lǐng)域取得巨大進(jìn)步。深度學(xué)習(xí)通過和人腦相似的自下而上的層級(jí)結(jié)構(gòu),將輸入端的數(shù)據(jù)逐層次提取[10],建立了底層數(shù)據(jù)到高層語(yǔ)義結(jié)構(gòu)的映射。與傳統(tǒng)機(jī)器學(xué)習(xí)技術(shù)相比,深度學(xué)習(xí)對(duì)原始數(shù)據(jù)人工加工較少,較好利用有效信息,較復(fù)雜的模型結(jié)構(gòu)和較多的模型參數(shù)能夠?qū)?fù)雜的非線性問題建模。深度學(xué)習(xí)技術(shù)在地震事件分類問題中獲得一定成功[11-12]。

內(nèi)蒙古地區(qū)的爆破事件記錄較豐富,為地震事件分類算法的研究提供了一定數(shù)據(jù)基礎(chǔ)。本文將地震事件記錄經(jīng)過短時(shí)傅里葉變換,轉(zhuǎn)換為對(duì)數(shù)時(shí)頻譜,并拆分為多維時(shí)間序列,使用了LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)地震事件分類。

1 數(shù) 據(jù)

內(nèi)蒙古地震臺(tái)網(wǎng)自2008年網(wǎng)數(shù)字化以來,記錄了大量爆破事件,為地震分類研究提供了數(shù)據(jù)基礎(chǔ)。本文采用的原始數(shù)據(jù)選自2016年3月至2020年7月內(nèi)蒙古地震臺(tái)網(wǎng)記錄的事件波形,包含420個(gè)爆破和480條天然地震事件,每個(gè)事件包含多個(gè)臺(tái)站的三分向記錄,本文選取了震中距在200 km范圍內(nèi)的1 800條單臺(tái)垂直向記錄(包含天然地震事件和爆破事件各900條),圖1給出這些事件的射線,圖1顯示了天然地震、爆破和臺(tái)站的分布,并且每條記錄的臺(tái)站和事件位置連線,每一條連線對(duì)應(yīng)一個(gè)數(shù)據(jù)樣本,黑色線為爆破記錄,灰色線對(duì)應(yīng)天然地震記錄。天然地震事件在空間上分布比較均勻,爆破空間分布相對(duì)集中,天然地震的震級(jí)分布在0級(jí)到5級(jí),爆破的震級(jí)一般在3級(jí)以下。

圖1 事件和臺(tái)站的連線

在數(shù)據(jù)預(yù)處理中,對(duì)每條記錄截取100 s記錄,截取起始點(diǎn)為初至震相前1 s。原始數(shù)據(jù)的采樣率為100 Hz,對(duì)信號(hào)進(jìn)行高通濾波,保留1 Hz以上的信號(hào),過濾掉了低頻的噪聲,之后進(jìn)行了去傾斜和歸一化,為了同時(shí)提取事件記錄在頻域和時(shí)域的特征,我們對(duì)經(jīng)過處理的波形記錄進(jìn)行短時(shí)傅里葉變換,轉(zhuǎn)換為時(shí)頻譜,并進(jìn)行取對(duì)數(shù),使數(shù)據(jù)分布均勻,轉(zhuǎn)換后的數(shù)據(jù)為50×100的矩陣,對(duì)應(yīng)頻域1～50 Hz、時(shí)域0～100 s的對(duì)數(shù)振幅譜。短時(shí)傅里葉變換使用窗函數(shù)將時(shí)域信號(hào)截取為多段,對(duì)每一段做傅里葉變換,本文使用漢寧窗,窗長(zhǎng)2 s,重疊1 s,按時(shí)間拆分后得到特征數(shù)為50(對(duì)應(yīng)1～50 Hz)、長(zhǎng)度為100(對(duì)應(yīng)1～100 s)的多維時(shí)間序列。圖2為數(shù)據(jù)處理的流程,圖3為拆分過程的圖示。

圖2 數(shù)據(jù)預(yù)處理流程

圖3 數(shù)據(jù)拆分過程

為了比較不同類型事件在時(shí)域和頻域的差異,對(duì)比了爆破和天然地震的原始記錄和功率譜曲線。圖4給出天然地震和爆破的波形對(duì)比,爆破的P波較發(fā)育,頻率成分較簡(jiǎn)單[13],有面波成分。天然地震和人工爆破可以看作隨機(jī)信號(hào),頻率分布服從一定的統(tǒng)計(jì)規(guī)律,功率譜密度可以作為識(shí)別判據(jù)放大地震和爆炸的頻域差異[12],圖5給出天然地震和爆破的功率譜曲線,兩類事件的曲線形態(tài)相似但略有差異。爆破在低頻能量分布多,隨著頻率增加功率譜逐漸衰減。天然地震在低頻部分的功率譜略低于爆破,隨著頻率升高逐漸升高,在5 Hz左右達(dá)到峰值,隨后平緩衰減。天然地震能量隨頻率升高而衰減的速度比爆破更平緩。

圖4 地震和爆破的波形對(duì)比

圖5 地震和爆破的功率譜曲線對(duì)比

2 原 理

將經(jīng)過預(yù)處理的多通道時(shí)間序列作為輸入,選用的模型是序列處理中效果較好的LSTM神經(jīng)網(wǎng)絡(luò)。

神經(jīng)網(wǎng)絡(luò)由神經(jīng)元構(gòu)成,神經(jīng)元的數(shù)學(xué)結(jié)構(gòu)是對(duì)輸入經(jīng)過線性變換后加上一個(gè)偏置項(xiàng),再使用一個(gè)非線性的激活函數(shù)后輸出,從而模擬了生物神經(jīng)元的激活過程。多層的神經(jīng)網(wǎng)絡(luò)可以以任意精度逼近任意函數(shù)[14]。

LSTM神經(jīng)網(wǎng)絡(luò)是常用的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)之一,可以有效地對(duì)序列建模。長(zhǎng)短期記憶(LSTM)網(wǎng)絡(luò)[15]解決了RNN網(wǎng)絡(luò)訓(xùn)練中梯度爆炸和梯度消失等問題,LSTM包含相互作用的四個(gè)神經(jīng)網(wǎng)絡(luò)層(圖6)。LSTM的遺忘門、輸入門和輸出門三個(gè)門控結(jié)構(gòu)控制單元的輸入和輸出。遺忘門決定上一個(gè)時(shí)刻的狀態(tài)Ct-1有多少保留到當(dāng)前時(shí)刻狀態(tài)Ct中。輸入門決定當(dāng)前輸入xt有多少保存到Ct中,并更新單元狀態(tài)。輸出門通過運(yùn)行一個(gè)Sigmoid層來確定單元狀態(tài)的哪個(gè)部分將輸出,接著把單元狀態(tài)通過tanh函數(shù)進(jìn)行處理,得到一個(gè)在-1到1之間的值,最終確定輸出。將時(shí)序相反的兩個(gè)LSTM模型相結(jié)合構(gòu)成雙向LSTM網(wǎng)絡(luò)(BiLSTM),在某些任務(wù)中效果更好。

圖6 LSTM單元結(jié)構(gòu)

3 訓(xùn)練和檢驗(yàn)

將處理后的數(shù)據(jù)隨機(jī)劃分為訓(xùn)練集(1 500條)和測(cè)試集(300條),訓(xùn)練集用于模型調(diào)參和訓(xùn)練,測(cè)試集用于測(cè)試模型的泛化能力。

使用的模型前半部分由LSTM層構(gòu)成,用于時(shí)間序列的特征提取,后半部分由全連接層組成,用于實(shí)現(xiàn)分類功能。為了確定最優(yōu)的模型結(jié)構(gòu),從訓(xùn)練集隨機(jī)分出一部分作為驗(yàn)證集進(jìn)行實(shí)驗(yàn),對(duì)比了四種網(wǎng)絡(luò)結(jié)構(gòu)的準(zhǔn)確率,四種結(jié)構(gòu)前半部分如表1所示,后半部分為相同的兩個(gè)全連接層,迭代次數(shù)為1 000,根據(jù)測(cè)試的結(jié)果,選用了準(zhǔn)確率最高的雙層雙向LSTM的網(wǎng)絡(luò)結(jié)構(gòu)。

表1 不同模型的準(zhǔn)確率對(duì)比

為了優(yōu)化輸入數(shù)據(jù)的尺度,對(duì)比使用不同尺度數(shù)據(jù)的輸入時(shí)的準(zhǔn)確率。經(jīng)過預(yù)處理的數(shù)據(jù)為特征維度為50、長(zhǎng)度100的時(shí)間序列,對(duì)應(yīng)頻率0～50 Hz,事件100 s,每個(gè)特征對(duì)應(yīng)帶寬1 Hz的頻段,序列每個(gè)時(shí)間點(diǎn)的間隔為1 s。我們對(duì)數(shù)據(jù)進(jìn)行不同尺度的裁剪,分別減少特征維度和序列長(zhǎng)度,保留較低頻段部分的時(shí)間序列前面的部分,設(shè)置訓(xùn)練次數(shù)1 000,從訓(xùn)練集隨機(jī)劃分20%的數(shù)據(jù)用于檢驗(yàn)。圖7顯示了準(zhǔn)確率隨輸入數(shù)據(jù)尺度的變化,橫坐標(biāo)表示保留的時(shí)間序列長(zhǎng)度,縱坐標(biāo)表示保留的特征數(shù),顏色表示最終準(zhǔn)確率。圖6顯示,準(zhǔn)確率隨著輸入數(shù)據(jù)的尺度增加而增高,但輸入數(shù)據(jù)達(dá)到一定尺度后,增加輸入的尺度對(duì)準(zhǔn)確率影響不明顯。當(dāng)輸入數(shù)據(jù)為40個(gè)通道、序列長(zhǎng)度為40時(shí)(對(duì)應(yīng)1～40 Hz、1～40 s的信息)準(zhǔn)確率最高(98.33%),將該尺度作為最終選取的輸入尺度。

圖7 準(zhǔn)確率隨輸入數(shù)據(jù)尺度的變化

為了避免過擬合,在每個(gè)BiLSTM層之后使用了dropout層,達(dá)到正則化的效果,在訓(xùn)練階段,為了防止深層神經(jīng)網(wǎng)絡(luò)過度擬合,隨機(jī)丟棄了一些網(wǎng)絡(luò)權(quán)值[16-17]。為了選取最優(yōu)的丟棄比例,從訓(xùn)練集隨機(jī)劃分出20%用于檢驗(yàn),圖8為準(zhǔn)確率隨丟棄比例的變化,當(dāng)丟棄比例為40%時(shí),準(zhǔn)確率達(dá)到最高98.3%,最終確定丟棄比例為40%。第一個(gè)dropout層忽略了從第一個(gè)BiLSTM層接收到的40%輸入,數(shù)據(jù)被輸入下一個(gè)BiLSTM層,第二個(gè)dropout層忽略了第二個(gè)從BiLSTM層接收到的40%輸入,并傳入全連接層,把全連接層的部分神經(jīng)隱藏,提高模型的泛化能力。

圖8 準(zhǔn)確率隨丟棄比例變化

最終選定的輸入為40個(gè)特征、長(zhǎng)度40的多通道時(shí)間序列,模型包含兩個(gè)雙向LSTM層和兩個(gè)全連接層,每個(gè)雙向LSTM層含有100個(gè)隱藏單元,第一個(gè)雙向LSTM層是多對(duì)多數(shù)出,輸出每個(gè)時(shí)刻的狀態(tài);第二個(gè)雙向LSTM層是多對(duì)單的輸出,將最后一步前向和后向流的輸出連接起來并饋送到分類層。每個(gè)雙向LSTM層后連接一個(gè)dropout層,比例為40%。第一個(gè)全連接層使用ReLU激活函數(shù),第二個(gè)全連接層使用Softmax激活函數(shù),實(shí)現(xiàn)分類功能。圖9給出模型的結(jié)構(gòu),表2給出模型各項(xiàng)參數(shù)。

圖9 模型結(jié)構(gòu)

表2 模型的超參數(shù)設(shè)置

為了評(píng)估算法的性能和穩(wěn)定性,用5折交叉驗(yàn)證檢驗(yàn)方法,將1 500個(gè)樣本均分為5組,每組300個(gè)樣本,每輪選取一組作為驗(yàn)證集,將留下的4組作為訓(xùn)練集,迭代次數(shù)為1 200。結(jié)果顯示(圖10)5輪訓(xùn)練的驗(yàn)證集準(zhǔn)確率在96.00%～99.67%之間,驗(yàn)證集平均準(zhǔn)確率為98.36%。使用全部訓(xùn)練集數(shù)據(jù)訓(xùn)練后,經(jīng)過測(cè)試集檢驗(yàn),準(zhǔn)確率達(dá)到97.5%,表明模型有較好的泛化能力。

圖10 5折交叉驗(yàn)證

4 結(jié) 語(yǔ)

使用內(nèi)蒙古地震臺(tái)網(wǎng)記錄的天然地震和爆破事件資料,選取地震事件和爆破事件的單臺(tái)垂直向記錄,經(jīng)過短時(shí)傅里葉變換后,拆分為多通道時(shí)間序列,作為輸入數(shù)據(jù)。經(jīng)過在驗(yàn)證集上的多次實(shí)驗(yàn)調(diào)參,選取最優(yōu)的輸入數(shù)據(jù)尺度和模型超參數(shù),最后確定使用包含兩個(gè)雙向LSTM層的神經(jīng)網(wǎng)絡(luò)作為分類器,實(shí)現(xiàn)天然地震和爆破的分類。經(jīng)過5折交叉驗(yàn)證,最終在驗(yàn)證集的平均準(zhǔn)確率達(dá)到98.36%。使用全部訓(xùn)練集數(shù)據(jù)訓(xùn)練模型,經(jīng)測(cè)試集檢測(cè),準(zhǔn)確率達(dá)到97.5%。實(shí)驗(yàn)結(jié)果表明,模型具有較好的穩(wěn)定性、準(zhǔn)確率和泛化能力。