基于空地觀測的地震大數(shù)據(jù)處理系統(tǒng)研究

李 忠，劉海軍，余偉豪

（防災(zāi)科技學(xué)院，河北 三河 065201）

基于空地觀測的地震大數(shù)據(jù)處理系統(tǒng)研究

李 忠，劉海軍，余偉豪

（防災(zāi)科技學(xué)院，河北 三河 065201）

地震觀測數(shù)據(jù)包括地面和空間兩部分，地面地震臺站能夠監(jiān)測形變、重力、地磁、電磁、地電、流體等多種學(xué)科參數(shù)，空間衛(wèi)星能夠采集電離層離子密度、溫度、電磁場等多種數(shù)據(jù)，數(shù)據(jù)格式多種多樣，數(shù)據(jù)采樣頻率長短不一，屬于典型的大數(shù)據(jù)。本文分析了地震監(jiān)測產(chǎn)生的數(shù)據(jù)特點，符合大數(shù)據(jù)的“5V”特征；給出了大數(shù)據(jù)處理的技術(shù)框架，從大數(shù)據(jù)存儲、預(yù)處理、大數(shù)據(jù)分析、知識發(fā)現(xiàn)以及知識應(yīng)用幾個方面，分析了大數(shù)據(jù)處理的六個層次，闡述了不同層次需要的數(shù)據(jù)處理方法；從存儲管理技術(shù)、MapReduce技術(shù)模型、深度學(xué)習(xí)技術(shù)、信息融合與數(shù)據(jù)挖掘技術(shù)、可視化展示與虛擬現(xiàn)實技術(shù)等幾個方面探討了地震大數(shù)據(jù)處理的關(guān)鍵技術(shù)，并給出了兩例地震大數(shù)據(jù)應(yīng)用場景。大數(shù)據(jù)技術(shù)應(yīng)用于地震監(jiān)測分析將對人類戰(zhàn)勝地震災(zāi)害具有重要意義。

空地觀測；地震大數(shù)據(jù)；“5V”特征；地震監(jiān)測；處理框架

0 引言

自2012年美國提出大數(shù)據(jù)戰(zhàn)略以來，大數(shù)據(jù)以及大數(shù)據(jù)技術(shù)就一直受到各界的關(guān)注。以2013年為例，中國產(chǎn)生的數(shù)據(jù)總量超過 0.8ZB（相當(dāng)于 8億TB），是 2012年所產(chǎn)生的數(shù)據(jù)量的 2倍，相當(dāng)于2009年全球的數(shù)據(jù)總量，其中約有 80% 的數(shù)據(jù)與空間位置有關(guān)（李清泉和李德仁，2014）。盡管大數(shù)據(jù)的提出僅有短短四年時間，但發(fā)展非常快，由最初的 3V（Volume，Velocity，Variety），到 4V（Volume、Velocity、Variety、Value），再到最近的 5V（Volume、Velocity、Variety、Veracity、Value）（Aydin等，2015）。目前大數(shù)據(jù)的5V特點已經(jīng)在業(yè)界形成共識。我國政府在2015年也提出發(fā)展自己的大數(shù)據(jù)技術(shù)，將其提升到國家戰(zhàn)略高度，國內(nèi)各行業(yè)都制定了或者準(zhǔn)備制定針對性的大數(shù)據(jù)發(fā)展規(guī)劃。

地震造成的災(zāi)害損失在國際上是廣泛認(rèn)可的，對人類的傷害更是難以言表，因此各國政府對地震的監(jiān)測高度重視。我國是地震多發(fā)國家，地震已經(jīng)給我國人民帶來了巨大的災(zāi)難和心靈創(chuàng)傷。我國從邢臺地震后，逐步建起了覆蓋全國、重點監(jiān)測重要地區(qū)的地震地面觀測網(wǎng)絡(luò)，目前已建造了1500多個地震臺站，每天產(chǎn)生的數(shù)據(jù)達(dá)到

T級體量，包括地下水、地磁、應(yīng)變、應(yīng)力、地震波等若干學(xué)科，具有對一個地區(qū)持續(xù)不斷地、多角度觀測特點。地震衛(wèi)星監(jiān)測是近年來推出的新式監(jiān)測手段，能夠全天候、全時段地觀測地球變化，采集空間電磁場、電離層溫度、離子濃度等多類信息，這方面法國政府已走在了前面。中國政府將于2017年發(fā)射一顆地震電磁衛(wèi)星，實現(xiàn)中國境內(nèi)全覆蓋監(jiān)測，到時衛(wèi)星每天采集的地震觀測數(shù)據(jù)體量龐大，每天達(dá)到幾百個 G，涉及多個學(xué)科參數(shù)，其中包括各種數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)類型、圖形圖像、流媒體數(shù)據(jù)等形式?？臻g衛(wèi)星觀測與地面臺站監(jiān)測遙相呼應(yīng)，二者的有機(jī)融合能夠更加精確地實現(xiàn)對地震事件的監(jiān)測（吳沖龍和劉剛，2016），所采集的數(shù)據(jù)將對地震監(jiān)測分析提供大量的、多參數(shù)的基礎(chǔ)數(shù)據(jù)信息，形成體量巨大的大數(shù)據(jù)集合。通過分析研究這些多維度、連續(xù)的數(shù)據(jù)信息，挖掘其中的未知規(guī)律知識，科學(xué)家能夠更深入地理解地震，了解震源機(jī)制，揭示地震產(chǎn)生的機(jī)理、地質(zhì)活動規(guī)律，分析地震涉及范圍、評估災(zāi)損情況等，以便對震前進(jìn)行預(yù)測預(yù)警、震后應(yīng)急救援等工作，最大程度地降低損失。因此地震大數(shù)據(jù)蘊含著巨大的價值，為地震行業(yè)發(fā)展提供了難得的機(jī)遇。但是，地震大數(shù)據(jù)也為數(shù)據(jù)存儲、傳輸、處理、檢索、顯示等帶來很大的困難。

1 地震空地監(jiān)測的大數(shù)據(jù)特征分析

大數(shù)據(jù)（Big Data）應(yīng)用需要新型處理模式才能使其具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力，以便適應(yīng)海量、高增長率和多樣化的信息資產(chǎn)（李清泉和李德仁，2014；吳沖龍等，2016）。地震監(jiān)測大數(shù)據(jù)主要產(chǎn)生于覆蓋全國的地基監(jiān)測臺站和全天候觀測的空間衛(wèi)星以及相關(guān)的科研和生產(chǎn)過程中，包括地下水、地電磁、應(yīng)變、空間電磁場、空間離子濃度與溫度等多個學(xué)科數(shù)據(jù)。

1.1 地震監(jiān)測數(shù)據(jù)的體量特征

從前述可以看出，地震監(jiān)測主要包括地面臺站和空間衛(wèi)星兩大部分。地面臺站地震網(wǎng)已經(jīng)運行了幾十年，臺站分布密度還在不斷加密中，已經(jīng)產(chǎn)生的數(shù)據(jù)量達(dá)到P級，而地震衛(wèi)星也將產(chǎn)生P級的數(shù)據(jù)，因此地震監(jiān)測原始數(shù)據(jù)將是非常巨大的，人類觀測已進(jìn)入大數(shù)據(jù)時代（何國金等，2015）。例如，空間衛(wèi)星觀測數(shù)據(jù)可能被切割為5分鐘一段的數(shù)據(jù)文件，可以將250m和1000m分辨率光譜成像數(shù)據(jù)分別保存，每天將產(chǎn)生極其龐大的數(shù)據(jù)文件和數(shù)據(jù)量（劉嘉寧，2014）。不僅如此，各種二級、三級數(shù)據(jù)、遙感圖像、視頻流數(shù)據(jù)、三維可視化圖形等作為成果將共享在地震系統(tǒng)網(wǎng)絡(luò)中，數(shù)據(jù)體量更是難以估計，使得地震監(jiān)測數(shù)據(jù)呈現(xiàn)出大數(shù)據(jù)體量特征。

1.2 地震監(jiān)測數(shù)據(jù)的多樣性

毋庸置疑，地震監(jiān)測數(shù)據(jù)涉及若干的學(xué)科參數(shù)，地面監(jiān)測的水位、溫度、地磁場信息、應(yīng)力、應(yīng)變、地震波的P波、S波等等，不僅如此還有監(jiān)測圖形曲線資料、圖像信息等；而地震衛(wèi)星觀測數(shù)據(jù)包括電離層溫度、離子密度、空間電磁場、各種波形圖形、遙感圖像等若干數(shù)據(jù)參數(shù)，種類繁多，數(shù)據(jù)采集多樣，采樣頻率不一。如果再計算上模擬監(jiān)測臺站的圖形數(shù)據(jù)信息，那么地震觀測數(shù)據(jù)在存儲格式方面既有文本格式，也存在數(shù)據(jù)庫結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)數(shù)據(jù)，以及圖形、圖像、視頻、音頻等流媒體數(shù)據(jù)，具有復(fù)雜的多樣性特征。

1.3 地震監(jiān)測數(shù)據(jù)是真實的

從 2012年開始，IBM 提出數(shù)據(jù)的真實性（Veracity）已經(jīng)作為大數(shù)據(jù)的一個特征。由于數(shù)據(jù)的噪音、缺失、不一致性、歧義等問題會導(dǎo)致數(shù)據(jù)的不確定性，因此大數(shù)據(jù)必然要具體真實的（IBM，2012），地震監(jiān)測數(shù)據(jù)具有真實性特征。觀測數(shù)據(jù)中的噪聲永遠(yuǎn)伴隨著真正的信息而存在，噪聲也一直是地震數(shù)據(jù)處理中的一個難題！盡管目前的科學(xué)理論和技術(shù)很發(fā)達(dá)，國內(nèi)外若干學(xué)者提出各種各樣的除噪算法，旨在將噪聲從污染的信號中剔除，保留清潔的數(shù)據(jù)信息，但是即使再好的除噪算法也很難完全將噪聲消除，因此污染的數(shù)據(jù)永遠(yuǎn)是真實存在的。因為斷電、突發(fā)事件等因素，常常導(dǎo)致觀測儀器不工作，從而觀測數(shù)據(jù)出現(xiàn)短期甚至很長一段的數(shù)據(jù)缺失，為后續(xù)的數(shù)據(jù)分析造成困難。

1.4 地震監(jiān)測數(shù)據(jù)處理要求高效率

眾所周知，如果不出現(xiàn)停電、突發(fā)事故等因素，無論天基的衛(wèi)星還是地基的地震臺站，地震觀測儀器一直按照設(shè)定的頻率持續(xù)不斷地產(chǎn)出數(shù)據(jù)。但是人類的數(shù)據(jù)處理速度遠(yuǎn)趕不上數(shù)據(jù)獲取的速度，這必然造成大量數(shù)據(jù)信息的浪費，不能有效地從數(shù)據(jù)中提取出人們關(guān)心的知識（石強，2016）?？臻g衛(wèi)星觀測是一個全天候、多尺度、范圍廣的持續(xù)觀測過程，在突發(fā)災(zāi)害事件來臨時，必然要求數(shù)據(jù)處理的高效率，以最快的速度從海量的信息中獲取需要的資料，便于決策和安排救援任務(wù)。實時的數(shù)據(jù)處理、高效的信息解讀將是大數(shù)據(jù)面臨的最重大的科研問題。

1.5 地震監(jiān)測數(shù)據(jù)具有高價值性

我國地震觀測歷經(jīng)四十余年歷史，積累了寶貴的數(shù)據(jù)資料，這些資料是我國地震科學(xué)研究、防震減災(zāi)、應(yīng)急救援等工作的重要基石。隨著我國第一顆地震觀測衛(wèi)星的即將升空，地震觀測數(shù)據(jù)將極大地擴(kuò)充我國地震觀測數(shù)據(jù)資料庫，將為地震研究、應(yīng)急救援等提供更豐富的數(shù)據(jù)資料，其中蘊含著巨大的科研價值和社會經(jīng)濟(jì)效益。隨著計算機(jī)技術(shù)的發(fā)展和人工智能技術(shù)的進(jìn)步，數(shù)據(jù)分析科學(xué)將發(fā)揮重要作用，地震監(jiān)測數(shù)據(jù)的價值也將越來越大。

地震監(jiān)測數(shù)據(jù)包括地震前兆數(shù)據(jù)和測震數(shù)據(jù)。盡管我國的地震衛(wèi)星還沒有發(fā)射，但未雨綢繆，現(xiàn)在就需要做好規(guī)劃和預(yù)設(shè)，因此地震監(jiān)測數(shù)據(jù)也包括空間衛(wèi)星觀測數(shù)據(jù)。目前我國地面地震臺站能夠監(jiān)測形變、重力、地磁、電磁、地電、流體等多種參數(shù)，數(shù)據(jù)格式多種多樣，數(shù)據(jù)采樣頻率長短不一。如果再包括將來空間衛(wèi)星的電離層離子密度、溫度、電磁場等多種數(shù)據(jù)，將形成體量巨大的海量數(shù)據(jù)集合，完全符合大數(shù)據(jù)的“5V”特征。

2 地震監(jiān)測大數(shù)據(jù)處理框架

地震監(jiān)測大數(shù)據(jù)處理是一個復(fù)雜的過程，按照“數(shù)據(jù)采集—存儲—預(yù)處理—入庫—數(shù)據(jù)分析—知識發(fā)現(xiàn)—知識應(yīng)用”的步驟，一個地震大數(shù)據(jù)處理的框架如圖1所示。

2.1 大數(shù)據(jù)存儲與傳輸

從圖1可以看出，各類監(jiān)測設(shè)備獲得海量的多元數(shù)據(jù)，由于數(shù)據(jù)體量巨大，在存儲階段就遇到挑戰(zhàn)。地震觀測數(shù)據(jù)來源于分布全國的幾千個地基臺站以及空間衛(wèi)星。地震臺站的數(shù)據(jù)逐級匯聚，直到國家臺網(wǎng)中心，存儲在多個位置；地震衛(wèi)星數(shù)據(jù)保存在地面接收站，可以看做一個獨立的大數(shù)據(jù)系統(tǒng)?？紤]到地震數(shù)據(jù)的安全性和保密性，地震監(jiān)測大數(shù)據(jù)存儲可以采用“分布-集中”模式，采用通信專網(wǎng)進(jìn)行數(shù)據(jù)傳輸。2.1.1 分布存儲

依托地震數(shù)字專網(wǎng)建立云存儲系統(tǒng)，各站點均是一個“云結(jié)點”，逐級匯聚生成結(jié)點、匯聚節(jié)點等，直到國家臺網(wǎng)中心，形成一個覆蓋全國的“樹型”云存儲結(jié)構(gòu)。同時建立多個二級中心結(jié)點，建設(shè)多個備份庫，分擔(dān)國家中心節(jié)點的任務(wù)和負(fù)荷，形成一個“網(wǎng)狀”的存儲結(jié)構(gòu)。

2.1.2 集中存儲

大數(shù)據(jù)問題主要是數(shù)據(jù)處理問題。因此地震觀測數(shù)據(jù)需要體現(xiàn)價值，必須進(jìn)行數(shù)據(jù)分析和處理。盡管分布式處理技術(shù)、云計算等能夠滿足一些需求，但目前數(shù)據(jù)處理方法對集中式存儲數(shù)據(jù)更適用。因此在國家中心、二級中心、衛(wèi)星接收站進(jìn)行數(shù)據(jù)的集中存儲，更利于數(shù)據(jù)處理和分析。

2.2 數(shù)據(jù)預(yù)處理

高質(zhì)量的數(shù)據(jù)是進(jìn)行知識發(fā)現(xiàn)的重要保證。但是傳感器采集的數(shù)據(jù)總是存在這樣那樣的問題，如噪聲、缺失、重復(fù)、不一致等問題，這就需要進(jìn)行數(shù)據(jù)的預(yù)處理操作。預(yù)處理的方法主要包括數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)歸約、數(shù)據(jù)變換等。

2.3 大數(shù)據(jù)分析技術(shù)

大數(shù)據(jù)分析技術(shù)是大數(shù)據(jù)系統(tǒng)的基本任務(wù)，需要對獲得的數(shù)據(jù)信息進(jìn)行基本的數(shù)據(jù)操作，如統(tǒng)計、查詢、報表、OLAP分析、圖形可視化分析、數(shù)據(jù)特征分析等，以便為進(jìn)一步的知識發(fā)現(xiàn)提供基本的數(shù)據(jù)特征信息。

2.4 知識發(fā)現(xiàn)

從大數(shù)據(jù)庫中挖掘有用的知識一直是人類夢寐以求的，這也是大數(shù)據(jù)處理中最感興趣的、最重要的一環(huán)。在知識發(fā)現(xiàn)階段，各種現(xiàn)代信息處理手段都會使用到，如數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、可信計算、并行計算、云計算等，試圖利用強大的計算機(jī)計算能力獲取隱藏在大數(shù)據(jù)背后的知識。

圖1 地震大數(shù)據(jù)系統(tǒng)框架Fig.1 Processing system framework of seismic big data

2.5 知識應(yīng)用

大數(shù)據(jù)分析最終目的是為人類服務(wù)的，地震觀測大數(shù)據(jù)處理系統(tǒng)將為地震預(yù)測分析、地震預(yù)警處理、應(yīng)急救援、虛擬現(xiàn)實、場景模擬、GIS合成、知識展現(xiàn)等提供服務(wù)，幫助人們在地震災(zāi)害來臨前、中、后全過程進(jìn)行科學(xué)決策和合理安排任務(wù)，最大限度地降低損失。

我國地震衛(wèi)星還沒有發(fā)射，但是未雨綢繆。借鑒我國的氣象衛(wèi)星、國土資源衛(wèi)星、海洋衛(wèi)星（洪陽等，2016）、農(nóng)業(yè)衛(wèi)星等大數(shù)據(jù)系統(tǒng)建設(shè)情況，可以進(jìn)行借鑒，我國地震衛(wèi)星觀測大數(shù)據(jù)結(jié)構(gòu)如圖 2所示。

在圖2中，地震大數(shù)據(jù)系統(tǒng)被劃分為三個層次：數(shù)據(jù)層、技術(shù)層和應(yīng)用層，下層為上層提供數(shù)據(jù)與信息，在頂層是大數(shù)據(jù)的應(yīng)用部分，是基于大數(shù)據(jù)提供的服務(wù)。

圖2 地震衛(wèi)星大數(shù)據(jù)系統(tǒng)結(jié)構(gòu)Fig.2 Big data system structure of the earthquake satellite

3 地震監(jiān)測大數(shù)據(jù)處理關(guān)鍵技術(shù)

作為一個全新的研究對象，地震大數(shù)據(jù)研究剛剛起步，還有很多問題需要探討，尤其是在大數(shù)據(jù)建模方法、面向地震大數(shù)據(jù)的機(jī)器學(xué)習(xí)算法、數(shù)據(jù)挖掘技術(shù)、信息融合技術(shù)、地震大數(shù)據(jù)可視化算法、存儲與安全技術(shù)等，都需要進(jìn)一步的加以研究，以提高數(shù)據(jù)處理效率。

3.1 存儲管理技術(shù)

地震大數(shù)據(jù)面臨的首要問題就是存儲，傳統(tǒng)的存儲方式已經(jīng)無法滿足要求。云存儲是將眾多低廉的存儲設(shè)備整合成存儲資源放到云端為用戶提供存取服務(wù)，通過虛擬化技術(shù)節(jié)省了存儲空間，提高了存儲效率，實現(xiàn)了彈性式擴(kuò)展。海量數(shù)據(jù)的增速和數(shù)據(jù)組織的不確定性需要易擴(kuò)展、易管理、高靈活、低成本的云存儲系統(tǒng)的支持。

NoSQL數(shù)據(jù)庫是在云環(huán)境下提出的用于管理大規(guī)模數(shù)據(jù)集合的分布式、非關(guān)系型數(shù)據(jù)庫系統(tǒng)（Cattell R，2011；申德榮等，2013），支持結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的高并發(fā)讀寫（Mikayel等，2012），對海量數(shù)據(jù)的存儲管理和分布式并行計算具有較大優(yōu)勢。NoSQL的一個關(guān)鍵特征是能在多個服務(wù)器上實現(xiàn)“無共享”水平縮放，復(fù)制及數(shù)據(jù)分區(qū)（Cattell R，2011），在 Web2.0環(huán)境下對海量數(shù)據(jù)進(jìn)行有效的存儲管理。

3.2 MapReduce技術(shù)模型

MapReduce是谷歌公司提出的并發(fā)式處理海量數(shù)據(jù)的編程模型，由Map和Reduce兩個階段組成，過程如圖3所示（Gao等，2017）。當(dāng)用戶提交任務(wù)后，MapReduce將輸入數(shù)據(jù)切分成若干spilt片，并將每一個spilt交給一個Map任務(wù)槽進(jìn)行處理，spilt被解析成一系列鍵值對（key-value）；然后每個Map任務(wù)槽調(diào)用用戶自己編寫的Map函數(shù)，產(chǎn)生一系列中間結(jié)果，在被用戶定義的Partition函數(shù)劃分后，傳遞給 Reduce任務(wù)槽，并利用用戶編寫的 Reduce函數(shù)輸出到文件中；當(dāng)所有的Map和Reduce任務(wù)都執(zhí)行完畢后，返回用戶程序（王習(xí)特等，2015）。MapReduce隱藏了分布式實現(xiàn)的底層細(xì)節(jié)，擁有簡單實用的特點，省去了程序員在分布式編程上的勞動代價（Dean 等，2004）。

圖3 MapReduce處理過程Fig.3 MapReduce processing

3.3 深度學(xué)習(xí)技術(shù)

深度學(xué)習(xí)來源于人工神經(jīng)網(wǎng)絡(luò)，是通過一定的訓(xùn)練方法對樣本數(shù)據(jù)訓(xùn)練，得到一個多層的深度網(wǎng)絡(luò)結(jié)構(gòu)的機(jī)器學(xué)習(xí)模型（BENGIO等，2009），其原理是模仿人類大腦處理信息的分層結(jié)構(gòu)，以期得到事物本質(zhì)的特征。深度學(xué)習(xí)的多層結(jié)構(gòu)更容易實現(xiàn)復(fù)雜函數(shù)的逼近，提高泛化能力（BENGIO等，2011）。地震大數(shù)據(jù)系統(tǒng)信息學(xué)科多樣，種類繁雜，數(shù)據(jù)量龐大，傳統(tǒng)技術(shù)幾乎不可能發(fā)現(xiàn)數(shù)據(jù)中內(nèi)在的本質(zhì)特征，難以發(fā)現(xiàn)其中隱含的規(guī)律知識，因此將深度學(xué)習(xí)技術(shù)應(yīng)用于地震大數(shù)據(jù)系統(tǒng)是一種必然的選擇。歷經(jīng)十余年的發(fā)展，深度學(xué)習(xí)方法已經(jīng)有幾十種之多，如卷積深度學(xué)習(xí)網(wǎng)絡(luò)、深度置信網(wǎng)絡(luò)（DBN）（Hinton等，2014）、深度玻爾茲曼機(jī)等，將這些方法應(yīng)用于地震大數(shù)據(jù)處理將是下一步需要深入研究的課題。

3.4 信息融合與數(shù)據(jù)挖掘技術(shù)

對于一個地區(qū)地震的觀測，有來自地基的臺站觀測數(shù)據(jù)，也有天基的衛(wèi)星觀測信息，因此需要綜合考慮這些傳感器獲取的寶貴數(shù)據(jù)資源，這需要采用信息融合技術(shù)。數(shù)據(jù)融合是對某個事件，協(xié)同組合兩個或更多影像數(shù)據(jù)，期望獲取比單一影像資料更多的知識（Alparone等，2015）。在衛(wèi)星遙感圖像融合方面，多傳感器在同一時刻的遙感圖像融合和不同成像條件下具有互補信息的遙感圖像融合都屬于合理的信息融合（張良培等，2016）。融合后的影像比單一信息源圖像更清晰、分辨率更高、視覺效果更佳。

如果說，信息融合技術(shù)從廣度對地震大數(shù)據(jù)提高精度，那么數(shù)據(jù)挖掘技術(shù)更像是從深度對地震大數(shù)據(jù)進(jìn)行規(guī)律探索。天基和地基的地震觀測大數(shù)據(jù)，在語義表達(dá)、信息組織、知識發(fā)現(xiàn)等方面存在不同層次的數(shù)據(jù)挖掘方法，這種時空大數(shù)據(jù)也給數(shù)據(jù)挖掘技術(shù)提供了充分發(fā)揮作用的舞臺（李德仁等，2015）。因此大數(shù)據(jù)挖掘技術(shù)對于地震數(shù)據(jù)處理是非常關(guān)鍵的。

3.5 可視化展示與虛擬現(xiàn)實技術(shù)

數(shù)據(jù)可視化以直觀的視覺效果和符合人類思維的方式為人們提供信息服務(wù)，這在大數(shù)據(jù)時代尤為重要。大數(shù)據(jù)體量巨大、種類多樣、不確定信息占比很多，這造成大數(shù)據(jù)系統(tǒng)處理效率和計算結(jié)果都不理想，人類也很難想象其中問題所在。而地震大數(shù)據(jù)可視化和虛擬現(xiàn)實展示技術(shù)，可以將龐大的天基和地基數(shù)據(jù)集以一種直觀的形態(tài)呈現(xiàn)出來，人們可以觀察其中的奧妙和問題所在，實現(xiàn)地震要素、地震發(fā)生過程、地震監(jiān)測預(yù)報、地震產(chǎn)生機(jī)理等的多維、動態(tài)的可視化表示，為地震前兆預(yù)警、震后應(yīng)急救援提供直觀的信息服務(wù)。

4 應(yīng)用場景展現(xiàn)

在大數(shù)據(jù)時代，建立在相關(guān)關(guān)系分析法基礎(chǔ)上的預(yù)測是大數(shù)據(jù)的核心，同時人們需要從傳統(tǒng)的決策模式過渡到數(shù)據(jù)指導(dǎo)決策的新模式中，在大數(shù)據(jù)持續(xù)發(fā)展的過程中，會漸漸地進(jìn)化為數(shù)據(jù)即決策的行為模式（李建中等，2012）。天基-地基一體化的地震監(jiān)測大數(shù)據(jù)具有監(jiān)測時間長、數(shù)據(jù)多樣、實時性強等特點，在地震災(zāi)害來臨時需要及時、快速地處理，以獲取災(zāi)區(qū)的全面信息。

4.1 基于地震前兆異常的地理位置精確定位

不同的觀測站和衛(wèi)星獲取的信息格式不一，學(xué)科多樣，無結(jié)構(gòu)化數(shù)據(jù)居多，因此需要以私有云的NoSQL技術(shù)進(jìn)行處理；結(jié)果通過數(shù)字專網(wǎng)傳送到上級匯聚節(jié)點，經(jīng)過數(shù)據(jù)清洗等預(yù)處理后，進(jìn)入中心節(jié)點；結(jié)合衛(wèi)星地面站處理的天基數(shù)據(jù)結(jié)果，進(jìn)行模式識別和可視化分析，確定地震前兆信息狀態(tài)；最后基于 GIS系統(tǒng)進(jìn)行引發(fā)地震前兆的精確定位。

4.2 利用地震衛(wèi)星大數(shù)據(jù)進(jìn)行科學(xué)研究

在大數(shù)據(jù)環(huán)境下，地震工作者需要利用MapReduce技術(shù)改進(jìn)有關(guān)處理算法以便進(jìn)行分布式并行處理和云計算，將地基和天基的信息結(jié)合起來進(jìn)行模式識別、數(shù)據(jù)挖掘、虛擬場景等研究，以便于發(fā)現(xiàn)地震規(guī)律性知識和地震引起的災(zāi)害評估問題，提供決策支持的技術(shù)服務(wù)。

5 結(jié)束語

大數(shù)據(jù)時代，各行各業(yè)都面臨著數(shù)字的挑戰(zhàn)和機(jī)遇，地震領(lǐng)域也無例外：大數(shù)據(jù)既給存儲、傳輸、管理、分析處理、應(yīng)用等帶來麻煩，也給地震預(yù)測預(yù)報、震后救援、精確決策等提供了可靠的信息資料。地震監(jiān)測大數(shù)據(jù)系統(tǒng)的結(jié)構(gòu)還需要不斷完善，需要在實用中進(jìn)行改進(jìn)和優(yōu)化。利用大數(shù)據(jù)技術(shù)將地基監(jiān)測數(shù)據(jù)和天基觀測數(shù)據(jù)進(jìn)行有機(jī)融合和處理，對人類戰(zhàn)勝地震災(zāi)害具有重要意義。

[1] Alparone L, Aiazzi B, Baronti S. 2015. Remote Sensing Image Fusion. Boca Raton, Florida, USA: CRC Press.

[2] BENGIO. Y. 2009. Learning deep architectures for AI.Foundations and Trends in Machine Learning, 2(1): 1-127.

[3] BENGIO Y, DELALLEAU O. 2011. On the expressive power of deep architectures// Proc of the 14th International Conference on Discovery Science. Berlin: Springer-Verlag,18-36.

[4] Cattell R. 2011. Scalable SQL and NoSQL data stores. Acm Sigmod Record, 39(4): 12-27.

[5] Dean J, Ghemawat S. 2004. MapReduce: simplified data processing on large clusters// Conference on Symposium on Opearting Systems Design & Implementation. USENIX Association, 10-10.

[6] G. Aydin, I. R. Hallac, B. Karakus. 2015. Architecture and Implementation of a Scalable Sensor Data Storage and Analysis System Using Cloud Computing and Big Data Technologies. Journal of Sensors, vol. 2015.

[7] Gao Y, Zhou Y, Zhou B. 2017. Handling Data Skew in MapReduce Cluster by Using Partition Tuning. Journal of Healthcare Engineering, 8(2): 13-18.

[8] Han B, Zhao G, Bi Y, et al. 2014. A New Method of Identifying Ground-Based Electromagnetic Anomalies-Case Study of the Sichan Lushan 7. 0 Earthquake// Dragon 3Mid Observation Satellite in Large Data Age. Journal of satellite applications, 12: 28-33.

[17] Mikayel Vardanyan. 2012. Pickinh the right No SQL Database Tool Posted. http://blog.monitis.com/index.php/2011/05/22/picking-the-right-nosql-database-tool.

[18] SHEN De-Rong, YU Ge, WANG Xi-Te. 2013. Survey on NoSQL for Manangemengt of Big Data. Journal of Software,8: 1786-1803.

[19] SHI Qiang. 2016. Remote Sensing Big Data: Research Status and Development Trends. Electronic and Electro-optical Systems, 1: 1-12.

[20] WANG Xi-Te, SHEN De-Rong, YU Ge. 2015. Research on Maximum Benefit Problem in a MapReduce Cluster.CHINESE JOURNAL OF COMPUTERS, (01): 109-121.

[21] WU ChongLong, LIU Gang, ZHANG Xialin. 2016.Discussion on geological science big data and its applications.China Sci Bull, 61: 1797-1807.

[22] ZHANG L P, SHEN H F, 2016. Progress and future of remote sensing data fusion. Journal of Remote Sensing, 20(5):1050-1061.Term Results. Dragon 3Mid Term Results.

Study on Big Data Processing System of the Seismic Monitoring Based on Space and Ground

LI Zhong, LIU Hai-jun, YU Wei-hao
(Institute of Disaster Prevention. Sanhe, Hebei province 065201, China,)

Seismic observation data include two parts of the ground and space. The ground seismic stations can monitor various parameters such as deformation, gravity, geomagnetism, magnetism, geo-electricity, fluid and so on,and the spatial satellites can collect the ion density, temperature, electromagnetic field of space ionospheric and so on. Therefore, seismic observation data belongs to big data because of the format diversity and different lengths of sampling frequency. The seismic monitoring data conforms to the "5V" feature of big data based on Based on the analysis of data characteristics. The processing technical framework of big data is given. This paper analyzes the six levels of big data processing, and expounds the data processing methods needed at different levels from several aspects of data storage, preprocessing, large data analysis, knowledge discovery and knowledge application. The key technologies of seismic big data processing are discussed from several aspects of storage management technology,MapReduce technology model, depth learning technology, information fusion and data mining technology, and visual display and virtual reality technology. Two applying scenarios of seismic big data are given. The application of big data technology in seismic monitoring and analysis will be the great significance for human beings overcome the earthquake disaster.

Observation of space and ground; Seismic big data; "5V" feature; seismic monitoring; Processing framework

中央高校基本科研業(yè)務(wù)費專項資金(No. ZY20160106)；河北省科技支撐計劃項目(No.13210122)

李忠(1966-)，男，教授，博士，2008年畢業(yè)于中國礦業(yè)大學(xué)地球信息科學(xué)專業(yè)，現(xiàn)從事地質(zhì)災(zāi)害評價、信息處理技術(shù)、大數(shù)據(jù)技術(shù)等研究，已發(fā)表論文80余篇；劉海軍(1979-)，女，現(xiàn)為防災(zāi)科技學(xué)院講師，主要研究領(lǐng)域為數(shù)字圖像處理；余偉豪(1992-)，男，防災(zāi)科技學(xué)院碩士研究生在讀，研究方向：數(shù)據(jù)挖掘技術(shù)。

TP701

A

10.3969/j.issn.1003-6970.2017.12.010

本文著錄格式：李忠，劉海軍，余偉豪. 基于空地觀測的地震大數(shù)據(jù)處理系統(tǒng)研究[J]. 軟件，2017，38（12）：54-60

[9] HE GuoJin, WANG LiZhe, MA Yan. 2015. Processing of earth observation big data: Challenges and countermeasures.SCIENCE CHINA PRESS, 60(5): 470-478.

[10] Hinton G E, Osindero S, Teh Y W. 2014. A Fast Learning Algorithm for Deep Belief Nets. Neural Computation, 18(7):1527-1554.

[11] HONG Yang, HOU Xue-Yan. 2016. Construction and Application of Big Data Platform for Ocean. Journal of satellite applications, 6: 26-30.

[12] IBM. 2012. What is big data?[EB/OL]. http://www-01.ibm.com/software/data/bigdata/.

[13] LI De-Ren, MA Jun, SHAO Zhen-Feng. 2015. Study on Space-Time Big Data and Its Application. Journal of satellite applications, 9: 87-91.

[14] Li Jianzhong and Liu Xianmin, 2012. An Important Aspect of Big Data: Data Usability. Journal of Computer Research and Development, 50(6): 1147-1162.

[15] LI Qingquan, Li Deren. 2014. Big data GIS. Geomatics and Information Science of Wuhan University, 39(6): 641-644, 666.[16] LIU Jia-Ning. 2014. Development Status and Trend of Earth