Datist數(shù)據(jù)處理專家在日常會商中的初步應用

李玉鉸，宋美琴，張馨怡

(1.山西省地震局，山西 太原 030021；2.太原大陸裂谷動力學國家野外科學觀測研究站，山西 太原 030025)

0 引言

震情會商是我國地震主管部門50多年來形成的工作機制，是地震預報意見產(chǎn)出的關鍵環(huán)節(jié)。地震會商作為重要的震情研判手段，在地震監(jiān)測預報業(yè)務體系內(nèi)具有重要意義[1-3]。日常會商主要圍繞測震、形變、地下流體、電磁以及流動觀測中的數(shù)據(jù)變化來對地震形勢進行判定。測震學科中重要的一環(huán)節(jié)是近期地震活動的分析與匯總。傳統(tǒng)的工作模式一般分四步:從中國地震臺網(wǎng)中心地震編目網(wǎng)，針對不同需求分別下載并篩選相應目錄；利用mapsis或superseis等專用軟件根據(jù)會商需要通過手動調(diào)節(jié)不同選項，開展山西省、華北地區(qū)、大同窗等不同區(qū)域的地震統(tǒng)計、震中分布圖、N-T圖、M-T圖繪制，并將生成的圖件逐一保存到指定目錄下；按照匯報順序，將上述產(chǎn)出的震中分布圖等圖件以及相應的文字概況匯總到ppt；將ppt上傳FTP指定會商文件夾。上述工作如由一人來完成，基本上需要3～4個小時，且每日進行一次，耗費人力物力。若用自動化流程替代人工來完成，則能提高工作效率，節(jié)約人力資源[4-5]。

中國地震局地球物理研究所陳石研究員主導引入長安大學Datist數(shù)據(jù)處理專家系統(tǒng)，解決了上述問題,針對不同需求開發(fā)一系列流程，在日常工作中發(fā)揮積極的作用[6]。該文圍繞山西省地震局會商工作自身特點，結(jié)合傳統(tǒng)工作模式，開發(fā)系列流程，在實際工作中運行一年多，在提高工作效率等方面有較好的效果。

1 平臺簡介

Datist( 數(shù)據(jù)專家) 開發(fā)平臺是長安大學數(shù)字油田研究所歷時5年時間研發(fā)的，專項服務于大數(shù)據(jù)時代場景式( Context) 數(shù)據(jù)分析與數(shù)據(jù)挖掘的工具軟件，以管道式的數(shù)據(jù)處理方式增強業(yè)務邏輯的靈活度[7]。Datist最大特點就是在整體設計上遵循零代碼原則，用戶不需要了解復雜的編程技術，僅需要排列和組合各種功能節(jié)點，采用樂高式工作模式，即可實現(xiàn)對海量多源異構數(shù)據(jù)的整合與應用，且這些節(jié)點由使用人員來開發(fā)，克服了以往第三方提供的軟件經(jīng)常由于售后中斷而報廢的弊端。2017年初，中國地震局地球物理所牽頭將 Datist 平臺引入地震領域，此后不斷更新針對性功能，與地震監(jiān)測預報業(yè)務具有良好的兼容性，主要提供應急會商、震情跟蹤、前兆學科數(shù)據(jù)分析、臺站分布監(jiān)測等日常會商服務[6]。Datist運行界面主要包括工具箱和工作區(qū)兩部分，工作箱如第44頁圖1a所示，其中有多個節(jié)點供用戶直接使用，依據(jù)節(jié)點功能，分為14類，在此對較常用的做簡要介紹。

(1) 數(shù)據(jù)源節(jié)點。該分類項中包含16個節(jié)點，用戶通過連接數(shù)據(jù)庫、數(shù)據(jù)錄入、Excel、TXT、FTP、網(wǎng)頁抓取等多種方式將數(shù)據(jù)導入流程中。

(2) 行列計算節(jié)點。該分類項中包含33個節(jié)點，如篩選節(jié)點能通過簡單填寫篩選條件實現(xiàn)數(shù)據(jù)的篩選，過濾節(jié)點能將不需要的列直接刪除；匯總節(jié)點能通過匯總項的不同匯總得出某列數(shù)據(jù)不同項的和、均值，或?qū)Ω黜椷M行計數(shù)等。

(3) 腳本工具節(jié)點。該類節(jié)點為多種編程語言提供接口，如python、R、GMT、bas等，使編寫好的腳本能完美鏈接于Datist中。

(4) 制作報告節(jié)點。該分類項中的節(jié)點給用戶提供多種報告顯示方式，如，報告、Word、PPT、Excel等。使用戶能通過所需的方式將處理后的數(shù)據(jù)或圖以一定方式展示出來。

(5) 數(shù)據(jù)發(fā)布節(jié)點。該類節(jié)點為用戶提供多種數(shù)據(jù)發(fā)布方式，包括寫入數(shù)據(jù)庫，保存為文件，F(xiàn)TP下載、上傳，發(fā)微信等多種方式，使用戶生成的最終產(chǎn)品能通過流程推送至各種終端。工作區(qū)如圖1b所示，用戶在使用時，將所需節(jié)點拖拽至工作區(qū)，將節(jié)點內(nèi)所需內(nèi)容簡單填寫，以一定順序排列，并將不同節(jié)點連接起來，便能完成各種功能的實現(xiàn)?？傮w來說，Datist不僅節(jié)點可視化，操作簡單，僅需節(jié)點之間簡單拼接便能完成一定需求，降低了對用戶編程能力的要求，而且輸入輸出方式多樣，能與多種編程語言完美銜接，將過去不同編程語言實驗的功能程序有機整合，同時也便于用戶使用自己熟悉的編程工具開發(fā)不同的分析處理方法，隨時可植入Datist系統(tǒng)，用戶不需要安裝配置分析處理方法所用的語言環(huán)境，只需在Datist系統(tǒng)上執(zhí)行。

圖1 Datist數(shù)據(jù)處理專家界面展示Fig.1 Datist data processing expert interface display

2 流程開發(fā)

基于傳統(tǒng)工作的四步模式，編寫相應流程，分別完成各項需求，最終將各“小支流”以一定順序連接起來，完成整個會商ppt一鍵生成并傳送微信、FTP端的流程。下面按照不同功能分述如下。

2.1 不同類型地震目錄下載

在日常會商時，需要山西省ML≥1、華北地區(qū)ML≥2以及大同窗的地震目錄，按照傳統(tǒng)工作模式，每個地震目錄要分別進入網(wǎng)站，人工輸入?yún)?shù)下載,再根據(jù)需求進行篩選。如，大同窗地震目錄較繁瑣，分三步：下載山西省小震地震目錄；根據(jù)大同窗定義，篩選緯度在39°50′～40°05′、經(jīng)度在113°50′～114°05′范圍內(nèi)可定位地震及河北陽原臺、山西山自皂臺、山西陽原臺單臺記錄的S-P≤3.0 s的所有地震目錄[7]，整合成一個完整的大同窗地震目錄。若沒有篩選腳本，在大量的地震目錄數(shù)據(jù)中逐一篩選，基本需要1～2 h才能完成。下面對比介紹通過流程的方式完成大同窗地震目錄的獲取。當前所用的山西小震目錄庫是通過長安大學王磊老師編寫的流程，從網(wǎng)頁上抓取山西地震目錄，以一定規(guī)則每日定時更新存放于中國地震局第二監(jiān)測中心服務器上的數(shù)據(jù)庫。如圖2所示，通過數(shù)據(jù)庫節(jié)點填寫相應地址便能讀取該數(shù)據(jù)庫中的地震目錄，再通過篩選節(jié)點選出大同窗內(nèi)的地震目錄，合并整理便完成了大同窗地震目錄的自動化獲取，整個過程需要3～4 min，每天通過后臺發(fā)送預報人員直接使用。

圖2 大同窗地震目錄獲取流程Fig.2 Acquisition flow of the ‘Datong window’ earthquake catalogue

2.2 地震目錄統(tǒng)計與繪圖

在會商PPT中，為清晰展示近期地震情況，需要對地震目錄進行分類統(tǒng)計，如分震級檔、分區(qū)域統(tǒng)計等；還需要大量的圖形，如震中分布圖、M-T圖、N-T圖等來進行直觀展示。傳統(tǒng)工作方式中，對地震目錄的統(tǒng)計和繪圖一般為將編目網(wǎng)上下載的不同地震目錄分別導入mapsis或superseis中[8-13]，再通過多項操作來逐一完成每個圖件的繪制，一個完整的會商PPT所需圖件較多，導致工作人員需進行多次重復操作。通過編寫的流程，將每一步工作流程化，實現(xiàn)數(shù)據(jù)及圖件的自動化生成。在此以分震級檔統(tǒng)計地震數(shù)目及繪制震中分布圖為例來做展示。第45頁圖3為分震級檔統(tǒng)計地震數(shù)量的流程。圖3a所示首先連接數(shù)據(jù)庫，從數(shù)據(jù)庫中讀取地震目錄，日期節(jié)點加入了起始日期供下一步篩選地震做準備。在篩選地震目錄節(jié)點中，通過日期條件，分別篩選近一周和上周地震(見圖3b)；震級檔統(tǒng)計節(jié)點將不同震級的地震做出標識(見圖3c)。如，1.0≤震級<2.0級的地震標記為1～1.9，依次類推，將所有地震根據(jù)不同震級來區(qū)分；匯總節(jié)點又將不同標識的地震進行數(shù)目統(tǒng)計(見圖3d)；通過合并節(jié)點將本周與上周統(tǒng)計結(jié)果合并；格式調(diào)整節(jié)點將流程前面得出的數(shù)據(jù)根據(jù)所需格式進行調(diào)整，將多余的列刪除，最終得到所需的分震級檔統(tǒng)計列(見圖3d,括號內(nèi)為上周地震數(shù))；流程節(jié)點也可根據(jù)用戶需求來重新設定，如統(tǒng)計月情況，需將篩選節(jié)點的時間改為月尺度即可。如上所述，通過編寫流程實現(xiàn)地震分震級檔統(tǒng)計一鍵生成，當?shù)卣鹉夸洺霈F(xiàn)變化，得出的結(jié)果也隨之變化。圖4為震中分布圖自動化生成流程。先通過數(shù)據(jù)庫節(jié)點連接數(shù)據(jù)庫，從數(shù)據(jù)庫中讀取地震目錄；后通過篩選節(jié)點分別篩選出本周與上周地震目錄，再通過過濾節(jié)點，將繪圖所需的數(shù)據(jù)保留。繪制震中分布圖時，保留經(jīng)度、緯度和震級三列，通過文件收集器將數(shù)據(jù)收集，供繪圖使用，最后通過GMT節(jié)點編寫腳本(見圖4b)，調(diào)用流程前面整理出的數(shù)據(jù)便可得出震中分布圖(見圖4c)。圖片的修飾美化，可在GMT節(jié)點腳本進行修改，地震目錄的截取也可在前面流程中根據(jù)實際需求進行修改。

2.3 匯總PPT

未使用流程前，會商ppt的制作過程為將前期生成的圖片、統(tǒng)計的結(jié)果逐一粘貼到ppt，并按一定順序整合起來。運用流程的PPT節(jié)點省去了人工的多次復制、粘貼，實現(xiàn)了自動化替換整合ppt的功能。根據(jù)實際需求先設置一個ppt模板(見圖5a)，將所需的圖案文字預先進行排版，確定所在位置，后將其都設為變量，流程處理得到的數(shù)據(jù)、圖形便會根據(jù)變量名在相應的位置將其替換(見圖5b)。

2.4 上傳FTP

Datist數(shù)據(jù)專家提供了FTP節(jié)點，只需將FTP地址及所要上傳FTP目錄設置，便能將流程前面生成的PPT、報告等上傳至相應位置。

一個完整的流程由不同分支的小支流組合而成，不同的小流程處理不同的需求，通過小支流的拼接，按照預設的順序組合，最終產(chǎn)出一份完整的報告或PPT，通過數(shù)據(jù)發(fā)布中的節(jié)點推送至相應位置。

3 結(jié)論與討論

一鍵生成會商ppt流程已運行1年多，期間根據(jù)實際需求進行完善與改進。目前該流程已放于中國地震局第二監(jiān)測中心服務器上，設定在每周二下午4點自動觸發(fā)，推送會商PPT至FTP指定位置。此外，設定口令觸發(fā)機制，根據(jù)需求，隨時在企業(yè)微信端發(fā)送口令，觸發(fā)該流程。根據(jù)當前Datist數(shù)據(jù)專家流程使用情況，得出如下結(jié)論。

(1) Datist數(shù)據(jù)專家是一款實用性強，操作簡單的平臺，根據(jù)不同需求進行流程編寫，將一些簡單、重復性高的工作流程化，實現(xiàn)結(jié)果的一鍵產(chǎn)出化、智能化。

(2) 每個流程都是由多個小支流組合而成，用戶可隨時根據(jù)需求的變化對流程進行部分修改與完善，操作簡易，方便實用。

圖3 分震級檔統(tǒng)計地震目錄流程Fig.3 The flow of earthquake catalogue by magnitude

圖4 山西省近兩周震中分布圖自動化生成流程Fig.4 Automatic generation process of epicenter distribution map in recent two weeks in Shanxi Province

圖5 PPT模板及自動生成的PPTFig.5 PPT template and the automatically generated PPT

(3) 流程的開發(fā)，使業(yè)務人員節(jié)約了大量的時間，尤其在緊急會商時，通過流程，在短時間內(nèi)得到所需匯報課件，為快速產(chǎn)出后期的震情研判提供條件。

(4) 當前的流程只是對地震目錄的簡單統(tǒng)計、繪圖，其余測震學方法仍未開發(fā)，今后還需將一些成熟的測震學方法已有腳本或編寫新的代碼鏈接于Datist平臺，更好地服務于日常工作。