非“十五”前兆數(shù)據(jù)轉(zhuǎn)換方案的研究與應(yīng)用*

田 野，郝 臻，王小娟，牛延平，王建軍，2

0 引言

中國地震前兆臺(tái)網(wǎng)作為我國目前規(guī)模最大的地震前兆監(jiān)測臺(tái)網(wǎng)，涉及多項(xiàng)學(xué)科，是國內(nèi)地震前兆數(shù)據(jù)共享服務(wù)的主要數(shù)據(jù)來源 (周克昌等，2009;楊滿棟等，2000)。中國地震前兆數(shù)據(jù)管理系統(tǒng)實(shí)現(xiàn)了地震前兆數(shù)據(jù)的逐級(jí)自動(dòng)采集、交換、匯集以及野外觀測儀器的網(wǎng)絡(luò)化控制，為前兆臺(tái)網(wǎng)統(tǒng)一規(guī)范的運(yùn)行、觀測數(shù)據(jù)的整合與數(shù)據(jù)共享服務(wù)提供了可靠的技術(shù)支撐平臺(tái)。

“十五”前兆數(shù)字地震觀測網(wǎng)絡(luò)工程項(xiàng)目和“九五”并網(wǎng)改造工程的建設(shè)及運(yùn)行，使各省前兆臺(tái)網(wǎng)的大多數(shù)數(shù)字地震監(jiān)測儀器接入地震局行業(yè)網(wǎng)，大大簡化了區(qū)域臺(tái)網(wǎng)維護(hù)的復(fù)雜度，為觀測數(shù)據(jù)的管理和科學(xué)共享提供了極大便利。然而，部分觀測儀器不能并網(wǎng)接入“十五”前兆臺(tái)網(wǎng)的現(xiàn)象依然普遍存在，并且隨著地震前兆理論研究和探測方法的不斷進(jìn)步，多種結(jié)構(gòu)各異、類型繁多的前兆數(shù)據(jù)將源源不斷地產(chǎn)生，這都對(duì)“十五”前兆數(shù)據(jù)管理系統(tǒng)的適用性和穩(wěn)定性提出了新的挑戰(zhàn)。

本文介紹了一種新的數(shù)據(jù)轉(zhuǎn)換的實(shí)施方案，旨在解決目前存在的部分前兆儀器不能并入“十五”前兆數(shù)據(jù)管理系統(tǒng)，以及該類儀器產(chǎn)出的數(shù)據(jù)無法自動(dòng)入庫的問題，并對(duì)該實(shí)施方案的運(yùn)行情況及存在的問題進(jìn)行了分析和展望。

1 運(yùn)行現(xiàn)狀

“十五”前兆臺(tái)網(wǎng)充分利用計(jì)算機(jī)通信技術(shù)，將前兆數(shù)據(jù)系統(tǒng)部署在網(wǎng)絡(luò)上，通過基于web的采集管理軟件和數(shù)據(jù)處理軟件，實(shí)現(xiàn)了前兆數(shù)據(jù)的統(tǒng)一管理及數(shù)據(jù)資源的共享和開放。“十五”前兆臺(tái)網(wǎng)信息系統(tǒng)的數(shù)據(jù)傳控流程如圖1所示 (馬文娟等，2010;黃暉，2008)。相對(duì)于早期的前兆系統(tǒng)，“十五”前兆數(shù)據(jù)網(wǎng)絡(luò)通過以太網(wǎng)、采用基于TCP/IP協(xié)議的SOCKET連接的前兆臺(tái)網(wǎng)專用設(shè)備與客戶端進(jìn)行數(shù)據(jù)信息交換 (中國地震局，2005a，b)，其傳輸模式有著明顯的優(yōu)勢，它使觀測數(shù)據(jù)的傳輸和管理更加高效、安全、便捷，這種模式是信息網(wǎng)絡(luò)化的必然要求。

圖1 “十五”數(shù)據(jù)傳控流程圖Fig.1 The flow chart of data transmission and control for“Tenth Five-Years”data

甘肅省地震局前兆臺(tái)網(wǎng)目前仍存在部分非“十五”標(biāo)準(zhǔn) (以下簡稱“非標(biāo)”)儀器，其數(shù)據(jù)格式與數(shù)據(jù)傳輸?shù)燃夹g(shù)指標(biāo)無法與“十五”前兆數(shù)據(jù)管理系統(tǒng)兼容，只能由人工完成數(shù)據(jù)轉(zhuǎn)換及傳輸?shù)裙ぷ鳎实颓页杀靖?，安全性和可靠性差。因此將非?biāo)數(shù)據(jù)自動(dòng)納入“十五”前兆數(shù)據(jù)管理系統(tǒng)已成當(dāng)務(wù)之急。

在不更改“十五”模式的運(yùn)行流程且不影響前兆數(shù)據(jù)傳輸穩(wěn)定性的前提下，較為合理的解決方案主要有兩種:①硬件策略。使用前兆儀器協(xié)議轉(zhuǎn)換器等硬件設(shè)備完成，其功能在于將“十五”系統(tǒng)所發(fā)送的通信規(guī)程指令信息和其他通信信息進(jìn)行雙向解析，實(shí)現(xiàn)對(duì)非標(biāo)數(shù)據(jù)的訪問、采集和儀器控制等功能。該方案需要在應(yīng)用程序服務(wù)器端或前兆儀器端增加新的協(xié)議轉(zhuǎn)換設(shè)備 (王秀英等，2004;何案華等，2008);②軟件策略。開發(fā)“十五”數(shù)據(jù)轉(zhuǎn)換專用軟件，在數(shù)據(jù)采集后和入庫前，根據(jù)相關(guān)通信協(xié)議完成數(shù)據(jù)格式的標(biāo)準(zhǔn)化轉(zhuǎn)換。該方案只需在應(yīng)用程序服務(wù)器端部署數(shù)據(jù)轉(zhuǎn)換軟件即可 (王軍等，2008;崔慧敏等，2004)。

硬件策略存在實(shí)現(xiàn)和部署成本過高等缺點(diǎn);而軟件策略具有低成本、方便部署、靈活且易修改等優(yōu)點(diǎn)。因此本工作采用軟件策略完成非標(biāo)數(shù)據(jù)并入“十五”前兆數(shù)據(jù)管理系統(tǒng)的任務(wù)。

2 實(shí)施方案

非標(biāo)數(shù)據(jù)在采集后，以文本文件的形式存儲(chǔ)于原始數(shù)據(jù)服務(wù)器中，作為輸入數(shù)據(jù)參與數(shù)據(jù)轉(zhuǎn)換軟件的處理;部署于應(yīng)用程序服務(wù)器上的數(shù)據(jù)轉(zhuǎn)換軟件負(fù)責(zé)輸出“十五”標(biāo)準(zhǔn)格式的數(shù)據(jù)文件，并將輸出文件上傳至“十五”前兆數(shù)據(jù)管理系統(tǒng)服務(wù)器中以備入庫。整體處理過程如圖2所示。

圖2 非標(biāo)準(zhǔn)數(shù)據(jù)到標(biāo)準(zhǔn)數(shù)據(jù)的轉(zhuǎn)換處理過程Fig.2 Transform process from the non-standard data to the“Tenth Five-Years”standard one

2.1 數(shù)據(jù)同步

如圖2所示，數(shù)據(jù)文件的傳輸涉及到3臺(tái)服務(wù)器間的文件同步問題，分別是應(yīng)用程序服務(wù)器與原始數(shù)據(jù)服務(wù)器間、“十五”管理系統(tǒng)服務(wù)器與應(yīng)用程序服務(wù)器間的數(shù)據(jù)通訊。文件同步是數(shù)據(jù)轉(zhuǎn)換軟件獲得即時(shí)輸入文件、生成輸出文件并及時(shí)入庫的前提。

鑒于服務(wù)器的操作系統(tǒng)各異 (原始數(shù)據(jù)服務(wù)器和應(yīng)用程序服務(wù)器均為Windows，前兆數(shù)據(jù)管理系統(tǒng)服務(wù)器是Suse Linux)，因此考慮使用Rsync作為服務(wù)器間文件同步的工具。Linux操作系統(tǒng)中自動(dòng)集成了 Rsync，而在 Windows平臺(tái)上則部署cwRsync軟件來實(shí)現(xiàn)服務(wù)器之間的數(shù)據(jù)文件同步。

2.2 轉(zhuǎn)換流程設(shè)計(jì)

研究工作的主要環(huán)節(jié)為將非標(biāo)數(shù)據(jù)格式轉(zhuǎn)換為“十五”前兆數(shù)據(jù)管理系統(tǒng)兼容的標(biāo)準(zhǔn)數(shù)據(jù)格式，考慮到軟件的靈活性和擴(kuò)展性，數(shù)據(jù)轉(zhuǎn)換軟件應(yīng)具備以下幾個(gè)特征:

(1)數(shù)據(jù)轉(zhuǎn)換軟件的運(yùn)行只與邏輯流程有關(guān)，和需要轉(zhuǎn)換的數(shù)據(jù)及其格式無關(guān);

(2)軟件可以適應(yīng)需要轉(zhuǎn)換的數(shù)據(jù)類型的增加、刪除、修改等變更操作;

(3)數(shù)據(jù)格式轉(zhuǎn)換算法與軟件的編譯運(yùn)行相互獨(dú)立，算法不會(huì)影響軟件運(yùn)行的穩(wěn)定性。

圖3 數(shù)據(jù)轉(zhuǎn)換方案工作流程圖Fig.3 The working flow chart of data transformation scheme

圖3 顯示了轉(zhuǎn)換軟件在應(yīng)用程序服務(wù)器中的工作流程，該工作流程以上述特征為設(shè)計(jì)前提，其中數(shù)據(jù)轉(zhuǎn)換算法由用戶根據(jù)原始數(shù)據(jù)和標(biāo)準(zhǔn)數(shù)據(jù)的格式設(shè)計(jì)，以函數(shù)的形式組織編寫。數(shù)據(jù)轉(zhuǎn)換軟件具有編譯數(shù)據(jù)轉(zhuǎn)換算法和執(zhí)行數(shù)據(jù)轉(zhuǎn)換兩個(gè)主要作用。前者將算法編譯為程序可識(shí)別的入口文件備用;后者通過數(shù)據(jù)監(jiān)聽模塊獲知原始數(shù)據(jù)的接收狀況，并通知數(shù)據(jù)分揀模塊實(shí)時(shí)獲得原始數(shù)據(jù)。程序根據(jù)原始數(shù)據(jù)的類型選擇對(duì)應(yīng)的算法程序入口文件，之后運(yùn)行轉(zhuǎn)換功能將其保存為標(biāo)準(zhǔn)格式的數(shù)據(jù)，最后通過數(shù)據(jù)上傳模塊將轉(zhuǎn)換后的標(biāo)準(zhǔn)數(shù)據(jù)上傳到“十五”前兆數(shù)據(jù)管理系統(tǒng)服務(wù)器以備其他程序使用。

考慮到文件傳輸?shù)陌踩?，上述流程中的?shù)據(jù)監(jiān)聽、數(shù)據(jù)分揀和數(shù)據(jù)上傳模塊均由數(shù)據(jù)文件同步完成。

2.3 動(dòng)態(tài)編譯與執(zhí)行

在具體實(shí)施中引入動(dòng)態(tài)編譯技術(shù)以實(shí)現(xiàn)轉(zhuǎn)換流程所要求的3個(gè)特征。動(dòng)態(tài)編譯技術(shù)允許在程序運(yùn)行時(shí)加入額外的編譯信息以完成特定功能 (崔慧敏等，2004)，其優(yōu)點(diǎn)在于減少了程序主體的體積，并且增強(qiáng)了程序的可擴(kuò)展性;但另一方面，該技術(shù)也增加了程序框架的邏輯復(fù)雜度，使系統(tǒng)運(yùn)行效能有所降低，并且對(duì)程序的內(nèi)存管理提出較高要求。

程序框架采用Microsoft Visual Studio的.Net Framework開發(fā)平臺(tái)完成，.Net在System.CodeDom.Compiler命名空間中封裝了各種支持指定編程語言源代碼的生成和編譯管理的類與接口，這些類與接口提供了實(shí)現(xiàn)動(dòng)態(tài)編譯功能的方法。數(shù)據(jù)轉(zhuǎn)換軟件的動(dòng)態(tài)編譯與執(zhí)行的運(yùn)行框架如圖4所示。程序在運(yùn)行時(shí)，首先檢測轉(zhuǎn)換算法是否存在變更，如果存在變更，則利用編譯模塊將以文件形式存在的數(shù)據(jù)轉(zhuǎn)換算法動(dòng)態(tài)編譯為動(dòng)態(tài)鏈接庫 (dll)文件;之后程序的執(zhí)行模塊將dll文件加載到新開辟的應(yīng)用程序域中，利用反射機(jī)制，遠(yuǎn)程調(diào)用dll文件提供的數(shù)據(jù)轉(zhuǎn)換算法，輸入原始數(shù)據(jù)完成數(shù)據(jù)轉(zhuǎn)換工作，最后銷毀新的應(yīng)用程序域及其內(nèi)存占用。這種設(shè)計(jì)有效改進(jìn)了動(dòng)態(tài)編譯在運(yùn)行效率和內(nèi)存管理等方面的不足。

圖4 動(dòng)態(tài)編譯與執(zhí)行的運(yùn)行框架Fig.4 The operating framework of dynamic compilation and execution

2.4 技術(shù)實(shí)現(xiàn)

動(dòng)態(tài)編譯與執(zhí)行的運(yùn)行框架提供了程序中算法編譯和數(shù)據(jù)轉(zhuǎn)換模塊的運(yùn)行邏輯，其具體步驟如下:

(1)構(gòu)建數(shù)據(jù)轉(zhuǎn)換代碼。獲取所有數(shù)據(jù)轉(zhuǎn)換算法的代碼，生成包含完整命名空間以及轉(zhuǎn)換算法類的代碼文件。

(2)編譯代碼文件。.Net的CSharpCodeProvider類提供動(dòng)態(tài)編譯功能，利用該類的CompileAssemblyFromSource方法編譯第1步得到的代碼文件，生成唯一的轉(zhuǎn)換算法類的動(dòng)態(tài)鏈接庫，保存到程序指定目錄。

(3)創(chuàng)建遠(yuǎn)程訪問類和跨程序應(yīng)用域調(diào)用的接口。新建繼承于遠(yuǎn)程訪問類MarshalByRefObject的子類RemoteInvoker，實(shí)現(xiàn)其創(chuàng)建遠(yuǎn)程訪問程序應(yīng)用域的功能;新建接口IRemoteInf，實(shí)現(xiàn)其跨應(yīng)用程序域調(diào)用方法，用于執(zhí)行指定的算法函數(shù)。

(4)開辟新的應(yīng)用程序域。利用AppDomain類的CreateDomain方法生成一個(gè)新的可管理的應(yīng)用程序域appDom，以下的步驟皆在此空間中運(yùn)行。

(5)加載數(shù)據(jù)轉(zhuǎn)換代碼。利用應(yīng)用程序域類AppDomain的方法CreateInstance的創(chuàng)建RemoteInvoker的一個(gè)實(shí)例，并加載轉(zhuǎn)換算法的動(dòng)態(tài)鏈接庫。

(6)調(diào)用數(shù)據(jù)轉(zhuǎn)換功能。利用第5步的實(shí)例，實(shí)現(xiàn)接口IRemoteInf調(diào)用函數(shù)的功能，完成數(shù)據(jù)轉(zhuǎn)換。該步驟使用反射機(jī)制，從當(dāng)前應(yīng)用程序域遠(yuǎn)程調(diào)用appDom域中的相關(guān)功能。

在上述步驟中，第1、2步只在新建或者更新數(shù)據(jù)轉(zhuǎn)換算法時(shí)執(zhí)行;第3、4步的作用為在主程序應(yīng)用域之外創(chuàng)建新的應(yīng)用域空間，用于管理內(nèi)存中動(dòng)態(tài)執(zhí)行的數(shù)據(jù)轉(zhuǎn)換功能，并為主程序提供了跨程序域調(diào)用的方法;第5、6步在執(zhí)行轉(zhuǎn)換時(shí)將生成的動(dòng)態(tài)鏈接庫加載到內(nèi)存中的指定應(yīng)用程序域中，利用反射調(diào)用需要的轉(zhuǎn)換方法。結(jié)合圖3可以看出，轉(zhuǎn)換算法是以類似于插件的形式參與到程序的運(yùn)行中的，更新、增加算法只需要對(duì)動(dòng)態(tài)鏈接庫文件進(jìn)行相關(guān)操作即可，無需改動(dòng)程序，保證了算法和轉(zhuǎn)換程序之間的獨(dú)立性。

具體編碼實(shí)現(xiàn)如下:

//創(chuàng)建編譯參數(shù)實(shí)例，加載引用、設(shè)置動(dòng)態(tài)鏈接庫輸出路徑，arithmeticName代表算法名稱

CSharpCodeProvider objCompPara=new CSharp-CodeProvider();

objCompPara.ReferencedAssemblies.Add("System.dll");

objCompParaOutputAssembly="arithmetic Name.dll";

//創(chuàng)建 CSharpCodePrivoder對(duì)象 cp，source-Code為代碼文件 (實(shí)現(xiàn)步驟2)

CSharpCodeProvider cp=new CSharpCodeProvider();

cp.CompileAssemblyFromSource(objCompPara，sourceCode);

//創(chuàng)建應(yīng)用程序域 (實(shí)現(xiàn)步驟4)，名稱為DataTransformation

AppDomain appDom=AppDomain.CreateDomain("DataTransformation"，null，objSetup);

//創(chuàng)建遠(yuǎn)程訪問類對(duì)象ri，RemoteInvoker繼承自MarshalByRefObject(實(shí)現(xiàn)步驟5)

RemoteInvoker ri=(RemoteInvoker)appDom.CreateInstance("RemoteInvoke"，"RemoteInvoke.RemoteInvoker").Unwrap();

//加載動(dòng)態(tài)鏈接庫，加載轉(zhuǎn)換算法類 (實(shí)現(xiàn)步驟5)

object obj=ri.Create("arithmeticName.dll"，"DynComp.DataTransformation"，null);

//調(diào)用轉(zhuǎn)換算法 (實(shí)現(xiàn)步驟6)，objArithmeticParams為算法所需的輸入?yún)?shù)

IRemoteInf iri=(IRemoteInf)obj;

iri.Invoke("arithmeticName"，objArithmetic Params);

3 實(shí)施結(jié)果

目前甘肅省前兆臺(tái)網(wǎng)共有17臺(tái) (套)儀器產(chǎn)出的非標(biāo)數(shù)據(jù)使用本文的數(shù)據(jù)轉(zhuǎn)換方案進(jìn)行處理。以ZKGD－3000型中科流體儀水溫?cái)?shù)據(jù)為例，表1和表2分別列出了其原始數(shù)據(jù)格式和轉(zhuǎn)換后的“十五”標(biāo)準(zhǔn)數(shù)據(jù)格式。數(shù)據(jù)轉(zhuǎn)換軟件中的算法根據(jù)此格式編寫，處理后的數(shù)據(jù)已經(jīng)完全符合“十五”標(biāo)準(zhǔn)。

在數(shù)據(jù)轉(zhuǎn)換前，將每臺(tái)ZKGD－3000型中科流體儀以非在線儀器的形式添加到“十五”管理系統(tǒng)中，它們各自具有唯一的儀器ID標(biāo)識(shí)。之后運(yùn)行數(shù)據(jù)轉(zhuǎn)換軟件實(shí)現(xiàn)非標(biāo)數(shù)據(jù)的自動(dòng)轉(zhuǎn)換及入庫。

表1 ZKGD－3000水溫原始數(shù)據(jù)格式Tab.1 The original data format of the underground water temperature recorded by the ZKGD－3000 instrument

表2 ZKGD－3000“十五”標(biāo)準(zhǔn)水溫?cái)?shù)據(jù)格式Tab.2 The data format of the underground water temperature in“Tenth Five-Year”recorded by the ZKGD －3000 instrument

4 總結(jié)與討論

本研究工作以非標(biāo)儀器的數(shù)據(jù)轉(zhuǎn)換入庫為出發(fā)點(diǎn)，在總結(jié)歸納“十五”前兆臺(tái)網(wǎng)運(yùn)行流程的基礎(chǔ)上，開展相關(guān)數(shù)據(jù)轉(zhuǎn)換實(shí)施方案的工作。處理對(duì)象可以涵蓋各類非標(biāo)儀器的地震前兆觀測數(shù)據(jù)。數(shù)據(jù)轉(zhuǎn)換方案具有一定的拓展前景，同時(shí)也有不足之處，有待在今后的研究工作中進(jìn)一步完善和改進(jìn)。

(1)數(shù)據(jù)的完整性和一致性校驗(yàn)

完整性和一致性校驗(yàn)是數(shù)據(jù)轉(zhuǎn)換的后續(xù)工作，是轉(zhuǎn)換后數(shù)據(jù)的準(zhǔn)確性和可靠性的保證。數(shù)據(jù)校驗(yàn)可在數(shù)據(jù)轉(zhuǎn)換后、上傳前完成，數(shù)據(jù)若通過完整性和一致性校驗(yàn)則正常上傳，否則重新實(shí)施轉(zhuǎn)換。數(shù)據(jù)校驗(yàn)涉及到具體的數(shù)據(jù)內(nèi)容和格式，因此亦可采用動(dòng)態(tài)編譯的方式實(shí)現(xiàn)。

(2)數(shù)據(jù)預(yù)處理

實(shí)施方案設(shè)計(jì)的數(shù)據(jù)轉(zhuǎn)換軟件，對(duì)處理算法采用了類似于插件的運(yùn)行模式，所以對(duì)數(shù)據(jù)對(duì)象和處理方法都具有較高的兼容性。各種數(shù)據(jù)對(duì)象的處理算法經(jīng)過適當(dāng)改寫，都可運(yùn)行于軟件中。因此本工作研發(fā)的數(shù)據(jù)轉(zhuǎn)換軟件，除了實(shí)現(xiàn)數(shù)據(jù)轉(zhuǎn)換的功能以外，還可向多種數(shù)據(jù)預(yù)處理功能拓展，包括異常值識(shí)別、儀器工作日志信息提取、文件格式轉(zhuǎn)換等。

(3)儀器控制功能

數(shù)據(jù)轉(zhuǎn)換方案的實(shí)現(xiàn)首先必須依賴于儀器產(chǎn)出的原始數(shù)據(jù)已正確傳輸至數(shù)據(jù)服務(wù)器，而部分儀器必須由客戶端向其發(fā)送指令，才會(huì)傳輸數(shù)據(jù)。這導(dǎo)致數(shù)據(jù)轉(zhuǎn)換工作的自動(dòng)化流程受到該操作延遲的影響，因此有必要研究儀器客戶端的數(shù)據(jù)采集接口或命令，并將其集成于數(shù)據(jù)轉(zhuǎn)換軟件中以實(shí)現(xiàn)儀器自動(dòng)控制功能。

崔慧敏，戴桂蘭，王生原，等.2004.動(dòng)態(tài)編譯技術(shù)研究［J］．計(jì)算機(jī)科學(xué)，31(7):113－117.

何案華，趙剛，王軍，等.2008.串口前兆儀器的因特網(wǎng)接入方案與配套軟件開發(fā)［J］．地震研究，31(3):279－283.

黃暉.2008.“十五”前兆觀測模式之嬗變及其應(yīng)對(duì)［J］．華南地震，28(2):103－107.

馬文娟，何案華，曹開，等.2010.“九五”前兆儀器與“十五”前兆管理系統(tǒng)的整合［J］．地震研究，33(4):361 －364.

王軍，趙剛，何案華，等.2008.“九五”前兆臺(tái)站與“十五”前兆臺(tái)網(wǎng)的整合研究［J］．大地測量與地球動(dòng)力學(xué)，28(4):125－130.

王秀英，周振安，牛從達(dá)，等.2004.高精度數(shù)據(jù)采集器網(wǎng)絡(luò)通訊功能的實(shí)現(xiàn)［J］．地震研究，27(2):203－207.

楊滿棟，李閩峰，姜立新，等.2000.中國地震前兆臺(tái)網(wǎng)中心數(shù)據(jù)信息網(wǎng)絡(luò)服務(wù)系統(tǒng)［J］．地震，20(增刊):211－216.

中國地震局.2005a.中國地震前兆臺(tái)網(wǎng)技術(shù)規(guī)程［M］．北京:地震出版社.

中國地震局.2005b.中國地震信息服務(wù)系統(tǒng)技術(shù)規(guī)程［M］．北京:地震出版社.

周克昌，張崇立，紀(jì)壽文，等.2009.中國地震前兆臺(tái)網(wǎng)主要問題探討［J］．地震地磁觀測與研究，30(1):76 －80.