IMS國際監(jiān)測系統(tǒng)非連續(xù)數(shù)據(jù)獲取與管理技術(shù)研究*

邱宏茂 王 娟 李 健 商 杰 蓋 磊 許朝陽

（禁核試北京國家數(shù)據(jù)中心和北京放射性核素實驗室，北京 100085）

全面禁止核試驗條約（CTBT）的國際監(jiān)測系統(tǒng)（IMS）由分布在全球的地震、放射性核素、水聲和次聲監(jiān)測系統(tǒng)等設(shè)施組成，條約生效后，由國際數(shù)據(jù)中心（IDC）進(jìn)行數(shù)據(jù)處理，用于常年不間斷地監(jiān)測全球各地可能發(fā)生的違約事件。IDC接收、匯集、處理、分析來自IMS的數(shù)據(jù)并存檔[1]，同時利用自動數(shù)據(jù)服務(wù)系統(tǒng)（AutoDRM）為各締約國免費提供標(biāo)準(zhǔn)產(chǎn)品，如標(biāo)準(zhǔn)事件清單、公報和原始數(shù)據(jù)等。因此，IDC擁有的豐富數(shù)據(jù)資源可以為各授權(quán)用戶使用。

禁核試北京國家數(shù)據(jù)中心（以下簡稱國家數(shù)據(jù)中心或NDC）是我國禁核試核查相關(guān)監(jiān)測數(shù)據(jù)的收集、存儲、分析和處理中心，為國內(nèi)外用戶提供相關(guān)數(shù)據(jù)服務(wù)。為了充分利用IDC的豐富資源，NDC實時數(shù)據(jù)處理系統(tǒng)被設(shè)計成可以根據(jù)定義的請求規(guī)則自動向IDC請求相關(guān)臺站的非連續(xù)數(shù)據(jù)，并加入實時處理系統(tǒng)進(jìn)行處理，將IMS的部分臺站監(jiān)測數(shù)據(jù)作為我國NDC的數(shù)據(jù)補(bǔ)充來源之一，提高自動處理的準(zhǔn)確性。

每個授權(quán)用戶每天向IDC請求數(shù)據(jù)總量目前實測為1G。為了提高數(shù)據(jù)的使用效率，避免重復(fù)地向IDC申請數(shù)據(jù)，本文設(shè)計用郵件代理程序來實現(xiàn)對用戶數(shù)據(jù)請求的統(tǒng)一管理，在NDC數(shù)據(jù)處理過程中根據(jù)處理結(jié)果自動請求和獲取IDC的非連續(xù)數(shù)據(jù)，同時代理國內(nèi)授權(quán)用戶提供服務(wù)和管理用戶向IDC獲取數(shù)據(jù)，充分利用了IDC豐富的數(shù)據(jù)資源。

1 IDC 自動數(shù)據(jù)服務(wù)系統(tǒng)概述

1.1 自動數(shù)據(jù)服務(wù)系統(tǒng)的服務(wù)方式

IDC基本職能之一是按條約規(guī)定向各締約國提IMS數(shù)據(jù)和IDC產(chǎn)品[1]。分發(fā)的數(shù)據(jù)主要是IDC的標(biāo)準(zhǔn)產(chǎn)品包，另外還有各締約國要求的增強(qiáng)產(chǎn)品包，內(nèi)容可以是IMS原始數(shù)據(jù)和IDC的中間結(jié)果等。目前，獲取IDC數(shù)據(jù)的方式有4種：①事先訂閱數(shù)據(jù)；②通過基于電子郵件或客戶端的自動數(shù)據(jù)服務(wù)系統(tǒng)；③通過瀏覽器訪問IDC的WEB服務(wù)器；④登錄到IDC，直接與它的數(shù)據(jù)庫進(jìn)行人機(jī)交互操作。其中自動數(shù)據(jù)服務(wù)系統(tǒng)是給用戶提供產(chǎn)品自動服務(wù)的常用重要手段。

自動數(shù)據(jù)服務(wù)系統(tǒng)為用戶請求產(chǎn)品提供基于電子郵件或客戶端的自動產(chǎn)品服務(wù)。對于原始波形數(shù)據(jù)的索取，授權(quán)用戶只需通過電子郵件或客戶端給自動數(shù)據(jù)服務(wù)系統(tǒng)發(fā)送請求，按規(guī)定格式說明需要的數(shù)據(jù)類型、范圍、格式等，自動數(shù)據(jù)服務(wù)系統(tǒng)接收到請求后進(jìn)行自動處理，從數(shù)據(jù)庫中取出指定的數(shù)據(jù)，用電子郵件或客戶端將數(shù)據(jù)傳回給用戶。當(dāng)數(shù)據(jù)量大，超過一定的限度時，則數(shù)據(jù)被存放在指定的FTP服務(wù)器上，并用電子郵件或客戶端把數(shù)據(jù)的獲取方法告訴用戶，用戶可用FTP將數(shù)據(jù)取回。自動數(shù)據(jù)服務(wù)系統(tǒng)的設(shè)計基于GSE采用的協(xié)議和格式以及GSETT-3的要求[2]。圖1是自動數(shù)據(jù)服務(wù)系統(tǒng)的數(shù)據(jù)請求過程示意圖。

圖 1 自動數(shù)據(jù)服務(wù)系統(tǒng)的數(shù)據(jù)請求過程示意圖Fig. 1 Data request process of AutoDRM

自動數(shù)據(jù)服務(wù)系統(tǒng)以運行數(shù)據(jù)庫和歸檔數(shù)據(jù)庫系統(tǒng)為核心，通過電子郵件或客戶端信息應(yīng)答對用戶數(shù)據(jù)的請求。自動數(shù)據(jù)服務(wù)系統(tǒng)包括Messages和Subscription兩個子系統(tǒng)，主要完成用戶通過電子郵件按規(guī)定格式提交的數(shù)據(jù)請求、訂閱以及自動處理過程中系統(tǒng)的請求應(yīng)答。利用IDC的自動服務(wù)系統(tǒng)，用戶可以請求、訂閱IDC的產(chǎn)品和波形原始數(shù)據(jù)。

1.2 AutoDRM的請求信息格式[2]

IDC數(shù)據(jù)產(chǎn)品中的地震、水聲、次聲數(shù)據(jù)分發(fā)采用傳輸協(xié)議IMS信息格式，放射性核素產(chǎn)品的分發(fā)采用RMS信息格式，雖然采用的格式不同但采用的傳輸方法是相同的，均采用電子郵件（E-MAIL）和文件傳輸協(xié)議（FTP）兩種方式，其中電子郵件為主要的方式。IMS和RMS信息的大小沒有限制，但信息的長短可以決定采用哪種協(xié)議來傳輸，數(shù)據(jù)量小于1M的信息常用電子郵件來傳輸，對于數(shù)據(jù)量大于1M的信息，通過FTP來傳輸，或者采用分割成幾個小的電子郵件來傳輸連續(xù)的IMS和RMS信息。一個IMS和RMS信息可以跨越幾個郵件和文件，也可能幾個IMS和RMS信息包含在一個郵件或文件中。信息中的ASCII信息行的長度可以長達(dá)1 024個字符，在默認(rèn)情況下行的長度為132個字符。

2 方案設(shè)計和實現(xiàn)

2.1 數(shù)據(jù)請求管理的過程分析

NDC非連續(xù)數(shù)據(jù)的請求和接收主要依賴于電子郵件進(jìn)行信息和數(shù)據(jù)的交換。電子郵件主要依賴因特網(wǎng)的域名系統(tǒng)（DNS）進(jìn)行郵件的發(fā)送和接收。由于考慮安全因素，NDC內(nèi)部網(wǎng)絡(luò)沒有接入因特網(wǎng)的域名系統(tǒng)，同時防火墻和郵件服務(wù)器也進(jìn)行了安全限制，導(dǎo)致NDC內(nèi)部網(wǎng)絡(luò)與因特網(wǎng)無法正常收發(fā)郵件，郵件的收發(fā)只能在DMZ區(qū)的郵件服務(wù)器上進(jìn)行。因此，本方案修改了原有程序，設(shè)計了采用遠(yuǎn)程傳輸文件的方法來代替內(nèi)部網(wǎng)絡(luò)數(shù)據(jù)處理系統(tǒng)的郵件收發(fā)。將郵件體遠(yuǎn)程傳輸和收發(fā)存儲到郵件服務(wù)器的不同分類目錄，以區(qū)別來自于IDC、NDC數(shù)據(jù)處理系統(tǒng)、NDC授權(quán)用戶的不同郵件信息。然后，在郵件服務(wù)器上由郵件代理程序進(jìn)行向IDC請求數(shù)據(jù)和返回信息、NDC授權(quán)用戶數(shù)據(jù)請求信息、系統(tǒng)處理數(shù)據(jù)請求和返回信息進(jìn)行關(guān)系的判定，并將相應(yīng)的處理結(jié)果反饋給各類用戶。

設(shè)計的郵件代理程序需要滿足對3類不同來源的郵件體進(jìn)行判別和相應(yīng)處理。對于用戶的郵件數(shù)據(jù)請求，在數(shù)據(jù)處理系統(tǒng)可以滿足用戶請求的情況下，由郵件代理程序響應(yīng)用戶，并將請求轉(zhuǎn)交給系統(tǒng)處理，系統(tǒng)處理完成后，將相應(yīng)處理產(chǎn)品轉(zhuǎn)交給郵件代理程序，由郵件代理程序以郵件方式返還給用戶；在數(shù)據(jù)處理系統(tǒng)無法滿足用戶的情況下，系統(tǒng)將數(shù)據(jù)請求處理無法完成的信息轉(zhuǎn)交給郵件代理程序，由郵件代理程序向IDC發(fā)出數(shù)據(jù)請求，接收到IDC的郵件數(shù)據(jù)響應(yīng)之后，郵件代理程序?qū)?shù)據(jù)發(fā)送給最初的申請用戶，同時將數(shù)據(jù)轉(zhuǎn)交一份給數(shù)據(jù)處理系統(tǒng)，并由數(shù)據(jù)處理系統(tǒng)歸檔存儲到數(shù)據(jù)庫里，當(dāng)下次其他用戶請求相同數(shù)據(jù)時，數(shù)據(jù)處理系統(tǒng)不需要再向IDC請求數(shù)據(jù)就可以響應(yīng)用戶的請求，避免數(shù)據(jù)的重復(fù)申請，圖2是數(shù)據(jù)請求郵件和響應(yīng)郵件的整體傳輸流程。

圖 2 數(shù)據(jù)請求郵件和響應(yīng)郵件的整體傳輸流程Fig. 2 The overall flow of requesting mail and responded mail

通過分析NDC數(shù)據(jù)處理系統(tǒng)已有的自動數(shù)據(jù)服務(wù)系統(tǒng)處理流程，數(shù)據(jù)處理系統(tǒng)內(nèi)部產(chǎn)生的數(shù)據(jù)請求，請求郵件中的msg_id號與數(shù)據(jù)庫msgdisc表中的reqid、msgid、emailto字段存在對應(yīng)關(guān)系；用戶請求郵件中的msg_id號與數(shù)據(jù)庫msgdisc表中的extmsgid、msgid、emailto字段存在對應(yīng)關(guān)系[3]。對于用戶的請求郵件，需要代理向IDC申請數(shù)據(jù)的情況，根據(jù)數(shù)據(jù)庫表的id號對應(yīng)關(guān)系，考慮在郵件代理程序中通過id號來追溯郵件的起始用戶，并在郵件代理中，對郵件體重新組裝，根據(jù)id號對應(yīng)關(guān)系，替換id號，并將處理結(jié)果返還給授權(quán)用戶。

設(shè)計郵件代理程序重點需要考慮的問題：首先對接收的授權(quán)用戶郵件進(jìn)行分析并作記錄；然后對授權(quán)用戶的郵件請求進(jìn)行數(shù)據(jù)有無的判斷，如果NDC有數(shù)據(jù)，則將郵件交送給NDC的自動數(shù)據(jù)服務(wù)系統(tǒng)，否則將郵件轉(zhuǎn)發(fā)給IDC；其次對NDC響應(yīng)的郵件進(jìn)行分析，并根據(jù)記錄的記錄號將數(shù)據(jù)發(fā)送給請求用戶；最后需對IDC返回的郵件進(jìn)行分析，并根據(jù)記錄的記錄號將數(shù)據(jù)發(fā)送給請求用戶，然后將數(shù)據(jù)轉(zhuǎn)交給NDC的自動數(shù)據(jù)服務(wù)系統(tǒng)進(jìn)行數(shù)據(jù)歸檔。

2.2 郵件代理程序的實現(xiàn)

我們首先對NDC內(nèi)部的自動數(shù)據(jù)服務(wù)Messages子系統(tǒng)的郵件發(fā)送C程序進(jìn)行了修改，采用遠(yuǎn)程拷貝的方法將內(nèi)部待發(fā)送的郵件體拷貝至郵件服務(wù)器，然后由郵件代理程序以IDC授權(quán)的郵件帳戶將郵件體發(fā)送至IDC，修改后的語句如下：

然后，根據(jù)前面對NDC數(shù)據(jù)請求管理的過程分析，采用Perl語言實現(xiàn)了該郵件代理程序，圖3是設(shè)計的郵件代理程序流程圖。

圖 3 郵件代理程序流程圖Fig. 3 The plot of mail agent’s program

其中處理過程中較復(fù)雜的情況是對請求數(shù)據(jù)有無的判斷，數(shù)據(jù)處理系統(tǒng)處理郵件請求產(chǎn)生兩種無數(shù)據(jù)的情況：一是數(shù)據(jù)處理系統(tǒng)沒有配置該臺站，也沒有數(shù)據(jù)；另一個是數(shù)據(jù)處理系統(tǒng)配置了該臺站，但沒有數(shù)據(jù)。郵件代理程序需要對數(shù)據(jù)處理系統(tǒng)處理郵件請求出現(xiàn)的各種情況進(jìn)行分析判斷，并進(jìn)行重新構(gòu)造郵件向IDC請求數(shù)據(jù)。

IDC響應(yīng)郵件返回后存儲到指定目錄，郵件代理程序需要判斷該郵件是數(shù)據(jù)處理系統(tǒng)本身還是授權(quán)用戶請求的，并重組后發(fā)送給相應(yīng)用戶，同時將郵件數(shù)據(jù)遠(yuǎn)程拷貝至數(shù)據(jù)處理系統(tǒng)的自動數(shù)據(jù)服務(wù)Messages子系統(tǒng)進(jìn)行解析、歸檔存儲。

為保證郵件代理程序運行不間斷，采用UNIX的crontab自動運行功能，在間隔時間內(nèi)檢查郵件代理進(jìn)程是否運行，如進(jìn)程中止運行，腳本會自動啟動郵件代理程序，保證數(shù)據(jù)請求和響應(yīng)郵件的處理不會中斷。

2.3 請求數(shù)據(jù)的存儲管理

請求得到的臺站數(shù)據(jù)需要存儲和歸檔到大型存儲介質(zhì)，并保證用戶能有效檢索到已存儲數(shù)據(jù)。對于請求數(shù)據(jù)的存儲管理，使用數(shù)據(jù)處理系統(tǒng)已有的數(shù)據(jù)歸檔系統(tǒng)，以方便管理。郵件數(shù)據(jù)解析、存儲到數(shù)據(jù)庫和文件系統(tǒng)中后，由于需要長久保留，需要數(shù)據(jù)處理系統(tǒng)的歸檔系統(tǒng)將數(shù)據(jù)遷移到歸檔庫[4]。

目前NDC 7×24小時不間斷地接收和處理臺站的連續(xù)和非連續(xù)數(shù)據(jù)，并進(jìn)行數(shù)據(jù)的歸檔存儲，連續(xù)數(shù)據(jù)的歸檔存儲是按天、按臺站來存儲，非連續(xù)數(shù)據(jù)的歸檔存儲是將一天所有臺站的非連續(xù)數(shù)據(jù)存為一個波形文件，較適合零散數(shù)據(jù)的歸檔存儲。

3 測試結(jié)果與討論

利用NDC測試平臺，對設(shè)計的郵件代理程序和相關(guān)處理機(jī)制進(jìn)行了長期的測試，設(shè)計的方法和開發(fā)的程序可以在NDC數(shù)據(jù)處理系統(tǒng)對用戶數(shù)據(jù)請求無法滿足的情況下向IDC轉(zhuǎn)發(fā)數(shù)據(jù)請求，并將接收到的數(shù)據(jù)進(jìn)行解析、存儲及返回給申請用戶，實現(xiàn)了數(shù)據(jù)請求的代理和管理。測試結(jié)果表明，該程序的功能以及運行的穩(wěn)定性和可靠性均達(dá)到了設(shè)計目標(biāo)，現(xiàn)已應(yīng)用于NDC的實際數(shù)據(jù)處理系統(tǒng)中。

4 結(jié)束語

如何充分利用IMS的海量數(shù)據(jù)一直是NDC研究的重點之一，本文設(shè)計的郵件代理方法可以實現(xiàn)對NDC的授權(quán)用戶請求IMS數(shù)據(jù)的代理和管理，解決國內(nèi)非IDC授權(quán)用戶獲取IMS數(shù)據(jù)的用戶限制，在IDC對其授權(quán)用戶每日數(shù)據(jù)請求總量有限制的條件下，避免重復(fù)地向IDC申請數(shù)據(jù)，滿足NDC授權(quán)用戶對IMS數(shù)據(jù)的需求。經(jīng)過實際運行測試，程序可以滿足NDC向IDC獲取非連續(xù)數(shù)據(jù)的數(shù)據(jù)管理要求，運行穩(wěn)定可靠。