南美空間天氣信息系統(tǒng)設(shè)計(jì)與初步實(shí)現(xiàn)

熊森林，鄭巖，閆振中，馬福利，紀(jì)珍，佟繼周，鄒自明，王赤

中國(guó)科學(xué)院國(guó)家空間科學(xué)中心，北京 100190

南美空間天氣信息系統(tǒng)設(shè)計(jì)與初步實(shí)現(xiàn)

熊森林，鄭巖，閆振中，馬福利，紀(jì)珍，佟繼周，鄒自明，王赤

中國(guó)科學(xué)院國(guó)家空間科學(xué)中心，北京 100190

作為“中國(guó)-巴西空間天氣聯(lián)合實(shí)驗(yàn)室/中國(guó)科學(xué)院南美空間天氣實(shí)驗(yàn)室”的重要組成部分，南美實(shí)驗(yàn)室數(shù)據(jù)中心負(fù)責(zé)中國(guó)-巴西聯(lián)合實(shí)驗(yàn)室臺(tái)站觀測(cè)數(shù)據(jù)的傳輸、處理、存儲(chǔ)、管理和對(duì)外共享。分析了服務(wù)于南美實(shí)驗(yàn)室數(shù)據(jù)中心的南美空間天氣信息系統(tǒng)數(shù)據(jù)全生命周期應(yīng)用需求，結(jié)合空間天氣數(shù)據(jù)特點(diǎn)，系統(tǒng)特色和系統(tǒng)建設(shè)面臨的技術(shù)難題，進(jìn)行了系統(tǒng)框架方案設(shè)計(jì)。方案滿足所有系統(tǒng)功能要求，能有效解決系統(tǒng)技術(shù)難題。依據(jù)建設(shè)方案，初步實(shí)現(xiàn)了南美空間天氣信息系統(tǒng)的數(shù)據(jù)傳輸、預(yù)處理和緩存管理功能，數(shù)據(jù)中心可準(zhǔn)實(shí)時(shí)接收臺(tái)站觀測(cè)數(shù)據(jù)，并對(duì)數(shù)據(jù)進(jìn)行可視化等應(yīng)用管理。為南美空間天氣信息系統(tǒng)建設(shè)和南美空間天氣數(shù)據(jù)處理與管理綜合應(yīng)用邁出了堅(jiān)實(shí)的一步。

中國(guó)-巴西聯(lián)合實(shí)驗(yàn)室；空間天氣；南美實(shí)驗(yàn)室數(shù)據(jù)中心；數(shù)據(jù)信息系統(tǒng)

引言

2016年8月6日，“中國(guó)-巴西空間天氣聯(lián)合實(shí)驗(yàn)室/中國(guó)科學(xué)院南美空間天氣實(shí)驗(yàn)室”(以下簡(jiǎn)稱南美實(shí)驗(yàn)室)掛牌成立，南美實(shí)驗(yàn)室是中國(guó)和巴西在空間科學(xué)領(lǐng)域的進(jìn)一步合作，是中巴資源衛(wèi)星之后，南南合作的又一典范。隨著南美實(shí)驗(yàn)室的推進(jìn)，可實(shí)現(xiàn)東西半球和南北半球處于共軛區(qū)域的地基空間天氣的聯(lián)合監(jiān)測(cè)與研究，有助于了解空間天氣的區(qū)域性特征及全球變化規(guī)律，對(duì)推動(dòng)空間科學(xué)重大國(guó)際合作計(jì)劃-國(guó)際空間天氣子午圈有重要意義[1]。

南美實(shí)驗(yàn)室設(shè)在巴西國(guó)家空間研究院(INPE)空間天氣部，其所屬的圣特瑪利亞(Santa Maria)、圣若澤(Sao Jose dos Campos)和圣馬奧(Sao Martinho da Serra)等地基空間天氣聯(lián)合觀測(cè)站(以下簡(jiǎn)稱聯(lián)合站)已基本建成，中方布設(shè)的鈉鉀激光雷達(dá)、離層數(shù)字測(cè)高儀、電離層 GPS-TEC 監(jiān)測(cè)儀以及磁通門磁力儀已經(jīng)開(kāi)始空間天氣的日常觀測(cè)并產(chǎn)生科學(xué)觀測(cè)數(shù)據(jù)。作為南美實(shí)驗(yàn)室的重要建設(shè)內(nèi)容之一，南美實(shí)驗(yàn)室數(shù)據(jù)中心(以下簡(jiǎn)稱數(shù)據(jù)中心)負(fù)責(zé)巴西及西半球子午鏈上周邊國(guó)家聯(lián)合站和觀測(cè)設(shè)備的遠(yuǎn)程監(jiān)管，將設(shè)備數(shù)據(jù)向數(shù)據(jù)中心傳輸、匯集與存儲(chǔ)，確保數(shù)據(jù)永久安全，推進(jìn)數(shù)據(jù)共享與應(yīng)用，促進(jìn)中巴雙方的數(shù)據(jù)交換與國(guó)際交流。

為了實(shí)現(xiàn)聯(lián)合實(shí)驗(yàn)室探測(cè)數(shù)據(jù)從采集傳輸、處理、存儲(chǔ)、管理、發(fā)布和歸檔的數(shù)據(jù)全生命周期的管理和應(yīng)用，實(shí)施對(duì)聯(lián)合站和設(shè)備的異地監(jiān)管，需充分依托現(xiàn)代化的計(jì)算資源、存儲(chǔ)資源和網(wǎng)絡(luò)資源等信息化基礎(chǔ)設(shè)施，研制服務(wù)于數(shù)據(jù)中心的南美空間天氣信息系統(tǒng)，為中國(guó)-巴西空間天氣聯(lián)合觀測(cè)、數(shù)據(jù)交換共享和發(fā)揮探測(cè)數(shù)據(jù)的“融合”型研究?jī)r(jià)值提供強(qiáng)有力的系統(tǒng)支撐作用。與一般信息系統(tǒng)相比，空間天氣信息系統(tǒng)業(yè)務(wù)功能較為復(fù)雜，因其異地部署和異地管理的特點(diǎn)，對(duì)系統(tǒng)的安全性、穩(wěn)定性和易維護(hù)性有著更高的要求。此外，在系統(tǒng)建設(shè)中，需重點(diǎn)解決海量小文件數(shù)據(jù)準(zhǔn)實(shí)時(shí)傳輸，多功能系統(tǒng)統(tǒng)一運(yùn)行和集中維護(hù)，以及多并發(fā)數(shù)據(jù)處理任務(wù)協(xié)同運(yùn)行等關(guān)鍵技術(shù)難題。

1 建設(shè)重點(diǎn)與系統(tǒng)特色

1.1 重點(diǎn)建設(shè)內(nèi)容

南美空間天氣信息系統(tǒng)的核心任務(wù)目標(biāo)是依托現(xiàn)有科研信息化環(huán)境，建立先進(jìn)的自動(dòng)化、一體化的數(shù)據(jù)信息系統(tǒng)，支持中國(guó)-巴西空間天氣聯(lián)合實(shí)驗(yàn)室異地(國(guó)外)臺(tái)站設(shè)備的遠(yuǎn)程監(jiān)視和管理，進(jìn)行聯(lián)合站觀測(cè)空間天氣數(shù)據(jù)的傳輸、處理、存儲(chǔ)、共享和歸檔等全生命周期的數(shù)據(jù)管理，保障數(shù)據(jù)傳輸及時(shí)、處理規(guī)范、質(zhì)量可靠、存儲(chǔ)安全、產(chǎn)品多樣、管理便捷。實(shí)現(xiàn)與現(xiàn)有空間天氣相關(guān)數(shù)據(jù)系統(tǒng)的對(duì)接，充分發(fā)揮南美空間天氣數(shù)據(jù)與其它空間天氣重大基礎(chǔ)設(shè)施項(xiàng)目數(shù)據(jù)的“融合”價(jià)值。為“國(guó)際空間天氣子午圈”的推進(jìn)提供數(shù)據(jù)信息系統(tǒng)應(yīng)用示范。

具體建設(shè)的功能模塊包括：臺(tái)站觀測(cè)數(shù)據(jù)準(zhǔn)實(shí)時(shí)傳輸模塊，數(shù)據(jù)標(biāo)準(zhǔn)化預(yù)處理模塊，數(shù)據(jù)深加工模塊，數(shù)據(jù)質(zhì)量評(píng)估與審核模塊，數(shù)據(jù)存儲(chǔ)與災(zāi)備模塊，數(shù)據(jù)管理模塊，數(shù)據(jù)可視化模塊，數(shù)據(jù)分發(fā)共享模塊，數(shù)據(jù)歸檔模塊和系統(tǒng)綜合監(jiān)管模塊。

1.2 數(shù)據(jù)特點(diǎn)分析

南美空間天氣信息系統(tǒng)面向南美聯(lián)合實(shí)驗(yàn)室現(xiàn)有觀測(cè)設(shè)備和西半球子午鏈上其它國(guó)家未來(lái)將建觀測(cè)設(shè)備獲取的空間天氣觀測(cè)數(shù)據(jù)，數(shù)據(jù)具有很強(qiáng)的學(xué)科特點(diǎn)。

(1)數(shù)據(jù)豐富，類型多樣，體量大

地面觀測(cè)設(shè)備運(yùn)行穩(wěn)定，長(zhǎng)時(shí)間連續(xù)觀測(cè)可積累大量科學(xué)數(shù)據(jù)，利用數(shù)據(jù)反演、加工、時(shí)空重采樣處理辦法，也可將原始觀測(cè)數(shù)據(jù)加工處理成多種數(shù)據(jù)產(chǎn)品。

中方在巴西臺(tái)站布設(shè)的4臺(tái)套觀測(cè)設(shè)備已經(jīng)開(kāi)始對(duì)南美地區(qū)電離層、中高層大氣和地磁環(huán)境開(kāi)展日常觀測(cè)，可獲取不同種類、不同時(shí)間分辨率的原始級(jí)和快速標(biāo)校級(jí)的數(shù)據(jù)產(chǎn)品，每日有效觀測(cè)數(shù)據(jù)體量約2.58GB，數(shù)據(jù)文件數(shù)超過(guò)2000個(gè)。未來(lái)2-3年，將新增全天空氣輝成像儀、FP 干涉儀和鈉熒光多普勒激光雷達(dá)等設(shè)備對(duì)中高層大氣風(fēng)場(chǎng)和金屬鈉層進(jìn)行探測(cè)，增加電離層數(shù)字測(cè)高儀進(jìn)行電離層的加密觀測(cè)。屆時(shí)，南美空間天氣聯(lián)合觀測(cè)數(shù)據(jù)產(chǎn)品將進(jìn)一步豐富。

(2)數(shù)據(jù)處理和加工復(fù)雜度高

空間天氣臺(tái)站觀測(cè)原始信號(hào)數(shù)據(jù)一般不能直接應(yīng)用于研究，需要經(jīng)過(guò)預(yù)處理、標(biāo)定和反演處理，生成特定的物理量。以鈉鉀激光雷達(dá)為例，原始數(shù)據(jù)為雷達(dá)接收到的共振熒光散射回波光子，需通過(guò)復(fù)雜的信號(hào)分析才能反演得到大氣鈉層密度、風(fēng)場(chǎng)和溫度物理量[2]。

(3)數(shù)據(jù)質(zhì)量干擾因素多

空間天氣地基觀測(cè)數(shù)據(jù)質(zhì)量干擾因素較多，主要有觀測(cè)設(shè)備老化、外界環(huán)境干擾造成的數(shù)據(jù)偏差，以及數(shù)據(jù)處理和反演算法本身帶來(lái)的誤差。以地磁觀測(cè)為例，地磁數(shù)據(jù)質(zhì)量受外界人工電磁源的干擾很大，需要通過(guò)相關(guān)技術(shù)和方法進(jìn)行干擾數(shù)據(jù)的識(shí)別和處理[3]。

(4)數(shù)據(jù)應(yīng)用價(jià)值大，時(shí)效性要求高

空間天氣地基觀測(cè)數(shù)據(jù)主要應(yīng)用于空間天氣現(xiàn)象的揭示、空間天氣因果關(guān)系和時(shí)空變化規(guī)律的研究以及空間環(huán)境的預(yù)警預(yù)報(bào)。因地球空間環(huán)境對(duì)太陽(yáng)耀斑等事件爆發(fā)的響應(yīng)時(shí)間較短(往往只有數(shù)十分鐘)，空間天氣災(zāi)害事件提前預(yù)警預(yù)報(bào)對(duì)探測(cè)數(shù)據(jù)的時(shí)效性有著較高的要求；同時(shí)，理論研究和空間環(huán)境預(yù)報(bào)都對(duì)數(shù)據(jù)的時(shí)間覆蓋長(zhǎng)度、空間覆蓋廣度有較大要求。實(shí)際應(yīng)用中，往往會(huì)綜合利用多源(衛(wèi)星平臺(tái)和地基設(shè)備)數(shù)據(jù)，以提升空間環(huán)境預(yù)報(bào)精度和空間天氣精細(xì)結(jié)構(gòu)。因此，南美空間天氣數(shù)據(jù)資源對(duì)現(xiàn)有預(yù)報(bào)系統(tǒng)或理論研究都有著重要價(jià)值。

1.3 系統(tǒng)特色與面臨技術(shù)難題

空間天氣學(xué)科數(shù)據(jù)特點(diǎn)和系統(tǒng)異地部署管理等特性，使得南美空間天氣信息系統(tǒng)具有不同于其它信息系統(tǒng)幾個(gè)特色，包括：

(1)分散集中相結(jié)合，異地部署管理。除臺(tái)站數(shù)據(jù)傳輸功能部件系統(tǒng)部署于臺(tái)站，用于傳輸臺(tái)站觀測(cè)數(shù)據(jù)外，其它功能部件集中部署于數(shù)據(jù)中心(INPE)，北京僅作為數(shù)據(jù)和業(yè)務(wù)的備份中心。中國(guó)管理員只能進(jìn)行異地設(shè)備監(jiān)管和系統(tǒng)管理。

(2)自動(dòng)化、業(yè)務(wù)化運(yùn)行?？臻g天氣信息系統(tǒng)的數(shù)據(jù)傳輸、處理、存儲(chǔ)入庫(kù)和分發(fā)為一條全自動(dòng)的完整業(yè)務(wù)流，在正常情況下，不需要人工值守和干預(yù)即可通過(guò)網(wǎng)絡(luò)實(shí)現(xiàn)異地?cái)?shù)據(jù)的傳輸、流轉(zhuǎn)、入庫(kù)和分發(fā)。同時(shí)，系統(tǒng)處于7*24小時(shí)不間斷的業(yè)務(wù)化運(yùn)行。

(3)多并發(fā)數(shù)據(jù)處理任務(wù)。實(shí)際運(yùn)行中，不同臺(tái)站的觀測(cè)設(shè)備往往會(huì)同時(shí)向數(shù)據(jù)中心傳輸數(shù)據(jù)，啟動(dòng)數(shù)據(jù)處理、存儲(chǔ)入庫(kù)和分發(fā)任務(wù)。

(4)系統(tǒng)動(dòng)態(tài)擴(kuò)展。南美實(shí)驗(yàn)室臺(tái)站和觀測(cè)設(shè)備會(huì)不斷增加，系統(tǒng)應(yīng)兼容未來(lái)新增臺(tái)站和設(shè)備觀測(cè)數(shù)據(jù)的傳輸、處理和存儲(chǔ)等相關(guān)業(yè)務(wù)。

此外，系統(tǒng)建還需重點(diǎn)考慮和解決海量小文件數(shù)據(jù)準(zhǔn)實(shí)時(shí)傳輸，多功能系統(tǒng)統(tǒng)一運(yùn)行和集中維護(hù)，異地觀測(cè)設(shè)備監(jiān)管和系統(tǒng)運(yùn)維，以及多并發(fā)數(shù)據(jù)處理任務(wù)協(xié)同運(yùn)行等技術(shù)難題。

2 系統(tǒng)總體框架

2.1 總體框架

南美空間天氣信息系統(tǒng)總體框架由資源層、業(yè)務(wù)應(yīng)用層和用戶層三個(gè)核心層組成(詳見(jiàn)圖1)。

圖1 南美空間天氣信息系統(tǒng)總體框架Fig.1 Framework of South American space weather information system

2.1.1 資源層

資源層包括數(shù)據(jù)資源和基礎(chǔ)設(shè)施服務(wù)資源兩類。數(shù)據(jù)資源為南美實(shí)驗(yàn)室現(xiàn)有4臺(tái)套設(shè)備獲取的觀測(cè)數(shù)據(jù)和對(duì)觀測(cè)數(shù)據(jù)加工后的推演數(shù)據(jù)，以及未來(lái)新增設(shè)備產(chǎn)生的相關(guān)數(shù)據(jù)產(chǎn)品?；A(chǔ)設(shè)施資源包括國(guó)際科技網(wǎng)、中國(guó)科技網(wǎng)、網(wǎng)絡(luò)防火墻、數(shù)據(jù)庫(kù)系統(tǒng)、計(jì)算服務(wù)器、NAS 存儲(chǔ)系統(tǒng)、交換機(jī)、管理 PC 機(jī)等。

2.1.2 業(yè)務(wù)應(yīng)用層

中間層為業(yè)務(wù)應(yīng)用層，是系統(tǒng)建設(shè)的重點(diǎn)和關(guān)鍵。根據(jù)南美空間天氣信息系統(tǒng)的業(yè)務(wù)功能組件構(gòu)成，劃分了數(shù)據(jù)傳輸子系統(tǒng)、數(shù)據(jù)預(yù)處理與加工子系統(tǒng)、數(shù)據(jù)質(zhì)量評(píng)估子系統(tǒng)、數(shù)據(jù)存儲(chǔ)與災(zāi)備子系統(tǒng)、數(shù)據(jù)歸檔子系統(tǒng)、數(shù)據(jù)分發(fā)與發(fā)布子系統(tǒng)和系統(tǒng)綜合監(jiān)管 8 大子系統(tǒng)。

數(shù)據(jù)傳輸子系統(tǒng)面向巴西境內(nèi)和周邊國(guó)家未來(lái)將建設(shè)的臺(tái)站監(jiān)測(cè)數(shù)據(jù)，通過(guò)網(wǎng)絡(luò)將各設(shè)備觀測(cè)數(shù)據(jù)準(zhǔn)實(shí)時(shí)的向數(shù)據(jù)中心(INPE)在線傳輸和匯集，同時(shí)向中國(guó)北京方進(jìn)行備份。為后續(xù)的數(shù)據(jù)分發(fā)、預(yù)處理、深加工等數(shù)據(jù)活動(dòng)提供數(shù)據(jù)基礎(chǔ)。

數(shù)據(jù)預(yù)處理與加工子系統(tǒng)進(jìn)行不涉及數(shù)據(jù)物理量改變的數(shù)據(jù)預(yù)處理和產(chǎn)品推演深加工處理。數(shù)據(jù)預(yù)處理主要進(jìn)行數(shù)據(jù)文件的拼接或拆分，文件存儲(chǔ)格式轉(zhuǎn)換，文件重命名和添加文件頭信息等標(biāo)準(zhǔn)化處理，可為數(shù)據(jù)理解和物理量解讀提供便利，為后期的數(shù)據(jù)反演、深加工以及軟件系統(tǒng)自動(dòng)識(shí)別數(shù)據(jù)提供便捷，排除數(shù)據(jù)文件格式差異給數(shù)據(jù)研究分析和應(yīng)用造成的困擾。數(shù)據(jù)深加工指涉及核心物理量變化和轉(zhuǎn)換的數(shù)據(jù)處理，它是管理活動(dòng)中最重要的一環(huán)，是數(shù)據(jù)多樣性和豐富性的保障。深加工處理包括觀測(cè)原始數(shù)據(jù)到標(biāo)校數(shù)據(jù)的自動(dòng)實(shí)時(shí)處理，數(shù)據(jù)時(shí)空重采樣和數(shù)據(jù)推演等加工處理。

數(shù)據(jù)質(zhì)量是數(shù)據(jù)的核心和根本，通過(guò)質(zhì)量評(píng)估的數(shù)據(jù)才能被科學(xué)家用戶接納，具備數(shù)據(jù)價(jià)值。數(shù)據(jù)質(zhì)量評(píng)估子系統(tǒng)包括兩個(gè)方面內(nèi)容：一是數(shù)據(jù)的完整性、連續(xù)性、規(guī)范性和評(píng)估，另一個(gè)是數(shù)據(jù)對(duì)客觀世界反映的合理性和準(zhǔn)確性的評(píng)估。

數(shù)據(jù)存儲(chǔ)與災(zāi)備子系統(tǒng)面向地基觀測(cè)設(shè)備積累的長(zhǎng)時(shí)間觀測(cè)原始數(shù)據(jù)和經(jīng)數(shù)據(jù)處理、反演和加工產(chǎn)生的產(chǎn)品數(shù)據(jù)。為了數(shù)據(jù)長(zhǎng)期安全可用，建立南美空間天氣數(shù)據(jù)中心產(chǎn)品庫(kù)，采用在線-近線-離線三種狀態(tài)進(jìn)行分級(jí)存儲(chǔ)。在中國(guó)災(zāi)備中心實(shí)施數(shù)據(jù)異地災(zāi)備，異地災(zāi)備可有效防止存儲(chǔ)介質(zhì)因物理?yè)p壞造成的數(shù)據(jù)永久丟失。

數(shù)據(jù)管理子系統(tǒng)實(shí)施產(chǎn)品庫(kù)中數(shù)據(jù)的常規(guī)管理，包括數(shù)據(jù)自動(dòng)入庫(kù)、出庫(kù)、檢索、瀏覽、可視化繪制以及統(tǒng)計(jì)分析等管理。

隨著觀測(cè)任務(wù)推進(jìn)和數(shù)據(jù)的積累，在數(shù)據(jù)存儲(chǔ)的基礎(chǔ)上，需按照數(shù)據(jù)歸檔策略進(jìn)行數(shù)據(jù)的永久歸檔。數(shù)據(jù)檔案是數(shù)據(jù)產(chǎn)品組織的一種形態(tài)，也可以進(jìn)行數(shù)據(jù)檔案的發(fā)布和共享。在空間科學(xué)領(lǐng)域，數(shù)據(jù)檔案通常以數(shù)據(jù)集和數(shù)據(jù)卷兩種形態(tài)進(jìn)行組織和管理[4]，數(shù)據(jù)歸檔子系統(tǒng)主要建立南美實(shí)驗(yàn)室數(shù)據(jù)中心數(shù)據(jù)檔案庫(kù)，并實(shí)施檔案管理。

數(shù)據(jù)分發(fā)與發(fā)布子系統(tǒng)面向設(shè)備PI為主的科學(xué)家和空間環(huán)境預(yù)報(bào)系統(tǒng)用戶分發(fā)數(shù)據(jù)，面向公眾用戶發(fā)布數(shù)據(jù)，未來(lái)還需同巴西等國(guó)家進(jìn)行國(guó)際交換和共享。數(shù)據(jù)定向分發(fā)可保證分發(fā)用戶獲取數(shù)據(jù)的實(shí)時(shí)性和完整性，數(shù)據(jù)共享發(fā)布可實(shí)現(xiàn)數(shù)據(jù)受眾的大眾化，以及用戶選擇數(shù)據(jù)的靈活性。

系統(tǒng)綜合監(jiān)管子系統(tǒng)用以解決多功能系統(tǒng)統(tǒng)一運(yùn)行和集中管理難的問(wèn)題，主要實(shí)施各子系統(tǒng)業(yè)務(wù)運(yùn)行狀態(tài)信息，系統(tǒng)基礎(chǔ)設(shè)施狀態(tài)信息(網(wǎng)絡(luò)、存儲(chǔ)、服務(wù)器)以及臺(tái)站、設(shè)備運(yùn)行狀態(tài)信息的采集、分析和統(tǒng)一展示，以 Email、短信或郵件的形式向管理用戶實(shí)時(shí)推送各類告警信息。輔助觀測(cè)設(shè)備和信息系統(tǒng)的異地部署和管理。

2.1.3 用戶層

用戶層設(shè)計(jì)了系統(tǒng)管理用戶和系統(tǒng)注冊(cè)用戶兩類，系統(tǒng)管理用戶具備各系統(tǒng)管理權(quán)限，對(duì)系統(tǒng)注冊(cè)用戶進(jìn)行授權(quán)，分配其在各分系統(tǒng)中的權(quán)限。注冊(cè)用戶又分為科學(xué)家、空間環(huán)境預(yù)報(bào)系統(tǒng)專有用戶和普通公眾用戶兩類，專有用戶可享受數(shù)據(jù)分發(fā)服務(wù)，普通公眾用戶享受發(fā)布系統(tǒng)提供的數(shù)據(jù)服務(wù)。

2.1.4 空間天氣地基觀測(cè)數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范

數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范貫穿整條數(shù)據(jù)處理、管理等數(shù)據(jù)活動(dòng)，指導(dǎo)數(shù)據(jù)處理和數(shù)據(jù)應(yīng)用。南美空間天氣地基數(shù)據(jù)涉及標(biāo)準(zhǔn)規(guī)范有數(shù)據(jù)分級(jí)與命名規(guī)范，數(shù)據(jù)組織規(guī)范和元數(shù)據(jù)標(biāo)準(zhǔn)。所有規(guī)范采用或沿用空間科學(xué)領(lǐng)域已有相關(guān)規(guī)范。

2.2 核心業(yè)務(wù)流設(shè)計(jì)

南美空間天氣信息系統(tǒng)采用自動(dòng)化、業(yè)務(wù)化運(yùn)行設(shè)計(jì)模式，不同功能組件通過(guò)消息流自動(dòng)串聯(lián)，系統(tǒng)核心業(yè)務(wù)流如下：

(1)臺(tái)站設(shè)備獲取的觀測(cè)數(shù)據(jù)緩存于臺(tái)站計(jì)算機(jī)本地存儲(chǔ)，數(shù)據(jù)掃描與發(fā)現(xiàn)服務(wù)自動(dòng)識(shí)別本地緩存中新產(chǎn)生的數(shù)據(jù)文件，通過(guò)網(wǎng)絡(luò)將數(shù)據(jù)文件及時(shí)上傳至約定存儲(chǔ)路徑并上報(bào)數(shù)據(jù)傳輸完成通知消息，數(shù)據(jù)接收軟件根據(jù)完成通知的消息內(nèi)容接收數(shù)據(jù)文件并進(jìn)行數(shù)據(jù)格式和傳輸完整性校驗(yàn)。

(2)數(shù)據(jù)質(zhì)量評(píng)估系統(tǒng)根據(jù)約定的數(shù)據(jù)接口規(guī)范，對(duì)接收的設(shè)備數(shù)據(jù)進(jìn)行數(shù)據(jù)規(guī)范性和核心物理量質(zhì)量評(píng)估。

(3)通過(guò)質(zhì)量評(píng)估和驗(yàn)證的數(shù)據(jù)及時(shí)分發(fā)和推送給相關(guān)用戶，并自動(dòng)存儲(chǔ)數(shù)據(jù)庫(kù)中。

(4)設(shè)備觀測(cè)的原始數(shù)據(jù)作為數(shù)據(jù)預(yù)處理和加工的數(shù)據(jù)輸入，自動(dòng)觸發(fā)數(shù)據(jù)預(yù)處理和加工任務(wù)，生成不同級(jí)別、不同類型的多類數(shù)據(jù)產(chǎn)品。而未通過(guò)質(zhì)量評(píng)估的數(shù)據(jù)不進(jìn)入數(shù)據(jù)庫(kù)或進(jìn)行下一步處理，錯(cuò)誤信息直接反饋給設(shè)備PI，由設(shè)備 PI 進(jìn)行下一步處理或操作。

(5)經(jīng)過(guò)預(yù)處理和加工的數(shù)據(jù)產(chǎn)品也需經(jīng)過(guò)質(zhì)量評(píng)估，確保數(shù)據(jù)的規(guī)范性和合理性。

(6)通過(guò)評(píng)估的數(shù)據(jù)方可進(jìn)行在線分發(fā)和數(shù)據(jù)存儲(chǔ)入庫(kù)。根據(jù)數(shù)據(jù)存儲(chǔ)日期、數(shù)據(jù)活躍度以及數(shù)據(jù)存儲(chǔ)容量等綜合情況，動(dòng)態(tài)完成在線，近線和離線數(shù)據(jù)的遷移和回遷，數(shù)據(jù)災(zāi)備任務(wù)按預(yù)先設(shè)置的災(zāi)備策略自動(dòng)執(zhí)行。

(7)根據(jù)檔案制作策略，在有新的標(biāo)校數(shù)據(jù)產(chǎn)品產(chǎn)生時(shí)，觸發(fā)檔案制作任務(wù)，制作數(shù)據(jù)檔案。在檔案制作中，除設(shè)備原始數(shù)據(jù)、標(biāo)校數(shù)據(jù)外，一般還需要配備軟件/工具、算法、文檔等其它外部數(shù)據(jù)。

(8)科學(xué)家公眾用戶通過(guò)數(shù)據(jù)檔案發(fā)布系統(tǒng)檢索檔案庫(kù)(或檔案發(fā)布庫(kù))中的數(shù)據(jù)檔案，具有合適權(quán)限時(shí)，可以進(jìn)行數(shù)據(jù)檔案下載和在線使用。

2.3 系統(tǒng)設(shè)計(jì)與技術(shù)選用

進(jìn)行南美空間天氣信息系統(tǒng)設(shè)計(jì)時(shí)，在滿足系統(tǒng)功能基礎(chǔ)上，充分考慮了空間天氣地基數(shù)據(jù)特點(diǎn)和系統(tǒng)應(yīng)用特點(diǎn)，利用多種技術(shù)手段以保證系統(tǒng)的安全性、高效性、易用性、擴(kuò)展性和可維護(hù)性。

不同子系統(tǒng)功能獨(dú)立研發(fā)和統(tǒng)一集成，子系統(tǒng)靈活選用底層框架進(jìn)行實(shí)現(xiàn)。通過(guò)服務(wù)器雙機(jī)熱備部署、數(shù)據(jù)庫(kù)主-主熱備、出入口帶寬保證、網(wǎng)絡(luò)防火墻接入、充分利用現(xiàn)有成熟技術(shù)、系統(tǒng)用戶權(quán)限控制等措施來(lái)保證系統(tǒng)的安全性、高效性和可靠性。利用模塊化設(shè)計(jì)、多層次設(shè)計(jì)和用戶界面設(shè)計(jì)結(jié)合，保證系統(tǒng)的易用性。系統(tǒng)設(shè)計(jì)中采用作業(yè)調(diào)度、基礎(chǔ)平臺(tái)和插件相結(jié)合的設(shè)計(jì)模式，將不同數(shù)據(jù)產(chǎn)品數(shù)據(jù)處理與加工、數(shù)據(jù)快視、數(shù)據(jù)質(zhì)量評(píng)估等差異化處理服務(wù)封裝成插件供作業(yè)調(diào)度軟件調(diào)用，增強(qiáng)系統(tǒng)內(nèi)的可擴(kuò)展性；不同系統(tǒng)間采用松散、低耦合的消息流、存儲(chǔ)目錄或Webservice服務(wù)等的標(biāo)準(zhǔn)接口，支持流程動(dòng)態(tài)擴(kuò)展和柔性組合，增強(qiáng)系統(tǒng)間的可擴(kuò)展性。通過(guò)系統(tǒng)綜合監(jiān)控實(shí)施對(duì)存儲(chǔ)設(shè)備、計(jì)算設(shè)備和網(wǎng)絡(luò)鏈路等基礎(chǔ)設(shè)施和定制軟件、系統(tǒng)服務(wù)軟件的監(jiān)視和顯示，以提升系統(tǒng)綜合運(yùn)維能力。利用網(wǎng)絡(luò)視頻監(jiān)控技術(shù)，對(duì)聯(lián)合站場(chǎng)地、觀測(cè)設(shè)備和系統(tǒng)部署場(chǎng)所進(jìn)行視頻監(jiān)控，解決異地設(shè)備管理和系統(tǒng)異地部署、管理的難題。

圖2 南美空間天氣信息系統(tǒng)核心業(yè)務(wù)流圖Fig.2 Core business flow of South American space weather information system

3 系統(tǒng)初步實(shí)現(xiàn)

按照上述建設(shè)思路，不同分系統(tǒng)獨(dú)立研制。目前已完成臺(tái)站數(shù)據(jù)傳輸，數(shù)據(jù)預(yù)處理以及緩存數(shù)據(jù)管理功能，初步實(shí)現(xiàn)和覆蓋的數(shù)據(jù)處理業(yè)流程參見(jiàn)圖3，相關(guān)系統(tǒng)軟件已在臺(tái)站、INPE 和中國(guó)北京進(jìn)行部署和試運(yùn)行，其他分系統(tǒng)軟件正處于研制中。

3.1 臺(tái)站數(shù)據(jù)傳輸

傳輸鏈路選擇上，臺(tái)站到INPE的傳輸鏈路選用高速、穩(wěn)定的巴西科研網(wǎng)，臺(tái)站到北京的傳輸鏈路需通過(guò)國(guó)際科研網(wǎng)中轉(zhuǎn)，實(shí)現(xiàn)巴西科研網(wǎng)同中國(guó)科技網(wǎng)絡(luò)的對(duì)接，INPE到北京的網(wǎng)絡(luò)帶寬能穩(wěn)定在30Mbps以上，可滿足數(shù)據(jù)的準(zhǔn)實(shí)時(shí)傳輸要求，網(wǎng)絡(luò)拓?fù)鋱D見(jiàn)4。

數(shù)據(jù)傳輸子系統(tǒng)包括數(shù)據(jù)上傳軟件、數(shù)據(jù)接收軟件和傳輸狀態(tài)監(jiān)管三套定制軟件。軟件選用JAVA語(yǔ)言進(jìn)行后臺(tái)傳輸和前臺(tái)界面的研發(fā)，系統(tǒng)運(yùn)行環(huán)境為Cent OS 6.6。因FTP協(xié)議具有傳輸高效、安全性高等技術(shù)特點(diǎn)，采用成熟的FTP協(xié)議進(jìn)行數(shù)據(jù)傳輸。

圖3 初步實(shí)現(xiàn)和覆蓋的數(shù)據(jù)處理業(yè)務(wù)流程Fig.3Preliminary implementation of data processing business process

圖4 數(shù)據(jù)傳輸網(wǎng)絡(luò)拓?fù)鋱DFig.4 Topology for data transmission network

圖5 臺(tái)站、設(shè)備、系統(tǒng)場(chǎng)所等視頻監(jiān)控畫(huà)面Fig.5 Video surveillance screens of station,instrument and room

上傳軟件使用定時(shí)自動(dòng)掃描處理機(jī)制，及時(shí)發(fā)現(xiàn)臺(tái)站獲取的觀測(cè)數(shù)據(jù)，并提交數(shù)據(jù)上傳任務(wù)，確保數(shù)據(jù)傳輸?shù)募皶r(shí)性；通過(guò)對(duì)上傳軟件掃描策略的配置，可擴(kuò)展后續(xù)新增觀測(cè)設(shè)備數(shù)據(jù)的傳輸功能。以此解決了海量小文件數(shù)據(jù)的實(shí)時(shí)傳輸難題。數(shù)據(jù)接收軟件定制了斷點(diǎn)續(xù)傳和傳輸文件 MD5 值校驗(yàn)服務(wù)，以保證傳輸數(shù)據(jù)的完整性和一致性。傳輸狀態(tài)監(jiān)視軟件對(duì)采集的傳輸鏈路狀態(tài)信息，輸業(yè)務(wù)軟件和硬件狀態(tài)信息，以及臺(tái)站、觀測(cè)設(shè)備、系統(tǒng)場(chǎng)所視頻監(jiān)控圖像進(jìn)行統(tǒng)一展示，將系統(tǒng)告警信息及時(shí)推送給管理用戶。管理用戶可實(shí)時(shí)在線掌握臺(tái)站、設(shè)備運(yùn)行情況以及數(shù)據(jù)傳輸狀態(tài)，實(shí)現(xiàn)對(duì)觀測(cè)設(shè)備異地監(jiān)視，及時(shí)發(fā)現(xiàn)和排查傳輸異常、傳輸中斷等故障問(wèn)題，進(jìn)一步保障了數(shù)據(jù)傳輸?shù)膶?shí)時(shí)性和穩(wěn)定性。

在試運(yùn)行階段，數(shù)據(jù)傳輸子系統(tǒng)已實(shí)現(xiàn)了對(duì)現(xiàn)有12種數(shù)據(jù)產(chǎn)品向INPE和北京的準(zhǔn)實(shí)時(shí)傳輸，截止2017年5月12日0點(diǎn)(世界時(shí))，數(shù)據(jù)傳輸各業(yè)務(wù)軟件運(yùn)行正常，共收集到臺(tái)站上傳數(shù)據(jù)產(chǎn)品文件50326個(gè)，數(shù)據(jù)產(chǎn)品體量64GB，所有數(shù)據(jù)傳輸時(shí)間延遲均不超過(guò) 1 小時(shí)。

3.2 數(shù)據(jù)預(yù)處理與緩存管理

數(shù)據(jù)預(yù)處理與緩存管理是數(shù)據(jù)預(yù)處理與加工子系統(tǒng)提供的功能， 同樣選用 JAVA 語(yǔ)言進(jìn)行后臺(tái)處理和前臺(tái)用戶界面的研發(fā)，緩存數(shù)據(jù)庫(kù)采用MYSQL，系統(tǒng)運(yùn)行環(huán)境為Cent OS 6.6。數(shù)據(jù)預(yù)處理和加工子系統(tǒng)采用基礎(chǔ)處理平臺(tái)、作業(yè)調(diào)研軟件(選用 PBS 商用調(diào)度軟件)和處理插件相結(jié)合的設(shè)計(jì)方式，以支持后續(xù)數(shù)據(jù)預(yù)處理、數(shù)據(jù)加工和數(shù)據(jù)可視化繪制等復(fù)雜功能插件的擴(kuò)展，解決了多并發(fā)數(shù)據(jù)處理任務(wù)協(xié)同運(yùn)行和調(diào)度的難題。分系統(tǒng)已實(shí)現(xiàn)數(shù)據(jù)預(yù)處理、緩存數(shù)據(jù)管理和數(shù)據(jù)可視化3套定制核心軟件，集成軟件在INPE和中國(guó)(業(yè)務(wù)備份)各部署一套。利用了雙機(jī)熱備和數(shù)據(jù)庫(kù)主-主備份的方式確保軟件、數(shù)據(jù)庫(kù)的運(yùn)行安全性和穩(wěn)定性。

圖6 數(shù)據(jù)傳輸監(jiān)視頁(yè)面Fig.6 Webpage for data transmission monitoring

數(shù)據(jù)預(yù)處理軟件實(shí)現(xiàn)了預(yù)處理基礎(chǔ)處理平臺(tái)的研制，按照南美空間天氣數(shù)據(jù)分級(jí)和命名規(guī)范，對(duì)數(shù)據(jù)中心接收所有 12 種數(shù)據(jù)產(chǎn)品進(jìn)行了重命名處理。數(shù)據(jù)標(biāo)準(zhǔn)化處理對(duì)應(yīng)的其它處理插件功能正在研制中。

數(shù)據(jù)緩存管理軟件實(shí)現(xiàn)了預(yù)處理數(shù)據(jù)產(chǎn)品文件自動(dòng)入緩存數(shù)據(jù)(文件)庫(kù)功能，可自動(dòng)解析文件名字段的臺(tái)站、設(shè)備、級(jí)別、數(shù)據(jù)時(shí)間等屬性信息存儲(chǔ)到MYSQL 數(shù)據(jù)庫(kù)。提供緩存管理界面，支持按臺(tái)站、設(shè)備和時(shí)間等屬性條件的分類檢索、數(shù)據(jù)在線瀏覽和下載、數(shù)據(jù)分類統(tǒng)計(jì)分系統(tǒng)等數(shù)據(jù)管理功能。

數(shù)據(jù)可視化繪制軟件實(shí)現(xiàn)了對(duì)緩存數(shù)據(jù)庫(kù)的數(shù)據(jù)文件的可視化繪制服務(wù)。包括:

(1)電離層 GPS-TEC 反演電離層電子總含量(TEC)和振幅閃爍指數(shù)S4的實(shí)時(shí)繪制和顯示，圖4左上為29個(gè)衛(wèi)星反射回波信號(hào)反演得到的 TEC 含量，每種顏色代表一個(gè)衛(wèi)星，每一個(gè)衛(wèi)星信號(hào)可得到一組TEC值。圖4左下和圖4右上分別為L(zhǎng)2和L1載波處理得到的閃爍指數(shù)S4。

(2)電離層數(shù)字測(cè)高儀頻高圖數(shù)據(jù)的讀取和在線顯示(圖4右下)。

圖7 數(shù)據(jù)管理頁(yè)面Fig.7 Webpage for data management

(3)激光雷達(dá) 80～110km 高度剖面鈉、鉀光子計(jì)數(shù)數(shù)據(jù)的在線繪制。

(4)地磁 H、Z、D 三變化量以及溫度 T 的時(shí)序變化量圖像繪制。

4 結(jié)語(yǔ)

圖8 電離層 GPS-TEC 數(shù)據(jù)和數(shù)字測(cè)高儀數(shù)據(jù)可視化Fig.8 Visualization of data from GPS-TEC instrument and ionosphericIonosonde

南美空間天氣信息系統(tǒng)作為南美空間天氣數(shù)據(jù)中心的核心建設(shè)內(nèi)容之一，是聯(lián)結(jié)中國(guó)與巴西及其周邊國(guó)家空間環(huán)境地基探測(cè)和空間天氣研究與應(yīng)用的重要紐帶。根據(jù)空間天氣數(shù)據(jù)特點(diǎn)和業(yè)務(wù)運(yùn)行特點(diǎn)設(shè)計(jì)的南美空間天氣信息系統(tǒng)可滿足南美實(shí)驗(yàn)室數(shù)據(jù)中心業(yè)務(wù)需求，提升系統(tǒng)安全性和穩(wěn)定性，解決系統(tǒng)建設(shè)中的遇到的異地部署和管理等技術(shù)難題，可作為后期軟件研發(fā)的依據(jù)。

初步實(shí)現(xiàn)了南美空間天氣信息分系統(tǒng)數(shù)據(jù)傳輸、數(shù)據(jù)預(yù)處理與緩存管理功能的研制與部署?？蓽?zhǔn)實(shí)時(shí)的將臺(tái)站數(shù)據(jù)傳輸至南美空間天氣數(shù)據(jù)中心，并進(jìn)行數(shù)據(jù)文件重命名處理、緩存管理和數(shù)據(jù)可視化繪制。截止2017年5月12日0點(diǎn)(世界時(shí))，各業(yè)務(wù)軟件運(yùn)行正常，共收集到臺(tái)站上傳數(shù)據(jù)產(chǎn)品文件50326個(gè)，累計(jì)體量64GB，所有數(shù)據(jù)傳輸時(shí)間延遲均不超過(guò)1小時(shí)。

未來(lái)，需依據(jù)該框架完成剩余子系統(tǒng)功能的研制，建成功能完整的南美空間天氣信息系統(tǒng)，保障數(shù)據(jù)的長(zhǎng)期安全性、多樣性、規(guī)范性和質(zhì)量可靠性，為科學(xué)家團(tuán)隊(duì)提供一個(gè)集異地觀測(cè)設(shè)備管理、全自動(dòng)化數(shù)據(jù)傳輸，在線數(shù)據(jù)處理、分析、管理和共享分發(fā)的科研信息化系統(tǒng)，輔助南美數(shù)據(jù)國(guó)際交換和對(duì)外開(kāi)放共享、加速對(duì)赤道及低緯電離層特性、中高層大氣波動(dòng)與下層大氣耦合過(guò)程等關(guān)鍵科學(xué)問(wèn)題研究成果的產(chǎn)出，助力“軍民融合”空間天氣預(yù)警預(yù)報(bào)系統(tǒng)和空間環(huán)境效應(yīng)評(píng)估系統(tǒng)，為“國(guó)際空間天氣子午圈”的推進(jìn)提供數(shù)據(jù)信息系統(tǒng)應(yīng)用示范作用。

致謝

感謝中國(guó)空間科學(xué)數(shù)據(jù)中心在系統(tǒng)建設(shè)中提供的數(shù)據(jù)樣例示范服務(wù)。

[1] 范全林.基于子午工程的國(guó)際空間天氣子午圈計(jì)劃[J].中國(guó)科學(xué)基金,2008,(02):65-69.

[2] 徐麗.鈉層測(cè)風(fēng)測(cè)溫激光雷達(dá)原理及數(shù)據(jù)處理方法研究[D].中國(guó)科學(xué)院研究生院(空間科學(xué)與應(yīng)用研究中心),2008.

[3] 謝凡.地磁觀測(cè)中干擾抑制方法的發(fā)展及展望[J].地球物理學(xué)進(jìn)展,2012,(03):967-976.

[4] 鄒自明,佟繼周,熊森林,胡曉彥,紀(jì)珍.大數(shù)據(jù)時(shí)代空間科學(xué)領(lǐng)域的科研信息化實(shí)踐與成果[J].大數(shù)據(jù),2016,(06):83-96.

2016年12月20日

熊森林：中國(guó)科學(xué)院國(guó)家空間科學(xué)中心，助理研究員，碩士，主要研究方向?yàn)榭臻g科學(xué)信息系統(tǒng)技術(shù)，數(shù)據(jù)處理和管理。

E-mail: xsl@nssc.ac.cn

鄭 巖：中國(guó)科學(xué)院國(guó)家空間科學(xué)中心，副研究員，碩士，主要研究方向?yàn)榇髷?shù)據(jù)環(huán)境云平臺(tái)、并行處理、高速傳輸網(wǎng)絡(luò)等技術(shù)研究和應(yīng)用。

E-mail: zhengyan@nssc.ac.cn

閆振中：中國(guó)科學(xué)院國(guó)家空間科學(xué)中心，助理研究員，學(xué)士，主要工作方向云平臺(tái)環(huán)境下的軟件設(shè)計(jì)與實(shí)現(xiàn)。

E-mail: yanzz@nssc.ac.cn

馬福利：中國(guó)科學(xué)院國(guó)家空間科學(xué)中心，助理研究員，碩士，主要工作方向空間科學(xué)數(shù)據(jù)預(yù)處理技術(shù)、大數(shù)據(jù)離線計(jì)算和 hadoop 云計(jì)算平臺(tái)。

E-mail: mafuli007@nssc.ac.cn

紀(jì) 珍：中國(guó)科學(xué)院國(guó)家空間科學(xué)中心，副研究員，博士，主要研究方向?yàn)榭臻g科學(xué)信息系統(tǒng)技術(shù)，數(shù)據(jù)處理和管理。E-mail: zji@nssc.ac.cn

佟繼周：中國(guó)科學(xué)院國(guó)家空間科學(xué)中心研究室副主任，副研究員，主要研究方向?yàn)槿盏乜臻g大數(shù)據(jù)處理與應(yīng)用技術(shù)。

E-mail: tongjz@nssc.ac.cn

鄒自明：中國(guó)科學(xué)院國(guó)家空間科學(xué)中心副主任，研究員，博士生導(dǎo)師，主要研究方向?yàn)槿盏乜臻g大數(shù)據(jù)處理與應(yīng)用技術(shù)。

E-mail: mzou@nssc.ac.cn

王 赤：中國(guó)科學(xué)院國(guó)家空間科學(xué)中心副主任，研究員，博士生導(dǎo)師，主要研究方向?yàn)榭臻g物理學(xué)。

E-mail: cw@spaceweather.ac.cn

Design and Implementation of South American Space Weather Information System

Xiong Senlin,Zheng Yan,Yan Zhenzhong,Ma Fuli,Ji Zhen,Tong Jizhou,Zou Ziming,Wang Chi

Chinese Space Science Center,Chinese Academy of Sciences,Beijing 100190,China

As an important part of “China-Brazil Joint Laboratory for Space Weather /South American Laboratory for Space Weather,Chinese Academy of Sciences”,South American space weather data center(data center for short)is responsible for the data transfer,processing,storage,management and sharing.The data life cycle application requirements of South America space weather data information system serve for data center were analyzed.By consideration of the characteristics of space weather data,technical problems would meet in system construction and the system feature,the information system framework was designed.Theprogram meets all system functional requirements,could effectively solve the system technical problems as well.According to construction plan,data transmission,processing and cache management functions were preliminary implemented.Now,the data center can

ata from the ground station in quasi real time,visualize the data as well.All of this is a solid step towards the construction of integrity South America space weather information systems and the application and management for space weather data in South America.

China-Brazil joint laboratory; space weather; south america laboratory data center; data information system

10.11871/j.issn.1674-9480.2017.01.006

國(guó)際空間天氣子午圈計(jì)劃(一期)(2014DFA20770)