基于硬鏈接的氣象水文數(shù)據(jù)推送系統(tǒng)設(shè)計(jì)

黃俊領(lǐng), 張志杰, 高 寧

(中國(guó)人民解放軍61741部隊(duì)信息中心,北京100094)

近幾年來(lái),為了滿足氣象水文預(yù)報(bào)預(yù)測(cè)業(yè)務(wù)的需求,中國(guó)在氣象、海洋、空間各行業(yè)進(jìn)行了大規(guī)模的基礎(chǔ)性建設(shè),通過衛(wèi)星遙感探測(cè)、地面自動(dòng)觀測(cè)、海洋環(huán)境探測(cè)、空間環(huán)境探測(cè)獲取了大量觀、探測(cè)資料,生成了大量的氣象水文預(yù)報(bào)預(yù)測(cè)產(chǎn)品。如何在有限的帶寬下把資料和產(chǎn)品實(shí)時(shí)或近實(shí)時(shí)地推送至各級(jí)氣象水文基層單位,使一線預(yù)報(bào)人員能夠在第一時(shí)間獲取所需的保障資料,最大限度的提高預(yù)報(bào)產(chǎn)品的時(shí)效性,是氣象水文信息服務(wù)的一項(xiàng)主要任務(wù)。目前在有線信道上的信息推送主要是基于FTP(文件傳輸協(xié)議)的文件傳輸,通過遠(yuǎn)程目錄同步[1]的方式實(shí)現(xiàn)。采用這種方式,傳輸目錄中文件數(shù)量較多時(shí)搜索、比對(duì)時(shí)間大幅增加,消耗時(shí)間遠(yuǎn)大于增量文件傳輸時(shí)間,且無(wú)傳輸優(yōu)先級(jí)控制,不能保證不同信息時(shí)效性要求。

采用基于硬鏈接的數(shù)據(jù)推送技術(shù),設(shè)計(jì)了包括本地文件同步、遠(yuǎn)程文件傳輸、到報(bào)監(jiān)控管理和傳輸安全控制等的氣象水文數(shù)據(jù)推送系統(tǒng),探索了氣象水文數(shù)據(jù)推送的新形式,實(shí)現(xiàn)了氣象水文信息的高效推送。

1 硬鏈接技術(shù)簡(jiǎn)介

硬鏈接(Hard link)[2]最早是UNIX文件系統(tǒng)的一個(gè)功能屬性,和原文件名指向的是存儲(chǔ)設(shè)備上同一個(gè)文件內(nèi)容。就好像這個(gè)文件內(nèi)容有多個(gè)文件名一樣,每個(gè)文件名都有相等地位。刪除其中任何一個(gè)之后,文件內(nèi)容本身不會(huì)被刪除,仍然可以使用其他名稱來(lái)訪問。只有當(dāng)最后一個(gè)指向這個(gè)文件內(nèi)容的文件名被刪除后,文件內(nèi)容才被真正刪除?？梢钥闯?一個(gè)文件的硬鏈接跟此文件的原名稱沒有任何本質(zhì)區(qū)別。

現(xiàn)在,硬鏈接已不僅僅是UNIX、LINUX的專利,在Windows系統(tǒng)的NTFS文件系統(tǒng)中也能夠使用硬鏈接技術(shù)。使用硬鏈接有以下優(yōu)點(diǎn):一是節(jié)省硬盤空間,同樣的文件,只需要維護(hù)硬鏈接關(guān)系,不需要進(jìn)行多重的拷貝。二是防止意外刪除,刪除其文件的一個(gè)鏈接,文件還能夠通過其他鏈接名稱進(jìn)行訪問操作。三是方便應(yīng)用管理,如建立硬鏈接進(jìn)行集中備份、通過維護(hù)硬鏈接關(guān)系(即文件重定向)進(jìn)行軟件或組件版本升級(jí)(Windows7中大量使用[3-4])等。四是便于同步操作,將需要同步的文件建立硬鏈接到同一個(gè)分區(qū)下的不同目錄中,即可以實(shí)現(xiàn)對(duì)目錄中文件的同步操作,系統(tǒng)使用的就是硬鏈接的此項(xiàng)特征。

2 系統(tǒng)架構(gòu)設(shè)計(jì)

基于硬鏈接的氣象水文數(shù)據(jù)推送系統(tǒng)的整體功能架構(gòu)如圖1所示,設(shè)計(jì)為3層:基礎(chǔ)服務(wù)層、功能管理層和用戶接口層。架構(gòu)以封裝資源和為用戶提供統(tǒng)一、簡(jiǎn)單和友好的接口界面為目標(biāo),通過各層協(xié)同工作與支持,共同完成數(shù)據(jù)推送的各項(xiàng)功能。

2.1 基礎(chǔ)服務(wù)層

基礎(chǔ)服務(wù)層主要是完成數(shù)據(jù)推送所需要的一些基礎(chǔ)服務(wù),主要由數(shù)據(jù)傳輸服務(wù)、數(shù)據(jù)安全服務(wù)、其他支撐服務(wù)和傳輸狀態(tài)數(shù)據(jù)庫(kù)4個(gè)部分組成。采用現(xiàn)有成熟IT技術(shù)如.NET框架技術(shù)、WEB服務(wù)技術(shù)和數(shù)據(jù)庫(kù)技術(shù)來(lái)實(shí)現(xiàn),存在形式是服務(wù)、鏈接庫(kù)和數(shù)據(jù)庫(kù)。

數(shù)據(jù)傳輸服務(wù)對(duì)所有的待傳輸數(shù)據(jù)提供落地、非落地的基于TCP的數(shù)據(jù)傳輸和基于UDP的消息傳輸服務(wù)。具體做法是使用TCP進(jìn)行數(shù)據(jù)傳輸,使用UDP進(jìn)行消息反饋和傳遞。數(shù)據(jù)安全服務(wù)完成節(jié)點(diǎn)注冊(cè)身份認(rèn)證、應(yīng)用層加解密和訪問策略控制等功能。其他支撐服務(wù)由WEB服務(wù)、壓縮解壓縮服務(wù)、文件分割與組合服務(wù)、版本檢測(cè)與升級(jí)服務(wù)等組成。傳輸狀態(tài)數(shù)據(jù)庫(kù)完成數(shù)據(jù)傳輸過程中的日志記錄、配置記錄、消息記錄等功能,并與WEB服務(wù)相結(jié)合,對(duì)全網(wǎng)提供傳輸狀態(tài)的動(dòng)態(tài)查詢和報(bào)表功能。

2.2 功能管理層

功能管理層實(shí)現(xiàn)了系統(tǒng)在傳輸?shù)母鱾€(gè)階段和環(huán)節(jié)的管理功能,主要有系統(tǒng)配置管理、傳輸流程管理、安全傳輸管理、傳輸監(jiān)控管理和日志報(bào)表管理等5部分,其中系統(tǒng)配置管理、傳輸監(jiān)控管理和日志報(bào)表管理采用基于WEB服務(wù)的方式,傳輸流程管理和安全傳輸管理采用基于C/S的模式。

系統(tǒng)配置管理實(shí)現(xiàn)對(duì)系統(tǒng)基本參數(shù)和要素的配置功能,主要包括傳輸目標(biāo)節(jié)點(diǎn)信息、數(shù)據(jù)源目錄信息、傳輸任務(wù)信息及其他系統(tǒng)運(yùn)行參數(shù)信息。傳輸流程管理是功能實(shí)現(xiàn)的一個(gè)重點(diǎn),描述了數(shù)據(jù)是如何從源節(jié)點(diǎn)傳輸?shù)侥繕?biāo)節(jié)點(diǎn)的全過程,以及其中控制和反饋信息的傳輸。安全傳輸管理實(shí)現(xiàn)節(jié)點(diǎn)的入網(wǎng)注冊(cè)、身份認(rèn)證、配置信息下載、應(yīng)用層的加解密功能和安全策略管制管理等功能。節(jié)點(diǎn)入網(wǎng)注冊(cè)和身份認(rèn)證將節(jié)點(diǎn)規(guī)劃信息和節(jié)點(diǎn)的硬件信息進(jìn)行綁定,作為入網(wǎng)憑證。加解密功能根據(jù)數(shù)據(jù)傳輸模式要求,對(duì)需要加密傳輸?shù)臄?shù)據(jù)進(jìn)行加密傳輸和接收解密操作。安全策略管理包括粗粒度的菜單控制及細(xì)粒度的目錄及文件控制策略。傳輸監(jiān)控管理通過分析數(shù)據(jù)傳輸特征,完成資料和傳輸?shù)娜瘫O(jiān)視功能。日志報(bào)表管理主要完成數(shù)據(jù)傳輸?shù)娜罩居涗浖皥?bào)表生成功能,用來(lái)組織傳輸監(jiān)控和故障分析。

圖1 系統(tǒng)架構(gòu)圖

2.3 用戶接口層

用戶接口層主要包括人機(jī)界面、查詢處理和統(tǒng)一數(shù)據(jù)視圖3個(gè)部分內(nèi)容,是用戶訪問數(shù)據(jù)源的入口,是進(jìn)行任務(wù)管理、監(jiān)控系統(tǒng)運(yùn)行的人機(jī)交互平臺(tái)。人機(jī)界面采用基于B/S和C/S技術(shù)結(jié)合設(shè)計(jì),為用戶提供一切可供用戶操作的前臺(tái)信息展示界面。查詢處理利用人機(jī)界面將用戶提交的各類查詢和監(jiān)視要求,經(jīng)功能實(shí)現(xiàn)層處理輸出為標(biāo)準(zhǔn)的服務(wù)請(qǐng)求,最后利用基礎(chǔ)服務(wù)來(lái)執(zhí)行并獲取查詢結(jié)果。統(tǒng)一數(shù)據(jù)視圖是將查詢處理產(chǎn)生的查詢結(jié)果進(jìn)行統(tǒng)一封裝,規(guī)范其展現(xiàn)方式,以同一種表現(xiàn)風(fēng)格來(lái)處理信息的有效表達(dá),使得操作人員更易于理解。

3 傳輸流程及功能設(shè)計(jì)

3.1 傳輸流程

系統(tǒng)傳輸流程可分為建立任務(wù)、報(bào)文檢測(cè)、建硬鏈接、數(shù)據(jù)推送、數(shù)據(jù)接收、情況反饋等6個(gè)步驟,如圖2所示。建立任務(wù)主要是建立用來(lái)驅(qū)動(dòng)傳輸?shù)母黜?xiàng)任務(wù)及相關(guān)信息,即推送目標(biāo)、推送數(shù)據(jù)及相關(guān)信息。報(bào)文檢測(cè)是指對(duì)源目錄中報(bào)文到達(dá)情況進(jìn)行檢測(cè),并將檢測(cè)信息存入傳輸狀態(tài)數(shù)據(jù)庫(kù)。建硬鏈接即根據(jù)傳輸任務(wù)的要求,建立新到報(bào)文至目標(biāo)單位的傳輸硬鏈接,建立成功后,將源目錄中相應(yīng)文件刪除。數(shù)據(jù)推送是指在完成相應(yīng)加密、壓縮或其他功能處理后,將數(shù)據(jù)發(fā)送至目標(biāo)單位接收端主機(jī)上。數(shù)據(jù)接收是利用部署在目標(biāo)單位的數(shù)據(jù)接收軟件,將數(shù)據(jù)接收下來(lái),進(jìn)行解密、解壓縮或其他功能處理后,存放在相應(yīng)目標(biāo)目錄下,以備使用。情況反饋是將文件接收情況、接收檢測(cè)和監(jiān)視信息進(jìn)行反饋操作,便于本地和數(shù)據(jù)發(fā)送端進(jìn)行數(shù)據(jù)傳輸狀態(tài)監(jiān)視。

在整個(gè)傳輸流程的各個(gè)節(jié)段進(jìn)行監(jiān)視和錯(cuò)誤處理,以便及時(shí)發(fā)現(xiàn)問題,解決問題。

圖2 系統(tǒng)工作流程

3.2 功能設(shè)計(jì)

3.2.1 建立任務(wù)

傳輸任務(wù)是傳輸工作的驅(qū)動(dòng)器,指明了傳輸?shù)臄?shù)據(jù)源、目的地、任務(wù)的期限、以及需要傳輸數(shù)據(jù)的種類等信息。一般來(lái)講,在任務(wù)建立之前,數(shù)據(jù)源的信息已經(jīng)確定,在建立任務(wù)時(shí)只需選取需要的數(shù)據(jù)種類,然后附加到任務(wù)信息中,即可完成任務(wù)的構(gòu)建。而一種數(shù)據(jù)源確定了一類數(shù)據(jù)的特征及其傳輸特性,如數(shù)據(jù)名稱、到報(bào)頻度、每一時(shí)間段到報(bào)量、到報(bào)檢測(cè)模式(定時(shí)、實(shí)時(shí))、傳輸模式(加密、壓縮、其他)、傳輸優(yōu)先級(jí)等信息。因此,在建立任務(wù)需要涉及到3個(gè)方面的信息,數(shù)據(jù)源信息、目標(biāo)單位信息和數(shù)據(jù)與目標(biāo)單位的關(guān)聯(lián)信息[5]。由于數(shù)據(jù)源信息是已有的,因此只需完成目標(biāo)單位信息和關(guān)聯(lián)信息的建立工作即可。任務(wù)構(gòu)建完成后,對(duì)應(yīng)各任務(wù)的數(shù)據(jù)傳輸保障目錄之間的關(guān)系如圖3所示。

圖3 源、鏈接及目標(biāo)目錄對(duì)應(yīng)示意圖

3.2.2 報(bào)文檢測(cè)與建立硬鏈接

文件檢測(cè)和建立硬連接會(huì)啟動(dòng)2個(gè)進(jìn)程分別完成,按照各源數(shù)據(jù)目錄的檢測(cè)模式,一個(gè)進(jìn)程進(jìn)行實(shí)時(shí)檢測(cè),另一個(gè)進(jìn)程負(fù)責(zé)定時(shí)檢測(cè)。為了提高性能,節(jié)約時(shí)延,在這里采用文件檢測(cè)和硬連接建立同時(shí)進(jìn)行的方法,并將建立的硬連接信息直接存入傳輸狀態(tài)信息庫(kù)。下一步是依據(jù)傳輸狀態(tài)信息庫(kù)來(lái)進(jìn)行數(shù)據(jù)推送。傳輸狀態(tài)信息庫(kù)主要包括以下字段:推送目標(biāo)單位、檢測(cè)目標(biāo)目錄、文件名稱、建立時(shí)間、推送次序、傳輸模式、傳輸次數(shù)(如果傳輸不成功、會(huì)計(jì)次重傳輸、三次不成功、報(bào)錯(cuò))、錯(cuò)誤代碼(0是不出錯(cuò)、其他為出錯(cuò))、傳輸是否成功、完成傳輸時(shí)間。工作流程圖如圖4所示。

系統(tǒng)通過此步驟,完成新增文件向鏈接目標(biāo)的同步功能,并生成傳輸狀態(tài)信息,作為數(shù)據(jù)推送的依據(jù)。為了提高數(shù)據(jù)庫(kù)檢索時(shí)效性,傳輸狀態(tài)數(shù)據(jù)庫(kù)只保留2天數(shù)據(jù)量,其余數(shù)據(jù)按照策略轉(zhuǎn)移至傳輸狀態(tài)歷史數(shù)據(jù)庫(kù)中,傳輸狀態(tài)數(shù)據(jù)庫(kù)每個(gè)月完成壓縮出庫(kù)歸檔一次。

圖4 文件檢測(cè)與建硬鏈接流程圖

3.2.3 數(shù)據(jù)推送、接收和反饋

傳輸狀態(tài)數(shù)據(jù)庫(kù)是服務(wù)端推送的依據(jù),通過組合查詢傳輸狀態(tài)數(shù)據(jù)庫(kù),找到待傳輸?shù)膬?yōu)先級(jí)相同的一批文件,然后進(jìn)行數(shù)據(jù)傳輸。查詢策略包含2個(gè),一是查詢時(shí)間間隔,主要是根據(jù)經(jīng)驗(yàn)進(jìn)行設(shè)定;二是查詢組合條件,查詢組合條件為“傳輸未成功+傳輸優(yōu)先級(jí)+未出錯(cuò)”。傳輸程序采用多線程處理,對(duì)于每一類優(yōu)先級(jí)相同的數(shù)據(jù)推送啟動(dòng)一個(gè)線程,每一個(gè)推送線程對(duì)所有需要數(shù)據(jù)推送的目標(biāo)單位服務(wù),每個(gè)線程單獨(dú)進(jìn)行自己的數(shù)據(jù)檢索和數(shù)據(jù)推送操作。在數(shù)據(jù)的推送過程中,優(yōu)先級(jí)主要體現(xiàn)在對(duì)不同優(yōu)先級(jí)的推送線程的時(shí)間片劃分上。接收端啟動(dòng)接收線程,進(jìn)行數(shù)據(jù)接收,接收后解析出傳輸信息,并根據(jù)信息進(jìn)行功能處理如解密、解壓縮等,以及保存到相應(yīng)的目錄等。系統(tǒng)的每一批數(shù)據(jù)推送的起源是一個(gè)查詢操作,每一批數(shù)據(jù)推送完成后,會(huì)要求接收端以UDP的方式返回傳輸結(jié)果并更新傳輸狀態(tài)數(shù)據(jù)庫(kù)和本地?cái)?shù)據(jù)庫(kù)。數(shù)據(jù)推送、接收和反饋流程如圖5所示。

3.2.4 資料監(jiān)視和流程監(jiān)視

資料監(jiān)視指對(duì)特定位置,規(guī)定匯集的所有資料是否依各自的時(shí)間約束完整抵達(dá)。這里限定了資料的特定途經(jīng)位置,對(duì)于單個(gè)資料來(lái)說,時(shí)間和在規(guī)定時(shí)間內(nèi)的到報(bào)量是重點(diǎn)關(guān)注點(diǎn),預(yù)警報(bào)警信息主要由這兩元組決定,因此,在展現(xiàn)方式上,使用一維展現(xiàn)資料種類、二維展現(xiàn)時(shí)間和到報(bào)量屬性[6]。

圖5 數(shù)據(jù)推送、接收和反饋流程圖

傳輸流程監(jiān)視是判斷傳輸故障、解決傳輸問題的重要環(huán)節(jié)。一種資料的傳輸流程是指從傳輸源節(jié)點(diǎn)至目的節(jié)點(diǎn)的整個(gè)過程,可以描述為途經(jīng)全部位置(或節(jié)點(diǎn)主機(jī))的一個(gè)有序集合。在表現(xiàn)方式上,使用單向延伸坐標(biāo),以單維有序方式表示資料的傳輸流程。傳輸流程監(jiān)視的一個(gè)重點(diǎn)是監(jiān)視各節(jié)點(diǎn)的報(bào)文積壓情況,并根據(jù)情況產(chǎn)生提示或報(bào)警行為。采用監(jiān)視各傳輸目錄的方法,正常情況下,傳輸目錄中文件數(shù)應(yīng)當(dāng)為0或者一很小數(shù)量,若超過一定限值,則給出提示或報(bào)警信號(hào),并給出可能的解決方案,引導(dǎo)保障人員解決傳輸故障和問題。

4 結(jié)束語(yǔ)

在對(duì)現(xiàn)有傳輸手段缺陷及硬鏈接技術(shù)特點(diǎn)進(jìn)行分析的基礎(chǔ)上,給出了一種基于硬鏈接的氣象水文信息推送系統(tǒng)設(shè)計(jì),并利用visual C#語(yǔ)言、ORACLE數(shù)據(jù)庫(kù)完成系統(tǒng)的原型設(shè)計(jì)與實(shí)現(xiàn)。在設(shè)計(jì)中采用了3層邏輯功能劃分的技術(shù)架構(gòu)、B/S和C/S結(jié)合的編程環(huán)境,在核心部分采用了多線程、模塊化的設(shè)計(jì)思想,保證了系統(tǒng)的高效、可靠與穩(wěn)定。系統(tǒng)與傳統(tǒng)傳輸系統(tǒng)相比,具有傳輸效率高、支持一定的優(yōu)級(jí)控制的特點(diǎn)。對(duì)提高氣象水文保障數(shù)據(jù)的時(shí)效性和準(zhǔn)確性具有重要的意義,對(duì)類似有實(shí)時(shí)數(shù)據(jù)推送需求的應(yīng)用具有一定的借鑒作用。下一步將重點(diǎn)改進(jìn)傳輸過程中出現(xiàn)錯(cuò)誤后的反饋和數(shù)據(jù)補(bǔ)發(fā)流程,確保數(shù)據(jù)傳輸?shù)募皶r(shí)、正確。

[1] 張亞生,王霖.一種基于網(wǎng)絡(luò)的通用目錄同步軟件設(shè)計(jì)方法[J].計(jì)算機(jī)與網(wǎng)絡(luò),2003,(5).

[2] 尤晉元,張亞英,戚正偉譯.UNIX環(huán)境高級(jí)編程:第二版[M].北京:人民郵電出版社,2006.

[3] 張婧妍,宋杰,鮑玉斌,等.全國(guó)第五次程序設(shè)計(jì)語(yǔ)言發(fā)展與教學(xué)會(huì)議[C].2006.

[4] 章宗標(biāo).一種基于Agent的工作流流程監(jiān)控模型[J].浙江交通職業(yè)技術(shù)學(xué)院學(xué)報(bào),2008,(3).

[5] 曹金山.網(wǎng)絡(luò)高效安全數(shù)據(jù)傳輸方法設(shè)計(jì)[J].現(xiàn)代電子技術(shù),2010,(20)