混合架構(gòu)的可視化數(shù)據(jù)調(diào)度檢索模型①

孫周軍,喬文文,侯 靈,何文春,張金標(biāo),敖振浪

1(廣東省氣象探測(cè)數(shù)據(jù)中心,廣州 510080)

2(國(guó)家氣象信息中心,北京 100081)

氣象服務(wù)是國(guó)家公共服務(wù)和社會(huì)事業(yè)發(fā)展重要組成部分,但氣象的基礎(chǔ)是數(shù)據(jù).氣象服務(wù)已由傳統(tǒng)的農(nóng)業(yè)氣象、地質(zhì)災(zāi)害、水文氣象、航空氣象等不斷向海洋、森林草原火險(xiǎn)、交通、能源、城市、旅游、環(huán)境、公共衛(wèi)生等更廣闊的領(lǐng)域拓展,科學(xué)家們從事的科學(xué)研究也向跨領(lǐng)域、跨行業(yè)發(fā)展[1,2].對(duì)專業(yè)的地球科學(xué)和社會(huì)其他行業(yè)數(shù)據(jù)采集、存儲(chǔ)和管理,以及對(duì)互聯(lián)網(wǎng)上海量的數(shù)據(jù)資源進(jìn)行科學(xué)的超融合管理和便捷式供應(yīng)成為氣象科研活動(dòng)需要迫切解決的問(wèn)題.

為滿足對(duì)海量氣象數(shù)據(jù)管理和服務(wù)的需求,中國(guó)氣象局設(shè)計(jì)開(kāi)發(fā)了全國(guó)氣象信息共享系統(tǒng)(China Integrated Meteorological Information Sharing System,CIMISS),已于2016年底投入業(yè)務(wù)運(yùn)行.該系統(tǒng)采用國(guó)、省兩級(jí)布局,負(fù)責(zé)氣象數(shù)據(jù)收集、加工處理、質(zhì)量控制、存儲(chǔ)管理和數(shù)據(jù)共享服務(wù),為氣象部門(mén)及相關(guān)行業(yè)用戶快捷便利地獲取氣象數(shù)據(jù)提供數(shù)據(jù)支撐[3-5].全國(guó)各省份也在數(shù)據(jù)管理和服務(wù)方面做了相關(guān)研究,馬渝勇等[6]提出的氣象信息管理與共享服務(wù)系統(tǒng)模型,基于中間件技術(shù)研發(fā)的接口服務(wù)讓數(shù)據(jù)庫(kù)的安全性和訪問(wèn)效率得到保障,實(shí)現(xiàn)了開(kāi)放式的氣象信息共享服務(wù)；王宏記等[7]開(kāi)發(fā)的氣象信息綜合數(shù)據(jù)庫(kù)系統(tǒng),從數(shù)據(jù)流程、采集、存儲(chǔ)和質(zhì)控等方面解決氣象業(yè)務(wù)發(fā)展中面臨的數(shù)據(jù)管理和服務(wù)問(wèn)題；鄧?yán)騕8]提出的基本氣象資料共享系統(tǒng),利用氣象元數(shù)據(jù)管理技術(shù),結(jié)合人機(jī)交互界面提供了可視化的資料下載共享服務(wù)；重慶、內(nèi)蒙、河北等氣象部門(mén)均研發(fā)不同的共享系統(tǒng)和數(shù)據(jù)服務(wù).這些業(yè)務(wù)方法在一定程度上為氣象數(shù)據(jù)的共享方法提供了改進(jìn)的理論支持和實(shí)現(xiàn)方法,但未充分性考慮到科研用戶的個(gè)性化調(diào)取和組織格式需求,未充分考慮需要較強(qiáng)的編程技能才能調(diào)取數(shù)據(jù)給科研人員帶來(lái)的困惑等問(wèn)題.CIMISS系統(tǒng)提供的數(shù)據(jù)接口平臺(tái)提供了豐富的數(shù)據(jù)資源,提供多語(yǔ)言調(diào)用API方便開(kāi)發(fā)人員調(diào)用數(shù)據(jù),但科研人員需要較高的學(xué)習(xí)成本研究相關(guān)調(diào)用技術(shù)、以及對(duì)調(diào)取的數(shù)據(jù)進(jìn)行二次處理形成所需的數(shù)據(jù)格式.有沒(méi)有一種能夠讓科研人員零編程、自定義數(shù)據(jù)格式的調(diào)用機(jī)制,解決科研人員個(gè)性化需求呢?

本文提出了一種混合架構(gòu)的可視化氣象數(shù)據(jù)調(diào)度檢索模型(IDEA Data Hub,IDH),該模型將可視化任務(wù)定制、調(diào)度和數(shù)據(jù)格式模板適配技術(shù)相結(jié)合,自動(dòng)限流調(diào)取數(shù)據(jù)服務(wù)接口數(shù)據(jù),較好的滿足了科研人員對(duì)數(shù)據(jù)的個(gè)性化調(diào)用需求.

1 需求分析與設(shè)計(jì)

1.1 應(yīng)用需求

氣象科學(xué)研究是氣象業(yè)務(wù)的發(fā)展基礎(chǔ),而在科研究活動(dòng)中,科學(xué)家一直受到科研數(shù)據(jù)組織的困擾,例如：不了詳細(xì)的資料清單,不了解資料時(shí)間、空間、地域、觀測(cè)頻次和要素,不了解獲得途徑,不了解數(shù)據(jù)服務(wù)接口調(diào)用方法等.主要有以下原因：(1)數(shù)據(jù)雖爆發(fā)增長(zhǎng),但業(yè)務(wù)供應(yīng)能力仍然偏弱.近年來(lái)隨氣象綜合觀測(cè)系統(tǒng)和互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展,來(lái)自于專業(yè)化觀測(cè)和社會(huì)化萃取的氣象數(shù)據(jù),已經(jīng)構(gòu)成了氣象科研活動(dòng)所需的豐富數(shù)據(jù)資源.然而,依托CIMISS構(gòu)建的國(guó)家和省級(jí)集約化數(shù)據(jù)環(huán)境,只是對(duì)傳統(tǒng)的14大類進(jìn)行了加工處理,且在線服務(wù)能力和存儲(chǔ)容量有限,個(gè)別資料僅能提供十幾天到幾個(gè)月的在線服務(wù).對(duì)氣象預(yù)報(bào)、氣候預(yù)測(cè)、決策服務(wù)和防災(zāi)減災(zāi)所需的跨行業(yè)、社會(huì)經(jīng)濟(jì)、社會(huì)化觀測(cè)數(shù)據(jù)并未進(jìn)行加工和管理.(2)數(shù)據(jù)科學(xué)管理,但與應(yīng)用習(xí)慣脫節(jié).同樣依托CIMISS系統(tǒng)研發(fā)的統(tǒng)一數(shù)據(jù)訪問(wèn)服務(wù)對(duì)數(shù)據(jù)進(jìn)行分類和元數(shù)據(jù)描述,解決了了解數(shù)據(jù)的途徑問(wèn)題,但輸出的格式無(wú)法與科研工具對(duì)接,例如：MICAPS、Suffer、Grads、NCL、IDV等.(3)IT技術(shù)日新月異,科研人員跟進(jìn)稍顯滯后.計(jì)算機(jī)科學(xué)的3大定律能夠很好的描述技術(shù)的發(fā)展速度,但氣象科研人員更注重于地球科學(xué)的原理、算法和實(shí)際應(yīng)用的深入鉆研,對(duì)于新的軟硬件技術(shù)則關(guān)注較少,難免對(duì)于數(shù)據(jù)存儲(chǔ)和服務(wù)采用的新技術(shù)和新方法無(wú)所適從.為解決以上問(wèn)題,可通過(guò)計(jì)算機(jī)軟件技術(shù)實(shí)現(xiàn)對(duì)數(shù)據(jù)下載、格式轉(zhuǎn)換等流程的自動(dòng)化封裝,避免其對(duì)科研活動(dòng)的干擾.

可視化氣象數(shù)據(jù)調(diào)度檢索模型的設(shè)計(jì)采用“云+端”的業(yè)務(wù)設(shè)計(jì)模式,確?？茖W(xué)家有豐富的數(shù)據(jù)資源取用,也保證數(shù)據(jù)檢索下載的便捷性,解決科研人員組織科研數(shù)據(jù)的長(zhǎng)期困惑.

1.2 總體設(shè)計(jì)

平臺(tái)設(shè)計(jì)方案采用內(nèi)嵌式Web服務(wù)的混合技術(shù)架構(gòu),分別保持C/S和B/S的架構(gòu)的優(yōu)勢(shì).表1詳細(xì)列出2種架構(gòu)的特點(diǎn)[9,10],從中可見(jiàn),C/S在圖形的表現(xiàn)能力上以及運(yùn)行的流暢度上遠(yuǎn)強(qiáng)于B/S模式,但B/S架構(gòu)的跨平臺(tái)、響應(yīng)及時(shí)性、數(shù)據(jù)安全一致和實(shí)時(shí)性的優(yōu)點(diǎn)很難替代.

未來(lái)發(fā)展趨勢(shì),是將兩種架構(gòu)優(yōu)勢(shì)完美地結(jié)合起來(lái),該平臺(tái)的應(yīng)用系統(tǒng)既能以B/S的方式發(fā)布運(yùn)行,同時(shí)又具有C/S方式的極強(qiáng)的可操作性,即混合架構(gòu),該架構(gòu)恰好滿足云+端系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)需求.

考慮到氣象科研人員對(duì)數(shù)據(jù)需求具有較大的個(gè)性化需求,數(shù)據(jù)檢索任務(wù)模型定義需要較強(qiáng)的交互操作,訂閱任務(wù)、任務(wù)分類和執(zhí)行記錄的管理,以及訂閱的數(shù)據(jù)需要本地存儲(chǔ)等,所以需要采用C/S技術(shù)架構(gòu)；同時(shí)考慮到用戶鑒權(quán)、數(shù)據(jù)清單瀏覽、接口元數(shù)據(jù)查看、過(guò)程數(shù)據(jù)清理配置等,具有通用性,所以采用B/S技術(shù)架構(gòu),方便統(tǒng)一研發(fā)和運(yùn)維.

表1 B/S與C/S架構(gòu)優(yōu)缺點(diǎn)比較比較

1.3 功能設(shè)計(jì)

可視化氣象數(shù)據(jù)調(diào)度檢索模型以云+端模式業(yè)務(wù)運(yùn)行,其中數(shù)據(jù)服務(wù)作為云端提供氣象科研數(shù)據(jù),可視化檢索客戶端軟件作為終端提供數(shù)據(jù)下載調(diào)度的任務(wù)定制、管理、運(yùn)行控制、格式轉(zhuǎn)換和個(gè)性化設(shè)置等可視化交互操作.

1.3.1 數(shù)據(jù)服務(wù)接口

氣象統(tǒng)一數(shù)據(jù)服務(wù)接口和實(shí)時(shí)歷史一體化數(shù)據(jù)訪問(wèn)服務(wù)接口為氣象數(shù)據(jù)調(diào)度檢索模型提供氣象數(shù)據(jù)服務(wù),即數(shù)據(jù)服務(wù)云端.

圖1 MUSIC接口數(shù)據(jù)流程

(1)氣象數(shù)據(jù)統(tǒng)一服務(wù)接口(Meteorological Unified Service Interface Community,MUSIC)基于CIMISS面向氣象業(yè)務(wù)和科研提供全國(guó)統(tǒng)一、標(biāo)準(zhǔn)、豐富的數(shù)據(jù)訪問(wèn)服務(wù)和應(yīng)用編程接口,為國(guó)、省、地、縣各級(jí)應(yīng)用系統(tǒng)提供唯一權(quán)威的數(shù)據(jù)接入服務(wù).它的處理流程如圖1所示.用戶在向MUSIC接口服務(wù)發(fā)起數(shù)據(jù)調(diào)用請(qǐng)求后,接口服務(wù)根據(jù)請(qǐng)求參數(shù)進(jìn)行訪問(wèn)權(quán)限認(rèn)證和數(shù)據(jù)訪問(wèn)權(quán)限認(rèn)證,通過(guò)鑒權(quán)后,分別調(diào)用站點(diǎn)數(shù)據(jù)服務(wù)、格點(diǎn)數(shù)據(jù)服務(wù)和文件數(shù)據(jù)服務(wù)執(zhí)行具體的數(shù)據(jù)獲取與格式封裝邏輯,從而原路返回給調(diào)用請(qǐng)求發(fā)起端.

(2)實(shí)時(shí)歷史一體化數(shù)據(jù)訪問(wèn)服務(wù)接口平臺(tái)(Integrated Database for Easy Access,IDEA)數(shù)據(jù)服務(wù)接口,基于CIMISS系統(tǒng)標(biāo)準(zhǔn)自研的一體化集成數(shù)據(jù)環(huán)境(包括結(jié)構(gòu)化與非結(jié)構(gòu)化氣象數(shù)據(jù)),面向全省氣象業(yè)務(wù)提供標(biāo)準(zhǔn)、統(tǒng)一的數(shù)據(jù)服務(wù)接口,是對(duì)CIMISS支撐服務(wù)能力的擴(kuò)充.它的處理流程如圖2所示.用戶在向IDEA發(fā)起數(shù)據(jù)調(diào)用請(qǐng)求后,接口服務(wù)根據(jù)請(qǐng)求參數(shù)進(jìn)行訪問(wèn)權(quán)限認(rèn)證和數(shù)據(jù)訪問(wèn)權(quán)限認(rèn)證,通過(guò)鑒權(quán)后,根據(jù)請(qǐng)求數(shù)據(jù)類別,將請(qǐng)求轉(zhuǎn)發(fā)到具體的文件、格點(diǎn)、站點(diǎn)、圖形數(shù)據(jù)服務(wù)和算法服務(wù)集群執(zhí)行具體的數(shù)據(jù)獲取與格式封裝邏輯,從而原路返回給調(diào)用請(qǐng)求發(fā)起端.

其中IDEA接口與MUSIC接口平臺(tái)相對(duì)比,從系統(tǒng)功能角度來(lái)說(shuō)IDEA接口平臺(tái)增加了檢索路由功能、數(shù)據(jù)服務(wù)分布式服務(wù)功能,以及增加算法、圖形產(chǎn)品數(shù)據(jù)服務(wù),以及數(shù)據(jù)寫(xiě)入和刪除API等功能；從具體的實(shí)現(xiàn)來(lái)說(shuō),MUSIC是根據(jù)用戶提交的參數(shù)動(dòng)態(tài)拼接檢索SQL,而IDEA平臺(tái)是預(yù)先定義的檢索SQL；CIMISS數(shù)據(jù)庫(kù)采用集中式存儲(chǔ),由于存儲(chǔ)總?cè)萘肯拗苿t需定期對(duì)過(guò)期數(shù)據(jù)則進(jìn)行清理,實(shí)時(shí)歷史一體化數(shù)據(jù)庫(kù)則采用分布式數(shù)據(jù)服務(wù)與分業(yè)務(wù)存儲(chǔ)方式,理論上能夠做到數(shù)據(jù)的永久存儲(chǔ)和服務(wù).

1.3.2 代理服務(wù)模塊

氣象數(shù)據(jù)可視化調(diào)度檢索模型為數(shù)據(jù)服務(wù)接口平臺(tái)智能化的調(diào)用者,設(shè)計(jì)并實(shí)現(xiàn)能夠統(tǒng)一處理權(quán)限認(rèn)證、接口元數(shù)據(jù)服務(wù)、調(diào)用請(qǐng)求轉(zhuǎn)發(fā)、異常流量監(jiān)控的代理服務(wù),可在不介入接口服務(wù)平臺(tái)的情況下實(shí)現(xiàn)對(duì)其兼容,即該模型需要對(duì)MUSIC和IDEA接口平臺(tái)的兼容.具體處理流程如圖3所示.

(1)權(quán)限認(rèn)證 模型自身并不提供用戶權(quán)限認(rèn)證,需要借助數(shù)據(jù)服務(wù)接口平臺(tái)的賬戶認(rèn)證功能確保氣象數(shù)據(jù)的安全,所以在進(jìn)行調(diào)度任務(wù)的創(chuàng)建時(shí)需要根據(jù)數(shù)據(jù)所屬具體的服務(wù)接口平臺(tái)進(jìn)行鑒權(quán),才能可見(jiàn)具有調(diào)用權(quán)限的數(shù)據(jù)接口列表.

(2)元數(shù)據(jù)服務(wù) 數(shù)據(jù)服務(wù)接口平臺(tái)的定義、屬性和具體實(shí)現(xiàn)千差萬(wàn)別,統(tǒng)一定義該模型需要使用到的元數(shù)據(jù)結(jié)構(gòu)體,并針對(duì)以上數(shù)據(jù)服務(wù)接口多態(tài)實(shí)現(xiàn)統(tǒng)一的元數(shù)據(jù)服務(wù),在可視化調(diào)度檢索模型上展示資料和接口列表,以及詳細(xì)展示單個(gè)接口的調(diào)用系統(tǒng)參數(shù)和接口參數(shù)、以及其他說(shuō)明信息.

(3)請(qǐng)求轉(zhuǎn)發(fā) 模型將具體的數(shù)據(jù)下載請(qǐng)求通過(guò)代理服務(wù)模塊定位到具體的服務(wù)接口平臺(tái)獲取數(shù)據(jù),在轉(zhuǎn)發(fā)請(qǐng)求的過(guò)程中增加額外的用于標(biāo)識(shí)請(qǐng)求發(fā)起源的相關(guān)管理參數(shù).

(4)為避免隨模型用戶擴(kuò)大和模型調(diào)度數(shù)據(jù)種類增長(zhǎng),對(duì)數(shù)據(jù)服務(wù)接口造成突發(fā)性訪問(wèn)壓力,導(dǎo)致服務(wù)接口平臺(tái)無(wú)法正常對(duì)用戶提供數(shù)據(jù)服務(wù),因此,模型在提交具體的數(shù)據(jù)請(qǐng)求時(shí),按照預(yù)先設(shè)定的每秒請(qǐng)求量進(jìn)行提交,當(dāng)提交的請(qǐng)求量達(dá)到設(shè)定閾值時(shí),則暫停提交請(qǐng)求.另外定時(shí)從服務(wù)接口平臺(tái)的訪問(wèn)日志中分析時(shí)間段內(nèi)處理的請(qǐng)求數(shù)量是否達(dá)到系統(tǒng)承受的壓力,并提供可視化的強(qiáng)制用戶禁用功能,優(yōu)先保證數(shù)據(jù)接口服務(wù)穩(wěn)定運(yùn)行.

(5)智能升級(jí) 模型最終是以客戶端的方式運(yùn)行在科研人員的終端主機(jī)上,軟件需要具備能夠監(jiān)測(cè)自身是否具備更新條件、自動(dòng)下載與重啟,以及處理不同版本之間的兼容性等功能,智能升級(jí)模塊需要對(duì)模型發(fā)出的以上請(qǐng)求進(jìn)行相關(guān)的響應(yīng)處理.

圖2 IDEA接口數(shù)據(jù)流程

圖3 代理服務(wù)處理流程圖

1.3.3 數(shù)據(jù)格式模板適配

數(shù)據(jù)格式模板適配功能是本模型的重要功能之一.在氣象科研領(lǐng)域中常用數(shù)據(jù)格式有Txt、Surfers、Micaps、NetCDF、HDF、Grib、BUFR等,而氣象數(shù)據(jù)服務(wù)接口輸出的主要格式有Txt、JSON、XML、Html、Csv格式,要讓用戶直接獲取到與應(yīng)用切合度高的數(shù)據(jù),則規(guī)定只從服務(wù)接口獲取JSON格式數(shù)據(jù),并根據(jù)用戶定制數(shù)據(jù)格式參數(shù)將其處理為應(yīng)用可識(shí)別的數(shù)據(jù)格式,簡(jiǎn)化科研人員對(duì)數(shù)據(jù)的二次處理工作.轉(zhuǎn)換功能基于插件方式進(jìn)行具體實(shí)現(xiàn),科研用戶可自行實(shí)現(xiàn)所需格式的插件,進(jìn)行功能擴(kuò)展.

2 系統(tǒng)模型定義

氣象可視化檢索調(diào)度平臺(tái)是IT技術(shù)在氣象數(shù)據(jù)存儲(chǔ)管理和服務(wù)應(yīng)用中的科學(xué)綜合運(yùn)用,提供具有一定智能管理的可視化科學(xué)數(shù)據(jù)檢索模型,由此需要定義任務(wù)的管理模型、任務(wù)狀態(tài)遷移模型,以及設(shè)計(jì)科學(xué)的業(yè)務(wù)操作流程[11,12].

2.1 任務(wù)模型定義

定義1.接口模型平臺(tái)可適用于氣象統(tǒng)一數(shù)據(jù)服務(wù)平臺(tái)和廣東的實(shí)時(shí)歷史一體化數(shù)據(jù)訪問(wèn)服務(wù)平臺(tái),兩套接口平臺(tái)的實(shí)現(xiàn)均采用Restful方式,所以統(tǒng)一定義接口模型為(Interface Model),設(shè)接口對(duì)象屬性組為In={InID,SP,IP},其中InID為接口唯一編號(hào),SP為接口調(diào)用的系統(tǒng)參數(shù)組,包括賬戶、密碼、數(shù)據(jù)返回格式,IP為接口參數(shù)組,根據(jù)具體接口的自身定義而定,一般包括時(shí)次、地域、站點(diǎn)、經(jīng)緯度范圍等.

定義2.數(shù)據(jù)調(diào)用任務(wù)模型(task model)是科研人員定制的所有數(shù)據(jù)檢索任務(wù)模型,主要包括任務(wù)模型關(guān)聯(lián)的接口模型和任務(wù)調(diào)度的相關(guān)屬性等,TM={TmID,InID,{sT,eT},tmS,{eI,eD},rT,{pE,fP,bF}}.其中TmID為任務(wù)模型編號(hào),sT、eT為模型有效時(shí)間定義,其中eT可以取值為空,則表示任務(wù)模型永久生效,tmS為模型的運(yùn)行狀態(tài),eI為任務(wù)調(diào)度的間隔,eD為任務(wù)調(diào)度時(shí)匹配時(shí)間參數(shù)的偏移量,rT為重試次數(shù),pE、fP為任務(wù)模型存儲(chǔ)數(shù)據(jù)的路徑和文件名表達(dá)式,bF為任務(wù)模型下載的數(shù)據(jù)是否合并為大文件.任務(wù)模型分為歷史數(shù)據(jù)調(diào)取模型、未來(lái)數(shù)據(jù)調(diào)取模型和混合數(shù)據(jù)調(diào)取模型,主要取決于任務(wù)模型的有效時(shí)間區(qū)間.

定義3.數(shù)據(jù)調(diào)用任務(wù)實(shí)例(task instance)是任務(wù)模型產(chǎn)生要執(zhí)行的具體任務(wù),包括任務(wù)模型的具體執(zhí)行時(shí)間點(diǎn)、執(zhí)行狀態(tài)、已重試次數(shù)、任務(wù)實(shí)例具體下載數(shù)據(jù)的時(shí)間范圍用,以及任務(wù)模型所有屬性的賦值,TI={TnID,exeT,exeS,exeF,rT,{pE,fE,bF},{pST,pET}},其中TnID為任務(wù)實(shí)例編號(hào),exeS為任務(wù)執(zhí)行狀態(tài),exeFT為任務(wù)執(zhí)行失敗次數(shù)、pST與pET分別為檢索數(shù)據(jù)的時(shí)間范圍.

定義4.數(shù)據(jù)調(diào)用任務(wù)實(shí)例集(task instance set)是所有任務(wù)實(shí)例集合.平臺(tái)根據(jù)科研人員定義的任務(wù)模型生成的需要執(zhí)行的任務(wù)實(shí)例列表,分為立即執(zhí)行實(shí)例集和未來(lái)執(zhí)行實(shí)例集.其中立即執(zhí)行實(shí)例集用來(lái)調(diào)取創(chuàng)建任務(wù)模型時(shí)間點(diǎn)前數(shù)據(jù)的任務(wù)實(shí)例,TISI={TI},未來(lái)執(zhí)行實(shí)例集用于調(diào)取創(chuàng)建任務(wù)模型時(shí)間節(jié)點(diǎn)后數(shù)據(jù)的任務(wù)實(shí)例,TISW={TI},則任務(wù)實(shí)例集定義為：TIS={TISI,TISW}.

2.2 任務(wù)模型中的角色

任務(wù)模型管理器(Task Model Manager,TMM),負(fù)責(zé)任務(wù)模型運(yùn)行過(guò)程中的任務(wù)狀態(tài)轉(zhuǎn)換控制,根據(jù)任務(wù)模型定義生成具體的任務(wù)實(shí)例集,監(jiān)視統(tǒng)計(jì)任務(wù)實(shí)例集已完成、已生成和總數(shù),同時(shí)為便于科研人員對(duì)任務(wù)模型的管理,提供創(chuàng)建、刪除、修改、克隆、啟動(dòng)/暫停和手工生成任務(wù)實(shí)例的功能.其中任務(wù)模型狀態(tài)轉(zhuǎn)換如圖4所示.

圖4 任務(wù)模型狀態(tài)轉(zhuǎn)換

任務(wù)實(shí)例管理器(Task Instance Manager,TIM),負(fù)責(zé)收集需要立即執(zhí)行的任務(wù)實(shí)例集,任務(wù)實(shí)例的具體執(zhí)行(包括：調(diào)用接口獲取數(shù)據(jù)、將返回結(jié)果按照任務(wù)模型定義組織文件存儲(chǔ)等)、狀態(tài)轉(zhuǎn)換和失敗重試,以及避免并發(fā)過(guò)多給服務(wù)端帶來(lái)較大壓力,所以TIM負(fù)責(zé)任務(wù)實(shí)例調(diào)度的并發(fā)流量控制等功能.

任務(wù)調(diào)度管理器(Task Schedule Manager,TSM),主要負(fù)責(zé)對(duì)平臺(tái)中的已完成任務(wù)實(shí)例、帶執(zhí)行任務(wù)實(shí)例、失敗任務(wù)實(shí)例和暫停任務(wù)實(shí)例進(jìn)行定期清除；負(fù)責(zé)對(duì)該平臺(tái)向接口服務(wù)發(fā)送調(diào)用請(qǐng)求量的統(tǒng)計(jì),便于服務(wù)端能夠?qū)φ?qǐng)求量大的用戶進(jìn)行強(qiáng)制禁用,確保接口服務(wù)能夠正常運(yùn)行.

2.3 任務(wù)管理流程

為了更直觀、更詳細(xì)的展現(xiàn)任務(wù)模型調(diào)度的實(shí)現(xiàn)過(guò)程,將該過(guò)程用流程圖展示出來(lái),如圖5所示.

圖5 任務(wù)管理流程圖

(1)任務(wù)實(shí)例生成過(guò)程 用戶根據(jù)選定的接口,設(shè)定任務(wù)模型需要填寫(xiě)的調(diào)度參數(shù)和接口參數(shù),任務(wù)模型管理器TMM保存任務(wù)模型.任務(wù)實(shí)例管理器TIM根據(jù)用戶定義的任務(wù)模型立即生成任務(wù)實(shí)例集,對(duì)于未來(lái)任務(wù)實(shí)例集只生成當(dāng)天實(shí)例,后續(xù)的未來(lái)任務(wù)實(shí)例則由任務(wù)實(shí)例管理器定期預(yù)先生成.

(2)任務(wù)實(shí)例調(diào)度過(guò)程 任務(wù)實(shí)例管理器定時(shí)線程對(duì)所有實(shí)例集按照預(yù)執(zhí)行時(shí)間倒序排序,按照預(yù)設(shè)的流量閥值檢索一定數(shù)量的任務(wù)實(shí)例,設(shè)定為C,通過(guò)下列規(guī)則將任務(wù)實(shí)例提交到任務(wù)調(diào)度器TSM,TSM則根據(jù)任務(wù)實(shí)例的預(yù)定執(zhí)行時(shí)間執(zhí)行具體線程.設(shè)t為T(mén)SM定時(shí)檢索任務(wù)實(shí)例間隔；i為批量提交任務(wù)間隔；v為設(shè)定的流量閾值,為i時(shí)間內(nèi)提交的任務(wù)數(shù)量；則c=v*(t/i)為每次處理最大數(shù)量.如果C=c,則系統(tǒng)滿負(fù)荷提交任務(wù)；如果C＜c,則依據(jù)距預(yù)執(zhí)行時(shí)間權(quán)重階梯性確定提交任務(wù)量.

(3)任務(wù)實(shí)例重試過(guò)程 任務(wù)實(shí)例執(zhí)行后,根據(jù)執(zhí)行結(jié)果狀態(tài)進(jìn)行后續(xù)處理.如果任務(wù)執(zhí)行失敗,則執(zhí)行次數(shù)自動(dòng)加1,且將該任務(wù)實(shí)例的預(yù)定義執(zhí)行時(shí)間延長(zhǎng)一個(gè)t值,等待TSM的下次處理.如果執(zhí)行次數(shù)屬性值達(dá)到系統(tǒng)設(shè)定的放棄執(zhí)行閾值,則將該任務(wù)實(shí)例設(shè)定為放棄狀態(tài)不再進(jìn)行處理.

3 關(guān)鍵技術(shù)

3.1 任務(wù)實(shí)例集預(yù)處理實(shí)現(xiàn)

根據(jù)任務(wù)模型定義,每日定時(shí)生成第二天需要執(zhí)行的任務(wù)實(shí)例列表.任務(wù)模型定義中的屬性包括：任務(wù)有效時(shí)間范圍、任務(wù)調(diào)度間隔、任務(wù)調(diào)度時(shí)匹配時(shí)間參數(shù)偏移量,計(jì)算與執(zhí)行的任務(wù)時(shí)間和接口的具體時(shí)間參數(shù).具體的任務(wù)實(shí)例生成算法如下：

算法1.任務(wù)實(shí)例生成算法2.images/BZ_72_243_2214_547_2247.png；Task instance generate procedure(),此過(guò)程中的參數(shù)表示t時(shí)刻任務(wù)模型集.1.取得系統(tǒng)時(shí)間t；3.；4.For i=0 to nimages/BZ_72_251_2268_318_2298.png5.6.If(t>= TM.sDate && t

3.2 任務(wù)實(shí)例執(zhí)行限流實(shí)現(xiàn)

漏桶算法是網(wǎng)絡(luò)世界中流量整形或速率限制時(shí)經(jīng)常使用的一種算法,主要是控制提交到接口服務(wù)的調(diào)用請(qǐng)求流量,避免突發(fā)流量對(duì)對(duì)服務(wù)接口造成類DDoS攻擊.為此設(shè)計(jì)了任務(wù)實(shí)例調(diào)度限流算法,具體步驟如下：

算法2.任務(wù)實(shí)例調(diào)度限流算法1.lastTime = 取得最先需要執(zhí)行的任務(wù)實(shí)例時(shí)間；2.waitExeTaskSet = 獲取lastTime時(shí)間偏移N的任務(wù)實(shí)例集；3.Executor.submit(waitExeTaskSet)；4.Sleep(T)；5.循環(huán)執(zhí)行步驟1.

3.3 數(shù)據(jù)壓縮優(yōu)化傳輸效率

MUSIC和IDEA接口采用HTTP協(xié)議提供文本數(shù)據(jù)服務(wù),整個(gè)過(guò)程中網(wǎng)絡(luò)傳輸占據(jù)較大的時(shí)間.因此,數(shù)據(jù)調(diào)度檢索模型每次調(diào)用數(shù)據(jù)時(shí),強(qiáng)制在客戶端與服務(wù)器之間采用壓縮方式傳輸數(shù)據(jù).經(jīng)實(shí)驗(yàn)測(cè)試,采用標(biāo)準(zhǔn)的GZIP方法可壓縮至原內(nèi)容的40%,從而節(jié)省60%的數(shù)據(jù)傳輸.任務(wù)實(shí)例在向服務(wù)接口發(fā)送數(shù)據(jù)調(diào)用請(qǐng)求和處理數(shù)據(jù)的具體過(guò)程如下：

(1)初始化請(qǐng)求,IDEARequest request = new IDEARequest()；

(2)設(shè)定請(qǐng)求采用GZIP算法傳輸數(shù)據(jù),request.setHeader(“content-type”,“gzip”)；

(3)提交請(qǐng)求,獲取經(jīng)過(guò)壓縮傳輸?shù)臄?shù)據(jù),gzipReturn=request.post()；

(4)對(duì)Gzip壓縮數(shù)據(jù)進(jìn)行解壓縮處理,unGzipReturn=unGzipDecoder(gzipReturn).

3.4 數(shù)據(jù)格式轉(zhuǎn)換實(shí)現(xiàn)

MUSIC和IDEA接口服務(wù)提供標(biāo)準(zhǔn)的JSON格式數(shù)據(jù)結(jié)果,要對(duì)其進(jìn)行轉(zhuǎn)換處理為MICAPS、Suffer、Grads、NCL、IDV等軟件所需的格式.基于工廠模式實(shí)現(xiàn)的數(shù)據(jù)格式轉(zhuǎn)換插件化模塊,具體實(shí)現(xiàn)過(guò)程如下：

(1)定義格式轉(zhuǎn)換接口協(xié)議DataFormat,并定義json2DataFormat(gzipReturn)方法；

(2)實(shí)現(xiàn)各個(gè)數(shù)據(jù)格式轉(zhuǎn)換插件,插件必須實(shí)現(xiàn)DataFormat協(xié)議；

(3)實(shí)現(xiàn)格式轉(zhuǎn)換插件工廠,創(chuàng)建具體的插件實(shí)例；(4)按照3.3節(jié)方法下載具體數(shù)據(jù)并解壓；

(5)格式轉(zhuǎn)換工廠類加載具體需要轉(zhuǎn)換格式類,將解壓數(shù)據(jù)作為轉(zhuǎn)換類的輸入?yún)?shù),完成格式的轉(zhuǎn)換.具體方法如下：

DataFormat df =DataFormatFactory.getInstance()

.createDataFormat(“MICAPS”)；// 加載 Micaps 數(shù)據(jù)格式轉(zhuǎn)換插件

String micapsReturn=df.json2DataFormat(unGzipReturn)；//對(duì)解壓JSON數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換

3.5 交互性設(shè)計(jì)

零編程獲取氣象數(shù)據(jù)是該模型設(shè)計(jì)的目標(biāo)之一,所以設(shè)計(jì)功能完整、操作便捷的可視化交互界非常重要.按照用戶的使用習(xí)慣和軟件設(shè)計(jì)方法,如圖6所示,系統(tǒng)分為用戶登陸、接口瀏覽、任務(wù)創(chuàng)建、任務(wù)管理、個(gè)性設(shè)置、智能升級(jí)和強(qiáng)制下線7個(gè)部分.

圖6 氣象數(shù)據(jù)調(diào)度檢索軟件功能

(1)用戶登陸,即用戶在使用該模型時(shí),首先要獲得MUSIC或IDEA接口平臺(tái)的接口調(diào)用賬戶,并在該模型進(jìn)行登陸后方可操作其他功能,同時(shí)可以進(jìn)行兩套賬戶的登陸切換和注銷(xiāo).

(2)用戶登陸,即用戶在使用該模型時(shí),首先要獲得MUSIC或IDEA接口平臺(tái)的接口調(diào)用賬戶,并在該模型進(jìn)行登陸后方可操作其他功能,同時(shí)可以進(jìn)行兩套賬戶的登陸切換和注銷(xiāo).

(3)接口瀏覽,可以通過(guò)代理服務(wù)獲取到接口服務(wù)平臺(tái)發(fā)布的所有分類和接口列表,查看接口的詳細(xì)定義：系統(tǒng)參數(shù)和接口參數(shù)等.

(4)任務(wù)創(chuàng)建,用戶在選定調(diào)用數(shù)據(jù)接口后,點(diǎn)擊“創(chuàng)建固定間隔任務(wù)計(jì)劃”或“創(chuàng)建定時(shí)任務(wù)計(jì)劃“,則通過(guò)定制任務(wù)模型,并選定需要保存的文件格式.

(5)任務(wù)管理,為方便科研用戶進(jìn)行任務(wù)模型和實(shí)例的管理,模型按照任務(wù)計(jì)劃、已完成任務(wù)、待執(zhí)行任務(wù)、失敗任務(wù)和暫停任務(wù)進(jìn)行分組,用戶可對(duì)任務(wù)進(jìn)行業(yè)務(wù)分類,用戶可精確查看任務(wù)的執(zhí)行情況.

(6)強(qiáng)制下線,為保護(hù)數(shù)據(jù)服務(wù)接口對(duì)模型發(fā)起的調(diào)用請(qǐng)求量,除過(guò)進(jìn)行自身流量控制之外,還定時(shí)通過(guò)調(diào)用日志進(jìn)行分析,對(duì)于近1小時(shí)內(nèi)的用戶進(jìn)行訪問(wèn)量和數(shù)據(jù)下載量的監(jiān)視,管理員認(rèn)為可疑時(shí),則可強(qiáng)制該模型下線,從而控制其不在對(duì)數(shù)據(jù)服務(wù)接口發(fā)起訪問(wèn)請(qǐng)求,需要用戶與管理員溝通重新開(kāi)通.

(7)個(gè)性設(shè)置,因?yàn)槿蝿?wù)模型的定義、任務(wù)實(shí)例、任務(wù)執(zhí)行結(jié)果等信息均記錄在模型的內(nèi)嵌數(shù)據(jù)庫(kù)中,用戶可根據(jù)實(shí)際情況設(shè)定具體清除策略,以及開(kāi)發(fā)新的數(shù)據(jù)格式轉(zhuǎn)換插件進(jìn)行部署.

4 性能分析與業(yè)務(wù)應(yīng)用

4.1 性能測(cè)試

從中國(guó)氣象局CIMISS系統(tǒng)調(diào)取全國(guó)50 000多氣象自動(dòng)站整點(diǎn)小時(shí)數(shù)據(jù),組織為MICPAS格式為例進(jìn)行測(cè)試,分別調(diào)取1、3、6、12個(gè)月的數(shù)據(jù)進(jìn)行耗時(shí)和性能測(cè)試,結(jié)果如表2所示.

表2 檢索數(shù)據(jù)性能測(cè)試

根據(jù)測(cè)試結(jié)果,氣象數(shù)據(jù)調(diào)度檢索客戶端采用壓縮傳輸時(shí),從總體耗時(shí)和數(shù)據(jù)傳輸量均有顯著提升.其中組織1年的數(shù)據(jù)僅需2小時(shí),業(yè)務(wù)上完全可以滿足科研活動(dòng)需求.同時(shí),限流策略的應(yīng)用,以及對(duì)服務(wù)接口端的并發(fā)監(jiān)視,并未對(duì)其造成突發(fā)性的訪問(wèn)的壓力.

4.2 運(yùn)行效果

最終實(shí)現(xiàn)的軟件運(yùn)行效果如下所示.圖7是用戶登陸后能夠?yàn)g覽到已經(jīng)定義的所有任務(wù)模型和實(shí)例,以及接口服務(wù)提供的所有資料接口信息.

圖7 任務(wù)模型和實(shí)例顯示界面

圖8是用戶定制獲取2018年中國(guó)地面逐小時(shí)文本格式的調(diào)度任務(wù).

圖8 任務(wù)定義示例界面

圖9是用戶查看所有任務(wù)模型的運(yùn)行狀態(tài)列表,以及對(duì)任務(wù)模型進(jìn)行控制的功能界面.

圖9 任務(wù)模型控制界面

4.3 典型應(yīng)用

目前,氣象數(shù)據(jù)可視化調(diào)度檢索模型軟件已經(jīng)在多個(gè)業(yè)務(wù)中進(jìn)行應(yīng)用,均產(chǎn)生好的應(yīng)用效果.行業(yè)用戶如民航、軍隊(duì)、水利、農(nóng)業(yè)等,以及政府部門(mén)對(duì)氣象觀測(cè)數(shù)據(jù)的需求非常旺盛,每年數(shù)據(jù)共享量達(dá)到100 TB,但氣象部門(mén)近年來(lái)綜合觀測(cè)系統(tǒng)的迅速發(fā)展,觀測(cè)的原始數(shù)據(jù)格式逐步與向世界氣象組織標(biāo)準(zhǔn)靠攏,每次數(shù)據(jù)格式的改革均給資料使用單位帶來(lái)重新解碼處理等諸多不便,該模型作為生成共享格式的文件中間環(huán)節(jié),避免了觀測(cè)資料格式變化帶來(lái)的共享問(wèn)題,具體業(yè)務(wù)流程如圖10.目前,已經(jīng)承擔(dān)向20多個(gè)單位提供標(biāo)準(zhǔn)的共享數(shù)據(jù)文件.且已經(jīng)在海洋預(yù)報(bào)數(shù)值模式、南海臺(tái)風(fēng)預(yù)報(bào)、珠三角洲大氣灰霾等科學(xué)研究領(lǐng)域,以及海珠城市生態(tài)氣象綜合系統(tǒng)[13]等多個(gè)建設(shè)項(xiàng)目中使用本模型組織獲取科學(xué)數(shù)據(jù),滿足業(yè)務(wù)需求.

圖10 基于IDH數(shù)據(jù)共享業(yè)務(wù)流程

5 結(jié)論與展望

可視化氣象數(shù)據(jù)調(diào)度檢索模型針對(duì)氣象科研人員的獲取科研數(shù)據(jù)的痛點(diǎn)問(wèn)題,結(jié)合可視化交互、任務(wù)調(diào)度和數(shù)據(jù)格式模板適配技術(shù),為科研提供便捷、零編程的數(shù)據(jù)組織方法,提高科研活動(dòng)前期數(shù)據(jù)準(zhǔn)備的效率.

經(jīng)過(guò)在氣象業(yè)務(wù)與科研活動(dòng)的實(shí)際應(yīng)用,對(duì)于全國(guó)氣象部門(mén)以MUSIC和IDEA接口提供數(shù)據(jù)支撐的業(yè)務(wù)模式起到很大的推動(dòng)作用；在向非氣象部門(mén)進(jìn)行數(shù)據(jù)共享中,屏蔽數(shù)據(jù)源結(jié)構(gòu)的異構(gòu)性和變化,避免用戶因數(shù)據(jù)格式或存儲(chǔ)結(jié)構(gòu)變更導(dǎo)致業(yè)務(wù)變動(dòng)的困擾,提升氣象行業(yè)的數(shù)據(jù)服務(wù)信息化水平.同時(shí),任務(wù)調(diào)度模型設(shè)計(jì)可用于其他領(lǐng)域的業(yè)務(wù)調(diào)度模型中；對(duì)于形成的云+端數(shù)據(jù)交換流程,適用于其他行業(yè)領(lǐng)域的數(shù)據(jù)共享業(yè)務(wù)中,為充分發(fā)揮數(shù)據(jù)的價(jià)值提供一種新的共享方法.