交管風(fēng)險管控平臺與氣象大數(shù)據(jù)云平臺融合的實踐與思考

■ 唐衛(wèi) 渠寒花 霍慶

(作者單位：唐衛(wèi)、渠寒花，中國氣象局公共氣象服務(wù)中心；霍慶，國家氣象信息中心)

氣象信息化是實現(xiàn)氣象現(xiàn)代化的重要途徑。氣象大數(shù)據(jù)云平臺是氣象信息化工作的“主角”，中國氣象局組織編制了《氣象大數(shù)據(jù)云平臺試點建設(shè)工作方案》，要求推進云平臺與天氣、氣候、探測、服務(wù)等核心業(yè)務(wù)應(yīng)用系統(tǒng)的對接，滿足國家、省級核心業(yè)務(wù)應(yīng)用系統(tǒng)數(shù)據(jù)需求，在國家級和部分省級建成云平臺，提供在線數(shù)據(jù)訪問與數(shù)據(jù)挖掘應(yīng)用功能，在公眾服務(wù)、行業(yè)影響服務(wù)開展氣象服務(wù)核心業(yè)務(wù)試點應(yīng)用。交管天氣風(fēng)險管控平臺作為2018年中國氣象局山洪新建項目，成為公眾服務(wù)方向融入大數(shù)據(jù)云平臺試點工程的首批項目。以云平臺為支撐，依托其基礎(chǔ)環(huán)境池、存儲資源、超算能力、國省共享通道、監(jiān)控保障等優(yōu)勢能力，推動交管平臺融入云平臺，更是現(xiàn)階段實現(xiàn)氣象資源互聯(lián)互通、共享共用，構(gòu)建資源高效利用、數(shù)據(jù)充分共享、流程高度集約、標(biāo)準(zhǔn)體系完備的氣象業(yè)務(wù)現(xiàn)代化新格局的必行之舉。

1 交管天氣風(fēng)險管控平臺基本情況

交管天氣風(fēng)險管控平臺（Traffic management weather risk control platform，TWRCP，圖1），聯(lián)合交通管制部門、國省氣象服務(wù)部門，建設(shè)了“一級部署、兩級應(yīng)用”、多部門協(xié)同的綜合業(yè)務(wù)服務(wù)平臺，綜合運用大數(shù)據(jù)分布式處理、流式計算框架、GIS空間分析、數(shù)據(jù)庫、多維可視化等關(guān)鍵技術(shù)，重點建設(shè)了交管氣象服務(wù)大數(shù)據(jù)集、交管氣象風(fēng)險一張圖、業(yè)務(wù)應(yīng)用3個分系統(tǒng)，研發(fā)全國主要高速干道15萬樁點、1 km和10 min—小時級別的精細化時空分辨率交通氣象服務(wù)產(chǎn)品，通過實時氣象數(shù)據(jù)、高速管控數(shù)據(jù)、地理數(shù)據(jù)、交通數(shù)據(jù)的共建、共享、共用和挖掘分析，開展交管與氣象大數(shù)據(jù)的融合應(yīng)用，旨在為交通管理部門實時決策提供輔助工具，提高國省氣象災(zāi)害應(yīng)急工作效率，提升防災(zāi)減災(zāi)服務(wù)水平。

圖1 交管風(fēng)險管控平臺主界面

2 交管平臺融入云平臺的主要需求

2.1 大數(shù)據(jù)資源需求

交管平臺數(shù)據(jù)涉及基礎(chǔ)氣象資料，行業(yè)社會的交通管制數(shù)據(jù)，基礎(chǔ)地理數(shù)據(jù)等4大類30余項，涉及公安部門、交通部門、氣象部門及社會企業(yè)等10余個單位，數(shù)據(jù)來源廣泛、格式標(biāo)準(zhǔn)各異、接入方式復(fù)雜，交管平臺依靠自身力量，協(xié)調(diào)部委和數(shù)據(jù)提供方精力不足，依據(jù)數(shù)據(jù)門類專門研發(fā)相應(yīng)數(shù)據(jù)接口和算法工作量大、效率不高。

2.2 高效存儲訪問需求

經(jīng)測算，交管平臺涉及輸入輸出數(shù)據(jù)60余種、處理業(yè)務(wù)功能140余項，日采集及處理數(shù)據(jù)量約3 TB，日生成服務(wù)產(chǎn)品近100 GB，日緩存數(shù)據(jù)超過300 G，日分布式存儲記錄1.2億余條，高速路段與樁號信息分別與8大類氣象要素的空間疊加分析及中間計算結(jié)果以小文件存放，高時空分辨率數(shù)據(jù)時空分析、高頻回滾計算對分類存儲、快速存儲檢索、分析再計算能力均提出更高需求。

2.3 高性能計算及服務(wù)能力需求

交管平臺涉及全國主要高速公路15萬樁點、900多條主要路段，實現(xiàn)分鐘級交通實時流量疊加分析，同時，精細化至全國1 km路段、樁號的實況、短臨和預(yù)報，逐10 min至小時級的產(chǎn)品滾動計算加工及多要素氣象交通數(shù)據(jù)產(chǎn)品實時反演分析，需要滿足數(shù)據(jù)訪問、在線計算及回存需求，實時數(shù)據(jù)訪問秒級響應(yīng)，歷史長序列數(shù)據(jù)統(tǒng)計分析秒級響應(yīng)能力的支撐能力。

2.4 支撐部門內(nèi)外、國省業(yè)務(wù)的混合網(wǎng)絡(luò)架構(gòu)需求

交管平臺服務(wù)交管、國省氣象業(yè)務(wù)部門，存在大量數(shù)據(jù)和產(chǎn)品實時匯交與共享，數(shù)據(jù)分析、產(chǎn)品加工、前端交互涉及多個網(wǎng)段，目前雖功能研發(fā)完成，但建設(shè)單位不具備向外部門、國省業(yè)務(wù)部門提供應(yīng)用服務(wù)能力，需從業(yè)務(wù)布局出發(fā)，聯(lián)合大數(shù)據(jù)云平臺統(tǒng)一設(shè)計、集約部署。

2.5 統(tǒng)一監(jiān)控運維需求

交管平臺未來面向交管部門、國省氣象業(yè)務(wù)服務(wù)部門7×24 h全天候服務(wù)，需對數(shù)據(jù)到達、產(chǎn)品加工、服務(wù)分發(fā)等關(guān)鍵環(huán)節(jié)提供“全流程、全要素、全過程”監(jiān)控，在信息監(jiān)視、指標(biāo)性能、秒級事件處理能力方面提出更高要求，以提高數(shù)據(jù)質(zhì)量、服務(wù)時效、故障處理時效，增強平臺運行的穩(wěn)定性。

氣象大數(shù)據(jù)云平臺，以提供“數(shù)算一體”的平臺化服務(wù)為目標(biāo)，采用統(tǒng)籌構(gòu)建基礎(chǔ)設(shè)施資源，統(tǒng)一構(gòu)建數(shù)據(jù)環(huán)境的方式，旨在打造氣象信息資源互聯(lián)互通、開放共享的 “云+端”業(yè)務(wù)模式的全面發(fā)展，逐步構(gòu)建集約化、標(biāo)準(zhǔn)化、開放發(fā)展的氣象新業(yè)態(tài)，經(jīng)過一年多來的建設(shè)與完善，在氣象數(shù)據(jù)資源、數(shù)據(jù)交換、產(chǎn)品加工、挖掘分析、存儲與服務(wù)、業(yè)務(wù)監(jiān)控等，初步具備支撐交管平臺的能力。

圖2 交管天氣風(fēng)險管控平臺應(yīng)用融入方案

3 交管平臺融入大數(shù)據(jù)云平臺的實踐

根據(jù)交管平臺業(yè)務(wù)架構(gòu)和功能特點，向氣象大數(shù)據(jù)云平臺的融入分別從“云”“端”兩方面聯(lián)合設(shè)計融入方案（圖2）。其中：1）“云”的融入包含IaaS層、SaaS層。其中，IaaS層由大數(shù)據(jù)云平臺提供TWRCP所需的虛擬資源池、分布式物理池、數(shù)據(jù)存儲的基礎(chǔ)設(shè)施資源，在此不作贅述；SaaS層，云平臺針對TWRCP數(shù)據(jù)及產(chǎn)品特征，提供分類數(shù)據(jù)存儲、算法集成改造融入、擴充現(xiàn)有數(shù)據(jù)服務(wù)接口，將原TWRCP中的算法庫管理、工作流引擎、任務(wù)調(diào)度和并行處理框架調(diào)整為大數(shù)據(jù)云平臺的加工流水線支持，生成的業(yè)務(wù)產(chǎn)品存入云平臺統(tǒng)一的數(shù)據(jù)及存儲環(huán)境。2）“端”的融入包括Web端展示融入、后端管理端的融入改造。后端管理端的改造在消息機制、用戶權(quán)限管理方面保留前端界面，實現(xiàn)交互信息加工結(jié)果的獲取與展示，并增加交管平臺監(jiān)控功能改造后融入天鏡的需求，實現(xiàn)TWRCP全業(yè)務(wù)、全流程的監(jiān)控。

3.1 數(shù)據(jù)流程改造

數(shù)據(jù)存儲的應(yīng)用融入，經(jīng)過交管平臺數(shù)據(jù)流程再梳理，如圖3所示。將數(shù)據(jù)采集、存儲及服務(wù)接口統(tǒng)一納入云平臺。

圖3 數(shù)據(jù)應(yīng)用與服務(wù)融入流程設(shè)計

數(shù)據(jù)采集環(huán)境，現(xiàn)有數(shù)據(jù)交互算法向云平臺遷移。對于原本對接CIMISS數(shù)據(jù)服務(wù)接口，不作變化。對于云平臺尚不包含的實時流量等數(shù)據(jù)，遵循大數(shù)據(jù)云平臺的數(shù)據(jù)輸入輸出和監(jiān)控規(guī)范，納入統(tǒng)一交換及質(zhì)控系統(tǒng)進行解析處理，采集算法封裝后注冊到流水線環(huán)境，采集信息管理納入天鏡統(tǒng)一監(jiān)控。

數(shù)據(jù)存儲管理，完全轉(zhuǎn)移至云平臺。新增空間數(shù)據(jù)庫，以postgreSQL支撐點、線、面SHP數(shù)據(jù)與氣象基礎(chǔ)數(shù)據(jù)的空間融合入分析與信息提?。粩U充歷史分析庫，大體量、長時次、循環(huán)滾動計算的歷史檢驗數(shù)據(jù)，采用云平臺ADS/Gbase分析型數(shù)據(jù)庫提升計算效率；分配共享文件存儲，用于中間結(jié)果緩存，對頻繁更新的共享指標(biāo)、路況流量以分布式NAS存儲。

數(shù)據(jù)服務(wù)接口改造，數(shù)據(jù)接口融入包含兩部分，基于現(xiàn)有標(biāo)準(zhǔn)、擴展MUSIC底層通用接口，在時間窗、區(qū)域段、地理信息區(qū)間等方面容納更多動態(tài)適配參數(shù)，定制開發(fā)空間分析服務(wù)接口功能，滿足不同參數(shù)化方案下的動態(tài)空間信息調(diào)用和分析；利用眾創(chuàng)接口，對MUSIC接口無法滿足的功能定制開發(fā)，如根據(jù)TWRCP前端展示需求，形成多個數(shù)據(jù)服務(wù)接口。

3.2 產(chǎn)品加工算法改造融入

按照服務(wù)功能對數(shù)據(jù)采集算法、交通事件融合算法、實況短臨預(yù)報產(chǎn)品道路融合算法、風(fēng)險產(chǎn)品的道路融合算法、風(fēng)險等級計算及等級訂正6類89個業(yè)務(wù)算法進行整合封裝，形成獨立運行的可執(zhí)行腳本或程序，注冊至大數(shù)據(jù)云平臺的流水線環(huán)境，實現(xiàn)交管平臺算法的統(tǒng)一注冊、審核、發(fā)布等管理。

算法的管理在后端管理層實現(xiàn)，包括算法的部署、管理、運行等，算法的支持環(huán)境為基礎(chǔ)設(shè)施的算法運行池，生成的業(yè)務(wù)產(chǎn)品存入數(shù)據(jù)環(huán)境。通過任務(wù)調(diào)度方式納入大數(shù)據(jù)云平臺產(chǎn)品加工流水線，以參數(shù)形式觸發(fā)定時任務(wù)執(zhí)行，其輸入輸出參數(shù)改造為云平臺存儲環(huán)境提供的開放數(shù)據(jù)接口，并通過監(jiān)控日志統(tǒng)一監(jiān)測、調(diào)度、管理。

TWRCP算法按照流水線環(huán)境的統(tǒng)一標(biāo)準(zhǔn)規(guī)范改造封裝后注冊在流水線環(huán)境。其中，對氣象業(yè)務(wù)中頻繁使用的氣象基礎(chǔ)數(shù)據(jù)要素提取算法、GIS地理數(shù)據(jù)引擎調(diào)用接口、歷史氣象要素統(tǒng)計算法等，注冊時采用了public方式暴露接口，可提供及其他平臺或系統(tǒng)的復(fù)用，如支撐防災(zāi)減災(zāi)監(jiān)控管理平臺應(yīng)用、輔助決策支持系統(tǒng)等，其他平臺將依托流水線的眾創(chuàng)發(fā)現(xiàn)接口多次調(diào)用，同時也提供支持源碼共享服務(wù)。

3.3 前端應(yīng)用服務(wù)融入

TWRCP屬于典型的應(yīng)用服務(wù)型業(yè)務(wù)系統(tǒng)，因服務(wù)用戶的特殊性，TWRCP Web端服務(wù)既要滿足用戶交互、共享、服務(wù)需求，同時也要按照大數(shù)據(jù)云平臺融入要求，開展交互操作、服務(wù)發(fā)布的準(zhǔn)確、實時應(yīng)用，分兩個階段開展工作。

1）由大數(shù)據(jù)云平臺提供前端Web網(wǎng)絡(luò)環(huán)境，完成網(wǎng)絡(luò)架構(gòu)下整體功能的遷移。因TWRCP服務(wù)用戶的特殊性，采用分兩步實施：先期開通氣象寬帶網(wǎng)，實現(xiàn)國家級、省級氣象業(yè)務(wù)人員應(yīng)有，實現(xiàn)國省交通風(fēng)險指標(biāo)的匯聚、基礎(chǔ)支撐產(chǎn)品與風(fēng)險產(chǎn)品的共享與下發(fā)。

2）對遷移后的TWRCP前端，逐步開展云平臺的融入改造。TWRCP前端Web服務(wù)的人工交互操作，保證交互操作分析、計算返回結(jié)果的準(zhǔn)確性和實時性，是TWRCP前端融入的關(guān)鍵所在。對TWRCP web應(yīng)用服務(wù)接口改造，梳理WEB應(yīng)用涉及的服務(wù)接口，在大數(shù)據(jù)云平臺新增人工觸發(fā)接口，同時設(shè)計共享存儲目錄及文件，做好服務(wù)接口與共享文件的觸發(fā)匹配，確保交互數(shù)據(jù)及產(chǎn)品能夠準(zhǔn)確返回。

4 業(yè)務(wù)融入中的經(jīng)驗與思考

4.1 協(xié)同融入需重視，組織管理是保障

合作雙方達成共識，是推進融合的工作基礎(chǔ)。早在交管平臺系統(tǒng)設(shè)計階段，實施責(zé)任機構(gòu)組織省級試點單位、聯(lián)合國家氣象信息中心氣象大數(shù)據(jù)云平臺團隊成立專項聯(lián)合工作組。結(jié)合氣象大數(shù)據(jù)云平臺技術(shù)能力，就融入流程、技術(shù)條件、功能流程做早期需求分析，聯(lián)合設(shè)計國省業(yè)務(wù)架構(gòu)、共享流程、產(chǎn)品分發(fā)，并就相關(guān)的軟硬件資源申請、基礎(chǔ)數(shù)據(jù)列表做前期溝通，形成工作共識，同期做好會議紀(jì)要，為后期融入工作提供了組織保障。

4.2 頂層設(shè)計要統(tǒng)籌，融入進程要同步

對新建業(yè)務(wù)系統(tǒng)來說，協(xié)同頂層設(shè)計能有效避免后期技術(shù)架構(gòu)、業(yè)務(wù)流程的反復(fù)工作量。團隊主要采用分工合作方式，設(shè)計階段由氣象大數(shù)據(jù)云平臺負責(zé)國省業(yè)務(wù)架構(gòu)布局設(shè)計，研發(fā)團隊同期提交輸入輸出數(shù)據(jù)列表、給出存儲資源、計算資源、網(wǎng)絡(luò)資源詳細測算列表，雙方就消息中間件、數(shù)據(jù)庫等應(yīng)用軟件進行了定制部署，較好地支撐了平臺融入工作。

4.3 重視數(shù)據(jù)產(chǎn)品接口規(guī)范的設(shè)計與規(guī)劃

未來各項業(yè)務(wù)服務(wù)系統(tǒng)融入氣象大數(shù)據(jù)云平臺是大勢所趨，各類數(shù)據(jù)、產(chǎn)品、接口要嚴(yán)格遵循云平臺技術(shù)標(biāo)準(zhǔn)和規(guī)范要求。其中，應(yīng)用的大數(shù)據(jù)云平臺CIMISS數(shù)據(jù)，一般都有相應(yīng)標(biāo)準(zhǔn)規(guī)范，難點在于自身業(yè)務(wù)邏輯輸入及產(chǎn)出的數(shù)據(jù)、產(chǎn)品。團隊參照交通行業(yè)標(biāo)準(zhǔn)及規(guī)范、聯(lián)合公安部交通管理科學(xué)研究所，先后形成了《交管天氣風(fēng)險預(yù)警指標(biāo)技術(shù)規(guī)范》《高速公路交通安全管控風(fēng)險預(yù)警等級》《交管天氣風(fēng)險管控平臺風(fēng)險產(chǎn)品共享格式規(guī)范》等，參照《氣象信息化標(biāo)準(zhǔn)》、大數(shù)據(jù)云平臺現(xiàn)有規(guī)范，聯(lián)合國家氣象信息中心，形成功能算法、數(shù)據(jù)服務(wù)接口、監(jiān)控格式規(guī)范多類，為平臺向大數(shù)據(jù)云平臺的快速融合與業(yè)務(wù)應(yīng)用奠定了良好基礎(chǔ)。

深入閱讀

沈文海, 2016. 再析氣象大數(shù)據(jù)及其應(yīng)用. 中國信息化, (1): 85-96.

王志, 韓琰紅, 李藹恂, 2017. 我國公路交通氣象研究與業(yè)務(wù)進展.氣象科技進展, 7(1): 85-89.

翟永, 劉津, 2015. 建設(shè)地理信息大數(shù)據(jù)的思考. 氣象科技進展,5(1): 70-71.

張暉妍, 楊青軍, 李林, 等, 2019. 青海省氣象大數(shù)據(jù)云平臺設(shè)計. 青海科技, 3: 67-71.