基于ETL的政務(wù)云氣象數(shù)據(jù)倉庫構(gòu)建①

許皓皓,廉 亮,姚浩立

1(寧波市氣象網(wǎng)絡(luò)與裝備保障中心,寧波 315012)

2(寧波市氣象服務(wù)中心,寧波 315012)

引言

隨著電子政務(wù)這種信息化環(huán)境下的新型政務(wù)模式的不斷深入發(fā)展,采用云計算模式建設(shè)的各級地方政府政務(wù)云應(yīng)運(yùn)而生,減輕了各級政府機(jī)構(gòu)信息化基礎(chǔ)設(shè)施的建設(shè)和運(yùn)維成本,也為解決信息孤島,實(shí)現(xiàn)部門間信息共享提供了新的可能,給智慧城市 建設(shè)和電子政務(wù)轉(zhuǎn)型發(fā)展提供了全新的路徑和解決方案[1–3].氣象部門應(yīng)用系統(tǒng)在向政務(wù)云遷移部署過程中,存在基礎(chǔ)氣象數(shù)據(jù)缺乏,政務(wù)云網(wǎng)絡(luò)安全策略限制導(dǎo)致應(yīng)用系統(tǒng)開發(fā)模式單一等諸多問題,制約了氣象服務(wù)類應(yīng)用系統(tǒng)的開發(fā)方式,以及進(jìn)一步在政務(wù)云部署應(yīng)用的效果,也無法滿足公眾對氣象服務(wù)的需求,因此在政務(wù)云上構(gòu)建一套穩(wěn)定可靠的氣象數(shù)據(jù)倉庫非常有必要性.各地氣象部門在氣象數(shù)據(jù)倉庫和氣象電子政務(wù)建設(shè)和應(yīng)用領(lǐng)域開展了大量的研究.薛勝軍等[4]基于Hadoop建立氣象信息數(shù)據(jù)倉庫,實(shí)現(xiàn)了海量氣象數(shù)據(jù)文件的分布式存儲、元數(shù)據(jù)管理以及氣象數(shù)據(jù)的查詢;王紅霞等[5]將數(shù)據(jù)倉庫技術(shù)應(yīng)用于氣象數(shù)據(jù),建立氣象數(shù)據(jù)倉庫,利用聯(lián)機(jī)分析的快速數(shù)據(jù)統(tǒng)計和數(shù)據(jù)挖掘的自動知識發(fā)現(xiàn)技術(shù),提取知識點(diǎn),為氣象服務(wù)等領(lǐng)域提供決策支持;梁文生等[6]根據(jù)電子政務(wù)的特點(diǎn)及其在氣象部門中的應(yīng)用,對電子政務(wù)系統(tǒng)的安全性及其實(shí)現(xiàn)進(jìn)行探討并提出解決方案.

政務(wù)云氣象數(shù)據(jù)倉庫建設(shè)需要解決異構(gòu)氣象數(shù)據(jù)集成、數(shù)據(jù)處理和作業(yè)調(diào)度策略自定義,數(shù)據(jù)倉庫運(yùn)維和故障排查等一系列難題,使用開源ETL工具的開發(fā)模式在功能性、開發(fā)成本、靈活性方面具有明顯優(yōu)勢.基于上述背景,本研究基于Kettle對氣象數(shù)據(jù)ETL流程進(jìn)行建模,并使用Quartz開源作業(yè)調(diào)度框架開發(fā)作業(yè)調(diào)度系統(tǒng)實(shí)現(xiàn)ETL流程的自動化運(yùn)行,構(gòu)建了地方政務(wù)云氣象數(shù)據(jù)倉庫,為氣象網(wǎng)站等各類氣象應(yīng)用系統(tǒng)提供了基礎(chǔ)氣象數(shù)據(jù),補(bǔ)齊了氣象應(yīng)用系統(tǒng)大規(guī)模向政務(wù)云遷移部署的數(shù)據(jù)短板,在合理利用電子政務(wù)資源,減輕氣象部門信息系統(tǒng)運(yùn)維壓力,以及節(jié)能減排方面也擁有良好的實(shí)用性和經(jīng)濟(jì)效益.

1 需求分析和數(shù)據(jù)同步方案選擇

1.1 需求分析

受限于政務(wù)云網(wǎng)絡(luò)訪問策略限制,氣象專網(wǎng)數(shù)據(jù)只能單向傳送至政務(wù)云,而部署在政務(wù)云的應(yīng)用系統(tǒng)無法反向訪問氣象專網(wǎng)的數(shù)據(jù),因此只能在氣象專網(wǎng)將數(shù)據(jù)二次轉(zhuǎn)換成XML等中間格式,再通過FTP等方式推送至政務(wù)云提供給應(yīng)用系統(tǒng)訪問,這種模式嚴(yán)重制約了應(yīng)用程序的開發(fā)方式,給氣象應(yīng)用系統(tǒng)向政務(wù)云遷移和部署制造了巨大阻力,氣象數(shù)據(jù)融入政務(wù)數(shù)據(jù)共享服務(wù)體系參與跨部門共享也因此無法實(shí)現(xiàn).為解決這一問題提出建設(shè)政務(wù)云氣象數(shù)據(jù)倉庫的解決方案,其目的是為部署在政務(wù)云的各類氣象應(yīng)用系統(tǒng)提供及時、高效的數(shù)據(jù)服務(wù),在建設(shè)過程中要解決異構(gòu)氣象數(shù)據(jù)集成、氣象數(shù)據(jù)處理和同步、數(shù)據(jù)倉庫載體搭建等問題,同時提供一套高效實(shí)用的數(shù)據(jù)倉庫監(jiān)控和故障分析解決方案,此外還要對數(shù)據(jù)倉庫進(jìn)行優(yōu)化,以保證其性能和穩(wěn)定性.詳細(xì)需求描述如下:

1)異構(gòu)數(shù)據(jù)集成:氣象數(shù)據(jù)由觀測和業(yè)務(wù)生產(chǎn)系統(tǒng)源源不斷產(chǎn)生,存儲在 SQL Server、Oracle、MySQL等多種數(shù)據(jù)源,數(shù)據(jù)倉庫建設(shè)首先要解決這些異構(gòu)氣象數(shù)據(jù)的集成問題,實(shí)現(xiàn)異構(gòu)數(shù)據(jù)源和數(shù)據(jù)倉庫載體的無縫對接.

2)數(shù)據(jù)自動化提取、處理和同步:基于研究環(huán)境氣象數(shù)據(jù)特性,對各類氣象數(shù)據(jù)進(jìn)行增量數(shù)據(jù)提取,加工處理后通過靈活的作業(yè)調(diào)度策略自動化同步至政務(wù)云數(shù)據(jù)庫落地,這是數(shù)據(jù)倉庫建設(shè)需要解決的核心問題.

3)數(shù)據(jù)倉庫載體搭建:搭建一套高可用高性能的企業(yè)級數(shù)據(jù)庫系統(tǒng),支持分布式擴(kuò)展和實(shí)時副本同步,滿足高吞吐量數(shù)據(jù)集中存儲和讀取的性能要求,為數(shù)據(jù)倉庫提供載體.

4)數(shù)據(jù)倉庫性能優(yōu)化:對數(shù)據(jù)倉庫設(shè)計、ETL流程各環(huán)節(jié)進(jìn)行優(yōu)化,提升數(shù)據(jù)倉庫性能和穩(wěn)定性.

5)數(shù)據(jù)倉庫監(jiān)控和故障分析:支持對數(shù)據(jù)倉庫中各類數(shù)據(jù)ETL流程運(yùn)行狀態(tài)進(jìn)行監(jiān)控,提供完備的日志管理功能,為故障排查提供精準(zhǔn)化信息.

1.2 數(shù)據(jù)同步方案選擇

政務(wù)云氣象數(shù)據(jù)倉庫建設(shè)首先要解決氣象數(shù)據(jù)如何同步至政務(wù)云這一問題,通過研究和比較Oracle Golden Gate、SQL Server發(fā)布訂閱、Kettle ETL 工具集三種主流的數(shù)據(jù)庫同步解決方案,并且在業(yè)務(wù)環(huán)境進(jìn)行了測試,得出Kettle ETL工具集在功能性、開發(fā)成本、靈活性方面具有明顯優(yōu)勢.三種解決方案技術(shù)特點(diǎn)比較見表1.

表1 三種解決方案技術(shù)特點(diǎn)比較

ETL是企業(yè)數(shù)據(jù)倉庫建設(shè)中實(shí)現(xiàn)異構(gòu)數(shù)據(jù)集成的一種技術(shù)手段,即數(shù)據(jù)抽取(Extract)、轉(zhuǎn)換(Transform)、裝載(Load)的過程,目的是將分散、零亂、標(biāo)準(zhǔn)不統(tǒng)一的數(shù)據(jù)整合到一起,在數(shù)據(jù)倉庫的構(gòu)建中,ETL貫穿于項(xiàng)目始終,是整個數(shù)據(jù)倉庫的生命線[7–10].Kettle 是構(gòu)建數(shù)據(jù)集成解決方案的一款開源ETL 工具,采用Java 語言編寫,其官方正式名稱是 PDI(Pentaho Data Integration),可以運(yùn)行在 Windows、Linux、Unix 等操作系統(tǒng).Kettle提供豐富的應(yīng)用對接方式和數(shù)據(jù)輸出接口,可以方便的和各類開發(fā)框架和應(yīng)用系統(tǒng)對接,為數(shù)據(jù)倉庫建設(shè)全流程提供完備的解決方案.

2 基于ETL的數(shù)據(jù)倉庫設(shè)計與構(gòu)建

2.1 源數(shù)據(jù)分析

數(shù)據(jù)倉庫構(gòu)建前期,需要對元數(shù)據(jù)環(huán)境進(jìn)行詳細(xì)分析,著力分析元數(shù)據(jù)源類型、數(shù)據(jù)表類型和數(shù)量、數(shù)據(jù)更新特性、數(shù)據(jù)表結(jié)構(gòu)設(shè)計和數(shù)據(jù)更新比對項(xiàng)等內(nèi)容,根據(jù)分析結(jié)論為下一步對數(shù)據(jù)ETL流程建模和作業(yè)調(diào)度策略設(shè)置提供依據(jù).本研究環(huán)境數(shù)據(jù)分析結(jié)論見表2.

2.2 數(shù)據(jù)倉庫架構(gòu)和流程設(shè)計

基于ETL流程的建模和調(diào)度來實(shí)現(xiàn)氣象數(shù)據(jù)的整合和同步,解決了異構(gòu)氣象數(shù)據(jù)集成、增量數(shù)據(jù)抽取、數(shù)據(jù)清洗和轉(zhuǎn)換、數(shù)據(jù)載入這些數(shù)據(jù)倉庫構(gòu)建各環(huán)節(jié)涉及的關(guān)鍵問題.引入開源ETL軟件Kettle來對各類氣象數(shù)據(jù)ETL全流程建模,基于Quartz開源作業(yè)調(diào)度框架開發(fā)作業(yè)調(diào)度系統(tǒng)實(shí)現(xiàn)ETL流程的自動化,搭建SQL Server企業(yè)級集群作為數(shù)據(jù)倉庫載體.政務(wù)云氣象數(shù)據(jù)倉庫設(shè)計流程如圖1所示.

表2 數(shù)據(jù)環(huán)境分析

圖1 數(shù)據(jù)倉庫設(shè)計流程圖

2.3 氣象數(shù)據(jù)ETL流程建模

本研究基于Kettle來實(shí)現(xiàn) ETL流程的建模.Kettle支持豐富的數(shù)據(jù)輸入輸出數(shù)據(jù)源,提供圖形界面和可視化建?？丶?可以通過拖拽控件的方式方便地定義數(shù)據(jù)傳輸?shù)耐負(fù)?使用Kettle對ETL流程建模流程描述如下:

1)新建一個新的transformation模型,選擇存儲位置并命名,模型創(chuàng)建完畢后將保存為為ktr文件,該文件可直接在Kettle運(yùn)行環(huán)境執(zhí)行或通過程序調(diào)用;

2)在Kettle主對象樹界面進(jìn)行數(shù)據(jù)庫連接配置,數(shù)據(jù)庫配置需填寫連接類型、連接方式和連接參數(shù)信息,測試正常后按數(shù)據(jù)庫名稱保存,該步驟需要將本次ETL流程涉及的數(shù)據(jù)庫全部配置完畢;

3)通過拖拽方式新增Kettle可視化對象,配置完畢保存為ETL步驟,核心步驟主要包括:① 獲取源數(shù)據(jù)表比對項(xiàng)值;② 獲取數(shù)據(jù)倉庫數(shù)據(jù)表比對項(xiàng)值;③通過比對項(xiàng)聯(lián)合查詢獲取增量數(shù)據(jù);④ 對數(shù)據(jù)進(jìn)行清洗和轉(zhuǎn)換操作;⑤ 將最終數(shù)據(jù)存入數(shù)據(jù)倉庫.

4)通過Hops節(jié)點(diǎn)連接模塊,創(chuàng)建連接將之前保存的ETL關(guān)鍵步驟有效連接,形成完整的ETL流程拓?fù)?拓?fù)鋭?chuàng)建完畢后運(yùn)行 transformation 模型,Kettle會顯示本次ETL過程的執(zhí)行狀態(tài)、執(zhí)行時間、數(shù)據(jù)量和日志等各類可視化信息,至此ETL模型創(chuàng)建完畢.

2.4 ETL流程自動化和作業(yè)調(diào)度策略設(shè)置

通過Kettle對ETL流程建模為數(shù)據(jù)倉庫建設(shè)提供了基礎(chǔ),但是仍然沒有解決ETL流程自動化運(yùn)行問題.基于Quartz開源作業(yè)調(diào)度框架開發(fā)數(shù)據(jù)倉庫作業(yè)調(diào)度系統(tǒng),實(shí)現(xiàn)了各類氣象數(shù)據(jù)ETL流程模型的自動化,打通了數(shù)據(jù)倉庫建設(shè)的最后一個環(huán)節(jié).數(shù)據(jù)倉庫作業(yè)調(diào)度系統(tǒng)基于輕量級的開源Java開發(fā)框架Spring MVC開發(fā),系統(tǒng)提供靈活的作業(yè)調(diào)度規(guī)則,可實(shí)現(xiàn)類Unix系統(tǒng)下Cron作業(yè)調(diào)度器的功能,支持圖形界面配置,同時提供作業(yè)調(diào)度狀態(tài)監(jiān)控和故障分析等功能.

由于氣象數(shù)據(jù)種類豐富、各類數(shù)據(jù)更新的頻次和數(shù)據(jù)量不盡相同,因此需要詳細(xì)的分析和測試不同類型數(shù)據(jù)的特性,制定相應(yīng)的作業(yè)調(diào)度策略,否則很可能會導(dǎo)致數(shù)據(jù)更新延遲和數(shù)據(jù)溢出等問題,影響數(shù)據(jù)倉庫更新速度和數(shù)據(jù)服務(wù)質(zhì)量.對主要?dú)庀髷?shù)據(jù)的特性分析和作業(yè)調(diào)度規(guī)則設(shè)置情況見表3.

表3 數(shù)據(jù)特性分析和作業(yè)調(diào)度規(guī)則設(shè)置

3 關(guān)鍵技術(shù)研究

3.1 數(shù)據(jù)倉庫載體搭建

從性能、穩(wěn)定性、維護(hù)成本等方面考慮選擇SQL Server數(shù)據(jù)庫集群作為數(shù)據(jù)倉庫的數(shù)據(jù)存儲平臺.本研究搭建的SQL Server集群由一臺域控服務(wù)器、2臺集群節(jié)點(diǎn)服務(wù)器、SQL Server故障轉(zhuǎn)移群集專用群集資源組組成,其中故障轉(zhuǎn)移群集專用群集資源組包含網(wǎng)絡(luò)名稱、IP地址、數(shù)據(jù)共享盤、MSDTC共享盤、仲裁盤等內(nèi)容.集群內(nèi)服務(wù)器全部采用虛擬服務(wù)器,操作系統(tǒng)按照微軟官方推薦全部安裝Windows Server 2008企業(yè)版,因?yàn)樵摪娌僮飨到y(tǒng)大大簡化了Windows 故障轉(zhuǎn)移集群的管理維護(hù).SQL Server集群共有兩個數(shù)據(jù)庫節(jié)點(diǎn),正常運(yùn)行時,只有一個節(jié)點(diǎn)上的SQL Server實(shí)例進(jìn)程在運(yùn)行,此節(jié)點(diǎn)稱為活動節(jié)點(diǎn)(Active Node),而另外一個節(jié)點(diǎn)則稱為被動節(jié)點(diǎn)(Passive Node).集群的虛擬網(wǎng)絡(luò)名字總是映射到當(dāng)前活動節(jié)點(diǎn)的IP上,保障數(shù)據(jù)庫服務(wù)不中斷.SQL Server集群內(nèi)部的狀態(tài)信息會實(shí)時記載到集群日志和Windows事件瀏覽器中,一旦集群發(fā)生了異常,可以通過研究這些信息了解系統(tǒng)狀態(tài)變化的全過程并針對性的處理.

SQL Server集群是一套成熟的企業(yè)級數(shù)據(jù)庫集群解決方案.集群提供了諸如節(jié)點(diǎn)之間心跳檢測、故障轉(zhuǎn)移策略管理等特性,可以在單臺集群硬件和軟件故障時將故障資源從一個集群節(jié)點(diǎn)轉(zhuǎn)移到另一個節(jié)點(diǎn),實(shí)現(xiàn)數(shù)據(jù)庫雙活功能.SQL Server集群支持橫向擴(kuò)展,也可以通過虛擬服務(wù)器配置提升實(shí)現(xiàn)縱向擴(kuò)展,滿足數(shù)據(jù)倉庫高可用和高性能需求,也為未來數(shù)據(jù)倉庫的擴(kuò)容和性能提升提供了保障.

3.2 數(shù)據(jù)倉庫優(yōu)化

數(shù)據(jù)倉庫優(yōu)化主要解決的是性能和穩(wěn)定性兩個問題,并且貫穿在數(shù)據(jù)倉庫的設(shè)計和運(yùn)行過程中,在此過程中對ETL流程SQL語句、ETL流程作業(yè)調(diào)度策略、Kettle軟件運(yùn)行和設(shè)置等內(nèi)容和環(huán)節(jié)進(jìn)行了調(diào)整和優(yōu)化,提升了數(shù)據(jù)倉庫系統(tǒng)的穩(wěn)定性和運(yùn)行效率,優(yōu)化內(nèi)容和優(yōu)化方式描述如下:

1)SQL語句優(yōu)化:對ETL流程的SQL語句進(jìn)行優(yōu)化,比如控制聯(lián)合查詢數(shù)量,避免在索引列上使用函數(shù)或計算等操作,同時注意正確的創(chuàng)建和使用索引.

2)作業(yè)調(diào)度策略優(yōu)化:對數(shù)據(jù)庫存儲過程、ETL流程執(zhí)行計劃進(jìn)行調(diào)整,避開繁忙時間段,防止長時間運(yùn)行或重復(fù)操作造成死鎖等問題.

3)Kettle 軟件優(yōu)化:Kettle 軟件基于 Java 語言開發(fā),通過對軟件運(yùn)行方式和相關(guān)設(shè)置進(jìn)行調(diào)整優(yōu)化,可以大幅提升ETL流程的運(yùn)行效率,主要策略包含:①優(yōu)化JVM運(yùn)行內(nèi)存大小;② 使用大內(nèi)存方式啟動Kettle;③ 運(yùn)行緩存設(shè)置盡量大;④ 調(diào)整抽取和載入過程中記錄集合內(nèi)記錄數(shù)量;⑤ 優(yōu)化增量更新策略盡量縮小輸入數(shù)據(jù)集大小;⑥ 優(yōu)先使用數(shù)據(jù)庫連接池方式連接.

3.3 數(shù)據(jù)倉庫監(jiān)控和日志管理

數(shù)據(jù)倉庫運(yùn)行過程中,由于氣象數(shù)據(jù)具有數(shù)據(jù)源多樣,作業(yè)執(zhí)行周期短、數(shù)據(jù)量大、同步規(guī)則復(fù)雜等特征,極易發(fā)生各類故障,因此對數(shù)據(jù)倉庫ETL過程的監(jiān)控和日志管理功能非常有必要.本研究在設(shè)計數(shù)據(jù)倉庫作業(yè)調(diào)度系統(tǒng)時集成了監(jiān)控和日志管理功能.監(jiān)控和日志管理基于Kettle強(qiáng)大的日志輸出功能開發(fā),Kettle提供沒有日志(Nothing)、錯誤日志(Error)、最小日志(Minimal)、基本日志(Basic)、詳細(xì)日志(Detailed)、調(diào)試日志(Debug)、行級日志(Row level)7種不同級別的日志輸出,日志記錄詳細(xì)程度依次遞增.在使用Kettle進(jìn)行復(fù)雜的ETL操作時輸出日志會非常多且雜亂,可讀性較差,因此需要在日志管理模塊開發(fā)過程中充分利用Kettle分級日志的功能,不同場景匹配不同的分級日志,同時提取常見異常信息關(guān)鍵字建立故障信息指標(biāo)庫,通過字符匹配和文本截取等技術(shù)手段,精確提取故障日志信息顯示,避免運(yùn)維人員在故障定位過程中,耗費(fèi)的大量的時間閱讀無效日志.監(jiān)控模塊開發(fā)依賴日志管理模塊,提取每種數(shù)據(jù)每次ETL過程的運(yùn)行狀態(tài)信息在作業(yè)調(diào)度系統(tǒng)上直觀的顯示,方便運(yùn)維人員及時發(fā)現(xiàn)運(yùn)行異常,并結(jié)合日志管理模塊輸出的錯誤日志進(jìn)行處置.需要特別關(guān)注的是在數(shù)據(jù)倉庫ETL運(yùn)行過程中對Kettle日志輸出進(jìn)行監(jiān)控和抓取會影響系統(tǒng)的整體性能,因此選擇日志輸出級別應(yīng)非常審慎,并且在程序獲取日志完畢后要清空日志緩沖區(qū),避免緩沖區(qū)堆積或溢出造成的系統(tǒng)性能異常.

4 應(yīng)用情況

氣象數(shù)據(jù)倉庫的建成為各類氣象應(yīng)用系統(tǒng)向政務(wù)云的遷移和部署提供了完備的基礎(chǔ)氣象數(shù)據(jù)服務(wù).目前數(shù)據(jù)倉庫除了服務(wù)于市級氣象門戶網(wǎng)站以外,還為港口航運(yùn)服務(wù)平臺、決策氣象APP等系統(tǒng)提供數(shù)據(jù)支撐,此外市級突發(fā)事件預(yù)警信息發(fā)布平臺等項(xiàng)目的設(shè)計和開發(fā)也基于政務(wù)云氣象數(shù)據(jù)倉庫開展,未來氣象數(shù)據(jù)倉庫將服務(wù)于更多部署在政務(wù)云的氣象服務(wù)和應(yīng)用系統(tǒng).

政務(wù)云氣象數(shù)據(jù)倉庫也為氣象部門參與電子政務(wù)數(shù)據(jù)交換和共享打下基礎(chǔ).由寧波市政府推動的“E寧波”移動智慧社管信息系統(tǒng)已與2017年上半年完成了和政務(wù)云氣象數(shù)據(jù)倉庫的對接,首期對接項(xiàng)目包含短期預(yù)報、天氣預(yù)警、實(shí)況觀測等資料.“E寧波”作為寧波市政務(wù)網(wǎng)格化管理的統(tǒng)一信息工作平臺,將社會治理的每項(xiàng)工作都能滲透落實(shí)到網(wǎng)格中,及時解決群眾最關(guān)心、最直接的利益訴求.此外依托于政務(wù)云氣象數(shù)據(jù)倉庫,氣象部門已經(jīng)完成市大數(shù)據(jù)管理局首批政務(wù)數(shù)據(jù)歸集工作,氣象數(shù)據(jù)將服務(wù)于更多社會治理領(lǐng)域.

5 結(jié)語

政務(wù)云氣象數(shù)據(jù)倉庫實(shí)現(xiàn)了預(yù)報、預(yù)警、探測等60余種氣象資料在政務(wù)云的落地,既服務(wù)于部署在政務(wù)云的氣象應(yīng)用系統(tǒng),也為氣象部門參與政務(wù)數(shù)據(jù)交換提供條件,具有很高的實(shí)用價值.氣象數(shù)據(jù)倉庫的建設(shè)是一個持續(xù)性的工作,根據(jù)中國氣象局氣象信息化行動方案,未來可以在氣象數(shù)據(jù)倉庫部署標(biāo)準(zhǔn)化氣象數(shù)據(jù)服務(wù)接口,改變以數(shù)據(jù)庫為中心的傳統(tǒng)開發(fā)模式,為各類應(yīng)用系統(tǒng)提供標(biāo)準(zhǔn)化的對接方式.也可以充分利用政務(wù)云已建成的Hadoop大數(shù)據(jù)分析與處理平臺,開展氣象大數(shù)據(jù)分析工作,研究氣象大數(shù)據(jù)和其他行業(yè)大數(shù)據(jù)的關(guān)聯(lián)性,應(yīng)用于防災(zāi)減災(zāi)和社會治理等領(lǐng)域,讓氣象數(shù)據(jù)發(fā)揮更大的現(xiàn)實(shí)價值.