氣象大數(shù)據(jù)的服務(wù)框架與建設(shè)設(shè)想

宋月旻

摘 要 氣象大數(shù)據(jù)不僅是一座價值巨大的寶庫，其應(yīng)用和研究價值都極其重要。文章介紹了氣象大數(shù)據(jù)的服務(wù)框架，如基礎(chǔ)設(shè)施層、應(yīng)用平臺、數(shù)據(jù)應(yīng)用、大數(shù)據(jù)服務(wù)、大數(shù)據(jù)服務(wù)用戶等，并對氣象大數(shù)據(jù)的工程建設(shè)提出了一些設(shè)想，無論是氣象大數(shù)據(jù)框架設(shè)計與規(guī)劃，還是強化氣象大數(shù)據(jù)的操作管理，提升氣象大數(shù)據(jù)質(zhì)量，以及建立氣象大數(shù)據(jù)風(fēng)險評估安全體系都有著重要的意義。

關(guān)鍵詞 氣象大數(shù)據(jù)；服務(wù)框架；建設(shè)設(shè)想

中圖分類號 TP3 文獻標識碼 A 文章編號 1674-6708（2018）206-0131-02

目前，我國科學(xué)技術(shù)飛速發(fā)展，推動并不斷加速氣象信息化前進步伐，長期積累的氣象數(shù)據(jù)正呈現(xiàn)不斷增加的趨勢。我國國家氣象局歷史積累的氣象數(shù)據(jù)達到PB級的總存量，單純年新增量，也將達PB級這樣一個數(shù)值。氣象數(shù)據(jù)種類豐富，有地面觀測、衛(wèi)星、雷達和數(shù)值預(yù)報產(chǎn)品等內(nèi)容，全部由觀測站點來完成收集任務(wù)。上述觀測點據(jù)權(quán)威部門的統(tǒng)計可知其中自動觀察點5萬多個，地面氣象觀測站點2？000多個，其他類型的觀測站點1？000多個。上述觀測站點從建站以來采集的數(shù)據(jù)累計，另外加上實時氣象數(shù)據(jù)，統(tǒng)稱為氣象大數(shù)據(jù)。不僅十分重要的檔案材料，也是無價之寶，其數(shù)據(jù)庫則是一座價值巨大的寶庫，其應(yīng)用和研究價值都極其重要。為讀者提供各類氣象數(shù)據(jù)服務(wù)奠定了物質(zhì)基礎(chǔ)，其服務(wù)對象主要集中在氣象部門，包括本系統(tǒng)內(nèi)部業(yè)務(wù)需要、科研需要和公眾需要等方面。系統(tǒng)內(nèi)部業(yè)務(wù)主要指本系統(tǒng)工作人員所從事的業(yè)務(wù)工作，可以是氣象數(shù)據(jù)查詢，也可以是為預(yù)報產(chǎn)品制作提供數(shù)據(jù)，還有就是將氣象數(shù)據(jù)處理入庫；氣象科研需要，主要是開展氣象大數(shù)據(jù)數(shù)值分析，提供氣象災(zāi)害風(fēng)險評估所需數(shù)據(jù)；公共氣象處理和分析工作主要集中在對氣象觀測大數(shù)據(jù)方面。同時還兼顧到人們?nèi)粘Ｉa(chǎn)、生活、海洋、農(nóng)業(yè)和交通等領(lǐng)域。由于大數(shù)據(jù)技術(shù)的先進性和巨大的功能，不論涉及到大數(shù)據(jù)管理和高可靠存儲，還是涉及到其數(shù)據(jù)的分析、處理和檢索等面臨著技術(shù)轉(zhuǎn)化問題。

1 如何看待大數(shù)據(jù)

《國務(wù)院關(guān)于印發(fā)促進大數(shù)據(jù)發(fā)展行動綱要的通知》于2015年9月5日正式發(fā)布后，極大地推動了我國大數(shù)據(jù)發(fā)展進程。我國大數(shù)據(jù)科學(xué)研究工作和應(yīng)用呈現(xiàn)出浪潮洶涌澎湃的現(xiàn)狀，其影響不僅涉及到每一個行業(yè)，也涉及到很多單位和企業(yè)。為了實現(xiàn)先入為主的策略，不少單位和企業(yè)研究出臺了一系列激勵政策和措施來“搶占大數(shù)據(jù)制高點”，

并設(shè)置了專門機和專項任務(wù)；氣象部門則以氣象大數(shù)據(jù)庫建設(shè)為出發(fā)點力爭立項。氣象部門面對大數(shù)據(jù)技術(shù)，應(yīng)理性對待，聘請專家學(xué)者就大數(shù)據(jù)是否適用于氣象部門進行科學(xué)論證，氣象部門領(lǐng)導(dǎo)決策層要以科學(xué)論證結(jié)果為依據(jù)進行思考、分析和論證并做出科學(xué)判斷，其目的是為了減少誤判導(dǎo)致的失敗，有效規(guī)避風(fēng)險。

2 氣象大數(shù)據(jù)服務(wù)框架

1）基礎(chǔ)設(shè)施層。有效開展大數(shù)據(jù)服務(wù)，必須建設(shè)好其硬件環(huán)境，其中配套設(shè)備應(yīng)該含有存放和處理氣象大數(shù)據(jù)硬件設(shè)施，如計算機處理系統(tǒng)，網(wǎng)絡(luò)環(huán)境，控溫環(huán)境，照明制冷環(huán)境和相應(yīng)工作場地等基礎(chǔ)設(shè)施。為了滿足大數(shù)據(jù)技術(shù)發(fā)展的需要，原有基礎(chǔ)設(shè)施層硬件需要改造，需要基于“云計算”環(huán)境下進行處理，獲得基礎(chǔ)設(shè)施資源庫，逐步夯實氣象大數(shù)據(jù)基礎(chǔ)設(shè)施，建成計算資源和存儲資源服務(wù)框架，為氣象系統(tǒng)內(nèi)部業(yè)務(wù)和科研人員服務(wù)，從而實現(xiàn)歷年來和動態(tài)形式下氣象數(shù)據(jù)資源的完全整合，為提高歷年來的氣象數(shù)據(jù)資源應(yīng)用率服務(wù)。

2）平臺。該操作應(yīng)用平臺的作用，是基于利用“云計算”技術(shù)基礎(chǔ)之上建設(shè)工作設(shè)施，從而實現(xiàn)搭建氣象服務(wù)工作平臺?！癏adoop”分布式文件系統(tǒng)也有不少單位采用，是分布式文件冗余可以實現(xiàn)存儲；分布式數(shù)據(jù)庫“HBase”，是動態(tài)氣象大數(shù)據(jù)分布式，常使用的數(shù)據(jù)索引；而分布式計算模型Map？Reduce，是數(shù)據(jù)并行計算使用時最有效形式；數(shù)據(jù)倉庫Hive，往往是靜態(tài)氣象數(shù)據(jù)實現(xiàn)存儲和便捷索引的途徑。只要相應(yīng)平臺層建成，已經(jīng)完成對應(yīng)用層的技術(shù)支撐任務(wù)。

3）應(yīng)用。該層的技術(shù)特點是利用平臺層的軟件工具，對相關(guān)應(yīng)用進行開發(fā)工作。而站點監(jiān)控，其重點為氣象監(jiān)測點和監(jiān)測設(shè)備等內(nèi)容；其監(jiān)控和管理的對象主要是區(qū)域氣象數(shù)據(jù)中心的服務(wù)器節(jié)點，其實現(xiàn)途徑是動態(tài)監(jiān)管；有針對性提供氣象服務(wù)內(nèi)容。

4）大數(shù)據(jù)服務(wù)。大數(shù)據(jù)服務(wù)，要密切關(guān)注應(yīng)用層的實際需要，為深度挖掘和開發(fā)各種類型應(yīng)用單位和企業(yè)，提供大數(shù)據(jù)服務(wù)。常見的有站點監(jiān)控和云平臺監(jiān)控功能，使用最多的是“HBase”實時數(shù)據(jù)檢索，為相關(guān)單位或企業(yè)提供氣象業(yè)務(wù)服務(wù)；預(yù)報數(shù)據(jù)及預(yù)報產(chǎn)品，可選用分布式數(shù)據(jù)處理模型Map？Reduce技術(shù)來完成，同時還要考慮給氣象科研及公共氣象提供必要的服務(wù)。

5）用戶。氣象大數(shù)據(jù)提供服務(wù)面不寬，其主要用戶局限于氣象系統(tǒng)的業(yè)務(wù)人員、氣象科研人員和其他行業(yè)。上述各類人員要獲得氣象數(shù)據(jù)服務(wù)的途徑，就是訪問氣象大數(shù)據(jù)相連接的網(wǎng)絡(luò)，以期獲得氣象大數(shù)據(jù)服務(wù)；科研工作者則可以利用互聯(lián)網(wǎng)，也能獲得相關(guān)數(shù)據(jù)；其他關(guān)聯(lián)人員要獲得相關(guān)數(shù)據(jù)，互聯(lián)網(wǎng)也是最佳途徑。

3 氣象大數(shù)據(jù)工程建設(shè)設(shè)想

3.1 氣象大數(shù)據(jù)框架設(shè)計與規(guī)劃

大數(shù)據(jù)框架設(shè)計工作，是氣象大數(shù)據(jù)建設(shè)工作的基礎(chǔ)和保證。如大數(shù)據(jù)框架設(shè)計不不清晰、不完整，其結(jié)果必然達不到預(yù)期目標?？梢?，氣象大數(shù)據(jù)框架設(shè)計工作必須優(yōu)先實行。在設(shè)計大數(shù)據(jù)框架時，可更多考慮氣象系統(tǒng)自身業(yè)務(wù)發(fā)展戰(zhàn)略，從分析研究現(xiàn)有數(shù)據(jù)架構(gòu)開始，進一步完善氣象大數(shù)據(jù)概念和定義，組織優(yōu)秀專家研究團隊。先從簡單開始，最后深入到復(fù)雜層面進大數(shù)據(jù)模型設(shè)計，適當融入優(yōu)化后的數(shù)據(jù)模型，適當?shù)厝谌脒^去的數(shù)據(jù)體系。充分考慮各種數(shù)據(jù)業(yè)務(wù)實際分布情況，其最終結(jié)果必須滿足業(yè)務(wù)和管理雙重需求，科學(xué)地規(guī)劃設(shè)計數(shù)據(jù)的系統(tǒng)分布。

3.2 氣象大數(shù)據(jù)開發(fā)工作必須堅決執(zhí)行

氣象大數(shù)據(jù)開發(fā)管理工作要順利實施，必須建立起嚴格的制度作保證，并在實踐中堅決落實，從源頭上消除一切影響大數(shù)據(jù)順利管理的不利因素。要從嚴開發(fā)新的應(yīng)用系統(tǒng)，處于研究階段，就要廣泛收集資料，對獲得的各種數(shù)據(jù)進行系統(tǒng)性分析，尋找解決能滿足實際需要的應(yīng)用系統(tǒng)各項指標數(shù)據(jù)，如果找不到必須實行一票否決。面對一些已經(jīng)成熟的應(yīng)用系統(tǒng)，要從數(shù)據(jù)源模型、數(shù)據(jù)產(chǎn)品模型和數(shù)據(jù)流程規(guī)范等方面進行考核，其應(yīng)用系統(tǒng)是否能滿足實際需要，否則一律納入數(shù)據(jù)治理內(nèi)容，在實施治理時也應(yīng)按輕、重、緩和急進行排序，對其全面治理。

3.3 要循序漸近地治理氣象大數(shù)據(jù)

開展治理大數(shù)據(jù)工作，其目標主要是解決氣象大數(shù)據(jù)領(lǐng)域中存在的問題。其工作核心應(yīng)緊緊圍繞制度、崗位和行政管理等內(nèi)容，只有這樣才能實現(xiàn)治理工作的目標。從而順利解決各種涉及到大數(shù)據(jù)問題。當然，單位或企業(yè)則要為治理大數(shù)據(jù)者提供保障和方便。應(yīng)當將其列入單位或企業(yè)推進信息化建設(shè)的重要內(nèi)容加以重視。

3.4 強化氣象大數(shù)據(jù)操作管理

針對CRUD處理具體操，事先要制訂一整套科學(xué)的管理操作規(guī)范，而在實踐過程中，不按操作規(guī)范進行操作的不乏其人?；谏鲜霈F(xiàn)狀，數(shù)據(jù)操作管理急需整治和強化。實際操作時，可選擇管控強化用戶權(quán)限和標準數(shù)據(jù)應(yīng)用接口的實際應(yīng)用和普及方面，也需要選擇科學(xué)的大數(shù)據(jù)操作技能，規(guī)范實際操作行為。

3.5 提升氣象大數(shù)據(jù)質(zhì)量

氣象大數(shù)據(jù)質(zhì)量是工作的重點，在實際工作中，不僅要強化現(xiàn)有工作基礎(chǔ)，而且要依照其重要程度，循序拓寬氣象大數(shù)據(jù)涉及面，相關(guān)技術(shù)指標，選擇方法，只有在成熟時進行推進。業(yè)務(wù)工作必須規(guī)范，氣象大數(shù)據(jù)收集必須完整，研發(fā)人員的業(yè)務(wù)能力必須保證。選擇對氣象大數(shù)據(jù)進行治理的目的，是優(yōu)化氣象大數(shù)據(jù)結(jié)構(gòu)，消除沒有保存價值的數(shù)據(jù)，有效防止大數(shù)據(jù)庫存在冗余數(shù)據(jù)，提升氣象主大數(shù)據(jù)質(zhì)量，科學(xué)地儲存優(yōu)質(zhì)氣象大數(shù)據(jù)。

3.6 建立氣象大數(shù)據(jù)風(fēng)險評估安全體系

大數(shù)據(jù)安全問題必須優(yōu)先考慮，納入氣象部門整體安全管理體系中，成為氣象大數(shù)據(jù)信息安全體系統(tǒng)一設(shè)計和管理重要內(nèi)容。風(fēng)險評估安全體系，涉及到主數(shù)據(jù)、一般數(shù)據(jù)和參考數(shù)據(jù)三部分內(nèi)容。實行風(fēng)險評估時將其納入重點評估內(nèi)容，要滿足數(shù)據(jù)安全、針對性的和整體策略需要。只有這樣才能收獲預(yù)期目標。

4 結(jié)論

氣象大數(shù)據(jù)服務(wù)是信息化技術(shù)發(fā)展的必然結(jié)果。也是氣象行業(yè)服務(wù)的目標和方向，同樣是國家信息化重要內(nèi)容之一。氣象大數(shù)據(jù)可以幫助完成氣象服務(wù)產(chǎn)品的制作工作，滿足社會和人們的實際需要。選擇Map？Reduce分布式處理技術(shù)，能迅速解決氣象大數(shù)據(jù)的處理與分析的難題。當然，要順利執(zhí)行，必須選擇“云”環(huán)境下的氣象大數(shù)據(jù)服務(wù)框架，才能順利完成氣象大數(shù)據(jù)服務(wù)指標，實現(xiàn)單位或企業(yè)內(nèi)部信息共享目標，夯實信息化時代氣象服務(wù)a基礎(chǔ)。

參考文獻

[1]沈文海.再析氣象大數(shù)據(jù)及其應(yīng)用[J].中國信息化，2016（1）：85-96.

[2]劉巍巍，劉壽東，范秋丹.互聯(lián)網(wǎng)時代下的氣象數(shù)據(jù)應(yīng)用分析[J].管理現(xiàn)代化，2016（1）：64-66.

[3]張潔，薛勝軍.云計算環(huán)境下氣象大數(shù)據(jù)服務(wù)的應(yīng)用[J].安徽農(nóng)業(yè)科學(xué)，2016（5）：298-301.