大數(shù)據(jù)時代氣象數(shù)據(jù)資源庫建設(shè)新趨勢探討

汪華 李波 李玨 王彪

摘 要：近年來，互聯(lián)網(wǎng)技術(shù)的快速發(fā)展和普及應(yīng)用使各行各業(yè)發(fā)生了翻天覆地的變化，各種信息的產(chǎn)生和傳播速度正在越來越快。而這些海量的信息數(shù)據(jù)也越來越成為一種重要的資源推動著社會經(jīng)濟快速發(fā)展，一個大數(shù)據(jù)時代正在悄然到來。在新時代環(huán)境下，氣象行業(yè)也應(yīng)積極轉(zhuǎn)變理念，以數(shù)據(jù)思維和技術(shù)來加快推動氣象服務(wù)的轉(zhuǎn)型升級。本文圍繞大數(shù)據(jù)時代下氣象數(shù)據(jù)資源庫建設(shè)的相關(guān)議題進行了探討，概述了大數(shù)據(jù)時代的數(shù)據(jù)思維特征，分析了氣象數(shù)據(jù)的特點和構(gòu)成，論述了大數(shù)據(jù)時代氣象大數(shù)據(jù)資源庫建設(shè)的新趨勢，旨在不斷提升我省氣象服務(wù)的數(shù)據(jù)分析技術(shù)水平，以更自信的姿態(tài)來迎接數(shù)據(jù)時代各項氣象工作挑戰(zhàn)，更好地為社會民眾提供科學(xué)精準(zhǔn)的氣象服務(wù)。

關(guān)鍵詞：大數(shù)據(jù);氣象數(shù)據(jù);數(shù)據(jù)應(yīng)用

中圖分類號：P413 文獻標(biāo)識碼：A 文章編號：1671-2064（2019）04-0047-02

0 引言

隨著數(shù)據(jù)時代的來臨，數(shù)據(jù)的價值也越發(fā)體現(xiàn)。在氣象行業(yè)中，無論是氣象業(yè)務(wù)還是氣象科研都離不開氣象數(shù)據(jù)，這些氣象數(shù)據(jù)為氣象決策、管理以及服務(wù)等方面提供了重要的基礎(chǔ)支持。目前，我省所保持管理的各類氣象數(shù)據(jù)已經(jīng)超過了1.2PB，增長速度呈現(xiàn)上升趨勢，這些數(shù)據(jù)不僅數(shù)量多，而且涵蓋了地面、高空、輻射、農(nóng)氣、雷達、衛(wèi)星以及預(yù)報等多個類別。在新的時代內(nèi)，如何更好地把握氣象數(shù)據(jù)技術(shù)應(yīng)用的趨勢，使氣象數(shù)據(jù)發(fā)揮出更多的價值是當(dāng)下氣象部門及工作人員的全新挑戰(zhàn)。

1 大數(shù)據(jù)時代的數(shù)據(jù)思維特征

1.1 大數(shù)據(jù)概述

大數(shù)據(jù)這一概念最初源自IT行業(yè)，指的是巨量數(shù)據(jù)的集合。隨著大數(shù)據(jù)概念的提出以及數(shù)據(jù)技術(shù)的不斷落地，大數(shù)據(jù)的含義也從狹義向著廣義的方向發(fā)展，同時大數(shù)據(jù)的特征也越發(fā)凸顯[1]。比如被大眾所一致接受和認(rèn)可的5V特征：

（1）數(shù)據(jù)呈現(xiàn)海量的特征;（2）數(shù)據(jù)處理速度更快的特征;（3）數(shù)據(jù)類別多樣化的特征;（4）數(shù)據(jù)價值與數(shù)據(jù)密度正相關(guān)的特征;（5）數(shù)據(jù)客觀性和真實性更高的特征。面對這些全新的數(shù)據(jù)特征，人們借助傳統(tǒng)的數(shù)據(jù)分析、數(shù)據(jù)統(tǒng)計以及數(shù)據(jù)管理模式和方法已經(jīng)不能滿足數(shù)據(jù)技術(shù)研究和應(yīng)用的要求，必須借助新的設(shè)備、方法和手段來對這些數(shù)據(jù)進行分析和處理，以發(fā)揮出它們潛在的信息資源價值。

1.2 大數(shù)據(jù)時代的思維變革

大數(shù)據(jù)時代的思維變革主要是沿著大數(shù)據(jù)時代的發(fā)展階段來轉(zhuǎn)變的。從本質(zhì)上來說，大數(shù)據(jù)時代是互聯(lián)網(wǎng)時代的升級版?；ヂ?lián)網(wǎng)時代為大數(shù)據(jù)時代創(chuàng)造了基礎(chǔ)設(shè)施環(huán)境和條件。在大數(shù)據(jù)時代的初始階段，人們只是積累和存儲了一定的數(shù)據(jù)，對于數(shù)據(jù)的加工和利用并沒有深入的理解，在這一階段人們的思維更多是雜亂的，并沒有對大數(shù)據(jù)的應(yīng)用有清晰的目標(biāo)和路徑。而隨著大數(shù)據(jù)時代的發(fā)展和推移，行業(yè)或市場的變化速度越來越快，這時候的人們開始越來越意識到數(shù)據(jù)的重要性，并開始將它作為一種更高效地面對行業(yè)變化或市場變化的重要資源。這一階段，始作俑者是互聯(lián)網(wǎng)企業(yè)，如阿里、騰訊等平臺型企業(yè)，在這些企業(yè)中涌現(xiàn)出了越來越多的數(shù)據(jù)“加工”技術(shù)，并嘗試將這些技術(shù)應(yīng)用到自身企業(yè)的實際發(fā)展和應(yīng)用中，來更好地面對市場變化，更高效地滿足客戶的需求，自此，大數(shù)據(jù)技術(shù)開始與實際生活有了真正意義上的聯(lián)系。隨著大數(shù)據(jù)技術(shù)的發(fā)展和應(yīng)用，社會上也出現(xiàn)了越來越多的專業(yè)數(shù)據(jù)技術(shù)和服務(wù)公司，這些創(chuàng)新型公司一方面具有專業(yè)的數(shù)據(jù)處理技術(shù)，一方面試圖尋找更好的落地行業(yè)和領(lǐng)域，推動著大數(shù)據(jù)技術(shù)進入了快速發(fā)展和應(yīng)用的階段。至此，大數(shù)據(jù)技術(shù)才漸漸走入大眾的視線，成為真正影響人們?nèi)粘Ｉa(chǎn)和生活的一種新資源和新技術(shù)[2]。

目前大數(shù)據(jù)技術(shù)已經(jīng)進入了快速發(fā)展和應(yīng)用的階段，它的理念也影響著人們的思維發(fā)生變化，主要的變化有三個方面[3]：（1）人們過去對少量數(shù)據(jù)的精確度給與很高的關(guān)注，而現(xiàn)在人們更多地關(guān)注大量數(shù)據(jù)所表現(xiàn)出的概率或趨勢，在這一概率或趨勢基礎(chǔ)上實現(xiàn)盡可能的精準(zhǔn)。（2）過去人們對數(shù)據(jù)往往是基于主觀來進行定性，判斷哪些是“正確”的，哪些是“有誤”的，而現(xiàn)在人們摒棄過去的主觀性，更多地依托數(shù)據(jù)技術(shù)和數(shù)據(jù)方法來進行判斷和決策，完全尊重數(shù)據(jù)分析結(jié)論的客觀性。（3）過去人們會對數(shù)據(jù)進行主觀性的篩選，將數(shù)據(jù)歸為“可用”的，或者是“無用”的，而現(xiàn)在人們對于采集到的所有數(shù)據(jù)都一視同仁，并沒有好壞之分，有用無用之分，反而采集的數(shù)據(jù)量越大對數(shù)據(jù)分析結(jié)果的準(zhǔn)確性越有利，即使有部分?jǐn)?shù)據(jù)對當(dāng)下的工作或研究是“無用”的，也同樣將之存儲保留，這一思維的轉(zhuǎn)變也預(yù)示著人們對數(shù)據(jù)資源巨大的潛在價值有更多的期待。

2 氣象數(shù)據(jù)的特點與構(gòu)成

2.1 氣象數(shù)據(jù)的特點

對于氣象數(shù)據(jù)來說，除了具備大數(shù)據(jù)的所有特征之外，還具有行業(yè)內(nèi)的四大顯著特點。

（1）氣象數(shù)據(jù)不僅量大，而且增長速度快。由于氣象數(shù)據(jù)涉及到時間和空間維度內(nèi)的物理量觀測或模擬，而每個維度內(nèi)又包含多項指標(biāo)或參數(shù)，因此每時每刻都會產(chǎn)生大量的數(shù)據(jù)，同時隨著觀測設(shè)備和技術(shù)的更新升級，數(shù)據(jù)增長速度也呈現(xiàn)指數(shù)爆發(fā)態(tài)勢。（2）氣象數(shù)據(jù)來源多，種類多，范圍廣。氣象數(shù)據(jù)的獲取有著多種渠道，如各地區(qū)的地面站、測風(fēng)站、探空站、輻射站、火箭站、氣象站、農(nóng)氣站等，這些不同類別的站點都為氣象機構(gòu)部門提供了新鮮的氣象數(shù)據(jù)。而氣象數(shù)據(jù)的范圍也非常廣泛，包括地面數(shù)據(jù)、邊界層數(shù)以及高空數(shù)據(jù)三大類別。其中在每一大類數(shù)據(jù)范圍內(nèi)又包含更細(xì)的種類，如地面數(shù)據(jù)類別內(nèi)又包含氣壓、氣溫、濕度、風(fēng)速、風(fēng)向、能見度、日照、降水等等內(nèi)容指標(biāo)。（3）氣象數(shù)據(jù)的時效性高。由于氣象信息時刻發(fā)生變化，因此氣象數(shù)據(jù)的采集、分析、處理也需要在盡可能短的時間內(nèi)完成，以滿足氣象工作的預(yù)見性，為廣大民眾的生產(chǎn)生活預(yù)留更多的準(zhǔn)備時間做好氣候或天氣變化的措施應(yīng)對。（4）氣象數(shù)據(jù)的潛在價值高。對于氣象數(shù)據(jù)來說，目前最主要的應(yīng)用是為大眾提供有效的氣象預(yù)報及相關(guān)服務(wù)工作。而隨著時代的發(fā)展，越來越多的行業(yè)和領(lǐng)域的技術(shù)融合性更強。如氣象數(shù)據(jù)與水文數(shù)據(jù)、地質(zhì)數(shù)據(jù)等融合為相關(guān)部門的研究和決策提供更全面的信息支持。此外，隨著物聯(lián)網(wǎng)技術(shù)的發(fā)展，基于氣象信息服務(wù)的商業(yè)應(yīng)用場景也越來越多，如在旅游、交通、航天、生產(chǎn)、養(yǎng)殖等領(lǐng)域內(nèi)，更加個性化的氣象信息服務(wù)也將迎來一定的市場空間，與多個相關(guān)領(lǐng)域加深融合，發(fā)揮出氣象數(shù)據(jù)越來越多的商業(yè)價值。

2.2 氣象數(shù)據(jù)的構(gòu)成

傳統(tǒng)時代的氣象數(shù)據(jù)主要包括氣候數(shù)據(jù)和天氣數(shù)據(jù)，而大數(shù)據(jù)時代的氣象數(shù)據(jù)在構(gòu)成內(nèi)容上也有所增加，氣象大數(shù)據(jù)不僅包括傳統(tǒng)的氣象數(shù)據(jù)，還包括氣象部門及研究人員針對這些數(shù)據(jù)進行分析和處理后所得到的過程數(shù)據(jù)和結(jié)果數(shù)據(jù)。隨著氣象行業(yè)與其他相關(guān)行業(yè)的深入融合，氣象大數(shù)據(jù)的構(gòu)成體系中也將有越來越多的相關(guān)分支內(nèi)容，由單一的氣象數(shù)據(jù)系統(tǒng)逐漸向著以氣象數(shù)據(jù)為中心向著相關(guān)相關(guān)領(lǐng)域分支不斷延伸的氣象大數(shù)據(jù)體系。而這也是未來物聯(lián)網(wǎng)時代各學(xué)科數(shù)據(jù)融合應(yīng)用的重要趨勢和體現(xiàn)。

3 大數(shù)據(jù)時代氣象大數(shù)據(jù)資源庫建設(shè)的新趨勢

3.1 氣象大數(shù)據(jù)資源庫的構(gòu)建

氣象大數(shù)據(jù)資源庫的構(gòu)建主要圍繞5大系統(tǒng)+1套資源池的架構(gòu)進行建設(shè)。5大系統(tǒng)包含：產(chǎn)品交換系統(tǒng)、挖掘分析系統(tǒng)、存儲與服務(wù)系統(tǒng)、業(yè)務(wù)監(jiān)控系統(tǒng)、交換及質(zhì)控系統(tǒng)，1套資源池由專有云+公有云的混合云架構(gòu)組成[4]。

3.2 氣象大數(shù)據(jù)的多元數(shù)據(jù)存儲適配技術(shù)

大數(shù)據(jù)時代的氣象數(shù)據(jù)增長量巨大，如何高質(zhì)量高效率地對存儲海量的數(shù)據(jù)是當(dāng)下氣象信息部門需要解決的重要問題。我們針對不同數(shù)據(jù)庫產(chǎn)品的多源數(shù)據(jù)存儲采用了不同的適配技術(shù)：（1）分布式關(guān)系型數(shù)據(jù)庫存儲適配模型，基于關(guān)系型數(shù)據(jù)庫連接池相關(guān)組件，建立統(tǒng)一的氣象結(jié)構(gòu)化數(shù)據(jù)存儲適配模型，不同的存儲技術(shù)通過加載不同的驅(qū)動實現(xiàn)數(shù)據(jù)連接，通過標(biāo)準(zhǔn)SQL語句獲取不同數(shù)據(jù)庫中存儲的氣象數(shù)據(jù)，支持常用的MySQL、Oracle語法;（2）分布式表格系統(tǒng)存儲適配模型?；趯Ψ植际奖砀裣到y(tǒng)數(shù)據(jù)存儲結(jié)構(gòu)設(shè)計成果，建立統(tǒng)一的氣象實時交互應(yīng)用庫數(shù)據(jù)存儲適配模型，提供統(tǒng)一的插件接口，不同的存儲技術(shù)加載不同的組件，支持Cassandra、OTS等表格系統(tǒng)存儲插件;（3）分布式文件存儲/對象存儲適配模型，建立統(tǒng)一的氣象非結(jié)構(gòu)化數(shù)據(jù)文件訪問適配模型，提供文件數(shù)據(jù)訪問統(tǒng)一的數(shù)據(jù)獲取方式;（4）服務(wù)接口數(shù)據(jù)檢索、計算自動優(yōu)化適配，根據(jù)數(shù)據(jù)存儲管理系統(tǒng)的元數(shù)據(jù)信息，獲取數(shù)據(jù)存儲的位置和結(jié)構(gòu)，分析性能最優(yōu)的數(shù)據(jù)檢索和計算所需的數(shù)據(jù)庫，從不同的數(shù)據(jù)庫中快速獲取數(shù)據(jù)和計算結(jié)果并進行聚合，提供高效服務(wù)。目前，針對不斷出現(xiàn)的各類氣象大數(shù)據(jù)難題，我們主要從系統(tǒng)架構(gòu)的科學(xué)設(shè)計以及數(shù)據(jù)算法的優(yōu)化來進行攻克，這也是未來氣象數(shù)據(jù)存取的重要研究方向[5]。

3.3 氣象大數(shù)據(jù)的挖掘

氣象數(shù)據(jù)的潛在價值并不外顯，可以說如果沒有有效的工具和方法，這些數(shù)據(jù)很多都是無意義和無價值的，因此想要充分利用好這一寶藏，我們必須借助各種技術(shù)工具和處理方法來對數(shù)據(jù)進行深度挖掘，使?jié)撛趦r值得到顯性的發(fā)揮。針對我省氣象大數(shù)據(jù)的開發(fā)和利用現(xiàn)狀，通過挖掘分析框架和相關(guān)智能算法等挖掘分析工具對我省氣象大數(shù)據(jù)進行挖掘分析，整個挖掘分析流程包含了評估發(fā)布、挖掘訓(xùn)練、模型編排、智能算法集成、數(shù)據(jù)準(zhǔn)備等。為我省氣象各級部門及研究人員所用[6]。

3.4 氣象信息的發(fā)布

隨著互聯(lián)網(wǎng)技術(shù)設(shè)施的普遍應(yīng)用，人們之間的聯(lián)系越來越便捷，越來越高效。目前在氣象領(lǐng)域內(nèi)，多種移動軟件涌現(xiàn)出來，如天氣通、墨跡天氣等APP，為用戶提供了便捷的氣象資訊，讓用戶能夠隨時隨地了解到各地區(qū)的氣象信息。隨著用戶使用需求的不斷變化，未來這些氣象軟件的應(yīng)用功能也將越來越廣，不僅為用戶提供氣象情報，同時還與用戶的衣食住行等領(lǐng)域建立密切的聯(lián)系。如可以根據(jù)用戶的大量的使用和操作記錄建立用戶畫像，為用戶提供更有針對性的資訊和服務(wù)，滿足用戶更多的日常需求。此外，隨著共享理念的發(fā)展，用戶不再僅僅是氣象服務(wù)的使用者和消費者，同時也會成為氣象資訊的提供者和分享者，這種氣象信息的發(fā)布在氣象災(zāi)害的防御工作上起到十分積極的作用。

4 結(jié)語

總之，在大數(shù)據(jù)時代，氣象數(shù)據(jù)的應(yīng)用將于人民的生產(chǎn)和生活有著越來越密切的聯(lián)系。我們氣象部門必須加快探索各種氣象數(shù)據(jù)分析技術(shù)和應(yīng)用技術(shù)的步伐，解決目前氣象數(shù)據(jù)分析應(yīng)用的各個難題，更自信地迎接數(shù)據(jù)時代的全面到來，為社會民眾提供更優(yōu)質(zhì)高效地氣象服務(wù)。

參考文獻

[1] 沈文海.氣象數(shù)據(jù)的“大數(shù)據(jù)應(yīng)用”淺析——《大數(shù)據(jù)時代》思維變革的適用性探討[J].中國信息化，2014（11）：20-31.

[2] 李社宏.大數(shù)據(jù)時代氣象數(shù)據(jù)分析應(yīng)用的新趨勢[J].陜西氣象，2014（2）：41-44.

[3] 沈文海.再析氣象大數(shù)據(jù)及其應(yīng)用[J].中國信息化，2016（1）：85-96.

[4] 汪惜今.淺析氣象大數(shù)據(jù)的未來應(yīng)用服務(wù)趨勢[J].信息通信，2017（4）：290-291.

[5] 徐繼華，馮啟娜，陳貞汝.智慧政府：大數(shù)據(jù)治國時代的來臨[M].北京：中信出版社，2014.

[6] 王星.大數(shù)據(jù)分析：方法與應(yīng)用[M].北京：清華出版社，2013.