大數(shù)據(jù)在氣象服務(wù)中的研究與應(yīng)用

摘 要：“大數(shù)據(jù)”是繼物聯(lián)網(wǎng)、云計算之后信息技術(shù)產(chǎn)業(yè)又一次重要的技術(shù)變革，隨著大數(shù)據(jù)時代的來臨，各行各業(yè)的信息化都發(fā)生了深層次的變革，氣象領(lǐng)域也不例外。本文闡述了大數(shù)據(jù)發(fā)展的背景、基本內(nèi)涵和關(guān)鍵技術(shù)等，并結(jié)合氣象數(shù)據(jù)的特點，分析了大數(shù)據(jù)在氣象領(lǐng)域上的應(yīng)用。

關(guān)鍵詞：大數(shù)據(jù)；關(guān)鍵技術(shù)；氣象數(shù)據(jù)

中圖分類號：TP393.05

隨著信息技術(shù)、計算機技術(shù)和互聯(lián)網(wǎng)技術(shù)的高速發(fā)展，促進了人類社會各類數(shù)據(jù)的爆炸性增長以及云計算、物聯(lián)網(wǎng)等技術(shù)的興起，迎來了大數(shù)據(jù)的時代，同時也引起了多家公司和機構(gòu)對大數(shù)據(jù)問題進行研究。就學術(shù)界而言，《Nature》早在2008年就推出了Big Data專刊。2008年末，“大數(shù)據(jù)”得到部分美國知名計算機科學研究人員的認可，業(yè)界組織“計算社區(qū)聯(lián)盟”（Computing Community Consortium）發(fā)表了一份有影響力的白皮書《大數(shù)據(jù)計算：在商務(wù)、科學和社會領(lǐng)域創(chuàng)建革命性突破》[1]。他們的認可對“大數(shù)據(jù)”術(shù)語提供了支持。

1 大數(shù)據(jù)概述

就目前來說，大數(shù)據(jù)并沒有統(tǒng)一的標準來定義。不過就使用者來說，它是指所涉及的資料達到無法通過目前主流軟件工具，在合理時間內(nèi)達到采集、存儲、分析和展示的數(shù)據(jù)集。但在2012年，學術(shù)界就大數(shù)據(jù)在體積、類型、速度和價值這四個方面的特征達成了共識，即所謂大數(shù)據(jù)的4V特征：Volume（大體積）、Variety（多樣性）、Velocity（高速度）、Value（價值稀薄）。

2 大數(shù)據(jù)關(guān)鍵技術(shù)

隨著大數(shù)據(jù)時代的來臨，要處理的數(shù)據(jù)類型越來越復(fù)雜，量越來越大，用現(xiàn)有的軟件和技術(shù)很難對其進行處理，為了解決這種現(xiàn)狀就需要突破傳統(tǒng)技術(shù)，根據(jù)大數(shù)據(jù)的特點進行技術(shù)變革，因此就需要解決一系列針對大數(shù)據(jù)的收集與存儲、挖掘與分析等技術(shù)，這些關(guān)鍵技術(shù)包括以下幾類：

2.1 數(shù)據(jù)的收集與存儲

大數(shù)據(jù)數(shù)據(jù)源分布廣泛，半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)大量存在，數(shù)據(jù)類型多樣，因此必須對采集的數(shù)據(jù)進行抽取和集成，提取出關(guān)系和實體，經(jīng)過關(guān)聯(lián)和聚合之后采用統(tǒng)一定義的結(jié)構(gòu)來存儲這些數(shù)據(jù)。由于大數(shù)據(jù)的多樣性、數(shù)據(jù)量大、價值密度低等特征，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫已不能滿足大數(shù)據(jù)時代的數(shù)據(jù)存儲。為了解決這個問題，相應(yīng)的提出了許多新型數(shù)據(jù)庫系統(tǒng)，如Google的Bigtable、Amazon的Dynamo等等，Bigtable是采用字符串的形式實現(xiàn)對數(shù)據(jù)庫數(shù)據(jù)的高效管理；而Dynamo技術(shù)是綜合使用了key/value存儲、分布式哈希表（DHT）等技術(shù)對基于大數(shù)據(jù)的信息系統(tǒng)的可靠管理。對于這些新型數(shù)據(jù)庫統(tǒng)一稱為NoSQL（not only SQL）數(shù)據(jù)庫。雖然NoSQL沒有一個準確的定義，但一般認為它們具有模式自由、簡易備份、簡單的應(yīng)用程序接口、最終一致性、支持海量數(shù)據(jù)等特征[2]。目前主流查詢索引技術(shù)是以Google公司的BigTable為代表的列簇式NoSQL數(shù)據(jù)庫。典型的NoSQL數(shù)據(jù)庫[2]分類如表1所示：

表1 典型的NoSQL數(shù)據(jù)庫

2.2 大數(shù)據(jù)挖掘與分析技術(shù)

大數(shù)據(jù)挖掘與分析是整個大數(shù)據(jù)處理流程的核心。對大數(shù)據(jù)進行挖掘分析，發(fā)現(xiàn)蘊含的信息，研究社會運行的規(guī)律與發(fā)展趨勢是大數(shù)據(jù)的根本價值所在。在大數(shù)據(jù)時代，傳統(tǒng)的就算和分析方法在性能上遇到了嚴重的瓶頸。因此需要對傳統(tǒng)的分析方法進行變革。2004年，Google公司提出MapReduce技術(shù)，作為面向大數(shù)據(jù)分析和處理的并行計算模型，致力于通過大規(guī)模廉價服務(wù)器集群實現(xiàn)大數(shù)據(jù)的并行處理。MapReduce并行編程模型把計算過程分解為兩個主要階段，即Map階段和Reduce階段，如圖1所示。Map函數(shù)處理Key/Value對，產(chǎn)生一系列的中間Key/Value對，Reduce函數(shù)用來合并所有具有相同Key值的中間鍵值對，計算最終結(jié)果[3]。目前，Google公司針對MapReduce的離線處理模式的不足，提出了一個適用于Web數(shù)據(jù)級別的交互式數(shù)據(jù)分析系統(tǒng)Dremel，通過將列存儲和多層次的查詢樹結(jié)合，能實現(xiàn)極短時間內(nèi)的海量數(shù)據(jù)分析。在離線與實時處理模式上，已經(jīng)出現(xiàn)了二者融合的趨勢。

3 氣象大數(shù)據(jù)

3.1 氣象大數(shù)據(jù)的內(nèi)涵

氣象部門每天的數(shù)據(jù)增長量有非常大的數(shù)據(jù)級，包括每天有2000多個地面站、120多個高空探測站、440多個雷達站、6顆在軌衛(wèi)星、5萬多個自動監(jiān)測站、600多個農(nóng)業(yè)監(jiān)測站、300多個雷達站、90多個酸雨監(jiān)測站[4]……這些數(shù)據(jù)逐天逐小時甚至到逐分鐘掃描著中國各種各樣的天氣數(shù)據(jù)，這些數(shù)據(jù)量大，且包括不同類型的數(shù)據(jù)類型。報告會專家表示，氣象數(shù)據(jù)既具備“大數(shù)據(jù)”的共性，即：數(shù)據(jù)體量巨大、數(shù)據(jù)增長速度快、數(shù)據(jù)類型多樣等特點。

3.2 氣象大數(shù)據(jù)的主要應(yīng)用

（1）氣象大數(shù)據(jù)在預(yù)災(zāi)、防災(zāi)、減災(zāi)、救災(zāi)中的應(yīng)用；在大數(shù)據(jù)觀點中，預(yù)測是核心，而“防災(zāi)”是應(yīng)對災(zāi)害的重中之重，所以預(yù)測災(zāi)害信息顯得尤為重要。然而，防災(zāi)減災(zāi)的發(fā)展方向，不僅僅是完善預(yù)警系統(tǒng)和提高預(yù)警準確率，氣象大數(shù)據(jù)必將發(fā)揮很大的作用。

（2）大數(shù)據(jù)時代，天氣預(yù)報不僅影響人們的出行，還將給人們生活帶來巨變。氣象大數(shù)據(jù)與社會科學諸多領(lǐng)域或商業(yè)行為結(jié)合，會展示出全新的價值，并大大改變?nèi)藗兊纳罘绞?；比如說能源，可以觀測到電力負荷歷史，加上氣象條件進行用電量估算，農(nóng)業(yè)也是一樣，建筑行業(yè)也是，通過工期歷史加上歷史天氣就可以知道工期預(yù)測；還有交通，航班準點率歷史加上機場歷史天氣，就可以航班延誤預(yù)測，準確性非常高；還有公共衛(wèi)生，通過門診量和藥品銷量加上氣象歷史就可以知道發(fā)病率預(yù)測；在飲品方面，通過銷量和溫度就可以知道銷量預(yù)測[5]等等。

4 結(jié)束語

挖掘大數(shù)據(jù)在氣象上的應(yīng)用，可以有效的提高氣象預(yù)報、預(yù)警能力，從而能更加有效地為防災(zāi)、減災(zāi)、救災(zāi)提供科學依據(jù)。同時，將氣象大數(shù)據(jù)應(yīng)用于農(nóng)業(yè)、交通業(yè)、建筑業(yè)、旅游業(yè)、銷售業(yè)、保險業(yè)等各行各業(yè)，也有助于產(chǎn)生巨大的經(jīng)濟效益。

參考文獻：

[1]王珊，王會舉，覃雄派.架構(gòu)大數(shù)據(jù)：挑戰(zhàn)?現(xiàn)狀與展望[J].計算機學報，2011（10）.

[2]孟小峰，慈祥.大數(shù)據(jù)管理：概念?技術(shù)與挑戰(zhàn)[J].計算機研究與發(fā)展，2013（01）：146-169.

[3]覃雄派，王會舉，杜小勇.大數(shù)據(jù)分析——RDBMS與MapReduce的競爭與共生[J].軟件學報，2012（01）.

[4]紀曉峰.中國氣象局：氣象大數(shù)據(jù)的商業(yè)服務(wù)與研究[J].IT專家網(wǎng)，2014.

[5]陸林.我國公共氣象服務(wù)能力建設(shè)研究[D].云南大學，2013.

作者簡介：張巍（1989-），女，河南人，2012級信息與控制工程學院，計算機應(yīng)用技術(shù)碩士研究生，研究方向：嵌入式/實時系統(tǒng)軟件技術(shù)。

作者單位：西安建筑科技大學 信息與控制工程學院，西安 710015