氣象數(shù)據(jù)分析相關(guān)技術(shù)研究

程曉龍

摘 ?要：經(jīng)過幾十年的發(fā)展，氣象信息技術(shù)獲得了極大的進(jìn)步，也積累了大量來自多方面的氣象數(shù)據(jù)。由于我國氣象大數(shù)據(jù)發(fā)展仍在起步階段，相關(guān)方法和技術(shù)都需要進(jìn)一步研究。為充分利用大量的氣象數(shù)據(jù)，相關(guān)的數(shù)據(jù)分析方法研究成為重中之重。該文結(jié)合實(shí)際工作，總結(jié)數(shù)據(jù)分析方法，介紹氣象數(shù)據(jù)分析存在的相關(guān)問題，以期為以后的氣象大數(shù)據(jù)發(fā)展奠定基礎(chǔ)。

關(guān)鍵詞：氣象數(shù)據(jù) ?數(shù)據(jù)分析 ?大數(shù)據(jù)

中圖分類號(hào)：TP311 ? 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-3791（2019）12（c）-0184-02

Abstract： With decades of development，meteorological information technology has made great progress，and has accumulated a large number of meteorological data from many aspects.As the development of meteorological big data in China is still in its infancy，relevant methods and technologies need further research.In order to make reasonable use of a large amount of meteorological data， relevant data analysis methods are also essential. This paper combines the actual work， summarizes the data analysis methods， introduces the related problems in meteorological data analysis， and lays a foundation for the future development of meteorological big data.

Key Words： Meteorological data; Data analysis; Big data

氣象大數(shù)據(jù)是由網(wǎng)絡(luò)上所有和氣象行業(yè)相關(guān)的數(shù)據(jù)組成的，包括氣象站觀測數(shù)據(jù)、網(wǎng)民分享的天氣圖片和評(píng)論、氣象相關(guān)服務(wù)收集到的氣象數(shù)據(jù)等[1]。這些數(shù)據(jù)規(guī)模龐大，數(shù)據(jù)量在幾十PB左右，而且仍在增加。為合理地處理這些氣象數(shù)據(jù)，研究人員主要將氣象大數(shù)據(jù)分成兩類，即觀測數(shù)據(jù)和預(yù)測數(shù)據(jù)。觀測數(shù)據(jù)是“當(dāng)前的數(shù)據(jù)”表示現(xiàn)在實(shí)際觀察到的天氣現(xiàn)象對(duì)應(yīng)的氣象數(shù)據(jù)。預(yù)測數(shù)據(jù)是“未來的數(shù)據(jù)”表示通過氣象模式計(jì)算得到的用來預(yù)測未來天氣的數(shù)據(jù)[2]。而這些氣象數(shù)據(jù)本身晦澀難懂、專業(yè)性強(qiáng)，對(duì)普通大眾的服務(wù)性差。這就需要利用相關(guān)方法去對(duì)氣象數(shù)據(jù)進(jìn)行分析挖掘，凝練出簡單易懂的結(jié)論服務(wù)大眾。

1 ?數(shù)據(jù)分析方法

在任何行業(yè)的數(shù)據(jù)分析當(dāng)中，數(shù)據(jù)分析方法都是其中的關(guān)鍵。不同的分析方法對(duì)于相同的數(shù)據(jù)會(huì)生成不同的結(jié)果，這些結(jié)果是原始數(shù)據(jù)某個(gè)或某幾個(gè)方面的客觀反映。了解常見的數(shù)據(jù)分析方法對(duì)氣象數(shù)據(jù)理解和分析有著重要的意義。

1.1 描述性分析

所謂描述性統(tǒng)計(jì)分析，就是對(duì)一組數(shù)據(jù)的各種特征進(jìn)行分析，以便于描述測量樣本的各種特征及其所代表的總體特征。描述性統(tǒng)計(jì)分析的項(xiàng)目很多，常用的如平均數(shù)、標(biāo)準(zhǔn)差、中位數(shù)、頻數(shù)分布、正態(tài)或偏態(tài)程度等。描述性分析的常用指標(biāo)也較為常見，主要有均值、中位數(shù)、眾數(shù)，極差、方差、標(biāo)準(zhǔn)差、偏度、峰度等。其中不同的指標(biāo)表示數(shù)據(jù)的不同信息。均值、中位數(shù)、眾數(shù)體現(xiàn)了數(shù)據(jù)的集中趨勢(shì)。極差、方差、標(biāo)準(zhǔn)差體現(xiàn)了數(shù)據(jù)的離散程度。偏度、峰度體現(xiàn)了數(shù)據(jù)的分布形狀。

描述性分析是一般數(shù)據(jù)分析方法的匯總，其主要作用為顯示數(shù)據(jù)的基本信息，讓分析人員對(duì)數(shù)據(jù)的基本分布有一定了解。具體統(tǒng)計(jì)計(jì)算方法也是大部分研究者都了解的。利用該方法獲得的結(jié)果可以讓研究者對(duì)當(dāng)前數(shù)據(jù)有較深的認(rèn)識(shí)，為深入分析數(shù)據(jù)奠定基礎(chǔ)。

1.2 回歸分析

回歸分析是應(yīng)用范圍非常廣的數(shù)據(jù)分析方法之一。該方法尋求變量之間的相關(guān)關(guān)系，來揭示數(shù)據(jù)的內(nèi)在規(guī)律。具體來說，它是研究自變量和因變量之間數(shù)量變化關(guān)系的一種分析方法，它主要是通過建立因變量Y與影響它的自變量X之間的回歸模型，表達(dá)自變量和因變量存在的內(nèi)在邏輯，進(jìn)而可以預(yù)測因變量的發(fā)展趨勢(shì)。

回歸分析存在多種具體的回歸方法，這些方法通過自變量的個(gè)數(shù)，因變量的類型以及回歸線的形狀可以分為以下幾個(gè)類別。

（1）線性回歸。其主要特點(diǎn)是因變量連續(xù)，而對(duì)應(yīng)的自變量可以是連續(xù)的也可以是離散的，畫出來的圖像具有線性特點(diǎn)。線性回歸也通過因變量的數(shù)量分為一元線性回歸和多元線性回歸兩類。其中多元線性回歸中有大于1個(gè)的自變量，而一元線性回歸只有一個(gè)自變量。線性回歸的回歸方程如下所示：

y=ax+b ? ? ? ?（1）

為合理使用線性回歸方法，需要待分析的數(shù)據(jù)中因變量和自變量有線性相關(guān)關(guān)系。除此之外，由于線性回歸方法在擬合回歸曲線時(shí)使用了最小二乘法，導(dǎo)致數(shù)據(jù)誤差對(duì)線性回歸方法的擬合結(jié)果影響較大，甚至能預(yù)測出錯(cuò)誤的結(jié)果。因此在使用時(shí)，必須事先去除待分析數(shù)據(jù)的誤差從而進(jìn)一步分析。

（2）邏輯回歸。邏輯回歸方法用于數(shù)據(jù)的基本分類。該方法是尋求兩類數(shù)據(jù)之間的區(qū)別，用一個(gè)函數(shù)作為分類函數(shù)對(duì)未知的數(shù)據(jù)進(jìn)行類別標(biāo)注，完成數(shù)據(jù)類別的預(yù)測。邏輯回歸的公式如下所示：

（2）

邏輯回歸方法不要求自變量和因變量是線性相關(guān)關(guān)系。為了防止數(shù)據(jù)模型出現(xiàn)過擬合現(xiàn)象，在使用邏輯回歸方法時(shí)需要篩選自變量以確保自變量和因變量之間存在相關(guān)關(guān)系。

（3）聚類分析。該方法主要實(shí)現(xiàn)數(shù)據(jù)內(nèi)部之間的區(qū)分，讓具有相同數(shù)據(jù)屬性的數(shù)據(jù)聚合在一起，從而對(duì)待分析數(shù)據(jù)的內(nèi)涵進(jìn)行挖掘?；镜木垲惙椒ú襟E如下：第一，確定使用哪些指標(biāo)來對(duì)數(shù)據(jù)進(jìn)行區(qū)分;第二，計(jì)算數(shù)據(jù)指標(biāo)之間的距離也就是差異程度，一般用空間距離來對(duì)比;第三，將差異程度較小的數(shù)據(jù)歸結(jié)為一類，形成許多差距明顯的類別[3]。

聚類分析也是當(dāng)下眾多研究人員使用的基本分析方法。聚類分析在具體計(jì)算時(shí)通常使用3種計(jì)算方法：Kmeans、密度聚類、層次聚類方法。

（4）判別分析。判別分析是在已知研究對(duì)象分成若干類型并已取得各種類型的一批已知樣品的觀測數(shù)據(jù)，在此基礎(chǔ)上根據(jù)某些準(zhǔn)則建立判別式，然后對(duì)未知類型的樣品進(jìn)行判別分析。該方法在氣象上應(yīng)用也非常廣泛，例如利用距離相近的氣象站數(shù)據(jù)來判斷未知站的屬類;在天氣預(yù)報(bào)中，可以根據(jù)前期的天氣觀測值來判斷是哪種天氣現(xiàn)象或者是未來的火災(zāi)等級(jí)。

判別分析常常和聚類分析聯(lián)合起來使用。當(dāng)總體分類不清楚時(shí)，可以先用聚類分析對(duì)原來的一批樣品進(jìn)行分類，然后再用判別分析建立判別式對(duì)新樣品進(jìn)行判別。判別分析的具體方法非常豐富，具體包括距離判別法、Fisher判別法、Bayes判別法和逐步判別法等。

（5）主成分與因子分析。該方法利用降維的思想，在損失信息較小的前提下，將多個(gè)判別指標(biāo)綜合為幾個(gè)主要指標(biāo)。每個(gè)主要指標(biāo)都是原始判別指標(biāo)的線性組合，而且主要指標(biāo)之間不相關(guān)，從而降低數(shù)據(jù)分析難度，簡化數(shù)據(jù)分析過程，提高分析效率。

（6）時(shí)間序列分析。該方法就是對(duì)按照時(shí)間順序排列的一組數(shù)據(jù)序列發(fā)現(xiàn)其中的變化規(guī)律并用于預(yù)測的統(tǒng)計(jì)方法。這種方法具有以下3個(gè)基本特點(diǎn)：假設(shè)事物發(fā)展趨勢(shì)會(huì)延伸到未來;預(yù)測所依據(jù)的數(shù)據(jù)具有不規(guī)則性;不考慮事物發(fā)展之間的因果關(guān)系。在實(shí)際進(jìn)行時(shí)間序列預(yù)測時(shí)，數(shù)據(jù)較為復(fù)雜，需要對(duì)時(shí)間序列的四要素進(jìn)行分析，這四要素的不同組合就影響著時(shí)間序列的未來發(fā)展。這4種要素分別為長期趨勢(shì)、季節(jié)變動(dòng)、循環(huán)變動(dòng)、不規(guī)則變動(dòng)。常見的四要素組合方式有兩種：一種是4種因素相互獨(dú)立，可用四要素相加來表示。另一種是4種元素相互影響，可用四要素相乘來表示。

當(dāng)進(jìn)行數(shù)據(jù)分析時(shí)，需要對(duì)上述4種元素從時(shí)間序列中分解出來，這樣才能克服其他因素的影響，從而更加客觀地反映事物本來的發(fā)展規(guī)律?？偨Y(jié)時(shí)間序列分析的預(yù)測步驟分為以下4步：

①繪制時(shí)間序列圖;

②分析序列平穩(wěn)性;

③建立時(shí)間序列模型;

④評(píng)估模型預(yù)測未來結(jié)果。

（6）決策樹分析。該方法主要是在已知各種情況發(fā)生的概率的前提下，通過形成決策樹來計(jì)算得到期望值的概率，是直觀運(yùn)用概率分析的方法之一。該方法模擬了人類在決策過程中對(duì)數(shù)據(jù)特征的應(yīng)用，實(shí)現(xiàn)利用少量的數(shù)據(jù)特征類型來將數(shù)據(jù)進(jìn)行分類，并判斷未知數(shù)據(jù)的所屬類別。

2 ?氣象數(shù)據(jù)分析存在的相關(guān)問題

隨著氣象大數(shù)據(jù)發(fā)展的相關(guān)要求，氣象數(shù)據(jù)分析業(yè)務(wù)也逐漸增多。但是由于相關(guān)業(yè)務(wù)發(fā)展時(shí)間較短，相關(guān)業(yè)務(wù)人員對(duì)氣象數(shù)據(jù)的理解程度不同，導(dǎo)致不同氣象數(shù)據(jù)的分析效果大不相同，大量氣象數(shù)據(jù)沒有充分利用。經(jīng)總結(jié)，以上問題的主要原因主要包括以下幾個(gè)方面。

（1）氣象數(shù)據(jù)存儲(chǔ)較為雜亂。由于氣象數(shù)據(jù)采集途徑不同，導(dǎo)致不同氣象數(shù)據(jù)的對(duì)應(yīng)存儲(chǔ)方式也不同。一旦進(jìn)行氣象數(shù)據(jù)分析時(shí)，有可能沒有快速及時(shí)地獲取到全部所需的氣象數(shù)據(jù)信息，影響了氣象數(shù)據(jù)分析的有效性。

（2）氣象數(shù)據(jù)的數(shù)據(jù)格式不統(tǒng)一。氣象數(shù)據(jù)時(shí)間跨度大，不同時(shí)期的氣象數(shù)據(jù)的存儲(chǔ)格式并不相同。不同格式的氣象數(shù)據(jù)的數(shù)據(jù)整理相較于相同格式的氣象數(shù)據(jù)更為困難。這就導(dǎo)致了在氣象數(shù)據(jù)分析時(shí)，歷史數(shù)據(jù)的使用存在天然的劣勢(shì)，分析報(bào)告質(zhì)量也受到一定影響。

（3）部分氣象業(yè)務(wù)人員業(yè)務(wù)不熟練。氣象數(shù)據(jù)分析對(duì)業(yè)務(wù)人員的要求非常高，需要他們能基本了解氣象業(yè)務(wù)同時(shí)深度了解氣象數(shù)據(jù)格式和數(shù)據(jù)特點(diǎn)。但目前氣象業(yè)務(wù)人員的個(gè)人能力參差不齊，導(dǎo)致甚至出現(xiàn)不同業(yè)務(wù)人員對(duì)相同氣象數(shù)據(jù)處理得到不同的分析結(jié)果。

3 ?結(jié)語

該文對(duì)氣象數(shù)據(jù)分析中使用的基本數(shù)據(jù)方法進(jìn)行了介紹，分析了不同方法對(duì)于待分析數(shù)據(jù)的要求以及該方法的特點(diǎn)，對(duì)今后的工作有一定的指導(dǎo)作用。針對(duì)氣象數(shù)據(jù)分析出現(xiàn)的相關(guān)問題，相關(guān)業(yè)務(wù)人員應(yīng)該及時(shí)排查自身問題，提高氣象業(yè)務(wù)水平，為今后高效地完成工作打下堅(jiān)實(shí)的基礎(chǔ)。

參考文獻(xiàn)

[1] 劉喆玥.我國氣象大數(shù)據(jù)的發(fā)展趨勢(shì)研究[J].電腦知識(shí)與技術(shù)，2019，15（21）：252-254.

[2] 王麗，李云鵬，甄熙.淺析互聯(lián)網(wǎng)大數(shù)據(jù)在氣象行業(yè)的應(yīng)用[J].電腦知識(shí)與技術(shù)：學(xué)術(shù)版，2018，14（24）：218-219.

[3] 王德青，朱建平，劉曉葳，等.函數(shù)型數(shù)據(jù)聚類分析研究綜述與展望[J].數(shù)理統(tǒng)計(jì)與管理，2018，37（1）：51-63.