基于大數(shù)據(jù)時代下數(shù)據(jù)分析理念研究

陳霄健

摘要：本文簡單闡述了大數(shù)據(jù)的內(nèi)涵、特點以及對人們思維上的轉(zhuǎn)變。以氣象數(shù)據(jù)分析為例，從大數(shù)據(jù)在氣象數(shù)據(jù)中的數(shù)據(jù)采集、存儲、分析幾個方向，具體分析和探討了在大數(shù)據(jù)時代下的數(shù)據(jù)分析。

關(guān)鍵詞：大數(shù)據(jù)時代；數(shù)據(jù)；分析

中圖分類號：TP311.13 文獻標識碼：A 文章編號：1007-9416（2017）05-0246-01

在大數(shù)據(jù)的概念中，數(shù)據(jù)的分析主要分成兩個方面。一方面，是數(shù)據(jù)處理中，重點在于數(shù)據(jù)的采集、存儲、處理。另一方面，是對數(shù)據(jù)進行深入的發(fā)掘。尤其是在氣象領(lǐng)域中，應(yīng)用大數(shù)據(jù)的方式可以有效的提高氣象數(shù)據(jù)的分析能力。

1 大數(shù)據(jù)的概念

1.1 大數(shù)據(jù)的內(nèi)涵

在對大數(shù)據(jù)進行定義中指出，大數(shù)據(jù)就是用現(xiàn)代信息化技術(shù)對信息以數(shù)據(jù)的形式進行收集、整理、分析、處理并能夠存儲的數(shù)據(jù)集。在對大數(shù)據(jù)理解的過程中，推演出大數(shù)據(jù)的四個明顯特征。分別是：數(shù)據(jù)量龐大、數(shù)據(jù)種類多、數(shù)據(jù)處理速度快、數(shù)據(jù)價值密度較低。因此在大數(shù)據(jù)的內(nèi)容中，其核心并不在于大，而是透過對規(guī)模龐大的數(shù)據(jù)進行分析處理，形成一種新型的信息處理思維，對數(shù)據(jù)中隱藏的信息、現(xiàn)象等進行綜合性的分析、管理，進而對現(xiàn)實中各個行業(yè)的生產(chǎn)、經(jīng)營、管理、服務(wù)等進行創(chuàng)新。因此，在大數(shù)據(jù)的概念中，是對于大量數(shù)據(jù)信息、大量處理分析方式、大量數(shù)據(jù)的使用思維這三者的整合統(tǒng)一[1]。

對于大數(shù)據(jù)而言，傳統(tǒng)數(shù)據(jù)在規(guī)模上是無法與其相比的，首先在基數(shù)的規(guī)模上大數(shù)據(jù)就要比傳統(tǒng)數(shù)據(jù)高出一個層次，傳統(tǒng)數(shù)據(jù)是有限的，而大數(shù)據(jù)的數(shù)據(jù)基礎(chǔ)是趨于無限的。其次，由于基數(shù)的不同，也就使得在不同的數(shù)據(jù)中，有效數(shù)據(jù)的種類與數(shù)量二者也不相同，在大數(shù)據(jù)中，有效信息的數(shù)量更大、種類更多、涉及范圍更廣。再次，由于大數(shù)據(jù)在基數(shù)上的差別，也使得在大數(shù)據(jù)分析中，得出的結(jié)果更具備不確定性，只有更具當前所得出的數(shù)據(jù)結(jié)果才能推斷出下一次數(shù)據(jù)分析時可能會得出哪種數(shù)據(jù)結(jié)果。

1.2 大數(shù)據(jù)的思維轉(zhuǎn)變

大數(shù)據(jù)時代的到來給人們從生活以及生產(chǎn)工作上造成了巨大的影響，對人們的思維模式也有著重要的轉(zhuǎn)變。首先，在對事物進行分析的過程中，人們已經(jīng)不再是通過簡單少量的樣本進行實驗分析，而是更加注重了事物整體上的特征，即是關(guān)注總量大于關(guān)注樣本。其次，通過對大量數(shù)據(jù)進行分析，人們已經(jīng)接受對于數(shù)據(jù)多而雜亂的形式，不再著眼于數(shù)據(jù)信息的準確性，對于數(shù)據(jù)中的誤差有一定的適應(yīng)性。再次，對于事物的內(nèi)容更加重視，而不再只是關(guān)注事物的因果聯(lián)系，即是指在進行數(shù)據(jù)分析中，更需要明確“是什么”而并非“為什么”[2]。

2 以氣象數(shù)據(jù)采集為例——大數(shù)據(jù)在數(shù)據(jù)分析上的應(yīng)用

在大數(shù)據(jù)的基礎(chǔ)上，應(yīng)當對氣象部門的傳統(tǒng)數(shù)據(jù)處理方式進行有效的改革，使得氣象部門的工作能夠適應(yīng)當前大數(shù)據(jù)技術(shù)的發(fā)展需求。

2.1 氣象數(shù)據(jù)的采集技術(shù)

在氣象數(shù)據(jù)的采集上，傳統(tǒng)數(shù)據(jù)的采集能力已經(jīng)無法滿足當前社會對于氣象信息的準確程度，而數(shù)據(jù)的采集數(shù)量也處于不斷上升的趨勢。然而，單純的數(shù)據(jù)量的增長還不足以形成真正的大數(shù)據(jù)。因此，在氣象領(lǐng)域中進行大數(shù)據(jù)的采集就需要進行形成客觀性強、自主性高、單體的信息成本低、實時性強、數(shù)據(jù)規(guī)模大、數(shù)據(jù)準確度低、有一定間接性等特點。于2011年止，我國一共建立了600個氣象研究項目，其中氣象信息的數(shù)據(jù)量已經(jīng)高達117TB，在線可共享信息達到50TB占總數(shù)據(jù)的43%。

2.2 氣象數(shù)據(jù)的存儲技術(shù)

在大數(shù)據(jù)發(fā)展的過程中，主要存在兩個問題。首先是大數(shù)據(jù)的存儲問題，由于信息數(shù)量的龐大，各個省級的氣象部門在大數(shù)據(jù)的存儲過程中已經(jīng)達到了PB級的標準。其次是對存儲數(shù)據(jù)進行讀取的速度問題，在大數(shù)據(jù)的分析處理中，需要對氣象數(shù)據(jù)實現(xiàn)1s輸出結(jié)果還存在著一定的難度，而這兩的問題有會互相矛盾，因為在大數(shù)據(jù)中，數(shù)據(jù)的數(shù)量越大，進行信息讀取的速度也就會越慢。因此在解決這個矛盾的關(guān)鍵所在其實并不是增加存儲能力，而是在于優(yōu)化大數(shù)據(jù)的系統(tǒng)結(jié)構(gòu)以及數(shù)據(jù)計算的方式上。

2.3 氣象數(shù)據(jù)的分析技術(shù)

對于氣象數(shù)據(jù)進行分析在大數(shù)據(jù)的概念下會有著新的技術(shù)，在大數(shù)據(jù)的分析中，其關(guān)鍵的一點就在于對未來事物發(fā)展的預(yù)判，而大數(shù)據(jù)的分析能夠推測未來的核心就在于對事物關(guān)系的分析。因此在大數(shù)據(jù)的應(yīng)用中，更加注重的是與氣象數(shù)據(jù)看似無關(guān)的數(shù)據(jù)分析，在這些數(shù)據(jù)量極大的信息中，不斷發(fā)掘有價值的信息。所以在當前的氣象部門中進行大數(shù)據(jù)的氣象分析就需要從其他的方面進行全面的分析。

3 結(jié)語

總之，對于大數(shù)據(jù)在數(shù)據(jù)分析上有著多種方式的應(yīng)用，從氣象數(shù)據(jù)的角度出發(fā)，大數(shù)據(jù)可以實現(xiàn)從氣象數(shù)據(jù)的采集、存儲、分析等各個環(huán)節(jié)進行全面型的應(yīng)用，在大數(shù)據(jù)時代的背景下，對與人們?nèi)粘Ｉ钜约吧a(chǎn)工作，大數(shù)據(jù)都會起到巨大的變革。

參考文獻

[1]李社宏.大數(shù)據(jù)時代氣象數(shù)據(jù)分析應(yīng)用的新趨勢[J].陜西氣象，2014（02）：41-44.

[2]張航.芻議大數(shù)據(jù)時代下的數(shù)據(jù)分析理念[J].商，2015（26）：196-197.endprint