統(tǒng)計學與大數(shù)據(jù)分析

劉靜

摘要：由于互聯(lián)網(wǎng)和信息技術(shù)的快速發(fā)展，數(shù)據(jù)已然成為新世紀的巨大經(jīng)濟資產(chǎn)和礦產(chǎn)資源。為各個領(lǐng)域帶來了新的方向與變革，當今最受關(guān)注的學科不是經(jīng)濟學，也不是醫(yī)學，而是能夠運用大數(shù)據(jù)進行相關(guān)分析的統(tǒng)計學。企業(yè)帶來統(tǒng)計學與大數(shù)據(jù)分析迎合了時代的發(fā)展，定將展現(xiàn)出光明的前景。

關(guān)鍵詞：統(tǒng)計學；大數(shù)據(jù)；利用；發(fā)展

中圖分類號：C829.2 文獻識別碼：A 文章編號：1001-828X（2018）025-0058-02

信息時代的來臨使得大數(shù)據(jù)技術(shù)在全球范圍內(nèi)獲得了很大的發(fā)展，對于政府統(tǒng)計機關(guān)來說大數(shù)據(jù)使用了多種數(shù)據(jù)收集模式，對各種數(shù)據(jù)進行整合而且通過現(xiàn)代信息技術(shù)以及高速處理的挖掘數(shù)據(jù)，發(fā)揮了自己的應(yīng)用價值與決策支持功能，一方面，統(tǒng)計調(diào)查主體的多元化發(fā)展和電子商務(wù)的發(fā)展給統(tǒng)計數(shù)據(jù)的發(fā)展帶來了很大的難題。會對政府統(tǒng)計管理體制以及統(tǒng)計理念產(chǎn)生影響，另一方面，因為計算機技術(shù)以及網(wǎng)絡(luò)信息技術(shù)的飛速發(fā)展，它在提高統(tǒng)計生產(chǎn)力方面發(fā)揮著重要作用。大數(shù)據(jù)是官方統(tǒng)計部門要研究的方向，在這種情況下，分析大數(shù)據(jù)在政府統(tǒng)計中的效果，了解政府統(tǒng)計改革和發(fā)展的機會對政府統(tǒng)計具有重要意義。雖然近代統(tǒng)計學獲得了很大的發(fā)展，但是大數(shù)據(jù)時期的來臨暴露了統(tǒng)計學方面的問題，在抽樣調(diào)查設(shè)計，數(shù)據(jù)管理以及統(tǒng)計分析等方面，數(shù)據(jù)分析都顛覆了傳統(tǒng)的統(tǒng)計方式。

一、古代統(tǒng)計學時代

眾所周知，關(guān)于統(tǒng)計學的分類有很多，但是最主要的包括三種類型的統(tǒng)計學方法。第一，可以處理不定期事件的統(tǒng)計方法，例如概率統(tǒng)計法；第二，可以處理定期事件的統(tǒng)計方法，例如比值編制、調(diào)查研究等方法；第三，能夠處理跨學科領(lǐng)域的相關(guān)聯(lián)的統(tǒng)計方法，例如應(yīng)用技術(shù)統(tǒng)計方法等。

由于數(shù)據(jù)收集以及數(shù)據(jù)處理受到一定的約束，所以人們很難獲取較為全面的數(shù)據(jù)信息，這就使得古代的統(tǒng)計學方法基礎(chǔ)幾乎都是從一些可取的樣本上獲得的。

或者可以通過其他的一些途徑得到數(shù)據(jù)信息，但是如果從客觀條件考慮，可能需要付出很大的成本，所以人們會放棄獲取全部的具體數(shù)據(jù)。面對這種情形，人們常常會去經(jīng)過長時間的篩選，選擇一個相對而言較好的統(tǒng)計方法，但這也僅僅是反映了總體當中的某一個小的方面的具體特點。然而，我們所觀察到的這些數(shù)據(jù)特征占總體大量數(shù)據(jù)特征的比例甚小，很多的其他數(shù)據(jù)特點有待發(fā)現(xiàn)。

總而言之，統(tǒng)計學是在抽樣理論的基礎(chǔ)上發(fā)展而來的，統(tǒng)計學分析方法較為強調(diào)具有因果關(guān)系的統(tǒng)計分析結(jié)果，能夠根據(jù)部分數(shù)據(jù)去推測整體。統(tǒng)計學是通過搜集數(shù)據(jù)、整理、分析數(shù)據(jù)等過程進而得出數(shù)據(jù)內(nèi)在規(guī)律的一門學科。統(tǒng)計學最常用的方法就是樣本抽取方法，根據(jù)抽取的局部數(shù)據(jù)去推測整體，進而得出事物的總體發(fā)展走勢的綜合性學科。

二、現(xiàn)代統(tǒng)計學時代

喬治華盛頓大學的Jeremy S.Wu教授以其豐富的實踐經(jīng)驗提到了現(xiàn)代治理統(tǒng)計2.0的概念。與統(tǒng)計2.0相比，胡善清教授說，現(xiàn)代統(tǒng)計是1.0時代。并且非隨機數(shù)據(jù)是沒有研究價值的。

1.利用所有的數(shù)據(jù)

在原始統(tǒng)計中，由于沒有很多用于記錄，存儲和分析的工具，因此僅對整體進行樣本分析。由于統(tǒng)計學的目標是通過最少數(shù)據(jù)證明發(fā)現(xiàn)，統(tǒng)計學家認為，采樣分析的準確性因為隨機性的增加而增加，但是，它與樣品數(shù)量的增加幾乎沒有關(guān)系。就像經(jīng)濟學中邊際遞減效應(yīng)一樣。

在大數(shù)據(jù)時代，沒有使用隨機分析的原理，并且使用了所有大數(shù)據(jù)。即“樣本=總體”。統(tǒng)計抽樣的目標主要是為了技術(shù)受限的過程中，可以更好的解決相關(guān)的問題而出現(xiàn)的，慢慢的又會將樣本分析拋棄。

2.接受不精確

對于小數(shù)據(jù)，統(tǒng)計數(shù)據(jù)可以更好地處理數(shù)據(jù)，但在大數(shù)據(jù)時代，大量數(shù)據(jù)使統(tǒng)計方法成為問題。隨著數(shù)據(jù)量的增加導致結(jié)果出現(xiàn)問題，對準確性的強調(diào)是信息時代和模擬時代的產(chǎn)物，但是接受不涉及的區(qū)域的不準確性，接受不準確是從“小數(shù)據(jù)”到“大數(shù)據(jù)”的重要轉(zhuǎn)變之一。由于數(shù)據(jù)量相對較大所帶來的準確性，可以接受不準確的問題，以獲得大規(guī)模數(shù)據(jù)的好處，混亂就是一種新的方法，所以不能夠避免。

3.追求相關(guān)關(guān)系而不是確定因果

在小數(shù)據(jù)期間，也存在相關(guān)性。在其中找到具體的定量規(guī)律，人們在實踐中學到變量之間存在兩種關(guān)系：函數(shù)關(guān)系和相關(guān)關(guān)系。相關(guān)以及回歸就是處理變量的方法。變量之間出現(xiàn)的不確定量之間的關(guān)系也稱為相關(guān)性。通常，可以通過散點圖和相關(guān)系數(shù)來分析相關(guān)性。

相關(guān)性的目標是量化數(shù)據(jù)之間的邏輯關(guān)系。知道是什么就行了。通過探索“什么”而不是“為什么”，這種關(guān)系可以讓我們更好地了解世界，如果凡事有因果，那么就沒有決定任何事情的自由。

4.數(shù)據(jù)的來源并非那么簡單

一般來說，為了獲得需要的數(shù)據(jù)就要通過不同的方式測量，才能獲得記錄。但是數(shù)據(jù)會在意想不到的地方獲得，雖然精心的對實驗以及研究進行的設(shè)計，但是真正操作的過程中不如想象的簡單。

因為在大數(shù)據(jù)時期數(shù)據(jù)沒有規(guī)律性，所以要分析數(shù)據(jù)的其他問題，這些數(shù)據(jù)以及資料是否要自己去獲得？或者參考其他人的結(jié)果，這將節(jié)省能源和時間，如果您只是參考您需要的數(shù)據(jù)來了解及時性和使用范圍，它可能不是為了想象而準備的。大數(shù)據(jù)的目標就是為了獲得擁有的獨特價值。

三、大數(shù)據(jù)分析

1.大數(shù)據(jù)的概念

大數(shù)據(jù)的概念較為抽象，單從表面的意思來看，大數(shù)據(jù)的大指的是數(shù)據(jù)所占的空間較大或者數(shù)據(jù)量的規(guī)模較為龐大，如，單從百度搜索引擎來看，每日產(chǎn)生的數(shù)據(jù)有幾十PB，但事實上這是個誤區(qū)，大數(shù)據(jù)并不單單是指數(shù)據(jù)所占的存儲空間大。一般意義上認為大數(shù)據(jù)是指那些需要經(jīng)過處理才能發(fā)現(xiàn)其內(nèi)在聯(lián)系性或規(guī)律性、能夠為決策提供依據(jù)的海量信息數(shù)據(jù)。權(quán)威雜志《Science》將大數(shù)據(jù)定義為那些無法在有限時間內(nèi)用當前的技術(shù)去獲取的數(shù)據(jù)。此外，大多數(shù)人認為大數(shù)據(jù)的“大”包含了其數(shù)據(jù)規(guī)模的“大”，同時也包含了數(shù)據(jù)在采集、存儲、挖掘、傳遞等方面的“大”，更包括應(yīng)用方面、用途方面“大”。

大數(shù)據(jù)的大是數(shù)據(jù)本身、數(shù)據(jù)技術(shù)及數(shù)據(jù)應(yīng)用三者的有機統(tǒng)一。大數(shù)據(jù)的發(fā)展是各方面共同作用的結(jié)果。

2.大數(shù)據(jù)的對象

目前來看，大數(shù)據(jù)是一個較為寬泛的概念，它主要包羅了各種各樣的數(shù)據(jù)類型，包括文件、數(shù)據(jù)庫等等，這種數(shù)據(jù)基本上來源于計算機系統(tǒng)所產(chǎn)生的數(shù)據(jù)；其次是人們在使用互聯(lián)網(wǎng)進行交流及溝通時所產(chǎn)生的大量數(shù)據(jù)，這些內(nèi)容包含了文本、圖片、音頻、視頻等等。此外，還有一些大數(shù)據(jù)來自于一些技術(shù)設(shè)備，如衛(wèi)星所采集的一些數(shù)據(jù)等。

3.大數(shù)據(jù)應(yīng)用

大數(shù)據(jù)應(yīng)用方面主要是指對獲取的數(shù)據(jù)進行分析，從而尋找數(shù)據(jù)中的聯(lián)系或規(guī)律，運用這些結(jié)果來對未來的一些趨勢進行合理預測及分析，這樣能夠增強行業(yè)或領(lǐng)域競爭力。此外，通過對大數(shù)據(jù)進行詳細分析能夠?qū)崿F(xiàn)透過現(xiàn)象看本質(zhì)的目的，以為決策提供依據(jù)。

四、大數(shù)據(jù)的利用方式

在統(tǒng)計學中，大數(shù)據(jù)的使用不僅僅是使用平均值，方差和分位數(shù)。如果可以，您需要了解數(shù)據(jù)的關(guān)系或聯(lián)系方式。不僅要對父母的身高進行分析，還要對孩子的身高進行分析，通過其中的關(guān)系得到結(jié)論。

有些數(shù)據(jù)可能不容易使用，因此數(shù)據(jù)利用的方法因情況而異。使用已經(jīng)從基本使用緩慢轉(zhuǎn)變?yōu)槎问褂?，因為時間的變化使數(shù)據(jù)變得有價值。了解冰山下面的數(shù)據(jù)價值企業(yè)就能獲得潛在價值并且獲得很大的利益。即便如此，數(shù)據(jù)的重要性仍遠不止這些。

由于生成大數(shù)據(jù)，總和比部分更有價值。如果要使用有價值的數(shù)據(jù)，就要更新數(shù)據(jù)庫并且對無用的數(shù)據(jù)進行淘汰，雖然數(shù)據(jù)用途的價值會降低，但是潛在的價值也會上升。潛在的數(shù)據(jù)價值要通過創(chuàng)新來獲得，而且為價值貼上標簽就能帶來很多的機會。

五、結(jié)語

統(tǒng)計是以數(shù)據(jù)為基礎(chǔ)的。傳統(tǒng)的數(shù)據(jù)采集方法主要包括實驗數(shù)據(jù)、調(diào)查數(shù)據(jù)和各種方法收集的二手數(shù)據(jù)。在長期實踐中，傳統(tǒng)采集方法獲取的數(shù)據(jù)大多是錯誤的，樣本的客觀性難以保證，樣本選擇也會影響結(jié)果。因此，傳統(tǒng)的數(shù)據(jù)采集方法已不能適應(yīng)統(tǒng)計發(fā)展的需要。從這個意義上說，大數(shù)據(jù)的出現(xiàn)可以說是科學發(fā)展的必然。大數(shù)據(jù)的出現(xiàn)使得統(tǒng)計數(shù)據(jù)收集最關(guān)鍵的環(huán)節(jié)跨越了統(tǒng)計：大數(shù)據(jù)意味著所有的統(tǒng)計數(shù)據(jù)都可以應(yīng)用到統(tǒng)計過程中，統(tǒng)計數(shù)據(jù)不再受到限制，結(jié)合適當?shù)慕y(tǒng)計方法和數(shù)據(jù)處理方法，結(jié)果將更具代表性和說服力。個人提到統(tǒng)計學與數(shù)據(jù)挖掘可以更好的對數(shù)據(jù)進行利用，一個人能夠?qū)?shù)據(jù)進行有效的利用，也通過各種各樣的算法對數(shù)據(jù)進行處理，大數(shù)據(jù)時期主要是數(shù)據(jù)本身以及數(shù)據(jù)的思維觀念，如果能夠做到數(shù)據(jù)，技能以及思維的結(jié)合，那么就能夠?qū)Υ髷?shù)據(jù)時代產(chǎn)生作用，它也可以在大數(shù)據(jù)時代發(fā)揮很大的優(yōu)勢。