基于大數(shù)據(jù)思維的統(tǒng)計學若干理論問題

孫溪

【摘要】大數(shù)據(jù)的時代早已到來，它正在悄悄影響著人們的思維與習慣，它是一場新的革命。以數(shù)據(jù)為研究對象的統(tǒng)計學也逐漸出現(xiàn)了新動向，但是統(tǒng)計學以數(shù)據(jù)為研究對象這一點未變、它的性質和任務也未變，改變的是數(shù)據(jù)自身的內涵、特征和分析思路等，本文從幾個方面來對大數(shù)據(jù)思維背景下統(tǒng)計學的若干理論問題進行了簡要分析。

【關鍵詞】大數(shù)據(jù)思維；統(tǒng)計學；理論問題

大數(shù)據(jù)指的是不限量的數(shù)據(jù)，它包含了一切可以記錄的全體數(shù)據(jù)，因此這里的“大”指的是“全體”的意思。大數(shù)據(jù)相對于傳統(tǒng)樣本數(shù)據(jù)來說具有更大的數(shù)據(jù)選擇空間，可以進行多角度、多層次的數(shù)據(jù)分析。一直以數(shù)據(jù)為研究對象的統(tǒng)計學歷經了幾百年的發(fā)展，為人類的文明進步做出了巨大的貢獻，統(tǒng)計學的發(fā)展與人類的發(fā)展息息相關。

一、大數(shù)據(jù)思維下的統(tǒng)計學的三個本質

統(tǒng)計學已有近400年的發(fā)展歷史，從起初的簡單算術一直發(fā)展到現(xiàn)代最先進的數(shù)據(jù)科學，在這一漫長的發(fā)展歷程中，統(tǒng)計學在期間的每一個發(fā)展階段都有其不同的特征，但是統(tǒng)計學的三大本質在這一發(fā)展歷程中卻始終未曾發(fā)生過變化。

（一）研究對象未變

統(tǒng)計學起源于17世紀的歐洲，在這幾百年的發(fā)展歷程中，其所面對的外界大環(huán)境一直在發(fā)生變化，但是統(tǒng)計學一直基于以現(xiàn)象數(shù)據(jù)作為研究對象這一本質卻未曾發(fā)生過變化?，F(xiàn)象數(shù)據(jù)是統(tǒng)計學必不可少的一部分，它主要囊括了五大方面，分別是：數(shù)量關系、數(shù)量大小、數(shù)量分布特征、數(shù)量變化規(guī)律以及數(shù)量界限。統(tǒng)訓學就是以這五種數(shù)量形式作為基礎，運用具體的分析方法來進一步整合研究，從而清晰明了的反映出某種現(xiàn)象的主要特征規(guī)律，這種漫長的現(xiàn)象數(shù)據(jù)研究過程在無形中促進了統(tǒng)計學的不斷發(fā)展。

現(xiàn)今，大數(shù)據(jù)時代已經來臨，在這一時代來臨之前，統(tǒng)計學經歷了從最開始的“只能收集少量數(shù)據(jù)”到現(xiàn)在“科學收集大數(shù)據(jù)”這一艱難過程。統(tǒng)計學不僅在收集數(shù)據(jù)方面取得了巨大進展，其統(tǒng)計方法也變得更加豐富、更加科學。比如在起初進行統(tǒng)計方面的研究時只能使用一些簡單數(shù)字進行運算，到如今大數(shù)據(jù)思維進入人們的世界，統(tǒng)計學領域隨即產生了歸納分析法、大量觀察法等更加新穎科學的分析方法。顯然，數(shù)據(jù)很好的推動了統(tǒng)計學的進步發(fā)展，數(shù)據(jù)與統(tǒng)計學是相互依存，互利互助的關系，從某種層面上來說，可以把數(shù)據(jù)比作統(tǒng)訓學的營養(yǎng)供給物，統(tǒng)訓學離不開數(shù)據(jù)的支撐，以各種現(xiàn)象數(shù)據(jù)作為研究對象是統(tǒng)計學的必然選擇。

（二）性質未變

統(tǒng)計學是一門通用又獨立的方法論科學，它是通過研究某一種現(xiàn)象的數(shù)據(jù)關系與特征來反映出這種現(xiàn)象的本質。統(tǒng)計學作為方法論科學的性質從未發(fā)生改變，但其實長久以來，學術界對于統(tǒng)計學是方法論科學還是實質性科學一直存在著爭議。但是事實是統(tǒng)計學的確是通過其特定的收集和分析數(shù)據(jù)的方法來發(fā)揮作用的，十七世紀末期威廉·配第的《政治算術》一書也印證了統(tǒng)計學是方法論科學這一觀點。書中大量運用了統(tǒng)計學與推理方法相結合的定量分析方法，作者在書中主要使用了三種數(shù)字形式，第一種是將社會經濟現(xiàn)象進行統(tǒng)計調查與觀察得到的數(shù)字，第二種是運用特定的數(shù)據(jù)推算方法推算出的數(shù)字，第三種是為了理論推理而使用的示例性數(shù)字。此書將統(tǒng)計學與理論分析方法很好的結合在一起，這種方法直到現(xiàn)在仍被廣泛的使用。

其實，單純使用現(xiàn)象數(shù)據(jù)來表現(xiàn)某一種現(xiàn)象特征十分困難，因此需要一種能夠專門將數(shù)據(jù)與分析方法相結合的科學，那就是所謂的統(tǒng)計學。在當今這個大數(shù)據(jù)時代，統(tǒng)計學的方法論科.學的性質更不會輕易改變，大數(shù)據(jù)時代，統(tǒng)計學所面臨的環(huán)境只會更復雜，數(shù)據(jù)也充滿了不確定性，通過數(shù)據(jù)看現(xiàn)象本質的歷程會越來越艱難，但是統(tǒng)計學的存在為人類提供了平臺，事實證明，如何解讀數(shù)據(jù)，最需要的還是方法。

（三）根本任務未變

統(tǒng)計學一直以探求真理、追求真相為根本任務，在近400年漫長的發(fā)展歷程中，統(tǒng)計學的這一根本任務從未改變，改變的只是外界環(huán)境和分析方法。統(tǒng)計學是通過具體的數(shù)據(jù)來探求某個現(xiàn)象的本質，長久以來，人們探求真理的過程復雜又艱辛，常常因為沒有合適的渠道去獲取有用的信息，即使得到了足夠的信息，也沒有能力去解讀信息所傳達的真相。統(tǒng)計學是以現(xiàn)象數(shù)據(jù)為基礎，運用其特有的分析方式來獲取事物的真相，從而幫助人們更好的認知事物真相。

統(tǒng)計學的一些作用更是印證了其以探求事物真相為根本任務這一說法。如統(tǒng)計學可以根據(jù)其所依存的大數(shù)據(jù)信息去推斷未知的數(shù)據(jù)規(guī)律與特征，它包括用樣本數(shù)據(jù)推算大數(shù)據(jù)（整體數(shù)據(jù)），或用現(xiàn)存的數(shù)據(jù)去推算未來的數(shù)據(jù)及發(fā)展趨勢。推斷未知數(shù)據(jù)是人類探索事物真相的必要條件，誰能更精準的推算，誰就更占優(yōu)勢。統(tǒng)計學始終將推斷未知與追求真理作為根本任務，但是由于外界環(huán)境的不確定因素的影響，其推斷未知的準確度概率會稍微降低，尤其是在當今的大數(shù)據(jù)思維背景下，數(shù)據(jù)每天的更新?lián)Q代，意味著統(tǒng)計學面臨著更大的挑戰(zhàn)。統(tǒng)計學的分析方法隨著時代一直在改變，但是其追求真理、探求真相的任務初衷卻從未發(fā)生變化。

二、大數(shù)據(jù)思維下統(tǒng)計學的新動向

（一）統(tǒng)計學的數(shù)據(jù)特征發(fā)生改變

大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)最明顯的差距就是數(shù)據(jù)量更多，除此以外，這兩者之間的數(shù)據(jù)來源和特征也有較大的差異。以往統(tǒng)計學所收集到的數(shù)據(jù)量較少，比較結構化，而且數(shù)據(jù)的類型比較單一，數(shù)據(jù)處理起來速度較慢，但是傳統(tǒng)統(tǒng)計學統(tǒng)計出的數(shù)據(jù)往往準確度比較高。而大數(shù)據(jù)包含了一切可以記錄下來的數(shù)據(jù)，它所涉及的范圍較廣，數(shù)據(jù)的來源多樣化，內部結構更加復雜，這些特點導致數(shù)據(jù)在傳輸或計算的過程中極易丟失，導致發(fā)生結果誤差，并且一旦出現(xiàn)數(shù)據(jù)故障很難通過人工去修復。

（二）統(tǒng)計學的數(shù)據(jù)分析思路發(fā)生改變

統(tǒng)計學在最早進行數(shù)據(jù)分析時，分析過程一般都是先假設再進行驗證，即以概率們?yōu)楸ＷC，再根據(jù)所統(tǒng)計到的樣本數(shù)據(jù)推斷出事物的總體特征。而如今在大數(shù)據(jù)思維背景下，統(tǒng)計學的數(shù)據(jù)分析思路變?yōu)橄纫允占降娜繑?shù)據(jù)作為基礎，然后再總結出數(shù)據(jù)的特征或規(guī)律，最后再進行概率判斷。總而言之，大數(shù)據(jù)思維下的數(shù)據(jù)分析方法是摒棄假設直接去尋找數(shù)據(jù)規(guī)律，而傳統(tǒng)數(shù)據(jù)分析方法是先假設再找規(guī)律。

傳統(tǒng)統(tǒng)計數(shù)據(jù)的分析方式較為標準、嚴密，嚴格依附于事物的因果關系，雖然其分析效率較低，但是準確度很高。而大數(shù)據(jù)思維下統(tǒng)計學的數(shù)據(jù)分析摒棄了傳統(tǒng)意義上的因果邏輯關系，走的是從數(shù)據(jù)直接到結果的捷徑，這種分析方法雖然準確度稍低，但是非常適用于現(xiàn)今的大數(shù)據(jù)統(tǒng)訓學，因為當今這個大數(shù)據(jù)時代下，三大處理數(shù)據(jù)的新理念分別是：要效率不要絕對精確、要整體不要樣本、要關聯(lián)不要因果邏輯，統(tǒng)計學的數(shù)據(jù)分析方法要與所處的時代相適應，才能最大程度的發(fā)揮出效能。

（三）統(tǒng)計學的數(shù)據(jù)分析技術改變

在起初，統(tǒng)計學進行數(shù)據(jù)分析時，所使用的僅是簡單算術法，在當時，接觸過少量數(shù)學知識的人即可勝任。再到統(tǒng)計學發(fā)展中期，統(tǒng)計學的數(shù)據(jù)分析開始需要一定的數(shù)據(jù)庫進行處理分析，相關技術人員通過特定的訓練才可勝任。而如今的大數(shù)據(jù)時代，數(shù)據(jù)更新的速度更快，結構更加復雜，統(tǒng)計學的數(shù)據(jù)分析人員既需要充分了解數(shù)據(jù)分析的工具，又需要具有較為專業(yè)的知識，所面臨的工作挑戰(zhàn)難度更大。

對大數(shù)據(jù)進行處理分析時要充分考慮到其數(shù)據(jù)的復雜和價值密度低的特點，因為大數(shù)據(jù)所涉及的數(shù)據(jù)范圍很廣，相對來說垃圾信息很多，如何過濾掉垃圾信息保留有用信息十分重要，并巨在篩選的過程中還要保證不能對正常數(shù)據(jù)造成影響。針對這種情況，Apache基金會發(fā)明了一種特殊的編程模型（MapReduce），它具有強大的過濾功能，處理數(shù)據(jù)的過程很精密，不會對有用數(shù)據(jù)產生影響，這個模型在如今大數(shù)據(jù)的處理中得到了廣泛的應用。

（四）數(shù)據(jù)的質量內涵發(fā)生變化

高質量的數(shù)據(jù)是統(tǒng)計學進行數(shù)據(jù)分析的必要條件，傳統(tǒng)的統(tǒng)計學數(shù)據(jù)具有因果關系明確、邏輯性強的質量特征，而當今的大數(shù)據(jù)是以數(shù)據(jù)的不確定性作為主要的質量特征。從數(shù)據(jù)采集過程中來說，傳統(tǒng)統(tǒng)計學數(shù)據(jù)的量比較小，一般情況下通過人工查找即可實現(xiàn)，而大數(shù)據(jù)思維下的統(tǒng)計學數(shù)據(jù)量多且復雜，收集過程中極易發(fā)生混亂，在獲取數(shù)據(jù)時必須采用特定的技術來保證做采集的大數(shù)據(jù)質量。

數(shù)據(jù)質量內涵還包含一個方面就是數(shù)據(jù)存儲，數(shù)據(jù)的存儲也是實現(xiàn)高水平數(shù)據(jù)質量的必要保障，只有將所有收集到的數(shù)據(jù)完整、清晰的存儲起來，才能夠保證數(shù)據(jù)的質量。傳統(tǒng)統(tǒng)計學所采集的數(shù)據(jù)具有結構化的特征，因此采用結構化存儲方式即可進行簡單的數(shù)據(jù)儲存，而當今的大數(shù)據(jù)結構復雜、數(shù)量龐大，必須要用到專門的大型數(shù)據(jù)庫來進行分類存儲，以保證大數(shù)據(jù)的有效性。大數(shù)據(jù)時代下的數(shù)據(jù)質量內涵有別于傳統(tǒng)數(shù)據(jù)，為了更好的保證大數(shù)據(jù)的質量安全，不管是在大數(shù)據(jù)收集還是存儲的過程中都需要更加的專業(yè)、謹慎。

三、小結

大數(shù)據(jù)思維下，傳統(tǒng)的統(tǒng)計學方法已經不能有效地處理大數(shù)據(jù)問題，這就需要我們突破傳統(tǒng)的統(tǒng)計學去探尋更適合大數(shù)據(jù)的統(tǒng)訓方法。大數(shù)據(jù)思維下的統(tǒng)計學地位不容忽視它是處理分析大數(shù)據(jù)的唯一途徑，大數(shù)據(jù)與統(tǒng)計學相互依存、不可分離。

參考文獻：

[1]李金昌.從政治算術到大數(shù)據(jù)分析[J].統(tǒng)計研究，2014（11）：13-14.

[2]趙民德.統(tǒng)計是數(shù)據(jù)科學（下）[J].中國統(tǒng)計，2004（9）：56-57.

[3]宗威，吳鋒.大數(shù)據(jù)時代下數(shù)據(jù)質量的挑戰(zhàn)[J].西安交通大學學報：社會科學版，2013（5）：38-43.