統(tǒng)計學與大數(shù)據(jù)

張曉麗

【摘要】首先，本文給出了筆者認為的統(tǒng)計學研究的典型問題究竟是什么；然后，闡述了什么是大數(shù)據(jù)；最后，就筆者的理解淺談了大數(shù)據(jù)時代統(tǒng)計學究竟還有沒有用武之地.

【關鍵詞】統(tǒng)計學；大數(shù)據(jù)；統(tǒng)計分析

一、統(tǒng)計學研究的典型問題

眾所周知，統(tǒng)計學是處理數(shù)據(jù)的一門科學.人們給統(tǒng)計學下的定義很多，比如，《不列顛百科全書》中“統(tǒng)計學是收集、分析、表述和解釋數(shù)據(jù)的科學”；《韋伯斯特國際詞典（第3版）》中“統(tǒng)計是一門收集、分析、解釋和提供數(shù)據(jù)的科學”；Mario F.Triola的《初級統(tǒng)計學》中“統(tǒng)計指的是一組方法，用來設計實驗、獲得數(shù)據(jù)，然后在這些數(shù)據(jù)的基礎上組織、概括、演示、分析、解釋和得出結(jié)論”.筆者認為，統(tǒng)計學研究的典型問題是“運用已知數(shù)據(jù)獲得所研究的客觀事物的數(shù)量特征和發(fā)展規(guī)律，利用規(guī)律對所研究的客觀事物的行為進行預測”.

首先，統(tǒng)計學研究的典型問題的關鍵之一就是必須有所研究問題的數(shù)據(jù)，這是研究的前提.那么如何獲得已知數(shù)據(jù)呢？我們說可以通過調(diào)查，也可以通過實驗.先來說通過調(diào)查獲得已知數(shù)據(jù)，情況有兩種，一種是抽樣調(diào)查，另一種是普查.給大家舉一個例子，比如，某研究部門想知道其所在城市所有職工家庭的年平均收入.那么，“該城市所有職工家庭的年平均收入”就構成了所研究問題的總體.“該城市中的每一個職工家庭的年平均收入”就是總體中的個體.如果要通過抽樣調(diào)查來獲得數(shù)據(jù)，也就是抽取部分個體組成樣本，比如，該部門抽取了2 000個職工家庭的年平均收入作為樣本，那么就獲得了2 000個樣本數(shù)據(jù)（某年的年收入數(shù)據(jù)），這就是通過抽樣調(diào)查獲得的已知數(shù)據(jù).再用這同一個例子來說一說普查.比如，2016年，該研究機構對其所在城市中的每一個職工家庭都進行了調(diào)查，獲得了每個個體（職工家庭）的2015年的年收入數(shù)據(jù)，這就是通過普查獲得的已知數(shù)據(jù).

當然也可以通過實驗來獲得已知數(shù)據(jù)，做實驗的過程就復雜了.要想通過實驗獲得靠譜的數(shù)據(jù)，首先，得滿足樣本量足夠大，然后，就是要做到隨機.現(xiàn)實中這兩點也不是很容易做到的.例如，假設我們現(xiàn)在想研發(fā)一種做運動鞋的新材料，看看是不是比舊的材料更耐磨.又假設我們現(xiàn)在的研發(fā)成本非常高，只能提供4雙樣品鞋.于是，我們找來了8個孩子來試穿，4雙新材料4雙舊材料.看到這兒，第一反應是樣本量小了，但是沒有辦法啊，實際情況只允許我們做到這種程度.那么在樣本量無法擴大的前提下，怎么做才能使實驗靠譜呢？我們給每一個孩子隨機選一只腳穿新材料，另一只腳穿舊材料.這樣，每一組新舊材料的對比都是基于同一個孩子的，這就不存在比如，孩子是否喜歡運動等的混淆因素了.

統(tǒng)計學研究的典型問題的第二個關鍵點就是需要有合理的統(tǒng)計分析.針對已經(jīng)獲得的已知數(shù)據(jù)也就是樣本數(shù)據(jù)，我們采用合理的統(tǒng)計分析，定會對所研究的客觀事物的數(shù)量特征和規(guī)律進行準確的描述、分析和判斷.

統(tǒng)計學研究的典型問題的第三個關鍵點就是對未來的預測具有不確定性.分兩個方面來給大家闡述.首先，未來必須是未知的，如果所研究的某事物的未來行為或特征是已經(jīng)知道的，那這就不屬于統(tǒng)計學要研究的問題.其次，預測必須是不確定的.如果預測的結(jié)果只有一種，也就是預測的結(jié)果是確定的，那這也不屬于統(tǒng)計學要研究的問題.比如，我們想知道人體的骨骼有多少塊骨頭？于是，抽選部分人作為樣本，通過對樣本研究獲得已知數(shù)據(jù)，進而來預測其余未被抽中的人，這種預測具有確定性，人體骨骼是由206塊骨頭組成.這就不屬于統(tǒng)計學要研究的問題.再比如，一種新藥出廠后用于臨床試驗獲得已知數(shù)據(jù)，然后對更廣泛的同類型病人的療效做預測性推斷，具有不確定性.

二、什么是大數(shù)據(jù)

當今，“大數(shù)據(jù)”如日中天，似乎已經(jīng)成為人們的流行語，那什么是大數(shù)據(jù)呢？麥肯錫對大數(shù)據(jù)的定義是從數(shù)據(jù)集的“大體量”入手的：大數(shù)據(jù)是指那些規(guī)模大到傳統(tǒng)的數(shù)據(jù)庫軟件工具已經(jīng)無法采集、存儲、管理和分析的數(shù)據(jù)集.維基百科采納了麥肯錫的定義，認為大數(shù)據(jù)是一組龐大而復雜的數(shù)據(jù)集的集合，大且復雜到難以用現(xiàn)有的數(shù)據(jù)庫管理工具或傳統(tǒng)的數(shù)據(jù)處理應用來處理，大數(shù)據(jù)就是一切可記錄信號的集合.狹義地講，大數(shù)據(jù)是一個大樣本和高維變量的數(shù)據(jù)集合.廣義地講，大數(shù)據(jù)涵蓋多學科領域、多源、混合的數(shù)據(jù)，自然科學、人文社會、經(jīng)濟學、通訊、網(wǎng)絡、商業(yè)和娛樂等各種領域的數(shù)據(jù)集相互重疊連成了一片數(shù)據(jù)的海洋.大數(shù)據(jù)涉及各種數(shù)據(jù)類型，包括文本與語言、錄像與圖像、時空、網(wǎng)絡與圖形.我認為，當今流行的“大數(shù)據(jù)”是通過互聯(lián)網(wǎng)獲得的足夠大量的、包含一切數(shù)據(jù)類型的數(shù)據(jù)的集合.

三、大數(shù)據(jù)時代，統(tǒng)計學是不可或缺的

我們姑且先不去談大數(shù)據(jù)和統(tǒng)計學中的數(shù)據(jù)誰更全面，誰更方便獲得，誰更相對有代表性；不去談什么樣本和總體，我們就只是來說一說，大數(shù)據(jù)時代，只是有全部的數(shù)據(jù)就足夠了嗎？筆者認為當然不是.無論是大數(shù)據(jù)還是統(tǒng)計學中的樣本數(shù)據(jù)最初都是雜亂的、無序的，所以說，大數(shù)據(jù)時代，數(shù)據(jù)的處理、理論分析等的問題就顯得尤為重要了.這些重要問題的解決都離不開統(tǒng)計學，它需要統(tǒng)計理論和統(tǒng)計分析方法.

就是舍恩伯格和庫克耶也不同意安德森的極端觀點.他們指出“大數(shù)據(jù)絕不會叫囂‘理論已死”，因為“大數(shù)據(jù)是在理論的基礎上形成的”，無論是如何搜集數(shù)據(jù)、分析數(shù)據(jù)、還是解讀研究結(jié)果，都得依賴理論.“大數(shù)據(jù)時代絕對不是一個理論消亡的時代，相反地，理論貫穿于大數(shù)據(jù)分析的方方面面.”

綜上，即便是在大數(shù)據(jù)時代，統(tǒng)計學也是不可或缺的.