數(shù)據(jù)科學(xué)的統(tǒng)計學(xué)內(nèi)涵探究

張程

山西大同大學(xué)(大同 037009)

數(shù)據(jù)科學(xué)的統(tǒng)計學(xué)內(nèi)涵探究

張程

山西大同大學(xué)(大同 037009)

大數(shù)據(jù)做為數(shù)據(jù)科學(xué)的主要研究方向，其主要分析在于數(shù)據(jù)的收集方式，數(shù)據(jù)分析統(tǒng)計學(xué)方向的內(nèi)容也逐漸豐富。數(shù)據(jù)在時代中的發(fā)展逐漸多樣化，本文就統(tǒng)計學(xué)視角詳細(xì)研究數(shù)據(jù)科學(xué)的內(nèi)涵，發(fā)現(xiàn)統(tǒng)計學(xué)在數(shù)據(jù)科學(xué)中的機遇和挑戰(zhàn)。

數(shù)據(jù)科學(xué)；統(tǒng)計學(xué)；內(nèi)涵

在大數(shù)據(jù)洪流的推動下，很多信息從傳統(tǒng)的傳播方式逐漸轉(zhuǎn)變?yōu)樾畔⒒问?，如今社會需要解決的問題是，如何通過信息資源將勞動生產(chǎn)率進行有效提升。通過基于統(tǒng)計學(xué)知識探討數(shù)據(jù)科學(xué)的基本含義，并經(jīng)過數(shù)據(jù)科學(xué)范式的研究去更深的了解統(tǒng)計學(xué)的內(nèi)涵。

1 從統(tǒng)計學(xué)視角看數(shù)據(jù)科學(xué)

數(shù)據(jù)就是統(tǒng)計學(xué)主要研究的方向，而數(shù)據(jù)科學(xué)自然也是以數(shù)據(jù)作為研究的對象。在名義上，數(shù)據(jù)科學(xué)似乎與統(tǒng)計學(xué)之間有著與生俱來的聯(lián)系。實際上，二者的“數(shù)據(jù)”在概念上是并不相同，數(shù)據(jù)本身概念指向是非常寬泛的，例如數(shù)字、音頻、文字等等，只要是能夠?qū)陀^事物進行記錄的，能夠鑒別的符號都可將其稱為數(shù)據(jù)。雖然統(tǒng)計學(xué)所研究的數(shù)據(jù)方向是多樣的、豐富的的，卻都屬于結(jié)構(gòu)化數(shù)據(jù)，就像定距數(shù)據(jù)、定比數(shù)據(jù)等定量數(shù)據(jù)。相比之下，數(shù)據(jù)科學(xué)的研究范圍則會更加廣泛、豐富，除了傳統(tǒng)結(jié)構(gòu)的數(shù)據(jù)類型外，還有對非結(jié)構(gòu)型和半結(jié)構(gòu)型數(shù)據(jù)的研究，這就是“大數(shù)據(jù)”。

大數(shù)據(jù)對于傳統(tǒng)數(shù)據(jù)庫的分析與儲存過程是非常復(fù)雜的，在管理分析數(shù)據(jù)的過程中需要一種新的范式，也就是數(shù)據(jù)科學(xué)來實現(xiàn)管理。現(xiàn)代統(tǒng)計學(xué)的意義，是從處理小數(shù)據(jù)和一些不完整實驗等實際性問題中，逐漸發(fā)展而來的。數(shù)據(jù)科學(xué)的興起，實際上主要是通過處理大數(shù)據(jù)，現(xiàn)實中的問題處理逐漸實現(xiàn)的。這樣看來，大數(shù)據(jù)就是數(shù)據(jù)科學(xué)的研究對象，結(jié)構(gòu)型數(shù)據(jù)是統(tǒng)計學(xué)主要的研究方向。這之間存在著質(zhì)變，就結(jié)構(gòu)化研究中，大部分?jǐn)?shù)據(jù)都是傳統(tǒng)的理論方法，所以要求在實踐中不斷不斷完善和改進相關(guān)理論，同時加強技術(shù)處理等信息化的有效發(fā)展。

2 數(shù)據(jù)科學(xué)的統(tǒng)計學(xué)內(nèi)涵

2.1 理論基礎(chǔ)

對于數(shù)據(jù)的處理分析，在各個領(lǐng)域逐漸發(fā)展起來，數(shù)據(jù)科學(xué)被相關(guān)學(xué)者認(rèn)為是一門交叉學(xué)科，其包括數(shù)學(xué)與統(tǒng)計學(xué)知識、計算機科學(xué)技術(shù)和專業(yè)應(yīng)用知識三類。然而這只是將某種現(xiàn)實活動拆分為不同的學(xué)科，卻沒有一個統(tǒng)一性的定義。有學(xué)者提出，數(shù)據(jù)科學(xué)是計算機科學(xué)另外一種代稱，實際上這只是字面是上的轉(zhuǎn)換，不具備學(xué)科獨立性。統(tǒng)計學(xué)加上它在計算技術(shù)方面的擴展，這樣的表述使得數(shù)據(jù)科學(xué)可以具有學(xué)科獨立性。也是在證明統(tǒng)計學(xué)是數(shù)據(jù)科學(xué)的理論基礎(chǔ)，數(shù)據(jù)科學(xué)也就是統(tǒng)計學(xué)在研究上的不斷擴展。

統(tǒng)計學(xué)在隨著社會需求不斷地擴展，剛開始統(tǒng)計學(xué)的活動只是應(yīng)用在一些征兵或征稅的管理上，現(xiàn)在逐漸擴大范圍至更多的層面。從小數(shù)據(jù)研究，逐漸走向?qū)Υ髷?shù)據(jù)的探索。這中間對于數(shù)據(jù)統(tǒng)計的發(fā)展，是伴隨著整個大數(shù)據(jù)的社會性而轉(zhuǎn)變的，另外，從參數(shù)分析方法，到非參數(shù)方法。這些轉(zhuǎn)變因著數(shù)據(jù)的開發(fā)進步而有所變化，推動著整個數(shù)據(jù)科學(xué)的有效前進。

2.2 技術(shù)維度

對于數(shù)據(jù)科學(xué)而言，技術(shù)并不是數(shù)據(jù)分析的主導(dǎo)，數(shù)據(jù)的分析主要是對于數(shù)據(jù)的“理解”和“閱讀”。技術(shù)知識為數(shù)據(jù)分析中的輔助工具，非相關(guān)學(xué)者或其他人士也可通過統(tǒng)計軟件得到統(tǒng)計結(jié)果，所以對統(tǒng)計結(jié)果的解釋也無法令人信服。如今統(tǒng)計分析很明顯的依賴于技術(shù)的發(fā)展，這也是因為數(shù)據(jù)量逐漸復(fù)雜而多樣化，使得統(tǒng)計分析更需要開發(fā)出高效率的數(shù)據(jù)管理工具。所以數(shù)據(jù)科學(xué)對于技術(shù)的需求也是很清晰的，大數(shù)據(jù)不只是需要利用統(tǒng)計軟件協(xié)助基本統(tǒng)計的相關(guān)計算，主要是因為大數(shù)據(jù)不能直接用于統(tǒng)計分析中。大數(shù)據(jù)需要借助相關(guān)技術(shù)，實現(xiàn)數(shù)據(jù)的分析和研究，

技術(shù)水平及使用價值有待發(fā)展和提高。

在面對如今巨大的數(shù)據(jù)時，數(shù)據(jù)統(tǒng)計的方法在本質(zhì)上并沒有變化，只是現(xiàn)實中改變了它的算法。大數(shù)據(jù)在一定程度上，體現(xiàn)了計算機科學(xué)技術(shù)和其算法的實行能力，大數(shù)據(jù)的分析儲存，都是技術(shù)方面的相關(guān)應(yīng)用。在數(shù)據(jù)分析中如何變革升級技術(shù)方面的水平，是當(dāng)今統(tǒng)計分析實際性發(fā)展的重點。

2.3 應(yīng)用維度

將數(shù)據(jù)轉(zhuǎn)化為有價值的商業(yè)信息整個完整的過程，就是在商業(yè)應(yīng)用領(lǐng)域中對數(shù)據(jù)科學(xué)的定義。在實際要求中，需要數(shù)據(jù)科學(xué)家對數(shù)據(jù)的來源及類型等等都了解透徹，另外還要了解選擇分析方法的要義，充分發(fā)揮數(shù)據(jù)在相關(guān)領(lǐng)域中的應(yīng)用價值。

很多學(xué)者都認(rèn)為實際應(yīng)用，可以體現(xiàn)數(shù)據(jù)科學(xué)與統(tǒng)計學(xué)、數(shù)學(xué)等其他學(xué)科的區(qū)別。就商業(yè)而言，強調(diào)數(shù)據(jù)科學(xué)多角度的理解，對應(yīng)用的維度要求是多方向的。要求數(shù)據(jù)科學(xué)家具備很好的表達(dá)能力，可以將一些數(shù)據(jù)反映出來的事實，清晰地講解給大家，增進商業(yè)理解是數(shù)據(jù)分析一項重要的目的，包括數(shù)據(jù)科學(xué)家、首席信息官的提法都始于實務(wù)部門。數(shù)據(jù)的科學(xué)統(tǒng)計在各個領(lǐng)域的應(yīng)用，是當(dāng)下能夠體現(xiàn)其價值的重要表現(xiàn)，將數(shù)據(jù)化的信息反饋與社會，將實際狀態(tài)表現(xiàn)出來對于社會的進步和完善有很大意義。

3 統(tǒng)計分析中的數(shù)據(jù)科學(xué)范式

大規(guī)模數(shù)據(jù)在剛開始體現(xiàn)為一個封閉機構(gòu)內(nèi)，數(shù)據(jù)集間的關(guān)聯(lián)關(guān)系是大數(shù)據(jù)的重點?，F(xiàn)實中，孤立的大數(shù)據(jù)價值是有限的，針對傳統(tǒng)的數(shù)據(jù)進行新的變革，就是當(dāng)今大數(shù)據(jù)的主導(dǎo)任務(wù)，結(jié)合傳統(tǒng)數(shù)據(jù)以及線上和線下模式，最終使得大數(shù)據(jù)環(huán)境更具價值。

3.1 數(shù)據(jù)收集方面

統(tǒng)計學(xué)家在獨立統(tǒng)計學(xué)科定義之前，就開始對大規(guī)模的數(shù)據(jù)進行相應(yīng)的處理了，但當(dāng)時更多的數(shù)據(jù)統(tǒng)計是一些簡單的匯總和比較。1920年以后，統(tǒng)計將重點放在小規(guī)模數(shù)據(jù)、統(tǒng)計調(diào)查上，使得統(tǒng)計方法在社會快速發(fā)展。

數(shù)據(jù)收集方式的轉(zhuǎn)變，也意味著數(shù)據(jù)統(tǒng)計的再次變革。將傳統(tǒng)的統(tǒng)計調(diào)查方法轉(zhuǎn)變?yōu)榇髷?shù)據(jù)統(tǒng)計方法，數(shù)據(jù)每時每刻都在增加，其數(shù)據(jù)來源和類型也非常豐富。隨著電話和網(wǎng)絡(luò)的普及，在數(shù)據(jù)調(diào)查統(tǒng)計中，對于實效性的要求也逐漸提高。迫切需要相關(guān)部門于搜索引擎服務(wù)商進行有效合作，整理商業(yè)記錄數(shù)據(jù)、行政記錄數(shù)據(jù)、個人行為記錄數(shù)據(jù)等多渠道數(shù)據(jù)源來進行數(shù)據(jù)有效分析。

3.2 數(shù)據(jù)分析方面

樣本的意義在現(xiàn)代統(tǒng)計分析中逐漸被淡化，提高數(shù)據(jù)分析的方法就是抽樣推斷。對于算法的改善，可以達(dá)到更好的分析結(jié)果。增加數(shù)據(jù)可以提高推斷整體效果，抽樣在某些場合來說是很困難的，計算機時代的統(tǒng)計分析主要基于數(shù)據(jù)的算法。大數(shù)據(jù)的分析主要包括大數(shù)據(jù)的管理存儲、傳輸。面對海量的數(shù)據(jù)，我們發(fā)現(xiàn)，開采有用的知識等價于拋棄無用的數(shù)據(jù)。但是大數(shù)據(jù)時代中又有新的問題，再怎么拋棄數(shù)據(jù)，其還是會逐日增長。必須提高處理海量數(shù)據(jù)的能力。

由于數(shù)據(jù)量的巨大，計算方法十分復(fù)雜，大數(shù)據(jù)面臨計算有效性的控制。對于有效性采用并行處理的方法，如今高性能計算和網(wǎng)格計算也是并行處理，大數(shù)據(jù)中的大部分節(jié)點，都需要訪問大量的數(shù)據(jù)，所以有不少計算節(jié)點因為網(wǎng)絡(luò)帶寬的限制，不得不處于空閑等待的狀態(tài)。對于這一問題，MapReduce可以盡量在計算節(jié)點上存儲數(shù)據(jù)，實現(xiàn)數(shù)據(jù)的本地快速訪問，MapReduce的核心特征就是，數(shù)據(jù)本地化。如今更多的數(shù)據(jù)軟件，可以方便處理一些數(shù)據(jù)問題，減輕數(shù)據(jù)計算負(fù)擔(dān)，提高數(shù)據(jù)統(tǒng)計研究效率。

4 結(jié)語

基于大數(shù)據(jù)急速的發(fā)展，數(shù)據(jù)統(tǒng)計科學(xué)發(fā)揮其最大力量，促進整個數(shù)據(jù)時代的進步。數(shù)據(jù)科學(xué)范式下的各個挑戰(zhàn)，使得數(shù)據(jù)科學(xué)在大數(shù)據(jù)中接受挑戰(zhàn)，完成數(shù)據(jù)統(tǒng)計分析研究，促進數(shù)據(jù)科學(xué)領(lǐng)域統(tǒng)計分析的順利進行。通過研究分析統(tǒng)計學(xué)在數(shù)據(jù)科學(xué)中的應(yīng)用是必然的，統(tǒng)計學(xué)是數(shù)據(jù)中的一部分，數(shù)據(jù)是通過統(tǒng)計分析進行最終呈現(xiàn)的。

[1]張文燕.淺談統(tǒng)計科學(xué)的發(fā)展及其作用分析[J].中國市場.2010,(52).

[2]耿直.大數(shù)據(jù)時代統(tǒng)計學(xué)面臨的機遇與挑戰(zhàn)[J].統(tǒng)計研究.2014,(01).

[3]劉紅,胡新和.數(shù)據(jù)革命:從數(shù)到大數(shù)據(jù)的歷史考察[J].自然辯證法通訊.2013,(06).

[4]王珊,王會舉,覃雄派,周烜.架構(gòu)大數(shù)據(jù):挑戰(zhàn)、現(xiàn)狀與展望[J].計算機學(xué)報.2011,(10).

(責(zé)任編輯：文婷)

F222

A

1003-3319(2016)04-00041-02

10.19469/j.cnki.1003-3319.2016.04.0041