淺議大數(shù)據(jù)分析中統(tǒng)計學知識的運用

廣東省廣州市執(zhí)信中學 馬梓程

大數(shù)據(jù)是信息時代的重要標志，為了謀求新的發(fā)展，各行各業(yè)將大數(shù)據(jù)應用到企業(yè)經(jīng)營管理中，通過對市場信息、產(chǎn)品參數(shù)、營銷數(shù)據(jù)等方面信息的統(tǒng)計和分析，預測市場發(fā)展趨勢和產(chǎn)品價格變化，并制定有效的應對措施，以提高企業(yè)的效益增長速度。一般而言，大數(shù)據(jù)和統(tǒng)計學具有極強的關(guān)聯(lián)性，借助統(tǒng)計學知識可以提高大數(shù)據(jù)分析效率，提煉有效的數(shù)據(jù)信息，服務于各項管理決策和經(jīng)營行為。對此，在進行大數(shù)據(jù)分析中，要結(jié)合實際情況，加強對統(tǒng)計學知識的運用，對海量數(shù)據(jù)進行篩選、挖掘、分析和利用，借助建模方法處理復雜數(shù)據(jù)信息，用數(shù)據(jù)分析語言表述風險，這是統(tǒng)計工作的核心與難點，實現(xiàn)數(shù)據(jù)價值的最大化。在這樣的環(huán)境背景下，探究大數(shù)據(jù)分析中統(tǒng)計學知識的運用具有非常重要的現(xiàn)實意義。

一、大數(shù)據(jù)的含義

近些年，由于信息技術(shù)和網(wǎng)絡技術(shù)不斷成熟，數(shù)據(jù)儲存和處理規(guī)模逐漸增加，以爆炸形式迅速增長，大數(shù)據(jù)時代也由此降臨。各行各業(yè)將大數(shù)據(jù)技術(shù)應用到日常經(jīng)營管理中，金融業(yè)、零售業(yè)、互聯(lián)網(wǎng)業(yè)等行業(yè)收集大量的客戶數(shù)據(jù)，若不對這些數(shù)據(jù)加以利用，不僅浪費資源，還會降低企業(yè)在市場競爭中的綜合實力，有可能被市場所淘汰。對此，為了謀求更穩(wěn)定的發(fā)展，企業(yè)加大對海量數(shù)據(jù)的處理和利用力度，大量的分析工作無法單純依靠人力，要借助統(tǒng)計學知識和專業(yè)統(tǒng)計軟件進行數(shù)據(jù)處理，通過大數(shù)據(jù)分析和應用，創(chuàng)造巨大的數(shù)據(jù)價值，形成數(shù)據(jù)工業(yè)革命。根據(jù)4V理論的定義，大數(shù)據(jù)具備以下特點：第一，Volume，量大，數(shù)據(jù)量突破TB級別，已到達PB級別；第二，Velocity，流量性強，只要發(fā)生經(jīng)營活動或是經(jīng)濟行為，都會不停地產(chǎn)生新的數(shù)據(jù)，源源不斷，也對數(shù)據(jù)處理的高效性和及時性有較高的要求；第三，Variety，數(shù)據(jù)類型多樣化，大數(shù)據(jù)并不是傳統(tǒng)單一化結(jié)構(gòu)型數(shù)據(jù)，拓展了半結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)，囊括文檔、表格、音頻、視頻、圖像、網(wǎng)頁等數(shù)據(jù)類型；第四，Value，價值密度低，海量數(shù)據(jù)中的價值數(shù)據(jù)占比較少，這就需要后期的統(tǒng)計工作對價值數(shù)據(jù)進行挖掘，提煉價值信息，為企業(yè)經(jīng)營管理決策提供準確依據(jù)。

二、當前大數(shù)據(jù)分析統(tǒng)計的關(guān)鍵技術(shù)

大數(shù)據(jù)分析技術(shù)應用范圍較廣，包括電子商務平臺的推薦系統(tǒng)、管理系統(tǒng)，為智能決策提供技術(shù)支持。現(xiàn)階段，針對大數(shù)據(jù)分析統(tǒng)計技術(shù)包括儲存技術(shù)、處理技術(shù)、分析技術(shù)以及可視化技術(shù)，大數(shù)據(jù)分析技術(shù)和傳統(tǒng)分析技術(shù)之間存在數(shù)據(jù)挖掘、機器學習、統(tǒng)計學籌等方面的差異性，大數(shù)據(jù)中80%以上的數(shù)據(jù)均為半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)，包括文本、視頻、音頻等，這對結(jié)構(gòu)化數(shù)據(jù)分析技術(shù)提出了更高的要求。

1．數(shù)據(jù)處理

在數(shù)據(jù)處理角度上，由于大數(shù)據(jù)時代下數(shù)據(jù)量的增加，數(shù)據(jù)流運行中，數(shù)據(jù)信息會逐漸貶值，若依然選擇傳統(tǒng)離線式數(shù)據(jù)分析手段，將無法滿足數(shù)據(jù)處理的實時性要求，要將離線分析轉(zhuǎn)化為在線分析。

2．數(shù)據(jù)庫索引

在數(shù)據(jù)庫索引設計層面上，傳統(tǒng)關(guān)系數(shù)據(jù)中的數(shù)據(jù)模式較為穩(wěn)定，而大數(shù)據(jù)環(huán)境下的數(shù)據(jù)量不斷增加，需要數(shù)據(jù)倉庫索引可以按照數(shù)據(jù)模式變化而調(diào)整，滿足數(shù)據(jù)分析處理要求。

3．信息驗證

在信息先驗知識層面上，傳統(tǒng)數(shù)據(jù)分析技術(shù)在分析前會獲取相關(guān)數(shù)據(jù)先驗知識，并提前了解數(shù)據(jù)，這種數(shù)據(jù)分析方式適用于結(jié)構(gòu)化數(shù)據(jù)，無法構(gòu)建半結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)之間的內(nèi)部關(guān)系，當數(shù)據(jù)噴涌而出，也有足夠時間開展數(shù)據(jù)分析前的數(shù)據(jù)先驗知識工作，這就需要數(shù)據(jù)統(tǒng)計人員改變分析方式，搭建適合大數(shù)據(jù)特點的統(tǒng)計分析平臺，提高數(shù)據(jù)處理的綜合效率，發(fā)揮出數(shù)據(jù)的價值和作用。

三、大數(shù)據(jù)分析中統(tǒng)計學知識的運用

1．演繹邏輯法

演繹推理最早由古希臘哲學家提出，并在幾個世紀后通過數(shù)學家研究得以完善，從已經(jīng)給定的前提或是公理入手，推證結(jié)論，這一結(jié)論的正確性全面取決于公理的正確性，而已經(jīng)證明過的結(jié)論可以應用在其他論證中作為論證依據(jù)。一般而言，演繹邏輯法應用在理論科學中，無法出現(xiàn)超越前提的知識，所推算的命題在公理范圍內(nèi)，推理前提與概念定義全部來源于現(xiàn)實世界，新的公理和定義中包含了新的知識，也不能只有新前提。在大數(shù)據(jù)分析中，演繹邏輯法結(jié)合大數(shù)據(jù)分析技術(shù)，將推論清晰化，提高大數(shù)據(jù)的應用價值。

2．歸納法

歸納法和演繹法有很大的區(qū)別，根據(jù)已經(jīng)給定的結(jié)果判斷前提，在實際應用中，歸納法主要根據(jù)不完全信息或是劣質(zhì)信息進行明確判斷，根據(jù)觀測到的數(shù)據(jù)匹配假設，從特殊推向過渡為一般邏輯推理，形成新的論斷。數(shù)據(jù)與假設中缺少一定的對應關(guān)系，形成的新論斷和新知識存在一定的預測性和不確定性。和既定公理演繹推理方式不同，歸納推理出的數(shù)據(jù)判斷精確性不高，這一缺失阻礙了歸納推理的發(fā)展和系統(tǒng)化。根據(jù)習慣性推演邏輯，若想發(fā)展一種理論或是導入推理規(guī)則，無法保證歸納結(jié)果的準確性，歸納法應用過程中，要求統(tǒng)計人員具備極強的技能、經(jīng)驗、直覺，提高歸納結(jié)果的精確性，保證數(shù)據(jù)應用價值。

3．風險管理邏輯方程

由特殊過渡到一般規(guī)律所構(gòu)建的知識和判斷存在一定的不確定性，若量化這種不確定性，就可以確定獲取知識種類，這一統(tǒng)計學邏輯結(jié)構(gòu)即是風險管理邏輯方程，則知識是不確定知識和不確定性量度知識的總和。作為一種新的思維方式，可以推算風險管理方式，將未來可能事件放到基于決策的框架中，在無法確定的前提下做出決策，錯誤無法避免，在一定規(guī)律下進行選擇，選擇前掌握犯錯誤概率，明確制定決策的規(guī)律，降低決策的盲目性與隨意性，將損失控制到最小范圍。在已經(jīng)知道各種事件結(jié)構(gòu)發(fā)生概率后，這種不確定性決策納入到演繹邏輯中，進行事件偶然性的處理。隨著統(tǒng)計學知識深入到大數(shù)據(jù)分析中后，統(tǒng)計人員要尋求新工具進行不確定因素處理，提煉數(shù)據(jù)價值信息，為企業(yè)的經(jīng)營管理決策提供依據(jù)。

四、基于統(tǒng)計學知識的大數(shù)據(jù)分析統(tǒng)計流程

在大數(shù)據(jù)時代下，大數(shù)據(jù)分析統(tǒng)計工作所面臨的數(shù)據(jù)對象由樣本數(shù)據(jù)轉(zhuǎn)變?yōu)榭傮w數(shù)據(jù)，試驗和抽樣調(diào)查被取替，優(yōu)化數(shù)據(jù)統(tǒng)計運行環(huán)節(jié)。

（一）數(shù)據(jù)收集

大數(shù)據(jù)采集儲存下，統(tǒng)計資料完整保存，處理后的數(shù)據(jù)具有巨量性、價值性等特點，傳統(tǒng)的數(shù)據(jù)分組、匯總、編制、繪圖等環(huán)節(jié)逐漸轉(zhuǎn)變成數(shù)據(jù)資料的審核與儲存，優(yōu)化運行環(huán)節(jié)。同時，大數(shù)據(jù)的復雜性使得數(shù)據(jù)內(nèi)部關(guān)系不穩(wěn)定，在進行大數(shù)據(jù)統(tǒng)計分析中，可以根據(jù)統(tǒng)計學知識，從噪音數(shù)據(jù)中研究隱性關(guān)系模式與知識，提高數(shù)據(jù)對象的價值。

（二）數(shù)據(jù)挖掘

1．分析數(shù)據(jù)

數(shù)據(jù)價值被挖掘后還會形成新的價值，為了深入了解研究對象，要將部分數(shù)據(jù)進行整合，使得整合后的數(shù)據(jù)反映出研究對象情況，揭示數(shù)據(jù)間的匹配性與關(guān)聯(lián)性，發(fā)現(xiàn)新問題，進而實現(xiàn)數(shù)據(jù)新價值的創(chuàng)造。

2．展示數(shù)據(jù)

大數(shù)據(jù)價值屬性明顯，在進行大數(shù)據(jù)統(tǒng)計分析中，數(shù)據(jù)結(jié)果解釋與可視化極為重要，要求統(tǒng)計人員要做好數(shù)據(jù)展示工作，提高數(shù)據(jù)的可視化水平，提高數(shù)據(jù)利用價值。常見的方式有圖譜法，設計統(tǒng)計圖譜，將各類價值數(shù)據(jù)以“年輪”大小與顏色直觀展示，設計相關(guān)參數(shù)信息，反映出各組數(shù)據(jù)之間的內(nèi)部關(guān)聯(lián)，提高結(jié)論的科學性和合理性，為相關(guān)管理決策提供依據(jù)。

本文通過對大數(shù)據(jù)分析中統(tǒng)計學知識的運用研究，明確大數(shù)據(jù)的含義，展示現(xiàn)階段大數(shù)據(jù)統(tǒng)計分析關(guān)鍵技術(shù)，包括數(shù)據(jù)處理、數(shù)據(jù)庫索引、信息驗證等方式，并將演繹邏輯法、歸納推理法、風險管理邏輯方程等統(tǒng)計學知識應用到大數(shù)據(jù)分析中，并做好數(shù)據(jù)和數(shù)據(jù)挖掘工作，提煉出數(shù)據(jù)價值，進而為大數(shù)據(jù)的廣泛應用打下堅實基礎。

[1]林存潔，李揚．大數(shù)據(jù)分析仍需要統(tǒng)計思想——以ARGO模型為例[J]．統(tǒng)計研究，2016，33（11）：109-112．

[2]劉峰．大數(shù)據(jù)分析在配電網(wǎng)統(tǒng)計數(shù)據(jù)中的應用探索[D]．華南理工大學，2016．

[3]劉英，南科毅．借鑒大數(shù)據(jù)分析方法提高統(tǒng)計分析“含金量”[J]．東方企業(yè)文化，2015（15）：345．

[4]張海洋．大數(shù)據(jù)的統(tǒng)計分析技術(shù)比較研究[D]．南京大學，2014．

[5]王吉善，陳曉紅，馬謝民等．大數(shù)據(jù)時代統(tǒng)計分析的新特點[J]．中國衛(wèi)生質(zhì)量管理，2015，22（1）：59-60．

[6]祝君儀．大數(shù)據(jù)時代背景下統(tǒng)計數(shù)據(jù)質(zhì)量的評估方法及適用性分析[J]．中國市場，2015（29）：41-42．