統(tǒng)計學理論在大數(shù)據(jù)分析中的應用

魏 斌 對外經(jīng)濟貿(mào)易大學

統(tǒng)計學是數(shù)據(jù)分析的靈魂，而大數(shù)據(jù)分析離不開統(tǒng)計學理論的支持，二者是相互關聯(lián)、相互影響的關系。換句話來說，大數(shù)據(jù)告知信息但不解釋信息，想要了解這些信息背后的內(nèi)涵與規(guī)律，就需要進行數(shù)據(jù)分析，雖然借助計算機技術可以實現(xiàn)對海量數(shù)據(jù)的評估與推斷，但沒有系統(tǒng)的數(shù)據(jù)科學作為指導，也很難保證數(shù)據(jù)分析的全面性與準確性。而統(tǒng)計學理論無疑是數(shù)據(jù)學科中非常重要的一門，將其應用到大數(shù)據(jù)分析當中，不僅可以更好地從海量數(shù)據(jù)中提取規(guī)律、創(chuàng)造新價值，而且還能夠量化數(shù)據(jù)中的不確定性，提高數(shù)據(jù)分析的準確率。由此可見，在當前時代背景下，加強對統(tǒng)計學理論在大數(shù)據(jù)分析中的應用研究，具有非常突出的現(xiàn)實意義。

一、大數(shù)據(jù)的基本概述

(一)什么是數(shù)據(jù)

數(shù)據(jù)在拉丁文里指“已知”，代表已經(jīng)知道且存在的內(nèi)容，在英文中指的是“一組事實的集合，通過對其的研究與分析，能夠得出一定結論的，統(tǒng)稱為數(shù)據(jù)”。在我國，數(shù)據(jù)指的就是數(shù)值，數(shù)字、文字、圖像都可以是它的一種形式，具體來說就是指通過實驗、計算得出的結果，可用于科學研究、設計和查證等當中?？偟膩碚f，凡是用某種載體記錄下來的，并且可以反饋出一定信息量的，都可以稱之為數(shù)據(jù)，比如在遠古時期，人類記載信息的方式就是結繩，進入現(xiàn)代社會之后，人們獲取信息的渠道逐漸增多，信息的種類與數(shù)量也愈發(fā)增多，使得數(shù)據(jù)的呈現(xiàn)形式也發(fā)生了巨大變化，數(shù)字、文字、圖像、音頻都可作為它的載體。

(二)什么是大數(shù)據(jù)

大數(shù)據(jù)與數(shù)據(jù)的本質區(qū)別就在于“大”，這里所說的“大”通常指量的增多，包括數(shù)量與種類。簡而言之，大數(shù)據(jù)指的就是巨量資料，這些資料通常來自于不同渠道，并以多元形式產(chǎn)生和存儲下來，具有實時性、復雜性、海量性等特征。我們的生活中處處有大數(shù)據(jù)，例如，神經(jīng)科學領域中，精神分裂癥、阿爾茨海默癥等病癥都被證明與大腦連接網(wǎng)絡有關，而功能性核磁共振成像技術就是通過持續(xù)產(chǎn)生大量高分辨率的大腦圖像，來幫助研究人員厘清大腦與潛在反應之間的聯(lián)系。另外，在金融領域中，通過對大數(shù)據(jù)的收集、整理與分析，還能夠幫助企業(yè)衡量風險，做出更好的經(jīng)營決策。由此可以看出，大數(shù)據(jù)最核心的價值，不是體現(xiàn)在其大量、高速、實時等優(yōu)勢特征上，而是體現(xiàn)在對海量資料價值的挖掘和呈現(xiàn)上，這也是大數(shù)據(jù)分析的由來。

(三)大數(shù)據(jù)分析的意義

所謂的大數(shù)據(jù)分析，簡單來說就是指通過對過去發(fā)生的現(xiàn)象進行大量的數(shù)據(jù)采集與分析，找到事物存在的原因，并形成有效結論，然后在此基礎上給出科學合理的指導性建議。大數(shù)據(jù)分析的主要目的不僅是為了得出結論，更是為了挖掘一切有用的信息資源，生成更具有價值優(yōu)勢的數(shù)據(jù)庫，為各行各業(yè)的發(fā)展提供指導。舉例來說，通過大數(shù)據(jù)分析，可以幫助大型服務類企業(yè)更好地進行精準營銷，提高市場占有率；也可以幫助中小微企業(yè)更快地進行服務轉型，以免被市場所淘汰；同時還可以幫助傳統(tǒng)企業(yè)更好地進行改革創(chuàng)新，探索出一條可行的發(fā)展之路。以上是從大方向來展現(xiàn)大數(shù)據(jù)分析的價值，從小方向上來看，大數(shù)據(jù)分析有著更為突出的優(yōu)勢作用，比如幫助企業(yè)降低成本、提高效率；及時解決各種問題和缺陷；開發(fā)新產(chǎn)品、做出正確決策；識別金牌客戶、躲避欺詐行為等等。

二、統(tǒng)計學的基本概述

(一)什么是統(tǒng)計學

統(tǒng)計學是數(shù)學學科的分支，是指通過搜索、整理、分析等方式，來推理對象本質和預測對象未來的一門學科課程，通常會運用到除數(shù)學知識以外的其他學科知識，在眾多領域中都有廣泛應用。換言之，統(tǒng)計學是一門認識客觀現(xiàn)象數(shù)量規(guī)律性的學科，具有客觀、準確和可檢驗的特征，涉及到的變量有分類變量、順序變量、數(shù)值型變量等，按照其統(tǒng)計方法的不同，可以將統(tǒng)計學理論劃分為不同的類型，比如描述統(tǒng)計、推斷統(tǒng)計等，不同的統(tǒng)計方法所起到的作用也是有所差異的，在具體應用過程中需結合實際情況進行合理選擇。誤用統(tǒng)計學所帶來的影響非常大，輕則會導致描述面或推論面出錯，造成最終結果的不準確，重則會導致應用領域出現(xiàn)重大變故，比如對醫(yī)療實踐的影響、對核能發(fā)電計劃結構可靠性的影響等等，因此，合理應用統(tǒng)計學非常關鍵。

(二)統(tǒng)計學的作用

統(tǒng)計學在我們的日常生活十分常見，對人們的生產(chǎn)生活起到了極大的促進作用，任何人都可以利用統(tǒng)計學實現(xiàn)想要達成的目標，比如學生可以用它估計自己是否被名校錄取、商人可以用它來制定銷售計劃、Netflix通過數(shù)據(jù)預測觀眾接下來想看的節(jié)目、政府可以用它來判斷是否要加強精神衛(wèi)生服務建設等等。從某種程度上來說，統(tǒng)計學既是國家宏觀調(diào)控的重要工具，同時也是企業(yè)管理與決策制定的重要依據(jù)，加強對其的有效應用與分析，對國家和企業(yè)的未來發(fā)展都有巨大的推動作用。

三、統(tǒng)計學理論與大數(shù)據(jù)分析的關聯(lián)性

(一)內(nèi)在邏輯關聯(lián)

通過前文對統(tǒng)計學理論與大數(shù)據(jù)分析的相關研究可以看出，二者在本質上的內(nèi)在邏輯是有一定關聯(lián)性的。以數(shù)據(jù)分析為例，統(tǒng)計學理論通常是借助各種理論進行指導，并運用數(shù)理分析工具來挖掘出具背后的規(guī)律，而大數(shù)據(jù)分析采用的是先進技術手段，可以實現(xiàn)對海量數(shù)據(jù)的分析與推斷，得出更為全面、具體的結論，充分挖掘出這些數(shù)據(jù)背后的規(guī)律。由此可見，傳統(tǒng)的統(tǒng)計學理論在數(shù)據(jù)分析這一方面，優(yōu)勢并不突出，而且在分析過程中還有可能受人為因素的影響，導致數(shù)據(jù)出錯或遺漏，進而造成分析結果出現(xiàn)較大誤差，但是基于計算機技術的大數(shù)據(jù)分析則可以很好地規(guī)避這類問題的發(fā)生，在分析結果的準確性方面更具優(yōu)勢?？偟膩碚f，不管是統(tǒng)計學分析還是大數(shù)據(jù)分析，二者的基本思路、最終目標都是一致的，都是通過深入挖掘數(shù)據(jù)資料，來構建預測模型，并最終得出相應結論的過程，所以二者的內(nèi)在邏輯存在較大的關聯(lián)性。

(二)分析方式一致

在統(tǒng)計學分析中，為了更好地對數(shù)據(jù)信息進行挖掘，通常需要先進行數(shù)據(jù)的統(tǒng)計與整理，將原本雜亂無章的數(shù)據(jù)變得更加有序，以便為后續(xù)尋找數(shù)據(jù)之間的規(guī)律做好鋪墊。同樣的，在進行大數(shù)據(jù)分析時，也需要對各類數(shù)據(jù)進行有效整合，形成一種可制表的數(shù)據(jù)形式，這樣才能更好地運用計算機技術進行數(shù)據(jù)規(guī)律的挖掘與探尋。所以，從一定程度上來說，統(tǒng)計學分析與大數(shù)據(jù)分析在分析方式上也存在關聯(lián)性，因為二者的分析對象必須是定量數(shù)據(jù)形式，而想要達到這一點，就需要提前對原始信息形式進行轉化，雖然轉化的方式各不相同，但目的都是為了將這些數(shù)據(jù)變成可以制表的量化數(shù)據(jù)形式，所以總體上還是一致的。

四、統(tǒng)計學理論對大數(shù)據(jù)分析的意義以及面臨的挑戰(zhàn)

(一)統(tǒng)計學理論對大數(shù)據(jù)分析的意義

隨著大數(shù)據(jù)、云計算等技術的不斷發(fā)展，各行各業(yè)的信息化程度大幅提升，這也是使得每天所產(chǎn)生的數(shù)據(jù)信息量越來越多，如何從紛繁復雜的數(shù)據(jù)中提取有用的信息資源，成為企業(yè)領導者與管理者亟需解決的難題。而大數(shù)據(jù)分析技術的出現(xiàn)，不僅可以有效解決上述問題，而且還能發(fā)揮更大的作用與價值，充分挖掘到數(shù)據(jù)背后的規(guī)律，為企業(yè)及個人制定戰(zhàn)略決策提供可靠依據(jù)。時代是不斷向前發(fā)展的，數(shù)據(jù)變化速度也非?？?，想要進一步提升大數(shù)據(jù)分析技術的優(yōu)勢價值，還必須要重視對統(tǒng)計學理論的充分應用，由于二者的內(nèi)在邏輯是相互關聯(lián)的，且分析方法存在一致性，因此，能更好地實現(xiàn)有效融合。從某種程度上來說，基于統(tǒng)計學理論的大數(shù)據(jù)分析，可以協(xié)助分析人員迅速搭建數(shù)據(jù)信息處理系統(tǒng)平臺，減少量化分析時的難度以及偶然性誤差，從而取得更好的數(shù)據(jù)量化效果。另外，在進行大數(shù)據(jù)分析過程中，數(shù)據(jù)資料的前期收集、挖掘與分析等環(huán)節(jié)都需要建立相應的數(shù)據(jù)模型，以免數(shù)據(jù)結果分析不符合要求，如果將統(tǒng)計學理論應用到數(shù)據(jù)分析當中，則可以實現(xiàn)對數(shù)據(jù)信息走向和波動情況的有效預測，從而更快地了解客戶需求，為企業(yè)帶來更大的效益。

(二)大數(shù)據(jù)分析面臨的挑戰(zhàn)

隨著信息技術的持續(xù)發(fā)展，數(shù)據(jù)已成為一種新的資產(chǎn)類別，是企業(yè)和社會發(fā)展中非常重要的戰(zhàn)略資源，是大家搶奪的新焦點。應用大數(shù)據(jù)力量可以幫助企業(yè)和機構獲得更大的市場份額，提升自身的綜合競爭力，從某種程度上來說，大數(shù)據(jù)成為新的戰(zhàn)略制高點，而大數(shù)據(jù)分析同樣占據(jù)著舉足輕重的地位。在現(xiàn)階段的大數(shù)據(jù)分析中，處理非結構化數(shù)據(jù)還沒有非常好的舉措，尤其是針對高維數(shù)據(jù)分析這一塊，主要目標是通過開發(fā)有效方法來預測未來，如果樣本容量大，探索數(shù)據(jù)中每個子群體的隱藏結構就變得非常困難；如果樣本容量小，則會被看作是“離群值”，因而難以獲取有效信息。此外，大樣本和高緯度相結合，還會帶來一系列問題，比如算法不穩(wěn)定性、計算成本增加等等，而且由于異質性數(shù)據(jù)采用不同技術，擁有不同中心，所以還必須要開發(fā)更具適應性和穩(wěn)健性的程序，才能保證數(shù)據(jù)提取的有效性，這對于當前的數(shù)據(jù)分析人員來說還是存在一定困難的。除此之外，處理適量樣本與處理海量樣本所采取的措施是無法共用的，對高維數(shù)據(jù)的統(tǒng)計方法，也不一定適用于低緯度數(shù)據(jù)分析，這就要求研究人員必須使用新的統(tǒng)計思維與計算方法，而統(tǒng)計學理論在這方面起到了至關重要的作用，加強對這一理論的應用研究與分析，可以更好地應對大數(shù)據(jù)的異質性、偶然內(nèi)生性等問題，但如何實現(xiàn)二者的有效結合仍是當前的主要挑戰(zhàn)。

五、統(tǒng)計學理論在大數(shù)據(jù)分析中的具體應用

(一)神經(jīng)網(wǎng)絡法

神經(jīng)網(wǎng)絡法是統(tǒng)計學理論應用大數(shù)據(jù)分析中非常重要的一項技術方法，其主要是通過模擬人的思維來實現(xiàn)對數(shù)據(jù)信息的動態(tài)推理，在模擬的過程中，通常需要先將數(shù)據(jù)信息進行轉化，使其變成串行的指令，然后再遵循一定的規(guī)則邏輯進行信息推理，并將信息在神經(jīng)元上的興奮模式加以科學儲存，最終實現(xiàn)對數(shù)據(jù)信息的準確推理。另外，考慮到數(shù)據(jù)信息的挖掘與處理會運用到非常多不同的學科類型以及技術方法，交叉性質的特征十分明顯，因此，將統(tǒng)計學理論與大數(shù)據(jù)分析進行有效結合，也正好符合這種交叉學科類型，可以最大程度地發(fā)揮大數(shù)據(jù)分析的優(yōu)勢價值，實現(xiàn)對數(shù)據(jù)信息的動態(tài)處理。

(二)決策樹分析法

決策分析法在經(jīng)濟統(tǒng)計中同樣占據(jù)著不可替代的位置，其主要以經(jīng)濟統(tǒng)計理論為依據(jù)，在具體應用過程中，通過將多個事件或數(shù)據(jù)結果進行有規(guī)律的排布，使之形成一種向外延伸的分支圖形，如同樹干一樣，以此來實現(xiàn)對數(shù)據(jù)的預測與分析。該方法相對于神經(jīng)網(wǎng)絡法而言，最突出的優(yōu)勢就在于其數(shù)據(jù)信息是自上而下的生成，也正因如此，使得這一方法在面對龐大的數(shù)據(jù)統(tǒng)計項目時，更能夠彰顯其優(yōu)勢特征。舉例來說，某項工程需進行設計變更，為了保證全面性，設計師設計了多個方案，由于每個方案涉及到的內(nèi)容都有所區(qū)別，影響因素也各不相同，想要從眾多方案中選擇最佳的變更決策就變得尤為困難，而采用決策樹分析方法進行數(shù)據(jù)分析，就可以很好地實現(xiàn)對多個數(shù)據(jù)結果的預測分析，從而選出最為有效的變更方案，保障工程項目的利潤收益。

(三)粗集理論法

雖然粗集理論法是統(tǒng)計學理論中的一種分析方法，但準確來說更接近于數(shù)學范疇，其主要是通過上下近似集形式進行數(shù)據(jù)分析，整個操作過程相對比較簡單，不需要大量數(shù)據(jù)的支撐，因而更適用于一些不確定數(shù)據(jù)資料的統(tǒng)計項目。就目前實際情況來看，粗集理論法在大數(shù)據(jù)分析中還屬于比較新型的思維分析模式，想要使其發(fā)揮更大的作用與價值，還必須要持續(xù)加強對該方法的應用研究，尤其是要提高其在不確定經(jīng)濟要素轉化方面的優(yōu)勢，這樣才能更好地提升數(shù)據(jù)分析的準確性與可靠性。

(四)遺傳計算法

遺傳算法是通過模擬達爾文的自然選擇機制來實現(xiàn)對數(shù)據(jù)模型的構建，其最突出的特征就是依據(jù)自然界的生物進化過程來搭建模型，可以最大程度地挖掘隱含性的數(shù)據(jù)信息，并通過遺傳算法使這些隱含信息得到延伸和優(yōu)化，從而獲取到更多的信息內(nèi)容，為大數(shù)據(jù)分析提供更為精準有效的分析結果。從另一層面來看，該方法是將數(shù)據(jù)和計算機仿真進行了結合，因而在大數(shù)據(jù)分析中占據(jù)更大的優(yōu)勢，不僅可以從特定群體中獲取數(shù)據(jù)信息，而且還能對這些信息進行拓展，得出優(yōu)化后的數(shù)據(jù)結果，所以在預測數(shù)據(jù)信息走向和波動情況方面，具有非常突出的應用價值。

六、結語

綜上所述，大數(shù)據(jù)時代是信息社會運作的必然結果，大數(shù)據(jù)分析也將成為各行業(yè)領域中最為重要的發(fā)展戰(zhàn)略，想要充分發(fā)揮大數(shù)據(jù)分析的優(yōu)勢作用，就必須要重視對統(tǒng)計學理論的有效應用。因此，相關研究人員應當提高對統(tǒng)計學理論研究的重視程度，不斷探究其在大數(shù)據(jù)分析中的應用方法與應用策略，以便更好地將數(shù)據(jù)中的信息和規(guī)律有效提取出來，助力各行業(yè)的發(fā)展。與此同時，還需要研究如何將數(shù)據(jù)中的不確定性量化出來，進一步提升數(shù)據(jù)分析的價值，這樣才能為商業(yè)組織提供更好的數(shù)據(jù)信息服務，使信息社會更上一個臺階?！?/p>