概率論與數(shù)理統(tǒng)計(jì)在大數(shù)據(jù)分析中的應(yīng)用策略

（大同大學(xué)渾源師范分校 山西 渾源 037400）

0.引言

在人們的生產(chǎn)生活中，概率學(xué)知識(shí)在方方面面中得到了廣泛的應(yīng)用，它是我們對世界進(jìn)行更深刻認(rèn)識(shí)的重要工具，通過概率學(xué)與數(shù)理統(tǒng)計(jì)工具的應(yīng)用，能夠使人們對各種復(fù)雜的問題及數(shù)據(jù)進(jìn)行冷靜科學(xué)的分析，從而使人們的生活質(zhì)量得到顯著提高，并且能夠根據(jù)已有的數(shù)據(jù)對事物的演變規(guī)律及發(fā)展趨勢進(jìn)行準(zhǔn)確預(yù)測。正是因?yàn)檫@些優(yōu)勢，使概率論與數(shù)理統(tǒng)計(jì)成為許多復(fù)雜問題的指引。如今，人們對大數(shù)據(jù)的分析需求越來越迫切，這也使人們急需一種能夠適用于大數(shù)據(jù)分析的有效方法來解決實(shí)際生產(chǎn)生活中的復(fù)雜問題。鑒于此，以下便對概率論與數(shù)理統(tǒng)計(jì)在大數(shù)據(jù)分析中的相關(guān)應(yīng)用策略進(jìn)行探討，希望能為人們在生產(chǎn)生活中的大數(shù)據(jù)分析提供相應(yīng)的參考建議。

1.概率論與數(shù)理統(tǒng)計(jì)的含義

在高等數(shù)學(xué)中，概率論與數(shù)理統(tǒng)計(jì)方法一種具備鮮明特征的分析，其在研究對象上具有非常獨(dú)特的思維特征，并且它和其他學(xué)科特別是經(jīng)濟(jì)學(xué)科存在著非常緊密的聯(lián)系。概率論與數(shù)理統(tǒng)計(jì)的內(nèi)容非常豐富，這也使其成為數(shù)學(xué)學(xué)科中的重要組成部分?，F(xiàn)階段，概率論與數(shù)理統(tǒng)計(jì)方法在各個(gè)領(lǐng)域中都得到了非常廣泛的應(yīng)用。從當(dāng)前來看，概率論與數(shù)理統(tǒng)計(jì)可以看作是一種較為獨(dú)立的學(xué)科，它在人們的生產(chǎn)生活當(dāng)中發(fā)揮著巨大的作用，不論是在工業(yè)領(lǐng)域還是在其他領(lǐng)域，概率論與數(shù)理統(tǒng)計(jì)方法對信息技術(shù)的要求都非常嚴(yán)格，利用概率論與數(shù)理統(tǒng)計(jì)方法在大數(shù)據(jù)分析中具有著無可比擬的優(yōu)勢。同時(shí)，其又不屬于獨(dú)立學(xué)科，這是因?yàn)樗推渌麑W(xué)科存在著緊密的內(nèi)在聯(lián)系，具有相互滲透的作用，正是因?yàn)楦怕收撆c數(shù)理統(tǒng)計(jì)的涵蓋范圍與應(yīng)用范圍非常廣泛，這也使人們難以對其進(jìn)行逐一解釋。因此，本文只對概率與數(shù)理統(tǒng)計(jì)在其中幾個(gè)方面中的應(yīng)用策略進(jìn)行了探討，以此明確概率論與數(shù)理統(tǒng)計(jì)在大數(shù)據(jù)中的具體應(yīng)用及作用。

2.概率論與數(shù)理統(tǒng)計(jì)和大數(shù)據(jù)分析的密切聯(lián)系及常用方法

2.1 概率論與數(shù)理統(tǒng)計(jì)和大數(shù)據(jù)分析的密切聯(lián)系

大數(shù)據(jù)時(shí)代的來臨，使人們能夠利用概率論與數(shù)理統(tǒng)計(jì)來對大數(shù)據(jù)進(jìn)行分析，這也使其和大數(shù)據(jù)分析具備著密切的聯(lián)系，其聯(lián)系主要集中在以下四個(gè)方面，首先，概率論與數(shù)理統(tǒng)計(jì)和大數(shù)據(jù)分析的研究目標(biāo)是相同的，都是為了對數(shù)據(jù)結(jié)構(gòu)進(jìn)行探索與明確，以此找出大數(shù)據(jù)的內(nèi)部聯(lián)系與規(guī)律。其次，大數(shù)據(jù)的不斷發(fā)展，使大數(shù)據(jù)分析為統(tǒng)計(jì)學(xué)開拓出了一個(gè)新的應(yīng)用空間，這也為概率論與數(shù)理統(tǒng)計(jì)的研究提供了一個(gè)全新的課題，通過對大數(shù)據(jù)的分析，能夠極大程度的推動(dòng)概率論與數(shù)理統(tǒng)計(jì)的發(fā)展。再次，大數(shù)據(jù)分析并不屬于統(tǒng)計(jì)學(xué)中的一種分支，大數(shù)據(jù)分析還能夠廣泛應(yīng)用于其他領(lǐng)域當(dāng)中，能夠?yàn)槠渌I(lǐng)域提供新的思想、工具與方法，例如利用大數(shù)據(jù)分析可以使機(jī)器進(jìn)行學(xué)習(xí)，并能夠?qū)崿F(xiàn)數(shù)據(jù)存儲(chǔ)等。最后，概率論與數(shù)理統(tǒng)計(jì)是DM中一種應(yīng)用非常廣泛而又較為成熟的解決問題方法與技術(shù)，其在DM中占據(jù)著極為重要的地位。

2.2 概率論與數(shù)理統(tǒng)計(jì)在大數(shù)據(jù)分析中的常用方法

概率論與數(shù)理統(tǒng)計(jì)在大數(shù)據(jù)分析中的常用方法主要有兩種，一種是層次分析法，另一種是蒙特卡羅法，所謂層次分析法是指當(dāng)人們對某些不確定因素的演變規(guī)律及發(fā)展趨勢進(jìn)行研究時(shí)，必須要對這些因素的影響作用及相互聯(lián)系進(jìn)行綜合考慮，由于評價(jià)指標(biāo)中的這些不確定性因素是可以按照層次進(jìn)行劃分的，同時(shí)，在各個(gè)層次中的不確定性因素內(nèi)還包含著若干要素，這就使整個(gè)復(fù)雜問題的結(jié)構(gòu)看上去是一種多級遞階結(jié)構(gòu)，在對這類問題進(jìn)行解決時(shí)，就可以采用層次分析法來對這些層次中的不確定性因素對于整個(gè)問題的相對重要度進(jìn)行判斷，而這便產(chǎn)生了概率。在應(yīng)用層次分析法時(shí)，應(yīng)通過四個(gè)步驟來建立數(shù)學(xué)模型，第一個(gè)步驟是先對問題中的各個(gè)因素進(jìn)行明確，然后對這些因素進(jìn)行層次劃分，使整個(gè)問題的結(jié)構(gòu)屬于一種遞階層次結(jié)構(gòu)，然后以上一級的要素作為準(zhǔn)則來對下一級的要素實(shí)施兩兩對比，并按照評定尺度來對下一級要素對于上一級要素的重要程度進(jìn)行確定，并構(gòu)建出相應(yīng)的判斷矩陣，然后對問題中的各個(gè)要素的相對重要度進(jìn)行計(jì)算，同時(shí)計(jì)算出該問題的綜合重要度，進(jìn)而給決策者帶來可靠的決策支持保證。蒙特卡羅法則是在概率論與數(shù)理統(tǒng)計(jì)的基礎(chǔ)上對問題中的不確定性因素進(jìn)行反復(fù)隨機(jī)的抽樣，以此模擬出該不確定性因素的自身變化給問題帶來的影響程度，并對問題中的所有不確定因素給問題帶來的影響進(jìn)行計(jì)算分析，進(jìn)而獲得科學(xué)的分析結(jié)果。蒙特卡羅法能夠?qū)栴}的實(shí)際過程進(jìn)行真實(shí)模擬，這也使其在對實(shí)際問題的解決上具有十分顯著的效果。蒙特卡羅法的數(shù)學(xué)表達(dá)式是Z=k(x1,x2,x3,...,xn)，在該數(shù)學(xué)表達(dá)式中，xi(i=1,2,3,...,n)代表該復(fù)雜問題中存在n個(gè)互相獨(dú)立的隨機(jī)變量，例如在對問題產(chǎn)生影響的所有不確定性因素中，這些不確定性因素便是變量且呈概率分布特征，n個(gè)變量的函數(shù)則是Z，而這也正是需要求解的目標(biāo)。

3.概率論與數(shù)理統(tǒng)計(jì)在大數(shù)據(jù)分析中的應(yīng)用策略

3.1 概率論與數(shù)理統(tǒng)計(jì)在經(jīng)濟(jì)數(shù)據(jù)分析中的應(yīng)用策略

在大數(shù)據(jù)時(shí)代，數(shù)據(jù)對于經(jīng)濟(jì)的作用是不言而喻的，而在各種類型的數(shù)據(jù)當(dāng)中，經(jīng)濟(jì)數(shù)據(jù)是最為常見的類型，對這些經(jīng)濟(jì)數(shù)據(jù)的分析對于推動(dòng)社會(huì)經(jīng)濟(jì)發(fā)展具有著十分重要的意義。由于經(jīng)濟(jì)數(shù)據(jù)在互聯(lián)網(wǎng)中是以低密度形式存在的，這也給人們對經(jīng)濟(jì)數(shù)據(jù)的分析帶來較大的難度。而利用概率論與數(shù)理統(tǒng)計(jì)來對經(jīng)濟(jì)數(shù)據(jù)進(jìn)行分析，則不失為一種簡單而有效的方法。例如，利用正態(tài)概率分布方法來對經(jīng)濟(jì)數(shù)據(jù)分析，該方法能夠?qū)B續(xù)性隨機(jī)變量的概率進(jìn)行預(yù)測與描述，而這種概率方法也被普遍應(yīng)用到經(jīng)濟(jì)金融管理領(lǐng)域當(dāng)中。利用該方法能夠使人們能過概率論與數(shù)理統(tǒng)計(jì)來對概率的所有相關(guān)信息進(jìn)行快速而又高效的分析，并按照分析結(jié)果來對市場經(jīng)濟(jì)狀況進(jìn)行實(shí)時(shí)掌握，使人們能夠了解市場經(jīng)濟(jì)規(guī)律，并從中分析出更多的經(jīng)濟(jì)信息，通過這些信息的幫助來對后續(xù)的決策與計(jì)劃進(jìn)行靈活的制定與調(diào)整。經(jīng)濟(jì)市場是變幻莫測的，但在變化上卻不會(huì)過于離譜，而對經(jīng)濟(jì)數(shù)據(jù)的分析除了要對經(jīng)濟(jì)市場的變化規(guī)律及發(fā)展趨勢進(jìn)行預(yù)測，還要考慮經(jīng)濟(jì)市場中的風(fēng)險(xiǎn)性，風(fēng)險(xiǎn)的存在是利益的獲取并不總是一成不變的，但通過對經(jīng)濟(jì)數(shù)據(jù)的分析能夠找出相應(yīng)的應(yīng)對措施來避免這些問題。對于經(jīng)濟(jì)風(fēng)險(xiǎn)來說，要想避免經(jīng)濟(jì)風(fēng)險(xiǎn)的產(chǎn)生，利用概率論與數(shù)理統(tǒng)計(jì)能夠有效降低經(jīng)濟(jì)風(fēng)險(xiǎn)的發(fā)生概率，而這也是人們最常采用的應(yīng)對方法。以股票投資為例，利用概率論與數(shù)理統(tǒng)計(jì)方法來對經(jīng)濟(jì)數(shù)據(jù)進(jìn)行分析，可以顯而易見的看出投資股票的數(shù)量越多，則利潤的產(chǎn)生概率要比投資股票數(shù)量少的要高的多，而這正是通過概率論與數(shù)理統(tǒng)計(jì)方法得到的，因此，在投資決策中，更多的投資者往往會(huì)將資金分散到更多的股票當(dāng)中來降低風(fēng)險(xiǎn)，而這就使投資者的利潤獲得概率大大提高，由此可見，概率論與數(shù)理統(tǒng)計(jì)在經(jīng)濟(jì)數(shù)據(jù)分析中具有顯著的作用。

3.2 概率論與數(shù)理統(tǒng)計(jì)在商業(yè)數(shù)據(jù)分析中的應(yīng)用策略

在大數(shù)據(jù)環(huán)境中，商業(yè)數(shù)據(jù)對于企業(yè)的重要性是不言而喻的，商業(yè)數(shù)據(jù)與經(jīng)濟(jì)數(shù)據(jù)存在一定的聯(lián)系，商業(yè)數(shù)據(jù)屬于經(jīng)濟(jì)數(shù)據(jù)的一種，但經(jīng)濟(jì)數(shù)據(jù)卻不一定是商業(yè)數(shù)據(jù)。企業(yè)在對商業(yè)數(shù)據(jù)進(jìn)行分析時(shí)，概率論與數(shù)理統(tǒng)計(jì)是最為常用的一種方法。以商業(yè)數(shù)據(jù)中的大客戶流失概率為例來對概率論與數(shù)理統(tǒng)計(jì)在商業(yè)數(shù)據(jù)中的應(yīng)用策略進(jìn)行探討。首先需要建立研究模型，在模型建立時(shí)需要確保滿足以下條件，其一是大客戶的基本屬性應(yīng)當(dāng)是相近的，并且流失數(shù)據(jù)能夠滿足相同的流失函數(shù)f0(t)。其二是流失數(shù)據(jù)的分布條件均來自于流失函數(shù)指數(shù)項(xiàng)，然后找出哪些因素給大客戶的流失概率造成較大影響，對數(shù)h0(t)據(jù)進(jìn)行歸類并設(shè)定特定時(shí)段，然后對特定情況中的大客戶流失情況進(jìn)行匯總，并獲得流失情況走勢圖，然后計(jì)算出走勢圖的標(biāo)準(zhǔn)函數(shù)，即，進(jìn)而獲得某個(gè)確定客戶在某一時(shí)間中的流失概率與所在流失函數(shù)中的位置，客戶在[0,T]時(shí)期內(nèi)的流失概率為p=維回歸參數(shù)的向量為c，p維協(xié)變量向量為，并將該協(xié)變量當(dāng)作一種影響因素進(jìn)行定義，進(jìn)而完成研究模型的構(gòu)建。其次，在研究模型建立后，便要選擇參數(shù)與協(xié)變量，然后通過最大偏似然函數(shù)對這些選擇的回歸參數(shù)進(jìn)行計(jì)算。由于計(jì)算過程中對于大客戶流失的影響因素有多個(gè)，如果將所有因素全部定義成協(xié)變量，則會(huì)使模型維數(shù)更多，進(jìn)而使參數(shù)估計(jì)難度大大提升，這也使參數(shù)的估計(jì)正確率無法得到保證。因此，需要對這些因素進(jìn)行選擇性使用，為了對協(xié)變量的數(shù)量進(jìn)行確定，應(yīng)按照數(shù)理統(tǒng)計(jì)結(jié)果進(jìn)行篩選，這樣才能避免錯(cuò)誤的產(chǎn)生。

4.結(jié)語

綜上所述，概率論與數(shù)理統(tǒng)計(jì)在大數(shù)據(jù)分析中的作用是非常明顯的，現(xiàn)如今，概率論與數(shù)理統(tǒng)計(jì)在大數(shù)據(jù)分析中已經(jīng)不再是一種輔助分析工具，更是一個(gè)簡單而又高效的分析方法。通過概率論與數(shù)理統(tǒng)計(jì)的應(yīng)用，對于大數(shù)據(jù)中各類數(shù)據(jù)的過程、趨勢、效果等都已經(jīng)成為人們進(jìn)行數(shù)據(jù)分析時(shí)的分析對象。面對大數(shù)據(jù)的高速增長趨勢，應(yīng)用概率論與數(shù)理統(tǒng)計(jì)來進(jìn)行大數(shù)據(jù)分析，將更有助于推動(dòng)人們生產(chǎn)生活的發(fā)展，促進(jìn)我國經(jīng)濟(jì)的快速增長。