概率論與數(shù)理統(tǒng)計(jì)在大數(shù)據(jù)分析中的應(yīng)用

梁龍龍

（蚌埠工商學(xué)院，安徽 蚌埠 233000）

概率學(xué)知識(shí)在人們?nèi)粘Ｉ钆c生產(chǎn)中體現(xiàn)得淋漓盡致。 人們認(rèn)識(shí)世界，經(jīng)過運(yùn)用概率學(xué)與數(shù)理統(tǒng)計(jì)工具，可以讓人們科學(xué)合理的分析各種復(fù)雜問題與數(shù)據(jù)，進(jìn)而明顯提升人們的生活質(zhì)量，同時(shí)可以依據(jù)現(xiàn)有數(shù)據(jù)精準(zhǔn)預(yù)測(cè)事情發(fā)展的規(guī)律與趨勢(shì)。 由于其具有這些優(yōu)點(diǎn)，促使概率論和數(shù)理統(tǒng)計(jì)成為很多復(fù)雜問題地指引方向。 當(dāng)前，人們非常需要大數(shù)據(jù)分析，同樣人們還需要一種適合大數(shù)據(jù)分析的更好辦法處理實(shí)際生產(chǎn)生活中存在的各種疑難問題。 鑒于這種情況，本文主要研究了概率論和數(shù)理統(tǒng)計(jì)在大數(shù)據(jù)分析中的具體運(yùn)用，期望可以為人們?nèi)粘Ｉa(chǎn)與生活過程中冷靜科學(xué)地進(jìn)行大數(shù)據(jù)分析提供一定的借鑒。

1 相關(guān)概述

1.1 大數(shù)據(jù)分析

從總體方面來看，大數(shù)據(jù)分析是社會(huì)不斷進(jìn)步與發(fā)展產(chǎn)生的一種新型詞語(yǔ)。 人們的生活水平得到明顯提高，在很多非常復(fù)雜的學(xué)科中之所以可以廣泛應(yīng)用大數(shù)據(jù)分析，是因?yàn)榘哑溥M(jìn)行了系統(tǒng)整合。 從某個(gè)方面來看，實(shí)際上是分析龐大的數(shù)據(jù)，其自身具有很多特點(diǎn)，如分析速度快、儲(chǔ)存量較大、準(zhǔn)確度高等，因此，在擁有顧客需求、用戶特征等方面的數(shù)據(jù)分析中得到廣泛應(yīng)用；首先從企業(yè)發(fā)展方面來看，通過大數(shù)據(jù)分析可以為企業(yè)產(chǎn)生更多的經(jīng)濟(jì)利益；其次，從消費(fèi)者方面來看，運(yùn)用大數(shù)據(jù)分析可以使消費(fèi)者感受到更加優(yōu)質(zhì)的購(gòu)物體驗(yàn)。

1.2 概率論與數(shù)理統(tǒng)計(jì)

概率論與數(shù)理統(tǒng)計(jì)是高等數(shù)學(xué)教育中非常重要的一門學(xué)科，其體現(xiàn)出分析鮮明的特點(diǎn)，尤其是從研究對(duì)象方面來看，彰顯出其具有獨(dú)特性思維分析的特點(diǎn)，概率論與數(shù)理統(tǒng)計(jì)這門學(xué)科和其他學(xué)科之間具有直接關(guān)系，以經(jīng)濟(jì)學(xué)方面為主。 概率論和數(shù)理統(tǒng)計(jì)這門學(xué)科擁有豐富的內(nèi)容，其實(shí)這是其成為高等數(shù)學(xué)這門學(xué)科重要組成元素的主要原因之一。 就目前來看，在我國(guó)各行各業(yè)中廣泛應(yīng)用了概率論與數(shù)理統(tǒng)計(jì)。 從教學(xué)實(shí)際方面來看，可以把概率論與數(shù)理統(tǒng)計(jì)單獨(dú)當(dāng)作一門學(xué)科展開教學(xué)，無論是在工業(yè)領(lǐng)域，還是其他領(lǐng)域運(yùn)用概率論與數(shù)理統(tǒng)計(jì)，均對(duì)信息技術(shù)提出了非常嚴(yán)格的要求，可以真正彰顯出概率論與數(shù)理統(tǒng)計(jì)在大數(shù)據(jù)分析中具有的優(yōu)勢(shì)，在人們生產(chǎn)與生活方面同樣發(fā)揮著積極性的作用；從另一個(gè)角度來看，概率論與數(shù)理統(tǒng)計(jì)也不能當(dāng)作單獨(dú)的學(xué)科，究其原因是其和其他學(xué)科之間具有直接關(guān)系， 發(fā)揮著相互滲透的作用。

2 概率論與數(shù)理統(tǒng)計(jì)與大數(shù)據(jù)分析的聯(lián)系

隨著大數(shù)據(jù)時(shí)代的不斷進(jìn)步與發(fā)展，人們需要在基于計(jì)算機(jī)與科學(xué)技術(shù)的基礎(chǔ)上， 在大數(shù)據(jù)分析中應(yīng)用概率論與數(shù)理統(tǒng)計(jì)， 在一定程度上拉近了概率論與數(shù)理統(tǒng)計(jì)和大數(shù)據(jù)分析之間的關(guān)系。 它們之間存在的聯(lián)系如下：

一是研究方向一致。 概率論與數(shù)理統(tǒng)計(jì)和大數(shù)據(jù)分析均是為了更加精準(zhǔn)地分析和探索數(shù)據(jù)， 以便于尋找大數(shù)據(jù)的內(nèi)部關(guān)聯(lián)和規(guī)律分布， 這樣可以看出二者之間的研究方向相同。

二是大數(shù)據(jù)發(fā)展速度的加快， 促使大數(shù)據(jù)分析為統(tǒng)計(jì)學(xué)開拓路新的領(lǐng)域與空間， 同時(shí)為概率論與數(shù)理統(tǒng)計(jì)的探究指明了方向?；诖髷?shù)據(jù)分析的前提下，概率論與數(shù)理統(tǒng)計(jì)得到迅猛發(fā)展。

三是大數(shù)據(jù)分析不是統(tǒng)計(jì)學(xué)知識(shí)范圍中的一個(gè)分支，其與統(tǒng)計(jì)學(xué)知識(shí)范圍相脫離。 大數(shù)據(jù)分析同樣不只受限于概率論與數(shù)理統(tǒng)計(jì)的關(guān)系，其還能夠被應(yīng)用于其他生活與生產(chǎn)領(lǐng)域，是這個(gè)領(lǐng)域引導(dǎo)方向發(fā)現(xiàn)規(guī)律的主要方法，如云儲(chǔ)存等。

3 概率論與數(shù)理統(tǒng)計(jì)在大數(shù)據(jù)分析中的具體應(yīng)用

3.1 在經(jīng)濟(jì)數(shù)據(jù)分析中的應(yīng)用

經(jīng)濟(jì)數(shù)據(jù)是大數(shù)據(jù)時(shí)代的多種數(shù)據(jù)中經(jīng)常見到的一種類型，經(jīng)濟(jì)數(shù)據(jù)在經(jīng)濟(jì)市場(chǎng)中起著至關(guān)重要的作用。 通過精準(zhǔn)地分析經(jīng)濟(jì)數(shù)據(jù)，有利于加快社會(huì)經(jīng)濟(jì)的發(fā)展，然而由于經(jīng)濟(jì)數(shù)據(jù)是以低密度的方式存在于互聯(lián)網(wǎng)中，因此，在分析經(jīng)濟(jì)數(shù)據(jù)時(shí)具有更高的難度。 然而在經(jīng)濟(jì)數(shù)據(jù)分析過程中運(yùn)用概率論與數(shù)理統(tǒng)計(jì)方法，可以使經(jīng)濟(jì)數(shù)據(jù)分析工作更加地簡(jiǎn)單，同時(shí)其還是目前經(jīng)濟(jì)數(shù)據(jù)分析方法中非常簡(jiǎn)單而有效的方法。 在經(jīng)濟(jì)數(shù)據(jù)分析中應(yīng)用概率論與數(shù)理統(tǒng)計(jì)時(shí)，經(jīng)常使用的分析方法是正態(tài)概率分布，然而由于正態(tài)概率分布方法可以精準(zhǔn)地預(yù)測(cè)與描述連續(xù)性隨機(jī)變量的概率，因此，在經(jīng)濟(jì)金融管理領(lǐng)域中得到廣泛普及與運(yùn)用。 正態(tài)概率分布方法可以使用概率論與數(shù)理統(tǒng)計(jì)精準(zhǔn)、有效地分析關(guān)于概率的全部信息，與此同時(shí)，按照分析結(jié)果可以動(dòng)態(tài)掌握經(jīng)濟(jì)情況，這樣可以保證人們充分了解市場(chǎng)經(jīng)濟(jì)規(guī)律，同時(shí)精準(zhǔn)地分析經(jīng)濟(jì)信息，最終利用精準(zhǔn)的信息更好地?cái)M定于調(diào)整后期的決策。 盡管經(jīng)濟(jì)市場(chǎng)呈現(xiàn)出千變?nèi)f化形勢(shì)，但是經(jīng)濟(jì)市場(chǎng)的改變同樣體現(xiàn)出一定的規(guī)律與趨勢(shì)，所以在分析經(jīng)濟(jì)數(shù)據(jù)過程中，既需要估測(cè)經(jīng)濟(jì)市場(chǎng)的變化規(guī)律與發(fā)展形勢(shì)， 同時(shí)需要全面考量經(jīng)濟(jì)市場(chǎng)中的風(fēng)險(xiǎn)。 在經(jīng)濟(jì)市場(chǎng)中的風(fēng)險(xiǎn)與利益是一種互相存在的關(guān)系，然而通過精準(zhǔn)地分析經(jīng)濟(jì)數(shù)據(jù)，既可以降低風(fēng)險(xiǎn)的發(fā)生率，同時(shí)還可以發(fā)現(xiàn)規(guī)避風(fēng)險(xiǎn)的手段，最終實(shí)現(xiàn)解決經(jīng)濟(jì)市場(chǎng)風(fēng)險(xiǎn)的效果。 在經(jīng)濟(jì)數(shù)據(jù)分析中應(yīng)用概率論與數(shù)理統(tǒng)計(jì)方法，同樣是當(dāng)前人們避免經(jīng)濟(jì)風(fēng)險(xiǎn)經(jīng)常使用的一種方法。

3.2 在商業(yè)數(shù)據(jù)分析中的應(yīng)用

在大數(shù)據(jù)時(shí)代背景下，商業(yè)數(shù)據(jù)同樣對(duì)企業(yè)的發(fā)展產(chǎn)生著直接影響，商業(yè)數(shù)據(jù)和經(jīng)濟(jì)數(shù)據(jù)之間具有一定的關(guān)聯(lián)。 企業(yè)分析商業(yè)數(shù)據(jù)過程中經(jīng)常使用概率論與數(shù)理統(tǒng)計(jì)方法。 將商業(yè)數(shù)據(jù)中的大客戶流失概率作為例子，討論了概率論和數(shù)理統(tǒng)計(jì)在商業(yè)數(shù)據(jù)中的具體運(yùn)用。

一是需要構(gòu)建相應(yīng)的研究模型，在模型建立過程中，首先，需要將大客戶的基本屬性相近作為基本條件，同時(shí)還需要保證流失數(shù)據(jù)符合相同的流失函數(shù)，即f0（t）。其次，流失數(shù)據(jù)的分布條件均是根據(jù)流失函數(shù)指數(shù)項(xiàng)exp（c,zi）T所得到的，接著尋找影響大客戶流失概率的因素，劃分?jǐn)?shù)據(jù)的類型，同時(shí)設(shè)置指定時(shí)間段，接著歸納指定情況中大客戶流失的情況，同時(shí)得到流失情況的形勢(shì)圖， 精準(zhǔn)計(jì)算流失形勢(shì)圖的標(biāo)準(zhǔn)函數(shù)，為從而得到某個(gè)確定客戶在某個(gè)時(shí)間中流失的概率和其在流失函數(shù)中占據(jù)的位置，客戶在[0,T]階段中的流失概率是p=其中p 維回歸參數(shù)的向量是c，p維協(xié)變量向量是同時(shí)把這個(gè)協(xié)變量界定為一種影響因素，從而可以實(shí)現(xiàn)研究模型的建立。

二是研究模型構(gòu)建之后， 需要挑選協(xié)變量和參數(shù)，接著利用最大類似然函數(shù)計(jì)算挑選的這些回歸參數(shù)。 因?yàn)橛?jì)算期間有多個(gè)方面的因素均對(duì)大客戶流失造成直接影響，若把全部因素界定為協(xié)變量，就會(huì)增加模型維數(shù)，從而使估測(cè)參數(shù)的難度大大增加，同樣不能有效確保參數(shù)的估測(cè)精準(zhǔn)率。 所以，這就需要選擇性使用這些因素，為了明確協(xié)變量的數(shù)量，需要根據(jù)數(shù)理統(tǒng)計(jì)結(jié)果挑選協(xié)變量，如此一來才可以防止出現(xiàn)各種錯(cuò)誤。

4 結(jié)論

通過對(duì)以上內(nèi)容進(jìn)行研究， 大數(shù)據(jù)時(shí)代背景下，概率論和數(shù)理統(tǒng)計(jì)不只是大數(shù)據(jù)分析的輔助性手段，其還屬于一種非常簡(jiǎn)單、有效的數(shù)據(jù)分析方法，在大數(shù)據(jù)分析中應(yīng)用概率論和數(shù)理統(tǒng)計(jì)時(shí)，各種類型的數(shù)據(jù)過程及效果等均是目前人們分析數(shù)據(jù)的核心對(duì)象。伴隨著目前大數(shù)據(jù)增長(zhǎng)速度的加快，在大數(shù)據(jù)分析中應(yīng)用概率論與數(shù)理統(tǒng)計(jì)，可以加快我國(guó)社會(huì)經(jīng)濟(jì)的發(fā)展速度，從而推動(dòng)其向更高的方向前進(jìn)。