論大數(shù)據(jù)環(huán)境下的統(tǒng)計(jì)新思維

盧荷琴 臺州市統(tǒng)計(jì)局

論大數(shù)據(jù)環(huán)境下的統(tǒng)計(jì)新思維

盧荷琴 臺州市統(tǒng)計(jì)局

隨著全球經(jīng)濟(jì)一體化進(jìn)程的加快，移動互聯(lián)網(wǎng)信息技術(shù)飛速發(fā)展，其中具有巨大價(jià)值的大數(shù)據(jù)技術(shù)成為各個(gè)公司關(guān)注的焦點(diǎn)。這就使得具有同樣核心的以數(shù)據(jù)的收集整理和分析的統(tǒng)計(jì)學(xué)受到了越來越高的關(guān)注。本文以大數(shù)據(jù)的定義和數(shù)據(jù)來源出發(fā)，通過分析互聯(lián)網(wǎng)大數(shù)據(jù)的特征，把現(xiàn)代統(tǒng)計(jì)學(xué)與傳統(tǒng)統(tǒng)計(jì)學(xué)相對比，在此基礎(chǔ)上對大數(shù)據(jù)分析與傳統(tǒng)統(tǒng)計(jì)學(xué)的差異進(jìn)行討論。僅供參考。

大數(shù)據(jù) 統(tǒng)計(jì) 新思維

一、大數(shù)據(jù)簡介

傳統(tǒng)電腦端互聯(lián)網(wǎng)訪問過程中，用戶在訪問門戶網(wǎng)站時(shí)產(chǎn)生了訪問量數(shù)據(jù)，個(gè)人賬號的注冊體現(xiàn)了用戶信息，網(wǎng)絡(luò)活動顯示出用戶個(gè)人習(xí)慣。這些信息就成為了部分的網(wǎng)絡(luò)數(shù)據(jù)。手機(jī)端移動互聯(lián)網(wǎng)的蓬勃發(fā)展，擴(kuò)大了互聯(lián)網(wǎng)的覆蓋，使得人們訪問互聯(lián)網(wǎng)的方式更加便捷，這就同時(shí)加大了有價(jià)值數(shù)據(jù)的產(chǎn)生量。然而這些數(shù)據(jù)的價(jià)值也不單單體現(xiàn)的數(shù)據(jù)量的方面，這些數(shù)據(jù)也能夠體現(xiàn)更加豐富多樣的內(nèi)容。大數(shù)據(jù)技術(shù)就是對這些數(shù)據(jù)進(jìn)行統(tǒng)一的歸納、整理、分析，然后根據(jù)分析的結(jié)果進(jìn)一步了解市場需求，讓更多企業(yè)在經(jīng)營的過程中能夠很好地掌握經(jīng)營管理的主動權(quán)，提升市場競爭能力。對于企業(yè)而言，通過大數(shù)據(jù)技術(shù)能夠更好地了解消費(fèi)者的需求，生產(chǎn)出符合消費(fèi)者需求的產(chǎn)品，提升企業(yè)的經(jīng)濟(jì)增長。另外，通過大數(shù)據(jù)技術(shù)能夠了解企業(yè)產(chǎn)品給市場帶來的反應(yīng)，及時(shí)的發(fā)現(xiàn)產(chǎn)品中的不足，及時(shí)改變產(chǎn)品性能以及企業(yè)的營銷方式，提升企業(yè)對自身的認(rèn)知。隨著互聯(lián)網(wǎng)應(yīng)用范圍的不斷擴(kuò)大，任何使用互聯(lián)網(wǎng)技術(shù)的人都會在使用的過程中留下一些線索，這種線索就會被大數(shù)據(jù)技術(shù)通過收集、處理轉(zhuǎn)化為一種有價(jià)值的信息，被企業(yè)獲得并應(yīng)用，產(chǎn)生巨大的經(jīng)濟(jì)價(jià)值或者社會價(jià)值。為了能夠提升大數(shù)據(jù)技術(shù)的應(yīng)用，我們應(yīng)該建立大數(shù)據(jù)環(huán)境下的統(tǒng)計(jì)新思維。

二、如何建立大數(shù)據(jù)環(huán)境下的統(tǒng)計(jì)新思維

（一）需要改變總體、個(gè)體的定義方式

傳統(tǒng)的數(shù)據(jù)統(tǒng)計(jì)分析要先確定總體，然后再分析總體數(shù)據(jù)中存在的一些規(guī)律或者是反應(yīng)的一些事情。大數(shù)據(jù)分析方式則完全不同。大數(shù)據(jù)環(huán)境下是先有數(shù)據(jù)，再從數(shù)據(jù)中獲得產(chǎn)生數(shù)據(jù)的總體。傳統(tǒng)統(tǒng)計(jì)學(xué)比較有針對性，都是對已經(jīng)清晰的總體進(jìn)行數(shù)據(jù)收集，所以研究分析對象都比較明確。然而大數(shù)據(jù)分析方式，針對數(shù)據(jù)進(jìn)行分析，它包含的數(shù)據(jù)量非常大，針對性不強(qiáng)，沒有明確產(chǎn)生數(shù)據(jù)的總體是什么，個(gè)體又是在哪里。對于提取數(shù)據(jù)進(jìn)行分析的樣本也與傳統(tǒng)統(tǒng)計(jì)分析不同。雖然如此我們也需要盡力識別總體的個(gè)體身份。這樣才能更好的去對總體和個(gè)體的定義方式進(jìn)行有利思考。

（二）需要強(qiáng)化結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化、半結(jié)構(gòu)化或異構(gòu)數(shù)據(jù)的對接研究

半結(jié)構(gòu)、非結(jié)構(gòu)或異構(gòu)數(shù)據(jù)是大數(shù)據(jù)環(huán)境下的數(shù)據(jù)主要來源。在大數(shù)據(jù)環(huán)境下的統(tǒng)計(jì)學(xué)研究應(yīng)將傳統(tǒng)的數(shù)據(jù)定義進(jìn)行拓展和深化。數(shù)據(jù)概念的深化與拓展的根本目的是實(shí)現(xiàn)數(shù)據(jù)的結(jié)構(gòu)化與非結(jié)構(gòu)化對接。雖然大數(shù)據(jù)的定義是超大量的數(shù)據(jù)，但是并不能覆蓋所有數(shù)據(jù)。這就使得傳統(tǒng)統(tǒng)計(jì)學(xué)中的結(jié)構(gòu)化數(shù)據(jù)不能被大數(shù)據(jù)中的非結(jié)構(gòu)化數(shù)據(jù)所替代。這將是一個(gè)長期兩種數(shù)據(jù)長期并存的狀態(tài)。大數(shù)據(jù)的應(yīng)用，使得信息的收集、存儲和分解變得更加便捷且分析能力也大大加強(qiáng)，速度也大大加快。但是由于各種因素所制約，一些結(jié)構(gòu)化數(shù)據(jù)不能依賴于大數(shù)據(jù)收集，而是需要通過特定的方式去收集。因此在大數(shù)據(jù)環(huán)境下，我們應(yīng)該應(yīng)用統(tǒng)計(jì)新思維，強(qiáng)化大數(shù)據(jù)技術(shù)應(yīng)用過程中的針對性，保證大數(shù)據(jù)技術(shù)能夠得到有效的應(yīng)用，發(fā)現(xiàn)更多隱藏的信息，保證大數(shù)據(jù)環(huán)境下統(tǒng)計(jì)結(jié)果更加符合信息需求者的要求。在大數(shù)據(jù)環(huán)境下，在進(jìn)行數(shù)據(jù)分析的過程中，我們應(yīng)該不斷地結(jié)合結(jié)構(gòu)化數(shù)據(jù)以及非結(jié)構(gòu)化的特征來進(jìn)行數(shù)據(jù)分析，保證分析的結(jié)果更加準(zhǔn)確、及時(shí)，讓數(shù)據(jù)統(tǒng)計(jì)更好地發(fā)揮其自身的作用，為信息需求者提供更加有用的信息。

（三）需要轉(zhuǎn)變對抽樣調(diào)查的認(rèn)識

傳統(tǒng)統(tǒng)計(jì)學(xué)中隨機(jī)抽樣方法的應(yīng)用雖然取得了成功，但是因?yàn)槭軛l件所限，是在不能將數(shù)據(jù)全部收集和分析的情況下所選擇的一條捷徑。此方法的成功取決于采樣的絕對隨機(jī)性，但是往往絕對隨機(jī)性的確保是非常困難的，一旦采樣過程中出現(xiàn)任何差異，分析結(jié)果的正確性就會出現(xiàn)偏差。所以隨機(jī)抽樣方法先天就存在許多固有的缺陷。大數(shù)據(jù)的出現(xiàn)就可以有效的解決以往數(shù)據(jù)收集方面的問題，但是現(xiàn)階段在互聯(lián)網(wǎng)與物聯(lián)網(wǎng)不能實(shí)現(xiàn)全覆蓋的情況下，并不能拋棄傳統(tǒng)數(shù)據(jù)統(tǒng)計(jì)分析方式方法。應(yīng)當(dāng)取二者優(yōu)勢進(jìn)行互補(bǔ)，才能充分發(fā)揮出大數(shù)據(jù)時(shí)代下數(shù)據(jù)分析研究的最大工作優(yōu)勢。

（四）需要相關(guān)分析與因果分析并重

大于等于兩個(gè)變量的分析樣本所體現(xiàn)出的隨機(jī)數(shù)學(xué)關(guān)系被稱之為相關(guān)關(guān)系。它是一種存在于隨機(jī)變量中的特殊關(guān)系。諸多觀點(diǎn)認(rèn)為，在大數(shù)據(jù)時(shí)代我們只需要知道數(shù)據(jù)體現(xiàn)出的是什么，有什么數(shù)據(jù)意義，并不需要知道數(shù)據(jù)從哪里來。但是，在許多數(shù)據(jù)應(yīng)用領(lǐng)域僅僅研究數(shù)據(jù)所體現(xiàn)出來的意義是不夠的，還必須要知道數(shù)據(jù)是怎么產(chǎn)生的。只有做到了了解數(shù)據(jù)產(chǎn)生的前因后果，才能更全面的進(jìn)行數(shù)據(jù)分析。因此在大數(shù)據(jù)環(huán)境下，統(tǒng)計(jì)過程中應(yīng)該擁有新的思維，保證相關(guān)分析的同時(shí)還要加強(qiáng)因果分析，只有這兩個(gè)分析同時(shí)并重，才能保證信息數(shù)據(jù)統(tǒng)計(jì)結(jié)果的穩(wěn)定性以及準(zhǔn)確信，幫助信息需求者通過數(shù)據(jù)統(tǒng)計(jì)創(chuàng)造更多的價(jià)值。

三、總結(jié)

隨著互聯(lián)網(wǎng)的發(fā)展和計(jì)算機(jī)處理數(shù)據(jù)能力的增強(qiáng)，以及數(shù)據(jù)存儲器價(jià)格的降低，以往數(shù)據(jù)量龐大的諸如天文學(xué)、氣象學(xué)等領(lǐng)域的數(shù)據(jù)得以存儲與分析，是以大數(shù)據(jù)分析方式開始逐漸被應(yīng)用。傳統(tǒng)統(tǒng)計(jì)學(xué)是圍繞數(shù)據(jù)進(jìn)行分析，大數(shù)據(jù)分析也是圍繞數(shù)據(jù)進(jìn)行分析。所以依據(jù)兩者有著相同的分析對象，得出兩者也必然存在聯(lián)系。所以大數(shù)據(jù)時(shí)代的降臨是對統(tǒng)計(jì)學(xué)的挑戰(zhàn)也是統(tǒng)計(jì)學(xué)機(jī)遇，所以，大數(shù)據(jù)時(shí)代中統(tǒng)計(jì)學(xué)應(yīng)適應(yīng)潮流，結(jié)合大數(shù)據(jù)便利努力創(chuàng)新建立新思維。

[1] 李金昌.大數(shù)據(jù)與統(tǒng)計(jì)新思維[J].統(tǒng)計(jì)研究,2014,31(1):10-17.

[2] 耿直.大數(shù)據(jù)時(shí)代統(tǒng)計(jì)學(xué)面臨的機(jī)遇與挑戰(zhàn)[J].統(tǒng)計(jì)研究,2014,31(1):5-9.

[3] 梁吉業(yè),馮晨嬌,宋鵬.大數(shù)據(jù)相關(guān)分析綜述[J].計(jì)算機(jī)學(xué)報(bào),2016,39(1):1-18.