【摘要】大數(shù)據(jù)對統(tǒng)計(jì)學(xué)的發(fā)展帶來了巨大的機(jī)遇與挑戰(zhàn)。文章分析了大數(shù)據(jù)與統(tǒng)計(jì)學(xué)之間的基本關(guān)系,并針對大數(shù)據(jù)環(huán)境下的統(tǒng)計(jì)學(xué)課程教學(xué)提出了對策與建議。
【關(guān)鍵詞】大數(shù)據(jù) 統(tǒng)計(jì)學(xué) 挑戰(zhàn) 機(jī)遇 教學(xué)
【基金項(xiàng)目】貴州省科技廳、貴州民族大學(xué)聯(lián)合基金(黔科合J字LKM[2011]09號)
【中圖分類號】G642 【文獻(xiàn)標(biāo)識(shí)碼】A 【文章編號】2095-3089(2014)08-0235-01
1.引言
“大數(shù)據(jù)”時(shí)代的來臨和“大數(shù)據(jù)”處理技術(shù)的發(fā)展深深的影響著統(tǒng)計(jì)學(xué)的發(fā)展。能否利用傳統(tǒng)的統(tǒng)計(jì)理論和統(tǒng)計(jì)方法對海量的數(shù)據(jù)做出快速、準(zhǔn)確的處理并獲取相關(guān)信息?如何對傳統(tǒng)的統(tǒng)計(jì)理論與方法進(jìn)行改進(jìn)或探索新的統(tǒng)計(jì)理論和方法來對大數(shù)據(jù)進(jìn)行挖掘與處理以獲取信息?如何在“大數(shù)據(jù)”時(shí)代背景下培養(yǎng)符合市場需求的統(tǒng)計(jì)分析師或數(shù)據(jù)分析師?如何將“大數(shù)據(jù)”處理技術(shù)融入相關(guān)統(tǒng)計(jì)學(xué)課程教學(xué)以促進(jìn)數(shù)據(jù)處理與分析技術(shù)的發(fā)展?這些都是我們在統(tǒng)計(jì)學(xué)相關(guān)課程教學(xué)過程中必須思考的一個(gè)問題。
2.大數(shù)據(jù)與統(tǒng)計(jì)學(xué)
“大數(shù)據(jù)”隨著社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)、云計(jì)算等的興起而產(chǎn)生。一般認(rèn)為大數(shù)據(jù)具有規(guī)模性、多樣性、實(shí)時(shí)性及價(jià)值性四個(gè)基本特征,包含分析、帶寬和內(nèi)容三個(gè)要素?!按髷?shù)據(jù)”在數(shù)據(jù)來源、數(shù)據(jù)結(jié)構(gòu)和處理方法方面對傳統(tǒng)的統(tǒng)計(jì)分析方法產(chǎn)生了沖擊。第一,在大數(shù)據(jù)背景下,數(shù)據(jù)來源不再是原來的簡單抽樣,而是“樣本即總體”,直接將總體作為研究對象。第二,在大數(shù)據(jù)時(shí)代,研究對象也不是原來單一的結(jié)構(gòu)化數(shù)據(jù),由于數(shù)據(jù)的多樣化與規(guī)?;?,我們更多的是研究非結(jié)構(gòu)數(shù)據(jù),采用人工智能來進(jìn)行數(shù)據(jù)挖掘和信息獲取。第三,數(shù)據(jù)處理方法也不是簡單的采用傳統(tǒng)的假設(shè)檢驗(yàn)方法進(jìn)行研究,特別是對于統(tǒng)計(jì)學(xué)中的異常點(diǎn),不再采取以往的丟棄或者平滑處理方式。
“大數(shù)據(jù)”處理技術(shù)對統(tǒng)計(jì)學(xué)的發(fā)展提出了巨大挑戰(zhàn),但我們必須認(rèn)識(shí)到學(xué)科之間的發(fā)展是相互交融的,“大數(shù)據(jù)處理技術(shù)”其本質(zhì)上是數(shù)據(jù)處理與分析技術(shù),其發(fā)展對統(tǒng)計(jì)學(xué)學(xué)科的發(fā)展也有積極的一面,同時(shí)統(tǒng)計(jì)學(xué)作為一門獨(dú)立的學(xué)科,有其自身獨(dú)特的學(xué)科優(yōu)勢。首先,海量的數(shù)據(jù)有利于提高各類統(tǒng)計(jì)分析的精度,如減小抽樣誤差等。其次,較之于傳統(tǒng)的統(tǒng)計(jì)學(xué)方法,現(xiàn)有的“大數(shù)據(jù)”分析方法難度較大、成本較高、耗時(shí)較長。而在實(shí)際的應(yīng)用中,我們關(guān)心的不是數(shù)據(jù)量的多少,而是數(shù)據(jù)量所蘊(yùn)含的信息。傳統(tǒng)的統(tǒng)計(jì)學(xué)分析方法是以較少的數(shù)據(jù)進(jìn)行精確度相對較高的統(tǒng)計(jì)分析,這是“大數(shù)據(jù)”分析所無法替代的。另一方面,統(tǒng)計(jì)學(xué)在數(shù)據(jù)收集方法、模型選擇、模型假設(shè)以及模型診斷方面有很大優(yōu)勢。而且并不是所有的問題都具有海量的數(shù)據(jù),并不是每一個(gè)“大數(shù)據(jù)”問題都適合用現(xiàn)有的“大數(shù)據(jù)處理技術(shù)”來處理。
3.對策與建議
3.1 夯實(shí)基礎(chǔ)教學(xué)
針對以上的分析我們可以看出,大數(shù)據(jù)對統(tǒng)計(jì)學(xué)的發(fā)展既是機(jī)遇,又是挑戰(zhàn)。因此我們在教學(xué)過程中要夯實(shí)統(tǒng)計(jì)學(xué)基礎(chǔ)知識(shí)的教學(xué),講清楚統(tǒng)計(jì)學(xué)的基本原理與基本方法,特別是數(shù)據(jù)分析與數(shù)據(jù)處理的基本原理與方法。對于許多傳統(tǒng)領(lǐng)域,如生物、醫(yī)藥以及質(zhì)量與可靠性工程等,我們面對的多是“小數(shù)據(jù)”而不是大數(shù)據(jù),因此基于樣本的統(tǒng)計(jì)分析方法仍然是進(jìn)行此類問題研究的最有效的科學(xué)手段。
另一方面,我們要結(jié)合大數(shù)據(jù)技術(shù)的特點(diǎn),對統(tǒng)計(jì)學(xué)的基本知識(shí)進(jìn)行拓展教育,引導(dǎo)學(xué)生思考怎樣將已有的統(tǒng)計(jì)學(xué)基本原理與方法運(yùn)用到大數(shù)據(jù)處理的技術(shù)研究中。如在大數(shù)據(jù)環(huán)境下怎樣進(jìn)行數(shù)據(jù)的收集、篩選與甄別、存儲(chǔ)與分析等,如何分析并厘清可能的數(shù)據(jù)來源與范圍,如何建立相關(guān)指標(biāo)體系并對數(shù)據(jù)進(jìn)行分類,如何制定或調(diào)整相應(yīng)的統(tǒng)計(jì)參考標(biāo)準(zhǔn),以及如何對依靠非傳統(tǒng)數(shù)據(jù)源加工生產(chǎn)的統(tǒng)計(jì)數(shù)據(jù)進(jìn)行規(guī)范的統(tǒng)計(jì)推斷等。
隨著大數(shù)據(jù)時(shí)代的來臨,各行各業(yè)對具有統(tǒng)計(jì)背景知識(shí)人才的需求必定越來越多。因此,在統(tǒng)計(jì)學(xué)教學(xué)過程中,一定要結(jié)合各專業(yè)的特點(diǎn),特別是“大數(shù)據(jù)”的特點(diǎn),切實(shí)加強(qiáng)統(tǒng)計(jì)學(xué)的基礎(chǔ)知識(shí)教學(xué)與拓展教學(xué)。
3.2 加強(qiáng)統(tǒng)計(jì)學(xué)專業(yè)軟件教學(xué)
“大數(shù)據(jù)”環(huán)境下,對統(tǒng)計(jì)人才需求也發(fā)生了變化。面對海量的數(shù)據(jù)與多樣化的數(shù)據(jù),一名合格的統(tǒng)計(jì)人才或數(shù)據(jù)分析人才不單需要良好的統(tǒng)計(jì)素養(yǎng)與扎實(shí)的統(tǒng)計(jì)基礎(chǔ)知識(shí),更需要具有數(shù)據(jù)的存儲(chǔ)與整理能力、計(jì)算能力以及數(shù)據(jù)分析與處理能力等。這就要求在教學(xué)過程中,加強(qiáng)統(tǒng)計(jì)軟件或數(shù)學(xué)軟件的教學(xué)。
針對傳統(tǒng)的“數(shù)學(xué)證明+手工計(jì)算”或“重理論輕專業(yè)統(tǒng)計(jì)軟件”的統(tǒng)計(jì)學(xué)課程教學(xué)模式,可將統(tǒng)計(jì)軟件或數(shù)學(xué)軟件融入課堂教學(xué)并安排一定的課時(shí)上機(jī)學(xué)習(xí)統(tǒng)計(jì)軟件,以此提高學(xué)生數(shù)據(jù)處理能力,加深對統(tǒng)計(jì)學(xué)基本原理的理解與掌握。
在加強(qiáng)統(tǒng)計(jì)軟件或數(shù)學(xué)軟件,如SPSS、R、SAS以及Matlab的教學(xué)過程中,要擯棄“會(huì)軟件的操作即會(huì)統(tǒng)計(jì)技術(shù)”的思維,要讓學(xué)生真正掌握相關(guān)操作與相關(guān)算法,深入思考算法的實(shí)現(xiàn)與相關(guān)理論的應(yīng)用。同時(shí)引導(dǎo)學(xué)生思考對“大數(shù)據(jù)處理”的技術(shù)要求,包括數(shù)據(jù)搜集、發(fā)掘、存儲(chǔ)以及計(jì)算分析過程中的算法與設(shè)備要求等,引導(dǎo)學(xué)生針對大數(shù)據(jù)進(jìn)行軟件升級與開發(fā)。
3.3 突出案例教學(xué)與實(shí)踐教學(xué)
大數(shù)據(jù)的產(chǎn)生和發(fā)展源于規(guī)模經(jīng)濟(jì)問題或超規(guī)模經(jīng)濟(jì)問題的研究。每一個(gè)大數(shù)據(jù)問題的研究都是與實(shí)際經(jīng)濟(jì)或社會(huì)問題緊密相聯(lián)的,因此,在實(shí)際教學(xué)過程中,要突出案例教學(xué)與實(shí)踐教學(xué),由易到難,通過案例教學(xué)逐步引入大數(shù)據(jù)的概念以及大數(shù)據(jù)處理的基本技術(shù),提高學(xué)生的分析全局觀以及進(jìn)行實(shí)際數(shù)據(jù)分析與處理的能力。
教學(xué)改革的目的是培養(yǎng)在“大數(shù)據(jù)”時(shí)代背景下,符合市場需求的專業(yè)統(tǒng)計(jì)人才,而合格的專業(yè)統(tǒng)計(jì)人才必須具備良好的統(tǒng)計(jì)實(shí)踐能力。案例教學(xué)與統(tǒng)計(jì)實(shí)踐活動(dòng)是培養(yǎng)學(xué)生統(tǒng)計(jì)實(shí)踐能力的有效途徑。因此,在教學(xué)過程中,一方面,教師可融合各種與實(shí)際問題相關(guān)的案例進(jìn)行分析和講解,加深學(xué)生對相關(guān)統(tǒng)計(jì)理論知識(shí)的理解,激發(fā)學(xué)生的學(xué)習(xí)興趣,培養(yǎng)學(xué)生解決實(shí)際問題的能力。另一方面,教師可以組織多種形式的課堂或課堂外的統(tǒng)計(jì)實(shí)踐活動(dòng)以培養(yǎng)學(xué)生統(tǒng)計(jì)實(shí)踐。如,指導(dǎo)學(xué)生針對他們感興趣的與經(jīng)濟(jì)、社會(huì)發(fā)展相關(guān)的統(tǒng)計(jì)實(shí)際問題展開統(tǒng)計(jì)研究,設(shè)計(jì)調(diào)查問卷,收集數(shù)據(jù)、整理和分析數(shù)據(jù),撰寫研究報(bào)告,實(shí)現(xiàn)對實(shí)際問題的分析和解決等。
4.結(jié)束語
總之,在“大數(shù)據(jù)”環(huán)境下我們既要積極面對挑戰(zhàn),又要緊緊抓住機(jī)遇,切實(shí)結(jié)合“大數(shù)據(jù)”的特點(diǎn)和“大數(shù)據(jù)處理技術(shù)”發(fā)展的需求,既加強(qiáng)對傳統(tǒng)的統(tǒng)計(jì)學(xué)方法、統(tǒng)計(jì)理論的教學(xué),又積極開展 “大數(shù)據(jù)“環(huán)境下的拓展教學(xué),推動(dòng)統(tǒng)計(jì)學(xué)的發(fā)展,在數(shù)據(jù)收集、數(shù)據(jù)分析以及統(tǒng)計(jì)制度等方面進(jìn)行改革和創(chuàng)新。
參考文獻(xiàn):
[1]李國杰. 大數(shù)據(jù)研究的科學(xué)價(jià)值[J]. 中國計(jì)算機(jī)學(xué)會(huì)通訊,2012,8(9) .
[2]姜奇平. 2013 全球大數(shù)據(jù)-大數(shù)據(jù)的時(shí)代變革力量[J]. 互聯(lián)網(wǎng)周刊,2013,1.
[3]游士兵,張佩,姚雪梅.大數(shù)據(jù)對統(tǒng)計(jì)學(xué)的挑戰(zhàn)和機(jī)遇 [J]. 珞珈管理評論標(biāo),2013,2(13).
作者簡介:
黃介武(1977-),男,博士, 副教授,研究領(lǐng)域?yàn)榻y(tǒng)計(jì)模型理論與應(yīng)用。