大數(shù)據(jù)時(shí)代發(fā)展特征探討

周艷晨

摘要：本文對大數(shù)據(jù)的六個(gè)性質(zhì)進(jìn)行深入解讀并整理匯總了現(xiàn)階段各學(xué)科對大數(shù)據(jù)的研究情況。分析了數(shù)據(jù)信息價(jià)值在未來對企業(yè)成本和生產(chǎn)資料的影響，通過企業(yè)成本成分的變化將大數(shù)據(jù)時(shí)代劃分成大數(shù)據(jù)的初級階段、大數(shù)據(jù)的中級階段和完全大數(shù)據(jù)階段這三個(gè)階段。最后對數(shù)據(jù)產(chǎn)業(yè)的未來進(jìn)行預(yù)測。

關(guān)鍵詞：大數(shù)據(jù)；大數(shù)據(jù)階段；數(shù)據(jù)產(chǎn)業(yè)

中圖分類號：F061.3

文獻(xiàn)識別碼：A

文章編號：1001-828X（2016）036-000312-02

大數(shù)據(jù)時(shí)代的到來給人們的生活方式、工作方式和思維方式都帶來了前所未有的變化，這些變化勢必將對現(xiàn)有的經(jīng)濟(jì)結(jié)構(gòu)帶來影響，本文將對大數(shù)據(jù)的性質(zhì)特征進(jìn)行分析，從企業(yè)成本函數(shù)開始，分析大數(shù)據(jù)對于微觀經(jīng)濟(jì)的影響，繼而分析大數(shù)據(jù)下的宏觀經(jīng)濟(jì)結(jié)構(gòu)的變化，最后預(yù)測部分行業(yè)的未來發(fā)展。

一、大數(shù)據(jù)時(shí)代正在來臨

大數(shù)據(jù)時(shí)代的浪潮正在朝我們涌來。據(jù)統(tǒng)計(jì)2012年中國數(shù)據(jù)存儲(chǔ)量已經(jīng)達(dá)到364EB，約為日本的60%，北美的7%，預(yù)計(jì)到2020年，全球數(shù)據(jù)儲(chǔ)存量估計(jì)為40ZB，各單位間的計(jì)算公式為1024GB=lTB，1024TB=1PB，1024PB=lEB，1024EB=lZB。世界各國各組織已經(jīng)開始采取措施積極應(yīng)對，基于大數(shù)據(jù)的各類學(xué)術(shù)研究也正在如火如荼的進(jìn)行中。

（一）世界對大數(shù)據(jù)的響應(yīng)

為了迎接大數(shù)據(jù)時(shí)代，聯(lián)合國在2009年提出”聯(lián)合國全球脈動(dòng)“倡議，方便為各國提供實(shí)時(shí)數(shù)據(jù)分析。2012年3月，美國政府投資2億美元啟動(dòng)”大數(shù)據(jù)研究和發(fā)展計(jì)劃“。2012年7月，日本發(fā)布”新ICT計(jì)劃“，以電子政府、點(diǎn)子醫(yī)療、防災(zāi)等為中心指定新的信息通訊技術(shù)戰(zhàn)略。2013年1月美國政府宣布將投資1.89億英鎊用于對地觀測一醫(yī)療衛(wèi)生等大數(shù)據(jù)和節(jié)能技術(shù)方面。歐盟將數(shù)據(jù)信息化基礎(chǔ)設(shè)施建設(shè)作為Horizon2020計(jì)劃優(yōu)先發(fā)展領(lǐng)域5--。

在我國，科技部召開兩次香山會(huì)議，國家自然科學(xué)基金委員會(huì)2013年組織了雙清論壇，并且設(shè)立了教育部重大項(xiàng)目。2013年中旬，全國統(tǒng)計(jì)學(xué)會(huì)召開第17次統(tǒng)計(jì)科學(xué)討論會(huì)共議大數(shù)據(jù)背景下的統(tǒng)計(jì)發(fā)展。從2013年11月份開始，國家統(tǒng)計(jì)局與中國聯(lián)通，阿里巴巴、百度、58同城和上海鋼聯(lián)電子商務(wù)股份有限公司等11家企業(yè)在北京簽訂了大數(shù)據(jù)戰(zhàn)略合作框架協(xié)議。在2014年第六屆中國人民大學(xué)國際統(tǒng)計(jì)論壇上，中國統(tǒng)計(jì)局局長馬建堂在致辭中指出“以更加開放的姿態(tài)推動(dòng)大數(shù)據(jù)共享共贏，大數(shù)據(jù)應(yīng)用要共享開放，統(tǒng)一標(biāo)準(zhǔn)，市場推動(dòng)?！?/p>

（二）我國對大數(shù)據(jù)的研究現(xiàn)狀

從2011年開始，各學(xué)科對大數(shù)據(jù)的研究突然興起。其中，統(tǒng)計(jì)學(xué)，計(jì)算機(jī)科學(xué)，信息科學(xué)，電子商務(wù)等學(xué)科最為活躍。王珊等學(xué)者（2011）分析了大數(shù)據(jù)分析平臺(tái)所必須具備的幾個(gè)重要特征，對當(dāng)前主流實(shí)現(xiàn)平臺(tái)以及其混合構(gòu)架進(jìn)行分析與歸納，指出其優(yōu)勢以及不足；覃雄派等（2012）指出傳統(tǒng)及關(guān)系數(shù)據(jù)無法勝任大數(shù)據(jù)分析的任務(wù)，以MapReduce為代表的非關(guān)系數(shù)據(jù)管理技術(shù)更能滿足面向大數(shù)據(jù)的深度分析，創(chuàng)新性的提出將關(guān)系數(shù)據(jù)處理技術(shù)和分布式處理技術(shù)相結(jié)合的數(shù)據(jù)管理技術(shù)；李國杰等（2012）通過對大數(shù)據(jù)研究領(lǐng)域中幾個(gè)關(guān)鍵問題的科學(xué)思考，提出科研第四范式的思維方式的大變革觀點(diǎn)，認(rèn)為未來科技以及經(jīng)濟(jì)社會(huì)發(fā)展應(yīng)該優(yōu)先支持網(wǎng)絡(luò)大數(shù)據(jù)研究；曾鴻等（2013）闡述了大數(shù)據(jù)時(shí)代下的統(tǒng)計(jì)變革，提出構(gòu)建新的統(tǒng)計(jì)理論和分析數(shù)據(jù)的思維，提出應(yīng)該積極應(yīng)對大數(shù)據(jù)的基本觀點(diǎn)，同時(shí)指出大數(shù)據(jù)時(shí)代與計(jì)算機(jī)科學(xué)也有著緊密的聯(lián)系；朱建平等（2014）從統(tǒng)計(jì)學(xué)的角度界定了大數(shù)據(jù)的概念，明確統(tǒng)計(jì)工作和統(tǒng)計(jì)研究轉(zhuǎn)變的基本思路……

綜觀以上研究，有“三多三少”的特點(diǎn)。研究現(xiàn)實(shí)問題的多，研究基礎(chǔ)理論的少；研究特點(diǎn)變化的多，研究階段變化的少；研究經(jīng)濟(jì)統(tǒng)計(jì)學(xué)的多，研究基礎(chǔ)經(jīng)濟(jì)領(lǐng)域的少。基于這樣的研究現(xiàn)狀，本文從大數(shù)據(jù)的時(shí)代特點(diǎn)出發(fā)，分三個(gè)階段，分析大數(shù)據(jù)時(shí)代下成產(chǎn)函數(shù)的成分變化。

二、大數(shù)據(jù)

近年來對大數(shù)據(jù)的研究紛繁復(fù)雜，公認(rèn)的大數(shù)據(jù)的性質(zhì)有“六個(gè)v”，即總量大（Volume Big），多樣化（variety），快速化（velocity），價(jià)值高（value High），數(shù)據(jù)獲取與發(fā)送方式靈活（Vender），真實(shí)準(zhǔn)確（veraeity）。

（一）大數(shù)據(jù)的性質(zhì)

1.總量大

數(shù)據(jù)總量大，數(shù)據(jù)計(jì)量單位變化，超大規(guī)模單位是GB級別數(shù)據(jù)，海量數(shù)據(jù)是TB級別，大數(shù)據(jù)是PB及以上。

大數(shù)據(jù)也被形象的稱為井噴式數(shù)據(jù)，這說明，現(xiàn)階段大數(shù)據(jù)不僅僅只是總量大，數(shù)據(jù)的增長速度和增長的加速度也在變大，也就是說每天的數(shù)據(jù)增長量成指數(shù)增長。

2.多樣化

數(shù)據(jù)表現(xiàn)形式多樣，總共分為三類，即傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)，如同HTML，報(bào)表，資源庫，地理位置這種不規(guī)則不完整的半結(jié)構(gòu)化數(shù)據(jù)，還有視頻，圖片，圖像這類非結(jié)構(gòu)化數(shù)據(jù)。并且在大數(shù)據(jù)環(huán)境下，半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)與日俱增，對傳統(tǒng)的儲(chǔ)存方式提出挑戰(zhàn)。

從維度角度看，在大數(shù)據(jù)時(shí)代，我們還需要面臨超高維數(shù)據(jù)的挑戰(zhàn)。

從數(shù)據(jù)類型來看，定距、定比數(shù)據(jù)量所占比重將被更多的定序、定類數(shù)據(jù)代替，與之而來的還有可視化實(shí)時(shí)銷售圖、銷售地圖等這種新的數(shù)據(jù)類型，共同組成大數(shù)據(jù)時(shí)代的多樣性數(shù)據(jù)。

3.快速化

傳統(tǒng)統(tǒng)計(jì)部門在處理數(shù)據(jù)時(shí)要求做到及時(shí)收集和及時(shí)發(fā)布，而在大數(shù)據(jù)背景下，政府部門并不是唯一的數(shù)據(jù)來源部門，采集數(shù)據(jù)的方式和數(shù)據(jù)的來源更加多樣，同時(shí)互聯(lián)網(wǎng)減少了數(shù)據(jù)傳輸?shù)臅r(shí)間，對數(shù)據(jù)的要求變成實(shí)時(shí)采集、實(shí)時(shí)發(fā)布，公眾獲取數(shù)據(jù)將更加方便快捷。

4.價(jià)值高

大數(shù)據(jù)下數(shù)據(jù)間的“相關(guān)關(guān)系”逐漸代替“因果關(guān)系”，事物間的聯(lián)系逐漸變得清晰，僅通過事物間的“相關(guān)關(guān)系”企業(yè)就可以對其產(chǎn)品的營銷方案、生產(chǎn)成本進(jìn)行調(diào)整，獲得巨大的利潤，因此數(shù)據(jù)挖掘尤顯重要，數(shù)據(jù)的商業(yè)價(jià)值也隨之增大。

5.數(shù)據(jù)獲取與發(fā)送方式靈活

大數(shù)據(jù)下數(shù)據(jù)并非單純指統(tǒng)計(jì)部門收集的數(shù)據(jù)，還包括人們在互聯(lián)網(wǎng)上發(fā)布的信息，以及全世界的工業(yè)設(shè)備、汽車、電表上有無數(shù)的數(shù)碼傳感器中的數(shù)據(jù)，還有隨時(shí)測量和傳遞著有關(guān)位置、運(yùn)動(dòng)、震動(dòng)、溫度、濕度乃至空氣中化學(xué)物質(zhì)的變化數(shù)據(jù)等都成為數(shù)據(jù)的來源。隨著互聯(lián)網(wǎng)的發(fā)展，許多數(shù)據(jù)的發(fā)布可以做到程序自動(dòng)發(fā)布，同時(shí)借助網(wǎng)站，手機(jī)，短信等各種客戶端，第一時(shí)間將數(shù)據(jù)發(fā)布。

6.真實(shí)準(zhǔn)確

大數(shù)據(jù)下樣本即為總體，對總體的研究從傳統(tǒng)的用樣本估計(jì)總體數(shù)量特征，變化為直接計(jì)算總體特征，對總體的描述準(zhǔn)確性為100%，誤差為0，數(shù)據(jù)更加真實(shí)準(zhǔn)確。

（二）大數(shù)據(jù)對現(xiàn)實(shí)的挑戰(zhàn)

1.數(shù)據(jù)存儲(chǔ)和傳輸

大數(shù)據(jù)下，半結(jié)構(gòu)和非結(jié)構(gòu)化數(shù)據(jù)比例巨大，如何有效快速的儲(chǔ)存這些數(shù)據(jù)，降低數(shù)據(jù)在傳輸過程中的損耗，是計(jì)算機(jī)科學(xué)所要面臨的難題。

同時(shí)數(shù)據(jù)容量空前增大，加之公眾對于數(shù)據(jù)實(shí)時(shí)提取以及實(shí)時(shí)存儲(chǔ)的要求，存儲(chǔ)頻率也隨之增大，大數(shù)據(jù)對于硬件的要求也不斷提高。

2.數(shù)據(jù)塞選和處理

大數(shù)據(jù)雜亂無章，無統(tǒng)一標(biāo)準(zhǔn)。對“有用信息”的選取，對垃圾信息的處理，都需要對數(shù)據(jù)的深度挖掘處理，如何從大數(shù)據(jù)的海洋中提取需要的信息，是對信息科學(xué)的挑戰(zhàn)。

3.數(shù)據(jù)的發(fā)布和決策

大數(shù)據(jù)要求數(shù)據(jù)發(fā)布實(shí)時(shí)同時(shí)數(shù)據(jù)準(zhǔn)確，這對數(shù)據(jù)發(fā)布的效率提出了更高的要求。

大數(shù)據(jù)通過云計(jì)算，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘等方法進(jìn)行處理分析，使決策依據(jù)更為充分。大數(shù)據(jù)改變傳統(tǒng)的“經(jīng)驗(yàn)決策”方式到更加理性的“數(shù)據(jù)決策”，但是，由于大數(shù)據(jù)是對總體的研究，在面對突發(fā)事件和小概率事件時(shí)，缺乏數(shù)據(jù)支撐，使得決策不正確，如何解決大數(shù)據(jù)下的小概率事件，是統(tǒng)計(jì)學(xué)面臨的挑戰(zhàn)。

（三）適用于大數(shù)據(jù)的技術(shù)

現(xiàn)有階段適用于大數(shù)據(jù)的技術(shù)有大規(guī)模并行處理（MPP）數(shù)據(jù)庫、數(shù)據(jù)挖掘電網(wǎng)、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫、云計(jì)算平臺(tái)、互聯(lián)網(wǎng)和可擴(kuò)展的存儲(chǔ)系統(tǒng)等?，F(xiàn)介紹幾種技術(shù)。

針對大數(shù)據(jù)存儲(chǔ)能力和處理速度，先有四種解決方式，分布式處理方式、離線批處理技術(shù)、實(shí)時(shí)流處理技術(shù)和交互式分析技術(shù)。在此主要介紹分布式架構(gòu)的代表云計(jì)算平臺(tái)。按照現(xiàn)在的硬件水平，單臺(tái)的計(jì)算機(jī)無法及時(shí)有效處理大數(shù)據(jù)，可采用分布式架構(gòu)，即連接多臺(tái)計(jì)算機(jī)共同處理，這就是云計(jì)算平臺(tái)。它的特色在于對海量數(shù)據(jù)進(jìn)行分布式數(shù)據(jù)挖掘，分散數(shù)據(jù)，同時(shí)處理。云計(jì)算平臺(tái)還包括分布式數(shù)據(jù)庫、云存儲(chǔ)和虛擬化技術(shù)。

關(guān)于半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化的處理問題，Hadoop大數(shù)據(jù)處理品臺(tái)已經(jīng)是目前大數(shù)據(jù)平臺(tái)中應(yīng)用率最高的技術(shù)，可以處理文本、社交媒體訂閱以及視頻等半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。此外還有EMC Greeplam統(tǒng)一分析平臺(tái)，IBM Biglnsights大數(shù)據(jù)分析軟件，Informatica HParse數(shù)據(jù)源處理軟件，Informatica 9.1 for Big DataApplicanee大數(shù)據(jù)機(jī)，微軟SQL Server R2 Parallel Date Warehouse并行數(shù)據(jù)倉庫等技術(shù)，都在為解決此類問題進(jìn)行實(shí)踐。

對于數(shù)據(jù)的實(shí)時(shí)采集和發(fā)布問題，谷歌公司推出的MapReduce擴(kuò)展技術(shù)和NoSQL數(shù)據(jù)庫，融合了關(guān)系型數(shù)據(jù)庫和分布式數(shù)據(jù)庫的技術(shù)優(yōu)勢包含了幾種技術(shù)。關(guān)注關(guān)系型數(shù)據(jù)庫引擎的限制，如索引、流媒體和高訪問量的網(wǎng)站服務(wù)等。

還有一些研究用Regression Calibration模型校準(zhǔn)方法和OLAP聯(lián)機(jī)分析技術(shù)對數(shù)據(jù)進(jìn)行處理，從理論上證明從大數(shù)據(jù)中提取有效信息的效率可以進(jìn)一步提高。

通過這些研究，我們有信心相信在大數(shù)據(jù)時(shí)代下，技術(shù)水平完全可以跟上時(shí)代的潮流，所有的挑戰(zhàn)都可以完成。

三、大數(shù)據(jù)的三個(gè)階段

從互聯(lián)網(wǎng)時(shí)代到完全大數(shù)據(jù)時(shí)代并不是一蹴而就的，這個(gè)過程可以根據(jù)企業(yè)成本的變化分成大數(shù)據(jù)初級階段、大數(shù)據(jù)中級階段和完全大數(shù)據(jù)三個(gè)階段。

1.大數(shù)據(jù)初級階段

在大數(shù)據(jù)初級階段，數(shù)據(jù)的獲取相對困難，對于數(shù)據(jù)價(jià)值挖掘開始受到重視，以公司集團(tuán)為代表的數(shù)據(jù)信息行業(yè)正在興起，計(jì)算機(jī)科學(xué)、信息編碼技術(shù)以及統(tǒng)計(jì)分析領(lǐng)域開始繁榮。在這個(gè)階段，小范圍的數(shù)據(jù)統(tǒng)計(jì)和數(shù)據(jù)處理業(yè)務(wù)占數(shù)據(jù)行業(yè)的大多數(shù)，數(shù)據(jù)信息的價(jià)值逐漸被人們發(fā)現(xiàn)，數(shù)據(jù)開始指導(dǎo)決策，企業(yè)成本中的數(shù)據(jù)信息費(fèi)用開始出現(xiàn)。

2.大數(shù)據(jù)中級階段

在此階段，數(shù)據(jù)行業(yè)從寡頭壟斷市場進(jìn)入壟斷競爭市場，數(shù)據(jù)行業(yè)已經(jīng)相對成熟，一些行業(yè)已經(jīng)形成完整的數(shù)據(jù)產(chǎn)業(yè)鏈，從原材料的選取、生產(chǎn)、運(yùn)輸、銷售和售后服務(wù)都采用數(shù)據(jù)決策，數(shù)據(jù)將幫助這些企業(yè)實(shí)現(xiàn)中長期的最小成本。在這個(gè)階段，企業(yè)成本中廣告的費(fèi)用急劇減小，運(yùn)費(fèi)和資本的價(jià)格將降低，數(shù)據(jù)信息費(fèi)用占例增大。

3.完全大數(shù)據(jù)

隨著科學(xué)技術(shù)的發(fā)展，數(shù)據(jù)行業(yè)將進(jìn)入完全競爭狀態(tài)，獲取數(shù)據(jù)信息將變得十分方便、簡單，數(shù)據(jù)信息的交易價(jià)格會(huì)因?yàn)楦偁幍募ち叶鴮樽畹退?，?shù)據(jù)行業(yè)完全成熟，各個(gè)行業(yè)都采用數(shù)據(jù)決策，整個(gè)經(jīng)濟(jì)市場將處于完全信息狀態(tài)，所有企業(yè)都可以利用數(shù)據(jù)達(dá)到行業(yè)的長期的最小成本。此時(shí)，樣本即總體成為現(xiàn)實(shí)。在這個(gè)階段，企業(yè)成本中對于廣告、運(yùn)費(fèi)、資本和數(shù)據(jù)信息的費(fèi)用將降低至最小。

我們現(xiàn)在正處于大數(shù)據(jù)初級階段。

四、數(shù)據(jù)產(chǎn)業(yè)發(fā)展預(yù)測

現(xiàn)如今，電子商務(wù)行業(yè)如日中天，伴隨著程序員行業(yè)的興起，關(guān)于網(wǎng)絡(luò)方面的技術(shù)性人才及其緊缺，同時(shí)各企業(yè)也發(fā)現(xiàn)數(shù)據(jù)挖掘的重要性，統(tǒng)計(jì)及其相關(guān)行業(yè)也面臨著人才缺口。這些與大數(shù)據(jù)初級階段特點(diǎn)完全符合，在這個(gè)階段，數(shù)據(jù)行業(yè)的增長速度將呈現(xiàn)指數(shù)增長特點(diǎn)。隨著專業(yè)人才的增加，計(jì)算機(jī)技術(shù)的完善，將進(jìn)入大數(shù)據(jù)中級階段，越來越多的人資和投入將使得數(shù)據(jù)行業(yè)的發(fā)展進(jìn)入平穩(wěn)增長期，數(shù)據(jù)行業(yè)將面臨市場半飽和狀態(tài)，此時(shí)的數(shù)據(jù)行業(yè)從原本的J形增長，將變化為s形增長，logistic增長模型將更符合這時(shí)的狀況。在完全大數(shù)據(jù)階段，數(shù)據(jù)產(chǎn)業(yè)將變成完全競爭市場，對于數(shù)據(jù)的需求和供給將不會(huì)發(fā)生大波動(dòng)，在此階段數(shù)據(jù)產(chǎn)業(yè)已經(jīng)使得各產(chǎn)業(yè)的成本達(dá)到最優(yōu)。

五、結(jié)語

大數(shù)據(jù)給我們帶來一系列問題，比如如何處理數(shù)據(jù)獲取和傳播階段的法律糾紛，如何保障大數(shù)據(jù)時(shí)代下的信息安全，統(tǒng)計(jì)部門如何制定新的統(tǒng)計(jì)分類標(biāo)準(zhǔn)等。大數(shù)據(jù)時(shí)代就在發(fā)現(xiàn)問題與解決問題中悄然來臨。

將大數(shù)據(jù)分階段進(jìn)行研究有助于各行業(yè)各產(chǎn)業(yè)制定符合自身的發(fā)展規(guī)劃，有助于對未來發(fā)展進(jìn)行更為精準(zhǔn)的階段性預(yù)測。接下來，我們可以深入分析大數(shù)據(jù)的三個(gè)階段對企業(yè)成本函數(shù)和生產(chǎn)函數(shù)的影響；可以分析不同產(chǎn)業(yè)對于數(shù)據(jù)信息價(jià)值的需求變化。這些研究對大數(shù)據(jù)時(shí)代下的經(jīng)濟(jì)發(fā)展具有基礎(chǔ)理論意義。