淺析“大數(shù)據(jù)”時代

蘇志忠+劉慶敖

摘 要： 隨著網(wǎng)絡(luò)信息化時代的日益普遍，移動互聯(lián)、社交網(wǎng)絡(luò)、電子商務(wù)大大拓展了互聯(lián)網(wǎng)疆界和應(yīng)用領(lǐng)域，我們正處在一個數(shù)據(jù)爆發(fā)性、幾何式增長的“大數(shù)據(jù)”時代，“大數(shù)據(jù)”時代已經(jīng)來臨，將會對人類的數(shù)據(jù)駕馭能力提出前所未有的機(jī)遇與挑戰(zhàn)。

關(guān)鍵詞： 大數(shù)據(jù) 發(fā)展 影響

如果兩年前有人問，在IT領(lǐng)域什么概念最流行，可能很多人都會提到物聯(lián)網(wǎng)或云計(jì)算。但從2012以來，“大數(shù)據(jù)（Bigdata）”成為學(xué)術(shù)界、工商界和媒體爭相報(bào)道的熱詞?！按髷?shù)據(jù)”是繼續(xù)物聯(lián)網(wǎng)、云計(jì)算之后IT產(chǎn)業(yè)又一次顛覆性的技術(shù)變革，對國家治理決策、組織、業(yè)務(wù)流程及提供公共服務(wù)等方式都將產(chǎn)生巨大影響，有學(xué)者甚至將大數(shù)據(jù)時代稱為人類文明史上自工業(yè)革命以來的第二次大革命。

一、何為“大數(shù)據(jù)”

20世紀(jì)世界最偉大的技術(shù)發(fā)明之一——“互聯(lián)網(wǎng)”的誕生，標(biāo)志著人們將進(jìn)入全球性網(wǎng)絡(luò)時代。而隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，特別隨著社會媒體和移動互聯(lián)網(wǎng)用戶的逐漸發(fā)展，物聯(lián)網(wǎng)、云計(jì)算、移動互聯(lián)、車聯(lián)網(wǎng)、手機(jī)、平板電腦、PC及遍布全球各個角落的各式各樣的傳感設(shè)備、終端的接入，使各種數(shù)據(jù)呈現(xiàn)出爆發(fā)式、幾何式的快速增長。我們可以試想一下：全球各個城市的視頻監(jiān)控每時每刻都在采集流媒體數(shù)據(jù)，這是多么巨大的量？當(dāng)50億手機(jī)終端、20億臺電腦終端，隨時隨地、持續(xù)不斷地都向分布在全球各地的服務(wù)器發(fā)送數(shù)據(jù)，所帶來的數(shù)據(jù)持續(xù)增量又是一個什么概念？不能否認(rèn)，隨著大數(shù)據(jù)廣泛應(yīng)用，我們已經(jīng)身處在一個海量信息和海量數(shù)據(jù)的時代，MB、GB時代已經(jīng)成為過去，TB時代正在被超越，大數(shù)據(jù)時代已經(jīng)來臨。

目前，對大數(shù)據(jù)尚無統(tǒng)一的定義，通常人們會認(rèn)為這是一種數(shù)據(jù)量龐大、數(shù)據(jù)源形式多樣化的非結(jié)構(gòu)化數(shù)據(jù)。由于大數(shù)據(jù)分析常和云計(jì)算聯(lián)系在一起，有人會把大數(shù)據(jù)等同于云計(jì)算，也有人在大數(shù)據(jù)是一種技術(shù)還是一種現(xiàn)象之間糾結(jié)。但數(shù)據(jù)本身既是一種資源，更是一種資產(chǎn)，大數(shù)據(jù)是有價值的，這一點(diǎn)在業(yè)界已經(jīng)達(dá)成共識。在這里我們還必須先厘清幾個概念：一是結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)可以在關(guān)系數(shù)據(jù)庫中找到，多年來一直主導(dǎo)著IT的應(yīng)用；二是半結(jié)構(gòu)化數(shù)據(jù)。半結(jié)構(gòu)化數(shù)據(jù)包括電子郵件、文字處理文件及發(fā)布在網(wǎng)絡(luò)上的新聞等，以實(shí)際內(nèi)容為基礎(chǔ)；三是非結(jié)構(gòu)化數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)廣泛應(yīng)用于社交網(wǎng)絡(luò)平臺、物聯(lián)網(wǎng)平臺和電子商務(wù)之中。隨著社交網(wǎng)絡(luò)平臺的增量、傳感器應(yīng)用等新技術(shù)不斷發(fā)展與創(chuàng)新，更有數(shù)據(jù)稱，超過80%～90%的數(shù)據(jù)屬于非結(jié)構(gòu)化數(shù)據(jù)。

二、大數(shù)據(jù)帶來的改變

現(xiàn)今的信息資源已日益成為與人力資源、物質(zhì)資源同等重要的社會和企業(yè)資源。目前，大數(shù)據(jù)之所以越來越受到人們的認(rèn)可和追捧，主要是因?yàn)槠渚哂蟹浅V闊的研究和應(yīng)用前景，正悄悄改變?nèi)藗兊膫鹘y(tǒng)思維，并滲透到各個行業(yè)和各職能業(yè)務(wù)領(lǐng)域，這也意味著大數(shù)據(jù)將是一座巨大的金礦正等待著人們?nèi)ラ_發(fā)和挖掘。同時，大數(shù)據(jù)帶來的商業(yè)機(jī)會現(xiàn)在為越來越多具有技術(shù)前瞻性和有實(shí)力的企業(yè)所重視，在各個領(lǐng)域發(fā)揮著重要作用，為廣大用戶提供更加專業(yè)化和個性化的服務(wù)。

例如，在中國，鐵路作為國民經(jīng)濟(jì)的大動脈，在國民經(jīng)濟(jì)發(fā)展中具有重要作用。隨著中國高鐵的快速發(fā)展，“四縱四橫”鐵路客運(yùn)快速通道的實(shí)現(xiàn)，將會對現(xiàn)有交通運(yùn)輸格局產(chǎn)生深遠(yuǎn)影響。大數(shù)據(jù)在鐵路運(yùn)輸方面也有直觀表現(xiàn)：首先，可以通過鐵路客運(yùn)信息的收集、整理、分析預(yù)測客運(yùn)量，合理整合運(yùn)力資源。其次，通過鐵路信息海量數(shù)據(jù)統(tǒng)計(jì)，實(shí)際反映出旅客群體自身需求，通過數(shù)據(jù)分析優(yōu)化配置并開展更為廣闊的增值業(yè)務(wù)。最后，相對于傳統(tǒng)信息處理方式，大數(shù)據(jù)將大大節(jié)省研發(fā)成本和人力資源，會對人們的不同需求做出正確判斷，它的分析將會把市場發(fā)展的不可預(yù)測性變?yōu)橐环N可能，同樣，利用“大數(shù)據(jù)”預(yù)測客運(yùn)、貨運(yùn)的趨勢將成為可能。

在德國，大數(shù)據(jù)技術(shù)已經(jīng)被用于智能電網(wǎng)的各個終端，即現(xiàn)在所說的智能電表。同時，為了鼓勵大家積極使用太陽能，從而節(jié)約物質(zhì)能源。各個家庭在安裝太陽能設(shè)備終端后，除滿足自家使用外，還可以把太陽能產(chǎn)生的多余電賣給電網(wǎng)企業(yè)。而智能電網(wǎng)可以每隔5～10分鐘收集一次用電使用數(shù)據(jù)，這些收集的數(shù)據(jù)可以用來分析、預(yù)測各個客戶的用電習(xí)慣等，通過數(shù)據(jù)分析、預(yù)測，從而推斷出在未來幾個月的時間內(nèi)，整個電網(wǎng)相對準(zhǔn)確的用電需求。

而易趣網(wǎng)（eBay）則將結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)結(jié)合在一起，為準(zhǔn)確分析各用戶的購物行為，eBay定義超過2000種各類型的數(shù)據(jù)，對顧客的行為進(jìn)行持續(xù)跟蹤分析。比如，廣告收入上，利用該系統(tǒng)，eBay能夠精確計(jì)算出每一個關(guān)鍵字為其帶來的投資回報(bào)。通過對廣告投放的優(yōu)化，eBay產(chǎn)品銷售的廣告成本降低了99%，頂級賣家占總銷售額的百分比卻上升到45%。

三、結(jié)語

隨著信息通信技術(shù)發(fā)展積極累至今，大數(shù)據(jù)作為新發(fā)明和新資源，正通過不斷的技術(shù)創(chuàng)新和發(fā)展，讓我們有機(jī)會更加深入走進(jìn)信息社會，正在逐漸改變我們的生活方式和思維模式，其所帶來的巨大價值正被人們認(rèn)可，而且在社會整體建設(shè)中的信息孤島現(xiàn)象將大幅消減，數(shù)據(jù)共享將成為可能，具體而言，在國家政策支持下，依托大數(shù)據(jù)發(fā)展，有利于提高科學(xué)決策能力，有利于管理模式的改變，有利于節(jié)約社會資源和成本，提升公共服務(wù)保障能力。