大數(shù)據(jù)技術(shù)及應(yīng)用淺析

周彬

摘要：隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，人類社會逐漸步入數(shù)據(jù)技術(shù)時代。數(shù)據(jù)成了構(gòu)成信息化社會的基本元素，由原來的數(shù)據(jù)積累變成一項優(yōu)質(zhì)的社會資源，大數(shù)據(jù)作為繼云計算、物聯(lián)網(wǎng)之后IT行業(yè)又一顛覆性的技術(shù)。本文結(jié)合大數(shù)據(jù)的特點，介紹大數(shù)據(jù)的主要技術(shù)，對大數(shù)據(jù)在人類社會的生產(chǎn)和生活方面產(chǎn)生的影響和創(chuàng)造的機遇進行展望。

關(guān)鍵詞：大數(shù)據(jù)；大數(shù)據(jù)技術(shù)大數(shù)據(jù)發(fā)展

一、大數(shù)據(jù)的源起

隨著計算機技術(shù)在人類社會的融合，使我們的生活、工作和學(xué)習(xí)都產(chǎn)生了巨大的、海量的數(shù)據(jù)。例如一些醫(yī)療服務(wù)類網(wǎng)站，將醫(yī)生信息、門診信息等現(xiàn)實事物數(shù)字化，形成了大量網(wǎng)絡(luò)數(shù)據(jù)。互聯(lián)網(wǎng)社交、搜索和電商也在不斷產(chǎn)生大量數(shù)據(jù)。大量移動電子終端設(shè)備的出現(xiàn)（物聯(lián)、車聯(lián)、GPS等），更加快了互聯(lián)網(wǎng)數(shù)據(jù)制造的速度。從數(shù)字上說，到2012年，互聯(lián)網(wǎng)數(shù)據(jù)量已經(jīng)從TB（1024GB=1TB）級別躍升到PB（1024TB=1PB）、EB（1024PB=1EB）乃至ZB（1024EB=1ZB）級別。據(jù)估計，到2020年，全球數(shù)據(jù)量將達到2015年的44倍，增長速度超過摩爾定律。而這樣的增長速度和規(guī)模已經(jīng)超出了日常軟件在可容忍期限內(nèi)獲取、管理和加工數(shù)據(jù)的能力。

其實早在1980年著名未來學(xué)家托夫勒在其所著的《第三次浪潮》中就熱情地將“大數(shù)據(jù)”稱頌為 “第三次浪潮的華彩樂章”。但大數(shù)據(jù)被重視應(yīng)用則是到了2011年由麥肯錫公司發(fā)布了關(guān)于“大數(shù)據(jù)”的報告，該報告對“大數(shù)據(jù)”的影響、關(guān)鍵技術(shù)和應(yīng)用領(lǐng)域等都進行了詳盡的分析。

二、大數(shù)據(jù)的主要技術(shù)

大數(shù)據(jù)技術(shù)的意義不在于龐大的數(shù)據(jù)集合，而是從各種類型的數(shù)據(jù)中快速獲得有價值信息的技術(shù)。但是要處理的數(shù)據(jù)量實在是太大、增長太快了，而業(yè)務(wù)需求和競爭壓力對數(shù)據(jù)處理的實時性、有效性又提出了更高要求，傳統(tǒng)的常規(guī)技術(shù)手段根本無法應(yīng)付。在這種情況下，技術(shù)人員紛紛研發(fā)和采用了一批新技術(shù)，主要包括分布式緩存、基于MPP的分布式數(shù)據(jù)庫、分布式文件系統(tǒng)、各種NoSQL分布式存儲方案等。主要包括：大數(shù)據(jù)采集、大數(shù)據(jù)預(yù)處理、大數(shù)據(jù)存儲、大數(shù)據(jù)分析及挖掘等。

數(shù)據(jù)采集是指通過RFID射頻數(shù)據(jù)、傳感器數(shù)據(jù)、社交網(wǎng)絡(luò)交互數(shù)據(jù)及移動互聯(lián)網(wǎng)數(shù)據(jù)等方式獲得的各種類型的結(jié)構(gòu)化、半結(jié)構(gòu)化（或稱之為弱結(jié)構(gòu)化）及非結(jié)構(gòu)化的海量數(shù)據(jù)，是大數(shù)據(jù)知識服務(wù)模型的根本。重點要突破分布式高速高可靠數(shù)據(jù)爬取或采集、高速數(shù)據(jù)全映像等大數(shù)據(jù)收集技術(shù)；突破高速數(shù)據(jù)解析、轉(zhuǎn)換與裝載等大數(shù)據(jù)整合技術(shù)；設(shè)計質(zhì)量評估模型，開發(fā)數(shù)據(jù)質(zhì)量技術(shù)。

大數(shù)據(jù)預(yù)處理主要完成對已接收數(shù)據(jù)的辨析、抽取、清洗等操作。（1）抽?。阂颢@取的數(shù)據(jù)可能具有多種結(jié)構(gòu)和類型，數(shù)據(jù)抽取過程可以幫助我們將這些復(fù)雜的數(shù)據(jù)轉(zhuǎn)化為單一的或者便于處理的構(gòu)型，以達到快速分析處理的目的。（2）清洗：對于大數(shù)據(jù)，并不全是有價值的，有些數(shù)據(jù)并不是我們所關(guān)心的內(nèi)容，而另一些數(shù)據(jù)則是完全錯誤的干擾項，因此要對數(shù)據(jù)通過過濾“去噪”從而提取出有效數(shù)據(jù)。

大數(shù)據(jù)存儲與管理要用存儲器把采集到的數(shù)據(jù)存儲起來，建立相應(yīng)的數(shù)據(jù)庫，并進行管理和調(diào)用。重點解決復(fù)雜結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化大數(shù)據(jù)管理與處理技術(shù)。主要解決大數(shù)據(jù)的可存儲、可表示、可處理、可靠性及有效傳輸?shù)葞讉€關(guān)鍵問題。

與前面統(tǒng)計和分析過程不同的是，數(shù)據(jù)挖掘一般沒有什么預(yù)先設(shè)定好的主題，主要是在現(xiàn)有數(shù)據(jù)上面進行基于各種算法的計算，從而起到預(yù)測（Predict）的效果，從而實現(xiàn)一些高級別數(shù)據(jù)分析的需求。比較典型算法有用于聚類的Kmeans、用于統(tǒng)計學(xué)習(xí)的SVM和用于分類的NaiveBayes，主要使用的工具有Hadoop的Mahout等。該過程的特點和挑戰(zhàn)主要是用于挖掘的算法很復(fù)雜，并且計算涉及的數(shù)據(jù)量和計算量都很大，常用數(shù)據(jù)挖掘算法都以單線程為主。

三、大數(shù)據(jù)的意義和應(yīng)用

提到意義和價值，首先就要將大數(shù)據(jù)聯(lián)系到企業(yè)組織與管理方面，對大數(shù)據(jù)的合理解析可以幫助他們降本增效、做出更明智的市場決策，可以利用大數(shù)據(jù)進行精準(zhǔn)營銷與投資規(guī)劃等等。在我國，大數(shù)據(jù)將重點應(yīng)用于以下三大領(lǐng)域：商業(yè)智能、政府決策、公共服務(wù)。例如：商業(yè)智能技術(shù)，政府決策技術(shù)，電信數(shù)據(jù)信息處理與挖掘技術(shù)，電網(wǎng)數(shù)據(jù)信息處理與挖掘技術(shù)，氣象信息分析技術(shù)，環(huán)境監(jiān)測技術(shù)，警務(wù)云應(yīng)用系統(tǒng)（道路監(jiān)控、視頻監(jiān)控、網(wǎng)絡(luò)監(jiān)控、智能交通、反電信詐騙、指揮調(diào)度等公安信息系統(tǒng)），Web信息挖掘技術(shù)，多媒體數(shù)據(jù)并行化處理技術(shù)，影視制作渲染技術(shù)，其他各種行業(yè)的云計算和海量數(shù)據(jù)處理應(yīng)用技術(shù)等。

參考文獻：

[1]《大數(shù)據(jù)時代》維克托.邁爾.舍恩伯格浙江人民出版社 2012

[2]《大數(shù)據(jù)》涂子沛著，廣西師范大學(xué)出版社，2012.7

[3]《大數(shù)據(jù)思維與決策》【美】伊恩.艾瑞斯，人民郵電出版社，2014.9

[4]《大數(shù)據(jù)的力量》郭昕/孟曄機械工業(yè)出版社，2013.8endprint