大數(shù)據(jù)淺談

丁云建

摘要：隨著全面數(shù)字化時代的到來，我們日常的生活將全面數(shù)字化。本文淺談了大數(shù)據(jù)的概念、大數(shù)據(jù)的產生、意義或者價值以及未來的發(fā)展趨勢。

關鍵詞：大數(shù)據(jù)；價值；發(fā)展趨勢

中圖分類號：TP311 文獻識別碼：A 文章編號：1001-828X（2016）030-000-01

大數(shù)據(jù)一詞最早出現(xiàn)于1980年，未來學家阿爾文·托夫勒在《第三次浪潮》這本書中首先使用了大數(shù)據(jù)一詞。然而在技術層面真正提出大數(shù)據(jù)這個詞是2008年8月由維克托·邁爾-舍恩伯格及肯尼斯·庫克耶兩位數(shù)據(jù)工程師提出。隨著互聯(lián)網及計算技術的發(fā)展，今天，大數(shù)據(jù)已經成為我們日常無時無刻不在制造產生并運用的最重要信息資源。

2015年9月，國務院印發(fā)《促進大數(shù)據(jù)發(fā)展行動綱要》（以下簡稱《綱要》），系統(tǒng)部署大數(shù)據(jù)發(fā)展工作?！毒V要》明確，推動大數(shù)據(jù)發(fā)展和應用，在未來5至10年打造精準治理、多方協(xié)作的社會治理新模式，建立運行平穩(wěn)、安全高效的經濟運行新機制，構建以人為本、惠及全民的民生服務新體系，開啟大眾創(chuàng)業(yè)、萬眾創(chuàng)新的創(chuàng)新驅動新格局，培育高端智能、新興繁榮的產業(yè)發(fā)展新生態(tài)。

一、大數(shù)據(jù)的概念

大數(shù)據(jù)這個概念提出并不早，從2008年提出至今，業(yè)界還沒有公認的說法。就其定義而言，大數(shù)據(jù)是一個較為抽象的概念，至今尚無確切的定義。比較典型的有以下幾種。

1.麥肯錫全球研究所給出的定義是：一種規(guī)模大到在獲取、存儲、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉、多樣的數(shù)據(jù)類型和價值密度低四大特征。

2.維基百科的定義是：大數(shù)據(jù)是需要處理的資料量規(guī)模巨大，無法在合理的時間內，通過當前主流軟件工具擷取、管理、處理并整理的資料，它成為幫助企業(yè)決策的的資訊。

3.Gartner研究機構認為：大數(shù)據(jù)是指需要借助新的處理模式才能擁有更強決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的具有海量、多樣化和高增長率等特點的信息資產。

4.IDC對大數(shù)據(jù)的定義是：大數(shù)據(jù)一般會設計兩種或以上的數(shù)據(jù)形式。它要收集超過100TB的數(shù)據(jù)量，并且是高速、實時的數(shù)據(jù)流，或者是從小數(shù)據(jù)開始，但數(shù)據(jù)量每年會增長60%以上。

二、大數(shù)據(jù)的特征

1.數(shù)據(jù)量巨大

第一個特征是數(shù)據(jù)量大。隨著互聯(lián)網技術的廣泛運用，互聯(lián)網的信息急劇增多。大數(shù)據(jù)已經從TB級別躍升到PB級別。隨著科技的進步，也許大數(shù)據(jù)的起始計量單位至少是PB（1000個TB）、EB（100萬個TB）或Z（10億個TB）了。

2.數(shù)據(jù)種類繁多

第二個特征據(jù)是數(shù)據(jù)類型繁多。包括網站日志數(shù)據(jù)、呼叫中心通話記錄、各類社交媒體中產生的文本數(shù)據(jù)，各類位置信息數(shù)據(jù)等等。不僅包括傳統(tǒng)的關系型數(shù)據(jù)，也包括未加工過的半結構化和非結構化的數(shù)據(jù)，例如網頁、文檔、視頻、音頻、圖片、郵件等各個形勢存在的數(shù)據(jù)類型。

3.數(shù)據(jù)價值密度低

第三個特征是數(shù)據(jù)價值密度相對較低。數(shù)據(jù)量在呈幾何級數(shù)增長的同時，這些海量數(shù)據(jù)的背后所隱藏的有價值信息切并沒有呈現(xiàn)出相應比例的增長，反而是因為量的巨大，從而獲取和捕捉到對使用這些數(shù)據(jù)的使用者有價值和需求的難度成倍增加。

4.數(shù)據(jù)處理速度快、時效高

第四個特征是處理速度快，時效性要求高。這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)挖掘最顯著的特征。每一時刻，我們都在產生數(shù)據(jù)，都在進行數(shù)據(jù)更新，這就要求處理數(shù)據(jù)的速度必須快。

三、大數(shù)據(jù)的產生

大數(shù)據(jù)的產生是計算機和網絡通訊技術被廣泛運用的必然結果，特別是互聯(lián)網、移動互聯(lián)網、物聯(lián)網、社交網絡等新一代信息技術的發(fā)展。數(shù)據(jù)的產生可歸類為以下四類。

1.由數(shù)據(jù)庫產生的大數(shù)據(jù)

由企業(yè)內部的辦公自動化（OA）、企業(yè)資源計劃（ERP）、物料需求計劃（MRP）等業(yè)務及管理和決策分析系統(tǒng)所產生的數(shù)據(jù)。這些數(shù)據(jù)通過多年的累計和沉淀形成企業(yè)內部的數(shù)據(jù)，通過多年的管理、清洗、集成、結構化和標準處理，可為企業(yè)管理決策提供支持和幫助。

2.由Web記錄產生的大數(shù)據(jù)

在Web1.0時代，網站為用戶指定了大量的標準化模塊操作，用戶在使用互聯(lián)網時，參與度相對較低，對互聯(lián)網的貢獻度較低，產生的數(shù)據(jù)量也較少，進入Web2.0時代，互聯(lián)網變成開放式的，用戶的參與度更高，個人從Web1.0時代的數(shù)據(jù)使用者變成2.0時代的數(shù)據(jù)制造者，由此帶來了數(shù)據(jù)量的爆發(fā)式增長。每時每刻，個人只要登錄互聯(lián)網就在制造產生數(shù)據(jù)。

3.由移動互聯(lián)網產生的大數(shù)據(jù)

移動互聯(lián)網也算是互聯(lián)網，所以移動互聯(lián)網產生的數(shù)據(jù)應該歸類在互聯(lián)網產生的數(shù)據(jù)范圍以內，但是隨著智能終端和無線通信技術的不斷發(fā)展，移動互聯(lián)網正成為每一個用戶采用最多的互聯(lián)網參與方式。

四、大數(shù)據(jù)的價值

在每時每刻產生的海量數(shù)據(jù)時，我們每一個人，每一個參與者都將自己的實際情況、企業(yè)的發(fā)展方向、股市的發(fā)展趨勢、社會的價值導向、甚至恐怖份子的行動意圖等各個方面。所有的過去和當下都可以用數(shù)據(jù)表示，我們所有的現(xiàn)象、本質以及未來都完全蘊藏在數(shù)據(jù)中。

五、大數(shù)據(jù)未來發(fā)展的趨勢

趨勢一：數(shù)據(jù)的資源化

大數(shù)據(jù)已成為企業(yè)和社會關注的重要戰(zhàn)略資源，并已成為大家爭相搶奪的新焦點。

趨勢二：與云計算的深度結合

大數(shù)據(jù)離不開云處理，云處理為大數(shù)據(jù)提供了彈性可拓展的基礎設備，是產生大數(shù)據(jù)的平臺之一。

趨勢三：數(shù)據(jù)泄露泛濫

未來幾年數(shù)據(jù)泄露事件的增長率也許會達到100%，除非數(shù)據(jù)在其源頭就能夠得到安全保障?？梢哉f，每個財富500強企業(yè)都會面臨數(shù)據(jù)攻擊，無論他們是否已經做好安全防范。因為企業(yè)的所有信息都包含在企業(yè)數(shù)據(jù)中。

趨勢四：人類通過數(shù)據(jù)化永生

這個聽起來比較玄乎，但確實是有可能實現(xiàn)并做到的。例如一個人的身體各種特征指標都可以用數(shù)據(jù)來表示，比如顏值，現(xiàn)今我們去醫(yī)院的各種檢查最后都是以數(shù)字的形式表示。當科學技術進步到一定程度，我的感情，我們的思維都可以用數(shù)字化表示的時候，我們每個人就可以在數(shù)字層面下得到永生。

六、結語

隨著大數(shù)據(jù)時代的到來，我們每一個個體由數(shù)據(jù)的使用者變成數(shù)據(jù)的制造產生者，我們的所有完全融入了數(shù)字，形成一序列的數(shù)據(jù)鏈，在數(shù)據(jù)與數(shù)據(jù)之間只有充分融入，把握主動，站在數(shù)據(jù)挖掘的頂端才能更號的掌握未來。此文只是對大數(shù)據(jù)的一些淺顯概念做了簡單的闡述，不乏錯誤與不足之處，請斧正為謝！

參考文獻：

[1]陳工孟，須成忠.大數(shù)據(jù)導論-關鍵技術與行業(yè)應用最佳實踐.北京：清華大學出版社，2015.