大數(shù)據(jù)是什么

陳瞳　林捷

摘要：“大數(shù)據(jù)”，這個現(xiàn)在大家耳熟能詳?shù)拿~，到底是怎么一回事？雖然大數(shù)據(jù)已經(jīng)為人所知，但是大數(shù)據(jù)到底是怎么一回事，可能還是有很多人沒有搞明白，甚至還有某些誤區(qū)。該文就大數(shù)據(jù)的起源開始述說，來解釋大數(shù)據(jù)，從大數(shù)據(jù)的總體技術(shù)架構(gòu)講到大數(shù)據(jù)應用，闡明大數(shù)據(jù)技術(shù)里的各種關(guān)系以及大數(shù)據(jù)在技術(shù)之外還包含什么，它們之間有什么聯(lián)系等，最后總結(jié)全文。

關(guān)鍵詞：大數(shù)據(jù)；起源；技術(shù)架構(gòu)；大數(shù)據(jù)應用；關(guān)系

中文分類號：TP391.1 文獻標識碼：A 文章編號：1009-3044（2017）13-0010-02

1概述

自從2013年成為大數(shù)據(jù)元年，“大數(shù)據(jù)”這個名詞越來越多地進入了人們的視野，大數(shù)據(jù)技術(shù)、大數(shù)據(jù)應用也越發(fā)受到追捧，這個名詞已然成為了當前社會科學領(lǐng)域的一種時尚或者時髦。即便不從事科研工作或者在科技領(lǐng)域甚至其平日里不需要接觸大數(shù)據(jù)概念的人們也對此熟悉，就可以類比成平日里漫天飛舞的廣告，雖然人們不深究廣告中所賣的東西的具體內(nèi)涵，但就其名字來講已經(jīng)了然于胸。

雖然大數(shù)據(jù)變成熱門話題是近幾年的事情，但其實大數(shù)據(jù)的概念是早就存在了的。對于“大數(shù)據(jù)”這三個字中的“大”字，可以理解成是快速發(fā)展的意思，因此已非常貼切地反映出了大數(shù)據(jù)發(fā)展的歷史性和快速增長性。大數(shù)據(jù)的歷史可以追溯到歷史上的1890年，也就是離現(xiàn)在大約一百二十多年（一個多世紀）前，美國的一位統(tǒng)計學家赫爾曼·霍爾瑞斯發(fā)明的一臺電動設(shè)備。這臺以普查人口數(shù)據(jù)為目的而出世的設(shè)備使得歷年完成美國調(diào)查統(tǒng)計人口數(shù)據(jù)的周期從8年時間縮短到了僅用1年時間。如此震撼人心的結(jié)果立馬傳遍了全世界，也由此開啟了數(shù)據(jù)處理的新紀元。

2什么是大數(shù)據(jù)

什么才是大數(shù)據(jù)？便于理解，以百度利用實時大數(shù)據(jù)分析，并進行可視化處理后推出的百度通勤圖來解釋大數(shù)據(jù)。以下圖一就是以北京市為例的通勤圖大數(shù)據(jù)了，該圖具有實時、動態(tài)、基于地理位置可定位、縮放等功能。我們可以通過網(wǎng)址：http：//renqi.map.baidu.com/traffic/來查詢。

圖1展示的內(nèi)容就是基于大數(shù)據(jù)技術(shù)里典型的大數(shù)據(jù)分析、數(shù)據(jù)處理和數(shù)據(jù)可視化等IT技術(shù)，而其處理的原始數(shù)據(jù)就是海量的北京市早晨上班人員的出勤數(shù)據(jù)。一般來講，從大數(shù)據(jù)的字面意思人手，作為形容詞的“大”是當前社會步入大數(shù)據(jù)時代的主要原因，因此理解大數(shù)據(jù)可以先從“大”這個字開始。雖然大數(shù)據(jù)的特點在于“大”，但是大數(shù)據(jù)的重要價值并不在于此，而在于分析出隱藏在大數(shù)據(jù)內(nèi)部的、各類數(shù)據(jù)之間的可利用的價值。而這種能夠被挖掘出的可利用價值，才是大數(shù)據(jù)的價值所在。圖1正是利用百度搜集到的大規(guī)模數(shù)據(jù)來挖掘、分析出來的結(jié)果。

針對大數(shù)據(jù)技術(shù)，完整的可以分為4層堆棧式技術(shù)架構(gòu)來理解。在第一層（基礎(chǔ)層）上，主要提供了一個高度自動化且可擴展、計算和存儲的大數(shù)據(jù)平臺。作為底層，針對這層的rr技術(shù)，主要是由專門從事大數(shù)據(jù)架構(gòu)方面軟件開發(fā)和性能優(yōu)化的研究人員或軟件工程師完成的，屬于大數(shù)據(jù)技術(shù)的基礎(chǔ)架構(gòu)。在第二層（管理層）上，主要涉及數(shù)據(jù)的存儲和管理，一般由大數(shù)據(jù)的管理平臺——數(shù)據(jù)庫管理系統(tǒng)（DBMS）提供來管理各類數(shù)據(jù)。這個也一般多屬于軟件行業(yè)工作者中從事數(shù)據(jù)庫相關(guān)工作人員的工作范圍。在第三層（分析層）上，主要涉及大數(shù)據(jù)應用前所需的大數(shù)據(jù)分析，一般需要基于統(tǒng)計學的數(shù)據(jù)挖掘和機器學習算法。在這層上做事的一般屬于數(shù)據(jù)科學家，并可以借助大數(shù)據(jù)分析平臺事半功倍。在第四層（應用層）上，主要涉及一些具體的大數(shù)據(jù)應用，比如幫助企業(yè)進行決策和為終端客戶提供服務(wù)等，會和大數(shù)據(jù)預測技術(shù)相關(guān)。在這層上的應用主要是根據(jù)具體用戶需求來的。因大數(shù)據(jù)應用的需求越來越廣，大數(shù)據(jù)技術(shù)也跟著不斷地提高和發(fā)展。由大數(shù)據(jù)技術(shù)的分類角度也可以看出，大數(shù)據(jù)的內(nèi)涵里不僅僅包含著IT技術(shù)。從這4層的架構(gòu)來看：越是高級層，IT技術(shù)越是需要和其他領(lǐng)域的知識相結(jié)合。

大數(shù)據(jù)技術(shù)的最終目的，是為了大數(shù)據(jù)應用。現(xiàn)在就先以參考文獻為例說明。首先這是一篇典型的大數(shù)據(jù)應用文獻，而寫這篇論文的研究者不算典型的IT行業(yè)從業(yè)者。根據(jù)介紹可以了解到作者研究的方向：一個是可持續(xù)發(fā)展，一個是經(jīng)濟地理。他們兩者的共通性可以看作在經(jīng)濟領(lǐng)域，但和IT領(lǐng)域還是有一定偏差的。從這里也可以看出，做大數(shù)據(jù)研究的，特別是作大數(shù)據(jù)應用研究的，可以算作復合型人才。他們在具備大數(shù)據(jù)知識的同時，必然具備其他領(lǐng)域的知識，特別對于做大數(shù)據(jù)應用的研究者來講，在其他領(lǐng)域的知識儲備更多于大數(shù)據(jù)領(lǐng)域。這篇文章研究的領(lǐng)域是人文一經(jīng)濟地理學界?？v觀全文可以看出作者具備優(yōu)秀的統(tǒng)計分析能力、邏輯歸納能力。他所要進行應用的大數(shù)據(jù)也不是簡單的現(xiàn)成的數(shù)據(jù)，需要先通過合理的邏輯歸納整理。在這個前期準備需要將區(qū)域劃分，并對區(qū)域中的數(shù)據(jù)通過點、線、面的方式進行數(shù)據(jù)整理的過程，就需要非常深厚的專業(yè)知識和數(shù)學思維能力。否則，即便數(shù)據(jù)處理的方法都沒錯，得到的結(jié)果價值的有效性和完整性也是打了折扣的。有了這樣的數(shù)據(jù)準備，再進行的大數(shù)據(jù)分析得到城市交通可達性的評價結(jié)果，這個大數(shù)據(jù)分析也不是大眾眼里一般意義上的對數(shù)據(jù)進行類似Excel表格那樣簡單的運算得到的，而是需要基于一定專業(yè)背景下的知識，需要采用合適的算法得出的?？梢岳斫獬尚枰獙⒋髷?shù)據(jù)技術(shù)嵌入到原有的傳統(tǒng)的區(qū)域空間結(jié)構(gòu)算法中。而對于原始的算法來講，我們也可以推演出目前傳統(tǒng)的每一行領(lǐng)域在做大數(shù)據(jù)分析時多少已經(jīng)包含了IT技術(shù)，而加入了大數(shù)據(jù)的應用勢必是加入了數(shù)字處理、IT技術(shù)的成分。最后在得到分析結(jié)果后，對于數(shù)據(jù)的可視化環(huán)節(jié)在大數(shù)據(jù)里也是屬于典型的大數(shù)據(jù)技術(shù)。而在藝術(shù)領(lǐng)域，比如文獻中提到的：對于傳統(tǒng)音樂的大數(shù)據(jù)應用來講，也需要結(jié)合除了IT技術(shù)之外的其他文人領(lǐng)域（心理學、統(tǒng)計學、文化生態(tài)學、社會學等）的學科理念和方法，才能將傳統(tǒng)音樂研究做得更好，促進傳統(tǒng)音樂的發(fā)展。

當然上述例子不僅闡明了大數(shù)據(jù)屬于交叉領(lǐng)域的學科，大數(shù)據(jù)技術(shù)應用需要結(jié)合人文的力量，也可以闡明大數(shù)據(jù)應用和分析處理所擁有的廣度和深度的問題，但是對于大數(shù)據(jù)的深度來講，這個還是屬于大數(shù)據(jù)應用的范疇，更深入的大數(shù)據(jù)更主要的是要看大數(shù)據(jù)分析、挖掘這一層次的內(nèi)容（大數(shù)據(jù)分析服務(wù)于大數(shù)據(jù)應用）。

除此，目前國內(nèi)相繼也有部分學者在他們的論文中有所涉及人文思想下的大數(shù)據(jù)觀，比如黃山學院的呂正兵在《三重視域下的大數(shù)據(jù)觀》里提到，自然科學希望用數(shù)據(jù)來客觀描述世界，人文社會科學希望用數(shù)據(jù)來主觀解釋世界。這種緊張、矛盾的關(guān)系已經(jīng)引起了學術(shù)界的探討，如去年日本ICA會議中大數(shù)據(jù)分會的主題就是“大數(shù)據(jù)：批判性與可選擇性”。學術(shù)界和產(chǎn)業(yè)界都需要在認識論的基礎(chǔ)上來理解大數(shù)據(jù)，考慮大數(shù)據(jù)背后的人文、社會屬性。作者由此提出了三重大數(shù)據(jù)觀，其中整合視域就是指需要跨學科合作。文中指出通過大數(shù)據(jù)來解決社會問題，需要交叉學科來完成，各學科之間相互合作，不是單純某個學科能夠勝任的。西安電子科技大學的李瑩在《大數(shù)據(jù)時代行動“可數(shù)據(jù)化”的人文關(guān)懷》里提到，大數(shù)據(jù)時代科技的進步，使得不被外界關(guān)注的普通人的行為數(shù)據(jù)都被精確地記錄下來。這種持續(xù)性的關(guān)注帶來了生活的便利，也甚至不用大數(shù)據(jù)搜索就能通過大數(shù)據(jù)定位來找到每個個體，但這種關(guān)注也伴隨著監(jiān)視，令人不安。因此，要實現(xiàn)人性中的自由和便利這兩個屬于自我的維度時，在這個原有生活方式和平衡已經(jīng)被大數(shù)據(jù)打破的今天，是否可以通過人文關(guān)懷來平衡？

3總結(jié)

由此可以看出，大數(shù)據(jù)可以理解為一種交叉學科，在這個領(lǐng)地原本是不存在東西的，它是科學技術(shù)與人文社會知識結(jié)合的產(chǎn)物，在數(shù)據(jù)爆發(fā)性增長的當下，大數(shù)據(jù)應時代需求而生。但大數(shù)據(jù)也是很早就有的，他可以追溯到上百年前，人們已經(jīng)利用信息技術(shù)和數(shù)據(jù)統(tǒng)計的結(jié)合來解決了實際重大問題。數(shù)字時代大勢所趨，如果想發(fā)揮大數(shù)據(jù)真正的優(yōu)勢、共享它原本的意義，那么大數(shù)據(jù)需集合自身特點，基于4V，注重科技與人文的交叉，做好大數(shù)據(jù)應用，做好5V，推動社會的發(fā)展和時代的進步。