大數(shù)據(jù)及相關(guān)技術(shù)解讀分析

周北一

摘 要 大數(shù)據(jù)是隨著信息的急劇膨脹而提出的一種概念，目前大數(shù)據(jù)技術(shù)在世界經(jīng)濟(jì)、軍事、信息傳播等領(lǐng)域有了廣泛的應(yīng)用，而這種應(yīng)用所帶來的網(wǎng)絡(luò)革命效應(yīng)也越來越多的引起人們的重視。提供大數(shù)據(jù)服務(wù)的企業(yè)要積極推廣大數(shù)據(jù)技術(shù)的應(yīng)用模式，開發(fā)大數(shù)據(jù)中的數(shù)據(jù)安全保密技術(shù)，為大數(shù)據(jù)的長遠(yuǎn)發(fā)展做出貢獻(xiàn)。

關(guān)鍵詞 大數(shù)據(jù) 技術(shù) 解讀分析

隨著計(jì)算機(jī)信息化的建設(shè)，互聯(lián)網(wǎng)中的數(shù)據(jù)量呈現(xiàn)出爆炸式的增長，大數(shù)據(jù)正是隨著信息的急劇膨脹而提出的一種概念。目前大數(shù)據(jù)技術(shù)在世界經(jīng)濟(jì)、軍事、信息傳播等領(lǐng)域有了廣泛的應(yīng)用，而這種應(yīng)用所帶來的網(wǎng)絡(luò)革命效應(yīng)也越來越引起人們的重視。本文將對大數(shù)據(jù)概念進(jìn)行闡述，討論大數(shù)據(jù)與CDN、IDC、云計(jì)算之間的關(guān)系，對大數(shù)據(jù)技術(shù)未來的發(fā)展前景和應(yīng)用范圍進(jìn)行分析，希望對大數(shù)據(jù)技術(shù)更好地發(fā)展和應(yīng)用提供幫助。

一、大數(shù)據(jù)概述

大數(shù)據(jù)技術(shù)的發(fā)展時(shí)間比較短，目前在學(xué)術(shù)界定上沒有一個(gè)清晰統(tǒng)一的定義。總體來說，大數(shù)據(jù)指的是一種數(shù)據(jù)集合，這種數(shù)據(jù)集合由于信息資料的規(guī)模過于龐大，在一定的時(shí)間內(nèi)，應(yīng)用目前的信息收集和管理軟件不能夠做到對數(shù)據(jù)的收集、分析、處理工作。大數(shù)據(jù)在廣義層面上，可以分為大數(shù)據(jù)技術(shù)、大數(shù)據(jù)工程和科學(xué)等。其中，大數(shù)據(jù)工程通過對大數(shù)據(jù)進(jìn)行分析，建立對數(shù)據(jù)進(jìn)行管理的工程；而大數(shù)據(jù)科學(xué)，則是指在大數(shù)據(jù)發(fā)展的過程中，對大數(shù)據(jù)的發(fā)現(xiàn)和研究活動(dòng)。大數(shù)據(jù)技術(shù)就是指通過科學(xué)的分析和合理的規(guī)劃，從龐大的數(shù)據(jù)庫中獲得所需要信息的技術(shù)。通過研究發(fā)現(xiàn)大數(shù)據(jù)主要具有下面的特點(diǎn)：

（一）數(shù)據(jù)信息規(guī)模巨大

數(shù)據(jù)信息規(guī)模巨大是大數(shù)據(jù)最基本也是最重要的特點(diǎn)。目前，互聯(lián)網(wǎng)技術(shù)得到了巨大的發(fā)展，使用互聯(lián)網(wǎng)技術(shù)進(jìn)行數(shù)據(jù)查詢的主體也單純從機(jī)構(gòu)查詢，發(fā)展為個(gè)人、企業(yè)、機(jī)構(gòu)等共同查詢的方式。用戶在使用互聯(lián)過程中，進(jìn)行無意的點(diǎn)擊，對于一些信息的分享等都成了大數(shù)據(jù)龐大信息規(guī)模的一部分?，F(xiàn)在大數(shù)據(jù)的數(shù)據(jù)單位已經(jīng)上升到了PB的級別。

（二）數(shù)據(jù)的類型復(fù)雜

大數(shù)據(jù)龐大的數(shù)據(jù)規(guī)模中，數(shù)據(jù)類型非常復(fù)雜。既包括傳統(tǒng)的一些基本數(shù)據(jù)，也包括網(wǎng)頁、文檔等新式數(shù)據(jù)；既包括比較完整加工后的數(shù)據(jù)，也包括加工未完成的數(shù)據(jù)。

（三）數(shù)據(jù)的傳播速率較快

大數(shù)據(jù)的傳播速率過快，這也是造成傳統(tǒng)軟件對于大數(shù)據(jù)難以處理的一個(gè)原因。有時(shí)大數(shù)據(jù)的處理結(jié)果需要在一瞬間就形成，否則形成的結(jié)果就失去了使用價(jià)值，這對于傳統(tǒng)軟件來說是很難達(dá)到的，所以大數(shù)據(jù)對于處理的時(shí)效性有很高的要求。

（四）數(shù)據(jù)間的價(jià)值密度較低

一般情況下，大數(shù)據(jù)的規(guī)模在巨量增長的時(shí)候，用戶需要的信息數(shù)據(jù)規(guī)模卻增長緩慢，這在一定程度上加大了獲取數(shù)據(jù)的難度，造成了數(shù)據(jù)間價(jià)值密度較低的特點(diǎn)。

二、大數(shù)據(jù)技術(shù)介紹

大數(shù)據(jù)技術(shù)的前身是商務(wù)智能（BI），主要的技術(shù)環(huán)節(jié)包括：數(shù)據(jù)的收集、數(shù)據(jù)的處理、數(shù)據(jù)的計(jì)算、數(shù)據(jù)的研究以及數(shù)據(jù)結(jié)果的表現(xiàn)。其中，大數(shù)據(jù)的收集工作主要在互聯(lián)網(wǎng)、當(dāng)?shù)財(cái)?shù)據(jù)庫等展開；在數(shù)據(jù)分析方面，主要基于人工軟件智能進(jìn)行進(jìn)一步的研究；在數(shù)據(jù)表現(xiàn)方面，通過多媒體技術(shù)與相關(guān)的網(wǎng)頁技術(shù)相結(jié)合，通過圖像的形式進(jìn)行展現(xiàn)。

三、大數(shù)據(jù)、CDN、IDC和云計(jì)算之間的關(guān)系

（一）大數(shù)據(jù)與云計(jì)算之間的關(guān)系

云計(jì)算和大數(shù)據(jù)之間的關(guān)聯(lián)性比較強(qiáng)。云計(jì)算指的是以巨量的數(shù)據(jù)作為基礎(chǔ)，通過對巨量的數(shù)據(jù)進(jìn)行研究，在巨大的數(shù)據(jù)規(guī)模中尋找需要的信息數(shù)據(jù)。云計(jì)算的英文簡稱為Cloud Computing，它的計(jì)算方法主要依托互聯(lián)網(wǎng)進(jìn)行。一般情況下，對瀏覽器等軟件進(jìn)行訪問，就可以訪問到云計(jì)算的經(jīng)營商提供的網(wǎng)絡(luò)應(yīng)用，這些應(yīng)用中的數(shù)據(jù)信息都存儲(chǔ)在網(wǎng)絡(luò)數(shù)據(jù)庫中。云計(jì)算的服務(wù)類型主要包括：軟件即時(shí)服務(wù)類型、平臺(tái)即時(shí)服務(wù)類型以及基建即時(shí)服務(wù)類型?？傮w來說，云計(jì)算主要就是應(yīng)用虛擬化的技術(shù)，以互聯(lián)網(wǎng)為依托，通過對巨量的數(shù)據(jù)規(guī)模進(jìn)行整合、分析、計(jì)算，從而取得需要信息的一種及時(shí)計(jì)算服務(wù)。云計(jì)算的特點(diǎn)是虛擬化程度較高，適用人群較廣，計(jì)算結(jié)果準(zhǔn)確性較高。云計(jì)算的這些特點(diǎn)促使云計(jì)算在大數(shù)據(jù)中有著廣泛的應(yīng)用。同時(shí)，云計(jì)算和大數(shù)據(jù)技術(shù)也有著一定的不同。大數(shù)據(jù)更加看重的是對于數(shù)據(jù)的存儲(chǔ)能力，而云計(jì)算則強(qiáng)調(diào)的是計(jì)算，通過計(jì)算來獲取有效數(shù)據(jù)的處理能力。

（二）大數(shù)據(jù)與CDN之間的關(guān)系

CDN的英文全稱為CONTENT DELIVERY NETWORK，通過CDN的使用可以加快數(shù)據(jù)傳播的速度，確保數(shù)據(jù)傳播的穩(wěn)定性。CDN的工作原理是通過設(shè)置其他地方的結(jié)點(diǎn)服務(wù)器，以互聯(lián)網(wǎng)為依托，構(gòu)建出一層智能網(wǎng)絡(luò)，通過網(wǎng)絡(luò)結(jié)點(diǎn)中傳遞的數(shù)據(jù)和流量，促使客戶的數(shù)據(jù)請求流向最近的服務(wù)節(jié)點(diǎn)，進(jìn)而進(jìn)行數(shù)據(jù)的收集、查詢等工作。由于互聯(lián)網(wǎng)在實(shí)際應(yīng)用中會(huì)出現(xiàn)通讀的現(xiàn)象，通過CDN技術(shù)的應(yīng)用，可以有效解決網(wǎng)絡(luò)堵塞問題，提高互聯(lián)網(wǎng)的訪問速度。

（三）大數(shù)據(jù)與IDC之間的關(guān)系

IDC的英文簡稱為INTERNET DATA CENTER，中文意思為網(wǎng)絡(luò)數(shù)據(jù)中心。IDC是以互聯(lián)網(wǎng)為媒介，通過集中形式數(shù)據(jù)匯總、管理、處置和發(fā)送數(shù)據(jù)的相關(guān)設(shè)備，來為數(shù)據(jù)的維護(hù)提供運(yùn)行基地，并附帶提供配套的服務(wù)。IDC的服務(wù)對象主要是企業(yè)、傳媒機(jī)構(gòu)、網(wǎng)站等，并為它們提供高質(zhì)量的專業(yè)化服務(wù)。IDC可以提高網(wǎng)絡(luò)站點(diǎn)的性能，提高訪問的響應(yīng)能力，同時(shí)通過對網(wǎng)絡(luò)服務(wù)器的有效利用，確保網(wǎng)絡(luò)數(shù)據(jù)傳播的安全性和時(shí)效性。

（四）大數(shù)據(jù)與三者之間關(guān)系的總結(jié)

大數(shù)據(jù)與CDN、IDC以及云計(jì)算之間的關(guān)系有著很強(qiáng)的關(guān)聯(lián)性。首先，它們的產(chǎn)生都是由于互聯(lián)網(wǎng)技術(shù)的大力發(fā)展，數(shù)據(jù)處理規(guī)模的急劇增加，數(shù)據(jù)的收集都來自互聯(lián)網(wǎng)上的信息，可以說，互聯(lián)網(wǎng)是它們信息傳遞的橋梁。其次，后三者的存在對于大數(shù)據(jù)是很好的補(bǔ)充，通過不同角度對數(shù)據(jù)的收集和整理，實(shí)現(xiàn)信息的有效處理?？傮w來說，大數(shù)據(jù)信息的有效存儲(chǔ)為后三者提供的對于數(shù)據(jù)的有效計(jì)算和處理提供了平臺(tái)，同時(shí)，大數(shù)據(jù)通過與三者的有機(jī)結(jié)合，可以更好地進(jìn)行數(shù)據(jù)的挖掘和處理，從而及時(shí)地提供所需要的信息。

四、大數(shù)據(jù)技術(shù)的發(fā)展與應(yīng)用

隨著信息網(wǎng)絡(luò)技術(shù)發(fā)展力度的加大，大數(shù)據(jù)技術(shù)在如今的許多方面有了更廣泛的應(yīng)用。大數(shù)據(jù)技術(shù)以前主要在互聯(lián)網(wǎng)科技公司中進(jìn)行使用，但現(xiàn)在無論是傳統(tǒng)的公司企業(yè)、公共機(jī)構(gòu)還是新興的具有高技術(shù)性質(zhì)的企業(yè)單位，對于大規(guī)模數(shù)據(jù)的處理需求越來越大。同時(shí)大數(shù)據(jù)以往的應(yīng)用主要在企業(yè)智能和商務(wù)營銷方面，但現(xiàn)在它的應(yīng)用范圍越來越廣，例如社會(huì)科學(xué)、經(jīng)濟(jì)學(xué)等方面都有了廣泛的應(yīng)用。

信息化的大力發(fā)展，促進(jìn)了大數(shù)據(jù)時(shí)代的到來。由于大數(shù)據(jù)技術(shù)的使用可以有效促進(jìn)公司智能化的發(fā)展、提升信息數(shù)據(jù)的安全性，所以，可以預(yù)見，未來大數(shù)據(jù)的發(fā)展前景是極其光明和寬廣的。大數(shù)據(jù)的產(chǎn)業(yè)結(jié)構(gòu)可以發(fā)展成為三個(gè)主要領(lǐng)域：分別是硬件為基礎(chǔ)的商業(yè)領(lǐng)域；基礎(chǔ)軟件的商業(yè)領(lǐng)域以及應(yīng)用軟件的商業(yè)領(lǐng)域。

五、結(jié)束語

大數(shù)據(jù)的發(fā)展規(guī)模不斷壯大，相應(yīng)的對數(shù)據(jù)進(jìn)行收集分析，確保數(shù)據(jù)安全等方面的人才缺口也會(huì)非常大，而相關(guān)人才的缺失將會(huì)對大數(shù)據(jù)的發(fā)展帶來非常不利的影響。提供大數(shù)據(jù)服務(wù)的企業(yè)要重視人才短缺的問題，積極推廣大數(shù)據(jù)技術(shù)的應(yīng)用模式，開發(fā)大數(shù)據(jù)中的數(shù)據(jù)安全保密技術(shù)，為大數(shù)據(jù)的長遠(yuǎn)發(fā)展做出貢獻(xiàn)。

（作者單位為北京浩瀚深度信息技術(shù)股份有限公司）

參考文獻(xiàn)

[1] 王妍，柴劍平.大數(shù)據(jù)及相關(guān)技術(shù)解讀[J].廣播電視信息，2014（02）：18-21+24.