大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn)

劉韻　張遙中國(guó)電子科技集團(tuán)第28研究所

?

大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn)

劉韻張遙
中國(guó)電子科技集團(tuán)第28研究所

摘要：大數(shù)據(jù)是一種未來(lái)社會(huì)高度智能化、統(tǒng)一化的信息利用方式。大數(shù)據(jù)需要以通過(guò)各種渠道收集的大量資料、信息和數(shù)據(jù)，具有信息量大、處理速度快、數(shù)據(jù)多樣化、價(jià)值性高等特征。大數(shù)據(jù)的到來(lái)，讓社會(huì)發(fā)生了巨大的變革。為了面臨大數(shù)據(jù)時(shí)代的到來(lái)，如何對(duì)數(shù)據(jù)進(jìn)行管理和利用，成了全社會(huì)廣為關(guān)注的問(wèn)題。本文將針對(duì)大數(shù)據(jù)的概念進(jìn)行簡(jiǎn)單闡述，并且對(duì)一些關(guān)鍵技術(shù)進(jìn)行分析，列舉一些大數(shù)據(jù)管理上面臨的挑戰(zhàn)。

關(guān)鍵字：大數(shù)據(jù) 數(shù)據(jù)管理 云計(jì)算

云計(jì)算、物聯(lián)網(wǎng)、等技術(shù)的興起，標(biāo)志著我們已經(jīng)逐步進(jìn)入大數(shù)據(jù)時(shí)代。大數(shù)據(jù)時(shí)代的到來(lái)，已經(jīng)引起了全世界各國(guó)和信息行業(yè)的廣泛重視；聯(lián)合國(guó)在2015年5月發(fā)布了關(guān)于大數(shù)據(jù)的專題報(bào)告，詳細(xì)闡述了大數(shù)據(jù)時(shí)代給世界各國(guó)帶來(lái)的基于和挑戰(zhàn)；全球各大媒體也對(duì)大數(shù)據(jù)展開(kāi)宣傳和報(bào)道。這些都說(shuō)明了大數(shù)據(jù)已經(jīng)深入影響到人們的日常生活。但是在這種火熱景象的背后，普通人民對(duì)大數(shù)據(jù)并沒(méi)有足夠的認(rèn)識(shí)，大數(shù)據(jù)的發(fā)展還面臨著一些挑戰(zhàn)，技術(shù)需要進(jìn)一步的完善。

1　大數(shù)據(jù)的概念

大數(shù)據(jù)的概念，最初代表著數(shù)據(jù)規(guī)模的龐大，但是隨著大數(shù)據(jù)管理技術(shù)的發(fā)展，這一簡(jiǎn)單的闡述已經(jīng)不能完全概括大數(shù)據(jù)的內(nèi)涵。僅僅是數(shù)據(jù)規(guī)模上的龐大，似乎與以往的數(shù)據(jù)管理方式?jīng)]有什么本質(zhì)上的改變。大數(shù)據(jù)的具體概念，要包括其數(shù)據(jù)處理的所有特點(diǎn)?，F(xiàn)在廣為公認(rèn)的大數(shù)據(jù)定義是：在數(shù)量巨大、類型復(fù)雜、價(jià)值含量高的數(shù)據(jù)信息基礎(chǔ)上，實(shí)現(xiàn)對(duì)數(shù)據(jù)高速處理的數(shù)據(jù)管理模式。

2　大數(shù)據(jù)的關(guān)鍵技術(shù)

大數(shù)據(jù)要體現(xiàn)其包含的信息價(jià)值，離不開(kāi)多種數(shù)據(jù)應(yīng)用技術(shù)的支持。云計(jì)算技術(shù)，就是其中最為重要、最為廣泛使用的一種。云計(jì)算是一種用戶購(gòu)買網(wǎng)絡(luò)資源和網(wǎng)絡(luò)服務(wù)，省掉其中的硬件設(shè)備和服務(wù)器設(shè)施的服務(wù)形式。這一技術(shù)的出現(xiàn)給各種大數(shù)據(jù)的應(yīng)用提供了實(shí)現(xiàn)途徑，具有強(qiáng)大的數(shù)據(jù)存儲(chǔ)、管理與分析功能。Google公司就是云計(jì)算技術(shù)應(yīng)用的成功典范之一［1］。

物聯(lián)網(wǎng)是另一種大數(shù)據(jù)時(shí)代的關(guān)鍵技術(shù)，是遙感技術(shù)、遠(yuǎn)程控制技術(shù)和智能化技術(shù)集合在一起的產(chǎn)物。所謂物聯(lián)網(wǎng)，就是通過(guò)各種物品連接到互聯(lián)網(wǎng)，或者在物品和物品之間實(shí)現(xiàn)信息交換。物聯(lián)網(wǎng)技術(shù)能夠通過(guò)多種設(shè)備進(jìn)行遠(yuǎn)程的數(shù)據(jù)處理和信息傳遞，實(shí)現(xiàn)了人們對(duì)設(shè)備的遠(yuǎn)程控制，大大方便了人們的日常生活。

3　大數(shù)據(jù)面臨的挑戰(zhàn)

3.1數(shù)據(jù)集成管理

數(shù)據(jù)信息量的增加和數(shù)據(jù)類型結(jié)構(gòu)的復(fù)雜，給大數(shù)據(jù)的數(shù)據(jù)集成管理帶來(lái)了很大困難。一方面，大量的數(shù)據(jù)各有各的來(lái)源，具有結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化的不同特征［2］，存儲(chǔ)方式也各有不同，需要進(jìn)行復(fù)雜的轉(zhuǎn)換才能集成管理；另一方面，數(shù)據(jù)的質(zhì)量參差不齊，在集成管理的過(guò)程中需要進(jìn)行信息的篩選，淘汰掉無(wú)用的信息，集成管理的數(shù)據(jù)篩選標(biāo)準(zhǔn)難以確定。

3.2數(shù)據(jù)的分析

以往的數(shù)據(jù)分析體系，能夠?qū)崿F(xiàn)對(duì)結(jié)構(gòu)化數(shù)據(jù)的有效分析。但是大數(shù)據(jù)中包括大量半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，這就讓以往的數(shù)據(jù)分析體系不再適合新時(shí)代的數(shù)據(jù)管理。首先，現(xiàn)有的數(shù)據(jù)分析體系不能夠及時(shí)處理半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)，需要花費(fèi)大量額外的時(shí)間，數(shù)據(jù)分析缺乏時(shí)效性；其次，大數(shù)據(jù)環(huán)境當(dāng)中的數(shù)據(jù)處于一種動(dòng)態(tài)的變化環(huán)境，索引方案不能夠根據(jù)具體的場(chǎng)景來(lái)進(jìn)行調(diào)整；最后，傳統(tǒng)的數(shù)據(jù)分析結(jié)構(gòu)對(duì)于數(shù)據(jù)的類型、屬性、取值范圍已經(jīng)有了一定了解，而對(duì)半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，就難以理清數(shù)據(jù)內(nèi)部的關(guān)系，缺少高效處理的先決條件。

3.3隱私問(wèn)題

由于大數(shù)據(jù)時(shí)代的信息傳播越來(lái)越容易，數(shù)據(jù)的隱私問(wèn)題也隨之越來(lái)越嚴(yán)重。

由于人們?cè)诨ヂ?lián)網(wǎng)的不同節(jié)點(diǎn)留下自己的信息，單個(gè)節(jié)點(diǎn)的信息不容易暴露用戶的隱私。但是如果能夠把多個(gè)節(jié)點(diǎn)的用戶信息綜合起來(lái)，就會(huì)暴露用戶的大量隱私。另外，大數(shù)據(jù)時(shí)代需要進(jìn)行大量數(shù)據(jù)的公開(kāi)，來(lái)促進(jìn)社會(huì)和經(jīng)濟(jì)的發(fā)展。信息公開(kāi)的標(biāo)準(zhǔn)如果不合理，也容易造成個(gè)人隱私的暴露，造成信息公開(kāi)與個(gè)人隱私的矛盾［3］。這些都是大數(shù)據(jù)時(shí)代的個(gè)人信息保護(hù)所需要注意的。

4　結(jié)論

信息時(shí)代的數(shù)據(jù)，無(wú)論在數(shù)量上還是種類上都出現(xiàn)了幾何式增長(zhǎng)。大數(shù)據(jù)時(shí)代的到來(lái)，既是社會(huì)發(fā)展的機(jī)遇，也是給社會(huì)帶來(lái)的挑戰(zhàn)。對(duì)此，要加強(qiáng)云計(jì)算、物聯(lián)網(wǎng)等技術(shù)的技術(shù)的應(yīng)用和推廣，解決數(shù)據(jù)集成管理、數(shù)據(jù)分析和隱私方面的難題，將大數(shù)據(jù)的管理水平提升到一個(gè)新的高度。

參考文獻(xiàn)

［1］于浩.大數(shù)據(jù)時(shí)代政府?dāng)?shù)據(jù)管理的機(jī)遇、挑戰(zhàn)與對(duì)策［J］.中國(guó)行政管理，2015，03：127-130.

［2］趙蘇陽(yáng)，李艷軍，錢小燕，曹愈遠(yuǎn)，許振騰，喬磊，汪雷.大數(shù)據(jù)基本概念、技術(shù)與挑戰(zhàn)［J］.現(xiàn)代計(jì)算機(jī)（專業(yè)版），2015，08：51-54+60.

［3］米允龍，米春橋，劉文奇.海量數(shù)據(jù)挖掘過(guò)程相關(guān)技術(shù)研究進(jìn)展［J］.計(jì)算機(jī)科學(xué)與探索，2015，06：641-659.