大數(shù)據(jù)管理概念、技術(shù)與挑戰(zhàn)

趙一方 河南省輝縣市第三高級(jí)中學(xué)

大數(shù)據(jù)管理概念、技術(shù)與挑戰(zhàn)

趙一方 河南省輝縣市第三高級(jí)中學(xué)

繼與計(jì)算、物聯(lián)網(wǎng)和移動(dòng)互聯(lián)后，大數(shù)據(jù)管理技術(shù)已然成為互聯(lián)網(wǎng)、信息行業(yè)研究的熱點(diǎn)。鑒此，本文即主要通過文獻(xiàn)調(diào)研法對(duì)大數(shù)據(jù)管理的概念技術(shù)與挑戰(zhàn)做了以下探究。

大數(shù)據(jù)管理 概念 技術(shù) 挑戰(zhàn)

引言

隨著計(jì)算機(jī)技術(shù)、互聯(lián)網(wǎng)技術(shù)、信息技術(shù)的飛速發(fā)展，由于WEB2.0應(yīng)用的全面爆發(fā)，網(wǎng)絡(luò)信息的來源逐漸多元化，即形成了互聯(lián)網(wǎng)管理者與參與者共同扮演起了制造信息的角色，由此一來非結(jié)構(gòu)化的網(wǎng)絡(luò)信息數(shù)據(jù)也就自然而然的呈現(xiàn)出了幾何增長的態(tài)勢。為了有效收集、存儲(chǔ)、管理、應(yīng)用龐大的互聯(lián)網(wǎng)信息數(shù)據(jù)，大數(shù)據(jù)管理技術(shù)也就應(yīng)運(yùn)而生。

一、據(jù)管理的概念

大數(shù)據(jù)概念是基于海量數(shù)據(jù)發(fā)展而來，但兩者之間也存在一定的差異，海量數(shù)據(jù)是單純指數(shù)據(jù)的總量大，而大數(shù)據(jù)的特性既包含了數(shù)據(jù)規(guī)模大，同時(shí)也涵蓋了數(shù)據(jù)的傳播速率快、整合度高等特點(diǎn)?，F(xiàn)目前，對(duì)于大數(shù)據(jù)管理技術(shù)的定義眾說紛紜，廣泛被接受的定義是：指無法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合。總的來說，大數(shù)據(jù)具有以下特點(diǎn)：根據(jù)實(shí)際而言，大數(shù)據(jù)的特點(diǎn)主要有以下幾點(diǎn)：其一是大數(shù)據(jù)的數(shù)據(jù)容量較大，數(shù)據(jù)的體量一般在10～20TB的量級(jí)以上；其二，是數(shù)據(jù)的傳輸、收集、整理的速度快；其三是大數(shù)據(jù)的具有整合分析并形成數(shù)據(jù)關(guān)聯(lián)行的特點(diǎn)；其四則是大數(shù)據(jù)的價(jià)值密度普遍較低，且具有十分豐富的結(jié)構(gòu)。簡言之，大數(shù)據(jù)管理既能夠快速高效的收集整合信息，同時(shí)還能夠有效的進(jìn)行數(shù)據(jù)分析整合，從而有效挖掘數(shù)據(jù)的潛在價(jià)值，并據(jù)此進(jìn)行預(yù)見性的分析。

二、據(jù)管理技術(shù)

根據(jù)大數(shù)據(jù)的定義及概念我們不難發(fā)現(xiàn)，大數(shù)據(jù)管理技術(shù)是一種較為復(fù)雜的數(shù)據(jù)信息管理技術(shù)，然而具體根據(jù)其生命周期的迥異，我們大致可以將其技術(shù)分為以下幾類：

1.存儲(chǔ)技術(shù)。大數(shù)據(jù)管理技術(shù)是一項(xiàng)針對(duì)數(shù)據(jù)存儲(chǔ)、管理與分析的技術(shù)，其中數(shù)據(jù)存儲(chǔ)則無疑是該項(xiàng)技術(shù)實(shí)施的關(guān)鍵性保障?，F(xiàn)目前，大數(shù)據(jù)主導(dǎo)下的數(shù)據(jù)存儲(chǔ)技術(shù)已經(jīng)由Direct Attached Storage（直接外掛存儲(chǔ)）、Network Attached Storage（網(wǎng)絡(luò)附加存儲(chǔ)）向Storage Virtualization（虛擬化存儲(chǔ)）方向轉(zhuǎn)變發(fā)展。而所謂的虛擬化存儲(chǔ)，實(shí)際上就是通過將存儲(chǔ)硬件進(jìn)行抽象化處理，從而將服務(wù)器的存儲(chǔ)空間，分成若干個(gè)虛擬的服務(wù)空間，這樣一來就極大的提升了服務(wù)器的存儲(chǔ)量。此外，在存儲(chǔ)虛擬化的基礎(chǔ)上，網(wǎng)絡(luò)虛擬化無疑再一次提升了服務(wù)器的存儲(chǔ)能力，同時(shí)還有效提升了數(shù)據(jù)傳輸效率，可以預(yù)見該技術(shù)將成為近年各個(gè)大數(shù)據(jù)管理公司的研究主流方向。

2.挖掘技術(shù)。由于大數(shù)據(jù)具有價(jià)值密度較低（Value）的特點(diǎn)，為了更好的利用起大量的數(shù)據(jù)，就需要對(duì)數(shù)據(jù)的價(jià)值進(jìn)行更加深度的挖掘。隨著網(wǎng)絡(luò)數(shù)據(jù)的體量的逐漸增大，對(duì)于數(shù)據(jù)價(jià)值的挖掘難度也將日益增大。因此大數(shù)據(jù)挖掘技術(shù)也將進(jìn)一步發(fā)展?，F(xiàn)目前，常規(guī)的大數(shù)據(jù)挖掘技術(shù)主要是與計(jì)算技術(shù)與分布式挖掘技術(shù)兩類。以Google公司為代表的大數(shù)據(jù)管理研發(fā)公司，開發(fā)出了MapReduce分布式挖掘工具，而騰訊、百度、阿里巴巴等中國互聯(lián)網(wǎng)企則主要是利用云計(jì)算技術(shù)進(jìn)行大數(shù)據(jù)挖掘?？傮w上將，上述兩種挖掘技術(shù)都普遍具有高容錯(cuò)率、高擴(kuò)展性、高效率等特點(diǎn)，因此十分有利于對(duì)大規(guī)模數(shù)據(jù)價(jià)值的深入挖掘。

3.分析技術(shù)。分析技術(shù)是大數(shù)據(jù)管理技術(shù)的關(guān)鍵性技術(shù)，從實(shí)際上講大數(shù)據(jù)分析技術(shù)主要有分布式數(shù)據(jù)處理和非結(jié)構(gòu)化數(shù)據(jù)處理兩種類型。而從數(shù)據(jù)分析的方法來看，最為常用的方法則是數(shù)理統(tǒng)計(jì)法?？偠灾髷?shù)據(jù)分析處理技術(shù)的主要職能是將數(shù)據(jù)之間的關(guān)系可視化的呈現(xiàn)在用戶的面前。

三、據(jù)管理技術(shù)所面臨的挑戰(zhàn)

現(xiàn)目前，我國互聯(lián)網(wǎng)技術(shù)雖然已經(jīng)與國際接軌，但大數(shù)據(jù)管理還處于起步發(fā)展階段?？傮w上來講，我國大數(shù)據(jù)管理技術(shù)的發(fā)展是機(jī)遇與挑戰(zhàn)并存的，其挑戰(zhàn)具有以下幾點(diǎn)：

1.管理沖擊著傳統(tǒng)的管理體制。傳統(tǒng)的數(shù)據(jù)管理通常是以各個(gè)部門匯總的信息，進(jìn)行綜合式的評(píng)估、分析。然而在大數(shù)據(jù)應(yīng)用背景下，上述數(shù)據(jù)收集方式就必須改變，即建立起獨(dú)立數(shù)據(jù)收集、分析、管理的大數(shù)據(jù)管理部門。然而要想實(shí)現(xiàn)上述目標(biāo)，就還需進(jìn)行全面的人力資源調(diào)整。當(dāng)然隨著人力資源結(jié)構(gòu)的調(diào)整，也不一定立即取得良好的效果，新建的人力資源結(jié)構(gòu)或許還有可能并不適應(yīng)大數(shù)據(jù)管理要求。

2.管理面臨著信息保密的挑戰(zhàn)。大數(shù)據(jù)管理所面臨的信息保密問題具有雙面性，其一方面是指大數(shù)據(jù)管理模式下對(duì)龐大數(shù)據(jù)的保密管理，其中包括信息數(shù)據(jù)的收集存儲(chǔ)與保密；另一方面則涉及到侵犯他人個(gè)人信息的問題，即大數(shù)據(jù)管理技術(shù)使用過程中，在挖掘大數(shù)據(jù)深入價(jià)值的環(huán)節(jié)中，如何保證既不侵犯泄漏他人的隱私信息，同時(shí)也能夠獲取有價(jià)值的信息，這需要通過增加有關(guān)大數(shù)據(jù)管理的法律法規(guī)，并完善大數(shù)據(jù)管理技術(shù)。

3.技術(shù)沖擊著傳統(tǒng)的管理思維。大數(shù)據(jù)技術(shù)的創(chuàng)新性、新穎性思維不斷沖擊著傳統(tǒng)數(shù)據(jù)管理的思維模式。在大數(shù)據(jù)管理技術(shù)廣泛運(yùn)用的時(shí)代背景下，如何及時(shí)有效的調(diào)整數(shù)據(jù)管理理念，并切實(shí)根據(jù)大數(shù)據(jù)管理的特性，樹立大數(shù)據(jù)管理意識(shí)則顯得至關(guān)重要。大數(shù)據(jù)管理時(shí)代背景下，單向的信息收集、分析、管理思維已然不能契合時(shí)代發(fā)展的腳步了，而科學(xué)合理的大數(shù)據(jù)思想應(yīng)該是雙向交流、信息反饋、信息交互的科學(xué)思維模式。

四、結(jié)束語

總而言之，大數(shù)據(jù)的技術(shù)與應(yīng)用還是處于起步階段，其應(yīng)用的前景不可估量，但在發(fā)展過程中也需要面臨各種各樣的挑戰(zhàn)。各個(gè)行業(yè)應(yīng)當(dāng)把握時(shí)代脈搏，充分認(rèn)識(shí)到大數(shù)據(jù)所能帶來的革命性改變，只有這樣才能夠保持創(chuàng)新與進(jìn)步，從而站在行業(yè)的最前沿。

[1]盧勝軍，王忠軍，栗琳.賽博空間與大數(shù)據(jù)雙重視角下的錢學(xué)森情報(bào)思想[J].情報(bào)理論與實(shí)踐，2013，36（004）：1-5.

[2]王振東.強(qiáng)化計(jì)算機(jī)數(shù)據(jù)庫管理技術(shù)的有益分析[J].軟件開發(fā)利用，2014（35）.

[3]涂新莉，劉波，林偉偉.大數(shù)據(jù)研究綜述[J].計(jì)算機(jī)應(yīng)用研究，2013（01）.