大數(shù)據(jù)環(huán)境下的企業(yè)網(wǎng)絡(luò)管理工作的開展

呂靈敏

（大慶油田信息技術(shù)公司，黑龍江 大慶 163000）

大數(shù)據(jù)環(huán)境下的企業(yè)網(wǎng)絡(luò)管理工作的開展

呂靈敏

（大慶油田信息技術(shù)公司，黑龍江 大慶 163000）

文章首先針對(duì)當(dāng)前企業(yè)環(huán)境中的數(shù)據(jù)以及處理工作特征進(jìn)行深入的說明和分析，而后在此基礎(chǔ)之上，進(jìn)一步針對(duì)云環(huán)境下的數(shù)據(jù)處理體系結(jié)構(gòu)，以及相應(yīng)的層級(jí)職能展開討論，對(duì)于加深大數(shù)據(jù)環(huán)境之下的企業(yè)數(shù)據(jù)管理工作具有一定的借鑒意義。

大數(shù)據(jù)；企業(yè)；網(wǎng)絡(luò)；管理

當(dāng)前信息環(huán)境下，企業(yè)對(duì)于數(shù)據(jù)的依賴性呈現(xiàn)顯著上升的趨勢(shì)。并且在大數(shù)據(jù)相關(guān)技術(shù)不斷成熟的領(lǐng)域中，數(shù)據(jù)所帶給企業(yè)的，已經(jīng)遠(yuǎn)不止工作效率的提升，而更多是圍繞數(shù)據(jù)本身所展開的更為深層價(jià)值的發(fā)現(xiàn)和挖掘，并通過數(shù)據(jù)價(jià)值的深入應(yīng)用，實(shí)現(xiàn)對(duì)企業(yè)決策的良好支持。在這樣的需求背景下，數(shù)據(jù)的重要程度得到了前所未有的肯定，對(duì)應(yīng)的數(shù)據(jù)的收集也因此得到進(jìn)一步落實(shí)。這些都直接帶動(dòng)了網(wǎng)絡(luò)環(huán)境中數(shù)據(jù)量的激增，而如何在海量數(shù)據(jù)的基礎(chǔ)之上進(jìn)一步實(shí)現(xiàn)對(duì)于大數(shù)據(jù)的有效利用和解讀，成為當(dāng)前企業(yè)網(wǎng)絡(luò)管理工作的重點(diǎn)。

1　當(dāng)前企業(yè)環(huán)境中的數(shù)據(jù)以及處理工作特征

對(duì)于目前的企業(yè)環(huán)境而言，為了能實(shí)現(xiàn)對(duì)于企業(yè)工作狀態(tài)以及對(duì)應(yīng)環(huán)境的全面反映，切實(shí)實(shí)現(xiàn)對(duì)于整個(gè)系統(tǒng)的深入有效分析，通常都會(huì)深入到企業(yè)工作過程及工作環(huán)境中展開數(shù)據(jù)的采集。這直接導(dǎo)致當(dāng)前企業(yè)環(huán)境中的數(shù)據(jù)呈現(xiàn)出3個(gè)突出特征，即海量性、異構(gòu)性和非確定性。傳統(tǒng)工作環(huán)境下，企業(yè)的數(shù)據(jù)多相對(duì)比較常規(guī)，數(shù)據(jù)量也趨于穩(wěn)定，但是當(dāng)前，尤其是對(duì)于油田企業(yè)工業(yè)環(huán)境而言，為了確保工業(yè)過程的整體安全穩(wěn)定，各個(gè)工作環(huán)節(jié)都開始加強(qiáng)數(shù)據(jù)建設(shè)，包括視頻傳輸以及數(shù)字化油田儀表監(jiān)控?cái)?shù)據(jù)等在內(nèi)的諸多數(shù)據(jù)，構(gòu)成了當(dāng)前油田企業(yè)環(huán)境中的數(shù)據(jù)體系。這樣的數(shù)據(jù)環(huán)境從數(shù)據(jù)總量上看，表現(xiàn)出明顯的激增，并且更多格式的數(shù)據(jù)涌入，都帶給企業(yè)數(shù)據(jù)環(huán)境以新的特點(diǎn)。同時(shí)，數(shù)據(jù)的實(shí)時(shí)性也成為新的突出特征，這種特征與數(shù)據(jù)本身的不確定性、語義匹配的不確定性等共同構(gòu)成了數(shù)據(jù)環(huán)境的非確定特征，并影響著當(dāng)前企業(yè)在面向數(shù)據(jù)展開深入處理的整個(gè)工作方式。

傳統(tǒng)的數(shù)據(jù)處理多圍繞數(shù)據(jù)庫展開，以數(shù)據(jù)庫作為整個(gè)數(shù)據(jù)處理系統(tǒng)展開工作的核心環(huán)節(jié)，其存儲(chǔ)和處理方式包括關(guān)系型數(shù)據(jù)庫處理方法、數(shù)據(jù)倉庫處理方法以及數(shù)據(jù)倉庫和大內(nèi)存結(jié)合的方法三種。其中關(guān)系型數(shù)據(jù)庫處理方法是將工作過程中采集和產(chǎn)生的數(shù)據(jù)存放在數(shù)據(jù)庫環(huán)境中，并且以SQL語句作為工具展開分析和計(jì)算。此種工作方式適用于結(jié)構(gòu)化數(shù)據(jù)，曾經(jīng)成為數(shù)據(jù)處理工作的重要依據(jù)和形式，但隨著當(dāng)前數(shù)據(jù)格式種類的增加，需要將非結(jié)構(gòu)化數(shù)據(jù)在后臺(tái)進(jìn)行轉(zhuǎn)化，降低了整體的工作效率，因此不再適用于海量數(shù)據(jù)分析環(huán)境。而對(duì)于數(shù)據(jù)倉庫處理方法而言，則是面向數(shù)據(jù)展開抽取處理，而后離線對(duì)數(shù)據(jù)進(jìn)行匯總并保存在數(shù)據(jù)庫中。此種工作方式的效率同樣無法滿足海量數(shù)據(jù)之下對(duì)于數(shù)據(jù)處理效率的要求。而對(duì)于數(shù)據(jù)倉庫與大容量內(nèi)存結(jié)合的工作方式而言，則是利用數(shù)據(jù)倉庫來實(shí)現(xiàn)對(duì)于海量數(shù)據(jù)的預(yù)加工，而后展開深入處理。此種工作方式雖然能在海量數(shù)據(jù)的環(huán)境下實(shí)現(xiàn)初步支持，但是內(nèi)容容量成為此種數(shù)據(jù)處理方式的瓶頸問題，因此難以得到深入發(fā)展。

2　云環(huán)境下的數(shù)據(jù)處理技術(shù)

在海量數(shù)據(jù)環(huán)境中，云計(jì)算方式成為未來發(fā)展的突出表現(xiàn)，并且分布式的數(shù)據(jù)處理實(shí)現(xiàn)方式，本身也適應(yīng)了當(dāng)前海量數(shù)據(jù)的突出特征。以Hadoop開源技術(shù)為例，其能夠在成本、二次開發(fā)靈活特征以及廣泛支持等方面有良好表現(xiàn)。云環(huán)境之下，一個(gè)典型的數(shù)據(jù)處理體系包括五個(gè)層面，自下而上分別是數(shù)據(jù)源層、計(jì)算層、存儲(chǔ)層、查詢層以及應(yīng)用層。

從職能的角度看，最基層的數(shù)據(jù)源層負(fù)責(zé)實(shí)現(xiàn)數(shù)據(jù)的采集，在油田工業(yè)環(huán)境中，主要包括諸多信息采集終端，例如終端攝像頭以及油田工業(yè)環(huán)境中的開采以及加工儀表等，同時(shí)也包括為工作人員提供的數(shù)據(jù)讀取和錄入接口。這些數(shù)據(jù)源層端口負(fù)責(zé)實(shí)現(xiàn)將油田工業(yè)環(huán)境中方方面面的描述數(shù)據(jù)納入到數(shù)據(jù)環(huán)境中來。而計(jì)算層，在云環(huán)境中，位于存儲(chǔ)層之下，主要是考慮到分布式數(shù)據(jù)處理的實(shí)現(xiàn)。具體而言，這一個(gè)層面的職能包括數(shù)據(jù)的抽取、裝載和加工，主要用于對(duì)實(shí)時(shí)數(shù)據(jù)有所及時(shí)反應(yīng)。而存儲(chǔ)層多位于數(shù)據(jù)中心，通過局域網(wǎng)與分布式計(jì)算層保持聯(lián)系，在油田工業(yè)環(huán)境中，由于數(shù)據(jù)節(jié)點(diǎn)以及數(shù)據(jù)終端相對(duì)分散，因此基于公共網(wǎng)絡(luò)的虛擬專用網(wǎng)技術(shù)也會(huì)出現(xiàn)在這個(gè)環(huán)節(jié)中。存儲(chǔ)層負(fù)責(zé)將大量數(shù)據(jù)匯總和整理，為分布數(shù)據(jù)節(jié)點(diǎn)騰出空間。在此之上的查詢層，同樣擔(dān)負(fù)有數(shù)據(jù)處理的職能。但是相對(duì)于計(jì)算層而言，查詢層的數(shù)據(jù)處理職能更多是對(duì)數(shù)據(jù)的綜合性深入挖掘，采用的技術(shù)也包括人工智能等在內(nèi)的更為復(fù)雜的處理技術(shù)。最后，應(yīng)用層主要負(fù)責(zé)面向系統(tǒng)用戶展開對(duì)話，包括多個(gè)應(yīng)用組件，諸如全業(yè)務(wù)運(yùn)營系統(tǒng)以及查詢系統(tǒng)等，都會(huì)涵蓋在該層面中。

在這樣的系統(tǒng)中，數(shù)據(jù)的采集和Hadoop集群數(shù)據(jù)處理，以及數(shù)據(jù)倉庫三個(gè)部分稱為職能重點(diǎn)。數(shù)據(jù)采集環(huán)節(jié)而言，除了需要完成相對(duì)常規(guī)的數(shù)據(jù)采集職能以外，還需要實(shí)現(xiàn)從源數(shù)據(jù)到Hadoop集群數(shù)據(jù)的格式轉(zhuǎn)化，形成Hadoop技術(shù)能夠直接處理的數(shù)據(jù)文件。這個(gè)職能多被放置于分布節(jié)點(diǎn)上，靠近數(shù)據(jù)采集終端。而對(duì)于Hadoop集群數(shù)據(jù)處理而言，則需要在對(duì)數(shù)據(jù)文件展開Map-Reduce計(jì)算的基礎(chǔ)上，將處理結(jié)果存入數(shù)據(jù)倉庫，且添加對(duì)應(yīng)的標(biāo)簽，方便應(yīng)用層程序使用。而數(shù)據(jù)倉庫多采用Oracle 關(guān)系型數(shù)據(jù)庫展開設(shè)計(jì)和建設(shè)，保持良好兼容特征，同時(shí)對(duì)工作人員友好。

3　結(jié) 語

在當(dāng)前企業(yè)環(huán)境中，云計(jì)算已經(jīng)成為數(shù)據(jù)處理工作突出的發(fā)展趨勢(shì)，其本身的展開方式，在面對(duì)海量數(shù)據(jù)處理需求的時(shí)候呈現(xiàn)出良好適應(yīng)特征。尤其是在面對(duì)油田工業(yè)環(huán)境這樣的大型綜合數(shù)據(jù)體系時(shí)，能夠在實(shí)時(shí)性等方面表現(xiàn)良好。針對(duì)此種狀況，應(yīng)當(dāng)切實(shí)保持該技術(shù)領(lǐng)域的警惕，積極引入先進(jìn)算法，推動(dòng)油田工業(yè)深入發(fā)展。

主要參考文獻(xiàn)

［1］李喬，鄭嘯.云計(jì)算研究現(xiàn)狀綜述［J］.計(jì)算機(jī)科學(xué)，2011（4）.

［2］王聰，王翠榮，王興偉，等.面向云計(jì)算的數(shù)據(jù)中心網(wǎng)絡(luò)體系結(jié)構(gòu)設(shè)計(jì)［J］.計(jì)算機(jī)研究與發(fā)展，2012（2）.

10.3969/j.issn.1673 - 0194.2015.20.035

TP311.52

A

1673-0194（2015）20-0046-01

2015-09-11