大數(shù)據(jù)時(shí)代：企業(yè)信息中心的思考與對(duì)策

【摘要】2014年，隨著大數(shù)據(jù)技術(shù)的推進(jìn)，企業(yè)對(duì)大數(shù)據(jù)的需求將隨著IT圍墻的突破，IT系統(tǒng)不僅處理防火墻之內(nèi)的業(yè)務(wù)流程和管理數(shù)據(jù)，還要延展到移動(dòng)計(jì)算數(shù)據(jù)進(jìn)行整體的處理?；诖髷?shù)據(jù)能為企業(yè)提供的巨大想象空間，大數(shù)據(jù)將成為企業(yè)不可忽視的未來。本文從大數(shù)據(jù)的概念、基本構(gòu)成、大數(shù)據(jù)帶來的思考及企業(yè)如何應(yīng)對(duì)等方面出發(fā)，闡述了大數(shù)據(jù)給企業(yè)IT帶來的挑戰(zhàn)、技術(shù)轉(zhuǎn)型及應(yīng)對(duì)策略。

【關(guān)鍵詞】大數(shù)據(jù);非結(jié)構(gòu)存儲(chǔ);移動(dòng)應(yīng)用

Abstract：In 2014，as large data technology advances，business demand for data as IT wall breakthrough，IT not only deal with business processes and management of the data inside the firewall，but also extended to the overall mobile computing data processing.Based on large data can provide enterprises with great imagination，data will become the future cannot be ignored.this paper discusses the concepts of bigdata，basic composition，great thinking and how to deal with data，and so on，and expounded the General data for enterprise IT challenges，technology transition and coping strategies.

Key words：Bigdata;Non-Structured Storage;APP

1.前言

IT領(lǐng)域面臨的挑戰(zhàn)是有目共睹的，新技術(shù)、新概念層出不窮。大數(shù)據(jù)成為2013年聽到頻率最多的名詞，它標(biāo)志著社會(huì)處理信息方式的變化，一種新的、不那么明顯的技術(shù)趨勢(shì)正在彰顯著巨大變革能力，那就是大數(shù)據(jù)。隨著時(shí)間的推移，大數(shù)據(jù)正在改變我們思考世界的方式也有助于我們?cè)诖髷?shù)據(jù)時(shí)代正確地規(guī)劃自己的數(shù)據(jù)體系，并且對(duì)傳統(tǒng)的技術(shù)方法與新興的技術(shù)方法進(jìn)行必要的定位和規(guī)劃。

用友公司董事長(zhǎng)兼CEO王文京表示：“未來社會(huì)經(jīng)濟(jì)將進(jìn)入信息消費(fèi)時(shí)代，數(shù)據(jù)將成為在新的時(shí)代企業(yè)發(fā)展的新動(dòng)力，因此，未來的企業(yè)都將是‘?dāng)?shù)據(jù)驅(qū)動(dòng)的企業(yè)?！睅啄昵?，大部分?jǐn)?shù)據(jù)還是結(jié)構(gòu)化數(shù)據(jù)，很容易存儲(chǔ)在關(guān)系數(shù)據(jù)庫(kù)中，并由商業(yè)智能工具來分析。但這種情況在2012年發(fā)生了巨大變化，那一年，全球數(shù)字信息中90%的數(shù)據(jù)都是視頻、聲音和圖像文件這樣的非結(jié)構(gòu)數(shù)據(jù)，企業(yè)不得不面對(duì)強(qiáng)大的數(shù)據(jù)流的沖擊。

于是，就有了“大數(shù)據(jù)”。

1.1 為什么是大數(shù)據(jù)

1.1.1 大數(shù)據(jù)的概念

最為權(quán)威的對(duì)大數(shù)據(jù)的定義莫過于4個(gè)V——海量的數(shù)據(jù)規(guī)模（Volume）、快速的數(shù)據(jù)流轉(zhuǎn)和動(dòng)態(tài)的數(shù)據(jù)體系（Velocity）、多樣的數(shù)據(jù)類型（Variety）和真實(shí)和準(zhǔn)確（Veracity），這4V構(gòu)成了企業(yè)對(duì)數(shù)據(jù)的需求組成，前三個(gè)V只是對(duì)大數(shù)據(jù)基本特征的歸納，第四個(gè)V其重要性足以與前3個(gè)相提并論，因?yàn)橹挥姓鎸?shí)而準(zhǔn)確的數(shù)據(jù)，才能讓管理和控制真正有意義。因此，大數(shù)據(jù)的概念準(zhǔn)確地講是指大數(shù)據(jù)技術(shù)，指對(duì)海量數(shù)據(jù)不同于SQL體系的、新的、低成本的處理技術(shù)，而不是數(shù)據(jù)格式或其他。

1.1.2 大數(shù)據(jù)的產(chǎn)生

盡管企業(yè)網(wǎng)絡(luò)環(huán)境不斷發(fā)展，但如今出現(xiàn)了許多更為復(fù)雜的新數(shù)據(jù)類型，所用的存儲(chǔ)數(shù)據(jù)不斷增多，為企業(yè)監(jiān)測(cè)和優(yōu)化業(yè)務(wù)運(yùn)營(yíng)而部署的傳感器網(wǎng)絡(luò)和機(jī)器數(shù)量也越來越多。結(jié)果就生成了大量新數(shù)據(jù)源、快速增加的數(shù)據(jù)量和迅速增加的新數(shù)據(jù)流，需要分析所有這些新數(shù)據(jù)。此外，這些新數(shù)據(jù)的生成速度遠(yuǎn)遠(yuǎn)超過了以往的紀(jì)錄。

一直以來企業(yè)都在對(duì)結(jié)構(gòu)化數(shù)據(jù)進(jìn)行梳理和統(tǒng)計(jì)，隨著IT應(yīng)用的逐漸深入，需要保存的數(shù)據(jù)不僅存在于統(tǒng)計(jì)報(bào)表這樣傳統(tǒng)的信息中，而且同樣存在于網(wǎng)絡(luò)日志、傳感器、影音文件、視頻會(huì)議、檔案等內(nèi)容。

對(duì)于一個(gè)企業(yè)來說，它的數(shù)據(jù)就是核心資產(chǎn)，以電廠為例，其中包括：辦公自動(dòng)化系統(tǒng)、生產(chǎn)實(shí)時(shí)數(shù)據(jù)、ERP系統(tǒng)、分析日志數(shù)據(jù)等。日志數(shù)據(jù)是“機(jī)器或傳感器生成”的數(shù)據(jù)，用于記錄生產(chǎn)實(shí)時(shí)狀態(tài)或信息系統(tǒng)內(nèi)執(zhí)行的自動(dòng)功能的詳細(xì)信息。因此，許多數(shù)據(jù)在收集后并未被分析，為及時(shí)對(duì)這些數(shù)據(jù)作出最有效的應(yīng)對(duì)，每一類數(shù)據(jù)都有一個(gè)生命周期，都有一個(gè)從獲取、管理、應(yīng)用，到用于決策支持的過程，大數(shù)據(jù)應(yīng)用會(huì)從海量數(shù)據(jù)的實(shí)時(shí)處理和深度發(fā)掘方面凸顯優(yōu)勢(shì)，隨著數(shù)據(jù)的全面采集、分析和利用，企業(yè)可以使用新的業(yè)務(wù)和算法進(jìn)一步發(fā)掘數(shù)據(jù)的內(nèi)在價(jià)值，實(shí)現(xiàn)“從數(shù)據(jù)到信息、從信息到智慧”的升級(jí)。

1.2 大數(shù)據(jù)的意義

大數(shù)據(jù)之所以在當(dāng)今會(huì)如此炙手可熱，是因?yàn)樗鹾狭薎T業(yè)界發(fā)展與應(yīng)用的趨勢(shì)。據(jù)專家預(yù)測(cè)，未來3-4年，更多企業(yè)會(huì)采用大數(shù)據(jù)。數(shù)據(jù)增長(zhǎng)的趨勢(shì)使得大數(shù)據(jù)的重要性成為業(yè)界共識(shí)。大數(shù)據(jù)實(shí)際上也給企業(yè)創(chuàng)造了新的機(jī)會(huì)，IT從一個(gè)簡(jiǎn)單的成本中心轉(zhuǎn)向技術(shù)驅(qū)動(dòng)并由此帶動(dòng)企業(yè)整體提升的核心，使IT從定位上就發(fā)生了很大的變化。

首先，數(shù)據(jù)的增長(zhǎng)推動(dòng)了IT架構(gòu)從集中式架構(gòu)向分布式式架構(gòu)演進(jìn);其次，從以計(jì)算為中心開始走向以數(shù)據(jù)為中心的架構(gòu);第三，從典型的水平式層次化的結(jié)構(gòu)，走向上下整合縱向拉動(dòng)的架構(gòu)。這樣即可動(dòng)態(tài)滿足工作負(fù)載需求又具備高效運(yùn)營(yíng)的數(shù)據(jù)中心是解決大數(shù)據(jù)問題的根本，其中包括從邏輯環(huán)境中提取物理硬件、優(yōu)化所有數(shù)據(jù)中心資產(chǎn)的使用又可自動(dòng)化管理數(shù)據(jù)中心的資源，一個(gè)高效的數(shù)據(jù)中心因大數(shù)據(jù)的應(yīng)用而發(fā)揮著企業(yè)核心的作用;第四，可以促進(jìn)企業(yè)實(shí)現(xiàn)系統(tǒng)的整合和資源的統(tǒng)一管理。

2.企業(yè)技術(shù)轉(zhuǎn)型的趨勢(shì)

云計(jì)算、大數(shù)據(jù)、移動(dòng)計(jì)算以及信息安全等在改變著這個(gè)時(shí)代，也改變著企業(yè)使用和購(gòu)買信息技術(shù)和服務(wù)的方式。目前，大多數(shù)企業(yè)都已經(jīng)認(rèn)識(shí)到大數(shù)據(jù)在改善企業(yè)決策流程和效率等方面的潛能，正努力超越數(shù)據(jù)解析，利用大數(shù)據(jù)與分析，改變企業(yè)IT技術(shù)原有的思維定勢(shì)，如何存儲(chǔ)和分析不斷增長(zhǎng)的數(shù)據(jù)信息，如何保證移動(dòng)計(jì)算的數(shù)據(jù)安全性，這些都是企業(yè)必須考慮的問題。

2.1 從未來發(fā)展的角度看

隨著IT產(chǎn)業(yè)主導(dǎo)技術(shù)已切換到“移動(dòng)互聯(lián)網(wǎng)+云計(jì)算”時(shí)代，未來3-4年，更多的企業(yè)將會(huì)采用大數(shù)據(jù)應(yīng)對(duì)這一挑戰(zhàn)。大數(shù)據(jù)不僅會(huì)帶來企業(yè)內(nèi)部業(yè)務(wù)流程的變革同時(shí)也將融入企業(yè)整體IT戰(zhàn)略，實(shí)現(xiàn)更多創(chuàng)新技術(shù)的實(shí)施。許多企業(yè)已完成虛擬化的實(shí)施，它是對(duì)IT資源進(jìn)行整合，現(xiàn)在大數(shù)據(jù)實(shí)施的基礎(chǔ)也是將數(shù)據(jù)進(jìn)行整合。

2.2 從企業(yè)角度看

2.2.1 大數(shù)據(jù)將走過概念階段

2014年企業(yè)需采取相應(yīng)的措施特別是信息中心的基礎(chǔ)化設(shè)施的變革需具備迎接大數(shù)據(jù)時(shí)代的要求：一是自動(dòng)化的基礎(chǔ)設(shè)施，只有自動(dòng)化、能夠自我管理、自我部署的基礎(chǔ)設(shè)施，才能支持業(yè)務(wù)的快速擴(kuò)張的需求;二是信息中心的高可靠性，它允許某個(gè)系統(tǒng)和組件出故障，但必須保證整個(gè)信息中心的可靠性;三是大數(shù)據(jù)所需的分布式系統(tǒng)基礎(chǔ)架構(gòu)，其中存儲(chǔ)成為重要的力量。在此基礎(chǔ)上，企業(yè)從其現(xiàn)有的數(shù)據(jù)庫(kù)中挖掘價(jià)值，從大數(shù)據(jù)產(chǎn)品中獲得可擴(kuò)展的應(yīng)用。

2.2.2 移動(dòng)辦公的非結(jié)構(gòu)化數(shù)據(jù)將呈爆炸式增長(zhǎng)，企業(yè)更多的是依賴全景數(shù)據(jù)分析而不是依賴采樣分析正在成為一種趨勢(shì)。

2.3 從應(yīng)用發(fā)展角度看

4G的部署和平板電腦及智能手機(jī)為代表的移動(dòng)計(jì)算對(duì)企業(yè)移動(dòng)數(shù)據(jù)的增長(zhǎng)將基于大數(shù)據(jù)的非結(jié)構(gòu)化數(shù)據(jù)的處理，同時(shí)大數(shù)據(jù)軟件和存儲(chǔ)的架構(gòu)可以將傳統(tǒng)的DAS、SAN和NAS有效地整合起來，以保證上層計(jì)算平臺(tái)的要求。

3.企業(yè)在大數(shù)據(jù)時(shí)代的思考

隨著傳統(tǒng)企業(yè)的快速發(fā)展，大數(shù)據(jù)與企業(yè)過去的IT技術(shù)不可分割，企業(yè)現(xiàn)有IT技術(shù)和工作都與大數(shù)據(jù)相關(guān)，例如：需求分析、數(shù)據(jù)管理、檢驗(yàn)與評(píng)估、模擬與仿真、監(jiān)控、ERP系統(tǒng)等。

我們也意識(shí)到大數(shù)據(jù)的發(fā)展?jié)摿?，諸如降低風(fēng)險(xiǎn)，借助大數(shù)據(jù)提升工作效率，縮短響應(yīng)時(shí)間，做到信息系統(tǒng)實(shí)現(xiàn)“質(zhì)的飛越”。如何應(yīng)對(duì)大數(shù)據(jù)對(duì)企業(yè)信息系統(tǒng)業(yè)務(wù)的沖擊和影響，是企業(yè)當(dāng)前必須注重并及時(shí)采取相應(yīng)措施。

3.1 大數(shù)據(jù)為網(wǎng)絡(luò)安全提供保障

（1）傳統(tǒng)的安全防護(hù)基于網(wǎng)絡(luò)的物理或邏輯邊界來部署安全策略，從這種單點(diǎn)的網(wǎng)絡(luò)視角所做出的防護(hù)判斷，往往帶有一定程度的局限性。而大數(shù)據(jù)分析讓我們從整網(wǎng)視角來審視安全問題，繼而得出更迅速、更準(zhǔn)確的判斷。從單點(diǎn)到整網(wǎng)協(xié)同辦公是網(wǎng)絡(luò)所需要做出的重要改變之一。

（2）傳統(tǒng)網(wǎng)絡(luò)比較適合做分布式計(jì)算，而新的大數(shù)據(jù)分析技術(shù)會(huì)給企業(yè)網(wǎng)絡(luò)帶來前所未有的價(jià)值和創(chuàng)新：以電廠為例，利用大數(shù)據(jù)運(yùn)營(yíng)分析實(shí)現(xiàn)運(yùn)營(yíng)優(yōu)化的過程，使企業(yè)能夠時(shí)刻關(guān)注突發(fā)事件、通過監(jiān)控提升生產(chǎn)效率并預(yù)測(cè)潛在風(fēng)險(xiǎn)。

3.2 大數(shù)據(jù)實(shí)現(xiàn)智能化安全防護(hù)

基于企業(yè)傳統(tǒng)的依賴于邊界防御的靜態(tài)安全控制措施已經(jīng)不符合當(dāng)前的發(fā)展了，取而代之的將是智能驅(qū)動(dòng)的信息安全模式，以一種能夠感知風(fēng)險(xiǎn)、并能幫助企業(yè)抵御未知網(wǎng)絡(luò)威脅的模型。具有大數(shù)據(jù)能力的工具所支持的智能驅(qū)動(dòng)信息安全方法融合了動(dòng)態(tài)的風(fēng)險(xiǎn)評(píng)估、巨量安全數(shù)據(jù)分析、自適應(yīng)的控制措施，極大地增強(qiáng)企業(yè)對(duì)IT環(huán)境的可控性，從而更有效地保證企業(yè)IT系統(tǒng)的可靠性，大大提高安全事件響應(yīng)能力。以電廠公安處為例，通過采用大數(shù)據(jù)技術(shù)能夠?qū)崟r(shí)分析流式傳輸?shù)穆晫W(xué)數(shù)據(jù)并對(duì)其進(jìn)行分類，并將實(shí)時(shí)捕獲和分析275MB聲學(xué)數(shù)據(jù)所需的時(shí)間從數(shù)小時(shí)減少到十四分之一秒，大幅度提升監(jiān)控精度。

4.企業(yè)如何應(yīng)對(duì)大數(shù)據(jù)沖擊

傳統(tǒng)企業(yè)已經(jīng)踏上了數(shù)據(jù)驅(qū)動(dòng)的道路，雖然目前企業(yè)運(yùn)用的多是基于業(yè)務(wù)數(shù)據(jù)的分析，但只有將數(shù)據(jù)真正關(guān)聯(lián)起來，關(guān)注數(shù)據(jù)、聚焦數(shù)據(jù)的時(shí)候，才能真正實(shí)現(xiàn)信息化的目的。

以往企業(yè)的IT更多的是對(duì)現(xiàn)有企業(yè)中的數(shù)據(jù)進(jìn)行搜集、整理、管理，形成了老的核心應(yīng)用系統(tǒng)，如何讓過去的資產(chǎn)發(fā)揮新的作用，由原來純粹的結(jié)構(gòu)化數(shù)據(jù)應(yīng)用轉(zhuǎn)變到動(dòng)態(tài)地、多樣化地利用各種數(shù)據(jù)，并由原來只是利用內(nèi)部數(shù)據(jù)到綜合利用內(nèi)外部數(shù)據(jù)，獲得更多數(shù)據(jù)資源并挖掘其中的價(jià)值以及應(yīng)對(duì)數(shù)量和類型上不斷新增的數(shù)據(jù)，企業(yè)必須重新思考已有的IT基礎(chǔ)架構(gòu)模式。

4.1 IT基礎(chǔ)架構(gòu)的變革

大數(shù)據(jù)、云計(jì)算、移動(dòng)互聯(lián)、社會(huì)化等新興技術(shù)的出現(xiàn)，使得企業(yè)計(jì)算模式發(fā)生了重大變化，進(jìn)而促使企業(yè)的經(jīng)營(yíng)管理從流程驅(qū)動(dòng)轉(zhuǎn)變?yōu)閿?shù)據(jù)驅(qū)動(dòng)，要成為一個(gè)“數(shù)據(jù)驅(qū)動(dòng)的企業(yè)”，企業(yè)計(jì)算與信息化建設(shè)將發(fā)生四大轉(zhuǎn)變：一是企業(yè)計(jì)算核心的改變，從以流程為核心轉(zhuǎn)向以數(shù)據(jù)為核心;二是計(jì)算終端的改變，從PC終端轉(zhuǎn)向移動(dòng)智能終端;三是計(jì)算架構(gòu)的改變，從B/S架構(gòu)轉(zhuǎn)向云計(jì)算架構(gòu);四是計(jì)算范圍的改變，從企業(yè)級(jí)計(jì)算轉(zhuǎn)向社會(huì)化計(jì)算。

為實(shí)現(xiàn)這四大轉(zhuǎn)變，要求企業(yè)底層的IT架構(gòu)必須有足夠的彈性，而且足夠靈活，可以支持應(yīng)用的創(chuàng)新。

4.2 存儲(chǔ)平臺(tái)的應(yīng)對(duì)

不論數(shù)據(jù)多大，企業(yè)總是希望能夠快速地歸檔、檢索所需信息，這對(duì)傳統(tǒng)的存儲(chǔ)方式提出挑戰(zhàn)，新的存儲(chǔ)、歸檔、分析“三位一體”的核心理念將免去數(shù)據(jù)變遷、異構(gòu)和虛擬化帶來的麻煩;未來將采用對(duì)象存儲(chǔ)方式，就是由原數(shù)據(jù)直接組織管的命名空間，并且能夠進(jìn)行簡(jiǎn)單的跨地域的橫向擴(kuò)展，在快速查詢和數(shù)據(jù)歸檔方面有著得天獨(dú)厚的優(yōu)勢(shì)，正在慢慢取代傳統(tǒng)的NAS存儲(chǔ)。

具體實(shí)施策略從內(nèi)部具體情況著眼，企業(yè)利用現(xiàn)有數(shù)據(jù)、軟件和技能，并且在考慮擴(kuò)展現(xiàn)有的能力而處理更復(fù)雜的數(shù)據(jù)來源和類型之前積累重要的經(jīng)驗(yàn)。

4.3 建立一體化安全防御體系

信息泄露、數(shù)據(jù)丟失、生產(chǎn)影響是企業(yè)信息安全面臨的主要危險(xiǎn)。企業(yè)內(nèi)容系統(tǒng)漏洞、移動(dòng)辦公的普遍應(yīng)用，智能手機(jī)、平板電腦等終端設(shè)備的增多，移動(dòng)應(yīng)用成為新的安全缺口等都是企業(yè)安全面臨的現(xiàn)實(shí)環(huán)境。應(yīng)對(duì)策略是建立一個(gè)完整的，從云端、企業(yè)內(nèi)部業(yè)務(wù)系統(tǒng)到終端再到邊界的一體化整體防護(hù)體系。

5.結(jié)束語

2014年，隨著大數(shù)據(jù)技術(shù)的推進(jìn)，企業(yè)對(duì)大數(shù)據(jù)的需求將隨著IT圍墻的突破，IT系統(tǒng)不僅處理防火墻之內(nèi)的業(yè)務(wù)流程和管理數(shù)據(jù)，還要延展到移動(dòng)計(jì)算數(shù)據(jù)進(jìn)行整體的處理?；诖髷?shù)據(jù)能為企業(yè)提供的巨大想象空間，大數(shù)據(jù)將成為企業(yè)不可忽視的未來。

參考文獻(xiàn)

[1]維克多·邁克熱·舍恩伯格.大數(shù)據(jù)時(shí)代：生活、工作與思維的大變革[M].浙江人民出版社.

[2]涂子沛.大數(shù)據(jù)：正在到來的數(shù)據(jù)革命[M].廣西師范大學(xué)出版社.

作者簡(jiǎn)介：閻立波，工程師，現(xiàn)供職于華能國(guó)際電力股份有限公司上安電廠，研究方向：虛擬化存儲(chǔ)在信息系統(tǒng)中應(yīng)用和實(shí)施。