大數(shù)據(jù)技術(shù)及其在信息系統(tǒng)中的應(yīng)用

摘 要：大數(shù)據(jù)是繼物聯(lián)網(wǎng)、云計(jì)算技術(shù)后世界又一熱議的信息技術(shù)，發(fā)展迅速。截至2011年年底，全球互聯(lián)網(wǎng)總數(shù)據(jù)存儲量已達(dá)100億TB以上，并且以59%以上的年增長率遞增。

關(guān)鍵詞：大數(shù)據(jù)；信息；大數(shù)據(jù)安全

中圖分類號：TP311.13

麥肯錫公司在2011年的報(bào)告（Bigdata：the Next FrontierforInnovation）中，對這種密集型數(shù)據(jù)爆炸的現(xiàn)象稱為“大數(shù)據(jù)”時(shí)代的到來。大數(shù)據(jù)領(lǐng)域出現(xiàn)的許多新技術(shù)，是大數(shù)據(jù)采集、存儲、處理和呈現(xiàn)的有力武器。

1 大數(shù)據(jù)概念

大數(shù)據(jù)概念的前身是海量數(shù)據(jù)，但兩者有很大的區(qū)別。海量數(shù)據(jù)主要強(qiáng)調(diào)了數(shù)據(jù)量的規(guī)模，對其特性并沒有特別關(guān)注。而大數(shù)據(jù)對傳播速率、體積、特征等數(shù)據(jù)的各種特性進(jìn)行了描述。目前對大數(shù)據(jù)最廣泛的定義是：大數(shù)據(jù)是無法在一定時(shí)間內(nèi)用通常的軟件工具進(jìn)行收集、分析、管理的大量數(shù)據(jù)的集合。大數(shù)據(jù)的特點(diǎn)一般用“4V”概括，即：Volume：數(shù)據(jù)量大，目前大數(shù)據(jù)的最小單位一般被認(rèn)為是10～20TB的量級；Variety：數(shù)據(jù)類型多，包括了結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)；value：數(shù)據(jù)的價(jià)值密度很低；velocity：數(shù)據(jù)產(chǎn)生和處理的速度非?？?。

2 大數(shù)據(jù)相關(guān)技術(shù)

2.1 大數(shù)據(jù)處理通用技術(shù)架構(gòu)。大數(shù)據(jù)的基本處理流程與傳統(tǒng)數(shù)據(jù)處理流程的主要區(qū)別在于：由于大數(shù)據(jù)要處理大量、非結(jié)構(gòu)化的數(shù)據(jù)，所以在各個處理環(huán)節(jié)中都可以采用并行處理。目前，Map Reduce等分布式處理方式已經(jīng)成為大數(shù)據(jù)處理各環(huán)節(jié)的通用處理方法。

Map Reduce分布式方法最先由谷歌設(shè)計(jì)并實(shí)現(xiàn)，包括分布式文件系統(tǒng)GFS、Map Reduce分布式編程環(huán)境以及分布式大規(guī)模數(shù)據(jù)庫管理系統(tǒng)Bigrable。Map Reduce是一套軟件框架，包括Map和Reduce兩個階段，可以進(jìn)行海量數(shù)據(jù)分割、任務(wù)分解與結(jié)果匯總，從而完成海量數(shù)據(jù)的并行處理。Map Reduce的工作原理是先分后合的數(shù)據(jù)處理方式。Map即“分解”，把海量數(shù)據(jù)分割成若干部分，分給多臺處理器并行處理；Reduce即“合并”，把各臺處理器處理后的結(jié)果進(jìn)行匯總操作，以得到最終結(jié)果。用戶只需要提供自己的Map函數(shù)以及Reduce函數(shù)就可以在集群上進(jìn)行大規(guī)模的分布式數(shù)據(jù)處理。Map Reduce將處理任務(wù)分配到不同的處理節(jié)點(diǎn)，因此具有更強(qiáng)的并行處理能力。

2.2 大數(shù)據(jù)采集。大數(shù)據(jù)的采集是指利用數(shù)據(jù)庫等方式接收發(fā)自客戶端（Web、App或者傳感器形式等）的數(shù)據(jù)。大數(shù)據(jù)采集的主要特點(diǎn)是并發(fā)訪問量大，因?yàn)橥瑫r(shí)有可能會有成千上萬的用戶來進(jìn)行訪問和操作，比如火車票售票網(wǎng)站的并發(fā)訪問量在峰值時(shí)達(dá)到上百萬，這時(shí)傳統(tǒng)的數(shù)據(jù)采集工具很容易失效。大數(shù)據(jù)采集方法主要包括：系統(tǒng)日志采集、網(wǎng)絡(luò)數(shù)據(jù)采集、數(shù)據(jù)庫采集、其他數(shù)據(jù)采集等四種。

2.3 大數(shù)據(jù)分享。目前數(shù)據(jù)分享主要通過數(shù)據(jù)集市和開放數(shù)據(jù)平臺等方法實(shí)現(xiàn)。開放數(shù)據(jù)平臺可以提供涵蓋本地服務(wù)、娛樂、教育和醫(yī)療等方方面面的數(shù)據(jù)集合，用戶不但可以通過API訪問，還可以很方便地通過SDK集成到移動應(yīng)用當(dāng)中。在線數(shù)據(jù)集市除了提供下載數(shù)據(jù)的功能外，還為用戶提供上傳和交流數(shù)據(jù)的場所。數(shù)據(jù)平臺和數(shù)據(jù)集市不但吸引有數(shù)據(jù)需求用戶，還能夠吸引很多數(shù)據(jù)開發(fā)者在平臺上進(jìn)行開發(fā)。

2.4 大數(shù)據(jù)預(yù)處理。數(shù)據(jù)預(yù)處理就是對采集的數(shù)據(jù)進(jìn)行清洗、填補(bǔ)、平滑、合并、規(guī)格化以及檢查一致性等處理，并對數(shù)據(jù)的多種屬性進(jìn)行初步組織，從而為數(shù)據(jù)的存儲、分析和挖掘做好準(zhǔn)備。通常數(shù)據(jù)預(yù)處理包含三個部分：數(shù)據(jù)清理、數(shù)據(jù)集成和變換和數(shù)據(jù)規(guī)約。

2.5 大數(shù)據(jù)存儲及管理。大數(shù)據(jù)需要行之有效的存儲和管理，否則人們不能處理和利用數(shù)據(jù)，更不能從數(shù)據(jù)中得到有用的信息。目前，大數(shù)據(jù)的存儲和管理技術(shù)主要分三類：分布式文件系統(tǒng)、數(shù)據(jù)倉庫和非關(guān)系型數(shù)據(jù)庫（NoSOL）。

2.6 大數(shù)據(jù)分析及挖掘。大數(shù)據(jù)的分析和挖掘是一種決策支持過程，它主要基于人工智能、機(jī)器學(xué)習(xí)、模式識別、數(shù)據(jù)挖掘、統(tǒng)計(jì)學(xué)、數(shù)據(jù)庫等技術(shù)，高度自動化地分析大數(shù)據(jù)，做出歸納性的推理，從中挖掘出潛在的模式，從而在大數(shù)據(jù)中提取有用信息。大數(shù)據(jù)的分析和挖掘與傳統(tǒng)的數(shù)據(jù)挖掘比較有兩個特點(diǎn)：一是通常采用并行處理的方式；二是大數(shù)據(jù)分析對實(shí)時(shí)處理的要求很高，流處理等實(shí)時(shí)處理技術(shù)受到人們歡迎。常用的方法有：機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、模式識別、統(tǒng)計(jì)分析、并行處理。

2.7 大數(shù)據(jù)檢索。（1）數(shù)據(jù)庫實(shí)時(shí)檢索：在數(shù)據(jù)倉庫或者NoSOL等大數(shù)據(jù)存儲平臺上，或者多個不同結(jié)構(gòu)的數(shù)據(jù)存儲平臺之間快速、實(shí)時(shí)地查詢和檢索不同結(jié)構(gòu)的數(shù)據(jù)。（2）實(shí)時(shí)搜索引擎：對互聯(lián)網(wǎng)上的大量數(shù)據(jù)和信息進(jìn)行即時(shí)、快速搜索，實(shí)現(xiàn)即搜即得的效果。目前各大搜索引擎都在致力于實(shí)時(shí)搜索的實(shí)現(xiàn)。

2.8 大數(shù)據(jù)可視化。可以提供更為清晰直觀的數(shù)據(jù)感官，將錯綜復(fù)雜的數(shù)據(jù)和數(shù)據(jù)之間的關(guān)系，通過圖片、映射關(guān)系或表格，以簡單、友好、易用的圖形化、智能化的形式呈現(xiàn)給用戶供其分析使用，可通過數(shù)據(jù)訪問接口或商業(yè)智能門戶實(shí)現(xiàn)，通過直觀的方式表達(dá)出來。可視化與可視分析通過交互可視界面來進(jìn)行分析、推理和決策；從海量、動態(tài)、不確定甚至相互沖突的數(shù)據(jù)中整合信息，獲取對復(fù)雜情景的更深層的理解；可供人們檢驗(yàn)已有預(yù)測，探索未知信息，同時(shí)提供快速、可檢驗(yàn)、易理解.的評估和更有效的交流手段?？梢暬侨藗兝斫鈴?fù)雜現(xiàn)象，診釋復(fù)雜數(shù)據(jù)的重要手段和途徑。

2.9 大數(shù)據(jù)應(yīng)用。（1）視頻搜索；（2）內(nèi)容分析；（3）理賠分析；（4）社交網(wǎng)絡(luò)分析；（5）社會分析；（6）社交媒體監(jiān)控。

2.10 大數(shù)據(jù)安全。大數(shù)據(jù)技術(shù)的發(fā)展，使得人們能夠從這些數(shù)據(jù)中觀察和分析社會動態(tài)、人群的動作和行為、人群活動規(guī)律以及企業(yè)的商業(yè)秘密。海量數(shù)據(jù)本身，以及數(shù)據(jù)中蘊(yùn)藏的信息涉及到國家、社會、企業(yè)和人們的隱私，這對大數(shù)據(jù)時(shí)代的信息安全提出巨大挑戰(zhàn)。因此，大數(shù)據(jù)時(shí)代需要發(fā)展信息安全技術(shù)，確保關(guān)系到人們生活方方面面的數(shù)據(jù)和信息不會被泄漏。

目前除了傳統(tǒng)的信息安全方法外，大數(shù)據(jù)領(lǐng)域還有安全基礎(chǔ)設(shè)施、安全數(shù)據(jù)倉庫等。此外，一些數(shù)據(jù)庫安全管理軟件能夠?qū)Σ煌僮飨到y(tǒng)上運(yùn)行的異構(gòu)關(guān)系型數(shù)據(jù)庫進(jìn)行實(shí)時(shí)監(jiān)控，一些大型安全數(shù)據(jù)庫能夠?qū)εc商務(wù)數(shù)據(jù)結(jié)合在一起的數(shù)據(jù)進(jìn)行預(yù)防性的分析，以便識別釣魚攻擊，防止詐騙和阻止黑客入侵。

3 大數(shù)據(jù)在信息系統(tǒng)中的應(yīng)用

隨著大數(shù)據(jù)技術(shù)在信息系統(tǒng)獲得應(yīng)用，數(shù)據(jù)數(shù)量、數(shù)據(jù)分析和處理能力、數(shù)據(jù)主導(dǎo)決策，將是獲得信息優(yōu)勢的關(guān)鍵。

3.1 數(shù)據(jù)獲取能力。客觀存在的大量數(shù)據(jù)既是有效利用數(shù)據(jù)的前提，也是決策者進(jìn)行制定決策的依據(jù)。因此，大數(shù)據(jù)時(shí)代必須具備比以往更強(qiáng)的數(shù)據(jù)獲取能力，從而積累起足夠的數(shù)據(jù)，信息系統(tǒng)必須加強(qiáng)數(shù)據(jù)獲取手段建設(shè)。

3.2 數(shù)據(jù)傳輸和存儲能力。當(dāng)前，大數(shù)據(jù)的移動是信息系統(tǒng)的最大開銷。同時(shí)，現(xiàn)有信息系統(tǒng)數(shù)據(jù)存儲能力的增長速度遠(yuǎn)遠(yuǎn)趕不上數(shù)據(jù)量的增長速度，這使大數(shù)據(jù)的傳輸和存儲面臨重大挑戰(zhàn)。因此，信息系統(tǒng)要具備超大容量的數(shù)據(jù)高速傳輸能力，使大數(shù)據(jù)能夠順暢、高效地流動。另外，信息系統(tǒng)要具備超大容量的數(shù)據(jù)存儲能力，使存儲容量更大、傳輸時(shí)延更小，從而能智能化地存儲各種數(shù)據(jù)，具有良好的兼容性和抗毀能力。

3.3 數(shù)據(jù)處理能力。大數(shù)據(jù)的獲取、傳輸和存儲只是問題之一，更大的難題是如何從冗雜的大數(shù)據(jù)中剝繭抽絲，自動化、智能化地識別最有價(jià)值的信息，并進(jìn)行分析處理，用于幫助決策者更好地作出決策。這也是大數(shù)據(jù)技術(shù)的核心意義。因此，大數(shù)據(jù)時(shí)代要求信息系統(tǒng)必須具備更強(qiáng)的數(shù)據(jù)處理能力，借以去除大數(shù)據(jù)中冗雜無用的內(nèi)容，提煉出精準(zhǔn)有價(jià)值的信息。

3.4 大數(shù)據(jù)安全。技術(shù)的進(jìn)步將為大數(shù)據(jù)的存儲與處理掃清障礙，但對大數(shù)據(jù)的利用來說，更為重要是信息安全問題。要避免數(shù)據(jù)被竊取、篡改以及個人隱私泄漏等信息安全問題，就要在利用大數(shù)據(jù)的同時(shí)，找到數(shù)據(jù)開放與保護(hù)的平衡點(diǎn)。為此應(yīng)盡快完善已有的信息安全機(jī)制，注重利用大數(shù)據(jù)技術(shù)提升軍隊(duì)的信息安全能力，確保信息安全。

參考文獻(xiàn)：

[1]李銳.淺談廣電運(yùn)營商的大數(shù)據(jù)分析及應(yīng)用系統(tǒng)[J].有線電視技術(shù)，2013（09）.

[2]鄒國偉，成建波.大數(shù)據(jù)技術(shù)在智慧城市中的應(yīng)用[J].電信網(wǎng)技術(shù)，2013（04）.

作者單位：山東濟(jì)南省軍區(qū)信息化處，濟(jì)南 250099