淺談大數(shù)據(jù)技術(shù)及應(yīng)用

趙麗 常娟 任霓洲

【摘? 要】從大數(shù)據(jù)概念、本質(zhì)、特征方面講述大數(shù)據(jù)的基礎(chǔ)知識(shí)，對(duì)大數(shù)據(jù)關(guān)鍵技術(shù)進(jìn)行了分析，總結(jié)了大數(shù)據(jù)在各個(gè)領(lǐng)域的應(yīng)用價(jià)值和安全權(quán)問(wèn)題。

【關(guān)鍵詞】大數(shù)據(jù);大數(shù)據(jù)技術(shù); 大數(shù)據(jù)應(yīng)用

引言

人類社會(huì)邁入新世紀(jì)以來(lái)，在物聯(lián)網(wǎng)、云計(jì)算等信息技術(shù)和產(chǎn)業(yè)推動(dòng)下，大數(shù)據(jù)已經(jīng)全面滲透到了各行各業(yè)，“數(shù)據(jù)即資產(chǎn)”成為了共識(shí)，與“物質(zhì)資產(chǎn)”和“人力資本”并列為三大社會(huì)生產(chǎn)要素，大數(shù)據(jù)技術(shù)及相關(guān)研究在全球范圍內(nèi)給政治、經(jīng)濟(jì)、社會(huì)、軍事領(lǐng)域帶來(lái)了深刻影響。理解大數(shù)據(jù)概念、認(rèn)識(shí)大數(shù)據(jù)本質(zhì)和特征、建立大數(shù)據(jù)思維，對(duì)于信息化建設(shè)和改革、重塑偉大征程有著重大現(xiàn)實(shí)意義。

1.大數(shù)據(jù)的概念

20世紀(jì)80年代美國(guó)阿爾文·托夫勒在其著名的預(yù)言書(shū)《第三次浪潮》中就提出了“大數(shù)據(jù)”的概念，資料顯示，最初，大數(shù)據(jù)是指那些不斷增長(zhǎng)、類型復(fù)雜、短時(shí)間難以分析和處理的海量數(shù)據(jù)，其已經(jīng)超出了一般電腦在處理數(shù)據(jù)時(shí)所能使用的內(nèi)存量，普通的軟件工具難以捕捉、存儲(chǔ)、管理和分析，因此工程師們必須改進(jìn)處理數(shù)據(jù)的工具，導(dǎo)致了新處理技術(shù)的誕生。目前，大數(shù)據(jù)主要是指對(duì)海量數(shù)據(jù)進(jìn)行開(kāi)發(fā)與利用的技術(shù)及相關(guān)政策標(biāo)準(zhǔn)，實(shí)現(xiàn)由“撥云散霧見(jiàn)數(shù)據(jù)”到“騰云駕霧用知識(shí)”的轉(zhuǎn)變。實(shí)際上，到目前為止，大數(shù)據(jù)并非一個(gè)確切的概念，人們對(duì)其也沒(méi)有一個(gè)標(biāo)準(zhǔn)的定義，不同研究機(jī)構(gòu)和部門(mén)對(duì)大數(shù)據(jù)從不同角度進(jìn)行了闡述，對(duì)大數(shù)據(jù)的本質(zhì)和特點(diǎn)基本達(dá)成了共識(shí)，綜合起來(lái)不外這幾個(gè)方面：

從數(shù)據(jù)本身看，大數(shù)據(jù)的明顯特征是數(shù)據(jù)規(guī)模龐大，其體量遠(yuǎn)遠(yuǎn)超出了傳統(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)的處理能力。從技術(shù)角度看，大數(shù)據(jù)是從海量的多類型數(shù)據(jù)中，快速獲得有價(jià)值信息的所有技術(shù)集成。從數(shù)據(jù)類別看，大數(shù)據(jù)主要指無(wú)法或者很難用傳統(tǒng)的關(guān)系數(shù)據(jù)模型去分析、處理的信息，用戶也很難用傳統(tǒng)的處理方法去直觀認(rèn)識(shí)數(shù)據(jù)的隱藏內(nèi)涵。從應(yīng)用分析看，大數(shù)據(jù)是對(duì)特定海量數(shù)據(jù)進(jìn)行處理、分析和挖掘，獲得有價(jià)值信息，并以多種形式呈現(xiàn)的行為。從思維認(rèn)識(shí)看，大數(shù)據(jù)分析對(duì)象是全部數(shù)據(jù)而不是抽樣數(shù)據(jù)，分析內(nèi)容追求高效率而不是絕對(duì)精確，分析過(guò)程體現(xiàn)相關(guān)性而不局限于因果關(guān)系，分析結(jié)果重在未來(lái)預(yù)測(cè)而不僅是過(guò)去總結(jié)。

2.大數(shù)據(jù)的本質(zhì)

涂子沛在《大數(shù)據(jù)》一書(shū)中指出：“之所以要稱之為戰(zhàn)略，是因?yàn)椤髷?shù)據(jù)之‘大，并不僅僅在于其‘容量之大。當(dāng)然，由于數(shù)據(jù)容量的爆炸，數(shù)據(jù)的收集、保存、維護(hù)以及共享等任務(wù)，都成為具有研究意義的現(xiàn)象和挑戰(zhàn)。但‘大數(shù)據(jù)之大，更多的意義在于：人類可以‘分析和使用的數(shù)據(jù)在大量增加，通過(guò)這些數(shù)據(jù)的交換、整合和分析，人類可以發(fā)現(xiàn)新的知識(shí)，創(chuàng)造新的價(jià)值?！币灿袑＜乙会樢?jiàn)血地指出：大數(shù)據(jù)的核心，就是預(yù)測(cè)。

當(dāng)前，比較普遍的觀點(diǎn)認(rèn)為，大數(shù)據(jù)的本質(zhì)既包含不斷增長(zhǎng)的海量復(fù)雜數(shù)據(jù)，也涉及獲取、管理和應(yīng)用這些海量數(shù)據(jù)全生命周期的各種關(guān)鍵技術(shù)和解決方案。海量數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)挖掘、圖像視頻智能分析、信息感知、信息傳輸、信息安全等技術(shù)都與大數(shù)據(jù)密切相關(guān)。大數(shù)據(jù)不是指一般意義上的數(shù)據(jù)規(guī)模大。例如，銀行數(shù)據(jù)庫(kù)中的數(shù)據(jù)實(shí)時(shí)產(chǎn)生增長(zhǎng)，數(shù)據(jù)量龐大，但不能稱之為大數(shù)據(jù)，因?yàn)槠渚哂忻鞔_的格式，且盡在銀行的掌控之中。

3.大數(shù)據(jù)的特征

目前，對(duì)大數(shù)據(jù)的特征描述，比較一致的看法是可以用“4V”來(lái)表達(dá)，就是容量（Volume）、類型（Variety）、速度（Velocity）、價(jià)值（Value）。

容量大（Volume）。指數(shù)據(jù)體量巨大，Google的資料顯示，作為其“長(zhǎng)尾效應(yīng)”的頭部，2016年其首頁(yè)導(dǎo)航每天需要提供的數(shù)據(jù)超過(guò)2.5PB，如果這些數(shù)據(jù)全部打印出來(lái)，大約將有8千億張A4紙。

類型多（Variety）。指數(shù)據(jù)類型多樣，數(shù)據(jù)類型涵蓋結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化等各種形式的數(shù)據(jù)，其中既包括文本、文件、圖片、視音頻、地理位置信息等富媒體數(shù)據(jù)，遠(yuǎn)遠(yuǎn)超出傳統(tǒng)數(shù)據(jù)格式和分析工具能處理的范疇。

速度快（Velocity）。指數(shù)據(jù)增長(zhǎng)率和處理速度快，有統(tǒng)計(jì)顯示，近十年以來(lái)，網(wǎng)頁(yè)、視頻類數(shù)據(jù)每年都以60%的速率增長(zhǎng)，預(yù)計(jì)到2020年，全球?qū)a(chǎn)生44ZB的數(shù)據(jù);與此相對(duì)應(yīng)，必然要求處理速度快，才能在及時(shí)發(fā)現(xiàn)有效信息。

價(jià)值高（Value）。指數(shù)據(jù)背后隱藏的價(jià)值高，大數(shù)據(jù)價(jià)值密度很低，但如果被有效挖掘，發(fā)現(xiàn)規(guī)律，預(yù)測(cè)趨勢(shì)，產(chǎn)生的價(jià)值卻很高，有時(shí)甚至無(wú)法用金錢(qián)衡量。在國(guó)家安全領(lǐng)域，數(shù)十小時(shí)的監(jiān)控錄像，數(shù)據(jù)量達(dá)近百G，可用的數(shù)據(jù)也許只有幾秒，但這幾秒鐘的數(shù)據(jù)如果能夠及時(shí)發(fā)現(xiàn)，則會(huì)產(chǎn)生巨大的效應(yīng)。

4.大數(shù)據(jù)技術(shù)的應(yīng)用及安全問(wèn)題

大數(shù)據(jù)時(shí)代已經(jīng)到來(lái)，但大數(shù)據(jù)技術(shù)的運(yùn)用卻是一把雙刃劍。

一方面，大數(shù)據(jù)開(kāi)啟了一次重大的時(shí)代轉(zhuǎn)型，引發(fā)了一場(chǎng)生活、工作與思維的大變革，其在經(jīng)濟(jì)、政治、文化等方面都產(chǎn)生了深遠(yuǎn)的影響，它幫助人們開(kāi)啟了循“數(shù)”管理的模式。例如，零售公司跟蹤客戶的購(gòu)買(mǎi)情況，發(fā)現(xiàn)某個(gè)客戶購(gòu)買(mǎi)了大量的真絲襯衣，這時(shí)數(shù)據(jù)挖掘系統(tǒng)就在此客戶和真絲襯衣之間創(chuàng)建關(guān)系。銷售部門(mén)就會(huì)直接發(fā)送真絲襯衣的行情，以及所有關(guān)于真絲襯衣的資料給該客戶。零售公司通過(guò)數(shù)據(jù)挖掘系統(tǒng)發(fā)現(xiàn)了以前未知的關(guān)于客戶的新信息，并且擴(kuò)大了經(jīng)營(yíng)范圍。

而另一方面，大數(shù)據(jù)主宰一切，也讓我們的隱私暴露在“第三只眼”之下。它使得目前用以保護(hù)隱私的法律手段和核心技術(shù)失去了效果，甚至威脅到國(guó)家秘密的安全。電商監(jiān)視著我們的購(gòu)物習(xí)慣，搜索引擎、交友網(wǎng)站和微博消息，使得人們的行為習(xí)慣和情緒的細(xì)節(jié)化測(cè)量成為可能。據(jù)《華盛頓郵報(bào)》2010年的研究表明，美國(guó)國(guó)家安全局每天攔截并存儲(chǔ)的電子郵件、電話和其他通信記錄多達(dá)17億條。為了弄明白這些數(shù)據(jù)，美國(guó)建立了龐大的數(shù)據(jù)中心。

在大數(shù)據(jù)高度融入我們的生活和生產(chǎn)之中時(shí)，與其相伴而生的是人們對(duì)隱私被侵犯的擔(dān)憂與無(wú)奈，其安全問(wèn)題是一個(gè)繞不開(kāi)、必須談的話題。應(yīng)對(duì)大數(shù)據(jù)的洶涌來(lái)襲，我們沒(méi)有萬(wàn)無(wú)一失的方法，只能正確認(rèn)識(shí)大數(shù)據(jù)的問(wèn)題和缺陷，改變一系列的慣例來(lái)幫助社會(huì)應(yīng)對(duì)這種沖擊，建立規(guī)范自身的新準(zhǔn)則。一個(gè)層面是運(yùn)用大數(shù)據(jù)技術(shù)，來(lái)解決大數(shù)據(jù)時(shí)代的安全問(wèn)題，用數(shù)據(jù)驅(qū)動(dòng)安全，這一理念將是未來(lái)網(wǎng)絡(luò)安全發(fā)展的方向;另一層面是大數(shù)據(jù)作為重要資產(chǎn)，用其本身的安全來(lái)驅(qū)動(dòng)數(shù)據(jù)產(chǎn)業(yè)開(kāi)花結(jié)果，良性發(fā)展。

參考文獻(xiàn)

[1]張雪超.數(shù)據(jù)致勝時(shí)代已經(jīng)到來(lái)

[2]黃征.大數(shù)據(jù)技術(shù)在軍事中的應(yīng)用淺析

[3]李儉.大數(shù)據(jù)ABC

[4]周德旺.大數(shù)據(jù)引發(fā)新一代信息技術(shù)變革浪潮

作者介紹：趙麗（1980.08-），女，漢族，甘肅慶陽(yáng)人，工程師，研究方向?yàn)橥ㄐ偶夹g(shù)。

常娟（1989.09-），女，漢族，陜西米脂人，助理工程師，研究方向?yàn)橥ㄐ偶夹g(shù)。

任霓洲（1985.10-），女，漢族，陜西淳化人，工程師，研究方向?yàn)橥ㄐ偶夹g(shù)。

1.中國(guó)人民解放軍32269部隊(duì)? ? 甘肅蘭州? ? 730000

2.中國(guó)人民解放軍31682部隊(duì)? ? 甘肅蘭州? ? 730000