淺析大數(shù)據(jù)應(yīng)用的技術(shù)體系和潛在問題

張超

摘要：隨著互聯(lián)網(wǎng)時(shí)代的到來，云計(jì)算、認(rèn)知計(jì)算、物聯(lián)網(wǎng)、大數(shù)據(jù)等概念層出不窮。其中大數(shù)據(jù)成為最熱門的領(lǐng)域，大數(shù)據(jù)應(yīng)用已經(jīng)從IT領(lǐng)域，進(jìn)入到各個行業(yè)，例如政府報(bào)告、市場營銷等。究竟如何應(yīng)用大數(shù)據(jù)，當(dāng)前大數(shù)據(jù)應(yīng)用中有哪些問題。本文嘗試分析大數(shù)據(jù)應(yīng)用的技術(shù)體系，以及應(yīng)用中的數(shù)據(jù)安全、隱私安全以及人力財(cái)力方面的潛在風(fēng)險(xiǎn)。

關(guān)鍵詞：大數(shù)據(jù) 數(shù)據(jù)庫 安全 隱私 獲取

中圖分類號：TN915.03 文獻(xiàn)標(biāo)識碼：A 文章編號：1007-9416（2016）08-0234-01

隨著互聯(lián)網(wǎng)時(shí)代的到來，云計(jì)算、認(rèn)知計(jì)算、物聯(lián)網(wǎng)、大數(shù)據(jù)等概念層出不窮。其中大數(shù)據(jù)成為最熱門的領(lǐng)域，大數(shù)據(jù)應(yīng)用已經(jīng)從IT領(lǐng)域，進(jìn)入到各個行業(yè)，例如政府公共服務(wù)、市場營銷、科技研發(fā)等。美國政府最新發(fā)布的大數(shù)據(jù)計(jì)劃，更是將大數(shù)據(jù)作為美國拉動經(jīng)濟(jì)發(fā)展的決定性機(jī)會。那么，究竟如何應(yīng)用大數(shù)據(jù)，當(dāng)前大數(shù)據(jù)應(yīng)用中有哪些問題呢？本文嘗試分析大數(shù)據(jù)應(yīng)用的技術(shù)體系，以及應(yīng)用中的數(shù)據(jù)安全、隱私安全以及人力財(cái)力方面的潛在風(fēng)險(xiǎn)。有的風(fēng)險(xiǎn)，已經(jīng)成為了威脅人民財(cái)產(chǎn)的問題，需要在大數(shù)據(jù)的收集和管理應(yīng)用上加以防范。

1 大數(shù)據(jù)的概念

在It領(lǐng)域，大數(shù)據(jù)還沒有一個清晰明確的概念。國際咨詢公司麥肯錫是世界上首次應(yīng)用并提出大數(shù)據(jù)的公司，之后商業(yè)領(lǐng)域和政府領(lǐng)域的應(yīng)用越來越多。通常，大數(shù)據(jù)具有幾個核心特點(diǎn)。第一，是數(shù)據(jù)量巨大，第二，是數(shù)據(jù)種類多且非結(jié)構(gòu)化，因此不能用傳統(tǒng)的數(shù)據(jù)分析軟件進(jìn)行分析和解釋，第三，是數(shù)據(jù)價(jià)值密度低，即龐大的數(shù)據(jù)雖然展現(xiàn)了數(shù)據(jù)的全貌，但是有用和目前技術(shù)手段下能用的并不多。這三個特性，讓大數(shù)據(jù)區(qū)別于傳統(tǒng)數(shù)據(jù)。

2 大數(shù)據(jù)應(yīng)用技術(shù)

大數(shù)據(jù)的應(yīng)用，是圍繞數(shù)據(jù)獲取，數(shù)據(jù)集成，數(shù)據(jù)分析和解釋三個核心環(huán)節(jié)展開的。

在數(shù)據(jù)的獲取方面，當(dāng)前主要的技術(shù)包括條形碼技術(shù)、傳感器技術(shù)，以及Web2.0技術(shù)。條形碼技術(shù)，給幾乎所有的物體，都可以潛入內(nèi)在ID編碼，隨著物體的流動而不斷的產(chǎn)生新的跟蹤數(shù)據(jù)。

在數(shù)據(jù)的分析和解釋層面，目前的技術(shù)主要是數(shù)據(jù)庫系統(tǒng)，數(shù)據(jù)建模分析軟件。其核心工作是對數(shù)據(jù)進(jìn)行清洗和篩選，將有用的數(shù)據(jù)結(jié)構(gòu)化和信息化。在數(shù)據(jù)分析層面，A/B測試，聚類分析、集成學(xué)習(xí)等方式是常見手段。在大數(shù)據(jù)的解釋層面，技術(shù)專家一致努力讓大數(shù)據(jù)可視化，才能進(jìn)一步的接近應(yīng)用，目前常見的可視化手段有標(biāo)簽云、宇宙星圖以及歷史流圖集中方式。

3 當(dāng)前大數(shù)據(jù)應(yīng)用中的潛在問題

大數(shù)據(jù)借助最新的科技手段，讓信息前所未有的得到有效收集，展現(xiàn)給人類新的圖景。但是如何更好的應(yīng)用大數(shù)據(jù)，仍然面臨巨大的挑戰(zhàn)和潛在的風(fēng)險(xiǎn)與問題。

3.1 大數(shù)據(jù)的人力與財(cái)力投入問題

如前文所說，大數(shù)據(jù)通過先進(jìn)的獲取手段，得到了數(shù)據(jù)的全貌。但是這些數(shù)據(jù)是種類繁多且非結(jié)構(gòu)化的，這就給數(shù)據(jù)的分析和應(yīng)用提出了巨大的挑戰(zhàn)。例如，以為同學(xué)使用校園一卡通，從大學(xué)一年級進(jìn)入校園，到大四離開，每一次去圖書館，借還書，食堂吃飯，充值，參加考試，考試成績等，每天都在發(fā)生數(shù)據(jù)。而一名學(xué)生大學(xué)四年在校園內(nèi)產(chǎn)生的數(shù)據(jù)量都是非常龐大的，更不用說所有的在校生。那么這些數(shù)據(jù)，如何保存，哪些有用，對于數(shù)據(jù)分析師來說，就是一個考驗(yàn)。大數(shù)據(jù)的分析師，不僅要精通數(shù)學(xué)，統(tǒng)計(jì)學(xué)，還要理解機(jī)器和It技術(shù)。目前缺乏大數(shù)據(jù)分析技術(shù)人員，是各大It互聯(lián)網(wǎng)公司與政府相關(guān)部門的關(guān)鍵問題。

第二，龐大數(shù)據(jù)的儲存，是在數(shù)據(jù)應(yīng)用之前必要的功課。雖然現(xiàn)在有云儲存的概念，但是最終所有的數(shù)據(jù)儲存，仍然依托服務(wù)器、硬盤、以及電力系統(tǒng)的基礎(chǔ)物理?xiàng)l件。這些物理?xiàng)l件，都需要投入大量的財(cái)力支撐。

因此，要推進(jìn)大數(shù)據(jù)的應(yīng)用，不論是政府還是公司，都需要投入巨大的人力和財(cái)力。這對于大數(shù)據(jù)自身的發(fā)展來說，是一個不小的負(fù)擔(dān)。

3.2 大數(shù)據(jù)時(shí)代的數(shù)據(jù)安全問題

在大數(shù)據(jù)時(shí)代，無處不在的傳感器、攝像頭，以及個體所持有的各種ID，例如手機(jī)號、銀行帳號、社交媒體帳號等，每天都產(chǎn)生大量的個人數(shù)據(jù)。這些數(shù)據(jù)中，不少都涉及到個人的財(cái)產(chǎn)、家庭狀況、行蹤等隱私信息。這些信息流入大數(shù)據(jù)，存在嚴(yán)重的安全問題。

第一，安全問題，大型互聯(lián)網(wǎng)或It公司自身的控制和職業(yè)道德。比如支付寶系統(tǒng)，支付寶幾乎掌握著用戶繳納水電費(fèi)、消費(fèi)習(xí)慣，當(dāng)下行程，以及銀行賬戶各類信息。如此龐大的人群和如此重要的信息，我們也只能期待巨頭企業(yè)的職業(yè)道德良好，會管理好每一位消費(fèi)者的數(shù)據(jù)，不會泄露或者為了商業(yè)目的出售我們的數(shù)據(jù)。但是，現(xiàn)代泛濫的騷擾電話和短信，就說明了信息的泄露已經(jīng)出現(xiàn)。

第二，技術(shù)層面的瓶頸問題——如何有效的收集數(shù)據(jù)以及有效的處理數(shù)據(jù)。大數(shù)據(jù)是對事物最原始的全貌記錄，數(shù)據(jù)量規(guī)模很大，但是其中有用的信息非常少，因此，對于處理數(shù)據(jù)來說，數(shù)據(jù)并不是越多越好。如何提高數(shù)據(jù)中的有效數(shù)據(jù)是非常關(guān)鍵的。大量的數(shù)據(jù)中如果僅僅包含了少量的錯誤數(shù)據(jù)，對分析結(jié)果可能不會造成很大的影響。但是如果對錯誤數(shù)據(jù)沒有有效控制的話，大量錯誤數(shù)據(jù)的涌入很可能會得到完全錯誤的結(jié)果。

第三，各類數(shù)據(jù)在網(wǎng)絡(luò)中儲存和流動，如果被不法分子截獲利用，就會造成普通消費(fèi)者的經(jīng)濟(jì)損失。在支付寶開通理財(cái)業(yè)務(wù)后，就發(fā)生過黑客攻擊賬戶，竊取理財(cái)資金的惡性事件。

第四，很多公司的數(shù)據(jù)，例如客戶資料、員工資料，并非掌握在自己手中，而是委托給第三方的數(shù)據(jù)管理提供商。也就是很多公司的核心數(shù)據(jù)，不在自己手里，而是都在第三方手里。這個時(shí)候，這些公司的脆弱性和潛在風(fēng)險(xiǎn)就在提高。

總之，雖然大數(shù)據(jù)作為一個當(dāng)今人盡皆知的概念，但是其應(yīng)用仍然處在起步階段。如何更有效率的獲取數(shù)據(jù)、儲存數(shù)據(jù)、分析和解釋數(shù)據(jù)都在技術(shù)層面和管理機(jī)制層面存在潛在問題與風(fēng)險(xiǎn)。本文認(rèn)為，大數(shù)據(jù)的應(yīng)用人才不足與大數(shù)據(jù)應(yīng)用管理監(jiān)督機(jī)制，是問題的核心。從這兩個方面入手，培養(yǎng)大數(shù)據(jù)人才，并建立大數(shù)據(jù)應(yīng)用監(jiān)督機(jī)制，才能促進(jìn)大數(shù)據(jù)的健康發(fā)展。

參考文獻(xiàn)

[1]陶雪嬌，胡曉峰，劉洋.大數(shù)據(jù)研究綜述[J].系統(tǒng)仿真學(xué)報(bào)，2013（S1）.

[2]陳水生.新公共管理的終結(jié)與數(shù)字時(shí)代治理的興起[J].理論導(dǎo)刊，2009（04）.

[3]張?zhí)m廷.大數(shù)據(jù)的社會價(jià)值與戰(zhàn)略選擇[D].中共中央黨校，2014.