“大數(shù)據(jù)”時(shí)代背景下計(jì)算機(jī)信息處理技術(shù)分析

耿冬旭

（北京理工大學(xué)珠海學(xué)院 廣東 519088）

0 引言

隨著計(jì)算機(jī)網(wǎng)絡(luò)用戶數(shù)量的增長(zhǎng)，每天都產(chǎn)生上萬億 GB的數(shù)據(jù)，“大數(shù)據(jù)”時(shí)代已經(jīng)到來，這是過去幾十年計(jì)算機(jī)領(lǐng)域沒有預(yù)見的，這對(duì)計(jì)算機(jī)信息處理技術(shù)帶來了新的挑戰(zhàn)。必須利用新的思路和理念來處理與日俱增的計(jì)算機(jī)數(shù)據(jù)。

1“大數(shù)據(jù)”時(shí)代的概述

1.1“大數(shù)據(jù)”的定義

所謂的“大數(shù)據(jù)”，顧名思義就是數(shù)據(jù)量巨大的意思，值得是信息的數(shù)據(jù)量巨大，以目前的計(jì)算機(jī)主流軟件都無法在短時(shí)間內(nèi)實(shí)現(xiàn)對(duì)其進(jìn)行獲取、處理、儲(chǔ)存、傳輸?shù)裙芾砉δ?，以便為客戶提供合理的信息技術(shù)服務(wù)。對(duì)于數(shù)據(jù)量巨大到什么程度，業(yè)內(nèi)目前還沒有統(tǒng)一的標(biāo)準(zhǔn)，一般認(rèn)為數(shù)據(jù)量在 10TB-1PB（1TB=1024GB，1PB=1024TB）以上。

1.2“大數(shù)據(jù)”的特點(diǎn)

“大數(shù)據(jù)”具有數(shù)據(jù)量大、快速化、復(fù)查、多樣化等特點(diǎn)。數(shù)據(jù)量大指的是“大數(shù)據(jù)”時(shí)代需要處理的計(jì)算機(jī)信息數(shù)據(jù)量特別大，而且與日俱增，以及從原來的TB數(shù)量級(jí)甚至發(fā)展到ZB的數(shù)量級(jí)（1ZB=10242PB），這些數(shù)據(jù)真可謂是海量的。快速化也是“大數(shù)據(jù)”的又一特點(diǎn)，現(xiàn)在網(wǎng)絡(luò)數(shù)據(jù)流有相當(dāng)一部分是實(shí)時(shí)的、高速的，這就需要對(duì)這些數(shù)據(jù)流進(jìn)行實(shí)時(shí)的、快速的、持續(xù)的處理，目前對(duì)這些數(shù)據(jù)流的進(jìn)行處理的工具也在不斷的更新。復(fù)查指的是“大數(shù)據(jù)”計(jì)算機(jī)信息處理的難度非常大，信息處理技術(shù)有待于發(fā)展。多樣化指的是“大數(shù)據(jù)”時(shí)代下的數(shù)據(jù)類型十分的龐雜，數(shù)據(jù)主要包括文本、網(wǎng)頁、音頻、視頻、圖片等，其格式也是千變?nèi)f化，為計(jì)算機(jī)信息處理帶來了新的難度。

1.3“大數(shù)據(jù)”時(shí)代的影響

云計(jì)算技術(shù)和物聯(lián)網(wǎng)技術(shù)的產(chǎn)生給“大數(shù)據(jù)”時(shí)代的到來提供必要條件，是計(jì)算機(jī)行業(yè)又一次重大的革命性的轉(zhuǎn)變，并直接影響著廣大計(jì)算機(jī)用戶、企事業(yè)單位和政府機(jī)關(guān)的活動(dòng)方式和它們之間的交流途徑。數(shù)據(jù)是“大數(shù)據(jù)”時(shí)代的最重要的核心內(nèi)容，企業(yè)、消費(fèi)者和網(wǎng)民之間的界限在“大數(shù)據(jù)”時(shí)代的到來后就顯得很模糊，沒有明確的界限，這對(duì)企業(yè)的運(yùn)行、經(jīng)營(yíng)、管理和發(fā)展方向都產(chǎn)生了重要的影響，同時(shí)也帶來各種的挑戰(zhàn)和機(jī)遇。

2“大數(shù)據(jù)”時(shí)代的機(jī)遇和挑戰(zhàn)

2.1“大數(shù)據(jù)”時(shí)代的機(jī)遇

計(jì)算機(jī)網(wǎng)絡(luò)普及化程度高導(dǎo)致了“大數(shù)據(jù)”產(chǎn)生在各行各業(yè)中，雖然面對(duì)海量的數(shù)據(jù)的處理難度很大，但是還是可以通過新的理念和方法對(duì)其進(jìn)行處理和分析，其結(jié)果具有非常重要意義的。例如：在企業(yè)的管理中進(jìn)行“大數(shù)據(jù)”的信息處理可以提高企業(yè)管理的精細(xì)程度，提高職能部門的工作效率，從而減少了企業(yè)的開支，使企業(yè)更加具有競(jìng)爭(zhēng)力；在教育領(lǐng)域應(yīng)用“大數(shù)據(jù)”信息處理來統(tǒng)計(jì)廣大學(xué)生的興趣愛好、特長(zhǎng)和優(yōu)缺點(diǎn)，就可以針對(duì)每個(gè)同學(xué)的不同情況進(jìn)行因材施教，發(fā)展他們的長(zhǎng)處；在商業(yè)競(jìng)爭(zhēng)中應(yīng)用“大數(shù)據(jù)”信息處理技術(shù)分析消費(fèi)者的喜好、需求和熱門商品的賣點(diǎn)，可以有針對(duì)性的推出消費(fèi)者需要和滿意的商品，這樣就可以提高商品的銷量，提高利潤(rùn)率。目前，美國(guó)已經(jīng)率先將“大數(shù)據(jù)”信息處理技術(shù)的發(fā)展上升到國(guó)家的戰(zhàn)略上，與2012年正式的啟動(dòng)投資額為2儀美元的“大數(shù)據(jù)研究與發(fā)展計(jì)劃”。

2.2“大數(shù)據(jù)”時(shí)代信息處理技術(shù)的挑戰(zhàn)

“大數(shù)據(jù)”時(shí)代的到來給企業(yè)、商業(yè)、教育界以及國(guó)家戰(zhàn)略帶來重大機(jī)遇的同時(shí)，也為整個(gè)社會(huì)帶來了新的挑戰(zhàn)：

①數(shù)據(jù)量巨大的信息給數(shù)據(jù)的儲(chǔ)存技術(shù)、存儲(chǔ)空間、數(shù)據(jù)快速傳輸技術(shù)以及資源的損耗帶來了新的挑戰(zhàn)：計(jì)算機(jī)信息的數(shù)據(jù)量巨大就需要與之適應(yīng)的儲(chǔ)存空間，同時(shí)對(duì)儲(chǔ)存技術(shù)也有一定的要求包括壓縮技術(shù)都有待于發(fā)展，“大數(shù)據(jù)”的信息傳輸所需要的時(shí)間也相應(yīng)的長(zhǎng)，這就需要對(duì)數(shù)據(jù)傳輸技術(shù)的發(fā)展。

②“大數(shù)據(jù)”時(shí)代對(duì)用戶、企業(yè)的隱私和計(jì)算機(jī)信息安全提出新的要求：“大數(shù)據(jù)”時(shí)代的數(shù)據(jù)流非常多，在線社交和網(wǎng)上購(gòu)物等活動(dòng)也越來越頻繁，這就給網(wǎng)絡(luò)黑客和詐騙分子提供了犯罪的平臺(tái)。而且只要應(yīng)用“大數(shù)據(jù)”信息處理技術(shù)就很容易的對(duì)企業(yè)以及消費(fèi)者的數(shù)據(jù)進(jìn)行分析，這就導(dǎo)致企業(yè)商業(yè)機(jī)密的泄露和個(gè)人信息的暴露。這就需要加大網(wǎng)絡(luò)安全立法和加強(qiáng)對(duì)用戶和企業(yè)的信息的加密保護(hù)程度才能保證商業(yè)機(jī)密和用戶的個(gè)人信息不被不法分子獲取，同時(shí)廣大網(wǎng)民要提高安全意識(shí)，要對(duì)網(wǎng)絡(luò)上的事件和人物保持一定的警惕態(tài)度，保證自己不被詐騙。

③“大數(shù)據(jù)”時(shí)代給網(wǎng)絡(luò)運(yùn)營(yíng)商的硬件設(shè)備和對(duì)海量數(shù)據(jù)的信息處理能力帶來的挑戰(zhàn)：“大數(shù)據(jù)”的網(wǎng)絡(luò)傳輸速度取決于網(wǎng)絡(luò)運(yùn)行商的硬件設(shè)備，網(wǎng)絡(luò)寬帶是傳輸速度瓶頸。同時(shí)對(duì)海量數(shù)據(jù)的處理能力也是一大挑戰(zhàn)。

④龐雜的數(shù)據(jù)流對(duì)有價(jià)值的數(shù)據(jù)擷取的挑戰(zhàn)：“大數(shù)據(jù)”有著價(jià)值高和密度低的特點(diǎn)，這就意味著真正有價(jià)值的數(shù)據(jù)往往在海量的信息中，要從中提取需要的、有價(jià)值的信息是個(gè)非常有難度工作，而且工作量也十分巨大，這就對(duì)信息處理技術(shù)提出新的要求。

3“大數(shù)據(jù)”時(shí)代的信息處理技術(shù)及其發(fā)展方向

3.1 信息擷取、加工和傳輸技術(shù)

通常進(jìn)行計(jì)算機(jī)信息處理的首要工作就是進(jìn)行數(shù)據(jù)的擷取，任何的信息處理手段都是建立在數(shù)據(jù)的擷取上。所謂的數(shù)據(jù)擷取就是對(duì)目標(biāo)信息源進(jìn)行實(shí)時(shí)的信息監(jiān)控，并將所需要的數(shù)據(jù)收集并儲(chǔ)存到預(yù)制的數(shù)據(jù)庫中，這樣就可以向各個(gè)軟件系統(tǒng)平臺(tái)提供信息輸入。信息處理的第二個(gè)步驟是信息的加工，就是將保存到數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行分類和加工。最后將處理好的數(shù)據(jù)通過數(shù)據(jù)的傳輸技術(shù)傳送到需要該數(shù)據(jù)的用戶手中，從而實(shí)現(xiàn)了數(shù)據(jù)的傳遞。

3.2 信息的存儲(chǔ)技術(shù)

計(jì)算機(jī)信息存儲(chǔ)技術(shù)就是將通過一定手段擷取到的信息儲(chǔ)存到結(jié)構(gòu)數(shù)據(jù)庫，當(dāng)用戶在需要某些信息的時(shí)候可以通過一定的操作從數(shù)據(jù)庫中直接調(diào)出相應(yīng)信息的技術(shù)手段。在“大數(shù)據(jù)”時(shí)代的數(shù)據(jù)有著數(shù)據(jù)信息巨大、信息變更速度快等特點(diǎn)，這就需要合理應(yīng)用計(jì)算機(jī)信息存儲(chǔ)技術(shù)，以實(shí)現(xiàn)對(duì)大量數(shù)據(jù)的長(zhǎng)時(shí)間、穩(wěn)定的存儲(chǔ)。

3.3 信息安全技術(shù)

為了適應(yīng)“大數(shù)據(jù)”時(shí)代的信息安全特點(diǎn)，必須加快信息安全技術(shù)的發(fā)展，可以考慮從以下三個(gè)方面入手：（1）構(gòu)建計(jì)算機(jī)信息安全體系。加大培養(yǎng)計(jì)算機(jī)信息安全人才是構(gòu)建計(jì)算機(jī)信息安全體系的必要條件；（2）加快研發(fā)“大數(shù)據(jù)”信息安全技術(shù)產(chǎn)品。傳統(tǒng)的信息安全軟件等技術(shù)產(chǎn)品已經(jīng)不能滿足“大數(shù)據(jù)”時(shí)代的數(shù)據(jù)安全特點(diǎn)，因此必須加快研發(fā)可靠的數(shù)據(jù)安全技術(shù)產(chǎn)品；（3）提高對(duì)重點(diǎn)數(shù)據(jù)的檢測(cè)程度。由于“大數(shù)據(jù)”的信息量非常大，對(duì)每個(gè)數(shù)據(jù)進(jìn)行檢測(cè)明顯不現(xiàn)實(shí)，因此需要重點(diǎn)加強(qiáng)對(duì)重要數(shù)據(jù)的檢測(cè)。

3.4 信息處理技術(shù)的發(fā)展方向

由于計(jì)算機(jī)硬件的限制，計(jì)算機(jī)網(wǎng)絡(luò)存在著諸多的局限性，需要將目前的計(jì)算機(jī)網(wǎng)絡(luò)轉(zhuǎn)換為云計(jì)算機(jī)網(wǎng)絡(luò)，這是“大數(shù)據(jù)”時(shí)代計(jì)算機(jī)信息處理技術(shù)的發(fā)展趨勢(shì)。未來計(jì)算機(jī)網(wǎng)絡(luò)發(fā)展理念是將計(jì)算機(jī)硬件和網(wǎng)絡(luò)數(shù)據(jù)分開，從而實(shí)現(xiàn)將目前的云計(jì)算轉(zhuǎn)化為云計(jì)算機(jī)網(wǎng)絡(luò)。在未來計(jì)算機(jī)會(huì)與信息網(wǎng)絡(luò)形成“大數(shù)據(jù)”網(wǎng)絡(luò)系統(tǒng)，兩者不可分離，而計(jì)算機(jī)信息處理技術(shù)的發(fā)展不在依靠某個(gè)單一的公司研究、開發(fā)，而是通過“大數(shù)據(jù)”網(wǎng)絡(luò)系統(tǒng)由諸多公司聯(lián)合研究開發(fā)。

[1]馮騫.大數(shù)據(jù)時(shí)代的信息處理技術(shù)[J].信息通信，2013，08：155.

[2]何文娜.大數(shù)據(jù)時(shí)代基于物聯(lián)網(wǎng)和云計(jì)算的地質(zhì)信息化研究[D].吉林大學(xué)，2013.

[3]張?jiān)蕢?，劉戟鋒.大數(shù)據(jù)時(shí)代信息安全的機(jī)遇與挑戰(zhàn)：以公開信息情報(bào)為例[J].國(guó)防科技，2013，02：6-9.