基于大數(shù)據(jù)時(shí)代背景下計(jì)算機(jī)信息處理技術(shù)研究

科爾侖

（通遼市圖書(shū)館，內(nèi)蒙古通遼，028000）

0 引言

在大數(shù)據(jù)時(shí)代發(fā)展背景下，社會(huì)中各領(lǐng)域的發(fā)展都步入快速的階段，有關(guān)計(jì)算機(jī)信息技術(shù)的應(yīng)用越發(fā)的廣泛，而遍布各領(lǐng)域的多樣化數(shù)據(jù)終端，每天所產(chǎn)生的海量數(shù)據(jù)，需要得到相應(yīng)的信息處理技術(shù)的支持，才能夠?qū)崿F(xiàn)對(duì)這些數(shù)據(jù)的有效篩選，并提煉其中的價(jià)值。故此，當(dāng)前在大數(shù)據(jù)時(shí)代背景下，我們需要針對(duì)計(jì)算機(jī)信息處理技術(shù)的發(fā)展方向進(jìn)行探究，這對(duì)促進(jìn)整個(gè)社會(huì)的發(fā)展來(lái)說(shuō)將具有積極的現(xiàn)實(shí)意義。

1 大數(shù)據(jù)與計(jì)算機(jī)信息處理的基本概念

1.1 大數(shù)據(jù)

麥肯錫全球研究，對(duì)于大數(shù)據(jù)所給出的定義是：在信息獲取、管理、存儲(chǔ)、分析方面，能極地大超出傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具能力范圍的數(shù)據(jù)集合，具有多樣的數(shù)據(jù)類(lèi)型、快速的數(shù)據(jù)流轉(zhuǎn)、價(jià)值密度低，海量的數(shù)據(jù)規(guī)模四大特征。由此可見(jiàn)，在當(dāng)前的多元化發(fā)展的時(shí)代背景之下，大數(shù)據(jù)所具有的價(jià)值不可替代，針對(duì)大數(shù)據(jù)的價(jià)值進(jìn)行探究以及有效應(yīng)用，將影響整個(gè)社會(huì)的發(fā)展走向。

1.2 計(jì)算機(jī)信息處理技術(shù)

現(xiàn)階段所衍生出的計(jì)算機(jī)信息處理技術(shù)類(lèi)別主要包括三種：其一是信息系統(tǒng)技術(shù)。各種技術(shù)的中心為計(jì)算機(jī)，實(shí)現(xiàn)信息處理的主要途徑為數(shù)據(jù)庫(kù)和通信網(wǎng)絡(luò)技術(shù)；其二是數(shù)據(jù)庫(kù)技術(shù)，該項(xiàng)技術(shù)的核心內(nèi)容是針對(duì)信息進(jìn)行整序，不僅具有集合性相關(guān)信息的功能，不評(píng)測(cè)兼具信息的有效儲(chǔ)存以及利用；其三是檢索技術(shù)，其最為主要的作用是，可以隨時(shí)隨地為人們提供信息查詢(xún)。當(dāng)下計(jì)算機(jī)信息處理技術(shù)已經(jīng)涉及到了方方面面，對(duì)于信息的處理而言極其重要，是深度挖掘信息數(shù)據(jù)具有的價(jià)值的重要工具。

圖1 計(jì)算機(jī)信息處理技術(shù)的基本原理

1.2.1 數(shù)據(jù)的采集

由于大數(shù)據(jù)時(shí)代背景下，所面對(duì)的采集數(shù)據(jù)總量較大，因此具有強(qiáng)大的數(shù)據(jù)采集功能十分關(guān)鍵。在傳統(tǒng)模式中，關(guān)于數(shù)據(jù)方面的采集，只是一些社會(huì)中的企業(yè)只針對(duì)于其自身的本行業(yè)內(nèi)用戶(hù)，所進(jìn)行的一些相關(guān)數(shù)據(jù)的采集，但是，當(dāng)前隨著數(shù)據(jù)共享理念的實(shí)施，實(shí)時(shí)數(shù)據(jù)采集的對(duì)象主體越發(fā)的豐富，并逐漸朝向集體化方向進(jìn)發(fā)。

數(shù)據(jù)本身不會(huì)造假的，但是在整個(gè)數(shù)據(jù)收集的過(guò)程中，是很難確保數(shù)據(jù)來(lái)源是否真實(shí)可靠的。因?yàn)閿?shù)據(jù)收集是需要經(jīng)過(guò)很多的流程，在數(shù)據(jù)收集當(dāng)中，其一系問(wèn)題的設(shè)置以及一些選項(xiàng)的描述等細(xì)節(jié)性?xún)?nèi)容，都會(huì)對(duì)最終的數(shù)據(jù)收集結(jié)果產(chǎn)生影響，甚至左右數(shù)據(jù)收集的過(guò)程，這也是目前人們進(jìn)行數(shù)據(jù)收集時(shí)面臨的主要挑戰(zhàn)。

1.2.2 數(shù)據(jù)的存儲(chǔ)

目前關(guān)于數(shù)據(jù)的存儲(chǔ)方式，大多數(shù)企業(yè)選擇使用企業(yè)“云端”，比如 AWS（亞馬遜）、阿里云、AZURE（微軟）、GOOGLE CLOUD（谷歌云）等進(jìn)行信息存儲(chǔ)。數(shù)據(jù)存儲(chǔ)的主要作用是為了能支持?jǐn)?shù)據(jù)的處理，因此，類(lèi)似于云計(jì)算或者是其他類(lèi)別的計(jì)算框架，通常會(huì)將數(shù)據(jù)存儲(chǔ)和處理融合為一個(gè)整體。

1.2.3 計(jì)算與處理

目前國(guó)際范圍內(nèi)一些大型護(hù)理企業(yè)都青睞于開(kāi)發(fā)屬于自己的云計(jì)算體系，云計(jì)算屬于大數(shù)據(jù)轉(zhuǎn)移存儲(chǔ)，計(jì)算的協(xié)同體，能夠?qū)崿F(xiàn)分布式數(shù)據(jù)庫(kù)的分布式處理，并逐漸朝向分布式計(jì)算、效用計(jì)算、負(fù)載均衡、并行計(jì)算等領(lǐng)域進(jìn)發(fā)。云計(jì)算的優(yōu)勢(shì)在于能夠?qū)崿F(xiàn)海量數(shù)據(jù)的實(shí)時(shí)處理，因此，正確看待大數(shù)據(jù)和云計(jì)算之間的關(guān)系十分關(guān)鍵，二者之間存在密切的聯(lián)系，不可分割。通過(guò)云計(jì)算的應(yīng)用，實(shí)現(xiàn)對(duì)大數(shù)據(jù)價(jià)值的深度挖掘，隨后進(jìn)行具有目的性且更加準(zhǔn)確的系統(tǒng)性判斷，以此實(shí)現(xiàn)為用戶(hù)推送關(guān)鍵精準(zhǔn)信息來(lái)創(chuàng)造更多的價(jià)值。而一些企業(yè)受限于自身的資源和技術(shù)能力，無(wú)法開(kāi)發(fā)屬于自身的云計(jì)算，可以選擇和高端企業(yè)進(jìn)行合作。同樣可以借助高端企業(yè)的云計(jì)算系統(tǒng)，實(shí)現(xiàn)對(duì)數(shù)據(jù)的處理和利用，又或是利用Hadoop、Mapreduce、Tensorflow（深度學(xué)習(xí)框架）、Spark、Pentaho BI等開(kāi)源框架進(jìn)行大數(shù)據(jù)處理，云計(jì)算和大數(shù)據(jù)的關(guān)系。

1.2.4 大數(shù)據(jù)的安全

因?yàn)殡S著大數(shù)據(jù)的應(yīng)用范圍不斷拓展，有關(guān)大數(shù)據(jù)的安全性備受關(guān)注。之前的等保1.0體系，在適用性、時(shí)效性等方面還有很多地方需要進(jìn)一步擴(kuò)充和完善，因此等保2.0體系應(yīng)運(yùn)而生。關(guān)于大數(shù)據(jù)的安全性，通常覆蓋兩方面，首先是用戶(hù)方面，用戶(hù)是否表現(xiàn)出自己數(shù)據(jù)被大數(shù)據(jù)收集的意愿，例如用戶(hù)在進(jìn)行商品瀏覽過(guò)程中，喜好會(huì)被記錄，或者是發(fā)送郵件時(shí)聯(lián)系方式會(huì)被泄露，以及使用導(dǎo)航地圖時(shí)位置信息會(huì)被泄露等，這些都是常見(jiàn)的大數(shù)據(jù)安全問(wèn)題。因此用戶(hù)為了保證自身信息安全性，在使用大數(shù)據(jù)相關(guān)的各種平臺(tái)及軟件時(shí)，就會(huì)慎重對(duì)待各種權(quán)屬限制，謹(jǐn)慎處理。另外一方面則是關(guān)于大數(shù)據(jù)的開(kāi)發(fā)方如何保證安全性。例如一些企業(yè)級(jí)的大數(shù)據(jù)，在流通性和共享性方面會(huì)較為的明顯，很容易出現(xiàn)信息泄露的情況發(fā)生，也有著較高的會(huì)被網(wǎng)絡(luò)黑客進(jìn)行勒索攻擊危險(xiǎn)性。

2 大數(shù)據(jù)研究的意義以及機(jī)遇和挑戰(zhàn)

2.1 大數(shù)據(jù)研究的意義

圖2 云計(jì)算和大數(shù)據(jù)的關(guān)系

圖3 等級(jí)保護(hù)2.0安全框架

關(guān)于大數(shù)據(jù)研究的價(jià)值意義，主要體現(xiàn)在以下三方面，首先，大數(shù)據(jù)已經(jīng)成為國(guó)家層面的重要戰(zhàn)略資源，注重該方面的研究，對(duì)于提高國(guó)家信息安全競(jìng)爭(zhēng)力及其比較其次，有關(guān)大數(shù)據(jù)的研究，能夠進(jìn)一步加大關(guān)于大數(shù)據(jù)的利用程度，能夠?yàn)楦餍懈鳂I(yè)的發(fā)展提供更加準(zhǔn)確的分析和指導(dǎo)，可以說(shuō)影響著我國(guó)產(chǎn)業(yè)升級(jí)以及未來(lái)經(jīng)濟(jì)發(fā)展結(jié)構(gòu)的走向，關(guān)系到我國(guó)產(chǎn)業(yè)的整體發(fā)展，最后是關(guān)于大數(shù)據(jù)的研究，有利于推動(dòng)科學(xué)思維的革命。

2.2 大數(shù)據(jù)研究的機(jī)遇和挑戰(zhàn)

目前根據(jù)有關(guān)大數(shù)據(jù)的研究，來(lái)看大數(shù)據(jù)擁有的發(fā)展機(jī)遇，主要體現(xiàn)為以下三個(gè)方面，首先是大數(shù)據(jù)時(shí)代下的信息技術(shù)的挖掘和應(yīng)用，具有十分明顯的產(chǎn)業(yè)價(jià)值，其次是大數(shù)據(jù)時(shí)代面臨著網(wǎng)絡(luò)信息安全以及各種新興事物出現(xiàn)的挑戰(zhàn)，最后是有關(guān)大數(shù)據(jù)，信息安全的不斷升級(jí)要求。在明確大數(shù)據(jù)發(fā)展機(jī)遇的基礎(chǔ)之上，也需要正確認(rèn)識(shí)面臨的主要發(fā)展挑戰(zhàn)，首先需要在數(shù)據(jù)挖掘領(lǐng)域持續(xù)深入，其次需要達(dá)到更高層級(jí)的信息安全等級(jí)。

3 大數(shù)據(jù)時(shí)代下的計(jì)算機(jī)處理技術(shù)

3.1 DEEP WEB數(shù)據(jù)感知與獲取技術(shù)

首先，大數(shù)據(jù)時(shí)代背景下，計(jì)算機(jī)的信息處理技術(shù)中，DEEP WEB數(shù)據(jù)感知與獲取技術(shù)是一種較為重要的問(wèn)題。該項(xiàng)技術(shù)的特征在于有著較大規(guī)模的數(shù)據(jù)量信息，并且呈現(xiàn)出較為特殊的動(dòng)態(tài)變化以及分布性和訪問(wèn)方式。該項(xiàng)技術(shù)的主要用途是實(shí)現(xiàn)數(shù)據(jù)的充分利用，隨后針對(duì)海量數(shù)據(jù)中具有價(jià)值的部分進(jìn)行高質(zhì)量集成，實(shí)現(xiàn)對(duì)數(shù)據(jù)的抽取以及整合操作，該項(xiàng)技術(shù)能夠支撐數(shù)據(jù)的準(zhǔn)確利用，有著重要研發(fā)意義。

3.2 分布式數(shù)據(jù)存儲(chǔ)

分布式數(shù)據(jù)存儲(chǔ)技術(shù)的使用，也是眼下大數(shù)據(jù)時(shí)代背景下，計(jì)算機(jī)處理技術(shù)的主要應(yīng)用領(lǐng)域，該項(xiàng)技術(shù)的作用發(fā)揮建立在谷歌公司的GPS 技術(shù)基礎(chǔ)之上，在許多大型互聯(lián)網(wǎng)企業(yè)都有著大量的應(yīng)用。該項(xiàng)技術(shù)主要是使用列存儲(chǔ)概念。一般是以列為單位實(shí)施存儲(chǔ)，列存儲(chǔ)方式在數(shù)據(jù)壓縮方面的有著較好的優(yōu)勢(shì)，能夠?qū)崿F(xiàn)信息技術(shù)快速的循環(huán)，并且在實(shí)際應(yīng)用中，關(guān)于海量數(shù)據(jù)的加載以及磁盤(pán)空間的高效利用都更勝一籌。

3.3 數(shù)據(jù)高效索引

數(shù)據(jù)的高效索引，同樣也是大數(shù)據(jù)時(shí)代下，計(jì)算機(jī)與信息處理技術(shù)中重要的研發(fā)領(lǐng)域。目前較為先進(jìn)的索引技術(shù)，以谷歌公司的BIGTABLE 技術(shù)為主，在實(shí)踐中的應(yīng)用要點(diǎn)集中在以下兩點(diǎn)，首先是聚簇索引，在索引順序的指導(dǎo)下，全部數(shù)據(jù)結(jié)構(gòu)進(jìn)行存儲(chǔ)；其次是互補(bǔ)式聚簇索引。其主要是利用副本為索引列，來(lái)進(jìn)行互為補(bǔ)充的索引表創(chuàng)建。并且在實(shí)際使用過(guò)程中，通常會(huì)和查詢(xún)結(jié)果估算配合使用，以達(dá)到最優(yōu)的數(shù)據(jù)查詢(xún)結(jié)果。

3.4 基于大數(shù)據(jù)的信息挖掘計(jì)算機(jī)處理技術(shù)

針對(duì)信息數(shù)據(jù)的挖掘，也是大數(shù)據(jù)時(shí)代背景下，計(jì)算機(jī)信息處理技術(shù)的主要應(yīng)用領(lǐng)域，主要是指針對(duì)網(wǎng)絡(luò)實(shí)施搜索，并進(jìn)行實(shí)體關(guān)聯(lián)和分析。目前在互聯(lián)網(wǎng)信息搜索領(lǐng)域的熱議話(huà)題為排序?qū)W習(xí)算法，該種算法主要應(yīng)用于大規(guī)模社會(huì)媒體信息量的短文本特征搜索，從而達(dá)到對(duì)數(shù)據(jù)信息良好的處理和分析，眼下關(guān)于排序?qū)W習(xí)算法的研究熱點(diǎn)集中在逐點(diǎn)、逐對(duì)和逐列三個(gè)領(lǐng)域。

3.5 遺傳算法和神經(jīng)網(wǎng)絡(luò)

遺傳算法也同樣備受關(guān)注。遺傳算法的主要原理為仿照生物界的進(jìn)化規(guī)律演化實(shí)現(xiàn)隨機(jī)化搜索，該方法應(yīng)用過(guò)程中，想要實(shí)現(xiàn)尋優(yōu)，則必須采用概率化方法，從而實(shí)現(xiàn)對(duì)搜索方向的自動(dòng)調(diào)整?，F(xiàn)階段遺傳算法表現(xiàn)出的應(yīng)用相對(duì)較為普遍，主要集中在機(jī)器學(xué)習(xí)以及信號(hào)處理領(lǐng)域。模擬神經(jīng)算法的主要原理是通過(guò)模擬動(dòng)物運(yùn)行神經(jīng)。從而形成具體的網(wǎng)絡(luò)行為，該方法的特征在于能夠借助分布式并行實(shí)現(xiàn)信息處理。

4 結(jié)語(yǔ)

綜上所述，希望根據(jù)通過(guò)對(duì)當(dāng)前的大數(shù)據(jù)時(shí)代背景下的，計(jì)算機(jī)信息處理技術(shù)發(fā)展前景，以及計(jì)算機(jī)信息處理技術(shù)當(dāng)中的主流處理技術(shù)進(jìn)行分析，隨著大數(shù)據(jù)時(shí)代的不斷發(fā)展，以及計(jì)算機(jī)信息處理技術(shù)自身的的不斷革新，可以使二者之間的融合將會(huì)更加的深入，會(huì)共同推動(dòng)社會(huì)的發(fā)展和進(jìn)步。