大數據背景下計算機信息處理技術研究

郭 杰

（西安航空學院 計算機學院，陜西 西安 710077）

大數據背景下計算機信息處理技術研究

郭 杰

（西安航空學院 計算機學院，陜西 西安 710077）

文章分析了大數據的定義及特點、大數據時代下的信息處理技術及面臨的挑戰(zhàn)，最后分析了大數據背景下的計算機信息處理技術的發(fā)展前景。

大數據時代；計算機信息處理技術；問題；發(fā)展前景

自從計算機問世之后，傳統(tǒng)的計算方法已經逐步被淘汰，數據庫與數據存儲技術已經成為研究的熱點，并且技術的更新十分迅速，隨著計算機網絡用戶數量的增長，每天都有上萬億GB數據產生，大數據時代已經到來。大數據時代是互聯(lián)網發(fā)展的必然趨勢，根據相關部門的預測，到2020年人類能產生或復制的數據將超過350億TB，因此計算機信息處理技術尤其重要。

1 大數據的定義以及特點

物聯(lián)網技術和云計算技術的發(fā)展推進了大數據時代的到來，這是計算機行業(yè)發(fā)展的一個重要的轉折點。大數據時代的主要特點就是網絡信息數據十分龐大，通常情況下，信息總量達到12 TB便可以被稱作大數據。大數據的基本特點如下：（1）占用的存儲空間較多；（2）數據量由TB轉為ZB，數據量大；（3）實時性更強，增長速度十分迅速，能在短時間內完成大量的信息處理；（4）復查性，復查性主要是指數據量龐大，能夠對不同種類的數據進行并發(fā)處理，如網頁格局信息、視頻信息、圖片信息、文字信息等，對計算機信息處理技術的要求也更高。

2 大數據時代下的計算機信息處理技術

2.1 信息獲取和加工技術

當前信息加工技術經過多年發(fā)展已經取得一定進步，只有有效地獲取數據信息，才能方便工作人員對信息進行整理、存儲和傳播，采集到的數據信息一般存儲在數據庫中，并為需要的信息服務開展數據輸入、信息加工工作。信息加工主要是指利用信息加工處理系統(tǒng)將獲取到的信息進行重新規(guī)整和加工，為信息檢索的實現(xiàn)奠定基礎。當前信息加工技術主要包括數據高效索引技術、DEEP WEB數據感知與獲取技術以及數據挖掘技術等等常見信息處理技術，對于數據信息的加工工具有深遠影響。DEEP WEB數據感知與獲取技術就是采用網絡的深層空間技術分析、抽取網絡中的相關信息，利用數據訪問技術和信息數據的動態(tài)變化等整理網絡數據，最終實現(xiàn)數據的高效整合。數據挖掘就是采用自動或半自動的建模算法從海量的數據中尋找隱藏在數據中的模式（Pattern）、趨勢（Trend）及相關性（Relationship）等信息，數據挖掘是在沒有明確假設的前提下去挖掘信息、發(fā)現(xiàn)知識，具有先前未知、有效和實用3個特征。

2.2 信息存儲技術

信息存儲技術就是利用網絡或者其他信息存儲載體存儲加工之后的信息，大量的信息處理之后存儲在數據庫中，方便用戶對數據信息進行查找和使用。進入大數據時代之后，數據信息更新十分迅速，信息量也更加龐大，只有科學使用計算機信息處理存儲技術，才能夠實現(xiàn)信息數據的大量存儲，極大程度上提升工作效率。當前大數據存儲技術路線比較典型的有3種類型，具體的論述如下：（1）大數據一體機，這是專為大數據分析處理而研發(fā)出來的產品，主要包括數據庫管理系統(tǒng)、操作系統(tǒng)、存儲設備、服務器和預先安裝的一些軟件等，該技術的縱向擴展性和穩(wěn)定性都良好。（2）基于Hadoop的技術擴展和封裝，并且圍繞Hadoop技術衍生出來一些相關的大數據技術，應對傳統(tǒng)關系型數據庫較難處理的數據和場景，比如充分利用Hadoop開源的優(yōu)勢對非結構化數據進行存儲和計算，其中具有代表意義的是通過封裝和擴展Hadoop實現(xiàn)對互聯(lián)網大數據的存儲和分析支撐。（3）采用MPP架構構建新型的數據庫集群，重點是面向行業(yè)大數據，采用Shared Nothing架構和多項大數據處理技術（列存儲、粗粒度索引等），再結合高效的MPP架構分布式計算模式，完成對分析類應用的支撐，具有高性能和高擴展性的特點，這類MPP產品可以有效支撐PB級別的結構化數據分析，這是傳統(tǒng)的數據庫技術不能比擬的，所以當前MPP數據庫在企業(yè)的結構化數據分析和數據倉庫中的應用也十分廣泛。

2.3 ALE-IDoc接口技術

ALE-IDoc接口技術主要負責對各SAP系統(tǒng)間的中間件提供通信接口整合，將不同的分散系統(tǒng)聯(lián)系在一起，確保建立不同系統(tǒng)之間的關聯(lián)性。該接口技術中的ALE和IDoc各自具有不同的功能，ALE的主要作用是實現(xiàn)具有業(yè)務相關性的SAP間的數據同步服務，采用IDoc格式實現(xiàn)同步過程中的數據傳輸，IDoc格式有一個優(yōu)點就是可以確保數據的完整性，提高不同SAP系統(tǒng)間數據的識別性和通用性。IDoc結構主要包含3部分，分別為控制頭（描述同步的數據控制內容和收發(fā)雙方）、數據段（同步數據的具體內容，生成標準的IDoc數據格式）、狀態(tài)記錄（IDoc數據的狀態(tài)日志記錄）等，采用ALE-IDoc技術進行數據發(fā)送和數據接收的過程也不相同，數據發(fā)送需要經歷4個階段：輸出功能啟動、IDoc數據生成、ALE服務層數據分發(fā)、接收端接收。數據接收需要經歷3個階段：外部系統(tǒng)IDoc數據傳入與格式轉換、ALE服務層IDoc生成與數據庫寫入、應用程序數據讀取與展示。

2.4 Web Service接口技術

Web Service是一種獨立化的、模塊化的應用功能模塊或者是服務，其支持API調用，以XML格式為標準，以其為基礎的接口技術屬于中間件技術的一類，利用該接口技術減少客戶標準或要求對系統(tǒng)體系結構的約束，使系統(tǒng)服務的靈活性大大提高。使用該接口技術所開發(fā)的Web Service在一定程度上對用戶是透明的，開發(fā)者只需要保證調用一致的界面即可。此外，采用XML格式對技術中使用的語言進行描述，可以不斷提高信息的自適應性和自描述性，使數據和邏輯間的關聯(lián)度不斷降低，從而使系統(tǒng)結構的清晰性不斷提高。此外，Web Service接口技術中的UDDI注冊機制消除了SAP系統(tǒng)的位置限制，可以在保障SAP系統(tǒng)的控制性同時降低開發(fā)成本。

3 大數據背景下計算機處理技術面臨的問題

當前社會已經進入了大數據時代，通過計算機信息處理技術對這些數據進行分析和處理，已經明顯改變了人們的生活，如瀏覽淘寶頁面時，后臺會對你的瀏覽數據進行分析，自動推送一些瀏覽相關的或相似的產品，雖然大數據技術為人們的生活帶來了便利，但是我們也要清晰地認識到，大數據技術在發(fā)展過程中同樣面臨著一些挑戰(zhàn)，它也能給人們的生活帶來困擾和麻煩，是一把雙刃劍。比如，大數據時代使盜版問題更加猖獗、上網過程中計算機和服務器會受到一些病毒的惡意攻擊，一些個人信息會被泄露、篡改或者是冒用他人的身份信息，個人隱私的泄露可能會給個人帶來不可估量的損失，對社會產生不良影響。這些問題的出現(xiàn)削弱了互聯(lián)網的服務品質，同時也為軟件的研發(fā)者提出了更多的要求和挑戰(zhàn)，對于大數據技術和信息處理技術的發(fā)展造成了沖擊。為了解決上述問題，需要在大數據背景下加強計算機信息處理技術的研發(fā)，能夠研究出一種新技術自動濾掉那些網絡攻擊和虛假信息，提高大數據時代的信息安全性。除安全問題外，大數據背景下的計算機處理技術還面臨著別的難題，這就是計算機硬件的發(fā)展速度和互聯(lián)網的發(fā)展速度不匹配，導致一些硬件根本不能滿足數據存儲、處理的需求，兩者之間存在技術空缺。當前大部分計算機的性能都不能滿足大量用戶數據信息存儲和處理的需求。一些軟件可以滿足大數據的存儲和處理，但是需要消耗較多的時間和能源，給數據的處理和存儲帶來了很多麻煩。因此，需要提高計算機的硬件水準，加大研發(fā)力度，填補技術空缺。

4 大數據背景下信息處理技術發(fā)展前景

隨著大數據時代的到來，信息提取、加工以及傳輸技術成為信息處理技術重點，信息的存儲技術為海量數據提供存儲保障，但是信息安全問題應該受到重視，同時還應該加強硬件設備的研究，提高其信息存儲能力，具體論述如下。

4.1 加大信息安全技術研發(fā)

為了提高大數據時代的信息安全性，信息的安全管理應該主要從以下幾方面著手：（1）構建一個完整的信息安全系統(tǒng)，加強對技術人員的培訓，提高他們的安全知識水平，充分發(fā)揮出他們在信息安全管理中的作用；（2）加強技術研發(fā)，更新升級安全管理產品，使這些產品滿足于當代數據環(huán)境下的安保管理；（3）提高數據的分類和檢索效率。

4.2 信息處理技術的發(fā)展方向

為了促進大數據時代的發(fā)展，應該為信息處理技術創(chuàng)造一個良好的環(huán)境，加大硬件設備的研發(fā)。此外，不同的運營單位和研發(fā)機構之間應該相互合作，取長補短，通過高性能的硬件設備構建優(yōu)質的網絡環(huán)境，為信息處理技術的發(fā)展奠定基礎。

5 結語

大數據時代的到來給人們帶來了便利，也帶來了問題和挑戰(zhàn)。隨著互聯(lián)網技術的發(fā)展，數據量將會越來越多且結構也會變得十分復雜，計算機信息處理技術顯得尤為重要，針對海量的數據進行處理十分必要，同時在大數據時代也要注重網絡信息的安全問題，并加大硬件設備的研發(fā)，為大數據時代下計算機信息處理技術奠定基礎。

[1]呂敬全.“大數據”時代背景下計算機信息處理技術分析[J].信息與電腦（理論版），2013（6）：126-127.

[2]耿冬旭.“大數據”時代背景下計算機信息處理技術分析[J].網絡安全技術與應用，2014（1）：19-21.

[3]吳恩生，王桂梅.大數據時代計算機信息處理技術分析[J].江蘇科技信息，2015（12）：63-65.

[4]姚永春.出版企業(yè)掘金大數據的兩個層面[J].出版廣角，2014（4）：58-59．

[5]姚琪.大數據在“智慧校園”中的價值研究[J].南京工業(yè)職業(yè)技術學院學報，2013（4）：32-33．

Study on computer information processing technology in the background of big data

Guo Jie
（Computer Academy of Xi’an Aeronautical University, Xi’an 710077, China）

This paper analyzes the de fi nition and characteristics of the big data, the information processing technology and the challenges in the big data age, and fi nally analyzes the development prospect of the computer information processing technology in the background of big data.

big data age; computer information processing technology; problem; development prospect

郭杰（1980— ），男，陜西富平人，碩士，軟件工程師；研究方向：計算機硬件課程嵌入式與網絡教學。