大數(shù)據(jù)時(shí)代計(jì)算機(jī)信息處理技術(shù)研究

陳云

摘? ?要：大數(shù)據(jù)時(shí)代的快速發(fā)展給計(jì)算機(jī)信息處理技術(shù)帶來(lái)極大的機(jī)遇和挑戰(zhàn)，要充分認(rèn)識(shí)到大數(shù)據(jù)時(shí)代計(jì)算機(jī)信息處理技術(shù)的重要性和特點(diǎn)。文章探討和分析大數(shù)據(jù)時(shí)代下的計(jì)算機(jī)信息采集技術(shù)、存儲(chǔ)技術(shù)和安全技術(shù)，構(gòu)建適宜的網(wǎng)絡(luò)平臺(tái)和數(shù)據(jù)庫(kù)結(jié)構(gòu)，實(shí)現(xiàn)對(duì)數(shù)據(jù)信息的高效采集和數(shù)據(jù)庫(kù)鏈接。并研究和分析數(shù)據(jù)存儲(chǔ)算法，構(gòu)建低冗余度、高可靠性的海量數(shù)據(jù)存儲(chǔ)系統(tǒng)，同時(shí)運(yùn)用計(jì)算機(jī)信息安全技術(shù)構(gòu)建復(fù)雜的安全信息系統(tǒng)，確保計(jì)算機(jī)信息處理技術(shù)在生產(chǎn)生活、各行各業(yè)的便捷安全應(yīng)用。

關(guān)鍵詞：大數(shù)據(jù);計(jì)算機(jī)信息處理技術(shù);采集;存儲(chǔ);安全

1? ? 大數(shù)據(jù)和計(jì)算機(jī)信息處理技術(shù)概述

大數(shù)據(jù)以多元化的形式而存在，通過(guò)對(duì)海量數(shù)據(jù)的挖掘可以采集獲取龐大的數(shù)據(jù)組，體現(xiàn)出大量、高速、多樣、價(jià)值的特征，并以云計(jì)算的分布式處理、分布式數(shù)據(jù)庫(kù)、云存儲(chǔ)、虛擬化技術(shù)為支撐和依托，其核心在于為客戶挖掘數(shù)據(jù)中蘊(yùn)藏的價(jià)值，而非軟、硬件的簡(jiǎn)單堆砌，對(duì)網(wǎng)絡(luò)架構(gòu)和數(shù)據(jù)處理能力也帶來(lái)極大的挑戰(zhàn)，對(duì)于降低成本、提高效率、開(kāi)發(fā)新產(chǎn)品、業(yè)務(wù)決策有極其重要的作用[1]。

2? ? 大數(shù)據(jù)時(shí)代計(jì)算機(jī)信息處理技術(shù)應(yīng)用分析

2.1? 計(jì)算機(jī)信息采集技術(shù)

計(jì)算機(jī)信息采集技術(shù)通過(guò)搜索引擎獲取所需的信息數(shù)據(jù)，利用搜索引擎提供的分類(lèi)目錄完成常規(guī)搜索、高級(jí)搜索，在龐大資源庫(kù)的支撐下完成圖像、音視頻的自動(dòng)操作，極大地提高了用戶信息查詢的準(zhǔn)確性。然而隨著網(wǎng)絡(luò)信息資源的不斷增長(zhǎng)，傳統(tǒng)的搜索引擎暴露出滯后性，為此要開(kāi)發(fā)和利用適應(yīng)不同人群需求的主題搜索引擎技術(shù)，在互聯(lián)網(wǎng)上收集各種信息，通過(guò)網(wǎng)頁(yè)中的超文本鏈接進(jìn)行網(wǎng)頁(yè)訪問(wèn)、網(wǎng)頁(yè)分析，提取新的URL，將鏈接添加至訪問(wèn)控制列表，并將網(wǎng)頁(yè)存儲(chǔ)于數(shù)據(jù)庫(kù)之中。相關(guān)的算法主要包括深度優(yōu)先算法、廣度優(yōu)先算法、啟發(fā)式搜索算法、正則表達(dá)式等，通過(guò)對(duì)采集信息的過(guò)濾和預(yù)處理，能夠較好地提高信息采集的效率和準(zhǔn)確度，避免信息采集的URL的死循環(huán)和采集不完全的問(wèn)題[2]。

在搭建信息采集架構(gòu)的過(guò)程中，大數(shù)據(jù)時(shí)代下的計(jì)算機(jī)信息采集技術(shù)采用模塊化的架構(gòu)設(shè)計(jì)方式，主要包括有以下模塊：（1）頁(yè)面采集模塊，是計(jì)算機(jī)信息采集技術(shù)的核心和關(guān)鍵，主要采集互聯(lián)網(wǎng)中基于用戶和結(jié)構(gòu)處理的相關(guān)信息，基于相關(guān)協(xié)議進(jìn)行頁(yè)面資源的訪問(wèn)和下載等自動(dòng)操作，從網(wǎng)絡(luò)中選取指定目的數(shù)據(jù)源網(wǎng)址，進(jìn)行檢測(cè)、分析和預(yù)處理，高效地采集更多有用信息。（2）頁(yè)面分析模塊，主要對(duì)指定的URL進(jìn)行解析，分析頁(yè)面節(jié)點(diǎn)的基本配置、采集內(nèi)容頁(yè)的字段設(shè)置、采集列表頁(yè)的信息等，并進(jìn)行信息采集的有效排序，解析頁(yè)面中的超鏈接URL。（3）信息提取模塊，重點(diǎn)檢查、分析模塊傳遞的URL，實(shí)時(shí)獲取頁(yè)面內(nèi)容，包括分頁(yè)區(qū)域的列表、副標(biāo)題、內(nèi)容、圖片等信息，并對(duì)重復(fù)鏈接和訪問(wèn)鏈接中的URL進(jìn)行信息過(guò)濾。（4）內(nèi)容提取模塊，依循URL地址進(jìn)行信息排序和整合，通過(guò)數(shù)據(jù)庫(kù)索引的方式快速、便捷地提取數(shù)據(jù)信息，過(guò)濾無(wú)須采集的格式文件，并進(jìn)行數(shù)據(jù)庫(kù)緩存的實(shí)時(shí)更新。（5）鏈接解析模塊，主要進(jìn)行采集頁(yè)面和內(nèi)容的分析和處理，包括關(guān)鍵字和摘要的分析處理等工作，即將HTML中的內(nèi)容轉(zhuǎn)換為文本信息并自動(dòng)解析到所下載的內(nèi)容中，為數(shù)據(jù)信息的存儲(chǔ)奠定基礎(chǔ)。（6）內(nèi)容過(guò)濾，在信息采集的過(guò)程中，存在用戶不想瀏覽的內(nèi)容，為此還可以進(jìn)行頁(yè)面內(nèi)容的凈化和過(guò)濾，提高數(shù)據(jù)采集的效率和有效性。（7）數(shù)據(jù)庫(kù)，主要采用MySQL數(shù)據(jù)庫(kù)，通過(guò)標(biāo)準(zhǔn)化的SQL數(shù)據(jù)庫(kù)語(yǔ)言進(jìn)行數(shù)據(jù)信息的高效靈活性訪問(wèn)。

2.2? 計(jì)算機(jī)信息存儲(chǔ)技術(shù)

隨著人們對(duì)計(jì)算機(jī)應(yīng)用的逐漸增多，數(shù)據(jù)量不斷增大，計(jì)算機(jī)信息存儲(chǔ)技術(shù)開(kāi)始進(jìn)入人們的視野，然而傳統(tǒng)的DAS，NAS，SAN等專(zhuān)用存儲(chǔ)系統(tǒng)存在應(yīng)用上的局限性，盡管能夠?yàn)榭蛻籼峁┝己玫姆?wù)性能，然而也存在擴(kuò)展性差、價(jià)格高、不易維護(hù)等缺陷。為此要應(yīng)用一種適用于大規(guī)模數(shù)據(jù)存儲(chǔ)的高性能編碼策略，構(gòu)建低冗余度、高可靠性的高效、綠色存儲(chǔ)系統(tǒng)，吸納數(shù)據(jù)消冗技術(shù)和糾刪碼可靠性增強(qiáng)技術(shù)，采用海量數(shù)據(jù)存儲(chǔ)架構(gòu)，提高計(jì)算機(jī)信息處理技術(shù)的應(yīng)用效果。

2.2.1? 典型存儲(chǔ)系統(tǒng)的應(yīng)用

（1）磁盤(pán)陣列存儲(chǔ)系統(tǒng)—RAID5。該存儲(chǔ)系統(tǒng)無(wú)須進(jìn)行數(shù)據(jù)備份操作，只需將各個(gè)數(shù)據(jù)分塊及其產(chǎn)生的奇偶校驗(yàn)信息數(shù)據(jù)存儲(chǔ)于各分條的磁盤(pán)之中，并將各分塊的奇偶校驗(yàn)信息存儲(chǔ)于不同的分條上，并容許更多列隨機(jī)刪除錯(cuò)的編碼方法引入到磁盤(pán)陣列的設(shè)計(jì)和應(yīng)用之中。（2）海量數(shù)據(jù)存儲(chǔ)系統(tǒng)—HDFS。其是大型的分布式文件系統(tǒng)，位于所有核心技術(shù)的底層，由一個(gè)元數(shù)據(jù)管理節(jié)點(diǎn)和多個(gè)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)構(gòu)成，元數(shù)據(jù)管理節(jié)點(diǎn)負(fù)責(zé)管理系統(tǒng)的元數(shù)據(jù)，數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)負(fù)責(zé)處理客戶端的讀寫(xiě)請(qǐng)求，執(zhí)行數(shù)據(jù)塊的創(chuàng)建、復(fù)制、刪除等操作，元數(shù)據(jù)管理節(jié)點(diǎn)與若干個(gè)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)進(jìn)行通信鏈接、指令發(fā)送和信息反饋，為不同應(yīng)用服務(wù)提供海量數(shù)據(jù)存儲(chǔ)功能，主要是通過(guò)文件的流式讀應(yīng)用方式處理TB級(jí)、PB級(jí)的大文件存儲(chǔ)，實(shí)現(xiàn)對(duì)文件的一次性寫(xiě)、多次讀的自動(dòng)訪問(wèn)操作，適用于大文件的操作和移動(dòng)計(jì)算，可以有效提高網(wǎng)絡(luò)系統(tǒng)的吞吐量，減少網(wǎng)絡(luò)的擁堵現(xiàn)象。（3）海量數(shù)據(jù)存儲(chǔ)文件系統(tǒng)—WAS。該系統(tǒng)主要包括有Stream層、Partition層、Front-End層，其中：Stream層負(fù)責(zé)文件分塊的管理與復(fù)制;Partition層作為鏈接Stream層和Front-End層的中間層，解析上層數(shù)據(jù)，并進(jìn)行存儲(chǔ)系統(tǒng)的緩存處理;Front-Ends包括若干個(gè)無(wú)狀態(tài)的服務(wù)器，由一份分塊存儲(chǔ)信息的劃分表組成，能夠指向?qū)?yīng)定位服務(wù)器，獲悉讀取文件的存儲(chǔ)位置信息。（4）其他編碼冗余策略文件系統(tǒng)。RAID技術(shù)是一種新型的存儲(chǔ)技術(shù)，通過(guò)組織若干個(gè)磁盤(pán)進(jìn)行協(xié)調(diào)工作，有效提高磁盤(pán)子系統(tǒng)的性能及可靠性。同時(shí)，Pahoehoe文件系統(tǒng)是完全利用糾刪編碼的云存儲(chǔ)文件系統(tǒng)，有效降低了成本，實(shí)現(xiàn)數(shù)據(jù)的高可靠性。

2.2.2? 基于復(fù)制策略的可靠性增強(qiáng)技術(shù)

數(shù)據(jù)復(fù)制策略能夠有效提高計(jì)算機(jī)信息的可靠性，通常采用多副本策略進(jìn)行數(shù)據(jù)傳輸和存儲(chǔ)，有效提高系統(tǒng)的并行訪問(wèn)數(shù)量，提高大規(guī)?？蛻舳说脑L問(wèn)效率，具體包括：順序放置策略和隨機(jī)放置策略，順序放置策略是將文件對(duì)象副本按照一次的次序進(jìn)行分別放置，隨機(jī)放置策略是將副本隨機(jī)放置在系統(tǒng)的存儲(chǔ)節(jié)點(diǎn)之中。同時(shí)，該技術(shù)主要采用靜態(tài)復(fù)制策略和動(dòng)態(tài)復(fù)制策略，靜態(tài)復(fù)制策略設(shè)置相對(duì)簡(jiǎn)單，然而無(wú)法根據(jù)系統(tǒng)的負(fù)載情況進(jìn)行副本變化，極易導(dǎo)致存儲(chǔ)資源的浪費(fèi)。動(dòng)態(tài)復(fù)制策略則考慮了用戶需求、系統(tǒng)存儲(chǔ)空間、內(nèi)部網(wǎng)絡(luò)負(fù)載情況等因素，實(shí)現(xiàn)動(dòng)態(tài)化的管理。

2.3? 計(jì)算機(jī)信息安全技術(shù)

計(jì)算機(jī)網(wǎng)絡(luò)表現(xiàn)出開(kāi)放性、互聯(lián)性和多樣性的特點(diǎn)，極易受到黑客、惡意軟件的攻擊，為此要關(guān)注和加強(qiáng)計(jì)算機(jī)網(wǎng)絡(luò)信息的安全和保密，具體策略包括：（1）物理安全策略。主要進(jìn)行計(jì)算機(jī)系統(tǒng)、網(wǎng)絡(luò)服務(wù)器、打印機(jī)等硬件和通信鏈路的保護(hù)，對(duì)用戶身份及使用權(quán)限進(jìn)行驗(yàn)證，確保合法用戶在權(quán)限內(nèi)進(jìn)行正確的操作。同時(shí)，要建立和完善信息安全管理制度，確保計(jì)算機(jī)信息網(wǎng)絡(luò)的安全。（2）訪問(wèn)控制策略。采用入網(wǎng)訪問(wèn)控制策略進(jìn)行網(wǎng)絡(luò)安全保護(hù)，通過(guò)用戶名識(shí)別及驗(yàn)證、用戶口令的識(shí)別及驗(yàn)證、用戶賬號(hào)的缺省限制檢查等方式，進(jìn)行用戶的入網(wǎng)訪問(wèn)控制，并實(shí)施對(duì)網(wǎng)絡(luò)用戶權(quán)限的控制，進(jìn)行網(wǎng)絡(luò)用戶的分類(lèi)。另外，還可以采用防火墻控制策略，并在網(wǎng)絡(luò)邊界建立相應(yīng)的網(wǎng)絡(luò)通信監(jiān)控系統(tǒng)，有效隔離內(nèi)部和外部網(wǎng)絡(luò)，確保計(jì)算機(jī)網(wǎng)絡(luò)的安全。信息加密策略也是不可或缺的重要方法，通過(guò)加密算法實(shí)現(xiàn)計(jì)算機(jī)信息的加密。入侵檢測(cè)技術(shù)也是一種高效、主動(dòng)性的安全保護(hù)技術(shù)，有效提高網(wǎng)絡(luò)信息安全的完整性。數(shù)字簽名技術(shù)則可以有效解決網(wǎng)絡(luò)通信中的偽造、抵賴(lài)、篡改、冒充等問(wèn)題。

3? ? 結(jié)語(yǔ)

綜上所述，大數(shù)據(jù)時(shí)代的計(jì)算機(jī)信息處理技術(shù)體現(xiàn)出不可比擬的優(yōu)勢(shì)，要充分、合理地運(yùn)用計(jì)算機(jī)信息采集、存儲(chǔ)、安全技術(shù)和策略，為社會(huì)各行各業(yè)提供技術(shù)和安全支撐，突顯計(jì)算機(jī)信息處理技術(shù)的應(yīng)用價(jià)值，不斷推進(jìn)計(jì)算機(jī)信息處理技術(shù)的持續(xù)發(fā)展和提升。

[參考文獻(xiàn)]

[1]翁春榮.大數(shù)據(jù)背景下計(jì)算機(jī)信息處理技術(shù)的缺陷及對(duì)策分析[J].計(jì)算機(jī)產(chǎn)品與流通，2019（9）：24，58.

[2]張文娟，任曉霞.基于大數(shù)據(jù)時(shí)代計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)中人工智能的應(yīng)用解析[J].電子測(cè)試，2019（18）：67-68.

Research on computer information processing technology in big data era

Chen Yun

（Shaoyang University， Shaoyang 422000， China）

Abstract：The rapid development of the era of big data brings great opportunities and challenges to computer information processing technology， must fully understand the importance and characteristics of computer information processing technology in the era of big data. This paper explores and analyzes the computer information collection technology， storage technology and security technology， construct a suitable network platform and database structure to achieve efficient collection of data information and database link? under the era of big data. And data storage algorithms are researched and analyzed， builds low-redundancy， high-reliability mass data storage systems， and uses computer information security technology to build complex security information systems to ensure that computer information processing technology is convenient and safe in all walks of life application.

Key words：big data; computer information processing technology; acquisition; storage; security