Hadoop大數(shù)據(jù)技術(shù)在計(jì)算機(jī)網(wǎng)絡(luò)安全中的應(yīng)用

尹 婷 趙思佳

（湖南環(huán)境生物職業(yè)技術(shù)學(xué)院，湖南 衡陽 421005）

0 引言

計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)的發(fā)展對(duì)人們的生活有巨大的影響。許多工作都可以在計(jì)算機(jī)中進(jìn)行操作，許多信息也可以通過網(wǎng)絡(luò)進(jìn)行傳輸[1]。通過計(jì)算機(jī)網(wǎng)絡(luò)傳輸信息的方式存在很多風(fēng)險(xiǎn)，隨著網(wǎng)絡(luò)通信速度的提升以及5G 時(shí)代的來臨，通過網(wǎng)絡(luò)傳輸信息數(shù)據(jù)的方式在保密性和安全性方面面臨威脅[2]。因此，計(jì)算機(jī)網(wǎng)絡(luò)安全問題逐漸成為當(dāng)下研究的熱門課題。

目前，運(yùn)用到工作中的信息數(shù)據(jù)多種多樣，對(duì)這些數(shù)據(jù)進(jìn)行加密的過程是十分復(fù)雜的，傳統(tǒng)方法已經(jīng)不能滿足現(xiàn)有工作的需求，容易給信息所有者造成不好的影響[3]。在以往研究的基礎(chǔ)上，該文引入Hadoop 大數(shù)據(jù)技術(shù)對(duì)信息數(shù)據(jù)進(jìn)行加密儲(chǔ)存，提高計(jì)算機(jī)網(wǎng)絡(luò)的安全性能。利用Hadoop 大數(shù)據(jù)技術(shù)建立超混沌文本加密方法，在對(duì)不同類型數(shù)據(jù)采用不同方法加密儲(chǔ)存的同時(shí)，不斷優(yōu)化自身性能，提高數(shù)據(jù)加密的效率。

1 設(shè)計(jì)基于 Hadoop 大數(shù)據(jù)的計(jì)算機(jī)網(wǎng)絡(luò)安全方法

1.1 建立Hadoop 大數(shù)據(jù)超混沌系統(tǒng)

對(duì)所傳輸?shù)臄?shù)據(jù)進(jìn)行加密是保障計(jì)算機(jī)網(wǎng)絡(luò)信息安全的基礎(chǔ)[4]。通常情況，該方法是以密碼學(xué)為母本，采取數(shù)學(xué)密碼的方式對(duì)網(wǎng)絡(luò)上的信息進(jìn)行加密，被加密的信息傳輸完成后，只有既定人群才能使用信息[5]。在接收端使用該信息的人員需要使用雙方協(xié)定好的密碼手勢對(duì)信息進(jìn)行加密和解密，這樣就可以避免信息被其他人攔截和篡改[6]。加密操作可以大幅提升計(jì)算機(jī)網(wǎng)絡(luò)信息的安全性能。

Hadoop 大數(shù)據(jù)利用MapReduce 機(jī)制建立超混沌系統(tǒng)。通過MapReduce 機(jī)制對(duì)需要傳輸?shù)奈募畔⒒蛘邤?shù)據(jù)進(jìn)行分割，將其分割為許多數(shù)據(jù)集合塊后再進(jìn)行下一步操作。

被分割的數(shù)據(jù)通過重新整合處理，集合成為大型的數(shù)據(jù)信息集團(tuán)，在每個(gè)數(shù)據(jù)信息集團(tuán)中執(zhí)行傳輸指令的任務(wù)。Hadoop 大數(shù)據(jù)技術(shù)依托HDFS 高度容錯(cuò)性與MapReduce 機(jī)制強(qiáng)大信息處理能力的相互作用，構(gòu)建信息加密處理平臺(tái)。

在信息傳輸?shù)倪^程中，Lyapunov 指數(shù)十分重要。將低微混沌映射與高維混沌映射進(jìn)行比較，其Lyapunov 指數(shù)的數(shù)量差距較大。當(dāng)混沌系統(tǒng)運(yùn)行且至少形成2 個(gè)Lyapunov 正向指數(shù)時(shí)，該系統(tǒng)所處環(huán)境最適合對(duì)數(shù)據(jù)進(jìn)行加密。通過Hadoop大數(shù)據(jù)平臺(tái)建立的加密方法具有高效性、高穩(wěn)定性以及高容錯(cuò)性等特點(diǎn)，且該方法的成本也比較低。

1.1.1 Chen 超混沌映射

Chen 系統(tǒng)的超混沌形式如公式（1）所示。

式中：x、y、z和w為超混沌映射4 個(gè)維度的表示值；a、b、c、d和e為系統(tǒng)設(shè)置的參數(shù)，作為超混沌系統(tǒng)的初始設(shè)定狀態(tài)。

如圖1 所示，設(shè)置a=35、b=3、c=12、d=7 且e=8，在該情況下，系統(tǒng)進(jìn)入一種超混沌的映射狀態(tài)。

圖1 Chen 系統(tǒng)映射

1.1.2 Rossler 超混沌映射

公式（2）為Rossler 系統(tǒng)進(jìn)行超混沌映射，如公式（2）所示。

式中：x、y、z和w為超混沌映射4 個(gè)維度的表示值；a、b、c、d、k和r為混沌映射的系統(tǒng)參數(shù)。

當(dāng)a=0.25、b=3、c=0.5 且d=0.05 時(shí)，系統(tǒng)進(jìn)入混沌模式。

1.1.3 Lorenz 超混沌映射

Lorenz 系統(tǒng)進(jìn)行超混沌映射，如公式（3）所示。

式中：x、y、z和w為超混沌映射4 個(gè)維度的表示值；a、b、c和d為系統(tǒng)的初始狀態(tài)設(shè)定值。

當(dāng)設(shè)置a=10、b=8/3、c=28 且r=-1 時(shí)，Lorenz 系統(tǒng)進(jìn)入混沌模式。

1.2 超混沌文本加密方案

利用3 種算法（Chen、Rossler 以及Lorenz）的融合，對(duì)計(jì)算機(jī)信息數(shù)據(jù)的超混沌文本進(jìn)行加密，再通過對(duì)稱加密的方法對(duì)系統(tǒng)融合的加密文本進(jìn)行深度處理，以置亂、正向反向異或和正向反向制作模型等技術(shù)手段對(duì)網(wǎng)絡(luò)傳輸信息進(jìn)行深層次加密。利用HDFS 高度容錯(cuò)性的特點(diǎn)對(duì)被加密信息進(jìn)行快速糾錯(cuò)，將冗長的加密數(shù)據(jù)進(jìn)行無差別復(fù)制，再進(jìn)行切分并分類儲(chǔ)存。

采用上述步驟生成的超混沌映射計(jì)算機(jī)加密方法對(duì)需要傳輸?shù)臄?shù)據(jù)信息進(jìn)行加密，產(chǎn)生的數(shù)據(jù)塊Lyapunov 的數(shù)值比低維混沌映射所產(chǎn)生的數(shù)值更高。在保證數(shù)據(jù)加密的安全性的同時(shí)，增加了計(jì)算機(jī)的運(yùn)行內(nèi)存，提高了信息加密的效率。對(duì)數(shù)值域相同的數(shù)據(jù)來說，利用超混沌映射計(jì)算機(jī)加密方法進(jìn)行相同程度加密后，所產(chǎn)生的數(shù)據(jù)塊被還原破解的可能性大幅降低，因此有效迭代的次數(shù)有所增加，同時(shí)每個(gè)單獨(dú)的混沌數(shù)列在運(yùn)行時(shí)所需要的內(nèi)存與計(jì)算機(jī)數(shù)據(jù)運(yùn)行的信息量呈正向線性的關(guān)系。在一定程度上對(duì)加密文本進(jìn)行簡化處理，提高訪問數(shù)據(jù)的吞吐量。

對(duì)信息數(shù)據(jù)進(jìn)行分割，以分割后的數(shù)據(jù)誤差值為基礎(chǔ)，生成超混沌加密方法序列。針對(duì)每個(gè)誤差值的極點(diǎn)進(jìn)行數(shù)據(jù)摘取并加密，具體操作如下：1） 通過前文的分析，利用Hadoop 大數(shù)據(jù)對(duì)信息傳遞數(shù)據(jù)進(jìn)行分割，將大型數(shù)據(jù)分割為1 MB 的數(shù)據(jù)集團(tuán)。2） 選取任意的信息數(shù)據(jù)集團(tuán)，按照順序通過Chen、Rossler 以及Lorenz 對(duì)該數(shù)據(jù)集團(tuán)進(jìn)行加密計(jì)算。然后用歐拉法對(duì)所需要的數(shù)據(jù)集團(tuán)進(jìn)行計(jì)算，拆解出3個(gè)混沌映射模塊中每個(gè)混沌映射生成的4 項(xiàng)數(shù)據(jù)集團(tuán)，則每次迭代生成 12 項(xiàng)數(shù)據(jù)集團(tuán)，這樣在每次數(shù)據(jù)傳輸加密時(shí)就會(huì)拆解出 12 個(gè)混沌加密數(shù)據(jù)集團(tuán)x：xc1、xc2、xc3、xc4、xL1、xL2、xL3、xL4、xR1、xR2、xR3以及xR4。當(dāng)數(shù)據(jù)集團(tuán)進(jìn)入Lorenz混沌映射模塊進(jìn)行加密操作時(shí)，其數(shù)量比前面進(jìn)入Chen 混沌映射模塊時(shí)的數(shù)據(jù)量多，數(shù)據(jù)量約增加4 倍，作為下一處理流程的輸入數(shù)據(jù)。3） 選取12 個(gè)超混沌加密文本數(shù)據(jù)，分析發(fā)現(xiàn)這些加密數(shù)據(jù)仍存在數(shù)據(jù)傳輸值簡單、不同加密選項(xiàng)相互黏貼影響的問題。因此，在進(jìn)入3 個(gè)超混沌加密系統(tǒng)前要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。對(duì)傳輸?shù)男畔?shù)據(jù)的數(shù)學(xué)整數(shù)部分進(jìn)行刪減，移動(dòng)小數(shù)點(diǎn)使數(shù)值增大，這樣就能改變數(shù)據(jù)原始數(shù)列間的相關(guān)性，使數(shù)列呈現(xiàn)無規(guī)律性。公式（4）為預(yù)處理操作。4） 完成預(yù)處理后，選取數(shù)列每排第一個(gè)傳輸數(shù)據(jù)所對(duì)應(yīng)的ASCII 編碼。計(jì)算該編碼的位置偏移量，并對(duì)整排數(shù)據(jù)進(jìn)行治亂處理，如公式（5）所示。5） 在對(duì)數(shù)據(jù)加密進(jìn)行置亂操作后，將所獲得的數(shù)據(jù)加密信息與Lorenz 超混沌映射所產(chǎn)生的信息進(jìn)行正向與反向異或。6） 對(duì)數(shù)據(jù)信息進(jìn)行異或操作后，用所獲得的數(shù)據(jù)對(duì)Rossler 混沌加密系統(tǒng)信息進(jìn)行正、反向取模操作。7） 經(jīng)過上述加密操作后，得到最終的密文。

式中：X、Y、Z和W為增大運(yùn)算后的信息數(shù)據(jù)；i為信息序列的序號(hào)；x、y、z和w為原始信息數(shù)據(jù)。

式中：S為治亂處理表達(dá)式；Xc、Yc、Zc和Wc分別為4 個(gè)維度經(jīng)過治亂處理后的數(shù)據(jù)陣列；i為信息序列的序號(hào)；A為矩陣符號(hào)。

基于 Hadoop 大數(shù)據(jù)的超混沌加密方法從結(jié)構(gòu)上來說，完全有別于傳統(tǒng)的信息加密手段。超混沌加密方法利用Chen、Rossler 以及Lorenz 映射系統(tǒng)對(duì)數(shù)據(jù)進(jìn)行加密，生成無規(guī)則的加密序列，進(jìn)一步提高了計(jì)算機(jī)網(wǎng)絡(luò)的安全性和穩(wěn)定性，減小了信息被非授權(quán)者獲取解密的概率。通過混沌映射優(yōu)化后的加密系統(tǒng)可以提高信息數(shù)據(jù)的敏感性。

1.3 加密實(shí)現(xiàn)

在 MapReduce 并行計(jì)算框架中，通過繼承Mapper 類并重寫 Map 的方法逐行讀取數(shù)據(jù)，從而處理明文數(shù)據(jù)。Map方法將數(shù)據(jù)分成多個(gè)子任務(wù)并分配給多個(gè) Mapper 同時(shí)完成，Mapper 的數(shù)量由分塊數(shù)決定，由 Mapper 完成加密操作。Reducer 類負(fù)責(zé)整合 Mapper 輸出的所有數(shù)據(jù)。

1.3.1 Split 分解環(huán)節(jié)

該文設(shè)計(jì)的加密算法對(duì)數(shù)據(jù)進(jìn)行分割（大小為1 MB），將NMB 的文件切分成N塊數(shù)據(jù)集團(tuán)，見表1。

表1 Split 算法偽代碼

因?yàn)閿?shù)據(jù)集團(tuán)在加密時(shí)都會(huì)產(chǎn)生數(shù)據(jù)誤差偏移，所以每個(gè)偏移都有特殊的數(shù)值標(biāo)記，對(duì)這些偏移進(jìn)行追蹤，減小數(shù)據(jù)集團(tuán)之間的加密干擾。

1.3.2 Map 映射構(gòu)建環(huán)節(jié)

分割后的數(shù)據(jù)集團(tuán)經(jīng)過I/O 向不同的映射管理器（Mapper）進(jìn)行傳輸，每個(gè)Mapper 都對(duì)該設(shè)定的數(shù)據(jù)集團(tuán)進(jìn)行加密，當(dāng)加密所產(chǎn)生的數(shù)據(jù)誤差達(dá)到峰值時(shí)，這些參與加密的Mapper 要對(duì)該數(shù)據(jù)集團(tuán)進(jìn)行超混沌映射，見表2。

表2 Map 算法偽代碼

1.3.3 Reduce 重建環(huán)節(jié)

根據(jù)Map 輸出的加密數(shù)據(jù)集團(tuán)中數(shù)據(jù)的大小計(jì)算加密鑰匙的序列長度，獲取加密信息的輸入原始數(shù)據(jù)和初次迭代加密的次數(shù)，對(duì)數(shù)據(jù)進(jìn)行下載、儲(chǔ)存。

當(dāng)所有數(shù)據(jù)信息集團(tuán)順利通過以上所有加密系統(tǒng)的相關(guān)操作后，重建處理器（Reducer）對(duì)這些加密后的數(shù)據(jù)塊進(jìn)行采集、整合并將其按順序排列，逐一篩選、組合排序后的數(shù)據(jù)塊，將其融合為統(tǒng)一的加密文件，向外輸出最終的加密文件，超混沌加密操作結(jié)束。

2 加密實(shí)現(xiàn)結(jié)果分析

2.1 加密運(yùn)行環(huán)境

Hadoop 大數(shù)據(jù)運(yùn)行平臺(tái)為4 個(gè)節(jié)點(diǎn)的X86 主從架構(gòu)服務(wù)器。平臺(tái)設(shè)置Inter i3-8100 的核心運(yùn)行系統(tǒng)，運(yùn)行設(shè)置3.6 GHz/6 MB，總儲(chǔ)存量為26 GB，在平臺(tái)外接256 GB 的移動(dòng)硬盤。

Hadoop 大數(shù)據(jù)超混沌加密運(yùn)行體系是序列號(hào)為1.6.0_88的Ubuntu17.05，JDK，在Eclipse Luna Service Release2（4.4.2）的運(yùn)行基礎(chǔ)上完成相關(guān)操作。加密操作采用序列號(hào)為 Vmware Workstation 12 Pro 12.5.2 build-4638744 的虛擬裝置。

2.2 執(zhí)行效率

在未聯(lián)網(wǎng)的情況下對(duì)計(jì)算機(jī)數(shù)據(jù)進(jìn)行Hadoop 大數(shù)據(jù)超混沌加密，再結(jié)合分布式HDFS 與MapReduce 融合機(jī)制對(duì)計(jì)算機(jī)傳輸信息進(jìn)行加密，可以很好地避免因信息不能及時(shí)上傳所導(dǎo)致的內(nèi)存不足進(jìn)而引發(fā)的系統(tǒng)崩潰問題，提高加密鑰匙序列與數(shù)據(jù)信息的相關(guān)程度，減小對(duì)信息進(jìn)行加密過程中的重復(fù)次數(shù)，提高對(duì)計(jì)算機(jī)信息進(jìn)行加密的效率。

由表3～表5 可知，Hadoop 大數(shù)據(jù)超混沌加密方法與傳統(tǒng)方法相比，該方法在保證加密穩(wěn)定性的基礎(chǔ)上提高了加密速度，減少了加密過程的耗時(shí)，同時(shí)有效地減小了對(duì)計(jì)算機(jī)內(nèi)存的消耗，增加了計(jì)算機(jī)信息的吞吐量。

使用傳統(tǒng)方法進(jìn)行計(jì)算機(jī)數(shù)據(jù)加密操作時(shí)，如果計(jì)算機(jī)處在未聯(lián)網(wǎng)狀態(tài)，那么過大數(shù)據(jù)集團(tuán)會(huì)導(dǎo)致計(jì)算機(jī)系統(tǒng)崩潰，使計(jì)算機(jī)內(nèi)存瞬間崩盤，從而導(dǎo)致數(shù)據(jù)加密進(jìn)程中斷。但是通過該文所設(shè)計(jì)的方法進(jìn)行計(jì)算機(jī)加密操作后，通過表3～表5 的數(shù)據(jù)可以看出，在數(shù)據(jù)規(guī)模達(dá)到512 MB～1 024 MB 量級(jí)時(shí)，數(shù)據(jù)加密處理時(shí)間沒有呈線性增長，而是趨于平緩。分析原因：數(shù)據(jù)規(guī)模為1 024 MB 時(shí)，映射進(jìn)程達(dá)到了MapReduce框架在內(nèi)存空間用以放置數(shù)據(jù)以及索引數(shù)據(jù)的環(huán)形緩沖區(qū)，MapReduce 框架開始頻繁執(zhí)行spill 程序，將環(huán)形緩沖區(qū)的數(shù)據(jù)寫入磁盤，提高數(shù)據(jù)處理的效率，耗時(shí)縮短。

表3 各個(gè)模式的時(shí)間統(tǒng)計(jì)

表4 各個(gè)模式的內(nèi)存統(tǒng)計(jì)

表5 較大數(shù)據(jù)規(guī)模的時(shí)間統(tǒng)計(jì)

在傳統(tǒng)加密過程中，被加密數(shù)據(jù)參數(shù)可以保證原始數(shù)據(jù)在每次疊加的過程中保持不變，當(dāng)非授權(quán)者對(duì)加密數(shù)據(jù)進(jìn)行強(qiáng)制訪問時(shí)，只要專注對(duì)1 個(gè)加密漏洞進(jìn)行攻擊，就能輕而易舉地獲得加密鑰匙。該文所建立的超混沌加密系統(tǒng)在進(jìn)行大數(shù)據(jù)超混沌加密后，每個(gè)數(shù)據(jù)集團(tuán)所生成的加密信息塊通過自身連接進(jìn)行分割，數(shù)值域不同的數(shù)據(jù)集團(tuán)會(huì)產(chǎn)生不一樣的加密信息塊。非授權(quán)者不能通過攻擊漏洞來獲得加密鑰匙。與此同時(shí)，大數(shù)據(jù)超混沌加密系統(tǒng)嚴(yán)格地對(duì)數(shù)值域相同的數(shù)據(jù)集團(tuán)進(jìn)行讀取，可以有效地提升加密效率。同時(shí)，能夠減小加密預(yù)處理的時(shí)間，還能使加密后的數(shù)據(jù)不占用計(jì)算機(jī)運(yùn)行內(nèi)存，減少對(duì)計(jì)算機(jī)內(nèi)存的消耗，提升運(yùn)行效率。

通過以上對(duì)加密效果的分析可以看出，該文所設(shè)計(jì)的方法有效地減小了數(shù)據(jù)加密的誤差，提升了計(jì)算機(jī)數(shù)據(jù)加密的效率，還提高了計(jì)算機(jī)網(wǎng)絡(luò)的安全性能。

3 結(jié)語

該文利用Hadoop 大數(shù)據(jù)技術(shù)設(shè)計(jì)出超混沌文本加密方法，經(jīng)過實(shí)驗(yàn)結(jié)果得出，該方法明顯提高了信息數(shù)據(jù)在傳輸過程中的加密效率。該方法能夠?qū)Σ煌臄?shù)據(jù)進(jìn)行加密儲(chǔ)存，與傳統(tǒng)的加密方法相比，該方法更加精準(zhǔn)、可靠，同時(shí)還有優(yōu)化內(nèi)存的效果。但是，由于該文未進(jìn)行多次試驗(yàn)，因此沒有對(duì)該方法的普適性進(jìn)行驗(yàn)證，需要在今后進(jìn)一步開展相關(guān)試驗(yàn)。