基于閑置資源利用的無線分布式審計模型設(shè)計

劉勇生

（東莞理工學(xué)院 網(wǎng)絡(luò)與教育技術(shù)中心，東莞 523808）

0 引 言

近些年來隨著個人數(shù)據(jù)通信的發(fā)展，功能強(qiáng)大的便攜式數(shù)據(jù)終端以及多媒體終端得到了廣泛的應(yīng)用。為了實(shí)現(xiàn)使用戶能夠在任何時間、任何地點(diǎn)均能實(shí)現(xiàn)數(shù)據(jù)通信的目標(biāo)，要求傳統(tǒng)的計算機(jī)網(wǎng)絡(luò)由有線向無線、由固定向移動、由單一業(yè)務(wù)向多媒體發(fā)展，另外由于無線局域網(wǎng)的安裝方便、快捷 、費(fèi)用低、網(wǎng)絡(luò)擴(kuò)展性好 等優(yōu)勢，無線局域網(wǎng)技術(shù)得到了快速的發(fā)展。 由于目前大多數(shù)企業(yè)都在內(nèi)部部署了無線局域網(wǎng)。

而隨著網(wǎng)絡(luò)攻擊手段的日趨復(fù)雜，攻擊模型分布式、協(xié)同化趨勢的日益突顯，以及海量存儲和高帶寬傳輸技術(shù)的快速發(fā)展，集中式安全審計系統(tǒng)已無法承擔(dān)高速、大型分布式網(wǎng)絡(luò)環(huán)境下的安全審計任務(wù)。在這種情況下，動態(tài)、分布式的安全審計技術(shù)成為安全審計技術(shù)發(fā)展的突破口。

另外根據(jù)資料分析，現(xiàn)在企業(yè)中安裝的計算機(jī)，只有40%的計算能力被利用，甚至更低，而其余70%的實(shí)際上是被閑置的，這些閑置的計算機(jī)資源和計算能力具有相當(dāng)大的開發(fā)潛力。

云計算[1]是對分布式處理（Distributed Computing）、并行處理（Parallel Computing）和網(wǎng)格計算（Grid Computing）及分布式數(shù)據(jù)庫的改進(jìn)處理，在互聯(lián)網(wǎng)寬帶技術(shù)和虛擬化技術(shù)高速發(fā)展后萌生出云計算。利用云計算將計算資源集中、統(tǒng)一管理、調(diào)度可以大大提高資源的使用效率，減少資源浪費(fèi)。

綜合以上的情況，本文首先介紹當(dāng)前分布式安全審計系統(tǒng)的研究情況，并針對當(dāng)前分布式安全審計系統(tǒng)研究面臨的數(shù)據(jù)分析問題，提出改進(jìn)方法，在無線網(wǎng)絡(luò)的基礎(chǔ)上結(jié)合云計算的方法設(shè)計了基于剩余計算機(jī)資源利用的機(jī)制，并給出了一種改進(jìn)的分布式安全審計系統(tǒng)模型。

1 當(dāng)前分布式安全審計系統(tǒng)的研究狀況

在分布式安全審計技術(shù)方面已經(jīng)開展了較多的研究工作[2]，并實(shí)現(xiàn)了多種類型的驗(yàn)證系統(tǒng)。這些分布式安全審計系統(tǒng)通常由多個模塊組成，這些模塊一般分布在網(wǎng)絡(luò)的不同位置，分別完成數(shù)據(jù)收集、分析和人機(jī)交互等功能。根據(jù)分布式安全審計系統(tǒng)是否配有控制中心模塊，可將它們分為兩類：

1.1 具有控制中心的分布式安全審計系統(tǒng)

這類系統(tǒng)的主要特點(diǎn)是：分布式的數(shù)據(jù)采集與集中式的數(shù)據(jù)分析相結(jié)合。它通常由基于Agent機(jī)制的數(shù)據(jù)采集器、集中式的數(shù)據(jù)存儲中心、集中式的數(shù)據(jù)分析中心和用戶管理界面構(gòu)成。數(shù)據(jù)采集代理是獨(dú)立運(yùn)行的軟件實(shí)體，它負(fù)責(zé)審計數(shù)據(jù)的采集，并將審計數(shù)據(jù)發(fā)送到數(shù)據(jù)存儲中心；數(shù)據(jù)存儲中心負(fù)責(zé)審計數(shù)據(jù)的存儲與維護(hù)，并在必要時向數(shù)據(jù)分析中心提供審計數(shù)據(jù)；信息分析中心負(fù)責(zé)對采集到的原始審計數(shù)據(jù)進(jìn)行綜合分析，通過分析來發(fā)現(xiàn)可疑的操作；用戶界面為用戶提供配置系統(tǒng)參數(shù)和察看分析結(jié)果的平臺。

1.2 無控制中心的分布式安全審計系統(tǒng)

這種系統(tǒng)的主要特點(diǎn)是：分布式的數(shù)據(jù)采集，相互協(xié)作分析復(fù)雜的審計數(shù)據(jù)。它通常是由安全審計代理和通信代理組成。

目前，分布式安全審計系統(tǒng)的設(shè)計大多采用具有控制中心的分布式安全審計模型，并將研究的重點(diǎn)放在數(shù)據(jù)挖掘技術(shù)、多智能體技術(shù)和規(guī)則關(guān)聯(lián)等技術(shù)[3]與該模型的結(jié)合上。

2 基于閑置資源利用的無線分布式審計模型設(shè)計

剩余資源利用的無線分布式審計模型設(shè)計的中心思想是將基于控制中心的分布式安全審計系統(tǒng)中的數(shù)據(jù)分析中心的計算壓力分流到無線網(wǎng)絡(luò)中的各個閑置計算資源中。

2.1 主要解決問題

根據(jù)上述分析，基于閑置資源利用的無線分布式審計模型設(shè)計的主要解決的問題體現(xiàn)在如下3個方面：

1）如何有效的判斷和分配閑置資源，確保在不影響用戶正常使用的同時，還能參與分析審計數(shù)據(jù)。

2）如何保護(hù)審計數(shù)據(jù)的安全，原始審計數(shù)據(jù)中往往會包含一些私人信息，而這些原始審計如果放在閑置的計算機(jī)上分析計算，有可能導(dǎo)致計算機(jī)用戶隱私信息的泄露或者被攻擊者竊聽。

3）如何保證在無線網(wǎng)絡(luò)中各個工作單元頻繁的進(jìn)行協(xié)同和數(shù)據(jù)交換的情況下，不會明顯增加網(wǎng)絡(luò)負(fù)載。

2.2 結(jié)構(gòu)模型設(shè)計

2.2.1 MapReduce[4]的分布式處理技術(shù)

基于閑置資源利用的無線分布式審計模型的核心技術(shù)采用MapReduce的分布式處理技術(shù)，MapReduce是云計算廣泛采用的分布式處理技術(shù)，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算，也是簡化的分布式編程模式，適合用來處理大量數(shù)據(jù)的分布式運(yùn)算，用于解決問題的程序開發(fā)模型。

MapReduce模式的思想是將要執(zhí)行的問題拆解成Map（映射）和Reduce（化簡）的方式，先通過Map程序?qū)?shù)據(jù)切割成不相關(guān)的區(qū)塊，分配（調(diào)度）給大量計算機(jī)處理達(dá)到分布運(yùn)算的效果，Map之后還會有shuffle的過程，對于提高Reduce的效率以及減小數(shù)據(jù)傳輸?shù)膲毫τ泻艽蟮膸椭?。再通過Reduce程序?qū)⒔Y(jié)果匯整，輸出開發(fā)者需要的結(jié)果。

2.2.2 基于Hadoop[5]架構(gòu)

基于閑置資源利用的無線分布式審計模型采用Hadoop框架，Hadoop框架用于實(shí)現(xiàn)MapReduce算法，能夠把應(yīng)用程序分割成許多很小的工作單元，每個單元可以在任何集群節(jié)點(diǎn)上執(zhí)行或重復(fù)執(zhí)行。

此外，Hadoop框架提供一個分布式文件系統(tǒng)HDFS（Hadoop Distributed File System[6]），它是一個可擴(kuò)展、結(jié)構(gòu)化、具備日志的分布式文件系統(tǒng)，支持大型、分布式大數(shù)據(jù)量的讀寫操作，其容錯性較強(qiáng)，分布式文件系統(tǒng)HDFS是Hadoop框架的核心。

圖1 Hadoop構(gòu)架

Hadoop框架還包含一個分布式數(shù)據(jù)庫（HBase）類似GOOGLE的BigTable是一個有序、稀疏、多維度的映射表，HBase數(shù)據(jù)庫使用了和Bigtable非常相似的數(shù)據(jù)模型。用戶在表格里存儲許多數(shù)據(jù)行。每個數(shù)據(jù)行都包括一個可排序的關(guān)鍵字，和任意數(shù)目的列。表格是稀疏的，所以同一個表格里的行可能有非常不同的列，只要用戶喜歡這樣做。HBase有良好的伸縮性和高可用性，非常適合用來將數(shù)據(jù)存儲或部署到各個計算節(jié)點(diǎn)上。

包含HDFS和HBase的Hadoop 框架具有高容錯性、對數(shù)據(jù)讀寫的高吞吐率、自動處理失敗節(jié)點(diǎn)等云計算的核心要素。在架構(gòu)中MapReduce API提供Map和Reduce處理、HDFS分布式文件系統(tǒng)和HBase分布式數(shù)據(jù)庫提供數(shù)據(jù)存取?；贖adoop框架可以非常輕松和方便完成處理海量數(shù)據(jù)的分布式并行程序，并運(yùn)行于大規(guī)模計算集群上。

2.2.3 系統(tǒng)模型結(jié)構(gòu)組成

基于閑置資源利用的無線分布式審計模型由兩部分組成：分布式中間件和節(jié)點(diǎn)軟件。

分布式中間件安裝在審計系統(tǒng)的數(shù)據(jù)分析中心內(nèi)，分布式中間件負(fù)責(zé)資源管理、任務(wù)管理等工作。資源管理負(fù)責(zé)均衡地使用資源節(jié)點(diǎn)，檢測節(jié)點(diǎn)的故障并試圖恢復(fù)或屏蔽之，并對資源的使用情況進(jìn)行監(jiān)視統(tǒng)計；任務(wù)管理負(fù)責(zé)執(zhí)行用戶或應(yīng)用提交的任務(wù)，包括完成任務(wù)映象(Image)的部署和管理、任務(wù)調(diào)度、任務(wù)執(zhí)行、任務(wù)生命期管理等等；

節(jié)點(diǎn)軟件被安裝在擁有閑置資源的計算機(jī)內(nèi)，通過無線網(wǎng)絡(luò)與分布式中間件建立連接，判斷本機(jī)的閑置狀態(tài)提交分布式中間件，接受分布式中間件的計算任務(wù)和調(diào)度工作，并將分析結(jié)果提交分布式中間件。

為確保數(shù)據(jù)安全和降低網(wǎng)絡(luò)負(fù)荷，審計數(shù)據(jù)在傳送到節(jié)點(diǎn)前都經(jīng)過壓縮和加密處理。由于審計數(shù)據(jù)是基于XML格式存儲，系統(tǒng)使用XQzip[7]技術(shù)針對XML格式數(shù)據(jù)進(jìn)行壓縮，XQzip技術(shù)有以下特征：1）達(dá)到一個好的壓縮率和一個好的壓縮/解壓縮時間；2）支持在XML壓縮數(shù)據(jù)上的有效的檢索處理；3）支持有表達(dá)力的檢索語言。在壓縮過程中XQzip將數(shù)據(jù)壓縮成能分別解壓縮的塊的序列，同時允許利用XML數(shù)據(jù)的通用性達(dá)到好的壓縮，從而避免了整體解壓縮。XQzip也通過為XML數(shù)據(jù)已解壓的塊設(shè)置一個緩沖區(qū)有效地減少檢索中的解壓縮開銷。能夠大幅度提高系統(tǒng)資源的使用效率。審計數(shù)據(jù)壓縮完畢后會再使用3DES加密算法加密壓縮后的數(shù)據(jù)，確保數(shù)據(jù)安全保密。

圖2 系統(tǒng)模型結(jié)構(gòu)流程圖

如圖2基于閑置資源利用的無線分布式審計模型的執(zhí)行過程包括以下步驟。

1）將要執(zhí)行的數(shù)據(jù)分析程序復(fù)制到Hadoop框架中的Master和每一臺無線節(jié)點(diǎn)中。

2）Master選擇由哪些無線節(jié)點(diǎn)來執(zhí)行Map程序與Reduce程序。

3）分配所有的數(shù)據(jù)區(qū)塊到執(zhí)行Map程序的無線節(jié)點(diǎn)中進(jìn)行Map（切割成小塊數(shù)據(jù)）。

4）將Map后的數(shù)據(jù)交給數(shù)據(jù)程序分析并將結(jié)果保存到無線節(jié)點(diǎn)的本地磁盤。

5）執(zhí)行Reduce程序的無線節(jié)點(diǎn)，遠(yuǎn)程讀取每一份Map結(jié)果，進(jìn)行混合、匯整與排序，同時執(zhí)行Reduce程序。

6）將結(jié)果返回到數(shù)據(jù)分析中心。

在過程中為了保證計算和存儲等操作的完整性，充分利用MapReduce的分布和可靠特性，在數(shù)據(jù)上傳和下載過程中根據(jù)各無線節(jié)點(diǎn)在指定時間內(nèi)反饋的信息判斷節(jié)點(diǎn)的狀態(tài)是正常還是死亡，若節(jié)點(diǎn)死亡則將其負(fù)責(zé)的任務(wù)分配給別的節(jié)點(diǎn)，確保數(shù)據(jù)的完整性。

3 結(jié)束語

為了實(shí)現(xiàn)充分利用閑置的計算資源，分擔(dān)大規(guī)模分布式網(wǎng)絡(luò)環(huán)境下的安全審計中的數(shù)據(jù)分析壓力，本文提出了基于閑置資源利用的無線分布式審計模型，給出了系統(tǒng)的結(jié)構(gòu)設(shè)計。該模型基于Hadoop架構(gòu)并結(jié)合了MapReduce的分布式處理技術(shù)，通過該模型的架構(gòu)可以使擁有閑置資源的無線節(jié)點(diǎn)協(xié)同完成數(shù)據(jù)分析工作，采用的壓縮和加密技術(shù)大大降低了通信的網(wǎng)絡(luò)負(fù)載并保證了數(shù)據(jù)的安全。由于這一模型設(shè)計從目前來講屬于全新的設(shè)計，因此還有很多的具體問題需要進(jìn)一步的驗(yàn)證和改進(jìn)，并在系統(tǒng)的實(shí)現(xiàn)過程中不斷完善。

[1] 陳全,鄧倩妮.云計算及其關(guān)鍵技術(shù)[J].計算機(jī)應(yīng)用,2009,9:2562-2567.

[2] 張世永.信息安全審計技術(shù)的發(fā)展和應(yīng)用[J].電信科學(xué),2003,12:125-128.

[3] 江偉,陳龍,王國胤.用戶行為異常檢測在安全審計系統(tǒng)中的應(yīng)用[J].計算機(jī)應(yīng)用,2006,26(7):1637-1639.

[4] Ralf Lammel, Google's MapReduce programming model— Revisited,Data Programmability Team, Microsoft Corp.,Redmond,WA, USA,18.July 2007.

[5] http://hadoop.apache.org/common/docs/current/hdfs_design.html.

[6] http://hadoop.apache.org/.

[7] J.Cheng, and W.Ng, "XQzip: Querying Compressed XML using Structural Indexing," In EDBT 2004, LNCS 2992,2004.