基于HDFS的云存儲(chǔ)安全技術(shù)分析

摘 要：現(xiàn)階段云存儲(chǔ)技術(shù)普遍出現(xiàn)數(shù)據(jù)丟失與數(shù)據(jù)竊取等各種安全問(wèn)題，結(jié)合HDFS數(shù)據(jù)完整性校驗(yàn)體系的技術(shù)特點(diǎn)，研究一種在HDFS基礎(chǔ)上的數(shù)據(jù)傳輸存儲(chǔ)技術(shù)的實(shí)現(xiàn)方案。對(duì)系統(tǒng)用戶上傳到HDFS中的數(shù)據(jù)文件進(jìn)行AES加密處理，文件通過(guò)密文的方式實(shí)現(xiàn)存儲(chǔ)目的，同時(shí)使用RSA算法確保AES密鑰的安全性能，能夠有效地避免在數(shù)據(jù)的傳輸與存儲(chǔ)過(guò)程中丟失與被盜。HDFS的存儲(chǔ)格式主要分為文件密文與文件明文兩種類型，用戶能夠根據(jù)實(shí)際需求自主選擇是否需要加密處理。

關(guān)鍵詞：云存儲(chǔ)；HDFS；加密；解密

中圖分類號(hào)：TP216

云存儲(chǔ)技術(shù)逐步發(fā)展成為數(shù)據(jù)信息存儲(chǔ)的一種重要方式，其數(shù)據(jù)信息的安全性能作為社會(huì)各個(gè)領(lǐng)域所關(guān)注的關(guān)鍵問(wèn)題。HDFS是基于云計(jì)算技術(shù)的開(kāi)源分布式文件處理系統(tǒng)，能夠廣泛地支持高容錯(cuò)的特性，可以直接布設(shè)在低成本的計(jì)算機(jī)系統(tǒng)中，有利于進(jìn)行高吞吐量的訪問(wèn)操作，適用于部分大規(guī)模數(shù)據(jù)處理功能的操作程序。然而HDFS的安全性能問(wèn)題包含很多方面，比如系統(tǒng)用戶的安全認(rèn)證問(wèn)題、DataNode的安全認(rèn)證問(wèn)題、文件存儲(chǔ)和傳輸?shù)臋C(jī)密性問(wèn)題等?，F(xiàn)階段國(guó)內(nèi)外領(lǐng)域?qū)τ谠拼鎯?chǔ)技術(shù)安全性能的涉及研究不多，對(duì)于數(shù)據(jù)信息的完整性保護(hù)功能，國(guó)外的研究學(xué)者曾經(jīng)提出使用加密工具的處理方法、分布式加密系統(tǒng)的數(shù)據(jù)機(jī)密性處理方法以及數(shù)據(jù)信息可恢復(fù)機(jī)制等。在國(guó)內(nèi)的研究領(lǐng)域，對(duì)于云計(jì)算技術(shù)的安全性能問(wèn)題，相關(guān)的學(xué)者曾經(jīng)提出數(shù)據(jù)信息的安全體系與保護(hù)策略，研究設(shè)計(jì)出一種數(shù)據(jù)信息安全虛擬監(jiān)控系統(tǒng)的技術(shù)實(shí)施方案。本文結(jié)合HDFS文件的讀取和寫(xiě)入的具體特點(diǎn)，提出以HDFS系統(tǒng)為基礎(chǔ)的輸入輸出流、在客戶端實(shí)現(xiàn)數(shù)據(jù)加解密功能的技術(shù)實(shí)施方案，有利于達(dá)到密文形式的數(shù)據(jù)傳輸和存儲(chǔ)目標(biāo)，有效地解決HDFS系統(tǒng)的數(shù)據(jù)丟失與竊取的實(shí)際問(wèn)題。

1 HDFS的系統(tǒng)架構(gòu)體系

HDFS的系統(tǒng)架構(gòu)體系是主從結(jié)構(gòu)的形式，HDFS集群通常是由一個(gè)名字節(jié)點(diǎn)NameNode與若干個(gè)數(shù)據(jù)節(jié)點(diǎn)DataNode所構(gòu)成的，同時(shí)可能會(huì)包括一個(gè)Secondary NameNode，定期與NameNode進(jìn)行通信，對(duì)NameNode上相應(yīng)的元數(shù)據(jù)信息進(jìn)行備份處理。NameNode屬于HDFS的主服務(wù)器，主要負(fù)責(zé)在分布式文件系統(tǒng)中的元數(shù)據(jù)管理機(jī)制，同時(shí)需要負(fù)責(zé)客戶端Client對(duì)系統(tǒng)文件的訪問(wèn)功能。DataNode主要負(fù)責(zé)存儲(chǔ)文件相應(yīng)的數(shù)據(jù)塊block，響應(yīng)Client的命令請(qǐng)求，實(shí)現(xiàn)文件數(shù)據(jù)的讀與寫(xiě)等各種操作功能。

字節(jié)點(diǎn)NameNode的主要功能有以下幾點(diǎn)：

（1）管理元數(shù)據(jù)與塊信息。NameNode主要負(fù)責(zé)管理文件系統(tǒng)中的元數(shù)據(jù)信息，比如文件標(biāo)識(shí)、文件大小、文件屬性、文件塊數(shù)、塊大小、對(duì)應(yīng)塊的實(shí)際位置，塊文件和DataNode的映射關(guān)系等各種信息。數(shù)據(jù)塊的管理功能一般有新建數(shù)據(jù)塊、刪除數(shù)據(jù)塊、復(fù)制數(shù)據(jù)塊等操作。

（2）管理名字空間。NameNode作為HDFS系統(tǒng)的主控中心，對(duì)文件系統(tǒng)中元數(shù)據(jù)的任意修改操作都需要通過(guò)NameNode進(jìn)行處理，NameNode可以通過(guò)事務(wù)日志進(jìn)行相關(guān)記錄，各種對(duì)文件的實(shí)際操作都通過(guò)日志系統(tǒng)映射到本地的文件系統(tǒng)中。為了能夠保證數(shù)據(jù)信息的有效性，元數(shù)據(jù)并不是只保存在內(nèi)存之中，存儲(chǔ)到本地硬盤(pán)空間也是很有必要的。

（3）請(qǐng)求處理。后臺(tái)通常是以保護(hù)進(jìn)程的模式執(zhí)行監(jiān)聽(tīng)與處理客戶端Client的實(shí)際服務(wù)請(qǐng)求，同時(shí)可以處理來(lái)源于DataNode的請(qǐng)求與響應(yīng)?？蛻舳说恼?qǐng)求通常包含文件的查詢、新建、刪除或者修改等各種處理功能，DataNode的請(qǐng)求操作主要包括數(shù)據(jù)塊的處理。

（4）管理心跳檢測(cè)。因?yàn)镠DFS具有大規(guī)模的特點(diǎn)，包含著有大量的數(shù)據(jù)節(jié)點(diǎn)DataNode，這樣使得主控中心掌握整個(gè)系統(tǒng)中存儲(chǔ)節(jié)點(diǎn)的實(shí)際運(yùn)行情況。心跳檢測(cè)主要針對(duì)上述需求而產(chǎn)生的執(zhí)行機(jī)制，NameNode根據(jù)HDFS系統(tǒng)的相關(guān)設(shè)置對(duì)全部數(shù)據(jù)節(jié)點(diǎn)進(jìn)行心跳檢測(cè)，將返回得到的檢測(cè)數(shù)據(jù)信息及時(shí)地反映到系統(tǒng)中，確保實(shí)際服務(wù)的連續(xù)性與完整性。

數(shù)據(jù)節(jié)點(diǎn)DataNode的主要功能：

（1）報(bào)告心跳狀態(tài)。在HDFS系統(tǒng)集群中包括若干個(gè)DataNode，同時(shí)根據(jù)實(shí)際需要擴(kuò)展具體的集群規(guī)模，各種可以連接到互聯(lián)網(wǎng)并且符合系統(tǒng)配置要求標(biāo)準(zhǔn)的主機(jī)都能夠作為Datanode。HDFS通過(guò)機(jī)架的方式組織DataNode，具有相同子網(wǎng)的Datanode直接構(gòu)成一個(gè)機(jī)架，各個(gè)不同機(jī)架之間主要通過(guò)交換機(jī)、路由器等各種網(wǎng)絡(luò)通信設(shè)備達(dá)到互聯(lián)目的。機(jī)架內(nèi)部節(jié)點(diǎn)之間的傳輸效率高于機(jī)架之間節(jié)點(diǎn)的傳輸效率。如果集群功能開(kāi)啟后，DataNoda會(huì)向NameNode進(jìn)行注冊(cè)，注冊(cè)操作完成之后以心跳的方式與NameNode維持定期的通信。同時(shí)DataNode可以根據(jù)心跳返回的控制命令實(shí)現(xiàn)數(shù)據(jù)的增加、刪除與復(fù)制等各種操作。

（2）數(shù)據(jù)塊的讀寫(xiě)。NameNode是不負(fù)責(zé)數(shù)據(jù)信息的物理存儲(chǔ)與讀寫(xiě)操作處理功能，如果客戶端請(qǐng)求NameNode獲取相關(guān)文件的元數(shù)據(jù)信息之后，通過(guò)元數(shù)據(jù)信息Client可以與DataNode進(jìn)行主動(dòng)交互。文件數(shù)據(jù)塊以并行方式地傳送到DataNode上，DataNode負(fù)責(zé)數(shù)據(jù)信息的校驗(yàn)與存儲(chǔ)功能。DataNode在本機(jī)系統(tǒng)上保存相應(yīng)的數(shù)據(jù)塊文件與數(shù)據(jù)塊元文件，數(shù)據(jù)塊元文件存儲(chǔ)的是數(shù)據(jù)塊文件相應(yīng)的校驗(yàn)信息，主要用于在數(shù)據(jù)傳輸之前與定期掃描過(guò)程中進(jìn)行數(shù)據(jù)校驗(yàn)處理。DataNode開(kāi)啟之后，應(yīng)當(dāng)定期地掃描需要存儲(chǔ)的數(shù)據(jù)塊文件，同時(shí)把計(jì)算獲取得到的校驗(yàn)信息和數(shù)據(jù)塊元文件進(jìn)行對(duì)比分析。假如不符合要求，說(shuō)明這個(gè)數(shù)據(jù)塊已經(jīng)出現(xiàn)損壞狀況，需要進(jìn)行相應(yīng)的恢復(fù)處理。DataNode可以把在系統(tǒng)獲取得到的校驗(yàn)信息傳輸?shù)絅amenode中，Namenode根據(jù)相應(yīng)的塊數(shù)據(jù)失效信息記錄到NameNode中，等待數(shù)據(jù)恢復(fù)流程實(shí)現(xiàn)異步處理功能。

（3）數(shù)據(jù)的流水線復(fù)制。HDFS為了能夠確保系統(tǒng)正常的運(yùn)行狀態(tài)，讓各個(gè)數(shù)據(jù)塊在系統(tǒng)中保存三個(gè)副本，寫(xiě)入塊數(shù)據(jù)時(shí)，并非是等待上一個(gè)數(shù)據(jù)塊的寫(xiě)操作功能完成之后，再開(kāi)始執(zhí)行下一個(gè)數(shù)據(jù)塊的寫(xiě)操作處理。

2 云存儲(chǔ)安全技術(shù)

2.1 文件加解密設(shè)計(jì)

文件數(shù)據(jù)信息在實(shí)際的傳輸過(guò)程中通過(guò)AES加密處理之后，需要對(duì)加密功能的密鑰進(jìn)行RSA加密處理，獲取到的密鑰密文和文件通過(guò)加密處理之后的密文進(jìn)行綁定操作，通過(guò)系統(tǒng)分塊的作用存儲(chǔ)在HDFS的各個(gè)存儲(chǔ)節(jié)點(diǎn)中，這樣不僅可以有效提升系統(tǒng)的實(shí)際存儲(chǔ)效率，同時(shí)能夠解決單鑰密碼相應(yīng)的密鑰分配問(wèn)題。在加載HDFS系統(tǒng)上的文件時(shí)，應(yīng)當(dāng)在存儲(chǔ)密文中抽取對(duì)應(yīng)的AES密鑰密文，使用用戶的私鑰可以進(jìn)行解密處理，獲取到密鑰明文之后，再通過(guò)文件密文的解密處理實(shí)現(xiàn)文件明文的獲取。

具體的執(zhí)行過(guò)程如以下幾方面：

（1）在文件的加密上傳操作過(guò)程中，用戶登錄進(jìn)入云存儲(chǔ)系統(tǒng)，向HDFS發(fā)起傳輸文件請(qǐng)求的過(guò)程中需要選擇加密處理的傳輸方式，同時(shí)根據(jù)客戶端的隨機(jī)密鑰生成器產(chǎn)生一個(gè)128位的AES加密密鑰。

（2）在客戶端對(duì)系統(tǒng)用戶需要進(jìn)行傳輸?shù)奈募ㄟ^(guò)生成的AES密鑰進(jìn)行加密處理獲取到文件密文。

（3）使用系統(tǒng)用戶2048位RSA公鑰對(duì)文件的加密密鑰key進(jìn)行加密處理，得到相應(yīng)的密鑰密文。

（4）通過(guò)對(duì)密鑰密文和文件密文進(jìn)行綁定處理，根據(jù)文件密文的實(shí)際儲(chǔ)存格式加上對(duì)應(yīng)的標(biāo)識(shí)位與數(shù)據(jù)長(zhǎng)度標(biāo)識(shí)，存儲(chǔ)在HDFS的文件系統(tǒng)中。

（5）在文件解密操作的下載過(guò)程中，如果系統(tǒng)用戶在云端的HDFS文件系統(tǒng)中下載相應(yīng)的文件時(shí)，在獲取到在HDFS系統(tǒng)傳送到客戶端的相應(yīng)文件之后，系統(tǒng)首先會(huì)自動(dòng)判斷文件的第一位比特值，如果值為零，則表示文件屬于明文存儲(chǔ)方式，去掉標(biāo)識(shí)位之后可以還原成原始的文件格式；如果值為1，則說(shuō)明文件屬于密文的文件格式，應(yīng)當(dāng)進(jìn)行相應(yīng)的解密處理。

（6）首先需要提取文件中128字節(jié)的AES密鑰密文，通過(guò)系統(tǒng)用戶的RSA私鑰能夠解密得到AES對(duì)應(yīng)的明文密鑰。

（7）通過(guò)獲取得到的AES密鑰對(duì)存儲(chǔ)文件密文的相關(guān)部分進(jìn)行相應(yīng)的解密處理，得到具體存儲(chǔ)文件的明文。

2.2 文件存儲(chǔ)格式分析

云端文件的存儲(chǔ)格式通常可以分成明文存儲(chǔ)與密文存儲(chǔ)兩種類型。存儲(chǔ)格式中的第1位比特值為零，則說(shuō)明文件屬于明文存儲(chǔ)的格式；如果值為1，則說(shuō)明文件屬于密文存儲(chǔ)的格式。假如文件以密文形式進(jìn)行存儲(chǔ)時(shí)，在密文的前面應(yīng)當(dāng)增加128字節(jié)的空間用于存放RSA加密處理后生成的密文密鑰，使用四個(gè)字節(jié)表示有效的文件數(shù)據(jù)長(zhǎng)度。

3 結(jié)束語(yǔ)

結(jié)合HDFS系統(tǒng)的數(shù)據(jù)輸入輸出與完整性校驗(yàn)功能的執(zhí)行特點(diǎn)，在HDFS系統(tǒng)的客戶端運(yùn)用AES算法對(duì)用戶上傳到系統(tǒng)中的文件進(jìn)行加密處理，確保云存儲(chǔ)系統(tǒng)用戶數(shù)據(jù)的安全性；通過(guò)使用RSA算法提高AES密鑰的機(jī)密性，同時(shí)能夠有效解決AES單鑰密碼的實(shí)際分配問(wèn)題；設(shè)計(jì)云端系統(tǒng)文件兩種類型的存儲(chǔ)格式，有利于系統(tǒng)用戶進(jìn)行加密方式的自主選擇。在本文技術(shù)實(shí)施方案的理論基礎(chǔ)上可以通過(guò)加入加密緩沖區(qū)域來(lái)為系統(tǒng)用戶提供體驗(yàn)功能，同時(shí)需要進(jìn)一步引入PKI技術(shù)，有利于實(shí)現(xiàn)HDFS系統(tǒng)用戶的CA安全認(rèn)證與數(shù)字簽名功能，從而可以更好地提高HDFS系統(tǒng)的安全性能。

參考文獻(xiàn)：

[1]馮登國(guó)，張敏，張妍.云計(jì)算安全研究[J].軟件學(xué)報(bào)，2011（01）：71-83.

[2]侯清鏵，武永衛(wèi)，鄭緯民.一種保護(hù)云存儲(chǔ)平臺(tái)上用戶數(shù)據(jù)私密性的方法[J].計(jì)算機(jī)研究與發(fā)展，2011（07）：1146-1154.

[3]李書(shū)鵬.分布式文件系統(tǒng)在云存儲(chǔ)環(huán)境下的若干問(wèn)題研究[D].北京：中國(guó)科學(xué)技術(shù)大學(xué)，2011.

[4]黃曉云.基于HDFS的云存儲(chǔ)服務(wù)系統(tǒng)研究[D].大連：大連海事大學(xué).2010.

[5]曹夕，許力，陳蘭香.云存儲(chǔ)系統(tǒng)中數(shù)據(jù)完整性驗(yàn)證[J].計(jì)算機(jī)應(yīng)用，2012（01）：8-12.

[6]馮登國(guó).云計(jì)算安全研究[J].軟件學(xué)報(bào)，2011（01）：71-83.

作者簡(jiǎn)介：陳薇（1978.03-），女，本科，講師，研究方向：計(jì)算機(jī)教學(xué)、計(jì)算機(jī)應(yīng)用。

作者單位：浙江育英職業(yè)技術(shù)學(xué)院，杭州 310018