基于Hadoop的云計(jì)算數(shù)據(jù)安全性研究

徐嘉誠(chéng) 郭曉娜

作者簡(jiǎn)介：徐嘉誠(chéng)（1992— ），男，江蘇南京人，工程師，學(xué)士；研究方向：網(wǎng)絡(luò)安全。

*通信作者：郭曉娜（1980— ），女，江蘇淮安人，工程師，學(xué)士；研究方向：網(wǎng)絡(luò)安全。

摘要：隨著計(jì)算機(jī)技術(shù)的發(fā)展，云計(jì)算逐漸成為一種新型且重要的商業(yè)模式，在現(xiàn)代社會(huì)中扮演著越來(lái)越關(guān)鍵的角色。文章主要介紹了基于Hadoop數(shù)據(jù)安全的研究，首先概述了云計(jì)算技術(shù)和Hadoop技術(shù)；其次對(duì)云數(shù)據(jù)和安全情況進(jìn)行了分析；最后就安全性問(wèn)題及解決辦法進(jìn)行了論述。

關(guān)鍵詞：Hadoop；云計(jì)算；數(shù)據(jù)安全

中圖分類(lèi)號(hào)：TP 399 文獻(xiàn)標(biāo)志碼：A

0 引言

當(dāng)今社會(huì)，云計(jì)算技術(shù)的發(fā)展已經(jīng)十分迅速，其應(yīng)用也越來(lái)越廣泛。企業(yè)面臨著海量數(shù)據(jù)的處理和分析任務(wù)，這些數(shù)據(jù)需要高效、安全的存儲(chǔ)和處理。基于Hadoop的云計(jì)算平臺(tái)提供了一種高效、可靠、可擴(kuò)展的分布式計(jì)算和存儲(chǔ)解決方案，可以幫助企業(yè)解決這些問(wèn)題。當(dāng)企業(yè)使用基于Hadoop的云計(jì)算平臺(tái)來(lái)存儲(chǔ)和處理數(shù)據(jù)時(shí)，其系統(tǒng)業(yè)務(wù)的數(shù)據(jù)安全性就顯得尤為重要，因此，保障基于Hadoop的云計(jì)算平臺(tái)數(shù)據(jù)安全性具有重要的意義，這也正是本文所要探討的云計(jì)算平臺(tái)的安全問(wèn)題和安全性實(shí)現(xiàn)。

1 云計(jì)算平臺(tái)

1.1 云計(jì)算技術(shù)

云計(jì)算是一種以互聯(lián)網(wǎng)為基礎(chǔ)的虛擬化技術(shù)，可以把大量與計(jì)算機(jī)有關(guān)的信息（包括硬件）集合起來(lái)存儲(chǔ)在一個(gè)網(wǎng)絡(luò)上［1］，在使用這種方式時(shí)，需要將數(shù)據(jù)進(jìn)行加密處理。云安全也稱(chēng)為可信訪問(wèn)控制或密鑰管理，其作用主要是保護(hù)用戶(hù)的服務(wù)器資源以及系統(tǒng)中其他人、設(shè)備和物品所提供的信息不被泄露或者篡改，保證整個(gè)互聯(lián)網(wǎng)交易過(guò)程不會(huì)受到影響，并且可以有效地避免不必要的損失和風(fēng)險(xiǎn)發(fā)生。云計(jì)算是一種虛擬化的資源，不需要儲(chǔ)存硬件設(shè)施，但是可以在計(jì)算機(jī)系統(tǒng)中進(jìn)行運(yùn)算和存儲(chǔ)。

云計(jì)算是一種基于虛擬化的信息處理技術(shù)，利用計(jì)算機(jī)硬件、軟件和服務(wù)等實(shí)現(xiàn)對(duì)用戶(hù)數(shù)據(jù)的存儲(chǔ)，通過(guò)網(wǎng)絡(luò)連接完成資源共享。20世紀(jì)80年代，隨著計(jì)算機(jī)性能的提高和網(wǎng)絡(luò)技術(shù)的發(fā)展，分布式計(jì)算開(kāi)始受到人們的重視，它是一種將計(jì)算任務(wù)分配給多個(gè)計(jì)算機(jī)節(jié)點(diǎn)并協(xié)同工作的方式，以提高計(jì)算效率。21世紀(jì)初，隨著Internet的普及和大規(guī)模分布式計(jì)算的發(fā)展，網(wǎng)格計(jì)算成為分布式計(jì)算的一種重要形式，網(wǎng)格計(jì)算是將全球計(jì)算機(jī)資源組織起來(lái)，形成一個(gè)超級(jí)計(jì)算機(jī)網(wǎng)絡(luò)，以完成大規(guī)模的計(jì)算任務(wù)。目前，全球已經(jīng)開(kāi)發(fā)了許多云計(jì)算服務(wù)，包括基于網(wǎng)絡(luò)的服務(wù)器、基于分布式數(shù)據(jù)庫(kù)和面向應(yīng)用領(lǐng)域的。其中最成功的是谷歌公司，在2008年就推出了Web瀏覽器系統(tǒng)來(lái)實(shí)現(xiàn)資源共享，它將一個(gè)或多個(gè)用戶(hù)按需分配到各個(gè)節(jié)點(diǎn)上使用該客戶(hù)端部署過(guò)的數(shù)據(jù)流，并把所有信息存儲(chǔ)起來(lái)為其他服務(wù)需要時(shí)提供便利，最終達(dá)到服務(wù)的目的［2］。

云計(jì)算作為一種基于互聯(lián)網(wǎng)的新型計(jì)算模式，具有以下特點(diǎn)。云計(jì)算系統(tǒng)能夠根據(jù)實(shí)際需求動(dòng)態(tài)調(diào)整計(jì)算和存儲(chǔ)資源，從而實(shí)現(xiàn)彈性伸縮；云計(jì)算系統(tǒng)能夠?qū)⒂?jì)算和存儲(chǔ)資源在多個(gè)用戶(hù)之間共享，從而提高資源的利用率和效率；云計(jì)算技術(shù)是基于多租戶(hù)的環(huán)境設(shè)計(jì)的，多個(gè)用戶(hù)可以在同一個(gè)云平臺(tái)上共享計(jì)算資源。通過(guò)對(duì)資源進(jìn)行虛擬化和隔離，云計(jì)算技術(shù)可以提供高效的資源共享和利用，并且可以保證用戶(hù)的數(shù)據(jù)和應(yīng)用程序的安全性；云計(jì)算系統(tǒng)能夠提供高可用性的服務(wù)，通過(guò)多副本備份機(jī)制、冗余存儲(chǔ)機(jī)制等保證服務(wù)的可靠性；云計(jì)算技術(shù)具有強(qiáng)大的網(wǎng)絡(luò)化管理能力，通過(guò)云平臺(tái)的管理界面可以輕松地管理和監(jiān)控計(jì)算資源的使用情況，包括服務(wù)器的狀態(tài)、存儲(chǔ)空間、網(wǎng)絡(luò)帶寬等。同時(shí)，云計(jì)算平臺(tái)還可以提供自動(dòng)化的管理和故障排除功能，以降低管理成本和提高系統(tǒng)的可靠性。

1.2 Hadoop技術(shù)

Hadoop技術(shù)是一種高效、可靠、可擴(kuò)展的分布式計(jì)算平臺(tái)，適用于處理大規(guī)模的數(shù)據(jù)集，具有可靠性、擴(kuò)展性、高效性、易用性、兼容性等特點(diǎn)。

Hadoop是基于分布式系統(tǒng)的技術(shù)，數(shù)據(jù)被分布存儲(chǔ)在多臺(tái)服務(wù)器上，避免了單點(diǎn)故障，保證了數(shù)據(jù)的可靠性和可用性；Hadoop可以在集群中添加新的節(jié)點(diǎn)，以應(yīng)對(duì)不斷增長(zhǎng)的數(shù)據(jù)量和計(jì)算需求，具有良好的橫向擴(kuò)展性；Hadoop采用MapReduce并行計(jì)算模型，可以并行處理大規(guī)模數(shù)據(jù)，提高數(shù)據(jù)處理效率；Hadoop提供簡(jiǎn)單易用的API和工具，使得開(kāi)發(fā)人員可以方便地進(jìn)行數(shù)據(jù)處理和分析；Hadoop兼容各種不同的數(shù)據(jù)格式和存儲(chǔ)方式，可以處理不同類(lèi)型的數(shù)據(jù)，包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。

基于Hadoop的云計(jì)算平臺(tái)，可以根據(jù)需求動(dòng)態(tài)調(diào)整計(jì)算資源，實(shí)現(xiàn)彈性伸縮，提高計(jì)算效率和成本效益。云計(jì)算平臺(tái)提供高可靠性和可用性的基礎(chǔ)設(shè)施，可以保證Hadoop集群的穩(wěn)定運(yùn)行，減少單點(diǎn)故障和數(shù)據(jù)丟失的風(fēng)險(xiǎn)；云計(jì)算平臺(tái)提供多種計(jì)算實(shí)例類(lèi)型和配置選項(xiàng)，用戶(hù)可以根據(jù)自己的需求和預(yù)算選擇合適的實(shí)例和配置，提高靈活性和可配置性；將Hadoop部署在云計(jì)算平臺(tái)上，可以根據(jù)實(shí)際的使用情況靈活地選擇計(jì)算資源和存儲(chǔ)資源，避免資源浪費(fèi)，降低總體成本。

總的來(lái)說(shuō)，將Hadoop技術(shù)和云計(jì)算技術(shù)相結(jié)合，可以實(shí)現(xiàn)資源的高效利用、成本的降低和安全的保障，為云計(jì)算企業(yè)提供更好的數(shù)據(jù)處理和分析服務(wù)。

2 云計(jì)算系統(tǒng)中的Hadoop技術(shù)安全分析

2.1 云計(jì)算平臺(tái)安全問(wèn)題

基于Hadoop的云計(jì)算平臺(tái)提供了一種高效、可靠、可擴(kuò)展的分布式計(jì)算和存儲(chǔ)解決方案，但是隨著云計(jì)算平臺(tái)的普及，數(shù)據(jù)安全問(wèn)題也日益凸顯?；谠朴?jì)算技術(shù)的特點(diǎn)，其自身可能存在以下安全問(wèn)題。

（1）由于云計(jì)算服務(wù)通常是公共云服務(wù)，可能存在惡意用戶(hù)冒充他人身份進(jìn)行訪問(wèn)或使用，或者未授權(quán)的用戶(hù)或程序通過(guò)弱口令或漏洞等方式訪問(wèn)云計(jì)算服務(wù)中心的數(shù)據(jù)和資源。

（2）云計(jì)算服務(wù)商需要處理大量用戶(hù)數(shù)據(jù)，可能存在隱私泄露和數(shù)據(jù)保護(hù)的問(wèn)題。例如，云計(jì)算服務(wù)商可能會(huì)在未經(jīng)授權(quán)的情況下訪問(wèn)用戶(hù)的數(shù)據(jù)，或者在數(shù)據(jù)存儲(chǔ)和傳輸過(guò)程中存在數(shù)據(jù)泄露的風(fēng)險(xiǎn)。

（3）云計(jì)算服務(wù)可能會(huì)受到各種網(wǎng)絡(luò)安全攻擊，如DDoS攻擊、網(wǎng)絡(luò)釣魚(yú)攻擊等。此外，云計(jì)算服務(wù)商的網(wǎng)絡(luò)安全設(shè)施可能存在漏洞或者配置錯(cuò)誤，導(dǎo)致出現(xiàn)安全漏洞。

（4）云計(jì)算服務(wù)的使用需要遵守相關(guān)的法律和法規(guī)，如數(shù)據(jù)隱私保護(hù)法規(guī)，如果服務(wù)商不遵守，將可能出現(xiàn)合規(guī)問(wèn)題。

（5）云計(jì)算服務(wù)通常依賴(lài)于供應(yīng)商和第三方服務(wù)，如果其中某一個(gè)環(huán)節(jié)存在安全問(wèn)題，可能會(huì)對(duì)整個(gè)云計(jì)算生態(tài)系統(tǒng)造成威脅。

2.2 Hadoop安全措施

Hadoop提供了許多安全措施，如訪問(wèn)控制、數(shù)據(jù)加密、身份驗(yàn)證等，確保數(shù)據(jù)的安全性和機(jī)密性，故而，基于Hadoop的云數(shù)據(jù)安全性需要綜合考慮以下幾個(gè)方面：身份驗(yàn)證、訪問(wèn)控制、數(shù)據(jù)保護(hù)、安全審計(jì)和合規(guī)性要求。

（1）身份驗(yàn)證。Hadoop集群中的節(jié)點(diǎn)和用戶(hù)必須經(jīng)過(guò)身份驗(yàn)證，以確保只有授權(quán)的用戶(hù)才能訪問(wèn)集群。Hadoop支持基于Kerberos的身份驗(yàn)證機(jī)制，可以通過(guò)Kerberos服務(wù)器驗(yàn)證用戶(hù)身份。

（2）訪問(wèn)控制。Hadoop集群中的每個(gè)節(jié)點(diǎn)都須具有訪問(wèn)控制機(jī)制，以確保只有授權(quán)的用戶(hù)才能訪問(wèn)敏感數(shù)據(jù)。Hadoop提供了基于用戶(hù)、組和角色的訪問(wèn)控制機(jī)制，可以通過(guò)配置文件和ACLs（訪問(wèn)控制列表）來(lái)管理用戶(hù)訪問(wèn)權(quán)限。

（3）安全審計(jì)。Hadoop集群中的操作應(yīng)該進(jìn)行記錄和審計(jì)，以便跟蹤故障、調(diào)查安全事件和滿(mǎn)足法規(guī)要求。Hadoop通過(guò)提供日志記錄和審計(jì)機(jī)制，記錄用戶(hù)操作、系統(tǒng)事件和安全事件，并滿(mǎn)足保留6個(gè)月以上日志的法律要求。

（4）數(shù)據(jù)保護(hù)。在Hadoop集群中，敏感數(shù)據(jù)應(yīng)該加密存儲(chǔ)，以確保未經(jīng)授權(quán)的訪問(wèn)者無(wú)法查看和竊取數(shù)據(jù)。通過(guò)Hadoop提供的數(shù)據(jù)加密和數(shù)據(jù)脫敏機(jī)制，來(lái)保護(hù)敏感數(shù)據(jù)的安全。

（5）合規(guī)性和監(jiān)管要求。在處理敏感數(shù)據(jù)時(shí)，Hadoop集群必須符合適用的合規(guī)性和監(jiān)管要求，包括《中華人民共和國(guó)網(wǎng)絡(luò)安全法》《中華人民共和國(guó)個(gè)人信息保護(hù)法》《中華人民共和國(guó)數(shù)據(jù)安全法》等的具體規(guī)定。

2.3 云計(jì)算平臺(tái)安全性實(shí)現(xiàn)

云計(jì)算框架是一個(gè)完整的系統(tǒng)框架，包含物理層、傳輸層和應(yīng)用服務(wù)3層［3］，通過(guò)這3層技術(shù)能夠提供非常豐富的云計(jì)算能力和友好的用戶(hù)界面。云計(jì)算的安全性取決于各種因素，包括云服務(wù)提供商的安全措施、客戶(hù)使用云服務(wù)的方式以及數(shù)據(jù)的敏感程度。作為云服務(wù)提供商需要考慮以下幾個(gè)安全方面的內(nèi)容。

（1）身份驗(yàn)證和訪問(wèn)控制。云服務(wù)提供商應(yīng)該實(shí)施身份驗(yàn)證和訪問(wèn)控制機(jī)制，以確保只有授權(quán)用戶(hù)才能訪問(wèn)客戶(hù)數(shù)據(jù)，可以采用基于角色的訪問(wèn)控制模型，通過(guò)用戶(hù)組和角色來(lái)管理用戶(hù)的訪問(wèn)權(quán)限，限制非法用戶(hù)的訪問(wèn)。此外，還可以采用訪問(wèn)控制列表和網(wǎng)絡(luò)隔離等技術(shù)來(lái)加強(qiáng)訪問(wèn)控制策略。

（2）數(shù)據(jù)保護(hù)。云服務(wù)提供商應(yīng)采取適當(dāng)?shù)募夹g(shù)措施，以確保存儲(chǔ)在其服務(wù)器上的數(shù)據(jù)不會(huì)被未經(jīng)授權(quán)的人員訪問(wèn)、竊取或破壞，通過(guò)使用數(shù)據(jù)加密算法，如AES、DES、國(guó)密SM4等，對(duì)數(shù)據(jù)進(jìn)行加密，從而防止數(shù)據(jù)在傳輸和存儲(chǔ)過(guò)程中被竊取或篡改。此外，還可以采用分布式密鑰管理系統(tǒng)來(lái)管理密鑰，確保密鑰的安全性。

（3）合規(guī)性和監(jiān)管要求。云服務(wù)提供商應(yīng)遵守相關(guān)法規(guī)和監(jiān)管要求，包括《中華人民共和國(guó)網(wǎng)絡(luò)安全法》《中華人民共和國(guó)個(gè)人信息保護(hù)法》《中華人民共和國(guó)數(shù)據(jù)安全法》等的具體規(guī)定，并應(yīng)提供相應(yīng)的合規(guī)性證明。

（4）安全審計(jì)。云服務(wù)提供商應(yīng)定期進(jìn)行安全審計(jì)，并向客戶(hù)提供相應(yīng)的安全審計(jì)報(bào)告，通過(guò)采用成熟的日志管理和監(jiān)控工具，如ELK，Splunk等組件，對(duì)系統(tǒng)進(jìn)行實(shí)時(shí)監(jiān)控和數(shù)據(jù)收集，對(duì)系統(tǒng)行為進(jìn)行分析和監(jiān)控，及時(shí)發(fā)現(xiàn)系統(tǒng)中的安全問(wèn)題。

（5）災(zāi)難恢復(fù)和備份。云服務(wù)提供商應(yīng)該實(shí)施恢復(fù)和備份策略，通過(guò)分布式存儲(chǔ)的多副本模式進(jìn)行冗余備份，以確?？蛻?hù)數(shù)據(jù)的可用性和完整性。

作為云計(jì)算用戶(hù)可以采取以下措施來(lái)保護(hù)云上系統(tǒng)的安全。

選擇信譽(yù)良好、擁有豐富經(jīng)驗(yàn)和完善安全措施的云服務(wù)提供商；根據(jù)用戶(hù)的職責(zé)和權(quán)限設(shè)置訪問(wèn)控制，確保只有授權(quán)的人才能訪問(wèn)敏感數(shù)據(jù)；采用雙因素身份驗(yàn)證，例如使用密碼和手機(jī)驗(yàn)證碼等，防止密碼泄露和黑客攻擊；在數(shù)據(jù)傳輸和存儲(chǔ)過(guò)程中使用加密技術(shù)，防止數(shù)據(jù)被截獲或竊?。欢ㄆ诒O(jiān)控和審計(jì)用戶(hù)的云計(jì)算使用情況，及時(shí)發(fā)現(xiàn)異常行為和安全威脅；定期本地備份數(shù)據(jù)，并采取災(zāi)備措施，確保數(shù)據(jù)不會(huì)因?yàn)樽匀粸?zāi)害、硬件故障或人為錯(cuò)誤等原因丟失或損壞；定期更新軟件和安全補(bǔ)丁，確保系統(tǒng)和應(yīng)用程序的安全性和穩(wěn)定性；對(duì)管理用戶(hù)進(jìn)行安全意識(shí)教育和培訓(xùn)，提高用戶(hù)的安全意識(shí)和防范能力，防止因?yàn)橛脩?hù)疏忽導(dǎo)致的安全事故。

3 結(jié)語(yǔ)

云計(jì)算作為一種新興的服務(wù)模式，具有廣泛的應(yīng)用前景，國(guó)內(nèi)外很多人都已經(jīng)意識(shí)到了其重要性和必要性。然而，由于技術(shù)、安全等問(wèn)題，現(xiàn)在還未能實(shí)現(xiàn)對(duì)它所有方面數(shù)據(jù)的全面保護(hù)。本文主要是針對(duì)基于Hadoop的安全性研究做了探索及分析，介紹了云計(jì)算的概念以及相關(guān)理論知識(shí)；根據(jù)實(shí)際情況提出了新的思路來(lái)解決云計(jì)算環(huán)境下存在的信息泄露風(fēng)險(xiǎn)，并為云計(jì)算在大數(shù)據(jù)網(wǎng)絡(luò)安全方面的應(yīng)用提供了一定參考；對(duì)云計(jì)算中所涉及的概念進(jìn)行了研究，包括安全性原則以及如何實(shí)現(xiàn)這些目標(biāo)。

參考文獻(xiàn)

［1］李杰.大數(shù)據(jù)和云計(jì)算技術(shù)在智慧城市建設(shè)中的應(yīng)用［J］.網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2023（2）：102-103.

［2］張文明.基于云計(jì)算的Hadoop大數(shù)據(jù)平臺(tái)挖掘算法及實(shí)現(xiàn)研究［J］.無(wú)線(xiàn)互聯(lián)科技，2021（19）：110-111.

［3］蘇俊堅(jiān).云計(jì)算高校數(shù)據(jù)中心建設(shè)及安全性研究［J］.電子技術(shù)與軟件工程，2020（24）：251-252.

（編輯 沈 強(qiáng)）

Abstract： With the development of computer technology， cloud computing has gradually become a new and important business model， playing an increasingly crucial role in modern society. The article mainly introduces research on data security based on Hadoop. Firstly， it provides an overview of cloud computing technology and Hadoop technology; Secondly， an analysis was conducted on cloud data and security situation; Finally， the security issues and solutions were discussed.

Key words： Hadoop; cloud computing; data security