大數(shù)據(jù)平臺安全組件構(gòu)建研究

吳麗杰 竇維江 李瑾 陶旭東

關(guān)鍵詞： 大數(shù)據(jù)平臺；安全組件；訪問控制；Hadoop平臺；Ranger組件

0 引言

大數(shù)據(jù)平臺為大數(shù)據(jù)共享與服務(wù)提供數(shù)據(jù)存儲與處理的基礎(chǔ)支撐，負(fù)責(zé)數(shù)據(jù)存儲、處理和訪問等的執(zhí)行。大數(shù)據(jù)平臺安全是大數(shù)據(jù)安全的基礎(chǔ)， 主要包括大數(shù)據(jù)處理安全、大數(shù)據(jù)存儲安全、基礎(chǔ)設(shè)施安全和大數(shù)據(jù)訪問控制。早期大數(shù)據(jù)平臺本身安全性主要借助組織層面的網(wǎng)絡(luò)安全及物理或邏輯隔離來實(shí)現(xiàn)，有關(guān)用戶數(shù)據(jù)使用權(quán)限主要在大數(shù)據(jù)應(yīng)用中解決或借助第三方數(shù)據(jù)加固安全組件等數(shù)據(jù)中臺（中間件）的安全能力來實(shí)現(xiàn)用戶數(shù)據(jù)安全，大數(shù)據(jù)平臺只提供了數(shù)據(jù)脫敏、數(shù)據(jù)加密等簡單的數(shù)據(jù)安全服務(wù)組件[1-2]。

在企業(yè)級大數(shù)據(jù)平臺建設(shè)中，Hadoop是最成熟的開源大數(shù)據(jù)平臺之一。Hadoop最初也沒有考慮到安全性、法規(guī)遵從性和風(fēng)險管理支持，它只為數(shù)據(jù)提供基于UNIX的POSIX安全性，不包括客戶端和服務(wù)之間的身份認(rèn)證和授權(quán)。隨著Hadoop 平臺的不斷發(fā)展，安全問題也越來越嚴(yán)重，僅2019年就發(fā)生了巨大的數(shù)據(jù)泄露事件，泄露記錄超過40億條[3-4]。

近年來，不同的企業(yè)為Apache Hadoop和Hadoop發(fā)行版提供了許多安全解決方案。為解決Hadoop集群中數(shù)據(jù)的安全性問題，安全組件以模塊化的方式實(shí)現(xiàn)了Hadoop集群的身份認(rèn)證、授權(quán)和審計等相關(guān)要求。隨著學(xué)術(shù)界、開源社區(qū)和企業(yè)投入的大量人力來不斷完善Hadoop平臺安全解決方案，Hadoop已經(jīng)在生產(chǎn)中進(jìn)行了大量部署并提供多種安全組件來保障數(shù)據(jù)安全[5-6]。文章討論了大數(shù)據(jù)平臺常用安全組件，給出一種企業(yè)常用大數(shù)據(jù)安全組件構(gòu)建方式及具體實(shí)現(xiàn)路徑。

1 大數(shù)據(jù)平臺安全組件介紹

目前業(yè)界常用的大數(shù)據(jù)平臺安全組件是ApacheSentry和Apache Ranger，兩者都提供了細(xì)粒度訪問控制和與其他安全工具集成服務(wù)，且都需要Kerberos來提供身份認(rèn)證服務(wù)。Kerberos是MIT提供的一種基于客戶機(jī)-服務(wù)器的安全解決方案，是Hadoop中引入的第一個安全機(jī)制。Kerberos提供客戶端和服務(wù)器之間的相互身份認(rèn)證，此外，它還提供服務(wù)器及其從屬組件之間的身份認(rèn)證。

1.1 Apache Sentry

Apache Sentry 是用于Hadoop 的基于角色的細(xì)粒度授權(quán)安全組件。Sentry 能夠控制和執(zhí)行Hadoop 集群上經(jīng)過身份認(rèn)證的用戶和應(yīng)用程序的精確數(shù)據(jù)級別權(quán)限。Sentry 目前可與Apache Hive、Hive Metas?tore/HCatalog、Apache Solr、Impala 和HDFS（僅限于Hive 表數(shù)據(jù)）一起使用。Sentry 旨在成為Hadoop 組件的可插拔授權(quán)引擎，可以支持對Hadoop 中各種數(shù)據(jù)模型的授權(quán)。Sentry 的主要組件是Sentry 服務(wù)器（Sentry Server） 、數(shù)據(jù)引擎（Data Engine） 和Sentry 插件（Sentry Plugin） 。Sentry 服務(wù)器管理授權(quán)元數(shù)據(jù)；數(shù)據(jù)引擎加載Sentry插件，所有客戶端訪問資源的請求都被攔截并路由到Sentry插件進(jìn)行驗(yàn)證；Sentry插件在數(shù)據(jù)引擎中運(yùn)行，它提供了操作存儲在Sentry 服務(wù)器中的授權(quán)元數(shù)據(jù)的接口，并包括授權(quán)策略引擎，Sentry具體架構(gòu)如圖1所示。

1.2 Apache Ranger

Ranger 是Hadoop 平臺監(jiān)控和管理綜合數(shù)據(jù)安全性的組件。Ranger 目前為Apache Hive、HBase、Storm、Knox、Solr、Kafka、YARN等組件中的用戶訪問提供集中式安全管理、細(xì)粒度訪問控制和審計。使用Ranger 管理控制臺，用戶可以輕松管理有關(guān)訪問特定用戶或組的資源（文件、文件夾、數(shù)據(jù)庫、表、列等）的策略，并在Hadoop 中強(qiáng)制執(zhí)行這些策略。Ranger的主要組件包括管理門戶（Ranger Admin Portal） 、插件（Ranger Plugins） 和用戶組同步（User Group Sync） 。管理門戶是安全管理的中心界面，用戶可以創(chuàng)建和更新策略，然后將其存儲在策略數(shù)據(jù)庫（Policy DB） 中，每個組件中的插件會定期輪詢這些策略；插件是嵌入在每個集群組件的進(jìn)程中的輕量級Java 程序，當(dāng)用戶請求通過組件時，這些插件會攔截請求并根據(jù)安全策略對其進(jìn)行評估并將日志記錄于審計日志系統(tǒng)（RangerAudit Store） ；用戶組同步（User Group Sync） 用于從UNIX 或LDAP 或Active Directory 中提取用戶和組[6-8]。Ranger具體架構(gòu)如圖2所示。

1.3 Sentry 與Ranger 的比較

Sentry與Ranger主要通過Hadoop中一些服務(wù)的可插拔引擎應(yīng)用不同粒度級別的基本基于角色的訪問控制。Ranger將對象權(quán)限分配給用戶和組，而Sen?try將權(quán)限分配給角色，這些角色隨后將被委派給組及其關(guān)聯(lián)用戶。Sentry需要Cloudera Hue來提供圖形界面，而Ranger提供了管理控制臺，可以在一個地方控制整個Hadoop集群的安全性。Ranger 還支持公共云對象存儲、REST API、審計等這類Sentry 所缺少的功能[9]。Sentry與Ranger具體功能比較如表1所示。

2 大數(shù)據(jù)平臺安全組件構(gòu)建

根據(jù)中國信息通信研究院的2021年《大數(shù)據(jù)平臺安全研究報告》，各大數(shù)據(jù)平臺類型中，Cloudera CDH占據(jù)39%、HDP占據(jù)31%，原生態(tài)Apache Hadoop僅占9%[10]。由于HDP 集成了Ranger 組件且采用ApacheAmbari進(jìn)行部署，Ambari具有支持二次開發(fā)且支持Redis、ElasticSearch、Apache Kylin等服務(wù)集成的優(yōu)勢，文章采用Apache Ambari、HDP來集成部署Ranger。

2.1 Ranger 工作流程

HBase是Apache基金會頂級項(xiàng)目且基于HDFS進(jìn)行數(shù)據(jù)存儲。隨著HBase 在企業(yè)中的突出地位，HBase的安全性越來越受到企業(yè)用戶的關(guān)注并需提供的細(xì)粒度訪問控制和審計。文章以HBase為例，探討了Ranger的工作流程。

HBase提供擴(kuò)展接口（org.apache.hadoop.hbase.pro?tobuf. generated.AccessControlProtos.AccessControlService.Interface） ，Ranger通過實(shí)現(xiàn)HBbase 擴(kuò)展的權(quán)限接口（org.apache.ranger.authoriza?tion. hbase.RangerAuthorizationCoprocessor） ，進(jìn)行權(quán)限驗(yàn)證。HBase Ranger Plugin在安裝后，hbase-site.xml會生成如下配置項(xiàng)：

HBase Plugin嵌入到HMaster和HRegionServer節(jié)點(diǎn)中并定期從Ranger Admin輪詢策略，根據(jù)策略執(zhí)行訪問決策樹并存儲審計日志。具體工作流程如圖3所示。

2.2 Ranger 構(gòu)建實(shí)踐

文章利用Ranger分別構(gòu)建了HDFS、HBase的文件及數(shù)據(jù)庫常用訪問控制業(yè)務(wù)場景。

2.2.1 HDFS 有限的用戶訪問控制

在HDFS 中啟用Ranger Plugin，設(shè)置dfs.permis?sions.enabled及dfs.namenode.acls.enabled的值為ture。在Ranger 中建立一個名為“hdfs_test”的訪問控制策略，只允許chase用戶擁有讀、寫、執(zhí)行“/hdp”路徑下文件的權(quán)限并拒絕其他所有用戶的訪問。Ranger的權(quán)限控制是通過類似白名單和黑名單的二元組允許和拒絕組成，不同組件對應(yīng)的業(yè)務(wù)資源控制權(quán)限也不同，如HDFS提供了FilePath控制權(quán)限，如圖4所示。

root用戶在Shell中執(zhí)行查看“/hdp”目錄結(jié)構(gòu)的命令，如“hdfs dfs -ls /hdp”。根據(jù)“hdfs_test”訪問控制策略，讀“/hdp”目錄的命令會拒絕，Ranger 審計如圖5所示。

2.2.2 HBase 細(xì)粒度訪問控制

在HBase中啟用Ranger Plugin，在Ranger中建立一個名為“hbase_test”的訪問控制策略，只允許ranger用戶讀“test”表中的f1列族，其他列族不可訪問，如圖6所示。

ranger 用戶在HBase Shell 中執(zhí)行讀“test”表中的f1 列族和f2 列族的命令，如get 'test'，'rowkey001'，'f1： col1'、get 'test'， 'rowkey001'， 'f2： col1'。根據(jù)“hbase_test”訪問控制策略，讀“test”表中的f1列族的命令會通過授權(quán)而讀f2列族的命令會拒絕。以上命令的Ranger審計如圖7所示。審計日志記錄了用戶訪問類型、用戶信息、主機(jī)信息、訪問資源類型及授權(quán)結(jié)果等詳細(xì)信息。

3 結(jié)束語

Apache Hadoop由于擁有大量社區(qū)支持且開源，目前最新版本的安全組件已經(jīng)較為成熟。文章討論了Hadoop平臺常用安全組件各自的優(yōu)缺點(diǎn)，并構(gòu)建了Ranger組件常見業(yè)務(wù)應(yīng)用場景。研究表明，由于Ranger支持表級及字段級的訪問控制且支持字段級的加密和行級的過濾，比較適合臨時授權(quán)一些臨時用戶的訪問權(quán)限。隨著Hadoop平臺的不斷發(fā)展，新的安全組件也會涌現(xiàn)，根據(jù)不同業(yè)務(wù)需求選擇不同的組件還需要考慮組件本身的安全性和許可授權(quán)問題。Apache、MIT 和BSD 許可限制可能比其他一些許可少，但在將任何軟件納入現(xiàn)有平臺之前，仍然需要第三方審查團(tuán)隊(duì)進(jìn)行了徹底的安全掃描和許可授權(quán)審查[11]。

大數(shù)據(jù)平臺的安全防護(hù)除了需要結(jié)合傳統(tǒng)安全工具、新開發(fā)的工具集，還需監(jiān)控平臺整個生命周期內(nèi)的安全性。提升大數(shù)據(jù)平臺安全防御能力的同時，還需提升緊急安全事件的響應(yīng)能力并建立相應(yīng)的安全管理機(jī)制。