企業(yè)級Hadoop大數(shù)據(jù)平臺安全管理方案的研究

韓磊 陳含 郝曉雪

（中國移動（深圳）有限公司，廣東 深圳 518048）

1 引言

近幾年，如果談到IT科技界最火熱的話題，“大數(shù)據(jù)”應(yīng)屬當仁不讓。隨著互聯(lián)網(wǎng)的高速發(fā)展，大量的信息快速流通，人們之間的信息交流越來越密切，生活也越來越便利，大數(shù)據(jù)科技就是這個高科技時代的產(chǎn)物。企業(yè)利用大數(shù)據(jù)科技對大量消費者消費習(xí)慣進行統(tǒng)計分析，利用大數(shù)據(jù)進行精準營銷；在互聯(lián)網(wǎng)發(fā)展的浪潮中，大數(shù)據(jù)科技可以促進傳統(tǒng)企業(yè)的信息化轉(zhuǎn)型，充分利用大數(shù)據(jù)科技挖掘企業(yè)價值；大數(shù)據(jù)科技可以促進企業(yè)科技創(chuàng)新，孕育新的企業(yè)發(fā)展動力。阿里巴巴創(chuàng)辦人馬云曾經(jīng)說過，未來的時代將不是IT時代，而是DT的時代，DT就是Data Technology數(shù)據(jù)科技，顯示大數(shù)據(jù)在阿里巴巴集團具有舉足輕重的地位。

眾所周知，任何IT科技的發(fā)展都離不開底層架構(gòu)的支持，大數(shù)據(jù)科技的深入發(fā)展離不開Hadoop等大數(shù)據(jù)底層平臺技術(shù)的支持，大數(shù)據(jù)的巨量性、多樣性、時效性、準確性等特性都要求我們需要有一個性能穩(wěn)定、信息安全的基礎(chǔ)平臺作為支撐。這時，Hadoop底層大數(shù)據(jù)集群的平臺安全問題就變得尤為突出，本文正是基于此對企業(yè)級大數(shù)據(jù)平臺安全管理機制進行研究。

2 大數(shù)據(jù)安全的需求背景

在企業(yè)級大數(shù)據(jù)集群環(huán)境中，通常會采用多租戶共享Hadoop大數(shù)據(jù)集群的模式。這種模式可以有效縮減集群數(shù)量，便于集中化、統(tǒng)一化管理，減少人力維護成本，同時多租戶共享集群避免了數(shù)據(jù)過度冗余進而達到節(jié)約硬件成本的目的。

多租戶共享大數(shù)據(jù)集群是指：

（1）通常我們把一個集群使用者，稱作一個租戶。租戶可能以項目或不同的應(yīng)用劃分。每個租戶相當于一個資源池，管理員為租戶配置了一定的集群資源，租戶下的所有用戶共用資源池內(nèi)的資源，多個租戶共同使用一個Hadoop大數(shù)據(jù)集群；

（2）大數(shù)據(jù)集群管理員為每個獨立的租戶分配獨有的yarn隊列，每個yarn隊列包含一定量的集群資源，每個租戶只能使用指定yarn隊列中已分配的資源；

（3）HDFS存儲多種類型的數(shù)據(jù)，有公共數(shù)據(jù)、私有數(shù)據(jù)，每個租戶組對應(yīng)不同的訪問權(quán)限，要求特定租戶只能訪問自己擁有權(quán)限的數(shù)據(jù)。

多租戶共享Hadoop大數(shù)據(jù)集群給企業(yè)帶來巨大的硬件成本和維護成本優(yōu)勢。同時由于大數(shù)據(jù)集群的共享性、數(shù)據(jù)隔離性、特有性等特點，要求其必須擁有很高的賬戶安全管理和數(shù)據(jù)權(quán)限管理，同時還要兼顧大規(guī)模數(shù)據(jù)集群的統(tǒng)一化、集中化管理問題。這些都決定了Hadoop集群的安全管理機制變得格外重要和突出，下文正是基于多租戶共享Hadoop大數(shù)據(jù)集群的安全問題展開探究。

3 大數(shù)據(jù)安全管理現(xiàn)狀

當前大數(shù)據(jù)安全管理主要包含兩部分：用戶認證或授權(quán)和Hadoop組件資源的權(quán)限控制。

3.1 用戶認證或授權(quán)

用戶認證是保障多租戶大數(shù)據(jù)集群安全機制的第一道屏障，在這一步主要實現(xiàn)用戶需要通過一系列安全策略對自身進行認證（主要通過Kerberos實現(xiàn)，后續(xù)會有介紹），只有通過認證的賬號才能進行下一步操作。簡單總結(jié)這一步主要功能是實現(xiàn)：證明你是你的問題。

當前主流的大數(shù)據(jù)安全認證機制，主要是通過Kerberos進行用戶認證。Kerberos認證機制使得集群中的節(jié)點是可信賴的。Kerberos將認證秘鑰放到大數(shù)據(jù)集群的節(jié)點上。集群運行時，集群內(nèi)的節(jié)點通過秘鑰進行認證。只有通過Kerberos認證節(jié)點，才能正常使用集群。沒有得到秘鑰信息或者冒充集群身份的用戶無法與集群內(nèi)部的其他節(jié)點通信，從而無法使用集群資源，防止了惡意登錄或篡改Hadoop集群的問題，保證了Hadoop大數(shù)據(jù)集群的安全性、可靠性。

3.2 組件資源的權(quán)限控制

資源權(quán)限控制指的是租戶對大數(shù)據(jù)平臺組件的使用權(quán)限的管理，對租戶權(quán)限進行嚴密的權(quán)限控制，按照實際租戶需要分配特定的使用權(quán)限。其中比較常見的是針對如HDFS、hbase、Kafka和yarn隊列等一系列組件的權(quán)限控制。Hadoop本身集成了Apache Sentry或Apache Ranger實現(xiàn)大數(shù)據(jù)集群組件資源的權(quán)限管理。簡單說明一下：Apache Sentry是Cloudera公司發(fā)布的一個Hadoop開源組件，它提供了細粒度級、基于角色的授權(quán)以及多租戶的管理模式。Apache Ranger是hortonworks提供一個集中式安全管理框架,它可以對Hadoop生態(tài)的組件如Hive、Hbase進行細粒度的數(shù)據(jù)訪問控制。通過操作Ranger控制臺,管理員可以輕松地通過配置策略來控制用戶訪問HDFS文件夾、HDFS文件、數(shù)據(jù)庫、表、字段權(quán)限。這些策略可以由不同的用戶和組來設(shè)置,同時權(quán)限可與Hadoop無縫對接。

4 當前大數(shù)據(jù)安全方案的不足

目前主流的企業(yè)級Hadoop大數(shù)據(jù)集群安全機制，主要存在以下幾點問題：

（1）通常企業(yè)級的Hadoop集群規(guī)模巨大，幾百個節(jié)點、上千個節(jié)點的集群是比較常見的。尤其是在多租戶的集群上，Kerberos這種需要獨占操作系統(tǒng)靜態(tài)kinit自己的Principal的方式，完全無法接受。試想一下，我們要在成百上千臺服務(wù)器上執(zhí)行kinit操作，繁重、重復(fù)的工作非?？菰铩o味，會讓管理員崩潰。

（2）企業(yè)級大數(shù)據(jù)集群中常見的方案是使用LDAP做認證，單獨使用Kerberos比較小眾，因此采用Kerberos+LDAP是比較理想的方式，LDAP作為總的用戶認證中心，使用thrift server的用戶通過LDAP做認證。按照傳統(tǒng)的Hadoop安全認證方式，服務(wù)間認證使用Kerberos，hive JDBC使用LDAP認證，但實際存在一個問題：Kerberos和LDAP兩套系統(tǒng)是互相獨立的。例如:用戶A通過LDAP登錄到hive上對數(shù)據(jù)做了一下分析查詢，然后想再將自己的spark應(yīng)用提交到集群執(zhí)行，會發(fā)現(xiàn)Kerberos中根本就不存在此用戶A！按照傳統(tǒng)的操作方式，我們需要在Kerberos里再添加一遍用戶A來解決，一套系統(tǒng)中有兩個用戶管理，顯然是不可接受的。

5 本文對大數(shù)據(jù)安全方案的設(shè)計

基于上面提到的現(xiàn)有大數(shù)據(jù)安全方案的兩點不足，我們主要思考以下兩個問題：

（1）如何實現(xiàn)Kerberos賬戶認證、LDAP賬號和操作系統(tǒng)賬號的統(tǒng)一化、集中化管理問題；

（2）如何實現(xiàn)認證賬戶與Hadoop大數(shù)據(jù)集群組件Apache Ranger（或Apache Sentry）權(quán)限管理的有效結(jié)合問題。

在正式介紹本文提出的解決方案時，我們先簡單了解一下FreeIPA和Ranger這兩個核心概念。

5.1 FreeIPA簡介

FreeIPA是Redhat公司推出的開源用戶統(tǒng)一管理軟件，其集成了 Kerberos、LDAP、DNS、NTP和 CERTIFICATE 服務(wù)。圖1為FreeIPA的架構(gòu)圖。

圖1 FreeIPA架構(gòu)圖

從圖1可以看出，F(xiàn)reeIPA提供了WEB、命令行兩種管理工具。通過WEB或者命令行添加用戶，只需要指定用戶名，即可生成LDAP、Kerberos、Linux三個賬戶，且三個用戶的密碼和其他信息都是一致的，體現(xiàn)出了FreeIPA的集中化管理和統(tǒng)一性。其主要實現(xiàn)了Hadoop大數(shù)據(jù)集群的用戶認證工作。

5.2 Ranger簡介

Ranger實現(xiàn)Hadoop集群資源的權(quán)限管理，通過租戶權(quán)限管理，實現(xiàn)了租戶資源級權(quán)限、功能級權(quán)限兩類權(quán)限管理，實現(xiàn)對數(shù)據(jù)資源、計算資源、管理平臺功能資源的基于多租戶的權(quán)限管控，確保租戶內(nèi)的資源、數(shù)據(jù)、任務(wù)狀態(tài)等訪問安全。

圖2 Ranger架構(gòu)圖

Ranger提供統(tǒng)一的管理界面，包括策略管理、審計查看、插件管理，可以支持HDFS、Hive、Hbase、Kafka、Knox、Yarn、Storm、Atlas組件，提供細粒度的權(quán)限控制，表1為Ranger可以實現(xiàn)的權(quán)限控制粒度表（部分）。

表1 Ranger權(quán)限控制粒度表（部分）

Ranger的訪問權(quán)限定義了“用戶-資源-權(quán)限”這三者間的關(guān)系，同時內(nèi)置了LDAP、文件的用戶同步機制，Hadoop+Ranger+FreeIPA(LDAP+Kerberos)的完美結(jié)合，保證了大數(shù)據(jù)集群從用戶認證到組件權(quán)限控制的整體方案。

5.3 FreeIPA和Ranger完整解決方案

本文利用FreeIPA的賬戶集中化、統(tǒng)一化管理特性，通過WEB或者命令行添加用戶，同時生成LDAP、Kerberos、Linux三個賬戶，且三個用戶的密碼和其他配置信息都是一致的。避免了傳統(tǒng)賬戶認證方式兩套賬戶管理系統(tǒng)(Kerbero認證系統(tǒng)和LDAP認證系統(tǒng))帶來的維護不便，從很大程度上減輕了大數(shù)據(jù)集群賬戶維護的復(fù)雜度。在大數(shù)據(jù)集群的日常維護過程中，賬戶的維護是最復(fù)雜和頻繁的，從賬戶的創(chuàng)建到回收，整個生命周期都可以通過FreeIPA的用戶密碼策略進行設(shè)置。用戶到期后自動失去認證資格，只有再次申請延期或開放，才能繼續(xù)使用，可以從根本上對賬號的生命周期進行控制。

通過Hadoop Ranger對集群組件權(quán)限進行控制，前面已經(jīng)提到Ranger提供統(tǒng)一的管理界面，包括策略管理、審計查看、插件管理，可以支持 HDFS、Hive、Hbase、Kafka、Knox、Yarn、Storm、Atlas組件，提供細粒度的權(quán)限控制。

圖3 FreeIPA和Ranger的Hadoop大數(shù)據(jù)集群架構(gòu)圖

從FreeIPA和Ranger的Hadoop大數(shù)據(jù)集群架構(gòu)圖（圖3）中可以看到，任何通過大數(shù)據(jù)管理平臺的請求，首先需要通過FreeIPA集成的Kerberos服務(wù)完成大數(shù)據(jù)集群的用戶身份認證，只有通過認證的賬號才能使用大數(shù)據(jù)集群內(nèi)的節(jié)點，沒有通過認證的用戶，無法得到服務(wù)授權(quán)，沒法使用大數(shù)據(jù)集群內(nèi)資源。在完成Kerberos認證的同時，由于Kerberos用戶也是LDAP賬戶和Linux系統(tǒng)賬戶，所以一次認證就完成了在大數(shù)據(jù)集群的整個生態(tài)中的認證工作。在此需要說明的是，因為通過FreeIPA創(chuàng)建的賬號是Linux系統(tǒng)賬號、LDAP賬號、Kerberos賬號統(tǒng)一的，所以根本不存在非法賬號的認證問題。

經(jīng)過FreeIPA認證的用戶，在向集群申請資源時，遵循Ranger配置的訪問策略和資源權(quán)限，滿足策略規(guī)則的用戶成功分配集群資源，不滿足權(quán)限配置的無法訪問集群資源。例如：用戶在請求訪問Hive中test數(shù)據(jù)庫時，首先需要經(jīng)過系統(tǒng)Kerberos認證，確認是否為LDAP域內(nèi)的賬戶，如果用戶通過認證，繼續(xù)請求Hadoop集群內(nèi)組件資源，檢查Ranger中是否配置相應(yīng)test數(shù)據(jù)庫的訪問權(quán)限，可以定義create、select、update、drop、index、lock、alter等控制策略，然后按照已經(jīng)配置好的權(quán)限策略進行對應(yīng)的操作即可。

6 結(jié)語

本文對企業(yè)級大數(shù)據(jù)集群安全機制進行了初步的探究，不同的企業(yè)采用的方案可能各不相同，尤其在賬戶集中化認證方面，常用的OpenLDA方案不盡相同，不過最終的目標是一致的。本文通過FreeIPA實現(xiàn)大數(shù)據(jù)集群前端賬號的集中化管理和統(tǒng)一策略管理，保障了集群前端賬戶層面的安全性。實現(xiàn)了前端LDAP賬號、Linux系統(tǒng)賬號、Kerberos認證賬號的統(tǒng)一化管理。真正的Hadoop資源、管理權(quán)限是通過Ranger來控制的。通過操作Ranger控制臺,管理員可以輕松通過配置策略來控制用戶訪問HDFS文件夾、HDFS文件、數(shù)據(jù)庫、表、字段權(quán)限。本文使用FreeIPA+Ranger的方式，實現(xiàn)了企業(yè)級Hadoop大數(shù)據(jù)集群安全管理的整體化方案。限于個人水平有限，本文中的不當之處也在所難免，真誠希望請廣大同行不吝賜教，批評指正。在此，衷心感謝本文中借鑒的一切參考材料的作者。

[1]Apache Ranger ? [EB/OL]． 2017- 12- 15． http：//ranger．a(chǎn)pache．org/.

[2]sherlockyb．從kinit 到kerberos 安全機制[EB/OL]．2017-6-4．http：//www．jianshu．com/p/2039fe8c62a1.

[3]安裝ipa-server[EB/OL]．2012-7-16．http：//purplegrape．blog．51cto．com/1330104/932818.

[4]Apache Ranger 剖析：Hadoop 生態(tài)圈的安全管家[EB/OL]．2016- 8- 16． http：//blog． csdn． net/zhangjun2915/article/details/44830231.

[5]Dong． Hadoop Kerberos 安全機制介紹[EB/OL]． http：//dongxicheng．org/mapreduce/hadoop-kerberos-introduction/

[6]Redhat． LINUX DOMAIN IDENTITY, AUTHENTICATION,AND POLICY GUIDE[EB/OL]． https：//access．redhat．com/documentation/en - US/Red_Hat_Enterprise_Linux/7/html/Linux_Domain_Identity_Authentication_and_Policy_Guide/index．html.

[7]Tom White．Hadoop權(quán)威指南（第三版）[M]．北京：清華大學(xué)出版社，2014．