大數(shù)據(jù)平臺安全基線核查

引言：大數(shù)據(jù)平臺的實際應(yīng)用是中國移動大數(shù)據(jù)戰(zhàn)略的重要過程，由于它是一種“共享型”信息技術(shù)，在實際應(yīng)用過程中必須要有安全性保障，尤其杜絕數(shù)據(jù)安全問題及業(yè)務(wù)連續(xù)性問題。安全基線核查作為一種基本的安全強化手段，可避免由于配置問題帶來安全隱患。

近年來，中國移動在大數(shù)據(jù)需求上呈爆發(fā)式增長，原有經(jīng)分系統(tǒng)技術(shù)架構(gòu)與支撐模式亟待突破，需要構(gòu)建適應(yīng)“互聯(lián)網(wǎng)+”發(fā)展的、數(shù)據(jù)跨域整合的、架構(gòu)充分開放的以及技術(shù)先進的大數(shù)據(jù)平臺。目前南方基地已啟動了系統(tǒng)重構(gòu)，搭建了傳統(tǒng)數(shù)據(jù)庫、基于x86的MPP數(shù)據(jù)庫、Hadoop/Spark及流處理等多樣技術(shù)混搭的大數(shù)據(jù)平臺，準(zhǔn)備整合B域、O域和M域的大數(shù)據(jù)并進行統(tǒng)一規(guī)劃。

大數(shù)據(jù)平臺存在的安全隱患

數(shù)據(jù)量正在非線性增長，黑客對于數(shù)據(jù)的覬覦也由原來的破壞轉(zhuǎn)變成竊取和利用，病毒或黑客繞過傳統(tǒng)的防火墻、殺毒軟件和預(yù)警系統(tǒng)等防護設(shè)備直接進入數(shù)據(jù)層，一些高級持續(xù)性攻擊已經(jīng)難以用傳統(tǒng)安全防御措施檢測防護?！按髷?shù)據(jù)”的安全風(fēng)險主要可以分為以下三個方面：

第一，大規(guī)模數(shù)據(jù)分析和利用，高價值、高敏感的數(shù)據(jù)價值可能存儲于不安全的大數(shù)據(jù)平臺。第二，共享模式下的共用一套大數(shù)據(jù)平臺，對用戶隱私產(chǎn)生極大的威脅。第三，大數(shù)據(jù)平臺作為一種較新的IT架構(gòu)，其建設(shè)方式、網(wǎng)絡(luò)構(gòu)成、系統(tǒng)構(gòu)成、軟件特點、維護方式、監(jiān)控方式存在較多的新知識，就目前而言屬于實現(xiàn)難度較大、運行機制相對復(fù)雜的IT系統(tǒng)，相應(yīng)的安全問題一旦產(chǎn)生，容易造成較嚴(yán)重的安全事件。而中國移動大數(shù)據(jù)戰(zhàn)略作為長期戰(zhàn)略，必須在安全層面掃清障礙使大數(shù)據(jù)平臺順利建設(shè)使用。

大數(shù)據(jù)平臺安全基線核查的研究意義

大數(shù)據(jù)作為新技術(shù)正處于快速發(fā)展期，版本迭代更新快，特別是開源技術(shù)生態(tài)復(fù)雜，組件眾多。如何適應(yīng)大數(shù)據(jù)平臺的快速發(fā)展，保障其安全運行，是擺在所有安全維護人員面前的一道難題。

利用Hadoop平臺各組件自身的安全配置功能是成本低、見效快的安全防護手段。但由于專業(yè)人員較少，配置項眾多等原因，管理員很難全面掌握Hadoop所有組件的安全配置方法，在實際工作中，迫切需要對Hadoop各組件制定統(tǒng)一的檢查標(biāo)準(zhǔn)和加固建議，利用自動化、標(biāo)準(zhǔn)化的檢查系統(tǒng)對其進行全方位的檢查，保障大數(shù)據(jù)平臺的安全運行。

安全基線是信息系統(tǒng)及設(shè)備對應(yīng)自身需求、部署環(huán)境、特定時期應(yīng)滿足的基本安全要求合集。據(jù)權(quán)威機構(gòu)統(tǒng)計，目前80%以上的安全問題是由于IT設(shè)備和系統(tǒng)配置不當(dāng)造成的。安全合規(guī)管控產(chǎn)品的定位主要面向企業(yè)和政府用戶，是企業(yè)和政府用戶集中管理全網(wǎng)IT設(shè)備和系統(tǒng)的安全配置、及時準(zhǔn)確發(fā)現(xiàn)違反行業(yè)及企業(yè)內(nèi)部安全標(biāo)準(zhǔn)及規(guī)范的安全問題，保障企業(yè)和政府網(wǎng)絡(luò)及業(yè)務(wù)系統(tǒng)平穩(wěn)安全運營的重要安全管理系統(tǒng)，為企業(yè)徹底解決網(wǎng)內(nèi)因設(shè)備配置不當(dāng)導(dǎo)致的安全風(fēng)險提供強有力的技術(shù)支撐。

大數(shù)據(jù)平臺安全基線核查系統(tǒng)實現(xiàn)

本文以CDH大數(shù)據(jù)平臺為例進行描述。大數(shù)據(jù)平臺的安全基線檢查不僅包含CM和CDH各個組件，還包括通用設(shè)備，如操作系統(tǒng)、數(shù)據(jù)庫、網(wǎng)絡(luò)設(shè)備等。CDHHadoop安全配置檢查項需進行梳理和開發(fā)，檢查項分為身份認(rèn)證、授權(quán)、加密和日志等四類。通用設(shè)備的安全配置檢查復(fù)用已有檢查項，檢查項分為賬號口令和認(rèn)證授權(quán)、IP訪問控制、日志安全、其他安全配置四類。

1.大數(shù)據(jù)平臺安全配置基線識別與建立

圖1 大數(shù)據(jù)平臺安全基線核查系統(tǒng)網(wǎng)絡(luò)拓?fù)?/p>

安全配置基線即設(shè)備需要滿足的安全配置基本要求。根據(jù)梳理的檢查項，為每一個檢查項設(shè)定安全配置基線，最終建立該設(shè)備類型的安全配置基線集合。安全配置基線的來源主要有兩部分：設(shè)備廠家官方網(wǎng)站的安全配置建議和專業(yè)安全廠家的技術(shù)積累。

2.大數(shù)據(jù)平臺安全配置基線檢查項開發(fā)

檢查項的組成包括：檢查項描述信息、檢查腳本、解析規(guī)則、判定規(guī)則、基準(zhǔn)值、加固方案等主要部分。

檢查項描述信息用于描述檢查項分類、檢查項名稱、檢查項編號、實現(xiàn)功能、實現(xiàn)方法、判定標(biāo)準(zhǔn)等信息。

檢查腳本是檢查項的最重要組成部分，用于發(fā)送到被檢查設(shè)備上執(zhí)行，采集設(shè)備配置原始信息，用于進行后續(xù)判斷。

解析規(guī)則用于對檢查腳本執(zhí)行后采集到的設(shè)備原始信息進行進一步的解析，得到設(shè)備用于判斷配置是否合規(guī)的具體字段，記為result。

判定規(guī)則用于將設(shè)備上的實際配置信息與安全基線配置基準(zhǔn)值進行邏輯比較；基準(zhǔn)值是保證設(shè)備配置達到安全要求的最基本配置，記為benchmark。

加固方案是在發(fā)現(xiàn)被檢查設(shè)備配置不當(dāng)時指導(dǎo)設(shè)備管理員修改配置的詳細(xì)步驟。

（1）搭建開發(fā)環(huán)境

搭建用于檢查項的測試與驗證的大數(shù)據(jù)基礎(chǔ)平臺測試環(huán)境，其網(wǎng)絡(luò)拓?fù)鋱D如圖1所示。大數(shù)據(jù)平臺部署環(huán)境信息:操作系統(tǒng)信息：操作系統(tǒng)統(tǒng)一采用Redhat 7.0。數(shù)據(jù)庫信息：數(shù)據(jù)庫采用MySQL5.6.24。CDH 5.3。

安全配置基線檢查項編寫環(huán)境信息:安全基線核查系統(tǒng)：大數(shù)據(jù)平臺的安全基線檢查項需要在基線核查系統(tǒng)（Baseline Management System）中進行擴展。

（2）檢查腳本編寫

檢查腳本用于在Hadoop各組件部署的服務(wù)器上執(zhí)行，獲取配置回顯信息，用于后續(xù)對回顯進行解析。根據(jù)調(diào)研發(fā)現(xiàn)，檢查腳本采用shell編寫，腳本主要內(nèi)容包括：腳本分類：腳本執(zhí)行的操作系統(tǒng)類型。由于當(dāng)前采用Redhat7.0作為服務(wù)器操作系統(tǒng)，所以腳本默認(rèn)按照Redhat7.0編寫，但考慮到其他大數(shù)據(jù)平臺可能采用其他發(fā)行版操作系統(tǒng)，所以增加腳本分類是必要的。

腳本名稱：腳本名稱應(yīng)能夠反映腳本的用途和適用范圍，建議采用“組件名稱+腳本用途”的方式進行命名，如“HDFS-查看HDFS配置文件信息”。腳本內(nèi)容：承載shell腳本的實際內(nèi)容，由shell語言命令行組成。腳本描述：詳細(xì)描述腳本的用途、編寫過程、執(zhí)行步驟等信息。

（3）解析規(guī)則

解析規(guī)則用于對腳本執(zhí)行的回顯進行進一步解析，解析方式有兩種：正則表達式解析：使用正則表達式進行關(guān)鍵字匹配，用于解析簡單回顯。程序類解析：使用程序?qū)仫@結(jié)果進行結(jié)構(gòu)化處理，用于解析復(fù)雜回顯。

（4）判定規(guī)則和基準(zhǔn)值

經(jīng)過腳本執(zhí)行、結(jié)果解析后得到的關(guān)于設(shè)備配置信息的關(guān)鍵字集合是result結(jié)果，基準(zhǔn)值是滿足配置基線要求的關(guān)鍵字集合，稱為benchmark。其中，result可以為空，benchmark不能為空。判定規(guī)則用于result和benchmark的比較，常用的判定規(guī)則如表1所示。

（5）編寫加固方案

加固方案用于指導(dǎo)對檢查不合規(guī)的項進行合理配置，是其結(jié)果滿足安全配置基線要求。加固方案根據(jù)操作的類型可以分為四類：加強管理、系統(tǒng)改造、增加手段、更改配置等。根據(jù)調(diào)研與研究結(jié)果，Hadoop主要通過更改配置的手段完成安全加固操作。加固方案的編寫需要十分詳細(xì)，確保管理員按照此方案操作，即可保證該項檢查合規(guī)。

（6）檢查項驗證

檢查項編寫完成后，需要進行驗證，驗證分為兩部分：測試環(huán)境驗證：在本地搭建的大數(shù)據(jù)平臺測試環(huán)境中進行在線檢查，驗證檢查項和加固方案的正確性。生產(chǎn)環(huán)境驗證：在大數(shù)據(jù)平臺生產(chǎn)環(huán)境中進行在線檢查，驗證檢查項和加固方案的正確性。

結(jié)束語

隨著大數(shù)據(jù)應(yīng)用的發(fā)展，大數(shù)據(jù)平臺的安全防護經(jīng)歷了從無到有的發(fā)展過程，但是目前防護能力仍然薄弱。安全配置基線檢查可以喚醒大數(shù)據(jù)平臺自身的安全機能，在不增加外圍防護設(shè)備的下切實提升大數(shù)據(jù)平臺安全運行水平，適應(yīng)公司在精細(xì)化管理、精準(zhǔn)營銷、產(chǎn)品創(chuàng)新等方面的要求。