訪問日志解析與敏感數(shù)據(jù)安全

數(shù)據(jù)的訪問、流轉(zhuǎn)途徑很多，當(dāng)前針對(duì)每種途徑的監(jiān)控及防護(hù)手段基本成熟，出現(xiàn)了諸如4A、字符堡壘、文件堡壘、桌面終端管控系統(tǒng)、DLP、入侵防護(hù)等安全設(shè)備。雖然每類技術(shù)大都能監(jiān)控、記錄數(shù)據(jù)的訪問操作過程，發(fā)揮自己應(yīng)有的作用，但大部分不具備甄別對(duì)敏感數(shù)據(jù)操作行為，更不能全面分析、呈現(xiàn)敏感數(shù)據(jù)流轉(zhuǎn)過程。

針對(duì)當(dāng)前大數(shù)據(jù)平臺(tái)下的訪問日志解析與敏感數(shù)據(jù)流轉(zhuǎn)視圖展現(xiàn)能力的不足，本文提出一整套解決方案：首先采集大數(shù)據(jù)組件以及數(shù)據(jù)訪問操作行為日志，結(jié)合敏感數(shù)據(jù)分類分級(jí)、日志格式化基礎(chǔ)信息等進(jìn)行析取和格式化，并標(biāo)識(shí)敏感數(shù)據(jù)訪問。然后橫向關(guān)聯(lián)所有敏感數(shù)據(jù)訪問操作類日志，綜合分析敏感數(shù)據(jù)訪問、流轉(zhuǎn)途徑。最后通過可視化工具，繪制出敏感數(shù)據(jù)訪問操作流轉(zhuǎn)視圖。

敏感數(shù)據(jù)分類、分級(jí)定義

對(duì)敏感數(shù)據(jù)進(jìn)行分類分級(jí)定義，根據(jù)數(shù)據(jù)敏感程度采取與數(shù)據(jù)安全風(fēng)險(xiǎn)相適應(yīng)的管理措施，為敏感數(shù)據(jù)訪問行為識(shí)別提供依據(jù)。

1.敏感數(shù)據(jù)分類

敏感數(shù)據(jù)分類包括：用戶身份和鑒權(quán)信息、用戶數(shù)據(jù)及服務(wù)內(nèi)容信息、用戶服務(wù)相關(guān)信息三大類，每項(xiàng)大類又可分為多項(xiàng)子類。

用戶身份和鑒權(quán)子類信息包括：自然人身份標(biāo)識(shí)、網(wǎng)絡(luò)身份標(biāo)識(shí)、用戶基本資料、實(shí)體身份證明、用戶私密資料、用戶密碼及關(guān)聯(lián)信息。

用戶數(shù)據(jù)及服務(wù)內(nèi)容子類信息包括：服務(wù)內(nèi)容數(shù)據(jù)、聯(lián)系人信息。

用戶服務(wù)相關(guān)子類信息包括：業(yè)務(wù)訂購(gòu)關(guān)系、服務(wù)記錄和日志、消費(fèi)信息和賬單、位置數(shù)據(jù)、違規(guī)記錄數(shù)據(jù)、終端設(shè)備標(biāo)識(shí)、終端設(shè)備資料。

2.敏感數(shù)據(jù)分級(jí)

敏感數(shù)據(jù)分為四個(gè)級(jí)別，分別為極敏感級(jí)、敏感級(jí)、較敏感級(jí)、低敏感級(jí)。

極敏感級(jí)數(shù)據(jù)分類包括：實(shí)體身份證明、用戶私密資料、用戶密碼及關(guān)聯(lián)信息。

敏感級(jí)數(shù)據(jù)分類包括：自然人身份標(biāo)識(shí)、網(wǎng)絡(luò)身份標(biāo)識(shí)、用戶基本資料、服務(wù)內(nèi)容數(shù)據(jù)、聯(lián)系人信息、服務(wù)記錄和日志、位置數(shù)據(jù)。

較敏感級(jí)數(shù)據(jù)分類包括：消費(fèi)信息和賬單、終端設(shè)備標(biāo)識(shí)、終端設(shè)備資料。

低敏感級(jí)數(shù)據(jù)分類包括：業(yè)務(wù)訂購(gòu)關(guān)系、違規(guī)記錄數(shù)據(jù)。

日志采集、解析、處理及敏感數(shù)據(jù)操作標(biāo)識(shí)

采集大數(shù)據(jù)平臺(tái)組件、平臺(tái)訪問控制設(shè)備、應(yīng)用程序接口、網(wǎng)絡(luò)設(shè)備、安全設(shè)備等日志信息，通過標(biāo)準(zhǔn)化引擎對(duì)日志屬性進(jìn)行解析、格式化，輸出統(tǒng)一格式的安全日志，并對(duì)標(biāo)準(zhǔn)化后的日志進(jìn)行過濾、歸并等降噪處理，結(jié)合敏感數(shù)據(jù)分類、分級(jí)信息，通過正則表達(dá)式等模式匹配方法識(shí)別并標(biāo)識(shí)敏感數(shù)據(jù)操作類安全日志，為敏感數(shù)據(jù)流轉(zhuǎn)過程分析提供數(shù)據(jù)支撐及依據(jù)。

日志采集

數(shù)據(jù)采集范圍廣、采集方式豐富、采集能力強(qiáng)，確保采集數(shù)據(jù)的全面性、及時(shí)性及準(zhǔn)確性。

1.采集范圍

采集范圍覆蓋敏感數(shù)據(jù)生成、傳輸、存儲(chǔ)、使用、共享、銷毀各個(gè)環(huán)節(jié)，包括：

大數(shù)據(jù)平臺(tái)組件（HDFS、HBase、Hive、Sqoop）；

訪問控制設(shè)備（4A、字符堡壘、FTP堡壘，桌面終端管控系統(tǒng)）；

安全設(shè)備（網(wǎng)絡(luò)DLP、終端DLP、入侵防護(hù)、網(wǎng)絡(luò)嗅探、數(shù)據(jù)庫嗅探）；

網(wǎng)絡(luò)設(shè)備（交換機(jī)、路由器）；

主機(jī)（各類操作系統(tǒng)）；

數(shù)據(jù)庫（各類關(guān)系型數(shù)據(jù)庫）；

中間件（各類中間件系統(tǒng)）。

2.采集方式

采集方式包括被動(dòng)及主動(dòng)兩種方式，被動(dòng)采集支持SYSLOG、TRAP兩種方式，可實(shí)時(shí)接收日志信息；

主動(dòng)方式支持FTP、SFTP、JDBC、webservice 協(xié)議，可周期、準(zhǔn)實(shí)時(shí)采集設(shè)備日志信息。

日志解析

結(jié)合日志知識(shí)庫信息，通過日志標(biāo)準(zhǔn)化引擎對(duì)設(shè)備原始日志信息進(jìn)行解析和抽取，根據(jù)日志分類識(shí)別表達(dá)式識(shí)別出原始日志對(duì)應(yīng)的安全日志分類，并按該分類所適用的屬性字段析取相應(yīng)的值。然后由標(biāo)準(zhǔn)化引擎根據(jù)特征值公式進(jìn)行計(jì)算、精準(zhǔn)匹配出安全日志，最終輸出的安全日志信息包括日志類型、操作對(duì)象、操作命令、賬號(hào)、源 IP、目的 IP、報(bào)送設(shè)備IP、日志內(nèi)容、日志級(jí)別、發(fā)生時(shí)間等相關(guān)屬性。

1.日志分類識(shí)別

通過正則表達(dá)式規(guī)則匹配算法的一系列特殊字符構(gòu)建日志分類的匹配模式，然后依據(jù)匹配模式對(duì)原始日志進(jìn)行匹配，匹配成功后析取正則表達(dá)式中的分組變量或特殊變量值，并將屬性變量及其值以key-vale形式緩存在map里，通過日志分類識(shí)別表達(dá)式及其已經(jīng)析取出的變量值計(jì)算出所屬的日志分類。

原始日志樣例：<86>sshd[12915]: Accepted password for root from 186.31.27.53 port 4991 ssh2

日志分類識(shí)別規(guī)則樣例：<(d+)>([^;]+):s*(Accepted password) fors+(w+)s*froms*([w|W]+)s+ports+d+s+(w+)

日志分類識(shí)別規(guī)則樣例：if {原始數(shù)據(jù)析取變量:主賬號(hào)}="" then {BM數(shù)據(jù)庫事件:BM數(shù)據(jù)庫繞行操作事件} else {BM數(shù)據(jù)庫事件:BM數(shù)據(jù)庫堡壘操作事件}

2.安全日志識(shí)別

特征值公式是由解析的日志基礎(chǔ)屬性變量、邏輯關(guān)系符等邏輯表達(dá)式組成，最終通過內(nèi)部表達(dá)式規(guī)則引擎算出結(jié)果。

特征值公式樣例：如果 {日志屬性:日志ID}=527并且{日志屬性:源地址}<>'128.12.17.10'則'繞行登錄' 否則 {日志屬性:日志ID}。

安全日志分類特征值樣例 ：25。

日志過濾、歸并，降噪處理

對(duì)不具備分析意義的安全日志進(jìn)行過濾，減少不可信、不重要的安全日志，析取出真實(shí)有價(jià)值的日志。對(duì)重復(fù)發(fā)生或大部分屬性相同的安全日志，在不影響后續(xù)事件分析的前提下對(duì)個(gè)體進(jìn)行合并，減少事件總數(shù)量。

安全日志過濾、歸并規(guī)則以日志類型、源地址IP、目的地址IP、日志發(fā)生時(shí)間、操作命令等日志屬性值作為條件參數(shù)，支持等于、不等于、大于、小于、包含、LIKE、IN等數(shù)學(xué)函數(shù)表達(dá)式，如：{事件屬性:目的地址} like'192.132.12.%' and {日志 屬性:操作命令} in'rm,vi'。

識(shí)別并標(biāo)識(shí)敏感數(shù)據(jù)操作日志

結(jié)合敏感數(shù)據(jù)分類、分級(jí)定義的敏感數(shù)據(jù)特征屬性，利用正則表達(dá)式等模式匹配方法對(duì)安全日志相關(guān)屬性如操作對(duì)象、操作內(nèi)容等進(jìn)行匹配，匹配成功，則標(biāo)識(shí)該安全日志為敏感數(shù)據(jù)操作日志。

敏感數(shù)據(jù)流轉(zhuǎn)路徑分析

基于以上步驟分析出的不同設(shè)備產(chǎn)生的敏感數(shù)據(jù)操作類標(biāo)準(zhǔn)日志，通過對(duì)日志相關(guān)屬性如日志類型、操作對(duì)象、操作命令、操作內(nèi)容、時(shí)間、源IP、目的IP等進(jìn)行多維、綜合關(guān)聯(lián)分析，輸出敏感數(shù)據(jù)在各流轉(zhuǎn)節(jié)點(diǎn)之間的流轉(zhuǎn)關(guān)系。

1.收集敏感數(shù)據(jù)源信息，確認(rèn)敏感數(shù)據(jù)傳播擴(kuò)散起始點(diǎn)，收集的數(shù)據(jù)源信息包括敏感數(shù)據(jù)源設(shè)備類型、數(shù)據(jù)源IP、訪問方式、訪問策略、開放的服務(wù)等。

百余年來中國(guó)的現(xiàn)代化進(jìn)程中，“三農(nóng)問題”一直困擾著中國(guó)人。其中，鄉(xiāng)村教育的困窘，從一個(gè)側(cè)面折射了近代中國(guó)農(nóng)業(yè)、農(nóng)村、農(nóng)民的困苦和無奈。近年來，中國(guó)近代教育史研究專著和論文頗多，但相對(duì)而言，對(duì)近代中國(guó)鄉(xiāng)村教育實(shí)際狀況的探討仍顯薄弱，本文擬作補(bǔ)充。①

2.獲取所有敏感數(shù)據(jù)對(duì)象，保存至敏感數(shù)據(jù)對(duì)象列表SL中。敏感數(shù)據(jù)對(duì)象信息包括敏感數(shù)據(jù)源IP、敏感數(shù)據(jù)名稱、敏感數(shù)據(jù)形態(tài)、敏感數(shù)據(jù)存儲(chǔ)路徑、敏感數(shù)據(jù)分類、敏感級(jí)別、敏感數(shù)據(jù)生成時(shí)間等。

3.遍歷敏感數(shù)據(jù)對(duì)象列表SL中的對(duì)象，找出敏感數(shù)據(jù)對(duì)象流轉(zhuǎn)的第一級(jí)節(jié)點(diǎn)。以對(duì)象屬性敏感數(shù)據(jù)源IP、對(duì)象名稱、數(shù)據(jù)形態(tài)、存儲(chǔ)路徑為條件，與有敏感數(shù)據(jù)操作標(biāo)識(shí)的標(biāo)準(zhǔn)化日志相關(guān)屬性（如：源IP、操作對(duì)象名稱、操作內(nèi)容）進(jìn)行匹配，匹配成功，則根據(jù)標(biāo)準(zhǔn)化日志相關(guān)屬性信息生成過程敏感數(shù)據(jù)對(duì)象，并存儲(chǔ)在過程敏感數(shù)據(jù)對(duì)象列表PL中，同時(shí)生成敏感數(shù)據(jù)訪問或流轉(zhuǎn)路徑節(jié)點(diǎn)對(duì)象，存儲(chǔ)在流轉(zhuǎn)路徑節(jié)點(diǎn)對(duì)象列表TL中。

重復(fù)以上步驟直至遍歷完SL中的所有對(duì)象。流轉(zhuǎn)路徑對(duì)象信息包括上一級(jí)節(jié)點(diǎn)IP、當(dāng)前節(jié)點(diǎn)IP、流轉(zhuǎn)方式、流轉(zhuǎn)時(shí)間、敏感數(shù)據(jù)名稱、賬號(hào)。

4.遍歷過程敏感數(shù)據(jù)對(duì)象列表PL中的對(duì)象，找出該敏感數(shù)據(jù)對(duì)象訪問、流轉(zhuǎn)的下一級(jí)節(jié)點(diǎn)。以該過程敏感對(duì)象屬性如敏感數(shù)據(jù)源IP、對(duì)象名稱、數(shù)據(jù)形態(tài)、存儲(chǔ)路徑為條件，與有敏感數(shù)據(jù)操作標(biāo)識(shí)的標(biāo)準(zhǔn)化日志相關(guān)屬性（如：源IP、操作對(duì)象名稱、操作內(nèi)容）進(jìn)行匹配，匹配成功，則將該對(duì)象移除PL列表，根據(jù)匹配的標(biāo)準(zhǔn)化日志相關(guān)屬性信息生成過程敏感數(shù)據(jù)對(duì)象，并存儲(chǔ)在過程敏感數(shù)據(jù)對(duì)象列PL表中，同時(shí)生成敏感數(shù)據(jù)訪問或流轉(zhuǎn)路徑對(duì)象，存儲(chǔ)在流轉(zhuǎn)路徑對(duì)象列表TL中。匹配失敗，則將該對(duì)象移除PL列表。重復(fù)以上步驟直至遍歷完P(guān)L中的所有對(duì)象。

視圖生成及展現(xiàn)

根據(jù)輸出的敏感數(shù)流轉(zhuǎn)關(guān)系，利用可視化工具生成敏感數(shù)據(jù)流轉(zhuǎn)視圖。

敏感數(shù)據(jù)流轉(zhuǎn)視圖包括兩個(gè)要素，分別為流轉(zhuǎn)節(jié)點(diǎn)和節(jié)點(diǎn)之間有方向流轉(zhuǎn)路徑。流轉(zhuǎn)節(jié)點(diǎn)信息包括：節(jié)點(diǎn)IP、敏感數(shù)據(jù)名稱、敏感數(shù)據(jù)級(jí)別等。流轉(zhuǎn)路徑信息包括：流轉(zhuǎn)時(shí)間、流轉(zhuǎn)方式、操作賬號(hào)、操作命令。

1.首節(jié)點(diǎn)及一級(jí)流轉(zhuǎn)節(jié)點(diǎn)信息生成。以敏感數(shù)據(jù)源對(duì)象部分屬性值如敏感數(shù)據(jù)源IP、敏感數(shù)據(jù)名稱等為參數(shù)，遍歷查找流轉(zhuǎn)路徑節(jié)點(diǎn)對(duì)象列表所有節(jié)點(diǎn)對(duì)象數(shù)據(jù)，查找條件：敏感數(shù)據(jù)對(duì)象.敏感數(shù)據(jù)源IP=流轉(zhuǎn)路徑節(jié)點(diǎn)對(duì)象.上一級(jí)節(jié)點(diǎn)IP并且 兩個(gè)對(duì)象敏感數(shù)據(jù)名稱屬性值相等。匹配成功，則以當(dāng)前敏感數(shù)據(jù)對(duì)象屬性值為準(zhǔn)生成首節(jié)點(diǎn)信息，同時(shí)以所有與之匹配成功的流轉(zhuǎn)路徑節(jié)點(diǎn)對(duì)象屬性值為準(zhǔn)生成所有一級(jí)流轉(zhuǎn)節(jié)點(diǎn)信息。

2.更多流轉(zhuǎn)節(jié)點(diǎn)信息生成。以流轉(zhuǎn)路徑節(jié)點(diǎn)對(duì)象A.當(dāng)前節(jié)點(diǎn)IP=流轉(zhuǎn)路徑節(jié)點(diǎn)對(duì)象B.上一節(jié)點(diǎn)IP且兩個(gè)對(duì)象的敏感數(shù)據(jù)名稱相同為條件進(jìn)行匹配，匹配成功，即表示敏感數(shù)據(jù)由A流轉(zhuǎn)到B，生成相應(yīng)流轉(zhuǎn)節(jié)點(diǎn)信息。同理，遍歷分析所有流轉(zhuǎn)路徑節(jié)點(diǎn)對(duì)象，直至生成最后一個(gè)流轉(zhuǎn)節(jié)點(diǎn)信息。

3.通過可視化工具，利用敏感數(shù)據(jù)首節(jié)點(diǎn)、中間流轉(zhuǎn)節(jié)點(diǎn)、最后一個(gè)流轉(zhuǎn)節(jié)點(diǎn)之間的縱橫向關(guān)系，繪制出敏感數(shù)據(jù)流轉(zhuǎn)視圖。

本方案具有如下幾方面優(yōu)點(diǎn)：

用于分析的數(shù)據(jù)源廣，確保發(fā)現(xiàn)任何訪問、操作敏感數(shù)據(jù)的蛛絲馬跡。參與分析的數(shù)據(jù)源包括大數(shù)據(jù)平臺(tái)組件、訪問控制設(shè)備、安全設(shè)備、網(wǎng)絡(luò)設(shè)備、主機(jī)、數(shù)據(jù)庫等。

采用全量、多層次綜合分析方法，全面、準(zhǔn)確的發(fā)現(xiàn)敏感數(shù)據(jù)所有訪問流轉(zhuǎn)路徑，并利用可視化工具，生成敏感數(shù)據(jù)訪問視圖，清晰再現(xiàn)敏感數(shù)據(jù)范圍流轉(zhuǎn)軌跡。

充分利用現(xiàn)有網(wǎng)絡(luò)環(huán)境中網(wǎng)絡(luò)設(shè)備、安全設(shè)備的功能及價(jià)值，從而能更好的降低企業(yè)運(yùn)營(yíng)成本。