基于測(cè)試數(shù)據(jù)脫敏技術(shù)框架的分析

黃萍

摘 要：在對(duì)測(cè)試數(shù)據(jù)脫敏技術(shù)框架分類展開(kāi)分析基礎(chǔ)上，本文結(jié)合電力測(cè)試數(shù)據(jù)脫敏需求提出了相應(yīng)的脫敏技術(shù)框架建構(gòu)思路和方法，并對(duì)框架部署和數(shù)據(jù)脫敏流程進(jìn)行了探討，希望能夠?yàn)殡娏π袠I(yè)數(shù)據(jù)脫敏提供參考。

關(guān)鍵詞：測(cè)試數(shù)據(jù);脫敏技術(shù);元數(shù)據(jù)管理

中圖分類號(hào)：TP309;F832.33 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1671-2064（2019）04-0056-02

0 引言

在信息時(shí)代，企業(yè)數(shù)據(jù)資源成為了推動(dòng)業(yè)務(wù)發(fā)展創(chuàng)新的重要?jiǎng)恿?。而電力企業(yè)擁有大量涉及核心商業(yè)機(jī)密和客戶隱私的敏感數(shù)據(jù)信息，還要加強(qiáng)數(shù)據(jù)保護(hù)管理，以免因數(shù)據(jù)泄露承擔(dān)過(guò)大損失。因此在電力測(cè)試系統(tǒng)中，需要完成測(cè)試數(shù)據(jù)脫敏技術(shù)框架的構(gòu)建，實(shí)現(xiàn)數(shù)據(jù)脫敏處理，保證電力數(shù)據(jù)得到安全管理。

1 測(cè)試數(shù)據(jù)脫敏技術(shù)框架分類

所謂的數(shù)據(jù)脫敏，又被稱之為數(shù)據(jù)漂白、數(shù)據(jù)變形或去隱私化，需要采用既定脫敏方法實(shí)現(xiàn)數(shù)據(jù)處理，在符合規(guī)則前提下完成數(shù)據(jù)改造，保證數(shù)據(jù)能夠在開(kāi)發(fā)、測(cè)試等環(huán)節(jié)中得到安全使用，同時(shí)保證數(shù)據(jù)集的真實(shí)性[1]。針對(duì)測(cè)試技術(shù)進(jìn)行脫敏處理，需要將敏感性原始數(shù)據(jù)轉(zhuǎn)換為不敏感的脫敏數(shù)據(jù)。而脫敏技術(shù)框架對(duì)具體脫敏處理底層技術(shù)進(jìn)行了承載，將決定數(shù)據(jù)脫敏效果。在脫敏技術(shù)框架下，底層技術(shù)將被實(shí)例化應(yīng)用，使框架抽象設(shè)計(jì)得到最大限度利用?，F(xiàn)階段，針對(duì)測(cè)試數(shù)據(jù)，主要應(yīng)用的脫敏技術(shù)框架有兩種，一種是基于數(shù)據(jù)文件的脫敏框架ETL，另一種則是基于數(shù)據(jù)庫(kù)表的脫敏框架。其中，ETL由抽取（Extract）、變形（Transform）、裝載（Load）三個(gè)環(huán)節(jié)構(gòu)成，具有較高通用性，在IBM OPTIM等主流商用工具中得到了應(yīng)用，能夠從源數(shù)據(jù)表中完成數(shù)據(jù)抽取，得到特定格式原始數(shù)據(jù)文件。無(wú)論是否進(jìn)行部分量數(shù)據(jù)抽取，都能使數(shù)據(jù)間關(guān)聯(lián)關(guān)系的完整性得到保證。對(duì)數(shù)據(jù)文件進(jìn)行遍歷，利用外掛脫敏出口函數(shù)實(shí)現(xiàn)數(shù)據(jù)變形處理，可以得到特定格式的脫敏數(shù)據(jù)文件，在目標(biāo)數(shù)據(jù)庫(kù)中實(shí)現(xiàn)裝載[2]。采用基于數(shù)據(jù)庫(kù)表的脫敏框架，可以省略從數(shù)據(jù)庫(kù)表抽取數(shù)據(jù)的環(huán)節(jié)，能夠直接進(jìn)行源數(shù)據(jù)變形。因此在該框架下，數(shù)據(jù)庫(kù)表為處理對(duì)象，通過(guò)逐條讀取數(shù)據(jù)記錄，按照不同變形規(guī)則進(jìn)行處理，然后在源數(shù)據(jù)庫(kù)標(biāo)中對(duì)記錄進(jìn)行更新，可以得到脫敏數(shù)據(jù)。在數(shù)據(jù)測(cè)試時(shí)，可以根據(jù)需求從源數(shù)據(jù)庫(kù)表中到處脫敏數(shù)據(jù)文件，在對(duì)應(yīng)目標(biāo)測(cè)試環(huán)境中裝載。

2 測(cè)試數(shù)據(jù)脫敏技術(shù)框架建構(gòu)

2.1 電力數(shù)據(jù)脫敏需求分析

在智能電網(wǎng)建設(shè)得到不斷推進(jìn)的背景下，大量敏感數(shù)據(jù)在電力行業(yè)得到了積累，給開(kāi)發(fā)測(cè)試、業(yè)務(wù)分析等工作的開(kāi)展帶來(lái)了困難。為加強(qiáng)數(shù)據(jù)安全管理，電力企業(yè)完成了信息資產(chǎn)分類分級(jí)保護(hù)機(jī)制的建立，用于加強(qiáng)敏感數(shù)據(jù)測(cè)試、傳輸和存儲(chǔ)管理。在電力數(shù)據(jù)測(cè)試環(huán)節(jié)，為防止敏感數(shù)據(jù)泄露，要求完成數(shù)據(jù)脫敏處理。因?yàn)殡娏ο到y(tǒng)中測(cè)試環(huán)境資源有限，無(wú)法對(duì)生產(chǎn)環(huán)境數(shù)據(jù)量進(jìn)行完整模擬，所以只能實(shí)現(xiàn)部分功能性測(cè)試部署，難以實(shí)現(xiàn)性能層面測(cè)試。受數(shù)據(jù)質(zhì)量影響，生產(chǎn)環(huán)境會(huì)出現(xiàn)運(yùn)行緩慢問(wèn)題。盡管能夠通過(guò)資源擴(kuò)充方式解決環(huán)境資源問(wèn)題，但是想要實(shí)現(xiàn)全量數(shù)據(jù)恢復(fù)，還要提高環(huán)境安全防護(hù)級(jí)別[3]。針對(duì)生產(chǎn)環(huán)境中的業(yè)務(wù)數(shù)據(jù)，不允許在測(cè)試環(huán)境中恢復(fù)，因此需要采用數(shù)據(jù)脫敏技術(shù)手段實(shí)現(xiàn)涉密數(shù)據(jù)脫敏處理，然后才能在測(cè)試環(huán)境中恢復(fù)生產(chǎn)環(huán)境數(shù)據(jù)。按照要求，電力測(cè)試數(shù)據(jù)脫敏需要完成電力生產(chǎn)敏感數(shù)據(jù)脫敏，利用標(biāo)準(zhǔn)化建模和自動(dòng)化流程完成測(cè)試數(shù)據(jù)脫敏，保證數(shù)據(jù)安全性?，F(xiàn)階段，由于缺乏系統(tǒng)性脫敏技術(shù)方案，只在少數(shù)系統(tǒng)中部署了數(shù)據(jù)脫敏模塊，在數(shù)據(jù)脫敏方面缺乏專業(yè)化工具和管理手段。針對(duì)高敏感數(shù)據(jù)，無(wú)法實(shí)現(xiàn)自動(dòng)化的數(shù)據(jù)脫敏管理，在測(cè)試數(shù)據(jù)漂白方面無(wú)法對(duì)敏感數(shù)據(jù)進(jìn)行有效屏蔽，因此難以滿足電力數(shù)據(jù)脫敏需求。

2.2 脫敏技術(shù)框架建構(gòu)思路

結(jié)合電力測(cè)試數(shù)據(jù)脫敏需求可知，需要按照類型完成數(shù)據(jù)歸類處理，實(shí)現(xiàn)不同數(shù)據(jù)源類型的脫敏。從底層架構(gòu)上來(lái)看，采用ETL脫敏得到的數(shù)據(jù)形式為文件，數(shù)據(jù)落地次數(shù)在1到2次之間，與數(shù)據(jù)源平臺(tái)耦合松散，對(duì)源數(shù)據(jù)無(wú)影響，但是對(duì)存儲(chǔ)空間要求較高[4]。采用基于數(shù)據(jù)庫(kù)表的脫敏技術(shù)框架，數(shù)據(jù)落地次數(shù)在0到1之間，與平臺(tái)耦合緊密，以數(shù)據(jù)記錄作為異常處理最小顆粒度，會(huì)給源數(shù)據(jù)帶來(lái)一定影響，但是無(wú)過(guò)高存儲(chǔ)空間要求。因此在實(shí)際進(jìn)行脫敏技術(shù)框架構(gòu)建時(shí)，可以在底層架構(gòu)上實(shí)現(xiàn)兩種技術(shù)框架整合，達(dá)到優(yōu)勢(shì)互補(bǔ)的目的，提高測(cè)試數(shù)據(jù)脫敏自動(dòng)化水平，使框架能夠?qū)Σ煌撁粜枨筮M(jìn)行靈活應(yīng)對(duì)。建立該框架，電力測(cè)試系統(tǒng)可以根據(jù)不同目標(biāo)完成不同大小測(cè)試數(shù)據(jù)子集的建立，從而使數(shù)據(jù)存儲(chǔ)空間得到減小，同時(shí)使數(shù)據(jù)脫敏效率得到提高。在數(shù)據(jù)抽取、脫敏過(guò)程中，數(shù)據(jù)的業(yè)務(wù)關(guān)聯(lián)不會(huì)遭到破壞。針對(duì)不同數(shù)據(jù)庫(kù)中的同類數(shù)據(jù)，可以實(shí)現(xiàn)歸檔處理，經(jīng)過(guò)脫敏后可以保證數(shù)據(jù)一致性。

2.3 脫敏技術(shù)框架建構(gòu)方法

在實(shí)際建構(gòu)脫敏技術(shù)框架時(shí)，可以采用基于BS管理模式的多層框架結(jié)構(gòu)，為測(cè)試數(shù)據(jù)提供統(tǒng)一元數(shù)據(jù)管理，為元數(shù)據(jù)的裝載、使用、維護(hù)等提供支持，增強(qiáng)脫敏工具的可擴(kuò)展性，為多個(gè)數(shù)據(jù)庫(kù)數(shù)據(jù)脫敏提供便利。采用元數(shù)據(jù)驅(qū)動(dòng)法，可以進(jìn)行小容量子集的創(chuàng)建，使數(shù)據(jù)庫(kù)工作效率得到提高。從框架結(jié)構(gòu)上來(lái)看，最底層為數(shù)據(jù)存儲(chǔ)層，向上依次為服務(wù)引擎層、業(yè)務(wù)引擎層、流程管理層、邏輯界面層，最上層為物理界面層。實(shí)現(xiàn)各層分離設(shè)計(jì)，能夠按照需求實(shí)現(xiàn)容量擴(kuò)展，對(duì)數(shù)據(jù)進(jìn)行集群化處理，使數(shù)據(jù)處理性能得到保證。針對(duì)海量電力測(cè)試數(shù)據(jù)，采取該架構(gòu)可以完成統(tǒng)一數(shù)據(jù)脫敏管理平臺(tái)的建設(shè)，為各種業(yè)務(wù)的開(kāi)展提供服務(wù)。從總體來(lái)看，數(shù)據(jù)存儲(chǔ)層需要面向文件內(nèi)容管理和元數(shù)據(jù)庫(kù)，實(shí)現(xiàn)各業(yè)務(wù)系統(tǒng)數(shù)據(jù)分離式對(duì)接。利用服務(wù)引擎層，可以實(shí)現(xiàn)數(shù)據(jù)存取、格式轉(zhuǎn)換、緩存等操作，并實(shí)現(xiàn)適配器控制，使數(shù)據(jù)得到預(yù)處理，為后續(xù)數(shù)據(jù)脫敏奠定基礎(chǔ)。業(yè)務(wù)引擎層能夠?qū)θ罩?、元?shù)據(jù)等進(jìn)行控制，并且提供歸檔處理和脫敏處理引擎，能夠完成數(shù)據(jù)脫敏。按照脫敏規(guī)則，可以結(jié)合需求實(shí)現(xiàn)脫敏技術(shù)的應(yīng)用和更新。實(shí)際采用的脫敏技術(shù)包含歸零、屏蔽、移動(dòng)、加解密、代替等，并且設(shè)置有自定義脫敏算法。流程管理層可以實(shí)現(xiàn)歸檔模型、規(guī)則的定義，并且提供歸檔模型樹(shù)和列表，按照需要對(duì)脫敏得到的數(shù)據(jù)進(jìn)行歸檔處理。邏輯界面層可以生成動(dòng)態(tài)界面，提供個(gè)性化服務(wù)，并對(duì)用戶請(qǐng)求進(jìn)行處理。采用技術(shù)框架進(jìn)行數(shù)據(jù)脫敏，能夠?yàn)槊舾行詫Ｓ袛?shù)據(jù)提供保護(hù)。通過(guò)屏蔽脫密，能夠得到高度仿真數(shù)據(jù)，并確保數(shù)據(jù)無(wú)法識(shí)別。在框架應(yīng)用過(guò)程中，能夠從備份數(shù)據(jù)庫(kù)和電力生產(chǎn)系統(tǒng)中進(jìn)行原始數(shù)據(jù)直接抽取，并且采用統(tǒng)一接口讀取數(shù)據(jù)，利用核心模塊實(shí)現(xiàn)數(shù)據(jù)脫敏算法調(diào)用，按照測(cè)試數(shù)據(jù)脫敏需求抽取子集。最后，按照需求進(jìn)行脫敏數(shù)據(jù)歸檔，可以在目標(biāo)測(cè)試環(huán)境中裝載數(shù)據(jù)。采用該種技術(shù)框架，能夠完成通用脫敏函數(shù)的配置，為各種脫敏算法的實(shí)現(xiàn)提供支持。通過(guò)對(duì)各種算法進(jìn)行模塊化組合，可以完成數(shù)據(jù)高效處理。

3 測(cè)試數(shù)據(jù)脫敏技術(shù)框架實(shí)現(xiàn)

3.1 框架實(shí)踐部署

在框架實(shí)踐部署時(shí)，可以結(jié)合電力企業(yè)實(shí)際運(yùn)行環(huán)境進(jìn)行脫敏引擎節(jié)點(diǎn)部署。在數(shù)據(jù)庫(kù)節(jié)點(diǎn)部署上，可以進(jìn)行Oracle數(shù)據(jù)庫(kù)的安裝，用于實(shí)現(xiàn)數(shù)據(jù)脫敏源和脫敏目標(biāo)的存放，為數(shù)據(jù)脫敏處理提供工具資料庫(kù)。另外，也可以在云化集群系統(tǒng)中實(shí)現(xiàn)框架部署，為分布式數(shù)據(jù)脫敏提供支持，使框架結(jié)構(gòu)具有較好擴(kuò)展性。針對(duì)脫敏引擎節(jié)點(diǎn)，可以實(shí)現(xiàn)不同目標(biāo)類型替換，如XML文件、關(guān)系型數(shù)據(jù)庫(kù)、自定義文件、文本文件等?？紤]到電力測(cè)試數(shù)據(jù)量較大，需要采用多線程并行執(zhí)行方式進(jìn)行數(shù)據(jù)數(shù)據(jù)表處理，利用主鍵完成Hash分組，并進(jìn)行partition鍵值的設(shè)置，確保各組數(shù)據(jù)量相等。以數(shù)據(jù)庫(kù)表為脫敏對(duì)象，可以采用動(dòng)態(tài)SQL技術(shù)作為脫敏規(guī)則函數(shù)。通過(guò)完成SQL變換引擎、SQL智能分析引擎等數(shù)據(jù)脫敏引擎的配置，可以在不改變電力生產(chǎn)數(shù)據(jù)庫(kù)中原始數(shù)據(jù)的基礎(chǔ)上完成數(shù)據(jù)脫敏。相較于靜態(tài)SQL，動(dòng)態(tài)SQL在程序運(yùn)行時(shí)需要完成Access Path編譯，并且需要在每次執(zhí)行時(shí)重復(fù)編譯，數(shù)據(jù)訪問(wèn)速度有所降低，但是卻具有較強(qiáng)靈活性。采用參數(shù)標(biāo)志符Parameter Markers，能夠利用Prepare完成編譯。根據(jù)宿主變量對(duì)緩存Access Path進(jìn)行賦值，無(wú)需制定Prepare，因此能夠降低開(kāi)銷。利用動(dòng)態(tài)訪問(wèn)和檢索方式，可以避免數(shù)據(jù)外泄。針對(duì)數(shù)據(jù)脫敏處理工具，需要完成多線程處理配置，使各線程負(fù)責(zé)相應(yīng)Hash分組數(shù)據(jù)，有效降低脫敏數(shù)據(jù)處理時(shí)間。

3.2 數(shù)據(jù)脫敏流程

從數(shù)據(jù)脫敏流程來(lái)看，針對(duì)電力生產(chǎn)中采用的PMS、GIS和財(cái)務(wù)管控系統(tǒng)數(shù)據(jù)，需要實(shí)現(xiàn)數(shù)據(jù)脫敏，然后將得到的數(shù)據(jù)在測(cè)試系統(tǒng)中應(yīng)用，避免電力用戶個(gè)人隱私數(shù)據(jù)泄漏時(shí)。首先，需要完成數(shù)據(jù)業(yè)務(wù)需求梳理，對(duì)需要脫敏的數(shù)據(jù)進(jìn)行確認(rèn)。結(jié)合電力生產(chǎn)實(shí)踐可知，需要對(duì)包含業(yè)務(wù)對(duì)象、基本表、分區(qū)狀況和索引表等在內(nèi)的業(yè)務(wù)數(shù)據(jù)進(jìn)行分析，實(shí)現(xiàn)數(shù)據(jù)模型。針對(duì)業(yè)務(wù)對(duì)象，需要梳理父子關(guān)系信息、脫敏規(guī)則、主外鍵信息等關(guān)聯(lián)關(guān)系和脫敏準(zhǔn)則。對(duì)接口脫敏用戶的權(quán)限，需要進(jìn)行評(píng)估，完成相關(guān)資源創(chuàng)建，然后實(shí)現(xiàn)連接配置，使數(shù)據(jù)源的可用性得到保證。針對(duì)脫敏規(guī)則和流程，還應(yīng)實(shí)現(xiàn)人工配置，確定脫敏表、脫敏函數(shù)、脫敏流程控制、脫敏函數(shù)分級(jí)等信息。在元數(shù)據(jù)導(dǎo)入管理上，根據(jù)接口信息可以完成敏感信息導(dǎo)入設(shè)置。通過(guò)執(zhí)行手工觸發(fā)配置和設(shè)定的時(shí)間調(diào)度，并且執(zhí)行計(jì)劃任務(wù)，則能實(shí)現(xiàn)數(shù)據(jù)抽取，在目標(biāo)測(cè)試環(huán)境中完成脫敏數(shù)據(jù)裝載。根據(jù)執(zhí)行狀況，可以對(duì)脫敏任務(wù)進(jìn)行修改、展示等操作。在脫敏處理中，針對(duì)SQL語(yǔ)句，系統(tǒng)會(huì)完成合規(guī)性和安全性檢查，直接拋棄不符合要求的語(yǔ)句，并結(jié)合脫敏規(guī)則進(jìn)行SQL語(yǔ)句改寫(xiě)，利用語(yǔ)句完成數(shù)據(jù)檢索查詢。得到的數(shù)據(jù)經(jīng)過(guò)脫敏引擎，能夠完成實(shí)時(shí)脫敏處理。針對(duì)得到的測(cè)試數(shù)據(jù)報(bào)告，還要根據(jù)業(yè)務(wù)審計(jì)需求加強(qiáng)審計(jì)，在審計(jì)報(bào)表中完成時(shí)間段、制定用戶等內(nèi)容的填寫(xiě)。

4 結(jié)語(yǔ)

測(cè)試數(shù)據(jù)脫敏為復(fù)雜技術(shù)工作，還要從業(yè)務(wù)需求角度著手完成數(shù)據(jù)脫敏技術(shù)框架的構(gòu)建。對(duì)于電力企業(yè)來(lái)講，在生產(chǎn)數(shù)據(jù)測(cè)試中，需要完成敏感數(shù)據(jù)脫敏處理，避免用戶個(gè)人隱私數(shù)據(jù)泄露。在實(shí)際進(jìn)行脫敏技術(shù)框架構(gòu)建時(shí)，需要采用元數(shù)據(jù)管理方法，實(shí)現(xiàn)脫敏技術(shù)框架多層分離設(shè)計(jì)，并采用動(dòng)態(tài)SQL技術(shù)實(shí)現(xiàn)核心數(shù)據(jù)脫敏功能，從而實(shí)現(xiàn)對(duì)各種業(yè)務(wù)需求的靈活應(yīng)對(duì)。

參考文獻(xiàn)

[1] 朱克，彭昌余.電力用戶信息脫敏研究[J].電腦知識(shí)與技術(shù)，2018，14（26）：10-12.

[2] 冉冉，李峰，王欣柳等.一種面向隱私保護(hù)的電力大數(shù)據(jù)脫敏方案及應(yīng)用研究[J].網(wǎng)絡(luò)空間安全，2018，9（01）：105-113.

[3] 邢宇恒，張冰，毛一凡.數(shù)據(jù)脫敏在海量數(shù)據(jù)系統(tǒng)中的應(yīng)用[J].電信科學(xué)，2017，33（S1）：8-14.

[4] 焦偉，周曉聰，周期律.測(cè)試數(shù)據(jù)脫敏技術(shù)框架的研究與探討[J].中國(guó)金融電腦，2016（07）：40-47.