當前有不少單位缺乏對大數(shù)據(jù)的有效利用,不僅導(dǎo)致大量有價值數(shù)據(jù)無法得到充分挖掘,還使得單位數(shù)據(jù)安全風(fēng)險增加,同時也不利于單位業(yè)務(wù)的數(shù)字化轉(zhuǎn)型。
Hadoop作為最主流的大數(shù)據(jù)處理技術(shù),在實際應(yīng)用過程中缺乏有效的安全防護機制,面臨諸如數(shù)據(jù)泄密、勒索攻擊、嗅探監(jiān)聽等風(fēng)險。因此,如何掌控數(shù)據(jù)資產(chǎn)全生命周期的流走方向就變得尤為重要。而要明晰數(shù)據(jù)資產(chǎn)在大數(shù)據(jù)系統(tǒng)中從哪里來、到那里去,觀數(shù)公司楊萬輝(如圖1)表示,BIGDAF則針對性的解決了此類問題,也即全生命周期、無死角的掌控數(shù)據(jù)資產(chǎn)動向。
圖1 觀數(shù)公司 楊萬輝
圖2 企業(yè)對大數(shù)據(jù)的安全需求
圖3 BIGDAF功能
面對2017年全球大數(shù)據(jù)系統(tǒng)遭受勒索,大數(shù)據(jù)安全形勢嚴峻,觀數(shù)科技出重拳對抗Hadoop風(fēng)險。針對企業(yè)對大數(shù)據(jù)的安全需求(如圖2),Hadoop安全防護也形成了幾種主要的保護思想:分別在邊界、架構(gòu)和數(shù)據(jù)角度部署針對性的防護。BIGDAF在數(shù)據(jù)采集、分布式存儲、分布式計算、數(shù)據(jù)使用、建模分析、可視化展示和數(shù)據(jù)銷毀等全生命周期提供防護,BIGDAF部署方案的思想在安全、審計、操作三個層面基于多種訪問控制模型。其中“gateway”代理并管理所有組件的API、Ui接口,在提供服務(wù)時可對訪問行為進行安全控制;“Admin server”為授權(quán)和審計中心,主要用于安全管理員配置并下發(fā)策略規(guī)則,并收集日志進行審計;“ agent、plugin”接收并執(zhí)行Admin server下發(fā)的安全策略,根據(jù)ACL進行授權(quán)。Admin Server則只負責下發(fā)策略和收集日志,即使出現(xiàn)故障,也不影響集群的業(yè)務(wù)運行,無單點故障。gateway則采用LB做負載,以防止單點故障,如圖3。
在“2017中國網(wǎng)絡(luò)主管論壇”中,觀數(shù)公司BIGDAF大數(shù)據(jù)應(yīng)用防火墻榮獲“2017中國網(wǎng)絡(luò)主管論壇最具影響力產(chǎn)品”獎。