大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全風險挖掘中的應(yīng)用

于 川

（青島市大數(shù)據(jù)中心，山東 青島 266000）

隨著數(shù)字化轉(zhuǎn)型的持續(xù)深化，網(wǎng)絡(luò)安全也面臨嚴重威脅。網(wǎng)絡(luò)安全問題是一個多層面綜合性的課題。近年來，電信網(wǎng)絡(luò)詐騙犯罪持續(xù)呈現(xiàn)高發(fā)姿態(tài)。不法分子通過電話、網(wǎng)絡(luò)等各類現(xiàn)代通信工具實施詐騙，嚴重危害民眾財產(chǎn)安全。同時大數(shù)據(jù)引發(fā)的網(wǎng)絡(luò)安全問題也更加嚴峻，逐漸得到社會各界的普遍關(guān)注，也成為當下亟待解決的重要問題。任何事物都具有雙面性。如何發(fā)揮大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)風險挖掘中的關(guān)鍵性作用成為當下的重要研究課題。

1 大數(shù)據(jù)技術(shù)的內(nèi)涵及關(guān)鍵技術(shù)

麥肯錫全球研究對大數(shù)據(jù)所做的定義是：“一種規(guī)模大到在獲取、存儲、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價值密度低四大特征?！蓖瑫r大數(shù)據(jù)也是一種先進的理念，能深入分析所有海量數(shù)據(jù)，以揭示事物的發(fā)展規(guī)律，能對多種事物之間的關(guān)系進行描述，預(yù)測事物下一階段的發(fā)展情況。在各行各業(yè)，大數(shù)據(jù)都體現(xiàn)出較高的價值，包括醫(yī)療、科學(xué)、化工等，對社會經(jīng)濟的發(fā)展起到了促進作用。

大數(shù)據(jù)技術(shù)是對大數(shù)據(jù)的應(yīng)用技術(shù)的統(tǒng)稱。大數(shù)據(jù)的關(guān)鍵技術(shù)涉及四個層面，第一，信息采集。采集數(shù)據(jù)是發(fā)揮數(shù)據(jù)作用的重要前提。采集方式主要包括系統(tǒng)日志采集法、網(wǎng)絡(luò)數(shù)據(jù)采集法以及其他數(shù)據(jù)采集法。第二，信息預(yù)處理。在數(shù)據(jù)處理之中，信息預(yù)處理處于基礎(chǔ)位置，就是初步提取信息并對其進行清洗。初步抽取信息就是對多樣化的數(shù)據(jù)進行轉(zhuǎn)換，降低數(shù)據(jù)處理難度，或是統(tǒng)一數(shù)據(jù)格式，為處理數(shù)據(jù)做好準備；信息清洗，就是從采集的數(shù)據(jù)中剔除無價值的部分。第三，數(shù)據(jù)融合。數(shù)據(jù)融合就是對多樣化的數(shù)據(jù)進行處理，既要對信息源進行檢查，也要對其進行重組。第四，數(shù)據(jù)挖掘與分析。此類技術(shù)的運用，目的就是要縮減數(shù)據(jù)規(guī)模。截至目前，以結(jié)構(gòu)化與半結(jié)構(gòu)化的方式對數(shù)據(jù)進行分析，已經(jīng)具備了成熟條件，以人工智能的方式挖掘與分析非結(jié)構(gòu)化數(shù)據(jù)，取得了良好成效。第五，存儲與處理數(shù)據(jù)。運用此類技術(shù)，能處理好半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)之間的問題。在處理結(jié)構(gòu)化數(shù)據(jù)過程中，不僅要對數(shù)據(jù)是否可靠、易于處理進行評估，也要對數(shù)據(jù)傳輸是否有效做出評價。

2 大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全風險挖掘中應(yīng)用的重要性及必要性

在數(shù)據(jù)量呈指數(shù)級增長的情況下，網(wǎng)絡(luò)安全問題的復(fù)雜性與隱蔽性越來越強。為及時有效地識別網(wǎng)絡(luò)安全風險，必須要充分利用大數(shù)據(jù)技術(shù)的分析與挖掘優(yōu)勢，識別網(wǎng)絡(luò)安全風險，繼而采取有效的應(yīng)對措施?，F(xiàn)對大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全風險挖掘中應(yīng)用的重要性及必要性進行分析，具體如下。

2.1 大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全風險挖掘中應(yīng)用的必要性

大數(shù)據(jù)時代下，網(wǎng)絡(luò)安全風險呈現(xiàn)多樣化的趨勢。這些風險的存在對企業(yè)、個人乃至對一個國家的信息數(shù)據(jù)安全造成嚴重的影響。其中常見的風險主要包括：

第一，系統(tǒng)安全漏洞及數(shù)據(jù)泄露風險。從當前各個領(lǐng)域的發(fā)展情況看，使用的操作系統(tǒng)在網(wǎng)絡(luò)安全方面都客觀存在漏洞，尤其是有些行業(yè)的操作系統(tǒng)時間久遠，加之日常維護不及時、未及時升級，一旦遭到攻擊就會發(fā)生泄漏系統(tǒng)信息的情況，甚至還會引發(fā)系統(tǒng)崩潰。同時在操作系統(tǒng)過程中，用戶會根據(jù)自己的需求設(shè)置通用服務(wù)，包括瀏覽網(wǎng)頁、發(fā)送與接收電子郵件等，這些都為黑客入侵系統(tǒng)提供有利條件。

第二，網(wǎng)絡(luò)病毒入侵風險。對于當代人而言，在學(xué)習(xí)、工作、生活中需要的各種信息都能通過網(wǎng)絡(luò)獲取，便捷地利用U盤存儲信息，以電子郵件的方式傳輸信息，這些數(shù)據(jù)操作方式都會導(dǎo)致病毒傳播與擴散。截至目前，世界范圍內(nèi)已經(jīng)確定的病毒種類超過10萬種，網(wǎng)絡(luò)主機、服務(wù)器都是病毒的攻擊對象，最嚴重的后果就是網(wǎng)絡(luò)癱瘓。網(wǎng)絡(luò)應(yīng)用率的快速提高，網(wǎng)絡(luò)技術(shù)不斷推陳出新，病毒在這樣的背景下也實現(xiàn)了迭代，類型越來越豐富。網(wǎng)絡(luò)病毒本身具有較強的再生機制，在得不到制約情況下能大面積傳播。一旦網(wǎng)絡(luò)計算機遭到病毒入侵，尤其是服務(wù)器，系統(tǒng)運行就會受到阻礙，系統(tǒng)癱瘓現(xiàn)象也有可能發(fā)生，用戶不能正常使用系統(tǒng)中的部分程序，大量數(shù)據(jù)丟失，后門、蠕蟲、DDOS這幾種黑客攻擊手段始終沒有得到有效控制，攻擊方式也變得智能、多樣。

第三，黑客入侵風險。在大數(shù)據(jù)背景下，黑客入侵是網(wǎng)絡(luò)信息最大的安全隱患之一，在大數(shù)據(jù)的輔助下，黑客可以隱藏自身，對網(wǎng)絡(luò)信息發(fā)起猛烈攻擊，導(dǎo)致大數(shù)據(jù)的價值密度出現(xiàn)下降的情況，現(xiàn)有的安全分析工具不能及時識別黑客，給網(wǎng)絡(luò)信息帶來安全隱患。當前人們頻繁使用局域網(wǎng)，就是建立在廣播技術(shù)基礎(chǔ)之上的以太網(wǎng)，在同一個網(wǎng)絡(luò)中，處于任何一個節(jié)點的網(wǎng)卡都有可能截取隨意兩個節(jié)點之間的通信數(shù)據(jù)包，為工作交流提供方便。一般而言，企業(yè)都會在內(nèi)部為連接互聯(lián)網(wǎng)設(shè)置出入口，這就為外網(wǎng)黑客進入企業(yè)網(wǎng)絡(luò)系統(tǒng)帶來了可能，只要進入網(wǎng)絡(luò)之后，利用一定的技術(shù)就能從網(wǎng)絡(luò)中獲取存儲于每一個節(jié)點中的數(shù)據(jù)信息。同時系統(tǒng)本身也有漏洞，可以通過未設(shè)防的路徑進入網(wǎng)絡(luò)中，獲取企業(yè)內(nèi)部數(shù)據(jù)信息，或是破壞應(yīng)用程序與系統(tǒng)文件，網(wǎng)絡(luò)運行由此中止，企業(yè)會因為數(shù)據(jù)泄露而遭到嚴重損失。

第四，人為風險。大數(shù)據(jù)背景下，信息體量日益增加，信息以無法想象的速度傳播，如果系統(tǒng)管理員沒有意識到維護網(wǎng)絡(luò)安全的重要性，風險意識淡薄，網(wǎng)絡(luò)信息將面對嚴重的風險隱患。在網(wǎng)絡(luò)信息安全管理過程中，一定要形成硬性制度，許多企業(yè)或機構(gòu)就是因為網(wǎng)絡(luò)信息安全管理制度有紕漏，工作人員技能水平較低，系統(tǒng)管理人員未做到嚴格保密，引發(fā)了泄露或丟失數(shù)據(jù)的情況，或是在數(shù)據(jù)傳輸、存儲、管理過程中遭到不法訪問或篡改，威脅到網(wǎng)絡(luò)安全，用戶不得不承受經(jīng)濟損失。

2.2 大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全風險挖掘中應(yīng)用的重要性

大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全風險方案中的應(yīng)用價值主要體現(xiàn)在：

第一，可以顯著提升風險管理能力，減少網(wǎng)絡(luò)安全風險帶來的損失。隨著現(xiàn)代信息技術(shù)的廣泛應(yīng)用，各類信息系統(tǒng)相繼推出。任何IT系統(tǒng)都不可能保證絕對安全，每一個系統(tǒng)都存在一定的漏洞，也會在運行中出現(xiàn)新漏洞，這是風險評估的根本原因之一。通過大數(shù)據(jù)技術(shù)對系統(tǒng)運行的實際情況進行深入分析，全面收集各個環(huán)節(jié)的數(shù)據(jù)，借助大數(shù)據(jù)深度分析和挖掘，能從更深層次找到引發(fā)安全漏洞的原因，幫助企業(yè)組織提早發(fā)現(xiàn)安全事件的苗頭，有針對性地采取合適的應(yīng)對措施。

第二，可以有效提升網(wǎng)絡(luò)安全風險監(jiān)測能力。網(wǎng)絡(luò)在運行過程中持續(xù)面臨著威脅，網(wǎng)絡(luò)攻擊與破壞行為一直都在演變之中，只有充分了解網(wǎng)絡(luò)安全威脅，才能采取有效的防范措施。智能化的大數(shù)據(jù)分析能力對新出現(xiàn)的風險、面臨的威脅進行及時處理并發(fā)出警告。在系統(tǒng)運行中，攻擊者與攻擊行為層出不窮，數(shù)據(jù)泄露事件發(fā)生的概率日漸提高，安全事件發(fā)生之后要采取有效的方式進行處置。通過大數(shù)據(jù)技術(shù)的應(yīng)用，可以快速分析和識別網(wǎng)絡(luò)活動中的異常信號，及時發(fā)出報警，企業(yè)可以安排專業(yè)人員找出漏洞，壓制住苗頭問題，避免引發(fā)全域災(zāi)難。

3 大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全風險挖掘中的具體應(yīng)用

在分析大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全風險挖掘中應(yīng)用的重要性及必要性的基礎(chǔ)上，下文側(cè)重圍繞大數(shù)據(jù)技術(shù)的具體應(yīng)用進行探索。

3.1 基于大數(shù)據(jù)技術(shù)建構(gòu)網(wǎng)絡(luò)安全數(shù)據(jù)分析平臺

網(wǎng)絡(luò)安全平臺架構(gòu)由數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)分析以及數(shù)據(jù)呈現(xiàn)四個主要部分構(gòu)成。具體而言：

第一，數(shù)據(jù)采集層，需要運用分布式方法采集各種信息，包括使用者信息、安全信息、事件信息等。在采集數(shù)據(jù)時，同時采用Flume、Kafka、Storm這三種形式，實現(xiàn)了彼此之間的優(yōu)勢互補。Flume最大的優(yōu)勢就是能收集與匯總海量數(shù)據(jù)，而且能將其傳送到指定位置，具備較強的實用性與可靠性。憑借定制數(shù)據(jù)，用戶能從多個端口找到自己需要的數(shù)據(jù)，初步對數(shù)據(jù)進行加工并提供給數(shù)據(jù)定制方。Kafka用于流式數(shù)據(jù)加工，能起到緩存的作用。Kafka有著復(fù)雜的成分，生產(chǎn)者、代理者、消費者數(shù)量都比較多，能從總體上實施全方位邏輯處理，采用分布式的方式發(fā)布訂閱系統(tǒng)，系統(tǒng)而全面地進行邏輯處理。

第二，數(shù)據(jù)存儲層，存儲是一項主要內(nèi)容，除了能達到海量存儲的目的以外，也能保證存儲時間，還可以通過結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化的方式統(tǒng)一存儲數(shù)據(jù)，運用均衡算法，能把數(shù)據(jù)信息分布于不同的文件系統(tǒng)之中，此舉最大的優(yōu)勢就是在后續(xù)數(shù)據(jù)檢索時不需要耗費過多的時間；平臺采集數(shù)據(jù)之后，需要及時對其進行存儲。例如，采用分布式文件系統(tǒng)HDFS由一個管理節(jié)點和好多個數(shù)據(jù)節(jié)點組成。其優(yōu)勢在于具備良好的容錯性。數(shù)據(jù)文件可以存儲在任何一個節(jié)點上，對其進行劃分，把最基本的存儲單位設(shè)定為64 MB。該項技術(shù)在運用中，無法在同一個時間段對多個數(shù)量的文件進行訪問，如果需要進行此項操作，系統(tǒng)性能有可能遭到破壞。

第三，數(shù)據(jù)分析層，需要從更深層次對數(shù)據(jù)進行關(guān)聯(lián)分析，解析外部情境，明確數(shù)據(jù)的基本特征，以這種方式識別安全事件，當不正常的網(wǎng)絡(luò)行為出現(xiàn)在系統(tǒng)中，能高效地進行診斷，還可以根據(jù)需要進行信息檢索與定位。

第四，數(shù)據(jù)呈現(xiàn)層，要以可視化的方式呈現(xiàn)大數(shù)據(jù)結(jié)果，采用多樣化的方式對網(wǎng)絡(luò)安全狀態(tài)進行描述。

3.2 利用大數(shù)據(jù)技術(shù)感知和評估風險，及時檢測潛在的網(wǎng)絡(luò)安全風險

充分利用大數(shù)據(jù)技術(shù)的優(yōu)勢來提升風險感知能力和風險評估能力，對第一時間檢測和應(yīng)對網(wǎng)絡(luò)安全風險具有重要的意義。

第一，對安全事件進行深度分析。為及時覺察異常行為，必須快速感知出現(xiàn)的各種異常行為，以便于盡早發(fā)現(xiàn)安全事件的苗頭，識別更多的隱形漏洞。伴隨著網(wǎng)絡(luò)安全感知能力的不斷增強，能有效、及時發(fā)現(xiàn)病毒與黑客，弄清用戶行為的特征，維護網(wǎng)站合法性與網(wǎng)絡(luò)內(nèi)容可靠性。同時應(yīng)提升網(wǎng)絡(luò)感知能力來維護網(wǎng)絡(luò)安全，發(fā)現(xiàn)異常行為并采取預(yù)防舉措。例如，利用大數(shù)據(jù)技術(shù)對網(wǎng)絡(luò)設(shè)備運行日志完整記錄和分析，識別用戶網(wǎng)絡(luò)流量變化、行為特征，把握住APT攻擊的特征，精準地定位網(wǎng)絡(luò)訪問的發(fā)生地點，對其是否正常做出判斷。

第二，建設(shè)網(wǎng)絡(luò)安全風險評估數(shù)據(jù)庫。通過建立風險信息數(shù)據(jù)庫，建構(gòu)網(wǎng)絡(luò)安全風險評估模型，為網(wǎng)絡(luò)安全風險評估提供精準的數(shù)據(jù)支持。在風險信息數(shù)據(jù)庫中對海量數(shù)據(jù)進行系統(tǒng)化的存儲和分析。目前，安全評估數(shù)據(jù)庫建設(shè)通常采用的是B/S模型，利用多個終端服務(wù)實現(xiàn)對海量網(wǎng)絡(luò)信息的整合和收集。在對數(shù)據(jù)庫中的數(shù)據(jù)進行處理、整合、共享時，則需要發(fā)揮出Web瀏覽器、應(yīng)用服務(wù)器以及數(shù)據(jù)服務(wù)器等優(yōu)勢。通過保證網(wǎng)絡(luò)安全風險評估數(shù)據(jù)庫的正常運行，實現(xiàn)對數(shù)據(jù)的集中整合、統(tǒng)計分析。而要保證數(shù)據(jù)庫平臺的運行，則需要保證相關(guān)設(shè)計模型、功能等符合標準，為信息的預(yù)測模型和評估體系升級奠定堅實基礎(chǔ)。

第三，建立和利用危險評估模塊。在網(wǎng)絡(luò)安全風險挖掘過程中，需要充分借助危險評估模塊。通過對設(shè)備及系統(tǒng)存在的安全風險進行記錄，借助危險評估模塊進行層次性定性分析和定量分析，全面進行風險評估，提升安全漏洞檢測的實效性。例如通過對安全入侵項目、管理記錄等進行深度的對比分析，充分結(jié)合網(wǎng)絡(luò)安全風險管理經(jīng)驗及科學(xué)的識別技術(shù)，有效識別風險，并提出相應(yīng)的應(yīng)對方案，確保危險評估模塊發(fā)揮應(yīng)有的作用。此外，積極地落實云安全檢測技術(shù)也是提升整體效果的重要途徑。通過利用云數(shù)據(jù)進行測算和編寫，實現(xiàn)對潛在風險的預(yù)估和綜合性處理，提升網(wǎng)絡(luò)安全風險挖掘、識別和應(yīng)對的效果。

3.3 加強大數(shù)據(jù)技術(shù)人才隊伍建設(shè)

數(shù)據(jù)是當代社會的重要資產(chǎn)，是數(shù)據(jù)業(yè)發(fā)展的生命線。大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全風險挖掘中應(yīng)用需要一支專業(yè)化的大數(shù)據(jù)技術(shù)團隊。在網(wǎng)絡(luò)安全預(yù)防和應(yīng)對中，大數(shù)據(jù)技術(shù)人才隊伍建設(shè)過程中，應(yīng)注重提升技術(shù)人員的人機結(jié)合工具應(yīng)用能力和信息萃取技術(shù)掌握水平。因此，技術(shù)人員應(yīng)具備熟悉使用大數(shù)據(jù)技術(shù)的能力，即能夠結(jié)合人機結(jié)合工具，借助模型構(gòu)建與工程流程相結(jié)合，采用智能化的手段高效率處理信息，從信息中萃取有價值的信息，準確識別網(wǎng)絡(luò)系統(tǒng)中存在風險的節(jié)點。因此，應(yīng)定期組織開展大數(shù)據(jù)人才專項培訓(xùn)活動，結(jié)合網(wǎng)絡(luò)安全風險挖掘工作需求安排培訓(xùn)內(nèi)容，提升大數(shù)據(jù)技術(shù)團隊利用人機結(jié)合工具，保障網(wǎng)絡(luò)系統(tǒng)的安全性，為網(wǎng)絡(luò)系統(tǒng)安全預(yù)測和防范提供技術(shù)支持。

4 結(jié)語

綜上所述，隨著互聯(lián)網(wǎng)的全面普及，網(wǎng)絡(luò)安全風險挖掘與防范已成為各行各業(yè)關(guān)注的重要問題。大數(shù)據(jù)技術(shù)在維護網(wǎng)絡(luò)安全，抵御網(wǎng)絡(luò)安全風險的過程中，必須利用大數(shù)據(jù)分析和挖掘技術(shù)，實現(xiàn)對海量數(shù)據(jù)的深度分析，有效識別潛在風險。同時要依靠完善的網(wǎng)絡(luò)安全數(shù)據(jù)庫、危險評估模塊以及云安全檢測平臺，發(fā)揮大數(shù)據(jù)優(yōu)勢提升網(wǎng)絡(luò)安全風險挖掘和應(yīng)對能力，不斷提升網(wǎng)絡(luò)安全水平。