基于改進(jìn)BiLSTM?CRF模型的網(wǎng)絡(luò)安全知識(shí)圖譜構(gòu)建

摘 "要： 針對(duì)網(wǎng)絡(luò)安全領(lǐng)域的圖譜構(gòu)建任務(wù)，基于BiLSTM?CRF模型引入了外部網(wǎng)絡(luò)安全詞典來(lái)加強(qiáng)網(wǎng)絡(luò)安全文本的特征，并結(jié)合多頭注意力機(jī)制提取多層特征，最終在網(wǎng)絡(luò)安全數(shù)據(jù)集取得了更優(yōu)異的結(jié)果。利用企業(yè)內(nèi)部的日常網(wǎng)絡(luò)運(yùn)維數(shù)據(jù)，設(shè)計(jì)并構(gòu)建了一個(gè)面向企業(yè)網(wǎng)絡(luò)安全運(yùn)維管理的知識(shí)圖譜，為后續(xù)進(jìn)一步研究基于圖譜的企業(yè)網(wǎng)絡(luò)安全智能決策等應(yīng)用奠定基礎(chǔ)。

關(guān)鍵詞： BiLSTM?CRF； 網(wǎng)絡(luò)安全； 知識(shí)圖譜； 特征提??； 企業(yè)網(wǎng)絡(luò)； 注意力機(jī)制； 本體建模； 知識(shí)抽取

中圖分類(lèi)號(hào)： TN911?34； TP391 " " " " " " " " " 文獻(xiàn)標(biāo)識(shí)碼： A " " " " " " " " " " "文章編號(hào)： 1004?373X（2024）06?0015?07

Knowledge graph construction for network security base on modified BiLSTM?CRF

HUANG Zhiyong1， 2， YU Yaning1， LIN Renming2， HUANG Xin1， ZHANG Fengli1

（1. School of Information and Software Engineering， University of Electronic Science and Technology， Chengdu 610054， China;

2. Data Application Center of Sichuan Provincial Market Supervision Administration， Chengdu 610066， China）

Abstract： On focus of the task of constructing graphs in the field of network security， an external network security dictionary is introduced based on the BiLSTM?CRF model to enhance the features of network security texts， and a multi head attention mechanism is combined to extract multi?layer features. Better results are achieved in the network security dataset. A knowledge graph for enterprise network security operation and maintenance management is designed and constructed by means of daily network operation and maintenance data within the enterprise， laying the foundation for further research on intelligent decision?making of enterprise network security based on graphs.

Keywords： BiLSTM?CRF; network security; knowledge graph; feature extraction; enterprise network; attention mechanism; ontology modeling; knowledge extraction

0 "引 "言

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，企業(yè)的網(wǎng)絡(luò)資產(chǎn)比重逐漸增大。根據(jù)2022年中國(guó)互聯(lián)網(wǎng)發(fā)展報(bào)告[1]顯示，來(lái)自網(wǎng)絡(luò)空間的安全威脅愈發(fā)嚴(yán)重，經(jīng)濟(jì)財(cái)產(chǎn)損失風(fēng)險(xiǎn)逐年攀升。前沿網(wǎng)絡(luò)安全防控智能化技術(shù)更注重于從全維度、多視角的方面來(lái)感知網(wǎng)絡(luò)空間威脅，而挖掘企業(yè)各類(lèi)網(wǎng)絡(luò)攻擊的關(guān)聯(lián)性、策略、后果等要素能夠有效地提升企業(yè)對(duì)網(wǎng)絡(luò)安全運(yùn)維管理的效率[2]。知識(shí)圖譜（Knowledge Graph， KG）通過(guò)在特定領(lǐng)域海量數(shù)據(jù)中抽取的知識(shí)構(gòu)建領(lǐng)域知識(shí)圖譜，數(shù)據(jù)規(guī)模、特殊語(yǔ)義關(guān)系使其實(shí)用性變得更強(qiáng)[3]。

目前，企業(yè)內(nèi)的網(wǎng)絡(luò)空間中所存在的威脅知識(shí)大部分沒(méi)有形成很好的知識(shí)組織，在面向企業(yè)的網(wǎng)絡(luò)安全運(yùn)維的場(chǎng)景下，缺少能夠有效涵蓋網(wǎng)絡(luò)空間威脅信息、反映企業(yè)網(wǎng)絡(luò)安全態(tài)勢(shì)以及支撐輔助安全決策的知識(shí)圖譜；開(kāi)源的漏洞信息庫(kù)和威脅信息庫(kù)等大多都是半結(jié)構(gòu)化知識(shí)，而企業(yè)日常的網(wǎng)絡(luò)安全運(yùn)維數(shù)據(jù)中又包含大量的結(jié)構(gòu)化和非結(jié)構(gòu)化的報(bào)告，這些異構(gòu)數(shù)據(jù)難以被企業(yè)直接利用來(lái)進(jìn)行網(wǎng)絡(luò)空間的防護(hù)。知識(shí)圖譜能夠有效地整合這些存在潛在聯(lián)系的網(wǎng)絡(luò)安全運(yùn)維相關(guān)知識(shí)，將離散的多源異構(gòu)數(shù)據(jù)通過(guò)基于深度學(xué)習(xí)的信息提取模型形成圖譜中的知識(shí)節(jié)點(diǎn)和知識(shí)的有機(jī)聯(lián)合，為企業(yè)的網(wǎng)絡(luò)安全運(yùn)維管理工作提供支持。

針對(duì)網(wǎng)絡(luò)安全領(lǐng)域的圖譜構(gòu)建任務(wù)，改進(jìn)BiLSTM?CRF模型，提出一種基于BERT的網(wǎng)絡(luò)安全知識(shí)嵌入和多頭注意力機(jī)制的網(wǎng)絡(luò)安全實(shí)體抽取模型，并在開(kāi)源網(wǎng)絡(luò)安全實(shí)體抽取任務(wù)，相較基線模型性能有所提升。本文提出一種面向企業(yè)網(wǎng)絡(luò)安全運(yùn)維管理的知識(shí)圖譜構(gòu)建方案，并構(gòu)建了一個(gè)具有業(yè)務(wù)、設(shè)備、事件、威脅以及策略五類(lèi)實(shí)體的網(wǎng)絡(luò)安全運(yùn)維知識(shí)圖譜。

1 "相關(guān)工作

知識(shí)圖譜的構(gòu)建包含從邏輯概念層面形成圖譜架構(gòu)以及從數(shù)據(jù)層面形成圖譜的內(nèi)容支撐[4]。本體建模則是在邏輯上構(gòu)建出領(lǐng)域知識(shí)圖譜的框架，文獻(xiàn)[5]以抽象的概念并結(jié)合圖的點(diǎn)邊結(jié)構(gòu)化方式表示網(wǎng)絡(luò)安全領(lǐng)域知識(shí)的本體，領(lǐng)域知識(shí)本體在邏輯層面對(duì)知識(shí)圖譜的數(shù)據(jù)進(jìn)行有機(jī)管理。文獻(xiàn)[6]通過(guò)預(yù)先設(shè)計(jì)網(wǎng)絡(luò)安全知識(shí)本體，構(gòu)建一個(gè)網(wǎng)絡(luò)空間知識(shí)圖譜。

信息抽取包括實(shí)體抽取和關(guān)系抽取。在實(shí)體抽取任務(wù)的研究領(lǐng)域，傳統(tǒng)的抽取方法分為基于規(guī)則、基于統(tǒng)計(jì)機(jī)器學(xué)習(xí)和基于深度學(xué)習(xí)三類(lèi)方法[3]。前兩者通過(guò)大量的人工介入控制抽取，帶來(lái)了高準(zhǔn)確率，但效率較低；而深度學(xué)習(xí)有良好的學(xué)習(xí)能力及向量表示和神經(jīng)網(wǎng)絡(luò)所賦予的語(yǔ)義挖掘能力，在現(xiàn)階段應(yīng)用廣泛。文獻(xiàn)[7]通過(guò)雙向的LSTM網(wǎng)絡(luò)考慮了文本上下位關(guān)系，結(jié)合一層CRF網(wǎng)絡(luò)解決了標(biāo)簽預(yù)測(cè)順序錯(cuò)誤的問(wèn)題。文獻(xiàn)[8]設(shè)計(jì)實(shí)現(xiàn)了BERT模型，極大地提高了實(shí)體識(shí)別任務(wù)在開(kāi)放域的提取性能。文獻(xiàn)[9?11]是BERT模型的優(yōu)秀改良變體，優(yōu)化了BERT存在的參數(shù)爆炸、實(shí)體邊界模糊等問(wèn)題。文獻(xiàn)[12]采用自注意力機(jī)制訓(xùn)練外嵌特征，證明了注意力機(jī)制在通過(guò)特征嵌入優(yōu)化實(shí)體識(shí)別性能上的有效性。

2 "網(wǎng)絡(luò)安全知識(shí)圖譜構(gòu)建

企業(yè)網(wǎng)絡(luò)安全運(yùn)維領(lǐng)域的數(shù)據(jù)來(lái)源廣泛，傳統(tǒng)的網(wǎng)絡(luò)安全知識(shí)工程系統(tǒng)、專(zhuān)家構(gòu)建的經(jīng)驗(yàn)知識(shí)庫(kù)等已結(jié)構(gòu)化的數(shù)據(jù)可以直接支撐自頂向下的網(wǎng)絡(luò)安全運(yùn)維知識(shí)圖譜構(gòu)建。而在實(shí)際的日常網(wǎng)絡(luò)安全運(yùn)維管理過(guò)程中，又會(huì)產(chǎn)生大量的運(yùn)維數(shù)據(jù)、技術(shù)人員的實(shí)操日志等半/非結(jié)構(gòu)化數(shù)據(jù)，也包含了非常豐富的網(wǎng)絡(luò)安全領(lǐng)域知識(shí)，可以通過(guò)信息抽取技術(shù)提取出其中的相關(guān)知識(shí)，并聚類(lèi)歸納到相應(yīng)的概念，輸入到網(wǎng)絡(luò)安全運(yùn)維知識(shí)本體中，實(shí)現(xiàn)自底向上的圖譜構(gòu)建。企業(yè)網(wǎng)絡(luò)安全運(yùn)維知識(shí)圖譜的構(gòu)建流程示意圖如圖1所示。

本文結(jié)合自頂向下和自底向上的兩種構(gòu)建方式，將已有的結(jié)構(gòu)化的企業(yè)內(nèi)部拓?fù)鋽?shù)據(jù)、開(kāi)源漏洞庫(kù)等數(shù)據(jù)直接通過(guò)映射的方式輸入圖譜中，并通過(guò)本文設(shè)計(jì)的實(shí)體抽取模型對(duì)企業(yè)網(wǎng)絡(luò)安全運(yùn)維日志、網(wǎng)絡(luò)安全防護(hù)手冊(cè)等非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行實(shí)體抽取，評(píng)估其抽取效果。再根據(jù)每份數(shù)據(jù)中存在的各類(lèi)實(shí)體與本體進(jìn)行上下位關(guān)系匹配，獲得實(shí)體間關(guān)系。最后將兩個(gè)過(guò)程的輸出相結(jié)合并存入圖數(shù)據(jù)庫(kù)中進(jìn)行集中管理，實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)安全運(yùn)維知識(shí)圖譜的構(gòu)建。

2.1 "本體建模

通過(guò)分析企業(yè)網(wǎng)絡(luò)安全運(yùn)維數(shù)據(jù)以及領(lǐng)域內(nèi)開(kāi)源數(shù)據(jù)集成分特征，確定了包括企業(yè)業(yè)務(wù)網(wǎng)絡(luò)實(shí)體、企業(yè)網(wǎng)絡(luò)設(shè)備實(shí)體、網(wǎng)絡(luò)安全威脅實(shí)體等五種類(lèi)型實(shí)體，以及包含（include）、發(fā)生（happened）、原因（reasonOf）、響應(yīng)（responseOf）四種關(guān)系，如表1所示。這些實(shí)體和關(guān)系所形成的本體模型能夠反映出企業(yè)的網(wǎng)絡(luò)安全運(yùn)維整體情況，能夠?yàn)橹R(shí)圖譜的構(gòu)建提供邏輯支撐。根據(jù)本體結(jié)構(gòu)進(jìn)一步定義其中的實(shí)體以及關(guān)系的屬性，補(bǔ)充相應(yīng)的特異性數(shù)據(jù)，以區(qū)分同一類(lèi)實(shí)體概念下的不同實(shí)體，如表2所示。

這些實(shí)體概念和關(guān)系的屬性進(jìn)一步形成了對(duì)網(wǎng)絡(luò)安全離散數(shù)據(jù)的約束。在經(jīng)過(guò)對(duì)現(xiàn)有的數(shù)據(jù)分析，完成頂層的知識(shí)本體建模后，還需要通過(guò)信息抽取算法對(duì)其他半/非結(jié)構(gòu)化的網(wǎng)絡(luò)安全運(yùn)維數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)安全運(yùn)維知識(shí)抽取，自底向上地填充知識(shí)本體，構(gòu)建完善的知識(shí)圖譜。

2.2 "知識(shí)抽取

知識(shí)抽取工作分為對(duì)結(jié)構(gòu)化網(wǎng)絡(luò)安全運(yùn)維數(shù)據(jù)與半/非結(jié)構(gòu)化數(shù)據(jù)的抽取。結(jié)構(gòu)化數(shù)據(jù)通過(guò)映射的方式直接將相應(yīng)數(shù)據(jù)轉(zhuǎn)化為網(wǎng)絡(luò)安全運(yùn)維實(shí)體及其關(guān)系存入圖數(shù)據(jù)庫(kù)中；對(duì)于非結(jié)構(gòu)化數(shù)據(jù)，需要通過(guò)機(jī)器學(xué)習(xí)算法學(xué)習(xí)數(shù)據(jù)中網(wǎng)絡(luò)安全運(yùn)維實(shí)體的特征，并通過(guò)本體匹配的方式賦予相應(yīng)的關(guān)系。參考通用的實(shí)體抽?。∟ER）方法，將網(wǎng)絡(luò)安全運(yùn)維實(shí)體抽取問(wèn)題作為一個(gè)序列標(biāo)注問(wèn)題來(lái)解決。實(shí)體的開(kāi)始詞匯標(biāo)記為“B?Type（Begin）”，實(shí)體的內(nèi)部詞匯標(biāo)記為“I?Type（Inside）”，結(jié)束詞匯標(biāo)記為“E?Type（End）”，非實(shí)體詞匯標(biāo)記為“O?Type（Outside）”。基于BiLSTM?CRF模型，在數(shù)據(jù)驅(qū)動(dòng)模式[13]的基礎(chǔ)上，結(jié)合網(wǎng)絡(luò)安全預(yù)訓(xùn)練模型Cyber?BERT[14]進(jìn)行先驗(yàn)網(wǎng)絡(luò)安全知識(shí)嵌入，完成知識(shí)抽取。

2.2.1 "網(wǎng)絡(luò)安全運(yùn)維實(shí)體抽取

考慮到CNVD和企業(yè)網(wǎng)絡(luò)安全運(yùn)維日志與報(bào)告等待抽取數(shù)據(jù)中存在的大量跨語(yǔ)言現(xiàn)象，網(wǎng)絡(luò)安全領(lǐng)域數(shù)據(jù)中包含著大量的非標(biāo)準(zhǔn)英文縮寫(xiě)以及復(fù)雜的中文長(zhǎng)實(shí)體，基于BiLSTM?CRF模型，在數(shù)據(jù)驅(qū)動(dòng)模式[13]的基礎(chǔ)上，結(jié)合網(wǎng)絡(luò)安全預(yù)訓(xùn)練模型Cyber?BERT[14]進(jìn)行先驗(yàn)網(wǎng)絡(luò)安全知識(shí)嵌入，采用訓(xùn)練詞向量和注意力機(jī)制來(lái)加強(qiáng)對(duì)復(fù)雜長(zhǎng)實(shí)體的學(xué)習(xí)能力。得到的改進(jìn)后BiLSTM?CRF模型結(jié)構(gòu)如圖2所示，整個(gè)模型由輸入層、嵌入層、BiLSTM層、注意力層和CRF層五部分組成。其中：輸入層構(gòu)建包含文本和文本特征的輸入序列；嵌入層通過(guò)BERT模型加載網(wǎng)絡(luò)安全預(yù)訓(xùn)練詞嵌入向量來(lái)獲取文本的詞匯語(yǔ)義信息和詞典中的實(shí)體，一同訓(xùn)練出實(shí)體編碼輸入模型；BiLSTM層執(zhí)行全局特征提取，將其向量輸出到注意力層；注意力層對(duì)全局特征中的各個(gè)向量進(jìn)行注意力計(jì)算，以提取局部特征，將包含全局特征、局部特征和領(lǐng)域字典特征的聯(lián)合特征向量序列輸入到CRF解碼層；CRF層命名實(shí)體識(shí)別模型，用于預(yù)測(cè)全局最優(yōu)標(biāo)記序列。

1） 輸入層

輸入層負(fù)責(zé)文本預(yù)處理，對(duì)于輸入的文本集合[Stt=1，2，…，n]，生成BERT模型能夠接受的輸入序列[att=1，2，…，n]，其中[at]包含三段輸入，[at=awordt，atagt，apost]，即字符序列、標(biāo)簽序列以及位置編碼序列。

2） 嵌入層

嵌入層包括單詞嵌入和領(lǐng)域詞典嵌入。單詞嵌入以文本中的句子為輸入，得到向量表示，是一種分布式的單詞表示方法，能夠從廣域數(shù)據(jù)中學(xué)習(xí)單詞的語(yǔ)義和語(yǔ)法信息。采用文獻(xiàn)[14]的Cyber?BERT模型作為文本編碼器，其利用大量網(wǎng)絡(luò)安全領(lǐng)域的語(yǔ)料進(jìn)行預(yù)訓(xùn)練，對(duì)網(wǎng)絡(luò)安全領(lǐng)域文本的特征更敏感。給定一組句子輸入序列[att=1，2，…，n]，通過(guò)BERT模型預(yù)訓(xùn)練的標(biāo)記嵌入矩陣映射生成單詞向量，表示為[xtt=1，2，…，n]，作為BiLSTM編碼層的輸入。

領(lǐng)域詞典特征嵌入?yún)⒖糒UKE[15]模型的思想，在訓(xùn)練時(shí)將句子在領(lǐng)域詞典Dsec索引出網(wǎng)絡(luò)安全實(shí)體，一同加入到句子輸入尾部并標(biāo)記，表示基于給定詞典的單詞標(biāo)簽。再通過(guò)BERT模型提取，得到表示句子中網(wǎng)絡(luò)安全實(shí)體的詞級(jí)邊界特征。給定一個(gè)輸入序列[att=1，2，…，n]和一個(gè)外部域字典Dsec，基于BERT模型并通過(guò)LUKE的特征范式構(gòu)造文本段序列[et=Ewordt，Etagt，Epostt=1，2，…，n]。其中，[Ewordt=w1，w2，…，wn，wn∈Dsec]；[Etagt=entity，entity，…]；[Epost=d1，d2，…，dn]。本文使用的特征范式如表3所示。

對(duì)于每個(gè)句子，將句子在詞典中匹配到的實(shí)體單獨(dú)加入到句子尾部，并計(jì)算相對(duì)位置編碼以及新標(biāo)簽，表示為：[atet=awordtEwordt，atagtEtagt，apostEpost]。

最后將序列輸入到Cyber?BERT模型中獲得包含單詞嵌入[xtt=1，2，…，n]和句子網(wǎng)絡(luò)安全實(shí)體邊界信息的特征嵌入向量序列[gtt=1，2，…，n]，用公式表示為：

[xt，gt=BERTCyberatet] （1）

3） BiLSTM層

LSTM解決了傳統(tǒng)遞歸循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）結(jié)構(gòu)訓(xùn)練過(guò)程中梯度消失和梯度爆炸的問(wèn)題。BiLSTM構(gòu)造是雙向的LSTM，從正向和反向兩層LSTM網(wǎng)絡(luò)提取出輸入序列的隱層狀態(tài)[ht]和[ht]。對(duì)于輸入序列[att=1，2，…，n]，進(jìn)入嵌入層獲得嵌入序列[xtt=1，2，…，n]，輸入到LSTM層后獲得包含上下位信息的特征向量[hxt]，而字典特征嵌入序列[gtt=1，2，…，n]輸入到LSTM層后，獲得包含邊界信息的特征向量[hgt]。這兩組BiLSTM網(wǎng)絡(luò)相互獨(dú)立，不共享任何參數(shù)，因此可以公式化定義如下：

[hxt=BiLSTMhxt+1，hxt-1，xt] （2）

[hgt=BiLSTMhgt+1，hgt-1，gt] （3）

4） 注意力層

注意力機(jī)制是一種選擇機(jī)制，它有選擇地關(guān)注某些重要信息，忽略同時(shí)收到的其他信息。BiLSTM在文本處理中考慮了上下位信息，根據(jù)文本中信息的重要性為關(guān)鍵信息賦予更大的權(quán)重，而為其他信息賦予更小的權(quán)重。注意力分?jǐn)?shù)計(jì)算公式如下：

[AttentionQ，K，V=softmaxQKTdK·V] （4）

式中：Q、K、V分別為Query、Key和Value三個(gè)向量矩陣；[dK]是縮放因子，具體為K的維度。

這里采用多頭注意力模型，在不共享參數(shù)的前提下，多頭注意力機(jī)制中的每一層通過(guò)參數(shù)矩陣映射V、K和Q，然后執(zhí)行縮放點(diǎn)積注意力計(jì)算。根據(jù)多頭注意力的層數(shù)h，執(zhí)行h次相同的操作。最后，拼接每一層的結(jié)果，獲得來(lái)自不同角度、不同維度的序列特征。計(jì)算公式如下：

[headi=AttentionQWQi，KWKi，VWVi] （5）

[MultiHeadQ，K，V=Concatheadi，…，headh] （6）

式中：[WQi]、[WKi∈RdK×dK]、[WVi∈RdV×dV]；Concat（·）為拼接每一層注意力的函數(shù)。

5） CRF層

在CRF層通過(guò)輸入多組相同的特征向量[hxt]，具體為注意力頭數(shù)，經(jīng)過(guò)注意力層獲得注意力向量[st]。然后將[hxt]和[st]連接起來(lái)，得到結(jié)合上下位特征和自身特征的信息向量[ot]。具體公式如下：

[st=MultiHeadhxt，…] （7）

[ot=Concatst，hxt] （8）

將信息向量[ot]和包含領(lǐng)域字典特征以及邊界信息的特征向量[hgt]結(jié)合，得到最終的信息向量表示[pt]，作為CRF層的輸入。

[pt=Concatot，hgt] （9）

在實(shí)際的標(biāo)簽序列中，標(biāo)簽本身有一定的約束規(guī)則，如句子開(kāi)頭的單詞標(biāo)簽只能是“O”或“B?type”，“I?type”必須跟在“B?type”后面，不能單獨(dú)出現(xiàn)。使用條件隨機(jī)場(chǎng)（CRF）模型對(duì)前一層生成的信息向量進(jìn)行解碼，正確考慮標(biāo)簽之間的隱性約束，獲得準(zhǔn)確性更高的標(biāo)簽預(yù)測(cè)序列。

給定一組輸入序列[p=（p1，p2，…，pn）]，通過(guò)CRF層預(yù)測(cè)標(biāo)簽的得分[y=（y1，y2，…，yn）]。最后，使用softmax函數(shù)歸一化所有可能的標(biāo)簽選擇，獲得y的條件概率。計(jì)算公式如下：

[sp，y=i=0nZi，yi+i=0nTyi，yi+1] （10）

[pyp=expsp，yy∈Yexpsp，y] （11）

式中：p是由BiLSTM層和注意力層生成的信息向量矩陣；[Zi，yi]是句子中第i個(gè)單詞對(duì)應(yīng)標(biāo)簽[yi]的可能性分?jǐn)?shù)；[Tyi，yi+1]代表從標(biāo)簽狀態(tài)[yi]～[yi+1]的轉(zhuǎn)移概率；[y]是真實(shí)標(biāo)簽值；y是所有可能標(biāo)簽序列的集合。

最后通過(guò)標(biāo)簽序列逆向解讀文本，將對(duì)應(yīng)實(shí)體標(biāo)簽下的文本段抽取出來(lái)，形成實(shí)體集合[C=（c1，c2，…，cn）]，即可完成對(duì)企業(yè)網(wǎng)絡(luò)安全運(yùn)維數(shù)據(jù)中的實(shí)體抽取。

2.2.2 "基于本體匹配的網(wǎng)絡(luò)安全關(guān)系生成

由于企業(yè)網(wǎng)絡(luò)安全數(shù)據(jù)本身具有較為明確的關(guān)聯(lián)性，通過(guò)流水線實(shí)體關(guān)系抽取模式，在對(duì)每一份網(wǎng)絡(luò)安全運(yùn)維文本數(shù)據(jù)抽取出各類(lèi)實(shí)體后，再基于本體匹配的方式對(duì)抽取出的各網(wǎng)絡(luò)安全實(shí)體進(jìn)行關(guān)系匹配，生成相應(yīng)的三元組[Ttt=1，2，…，n]，形成網(wǎng)絡(luò)安全實(shí)體之間的關(guān)系鏈接。最后將三元組存入數(shù)據(jù)庫(kù)中，則可構(gòu)建出網(wǎng)絡(luò)安全運(yùn)維知識(shí)圖譜（KG）。整個(gè)過(guò)程可公式化為：

[Tt=Mapcm，cn=cm，r，cn]

[r∈include，happened，reasonOf，responseOf] （12）

[KG=T1，T2，…，Tn]

式中：[Map·]表示基于本體的上下位實(shí)體關(guān)系匹配函數(shù)；[r]為實(shí)體間的關(guān)系。

3 "實(shí) "驗(yàn)

3.1 "數(shù)據(jù)集

由于目前在網(wǎng)絡(luò)安全領(lǐng)域沒(méi)有統(tǒng)一的數(shù)據(jù)語(yǔ)料庫(kù)，所以使用開(kāi)源的網(wǎng)絡(luò)安全語(yǔ)料來(lái)訓(xùn)練和評(píng)估抽取模型的性能。該數(shù)據(jù)集[16]由基于機(jī)器學(xué)習(xí)算法從網(wǎng)絡(luò)安全領(lǐng)域提取的數(shù)據(jù)組成，從Freebuf網(wǎng)站和Wooyun漏洞數(shù)據(jù)庫(kù)收集數(shù)據(jù)并標(biāo)注構(gòu)建出中國(guó)網(wǎng)絡(luò)安全NER數(shù)據(jù)集，主要包括技術(shù)共享、網(wǎng)絡(luò)安全、漏洞信息等安全文本數(shù)據(jù)。這個(gè)數(shù)據(jù)集包括6種類(lèi)型的安全實(shí)體，即技術(shù)人員（PER）、地理位置（LOC）、網(wǎng)絡(luò)安全組織（ORG）、軟件（SW）、相關(guān)術(shù)語(yǔ)（RT）和漏洞（VUL_ID）。完整的數(shù)據(jù)集包含478 000個(gè)句子，選擇其中80%作為訓(xùn)練集，10%作為驗(yàn)證集，其余10%作為測(cè)試集。

表4描述了數(shù)據(jù)集的大小，同時(shí)，額外添加了一些漏洞數(shù)據(jù)以平衡數(shù)據(jù)分布。

表5詳細(xì)說(shuō)明了每個(gè)實(shí)體類(lèi)別在不同數(shù)據(jù)集中的分布。

網(wǎng)絡(luò)安全詞典來(lái)自文獻(xiàn)[13]所構(gòu)建的網(wǎng)絡(luò)安全實(shí)體詞典，包含7 892個(gè)實(shí)體，其中5 709個(gè)來(lái)自NVD和CVE數(shù)據(jù)集，1 263個(gè)來(lái)自網(wǎng)絡(luò)安全博客數(shù)據(jù)，920個(gè)來(lái)自維基百科，如表6所示。

3.2 "基線模型及實(shí)驗(yàn)指標(biāo)

在實(shí)驗(yàn)中，使用精確度（P）、召回率（R）和F1值三個(gè)指標(biāo)評(píng)估網(wǎng)絡(luò)安全NER模型。在本文中，BiLSTM?CRF作為基線模型，消融模型是BiLSTM?Att?CRF使用注意力機(jī)制；BERT?BiLSTM?Att?CRF模型添加了BERT編碼特征向量。本文模型是BERT（with dict）?BiLSTM?Att?CRF，進(jìn)一步添加了實(shí)體嵌入功能，為模型提供了網(wǎng)絡(luò)安全實(shí)體的詞級(jí)特征邊界信息。

3.3 "模型設(shè)置

模型的標(biāo)準(zhǔn)是在BiLSTM層設(shè)置隱層大小為128，Batch Size為32，學(xué)習(xí)率為0.001，訓(xùn)練40個(gè)Epoch。本文模型的特征BiLSTM大小設(shè)置為32，注意力頭為8。

3.4 "實(shí)驗(yàn)分析

表7列出了這些模型的實(shí)驗(yàn)結(jié)果。在基線模型中添加字典信息和注意力機(jī)制可以提高網(wǎng)絡(luò)安全運(yùn)維數(shù)據(jù)NER的F1值。在標(biāo)注模型中加入適當(dāng)?shù)耐獠恐R(shí)或特征，有利于提高識(shí)別結(jié)果。使用多頭自注意力機(jī)制可以捕獲多個(gè)不同子空間中的上下位信息，提高不規(guī)則文本的實(shí)體識(shí)別性能。本文模型達(dá)到了最佳結(jié)果，準(zhǔn)確率、召回率和F1值為87.5%、91.5%和89.4%，分別比基線模型高4.9%、16.5%、10.1%，在充分捕捉句子特征的基礎(chǔ)上添加外部信息，可以更好地幫助識(shí)別網(wǎng)絡(luò)安全實(shí)體。

從表8中可以看出，相比基線模型而言，本文模型對(duì)數(shù)據(jù)集中的6種標(biāo)簽都有更好的性能。此外，模型在表示網(wǎng)絡(luò)軟件（SW）的抽取中表現(xiàn)不佳，分析可能的原因是模型對(duì)于夾雜英文以及命名方式不規(guī)則的軟件長(zhǎng)實(shí)體存在邊界混淆。未來(lái)針對(duì)這種嵌入式的復(fù)雜實(shí)體采用雙重標(biāo)注方法，使模型在訓(xùn)練時(shí)能夠?qū)W習(xí)到嵌入式的復(fù)雜實(shí)體邊界規(guī)則，以期望獲得更好的實(shí)體抽取性能。

3.5 "圖譜構(gòu)造結(jié)果

從來(lái)自于某企業(yè)的日常網(wǎng)絡(luò)安全運(yùn)維管理所產(chǎn)生的10萬(wàn)份運(yùn)維日志中抽取出大量的網(wǎng)絡(luò)安全運(yùn)維實(shí)體以及關(guān)系。將這些實(shí)體與關(guān)系數(shù)據(jù)輸入到Neo4j進(jìn)行圖譜的可視化管理以及存儲(chǔ)。企業(yè)網(wǎng)絡(luò)安全運(yùn)維知識(shí)圖譜構(gòu)建結(jié)果如圖3所示。

圖3中包含了本體建模所構(gòu)造的五類(lèi)共100 648個(gè)企業(yè)網(wǎng)絡(luò)安全運(yùn)維實(shí)體、四類(lèi)共300 098個(gè)實(shí)體間關(guān)系的企業(yè)網(wǎng)絡(luò)安全運(yùn)維知識(shí)圖譜，能夠有效地反映出企業(yè)在日常網(wǎng)絡(luò)安全運(yùn)維的網(wǎng)絡(luò)態(tài)勢(shì)。相較于傳統(tǒng)的基于預(yù)先設(shè)定規(guī)則的監(jiān)控系統(tǒng)，知識(shí)圖譜能夠展示更深層次的關(guān)聯(lián)情況，為管理人員在進(jìn)行網(wǎng)絡(luò)安全運(yùn)維管理時(shí)提供可靠的知識(shí)輔助。

4 "結(jié) "語(yǔ)

本文通過(guò)加入基于BERT模型的網(wǎng)絡(luò)安全詞典特征嵌入模塊以及多頭注意力機(jī)制，改良了基線模型BiLSTM?CRF在對(duì)于網(wǎng)絡(luò)安全運(yùn)維數(shù)據(jù)的實(shí)體抽取性能，并初步設(shè)計(jì)構(gòu)建了一個(gè)面向企業(yè)網(wǎng)絡(luò)安全運(yùn)維管理的知識(shí)圖譜。該成果可以進(jìn)一步指導(dǎo)后續(xù)開(kāi)展基于圖譜的網(wǎng)絡(luò)安全策略推薦系統(tǒng)或網(wǎng)絡(luò)安全攻擊分類(lèi)識(shí)別系統(tǒng)等研究。本文模型在面對(duì)一些無(wú)特定語(yǔ)法的跨語(yǔ)言網(wǎng)絡(luò)安全實(shí)體的抽取上表現(xiàn)并不如意，未來(lái)期望針對(duì)這類(lèi)實(shí)體特征進(jìn)行研究，提出準(zhǔn)確率更高的模型。

參考文獻(xiàn)

[1] 佚名.《中國(guó)互聯(lián)網(wǎng)發(fā)展報(bào)告（2022）》正式發(fā)布[J].新聞世界，2022（10）：58.

[2] 丁兆云，劉凱，劉斌，等.網(wǎng)絡(luò)安全知識(shí)圖譜研究綜述[J].華中科技大學(xué)學(xué)報(bào)（自然科學(xué)版），2021，49（7）：79?91.

[3] ABU?SALIH B. Domain?specific knowledge graphs： a survey [J]. Journal of network and computer applications， 2021， 185： 103076.

[4] JI S， PAN S， CAMBRIA E， et al. A survey on knowledge graphs： representation， acquisition， and applications [J]. IEEE transactions on neural networks and learning systems， 2021， 33（2）： 494?514.

[5] RAZZAQ A，ANWAR Z，AHMAD H F，et al．Ontology for attack detection： an intelligent approach to web application security [J]. Computers amp; security， 2014， 45（S1）： 124?146．

[6] ZHU X， HUANG J， ZHOU B， et al. Real?time personalized twitter search based on semantic expansion and quality model [J]. Neurocomputing， 2017， 254（6）： 13?21.

[7] HUANG Z N， XU W， YU K. Bidirectional LSTM?CRF models for sequence tagging [J]. Computer science， 2015（1）： 01991.

[8] DEVLIN J， CHANG M W， LEE K， et al. Bert： pre?training of deep bidirectional transformers for language understanding [EB/OL]. [2022?04?17]. https：//arxiv.org/pdf/1810.04805.

[9] LAN Z， CHEN M， GOODMAN S， et al. Albert： a lite BERT for self?supervised learning of language representations [EB/OL]. [2022?11?04]. https：//arxiv.org/abs/1909.11942.

[10] LI X， YAN H， QIU X， et al. FLAT： Chinese NER using flat?lattice transformer [EB/OL]. [2022?07?08]. http：//arxiv.org/abs/2004.11795.

[11] LIU W， ZHOU P， ZHAO Z， et al. K?bert： Enabling language representation with knowledge graph [J]. Proceedings of the AAAI conference on artificial intelligence， 2020， 34（3）： 2901?2908.

[12] AN Y， XIA X， CHEN X， et al. Chinese clinical named entity recognition via multi?head self?attention based BiLSTM?CRF [J]. Artificial intelligence in medicine， 2022， 127： 102282.

[13] GAO C， ZHANG X， LIU H. Data and knowledge?driven named entity recognition for cyber security [J]. Cybersecurity， 2021， 4（1）： 1?13.

[14] AMERI K， HEMPEL M， SHARIF H， et al. CyBERT： cyber?security claim classification by fine?tuning the bert language model [J]. Journal of cybersecurity and privacy， 2021， 1（4）： 615?637.

[15] YAMADA I， ASAI A， SHINDO H， et al. Luke： deep context?ualized entity representations with entity?aware self?attention [EB/OL]. [2022?01?11]. https：//arxiv.org/abs/2010.01057v1.

[16] QIN Y， SHEN G， ZHAO W， et al. A network security entity recognition method based on feature template and CNN?BiLSTM?CRF [J]. Frontiers of information technology amp; electronic engineering， 2019， 20（6）： 872?884.