基于深度學(xué)習(xí)的軍事領(lǐng)域?qū)嶓w關(guān)系抽取研究

金軸，李成軍，劉旭波

（中國(guó)人民解放軍91977部隊(duì)，北京 100036）

0 引言

實(shí)體關(guān)系抽取是基于已有的客觀事實(shí)知識(shí)，利用自然語(yǔ)言處理技術(shù)（包括但不限于機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、規(guī)則等方法），從蘊(yùn)含著大量事實(shí)知識(shí)的文本中抽取實(shí)體關(guān)系，生成＜實(shí)體1，關(guān)系，實(shí)體2＞三元組的過(guò)程。近些年深度學(xué)習(xí)技術(shù)在實(shí)體關(guān)系抽取方面的應(yīng)用，不僅在特征提取的深度上超過(guò)傳統(tǒng)的方法，而且在模型的準(zhǔn)確度方面也取得了不錯(cuò)的研究進(jìn)展。實(shí)體關(guān)系抽取越來(lái)越成為信息抽取、信息檢索等自然語(yǔ)言處理任務(wù)的必不可少的環(huán)節(jié)。

隨著信息技術(shù)在軍事領(lǐng)域的發(fā)展，需要處理的軍事數(shù)據(jù)量驟增。從多源異構(gòu)的數(shù)據(jù)中抽取和挖掘有效的信息，不僅有助于充分利用現(xiàn)有的軍事信息，豐富軍事領(lǐng)域資料庫(kù)，有效促進(jìn)構(gòu)建軍事領(lǐng)域強(qiáng)大完整清晰的關(guān)系網(wǎng)絡(luò)，而且也為保衛(wèi)國(guó)家安全做出了間接的貢獻(xiàn)。

但是實(shí)體關(guān)系抽取的應(yīng)用往往面臨著許多的挑戰(zhàn)，例如大規(guī)模的數(shù)據(jù)獲取十分昂貴、實(shí)體識(shí)別錯(cuò)誤容易累積傳播、句子關(guān)系丟失容易造成關(guān)系缺失、冗余關(guān)系信息過(guò)多造成關(guān)系冗余、關(guān)系的長(zhǎng)尾現(xiàn)象嚴(yán)重、許多事實(shí)知識(shí)隱藏在更復(fù)雜的上下文中、關(guān)系類型不斷增長(zhǎng)等，以上問(wèn)題均會(huì)在一定程度上影響實(shí)體關(guān)系抽取的效果。

1 實(shí)體關(guān)系抽取的發(fā)展研究

完整的關(guān)系抽取系統(tǒng)通常包含實(shí)體識(shí)別（Named Entity Recognition）、實(shí)體對(duì)齊（Entity Linking）、關(guān)系分類（Relation Classification），其中關(guān)系分類是最核心、最有挑戰(zhàn)的部分。經(jīng)典的關(guān)系抽取是在大量的人工訓(xùn)練數(shù)據(jù)前提下，通過(guò)預(yù)定義的限定集關(guān)系類型，在單句內(nèi)對(duì)該句表達(dá)的兩實(shí)體間關(guān)系進(jìn)行分類的任務(wù)。

經(jīng)典關(guān)系抽取模型最初是采用基于模式匹配（Pattern Mining）的方法［1］，但模式匹配需要大量的知識(shí)總結(jié)模板，并且模板種類不夠豐富，所以出現(xiàn)了基于特征的方法（Feature-Based Methods），該方法通過(guò)解析句法語(yǔ)法等方式得到句子的特征，利用特征結(jié)合機(jī)器學(xué)習(xí)算法完成關(guān)系抽取。隨著SVM模型的發(fā)展，Guo等人［2］利用SVM模型作為分類器，研究了詞、語(yǔ)法及語(yǔ)義特征對(duì)實(shí)體關(guān)系抽取的影響。同時(shí)，越來(lái)越多人從設(shè)計(jì)SVM中核函數(shù)的角度出發(fā)，研究基于核函數(shù)的方法（Kernel-Based Methods）完成關(guān)系抽取任務(wù)。以上經(jīng)典方法都過(guò)分依賴于詞法分析和句法分析等自然語(yǔ)言處理工具，而自然語(yǔ)言處理中的詞法分析和句法分析往往存在大量錯(cuò)誤，存在人工特征選擇和特征提取誤差累計(jì)傳播等問(wèn)題，對(duì)實(shí)體關(guān)系抽取的效果會(huì)產(chǎn)生不可小覷的影響?；谏疃葘W(xué)習(xí)的實(shí)體關(guān)系抽取可以減少人工特征選擇等步驟，一定程度上避免了特征提取誤差傳播對(duì)實(shí)體關(guān)系抽取效果的影響。因此基于深度學(xué)習(xí)的實(shí)體關(guān)系抽取技術(shù)逐漸成為學(xué)者研究的重點(diǎn)。

目前隨著深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的發(fā)展，絕大多數(shù)關(guān)系抽取模型的建立均基于神經(jīng)網(wǎng)絡(luò)模型（Neural Models）的方法，神經(jīng)網(wǎng)絡(luò)模型的主要優(yōu)勢(shì)在于可以自動(dòng)學(xué)習(xí)語(yǔ)句特征，無(wú)需復(fù)雜的特征工程?；谏窠?jīng)網(wǎng)絡(luò)的關(guān)系抽取模型相比傳統(tǒng)模型，性能上獲得了飛躍式的提升。例如，對(duì)于SemEval-2010 Task 8數(shù)據(jù)集，2013年 在 傳 統(tǒng) 關(guān) 系 抽 取 模 型 上 其F1值 為77.6［3］，2019年在基于神經(jīng)網(wǎng)絡(luò)的關(guān)系抽取模型上其F1值為89.5［4］。

基于深度學(xué)習(xí)的實(shí)體關(guān)系抽取主要分為有監(jiān)督方式和遠(yuǎn)程監(jiān)督方式。有監(jiān)督的深度學(xué)習(xí)實(shí)體關(guān)系抽取方法主要有基于遞歸神經(jīng)網(wǎng)絡(luò)（RNN）、卷積神經(jīng)網(wǎng)絡(luò)（CNN）、長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）等模型的方法，是通過(guò)不同的方式將文本中的句子進(jìn)行編碼，同時(shí)也有研究者從概率圖模型的角度出發(fā)，研究基于概率圖模型（Graphical Models）的方法對(duì)關(guān)系抽取任務(wù)的影響。RNN具有將反饋連接和前饋連接聯(lián)合處理、可處理任意時(shí)序的序列信息等優(yōu)點(diǎn)，能夠自動(dòng)學(xué)習(xí)任意長(zhǎng)度的句子信息。Socher等 人［5］基于RNN模型解 決 了無(wú)法獲取長(zhǎng)短語(yǔ)中構(gòu)成意義的問(wèn)題。CNN模型結(jié)構(gòu)主要由特征提取層和特征映射層組成，相比RNN，具有內(nèi)部結(jié)構(gòu)簡(jiǎn)單、網(wǎng)絡(luò)訓(xùn)練周期短的優(yōu)點(diǎn)，Zheng等人［6］基于CNN模型完成實(shí)體關(guān)系抽取任務(wù)，主要利用卷積深度神經(jīng)網(wǎng)絡(luò)（CDNN）提取詞和句子層次的特征，有效解決了特征提取錯(cuò)誤傳播等問(wèn)題。Zeng等人［7］于2015年對(duì)CNN模型進(jìn)行了改進(jìn)，提出了PCNN模型，用于實(shí)體關(guān)系抽取任務(wù)。RNN模型容易出現(xiàn)梯度下降，使得后面時(shí)間的節(jié)點(diǎn)對(duì)前面時(shí)間的節(jié)點(diǎn)的感知能力下降，LSTM利用門(mén)控操作和細(xì)胞狀態(tài)等特點(diǎn)有效彌補(bǔ)了RNN無(wú) 法 長(zhǎng) 期 依 賴 的 問(wèn) 題。Li等 人［8］提 出 了Bi-LSTM-RNN模型，將實(shí)體上下文的信息分段表示，獲取了更豐富的語(yǔ)義特征信息，有效解決了基于詞法、句法等高成本結(jié)構(gòu)特征依賴的問(wèn)題。

通過(guò)遠(yuǎn)程監(jiān)督（Distant Supervision）的方式，可從公開(kāi)的知識(shí)圖譜及新聞資訊文本中，自動(dòng)獲取標(biāo)注數(shù)據(jù)。但是該方法標(biāo)注數(shù)據(jù)的準(zhǔn)確性較低，會(huì)引入較多噪聲數(shù)據(jù)。而通過(guò)少次學(xué)習(xí)（Few-Shot Learning）的方式，研究更高效的學(xué)習(xí)算法，僅需要少量樣本便可以“學(xué)會(huì)”新的知識(shí)。例如基于FewRel數(shù)據(jù)集［9］，運(yùn)用學(xué)習(xí)語(yǔ)義度量（Metric-Learning）［10］的方法，可有效解決關(guān)系的長(zhǎng)尾現(xiàn)象，但少次學(xué)習(xí)的特征會(huì)使得模型容易受到噪聲數(shù)據(jù)干擾，Lin等人［11］在Zeng等人研究的基礎(chǔ)上引入句子層的自注意力機(jī)制，有效解決了錯(cuò)誤標(biāo)注的問(wèn)題。

本文提出了基于PDCNN和多注意力機(jī)制的實(shí)體識(shí)別模型。模型中利用“字-詞-位置”混合向量表示句子中的詞語(yǔ)和其他語(yǔ)義信息，采用PDCNN模型對(duì)句子進(jìn)行建模，引入Attention機(jī)制有效避免錯(cuò)誤標(biāo)簽問(wèn)題，最后利用非線性分類器來(lái)進(jìn)行分類表示，以此得到最終軍事實(shí)體關(guān)系抽取結(jié)果，同時(shí)，該方法充分解析并利用句子的上下文信息，實(shí)現(xiàn)了跨句級(jí)的實(shí)體關(guān)系抽取。例如輸入文本為“ASO-S（先進(jìn)天基太陽(yáng)天文臺(tái)）是中國(guó)首顆正式工程立項(xiàng)的太陽(yáng)探測(cè)專門(mén)衛(wèi)星，該衛(wèi)星計(jì)劃于2022年左右發(fā)射?！?，本文模型可以抽取出＜ASO-S，發(fā)射日，2022年＞關(guān)系，該關(guān)系的2個(gè)實(shí)體并不存在于同一個(gè)單句中。

2 軍事領(lǐng)域?qū)嶓w關(guān)系抽取模型

2.1 PDCNN模型

PDCNN（Piecewise Dilated Convolutional Neural Networks）是由分段卷積和膨脹卷積組成的速度快、輕量級(jí)的分段膨脹卷積神經(jīng)網(wǎng)絡(luò)。其中分段卷積主要有以下優(yōu)點(diǎn)：首先，遠(yuǎn)程監(jiān)督假設(shè)過(guò)于強(qiáng)烈，易標(biāo)注錯(cuò)誤，引入噪聲數(shù)據(jù)，因此分段卷積將遠(yuǎn)程監(jiān)督關(guān)系抽取視為多實(shí)例問(wèn)題。多實(shí)例問(wèn)題中，多個(gè)實(shí)例組成了一個(gè)包，多個(gè)包組成了訓(xùn)練集，每個(gè)包中標(biāo)簽是已知的，但是不知道包中所有實(shí)例的標(biāo)簽。因此，為了降低包中一部分實(shí)例標(biāo)注錯(cuò)誤所帶來(lái)的影響，分段卷積只選取每一個(gè)包中最接近真實(shí)類別的那一個(gè)預(yù)測(cè)類別作為包的輸出，并且以只考慮每一個(gè)包的預(yù)測(cè)標(biāo)簽為基礎(chǔ)設(shè)計(jì)目標(biāo)函數(shù)。實(shí)驗(yàn)中，誤差的傳播或積累還有可能由傳統(tǒng)NLP工具提取的特征所導(dǎo)致，因此，傳統(tǒng)的復(fù)雜NLP預(yù)處理被分段卷積自動(dòng)特征提取所替代可能會(huì)減小誤差的傳播。為了能在一定程度上提取文本特征的表達(dá)，對(duì)卷積層輸出使用了單一最大池化?；诖?，膨脹卷積可能表現(xiàn)出不錯(cuò)的性能。

膨脹卷積能夠使得CNN模型捕捉更遠(yuǎn)的距離。圖1為普通CNN與膨脹CNN的結(jié)構(gòu)對(duì)比，可以看出，針對(duì)結(jié)構(gòu)相同的卷積神經(jīng)網(wǎng)絡(luò)（窗口大小為3，三層），普通CNN模型的第三層中每個(gè)節(jié)點(diǎn)能捕捉到第二層前后三個(gè)節(jié)點(diǎn)的信息，但是，膨脹CNN模型，在參數(shù)數(shù)量和模型速度保持不變的情況下，其第三層中每個(gè)節(jié)點(diǎn)能捕捉到第二層中前后九個(gè)節(jié)點(diǎn)的信息。其原因主要為在第二層卷積時(shí)，膨脹CNN跳過(guò)與中心相鄰的節(jié)點(diǎn)，直接捕捉與中心次相鄰的節(jié)點(diǎn)，意味著出現(xiàn)了2個(gè)空洞，此時(shí)膨脹率為2。在第三層卷積時(shí)，膨脹CNN跳過(guò)與中心相鄰的三個(gè)節(jié)點(diǎn)，意味著出現(xiàn)了六個(gè)空洞，此時(shí)膨脹率為4。膨脹卷積遵循著“盡量不重不漏”的原則，最大程度上提高了模型的有效性和準(zhǔn)確性。

圖1 普通CNN與膨脹CNN結(jié)構(gòu)對(duì)比

2.2 基于PDCNN和多注意力機(jī)制關(guān)系抽取模型

本文實(shí)體關(guān)系抽取模型的整體結(jié)構(gòu)示意圖如圖2所示，輸入的句子通過(guò)字、詞、位置混合向量組成DCNN的輸入詞嵌入x，通過(guò)DCNN中的膨脹卷積、最大池化等步驟獲得最終句子的特征抽取向量表示X。

圖2 PDCNN模型結(jié)構(gòu)圖

接下來(lái)引入了句子層面和關(guān)系層面的注意力機(jī)制模型。首先在句子層面的注意力機(jī)制模型中，采用基于多實(shí)例學(xué)習(xí)的注意力機(jī)制。在包含同一對(duì)實(shí)體的句子集中，通過(guò)模型預(yù)測(cè)得到的實(shí)體關(guān)系與句子相關(guān)性的大小用權(quán)重表示。假設(shè)有包含同一對(duì)實(shí)體的k個(gè)句子組成句子集S=｛s1，s2，…，sk｝，則相同實(shí)體對(duì)所在句子集S和預(yù)測(cè)關(guān)系的相關(guān)程度可以用句子向量加權(quán)和來(lái)表示，即：

式中，句子集S中的句子與預(yù)測(cè)關(guān)系相關(guān)程度用βi∈[0，1]表示，且=1。權(quán)重βi通過(guò)計(jì)算句子集S中句子向量與預(yù)測(cè)關(guān)系向量?jī)?nèi)積，并經(jīng)softmax函數(shù)處理得到，即：

式中，加權(quán)對(duì)角矩陣為A，預(yù)測(cè)關(guān)系r的向量表示為vr。在關(guān)系層面的注意力機(jī)制模型中，因每個(gè)關(guān)系間存在關(guān)聯(lián)性和相似性，且不同關(guān)系在同一實(shí)體對(duì)上相關(guān)聯(lián)程度存在差異，因此2個(gè)關(guān)系間相關(guān)程度用權(quán)重來(lái)表示，采用類似句子層面注意力機(jī)制獲取關(guān)系向量表示。假設(shè)存在關(guān)系集合C=｛R1，R2，…，Rn｝，則關(guān)系Ri加權(quán)表示為：

式中，γij∈[0，1]表示Ri與Rj相似性，且=1。權(quán)重γij是關(guān)系Ri與Rj向量?jī)?nèi)積，經(jīng)softmax函數(shù)處理得到，即：

式中，加權(quán)對(duì)角矩陣為B。

通過(guò)多注意力機(jī)制層得到的關(guān)系表示為｛R′1，R′2，…，R′n｝，然后利用線性表示獲取關(guān)系抽取分類結(jié)果，即：

式中，Wi表示實(shí)體關(guān)系類別權(quán)重，bi表示偏移量。每種關(guān)系類別通過(guò)softmax函數(shù)得到預(yù)測(cè)條件概率，即：

式中，i∈(1，2，…，nr)，M表示所有對(duì)齊句子的集合，nr表示關(guān)系數(shù)量。

3 實(shí)驗(yàn)及分析

本文使用Keras 2.2.4、Google開(kāi)源深度學(xué)習(xí)框架Tensorflow1.8搭建模型。實(shí)驗(yàn)環(huán)境為L(zhǎng)inux操作系統(tǒng)，8G內(nèi)存；編程平臺(tái)為Pycharm，Python 2.7版本。

3.1 語(yǔ)料準(zhǔn)備

本次實(shí)驗(yàn)爬取了公開(kāi)資訊html網(wǎng)頁(yè)，通過(guò)人工標(biāo)注的方式將網(wǎng)頁(yè)中的信息處理為三元組形式，例如“1995年發(fā)射，美國(guó)研制的SOHO衛(wèi)星能給太陽(yáng)進(jìn)行‘全身體檢’”，經(jīng)過(guò)人工標(biāo)注為＜SOHO衛(wèi)星，研發(fā)國(guó)家，美國(guó)＞、＜SOHO衛(wèi)星，發(fā)射日，1995年＞。本次實(shí)驗(yàn)共標(biāo)注了約2萬(wàn)條三元組。表1展示了部分實(shí)驗(yàn)數(shù)據(jù)準(zhǔn)備情況，本文實(shí)驗(yàn)訓(xùn)練語(yǔ)料、驗(yàn)證語(yǔ)料和測(cè)試語(yǔ)料比例為8∶1∶1。

表1 實(shí)驗(yàn)數(shù)據(jù)準(zhǔn)備

參照表1，本實(shí)驗(yàn)主要抽取“生產(chǎn)商”“研發(fā)單位”“制造廠”和“擁有國(guó)家或地區(qū)”等類型關(guān)系。其中，“生產(chǎn)商”關(guān)系描述了使用該坦克的制造廠；“研發(fā)單位”關(guān)系描述了該衛(wèi)星的制造廠；“制造廠”關(guān)系描述了使用飛機(jī)的制造廠；“坦克擁有國(guó)家或地區(qū)”關(guān)系描述了使用該坦克的國(guó)家或地區(qū)；“衛(wèi)星擁有國(guó)家或地區(qū)”關(guān)系描述了使用該種衛(wèi)星的國(guó)家或地區(qū)；“飛機(jī)使用國(guó)家或地區(qū)”描述了使用該飛機(jī)的國(guó)家或地區(qū)。

3.2 實(shí)驗(yàn)對(duì)比

為驗(yàn)證本文提出的方法的有效性，本文從不同角度設(shè)計(jì)了不同關(guān)系抽取方法下的實(shí)驗(yàn)對(duì)比。

為了驗(yàn)證詞向量對(duì)實(shí)體關(guān)系抽取效果的影響，本文設(shè)計(jì)了PDCNN+多注意力機(jī)制模型分別接入字向量和字詞混合向量的實(shí)驗(yàn)對(duì)比。本實(shí)驗(yàn)選取HanLP分詞工具進(jìn)行分詞，基于已采集的軍事領(lǐng)域數(shù)據(jù)集，利用Word2Vec模型的Skip Gram+負(fù)采樣的方式訓(xùn)練了軍事領(lǐng)域詞向量，假設(shè)詞的字?jǐn)?shù)為n，則將詞向量重復(fù)訓(xùn)練n次，基于字向量序列對(duì)齊詞向量序列，通過(guò)矩陣變換，統(tǒng)一字向量與詞向量的緯度，最終將字向量與詞向量相加得到字詞混合向量。PDCNN+多注意力機(jī)制模型分別接入字向量和字詞混合向量的實(shí)驗(yàn)結(jié)果如表2所示。通過(guò)對(duì)比發(fā)現(xiàn)，相比基于字向量的F1值，基于字詞混合向量的F1值約提高2.97%。原因在于雖然使用基于字向量能夠有效避免邊界切分的錯(cuò)誤，但是單純的字向量無(wú)法存儲(chǔ)上下文連貫的語(yǔ)義信息。而預(yù)訓(xùn)練的詞向量存儲(chǔ)了上下文先驗(yàn)語(yǔ)義特征。所以基于字詞混合向量不僅保留了字向量的靈活性，而且融合了詞向量的先驗(yàn)語(yǔ)義信息，最大程度上豐富了信息特征表示，實(shí)現(xiàn)了跨句級(jí)的實(shí)體關(guān)系抽取。

表2 PDCNN+多注意力機(jī)制模型詞向量對(duì)比 %

為了驗(yàn)證PDCNN模型針對(duì)實(shí)體關(guān)系抽取效果的有效性，本文設(shè)計(jì)了普通CNN模型與PDCNN模型的實(shí)驗(yàn)對(duì)比。實(shí)驗(yàn)方法為統(tǒng)一使用字詞混合向量作為特征表示，只將模型框架中的PDCNN模型替換為普通CNN模型，將2種情況下的實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比，針對(duì)主要關(guān)系抽取結(jié)果如圖3所示，對(duì)于整體的關(guān)系抽取效果如表3所示?？梢钥闯觥吧a(chǎn)商”“研發(fā)單位”“制造廠”“飛機(jī)使用國(guó)家或地區(qū)”四種關(guān)系相比CNN模型有部分提升，“坦克擁有國(guó)家或地區(qū)”“衛(wèi)星擁有國(guó)家或地區(qū)”2種關(guān)系相比CNN模型具有較大的提升，原因在于PDCNN模型相比普通CNN模型，使用了分段膨脹卷積并且引入了句子層注意力機(jī)制和關(guān)系層注意力機(jī)制，以此減少了啟發(fā)式實(shí)體對(duì)齊產(chǎn)生的錯(cuò)誤標(biāo)注，從而有效提高了實(shí)體關(guān)系抽取的整體效果。

圖3 不同關(guān)系抽取方法F1值比較

表3 CNN與PDCNN實(shí)驗(yàn)結(jié)果對(duì)比 %

4 結(jié)束語(yǔ)

本文基于軍事領(lǐng)域數(shù)據(jù)集，提出了字詞混合向量結(jié)合PDCNN+多注意力機(jī)制模型的軍事領(lǐng)域?qū)嶓w關(guān)系抽取方法。通過(guò)實(shí)驗(yàn)，有效驗(yàn)證了字詞混合向量豐富語(yǔ)義特征，PDCNN模型一定程度上解決了特征提取錯(cuò)誤累計(jì)傳播、上下文關(guān)系信息丟失等問(wèn)題，另外，采用本文方法不僅可以大幅減少標(biāo)注數(shù)據(jù)的工作量，而且可以提高實(shí)體關(guān)系抽取的效率。在繼續(xù)研究實(shí)體關(guān)系抽取任務(wù)的同時(shí)，擴(kuò)展軍事領(lǐng)域其他的自然語(yǔ)言處理任務(wù)，使得軍事數(shù)據(jù)充分利用，將是進(jìn)一步研究的方向。■