基于詞向量和遠(yuǎn)程監(jiān)督學(xué)習(xí)的格薩爾領(lǐng)域知識(shí)發(fā)現(xiàn)方法研究

陳 博 陳建龍

（北京大學(xué)信息管理系 北京 100871）

引言

知識(shí)是人們從實(shí)踐經(jīng)驗(yàn)中總結(jié)出來且被新的實(shí)踐所證實(shí)的規(guī)律及經(jīng)驗(yàn)的總結(jié)，是可以用于推理的規(guī)則。[1]在計(jì)算機(jī)、互聯(lián)網(wǎng)、大數(shù)據(jù)等科技手段共同締造的“信息爆炸”時(shí)代，日益凸顯的“信息過載”和“信息迷航”現(xiàn)象揭示了人們知識(shí)獲取相對(duì)困難的窘境，同時(shí)也引起了相關(guān)領(lǐng)域研究者的注意。當(dāng)前的知識(shí)在數(shù)量規(guī)模、數(shù)據(jù)粒度、[2]數(shù)據(jù)結(jié)構(gòu)、表示方式、更新速度等方面均處于前所未有的復(fù)雜環(huán)境，在此環(huán)境中的知識(shí)往往有密度低、關(guān)聯(lián)多、[3]具有模糊性等特點(diǎn)，必然會(huì)影響知識(shí)發(fā)現(xiàn)的時(shí)間與效果。如何在海量的信息中高效發(fā)現(xiàn)目標(biāo)知識(shí)，已成為大眾與研究者共同關(guān)注的話題。

知識(shí)發(fā)現(xiàn)可分為數(shù)據(jù)庫知識(shí)發(fā)現(xiàn)(Knowledge Discovery in Database)與基于文獻(xiàn)的知識(shí)發(fā)現(xiàn)，分別針對(duì)結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)展開。[4-5]知識(shí)發(fā)現(xiàn)需在知識(shí)抽取基礎(chǔ)上進(jìn)行。關(guān)系抽取作為知識(shí)抽取的重要組成部分，指自動(dòng)從文本中檢測(cè)和識(shí)別出實(shí)體之間具有的某種語義關(guān)系，在知識(shí)圖譜自動(dòng)構(gòu)建、信息獲取技術(shù)支撐等方面具有重要意義和廣闊前景。[6]弱監(jiān)督關(guān)系抽取方法是當(dāng)前相關(guān)研究的一大熱點(diǎn)，[7]為我們展示了一種通過機(jī)器學(xué)習(xí)，基于少量標(biāo)注數(shù)據(jù)完成大規(guī)模知識(shí)抽取的有效方法，為相關(guān)知識(shí)發(fā)現(xiàn)提供了可能的途徑。

本文以格薩爾學(xué)科領(lǐng)域?yàn)槔归_知識(shí)發(fā)現(xiàn)研究。英雄史詩《格薩爾》被譽(yù)為“東方的荷馬史詩”，以主人公征戰(zhàn)立業(yè)為主線，構(gòu)建了篇幅約2000萬字的宏大史詩，對(duì)其文化輻射區(qū)域產(chǎn)生了深遠(yuǎn)的影響，相關(guān)研究從11世紀(jì)發(fā)展至今積累了大量領(lǐng)域知識(shí)并在多個(gè)細(xì)分領(lǐng)域取得成果。從人物領(lǐng)域來看，史詩中人物形象多達(dá)3000余個(gè)，[8]人物間關(guān)系錯(cuò)綜復(fù)雜，相關(guān)研究對(duì)學(xué)科發(fā)展的重要性不言而喻。現(xiàn)有研究多從文學(xué)視角出發(fā)，對(duì)人物形象、性格等進(jìn)行分析[9-10]，也涉及人物體系[11]、王室發(fā)展[12]等方面，但尚未構(gòu)建出成體系的人物關(guān)系網(wǎng)絡(luò)。此外，由于格薩爾學(xué)科還未建立系統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)庫，加之史詩具有的專業(yè)性領(lǐng)域知識(shí)、敘事性文本結(jié)構(gòu)、文學(xué)性語言表達(dá)，對(duì)該學(xué)科領(lǐng)域人物的關(guān)系抽取和知識(shí)發(fā)現(xiàn)提出了更高要求。

對(duì)此，本研究擬運(yùn)用機(jī)器學(xué)習(xí)技術(shù)，以詞向量與遠(yuǎn)程監(jiān)督學(xué)習(xí)為基礎(chǔ)，將非結(jié)構(gòu)化知識(shí)進(jìn)行結(jié)構(gòu)化表示，結(jié)合知識(shí)圖譜訓(xùn)練，完成領(lǐng)域人物知識(shí)的抽取，并嘗試在格薩爾學(xué)科領(lǐng)域自動(dòng)發(fā)現(xiàn)人物關(guān)系，對(duì)新領(lǐng)域知識(shí)中的人物關(guān)系抽取方式進(jìn)行探索，以期將其作為對(duì)傳統(tǒng)基于規(guī)則的人物關(guān)系抽取方法的補(bǔ)充，優(yōu)化人物之間隱含關(guān)系的發(fā)現(xiàn)效果。

一、相關(guān)研究

（一）詞向量

詞向量（Word Embedding）是一種自然語言處理（NLP）中的語言建模和特征學(xué)習(xí)技術(shù)的統(tǒng)稱，核心思路是基于機(jī)器學(xué)習(xí)方法，將詞匯表中的單詞或短語從高維離散空間中映射到低維連續(xù)空間的實(shí)數(shù)向量。基于訓(xùn)練語料，被學(xué)習(xí)的詞表征即可以詞語在向量空間中的位置信息和詞與詞之間的相對(duì)位置表達(dá)出有意義的語法及語義規(guī)律。[13-14]

（二）遠(yuǎn)程監(jiān)督

遠(yuǎn)程監(jiān)督（Distant Supervision）學(xué)習(xí)方法基于Mintz提出的假設(shè)，“如果兩個(gè)實(shí)體在已知知識(shí)庫中具有某種關(guān)系，那么所有提到這兩個(gè)實(shí)體的句子都會(huì)以某種方式表達(dá)出這種關(guān)系”，[15]可利用少量標(biāo)注數(shù)據(jù)對(duì)大規(guī)模數(shù)據(jù)進(jìn)行訓(xùn)練，其主要思想是將已有知識(shí)庫的知識(shí)對(duì)齊非結(jié)構(gòu)化文本，由此生成大量標(biāo)注數(shù)據(jù)，可在降低訓(xùn)練成本的同時(shí)保證訓(xùn)練效果，提升模型的可拓展性。

二、基于詞向量和遠(yuǎn)程監(jiān)督學(xué)習(xí)的格薩爾領(lǐng)域知識(shí)發(fā)現(xiàn)

（一）研究框架

格薩爾學(xué)科建設(shè)發(fā)展中的人物關(guān)系研究重要且不可回避，但該學(xué)科發(fā)展至今還未有完整的領(lǐng)域人物知識(shí)圖譜和人物關(guān)系網(wǎng)絡(luò)。弱監(jiān)督關(guān)系抽取模型基于一定量的既有標(biāo)注數(shù)據(jù)，可進(jìn)行大規(guī)模拓展，從訓(xùn)練效果和可拓展性考慮是一高效方法，因此，我們提出一種基于分布式詞向量表示與遠(yuǎn)程監(jiān)督學(xué)習(xí)的新領(lǐng)域知識(shí)自動(dòng)發(fā)現(xiàn)方法，以格薩爾領(lǐng)域人物關(guān)系知識(shí)為發(fā)現(xiàn)對(duì)象進(jìn)行人物關(guān)系預(yù)測(cè)，并驗(yàn)證了該方法的可行性。

從實(shí)施流程來看，該知識(shí)發(fā)現(xiàn)方法包括數(shù)據(jù)采集與預(yù)處理、詞向量模型訓(xùn)練、深度學(xué)習(xí)分類模型訓(xùn)練、關(guān)系預(yù)測(cè)四個(gè)環(huán)節(jié)。整體而言可分為詞向量及深度學(xué)習(xí)分類模型訓(xùn)練階段，以及格薩爾領(lǐng)域人物關(guān)系預(yù)測(cè)階段兩大階段。各階段流程分別見圖1、圖2所示。

圖1詞向量及深度學(xué)習(xí)分類模型訓(xùn)練階段

圖2格薩爾人物關(guān)系預(yù)測(cè)階段

第一階段是詞向量及深度學(xué)習(xí)分類模型訓(xùn)練階段。由數(shù)據(jù)采集與預(yù)處理環(huán)節(jié)完成格薩爾文本、百度百科人物介紹和人物關(guān)系知識(shí)圖譜三類數(shù)據(jù)的獲取和預(yù)處理，然后基于人物相關(guān)文本數(shù)據(jù)訓(xùn)練出詞向量模型，并利用人物關(guān)系知識(shí)圖譜數(shù)據(jù)，進(jìn)行基于深度學(xué)習(xí)的人物關(guān)系分類器訓(xùn)練，得到可進(jìn)行人物關(guān)系預(yù)測(cè)的分類模型。

第二階段是格薩爾領(lǐng)域人物關(guān)系預(yù)測(cè)階段。通過訓(xùn)練好的人物關(guān)系分類器，對(duì)格薩爾領(lǐng)域可能有關(guān)系的人物組合進(jìn)行逐一預(yù)測(cè)，并選出置信度較高的預(yù)測(cè)結(jié)果進(jìn)行人工驗(yàn)證，完成格薩爾領(lǐng)域人物關(guān)系無專家標(biāo)注的新知識(shí)發(fā)現(xiàn)。

（二）數(shù)據(jù)采集與預(yù)處理

此環(huán)節(jié)包括格薩爾文本、百度百科人物介紹、人物關(guān)系知識(shí)圖譜三個(gè)方面的數(shù)據(jù)采集與預(yù)處理，基于上述數(shù)據(jù)準(zhǔn)備可得到用于分類模型訓(xùn)練的訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)。

1.格薩爾文本數(shù)據(jù)獲取

本文選用的格薩爾文本源于《英雄格薩爾》[16]，該套書以降邊嘉措藏文版《格薩爾》（40卷，2000多萬字）為框架，參考扎巴和桑珠的說唱本并融合作者研究著成。作者降邊嘉措長(zhǎng)期從事格薩爾史詩領(lǐng)域的藏漢翻譯和研究工作并取得了卓著的成果，是該領(lǐng)域?qū)W科牽頭人。以此書作為領(lǐng)域文本數(shù)據(jù)源，可一定程度減少異構(gòu)數(shù)據(jù)噪聲干擾，并保障數(shù)據(jù)規(guī)模與置信度。

2.百度百科人物介紹數(shù)據(jù)獲取

百度百科錄詞條數(shù)逾千萬，包含海量以半結(jié)構(gòu)化的百科語言組織的人物相關(guān)信息，便于計(jì)算機(jī)提取使用。本文實(shí)驗(yàn)中百度百科通用人物介紹文本數(shù)據(jù)的準(zhǔn)備，包括通用人名數(shù)據(jù)庫整理、百度百科文本抓取、網(wǎng)頁正文提取三部分。

3.文本數(shù)據(jù)分詞處理

在完成上述數(shù)據(jù)獲取后，基于分詞效果和效率考慮，本次實(shí)驗(yàn)從多種常用中文分詞器中選擇Jieba分詞器對(duì)所取得的文本數(shù)據(jù)進(jìn)行分詞，以供后續(xù)研究使用。

4.人物關(guān)系知識(shí)圖譜數(shù)據(jù)獲取及處理

為避免手工標(biāo)注的巨大成本，本文研究從開放知識(shí)圖譜數(shù)據(jù)源中獲取人物關(guān)系知識(shí)，作為人物關(guān)系遠(yuǎn)程學(xué)習(xí)的標(biāo)注數(shù)據(jù)進(jìn)行標(biāo)注。我們選擇復(fù)旦大學(xué)開放知識(shí)圖譜CN-DBpedia和故思通用開放知識(shí)圖譜Ownthink為人物關(guān)系知識(shí)圖譜數(shù)據(jù)源。從中獲取人物關(guān)系知識(shí)圖譜數(shù)據(jù)的過程包括人物相關(guān)的知識(shí)圖譜數(shù)據(jù)抓取、三元組知識(shí)圖譜信息提取、關(guān)系類型聚類、人物關(guān)系手工篩選、人物關(guān)系知識(shí)圖譜自動(dòng)篩選及數(shù)據(jù)處理，最終獲取形式為（實(shí)體1，實(shí)體2，關(guān)系）的人物關(guān)系三元組。其中實(shí)體1為人名；部分實(shí)體2包括由多個(gè)人名組成的不規(guī)則表達(dá)方式，通過拆分處理可得到不同三元組中的人名2。

（三）詞向量模型訓(xùn)練

詞匯關(guān)系可用基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練出的分布式詞向量來建模計(jì)算。在原始數(shù)據(jù)處理上，本文研究通過分詞及詞向量訓(xùn)練完成對(duì)數(shù)據(jù)的向量化表示，為后續(xù)的模型訓(xùn)練提供統(tǒng)一向量空間中的結(jié)構(gòu)化數(shù)據(jù)庫。本文實(shí)驗(yàn)選用CBOW模型，以Gensim工具完成詞向量的訓(xùn)練。

（四）深度學(xué)習(xí)分類模型訓(xùn)練

完成對(duì)準(zhǔn)備數(shù)據(jù)的詞向量訓(xùn)練后，利用深度學(xué)習(xí)對(duì)向量化的數(shù)據(jù)進(jìn)行向量關(guān)系計(jì)算與分類訓(xùn)練，不斷優(yōu)化出理想的分類器模型。

1.詞向量關(guān)系計(jì)算

采用詞向量預(yù)測(cè)人物對(duì)之間的關(guān)系，潛在假設(shè)為詞向量的空間位置和人物之間的關(guān)系類型有潛在聯(lián)系?；谠摷僭O(shè)與遠(yuǎn)程監(jiān)督學(xué)習(xí)理論，本文將向量化的人物關(guān)系實(shí)體對(duì)用作標(biāo)注數(shù)據(jù)，以歐式距離（人名2-人名1）、詞向量間余弦夾角、歐式距離歸一化（人名2-人名1后歸一化）三種方式訓(xùn)練格薩爾文本數(shù)據(jù)。歐氏距離是在m維空間中兩個(gè)點(diǎn)之間的真實(shí)距離，或者向量的自然長(zhǎng)度，但歐式距離度量會(huì)受指標(biāo)不同單位刻度的影響，為了改進(jìn)數(shù)據(jù)有效性，一般需要先進(jìn)行標(biāo)準(zhǔn)化計(jì)算，將歐式距離歸一化；在詞向量間余弦夾角中，空間向量余弦夾角的相似度度量不會(huì)受指標(biāo)刻度的影響，余弦值越大則差異越小。

圖3三維空間距離示意圖

若A、B兩點(diǎn)在三維空間中，其歐式距離的表示即如圖3中的dist(A,B)。同時(shí)，A、B兩個(gè)向量之間的cos值也可用來表示二者的相似度或關(guān)系的遠(yuǎn)近。

2.分類模型構(gòu)建

本文實(shí)驗(yàn)基于深度學(xué)習(xí)中的遠(yuǎn)程監(jiān)督學(xué)習(xí)思想，利用基于TensorFlow的Keras高層神經(jīng)網(wǎng)絡(luò)API相關(guān)模塊搭建深度神經(jīng)網(wǎng)絡(luò)分類網(wǎng)絡(luò)模型并進(jìn)行多輪優(yōu)化與迭代訓(xùn)練，以通過無前期人工標(biāo)注的方式，令模型在細(xì)分任務(wù)上取得不錯(cuò)的表現(xiàn)。

（五）格薩爾領(lǐng)域人物關(guān)系預(yù)測(cè)

在對(duì)文本進(jìn)行向量化表示，并在知識(shí)圖譜數(shù)據(jù)的遠(yuǎn)程監(jiān)督下完成數(shù)據(jù)訓(xùn)練的基礎(chǔ)上，我們嘗試于格薩爾領(lǐng)域進(jìn)行人物的關(guān)系發(fā)現(xiàn)，即人物關(guān)系預(yù)測(cè)，其過程可分為領(lǐng)域人物組合、基于共現(xiàn)位置的人物關(guān)系過濾、領(lǐng)域人物關(guān)系預(yù)測(cè)與驗(yàn)證三步。首先，依據(jù)格薩爾領(lǐng)域人物列表將人物兩兩組合，得到格薩爾領(lǐng)域人物排列組合全集。其中包含大量無直接關(guān)聯(lián)的無效人物組合，對(duì)此進(jìn)行適度過濾以減小噪聲干擾。此后，在詞向量空間中檢索人物組合對(duì)應(yīng)的詞向量數(shù)據(jù)，并經(jīng)過空間距離歸一化計(jì)算，通過上述遠(yuǎn)程監(jiān)督分類模型預(yù)測(cè)，得到預(yù)測(cè)結(jié)果。不同人物關(guān)系類型下的預(yù)測(cè)置信度可反映兩個(gè)人物之間存在關(guān)系的可能性。

三、實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

（一）實(shí)驗(yàn)數(shù)據(jù)準(zhǔn)備

1.實(shí)驗(yàn)數(shù)據(jù)提取

依據(jù)實(shí)驗(yàn)需求，基于格薩爾文本、百度百科人物介紹、人物關(guān)系知識(shí)圖譜三類原始數(shù)據(jù)，采用OCR（Optical Character Recognition）、Scrapy爬蟲等技術(shù)進(jìn)行實(shí)驗(yàn)相關(guān)數(shù)據(jù)的準(zhǔn)備。

格薩爾史詩領(lǐng)域數(shù)據(jù)方面，選擇《英雄格薩爾》全書進(jìn)行文本采集，提取非結(jié)構(gòu)化的領(lǐng)域知識(shí)。通過對(duì)全書的高清晰度雙面掃描，得到領(lǐng)域文本分頁照片；通過OCR對(duì)文本正文區(qū)域進(jìn)行文字識(shí)別，完成圖片到文本的自動(dòng)轉(zhuǎn)換；最后由人工校對(duì)，得到全文文本數(shù)據(jù)，長(zhǎng)度1410922字，文本大小為3.95MB。

百科數(shù)據(jù)方面，基于百度百科人物介紹，提取半結(jié)構(gòu)化的通用領(lǐng)域人物介紹知識(shí)。將常用漢語人名庫（含540萬人名）作為人名數(shù)據(jù)字典，基于百度百科URL規(guī)則自動(dòng)生成人名URL地址集，通過Scrapy爬蟲框架自動(dòng)抓取對(duì)應(yīng)的百科網(wǎng)頁。除去未被百科收錄的人名數(shù)據(jù)，共抓取82萬人物介紹網(wǎng)頁，并提取到有效的人物介紹文本數(shù)據(jù)82萬條，匯總后為2.6GB。

人物關(guān)系知識(shí)圖譜數(shù)據(jù)方面，基于CN-DBpedia與Ownthink知識(shí)圖譜，提取結(jié)構(gòu)化的通用領(lǐng)域人物介紹知識(shí)圖譜數(shù)據(jù)。同樣根據(jù)知識(shí)圖譜CNDBpedia和Ownthink的URL地址規(guī)則，用Scrapy自動(dòng)抓取百科數(shù)據(jù)包含的人物對(duì)應(yīng)的知識(shí)圖譜數(shù)據(jù)，得到有效數(shù)據(jù)18萬條。以宋武公為例，將從兩個(gè)知識(shí)圖譜中獲取到的原始人物知識(shí)數(shù)據(jù)節(jié)選見圖4。

圖4兩個(gè)知識(shí)圖譜中獲取到的原始人物知識(shí)數(shù)據(jù)

表1“宋武公”相關(guān)知識(shí)圖譜

在知識(shí)圖譜系統(tǒng)中，三元組數(shù)據(jù)分別在json格式返回?cái)?shù)據(jù)的ret屬性和avp屬性中，通過Python的json模塊自動(dòng)提取、去重并保存知識(shí)，得到宋武公相關(guān)數(shù)據(jù)，節(jié)選如表1所示。

以上述方法處理18萬人物知識(shí)圖譜數(shù)據(jù)，得到包含三元組的知識(shí)圖譜數(shù)據(jù)共計(jì)369萬條，文本大小11.5MB。經(jīng)驗(yàn)證，這一用作訓(xùn)練的知識(shí)圖譜數(shù)據(jù)集中沒有格薩爾領(lǐng)域人物相關(guān)數(shù)據(jù)，規(guī)避了集內(nèi)數(shù)據(jù)對(duì)實(shí)驗(yàn)的影響。

2.實(shí)驗(yàn)數(shù)據(jù)處理

獲取實(shí)驗(yàn)數(shù)據(jù)之后，需要對(duì)非結(jié)構(gòu)化、半結(jié)構(gòu)化的格薩爾文本數(shù)據(jù)、百度百科人物介紹數(shù)據(jù)進(jìn)行分詞；同時(shí)在知識(shí)圖譜中提取人物關(guān)系，基于這些關(guān)系對(duì)知識(shí)圖譜數(shù)據(jù)進(jìn)行過濾。我們首先通過Jieba完成文本的分詞，再用停用詞表過濾掉無用詞，經(jīng)手工篩選后最終提取領(lǐng)域詞匯1255條，最高頻的10個(gè)詞及其詞頻如表2所示。

表2格薩爾領(lǐng)域詞匯

從結(jié)構(gòu)化的人物關(guān)系知識(shí)圖譜數(shù)據(jù)中聚類并提取不同人物關(guān)系類型下的三元組知識(shí)圖譜數(shù)據(jù)，主要包括以下三步。

（1）關(guān)系類型聚類

將所獲知識(shí)圖譜數(shù)據(jù)中的關(guān)系進(jìn)行自動(dòng)聚類，得到關(guān)系類型共19497種，按照關(guān)系出現(xiàn)頻次由高到低排序，前10種關(guān)系及其頻次如表3所示。

表3知識(shí)圖譜中的關(guān)系類型

（2）人物關(guān)系手工篩選

手工篩選上述關(guān)系類型，得到人物相關(guān)的關(guān)系類型335種?？紤]到領(lǐng)域文本數(shù)據(jù)量及史詩中人物關(guān)系類型有限，其中又沒有復(fù)雜的遠(yuǎn)親關(guān)系、現(xiàn)代職場(chǎng)人物關(guān)系等類型，因此從中選出“搭檔、好友、父親、妻子、兒子、母親”這6種最高頻的常見人物關(guān)系，并將其對(duì)應(yīng)知識(shí)圖譜數(shù)據(jù)用作人物關(guān)系分類訓(xùn)練的遠(yuǎn)程監(jiān)督學(xué)習(xí)標(biāo)注數(shù)據(jù)。根據(jù)出現(xiàn)頻次以0-5為標(biāo)簽標(biāo)記這6種關(guān)系，各類關(guān)系在前文提取的人物關(guān)系知識(shí)圖譜中出現(xiàn)的頻次數(shù)據(jù)如表4所示。

表4高頻人物關(guān)系及其出現(xiàn)頻次

（3）人物關(guān)系知識(shí)圖譜自動(dòng)篩選及數(shù)據(jù)處理

返回369萬條三元組知識(shí)圖譜數(shù)據(jù)庫，從中自動(dòng)提取這6種人物關(guān)系的知識(shí)圖譜。由于三元組實(shí)體2大部分為獨(dú)立人名，但少部分包括由多個(gè)人名組成的不規(guī)則表達(dá)方式，比如與“宋武公”關(guān)系為“兒子”的實(shí)體2內(nèi)容為“宋宣公、宋穆公”。通過規(guī)則處理，將不規(guī)則實(shí)體2所在的知識(shí)圖譜拆分并整理成多條由單個(gè)人名（命名為人名2）構(gòu)成的三元組，如將（宋武公，宋宣公、宋穆公，兒子）拆分為（宋武公，宋宣公，兒子）和（宋武公，宋穆公，兒子）。

表5 Word2Vec模型的參數(shù)設(shè)置

表6詞向量舉例

經(jīng)過上述人物關(guān)系的提取和人名拆分處理，最終得到9980條三元組知識(shí)圖譜。

（二）實(shí)驗(yàn)?zāi)Ｐ陀?xùn)練

1.詞向量模型訓(xùn)練

（1）Word2Vec模型訓(xùn)練

Gensim中Word2Vec的CBOW模型參數(shù)設(shè)置見表5。

整合分詞后的格薩爾文本數(shù)據(jù)和百度百科人物介紹數(shù)據(jù)，用這一設(shè)置下的Word2Vec模型進(jìn)行詞向量訓(xùn)練，可得到維度為100的詞向量模型。以實(shí)體“北京”“毛澤東”“格薩爾”為例，在訓(xùn)練好的詞向量模型中，可獲取三者的詞向量表示如表6所示。

（2）Word2Vec模型驗(yàn)證

通過對(duì)通用領(lǐng)域常用詞與常見人名、格薩爾學(xué)領(lǐng)域人名進(jìn)行詞語相關(guān)性驗(yàn)證來檢驗(yàn)?zāi)Ｐ陀?xùn)練效果。通用領(lǐng)域常見詞以詞語“北京”為例，如表7所示，與其最為相關(guān)的10個(gè)詞中，有9個(gè)為國內(nèi)直轄市或省會(huì)城市，相關(guān)性在0.65以上，其中“上海”的相關(guān)性高于0.82。

表7“北京”的部分相關(guān)詞列表

通用領(lǐng)域常見人名以“毛澤東”為例，與其最相關(guān)的10個(gè)詞中，相關(guān)性最高的“毛主席”一詞與“毛澤東”語義相同；其余9個(gè)詞均為與其極為相關(guān)的其他共產(chǎn)黨早期創(chuàng)始人，或者黨和國家領(lǐng)導(dǎo)人，且相關(guān)性均在0.73以上（見表8）。

表8“毛澤東”的部分相關(guān)詞列表

格薩爾學(xué)領(lǐng)域以“格薩爾”為例，相關(guān)性最高的“雄獅王”和排名第5的“覺如”均與“格薩爾”指向同一語義；其余8個(gè)詞語中，除了“成吉思汗”，都是格薩爾學(xué)領(lǐng)域與格薩爾王具有重要關(guān)系的人物（見表9）。

表9“格薩爾”的部分相關(guān)詞列表

通過對(duì)以上三類詞語的簡(jiǎn)要測(cè)試可基本證明CBOW詞向量模型訓(xùn)練效果良好，經(jīng)該訓(xùn)練的詞向量可以作為后續(xù)遠(yuǎn)程監(jiān)督訓(xùn)練的基礎(chǔ)。

2.分類器模型訓(xùn)練

（1）分類模型訓(xùn)練數(shù)據(jù)準(zhǔn)備

使用基于本文實(shí)驗(yàn)訓(xùn)練得到的詞向量模型，遍歷從知識(shí)圖譜中提取并經(jīng)過處理的9980條人物三元組知識(shí)圖譜數(shù)據(jù)，并獲取其中的人名1、人名2對(duì)應(yīng)的詞向量，過濾掉不存在詞向量人名的三元組后，我們最終得到進(jìn)行分類模型實(shí)驗(yàn)所需的9396條格式為（人名1 100維Word2Vec,人名2 100維Word2Vec,關(guān)系標(biāo)簽）的監(jiān)督數(shù)據(jù)。將這些向量化的《格薩爾》領(lǐng)域人物數(shù)據(jù)進(jìn)行歐式距離、詞向量間余弦夾角、歐式距離歸一化三種運(yùn)算。運(yùn)算結(jié)果顯示，采用Python Numpy組件，先進(jìn)行歐式距離歸一化計(jì)算再訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的方法，能達(dá)到相對(duì)更好的訓(xùn)練效果，在訓(xùn)練數(shù)據(jù)中將正確率從原始的16.67%提升至52.65%（見表10）。

表10訓(xùn)練結(jié)果對(duì)比

確定詞向量計(jì)算方法后，我們將實(shí)驗(yàn)數(shù)據(jù)按人物關(guān)系類型以19：1的比例（即5%作為測(cè)試數(shù)據(jù)）隨機(jī)抽取為訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)，以進(jìn)行格薩爾領(lǐng)域人物關(guān)系的預(yù)測(cè)。得到訓(xùn)練集數(shù)據(jù)8929條和測(cè)試集數(shù)據(jù)467條。

（2）基于TensorFlow的分類模型構(gòu)建

本文利用深度學(xué)習(xí)技術(shù)，選用TensorFlow的Keras模塊來實(shí)現(xiàn)一個(gè)深度神經(jīng)網(wǎng)絡(luò)分類網(wǎng)絡(luò)模型。所用的TensorFlow版本為1.12.0，Keras模塊的版本為2.1.6-tf。經(jīng)過多次調(diào)參測(cè)試驗(yàn)證，測(cè)試效果較好的分類模型網(wǎng)絡(luò)結(jié)構(gòu)為包含四個(gè)Tensor-Flow.keras.layers.Dense層的序列，這些層是密集連接或全連接神經(jīng)層。前三個(gè)Dense層具有1024個(gè)神經(jīng)元，第四層（即最后一層）是具有6個(gè)節(jié)點(diǎn)的softmax層，該層會(huì)返回一個(gè)具有6個(gè)概率得分的數(shù)組，這些得分的總和為1。

按照上述參數(shù)設(shè)置好模型后，選擇Adam算法的優(yōu)化器，loss損失函數(shù)指定為sparse_categorical_crossentropy，即計(jì)算分類結(jié)果的交叉熵?fù)p失，然后進(jìn)行模型編譯。模型編譯完成后，加載訓(xùn)練數(shù)據(jù)，進(jìn)行20輪迭代訓(xùn)練。訓(xùn)練出的分類模型在測(cè)試集上表現(xiàn)較好，在測(cè)試集上正確率可達(dá)62.65%。由此可見，通過采用遠(yuǎn)程監(jiān)督的方法，能以無前期人工標(biāo)注的方式，通過較小的數(shù)據(jù)訓(xùn)練，也可以在人物關(guān)系分類這個(gè)細(xì)分任務(wù)上有相對(duì)較好的表現(xiàn)。

（三）關(guān)系預(yù)測(cè)實(shí)驗(yàn)與結(jié)果分析

1.實(shí)驗(yàn)準(zhǔn)備

基于自動(dòng)分詞、規(guī)則處理及人工判別獲取領(lǐng)域人名，可在保證人名詞匯領(lǐng)域性的同時(shí)實(shí)現(xiàn)規(guī)?；槿?；提取《附錄一〈英雄格薩爾〉主要人物》（以下簡(jiǎn)稱《附錄一》）中經(jīng)過專家篩選與整理的領(lǐng)域主要人物人名，能較好地保障人物數(shù)據(jù)的完備性與高置信度。因此，我們對(duì)《英雄格薩爾》文本進(jìn)行分詞處理并從中提取人名，規(guī)?；@取領(lǐng)域主要人物名稱，再融合《附錄一》中高置信度的領(lǐng)域主要人物名單，得到較為完整的格薩爾領(lǐng)域主要人名列表。

首先，將格薩爾文本進(jìn)行自動(dòng)分詞，經(jīng)由人工判斷過濾出主要人名。文本自動(dòng)分詞后得到51002個(gè)詞匯數(shù)據(jù)，其中詞頻高于10的詞匯6820個(gè)；在此基礎(chǔ)上依據(jù)格薩爾文本內(nèi)容對(duì)其進(jìn)行過濾，獲得1264個(gè)領(lǐng)域詞匯；人工判斷去除非人名詞匯后得到格薩爾領(lǐng)域主要人名列表，共446個(gè)人名。然后，手工提取《附錄一》中的人名，并對(duì)前文的人名數(shù)據(jù)抽取結(jié)果進(jìn)行驗(yàn)證。《附錄一》包含的161個(gè)人名中經(jīng)過人工校對(duì)確認(rèn)其中有82個(gè)詞頻高于10，其中76個(gè)出現(xiàn)在自動(dòng)分詞并過濾后的主要人名列表中，命中率達(dá)到92.68%。對(duì)未命中的其余6個(gè)人名進(jìn)行原因分析，其中“娜噶卓瑪”和“阿俄”包括在分詞結(jié)果中，但詞頻統(tǒng)計(jì)次數(shù)不足10；“土地神、地方神、噶姆多吉”由于“土地”、“地方”和“多吉”是常見詞，因此分詞時(shí)被拆分為多個(gè)詞匯；“達(dá)娃察琤”中存在生僻字“琤”，被OCR錯(cuò)誤識(shí)別為“璋、睜、珍”，因而未被收錄。最后，將分詞并過濾后的人名數(shù)據(jù)與手工提取到的人名數(shù)據(jù)融合，獲得較為完整的格薩爾領(lǐng)域主要人名列表，共計(jì)人名518個(gè)。

使用詞向量模型從518個(gè)人名中過濾掉沒有詞向量表示的人名詞匯，最后得到格薩爾領(lǐng)域有詞向量表示的人名數(shù)據(jù)共344條，將其排列組合獲得117992組（人名1,人名2）形式的數(shù)據(jù)對(duì)。根據(jù)人名共現(xiàn)位置過濾掉在全文中最近上下文距離超過20個(gè)詞（停用詞表里的詞不計(jì)算）以上的人物組合，得到相對(duì)有效的人物組合（人名1,人名2）數(shù)據(jù)7010組，作為預(yù)測(cè)數(shù)據(jù)。

2.格薩爾領(lǐng)域人物關(guān)系預(yù)測(cè)實(shí)驗(yàn)及分析

在詞向量空間中檢索上述7010組格薩爾領(lǐng)域人物組合對(duì)應(yīng)的詞向量數(shù)據(jù)，并經(jīng)過空間距離歸一化計(jì)算，通過上述遠(yuǎn)程監(jiān)督分類模型預(yù)測(cè)，得到7010組預(yù)測(cè)結(jié)果，如表11所示。

從中抽取部分置信度較高的預(yù)測(cè)數(shù)據(jù)進(jìn)行手工驗(yàn)證，驗(yàn)證結(jié)果如表12所示。

表11格薩爾領(lǐng)域人物關(guān)系預(yù)測(cè)情況

表12格薩爾領(lǐng)域人物關(guān)系預(yù)測(cè)結(jié)果驗(yàn)證

經(jīng)檢驗(yàn)，實(shí)驗(yàn)?zāi)Ｐ驮?-5類人物關(guān)系預(yù)測(cè)中的置信度與正確率較高，表12中所示均為對(duì)領(lǐng)域人物關(guān)系的正確預(yù)測(cè)。以“搭檔”關(guān)系中的人物對(duì)嘉察協(xié)噶與丹瑪絳查為例，在窗口為20時(shí)，兩人在文本中共現(xiàn)152次?！爸秲杭尾?、大臣丹瑪和我都去襲營(yíng)成功”，“嘉察、達(dá)潘、丹瑪、森達(dá)和司潘五個(gè)人，都要主動(dòng)出門迎敵”等文本都明確體現(xiàn)了二者的搭檔關(guān)系。

模型對(duì)標(biāo)簽0“母親”關(guān)系下的人物關(guān)系預(yù)測(cè)結(jié)果在數(shù)量、置信度、正確率上較低于其他關(guān)系，但仍能得到大量具有解釋性的預(yù)測(cè)結(jié)果。以“郭姆”為例，郭姆是格薩爾的生母，嘉察協(xié)噶與瑪爾勒是格薩爾同父異母的兄弟，因此，相對(duì)其他關(guān)系類型而言，郭姆與嘉察協(xié)噶、瑪爾勒的關(guān)系預(yù)測(cè)為“母親”具有可解釋性。

總體而言，實(shí)驗(yàn)所得預(yù)測(cè)模型對(duì)格薩爾領(lǐng)域人物關(guān)系進(jìn)行預(yù)測(cè)可取得不錯(cuò)的效果。當(dāng)模型在數(shù)據(jù)量較大、文本表述較為標(biāo)準(zhǔn)規(guī)范的數(shù)據(jù)集中進(jìn)行預(yù)測(cè)時(shí)，預(yù)測(cè)結(jié)果置信度與正確率較高；對(duì)于訓(xùn)練數(shù)據(jù)量較小的關(guān)系類型，預(yù)測(cè)模型未必能做出精確判斷，但在限定種類的關(guān)系預(yù)測(cè)中，預(yù)測(cè)結(jié)果解釋性較強(qiáng)，一定程度上具有可信度。

結(jié) 語

本文提出了一種基于詞向量和遠(yuǎn)程監(jiān)督學(xué)習(xí)的新領(lǐng)域知識(shí)發(fā)現(xiàn)方法，并對(duì)其可行性進(jìn)行驗(yàn)證，以期利用人工智能技術(shù)探索出一種可拓展的新領(lǐng)域知識(shí)發(fā)現(xiàn)方法，作為對(duì)基于規(guī)則的知識(shí)發(fā)現(xiàn)方法的補(bǔ)充。

傳統(tǒng)的基于規(guī)則的關(guān)系抽取需要專家根據(jù)任務(wù)要求設(shè)置模式，而后從文本中找到與之匹配的實(shí)例推導(dǎo)出實(shí)體間的語義關(guān)系。[17]雖然在特定領(lǐng)域能取得較高的準(zhǔn)確率，但需要在具有明確規(guī)則的前提下消耗大量人力成本，而且在移植效果和隱含知識(shí)發(fā)現(xiàn)方面存在不足。對(duì)專業(yè)領(lǐng)域，尤其是新領(lǐng)域的研究者而言，本文方法通過自動(dòng)化技術(shù)減小了知識(shí)發(fā)現(xiàn)成本，并對(duì)細(xì)分領(lǐng)域的科研工作具有啟發(fā)科研思路、提升科研效率的作用；通過這一方法所獲的信息，能幫助相關(guān)工作人員更清晰準(zhǔn)確地完成人名、主題的索引工作；本文方法基于高置信度的通用領(lǐng)域知識(shí)，并且在原始數(shù)據(jù)收集上具有領(lǐng)域無關(guān)性，因此能拓展到其他領(lǐng)域進(jìn)行知識(shí)發(fā)現(xiàn)。

受實(shí)驗(yàn)數(shù)據(jù)的結(jié)構(gòu)與規(guī)模、訓(xùn)練模型的特點(diǎn)與局限、自然語言本身的復(fù)雜性的制約，本文方法也存在一些不足之處。可考慮在擴(kuò)大數(shù)據(jù)規(guī)模時(shí)增加不同版本出版物、專業(yè)研究文獻(xiàn)、相似類型文本等，以獲取更多的專業(yè)領(lǐng)域數(shù)據(jù)，選用LSTM等注重利用上下文數(shù)據(jù)關(guān)系的模型，結(jié)合基于遠(yuǎn)程監(jiān)督學(xué)習(xí)與基于規(guī)則的知識(shí)圖譜提取方式進(jìn)行優(yōu)化，以期通過多角度提升知識(shí)發(fā)現(xiàn)效果，以持續(xù)推動(dòng)各領(lǐng)域知識(shí)圖譜的構(gòu)建和補(bǔ)全、各學(xué)科科研工作的創(chuàng)新與發(fā)展。