基于BI-LSTM-CRF模型的限定領(lǐng)域知識(shí)庫問答系統(tǒng)

程樹東，胡 鷹

(太原科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,山西 太原 030024)

0 引 言

在機(jī)械行業(yè)，矯直機(jī)是冶金工業(yè)生產(chǎn)中對(duì)板材矯直時(shí)必不可少的設(shè)備。宋凱等[1]比較詳細(xì)地介紹了全液壓矯直機(jī)的結(jié)構(gòu)和技術(shù)特點(diǎn)。但以前主要是由人工進(jìn)行操作控制。隨著機(jī)器學(xué)習(xí)的快速發(fā)展，國家也大力推動(dòng)各行各業(yè)與人工智能的深度融合，創(chuàng)新生產(chǎn)力，促進(jìn)經(jīng)濟(jì)發(fā)展。在此形勢下，矯直機(jī)也借助人工智能技術(shù)實(shí)現(xiàn)智能化，解放生產(chǎn)力。張凱等[2]利用分類學(xué)習(xí)粒子群優(yōu)化算法取得了使液壓矯直機(jī)控制性能更佳的參數(shù)組合。由于矯直機(jī)智能控制系統(tǒng)的性能對(duì)金屬板材矯直質(zhì)量起著關(guān)鍵作用，而知識(shí)的質(zhì)量與數(shù)量又是決定矯直機(jī)智能控制專家系統(tǒng)性能的重要因素，因此，構(gòu)建一種高效的機(jī)械領(lǐng)域知識(shí)庫問答系統(tǒng)，以解決機(jī)械領(lǐng)域的知識(shí)快速獲取很有必要。信息抽取(Information Extraction)是把非結(jié)構(gòu)化文本數(shù)據(jù)進(jìn)行結(jié)構(gòu)化處理，以便于機(jī)器處理。據(jù)此，本文提出通過信息抽取技術(shù)完成對(duì)知識(shí)的自動(dòng)獲取建立知識(shí)庫，并結(jié)合BI-LSTM-CRF模型建立知識(shí)庫問答系統(tǒng)。

自動(dòng)問答系統(tǒng)通常被定義為這樣一種任務(wù)：用戶將以自然語言描述的問題提交到一個(gè)系統(tǒng)中,系統(tǒng)在自動(dòng)理解用戶問題的基礎(chǔ)上輸出答案。其主要有開放域問答系統(tǒng)和面向限定領(lǐng)域問答系統(tǒng)2個(gè)研究方向。然而當(dāng)前,研究的熱點(diǎn)主要是開放域問答系統(tǒng)。面向限定領(lǐng)域問答系統(tǒng)與開放域問答系統(tǒng)的不同點(diǎn)主要在于:限定領(lǐng)域的問答系統(tǒng)能利用大量領(lǐng)域相關(guān)知識(shí)來提高系統(tǒng)的實(shí)用性。在目前開放域問答系統(tǒng)取得較大進(jìn)步的同時(shí),發(fā)展面向限定領(lǐng)域的問答系統(tǒng)是很有必要的。因此，本文在開放領(lǐng)域問答系統(tǒng)相關(guān)技術(shù)的基礎(chǔ)上，面向機(jī)械領(lǐng)域利用深度學(xué)習(xí)技術(shù)對(duì)建立機(jī)械領(lǐng)域的知識(shí)庫問答系統(tǒng)進(jìn)行研究。

1 相關(guān)工作

知識(shí)庫問答系統(tǒng)是指通過海量數(shù)據(jù)構(gòu)建知識(shí)庫，對(duì)用戶輸入的以自然語言形式描述的問題(例如金屬型材矯直的設(shè)備是什么？)能夠分析理解，再從知識(shí)庫中查找出能回答該問題的準(zhǔn)確的知識(shí)答案(例如矯直機(jī))的信息系統(tǒng)?；谥R(shí)庫的問答系統(tǒng)在人工智能領(lǐng)域具有很長的發(fā)展歷史。

傳統(tǒng)的構(gòu)建知識(shí)庫問答系統(tǒng)的研究思路主要是使用語義解析(Semantic Parsing)。該方法是將自然語言通過語言學(xué)知識(shí)經(jīng)過分析處理轉(zhuǎn)化為一系列形式化的邏輯表達(dá)形式(lambda表達(dá)式、依存組合語義樹等)，再進(jìn)行邏輯解析，以獲得一種能夠表達(dá)整個(gè)問題語義的邏輯形式，再通過相應(yīng)的查詢語句在知識(shí)庫中查詢答案。由于這類方法需要大量人工標(biāo)注的“自然語言語句—邏輯表達(dá)形式”對(duì)，因此很難擴(kuò)展到大規(guī)模知識(shí)庫的情況。

由于神經(jīng)網(wǎng)絡(luò)的發(fā)展，研究者們逐漸使用向量建模對(duì)問答系統(tǒng)進(jìn)行研究。該類方法首先分析輸入的問題，并通過信息抽取技術(shù)提取出問題實(shí)體，對(duì)問題進(jìn)行分類，進(jìn)而查詢得到知識(shí)庫中以該實(shí)體節(jié)點(diǎn)為中心的子圖。由于答案和問題主題的關(guān)聯(lián)性，因此，將知識(shí)子圖中的所有節(jié)點(diǎn)和邊都作為該問題的候選答案。再將問題和所有候選答案映射為分布式向量，并通過訓(xùn)練數(shù)據(jù)學(xué)習(xí)得到問題和答案的向量表達(dá)的得分盡量高的參數(shù)模型。訓(xùn)練生成模型后，通過模型對(duì)問題及其候選答案的向量表達(dá)進(jìn)行測試評(píng)分，再按得分高低從候選中得出最終答案。對(duì)于文本的信息抽取，主要有2種方法。第一種是基于規(guī)則。喬磊等[3]對(duì)需要抽取的人物信息進(jìn)行規(guī)則描述，并構(gòu)建正則表達(dá)式，實(shí)現(xiàn)半結(jié)構(gòu)化人物屬性信息的提取。另一種是基于統(tǒng)計(jì)。鄭軼[4]通過序列標(biāo)注的問題思路從人物百科中抽取人物信息，利用條件隨機(jī)場對(duì)生語料進(jìn)行序列標(biāo)注，并從語料中提取特征，有效提高了信息抽取的效率。王宗堯等[5]基于CRF模型有效地對(duì)中文短文本信息流進(jìn)行了話題提取。而翟菊葉等[6]利用CRF與規(guī)則相結(jié)合的方法識(shí)別中文電子病歷的命名實(shí)體，提高了準(zhǔn)確率。Yao等[7]通過依存分析技術(shù)來獲得問題的依存分析樹，再從問句中找到其涉及的主要實(shí)體，進(jìn)而查詢得到知識(shí)庫中以該實(shí)體為中心的子圖，最后從問題的依存樹和子圖中抽取多種特征并送入邏輯回歸模型中進(jìn)行分類。Bordes等[8-9]通過前饋神經(jīng)網(wǎng)絡(luò)對(duì)問句和候選答案進(jìn)行語義編碼，以將其分別轉(zhuǎn)換為相同維度的特征向量，最后將2個(gè)向量的點(diǎn)積值作為問題候選答案的得分。

近幾年，隨著深度學(xué)習(xí)在多個(gè)領(lǐng)域的快速發(fā)展和應(yīng)用，研究者開始將其應(yīng)用在問答系統(tǒng)中，以改善傳統(tǒng)方法存在的不足。Li等[10]通過卷積神經(jīng)網(wǎng)絡(luò)對(duì)問句中隱含的答案類型、關(guān)系和上下文信息分別進(jìn)行語義編碼，提升了向量建模方法的特征獲取，取得很好的效果。Yih[11]等使用卷積神經(jīng)網(wǎng)絡(luò)改善語義解析方法。周博通等[12]使用雙向LSTM模型結(jié)合注意力機(jī)制實(shí)現(xiàn)實(shí)體消歧和答案選擇。在此基礎(chǔ)上，本文使用深度學(xué)習(xí)技術(shù)和信息抽取方法進(jìn)行向量建模，以提高問答系統(tǒng)的性能；提出一種BI-LSTM-CRF模型，結(jié)合信息抽取技術(shù)，以構(gòu)建面向機(jī)械領(lǐng)域的知識(shí)庫問答系統(tǒng)。

2 基于BI-LSTM-CRF的問答系統(tǒng)

2.1 CRF

Lafferty等[13]于2001年提出條件隨機(jī)場(Conditional Random Fields, CRF)，它是無向圖模型，當(dāng)輸入節(jié)點(diǎn)值給定時(shí)，可以用于計(jì)算指定輸出節(jié)點(diǎn)值的條件概率。比如線性條件隨機(jī)場，如果將X={x1,x2,…,xT}表示為輸入的觀測序列，Y={y1,y2,…,yT}定義為其對(duì)應(yīng)的狀態(tài)序列，則在給定一個(gè)觀測序列時(shí)，CRF定義狀態(tài)序列的條件概率為：

(1)

2.2 LSTM

1997年，Hochreiter等[14]在循環(huán)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上提出了LSTM單元，它解決了RNN的梯度消失和長期依賴問題。LSTM單元如圖1所示，其記憶單元可以用于保存歷史信息，通過輸入門、輸出門和遺忘門可以控制歷史信息的更新和利用。

設(shè)h為LSTM單元輸出，c為LSTM記憶單元的值，x為輸入數(shù)據(jù)。LSTM單元的更新可以分為以下幾個(gè)步驟：

ft=σ(Wf·[ht-1,xt]+bf)

(2)

it=σ(Wi·[ht-1,xt]+bi)

(3)

ot=σ(Wo·[ht-1,xt]+bo)

(4)

Ct′=tanh(WC·[ht-1,xt]+bC)

(5)

Ct=ft×Ct-1+it×Ct′

例如：在我擔(dān)任少數(shù)民族地區(qū)老師的第二年，我就曾經(jīng)遇到過這么一個(gè)女生，她性格十分的內(nèi)向，并且非常的體弱多病，又受到傳統(tǒng)的思想影響，認(rèn)為學(xué)好專業(yè)技能才是第一位的，畢業(yè)后靠著學(xué)習(xí)的技能找到一份滿意的工作，改變命運(yùn)。因此她時(shí)常不去上體育課，將體育課的時(shí)間都用來從事專業(yè)的學(xué)習(xí)。有一次，她累倒了，我去看望她，和她講了一些體育鍛煉的好處，告訴這名女生沒有好的體魄，就更加無法有強(qiáng)大的精神去實(shí)現(xiàn)夢想的道理，打開了這位少數(shù)民族女生的心扉。后來，這名女生每節(jié)課都來上體育課，并且主動(dòng)的參與體育活動(dòng)，課后積極的鍛煉身體，生病的次數(shù)越來越少，令我十分的欣慰。

(6)

ht=ot×tanh(Ct)

(7)

圖1 LSTM單元結(jié)構(gòu)

公式(2)～公式(4)分別用來計(jì)算遺忘門、輸入門、輸出門的值，其接受上一時(shí)刻記憶單元的輸出ht-1和當(dāng)前時(shí)刻記憶單元的輸入xt，并乘以各自的權(quán)重矩陣，再加上偏置向量，最后通過Sigmoid函數(shù)產(chǎn)生一個(gè)0到1之間的值來對(duì)信息進(jìn)行篩選。公式(5)和公式(6)更新LSTM單元的狀態(tài)信息。公式(7)為計(jì)算記憶單元的最終輸出，其通過tanh函數(shù)對(duì)當(dāng)前時(shí)刻的LSTM單元狀態(tài)進(jìn)行計(jì)算，使模型變?yōu)榉蔷€性，并由輸出門決定哪些信息被最終輸出。但由于LSTM神經(jīng)網(wǎng)絡(luò)的信息輸入是單方向的，從而會(huì)忽略未來的上下文信息。因此，通過雙向LSTM對(duì)一個(gè)訓(xùn)練序列向前向后各訓(xùn)練一個(gè)LSTM模型，再將訓(xùn)練的2個(gè)模型的輸出進(jìn)行線性組合，使得序列中每一個(gè)節(jié)點(diǎn)都能獲得完整的上下文信息。

2.3 基于BI-LSTM-CRF的問答系統(tǒng)

2.3.1 預(yù)處理

在特征選擇之前，本文先進(jìn)行文本分詞，本文使用的分詞工具為開源的結(jié)巴分詞。由于本文語料為機(jī)械行業(yè)的技術(shù)資料文獻(xiàn)等，所以本文中含有大量的機(jī)械行業(yè)專業(yè)詞匯。為了增加分詞的準(zhǔn)確性，本文加入大量的機(jī)械行業(yè)詞匯作為文本分詞的用戶詞典。本文選用500本機(jī)械文獻(xiàn)進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)中使用自定義詞典進(jìn)行分詞和未使用自定義詞典進(jìn)行分詞進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如圖2所示，結(jié)果表明，使用自定義詞典分詞相對(duì)于默認(rèn)詞典分詞，其準(zhǔn)確率、召回率和F值都有所提升。

圖2 自定義詞典與默認(rèn)詞典分詞結(jié)果對(duì)比

2.3.2 BI-LSTM-CRF模型

圖3 BI-LSTM-CRF模型結(jié)構(gòu)

對(duì)于輸入的問句，利用CRF模型抽取實(shí)體和關(guān)系，將其映射到知識(shí)庫中，尋找知識(shí)庫子圖，獲取問題候選答案，再通過預(yù)處理向量化，送入BI-LSTM-CRF模型提取特征值，并對(duì)問題及候選答案進(jìn)行評(píng)分，以此獲取最終答案。

2.3.3 訓(xùn)練方法

首先將問題與候選答案構(gòu)成問題—答案對(duì)文本，每一行是問題與候選答案組成的語句，并將候選答案是問題正確結(jié)果的標(biāo)記為1，否則標(biāo)記為0。以此作為訓(xùn)練文本，將其分為訓(xùn)練集和驗(yàn)證集。如此，將搜索新問題的答案變成了根據(jù)問題實(shí)體從知識(shí)庫中查找候選答案，再與問題組成句子，并根據(jù)訓(xùn)練生成的模型進(jìn)行分類。將“問題—答案”對(duì)形成的文本進(jìn)行分詞，并通過fastText訓(xùn)練的詞向量模型，根據(jù)詞典索引，表示為向量矩陣，作為神經(jīng)網(wǎng)絡(luò)的輸入。將其分批量送進(jìn)雙向LSTM神經(jīng)網(wǎng)絡(luò)，對(duì)LSTM的輸出結(jié)果再通過CRF根據(jù)標(biāo)簽序列調(diào)整參數(shù)，通過對(duì)驗(yàn)證集的預(yù)測值與真實(shí)值比較，降低訓(xùn)練總損失，完成訓(xùn)練。

3 實(shí) 驗(yàn)

3.1 詞的向量表示

Hinton[15]于1986年提出詞的分布式表示，其基本思想是通過學(xué)習(xí)訓(xùn)練數(shù)據(jù)將每個(gè)詞映射成N維實(shí)數(shù)向量，并通過詞之間的距離來計(jì)算語義相似度。本文使用Facebook于2016年開源的快速文本分類工具fastText的詞表征功能來訓(xùn)練詞向量，訓(xùn)練語料來自中文維基百科和機(jī)械行業(yè)文獻(xiàn)資料，在去除多余標(biāo)簽后，語料大小約為950 MB，再用其訓(xùn)練生成150維的詞向量。

3.2 實(shí)驗(yàn)語料

源數(shù)據(jù)主要由3部分組成，機(jī)械行業(yè)科技論文1000篇，基礎(chǔ)技術(shù)資料800篇，行業(yè)技術(shù)規(guī)范400篇。依據(jù)哈爾濱工業(yè)大學(xué)社會(huì)計(jì)算與信息檢索研究中心提出的中文問題分類體系，利用源數(shù)據(jù)，針對(duì)描述類、人物類、地點(diǎn)類、數(shù)字類、時(shí)間類、實(shí)體類(主要指物質(zhì)、材料、術(shù)語等)等6大類問題，構(gòu)建了問答系統(tǒng)的訓(xùn)練、測試語料。語料分布如表1所示。

表1 訓(xùn)練語料和測試語料的問題分布

數(shù)據(jù)集訓(xùn)練集測試集描述類2000700人物類1800600地點(diǎn)類2100900數(shù)字類25001100時(shí)間類2200950實(shí)體類1900650總體125004900

3.3 評(píng)估方法

針對(duì)不同的問題類型，開放領(lǐng)域問答系統(tǒng)在評(píng)測時(shí)可以專門制定評(píng)測方法。目前，評(píng)測開放領(lǐng)域問答系統(tǒng)的國際會(huì)議主要有日語問答評(píng)測平臺(tái)NICIR、英語問答評(píng)測平臺(tái)TREC QA Track和多語言問答評(píng)測CLEF等。采用的評(píng)測指標(biāo)主要包括準(zhǔn)確率、平均排序倒數(shù)(MRR)、CWS等。其中：

(8)

當(dāng)系統(tǒng)給出的排序結(jié)果中存在標(biāo)準(zhǔn)答案時(shí)，以第一個(gè)匹配結(jié)果計(jì)算得分；當(dāng)系統(tǒng)給出的排序結(jié)果中不存在標(biāo)準(zhǔn)答案時(shí)，得分為0。最終分?jǐn)?shù)為所有分?jǐn)?shù)之和。

(9)

其中，N表示測試集中提問的個(gè)數(shù)。

上述指標(biāo)是在開放領(lǐng)域問答系統(tǒng)中對(duì)輸出答案質(zhì)量進(jìn)行評(píng)價(jià)的主要指標(biāo)。而面向限定領(lǐng)域的問答系統(tǒng)的評(píng)測在開放領(lǐng)域問答基礎(chǔ)上，增加了一些指標(biāo)。Anne等[16]從構(gòu)建航天工程領(lǐng)域問答系統(tǒng)出發(fā)，提出了以用戶為中心，以任務(wù)為基點(diǎn)的限定領(lǐng)域問答系統(tǒng)評(píng)測方法，包括系統(tǒng)響應(yīng)時(shí)間、系統(tǒng)可靠性、答案完整性、答案準(zhǔn)確性、答案相關(guān)性、答案有用性等。由于系統(tǒng)可靠性、答案完整性、答案有用性等指標(biāo)難以準(zhǔn)確評(píng)估，因此，此次實(shí)驗(yàn)出于實(shí)用性考慮，主要使用準(zhǔn)確率和消耗響應(yīng)時(shí)間這2個(gè)指標(biāo)來對(duì)系統(tǒng)進(jìn)行測評(píng)。

3.4 實(shí)驗(yàn)結(jié)果

楊煜等[17]利用Google開源的Tensorflow框架實(shí)現(xiàn)了基于LSTM神經(jīng)網(wǎng)絡(luò)的人體動(dòng)作分類系統(tǒng)。Tensorflow簡化了機(jī)器學(xué)習(xí)模型的代碼實(shí)現(xiàn)。此實(shí)驗(yàn)?zāi)Ｐ褪褂肞ython3.5和Google開源的Tensorflow框架實(shí)現(xiàn)。將訓(xùn)練語料經(jīng)過分詞和向量化處理后，送入BI-LSTM-CRF模型。為驗(yàn)證BI-LSTM-CRF模型在問答系統(tǒng)上的有效性，實(shí)驗(yàn)與上文相關(guān)工作中提到的LSTM方法進(jìn)行了比較，結(jié)果如表2所示。

表2 問答系統(tǒng)模型實(shí)驗(yàn)對(duì)比結(jié)果

數(shù)據(jù)集LSTMBI-LSTM-CRF準(zhǔn)確率/%時(shí)間/s準(zhǔn)確率/%時(shí)間/s描述79.110180.5124人物84.39484.4106地點(diǎn)83.311983.2133數(shù)字83.212484.7139時(shí)間82.911783.1121實(shí)體78.89380.297

由表2可知，將LSTM與CRF結(jié)合起來構(gòu)建的BI-LSTM-CRF模型，在實(shí)驗(yàn)數(shù)據(jù)中的準(zhǔn)確率較通用的LSTM模型有所提升，但消耗時(shí)間略有增加。由于消耗時(shí)間是測試子集的總體時(shí)間，因此在實(shí)際應(yīng)用中，平均響應(yīng)時(shí)間增加不大，可以忽略。雖然BI-LSTM-CRF模型整體表現(xiàn)不錯(cuò)，但在地點(diǎn)類問題子集上，準(zhǔn)確率卻不如LSTM模型。經(jīng)分析后發(fā)現(xiàn)，造成此種情形主要是由于此次訓(xùn)練樣本不夠多。在訓(xùn)練樣本不足時(shí)，BI-LSTM-CRF相比LSTM優(yōu)勢并不明顯。但在訓(xùn)練樣本足夠時(shí)，BI-LSTM-CRF能取得更大的優(yōu)勢。在地點(diǎn)類問題上準(zhǔn)確率與訓(xùn)練樣本量的變化趨勢如圖4所示?？傊珺L-LSTM-CRF模型提升了限定領(lǐng)域問答系統(tǒng)的性能，取得了較好的效果。

圖4 模型訓(xùn)練樣本量與準(zhǔn)確率變化趨勢

4 結(jié)束語

本文分析了問答系統(tǒng)的現(xiàn)狀以及條件隨機(jī)場、長短期記憶網(wǎng)絡(luò)等機(jī)器學(xué)習(xí)算法的成功應(yīng)用，提出用深度學(xué)習(xí)的方法來改善問答系統(tǒng)中存在的不足。本文嘗試綜合利用條件隨機(jī)場與長短期記憶網(wǎng)絡(luò)的優(yōu)點(diǎn)，結(jié)合構(gòu)造成新的模型對(duì)問答系統(tǒng)進(jìn)行研究，以發(fā)掘一種提高問答系統(tǒng)性能的機(jī)器學(xué)習(xí)框架。借助實(shí)驗(yàn)，對(duì)混合長短時(shí)記憶網(wǎng)絡(luò)和CRF的學(xué)習(xí)框架(BI-LSTM-CRF)與傳統(tǒng)方法進(jìn)行了比較，發(fā)現(xiàn)結(jié)合兩者的優(yōu)點(diǎn)，可以更好地理解問題，提高準(zhǔn)確率。BI-LSTM-CRF模型在不制定繁瑣的特征規(guī)則的情況下，也取得了較好的準(zhǔn)確率。對(duì)于訓(xùn)練數(shù)據(jù)不足的問題，除了收集和標(biāo)記更多數(shù)據(jù)之外，還有待利用更好的學(xué)習(xí)方法在現(xiàn)有訓(xùn)練數(shù)據(jù)基礎(chǔ)上學(xué)習(xí)更多的特征，這也將是下一步的研究方向。