基于BERT的高校圖書館微信信息服務(wù)的命名實(shí)體識(shí)別方法

李東升　鮑玉來　劉建華等

關(guān)鍵詞： 命名實(shí)體識(shí)別； 高校圖書館； 微信服務(wù)； ＢＥＲＴ； 雙向長(zhǎng)短記憶網(wǎng)絡(luò)； 條件隨機(jī)場(chǎng)

ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１００８－０８２１．２０２３．０４．００７

〔中圖分類號(hào)〕ＴＰ３９１.１ 〔文獻(xiàn)標(biāo)識(shí)碼〕Ａ 〔文章編號(hào)〕１００８－０８２１ （２０２３） ０４－００６４－１３

隨著互聯(lián)網(wǎng)技術(shù)的不斷普及和發(fā)展， 網(wǎng)絡(luò)信息服務(wù)已成為高校圖書館重要的服務(wù)新模式［１］ 。高校圖書館重視智慧服務(wù)的研究工作逐漸增強(qiáng)， 它是一種知識(shí)服務(wù)的新模式， 通過利用先進(jìn)的信息技術(shù)和圖書館的資源， 以主動(dòng)的搜尋、嵌入式的服務(wù)、有效的信息分析和創(chuàng)新為基礎(chǔ)實(shí)現(xiàn)圖書館的智能化服務(wù)， 促使高校圖書館開展更加豐富的實(shí)踐［２－４］ 。命名實(shí)體識(shí)別（Ｎａｍｅ Ｅｎｔｉｔｙ Ｒｅｃｏｇｎｉｔｉｏｎ， ＮＥＲ）作為文本信息識(shí)別的技術(shù)方法， 是正確理解文本的基礎(chǔ)，也是智慧化服務(wù)的知識(shí)引擎［５］ 。ＮＥＲ 技術(shù)是將實(shí)體類型預(yù)先定義， 能夠?qū)崿F(xiàn)在大量的半結(jié)構(gòu)化和非結(jié)構(gòu)數(shù)據(jù)中識(shí)別出不同的實(shí)體， 因而廣泛應(yīng)用于知識(shí)圖譜、智能問答、機(jī)器翻譯、對(duì)話和信息檢索等復(fù)雜的自然語(yǔ)言處理任務(wù)［６－８］ 。網(wǎng)絡(luò)信息資源為高校圖書館信息服務(wù)拓展提供了大量的圖情類文本信息， 借助ＮＥＲ 技術(shù)， 圖書館工作人員能夠從大量的相關(guān)文本信息中快速識(shí)別出領(lǐng)域內(nèi)有價(jià)值的知識(shí)，在圖書館服務(wù)模式的推廣與應(yīng)用中具有較大的參考價(jià)值。圖書館的服務(wù)能否及時(shí)和高效地利用網(wǎng)絡(luò)信息資源， 并借鑒新的服務(wù)發(fā)展模式， 有效滿足用戶新的信息需求， 將成為其保持對(duì)用戶吸引力和有效性的關(guān)鍵［９］ 。高校圖書館微信移動(dòng)信息服務(wù)是各大高校圖書館拓展服務(wù)的重要平臺(tái)， 為圖書館服務(wù)的開展提供了有效的方式， 是便捷的信息獲取和資源共享的可靠平臺(tái)。高校圖書館可以利用命名實(shí)體識(shí)別技術(shù)， 有針對(duì)性地從其豐富的知識(shí)、多樣的信息資源中挖掘知識(shí)， 形成知識(shí)服務(wù)產(chǎn)品， 為其服務(wù)拓展、優(yōu)化和創(chuàng)新提供參考依據(jù)。

基于深度學(xué)習(xí)的命名實(shí)體識(shí)別技術(shù)， 在文本信息上特征提取的深度和模型的精確度的優(yōu)異表現(xiàn)，已成為有序、有效地利用信息資源的重要方法［１０］ 。２０１３ 年， Ｍｉｋｏｌｏｖ Ｔ 等［１１］ 提出模型Ｗｏｒｄ２ｖｅｃ， 該模型采用ｓｋｉｐ－Ｇｒａｍ 或ＣＢＯＷ 模型預(yù)測(cè)詞匯并通過神經(jīng)網(wǎng)絡(luò)訓(xùn)練相應(yīng)的嵌入向量， 在命名實(shí)體識(shí)別方面取得良好的效果。在詞訓(xùn)練方面， 如Ｇｌｏｖｅ、Ｆａｓｔ?ｔｅｘｔ 等模型在命名實(shí)體識(shí)別中有較多的嘗試應(yīng)用，均有較大的研究進(jìn)展［１２］ 。然而， Ｗｏｒｄ２ｖｅｃ 等預(yù)訓(xùn)練模型仍然存在無(wú)法表征一詞多義的問題， 因?yàn)樗鼈冎饕P(guān)注的是詞或者字符之間的特征， 而忽略了詞的上下文語(yǔ)境， 導(dǎo)致其實(shí)體識(shí)別能力有限。在中文命名實(shí)體識(shí)別自然語(yǔ)言處理領(lǐng)域， 相比英文存在較多困難， 英文的詞語(yǔ)構(gòu)造形式比中文在實(shí)體命名識(shí)別方面體現(xiàn)出更多的語(yǔ)義信息［１３］ 。Ｓｕ Ｔ Ｒ 等［１４］基于漢字字形學(xué)習(xí)特征， 在詞向量方面的研究對(duì)中文文本在訓(xùn)練出現(xiàn)的語(yǔ)義特征所存在的困難和問題有較好的效果； Ｙｕ Ｊ 等［１５］ 研究提出一種組合學(xué)習(xí)語(yǔ)義特征的狀態(tài)和更加細(xì)粒度的Ｓｕｂｃｈａｒａｃｔｅｒ 的方法， 并學(xué)習(xí)了中文在語(yǔ)言相似性和語(yǔ)言特征融合任務(wù)上詞向量任務(wù)。在實(shí)體命名識(shí)別領(lǐng)域中， ＢＥＲＴ在詞向量訓(xùn)練方面有效解決一詞多義的問題， 是一種基于序列到序列模式（Ｓｅｑ２Ｓｅｑ）結(jié)構(gòu)上的創(chuàng)新。

２０１８年， Ｇｏｏｇｌｅ團(tuán)隊(duì)提出基于注意力機(jī)制的Ｔｒａｎｓ?ｆｏｒｍｅｒｓ［１６］ 模型的ＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅ?ｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ）， 不同于傳統(tǒng)的ＲＮＮ和ＣＮＮ（卷積神經(jīng)網(wǎng)絡(luò)）， 該模型使用了Ｔｒａｎｓｆｏｒｍ?ｅｒｓ 作為算法的主要框架， 增強(qiáng)預(yù)訓(xùn)練詞向量模型的泛化能力， 使得模型能夠更徹底地捕捉語(yǔ)句中的雙向關(guān)系， 更好地表征不同語(yǔ)境中的句法和語(yǔ)義信息。通過ＢＥＲＴ訓(xùn)練詞向量， 對(duì)前后文本的預(yù)測(cè)考慮了前后雙向的輸入信息， 體現(xiàn)出語(yǔ)境不同所含有相同詞的語(yǔ)法或字詞。因此， 在實(shí)體識(shí)別領(lǐng)域， 許多學(xué)者基于ＢＥＲＴ 訓(xùn)練模型學(xué)習(xí)詞向量的分布， 以提高實(shí)體識(shí)別的精度。黃梅根等［１７］ 基于ＢＥＲＴ優(yōu)化模型， 采用關(guān)系分類與元素抽取兩個(gè)任務(wù)模型進(jìn)行命名實(shí)體識(shí)別， 取得了較好的效果。岳琪等［１８］基于ＢＥＲＴ改進(jìn)與雙向ＲＮＮ模型分析林業(yè)實(shí)體識(shí)別和實(shí)體關(guān)系的抽取， 并驗(yàn)證了該領(lǐng)域內(nèi)構(gòu)建知識(shí)圖譜的可行性。在警情領(lǐng)域關(guān)鍵實(shí)體文本中， 王月等［１９］ 使用了ＢＥＲＴ 預(yù)訓(xùn)練詞向量， 模型在命名實(shí)體識(shí)別研究方法上設(shè)計(jì)了不同方案以提高準(zhǔn)確率。

以上不同研究領(lǐng)域的命名實(shí)體識(shí)別方法為本文在高校圖書館微信信息服務(wù)進(jìn)行命名實(shí)體識(shí)別提供了參考。目前， 在高校圖情領(lǐng)域命名實(shí)體識(shí)別的研究中， 由于缺乏對(duì)領(lǐng)域?qū)嶓w語(yǔ)料庫(kù)的研究， 提升實(shí)體識(shí)別效果存在較大的難度， 如文本中隱含的信息實(shí)體類別無(wú)法充分識(shí)別、數(shù)據(jù)量小、人工標(biāo)注成本高等。為了解決高校圖情領(lǐng)域的命名實(shí)體識(shí)別問題， 針對(duì)高校圖情領(lǐng)域語(yǔ)料資源缺乏、人工標(biāo)注難以滿足等對(duì)提升領(lǐng)域?qū)嶓w識(shí)別效果的情況下， 通過知識(shí)規(guī)則具體定義實(shí)體的邊界， 本文構(gòu)建了高校圖書館微信服務(wù)推文文本的數(shù)據(jù)集ＵＬＩＣＮＥＲ。由于ＢＥＲＴ 具有較強(qiáng)的語(yǔ)義表達(dá)能力， 利用ＢＥＲＴ學(xué)習(xí)大規(guī)模文本后生成具有語(yǔ)義特征的字符向量， 接著通過ＢｉＬＳＴＭ 層對(duì)ＢＥＲＴ的輸入文本序列學(xué)習(xí)獲取上下文的文本特征， 最后通過連接ＣＲＦ 層得到最佳的序列輸出。因此， 本文采用基于ＢＥＲＴ－ＢｉＬＳＴＭＣＲＦ模型構(gòu)建高校圖書館微信信息服務(wù)文本中命名實(shí)體的方法， 完成高校圖書館微信服務(wù)領(lǐng)域的命名實(shí)體識(shí)別任務(wù)。

１文本數(shù)據(jù)集的采集與分析

１.１數(shù)據(jù)的來源

高校圖書館服務(wù)信息的文本不同于其他領(lǐng)域文本， 具有服務(wù)多樣性、規(guī)律性、客觀性， 這對(duì)其文本的語(yǔ)義識(shí)別技術(shù)使用產(chǎn)生了較大影響。為保證數(shù)據(jù)的可靠性和準(zhǔn)確性， 本文參考了基于教育部的《普通高等學(xué)校圖書館規(guī)程》［２０］ 和圖書情報(bào)檢索領(lǐng)域內(nèi)的《中國(guó)圖書館分類法》［２１］ 的語(yǔ)義分類方法和詞語(yǔ)用法。數(shù)據(jù)文本的采集通過清博指數(shù)平臺(tái)上的高校圖書館微信服務(wù)公眾號(hào)榜單［２２］ ， 該榜單涵蓋了全國(guó)開通微信服務(wù)的９４６ 所高校， 從中爬取了涵蓋高校圖書館對(duì)服務(wù)范圍、用戶需求、業(yè)務(wù)能力和文化推廣等方面的３６ ０００多條文本， 約６０萬(wàn)字符。

１.２文本的實(shí)體特征分析

由于不同領(lǐng)域文本的實(shí)體有不同的特點(diǎn)， 高校圖書館服務(wù)領(lǐng)域語(yǔ)料與醫(yī)療、司法和輿情等其他領(lǐng)域存在不同的特征， 它們之間相互的詞匯重疊的相似度較低［２３］ 。因此， 詞分布不同的領(lǐng)域文本實(shí)體識(shí)別效果會(huì)在模型中體現(xiàn)出不同的特征， 進(jìn)而需要設(shè)計(jì)不同的實(shí)體識(shí)別方法和分類。如實(shí)體類的“文化” 指圖書館文化交流活動(dòng)， 是各種活動(dòng)通知、沙龍互動(dòng)交流、新聞、黨建、學(xué)術(shù)交流、競(jìng)賽、文化活動(dòng)、文化環(huán)境和文化展覽等， 其他各類實(shí)體的含義及示例如表１所示。

１.３數(shù)據(jù)文本的標(biāo)注

本文基于ＢＩＯ 法對(duì)高校圖書館微信服務(wù)推文文本的數(shù)據(jù)集ＵＬＩＣＮＥＲ 進(jìn)行標(biāo)記。由于獲取的特定數(shù)據(jù)文本進(jìn)行標(biāo)注任務(wù)常采用純?nèi)斯?biāo)注的方法， 在質(zhì)量控制方面存在效率低和錯(cuò)誤率高的問題［２４］ 。本文的標(biāo)注人員由圖情方向的老師、專家和機(jī)器學(xué)習(xí)方向老師３ 名成員組成， 領(lǐng)域內(nèi)標(biāo)記開始前需要經(jīng)過前期軟件操作培訓(xùn)和標(biāo)注規(guī)則的熟悉。數(shù)據(jù)文本的標(biāo)注工作持續(xù)了５０ 天， 平均每天完成７００ 多條文本句子。為確保標(biāo)注質(zhì)量和降低標(biāo)注成本， 保證實(shí)體標(biāo)注結(jié)果的一致性， 本文采用基于詞典規(guī)則與人工修正相結(jié)合的半自動(dòng)標(biāo)注方式，構(gòu)建高校圖書館微信推文文本數(shù)據(jù)集。首先， 在標(biāo)注語(yǔ)料庫(kù)前， 根據(jù)詞典與規(guī)則匹配方法， 預(yù)先采集了領(lǐng)域內(nèi)的實(shí)體名稱和實(shí)體標(biāo)簽， 此部分實(shí)體有６００多個(gè)類目； 其次， 根據(jù)構(gòu)建的匹配規(guī)則與所標(biāo)注的數(shù)據(jù)本文進(jìn)行自動(dòng)實(shí)體標(biāo)記； 最后， 還需對(duì)自動(dòng)匹配結(jié)果中可能出現(xiàn)的錯(cuò)誤標(biāo)注、漏標(biāo)注等問題以人工校驗(yàn)的方式進(jìn)一步作調(diào)整和改進(jìn)， 且隨著文本被標(biāo)注校驗(yàn)正確后， 還會(huì)與預(yù)先定義的實(shí)體合并形成動(dòng)態(tài)更新的領(lǐng)域知識(shí)庫(kù)， 進(jìn)而在隨后的文本過程中自動(dòng)匹配效率得到快速提升。具體實(shí)體標(biāo)注過程如圖１ 所示。

數(shù)據(jù)集基于ＢＩＯ 規(guī)則對(duì)語(yǔ)言序列進(jìn)行標(biāo)注，其中， Ｂ－ｂｅｇｉｎ 代表實(shí)體的開頭； Ｉ－ｉｎｓｉｄｅ 代表實(shí)體的中間或結(jié)尾； Ｏ－ｏｕｔｓｉｄｅ 代表不屬于實(shí)體， 如以句子“圖書館寒假閉館通知” 為例， 其序列標(biāo)注如圖２所示。

利用以上方法將高校圖情語(yǔ)料中的文本實(shí)體描述進(jìn)行識(shí)別， 最終構(gòu)建了ＵＬＩＣＮＥＲ 語(yǔ)料集， 數(shù)據(jù)的標(biāo)簽包含７ 個(gè)粗粒度分類和１６ 個(gè)細(xì)粒度分類，如表２ 所示。

另外， 本實(shí)驗(yàn)使用數(shù)據(jù)集按照８∶１∶１的比例將數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。領(lǐng)域命名實(shí)體的數(shù)據(jù)集中每一行由兩列組成， 數(shù)據(jù)的兩列之間采用空格隔開， 其中第一列為文本內(nèi)容， 第二列是ＢＩＯ格式的標(biāo)簽序列， 句子邊界用空行標(biāo)識(shí)。數(shù)據(jù)集組成情況如表３ 所示。

２ＢＥＲＴ－ＢｉＬＳＴＭ－ＣＲＦ語(yǔ)言模型

本文研究采用的ＢＥＲＴ－ＢｉＬＳＴＭ－ＣＲＦ 模型探索高校圖書館微信文本信息實(shí)體識(shí)別， 如圖３ 所示。首先， 使用ＢＥＲＴ 預(yù)訓(xùn)練模型， 獲取每一個(gè)標(biāo)識(shí)的向量表示特征， 即字向量表示層； 然后， 輸入ＢｉＬ?ＳＴＭ 模型學(xué)習(xí)文本之間的關(guān)系， 即基于ＢｉＬＳＴＭ（考慮雙向的ＬＳＴＭ）建模以提取語(yǔ)義和結(jié)構(gòu)特征；最后， 基于ＣＲＦ 的解碼層輸出預(yù)測(cè)的標(biāo)簽序列，獲取每個(gè)標(biāo)識(shí)的分類結(jié)果。

為了便于理解本文ＢＥＲＴ－ＢｉＬＳＴＭ－ＣＲＦ 模型構(gòu)建， 表４ 具體解釋了模型流程， 包括輸入文本批量數(shù)， 維度轉(zhuǎn)換以及輸出的過程。

２.１ ＢＥＲＴ 預(yù)訓(xùn)練模型

由于ＢＥＲＴ 在自然語(yǔ)言處理方面具有很強(qiáng)的語(yǔ)義表征優(yōu)勢(shì)， 在文本輸入訓(xùn)練層的Ｅｍｂｅｄｄｉｎｇ 層采用ＢＥＲＴ 進(jìn)行預(yù)訓(xùn)練， 產(chǎn)生詞向量， 獲取語(yǔ)境化的詞向量來提高實(shí)體識(shí)別的性能。ＢＥＲＴ 采用了Ｔｒａｎｓｆｏｒｍｅｒ 的雙向編碼器表示， 在自然語(yǔ)言處理研究中取得很高的成就［２５］ 。ＢＥＲＴ 通過所有Ｔｒａｎｓ?ｆｏｒｍｅｒ 層左右上下文共同調(diào)節(jié)， 來預(yù)訓(xùn)練深度雙向表示， 不依賴于時(shí)間序列， 并在較長(zhǎng)上下文本處理中具有較大優(yōu)勢(shì)， 可以更好地提升語(yǔ)義表征水平。ＢＥＲＴ 訓(xùn)練通常分為兩步， 首先對(duì)模型進(jìn)行預(yù)訓(xùn)練（Ｐｒｅｔｒａｉｎｉｎｇ ＢＥＲＴ）， 其次在預(yù)訓(xùn)練的基礎(chǔ)上， 根據(jù)下游任務(wù)進(jìn)行模型微調(diào)（Ｆｉｎｅ－ｔｕｎｉｎｇ ＢＥＲＴ）。

傳統(tǒng)語(yǔ)言模型訓(xùn)練采用單向方式或者拼接的方式， 但這種模型從ｌｅｆｔ－ｔｏ－ｒｉｇｈｔ， 或ｌｅｆｔ－ｔｏ－ｒｉｇｈｔ＋ｒｉｇｈｔ－ｔｏ－ｌｅｆｔ 結(jié)合的方式提取特征的能力有限， 而Ｐｒｅ－ｔｒａｉｎｉｎｇ ＢＥＲＴ 采用一個(gè)深度雙向表達(dá)模型（Ｄｅｅｐ Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）， 即采用ＭａｓｋｅｄＬＭ（帶Ｍａｓｋ 的語(yǔ)言模型訓(xùn)練任務(wù)）和Ｎｅｘｔ ＳｅｎｔｅｎｃｅＰｒｅｄｉｃｔｉｏｎ（下一句話預(yù)測(cè)任務(wù)， ＮＳＰ）兩種方法分別完成在ＢＥＲＴ 訓(xùn)練的構(gòu)建， 具有較大的創(chuàng)新， 并且效果比較好。

本文在預(yù)訓(xùn)練模型考慮多個(gè)句子區(qū)分級(jí)別的任務(wù)， 因此， 使用Ｍａｓｋｅｄ ＬＭ 和ＮＳＰ 進(jìn)行模型預(yù)訓(xùn)練。Ｍａｓｋｅｄ ＬＭ 的任務(wù)機(jī)制在訓(xùn)練時(shí)， 給定一個(gè)句子， 會(huì)隨機(jī)Ｍａｓｋ（掩碼）１５％的詞， 然后采用ＢＥＲＴ來預(yù)測(cè)這些Ｍａｓｋ 的詞。在這些被選中的Ｔｏｋｅｎ 中，數(shù)據(jù)生成器并不是把它們?nèi)孔兂桑郏停粒樱耍荨Ｍǔ４嬖冢?種情況： 其一， 在８０％的概率下， 用［ＭＡＳＫ］標(biāo)記替換該Ｔｏｋｅｎ（圖書館暑假閉館＞圖書館暑假［ＭＡＳＫ］ ［ＭＡＳＫ］）； 其二， 在１０％的概率下， 用一個(gè)隨機(jī)的單詞替換Ｔｏｋｅｎ（如： 圖書館暑假閉館＞圖書館暑假通知）； 其三， 在１０％的概率下， 保持該Ｔｏｋｅｎ 不變（如： 圖書館暑假閉館＞圖書館暑假閉館）。Ｍａｓｋｅｄ ＬＭ 模型在訓(xùn)練的過程中， 并不知道將要預(yù)測(cè)哪些單詞。正是在這樣一種高度不確定的情況下， 模型能快速學(xué)習(xí)該Ｔｏｋｅｎ 的分布式上下文的語(yǔ)義， 最大化地學(xué)習(xí)原始語(yǔ)言語(yǔ)義表征。同時(shí)因?yàn)樵嘉谋局兄挥校保担サ模裕铮耄澹?參與ＭＡＳＫ 操作， 并不影響學(xué)習(xí)原語(yǔ)言的表達(dá)能力和語(yǔ)言規(guī)則。

ＢＥＲＴ 引入ＮＳＰ（下一句話預(yù)測(cè)任務(wù)）任務(wù)， 采用的方式是輸入句子對(duì)（Ａ， Ｂ）， 模型來預(yù)測(cè)句子Ｂ是不是句子Ａ 的真實(shí)的下一句話。為了更好地實(shí)現(xiàn)文本的實(shí)體命名識(shí)別， 需要模型能夠很好地理解兩個(gè)句子之間的關(guān)系， 故采用ＮＳＰ 模型在對(duì)應(yīng)的任務(wù)有良好的效果。ＮＳＰ模型通過預(yù)訓(xùn)練方法來捕捉兩個(gè)句子的聯(lián)系， 如有Ａ和Ｂ兩個(gè)句子， Ｂ 有５０％的可能性是Ａ 的下一句， 訓(xùn)練模型是為了預(yù)測(cè)Ｂ是不是Ａ的下一句， 使模型增強(qiáng)對(duì)上下文聯(lián)系的能力。

另外， 在命名實(shí)體識(shí)別任務(wù)中， 模型微調(diào)通過Ｔｒａｎｓｆｏｒｍｅｒ中的Ｓｅｌｆ－ａｔｔｅｎｔｉｏｎ 機(jī)制提供的ＢＥＲＴ 對(duì)其下游任務(wù)進(jìn)行建模， 無(wú)論他們包含單個(gè)文本或多個(gè)文本， 只需要替換掉輸入和輸出。對(duì)于每個(gè)任務(wù)， 需將特定于任務(wù)的輸入和輸出插入到ＢＥＲＴ中， 并對(duì)所有參數(shù)進(jìn)行端到端微調(diào)。本文模型考慮多個(gè)句子區(qū)分級(jí)別的任務(wù)， 并分別給每個(gè)句子的字符進(jìn)行標(biāo)注標(biāo)簽。句子起始的Ｔｏｋｅｎ 均為特殊分類標(biāo)記（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ｔｏｋｅｎ， ［ＣＬＳ］）， 結(jié)束的Ｔｏｋｅｎ均為特殊令牌（Ｓｐｅｃｉａｌ Ｔｏｋｅｎ， ［ＳＥＰ］）。句子的輸入過程包含將句子輸入到ＢＥＲＴ 模型的原有靜態(tài)詞向量編碼（Ｔｏｋｅｎ Ｅｍｂｅｄｄｉｎｇｓ， 表示字向量， 第一個(gè)單詞是［ＣＬＳ］標(biāo)志）和位置編碼（Ｐｏｓｉｔｉｏｎ Ｅｍｂｅｄ?ｄｉｎｇｓ， 表示位置向量， 是通過學(xué)習(xí)得出）， 另外還加入了語(yǔ)句分割編碼（Ｓｅｇｍｅｎｔ Ｅｍｂｅｄｄｉｎｇｓ， 句向量， 用來區(qū)別兩種句子）， 整個(gè)模塊的輸出結(jié)果是３ 種Ｅｍｂｅｄｄｉｎｇ 編碼之和， 如圖４所示。

２.２ ＢｉＬＳＴＭ 模型

ＢｉＬＳＴＭ 模型是由兩個(gè)獨(dú)立的長(zhǎng)短期記憶網(wǎng)絡(luò)（ＬＳＴＭ， Ｄｉｒｅｃｔｉｏｎａｌ Ｌｏｎｇ Ｓｈｏｒｔ－ｔｅｒｍ Ｍｅｍｏｒｙ） 模型組合而成， 一個(gè)正向去處理序列， 一個(gè)反向去處理序列， 處理完后， 兩個(gè)ＬＳＴＭ 的輸出拼接起來形成的詞向量作為該詞的最終特征表達(dá)。另外， ＢｉＬ?ＳＴＭ 中的兩個(gè)ＬＳＴＭ 神經(jīng)網(wǎng)絡(luò)參數(shù)是相互獨(dú)立的，它們只共享由ＢＥＲＴ 預(yù)訓(xùn)練層輸入的Ｗｏｒｄ－ｅｍｂｅｄ?ｄｉｎｇ 詞向量信息。１９９７ 年， 針對(duì)循環(huán)神經(jīng)網(wǎng)絡(luò)（ＲＮＮ， Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）的梯度消失和梯度爆炸問題， Ｈｏｃｈｒｅｉｔｅｒ Ｓ 等［２６］ 提出了該改進(jìn)模型， 模型對(duì)文本特征提取效率和性能要優(yōu)于單個(gè)ＬＳＴＭ 結(jié)構(gòu)模型， 取得良好的效果， 其ＬＳＴＭ 原理結(jié)構(gòu)如圖５ 和圖６所示。

在自然語(yǔ)言處理的實(shí)際應(yīng)用中，發(fā)現(xiàn)循環(huán)神經(jīng)網(wǎng)絡(luò)存在如梯度消失、梯度爆炸以及長(zhǎng)距離依賴信息能力差等問題， 因此引入了長(zhǎng)短期記憶網(wǎng)絡(luò)（ＬＳＴＭ）。該模型是ＲＮＮ 的一種改進(jìn)， 內(nèi)部結(jié)構(gòu)擁有更長(zhǎng)的記憶， 梯度消失問題得到優(yōu)化。ＬＳＴＭ 在主體結(jié)構(gòu)上與ＲＮＮ 類似， 其主要的改進(jìn)是在隱藏層ｈ 中增加了３ 個(gè)門控（Ｇａｔｅｓ）結(jié)構(gòu)， 分別是遺忘門（Ｆｏｒｇｅｔ Ｇａｔｅ）、輸入門（Ｉｎｐｕｔ Ｇａｔｅ）、輸出門（ＯｕｔｐｕｔＧａｔｅ）， 同時(shí)新增了一個(gè)隱藏狀態(tài)（Ｃｅｌｌ Ｓｔａｔｅ）。ＬＳＴＭ 隱藏層結(jié)構(gòu)原理如圖５ 所示， ｆ（ｔ）表示ｔ 時(shí)刻遺忘門， 可以選擇性地遺忘一些信息， 其值范圍是０～１； ｉ（ｔ）表示ｔ 時(shí)刻輸入門， 可以添加新的信息，如假設(shè)輸入１０ 個(gè)元素信息和原來的４ 個(gè)全連接層（假設(shè)是隱藏單元個(gè)數(shù)一致的１２８ 個(gè)神經(jīng)元， 輸出都是１２８ 個(gè)元素的向量）進(jìn)行拼接， 給Ｃ 中傳入更新的信息（１３８ 個(gè)元素的一維向量）； 輸出門ｏ（ｔ）依賴前一個(gè)狀態(tài)向量ｈ（ｔ－１）和更新的輸入信息ｘ（ｔ）， 是長(zhǎng)短期“記憶” 的更新變化； ａ（ｔ）表示ｔ 時(shí)刻對(duì)ｈ（ｔ－１）和ｘ（ｔ）的初步特征的提取， 會(huì)作為下一時(shí)刻（ｔ＋１）的輸入之一。具體的計(jì)算過程如下：

３.３實(shí)驗(yàn)結(jié)果

本文采用的ＢＥＲＴ－ＢｉＬＳＴＭ－ＣＲＦ 有效地提升了高校圖書館微信推文文本數(shù)據(jù)集實(shí)體命名識(shí)別的效果。為驗(yàn)證分析， 研究還設(shè)計(jì)了４ 種不同模型性能比較， 分別是： ①ＣＲＦ 模型， 該模型定義一個(gè)特征函數(shù)的集合， 用這個(gè)帶約束作用的特征函數(shù)集合來為一個(gè)標(biāo)注序列打分， 并據(jù)此選出最佳的標(biāo)注序列； ②ＢｉＬＳＴＭ 模型， 該模型為ＬＳＴＭ 的雙向考慮模型， 依靠神經(jīng)網(wǎng)絡(luò)強(qiáng)大的非線性擬合能力， 可以將樣本的高維空間復(fù)雜非線性變換， 該模型將樣本標(biāo)注進(jìn)行學(xué)習(xí)并預(yù)測(cè)； ③ＢｉＬＳＴＭ－ＣＲＦ 模型， 經(jīng)典的實(shí)體命名提取模型， 該模型通過加入ＣＲＦ 層優(yōu)化了ＬＳＴＭ 層在序列標(biāo)注學(xué)習(xí)任務(wù)過程， 學(xué)習(xí)隱含狀態(tài)序列的特征； ④ＢＥＲＴ－ＣＲＦ 模型， 該模型與ＢｉＬＳＴＭ－ＣＲＦ 模型較為相似， 其本質(zhì)上還是一個(gè)ＣＲＦ 模型， 只是采用ＢＥＲＴ 模型來訓(xùn)練ＣＲＦ 模型中的發(fā)射矩陣。實(shí)驗(yàn)結(jié)果如表５ 所示。

由表５ 可知， ＢｉＬＳＴＭ－ＣＲＦ 模型結(jié)合了ＢｉＬ?ＳＴＭ 模型和ＣＲＦ 模型的優(yōu)點(diǎn)， 準(zhǔn)確率為９４.１７％，高于后兩種模型９１.２６％ 和９３.１８％ 的準(zhǔn)確率；ＢＥＲＴ－ＣＲＦ 模型通過ＢＥＲＴ 預(yù)訓(xùn)練模型， 在學(xué)習(xí)到狀態(tài)序列（輸出的標(biāo)注）之間的關(guān)系效果好于ＢｉＬ?ＳＴＭ 模型， 其準(zhǔn)確率提高到了９７.８５％； ＢＥＲＴ －ＢｉＬＳＴＭ－ＣＲＦ 模型能夠并行獲取并優(yōu)化全局信息，其準(zhǔn)確率、召回率和Ｆ１ 值都是最高的， 分別為９８.５９％、９８.９１％和９８.７５％。另外， 相比ＢＥＲＴＣＲＦ模型沒有對(duì)ＢＥＲＴ 預(yù)訓(xùn)練輸出結(jié)果進(jìn)行上下文關(guān)系的匹配， 本文模型在準(zhǔn)確率、召回率和Ｆ１ 值上分別提升了０.７４％、０.９９％和０.７６％。因此， 采用ＢＥＲＴ－ＢｉＬＳＴＭ－ＣＲＦ 模型的實(shí)驗(yàn)結(jié)果可以看出，通過ＢＥＲＴ模型對(duì)輸入的詞向量進(jìn)行訓(xùn)練后的結(jié)果導(dǎo)入到ＢｉＬＳＴＭ－ＣＲＦ 模型， 得出的結(jié)果更準(zhǔn)確。

為有效分析本文模型在測(cè)試集上的實(shí)體識(shí)別效果， 通過實(shí)例分析命名實(shí)體標(biāo)記結(jié)果的具體表現(xiàn)進(jìn)行呈現(xiàn)。為突顯高校圖書館微信信息服務(wù)的特色和影響力， 隨機(jī)選出兩篇高校圖書館在榜單中影響力排名靠前的微信推文， 具體結(jié)果如表６ 所示。

由表６ 可見， 本文通過命名實(shí)體識(shí)別技術(shù)應(yīng)用， 分別實(shí)例分析了兩類不同辦學(xué)層次高校圖書館微信推文的實(shí)體識(shí)別效果， 并以此較為全面地提取了高校圖書館服務(wù)平臺(tái)上的領(lǐng)域內(nèi)容介紹中的各類專業(yè)名詞術(shù)語(yǔ)， 極大地豐富了圖書館知識(shí)服務(wù)。其中， 北京大學(xué)圖書館發(fā)布的“靈氣所鐘—山東臨朐紅絲硯歷史文化展” 微信推文取得良好的社會(huì)影響， 閱讀量和點(diǎn)贊量非常高， 有效地實(shí)現(xiàn)文化傳播在高校圖書館的推廣和應(yīng)用， 其微信推文的實(shí)體識(shí)別效果如圖７ 所示。同時(shí)， 該文的知識(shí)發(fā)現(xiàn)可以推薦作為高校圖書館微信信息服務(wù)與地方特色歷史文化相結(jié)合， 為讀者提供了便捷的信息分享?xiàng)l件，提升讀者的關(guān)注， 實(shí)現(xiàn)資源共享和服務(wù)推廣等。另外， 信陽(yáng)師范學(xué)院圖書館發(fā)布的“關(guān)于師院的獨(dú)家地理知識(shí)， 你知道多少？” 微信推文的影響力較佳， 在閱讀量不高的情況下取得較高的點(diǎn)贊量， 深受讀者的歡迎， 該文介紹了校內(nèi)特色人文地理環(huán)境， 借鑒圖書館微信平臺(tái)宣傳吸引當(dāng)?shù)刈x者的注意， 能夠引起讀者的共鳴， 塑造良好的校園環(huán)境，也是高校圖書館信息服務(wù)過程和信息服務(wù)創(chuàng)新模式的有效策略， 該文的實(shí)體識(shí)別效果如圖８所示。因此， 通過分析高校圖書館微信平臺(tái)具有影響力的推文， 采集具有特色和影響力的推文實(shí)體， 可以實(shí)現(xiàn)高校圖書館服務(wù)內(nèi)容的結(jié)構(gòu)化呈現(xiàn)， 為圖書館特色服務(wù)和發(fā)展模式的拓展提供了可借鑒的資源獲取和利用平臺(tái)。采用命名實(shí)體識(shí)別技術(shù)， 通過進(jìn)一步挖掘信息資源的各類實(shí)體關(guān)系， 如構(gòu)建高校圖書館知識(shí)圖譜， 實(shí)現(xiàn)信息資源的實(shí)體之間更深層次和更大范圍的關(guān)聯(lián)， 優(yōu)化領(lǐng)域內(nèi)的內(nèi)容推薦、檢索等服務(wù)質(zhì)量， 提升圖書館知識(shí)服務(wù)的發(fā)現(xiàn)能力。

３.４各類實(shí)體識(shí)別結(jié)果

為明確本文的不同模型對(duì)不同類別實(shí)體的識(shí)別效果， 本文通過準(zhǔn)確率、召回率和Ｆ１ 值３ 個(gè)指標(biāo)對(duì)不同類別實(shí)體識(shí)別進(jìn)行了對(duì)比分析， 結(jié)果如表７所示。本文模型在用戶、時(shí)間、機(jī)構(gòu)和地址等實(shí)體識(shí)別的準(zhǔn)確率、召回率和Ｆ１ 值都較高， 而只是對(duì)實(shí)體數(shù)較少的服務(wù)簡(jiǎn)稱（ＳＥＲ＿ＪＣ）的實(shí)體識(shí)別評(píng)價(jià)指標(biāo)的數(shù)值偏低， 可能與該實(shí)體數(shù)量偏少有關(guān)， 存在降低實(shí)體分類能力， 該實(shí)體識(shí)別的準(zhǔn)確率、召回率和Ｆ１ 值分別為８０.００％、１00.00％和８８.８９％。可見， 本文采用的ＢＥＲＴ－ＢｉＬＳＴＭ－ＣＲＦ 模型對(duì)高校圖書館微信服務(wù)的推文文本信息中各類不同實(shí)體的識(shí)別效率效果良好。

４結(jié)語(yǔ)

針對(duì)高校圖書館服務(wù)領(lǐng)域內(nèi)實(shí)體名稱多樣、特征信息提取不明確的問題， 將高校圖情領(lǐng)域的數(shù)據(jù)集預(yù)先定義為７ 個(gè)粗粒度分類和１６ 個(gè)細(xì)粒度分類，并進(jìn)行了實(shí)體識(shí)別標(biāo)注， 數(shù)據(jù)集涵蓋領(lǐng)域內(nèi)的服務(wù)內(nèi)容， 用戶需求、業(yè)務(wù)能力和文化推廣等方面。

高校圖書館如何有效地整合服務(wù)推廣平臺(tái)信息， 使服務(wù)模式的重要信息聯(lián)系起來， 是高校圖書館移動(dòng)信息服務(wù)提高的關(guān)鍵。因此， 本文以ＢＥＲＴＢｉＬＳＴＭ－ＣＲＦ 模型作為高校圖書館微信推文文本實(shí)體識(shí)別方法。首先， 采用ＢＥＲＴ 預(yù)訓(xùn)練模型， 獲取每一個(gè)標(biāo)識(shí)的向量表示特征； 然后， 基于ＢｉＬＳＴＭ層以提取更加準(zhǔn)確的語(yǔ)義和結(jié)構(gòu)特征； 最后， 使用ＣＲＦ 層輸出預(yù)測(cè)的標(biāo)簽序列， 獲取高校圖情微信服務(wù)領(lǐng)域的實(shí)體識(shí)別中存在的特征關(guān)系進(jìn)行約束，進(jìn)一步提高了實(shí)體識(shí)別的提取效率。另外， 本文模型提升了高校圖書館信息服務(wù)領(lǐng)域命名實(shí)體識(shí)別效果， 并實(shí)例分析了高校圖書館微信推文在知識(shí)服務(wù)過程中的發(fā)現(xiàn)能力。本文下一步的研究?jī)?nèi)容主要有兩個(gè)方面： 一是如何解決數(shù)據(jù)集實(shí)體中數(shù)量不平衡問題； 二是提高模型的實(shí)體識(shí)別效率， 同時(shí)提高標(biāo)注的準(zhǔn)確率， 如訓(xùn)練耗時(shí)長(zhǎng)、參數(shù)冗余和資源成本高等方面進(jìn)行模型改進(jìn)， 為自然語(yǔ)言處理技術(shù)在高校圖書館服務(wù)領(lǐng)域中的應(yīng)用提供方案。