高校學業(yè)文本命名實體識別及數(shù)據(jù)集構(gòu)建研究

何 晨，苑迎春，2，王克儉，2，陶 佳

1.河北農(nóng)業(yè)大學 信息科學與技術學院，河北 保定071001

2.河北省農(nóng)業(yè)大數(shù)據(jù)重點實驗室，河北 保定071001

教育部2020 年發(fā)布的全國教育事業(yè)統(tǒng)計結(jié)果顯示，全國共有普通高校2 668所，其中本科院校1 265所，全國各類高等教育在校學生總規(guī)模達4 002 萬人[1]。高等教育的普及致使出現(xiàn)學業(yè)問題的學生數(shù)量不斷增多，與高校現(xiàn)有教學管理師資力量出現(xiàn)了極大的不平衡。教育部發(fā)布的信息顯示，當前我國高等學校平均每學年因?qū)W業(yè)等原因退學的本?？茖W生人數(shù)已超過10 萬人，每學年因各種學業(yè)問題延期畢業(yè)與肄業(yè)的學生數(shù)量更是居高不下[2]。因此，學業(yè)問題成為亟待解決的重要問題。當前，國家修訂了《高等學校學生行為準則》《普通高等學校學生安全教育及管理暫行規(guī)定》等一系列規(guī)章制度，且全國高校都編撰了具有一定體系的學業(yè)管理規(guī)定，為大學學業(yè)領域進行實體命名識別數(shù)據(jù)集的構(gòu)建提供了大量文本數(shù)據(jù)。

Rau[3]首次提出了命名實體識別任務，作為信息抽取中的基本工作，該技術一直以來得到眾多學者在不同廣度與深度上的關注和研究[4-6]。命名實體識別即文本語義信息挖掘[7]，從文本的語義表征層面出發(fā)，對上層關系抽取[8]以及領域知識圖譜[9]構(gòu)建起到了決定性作用，精準的命名實體識別有利于后續(xù)工作的順利開展。通過完成實體識別任務，抽取出文本中的關鍵實體，從而有效構(gòu)建三元組（＜頭實體h，關系r，尾實體t＞[10]）。傳統(tǒng)識別方法主要依賴于大量人工標注構(gòu)建的手工模版、專家先驗知識構(gòu)建的詞典和具有統(tǒng)一文本格式所建立的正則表達式開展研究。以隱馬爾可夫（hidden Markov model，HMM）[11]、條件隨機場（conditional random field，CRF）[12]為主流的傳統(tǒng)識別模型，依據(jù)統(tǒng)計方法選用最大預測概率進行輸出，其中CRF模型被廣泛使用。隨著深度學習的不斷發(fā)展，基于深度學習的文本語義方法作為實體抽取的主流技術被眾多學者引入。長短期記憶（long short-term memory，LSTM）[13]網(wǎng)絡與雙向長短期記憶（bidirectional long short-term memory，BiLSTM）[14]網(wǎng)絡被先后提出。深度學習模型通過文本語言的前后向感知，開展對字詞向量以及位置向量的自動學習，使得面向各行業(yè)領域、地域和組織機構(gòu)等目標的實體識別準確率有了顯著提升。

在教育領域，程哲[15]提出了針對中學某一特定學科的命名實體識別方法，但針對高校學業(yè)領域的相關文本信息抽取，目前還未有相關學者進行研究。鑒于當前我國高校大量存在的學業(yè)問題，開展面向具有普遍性和通識性的高校學業(yè)管理的命名實體識別方法研究變得極為迫切。構(gòu)建高校學業(yè)領域數(shù)據(jù)集并完成命名實體識別研究，作為構(gòu)建知識圖譜的首要工作，為實現(xiàn)基于知識圖譜的高校學業(yè)智能問答服務研究提供了有效支撐。同時也能輔助學生便捷、高效、自助式完成學業(yè)問答，實現(xiàn)學業(yè)自我管理，從而順利完成學業(yè)。并且可以提升教輔人員解決學生學業(yè)問題的效率，減輕工作壓力。高校學業(yè)領域與普通領域文本存在很大區(qū)別，具體表現(xiàn)在：（1）高校領域中包含大量的專業(yè)領域詞匯。（2）相同類別的高校領域?qū)嶓w具有不同表述方式。（3）高校學業(yè)實體大多存在實體嵌套特點。（4）在確保最小細粒度類別劃分的情況下，實體的類別標注需要更加精準。

為解決上述問題，本文的主要研究內(nèi)容為以下四點：（1）收集高校學業(yè)管理規(guī)定文件，提出一種適用于學業(yè)領域的實體分類標準。（2）按照公開數(shù)據(jù)集NLPCCKQBA 構(gòu)建高校學業(yè)問答文本數(shù)據(jù)集。（3）將構(gòu)建后的數(shù)據(jù)集作為實驗對象，通過公開數(shù)據(jù)集確定命名實體識別模型，再對分類后的數(shù)據(jù)集進行測試。（4）評價分類后數(shù)據(jù)集在命名實體識別主流模型中的表現(xiàn)。

1 高校學業(yè)文本數(shù)據(jù)

本文原始數(shù)據(jù)取自《中華人民共和國高等教育法》[16]、《國家教育考試違規(guī)處理辦法》[17]、《普通高等學校學生管理規(guī)定》[18]（教育部令第41號）以及某高校普通本科學生專業(yè)培養(yǎng)與專業(yè)分流實施辦法等（該辦法為適應國家高考制度改革，結(jié)合學校實際所制定）。層級上按照普通高等學校學生管理規(guī)定劃分為7 個大類，如表1 所示。每一類別分別針對高校和學生做出相應規(guī)定，管理規(guī)定原始數(shù)據(jù)樣例如表2所示。

表1 普通高等學校學生管理規(guī)定Table 1 Management regulations on students in institutions of higher education

表2 管理規(guī)定原始數(shù)據(jù)樣例Table 2 Raw data samples of management regulations

2 高校學業(yè)問答文本原始數(shù)據(jù)集構(gòu)建

由于國家出臺的相關管理規(guī)定旨在為各高校提供學業(yè)管理方向，規(guī)定學業(yè)管理內(nèi)容，僅依據(jù)國家規(guī)定進行高校學業(yè)領域數(shù)據(jù)集構(gòu)建，不足以表示實際應用情況。本文采用經(jīng)國家規(guī)定、學校章程以及學校實際情況所制定的某高校普通本科學生專業(yè)培養(yǎng)與專業(yè)分流實施辦法等相關文件作為高校具體實施學業(yè)管理規(guī)定樣例。該類文件共計13 萬余字，涵蓋學生綜合素質(zhì)測評辦法、獎勵管理辦法、違紀處分實施辦法等內(nèi)容，從實際層面詳細制定了高校在校學生的學業(yè)管理細則，由此構(gòu)建的數(shù)據(jù)集具有實用性和代表性。

NLPCC-KQBA數(shù)據(jù)集由中國計算機學會（CCF）舉辦的中文信息技術專業(yè)委員會年度學術會議發(fā)布。該數(shù)據(jù)集由包含14 609個問答對的訓練集和包含9 870個問答對的測試集組成，并提供一個知識庫，包含6 502 738個實體、587 875個屬性以及43 063 796個三元組。作為命名實體識別通用數(shù)據(jù)集，本文將高校學業(yè)領域相關管理規(guī)定和收集到的學業(yè)問題仿照NLPCC數(shù)據(jù)集完成知識庫與問答對的構(gòu)建，如表3所示。

表3 數(shù)據(jù)集構(gòu)建的知識庫和問答對樣例Table 3 Knowledge base and question-answer pair examples constructed from datasets

3 高校學業(yè)文本分類與特性分析

通過對高校學業(yè)管理規(guī)定和在校學生普遍存在的問題進行匯總分析，可知高校學業(yè)主要涵蓋領域包括學生日常行課的基本要求、考試形式、學分修讀、學籍異動和專業(yè)變動等方面。其中學生對于修讀專業(yè)的選課類別、課程重修限制、所學科目考試規(guī)定與參加補考要求等最為關注。因此，在滿足國家針對學生培養(yǎng)方案的基本需求上，本文參照學生關注點，融合高校專業(yè)學業(yè)管理人員的專家知識，對高校學業(yè)文本進行命名實體識別的類別劃分。在確保類別不重疊、種類精簡且涵蓋范圍全面的原則下完成劃分，共計分為八大類，分別為考試（EXAM）、課程（C）、選課（CV）、學分（CR）、學籍（STAT）、轉(zhuǎn)專業(yè)（CMJR）、畢業(yè)（GRAD）和其他（ELSE）。最終實現(xiàn)以最小粒度為出發(fā)點，對學生提出的學業(yè)問題文本進行命名實體識別操作。例如問題文本描述為“課程既有理論課又有實驗課，選其中之一可以嗎？”，則將“理論課”“實驗課”均標注為課程（C）實體。表4 為高校學業(yè)領域文本命名實體類別與樣例。

表4 高校學業(yè)領域文本命名實體類別與樣例Table 4 Types and examples of text named entity in academic fields of universities

學業(yè)領域的命名實體識別目標與通用領域中地點、人物和組織等待識別實體存在較大區(qū)別。更是由于面向群體的獨特性以及各高校規(guī)范細則存在差異化（以修讀課程編號為例），難以獲取具有較高普遍性的海量實驗語料。上述各命名實體類別還存在獨特的領域特性。

（1）考試（EXAM）類別中，多數(shù)的問題文本中不會直接提及名詞“考試”。例如“規(guī)定以外的筆或者紙答題或者在試卷規(guī)定以外的地方書寫姓名、考號或者以其他方式在答卷上標記信息”這一文本，其所表述含義實為該行為是否會被認定為考試作弊。為保證該領域分類精簡，實體不再被繼續(xù)劃分為“作弊”類別，本文依靠深度學習模型準確識別問題文本語義，確保表述實體識別時實現(xiàn)正確標注并分類。

（2）名詞因該領域獨特性，在不同語句中充當?shù)某煞植煌瑫绊懨麑嶓w識別的最終標注結(jié)果。例如“退役復學哪些課程免修？”中的“退役復學”作為課程免修的限制性條件，并非為構(gòu)成三元組的實體組成部分。而在“退役復學轉(zhuǎn)專業(yè)有條件限制嗎？”中的“退役復學轉(zhuǎn)專業(yè)”可識別為一個實體，且應將其歸為轉(zhuǎn)專業(yè)（CMJR）類。

（3）學生在進行提問時，大多問題會包含多個相同類別的實體。例如“畢業(yè)審核通過，但是畢業(yè)設計或者畢業(yè)實習不合格怎么辦？”中包含“畢業(yè)設計”與“畢業(yè)實習”兩個待識別實體，且該問題應構(gòu)成的三元組形式為＜畢業(yè)設計 畢業(yè)實習，不合格，無法順利畢業(yè)＞。因此，只有合理抽取出實體才可以正確構(gòu)造所需的三元組，使得問題的回答合理有效，并構(gòu)建出無誤的高校學業(yè)領域知識圖譜。

由此可見，高校學業(yè)領域的命名實體識別包含眾多的專業(yè)名詞、不明確指向性實體以及涉及到上下文位置關聯(lián)性實體。對實體合理地進行類別劃分，并結(jié)合專家的先驗知識進行實體數(shù)據(jù)集的標注與構(gòu)造，可為順利開展高校學業(yè)領域文本命名實體識別工作提供有力支撐。

4 高校學業(yè)領域?qū)嶒灁?shù)據(jù)集構(gòu)建

在高校學業(yè)實驗語料處理方面，如上所述，本次處理結(jié)合教育部《普通高等學校本科專業(yè)類教學質(zhì)量國家標準》規(guī)定以及學業(yè)管理領域?qū)＜业囊庖?，合理按照實體類別劃分標準將自建專業(yè)領域?qū)嶒炚Z料進行實體標注。整體采用了BIO標注策略，結(jié)合所提出的語料標簽設置完成標注工作。以實體類別“考試”為例，與考試內(nèi)容相關實體的開始部分以“B-EXAM”表示，剩余實體內(nèi)容標注為“I-EXAM”，句中其余成分均標注為“O”。高校學業(yè)領域?qū)嶒炚Z料標簽設置情況如表5所示。

表5 高校學業(yè)領域?qū)嶒炚Z料標簽設置Table 5 Label setting of experimental corpus in academic field of universities

引用高校學業(yè)問答原始數(shù)據(jù)集文本即表3 中原始問句樣例，舉例說明命名實體識別數(shù)據(jù)集進行人工標注的過程。樣例問句內(nèi)容為“選課的學分限制是什么？”，參照NLPCC-KQBA 公開數(shù)據(jù)集格式標準進行標注，具體標注格式如表6所示。

表6 NLPCC-KQBA數(shù)據(jù)集標注格式Table 6 Annotation format of NLPCC-KQBA dataset

根據(jù)表6 公開數(shù)據(jù)集標注格式以及本文提出的高校學業(yè)領域文本分類標準，同專業(yè)學業(yè)管理人員確定文本所包含實體并進行相應標注工作。按照表5所示標簽完成所有高校領域文本標注工作，標注后的數(shù)據(jù)如表7所示。

表7 高校學業(yè)領域標注后數(shù)據(jù)集Table 7 Annotated dataset in academic field of universities

5 實驗

5.1 實驗環(huán)境與參數(shù)設置

實驗采用3.8.5版本的Python編程語言，分別對公開數(shù)據(jù)集NLPCC-ICCPOL 2016 KQBA、NLPCC-ICCPOL 2018 KQBA和實驗數(shù)據(jù)集進行對比實驗。所有實驗程序均部署于配置為i7-10700 CPU、16 GB內(nèi)存、NVIDIA GeForce RTX 3060 12 GB顯卡、1 TB硬盤并安裝Windows 10操作系統(tǒng)的主機上。

首先驗證BiLSTM-CRF模型的命名實體識別效果，分別選用了機器學習方法的HMM 和CRF 模型以及深度學習方法的BiLSTM 模型進行對比實驗。該實驗在NLPCC-ICCPOL 2016 KQBA 與NLPCC-ICCPOL 2018 KQBA公開數(shù)據(jù)集上進行，展現(xiàn)BiLSTM模型的雙向長短期特征提取的優(yōu)勢和命名實體識別的穩(wěn)定性，以及同CRF 模型組合后的整體性能。然后將該模型運用到實驗數(shù)據(jù)集進行命名實體識別實驗，證明本文構(gòu)建的高校學業(yè)領域數(shù)據(jù)集的可用性。

實驗中BiLSTM模型的訓練參數(shù)設置分別為：學習速率lr為0.001，epoch 迭代次數(shù)為100 次，詞向量維數(shù)為128，隱向量維數(shù)為128。CRF 模型中L1 正則化系數(shù)與L2正則化系數(shù)均為0.1，最大迭代次數(shù)為100次。

實驗結(jié)果采用評價指標分別為準確率（precision，P）、召回率（recall，R）和F1值（F1-score）三個常用指標。準確率為實體被正確識別個數(shù)與識別實體總個數(shù)的比值，召回率為正確識別實體個數(shù)與測試集合中實體總數(shù)比值，F(xiàn)1 值為準確率與召回率的調(diào)和平均數(shù)。通過上述三個指標來體現(xiàn)模型的命名實體識別性能。

5.2 實驗結(jié)果與分析

本文共進行了三組對比實驗，分別開展了HMM、CRF、BiLSTM 和BiLSTM-CRF 四種模型在NLPCCICCPOL 2016 KQBA、NLPCC-ICCPOL 2018 KQBA公開數(shù)據(jù)集中命名實體識別的效果分析，四種模型在未分類下的高校學業(yè)文本數(shù)據(jù)集中命名實體識別的適用性分析，四種模型針對分類標注后數(shù)據(jù)集中命名實體識別的效果分析。

（1）各模型對公開數(shù)據(jù)集的對比實驗

表8為無預訓練下面向NLPCC-ICCPOL 2016 KQBA和NLPCC-ICCPOL 2018 KQBA公開數(shù)據(jù)集，分別進行機器學習命名實體識別方法與深度學習命名實體識別方法的對比結(jié)果。由所得數(shù)據(jù)可知，將CRF模型與BiLSTM模型結(jié)合后，在開放領域的準確率、召回率和F1 值三個評價指標對比命名實體識別效果均優(yōu)于其他模型，具有更強的識別能力。因此，BiLSTM-CRF模型的識別效果可有效說明本文構(gòu)建的高校學業(yè)數(shù)據(jù)集是否合理有效。

表8 NLPCC語料下不同模型對比實驗結(jié)果Table 8 Results of experiments comparison of different models with NLPCC corpus

為確保對比實驗的公平性，機器學習命名實體識別方法CRF的最大迭代次數(shù)與深度學習命名實體識別方法BiLSTM 的epoch 均設定為100 次。由實驗數(shù)據(jù)可知，HMM模型的識別效果較差，綜合評價指標F1 分別僅達到了93.42%、91.12%。其原因是隱馬爾可夫模型存在兩個假設：一是輸出的觀測之間是嚴格獨立的；二是狀態(tài)的轉(zhuǎn)移只與當前狀態(tài)的前一狀態(tài)有關。其無法將待標注文本信息有效結(jié)合，單一地限定在了狀態(tài)與觀測值之間。而CRF 模型在HMM 模型的基礎上進行了改善，合理引入了全局概率，且該模型在歸一化操作時也從局部面向了整體。因此，在機器學習模型上CRF模型較HMM 模型的性能得到有效提升?；谏疃葘W習神經(jīng)網(wǎng)絡的BiLSTM 模型為該領域的主流模型，在LSTM 模型的基礎上通過雙向?qū)ξ谋咀址蛄羞M行學習，相較機器學習中的模型CRF 仍存在一定的提升空間。對兩種不同類型的方法進行有效結(jié)合后，分別利用BiLSTM 模型的雙向?qū)W習能力和CRF 模型對標注的全局性優(yōu)勢，在各項評價指標上均達到了較優(yōu)的實體命名識別效果，實體命名識別的準確率在NLPCC-ICCPOL 2018 KQBA 上達到了97.43%，相較單一BiLSTM 模型提升了2.1%。

（2）各模型對學業(yè)領域數(shù)據(jù)集的對比實驗

將構(gòu)建完成的高校學業(yè)問答文本進行了十折交叉驗證實驗，將其隨機分成10 份，每次選擇9 份作為訓練集，剩余1 份作為測試集進行HMM、CRF、BiLSTM 和BiLSTM-CRF模型的對比實驗。表9為對比實驗結(jié)果，其中加粗部分為每份測試集下準確率與F1 值最優(yōu)結(jié)果。

表9 高校學業(yè)問答數(shù)據(jù)集下各模型對比實驗Table 9 Comparative experiment of various models for college academic question answering datasets

由于對比實驗文本發(fā)生調(diào)整，對參與訓練的BiLSTM模型參數(shù)進行微調(diào)，學習率調(diào)升至0.005，且為避免過擬合，將迭代次數(shù)修改為50 次。根據(jù)上述實驗結(jié)果分析可知，在該領域BiLSTM仍可有效利用雙向長短期提取特性的獨特優(yōu)勢學習領域文本中所包含的專業(yè)術語。但因存在實體嵌套等問題，相較機器學習模型，F(xiàn)1 值提升范圍僅保持在5%～10%之間。通過CRF 模型的輔助后，整體模型將F1 值平均提升了6.55%。通過對比各命名實體識別模型在同一數(shù)據(jù)集下進行十折交叉驗證實驗的結(jié)果中F1 值的平均值和方差可知，BiLSTM-CRF模型的整體識別效果優(yōu)于其他模型，識別不具有偶然性。HMM 模型與CRF 模型在命名實體識別時并不對訓練集進行有效學習，僅憑借其前向算法或全局特性對測試集進行實體標注。同時也說明了BiLSTM-CRF 模型在該領域的實體命名識別上較為穩(wěn)定，具有更佳的綜合識別效果。

（3）各模型對不同類別命名實體識別對比實驗

為更好地進一步驗證經(jīng)分類后所構(gòu)建的高校學業(yè)命名實體識別數(shù)據(jù)集效果，根據(jù)表9 實驗結(jié)果，選取該模型識別效果最優(yōu)數(shù)據(jù)集完成分類標注。對各模型進行不同類別命名實體識別的對比實驗，表10 為對比實驗結(jié)果。

表10 各模型對不同類別命名實體識別實驗的F1 值對比Table 10 Comparison of F1 values of each model for different types of named entity recognition experiments

如上文所述，學生對“學分”領域、“轉(zhuǎn)專業(yè)”領域以及“選課”領域提問相對較多，故CR 實體、CV 實體和CMJR 實體在文本中大量存在。且該類別實體大部分包含相同內(nèi)容，例如“最低畢業(yè)學分”與“平均學分成績”兩實體均包含學分字樣，在雙向循環(huán)網(wǎng)絡中通過模型對實體上下文順序特征的有效學習，會更好地提取文本特征。因此，在本實驗中對CR 實體進行命名實體識別時具有最佳的F1 值。

在包含C 實體的文本中，不僅存在中文文本實體，還存在以課程編號為待識別實體文本。例如，“課程號是BL1623000S 和BY1623000 兩種都是實驗課，兩者有何區(qū)別？”問題中，存在“BL1623000S”與“BY1623000”兩實體。該類別實體的組成會存在更細粒度元素，使得命名實體識別難度增大。因此在所有模型中C 實體的評價指標F1 值相較其他實體識別結(jié)果偏低。

CMJR 實體是針對轉(zhuǎn)專業(yè)領域構(gòu)建的實體，CV 實體是針對選課領域構(gòu)建的實體。由于轉(zhuǎn)專業(yè)后的學生大多需要重新進行選課，二者實體會更為頻繁地出現(xiàn)在同一識別文本中，且部分實體還存在實體嵌套關系。針對此類實體需對學生問題進行合理分析，判別嵌套實體在語義層面應如何標注。BiLSTM-CRF 模型通過詞語在句中的前后順序，可更好地捕捉句間的字詞距離的依賴關系。對比模型HMM與CRF，本文方法在該類別進行命名實體識別時F1 值提升了5%左右，達到了91%以上。

（4）深度模型時間性能對比

對基準模型BiLSTM 與組合模型BiLSTM-CRF 分別在未分類下BIO 標注的高校學業(yè)數(shù)據(jù)集和經(jīng)過專家先驗知識標注后的高校學業(yè)數(shù)據(jù)集上耗費的訓練時間進行分析，檢測模型的時間性能。使用訓練過程中的最后一個epoch所花費時間，進行時間性能對比。由表11實驗結(jié)果可知，經(jīng)過分類標注后的數(shù)據(jù)集，BiLSTM 模型耗費時間提升了40%，BiLSTM-CRF耗費時間提升了32%，而實體識別的精準率提升了9%。實驗結(jié)果證明了組合模型BiLSTM-CRF通過較低的時間成本，有效地提升了實體的識別效果。

表11 不同數(shù)據(jù)集下深度模型訓練時間Table 11 Deep model training time for different datasets

6 結(jié)束語

高校學業(yè)文本的命名實體識別可以幫助教輔工作人員快速便捷地提取學生所存在問題的關鍵信息，緩解教學工作帶來的壓力，同時也為高校學業(yè)領域知識圖譜的構(gòu)建以及智能問答系統(tǒng)的研發(fā)奠定了基礎，從而實現(xiàn)學生學業(yè)困惑的自助檢索，并提升精準度和查詢效率。本文提出一種高校學業(yè)文本命名實體識別數(shù)據(jù)集的構(gòu)造方法，針對領域特性結(jié)合專家先驗知識給出了實體分類標準，并依據(jù)該標準仿照公開數(shù)據(jù)集格式完成分類標注。在確保涵蓋內(nèi)容全面以及實體細粒度劃分合理的標準下，共包含8 類實體關系，可應用于高等學校學業(yè)領域的命名實體識別任務。

本文首先在公開數(shù)據(jù)集驗證了BiLSTM-CRF 等4種識別模型的有效性，之后通過選用模型證明了所構(gòu)建的高校學業(yè)文本原始數(shù)據(jù)集可以為命名實體識別任務提供實驗數(shù)據(jù)。各模型在分類標注后數(shù)據(jù)集上的標注效果，證明了本文提出的分類標準與構(gòu)造方法具有普遍性與實用性，為構(gòu)建高校學業(yè)領域知識圖譜的命名實體識別任務做出了貢獻，響應了教育部信息技術與教育教學相融合的號召，為智能化高校教育開展打下了堅實基礎。

本文的研究重點放在了高校學業(yè)文本命名實體識別的數(shù)據(jù)集構(gòu)建方面，且標注范圍僅針對學生日常出現(xiàn)的問題以及工作積累的學業(yè)問題，可能存在學業(yè)領域內(nèi)細小問題未涉及等情況，未來還需不斷細化完善該工作。