科技文獻(xiàn)自動(dòng)分類研究*
——以醫(yī)學(xué)類和農(nóng)學(xué)類學(xué)位論文為例

謝慶恒

（國(guó)家圖書館，北京 100081）

1 引言

當(dāng)前，我國(guó)智慧圖書館建設(shè)的理論與實(shí)踐研究方興未艾，文獻(xiàn)分類是圖書館賴以生存的重要基礎(chǔ)，是智慧圖書館建設(shè)中的重要一環(huán)。面對(duì)圖書館智慧化發(fā)展的新需求，國(guó)家圖書館于2020年提出建設(shè)“1+3+N”的“全國(guó)智慧圖書館體系”建設(shè)總架構(gòu)[1]。隨后，《國(guó)家圖書館“十四五”發(fā)展規(guī)劃》中明確提出推進(jìn)文獻(xiàn)信息智能化加工與編目，并對(duì)文獻(xiàn)自動(dòng)分類工作做出了具體要求和部署[2]?？萍嘉墨I(xiàn)是指報(bào)道科技領(lǐng)域原創(chuàng)實(shí)證研究與理論研究的文獻(xiàn)。按載體性質(zhì)可劃分為印刷型、縮微型、數(shù)字型、實(shí)物型；按出版形式可劃分為科技圖書、科技期刊、專利文獻(xiàn)、會(huì)議文獻(xiàn)、科技報(bào)告、政府出版物、學(xué)位論文、標(biāo)準(zhǔn)文獻(xiàn)、產(chǎn)品資料等[3]。學(xué)位論文尤其是博士學(xué)位論文是一類重要的科技文獻(xiàn)，同時(shí)也是圖書館的特色館藏，具有重要的開發(fā)和利用價(jià)值。實(shí)現(xiàn)以學(xué)位論文為典型代表的科技文獻(xiàn)的自動(dòng)化標(biāo)引是推動(dòng)落實(shí)《國(guó)家圖書館“十四五”發(fā)展規(guī)劃》的客觀要求和重要舉措。近年來，我國(guó)博士教育事業(yè)蓬勃發(fā)展，博士畢業(yè)生從2011年的50289人逐年增長(zhǎng)到2020年的66176人，年均增長(zhǎng)3.1%[4]，學(xué)位論文數(shù)量的穩(wěn)定增長(zhǎng)客觀上對(duì)學(xué)位論文的標(biāo)引效率提出了更高要求，現(xiàn)有傳統(tǒng)人工文獻(xiàn)標(biāo)引工作效率低下的弊端逐漸顯現(xiàn)，而現(xiàn)有技術(shù)條件下標(biāo)引效率難以提升[5]，亟需利用現(xiàn)代信息技術(shù)革新標(biāo)引方式，重構(gòu)標(biāo)引流程，實(shí)現(xiàn)學(xué)位論文等科技文獻(xiàn)標(biāo)引的自動(dòng)化和智慧化。因此，開展科技文獻(xiàn)標(biāo)引自動(dòng)化研究，在應(yīng)對(duì)科技文獻(xiàn)數(shù)量高增長(zhǎng)現(xiàn)狀、滿足提高科技文獻(xiàn)標(biāo)引效率客觀需求、加快推動(dòng)智慧圖書館建設(shè)實(shí)踐方面具有積極意義。

2 相關(guān)研究

文本自動(dòng)分類是自然語(yǔ)言處理領(lǐng)域的經(jīng)典問題，一般包括文本特征表示、分類器選擇與訓(xùn)練、分類結(jié)果評(píng)價(jià)與反饋等過程，相關(guān)研究可追溯到20世紀(jì)50年代。從分類方法來看，主要經(jīng)歷了基于專家規(guī)則到基于統(tǒng)計(jì)特征學(xué)習(xí)[6]，再到傳統(tǒng)機(jī)器學(xué)習(xí)[7-9]與深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)[10-13]的發(fā)展歷程。深度學(xué)習(xí)方法出現(xiàn)以前，文本分類大都是淺層次的特征提取，對(duì)于文本背后的語(yǔ)義、結(jié)構(gòu)、序列和上下文理解不夠，因此分類效果不夠理想。近年來，隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，特別是2018年Google推出BERT模型以來[14]，文本分類效果得到顯著改善，之后又出現(xiàn)GPT2、XLnet等改進(jìn)模型，使得效果得到進(jìn)一步提升。從研究對(duì)象上來看，深度學(xué)習(xí)技術(shù)的出現(xiàn)和應(yīng)用，有效拓展了文本分類的應(yīng)用場(chǎng)景，主要包括網(wǎng)絡(luò)輿情分析[15]、情感分析[16]、問答系統(tǒng)[17]、金融[18]、新聞傳播[19]等行業(yè)應(yīng)用。可以說，深度學(xué)習(xí)技術(shù)在推動(dòng)提升政府管理能力、營(yíng)造健康網(wǎng)絡(luò)環(huán)境、助力行業(yè)良性發(fā)展等方面發(fā)揮了重要作用，是現(xiàn)代經(jīng)濟(jì)社會(huì)健康發(fā)展不可或缺的重要科技力量。

相較于轟轟烈烈的行業(yè)應(yīng)用研究，科技文獻(xiàn)自動(dòng)分類得到的關(guān)注相對(duì)較少。筆者在中國(guó)知網(wǎng)以篇名“科技文獻(xiàn)”包含“分類”檢索出中文文獻(xiàn)9篇。其中比較有代表性的有檀林[20]等利用科技文獻(xiàn)的毗鄰文所屬的類這一信息，結(jié)合科技文獻(xiàn)的內(nèi)容提出了一種協(xié)調(diào)迭代的科技文獻(xiàn)分類方法，效果比傳統(tǒng)方法有所改進(jìn)。白小明[21]等基于SVM和KNN算法研究設(shè)計(jì)了科技文獻(xiàn)自動(dòng)分類方法，分類性能較好。周麗紅[22]等用PredictiveApriori關(guān)聯(lián)算法構(gòu)建基于關(guān)聯(lián)規(guī)則的科技文獻(xiàn)分類方法，取得了較好效果。謝紅玲[23]等基于深度學(xué)習(xí)模型，比較了簡(jiǎn)單RNN、LSTM和GRU模型對(duì)科技文獻(xiàn)的分類效果，結(jié)果表明三者均對(duì)未去停用詞的科技文獻(xiàn)分類效果較好，其中LSTM模型效果最好。張智雄[24]等運(yùn)用層次分類思想設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)基于多層分類器集群的科技文獻(xiàn)自動(dòng)分類引擎系統(tǒng)，并重點(diǎn)解決了科技文獻(xiàn)自動(dòng)分類引擎建設(shè)中的高質(zhì)量數(shù)據(jù)獲取、多層次分類器構(gòu)建、處理流程優(yōu)化和開放接口調(diào)用等4個(gè)關(guān)鍵問題。而學(xué)位論文的自動(dòng)分類研究則更少，僅有1篇[25]，且發(fā)表時(shí)間較早。可見，深度學(xué)習(xí)模型應(yīng)用在科技文獻(xiàn)自動(dòng)分類領(lǐng)域是完全可行的，同時(shí)也可以看到這方面應(yīng)用目前不多，仍需加強(qiáng)推廣。學(xué)位論文是一類重要的科技文獻(xiàn)，開展學(xué)位論文的自動(dòng)分類研究是拓寬深度學(xué)習(xí)研究領(lǐng)域，解決人工分類效率低下難題的重要嘗試。因此，筆者基于BERT構(gòu)建學(xué)位論文自動(dòng)分類模型，以《中國(guó)圖書館分類法》R類（醫(yī)學(xué)類）和S類（農(nóng)學(xué)類）學(xué)位論文為例，通過實(shí)驗(yàn)驗(yàn)證模型在實(shí)際分類中的效果，以期為科技文獻(xiàn)自動(dòng)分類的實(shí)際應(yīng)用提供一定參考。

3 研究方法與數(shù)據(jù)處理

3.1 模型構(gòu)建

BERT[14]是Google團(tuán)隊(duì)于2018年提出的基于Transformer[26]衍生出的雙向自編碼表征模型，在11種經(jīng)典自然語(yǔ)言處理測(cè)試中取得理想表現(xiàn)，具有里程碑意義。如圖1a所示，該模型采用Transformer的Encoder模塊，從前后兩個(gè)方向獲取文本特征表示。其中X1，X2，…，XN表示輸入字符，經(jīng)過多層（筆者采用12層）雙向Transformer訓(xùn)練后生成相應(yīng)的向量表示T1，T2，…，TN。其中，Transformer采用Encoder-Decoder結(jié)構(gòu)，摒棄了傳統(tǒng)的CNN和RNN，采用Self-Attention機(jī)制獲取字詞之間的依賴關(guān)系，使得模型輸出的文本語(yǔ)義表示能夠刻畫語(yǔ)言的本質(zhì)。BERT僅采用Transformer的Encoder部分，文本輸入由字嵌入（token embedding）、句嵌入（segment embedding）和位置嵌入（position embedding）3部分相加構(gòu)成，每句話用CLS和SEP作為開頭和結(jié)尾的標(biāo)記。BERT中文預(yù)訓(xùn)練使用字典文件，該文件包含標(biāo)記符與漢字，且都被統(tǒng)一賦予唯一編號(hào)。字嵌入通過查找字典獲取編號(hào)；句嵌入則表示屬于哪個(gè)句子，一般用0表示上句，1表示下句；位置嵌入則采用模型動(dòng)態(tài)學(xué)習(xí)獲取。BERT預(yù)訓(xùn)練主要包括遮擋語(yǔ)言模型（masked language model，MLM）和下一句預(yù)測(cè)（next sentence prediction，NSP）兩個(gè)任務(wù)。BERT下游任務(wù)主要是使用預(yù)訓(xùn)練階段的詞向量完成諸如情感分析、句子關(guān)系判斷、問答任務(wù)、命名實(shí)體識(shí)別等任務(wù)，即所謂的微調(diào)（fine-tunning）。BERT輸出已完成封裝，對(duì)于情感分析等單句分類任務(wù)，可以直接輸入單個(gè)句子，將[CLS]的輸出直接輸入到分類器進(jìn)行分類；對(duì)于句子關(guān)系判斷任務(wù)，需要用[SEP]分隔兩個(gè)句子輸入模型中，然后同樣僅需將[CLS]的輸出送到分類器進(jìn)行分類，比較常見的是采用Softmax分類器（見圖1b）。

圖1 BERT模型結(jié)構(gòu)

3.2 數(shù)據(jù)處理

筆者的數(shù)據(jù)采集來自萬方中國(guó)學(xué)位論文全文數(shù)據(jù)庫(kù)①。以中圖法分類號(hào)R、S一級(jí)類下的四至五級(jí)類目為檢索項(xiàng)，分別采集到近些年來論文數(shù)據(jù)260995條和137885條，每條數(shù)據(jù)包含題名、摘要和類號(hào)，類號(hào)細(xì)分到四至五級(jí)，如四級(jí)類號(hào)R737.1、S332，五級(jí)類號(hào)R811.1、S881.2，數(shù)據(jù)樣例如圖2所示。

圖2 數(shù)據(jù)樣例

經(jīng)過清洗、去重、刪除等操作得到無重復(fù)的高質(zhì)量數(shù)據(jù)R類目1123類199451條和S類目1321類135184條，其中相當(dāng)數(shù)量的類號(hào)下文獻(xiàn)數(shù)量不足10條。為消除訓(xùn)練數(shù)據(jù)由于分布不均帶來的影響，筆者制定了分類訓(xùn)練樣本的類目篩選規(guī)則，具體如下（以S類處理為例，R類做類似處理）：

（1）以1321個(gè)深層級(jí)類目為起點(diǎn)，自下而上進(jìn)行各類目下文獻(xiàn)的統(tǒng)計(jì)篩選工作；

（2）若某個(gè)類目下的文獻(xiàn)數(shù)量大于等于300，則將該類目直接列入最終類目列表；

（3）若某個(gè)類目下的文獻(xiàn)數(shù)量小于300，則將該類目下的文獻(xiàn)合并到其上級(jí)類目；

（4）若合并后的類目層級(jí)小于四級(jí)，則將該類目舍棄，否則，統(tǒng)計(jì)合并后的類目下文獻(xiàn)數(shù)量，若小于300，則重復(fù)步驟（3）；

（5）若合并后類目下的文獻(xiàn)數(shù)量不小于300，則將該類目列入最終列表。

整個(gè)篩選流程如圖3所示，下面以S661和S662為例對(duì)上述篩選規(guī)則加以解釋說明。S661類目下共有S661.1-S661.9共7類2168篇文獻(xiàn)，其中S661.1和S661.2文獻(xiàn)數(shù)量均大于300，按照上述規(guī)則將這兩個(gè)類目直接列入最終類目。S661.3-S661.9各類目的文獻(xiàn)數(shù)據(jù)則均小于300，故將各個(gè)類目下的文獻(xiàn)合并到上級(jí)類目S661，得到S661類目文獻(xiàn)146篇，數(shù)量依然小于300，此時(shí)，重復(fù)步驟（3）再向上合并到S661（三級(jí)類目），類目層級(jí)小于四級(jí)，滿足條件（4），故舍棄。類似地，S662類目下共有S662.1-S662.9共6類1043篇文獻(xiàn)，其中S662.1包含文獻(xiàn)528篇，按照規(guī)則直接列入最終類目列表。S662.2-S662.9各類目因文獻(xiàn)數(shù)量均小于300故將其合并到上級(jí)類目S662中，得到文獻(xiàn)515篇，數(shù)量大于300且類目層級(jí)為四級(jí)，滿足條件（5），所以將S662列入最終類目列表，最終得到表1所示的結(jié)果。共得到S類目135類共計(jì)108762條數(shù)據(jù)，再按照8∶1∶1分別將各類隨機(jī)分成訓(xùn)練集、驗(yàn)證集和測(cè)試集。同樣地，得到R類目129類共計(jì)169495條數(shù)據(jù)，再按照8∶1∶1分別將各類隨機(jī)分成訓(xùn)練集（135643條）、驗(yàn)證集（16897條）和測(cè)試集（16955條）。二者共同組成本文數(shù)據(jù)集。

表1 S661和S662下級(jí)類目及文獻(xiàn)數(shù)量

圖3 類目篩選處理流程

4 實(shí)驗(yàn)過程及結(jié)果

4.1 實(shí)驗(yàn)環(huán)境

由于Pytorch在易用性與速度方面較優(yōu)，因此筆者采用Pytorch搭建深度學(xué)習(xí)框架，實(shí)驗(yàn)環(huán)境如表2所示。

表2 實(shí)驗(yàn)環(huán)境

4.2 評(píng)價(jià)標(biāo)準(zhǔn)

采用經(jīng)典的精確率（P）、召回率（R）、F1值作為模型分類結(jié)果評(píng)價(jià)依據(jù)。其中P表示預(yù)測(cè)為正樣本中實(shí)際為正樣本的比率，反映的是模型查準(zhǔn)的能力；R表示實(shí)際為正樣本中預(yù)測(cè)為正樣本的比率，反映的是模型查全的能力；F1值綜合平衡了二者信息，計(jì)算公式為：F1=(2×P×R)/(P+R)。

4.3 結(jié)果分析

4.3.1 基線模型對(duì)比

為了檢驗(yàn)?zāi)Ｐ偷姆诸愋Ч?，基線模型采用經(jīng)典模型Word2Vec和FastText。為提高檢驗(yàn)效率，訓(xùn)練語(yǔ)料采用前文預(yù)處理數(shù)據(jù)集中的題名數(shù)據(jù)部分。模型的基本設(shè)置如下：

（1）Word2Vec：使用Jieba分詞工具將每個(gè)句子進(jìn)行切詞并轉(zhuǎn)換為二維list形式，基于已有的Word2Vec[27]詞向量生成詞向量再取各詞的平均向量作為句子的向量表示。模型參數(shù)設(shè)置為學(xué)習(xí)率0.01，訓(xùn)練輪次epoch為3，批次大小為128，dropout率為0.5，采用交叉熵計(jì)算損失并通過隨機(jī)梯度下降法更新模型權(quán)重。

（2）FastText：使用已有的FastText[28]中文詞向量生成詞向量，其他與（1）一致。

（3）BERT：采用Google發(fā)布的預(yù)訓(xùn)練好的中文模型“BERT-Base，Chinese”生成詞向量，取模型輸出結(jié)果中的“pooler_output”層作為句子向量表示，模型學(xué)習(xí)率設(shè)置為5e-5，epoch為3，批次大小128，dropout率為0.5，損失函數(shù)仍采用交叉熵計(jì)算方法，通過隨機(jī)梯度下降法更新模型權(quán)重計(jì)算出分類結(jié)果（見表3）。

表3 基于題名的模型分類結(jié)果

從表3可以看出，在兩個(gè)類別上BERT模型的F1值均高于傳統(tǒng)的Word2Vec和FastText模型，S類分別高出18.91和20.45個(gè)百分點(diǎn)，R類分別高出13.32和18.64個(gè)百分點(diǎn)，可見BERT模型憑借良好的特征抽取能力保證了其分類效果好于傳統(tǒng)模型。因此，筆者選用BERT作為分類模型。

4.3.2 BERT模型結(jié)果

訓(xùn)練語(yǔ)料采用前文預(yù)處理的數(shù)據(jù)集的摘要數(shù)據(jù)部分。參數(shù)設(shè)置如下：輸入層采用Google發(fā)布的預(yù)訓(xùn)練好的中文模型“BERT-Base，Chinese”，該模型采用12層Transformer，隱藏層的維度為768，Multi-Head-Attention的參數(shù)為12，激活函數(shù)為Relu，模型總參數(shù)大小為110 MB。模型訓(xùn)練參數(shù)批次大?。╞atch_size）設(shè)置為40，學(xué)習(xí)率5e-5，最大序列長(zhǎng)度（pad_size）為400，優(yōu)化器為Adam，dropout率為0.5，訓(xùn)練輪次epoch為2。采用隨機(jī)梯度下降法對(duì)模型權(quán)重進(jìn)行更新（見表4）。

表4 基于摘要的模型分類結(jié)果

結(jié)合表3和表4可以看出，S類上基于摘要的BERT模型F1值比基于題名的要高出約1個(gè)百分點(diǎn)，R類則高出約兩個(gè)百分點(diǎn)，表明基于摘要數(shù)據(jù)的分類效果好于基于題名數(shù)據(jù)。題名是學(xué)位論文內(nèi)容的直觀表達(dá)，是學(xué)位論文最直觀的標(biāo)簽。摘要?jiǎng)t能較全面地反映學(xué)位論文的內(nèi)容，是學(xué)位論文的精簡(jiǎn)版?？梢娬獙?duì)論文內(nèi)容的表達(dá)更為詳盡，對(duì)論文主題的揭示更加充分。同時(shí)也表明BERT能夠提取出摘要中的文本特征，能夠較好識(shí)別摘要中的詳細(xì)信息。

具體來看，R、S類別中F1值提升占比分別為23.26%和62.22%。把S類F1值按照不同變化程度分為8組，分別為{＞0.2，[0.1，0.2]，[0.06，0.1），（0，0.06），0，[-0.1，0），[-0.2，-0.1），＜-0.2}，并以此為X值，將對(duì)應(yīng)分組內(nèi)的基于題名的分類F1值均值（以下簡(jiǎn)稱前值）作為Y值繪制直方圖（見圖4）?？梢钥闯觯谔嵘?0%以上分段內(nèi)的前值為0.35，隨后逐漸遞增，到0分段時(shí)達(dá)到最大值0.89，之后再逐步降低到降低20%以上的分段內(nèi)的0.51，整體上呈倒U型分布，即在前值較小的樣本上F1值變化幅度較為劇烈，而前值較大的樣本上F1值變化較為溫和。

圖4 S類（農(nóng)學(xué)類）F1值變化分布情況

通過對(duì)各分組內(nèi)樣本文本信息的分析，可以按F1值變化的不同情況將樣本分為雙顯性主題（Title Strength-Abstract Strength，簡(jiǎn)稱TSAS型）、題名隱性摘要顯性主題（Title Weakness-Abstract Strength，簡(jiǎn)稱TWAS型）和題名顯性摘要隱性主題（Title Strength-Abstract Weakness，簡(jiǎn)稱TSAW型）等3大類型，類似的情形也出現(xiàn)在R類別上。

（1）TSAS型（雙顯性主題）。指的是題名或摘要中主題詞比較明顯，二者均能明顯體現(xiàn)分類主題。如F1值變化幅度不大的S664.1類（核桃）和R736.4類（垂體腺瘤），二者大多數(shù)樣本的題名和摘要中都一次或多次出現(xiàn)對(duì)應(yīng)主題詞，使模型從題名和摘要中都能輕易提取到對(duì)應(yīng)主題的信息特征，從而提高分類效果。因此，該類型樣本基于題名和摘要得到的分類效果相差不明顯，表現(xiàn)為F1值變化較為溫和。

例1：

2001#$a大別山山核桃遺傳多樣性及經(jīng)濟(jì)性狀分析

330##$a大別山山核桃主要分布在安徽大別山區(qū)，分析大別山山核桃天然種群遺傳多樣性及經(jīng)濟(jì)性狀，旨在更好地保護(hù)和合理地開發(fā)大別山山核桃資源，從而進(jìn)一步開展引種試驗(yàn)和示范推廣，推進(jìn)我省山核桃產(chǎn)業(yè)轉(zhuǎn)型升級(jí)。本文選取自然分布區(qū)內(nèi)的13個(gè)種群，運(yùn)用方差分析、聚類分析、ISSR標(biāo)記等方法分析了4個(gè)堅(jiān)果經(jīng)濟(jì)性狀、11個(gè)營(yíng)養(yǎng)物質(zhì)含量、6個(gè)表形性狀。獲得結(jié)果如下……

解析：題名中出現(xiàn)“山核桃”這一主題詞，特別是摘要中也多次出現(xiàn)，使得模型從題名和摘要中都能輕易地提取到文本“山核桃”這一主要特征信息，從而提高分類準(zhǔn)確率，二者的分類效果也無差別（F1值均為89.41%）。

例2：

2001#$a垂體腺瘤生物學(xué)特性的相關(guān)因素研究

330##$a本課題通過研究垂體腺瘤的臨床和影像學(xué)資料；內(nèi)分泌功能（P R L、GH、ACTH、T S H、F S H、LH）及腫瘤相關(guān)抗體（p16、FGF R-4、c-erbB-2、CD44、Ⅳ型膠原）在細(xì)胞中的表達(dá)，以探討影響垂體腺瘤增殖、侵襲和預(yù)后等生物學(xué)特性的相關(guān)因素……分析臨床資料與垂體腺瘤增殖性和侵襲性的關(guān)系……結(jié)果：所有95例垂體腺瘤病例中無內(nèi)分泌功能性腺瘤48例……

解析：題名中出現(xiàn)“垂體腺瘤”這一關(guān)鍵詞，在摘要中也多次出現(xiàn)，模型從題名和摘要中都能輕易提取出“垂體腺瘤”這一主題信息，從而提高分類效果，二者分類效果相同（F1值均為88.57%）。

（2）TWAS型（題名隱性摘要顯性主題）。指的是題名或摘要中難以輕易識(shí)別出主題內(nèi)容，尤其是通過題名難以提煉出主題信息，模型需要通過對(duì)摘要信息的詳細(xì)“閱讀”獲取論文主題再進(jìn)行分類判斷，這種情況下基于摘要的分類效果往往要好于基于題名的分類效果，表現(xiàn)為F1值提升幅度較大。

例3：

2001#$a甘藍(lán)型油菜開花時(shí)間的遺傳及株高和開花時(shí)間的Q TL定位

330##$a甘藍(lán)型油菜是中國(guó)重要的油料作物，是中國(guó)食用植物油的主要來源。株高和開花時(shí)間是當(dāng)前油菜育種的兩個(gè)重要性狀，適當(dāng)?shù)慕档椭旮吆涂s短開花時(shí)間，對(duì)于提高油菜抗倒伏性和早熟性，推動(dòng)油菜機(jī)械化收獲，促進(jìn)油菜產(chǎn)業(yè)發(fā)展具有戰(zhàn)略意義……

解析：題名中主題詞“甘藍(lán)型油菜”直觀地揭示了論文研究主題為“油菜”，很容易將其分類到S634.3（蔬菜園藝類）。但從摘要內(nèi)容來看，論文研究主題是作為油料作物的油菜，而非蔬菜類的小白菜，應(yīng)分入S565.4（油料作物類）。油料作物這一信息只能從摘要內(nèi)容中識(shí)別。因此，基于摘要的分類效果（F1值76.73%）好于基于題名（F1值73.15%）。

例4：

2001#$a經(jīng)縫牽引成骨術(shù)前后顴骨體積的測(cè)量及體外細(xì)胞模型的構(gòu)建研究

330##$a面中部骨骼發(fā)育不全嚴(yán)重影響患兒的身心健康，目前臨床上主要應(yīng)用正頜外科截骨/植骨術(shù)、正畸治療、截骨成骨術(shù)、經(jīng)縫牽引成骨術(shù)（Tr a ns-sutu r a l D ist r a c tion Ost e og e n e sis，T S D O）治療此種……T S D O通過對(duì)患者面部骨縫進(jìn)行持續(xù)牽引從而促進(jìn)面部骨骼重塑，……綜上，面縫具有哪些不同于顱縫的特性、如何在體外構(gòu)建T S D O的面縫細(xì)胞力學(xué)模型均亟待闡明。故本研究目的為首次從體積測(cè)量的角度全面證實(shí)T S D O可促進(jìn)面部新骨形成（顴骨）……

解析：題名中主題詞“成骨術(shù)”直觀地揭示了論文研究主題為“外科手術(shù)”，很容易將其分類到R687.3（骨骼手術(shù)）。但從摘要內(nèi)容來看，論文研究主題是面部骨骼的外科手術(shù)，具有一定的專指性，應(yīng)分入R782.2（口腔頜面部整形外科學(xué)），而這一信息主要來自摘要內(nèi)容。因此，基于摘要的分類效果（F1值75.52%）好于基于題名（F1值71.01%）。

（3）TSAW型（題名顯性摘要隱性主題）。指的是題名中主題比較明確，但在摘要中由于背景介紹、表達(dá)方式等對(duì)主題內(nèi)容的表達(dá)造成了一定的干擾，對(duì)題名主題進(jìn)行了一定的隱匿。在這種情況下，基于摘要的分類效果反而不如基于題名的理想。

例5：

2001#$a聯(lián)合地基L i DA R與無人機(jī)L i DA R的白樺蓄積量反演研究

330##$a森林蓄積量是描述森林生態(tài)系統(tǒng)功能和生產(chǎn)力的重要物理指標(biāo)……如何快速準(zhǔn)確地獲取森林蓄積量，成為近年來森林資源質(zhì)量動(dòng)態(tài)監(jiān)測(cè)和林業(yè)可持續(xù)發(fā)展的關(guān)鍵。森林蓄積量的基本單元是每棵活立木的材積……本文以河北省承德市塞罕壩森林公園內(nèi)的人工白樺林和張家口市老虎溝村的天然白樺林作為研究對(duì)象，聯(lián)合地基L i DA R和無人機(jī)L i DA R數(shù)據(jù)完成了白樺樣地森林蓄積量的反演研究。具體研究?jī)?nèi)容如下……

解析：題名中“白樺”直觀揭示了論文研究對(duì)象為“白樺”。而摘要中開篇主要講述森林蓄積量的指標(biāo)意義及測(cè)度反演方法，在一大段論述后提出研究主題“白樺”，給模型提取“白樺”這一研究主題造成嚴(yán)重干擾，很容易誤分到S758.5（森林蓄積量），而不是正確的分類S792.153（白樺）中。因此，基于摘要的分類效果（F1值32.56%）反而比基于題名的（F1值59.63%）差。

例6：

2001#$a ETV治療CHB患者肝細(xì)胞癌發(fā)生率及預(yù)測(cè)因子的研究

330##$a目的：對(duì)接受恩替卡韋（Entecavir，ETV）治療的慢性乙型肝炎（Chronic Hepatitis B viral hepatitis，CHB）患者原發(fā)性肝細(xì)胞癌（Hepatocellular Carcinoma，HCC）的發(fā)生率及預(yù)測(cè)因子的研究，探討ETV治療慢性乙型肝炎患者對(duì)HCC發(fā)生率的影響。方法：……結(jié)論：……對(duì)于年齡大于50歲的男性患者，尤其是HBeAg陰性慢性乙型肝炎患者，應(yīng)定期加強(qiáng)監(jiān)測(cè)，盡早發(fā)現(xiàn)肝癌，從而改善患者預(yù)后。

解析：題名中的“肝細(xì)胞癌”這一主題詞能夠清晰明了地揭示論文主題，容易給出正確的分類號(hào)R735.7（肝癌）。而摘要開篇“乙型肝炎”對(duì)“肝癌”的特征識(shí)別造成了一定干擾，易誤分到病毒性肝類R512.6。因此，基于摘要的分類效果（F1值84.16%）不如基于題名的效果（F1值87.28%）理想。

從模型原理上來看，如圖1所示，主要有兩大部分影響模型分類效果。一個(gè)是文本表示部分。文本表示主要是通過詞向量模型對(duì)待分類文本進(jìn)行向量化表征以提取文本信息，包括靜態(tài)和動(dòng)態(tài)兩種。一般而言，動(dòng)態(tài)詞向量（如筆者采用的BERT模型）能綜合文本上下文、語(yǔ)法、詞性等信息，對(duì)文本信息的提取能力較強(qiáng)，因此采用動(dòng)態(tài)詞向量有助于提高模型分類效果。另一個(gè)是分類器部分。分類器是將文本向量按照一定的規(guī)則進(jìn)行歸類，一般采用神經(jīng)網(wǎng)絡(luò)模型，比如本文模型就采用經(jīng)典的Softmax神經(jīng)網(wǎng)絡(luò)分類器，它能通過交叉損失熵的反向傳播不斷迭代更新神經(jīng)網(wǎng)絡(luò)參數(shù)，使模型朝著損失最小的方向演化，以提高分類效果。

在本研究模型結(jié)果分析中可以發(fā)現(xiàn)，BERT對(duì)文本信息的提取能力優(yōu)于靜態(tài)模型Word2Vec和FastText，是模型分類效果優(yōu)良的重要保證。TSAS型（雙顯性主題）中，不管是題名還是摘要，BERT都能成功準(zhǔn)確提取主題信息，尤其是在TWAS型（題名隱性摘要顯性主題）中，BERT能抓取到題名中遺漏的重要信息。分類器主要進(jìn)行的是監(jiān)督分類，因此文本標(biāo)簽質(zhì)量就顯得十分重要。文本標(biāo)簽的混亂會(huì)對(duì)模型分類效果造成較大影響，特別是同類文本被貼上不同標(biāo)簽時(shí)，會(huì)給分類器帶來很大“困惑”。比如前文提到的“油菜”這一主題，有的被分到S634.3，有的被分到S565.4，這樣分類器在進(jìn)行交叉熵反向傳播更新參數(shù)時(shí)會(huì)出現(xiàn)混亂，難以找到最優(yōu)值，導(dǎo)致分類效果不夠理想。

5 結(jié)論與建議

5.1 結(jié)論

文獻(xiàn)分類是圖書館學(xué)、情報(bào)學(xué)領(lǐng)域的經(jīng)典課題，傳統(tǒng)的人工文獻(xiàn)分類方法在文獻(xiàn)數(shù)量暴增的當(dāng)下已不太適用，深度學(xué)習(xí)技術(shù)的快速發(fā)展使得文獻(xiàn)的自動(dòng)分類成為可能。筆者構(gòu)建BERT分類模型，以醫(yī)學(xué)類和農(nóng)學(xué)類學(xué)位論文為例，分別基于題名和摘要數(shù)據(jù)對(duì)科技文獻(xiàn)的自動(dòng)分類展開了探討。結(jié)果顯示，在兩大類別上基于摘要數(shù)據(jù)的分類效果整體上均好于基于題名，摘要數(shù)據(jù)集上醫(yī)學(xué)類和農(nóng)學(xué)類F1值分別達(dá)到77.78%和69.07%，相應(yīng)高于題名數(shù)據(jù)集上的75.04%和68.10%。從具體樣本來看，按照F1值變化的不同情況將樣本分為TSAS型（雙顯性主題）、TWAS型（題名隱性摘要顯性主題）和TSAW型（題名顯性摘要隱性主題）。在TSAS型上基于摘要的分類提升效果不太明顯，同時(shí)也彰顯訓(xùn)練樣本分類質(zhì)量的重要性。TWAS型中摘要的詳細(xì)表達(dá)給模型分類效果帶來較大提升，說明模型訓(xùn)練樣本承載詳細(xì)信息的重要性。TSAW型中由于寫作方式等問題給模型提取信息造成了一定的干擾，出現(xiàn)了信息冗余，導(dǎo)致基于摘要的分類效果不如基于題名的效果，說明論文寫作的規(guī)范性對(duì)模型分類效果具有重要影響。

5.2 建議

鑒于訓(xùn)練樣本分類質(zhì)量、寫作方式和樣本承載信息量對(duì)模型分類效果的重要影響，筆者從以下3個(gè)方面提出相應(yīng)建議，以期提高學(xué)位論文等科技文獻(xiàn)的自動(dòng)分類效果。

（1）夯實(shí)數(shù)據(jù)質(zhì)量

數(shù)據(jù)是模型進(jìn)行自動(dòng)分類的重要基礎(chǔ)，是模型分類結(jié)果的決定性因素。訓(xùn)練樣本的數(shù)據(jù)質(zhì)量決定了模型分類器參數(shù)的更新方向，直接影響分類效果。應(yīng)通過人工審核、校驗(yàn)等過程提高訓(xùn)練語(yǔ)料的分類數(shù)據(jù)質(zhì)量，盡量避免同類樣本被誤分到不同類目的現(xiàn)象發(fā)生。

（2）規(guī)范寫作方式

直入主題的寫作方式便于模型對(duì)主題特征的提取。論文作者在寫作摘要時(shí)應(yīng)當(dāng)開門見山、直截了當(dāng)?shù)乇磉_(dá)論文主題思想，盡量避免背景介紹、內(nèi)容綜述鋪墊過多而造成的對(duì)主題信息的干擾甚至淹沒?？梢赃m當(dāng)精簡(jiǎn)背景分析和對(duì)主題來龍去脈的介紹，而把重點(diǎn)放在論文主題相關(guān)內(nèi)容的描述和解析上。

（3）拓寬信息來源

題名、摘要、關(guān)鍵詞、引言、結(jié)論等都是學(xué)位論文的重要組成部分，是論文主題的主要信息點(diǎn)。這些部分均難以單獨(dú)全面、充分地揭示論文主題。因此，需要將這些信息點(diǎn)融合起來，通過不同信息源之間的互補(bǔ)來彌補(bǔ)單一信息源揭示不夠全面、充分的缺陷，從而達(dá)到提高分類質(zhì)量的目的。

注釋：

① 萬方中國(guó)學(xué)位論文全文數(shù)據(jù)庫(kù).https：//c.wanfangdata.com.cn/thesis.