預(yù)訓(xùn)練模型在“你選書，我買單”計算機系統(tǒng)中的應(yīng)用

謝敏明

摘要：為了解決圖書館“你選書，我買單”計算機系統(tǒng)購書審核存在的問題，文章提出引入人工智能深度學(xué)習(xí)方法，在原有計算機系統(tǒng)中加入購書審核模型。文章基于預(yù)訓(xùn)練模型BERTbase模型、BERT-wwm模型和Xlnet模型，構(gòu)建“你選書，我買單”購書審核模型，微調(diào)訓(xùn)練這3個模型，計算3個模型驗證結(jié)果，并對3個模型進行了比較。結(jié)果表明，BERTbase模型、BERT-wwm模型和Xlnet模型驗證結(jié)果Accuracy、Precision、Recall 和F1 值達到設(shè)計要求，其中BERT-wwm模型和Xlnet模型各項評價指標都高于BERTbase模型。

關(guān)鍵詞：圖書館；人工智能；預(yù)訓(xùn)練模型

中圖分類號：G250;TP181? 文獻標志碼：A

0 引言

近年來，圖書利用率低成為高校圖書館面臨的一個難題。這個問題的產(chǎn)生有許多原因，其中一個原因是圖書采購人員素質(zhì)、專業(yè)知識不夠，采購的圖書不符合讀者的閱讀需求。高校圖書館為了讓采購的圖書能有效契合讀者的閱讀需求，產(chǎn)生應(yīng)有的經(jīng)濟效益和社會效益，嘗試在圖書采購工作中加大讀者的話語權(quán)和決策權(quán)，推出“你選書，我買單” 圖書閱讀推廣活動。在“你選書，我買單”圖書閱讀推廣活動中，讀者可以到與圖書館有簽約的圖書供應(yīng)商書店內(nèi)挑選圖書，經(jīng)過查重，只要讀者挑選的圖書符合圖書館采購原則，讀者可以直接帶走圖書，后續(xù)圖書結(jié)賬由圖書館采購人員完成。這活動受到讀者的極大歡迎，但也存在許多不足，如活動只能定期舉行，不能長期為讀者服務(wù)；圖書館活動時要派出不少人員等。隨著網(wǎng)絡(luò)的發(fā)展，有些圖書館針對這些問題開發(fā)了計算機軟件。這些軟件可以讓讀者全天候挑選圖書，查重讀者提交的圖書，控制提交圖書冊數(shù)、碼洋和種類大類等。然而，這些軟件也存在不盡如人意的地方，如不能很好地把握讀者所提交圖書的學(xué)科性和專業(yè)性，不能根據(jù)圖書書名和種類細類做出是否購買判斷等。

1 人工智能在圖書館圖書采購中的應(yīng)用和“你選書，我買單”計算機系統(tǒng)解決方案

1.1 人工智能在圖書館圖書采購中的應(yīng)用

人工智能賦能新質(zhì)生產(chǎn)力。當前人工智能技術(shù)快速發(fā)展并被廣泛應(yīng)用在各行各業(yè)，改變了人類社會的生活、生產(chǎn)和消費模式。圖書館也迫切引入人工智能技術(shù)，向智慧圖書館發(fā)展。圖書館“你選書，我買單”計算機系統(tǒng)審核讀者上報圖書和圖書館圖書采購中圖書審核是類似的，因此，建構(gòu)圖書館“你選書，我買單”計算機系統(tǒng)圖書審核可以借鑒圖書館圖書采購所采用的人工智能方法。最近幾年，許多研究者探討了人工智能在智慧圖書館圖書采購方面的應(yīng)用。如：孫雷［1］探討了高校圖書館圖書采購中應(yīng)用LVQ神經(jīng)網(wǎng)絡(luò)，對采購圖書書名、分類號等精準控制；周志強［2］探討了如何建立基于BP網(wǎng)絡(luò)和基于SVM的高校圖書館圖書采購模型；黃小華［3］探討了基于遺傳神經(jīng)網(wǎng)絡(luò)建立圖書采購模型的方法；尹紀軍［4］提出建立基于改進神經(jīng)網(wǎng)絡(luò)的圖書采購模型，構(gòu)建圖書館圖書采購系統(tǒng)，解決現(xiàn)有人工采購方法存在的許多缺陷；蔡時連［5］利用BP神經(jīng)網(wǎng)絡(luò)和Elman神經(jīng)網(wǎng)絡(luò)建立模型，解決圖書館圖書復(fù)本量計算問題；任悅［6］研究了基于SCOR模型建立高校圖書供應(yīng)商服務(wù)質(zhì)量指標體系，有效緩解圖書采購過程中優(yōu)選圖書供應(yīng)商時存在的主觀不確定性；林曦等［7］提出智慧采訪是圖書館解決當前圖書采訪困局的有效途徑，以人工智能三大基礎(chǔ)要素為切入點，實現(xiàn)圖書的智慧采訪；Wu等［8］使用ALBERT深度學(xué)習(xí)模型，實現(xiàn)了高校圖書館圖書采購的自動化和標準化，提高購書效率。

1.2 “你選書，我買單”計算機系統(tǒng)解決方案

圖書館“你選書，我買單”計算機系統(tǒng)解決方案多是實現(xiàn)圖書館和書店的網(wǎng)絡(luò)連接，利用本館館藏查重讀者上報圖書，按一些簡單規(guī)則控制上報圖書的種類大類，控制圖書書款和復(fù)本數(shù)不超過最高書款和最高復(fù)本數(shù)。在本文方案中，圖書館“你選書，我買單”計算機系統(tǒng)除了實現(xiàn)上述功能外，還增加一個購書審核模型（見圖1）。該模型能綜合判斷讀者上報圖書書名和分類號，提出圖書館采購意見，決定是否批準購買。本文嘗試利用人工智能深度學(xué)習(xí)技術(shù)，以基于預(yù)訓(xùn)練模型微調(diào)訓(xùn)練而成的購書審核模型作為“你選書，我買單”計算機系統(tǒng)后臺一部分，審核讀者上傳圖書書名和種類細類。“你選書，我買單”計算機系統(tǒng)采用CLIENT/SERVER架構(gòu)，購書審核模型部署在圖書館“你選書，我買單”計算機系統(tǒng)的服務(wù)器端，而該系統(tǒng)終端可以使用書店網(wǎng)頁瀏覽器或讀者手機。在開放時間里，讀者隨時到與圖書館簽約書店選擇圖書，登錄“你選書，我買單”計算機系統(tǒng)終端，通過身份認證，上報所選圖書到“你選書，我買單”計算機系統(tǒng)服務(wù)器端。服務(wù)器上的購書審核模型隨時審核讀者上報的圖書，并查重圖書館館藏。圖書審核通過后，讀者馬上在書店辦理該圖書的借閱手續(xù)，即時帶走圖書，過后該圖書結(jié)賬手續(xù)由圖書館采購人員定期辦理，讀者只要在規(guī)定的時間內(nèi)到圖書館借閱服務(wù)部門辦理圖書退借手續(xù)即可。

本文采用基于人工智能的深度學(xué)習(xí)預(yù)訓(xùn)練模型方法解決圖書館“你選書，我買單”圖書推廣活動所遇到的問題，這也是人工智能在智慧圖書館應(yīng)用的不斷嘗試。

2 預(yù)訓(xùn)練語言模型：BERTbase（BERT的基本模型）模型、BERT-wwm模型和Xlnet模型

構(gòu)建購書審核模型處理讀者上報圖書是一種自然語言處理分類任務(wù)。早期構(gòu)建自然語言處理模型比較簡單，所用神經(jīng)網(wǎng)絡(luò)規(guī)模比較小，采用監(jiān)督學(xué)習(xí)訓(xùn)練模型，而監(jiān)督學(xué)習(xí)所用訓(xùn)練數(shù)據(jù)集的每個訓(xùn)練樣本都有一個輸入特征和對應(yīng)的標注。隨著神經(jīng)網(wǎng)絡(luò)規(guī)模越來越大，監(jiān)督學(xué)習(xí)方法需要大量標注樣本。但是樣本標注成本昂貴，構(gòu)建大規(guī)模的標注數(shù)據(jù)集耗費大量人力、物力和時間。相反，構(gòu)建大規(guī)模無標注語料庫相對容易，因此，研究者推出大規(guī)模無監(jiān)督學(xué)習(xí)結(jié)合特定數(shù)據(jù)集微調(diào)訓(xùn)練的預(yù)訓(xùn)練模型方法，從而推動神經(jīng)概率語言模型向預(yù)訓(xùn)練語言模型（Pre-trained Language Models，PLMs）發(fā)展［9］。

預(yù)訓(xùn)練模型是一種人工智能深度學(xué)習(xí)模型。在自然語言處理應(yīng)用中，構(gòu)建預(yù)訓(xùn)練模型過程分為2個階段：預(yù)訓(xùn)練階段和微調(diào)階段。在預(yù)訓(xùn)練階段，預(yù)訓(xùn)練模型使用大規(guī)模的無標注數(shù)據(jù)進行學(xué)習(xí)訓(xùn)練，學(xué)習(xí)文本中的語法、語義和上下文信息，學(xué)習(xí)語言的統(tǒng)計規(guī)律和語義信息。在這一階段，預(yù)訓(xùn)練模型由大機構(gòu)開發(fā)完成，一般使用者只要在這些預(yù)訓(xùn)練模型的基礎(chǔ)上微調(diào)訓(xùn)練即可。在微調(diào)階段，一般使用者為了完成特定的任務(wù)，選擇和所要完成任務(wù)相適宜的預(yù)訓(xùn)練模型。在這過程中，使用者采用預(yù)訓(xùn)練階段得到的模型參數(shù)作為初始狀態(tài)，使用一定數(shù)量標注數(shù)據(jù)集進一步微調(diào)訓(xùn)練模型，通過反向傳播算法和優(yōu)化方法，根據(jù)目標任務(wù)的損失函數(shù)來調(diào)整模型的參數(shù)，使得模型能夠快速適應(yīng)新的任務(wù)并取得優(yōu)異的性能。

BERTbase模型、BERT-wwm模型和Xlnet模型都是預(yù)訓(xùn)練模型，而BERT-wwm模型和Xlnet模型是BERT模型的改進優(yōu)化模型。

2.1 BERTbase預(yù)訓(xùn)練語言模型

BERT［10］（Bidirectional Encoder Representations from Transformers，來自Transformers 的雙向編碼器表示）是一個面向自然語言處理任務(wù)的無監(jiān)督預(yù)訓(xùn)練語言模型。BERTbase模型自注意力層采用Transformer中的編碼器（Transformer Encoder）疊加而成；借鑒雙向編碼思想，使得字序列里面的每一個字都含有這個字前面的信息和后面的信息；使用 Masked LM（MLM）雙向訓(xùn)練方法，通過隨機遮蓋輸入文本序列的部分詞語，在輸出層獲得該位置的概率分布，進而極大化似然概率來調(diào)整模型參數(shù)［11］。

BERT預(yù)訓(xùn)練模型架構(gòu)如圖2所示，由輸入層、嵌入層、自注意力層和輸出層組成。

在輸入層，為了更好地表達輸入文本句子段信息和字位置信息，輸入文本用2個特殊的標志［CLS］和［SEP］表示句子的開始和句子之間的分隔。

在嵌入層，把輸入文本轉(zhuǎn)化為向量（實數(shù)矩陣I）。該向量是輸入文本的字嵌入、段嵌入和位置嵌入向量和，即：

I=Token_embed + Sentence_embed + Position_embed ［12］ （1）

Token_embed、Sentence_embed和Position_embed分別表示字嵌入、段嵌入和位置嵌入。字嵌入在嵌入之前，原來輸入文本除了已經(jīng)加入的［CLS］和［SEP］標志外，還隨機遮蓋一些單字，并用［MASK］替代。

自注意力層由多個Transformer編碼器疊加而成。每個編碼器由多頭自注意力子層、若干規(guī)范層和前饋網(wǎng)絡(luò)層組成。多頭自注意力子層可分為多個頭（一般為8頭），對每個頭計算注意力Attention，即把自注意力的Q、K、V均分成幾份，分別計算其注意力，最后把各頭注意力結(jié)果Concat合并輸出，計算公式如下：

headi=Attention（QWQi、KWKi、VWVi）（2）

MultiHead（Q，K，V）=Concat（headi，…，headi）w0［13］（3）

其中，WQi、WKi、WVi分別是第i個頭的查詢、鍵、值矩陣，Attention是注意力計算函數(shù)。在規(guī)范層對多頭注意力子層的輸入和輸出做規(guī)范化，使得特征數(shù)值在合理的范圍內(nèi)。規(guī)范化后的結(jié)果進入前饋網(wǎng)絡(luò)層，在這里進行前向傳播。編碼器最后還加上一個規(guī)范層，再做一次規(guī)范化。規(guī)范化的結(jié)果作為整個編碼器的輸出。

在輸出層，最后一個編碼器的輸出作為整個 BERT 模型的最終輸出，這輸出是輸入各字對應(yīng)的融合全文語義信息后的向量表示。在做分類任務(wù)時輸入［CLS］對應(yīng)的第一個輸出C可作為模型輸入分類結(jié)果。

2.2 BERT-wwm模型

BERT-wwm［14］（BERT-Whole Word Masking）是谷歌在2019年5月31號發(fā)布的一項BERT升級版本。它相對于BERT的改進是用Mask標簽替換一個完整的詞而不是字詞。中文和英文不同，英文最小的token是一個單詞，而中文中最小的token卻是字。詞是由一個或多個字組成，且每個詞之間沒有明顯的分割，包含更多信息的是詞，對全詞mask就是對整個詞都通過mask進行掩碼。哈工大訊飛聯(lián)合實驗室推出的hfl/chinese-bert-wwm-ext是個全詞覆蓋的中文預(yù)訓(xùn)練模型，是BERT-wwm的一個升級版。相比BERT-wwm，hfl/chinese-bert-wwm-ext增加了訓(xùn)練數(shù)據(jù)集和訓(xùn)練步數(shù)。本文方案采用hfl/chinese-bert-wwm-ext。

2.3 Xlnet模型

Xlnet［15］是一種泛自回歸模型，融合了自回歸和降噪自編碼2種方法的優(yōu)點。Xlnet提出排列語言模型（Permutation Language Model，PLM）訓(xùn)練方法，解決掩碼語言模型（MLM）訓(xùn)練方法中［MASK］帶來的負面影響；提出雙流注意力機制（Two-Stream Self-Attention）配合PLM訓(xùn)練。由于BERT所采用的MLM訓(xùn)練方法在預(yù)訓(xùn)練時需要用［mask］字符替換掉一部分輸入，忽略了被mask位置之間的依賴關(guān)系，而在微調(diào)時卻沒有，這導(dǎo)致預(yù)訓(xùn)練與微調(diào)的不一致。Xlnet采用排列語言建模（PLM），在預(yù)訓(xùn)練階段，不加入人為的［MASK］符號，在內(nèi)部對單詞的位置進行重排列，對所有排列方式進行隨機采樣，用少數(shù)的排列順序進行訓(xùn)練，解決自回歸語言模型中無法同時使用雙向上下文信息的缺陷。對于之后出現(xiàn)的2個新問題：其一，基于傳統(tǒng)參數(shù)形式的排序語言模型會退化成詞袋模型，這便需要用單詞在原始句子中的位置信息對模型進行再參數(shù)化；其二，某個單詞的隱狀態(tài)在預(yù)測自身和預(yù)測其他單詞之間存在矛盾，對此Xlnet引入雙流自注意力機制。此外，Xlnet還使用Transformer-XL替代Transformer，解決Transformer對文檔長度限制［16］。

3 購書審核模型微調(diào)訓(xùn)練和驗證結(jié)果分析

3.1 購書審核模型微調(diào)訓(xùn)練

本文購書審核模型微調(diào)訓(xùn)練方案選擇Hugging face網(wǎng)站上Bert-base-chinese、hfl/chinese-bert-wwm-ext和hfl/chinese-xlnet-mid 3種預(yù)訓(xùn)練模型，在這3種預(yù)訓(xùn)練模型基礎(chǔ)上分別進行微調(diào)訓(xùn)練和驗證，并對驗證結(jié)果進行分析；采用PyTorch開源深度學(xué)習(xí)庫搭建購書審核模型和進行微調(diào)訓(xùn)練；采用Python作為編程語言，PyCharm作為開發(fā)環(huán)境。

微調(diào)訓(xùn)練需要一定數(shù)量標注訓(xùn)練數(shù)據(jù)集和驗證數(shù)據(jù)集。這些數(shù)據(jù)集是在原始數(shù)據(jù)基礎(chǔ)上，通過清洗整理而成。本文收集原始數(shù)據(jù)即圖書館采購數(shù)據(jù)56570條，事先對這些采購數(shù)據(jù)清洗。這些采購數(shù)據(jù)不僅有正樣本數(shù)據(jù)，即要訂購的數(shù)據(jù)，還有一定比例負樣本數(shù)據(jù)，即不要訂購的數(shù)據(jù)。打亂上述采購數(shù)據(jù)順序，并將其隨機分成訓(xùn)練集46570條和驗證集1萬條。本文選擇上述訓(xùn)練集和驗證集中書名和分類號作為樣本特征，選擇上述訓(xùn)練集和驗證集中是否訂購作為標本標注。把標本特征書名和分類號拼接在一起作為模型輸入，根據(jù)BERTbase、BERT-wwm和Xlnet的不同輸入拼接要求，對于Bert-base-chineset和hfl/chinese-bert-wwm-ext模型輸入拼接為：［CLS］+書名+分類號+［SEP］［17］，而對于hfl/chinese-xlnet-mid則是：書名+分類號+［SEP］+［CLS］［18］。

超參數(shù)是模型微調(diào)訓(xùn)練過程中控制模型行為的參數(shù)，通常需要通過試驗和調(diào)整來找到最佳值。每種模型訓(xùn)練3次，迭代次數(shù)（Epoch）分別取3、6、9；批次大?。˙atch_Size）：16；學(xué)習(xí)率：1E-5；優(yōu)化器：Adam；最大序列長度：200；dropout：0.1。

3.2 驗證結(jié)果評價指標及驗證結(jié)果分析

3.2.1 驗證結(jié)果評價指標

模型驗證是評估模型性能的過程。在這過程中，使用獨立于訓(xùn)練數(shù)據(jù)集的驗證數(shù)據(jù)集來評估模型在未使用過數(shù)據(jù)上的表現(xiàn)，可以幫助了解模型的泛化能力和性能，并進行模型選擇和調(diào)優(yōu)。本文采用準確率（Accuracy）、精確率（Precision）、召回率（Recall）和F1值（F1-Score）作為模型訓(xùn)練結(jié)果評價指標。以下公式中，TP表示實際為正且被預(yù)測為正的樣本數(shù)量；FP表示實際為負但被預(yù)測為正的樣本數(shù)量；FN表示實際為正但被預(yù)測為負的樣本的數(shù)量；TN表示實際為負被預(yù)測為負的樣本的數(shù)量。

Accuracy=（TP+TN）／（TP+TN+FP+FN）

Precision=TP／（TP+FP）

Recall=TP／（TP+FN）

F1-Score=（2×Precision×Recall）／（Precision+Recall）［19］

3.2.2 驗證結(jié)果分析

驗證結(jié)果如表1—3和圖3—6所示。

從上面驗證結(jié)果看出：BERT-wwm模型和Xlnet模型驗證結(jié)果評價指標準確率、精確率、召回率和F1值全部大于BERTbase模型。BERTbase模型準確率、精確率和F1值在3Epoch后向下走低，并小于BERT-wwm模型和Xlnet模型；召回率向上稍微提升，但6Epoch后呈水平直線，并幾乎全程小于BERT-wwm模型和Xlnet模型。作為精確率和召回率的加權(quán)平均值F1值，BERT-wwm模型和Xlnet模型都高于BERTbase模型。

4 結(jié)語

驗證結(jié)果表明，BERTbase、BERT-wwm和Xlnet 3種模型驗證訓(xùn)練結(jié)果評價指標都大于83%以上，基本能滿足本文方案要求。但BERT-wwm模型和Xlnet模型各項評價指標都高于BERTbase模型，可以得出基于BERT-wwm模型和Xlnet模型訓(xùn)練出來的模型優(yōu)于基于BERTbase訓(xùn)練出來的模型。

參考文獻

［1］孫雷.LVQ神經(jīng)網(wǎng)絡(luò)在高校圖書館圖書采購中的應(yīng)用研究［J］.現(xiàn)代情報，2011（10）：166-168.

［2］周志強.基于混合智能算法的高校圖書館圖書采購模型研究［D］.呼和浩特：內(nèi)蒙古大學(xué)，2019.

［3］黃小華.基于改進遺傳神經(jīng)網(wǎng)絡(luò)的圖書采購模型研究［J］.現(xiàn)代情報，2009（9）：162-165.

［4］尹紀軍.基于改進遺傳神經(jīng)網(wǎng)絡(luò)的圖書采購系統(tǒng)研究［D］.鎮(zhèn)江：江蘇大學(xué)，2007.

［5］蔡時連.BP神經(jīng)網(wǎng)絡(luò)和Elman神經(jīng)網(wǎng)絡(luò)模型的圖書復(fù)本量預(yù)測分析［J］.圖書情報工作，2014（6）：157-159.

［6］任悅.基于SCOR模型的高校圖書館供應(yīng)商服務(wù)選擇研究［J］.情報探索，2022（3）：117-122.

［7］林曦，趙大志.基于人工智能的高校圖書館圖書智慧采訪研究［J］.山東圖書館學(xué)刊，2022（4）：30-37.

［8］WU Y J，WANG X X，YU P L，et al.ALBERT-BPF：A book purchase forecast model for university library by using ALBERT for text feature extraction［J］.Aslib Journal of Information Management，2022（4）：673-687.

［9］王乃鈺，葉育鑫，劉露，等.基于深度學(xué)習(xí)的語言模型研究進展［J］.軟件學(xué)報，2021（4）：1082-1115.

［10］DEVLIN J，CHANG M W，LEE K，et al.BERT：pre-training of deep bidirectional transformers for language understanding［J］.arXiv，2018（10）：48-50.

［11］張云秋，汪洋，李博誠.基于RoBERTa-wwm動態(tài)融合模型的中文電子病歷命名實體識別［J］.數(shù)據(jù)分析與知識發(fā)現(xiàn)，2022（2/3）：242-250.

［12］瓜子paw.Bert學(xué)習(xí)筆記［EB/OL］.（2022-09-01）［2024-01-28］.https：//blog.csdn.net.

［13］楊丹的博客.BERT基礎(chǔ)（一）：self_attention自注意力詳解［EB/OL］.（2019-11-05）［2024-01-28］.https：//blog.csdn.net.

［14］CUI Y，CHE W，LIU T，et al.Pre-training with whole word masking for Chinese BERT［J］.IEEE/ACM Transactions on Audio，Speech，and Language Processing，2021（29）：3504-3514.

［15］YANG Z，DAI Z，YANG Y，et al.Xlnet：generalized autoregressive pretraining for language understanding［C］.Proceeding of the 31th Conference on Advances in Neural Information Processing Systems，Long Beach：IEEE，2019：5754-5764.

［16］邵浩，劉一烽.預(yù)訓(xùn)練語言模型［M］.北京：電子工業(yè)出版社，2021.

［17］AI讓世界更懂你.轉(zhuǎn)戰(zhàn)pytorch—XLNet初體驗（5）［EB/OL］.（2020-11-15）［2024-01-28］.https：//blog.csdn.net.

［18］超級無敵陳大佬的跟班.［深度學(xué)習(xí)］模型評價指標［EB/OL］.（2021-09-10）［2024-01-28］.https：//blog.csdn.net.

（編輯 王雪芬）

Application of pre-training model in computer system of “You choose the book， I pay the bill”XIE? Minming

（Library， Xiamen University of Technology， Xiamen 361024， China）

Abstract：? In order to solve the problems existing in the book purchase audit of the librarys “You choose books， I pay the bill” computer system， this paper puts forward the introduction of artificial intelligence deep learning method， and adds the book purchase audit model to the original computer system. Based on the pre-training model BERTbase model， BERT-wwm model and Xlnet model， the “You choose books， I pay the bill” book purchase audit model was constructed， and the three models were fine-tuned for training， and the verification results of the three models were calculated and compared. The accuracy， precision， recall and F1 values of BERTbase model， BERT-wwm model and Xlnet model meet the design requirements， and the evaluation indexes of BERT-wwm model and Xlnet model are higher than BERTbase model.

Key words： library; artificial intelligence; pre-trained language models