基于深度學(xué)習(xí)的圖書館電子資源績效評估探索
——以中南財(cái)經(jīng)政法大學(xué)圖書館為例

唐鵬宇 葛 紅

（1.中南財(cái)經(jīng)政法大學(xué)圖書館 湖北武漢 430073）

（2.華南師范大學(xué)計(jì)算機(jī)學(xué)院 廣東廣州 510631）

1 引言

隨著計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)的發(fā)展，電子資源迅速增長，逐漸成為圖書館館藏資源的重要組成部分。如何對其進(jìn)行有效評價，并及時調(diào)整采購策略，合理分配經(jīng)費(fèi)，是高校圖書館資源建設(shè)面臨的主要問題[1]?，F(xiàn)階段，大部分電子資源績效評估研究通常采用統(tǒng)計(jì)分析工具或是決策樹、BP（Back-Propagation）神經(jīng)網(wǎng)絡(luò)等簡單的機(jī)器學(xué)習(xí)（Machine Learning,ML）方法實(shí)現(xiàn)。但是，這些方法缺乏主動性和深度性，往往是運(yùn)用模型對已采購的資源進(jìn)行淺層評估，并不能學(xué)習(xí)采購過程中的深層邏輯和內(nèi)部規(guī)則，模型也無法像采訪館員一樣進(jìn)行學(xué)習(xí)、分析并得出結(jié)論。深度學(xué)習(xí)（Deep Learning,DL）是近年來發(fā)展起來的機(jī)器學(xué)習(xí)方法，具有強(qiáng)大的數(shù)據(jù)分析和建模能力?！吧疃葘W(xué)習(xí)”這一概念在1976年由美國學(xué)者Ference Marton提出，強(qiáng)調(diào)機(jī)器學(xué)習(xí)算法的主動性[2]。與以往的機(jī)器學(xué)習(xí)方法不同，深度學(xué)習(xí)強(qiáng)調(diào)學(xué)習(xí)樣本數(shù)據(jù)的內(nèi)部規(guī)則和表示層次，最終目標(biāo)是使機(jī)器學(xué)習(xí)算法能夠像人類一樣分析和學(xué)習(xí)，能夠自動識別和分析輸入的信息并得出結(jié)論[3]。目前，深度學(xué)習(xí)技術(shù)以其獲取的主動性和結(jié)構(gòu)深度性，已經(jīng)被廣泛應(yīng)用并推廣于數(shù)據(jù)挖掘等領(lǐng)域并取得了良好的效果[4]。利用深度學(xué)習(xí)方法對圖書館資源進(jìn)行評價，比傳統(tǒng)的統(tǒng)計(jì)分析方法或是簡單的回歸建模方法要更為準(zhǔn)確、高效，是未來的一個發(fā)展方向。將深度學(xué)習(xí)方法引入電子資源績效評估中來，使得模型算法能夠像采訪館員一樣分析和學(xué)習(xí)，自動識別和分析數(shù)據(jù)資源并得出采購結(jié)論，降低采訪館員個人意愿對采購客觀性的影響，減少采訪館員更換對于采訪策略的影響，維持電子資源建設(shè)的客觀性和連續(xù)性。

2 電子資源績效評估指標(biāo)體系研究

深度學(xué)習(xí)模型的建立與學(xué)習(xí)需要大量的基礎(chǔ)數(shù)據(jù)[5]。因此，構(gòu)建電子資源績效評估指標(biāo)體系并收集相關(guān)的數(shù)據(jù)是深度學(xué)習(xí)建模的第一步。

20世紀(jì)90年代以來，隨著計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)的發(fā)展，電子資源迅速增長，逐漸成為圖書館館藏資源的重要組成部分。針對圖書館電子資源，歐美和一些國際機(jī)構(gòu)設(shè)立了許多知名的績效評估體系，如《信息與文獻(xiàn) 國際圖書館統(tǒng)計(jì)》數(shù)據(jù)標(biāo)準(zhǔn)ISO2789、歐洲委員會EQUINOX電子服務(wù)績效評價和指標(biāo)體系、美國圖書館協(xié)會的電子資源在線使用統(tǒng)計(jì)項(xiàng)目COUNTER（Counting Online Usage of Networked Electronic Resources）以及美國研究圖書館協(xié)會（Association of Research Library,ARL）的E-Metrics項(xiàng)目等，這些體系注重電子資源的使用統(tǒng)計(jì)分析[6]。除此之外，還有eVALUEd（英國高等教育基金會項(xiàng)目）、LIBQUAL+（ARL項(xiàng)目）等系統(tǒng)側(cè)重于用戶滿意度的電子資源評價體系[7]。

近年來，國內(nèi)圖書館電子資源績效評估指標(biāo)體系研究方面主要是學(xué)習(xí)和借鑒國外的經(jīng)驗(yàn)，國內(nèi)學(xué)者多以定性和定量研究方法相結(jié)合的層次分析方法進(jìn)行指標(biāo)體系的構(gòu)建。比如侯振興采用層次分析法確定高校圖書館電子期刊數(shù)據(jù)庫績效評價指標(biāo)體系及權(quán)重并進(jìn)行了評價驗(yàn)證[8]。陳英在利用層次分析法的基礎(chǔ)上結(jié)合客觀賦權(quán)方法中的CRITIC（Criteria Importance Though Intercrieria Correlation）方法進(jìn)行評價指標(biāo)的權(quán)重組合，從而測算高校圖書館電子資源的績效評估價值[9]。但是，截止到目前，國內(nèi)外并沒有一個獲得普遍認(rèn)同的電子資源評價指標(biāo)與體系[10]。絕大多數(shù)學(xué)者的研究是根據(jù)實(shí)際情況，結(jié)合國外認(rèn)可度較高的評估體系，綜合構(gòu)建適合其研究的指標(biāo)體系。

因此，本文在國內(nèi)外已有學(xué)者研究基礎(chǔ)之上，考慮到電子資源績效評價影響因素的研究和后續(xù)評價模型的構(gòu)建需求，結(jié)合中南財(cái)經(jīng)政法大學(xué)圖書館的實(shí)際情況，主要選擇了具有獨(dú)立性、可得性、有效性和可定量的關(guān)鍵指標(biāo)。從“信息質(zhì)量”“使用質(zhì)量”“服務(wù)質(zhì)量”“資源成本”四個維度構(gòu)建了中南財(cái)經(jīng)政法大學(xué)圖書館電子資源績效評估指標(biāo)體系，如表1所示。

表1 中南財(cái)經(jīng)政法大學(xué)圖書館電子資源績效評估關(guān)鍵指標(biāo)（以年為單位）

首先，信息質(zhì)量是評估信息是否成功的重要維度之一。根據(jù)DeLone和Mclean提出的信息系統(tǒng)成功模型（D&M Information system success model,簡稱D&M模型），信息質(zhì)量直接影響了用戶的使用效果和滿意度，是信息資源評價的重要指標(biāo)[11]。高校圖書館所采購的電子資源應(yīng)當(dāng)具有較高的信息質(zhì)量，應(yīng)當(dāng)是在該學(xué)科領(lǐng)域具有較高說服力和認(rèn)可度的?？紤]到電子資源的信息質(zhì)量難以量化，因此，“信息質(zhì)量”緯度主要以組織專家組進(jìn)行綜合打分的形式進(jìn)行，專家組根據(jù)各數(shù)據(jù)庫的時間跨度、資源數(shù)量、內(nèi)容權(quán)威性以及更新頻率等指標(biāo)對以往所采購的數(shù)據(jù)庫的信息質(zhì)量進(jìn)行綜合打分。

其次，使用質(zhì)量是電子資源評估的基礎(chǔ)客觀指標(biāo)。COUNTER項(xiàng)目是電子資源管理與評價中最常使用的標(biāo)準(zhǔn)，它定義了電子資源在使用過程中需要統(tǒng)計(jì)的數(shù)據(jù)量，包括電子資源的使用量、檢索量、下載量等指標(biāo)，能夠幫助圖書館獲得一致的、可比的和可靠的電子資源統(tǒng)計(jì)報(bào)告，并且在國際上認(rèn)可度較高[12]。因此，“使用質(zhì)量”緯度選取COUNTER項(xiàng)目中的關(guān)鍵指標(biāo)，并結(jié)合本校實(shí)際數(shù)據(jù)的可得性，構(gòu)建了電子資源的“訪問量”、“檢索量”和“下載量”三個二級指標(biāo)。

再次，服務(wù)質(zhì)量是電子資源評估中不可缺少的指標(biāo)。根據(jù)Pitt、Watson和Kavan的研究，服務(wù)質(zhì)量能夠反映讀者使用和滿足需求的程度，電子資源的績效評估應(yīng)該增加服務(wù)質(zhì)量這個維度[13]。我國高校圖書館數(shù)字資源采購聯(lián)盟（Digital Resource Acquisition Alliance Chinese Academic Libraries,DRAA）也對集團(tuán)采購的電子資源進(jìn)行了服務(wù)質(zhì)量的調(diào)查與評估，主要對數(shù)據(jù)庫商的售后服務(wù)、檢索系統(tǒng)等維度進(jìn)行評估[14]。因此，綜合相關(guān)數(shù)據(jù)的可得性和有效性，本緯度采用了“平均服務(wù)響應(yīng)時間”和“系統(tǒng)服務(wù)故障次數(shù)”兩個二級指標(biāo)作為電子資源評價中的服務(wù)質(zhì)量評價指標(biāo)。

最后，資源成本是電子資源評估的常見硬性指標(biāo)。一般來說，需要從軟硬件兩個方面考慮圖書館為電子資源的建設(shè)和使用所支出的費(fèi)用。但是，由于目前中南財(cái)經(jīng)政法大學(xué)圖書館絕大部分電子資源的使用均為遠(yuǎn)程訪問方式，硬件投入相對較少，可以忽略不計(jì)。因此，選擇電子資源的“采購費(fèi)用”“年漲價幅度”“次均使用成本”作為資源成本的關(guān)鍵指標(biāo)。

3 基于深度學(xué)習(xí)的電子資源績效評估模型構(gòu)建

深度學(xué)習(xí)是多層級機(jī)器學(xué)習(xí)模型及算法的總稱，因其強(qiáng)有力的數(shù)據(jù)分析和建模能力而得到廣泛應(yīng)用。深度學(xué)習(xí)通過多層級結(jié)構(gòu)實(shí)現(xiàn)逐層多級特征提取，自動完成了大量數(shù)據(jù)預(yù)處理和特征提取工作，是一種端到端的、能有效進(jìn)行復(fù)雜問題建模的機(jī)器學(xué)習(xí)方法。如前所述，電子資源評價是一個涉及多方面多層次的復(fù)雜問題，其模型是一個多元的非線性函數(shù)。傳統(tǒng)的依據(jù)主觀判斷或簡單模型進(jìn)行評估的結(jié)果，缺乏準(zhǔn)確性和實(shí)用性。因此，筆者收集了中南財(cái)經(jīng)政法大學(xué)圖書館2017—2021年五年間的電子資源相關(guān)數(shù)據(jù)，嘗試?yán)蒙疃葘W(xué)習(xí)技術(shù)對中南財(cái)經(jīng)政法大學(xué)圖書館的電子資源進(jìn)行建模、學(xué)習(xí)、評估和預(yù)測，以期為電子資源的選擇和配置決策提供參考。

具體而言，本文所討論的電子資源評價問題，是指依據(jù)前述影響電子資源的關(guān)鍵指標(biāo)對某個特定的電子資源進(jìn)行定量評價即評分?？杀磉_(dá)為獲取一個電子資源評價模型，如下所示：

其中，score為對某個電子資源的評價分值，Xi（i=1，2，3，...m，m=9）為該資源的關(guān)鍵影響指標(biāo)的值。通過建立電子資源評價模型，可以依據(jù)某個電子資源的關(guān)鍵影響指標(biāo)的數(shù)據(jù)，快速、高效、準(zhǔn)確地給出該資源的評分，為圖書館采購電子資源及對現(xiàn)有資源評價提供重要參考。

在各種各樣的深度學(xué)習(xí)模型中，我們選擇多層前饋神經(jīng)網(wǎng)絡(luò)作為電子資源評價模型。多層前饋神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)中擬合能力最強(qiáng)、應(yīng)用最廣泛且最為簡單有效的模型。依據(jù)前述電子資源關(guān)鍵指標(biāo)的研究以及深度學(xué)習(xí)模型的決定性要素，通過中南財(cái)經(jīng)政法大學(xué)圖書館2017—2021年五年間的電子資源相關(guān)數(shù)據(jù)集，對多層前饋神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測試，構(gòu)建電子資源評價模型。

多層前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖如圖1所示。決定多層前饋神經(jīng)網(wǎng)絡(luò)功能實(shí)現(xiàn)和性能優(yōu)劣的關(guān)鍵要素包括：網(wǎng)絡(luò)的層數(shù)及各層的節(jié)點(diǎn)數(shù)；節(jié)點(diǎn)的激活函數(shù)；各層節(jié)點(diǎn)之間的連接權(quán)重。

圖1 多層前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖

多層前饋神經(jīng)網(wǎng)絡(luò)模型的輸入層（即第一層）的節(jié)點(diǎn)數(shù)通常與模型函數(shù)的自變量的個數(shù)相同，針對電子資源評價問題，輸入層節(jié)點(diǎn)數(shù)就是關(guān)鍵影響指標(biāo)的數(shù)量。模型的輸出層節(jié)點(diǎn)數(shù)取決于整個模型的輸出變量，所以，本文的電子資源評價模型的輸出就是一個評價值。介于輸入層和輸出層之間的隱層的層數(shù)和每層的節(jié)點(diǎn)個數(shù)取決于模型的數(shù)據(jù)對象，一般而言，數(shù)據(jù)越復(fù)雜，對應(yīng)的模型的隱層數(shù)和節(jié)點(diǎn)數(shù)就越多，所以，這部分結(jié)構(gòu)需要通過實(shí)驗(yàn)決定。同樣的，模型中各個節(jié)點(diǎn)的激活函數(shù)，通常是在線性函數(shù)或sigmoid函數(shù)、tanh函數(shù)、Relu函數(shù)、softmax函數(shù)等非線性函數(shù)中選取，具體選擇何種激活函數(shù)，也需要通過實(shí)驗(yàn)決定。

4 實(shí)驗(yàn)及結(jié)果分析

實(shí)驗(yàn)的數(shù)據(jù)集來源于中南財(cái)經(jīng)政法大學(xué)圖書館2017—2021年各年的電子資源數(shù)據(jù)。數(shù)據(jù)集規(guī)模為324×10，即324個樣本數(shù)據(jù)，每個數(shù)據(jù)包括表1所列的9個關(guān)鍵影響指標(biāo)及一個對電子資源的評價分值。數(shù)據(jù)集中每個電子資源的評價分值以其歷年購買的幾率值為依據(jù)評定。將2020年及之前的數(shù)據(jù)作為訓(xùn)練集，2021年的數(shù)據(jù)作為測試集。模型采用深度學(xué)習(xí)框架keras實(shí)現(xiàn)。

首先，對不同層數(shù)、不同節(jié)點(diǎn)數(shù)、不同激活的函數(shù)模型進(jìn)行實(shí)驗(yàn)，來獲取適合本文問題的模型。由于可選擇的激活函數(shù)有限，因此實(shí)驗(yàn)中隱層節(jié)點(diǎn)采用tanh函數(shù)，輸出層節(jié)點(diǎn)采用sigmoid函數(shù)。另外，為便于比較，所以模型訓(xùn)練次數(shù)都為15 000次。實(shí)驗(yàn)結(jié)果如表2所示。

表2所列實(shí)驗(yàn)結(jié)果表明，在訓(xùn)練次數(shù)相同的情況下，隱層數(shù)較少（1層和2層）的模型的訓(xùn)練精度和測試精度都比較低，說明模型的復(fù)雜度偏低，不能有效擬合輸入變量與輸出變量之間的函數(shù)關(guān)系。而當(dāng)隱層數(shù)較大（4層）時，訓(xùn)練精度較高而測試精度偏低，表明該模型出現(xiàn)了過擬合的問題。因此，最佳的模型結(jié)構(gòu)就是包含3個隱層的深層前饋神經(jīng)網(wǎng)絡(luò)。

表2 深度前饋神經(jīng)網(wǎng)絡(luò)模型實(shí)驗(yàn)

接下來，在最佳模型上進(jìn)行調(diào)參實(shí)驗(yàn)，以確定最佳超參數(shù)組合。分別對隱層節(jié)點(diǎn)數(shù)和隱層節(jié)點(diǎn)的激活函數(shù)進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表3所示。

表3 隱層節(jié)點(diǎn)數(shù)實(shí)驗(yàn)

依據(jù)表3的實(shí)驗(yàn)結(jié)果，選擇訓(xùn)練誤差和測試誤差最小的模型，得到實(shí)現(xiàn)電子資源評價的最佳模型結(jié)構(gòu)為一個4層的前饋神經(jīng)網(wǎng)絡(luò)。其中，輸入層有9個節(jié)點(diǎn)，分別用于輸入表1中的9個關(guān)鍵指標(biāo)，3個隱藏層的節(jié)點(diǎn)數(shù)分別為10、10、5，最后是只有一個節(jié)點(diǎn)的輸出層，用于輸出對應(yīng)電子資源的評價值。從實(shí)驗(yàn)結(jié)果可見，最佳模型的訓(xùn)練精度和測試精度都達(dá)到99%以上，驗(yàn)證了該模型在電子資源評價的可行性和有效性。

多層前饋神經(jīng)網(wǎng)絡(luò)是一種通用的“萬能逼近器”，理論上講，包含一個隱層的前饋神經(jīng)網(wǎng)絡(luò)，就可以表達(dá)任何連續(xù)的輸入輸出關(guān)系。在實(shí)際應(yīng)用中，可以通過增加隱層層數(shù)，減少每個隱層節(jié)點(diǎn)數(shù)的節(jié)點(diǎn)數(shù)，來降低模型復(fù)雜度和參數(shù)量，從而提升模型性能，避免過擬合的風(fēng)險。同時，由于模型的輸入變量是問題直觀的特征描述，而多層前饋神經(jīng)網(wǎng)絡(luò)的隱層的功能在于提取輸入信息中的隱含特征，可以通過對特征維度的先升后降來實(shí)現(xiàn)有效特征的提取和融合，獲得最好的問題模型構(gòu)建。本文最后得到的最佳模型結(jié)構(gòu)表明，輸入變量經(jīng)過兩次升維（9維輸入變量提升為10維特征）以及一次降維（10維特征降維到5維）的特征變換，較好地獲取了輸入信息的重要特征，有效實(shí)現(xiàn)了問題模型的構(gòu)建。

值得注意的是，在現(xiàn)有模型的基礎(chǔ)上，通過后續(xù)數(shù)據(jù)的添加，可以不斷訓(xùn)練模型的遷移學(xué)習(xí)能力，從而進(jìn)一步提升模型的精度和性能。

5 總結(jié)與不足

高校圖書館電子資源的合理有效的配置和采購，是圖書館資源建設(shè)和學(xué)科服務(wù)的重要任務(wù)。深度學(xué)習(xí)是一種端到端的多層級機(jī)器學(xué)習(xí)模型，利用深度學(xué)習(xí)方法對圖書館電子資源進(jìn)行學(xué)習(xí)和評估，比傳統(tǒng)的統(tǒng)計(jì)分析方法或是簡單的回歸建模方法要更為準(zhǔn)確、高效，是未來的一個發(fā)展方向。根據(jù)實(shí)際情況構(gòu)建圖書館電子資源績效評估指標(biāo)體系，使用基于關(guān)鍵影響指標(biāo)的深度前饋神經(jīng)網(wǎng)絡(luò)模型，使得系統(tǒng)能夠?qū)W習(xí)該圖書館的采購深層邏輯，高效深入地評估和預(yù)測電子資源采購。實(shí)驗(yàn)結(jié)果分別取得99.8%和99.7%的訓(xùn)練精度和測試精度，表明所提指標(biāo)和模型的可行性和有效性，具有明確的應(yīng)用意義。

然而，本文的研究知識是在人工智能的發(fā)展趨勢下的一種嘗試，要訓(xùn)練深度學(xué)習(xí)模型，需要較多的訓(xùn)練數(shù)據(jù)。由于受到數(shù)據(jù)的可得性的限制，本文對于幾個重要指標(biāo)采用綜合打分的方式獲取，會降低模型的客觀性。接下來，可以對相關(guān)重要指標(biāo)做進(jìn)一步的分析和量化，采用更為全面而詳細(xì)的影響指標(biāo)，以期得到更為準(zhǔn)確的電子資源評價模型。

“雙一流”建設(shè)需求對高校圖書館的資源組織和服務(wù)拓展提出了更高的要求。高校圖書館有必要將電子資源績效評估與最新科學(xué)技術(shù)相結(jié)合，大膽嘗試，構(gòu)建更加豐富、客觀和多元化的評估指標(biāo)體系，重視多源多模態(tài)數(shù)據(jù)的組織與分析服務(wù)。并且，有必要結(jié)合各個高校的實(shí)際情況，提升數(shù)據(jù)的可得性，根據(jù)高校的特點(diǎn)對評估進(jìn)行細(xì)分，針對特定資源、具體階段和優(yōu)勢學(xué)科開展評估業(yè)務(wù)。此外，有必要對圖書館資源進(jìn)行持續(xù)、長期的監(jiān)測與評估，形成定期管理并及時反饋，從而提高圖書館的資源服務(wù)能力。最后，要充分發(fā)揮行業(yè)協(xié)會的組織協(xié)調(diào)作用，開展統(tǒng)一、通用的資源績效評估實(shí)踐，超越單一機(jī)構(gòu)的局限性，建立全國性的圖書館資源評估指標(biāo)大數(shù)據(jù)平臺，推進(jìn)融合化的創(chuàng)新服務(wù)平臺建設(shè)。