[摘 要]智慧館員問答服務(wù)系統(tǒng)的研究與開發(fā),旨在通過融合先進(jìn)的通義千問大模型,提升圖書館信息服務(wù)的質(zhì)量和效率。研究發(fā)現(xiàn),利用人工智能大模型不僅能迅速響應(yīng)用戶提出的常規(guī)查詢,還能有效處理復(fù)雜的多步驟問題,引導(dǎo)用戶逐步獲取所需信息。為了優(yōu)化系統(tǒng)性能,尤其針對高并發(fā)請求和資源利用問題,研究提出了一種云計算與本地計算相結(jié)合的彈性部署策略,這不僅降低了硬件投入成本,還增強(qiáng)了系統(tǒng)的靈活性和擴(kuò)展能力,以此為智慧館員問答服務(wù)系統(tǒng)的推廣提供可持續(xù)性支持。此外,對于模型與數(shù)據(jù)的對接,需要根據(jù)數(shù)據(jù)的不同特點嚴(yán)格區(qū)分,選擇微調(diào)、外接知識庫或設(shè)置系統(tǒng)消息等不同的方式進(jìn)行,降低模型的運維成本并提高模型的可靠性。同時,研究強(qiáng)調(diào)了知識庫建設(shè)的重要性,倡導(dǎo)全校各學(xué)院和部門積極參與知識庫建設(shè),以確保知識庫的持續(xù)完善,滿足師生在學(xué)習(xí)和研究中的個性化需求,減少模型的機(jī)器幻覺。通過不斷測試與優(yōu)化,智慧館員問答服務(wù)系統(tǒng)有望在未來實現(xiàn)更加智能化的服務(wù),為用戶提供更加個性化的體驗。
[關(guān)鍵詞]通義千問大模型 智慧館員 教育信息化建設(shè) 圖書館服務(wù) 數(shù)字化轉(zhuǎn)型
[中圖法分類號]G258. 6;TP391 [文獻(xiàn)標(biāo)識碼]A [文章編號]1003-7845(2024)06-0058-10
[引用本文格式]徐鴻,宋涵,蔣蓮.基于通義千問大模型的智慧館員問答服務(wù)系統(tǒng)研究[J].高校圖書館工作, 2024(6):58-67.
本文系云南開放大學(xué)科研基金資助項目“聊天生成預(yù)訓(xùn)練轉(zhuǎn)化器應(yīng)用智慧圖書館服務(wù)研究”(項目編號:23YNOU32)的研究成果之一。
引言
自然語言處理(Natural Language Processing, NLP)是計算機(jī)科學(xué)與人工智能領(lǐng)域研究人類語言與計算機(jī)交互的一門子學(xué)科,一直以來都是人工智能研究的熱點。2022年11月30日,OpenAI團(tuán)隊發(fā)布了一款由人工智能驅(qū)動和自然語言處理工具實現(xiàn)的系統(tǒng)———ChatGPT ,基于GPT ( Generative Pretrained Transformer)的大語言模型(Large Language Model,LLM)可用于各類對話式應(yīng)用,隨后大語言模型成為增長速度最快的應(yīng)用模型之一[1-2]。
基于LLM的人工智能產(chǎn)品擁有卓越的語言生成和模擬對話能力,將其多樣、準(zhǔn)確的內(nèi)容運用到圖書館智能問答服務(wù)系統(tǒng)中,可以為讀者提供高效、個性化的服務(wù)?;贚LM的智能問答系統(tǒng)能夠與圖書館用戶進(jìn)行交互式對話,快速解答用戶的問題、指導(dǎo)用戶操作等,在即時滿足用戶需求的同時,也能向用戶推薦相關(guān)資源、提供個性化服務(wù)[3]。
LLM在計算機(jī)科學(xué)領(lǐng)域取得了顯著進(jìn)展,但在其他行業(yè)中的推廣應(yīng)用仍較為緩慢。除了廣受關(guān)注的“機(jī)器幻覺”問題,即模型可能生成不符合現(xiàn)實或邏輯錯誤的內(nèi)容,高昂的建設(shè)和運維成本同樣是制約其廣泛應(yīng)用的關(guān)鍵因素。2022年11月以來,大語言模型發(fā)展迅速,從最初的ChatGPT版本進(jìn)化至更先進(jìn)的ChatGPT4. 0版本。同時,阿里云的Qwen模型亦升級到Qwen2. 5版本。這些模型不僅在語言處理能力上有所提升,還朝著多模態(tài)方向邁進(jìn)。
硬件技術(shù)方面同樣取得了顯著進(jìn)步,從初期對高性能圖形處理器(GPU)的高度依賴,發(fā)展到現(xiàn)在通過軟件優(yōu)化使中央處理器(CPU)也能承擔(dān)部分計算任務(wù),盡管這在一定程度上犧牲了效率。更進(jìn)一步地,專為特定任務(wù)設(shè)計的神經(jīng)網(wǎng)絡(luò)處理器(NPU)等新型計算單元的出現(xiàn),標(biāo)志著大語言模型計算架構(gòu)正朝著專業(yè)化、高效化方向發(fā)展。這些硬件與技術(shù)的迭代升級,不僅體現(xiàn)了大語言模型正處于快速發(fā)展的階段,也預(yù)示著未來語言模型的部署和使用將更加便利,成本有望進(jìn)一步降低。
然而,即便如此,當(dāng)前在特定領(lǐng)域建設(shè)應(yīng)用大語言模型時,投資者和開發(fā)者仍普遍面臨投入與產(chǎn)出不成比例的風(fēng)險,擔(dān)心高昂的初期投資無法帶來預(yù)期的經(jīng)濟(jì)回報,從而導(dǎo)致資源的浪費。這種擔(dān)憂限制了大語言模型在非計算機(jī)科學(xué)領(lǐng)域的應(yīng)用,但也激發(fā)了研究者與工程師不斷探索降低模型成本、提高效率的新方法,以期在未來能夠更廣泛地利用這些先進(jìn)技術(shù)成果,助力更多行業(yè)的智能化轉(zhuǎn)型與發(fā)展。
目前,信息系統(tǒng)已經(jīng)開始運用大語言模型進(jìn)行深度學(xué)習(xí)和大規(guī)模數(shù)據(jù)訓(xùn)練,能夠處理和理解自然語言,使人類操作員能夠更好地與其交互。例如,在配置管理、故障排除、監(jiān)控和報警處理等方面,大語言模型可以接收自然語言形式的任務(wù)指令,并執(zhí)行相應(yīng)的操作。大語言模型的學(xué)習(xí)能力使其在提供常見問題的解決策略和最佳做法方面具有潛力。它可以從過去的運維記錄中學(xué)習(xí)并預(yù)測潛在的系統(tǒng)問題和故障,進(jìn)而主動采取措施預(yù)防問題的發(fā)生,這種預(yù)防性的自動化運維方式可以顯著提高系統(tǒng)的穩(wěn)定性和可用性。
然而,大語言模型在自動化運維領(lǐng)域的應(yīng)用也面臨挑戰(zhàn)。模型的訓(xùn)練需要大量的高質(zhì)量數(shù)據(jù),而在實際的運維場景中,獲取和標(biāo)注高質(zhì)量數(shù)據(jù)是一個復(fù)雜的過程。此外,模型的可解釋性也是一個需要解決的難題,以確保在發(fā)生故障或錯誤時,相關(guān)的運維決策可以被正確地追蹤和解釋。
為了更有效地解決上述問題,研究者們設(shè)計了基于微調(diào)大模型與知識增強(qiáng)框架的故障分析系統(tǒng),它通過大語言模型的低階適應(yīng)(Low-Rank Adaptation of Language Models, LoRA)和知識數(shù)據(jù)的微調(diào)方法,在大模型的基礎(chǔ)上進(jìn)行細(xì)致調(diào)整,從而使模型更好地理解和處理與故障分析相關(guān)的專業(yè)術(shù)語和概念[4]。
本文通過采用通義千問Qwen2. 5-14B模型與Ollama框架實現(xiàn)了低成本的模型本地化部署。在此基礎(chǔ)上,利用云南開放大學(xué)圖書館的相關(guān)數(shù)據(jù)對模型進(jìn)行微調(diào),并通過LangChain框架將模型與云南開放大學(xué)圖書館的知識庫相連接,成功構(gòu)建了云南開放大學(xué)圖書館智慧館員問答服務(wù)系統(tǒng)。該系統(tǒng)作為將大語言模型應(yīng)用于云南開放大學(xué)圖書館智慧圖書館建設(shè)的初步嘗試,旨在探索國產(chǎn)大語言模型在智慧圖書館建設(shè)中的應(yīng)用要點及合理的實施方案,提出切實可行的建議,同時為大語言模型在其他領(lǐng)域的應(yīng)用提供有價值的參考案例。
1 基于通義千問大模型的智慧館員問答服務(wù)系統(tǒng)解決的主要問題
Law D.曾言:“社會不需要圖書館,我們需要的是獲取信息?!盵5]可見,在數(shù)字化時代,人們并非停止了閱讀,而是更多地采取了碎片化的方式獲取信息。借助百度、Bing等搜索引擎以及各類論壇,用戶能夠迅速地獲取所需信息。在這種模式下,用戶只需提出問題并點擊確認(rèn),即可獲得答案。鑒于此,智慧館員問答服務(wù)系統(tǒng)的開發(fā)旨在通過智能化手段減少圖書館的人力負(fù)擔(dān),在數(shù)字時代背景下顯著提升圖書館工作人員信息獲取效率。該系統(tǒng)不僅能夠簡化用戶的查詢流程,提高信息檢索的速度和準(zhǔn)確性,還能夠通過持續(xù)學(xué)習(xí)和優(yōu)化,更好地滿足用戶日益增長的信息需求[6-7]。
隨著時代的演進(jìn),高校經(jīng)歷了學(xué)校合并、新校區(qū)建設(shè)、招生擴(kuò)張等一系列變革,高職高專院校亦通過多種途徑培養(yǎng)和引進(jìn)人才、建強(qiáng)師資隊伍,以改善辦學(xué)條件和提高教學(xué)質(zhì)量。然而,在這一系列的發(fā)展與壯大的過程中,絕大多數(shù)高校的圖書館卻未能隨之?dāng)U充人力資源,反而出現(xiàn)了人員規(guī)模的縮減現(xiàn)象。編內(nèi)及編外人員的總體數(shù)量不足,工作人員呈現(xiàn)老齡化趨勢,這些問題在高校圖書館中尤為明顯。與此同時,數(shù)字時代的到來深刻改變了師生的閱讀習(xí)慣,他們對紙質(zhì)圖書的依賴程度逐漸降低。據(jù)統(tǒng)計,近年來特別是過去3年里,紙質(zhì)圖書的借閱量呈現(xiàn)出急劇下降的趨勢,部分高校的借閱量已降至歷史峰值的一半甚至三分之一[8]。值得注意的是,即便在這樣的趨勢下,借閱量較高的書籍仍集中在哲學(xué)、歷史、文學(xué)等領(lǐng)域。這種變化不僅表明了師生閱讀行為的新趨勢,也揭示了圖書館現(xiàn)有的館藏發(fā)展策略可能已不再適應(yīng)當(dāng)前的需求。同時,圖書館工作人員的短缺,不僅影響了服務(wù)質(zhì)量,也限制了圖書館在面對數(shù)字時代挑戰(zhàn)時的應(yīng)對能力。因此,如何在新的時代背景下調(diào)整圖書館的服務(wù)模式、提升服務(wù)質(zhì)量,成為一個亟待解決的問題。
將大語言模型運用于智慧圖書館的建設(shè),正是為了應(yīng)對這些挑戰(zhàn)而采取的措施,圖書館通過技術(shù)創(chuàng)新提升服務(wù)效率與質(zhì)量,更好地服務(wù)廣大師生。在正式建設(shè)智慧館員問答服務(wù)系統(tǒng)前,對智慧館員問答服務(wù)系統(tǒng)的功能需求進(jìn)行調(diào)研是十分重要的環(huán)節(jié)。云南開放大學(xué)圖書館基于本館的實際業(yè)務(wù),以每年開展的新生入館教育為契機(jī)進(jìn)行需求調(diào)研。研究團(tuán)隊對云南開放大學(xué)多個學(xué)院的調(diào)研發(fā)現(xiàn),用戶普遍缺乏對圖書館的數(shù)字資源及數(shù)字圖書館的了解。同時,針對學(xué)生的調(diào)研結(jié)果顯示,學(xué)生對自修室閱覽室的開放時間、電腦的使用方法、各類圖書的具體位置等存在較多疑問。通過調(diào)研,我們了解到師生對智慧館員問答服務(wù)系統(tǒng)的期望與需求。
據(jù)此,智慧館員問答服務(wù)系統(tǒng)應(yīng)當(dāng)具備以下基本功能:第一,圖書館基本信息介紹。智慧館員問答服務(wù)系統(tǒng)應(yīng)能夠迅速回應(yīng)師生關(guān)于圖書館基本信息的查詢,如“圖書館共有多少圖書?”等問題,提供詳細(xì)的館藏信息,包括圖書總數(shù)、分類等詳情。第二,書籍的精確查詢。智慧館員問答服務(wù)系統(tǒng)需根據(jù)師生輸入的圖書名稱,快速準(zhǔn)確地提供圖書的位置及編號信息,幫助用戶快速定位所需圖書。第三,數(shù)字資源及數(shù)字網(wǎng)站的介紹與說明。針對師生提出的關(guān)于數(shù)字資源使用的問題,智慧館員問答服務(wù)系統(tǒng)應(yīng)能夠提供詳盡的介紹和操作指南,確保用戶能夠順利訪問和利用數(shù)字圖書館的各類資源。第四,知識信息咨詢服務(wù)。當(dāng)師生提出專業(yè)領(lǐng)域的知識問題時,智慧館員問答服務(wù)系統(tǒng)應(yīng)能夠提供相關(guān)文本內(nèi)容、代碼或文案,甚至基于現(xiàn)有知識資源生成新的知識內(nèi)容,為用戶提供有價值的學(xué)術(shù)支持。第五,學(xué)科問題快速解答。智慧館員問答服務(wù)系統(tǒng)須具備對師生提出的學(xué)科問題進(jìn)行語義和內(nèi)容分析的能力,并利用已訓(xùn)練的學(xué)科數(shù)據(jù)模型準(zhǔn)確且及時地進(jìn)行知識解答,滿足用戶學(xué)術(shù)研究和學(xué)習(xí)的需求。
智慧館員問答服務(wù)系統(tǒng)的設(shè)計目標(biāo)是優(yōu)化用戶體驗,確保師生在使用過程中能夠獲得流暢、愉悅的人機(jī)交互體驗,通過智能化和人性化的技術(shù)手段,為師生創(chuàng)造輕松、高效的信息交流環(huán)境。該系統(tǒng)應(yīng)當(dāng)追求卓越的人機(jī)對話質(zhì)量,精準(zhǔn)響應(yīng)師生的各種查詢與咨詢需求,通過高效、自然的對話模式,滿足用戶的信息獲取需求,極大提升系統(tǒng)操作的便捷性和滿意度。
2 基于通義千問大模型的智慧館員問答服務(wù)系統(tǒng)的設(shè)計
2. 1 系統(tǒng)架構(gòu)設(shè)計
為了確保模型既經(jīng)濟(jì)實惠又能有效解決上述問題,研究在構(gòu)建智慧館員問答服務(wù)系統(tǒng)時基于調(diào)研和硬件成本選擇了開源的通義千問Qwen2. 5-14B模型。相較于ChatGPT等國外模型,通義千問作為一款國產(chǎn)開源的大模型在理解中文方面具有獨特的優(yōu)勢。在微調(diào)訓(xùn)練和二次開發(fā)過程中,通義千問能夠更好地處理中文內(nèi)容,避免了一句話中夾雜中英文的現(xiàn)象,確保了語言表達(dá)的自然流暢。智慧館員問答服務(wù)系統(tǒng)架構(gòu)可劃分為4個層次,即數(shù)據(jù)層、邏輯層、計算層和應(yīng)用層,如圖1所示。
(1)數(shù)據(jù)層。數(shù)據(jù)層主要包括圖書館的核心數(shù)據(jù),例如圖書館館藏數(shù)據(jù)、學(xué)科數(shù)據(jù)集、用戶問答資料以及圖書館基礎(chǔ)信息等。其中按原始數(shù)據(jù)存儲來源可分為數(shù)據(jù)庫數(shù)據(jù)、文本數(shù)據(jù)。數(shù)據(jù)層需要將LangChain框架和LLaMA-Factory框架等作為橋梁鏈接計算層,讓計算參數(shù)傳遞到計算層,使模型可以從數(shù)據(jù)層獲取所需的元數(shù)據(jù),以更加適應(yīng)云南開放大學(xué)圖書館的實際應(yīng)用場景。
(2)邏輯層。邏輯層是智慧館員問答服務(wù)系統(tǒng)的中樞,主要依靠通義千問大模型提供的相關(guān)算法解析用戶所提出的問題。同時還有知識圖譜,用于存儲圖書館相關(guān)的實體、概念及其關(guān)系,以提高系統(tǒng)對問題的理解以及生成答案的精確度。另外,規(guī)則引擎包含了圖書館業(yè)務(wù)規(guī)則和邏輯,用于處理師生提出的相關(guān)問題,確?;卮鸬囊恢滦院蜏?zhǔn)確性。
(3)計算層。計算層是智慧館員問答服務(wù)系統(tǒng)的業(yè)務(wù)處理中心,其中心任務(wù)是由通義千問大模型提供的自然語言處理功能完成的。首先,它對師生輸入的自然語言進(jìn)行預(yù)處理,包括分詞、詞性標(biāo)注和命名實體識別等,以更準(zhǔn)確地理解查詢意圖。然后,利用通義千問大模型理解和生成自然語言,以應(yīng)對復(fù)雜的問題并給出相應(yīng)的答案。此外,在推理與決策階段,系統(tǒng)會依據(jù)上下文和知識庫中的信息作出合理推測和決定,以提供最合適的答案或建議。
(4)應(yīng)用層。應(yīng)用層旨在提供一個直觀的操作界面,使師生能夠輕松地與智慧館員問答服務(wù)系統(tǒng)進(jìn)行交互。這一層基于B/ S結(jié)構(gòu),使用Gradio快速搭建頁面布局和基礎(chǔ)系統(tǒng)功能。應(yīng)用層主要包括用戶界面和結(jié)果展示兩部分,用戶界面提供了一個良好的交互環(huán)境,允許用戶輸入查詢信息;結(jié)果展示則將系統(tǒng)獲取的信息格式化處理后,以文本的形式呈現(xiàn)。
2. 2 用戶問答流程設(shè)計
基于通義千問大模型的智慧館員問答服務(wù)系統(tǒng)的問答流程設(shè)計如圖2所示。該設(shè)計充分考慮了師生對系統(tǒng)的需求,旨在提供更加精準(zhǔn)、高效的問答服務(wù)。首先,系統(tǒng)會對師生輸入的問題進(jìn)行細(xì)致解析,利用大模型識別問題的類型及用戶的潛在意圖,這一過程是后續(xù)準(zhǔn)確響應(yīng)用戶需求的基礎(chǔ)。接下來,在請求處理階段,后端將接收的來自前端的問題文本與識別出的信息一同交到模型調(diào)用階段。
在模型調(diào)用階段,經(jīng)過預(yù)處理的問題被提交給通義千問大模型,此時需要利用模型對預(yù)處理的信息與問題本身進(jìn)行結(jié)合處理。例如,圖書館基本信息以及一些管理規(guī)定、知識信息咨詢服務(wù)等數(shù)據(jù)已經(jīng)被微調(diào)進(jìn)入模型,若問題與上述主題相關(guān),則可以直接由模型進(jìn)行回答。若問題是書籍精確查詢,則需要利用LangChain框架將自然語言問題轉(zhuǎn)換為SQL查詢語句,利用SQL查詢獲取所需數(shù)據(jù)。若問題涉及數(shù)字資源及數(shù)字網(wǎng)站的介紹與說明、學(xué)科服務(wù),則通過LangChain框架鏈接知識庫進(jìn)行檢索,將檢索到的相關(guān)信息與原始問題結(jié)合,以生成更加精確的答案。這種內(nèi)外結(jié)合的方式可以大大提高答案的相關(guān)性和準(zhǔn)確性,使得系統(tǒng)能夠更好地滿足師生的查詢需求。
在響應(yīng)生成環(huán)節(jié),通義千問模型會根據(jù)輸入的信息和檢索到的數(shù)據(jù)生成最終的答案。為了確保答案的質(zhì)量,系統(tǒng)會對模型的輸出進(jìn)行后處理,包括清理冗余信息和格式化答案,確保最終呈現(xiàn)給用戶的信息既清晰又準(zhǔn)確。
2. 3 系統(tǒng)的實現(xiàn)
為了相對有效地評估大模型部署所需的硬件需求,尋找合適的建設(shè)方式,項目組對智慧館員問答服務(wù)系統(tǒng)進(jìn)行了如下嘗試。
2. 3. 1 環(huán)境搭建與依賴管理
為確保智慧館員問答服務(wù)系統(tǒng)的順暢運行,智慧館員問答服務(wù)系統(tǒng)搭建了工作站。工作站具體配置包括16GB的顯存、32GB的內(nèi)存、1TB的硬盤、擁有16個核心的中央處理器( CPU)、具備超過15TFlops的單精度計算能力。同時,防火墻已開放80端口以支持Web應(yīng)用程序的訪問。該硬件設(shè)備可以重復(fù)應(yīng)用于其他人工智能研究。
在系統(tǒng)開發(fā)環(huán)境中,智慧館員問答服務(wù)系統(tǒng)采用了Ubuntu22. 04操作系統(tǒng),并與PyTorch深度學(xué)習(xí)框架結(jié)合。整個開發(fā)過程均使用Python 3. 10語言進(jìn)行編寫。此外,還安裝了諸如Ollama在內(nèi)的必要工具,以及Torch、Transformers、LangChain、LangChain-community和Gradio等在內(nèi)的必備Python庫。
2. 3. 2 模型的下載與微調(diào)
(1)微調(diào)數(shù)據(jù)準(zhǔn)備。智慧館員問答服務(wù)系統(tǒng)運用的模型是從GitHub的模型倉庫下載的通義千問大模型,數(shù)據(jù)選取從阿里云模型倉庫下載的權(quán)重文件。本次微調(diào)訓(xùn)練意在加強(qiáng)模型解決數(shù)學(xué)問題的能力,選取了由DeepMind和GoogleResearch聯(lián)合創(chuàng)建的數(shù)據(jù)集,MathQA包含了許多數(shù)學(xué)子領(lǐng)域,包括但不限于算術(shù)、代數(shù)、幾何、概率、微積分等,以及云南開放大學(xué)圖書館管理辦法及規(guī)定等文件。之后按照LLaMA-Factory所要求的格式對數(shù)據(jù)進(jìn)行預(yù)處理,將MathQA數(shù)據(jù)集進(jìn)行格式轉(zhuǎn)換,將云南開放大學(xué)圖書館管理辦法及規(guī)定文件進(jìn)行拆解,將數(shù)據(jù)統(tǒng)一為json格式。
(2)模型微調(diào)。通過LLaMA-Factory使用訓(xùn)練命令對準(zhǔn)備好的數(shù)據(jù)集進(jìn)行訓(xùn)練,其中需要注意cutoff_len參數(shù),它控制訓(xùn)練數(shù)據(jù)的最大長度,使用者需要根據(jù)內(nèi)存情況進(jìn)行調(diào)整,避免內(nèi)存溢出。同時在訓(xùn)練過程中要及時進(jìn)行驗證,如果驗證數(shù)據(jù)集的性能不再提高,則需要終止訓(xùn)練,避免出現(xiàn)過度擬合。訓(xùn)練初次嘗試使用工作站,訓(xùn)練20小時后最終失敗,后經(jīng)核驗發(fā)現(xiàn)微調(diào)通義千問大模型至少需要18. 7G的顯存,因此額外租用了24小時的云服務(wù)器進(jìn)行微調(diào)。
2. 3. 3 模型部署
為了確保模型具有較高的運行效率,提高模型加載速度,并簡化部署流程,需要對微調(diào)好的模型進(jìn)行量化處理。利用Ollama框架對量化后的模型進(jìn)行部署,通過細(xì)致的參數(shù)配置來提高模型生成文本的質(zhì)量。這些參數(shù)主要包括文本創(chuàng)造性、核采樣以及重復(fù)懲罰等。具體而言,文本創(chuàng)造性參數(shù)用于調(diào)控模型生成內(nèi)容的新穎性和多樣性;核采樣參數(shù)設(shè)置則是通過設(shè)定一個概率閾值,來確定從輸出分布中抽取候選詞匯時所占的比例;重復(fù)懲罰參數(shù)的作用在于減少模型輸出中重復(fù)詞匯或短語的出現(xiàn)次數(shù)。當(dāng)這些參數(shù)被合理設(shè)置后,即可加載經(jīng)過微調(diào)和量化的模型,使其更加貼合特定任務(wù)的需求。這種方法不僅保證了模型能夠生成高質(zhì)量的文本,也有效避免了諸如過度重復(fù)或創(chuàng)意不足等常見的生成問題。在本系統(tǒng)中,還降低了模型的創(chuàng)造性設(shè)置,以確保輸出內(nèi)容的準(zhǔn)確性和可靠性。
2. 3. 4 知識庫集成
為了實現(xiàn)對書籍、數(shù)字資源及網(wǎng)站信息的查詢,以及對學(xué)科問題的快速解答,構(gòu)建一個高效的知識庫和連接這些資源的橋梁至關(guān)重要。主要方法是利用LangChain框架鏈接知識庫或數(shù)據(jù)庫進(jìn)行檢索(見圖3)。這一過程首先需要將相關(guān)信息文檔化,并借助LangChain框架內(nèi)的DocumentLoader組件來加載圖書館的各種文檔資料。此外,通過使用QuerySQLDatabaseTool進(jìn)行數(shù)據(jù)庫查詢,進(jìn)一步增強(qiáng)系統(tǒng)的功能。通過這樣的配置,系統(tǒng)不僅能夠鏈接到外部數(shù)據(jù)庫或知識庫,還能讓用戶進(jìn)行高效的查詢操作,從而顯著提升圖書館的服務(wù)效率和用戶的使用體驗。
2. 3. 5 用戶交互實現(xiàn)
使用Gradio庫,定義應(yīng)用的核心功能,即處理用戶輸入和響應(yīng)輸出的邏輯。首先,構(gòu)建Gradio界面,該界面包含一個清晰的文本輸入框(用戶可以在此輸入信息)和一個輸出區(qū)域(用于展示應(yīng)用的響應(yīng))。其次,優(yōu)化界面布局,確保用戶界面的流暢性和易用性。最后,啟動應(yīng)用,用戶便可通過瀏覽器訪問,實現(xiàn)與系統(tǒng)的高效互動。通過這種方式, Gradio簡化了前端界面的開發(fā)過程,讓系統(tǒng)能夠更加專注核心邏輯的實現(xiàn)。
3 系統(tǒng)的測用
3. 1 系統(tǒng)的典型測試
通過上述步驟,基于通義千問大模型的智慧館員問答服務(wù)系統(tǒng)得以完成,系統(tǒng)能夠穩(wěn)定運行。項目組成功部署并邀請師生進(jìn)行測試,部分問題的問答如表1所示。
3. 2 系統(tǒng)測試中的主要問題
3. 2. 1 難以消除的“機(jī)器幻覺”
在系統(tǒng)測試過程中,依然遇到了難以徹底消除的“機(jī)器幻覺”問題(見表2)。例如,當(dāng)師生詢問圖書館的相關(guān)介紹時,系統(tǒng)初始的回答可能是準(zhǔn)確的。然而,再進(jìn)一步提問,模型出現(xiàn)了“機(jī)器幻覺”,盡管當(dāng)前的知識庫未明確提供這些問題的具體答案,系統(tǒng)依然生成了看似合理的但實際上是錯誤或過時的描述。這可能是因為系統(tǒng)中已經(jīng)含有某些信息,導(dǎo)致其在處理新問題時,傾向于利用這些已有的但可能不完全準(zhǔn)確的知識來生成答案,從而產(chǎn)生了幻覺現(xiàn)象。
如表2的問題1與問題2在所提供的知識庫中有較為全面的資料,智慧館員問答服務(wù)系統(tǒng)提供了相對可靠的回答。但在回答問題3時,“綜合服務(wù)區(qū)或前臺工作人員”“嘗試查找學(xué)校官方網(wǎng)站上的聯(lián)系方式或直接發(fā)送郵件至學(xué)校的公共郵箱詢問具體的聯(lián)絡(luò)方式和時間安排”等內(nèi)容均未存在于知識庫中,這部分生成的回答與事實并不相符。云南開放大學(xué)圖書館并未設(shè)立綜合服務(wù)區(qū),聯(lián)系方式在學(xué)校二級網(wǎng)站可查詢,但未設(shè)立公共郵箱。所以該部分內(nèi)容均為“機(jī)器幻覺”。
幻覺產(chǎn)生的主要原因是模型訓(xùn)練初期,會對大量的數(shù)據(jù)進(jìn)行訓(xùn)練。而生成式人工智能的工作機(jī)制,本質(zhì)上是依據(jù)上文內(nèi)容按照概率及可能性來生成后續(xù)內(nèi)容。對于外部知識庫未明確說明而邏輯上應(yīng)當(dāng)具有的部分信息,智慧館員問答服務(wù)系統(tǒng)會自動依據(jù)邏輯進(jìn)行補充。
3. 2. 2 并發(fā)用戶數(shù)量影響系統(tǒng)的運行效率
在實際應(yīng)用過程中,當(dāng)并發(fā)用戶數(shù)量維持在3人至5人,并且所提出的查詢屬于直接性問題———無須外部數(shù)據(jù)源支持即可解答的問題時,該系統(tǒng)能夠在10秒內(nèi)高效地生成約200字的回答,體現(xiàn)了其在小規(guī)模并發(fā)場景下的快速響應(yīng)能力和良好的用戶體驗。
然而,隨著并發(fā)用戶數(shù)量的增加,特別是當(dāng)并發(fā)用戶數(shù)量超過5人,或者用戶的查詢涉及復(fù)雜的數(shù)據(jù)檢索與分析任務(wù)需訪問特定的數(shù)據(jù)庫或知識庫時,模型的響應(yīng)時間將顯著延長,最長可達(dá)近3分鐘。這種延遲不僅影響了系統(tǒng)的整體效率,也會降低用戶體驗。特別是在實時互動要求較高的應(yīng)用場景下,過長的等待時間可能會導(dǎo)致用戶滿意度下降,進(jìn)而影響系統(tǒng)的長期使用率和用戶黏性。
產(chǎn)生以上現(xiàn)象的主要原因是算力不足,當(dāng)用戶提出問題系統(tǒng)可以直接回答時,僅需要1次針對模型本身的推演計算。而當(dāng)模型不可以直接回答時,則需要先訪問知識庫,針對問題將文本庫中的文本內(nèi)容向量化后進(jìn)行查詢,再將查詢到的內(nèi)容連同問題交給模型推演生成回答。數(shù)據(jù)庫查詢是先將問題交由模型進(jìn)行轉(zhuǎn)義,將問題變成數(shù)據(jù)庫查詢,再將查詢結(jié)果與問題一同交給模型進(jìn)行推演生成。所以通過知識庫或數(shù)據(jù)庫得到結(jié)果需要進(jìn)行多次推演計算。如果需要大模型流暢運行,則需要較高的算力支撐,當(dāng)算力不足時模型很難維持高效運轉(zhuǎn)。
3. 2. 3 缺乏高質(zhì)量的知識庫
在本次系統(tǒng)測試中,所使用知識庫及微調(diào)數(shù)據(jù)的局限性也有所體現(xiàn)(見表3)。作為圖書館,我們所服務(wù)的學(xué)科領(lǐng)域極為廣泛,這意味著我們必須構(gòu)建一個涵蓋各個學(xué)科的高質(zhì)量知識庫。然而,本次知識庫建設(shè)完全依賴館內(nèi)自行整理,參與整理工作的人員專業(yè)背景差異大,知識儲備和專業(yè)視角各不相同,這直接影響了最終知識庫的質(zhì)量,使得系統(tǒng)未能達(dá)到預(yù)期的理想效果。
從表2中問題3的回答可以看出,知識庫的邏輯完善性會直接影響系統(tǒng)輸出的質(zhì)量。再如表3所示,提問“教師立德樹人應(yīng)該做什么?”時,知識庫誤將“立德樹人”理解為“樹人立德”,而在智慧館員問答服務(wù)系統(tǒng)的回答中存在“立德樹人”與“樹人立德”2種表述??梢钥闯鲋R庫的可靠性會直接影響智慧館員問答服務(wù)系統(tǒng)回答的準(zhǔn)確性。
3. 3 問題的解決方案
3. 3. 1 優(yōu)化智慧館員問答服務(wù)系統(tǒng)的部署
智慧館員問答服務(wù)系統(tǒng)應(yīng)用過程中,研究團(tuán)隊發(fā)現(xiàn)除了集中邀請師生參與測試時會出現(xiàn)短暫的高并發(fā),大多數(shù)時間用戶的使用率并不高。學(xué)生反饋顯示,除了咨詢圖書館相關(guān)的問題,智慧館員問答服務(wù)系統(tǒng)在其他問題上的表現(xiàn)不如通義千問與Kimi等免費模型。因此,在實際部署時,我們需要充分考慮智慧館員問答服務(wù)系統(tǒng)前期的使用率,特別是在系統(tǒng)尚未全面推廣作為師生助手的情況下。
通過現(xiàn)階段的應(yīng)用可知,智慧館員問答服務(wù)系統(tǒng)需要保持本校讀者的黏性,首要的就是保持模型推演的高效性。當(dāng)下建設(shè)一個完全本地化的大模型,成本是巨大的,在如此高昂的GPU運行成本下,新的軟硬件技術(shù)層出不窮,模型本地化運行的成本不斷降低,如本研究所采用的Ollama框架,就大大降低了模型的部署難度。因此部署高效的大模型需要較為合理的模式,既要確保模型的可用性,也要控制建設(shè)成本?;趯嶒灲Y(jié)果,我們提出云計算結(jié)合本地計算的彈性部署策略,即當(dāng)問題可直接回答且并發(fā)請求較少時,由本地系統(tǒng)處理模型推演;而在訪問知識庫或面臨高并發(fā)請求需要進(jìn)一步擴(kuò)充算力時,則采用按Token計費的云計算服務(wù),這樣既能保證服務(wù)質(zhì)量,又能有效降低硬件建設(shè)的成本。同時對于學(xué)校整體而言,應(yīng)當(dāng)化整為零,采用微服務(wù)的方式,各個部門根據(jù)實際情況計算算力需求,進(jìn)行彈性控制。通過這種方式,圖書館在智慧館員問答服務(wù)系統(tǒng)的應(yīng)用階段可以以較低的成本進(jìn)行測試,尋找本地化與云計算結(jié)合部署的平衡點。
3. 3. 2 推進(jìn)高校機(jī)構(gòu)知識庫的建設(shè)
根據(jù)應(yīng)用中出現(xiàn)的問題可知,通過微調(diào)訓(xùn)練的模型可以符合某一領(lǐng)域的推理使用需求,但其精度不足以支撐更高的應(yīng)用需求。從智慧館員問答服務(wù)系統(tǒng)出現(xiàn)的“機(jī)器幻覺”可以看出,通過微調(diào)可以改變及完善邏輯,但無法校驗回答的準(zhǔn)確性。而從鏈接知識庫與數(shù)據(jù)庫的智慧館員問答服務(wù)系統(tǒng)的回答來看,知識庫數(shù)據(jù)的準(zhǔn)確性、邏輯的完善性會直接影響智能生成的結(jié)果。因此,若要增強(qiáng)本校讀者的黏性,圖書館就需要針對本校的資源建設(shè)自己的機(jī)構(gòu)知識庫,讓本校師生有更好的使用體驗。
機(jī)構(gòu)知識庫的資源一般包括機(jī)構(gòu)成員的學(xué)術(shù)論文、研究報告、教學(xué)資料、會議記錄、專利文檔、多媒體資源等數(shù)字化成果,能為機(jī)構(gòu)的科研與決策提供助力。全校各學(xué)院和部門應(yīng)當(dāng)共同參與學(xué)科知識庫的建設(shè),合力構(gòu)建高質(zhì)量的知識庫,為智慧館員問答服務(wù)系統(tǒng)提供高效、準(zhǔn)確的信息支持,以此消除“機(jī)器幻覺”。此外,各個部門應(yīng)當(dāng)根據(jù)自己的職能整理自己的知識庫,最終匯聚成一個大的機(jī)構(gòu)知識庫。例如,圖書館在采購圖書時,不能僅收集書目信息,應(yīng)當(dāng)連同圖書介紹一同獲取?;谕陚涞臄?shù)據(jù),智能館員問答服務(wù)系統(tǒng)才可以準(zhǔn)確回答與圖書相關(guān)的問題。再者,圖書館工作人員應(yīng)當(dāng)聯(lián)合教務(wù)工作人員將教師使用的教材與教案數(shù)字化后納入知識庫,形成專門的主題模塊,以滿足學(xué)生的學(xué)習(xí)需求。擁有本校教材和教案的知識庫,不僅可以提高智能館員問答服務(wù)系統(tǒng)的性能和用戶體驗,還能促進(jìn)校園內(nèi)部的知識共享與交流,為師生提供更加便捷、高效的學(xué)習(xí)和研究工具,以此增加用戶的黏性。
此外,對于不同的數(shù)據(jù)使用場景我們也應(yīng)當(dāng)采取差異化的接入策略,根據(jù)數(shù)據(jù)的特點和用戶的實際需求,靈活選擇最合適的使用方式,以提高系統(tǒng)的效率和改善用戶體驗。例如,針對強(qiáng)調(diào)數(shù)據(jù)真實性與權(quán)威性的場景,我們應(yīng)優(yōu)先選用真實可靠的數(shù)據(jù)源,并借助知識庫等方式進(jìn)行鏈接檢索;而對于側(cè)重邏輯推理與知識應(yīng)用的場景,我們可以采用微調(diào)模型參數(shù)的方式,在保障功能實現(xiàn)的同時,簡化了使用流程與后續(xù)維護(hù)工作。
4 智慧館員問答服務(wù)系統(tǒng)的應(yīng)用意義
智慧館員問答服務(wù)系統(tǒng)的應(yīng)用盡管存在部分問題,但其仍具有重要意義。這一系統(tǒng)不僅能夠提供更加精準(zhǔn)和及時的信息服務(wù),還能有效提升圖書館的服務(wù)效率和用戶滿意度,同時促進(jìn)圖書館資源的有效利用和知識的傳播。通過不斷測試與優(yōu)化,智慧館員問答服務(wù)系統(tǒng)有望在未來實現(xiàn)更加智能化的服務(wù),為用戶提供更加個性化的體驗。
4. 1 提供更精確、快捷的圖書館信息服務(wù)
智慧館員問答服務(wù)系統(tǒng)能根據(jù)用戶提問快速生成答案,且具備一定的準(zhǔn)確度,這使得師生能夠迅速獲取所需的信息。無論是查詢圖書館的基本詳情,如開館和閉館時間、座位預(yù)訂情況,還是查找特定書籍,甚至是尋求一些基礎(chǔ)的學(xué)術(shù)指導(dǎo),該系統(tǒng)都能提供及時的幫助。師生無須耗費大量時間和精力去尋找資料或等待人工回復(fù),大幅提升了信息獲取的效率[9]。
通過建設(shè)智慧館員問答服務(wù)系統(tǒng),圖書館的傳統(tǒng)服務(wù)模式得到了顯著改進(jìn)。系統(tǒng)不僅簡化了師生獲取信息的過程,還使得圖書館的資源通過更高效的方式被充分利用起來。智慧館員問答服務(wù)系統(tǒng)借助其優(yōu)秀的自然語言理解及綜合分析能力對文獻(xiàn)資料進(jìn)行總結(jié)分析,進(jìn)而為師生整合出綜述性的研究資料。哈佛大學(xué)圖書館將ChatGPT4. 0集成到自己的智能問答系統(tǒng)中,該系統(tǒng)被師生視為數(shù)字助手和科研伙伴。也有學(xué)者運用基于ChatGPT的虛擬館員智能問答系統(tǒng)解決專業(yè)領(lǐng)域的學(xué)術(shù)問題,系統(tǒng)不僅提供了20多種解決方案,還引入了新的統(tǒng)計術(shù)語,有效地幫助解決了研究過程中的難題[10]。由此可見,基于大語言模型的智慧館員問答服務(wù)系統(tǒng)可以作為一種創(chuàng)新的研究輔助工具,幫助用戶快速檢索、匯集、處理和整理文獻(xiàn)資料,形成新穎的觀點,并提供新的研究途徑,從而支持用戶的科研決策。
4. 2 提供多語言的文獻(xiàn)修改服務(wù)
智慧館員問答服務(wù)系統(tǒng)對不同讀者的相同問題,能夠提供多樣且高質(zhì)量的回答。系統(tǒng)具備龐大的語料庫,覆蓋多種語言及多個學(xué)科領(lǐng)域,可根據(jù)讀者提問的具體內(nèi)容采用相應(yīng)的語言回答,這些特性讓系統(tǒng)成為讀者強(qiáng)有力的寫作輔助工具。例如,在2022年,計算生物學(xué)家Pividori M.和Greene C. S.[11]運用基于大語言模型的虛擬館員智能問答系統(tǒng)來改進(jìn)他們的研究文獻(xiàn),系統(tǒng)能在幾秒內(nèi)給出修改意見,并在幾分鐘內(nèi)完成整篇文章的修訂,從而使文章結(jié)構(gòu)更加完整和緊湊,顯著減少作者修改文章的時間,讓他們能夠?qū)⒏嗟木ν度肫渌芯抗ぷ鳌?/p>
4. 3 提供專業(yè)的創(chuàng)作服務(wù)
智慧館員問答服務(wù)系統(tǒng)能在多個領(lǐng)域為用戶提供專業(yè)支持。比如,在計算機(jī)科學(xué)領(lǐng)域,它可以提供代碼示例幫助解決編程難題。當(dāng)然,該系統(tǒng)最突出的還是其強(qiáng)大的自然語言處理功能,系統(tǒng)能整合不同來源的學(xué)術(shù)文獻(xiàn)和語言資源,生成獨特的文本內(nèi)容,助力用戶輕松創(chuàng)建符合自身需求的語言文本。受1999年舊金山圖書館發(fā)起的“全國小說寫作月”活動的啟發(fā),2013年網(wǎng)絡(luò)藝術(shù)家卡澤米在GitHub上發(fā)起“全國小說生產(chǎn)月”活動,鼓勵參與者使用任何基于大語言模型的技術(shù)工具編寫小說,哥倫比亞大學(xué)圖書館員和耶魯大學(xué)圖書館員使用智慧館員問答服務(wù)系統(tǒng)創(chuàng)作的小說在GitHub上發(fā)布后獲得了高點擊率和好評,其他參與者使用大語言模型創(chuàng)作的文字內(nèi)容也公開分享至GitHub,供所有人閱讀、評論和下載[12]。通過智慧館員問答服務(wù)系統(tǒng),師生不僅能進(jìn)行自主學(xué)習(xí)和大量的閱讀,快捷地獲取信息,還能高效地創(chuàng)造出高質(zhì)量的作品,將自己的想法和創(chuàng)意轉(zhuǎn)化為語言文本。
5 結(jié)語
利用大語言模型對智慧館員問答服務(wù)系統(tǒng)進(jìn)行開發(fā)和應(yīng)用,體現(xiàn)了人工智能技術(shù)在提升圖書館服務(wù)質(zhì)量方面的巨大潛力。集成人工智能大模型不僅能高效解答用戶提出的多種問題,還可以顯著提升圖書館信息檢索的準(zhǔn)確性和速度。為了應(yīng)對系統(tǒng)使用中的高并發(fā)請求和資源優(yōu)化問題,研究提出了云計算與本地計算相結(jié)合的彈性部署策略。這種方法在保證服務(wù)質(zhì)量的同時,降低了硬件投入成本,增強(qiáng)了系統(tǒng)的靈活性和擴(kuò)展性。此外,對圖書館管理規(guī)定等高頻訪問信息,研究建議采用直接設(shè)定系統(tǒng)消息的方式,避免了頻繁微調(diào)模型所帶來的不便,簡化了系統(tǒng)的維護(hù)流程。
基于大語言模型的智慧館員問答服務(wù)系統(tǒng)的開發(fā)與應(yīng)用,離不開全校各學(xué)院和部門的積極參與和支持。需要全體師生共同參與提出學(xué)科知識庫的建設(shè)需求和建議,通過各院系合作來促進(jìn)知識庫的不斷完善,為系統(tǒng)提供豐富、高質(zhì)量的信息源。只有具備高質(zhì)量的數(shù)據(jù),才可以盡可能地消除“機(jī)器幻覺”。未來,隨著人工智能技術(shù)的不斷進(jìn)步和應(yīng)用場景的拓展,智慧館員問答服務(wù)系統(tǒng)有望在教育領(lǐng)域發(fā)揮更大的作用。我們將繼續(xù)探索如何優(yōu)化模型算法,提高系統(tǒng)的智能化水平,使其在更復(fù)雜的學(xué)術(shù)環(huán)境中展現(xiàn)更高的適應(yīng)性和實用性。同時,還將深入研究用戶行為模式,以更好地理解用戶需求,為用戶提供更加個性化的信息服務(wù)。最終,智慧館員問答服務(wù)系統(tǒng)將為教育信息化建設(shè)、知識的傳播與共享作出積極貢獻(xiàn)。
參 考 文 獻(xiàn)
[1] Feuerriegel S,Hartmann J,Janiesch C,et al. Generative AI[J]. Business Information Systems Engineering,2024(1):111-126.
[2] 張嘉寧,宋西貴. ChatGPT與圖書館的領(lǐng)域動向[J].農(nóng)業(yè)圖書情報學(xué)報,2023(8):19-29.
[3] 鄭世林,陶然,楊文博. ChatGPT等生成式人工智能技術(shù)對產(chǎn)業(yè)轉(zhuǎn)型升級的影響[J].產(chǎn)業(yè)經(jīng)濟(jì)評論,2024(1):5-20.
[4] 程思凡. ChatGPT知識生產(chǎn)框架、技術(shù)迷思與未來演進(jìn)[J].當(dāng)代傳播,2023(6):60-64.
[5] 數(shù)字時代的圖書館,還是以資源為王嗎? [EB/ OL]. [2024-09-17]. https:// mp. weixin. qq. com/ s/ HHg_TD0mwR4kCDrr e-6EhBA.
[6] 胡瀟戈,戚越,王玉琦,等.面向智能問答的圖書館參考咨詢知識庫體系設(shè)計及構(gòu)建[J].圖書情報知識,2019(5):101 -108,119.
[7] 李雪婷,李莘.圖書館微信平臺自動問答機(jī)器人語言體系研究[J].現(xiàn)代情報,2016(10):99-101,122.
[8] 肖錚,吳至藝,林俊偉. 2007—2017年廈門大學(xué)圖書館紙質(zhì)文獻(xiàn)借閱記錄數(shù)據(jù)集[J].圖書館雜志,2020(6):113-117.
[9] 譚豐隆,陳婧,劉洋陽. ChatGPT與圖書館變革:雙重效應(yīng)、認(rèn)知變化與發(fā)展策略[J].圖書館論壇,2024(10):42-50.
[10] Stokel-Walker C,Van Noorden R. What ChatGPT and generative AI mean for science[J]. Nature,2023(7947):214-216.
[11] Pividori M,Greene C S. A publishing infrastructure for AI-assisted academic authoring[J]. Journal of the American Medical Informatics Association,2024(9):2103-2113.
[12]宋時磊.詩歌之后:國外人工智能小說的創(chuàng)作探索[J].湖北社會科學(xué),2021(12):126-132.
Research on the Intelligent Librarian QA Service System Based on Tongyi Qianwen Large Language Model
Xu Hong1 Song Han2 Jiang Lian1
1. Yunnan Open University Library, Kunming, 650500 2. Yunnan Online Learning Cadre Academy of Yunnan Open University, Kunming, 650101
Abstract The research and development of the Intelligent Librarian QA Service System aims to enhance the quality and efficiency of library information services by integrating the advanced Tongyi Qianwen large language model (LLM). The study found that utilizing AI LLMs not only enables rapid responses to routine queries but also effectively handles complex multi-step problems, guiding users to obtain the information they need in stages. To optimize system performance, particularly for handling high-concurrency requests and resource utilization issues, the research proposes an elastic deployment strategy combining cloud computing and local computing. This approach reduces hardware investment costs while enhancing system flexibility and scalability, providing sustainable support for promoting the Intelligent Librarian QA Service System. Furthermore, for the integration of models and data, it is necessary to strictly differentiate based on the characteristics of the data and adopt different approaches such as fine-tuning, external knowledge base integration, or system message configuration. This reduces the operational costs of the models and enhances their reliability. The research also emphasizes the importance of constructing knowledge bases and advocates active participation from all colleges and departments within universities to ensure continuous improvement of the knowledge bases. This helps meet the personalized needs of faculty and students in learning and research while reducing model hallucinations. Through constant testing and optimization, the Intelligent Librarian QA Service System is expected to achieve more intelligent services in the future, providing users with more individualized experiences.
Keywords Tongyi Qianwen large language model; Intelligent librarian; Educational informatization construction; Library service; Digital transformation