基于大語言模型和RAG技術(shù)的高校知識庫智能問答系統(tǒng)構(gòu)建與評價

關(guān)鍵詞：高校知識服務；智能問答系統(tǒng)；檢索增強生成；機器學習

0 引言

隨著信息技術(shù)的迅猛發(fā)展和高校知識服務需求的日益增長，傳統(tǒng)的知識檢索方式已難以滿足用戶需求。在此背景下，智能問答系統(tǒng)憑借其高效、精準、便捷等優(yōu)勢，成為提升高校知識服務水平的重要途徑[1]。然而，將這些先進技術(shù)應用于高校知識庫智能問答系統(tǒng)仍面臨諸多挑戰(zhàn)，例如高校知識的復雜性、用戶查詢的多樣性以及系統(tǒng)性能的保障等。

為了解決上述挑戰(zhàn)，本文提出了一種基于大語言模型（Large Language Models， LLM） 和檢索增強生成（Retrieval-Augmented Generation， RAG） 技術(shù)的高校知識庫智能問答系統(tǒng)。該系統(tǒng)旨在為高校師生提供高效、準確、個性化的知識服務。本文首先對相關(guān)技術(shù)進行分析，然后介紹系統(tǒng)的架構(gòu)設(shè)計和功能模塊，最后通過實驗評估系統(tǒng)性能，并探討未來的研究方向。

1 相關(guān)工作

本研究的相關(guān)研究工作分為知識源構(gòu)建、智能問答技術(shù)和高校信息服務三個部分。

1.1 高校智能問答知識源構(gòu)建

高校智能問答系統(tǒng)的核心在于其豐富、準確且結(jié)構(gòu)化的知識源。知識源的構(gòu)建過程，包括數(shù)據(jù)收集、文檔處理、內(nèi)容提取和知識組織等關(guān)鍵步驟。

1.1.1 知識源數(shù)據(jù)收集

高校智能問答知識源主要來源包括但不限于以下幾個方面：

1） 教學資料：課程大綱、教學計劃、講義、試卷等。

2） 科研文獻：學術(shù)論文、研究報告、專利文檔等。3） 管理文件：規(guī)章制度、通知公告、會議紀要等。4） 學生服務：學生手冊、就業(yè)指南、心理健康資料等。5） 校園生活：校歷、活動安排、設(shè)施使用說明等。這些來源文件可能以多種格式存在，如純文本（. txt）、PDF文件（.pdf）、Word文檔（.doc/.docx）、HTML網(wǎng)頁及圖片等。

1.1.2 文檔預處理

文檔預處理是構(gòu)建高質(zhì)量知識源的關(guān)鍵步驟，主要包括以下幾個方面：1） 文本清洗：使用正則表達式和自定義規(guī)則去除無關(guān)的標記、特殊字符和冗余信息。2） 格式標準化：將不同來源的文檔轉(zhuǎn)換為統(tǒng)一的UTF-8編碼，便于后續(xù)處理。3） 元數(shù)據(jù)提取：從文檔中提取標題、作者、日期等元信息，用于后續(xù)的知識組織和檢索。

1.1.3 內(nèi)容提取與分段

由于大語言模型（如Chat-GPT、BERT、文心一言等）通常有輸入長度限制，需要對較長文檔進行切分處理。目前幾種主流開源框架（如LangChain、Lla? maIndex、Haystack等）都提供了文本分割器。以目前使用率最高的LangChain框架為例[2]，基本的文檔分割器包括：1） 基于字符數(shù)的分割器：CharacterTextSplit? tSeprl；it2te） r遞；3歸） 基字于符令文牌本數(shù)分進割行器分：割R器ec：uTrsoikveenCTheaxratScptelirtTteerx。

基于這些基本文檔分割器構(gòu)建的系統(tǒng)往往還達不到實際應用的需要，LangChain還提供了進階文檔分割器，如：1） 多維向量檢索器：MultiVectorRetriever；2） 基于上下文壓縮檢索器：Contextual compression；3） 自查詢檢索器：Self-querying；4） 混合檢索器：En? semble Retriever。

1.1.4 方法比較與分析

為了找到適合構(gòu)建高校智能問答系統(tǒng)的文檔分割器，研究設(shè)計了一組評估指標并進行了實驗。評估指標包括：1） 保持語義完整性的能力；2） 適應不同類型文檔的能力；3） 處理大量文檔的效率；4） API的友好程度和使用難度。

實驗結(jié)果如表1所示。

LangChain 的RecursiveCharacterTextSplitter 在保持語義完整性和靈活性方面表現(xiàn)出色，但在處理大量文檔時速度相對較慢。相對而言，LlamaIndex 的SimpleNodeParser 則以處理速度快和易于使用而著稱，但在面對復雜文檔結(jié)構(gòu)時可能缺乏足夠的靈活性[3]。Haystack的PreProcessor提供了豐富的預處理選項，適合處理多樣化文檔，但其配置過程相對復雜[4]。本文使用的LangChain Ensemble Retriever在分割質(zhì)量和易用性方面表現(xiàn)最佳，盡管其實現(xiàn)復雜度較高且處理速度處于中等水平。

Ensemble Retriever可以集成多個檢索器，結(jié)合稀疏檢索器（如BM25檢索器）與密集檢索器（如FAISS 檢索器）。BM25檢索器在根據(jù)關(guān)鍵詞查找相關(guān)文檔方面表現(xiàn)優(yōu)異，而FAISS檢索器則在基于語義相似度查找相關(guān)文檔方面更加突出。算法會對檢索到的多個文檔進行排名，并結(jié)合兩種算法的權(quán)重設(shè)置，以找到最相關(guān)的文檔，從而為用戶提供準確的答案。

在實際的實現(xiàn)與優(yōu)化過程中，還需要根據(jù)實時反饋調(diào)整分割參數(shù)（如chunk_size和overlap參數(shù)），并進行質(zhì)量控制，以實現(xiàn)基于語義相似度的檢查，確保文檔切分不會破壞關(guān)鍵語義單元。通過上述策略和優(yōu)化措施，我們在實驗中實現(xiàn)了比單一方法高近15%的F1分數(shù)，同時保持了可接受的處理速度。這為后續(xù)的知識提取和問答系統(tǒng)奠定了堅實的基礎(chǔ)。

1.2 基于RAG 的智能問答技術(shù)

智能問答技術(shù)的發(fā)展經(jīng)歷了基于規(guī)則、基于檢索及基于神經(jīng)網(wǎng)絡(luò)多個階段。隨著大規(guī)模預訓練語言模型的快速發(fā)展，智能問答系統(tǒng)的性能得到了顯著提升。ChatGPT、Claude等模型展現(xiàn)了驚人的自然語言理解和生成能力，為問答系統(tǒng)帶來了新的可能性。但這些系統(tǒng)仍然面臨著知識時效性、事實準確性和計算資源消耗等挑戰(zhàn)。

為了解決這些問題，RAG技術(shù)應運而生。RAG模型不僅通過結(jié)合外部知識檢索和語言生成，顯著提高了回答的準確性和可靠性，還通過在解碼階段融合多個檢索結(jié)果，進一步提升了問答質(zhì)量。

1.2.1 RAG 問答架構(gòu)基本思路

RAG問答架構(gòu)的核心思想是將外部知識庫與生成模型相結(jié)合，以提高問答系統(tǒng)的準確性和可解釋性。其基本流程如圖1所示，主要包括以下步驟：1） 向量化用戶問題：對用戶輸入的問題進行向量化，以便系統(tǒng)能理解語義和識別意圖。2） 相似度檢索：通過對問題的向量化表示，從預先構(gòu)建的知識庫中檢索相關(guān)信息。3） 上下文融合：將檢索到的信息與原始問題進行融合，形成增強的上下文。4） 答案生成：利用大規(guī)模語言模型，基于增強上下文生成最終答案。

上述流程通過結(jié)合檢索與生成的優(yōu)勢，不僅提高了智能問答的準確性，也提升了系統(tǒng)的整體性能和用戶體驗。

1.2.2 RAG 問答架構(gòu)優(yōu)勢

相比于傳統(tǒng)的問答方法和純生成模型，RAG架構(gòu)在知識時效性、事實準確性、可解釋性、領(lǐng)域適應性、計算效率、隱私保護以及持續(xù)學習能力等方面具有顯著優(yōu)勢，從而為智能問答技術(shù)的發(fā)展開辟了新的方向。RAG技術(shù)結(jié)合了大語言模型（LLM） 的生成能力和知識庫的專業(yè)性，能夠有效解決LLM在特定領(lǐng)域知識不足的問題，因此近年來被廣泛應用于智能客服、醫(yī)療診斷、教育輔助等領(lǐng)域。

1.3 高校信息服務

高校信息服務的智能化是近年來的研究熱點。Li 等[5]設(shè)計了一個基于知識圖譜的高校教務咨詢系統(tǒng)，通過語義分析提高了查詢的準確率。Zhao等[6]則探索了個性化學習助手的構(gòu)建，利用強化學習技術(shù)優(yōu)化了對話策略，從而提升了用戶體驗。然而，現(xiàn)有研究多聚焦于特定領(lǐng)域或單一功能，缺乏對高校全局知識的綜合考慮。此外，如何有效整合最新的LLM和RAG技術(shù)以適應高校場景，仍是一個亟待解決的問題。

2 高校知識庫智能問答系統(tǒng)設(shè)計、實現(xiàn)與性能評估

基于對RAG架構(gòu)的分析，本文設(shè)計并實現(xiàn)了一種高校知識庫智能問答系統(tǒng)，該系統(tǒng)旨在為高校師生提供高效、準確的知識服務，同時滿足高校管理的特殊需求。主要模塊包括用戶接口模塊、問題解析模塊、知識檢索模塊、答案生成模塊、知識庫管理模塊以及日志與監(jiān)控模塊。

2.1 用戶接口模塊

用戶接口模塊是系統(tǒng)與用戶交互的前端，其設(shè)計直接影響用戶體驗和系統(tǒng)使用效率。該模塊采用響應式設(shè)計，確保在不同設(shè)備上提供一致的體驗。主要功能包括：

1） 多模態(tài)輸入：支持文本、語音和圖像等多種輸入方式。

2） 對話管理：實現(xiàn)多輪對話功能，維護上下文信息。

3） 個性化界面：根據(jù)用戶角色動態(tài)調(diào)整界面和功能權(quán)限。

4） 結(jié)果展示：采用分層結(jié)構(gòu)展示答案，并支持源文檔鏈接和相關(guān)推薦。

實現(xiàn)方式：本系統(tǒng)采用響應式設(shè)計，使用Streamlit 框架構(gòu)建前端，利用WebSocket實現(xiàn)實時通信，并集成了開源引擎edge_tts以支持語音輸入和輸出。

效果：該模塊確保了用戶在不同設(shè)備上的一致性體驗，提高了系統(tǒng)的適用性和易用性，并增強了系統(tǒng)的實時性能。

2.2 問題解析模塊

功能描述： 問題解析模塊是智能問答系統(tǒng)的關(guān)鍵環(huán)節(jié)，直接影響后續(xù)檢索和生成過程的質(zhì)量。主要功能包括輸入清洗、分詞和向量編碼。

實現(xiàn)方式： 采用基于HuggingFace框架的自然語言處理模型，使用基于BERT的多標簽分類模型[7]和bge-large-zh模型[8]構(gòu)建多階段、高精度的問題解析流程。具體步驟包括：1） 輸入清洗：去除特殊字符、統(tǒng)一標點符號等。2） 分詞：使用jieba分詞器進行中文分詞，保留原始詞序信息。3） 向量編碼：使用bge-large- zh模型獲取向量表示。

效果：這種查詢擴展方法平均提高了10.5%的召回率，同時保持了較高的精確度。

2.3 知識檢索模塊

功能描述： 知識檢索模塊負責從海量知識庫中快速、準確地檢索相關(guān)信息。它采用多階段的混合檢索策略，結(jié)合語義檢索和關(guān)鍵詞檢索的優(yōu)勢。

實現(xiàn)方式：

1） 向量索引構(gòu)建：使用bge-large-zh模型對文檔進行編碼，并采用Faiss庫構(gòu)[9]建向量索引。

2） 語義檢索：采用兩階段檢索策略：①粗檢索：使用HNSW索引快速返回Top-6候選文檔；②精檢索：對候選文檔進行精確的余弦相似度計算，重新排序并返回Top-2結(jié)果。

效果： 與單階段檢索相比，兩階段策略在保持相近召回率的同時，將檢索時間減少了40%。

2.4 答案生成模塊

功能描述： 答案生成模塊負責將檢索到的相關(guān)信息轉(zhuǎn)化為連貫、準確的自然語言回答。

實現(xiàn)方式： 該模塊采用基于大規(guī)模預訓練語言模型的生成式方法，結(jié)合多文檔摘要和實體關(guān)聯(lián)技術(shù)。選用qwen：72b-chat[10]作為基礎(chǔ)生成模型，該模型具有720億參數(shù)，并對中英雙語對話的支持度較高。

效果： 在系統(tǒng)性能評估中，答案的準確率達到了87.8%。

2.5 知識庫管理模塊

功能描述： 知識庫管理模塊負責知識的存儲、更新和質(zhì)量控制，以保證系統(tǒng)的長期有效運行。

實現(xiàn)方式：

1） 存儲結(jié)構(gòu)：采用FAISS向量數(shù)據(jù)庫存儲結(jié)構(gòu)化數(shù)據(jù)。

2） 知識抽取與更新：設(shè)計基于規(guī)則和機器學習的混合知識抽取管道，包括系統(tǒng)對接、文本分類和信息抽取。

3） 質(zhì)量控制機制：實施多層次質(zhì)量控制，包括自動化檢查、眾包標注和版本控制[11]。

效果： 通過上述機制，問答的準確率從初始的72.3%提升至87.8%。

2.6 日志與監(jiān)控模塊

功能描述： 日志與監(jiān)控模塊負責系統(tǒng)運行狀態(tài)的實時監(jiān)控、性能分析和異常檢測，從而保障系統(tǒng)的穩(wěn)定性和持續(xù)優(yōu)化。

實現(xiàn)方式： 該模塊設(shè)計了用戶反饋收集和分析系統(tǒng)，在每次問答交互后收集用戶滿意度評分和文本反饋，并利用機器學習算法持續(xù)優(yōu)化問答質(zhì)量。

效果： 用戶滿意度在6個月內(nèi)從初始的78%提升至91%。

2.7 系統(tǒng)性能評估

為全面評估系統(tǒng)性能，研究團隊設(shè)計了包括準確性、響應時間和F1分數(shù)等在內(nèi)的多維度評估指標。在某高校進行的為期3個月的試點應用中，系統(tǒng)展現(xiàn)出優(yōu)異的性能：

1） 準確性：對1 000個隨機選取的問題進行系統(tǒng)輸出答案與標準答案的相似度計算，這是評估智能問答系統(tǒng)準確性的關(guān)鍵指標。測試使用了Levenshtein 距離計算生成答案與正確答案之間的相似度，答案的準確率達到87.8%。

2） 響應時間：90%的查詢在2秒內(nèi)完成，滿足實時交互需求。

3） F1分數(shù)：通過計算，平均精確度為81.8%，平均召回率為87.9%，平均F1分數(shù)為84.1%。

與傳統(tǒng)基于檢索的問答系統(tǒng)相比，本系統(tǒng)在復雜問題處理和知識推理能力上表現(xiàn)出明顯優(yōu)勢。然而，我們也發(fā)現(xiàn)系統(tǒng)在處理跨領(lǐng)域問題和低頻專業(yè)術(shù)語時仍有提升空間。

3 總結(jié)與展望

本文圍繞高校智能問答系統(tǒng)的設(shè)計與實現(xiàn)展開，提出了一種基于大語言模型和RAG技術(shù)的智能問答系統(tǒng)。該系統(tǒng)為高校信息服務提供了新的范式，同時也為智能問答技術(shù)在特定領(lǐng)域的應用提供了借鑒。以下總結(jié)了主要研究成果及未來研究方向。

3.1 主要研究成果

1） 開發(fā)了融合向量檢索和關(guān)鍵詞檢索的混合策略，優(yōu)化了知識檢索效率，檢索時間減短了40%。

2） 實現(xiàn)了基于qwen：72b-chat的答案生成模塊，結(jié)合RAG技術(shù)顯著提升了模型性能，問答準確率和用戶滿意度分別提升了15.5和13個百分點。

3） 構(gòu)建了FAISS向量庫存儲架構(gòu)，并設(shè)計了自動化與人工審核相結(jié)合的知識更新流程，使知識庫的準確率提升至97.1%。

4） 設(shè)計了用戶反饋分析系統(tǒng)，利用機器學習算法持續(xù)優(yōu)化問答質(zhì)量。

3.2 研究局限性

盡管本研究取得了一定成果，但仍存在以下局限性：

1） 知識更新的實時性：知識抽取和更新機制存在滯后性，難以滿足快速變化信息的即時更新需求。

2） 多模態(tài)交互：當前系統(tǒng)主要基于文本交互，缺乏對圖像、語音等多模態(tài)信息的處理能力。

3） 跨語言能力：系統(tǒng)主要針對中英文環(huán)境進行優(yōu)化，對多語言和跨語言問答的支持有限。

3.3 未來研究方向

基于上述局限性以及智能問答技術(shù)的發(fā)展趨勢，提出以下未來研究方向為：

1） 引入多模態(tài)知識表示，提升系統(tǒng)對圖片、視頻等非文本信息的理解能力。

2） 探索基于知識圖譜的推理機制，增強系統(tǒng)的邏輯推理能力。

3） 實現(xiàn)知識庫的自動更新和質(zhì)量控制機制，確保知識的時效性和準確性。

4） 研究個性化問答技術(shù)，根據(jù)用戶背景和偏好定制答案生成策略。