摘" "要:2025年初,我國發(fā)布的DeepSeek-R1推理模型,促進(jìn)了普惠化AI時(shí)代的到來,如何將智能技術(shù)有效融入情報(bào)智庫以提升其服務(wù)響應(yīng)能力,并基于特定領(lǐng)域數(shù)據(jù)進(jìn)行服務(wù)場景的驗(yàn)證,實(shí)現(xiàn)理論到實(shí)踐的有效銜接,已成為情報(bào)智庫實(shí)踐中亟待解決的關(guān)鍵問題。文章聚焦于以大語言模型賦能情報(bào)智庫政策內(nèi)容問答服務(wù),首先分析了情報(bào)智庫的政策內(nèi)容問答服務(wù)任務(wù),探討了大語言模型在該場景下的可行性;其次設(shè)計(jì)了融合大語言模型的情報(bào)智庫糧食安全政策內(nèi)容問答服務(wù)方案;最后以糧食安全政策文本為核心數(shù)據(jù)源,對方案進(jìn)行了實(shí)證研究。通過從政策文本提取要素與要素關(guān)系構(gòu)建數(shù)據(jù)集,采用LoRA方法微調(diào)DeepSeek模型,將其接入LangChain框架,同時(shí)掛載本地知識(shí)庫,形成完整的服務(wù)方案。結(jié)果表明,該方案具有較高的可行性和專業(yè)性,為情報(bào)智庫在特定領(lǐng)域?qū)崿F(xiàn)政策內(nèi)容問答的場景服務(wù)提供了重要的理論依據(jù)與實(shí)踐支持。
關(guān)鍵詞:大語言模型;糧食安全;政策內(nèi)容問答;情報(bào)智庫服務(wù);知識(shí)庫
中圖分類號:G351.3" "文獻(xiàn)標(biāo)識(shí)碼:A" "DOI:10.11968/tsyqb.1003-6938.2025002
Research on Policy Content Qamp;A Service of Intelligence Think Tank Integrating Large Language Models——A Case Study of Food Security Policy
Abstract In early 2025, China released the DeepSeek-R1 inference model, promoting the arrival of an era of AI that benefits all. How to effectively integrate intelligent technologies into intelligence think tanks to enhance their service response capabilities, and validate service scenarios based on data from specific fields to achieve a seamless connection between theory and practice, has become a key issue that needs to be addressed in the practical application of intelligence think tanks. This study focuses on empowering policy content Qamp;A services in intelligence think tanks using large language models. First, it analyzes the tasks involved in policy content Qamp;A services and explores the feasibility of large language models in this context. Next, a service solution that integrates large language models for food security policy Qamp;A in intelligence think tanks is designed. Finally, empirical research is conducted using food security policy texts as the primary data source. The study constructs datasets by extracting elements and their relationships from policy texts, fine-tunes Deepdeek model using the LoRA method, integrates it into the LangChain framework, and incorporates a local knowledge base to form a complete service solution. The results demonstrate the high feasibility and professionalism of the proposed solution, providing essential theoretical and practical support for the implementation of policy content Qamp;A services in specific domains within intelligence think tanks.
Key words large language model; food security; policy content Qamp;A; intelligencethink tank service; knowledge base
大語言模型的問世興起了領(lǐng)域問答研究的高潮,學(xué)者們已經(jīng)探索了大語言模型在圖書館參考咨詢[1]、社會(huì)化問答[2]等領(lǐng)域?qū)崿F(xiàn)問答服務(wù)的實(shí)踐路徑。然而,利用大語言模型提供問答類服務(wù)仍存在模型輸出“幻覺”、數(shù)據(jù)來源參差不齊等實(shí)踐挑戰(zhàn),致使其在政策問答等對于答案準(zhǔn)確率具有較高要求的領(lǐng)域應(yīng)用中存在短板。因此,本研究提出了對政策進(jìn)行要素提取、關(guān)聯(lián),構(gòu)建專門用于政策內(nèi)容問答的文本數(shù)據(jù)集以對大語言模型進(jìn)行微調(diào)訓(xùn)練,并采用掛載知識(shí)庫策略的服務(wù)方案,以糧食安全政策內(nèi)容問答為例進(jìn)行實(shí)證研究,為情報(bào)智庫實(shí)現(xiàn)政策內(nèi)容問答提供理論與方法支撐。
習(xí)近平總書記在黨的十九大報(bào)告和黨的二十大報(bào)告中均指出,要全方位夯實(shí)糧食安全根基,確保中國人的飯碗牢牢端在自己手中。自2018年機(jī)構(gòu)改革以來,我國糧食相關(guān)政策密集出臺(tái),為糧食安全提供堅(jiān)實(shí)政策保障的同時(shí)也促進(jìn)了糧食相關(guān)產(chǎn)業(yè)的快速發(fā)展[3]。國務(wù)院辦公廳、工信部等18部門辦公廳在近幾年的相關(guān)產(chǎn)業(yè)促進(jìn)政策中提到要加強(qiáng)政策咨詢[4]、優(yōu)化政策傳導(dǎo)路徑[5],為種糧農(nóng)民、涉糧企業(yè)和消費(fèi)者提供政策咨詢等在線服務(wù)[6]。糧食安全政策內(nèi)容問答研究對促進(jìn)我國糧食相關(guān)政策的普及與落地具有重要意義。
本研究價(jià)值主要體現(xiàn)在:第一,整理了現(xiàn)行國家糧食安全政策數(shù)據(jù),提取關(guān)鍵信息構(gòu)建了糧食安全政策知識(shí)庫和大語言模型微調(diào)訓(xùn)練用政策問答對;第二,設(shè)計(jì)了融合大語言模型的糧食安全政策內(nèi)容問答服務(wù)方案,并且采用掛載知識(shí)庫的方式增加政策問答的專業(yè)性和可解釋性;第三,基于糧食安全政策數(shù)據(jù)開展實(shí)證分析,采用量化評價(jià)和人工評估的方式對效果進(jìn)行評價(jià),證明了設(shè)計(jì)方案的有效性。
1" "文獻(xiàn)綜述
情報(bào)智庫政策內(nèi)容問答服務(wù),本質(zhì)上是基于情報(bào)學(xué)信息獲取與組織思維、方法,結(jié)合信息技術(shù)應(yīng)用,達(dá)成特定領(lǐng)域問答功能實(shí)現(xiàn)方案的研究。最初的問答服務(wù)基于結(jié)構(gòu)化數(shù)據(jù)庫的專用問答系統(tǒng)展開,后來經(jīng)歷了基于大規(guī)模文檔集的通用問答系統(tǒng)與基于問題答案對的問答系統(tǒng)的演變。伴隨著智庫服務(wù)業(yè)務(wù)模式從專家驅(qū)動(dòng)向數(shù)據(jù)驅(qū)動(dòng)的轉(zhuǎn)變[7],基于大數(shù)據(jù)的問答研究成為政策內(nèi)容問答的主要研究方向。近十年來,知識(shí)抽取、關(guān)系抽取等技術(shù)的發(fā)展促進(jìn)了基于知識(shí)圖譜問答的研究。2022年底,OpenAI公司研發(fā)的大語言模型ChatGPT的問世,標(biāo)志著問答服務(wù)的研究進(jìn)入了全新時(shí)代[8]。大語言模型(Large Language Models,LLM)是一種基于深度學(xué)習(xí)的自然語言處理技術(shù)。這類模型通常是基于大規(guī)模文本數(shù)據(jù)的訓(xùn)練而建立的,目的是使模型能夠理解和生成人類語言,它能夠根據(jù)用戶問題提供語法通順、邏輯完整的答案。近兩年,融合大語言模型的問題理解、多模態(tài)生成、與圖譜的結(jié)合應(yīng)用等研究迅猛發(fā)展。2025年初,我國杭州深度求索公司發(fā)布的DeepSeek-R1模型[9],以本地輕量化、開源共享、超低成本等特征受到廣泛關(guān)注,給大模型賦能領(lǐng)域問答應(yīng)用按下加速鍵。
基于大語言模型的智能問答服務(wù)在咨詢問題的覆蓋范圍、復(fù)雜度、準(zhǔn)確性和效率等方面都擁有絕對優(yōu)勢[10],但當(dāng)前該技術(shù)在領(lǐng)域應(yīng)用中仍存在一定局限性,主要體現(xiàn)在專業(yè)知識(shí)的局限性,以及產(chǎn)生有害幻覺的風(fēng)險(xiǎn)[11]。研究者們探索了多種途徑以提升問答服務(wù)系統(tǒng)的性能,基于專業(yè)領(lǐng)域數(shù)據(jù)對模型進(jìn)行微調(diào)訓(xùn)練能夠有效提高大語言模型答案輸出的準(zhǔn)確率,但仍然無法滿足用戶對政策內(nèi)容問答的高度可靠性要求[12]。檢索增強(qiáng)生成(Retrieval Augmented
Generation,RAG)技術(shù)可以從外部知識(shí)庫中提取知識(shí),在問答和總結(jié)等任務(wù)中減少幻覺并提高可解釋性,近年來引起研究人員的極大關(guān)注[13]?,F(xiàn)有研究已經(jīng)驗(yàn)證了結(jié)合RAG與大語言模型技術(shù)解決醫(yī)學(xué)指南[14]、開放問答[15]等問答需求的適配性。且已有研究探討了融合大語言模型與RAG技術(shù)實(shí)現(xiàn)隱私政策問答[16]和城市政策問答[17]。但在一些互聯(lián)網(wǎng)可獲取問答對較少的政策問答領(lǐng)域,如何實(shí)現(xiàn)大語言模型對問答服務(wù)的賦能還有待探索。
本研究面向糧食安全政策領(lǐng)域,探索構(gòu)建融合大語言模型的情報(bào)智庫政策內(nèi)容問答服務(wù)實(shí)現(xiàn)方案,采用LangChain框架并結(jié)合RAG技術(shù)搭建本地知識(shí)庫的技術(shù)策略,一方面結(jié)合既有問答對數(shù)據(jù)和構(gòu)建問答對數(shù)據(jù)微調(diào)大語言模型,另一方面對現(xiàn)有糧食相關(guān)政策文本數(shù)據(jù)進(jìn)行向量化知識(shí)庫存儲(chǔ)與利用,實(shí)現(xiàn)糧食相關(guān)政策內(nèi)容的垂直領(lǐng)域問答服務(wù)。采用BERTScore指標(biāo)對模型輸出效果進(jìn)行量化評估,并將輸出答案與未經(jīng)過微調(diào)的模型輸出答案進(jìn)行橫向?qū)Ρ?,?yàn)證服務(wù)方案的場景優(yōu)越性。
2" "實(shí)踐挑戰(zhàn)與技術(shù)可行性
2.1" " 情報(bào)智庫融合大語言模型實(shí)現(xiàn)政策內(nèi)容問答的實(shí)踐挑戰(zhàn)
情報(bào)智庫使用大語言模型開展政策內(nèi)容問答的挑戰(zhàn)主要來源于資源限制、模型性能限制和數(shù)據(jù)限制三個(gè)方面。在資源層面,除了需要通過預(yù)訓(xùn)練使模型獲得自然語言處理的通用理解與輸出能力之外,還需要模型對特定領(lǐng)域知識(shí)有深刻的理解,以農(nóng)業(yè)生產(chǎn)為例,需要模型理解包括作物種植、牲畜管理、土壤科學(xué)和害蟲防治等專業(yè)知識(shí)[18],故而訓(xùn)練一個(gè)大型語言模型需要數(shù)千個(gè)GPU和至少數(shù)周的模型學(xué)習(xí)時(shí)間[19]?,F(xiàn)有研究一般采用基于預(yù)訓(xùn)練模型的微調(diào)或知識(shí)蒸餾技術(shù)提高資源利用效率,以有效控制成本;模型性能層面的挑戰(zhàn)主要是模型輸出存在“幻覺”問題,采用RAG技術(shù)外掛知識(shí)庫的方式能夠有效提升模型輸出準(zhǔn)確率,在模型輸出答案的同時(shí)提供給用戶數(shù)據(jù)來源,也能夠提升模型的可靠度。數(shù)據(jù)限制主要體現(xiàn)在政策文本的多源性特征與解析問題,不同官方網(wǎng)站發(fā)布的政策文本存在一定的格式差異,常規(guī)的數(shù)據(jù)獲取技術(shù)并不能獲取全面的文本信息,需要人工對特殊格式的文本進(jìn)行查缺補(bǔ)全,而且因可在官方網(wǎng)站公開獲取的糧食安全政策問答對數(shù)量非常有限,需要對政策文本數(shù)據(jù)進(jìn)行組織與處理,根據(jù)文本關(guān)鍵信息構(gòu)建問答數(shù)據(jù)集,以輔助模型利用,促進(jìn)情報(bào)智庫服務(wù)的實(shí)現(xiàn)。
2.2" " 情報(bào)智庫融合大語言模型實(shí)現(xiàn)政策內(nèi)容問答的技術(shù)可行性
當(dāng)前用戶獲取政策內(nèi)容的途徑主要有人工咨詢、搜索引擎、官網(wǎng)查詢、開放問答系統(tǒng)等。人工咨詢的方式受限于服務(wù)成本很難實(shí)現(xiàn)大范圍服務(wù)覆蓋,而在糧食相關(guān)政策的咨詢?nèi)后w中,部分農(nóng)民存在信息搜集與篩查能力相對較弱的特點(diǎn)[20],很難通過搜索引擎、官網(wǎng)查詢等方式獲得準(zhǔn)確信息。因此,綜合來看,構(gòu)建問答系統(tǒng)是情報(bào)智庫實(shí)現(xiàn)政策內(nèi)容問答的最佳服務(wù)方式。基本問答功能的實(shí)現(xiàn)是政務(wù)類問答系統(tǒng)的功能開發(fā)中最高優(yōu)先級需求,同時(shí)調(diào)研表明用戶具有對問答系統(tǒng)的同義理解、語言人性化和語境感知能力的期望[21]。問答服務(wù)是大語言模型的典型應(yīng)用場景之一,相較于傳統(tǒng)的問答系統(tǒng),融入大語言模型的問答服務(wù)具有適用范圍廣、理解和生成復(fù)雜語義能力強(qiáng)、高準(zhǔn)確率和高效率等絕對優(yōu)勢[10],促使問答與咨詢服務(wù)實(shí)現(xiàn)進(jìn)一步優(yōu)化[22]。
面對資源限制、模型性能限制和數(shù)據(jù)限制的實(shí)踐挑戰(zhàn),一方面可以考慮選擇具有成本優(yōu)勢的行業(yè)模型解決方案,其核心思想是以通用大模型為基座,利用行業(yè)數(shù)據(jù)對通用大模型進(jìn)行能力訓(xùn)練和增強(qiáng),即使用模型微調(diào)和外掛數(shù)據(jù)庫等方式提升問答系統(tǒng)的領(lǐng)域?qū)I(yè)能力[23]。使大語言模型在處理特定領(lǐng)域的自然語言理解與輸出時(shí)能夠更加專業(yè)化。微調(diào)和外掛知識(shí)庫的方式是當(dāng)前較主流的提升大語言模型專業(yè)能力的方式,兩種技術(shù)的結(jié)合應(yīng)用能夠形成優(yōu)勢互補(bǔ),知識(shí)庫的構(gòu)建能夠彌補(bǔ)微調(diào)模型缺少大量的標(biāo)注數(shù)據(jù)集和缺乏可解釋性的問題,模型微調(diào)訓(xùn)練能夠使知識(shí)庫檢索到的知識(shí)形成更有邏輯和更專業(yè)的表達(dá),且知識(shí)庫未能涵蓋的政策知識(shí)由模型給出通用回答,也能夠緩解用戶對于查詢不命中的焦慮。另一方面,發(fā)揮情報(bào)智庫的核心優(yōu)勢,基于情報(bào)智庫的數(shù)據(jù)獲取與處理能力建立適應(yīng)的數(shù)據(jù)資源基礎(chǔ)。政策文本是政策知識(shí)的主要來源,其中蘊(yùn)含了政策背景、政策實(shí)施要求、政策主題等信息,為政策內(nèi)容問答提供了大量的數(shù)據(jù)基礎(chǔ)。政府網(wǎng)站等官方渠道公布的政策解釋文本、政策問答文本等信息也蘊(yùn)含了政策關(guān)鍵信息,可作為情報(bào)智庫重要的數(shù)據(jù)資源。在數(shù)據(jù)處理方法上,可參考已有研究中基于從政策文本獲取政策名稱、政策主體、政策對象、主題詞等結(jié)構(gòu)化政策要素[24],以及要素間關(guān)系的方式,組織數(shù)據(jù)資源來實(shí)現(xiàn)政策問答服務(wù)[25]。因此,本研究將政策文本、政策解答文件、現(xiàn)有公布的政策問答數(shù)據(jù)集作為情報(bào)智庫的主要數(shù)據(jù)資源。通過提取單一文本,以及多個(gè)文本的要素與要素間關(guān)聯(lián)關(guān)系構(gòu)建數(shù)據(jù)集,作為實(shí)現(xiàn)領(lǐng)域政策內(nèi)容問答的數(shù)據(jù)支持。
3" nbsp;服務(wù)方案
3.1" " 情報(bào)智庫政策內(nèi)容問答的服務(wù)邏輯
融合大語言模型的情報(bào)智庫糧食安全政策內(nèi)容問答服務(wù)實(shí)質(zhì)在于新技術(shù)加持下的領(lǐng)域信息內(nèi)容服務(wù),即憑借“大語言模型微調(diào)”“知識(shí)庫構(gòu)建”等信息服務(wù)技術(shù),輔以情報(bào)智庫強(qiáng)大的政策數(shù)據(jù)資源獲取與處理能力,實(shí)現(xiàn)對糧食安全政策內(nèi)容問題的精準(zhǔn)理解與專業(yè)輸出(服務(wù)邏輯見圖1)。糧食安全政策文本等資源是情報(bào)智庫開展政策內(nèi)容問答服務(wù)的資源基礎(chǔ),在數(shù)據(jù)獲取、RAG知識(shí)庫構(gòu)建等技術(shù)的加持下,智庫實(shí)現(xiàn)對政策文本的處理與存儲(chǔ),進(jìn)而以一種便于檢索和問題理解的方式,精心構(gòu)建出糧食安全政策知識(shí)庫。與此同時(shí),在大語言模型微調(diào)技術(shù)的加持下,智庫得以輸出邏輯清晰、專業(yè)度較高的答案,從而實(shí)現(xiàn)對用戶關(guān)于政策內(nèi)容問答的迅速響應(yīng)。這一服務(wù)模式的創(chuàng)新,旨在確保用戶能夠輕松便捷地獲取到他們所需的答案,提升情報(bào)智庫在政策內(nèi)容問答方面的效率并擴(kuò)大服務(wù)覆蓋面。這一服務(wù)的優(yōu)化,不僅有利于提升情報(bào)智庫的影響力,更為糧食安全政策的推廣與落實(shí)提供堅(jiān)實(shí)的信息保障。
3.2" "情報(bào)智庫政策內(nèi)容問答的技術(shù)實(shí)現(xiàn)策略
本研究選擇了模型微調(diào)、掛載知識(shí)庫、制作數(shù)據(jù)集的技術(shù)策略設(shè)計(jì)問答實(shí)現(xiàn)方案。具體而言,通過對既有大語言模型微調(diào)獲取模型專業(yè)領(lǐng)域問答能力,通過掛載知識(shí)庫提高問答服務(wù)的可解釋性,為服務(wù)實(shí)現(xiàn)提供高質(zhì)量的數(shù)據(jù)基礎(chǔ),構(gòu)建了包含官方政策問答對和合成問答對的數(shù)據(jù)集,用于大語言模型的微調(diào)。在服務(wù)實(shí)現(xiàn)過程(見圖2)中,情報(bào)智庫采集領(lǐng)域政策數(shù)據(jù)資源,進(jìn)行向量化處理后存入知識(shí)庫。提取政策文本的文本內(nèi)容,合成問題-答案對,并與從官方網(wǎng)站獲取的政策問答對數(shù)據(jù)一同用于大語言模型的微調(diào)。將知識(shí)庫與微調(diào)后的大語言模型結(jié)合,用戶問題在知識(shí)庫內(nèi)優(yōu)先檢索匹配后輸出答案給大語言模型,再由大語言模型加工后輸出。
3.2.1" "模型、技術(shù)框架、方法與核心工具的選擇
第一,選擇大語言模型。自ChatGPT發(fā)布以來,全球掀起了大語言模型開發(fā)的高潮,僅中國2023年已發(fā)布上百個(gè)大語言模型。國外發(fā)布較早,比較具有影響力且支持本地化部署微調(diào)的典型開源大模型產(chǎn)品有Open AI公司開發(fā)的GPT系列、Meta公司(原名Facebook)開發(fā)的Llama系列、Google公司開發(fā)的Gemini系列等。國內(nèi)在開發(fā)者中應(yīng)用比較廣泛的主要有百度的ERNIE系列、阿里的Qwen系列、智譜AI的ChatGLM系列、深度求索的DeepSeek系列等大語言模型,不同產(chǎn)品的參數(shù)與性能伴隨著產(chǎn)品的頻繁升級換代在不斷提升。綜合考慮大語言模型的中文支持能力、對話用戶體驗(yàn)、微調(diào)與集成支持、開放獲取便捷性、計(jì)算資源需求、價(jià)格經(jīng)濟(jì)程度、商業(yè)評價(jià)等多個(gè)關(guān)鍵因素,本研究最終選擇由深度求索公司開發(fā)的基于LLaMA架構(gòu)的80億參數(shù)規(guī)模大型語言模型DeepSeek-R1-Distill-Llama-8B,該模型通過知識(shí)蒸餾技術(shù),具有較高的計(jì)算效率,在能夠滿足糧食安全政策內(nèi)容問答研究需求的同時(shí)支持免費(fèi)本地化部署,且在當(dāng)前商業(yè)評價(jià)中具有較高的認(rèn)可度。
第二,選擇技術(shù)框架。構(gòu)建基于LLM應(yīng)用程序的框架有LlamaIndex、LangChain、Deepset Haystack等,最終選擇LangChain框架是因?yàn)樗鼞?yīng)用更為廣泛,且已有研究證實(shí)LangChain框架與大語言模型和知識(shí)庫結(jié)合使用,在特定任務(wù)中表現(xiàn)出更高的效率和精度[26]。
第三,選擇微調(diào)方法。本研究選擇低秩適應(yīng)(Low-Rank Adaptation,LoRA)方法,該方法的核心思想是通過凍結(jié)預(yù)訓(xùn)練的模型權(quán)重并引入可訓(xùn)練分解矩陣,可以實(shí)現(xiàn)在保持原有知識(shí)的基礎(chǔ)上,增加領(lǐng)域特定知識(shí)的學(xué)習(xí),這種方法顯著減少了下游任務(wù)的訓(xùn)練參數(shù)數(shù)量,進(jìn)而提升了存儲(chǔ)和計(jì)算的效率[27]。
第四,選擇文本向量模型和向量數(shù)據(jù)庫。文本向量模型(Embedding)用于將自然語言文本(如用戶查詢、文檔內(nèi)容等)轉(zhuǎn)換為向量形式,從而幫助系統(tǒng)選擇最合適的文本片段進(jìn)行組合和生成。依據(jù)本研究的應(yīng)用場景,考慮支持中文文本向量化、文本相似度分布合理、開源穩(wěn)定易獲取以及支持為大模型調(diào)用外部知識(shí)等多個(gè)因素,最終選擇了北京智源的BGE-Large-ZH-V1.5模型進(jìn)行文本向量化處理。同時(shí),本研究選擇了開源庫FAISS來存儲(chǔ)和索引向量數(shù)據(jù),以實(shí)現(xiàn)糧食安全政策問題與答案的深度匹配[28],已有中文問答系統(tǒng)研究先例證實(shí)該向量數(shù)據(jù)庫的可行性[29]。
3.2.2" "數(shù)據(jù)集的構(gòu)建方法
為了滿足技術(shù)策略的需求,本研究準(zhǔn)備了兩套數(shù)據(jù)集。一套專門用于大語言模型的微調(diào)訓(xùn)練,另一套則用于構(gòu)建知識(shí)庫。
微調(diào)用數(shù)據(jù)集需要做成問答對形式,為了保證問答對的數(shù)據(jù)全面性和多樣性,本研究依據(jù)現(xiàn)有數(shù)據(jù)基礎(chǔ),構(gòu)建了三種類型的問答對數(shù)據(jù)集。分別是政策關(guān)鍵點(diǎn)問答數(shù)據(jù)、政策文本摘要問答數(shù)據(jù)和政策間關(guān)聯(lián)問答數(shù)據(jù)(構(gòu)建思路見圖3)。
政策關(guān)鍵點(diǎn)問答數(shù)據(jù)依據(jù)現(xiàn)有政策解釋文件和解答文件構(gòu)建,這類文件內(nèi)容多樣,主要涉及政策頒布與執(zhí)行的各類關(guān)鍵信息,有助于公眾、企業(yè)和其他政府機(jī)構(gòu)形成準(zhǔn)確理解。將此類文本進(jìn)行問題與答案結(jié)構(gòu)化標(biāo)注處理,可生成政策關(guān)鍵點(diǎn)問答數(shù)據(jù)集。
政策文本摘要問答數(shù)據(jù)和政策間關(guān)聯(lián)問答數(shù)據(jù)均依據(jù)現(xiàn)有中央與地方政府發(fā)布的關(guān)于糧食安全的法律法規(guī)、政策文件、通知公告等核心文件構(gòu)建,這些文件直接規(guī)定了糧食生產(chǎn)、流通、儲(chǔ)備、消費(fèi)等各環(huán)節(jié)的政策要求和實(shí)施標(biāo)準(zhǔn),是政策內(nèi)容問答的基礎(chǔ)依據(jù)。第一,基于Python提取結(jié)構(gòu)化政策要素,調(diào)用大語言模型提取每篇政策文本的名稱、主體、主要內(nèi)容等信息,生成篇章級文本摘要并進(jìn)行核驗(yàn)校對。第二,基于共現(xiàn)特征提取要素關(guān)聯(lián)關(guān)系,包括文本內(nèi)關(guān)聯(lián)和文本間關(guān)聯(lián),并保留了利于生成問答對的關(guān)聯(lián)關(guān)系。第三,生成政策問答對,文本內(nèi)關(guān)聯(lián)如①-②關(guān)聯(lián),生成的問題文本如“農(nóng)田建設(shè)項(xiàng)目管理辦法是哪個(gè)單位發(fā)布的?”生成的答案文本是“農(nóng)田建設(shè)項(xiàng)目管理辦法是由農(nóng)業(yè)農(nóng)村部發(fā)布的”,本研究將此類問答對稱為文本摘要類問答數(shù)據(jù)。文本間關(guān)聯(lián)如②-③-①關(guān)聯(lián),生成問題如“國家發(fā)展改革委面向糧食企業(yè)制定了哪些政策?”,生成的答案文本是“國家發(fā)展改革委面向糧食企業(yè)制定的政策有:《關(guān)于進(jìn)一步加強(qiáng)合作推進(jìn)國有糧食企業(yè)改革發(fā)展的意見》《糧食企業(yè)信用監(jiān)管辦法(試行)》等政策”。本研究將此類問答對稱為文本間關(guān)聯(lián)問答數(shù)據(jù)。最后,對答案文本進(jìn)行模板式擴(kuò)展,即在答案中加入提及政策的主要內(nèi)容。為了提升微調(diào)效果,對于關(guān)鍵或不確定的數(shù)據(jù),手動(dòng)標(biāo)注以改進(jìn)模型訓(xùn)練的效果,再對制作好的問答對數(shù)據(jù)集進(jìn)行同義改寫,生成三份同義問答對。第四,對問答對數(shù)據(jù)進(jìn)行人工核查和修訂標(biāo)注,刪除不符合常理的問答對,對語義不完整、表述不準(zhǔn)確等問題進(jìn)行人工修正,確保數(shù)據(jù)的質(zhì)量和準(zhǔn)確性,最后以JSON格式輸出數(shù)據(jù)集。
知識(shí)庫用數(shù)據(jù)集可以容納多種形式文本。因此,本研究將政策原文、政策問答對等數(shù)據(jù)全部導(dǎo)入知識(shí)庫,但為了提高檢索效率,同時(shí)對數(shù)據(jù)進(jìn)行了標(biāo)題標(biāo)記、信息補(bǔ)全、文本摘要構(gòu)建等處理。
3.2.3" "大語言模型微調(diào)與知識(shí)庫的構(gòu)建流程
由微調(diào)與知識(shí)庫的構(gòu)建過程(見圖4)可知,微調(diào)經(jīng)歷了數(shù)據(jù)準(zhǔn)備、微調(diào)訓(xùn)練、核查調(diào)優(yōu)三個(gè)階段,循環(huán)多次直至結(jié)果評估符合預(yù)期。在數(shù)據(jù)準(zhǔn)備階段,構(gòu)建問答對數(shù)據(jù)集;在微調(diào)訓(xùn)練階段,設(shè)置不同的學(xué)習(xí)率、訓(xùn)練輪數(shù)等微調(diào)參數(shù)后,導(dǎo)入模型和數(shù)據(jù)集進(jìn)行微調(diào)訓(xùn)練;在核查調(diào)優(yōu)階段,首先檢查訓(xùn)練損失率評估模型訓(xùn)練效果,再初步檢查輸出答案的語法錯(cuò)誤和表達(dá)完善性,通過人工調(diào)整數(shù)據(jù)集表達(dá)語句和增加同義變換問答對數(shù)量、調(diào)整參數(shù)設(shè)置等方式提升訓(xùn)練效果。基于知識(shí)檢索增強(qiáng)的本地知識(shí)庫構(gòu)建分為數(shù)據(jù)準(zhǔn)備、文本入庫、向量化存儲(chǔ)、結(jié)果核查四個(gè)步驟。通過系統(tǒng)性地收集并整理糧食安全政策文本數(shù)據(jù)、導(dǎo)入至知識(shí)庫系統(tǒng)、實(shí)施向量化處理并嚴(yán)格核查檢索輸出結(jié)果,以進(jìn)一步細(xì)化調(diào)整知識(shí)庫文件處理內(nèi)容及參數(shù)設(shè)置,實(shí)現(xiàn)優(yōu)化目標(biāo)。將微調(diào)后的大語言模型導(dǎo)出并嵌入LangChain框架,設(shè)定由知識(shí)庫優(yōu)先進(jìn)行檢索,并將知識(shí)庫生成的文本答案傳遞給微調(diào)后的大語言模型,由其進(jìn)行最終的答案輸出,從而實(shí)現(xiàn)糧食安全政策信息的精準(zhǔn)檢索與回答。
3.3" " 評價(jià)方法
本研究分別采用了量化評估和人工評估兩種方式對實(shí)驗(yàn)的結(jié)果進(jìn)行評價(jià)。量化評估采用BERTScor指標(biāo)[30]中的準(zhǔn)確率P(Precision)、召回率R(Recall)、F1值得分進(jìn)行對比評估。BERTScore評估指標(biāo)基于BERT模型,計(jì)算生成文本與參考文本之間的相似性,與傳統(tǒng)的評估指標(biāo)ROUGE[31]相比,BERTScore結(jié)合了上下文語義和語法信息[32],因此常被用來評估語言生成模型。BERTScor指標(biāo)的計(jì)算公式如下:
PBERT=max" "(")" " " " " " " " " " "(1)
RBERT=max" "(")" " " " " " " " " " "(2)
FBERT=2*" " " " " " " " " " " " " " " (3)
其中x是生成文本,xi是生成文本的組成Token,X是它的嵌入向量,是參考文本,j是參考文本的組成Token,是它的嵌入向量。準(zhǔn)確率P(Precision)用來衡量生成文本中的詞與參考文本中的詞的匹配程度。對于生成文本中的每個(gè)詞,通過余弦相似度計(jì)算找到參考文本中最相似的詞,并計(jì)算相似度的最大值。再對所有生成文本中詞的相似度最大值取平均,得到Precision分?jǐn)?shù)。召回率R(Recall)用來衡量參考文本中的詞在生成文本中的覆蓋程度。對于參考文本中的每個(gè)詞,通過余弦相似度計(jì)算找到生成文本中最相似的詞,并計(jì)算相似度的最大值。再對所有參考文本中詞的相似度最大值取平均,得到Recall分?jǐn)?shù)。F1值是P和R的調(diào)和平均數(shù),用于綜合衡量生成文本與參考文本之間的相似度。BERTScore的分?jǐn)?shù)范圍在0到1之間,分?jǐn)?shù)越高,表示生成文本與參考文本之間的語義相似性越大。
考慮到BERTScore指標(biāo)在評估生成文本時(shí)存在的局限性,特別是其無法準(zhǔn)確反映文本結(jié)構(gòu)的合理性、語法的準(zhǔn)確性,以及政策問答所特有的嚴(yán)謹(jǐn)性要求,本研究采用人工評估作為輔助評價(jià)方法。人工評估主要針對模型輸出答案的語言表達(dá)和內(nèi)容質(zhì)量進(jìn)行細(xì)致評估。為了降低人工構(gòu)造參考文本可能帶來的主觀性影響,引入文心一言的問答結(jié)果作為對比分析對象。具體而言,本研究將分別對比模型微調(diào)前與微調(diào)后的輸出結(jié)果、結(jié)合知識(shí)庫前與結(jié)合知識(shí)庫后的輸出結(jié)果,以評估模型在不同處理方式的性能表現(xiàn)及優(yōu)化效果。
4" "服務(wù)實(shí)現(xiàn)
4.1" " 數(shù)據(jù)獲取與預(yù)處理
本研究所用的數(shù)據(jù)資源主要來源于兩個(gè)部分。一是自建數(shù)據(jù)庫。采集了2018年-2023年間,與糧食安全緊密相關(guān)的、在全國范圍內(nèi)具有效力的政策文本。這些文本由國務(wù)院、發(fā)改委、農(nóng)業(yè)農(nóng)村部、糧食和物資儲(chǔ)備局等相關(guān)部門發(fā)布,涵蓋了通知、意見、報(bào)告、決定、批復(fù)、復(fù)函、條例、辦法、標(biāo)準(zhǔn)、通告、規(guī)劃、規(guī)則、計(jì)劃、公告、通報(bào)等多種類型的時(shí)效性政策文件,共計(jì)153份。對獲取到的政策文本進(jìn)行如下處理:首先,進(jìn)行文本補(bǔ)全與格式調(diào)整,完善發(fā)文字號、發(fā)文機(jī)構(gòu)、獲取的官方網(wǎng)址等關(guān)鍵信息,并通過設(shè)定標(biāo)題級別、調(diào)整空行等方式將網(wǎng)絡(luò)純文本恢復(fù)為政策原文排版格式,為后續(xù)知識(shí)庫的構(gòu)建奠定基礎(chǔ);其次,提取政策增強(qiáng)信息,包括生成篇章級文本摘要、政策背景、關(guān)鍵或注意事項(xiàng),記錄政策原文官方網(wǎng)址等,用于構(gòu)建知識(shí)庫(見表1);最后,分別基于單一文本和多文本提取政策要素和要素關(guān)聯(lián)關(guān)系,構(gòu)建政策文本摘要問答對和政策間關(guān)聯(lián)問答對,共構(gòu)建問答對1283條。
二是政策解釋文件與問答文件數(shù)據(jù)。采集近五年政府官方網(wǎng)站發(fā)布的糧食相關(guān)政策解釋與問答數(shù)據(jù),采集時(shí)間為2024年6月1日至3日。進(jìn)行問答文本結(jié)構(gòu)化標(biāo)注,包括補(bǔ)全問題、刪除網(wǎng)頁標(biāo)記等冗余信息等,共獲得糧食安全相關(guān)政策關(guān)鍵點(diǎn)問答對數(shù)量357條。最終將問答對數(shù)據(jù)格式轉(zhuǎn)換為統(tǒng)一的JSON數(shù)據(jù)集文件。
4.2" " 實(shí)驗(yàn)環(huán)境與主要參數(shù)
首先,基于算力云搭建虛擬環(huán)境,分別部署LangChain檢索增強(qiáng)生成框架和LLaMA-factory大語言模型微調(diào)訓(xùn)練框架(基礎(chǔ)環(huán)境參數(shù)見表2)。
其次,在LLaMA-factory框架下采用LoRA方式對DeepSeek-R1-Distill-Llama-8B模型進(jìn)行微調(diào),導(dǎo)入問答對數(shù)據(jù)集,根據(jù)樣本數(shù)量設(shè)置學(xué)習(xí)率為3e-5,數(shù)據(jù)集的最大樣本量設(shè)置1500,批處理大小設(shè)置為8。損失率降到1以下,表明模型已經(jīng)開始有效地學(xué)習(xí)并擬合訓(xùn)練數(shù)據(jù)。系統(tǒng)記錄了伴隨著系統(tǒng)更新次數(shù)的增加,并得出損失率的變化情況(見圖5),微調(diào)結(jié)束后分別選擇是否加載模型并進(jìn)行問答測試,導(dǎo)出微調(diào)后的模型。
最后,調(diào)用導(dǎo)出的微調(diào)后模型接入LangChain框架,創(chuàng)建糧食安全政策知識(shí)庫,將政策文本文件、篇章級政策文本摘要以及政策關(guān)鍵事項(xiàng)、問答對等經(jīng)過預(yù)處理的文本數(shù)據(jù)導(dǎo)入知識(shí)庫。在文本處理環(huán)節(jié),運(yùn)用BGE-Large-ZH-V1.5進(jìn)行文本向量化處理,鑒于政策內(nèi)容問答的應(yīng)用場景對準(zhǔn)確性有較高的要求,選擇較長的切分長度以保留更多的上下文信息,設(shè)置文本切分長度為250,重復(fù)文本長度為50,為了進(jìn)一步提升切分的完整性,特別加強(qiáng)了對標(biāo)題的識(shí)別能力,以FAISS向量數(shù)據(jù)庫存儲(chǔ)。配置結(jié)束后可以選擇是否加載知識(shí)庫進(jìn)行問答測試。為了查看對比效果,同時(shí)配置了未進(jìn)行微調(diào)的DeepSeek-R1-Distill-Llama-8B模型,根據(jù)需要可選擇相應(yīng)的模型進(jìn)行問答輸出。
4.3" " 結(jié)果評價(jià)與討論
將大語言模型接入LangChain框架,實(shí)現(xiàn)了優(yōu)先檢索知識(shí)庫知識(shí)再生成答案的方案設(shè)想,并構(gòu)建了問答交互界面(見圖6),當(dāng)咨詢問題在知識(shí)庫內(nèi)匹配到相關(guān)文檔時(shí),會(huì)根據(jù)知識(shí)庫的文檔生成答案,若知識(shí)庫沒有與咨詢問題相關(guān)的文檔,則由大模型自身能力生成回答。提升問答服務(wù)可解釋性的同時(shí),兼顧了問答服務(wù)的服務(wù)范圍。
從數(shù)據(jù)集中針對每一類問題挑選30個(gè)代表性問題對模型輸出結(jié)果進(jìn)行人工評估和量化分析。其中,所有用于量化計(jì)算的文本均為輸出文本的答案部分,未選擇問題解析部分(測評結(jié)果詳見表3)。整體上看,無論采用單獨(dú)的大語言模型微調(diào)還是結(jié)合知識(shí)庫使用,模型輸出答案與參考答案的BERTScore分值都表現(xiàn)出較好的結(jié)果。不同類型問答輸出的質(zhì)量有一定差異,其中政策關(guān)鍵點(diǎn)問答和政策間關(guān)聯(lián)類的問題回答效果更加顯著,說明通過我們整理的數(shù)據(jù)集訓(xùn)練,強(qiáng)化了模型對專業(yè)領(lǐng)域問題的理解。
在實(shí)驗(yàn)過程中持續(xù)對輸出結(jié)果進(jìn)行人工核查,主要關(guān)注輸出答案的語義完整性和正確性,以及輸出文本的結(jié)構(gòu)合理性,增加了與其他模型輸出結(jié)果的對比。以一組實(shí)例的對比為例,需要說明的是,在測評過程中,為了提升模型輸出的結(jié)構(gòu)嚴(yán)謹(jǐn)性,實(shí)驗(yàn)時(shí)將Temperature參數(shù)值設(shè)定為0.6。這一設(shè)定降低了生成文本時(shí)的隨機(jī)性,提高了其確定性,從而有助于生成結(jié)構(gòu)更加嚴(yán)謹(jǐn)、語義清晰的答案(見表4)。
在回答政策關(guān)鍵點(diǎn)問題時(shí),文心一言和未經(jīng)訓(xùn)練的DeepSeek模型,輸出的答案都傾向于更加廣泛的選擇,分析其原因,與其數(shù)據(jù)來源的廣泛性有關(guān),導(dǎo)致模型在進(jìn)行領(lǐng)域問題判斷時(shí)較難給出直接準(zhǔn)確的答案。相比之下,經(jīng)過微調(diào)的DeepSeek模型,因訓(xùn)練數(shù)據(jù)經(jīng)過了嚴(yán)格的篩選,減少了信息冗余,其精確回答避免了不必要的解釋或信息,從而減輕了用戶閱讀的負(fù)擔(dān),提高了信息獲取的效率。這也進(jìn)一步證實(shí)了該實(shí)驗(yàn)方案可適用于區(qū)域政府的問答服務(wù)等服務(wù)場景;在回答政策間關(guān)聯(lián)類問題時(shí),經(jīng)過微調(diào)和微調(diào)加知識(shí)庫的方式均可以根據(jù)自建數(shù)據(jù)集給出符合關(guān)聯(lián)關(guān)系的答案,而文心一言和未經(jīng)訓(xùn)練的DeepSeek模型在回答此類問題時(shí)基本從單獨(dú)文本匹配生成答案,文本間的要素關(guān)聯(lián)能力相對較弱。顯然,本研究設(shè)計(jì)的底層數(shù)據(jù)結(jié)構(gòu)在促進(jìn)服務(wù)輸出表現(xiàn)上更具優(yōu)勢;在回答政策摘要類問題時(shí),經(jīng)過微調(diào)和微調(diào)加知識(shí)庫的方式都能夠?qū)崿F(xiàn)單獨(dú)政策的摘要概括,且實(shí)現(xiàn)了新政策對舊政策的覆蓋,與參考答案相比,這兩種方案都取得了較好的學(xué)習(xí)效果。然而,在輸出文本的構(gòu)成結(jié)構(gòu)方面,存在解析過程過長而真正的摘要內(nèi)容又相對較短的情況。該方案在長文本的語義理解和摘要生成能力方面有待優(yōu)化。當(dāng)前,掛載本地知識(shí)庫可直接匹配政策原文,可作為對該處不足的彌補(bǔ)措施。
在測評過程中還可以發(fā)現(xiàn),問答過程中偶爾出現(xiàn)模型受到前面的問題影響而導(dǎo)致后面的問題出現(xiàn)理解偏頗的情況,還有少見的部分輸出文字內(nèi)容里夾雜英文單詞等錯(cuò)誤,且僅微調(diào)的方式在處理關(guān)聯(lián)類問題時(shí)出錯(cuò)概率高于其他兩類問題。為了驗(yàn)證是不是模型選擇問題,本研究嘗試了調(diào)用ChatGLM3-6B模型對當(dāng)前數(shù)據(jù)集進(jìn)行微調(diào),發(fā)現(xiàn)不僅訓(xùn)練時(shí)間更長,小數(shù)據(jù)集微調(diào)后的問答結(jié)果出錯(cuò)情況依然存在,采用增加數(shù)據(jù)量、增加訓(xùn)練輪數(shù)等方式可以降低出錯(cuò)率,但容易出現(xiàn)過擬合的風(fēng)險(xiǎn),掛載知識(shí)庫后這一問題得到明顯改善。
本地知識(shí)庫與DeepSeek微調(diào)模型的結(jié)合,顯著提升了輸出答案的可解釋性,這在政策內(nèi)容問答的場景中尤為重要,對于政策制定者和研究者來說,它可以幫助用戶更好地理解模型的決策過程,從而增強(qiáng)對情報(bào)智庫的信任。而對于知識(shí)庫中未包含的問題,模型根據(jù)現(xiàn)有語境與部分知識(shí)進(jìn)行推測性回答,同時(shí)給出知識(shí)庫中未檢索到相關(guān)信息的提示,展現(xiàn)了其在開放域問答中的適應(yīng)性。
同時(shí),問答服務(wù)質(zhì)量對提示詞也高度依賴,這在政策內(nèi)容問答領(lǐng)域,尤其是在涉農(nóng)政策問答用戶群體中,用戶信息素養(yǎng)的影響會(huì)導(dǎo)致模型理解偏差的放大,進(jìn)而影響服務(wù)效果。另外,各種原因?qū)е碌哪P蜕烧邇?nèi)容不準(zhǔn)確帶來的咨詢風(fēng)險(xiǎn)都是未來應(yīng)用需要面對的挑戰(zhàn)。未來研究中或可探索逐層與用戶確認(rèn)的模型理解過程研究,或構(gòu)建人工與智能協(xié)同、模型回答與官網(wǎng)嵌入?yún)f(xié)同等政策內(nèi)容問答機(jī)制等,以提升大語言模型在政策內(nèi)容問答領(lǐng)域的可用性。
5" "結(jié)論
本研究以糧食安全政策為例,通過具體的方案設(shè)計(jì)、過程實(shí)驗(yàn)與結(jié)果評價(jià)探討如何將大語言模型融入情報(bào)智庫政策內(nèi)容問答領(lǐng)域服務(wù)中,實(shí)現(xiàn)了服務(wù)的創(chuàng)新與實(shí)踐。本研究證實(shí)了基于政策文本構(gòu)建專業(yè)數(shù)據(jù)集對大語言模型微調(diào)訓(xùn)練,并結(jié)合RAG技術(shù)掛載知識(shí)庫的方案,在糧食安全政策內(nèi)容問答領(lǐng)域的可行性。不僅使答案輸出更加精準(zhǔn)高效,還賦予了答案更強(qiáng)的可解釋性,同時(shí)保持了大語言模型在廣泛領(lǐng)域問答中的適應(yīng)性,為情報(bào)智庫在糧食安全政策內(nèi)容問答場景中提供了更優(yōu)的服務(wù)參考。當(dāng)然,本研究也存在一些不足,問答服務(wù)質(zhì)量還有進(jìn)一步提升的空間。在未來研究中,將進(jìn)一步探討如何構(gòu)建基于用戶體驗(yàn)的持續(xù)優(yōu)化與數(shù)據(jù)更新機(jī)制,不斷優(yōu)化情報(bào)智庫在領(lǐng)域政策內(nèi)容問答方面的服務(wù)水平,提升用戶體驗(yàn),為政策制定者、研究者以及更廣泛的公眾提供更加精準(zhǔn)、高效、可信的情報(bào)智庫服務(wù)。
參考文獻(xiàn):
[1]" 王翼虎,白海燕,孟旭陽.大語言模型在圖書館參考咨詢服務(wù)中的智能化實(shí)踐探索[J].情報(bào)理論與實(shí)踐,2023,46(8):96-103.
[2]" 趙宇翔,劉周穎,朱慶華.從免費(fèi)到付費(fèi):認(rèn)知鎖定對在線問答平臺(tái)中提問者轉(zhuǎn)移行為的影響研究[J].情報(bào)學(xué)報(bào), 2020,39(5):534-546.
[3]" 劉彥輝,張海濤,蘇欣宇,等.面向糧食安全的情報(bào)服務(wù)研究現(xiàn)狀及展望[J].情報(bào)科學(xué),2024,42(7):180-190.
[4]" 中國政府網(wǎng).國務(wù)院辦公廳關(guān)于進(jìn)一步促進(jìn)農(nóng)產(chǎn)品加工業(yè)發(fā)展的意見[EB/OL].[2024-06-27].https://www.gov.cn/gongbao/content/2017/content_5160233.htm.
[5]" 中國政府網(wǎng).工業(yè)和信息化部等18部門辦公廳(室)關(guān)于開展2024年“一起益企”中小微企業(yè)服務(wù)行動(dòng)的通知[EB/OL].[2024-06-27].https://www.gov.cn/zhengce/zhengceku/202403/content_6938749.htm.
[6]" 國家糧食和物資儲(chǔ)備局.關(guān)于統(tǒng)籌推進(jìn)糧食和物資儲(chǔ)備信息化建設(shè)的指導(dǎo)意見[EB/OL].[2024-06-27].http://www.lswz.gov.cn/html/zcfb/2020-01/15/content_248536.shtml.
[7]" 李剛,陳霏,蘇丹淳,等.智庫建設(shè)范式的轉(zhuǎn)型:從專家驅(qū)動(dòng)到數(shù)據(jù)驅(qū)動(dòng)[J].圖書與情報(bào),2023,44(5):1-12.
[8]" 文森,錢力,胡懋地,等.基于大語言模型的問答技術(shù)研究進(jìn)展綜述[J].數(shù)據(jù)分析與知識(shí)發(fā)現(xiàn),2024,8(6):16-29.
[9]" Guo D,Yang D,Zhang H,et al.Deepseek-r1:Incentivizing reasoning capability in llms via reinforcement learning[J].arXiv preprint arXiv,2025:2501.12948.
[10]" 胡安琪.AIGC驅(qū)動(dòng)下圖書館智慧服務(wù)生態(tài)模式構(gòu)建與實(shí)現(xiàn)路徑研究[J].圖書館理論與實(shí)踐,2024(3):68-77.
[11]" 宋小康,趙宇翔,宋士杰,等.社會(huì)技術(shù)系統(tǒng)范式下AI賦能的替代信息搜索:特征、理論框架與研究展望[J].圖書情報(bào)知識(shí),2023,40(4):111-121.
[12]" BROWNING J.Getting it right:the limits of fine-tuning large language models[J].Ethics and Information Technology,2024,26(2):1-9.
[13]" LEWIS P,PEREZ E,PIKTUS A,et al.Retrieval-augmented generation for knowledge-intensive nlp tasks[C]//Advances in Neural Information Processing Systems,NY,Curran Associates Inc,2020:9459-9474.
[14]" KRESEVIC S,GIUFFR?魬 M,AJCEVIC M,et al.Optimization of hepatological clinical guidelines interpretation by large language models:a retrieval augmented generation-based framework[J].NPJ Digital Medicine,2024,7(1):102.
[15]" SIRIWARDHANA S,WEERASEKERA R,Wen E,et al.Improving the domain adaptation of retrieval augmented generation (RAG) models for open domain question answering[J].Transactions of the Association for Computational Linguistics,2023,
11:1-17.
[16]" Parvez MR,Chi J,Ahmad WU,et al.Retrieval enhanced data augmentation for question answering on privacy policies[J].arXiv preprint arXiv,2022:2204.08952.
[17]" Lu Z,Wang W,Guo T,et al.Decoding urban policies:NLP-driven concise explanations[J].Environment and Planning B:Urban analytics and city science,2025:23998083251321981.
[18]" Yang T,Mei Y,Xu L,et al.Application of question answering systems for intelligent agriculture production and sustainable management:A review[J].Resources,Conservation and Recycling,2024,204:107497.
[19]" PATIL R,GUDIVADA V.A review of current trends,techniques,and challenges in large language models(llms)[J].Applied Sciences,2024,14(5):2074.
[20]" 李曉靜,王志濤.數(shù)字鄉(xiāng)村戰(zhàn)略下我國農(nóng)民數(shù)字技能量表構(gòu)建及應(yīng)用[J].圖書與情報(bào),2023(4):117-128.
[21]" 張馨月,王芳.基于KANO模型的政務(wù)智能問答系統(tǒng)功能優(yōu)化研究[J/OL].情報(bào)科學(xué):1-26[2024-07-04].http://kns.cnki.net/kcms/detail/22.1264.G2.20240627.1303.010.html.
[22]" 王靜靜,葉鷹,王婉茹.ChatGPT類AI-GPT技術(shù)應(yīng)用對圖書館信息處理的變革探析[J].圖書館理論與實(shí)踐,2024(1):122-127,136.
[23]" 劉倩倩,劉圣嬰,劉煒.圖書情報(bào)領(lǐng)域大模型的應(yīng)用模式和數(shù)據(jù)治理[J].圖書館雜志,2023,42(12):22-35.
[24]" 張維沖,王芳,趙洪.基于全要素網(wǎng)絡(luò)構(gòu)建的大規(guī)模政策知識(shí)關(guān)聯(lián)聚合研究[J].情報(bào)學(xué)報(bào),2023,42(3):289-303.
[25]" 華斌,康月,范林昊.政策文本的知識(shí)建模與關(guān)聯(lián)問答研究[J].數(shù)據(jù)分析與知識(shí)發(fā)現(xiàn),2022,6(11):79-92.
[26]" XIAOLIANG M,RUQIANG Z,YING L,et al.Design of a large language model for improving customer service in telecom operators[J].Electronics Letters,2024,60(10):e13218.
[27]" QIU X,HAO T,SHI S,et al.Chain-of-LoRA:Enhancing the instruction fine-tuning performance of low-rank adaptation on diverse instruction set[J].IEEE Signal Processing Letters,2024.31:875-879.
[28]nbsp; JOHNSON J,DOUZE M,J?魪GOU H.Billion-scale similarity search with GPUs[J].IEEE Transactions on Big Data,2019,7(3):535-547.
[29]" XU L,LU L,LIU M,et al.Nanjing Yunjin intelligent question-answering system based on knowledge graphs and retrieval augmented generation technology[J].Heritage Science,2024,12(1):118.
[30]" Zhang T,Kishore V,Wu F,et al.Bertscore:Evaluating text generation with bert[J].arXiv preprint arXiv,2019:1904.09675.
[31]" 吳娜,沈思,王東波.基于開源LLMs的中文學(xué)術(shù)文本標(biāo)題生成研究——以人文社科領(lǐng)域?yàn)槔跩].情報(bào)科學(xué),2024,42(7):137-145.
[32]" 陳靜,曹智勛.對抗幻覺:垂直領(lǐng)域中大語言模型的應(yīng)用策略探討——以中醫(yī)知識(shí)問答領(lǐng)域?yàn)槔跩/OL].數(shù)據(jù)分析與知識(shí)發(fā)現(xiàn),1-18[2025-01-25].http://kns.cnki.net/kcms/detail/10.1478.G2.20241218.1438.006.html.
作者簡介:劉彥輝(1986-),男,吉林大學(xué)商學(xué)與管理學(xué)院博士研究生,研究方向:情報(bào)服務(wù)與情報(bào)決策;張海濤(1966-),男,吉林大學(xué)商學(xué)與管理學(xué)院、吉林大學(xué)信息資源研究中心、吉林大學(xué)國家發(fā)展與安全研究院教授,博士生導(dǎo)師,研究方向:數(shù)據(jù)智慧與社會(huì)治理、信息行為與智慧服務(wù);周紅磊(1996-),男,吉林大學(xué)商學(xué)與管理學(xué)院助理研究員,研究方向:應(yīng)急情報(bào)與智慧服務(wù);龐宇飛(1995-),男,吉林大學(xué)商學(xué)與管理學(xué)院博士研究生,研究方向:突發(fā)事件與社會(huì)治理。