• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    融合大語言模型的情報(bào)智庫政策內(nèi)容問答服務(wù)研究

    2025-04-15 00:00:00劉彥輝張海濤周紅磊龐宇飛
    圖書與情報(bào) 2025年1期
    關(guān)鍵詞:糧食安全

    摘" "要:2025年初,我國發(fā)布的DeepSeek-R1推理模型,促進(jìn)了普惠化AI時(shí)代的到來,如何將智能技術(shù)有效融入情報(bào)智庫以提升其服務(wù)響應(yīng)能力,并基于特定領(lǐng)域數(shù)據(jù)進(jìn)行服務(wù)場景的驗(yàn)證,實(shí)現(xiàn)理論到實(shí)踐的有效銜接,已成為情報(bào)智庫實(shí)踐中亟待解決的關(guān)鍵問題。文章聚焦于以大語言模型賦能情報(bào)智庫政策內(nèi)容問答服務(wù),首先分析了情報(bào)智庫的政策內(nèi)容問答服務(wù)任務(wù),探討了大語言模型在該場景下的可行性;其次設(shè)計(jì)了融合大語言模型的情報(bào)智庫糧食安全政策內(nèi)容問答服務(wù)方案;最后以糧食安全政策文本為核心數(shù)據(jù)源,對方案進(jìn)行了實(shí)證研究。通過從政策文本提取要素與要素關(guān)系構(gòu)建數(shù)據(jù)集,采用LoRA方法微調(diào)DeepSeek模型,將其接入LangChain框架,同時(shí)掛載本地知識(shí)庫,形成完整的服務(wù)方案。結(jié)果表明,該方案具有較高的可行性和專業(yè)性,為情報(bào)智庫在特定領(lǐng)域?qū)崿F(xiàn)政策內(nèi)容問答的場景服務(wù)提供了重要的理論依據(jù)與實(shí)踐支持。

    關(guān)鍵詞:大語言模型;糧食安全;政策內(nèi)容問答;情報(bào)智庫服務(wù);知識(shí)庫

    中圖分類號:G351.3" "文獻(xiàn)標(biāo)識(shí)碼:A" "DOI:10.11968/tsyqb.1003-6938.2025002

    Research on Policy Content Qamp;A Service of Intelligence Think Tank Integrating Large Language Models——A Case Study of Food Security Policy

    Abstract In early 2025, China released the DeepSeek-R1 inference model, promoting the arrival of an era of AI that benefits all. How to effectively integrate intelligent technologies into intelligence think tanks to enhance their service response capabilities, and validate service scenarios based on data from specific fields to achieve a seamless connection between theory and practice, has become a key issue that needs to be addressed in the practical application of intelligence think tanks. This study focuses on empowering policy content Qamp;A services in intelligence think tanks using large language models. First, it analyzes the tasks involved in policy content Qamp;A services and explores the feasibility of large language models in this context. Next, a service solution that integrates large language models for food security policy Qamp;A in intelligence think tanks is designed. Finally, empirical research is conducted using food security policy texts as the primary data source. The study constructs datasets by extracting elements and their relationships from policy texts, fine-tunes Deepdeek model using the LoRA method, integrates it into the LangChain framework, and incorporates a local knowledge base to form a complete service solution. The results demonstrate the high feasibility and professionalism of the proposed solution, providing essential theoretical and practical support for the implementation of policy content Qamp;A services in specific domains within intelligence think tanks.

    Key words large language model; food security; policy content Qamp;A; intelligencethink tank service; knowledge base

    大語言模型的問世興起了領(lǐng)域問答研究的高潮,學(xué)者們已經(jīng)探索了大語言模型在圖書館參考咨詢[1]、社會(huì)化問答[2]等領(lǐng)域?qū)崿F(xiàn)問答服務(wù)的實(shí)踐路徑。然而,利用大語言模型提供問答類服務(wù)仍存在模型輸出“幻覺”、數(shù)據(jù)來源參差不齊等實(shí)踐挑戰(zhàn),致使其在政策問答等對于答案準(zhǔn)確率具有較高要求的領(lǐng)域應(yīng)用中存在短板。因此,本研究提出了對政策進(jìn)行要素提取、關(guān)聯(lián),構(gòu)建專門用于政策內(nèi)容問答的文本數(shù)據(jù)集以對大語言模型進(jìn)行微調(diào)訓(xùn)練,并采用掛載知識(shí)庫策略的服務(wù)方案,以糧食安全政策內(nèi)容問答為例進(jìn)行實(shí)證研究,為情報(bào)智庫實(shí)現(xiàn)政策內(nèi)容問答提供理論與方法支撐。

    習(xí)近平總書記在黨的十九大報(bào)告和黨的二十大報(bào)告中均指出,要全方位夯實(shí)糧食安全根基,確保中國人的飯碗牢牢端在自己手中。自2018年機(jī)構(gòu)改革以來,我國糧食相關(guān)政策密集出臺(tái),為糧食安全提供堅(jiān)實(shí)政策保障的同時(shí)也促進(jìn)了糧食相關(guān)產(chǎn)業(yè)的快速發(fā)展[3]。國務(wù)院辦公廳、工信部等18部門辦公廳在近幾年的相關(guān)產(chǎn)業(yè)促進(jìn)政策中提到要加強(qiáng)政策咨詢[4]、優(yōu)化政策傳導(dǎo)路徑[5],為種糧農(nóng)民、涉糧企業(yè)和消費(fèi)者提供政策咨詢等在線服務(wù)[6]。糧食安全政策內(nèi)容問答研究對促進(jìn)我國糧食相關(guān)政策的普及與落地具有重要意義。

    本研究價(jià)值主要體現(xiàn)在:第一,整理了現(xiàn)行國家糧食安全政策數(shù)據(jù),提取關(guān)鍵信息構(gòu)建了糧食安全政策知識(shí)庫和大語言模型微調(diào)訓(xùn)練用政策問答對;第二,設(shè)計(jì)了融合大語言模型的糧食安全政策內(nèi)容問答服務(wù)方案,并且采用掛載知識(shí)庫的方式增加政策問答的專業(yè)性和可解釋性;第三,基于糧食安全政策數(shù)據(jù)開展實(shí)證分析,采用量化評價(jià)和人工評估的方式對效果進(jìn)行評價(jià),證明了設(shè)計(jì)方案的有效性。

    1" "文獻(xiàn)綜述

    情報(bào)智庫政策內(nèi)容問答服務(wù),本質(zhì)上是基于情報(bào)學(xué)信息獲取與組織思維、方法,結(jié)合信息技術(shù)應(yīng)用,達(dá)成特定領(lǐng)域問答功能實(shí)現(xiàn)方案的研究。最初的問答服務(wù)基于結(jié)構(gòu)化數(shù)據(jù)庫的專用問答系統(tǒng)展開,后來經(jīng)歷了基于大規(guī)模文檔集的通用問答系統(tǒng)與基于問題答案對的問答系統(tǒng)的演變。伴隨著智庫服務(wù)業(yè)務(wù)模式從專家驅(qū)動(dòng)向數(shù)據(jù)驅(qū)動(dòng)的轉(zhuǎn)變[7],基于大數(shù)據(jù)的問答研究成為政策內(nèi)容問答的主要研究方向。近十年來,知識(shí)抽取、關(guān)系抽取等技術(shù)的發(fā)展促進(jìn)了基于知識(shí)圖譜問答的研究。2022年底,OpenAI公司研發(fā)的大語言模型ChatGPT的問世,標(biāo)志著問答服務(wù)的研究進(jìn)入了全新時(shí)代[8]。大語言模型(Large Language Models,LLM)是一種基于深度學(xué)習(xí)的自然語言處理技術(shù)。這類模型通常是基于大規(guī)模文本數(shù)據(jù)的訓(xùn)練而建立的,目的是使模型能夠理解和生成人類語言,它能夠根據(jù)用戶問題提供語法通順、邏輯完整的答案。近兩年,融合大語言模型的問題理解、多模態(tài)生成、與圖譜的結(jié)合應(yīng)用等研究迅猛發(fā)展。2025年初,我國杭州深度求索公司發(fā)布的DeepSeek-R1模型[9],以本地輕量化、開源共享、超低成本等特征受到廣泛關(guān)注,給大模型賦能領(lǐng)域問答應(yīng)用按下加速鍵。

    基于大語言模型的智能問答服務(wù)在咨詢問題的覆蓋范圍、復(fù)雜度、準(zhǔn)確性和效率等方面都擁有絕對優(yōu)勢[10],但當(dāng)前該技術(shù)在領(lǐng)域應(yīng)用中仍存在一定局限性,主要體現(xiàn)在專業(yè)知識(shí)的局限性,以及產(chǎn)生有害幻覺的風(fēng)險(xiǎn)[11]。研究者們探索了多種途徑以提升問答服務(wù)系統(tǒng)的性能,基于專業(yè)領(lǐng)域數(shù)據(jù)對模型進(jìn)行微調(diào)訓(xùn)練能夠有效提高大語言模型答案輸出的準(zhǔn)確率,但仍然無法滿足用戶對政策內(nèi)容問答的高度可靠性要求[12]。檢索增強(qiáng)生成(Retrieval Augmented

    Generation,RAG)技術(shù)可以從外部知識(shí)庫中提取知識(shí),在問答和總結(jié)等任務(wù)中減少幻覺并提高可解釋性,近年來引起研究人員的極大關(guān)注[13]?,F(xiàn)有研究已經(jīng)驗(yàn)證了結(jié)合RAG與大語言模型技術(shù)解決醫(yī)學(xué)指南[14]、開放問答[15]等問答需求的適配性。且已有研究探討了融合大語言模型與RAG技術(shù)實(shí)現(xiàn)隱私政策問答[16]和城市政策問答[17]。但在一些互聯(lián)網(wǎng)可獲取問答對較少的政策問答領(lǐng)域,如何實(shí)現(xiàn)大語言模型對問答服務(wù)的賦能還有待探索。

    本研究面向糧食安全政策領(lǐng)域,探索構(gòu)建融合大語言模型的情報(bào)智庫政策內(nèi)容問答服務(wù)實(shí)現(xiàn)方案,采用LangChain框架并結(jié)合RAG技術(shù)搭建本地知識(shí)庫的技術(shù)策略,一方面結(jié)合既有問答對數(shù)據(jù)和構(gòu)建問答對數(shù)據(jù)微調(diào)大語言模型,另一方面對現(xiàn)有糧食相關(guān)政策文本數(shù)據(jù)進(jìn)行向量化知識(shí)庫存儲(chǔ)與利用,實(shí)現(xiàn)糧食相關(guān)政策內(nèi)容的垂直領(lǐng)域問答服務(wù)。采用BERTScore指標(biāo)對模型輸出效果進(jìn)行量化評估,并將輸出答案與未經(jīng)過微調(diào)的模型輸出答案進(jìn)行橫向?qū)Ρ?,?yàn)證服務(wù)方案的場景優(yōu)越性。

    2" "實(shí)踐挑戰(zhàn)與技術(shù)可行性

    2.1" " 情報(bào)智庫融合大語言模型實(shí)現(xiàn)政策內(nèi)容問答的實(shí)踐挑戰(zhàn)

    情報(bào)智庫使用大語言模型開展政策內(nèi)容問答的挑戰(zhàn)主要來源于資源限制、模型性能限制和數(shù)據(jù)限制三個(gè)方面。在資源層面,除了需要通過預(yù)訓(xùn)練使模型獲得自然語言處理的通用理解與輸出能力之外,還需要模型對特定領(lǐng)域知識(shí)有深刻的理解,以農(nóng)業(yè)生產(chǎn)為例,需要模型理解包括作物種植、牲畜管理、土壤科學(xué)和害蟲防治等專業(yè)知識(shí)[18],故而訓(xùn)練一個(gè)大型語言模型需要數(shù)千個(gè)GPU和至少數(shù)周的模型學(xué)習(xí)時(shí)間[19]?,F(xiàn)有研究一般采用基于預(yù)訓(xùn)練模型的微調(diào)或知識(shí)蒸餾技術(shù)提高資源利用效率,以有效控制成本;模型性能層面的挑戰(zhàn)主要是模型輸出存在“幻覺”問題,采用RAG技術(shù)外掛知識(shí)庫的方式能夠有效提升模型輸出準(zhǔn)確率,在模型輸出答案的同時(shí)提供給用戶數(shù)據(jù)來源,也能夠提升模型的可靠度。數(shù)據(jù)限制主要體現(xiàn)在政策文本的多源性特征與解析問題,不同官方網(wǎng)站發(fā)布的政策文本存在一定的格式差異,常規(guī)的數(shù)據(jù)獲取技術(shù)并不能獲取全面的文本信息,需要人工對特殊格式的文本進(jìn)行查缺補(bǔ)全,而且因可在官方網(wǎng)站公開獲取的糧食安全政策問答對數(shù)量非常有限,需要對政策文本數(shù)據(jù)進(jìn)行組織與處理,根據(jù)文本關(guān)鍵信息構(gòu)建問答數(shù)據(jù)集,以輔助模型利用,促進(jìn)情報(bào)智庫服務(wù)的實(shí)現(xiàn)。

    2.2" " 情報(bào)智庫融合大語言模型實(shí)現(xiàn)政策內(nèi)容問答的技術(shù)可行性

    當(dāng)前用戶獲取政策內(nèi)容的途徑主要有人工咨詢、搜索引擎、官網(wǎng)查詢、開放問答系統(tǒng)等。人工咨詢的方式受限于服務(wù)成本很難實(shí)現(xiàn)大范圍服務(wù)覆蓋,而在糧食相關(guān)政策的咨詢?nèi)后w中,部分農(nóng)民存在信息搜集與篩查能力相對較弱的特點(diǎn)[20],很難通過搜索引擎、官網(wǎng)查詢等方式獲得準(zhǔn)確信息。因此,綜合來看,構(gòu)建問答系統(tǒng)是情報(bào)智庫實(shí)現(xiàn)政策內(nèi)容問答的最佳服務(wù)方式。基本問答功能的實(shí)現(xiàn)是政務(wù)類問答系統(tǒng)的功能開發(fā)中最高優(yōu)先級需求,同時(shí)調(diào)研表明用戶具有對問答系統(tǒng)的同義理解、語言人性化和語境感知能力的期望[21]。問答服務(wù)是大語言模型的典型應(yīng)用場景之一,相較于傳統(tǒng)的問答系統(tǒng),融入大語言模型的問答服務(wù)具有適用范圍廣、理解和生成復(fù)雜語義能力強(qiáng)、高準(zhǔn)確率和高效率等絕對優(yōu)勢[10],促使問答與咨詢服務(wù)實(shí)現(xiàn)進(jìn)一步優(yōu)化[22]。

    面對資源限制、模型性能限制和數(shù)據(jù)限制的實(shí)踐挑戰(zhàn),一方面可以考慮選擇具有成本優(yōu)勢的行業(yè)模型解決方案,其核心思想是以通用大模型為基座,利用行業(yè)數(shù)據(jù)對通用大模型進(jìn)行能力訓(xùn)練和增強(qiáng),即使用模型微調(diào)和外掛數(shù)據(jù)庫等方式提升問答系統(tǒng)的領(lǐng)域?qū)I(yè)能力[23]。使大語言模型在處理特定領(lǐng)域的自然語言理解與輸出時(shí)能夠更加專業(yè)化。微調(diào)和外掛知識(shí)庫的方式是當(dāng)前較主流的提升大語言模型專業(yè)能力的方式,兩種技術(shù)的結(jié)合應(yīng)用能夠形成優(yōu)勢互補(bǔ),知識(shí)庫的構(gòu)建能夠彌補(bǔ)微調(diào)模型缺少大量的標(biāo)注數(shù)據(jù)集和缺乏可解釋性的問題,模型微調(diào)訓(xùn)練能夠使知識(shí)庫檢索到的知識(shí)形成更有邏輯和更專業(yè)的表達(dá),且知識(shí)庫未能涵蓋的政策知識(shí)由模型給出通用回答,也能夠緩解用戶對于查詢不命中的焦慮。另一方面,發(fā)揮情報(bào)智庫的核心優(yōu)勢,基于情報(bào)智庫的數(shù)據(jù)獲取與處理能力建立適應(yīng)的數(shù)據(jù)資源基礎(chǔ)。政策文本是政策知識(shí)的主要來源,其中蘊(yùn)含了政策背景、政策實(shí)施要求、政策主題等信息,為政策內(nèi)容問答提供了大量的數(shù)據(jù)基礎(chǔ)。政府網(wǎng)站等官方渠道公布的政策解釋文本、政策問答文本等信息也蘊(yùn)含了政策關(guān)鍵信息,可作為情報(bào)智庫重要的數(shù)據(jù)資源。在數(shù)據(jù)處理方法上,可參考已有研究中基于從政策文本獲取政策名稱、政策主體、政策對象、主題詞等結(jié)構(gòu)化政策要素[24],以及要素間關(guān)系的方式,組織數(shù)據(jù)資源來實(shí)現(xiàn)政策問答服務(wù)[25]。因此,本研究將政策文本、政策解答文件、現(xiàn)有公布的政策問答數(shù)據(jù)集作為情報(bào)智庫的主要數(shù)據(jù)資源。通過提取單一文本,以及多個(gè)文本的要素與要素間關(guān)聯(lián)關(guān)系構(gòu)建數(shù)據(jù)集,作為實(shí)現(xiàn)領(lǐng)域政策內(nèi)容問答的數(shù)據(jù)支持。

    3" nbsp;服務(wù)方案

    3.1" " 情報(bào)智庫政策內(nèi)容問答的服務(wù)邏輯

    融合大語言模型的情報(bào)智庫糧食安全政策內(nèi)容問答服務(wù)實(shí)質(zhì)在于新技術(shù)加持下的領(lǐng)域信息內(nèi)容服務(wù),即憑借“大語言模型微調(diào)”“知識(shí)庫構(gòu)建”等信息服務(wù)技術(shù),輔以情報(bào)智庫強(qiáng)大的政策數(shù)據(jù)資源獲取與處理能力,實(shí)現(xiàn)對糧食安全政策內(nèi)容問題的精準(zhǔn)理解與專業(yè)輸出(服務(wù)邏輯見圖1)。糧食安全政策文本等資源是情報(bào)智庫開展政策內(nèi)容問答服務(wù)的資源基礎(chǔ),在數(shù)據(jù)獲取、RAG知識(shí)庫構(gòu)建等技術(shù)的加持下,智庫實(shí)現(xiàn)對政策文本的處理與存儲(chǔ),進(jìn)而以一種便于檢索和問題理解的方式,精心構(gòu)建出糧食安全政策知識(shí)庫。與此同時(shí),在大語言模型微調(diào)技術(shù)的加持下,智庫得以輸出邏輯清晰、專業(yè)度較高的答案,從而實(shí)現(xiàn)對用戶關(guān)于政策內(nèi)容問答的迅速響應(yīng)。這一服務(wù)模式的創(chuàng)新,旨在確保用戶能夠輕松便捷地獲取到他們所需的答案,提升情報(bào)智庫在政策內(nèi)容問答方面的效率并擴(kuò)大服務(wù)覆蓋面。這一服務(wù)的優(yōu)化,不僅有利于提升情報(bào)智庫的影響力,更為糧食安全政策的推廣與落實(shí)提供堅(jiān)實(shí)的信息保障。

    3.2" "情報(bào)智庫政策內(nèi)容問答的技術(shù)實(shí)現(xiàn)策略

    本研究選擇了模型微調(diào)、掛載知識(shí)庫、制作數(shù)據(jù)集的技術(shù)策略設(shè)計(jì)問答實(shí)現(xiàn)方案。具體而言,通過對既有大語言模型微調(diào)獲取模型專業(yè)領(lǐng)域問答能力,通過掛載知識(shí)庫提高問答服務(wù)的可解釋性,為服務(wù)實(shí)現(xiàn)提供高質(zhì)量的數(shù)據(jù)基礎(chǔ),構(gòu)建了包含官方政策問答對和合成問答對的數(shù)據(jù)集,用于大語言模型的微調(diào)。在服務(wù)實(shí)現(xiàn)過程(見圖2)中,情報(bào)智庫采集領(lǐng)域政策數(shù)據(jù)資源,進(jìn)行向量化處理后存入知識(shí)庫。提取政策文本的文本內(nèi)容,合成問題-答案對,并與從官方網(wǎng)站獲取的政策問答對數(shù)據(jù)一同用于大語言模型的微調(diào)。將知識(shí)庫與微調(diào)后的大語言模型結(jié)合,用戶問題在知識(shí)庫內(nèi)優(yōu)先檢索匹配后輸出答案給大語言模型,再由大語言模型加工后輸出。

    3.2.1" "模型、技術(shù)框架、方法與核心工具的選擇

    第一,選擇大語言模型。自ChatGPT發(fā)布以來,全球掀起了大語言模型開發(fā)的高潮,僅中國2023年已發(fā)布上百個(gè)大語言模型。國外發(fā)布較早,比較具有影響力且支持本地化部署微調(diào)的典型開源大模型產(chǎn)品有Open AI公司開發(fā)的GPT系列、Meta公司(原名Facebook)開發(fā)的Llama系列、Google公司開發(fā)的Gemini系列等。國內(nèi)在開發(fā)者中應(yīng)用比較廣泛的主要有百度的ERNIE系列、阿里的Qwen系列、智譜AI的ChatGLM系列、深度求索的DeepSeek系列等大語言模型,不同產(chǎn)品的參數(shù)與性能伴隨著產(chǎn)品的頻繁升級換代在不斷提升。綜合考慮大語言模型的中文支持能力、對話用戶體驗(yàn)、微調(diào)與集成支持、開放獲取便捷性、計(jì)算資源需求、價(jià)格經(jīng)濟(jì)程度、商業(yè)評價(jià)等多個(gè)關(guān)鍵因素,本研究最終選擇由深度求索公司開發(fā)的基于LLaMA架構(gòu)的80億參數(shù)規(guī)模大型語言模型DeepSeek-R1-Distill-Llama-8B,該模型通過知識(shí)蒸餾技術(shù),具有較高的計(jì)算效率,在能夠滿足糧食安全政策內(nèi)容問答研究需求的同時(shí)支持免費(fèi)本地化部署,且在當(dāng)前商業(yè)評價(jià)中具有較高的認(rèn)可度。

    第二,選擇技術(shù)框架。構(gòu)建基于LLM應(yīng)用程序的框架有LlamaIndex、LangChain、Deepset Haystack等,最終選擇LangChain框架是因?yàn)樗鼞?yīng)用更為廣泛,且已有研究證實(shí)LangChain框架與大語言模型和知識(shí)庫結(jié)合使用,在特定任務(wù)中表現(xiàn)出更高的效率和精度[26]。

    第三,選擇微調(diào)方法。本研究選擇低秩適應(yīng)(Low-Rank Adaptation,LoRA)方法,該方法的核心思想是通過凍結(jié)預(yù)訓(xùn)練的模型權(quán)重并引入可訓(xùn)練分解矩陣,可以實(shí)現(xiàn)在保持原有知識(shí)的基礎(chǔ)上,增加領(lǐng)域特定知識(shí)的學(xué)習(xí),這種方法顯著減少了下游任務(wù)的訓(xùn)練參數(shù)數(shù)量,進(jìn)而提升了存儲(chǔ)和計(jì)算的效率[27]。

    第四,選擇文本向量模型和向量數(shù)據(jù)庫。文本向量模型(Embedding)用于將自然語言文本(如用戶查詢、文檔內(nèi)容等)轉(zhuǎn)換為向量形式,從而幫助系統(tǒng)選擇最合適的文本片段進(jìn)行組合和生成。依據(jù)本研究的應(yīng)用場景,考慮支持中文文本向量化、文本相似度分布合理、開源穩(wěn)定易獲取以及支持為大模型調(diào)用外部知識(shí)等多個(gè)因素,最終選擇了北京智源的BGE-Large-ZH-V1.5模型進(jìn)行文本向量化處理。同時(shí),本研究選擇了開源庫FAISS來存儲(chǔ)和索引向量數(shù)據(jù),以實(shí)現(xiàn)糧食安全政策問題與答案的深度匹配[28],已有中文問答系統(tǒng)研究先例證實(shí)該向量數(shù)據(jù)庫的可行性[29]。

    3.2.2" "數(shù)據(jù)集的構(gòu)建方法

    為了滿足技術(shù)策略的需求,本研究準(zhǔn)備了兩套數(shù)據(jù)集。一套專門用于大語言模型的微調(diào)訓(xùn)練,另一套則用于構(gòu)建知識(shí)庫。

    微調(diào)用數(shù)據(jù)集需要做成問答對形式,為了保證問答對的數(shù)據(jù)全面性和多樣性,本研究依據(jù)現(xiàn)有數(shù)據(jù)基礎(chǔ),構(gòu)建了三種類型的問答對數(shù)據(jù)集。分別是政策關(guān)鍵點(diǎn)問答數(shù)據(jù)、政策文本摘要問答數(shù)據(jù)和政策間關(guān)聯(lián)問答數(shù)據(jù)(構(gòu)建思路見圖3)。

    政策關(guān)鍵點(diǎn)問答數(shù)據(jù)依據(jù)現(xiàn)有政策解釋文件和解答文件構(gòu)建,這類文件內(nèi)容多樣,主要涉及政策頒布與執(zhí)行的各類關(guān)鍵信息,有助于公眾、企業(yè)和其他政府機(jī)構(gòu)形成準(zhǔn)確理解。將此類文本進(jìn)行問題與答案結(jié)構(gòu)化標(biāo)注處理,可生成政策關(guān)鍵點(diǎn)問答數(shù)據(jù)集。

    政策文本摘要問答數(shù)據(jù)和政策間關(guān)聯(lián)問答數(shù)據(jù)均依據(jù)現(xiàn)有中央與地方政府發(fā)布的關(guān)于糧食安全的法律法規(guī)、政策文件、通知公告等核心文件構(gòu)建,這些文件直接規(guī)定了糧食生產(chǎn)、流通、儲(chǔ)備、消費(fèi)等各環(huán)節(jié)的政策要求和實(shí)施標(biāo)準(zhǔn),是政策內(nèi)容問答的基礎(chǔ)依據(jù)。第一,基于Python提取結(jié)構(gòu)化政策要素,調(diào)用大語言模型提取每篇政策文本的名稱、主體、主要內(nèi)容等信息,生成篇章級文本摘要并進(jìn)行核驗(yàn)校對。第二,基于共現(xiàn)特征提取要素關(guān)聯(lián)關(guān)系,包括文本內(nèi)關(guān)聯(lián)和文本間關(guān)聯(lián),并保留了利于生成問答對的關(guān)聯(lián)關(guān)系。第三,生成政策問答對,文本內(nèi)關(guān)聯(lián)如①-②關(guān)聯(lián),生成的問題文本如“農(nóng)田建設(shè)項(xiàng)目管理辦法是哪個(gè)單位發(fā)布的?”生成的答案文本是“農(nóng)田建設(shè)項(xiàng)目管理辦法是由農(nóng)業(yè)農(nóng)村部發(fā)布的”,本研究將此類問答對稱為文本摘要類問答數(shù)據(jù)。文本間關(guān)聯(lián)如②-③-①關(guān)聯(lián),生成問題如“國家發(fā)展改革委面向糧食企業(yè)制定了哪些政策?”,生成的答案文本是“國家發(fā)展改革委面向糧食企業(yè)制定的政策有:《關(guān)于進(jìn)一步加強(qiáng)合作推進(jìn)國有糧食企業(yè)改革發(fā)展的意見》《糧食企業(yè)信用監(jiān)管辦法(試行)》等政策”。本研究將此類問答對稱為文本間關(guān)聯(lián)問答數(shù)據(jù)。最后,對答案文本進(jìn)行模板式擴(kuò)展,即在答案中加入提及政策的主要內(nèi)容。為了提升微調(diào)效果,對于關(guān)鍵或不確定的數(shù)據(jù),手動(dòng)標(biāo)注以改進(jìn)模型訓(xùn)練的效果,再對制作好的問答對數(shù)據(jù)集進(jìn)行同義改寫,生成三份同義問答對。第四,對問答對數(shù)據(jù)進(jìn)行人工核查和修訂標(biāo)注,刪除不符合常理的問答對,對語義不完整、表述不準(zhǔn)確等問題進(jìn)行人工修正,確保數(shù)據(jù)的質(zhì)量和準(zhǔn)確性,最后以JSON格式輸出數(shù)據(jù)集。

    知識(shí)庫用數(shù)據(jù)集可以容納多種形式文本。因此,本研究將政策原文、政策問答對等數(shù)據(jù)全部導(dǎo)入知識(shí)庫,但為了提高檢索效率,同時(shí)對數(shù)據(jù)進(jìn)行了標(biāo)題標(biāo)記、信息補(bǔ)全、文本摘要構(gòu)建等處理。

    3.2.3" "大語言模型微調(diào)與知識(shí)庫的構(gòu)建流程

    由微調(diào)與知識(shí)庫的構(gòu)建過程(見圖4)可知,微調(diào)經(jīng)歷了數(shù)據(jù)準(zhǔn)備、微調(diào)訓(xùn)練、核查調(diào)優(yōu)三個(gè)階段,循環(huán)多次直至結(jié)果評估符合預(yù)期。在數(shù)據(jù)準(zhǔn)備階段,構(gòu)建問答對數(shù)據(jù)集;在微調(diào)訓(xùn)練階段,設(shè)置不同的學(xué)習(xí)率、訓(xùn)練輪數(shù)等微調(diào)參數(shù)后,導(dǎo)入模型和數(shù)據(jù)集進(jìn)行微調(diào)訓(xùn)練;在核查調(diào)優(yōu)階段,首先檢查訓(xùn)練損失率評估模型訓(xùn)練效果,再初步檢查輸出答案的語法錯(cuò)誤和表達(dá)完善性,通過人工調(diào)整數(shù)據(jù)集表達(dá)語句和增加同義變換問答對數(shù)量、調(diào)整參數(shù)設(shè)置等方式提升訓(xùn)練效果。基于知識(shí)檢索增強(qiáng)的本地知識(shí)庫構(gòu)建分為數(shù)據(jù)準(zhǔn)備、文本入庫、向量化存儲(chǔ)、結(jié)果核查四個(gè)步驟。通過系統(tǒng)性地收集并整理糧食安全政策文本數(shù)據(jù)、導(dǎo)入至知識(shí)庫系統(tǒng)、實(shí)施向量化處理并嚴(yán)格核查檢索輸出結(jié)果,以進(jìn)一步細(xì)化調(diào)整知識(shí)庫文件處理內(nèi)容及參數(shù)設(shè)置,實(shí)現(xiàn)優(yōu)化目標(biāo)。將微調(diào)后的大語言模型導(dǎo)出并嵌入LangChain框架,設(shè)定由知識(shí)庫優(yōu)先進(jìn)行檢索,并將知識(shí)庫生成的文本答案傳遞給微調(diào)后的大語言模型,由其進(jìn)行最終的答案輸出,從而實(shí)現(xiàn)糧食安全政策信息的精準(zhǔn)檢索與回答。

    3.3" " 評價(jià)方法

    本研究分別采用了量化評估和人工評估兩種方式對實(shí)驗(yàn)的結(jié)果進(jìn)行評價(jià)。量化評估采用BERTScor指標(biāo)[30]中的準(zhǔn)確率P(Precision)、召回率R(Recall)、F1值得分進(jìn)行對比評估。BERTScore評估指標(biāo)基于BERT模型,計(jì)算生成文本與參考文本之間的相似性,與傳統(tǒng)的評估指標(biāo)ROUGE[31]相比,BERTScore結(jié)合了上下文語義和語法信息[32],因此常被用來評估語言生成模型。BERTScor指標(biāo)的計(jì)算公式如下:

    PBERT=max" "(")" " " " " " " " " " "(1)

    RBERT=max" "(")" " " " " " " " " " "(2)

    FBERT=2*" " " " " " " " " " " " " " " (3)

    其中x是生成文本,xi是生成文本的組成Token,X是它的嵌入向量,是參考文本,j是參考文本的組成Token,是它的嵌入向量。準(zhǔn)確率P(Precision)用來衡量生成文本中的詞與參考文本中的詞的匹配程度。對于生成文本中的每個(gè)詞,通過余弦相似度計(jì)算找到參考文本中最相似的詞,并計(jì)算相似度的最大值。再對所有生成文本中詞的相似度最大值取平均,得到Precision分?jǐn)?shù)。召回率R(Recall)用來衡量參考文本中的詞在生成文本中的覆蓋程度。對于參考文本中的每個(gè)詞,通過余弦相似度計(jì)算找到生成文本中最相似的詞,并計(jì)算相似度的最大值。再對所有參考文本中詞的相似度最大值取平均,得到Recall分?jǐn)?shù)。F1值是P和R的調(diào)和平均數(shù),用于綜合衡量生成文本與參考文本之間的相似度。BERTScore的分?jǐn)?shù)范圍在0到1之間,分?jǐn)?shù)越高,表示生成文本與參考文本之間的語義相似性越大。

    考慮到BERTScore指標(biāo)在評估生成文本時(shí)存在的局限性,特別是其無法準(zhǔn)確反映文本結(jié)構(gòu)的合理性、語法的準(zhǔn)確性,以及政策問答所特有的嚴(yán)謹(jǐn)性要求,本研究采用人工評估作為輔助評價(jià)方法。人工評估主要針對模型輸出答案的語言表達(dá)和內(nèi)容質(zhì)量進(jìn)行細(xì)致評估。為了降低人工構(gòu)造參考文本可能帶來的主觀性影響,引入文心一言的問答結(jié)果作為對比分析對象。具體而言,本研究將分別對比模型微調(diào)前與微調(diào)后的輸出結(jié)果、結(jié)合知識(shí)庫前與結(jié)合知識(shí)庫后的輸出結(jié)果,以評估模型在不同處理方式的性能表現(xiàn)及優(yōu)化效果。

    4" "服務(wù)實(shí)現(xiàn)

    4.1" " 數(shù)據(jù)獲取與預(yù)處理

    本研究所用的數(shù)據(jù)資源主要來源于兩個(gè)部分。一是自建數(shù)據(jù)庫。采集了2018年-2023年間,與糧食安全緊密相關(guān)的、在全國范圍內(nèi)具有效力的政策文本。這些文本由國務(wù)院、發(fā)改委、農(nóng)業(yè)農(nóng)村部、糧食和物資儲(chǔ)備局等相關(guān)部門發(fā)布,涵蓋了通知、意見、報(bào)告、決定、批復(fù)、復(fù)函、條例、辦法、標(biāo)準(zhǔn)、通告、規(guī)劃、規(guī)則、計(jì)劃、公告、通報(bào)等多種類型的時(shí)效性政策文件,共計(jì)153份。對獲取到的政策文本進(jìn)行如下處理:首先,進(jìn)行文本補(bǔ)全與格式調(diào)整,完善發(fā)文字號、發(fā)文機(jī)構(gòu)、獲取的官方網(wǎng)址等關(guān)鍵信息,并通過設(shè)定標(biāo)題級別、調(diào)整空行等方式將網(wǎng)絡(luò)純文本恢復(fù)為政策原文排版格式,為后續(xù)知識(shí)庫的構(gòu)建奠定基礎(chǔ);其次,提取政策增強(qiáng)信息,包括生成篇章級文本摘要、政策背景、關(guān)鍵或注意事項(xiàng),記錄政策原文官方網(wǎng)址等,用于構(gòu)建知識(shí)庫(見表1);最后,分別基于單一文本和多文本提取政策要素和要素關(guān)聯(lián)關(guān)系,構(gòu)建政策文本摘要問答對和政策間關(guān)聯(lián)問答對,共構(gòu)建問答對1283條。

    二是政策解釋文件與問答文件數(shù)據(jù)。采集近五年政府官方網(wǎng)站發(fā)布的糧食相關(guān)政策解釋與問答數(shù)據(jù),采集時(shí)間為2024年6月1日至3日。進(jìn)行問答文本結(jié)構(gòu)化標(biāo)注,包括補(bǔ)全問題、刪除網(wǎng)頁標(biāo)記等冗余信息等,共獲得糧食安全相關(guān)政策關(guān)鍵點(diǎn)問答對數(shù)量357條。最終將問答對數(shù)據(jù)格式轉(zhuǎn)換為統(tǒng)一的JSON數(shù)據(jù)集文件。

    4.2" " 實(shí)驗(yàn)環(huán)境與主要參數(shù)

    首先,基于算力云搭建虛擬環(huán)境,分別部署LangChain檢索增強(qiáng)生成框架和LLaMA-factory大語言模型微調(diào)訓(xùn)練框架(基礎(chǔ)環(huán)境參數(shù)見表2)。

    其次,在LLaMA-factory框架下采用LoRA方式對DeepSeek-R1-Distill-Llama-8B模型進(jìn)行微調(diào),導(dǎo)入問答對數(shù)據(jù)集,根據(jù)樣本數(shù)量設(shè)置學(xué)習(xí)率為3e-5,數(shù)據(jù)集的最大樣本量設(shè)置1500,批處理大小設(shè)置為8。損失率降到1以下,表明模型已經(jīng)開始有效地學(xué)習(xí)并擬合訓(xùn)練數(shù)據(jù)。系統(tǒng)記錄了伴隨著系統(tǒng)更新次數(shù)的增加,并得出損失率的變化情況(見圖5),微調(diào)結(jié)束后分別選擇是否加載模型并進(jìn)行問答測試,導(dǎo)出微調(diào)后的模型。

    最后,調(diào)用導(dǎo)出的微調(diào)后模型接入LangChain框架,創(chuàng)建糧食安全政策知識(shí)庫,將政策文本文件、篇章級政策文本摘要以及政策關(guān)鍵事項(xiàng)、問答對等經(jīng)過預(yù)處理的文本數(shù)據(jù)導(dǎo)入知識(shí)庫。在文本處理環(huán)節(jié),運(yùn)用BGE-Large-ZH-V1.5進(jìn)行文本向量化處理,鑒于政策內(nèi)容問答的應(yīng)用場景對準(zhǔn)確性有較高的要求,選擇較長的切分長度以保留更多的上下文信息,設(shè)置文本切分長度為250,重復(fù)文本長度為50,為了進(jìn)一步提升切分的完整性,特別加強(qiáng)了對標(biāo)題的識(shí)別能力,以FAISS向量數(shù)據(jù)庫存儲(chǔ)。配置結(jié)束后可以選擇是否加載知識(shí)庫進(jìn)行問答測試。為了查看對比效果,同時(shí)配置了未進(jìn)行微調(diào)的DeepSeek-R1-Distill-Llama-8B模型,根據(jù)需要可選擇相應(yīng)的模型進(jìn)行問答輸出。

    4.3" " 結(jié)果評價(jià)與討論

    將大語言模型接入LangChain框架,實(shí)現(xiàn)了優(yōu)先檢索知識(shí)庫知識(shí)再生成答案的方案設(shè)想,并構(gòu)建了問答交互界面(見圖6),當(dāng)咨詢問題在知識(shí)庫內(nèi)匹配到相關(guān)文檔時(shí),會(huì)根據(jù)知識(shí)庫的文檔生成答案,若知識(shí)庫沒有與咨詢問題相關(guān)的文檔,則由大模型自身能力生成回答。提升問答服務(wù)可解釋性的同時(shí),兼顧了問答服務(wù)的服務(wù)范圍。

    從數(shù)據(jù)集中針對每一類問題挑選30個(gè)代表性問題對模型輸出結(jié)果進(jìn)行人工評估和量化分析。其中,所有用于量化計(jì)算的文本均為輸出文本的答案部分,未選擇問題解析部分(測評結(jié)果詳見表3)。整體上看,無論采用單獨(dú)的大語言模型微調(diào)還是結(jié)合知識(shí)庫使用,模型輸出答案與參考答案的BERTScore分值都表現(xiàn)出較好的結(jié)果。不同類型問答輸出的質(zhì)量有一定差異,其中政策關(guān)鍵點(diǎn)問答和政策間關(guān)聯(lián)類的問題回答效果更加顯著,說明通過我們整理的數(shù)據(jù)集訓(xùn)練,強(qiáng)化了模型對專業(yè)領(lǐng)域問題的理解。

    在實(shí)驗(yàn)過程中持續(xù)對輸出結(jié)果進(jìn)行人工核查,主要關(guān)注輸出答案的語義完整性和正確性,以及輸出文本的結(jié)構(gòu)合理性,增加了與其他模型輸出結(jié)果的對比。以一組實(shí)例的對比為例,需要說明的是,在測評過程中,為了提升模型輸出的結(jié)構(gòu)嚴(yán)謹(jǐn)性,實(shí)驗(yàn)時(shí)將Temperature參數(shù)值設(shè)定為0.6。這一設(shè)定降低了生成文本時(shí)的隨機(jī)性,提高了其確定性,從而有助于生成結(jié)構(gòu)更加嚴(yán)謹(jǐn)、語義清晰的答案(見表4)。

    在回答政策關(guān)鍵點(diǎn)問題時(shí),文心一言和未經(jīng)訓(xùn)練的DeepSeek模型,輸出的答案都傾向于更加廣泛的選擇,分析其原因,與其數(shù)據(jù)來源的廣泛性有關(guān),導(dǎo)致模型在進(jìn)行領(lǐng)域問題判斷時(shí)較難給出直接準(zhǔn)確的答案。相比之下,經(jīng)過微調(diào)的DeepSeek模型,因訓(xùn)練數(shù)據(jù)經(jīng)過了嚴(yán)格的篩選,減少了信息冗余,其精確回答避免了不必要的解釋或信息,從而減輕了用戶閱讀的負(fù)擔(dān),提高了信息獲取的效率。這也進(jìn)一步證實(shí)了該實(shí)驗(yàn)方案可適用于區(qū)域政府的問答服務(wù)等服務(wù)場景;在回答政策間關(guān)聯(lián)類問題時(shí),經(jīng)過微調(diào)和微調(diào)加知識(shí)庫的方式均可以根據(jù)自建數(shù)據(jù)集給出符合關(guān)聯(lián)關(guān)系的答案,而文心一言和未經(jīng)訓(xùn)練的DeepSeek模型在回答此類問題時(shí)基本從單獨(dú)文本匹配生成答案,文本間的要素關(guān)聯(lián)能力相對較弱。顯然,本研究設(shè)計(jì)的底層數(shù)據(jù)結(jié)構(gòu)在促進(jìn)服務(wù)輸出表現(xiàn)上更具優(yōu)勢;在回答政策摘要類問題時(shí),經(jīng)過微調(diào)和微調(diào)加知識(shí)庫的方式都能夠?qū)崿F(xiàn)單獨(dú)政策的摘要概括,且實(shí)現(xiàn)了新政策對舊政策的覆蓋,與參考答案相比,這兩種方案都取得了較好的學(xué)習(xí)效果。然而,在輸出文本的構(gòu)成結(jié)構(gòu)方面,存在解析過程過長而真正的摘要內(nèi)容又相對較短的情況。該方案在長文本的語義理解和摘要生成能力方面有待優(yōu)化。當(dāng)前,掛載本地知識(shí)庫可直接匹配政策原文,可作為對該處不足的彌補(bǔ)措施。

    在測評過程中還可以發(fā)現(xiàn),問答過程中偶爾出現(xiàn)模型受到前面的問題影響而導(dǎo)致后面的問題出現(xiàn)理解偏頗的情況,還有少見的部分輸出文字內(nèi)容里夾雜英文單詞等錯(cuò)誤,且僅微調(diào)的方式在處理關(guān)聯(lián)類問題時(shí)出錯(cuò)概率高于其他兩類問題。為了驗(yàn)證是不是模型選擇問題,本研究嘗試了調(diào)用ChatGLM3-6B模型對當(dāng)前數(shù)據(jù)集進(jìn)行微調(diào),發(fā)現(xiàn)不僅訓(xùn)練時(shí)間更長,小數(shù)據(jù)集微調(diào)后的問答結(jié)果出錯(cuò)情況依然存在,采用增加數(shù)據(jù)量、增加訓(xùn)練輪數(shù)等方式可以降低出錯(cuò)率,但容易出現(xiàn)過擬合的風(fēng)險(xiǎn),掛載知識(shí)庫后這一問題得到明顯改善。

    本地知識(shí)庫與DeepSeek微調(diào)模型的結(jié)合,顯著提升了輸出答案的可解釋性,這在政策內(nèi)容問答的場景中尤為重要,對于政策制定者和研究者來說,它可以幫助用戶更好地理解模型的決策過程,從而增強(qiáng)對情報(bào)智庫的信任。而對于知識(shí)庫中未包含的問題,模型根據(jù)現(xiàn)有語境與部分知識(shí)進(jìn)行推測性回答,同時(shí)給出知識(shí)庫中未檢索到相關(guān)信息的提示,展現(xiàn)了其在開放域問答中的適應(yīng)性。

    同時(shí),問答服務(wù)質(zhì)量對提示詞也高度依賴,這在政策內(nèi)容問答領(lǐng)域,尤其是在涉農(nóng)政策問答用戶群體中,用戶信息素養(yǎng)的影響會(huì)導(dǎo)致模型理解偏差的放大,進(jìn)而影響服務(wù)效果。另外,各種原因?qū)е碌哪P蜕烧邇?nèi)容不準(zhǔn)確帶來的咨詢風(fēng)險(xiǎn)都是未來應(yīng)用需要面對的挑戰(zhàn)。未來研究中或可探索逐層與用戶確認(rèn)的模型理解過程研究,或構(gòu)建人工與智能協(xié)同、模型回答與官網(wǎng)嵌入?yún)f(xié)同等政策內(nèi)容問答機(jī)制等,以提升大語言模型在政策內(nèi)容問答領(lǐng)域的可用性。

    5" "結(jié)論

    本研究以糧食安全政策為例,通過具體的方案設(shè)計(jì)、過程實(shí)驗(yàn)與結(jié)果評價(jià)探討如何將大語言模型融入情報(bào)智庫政策內(nèi)容問答領(lǐng)域服務(wù)中,實(shí)現(xiàn)了服務(wù)的創(chuàng)新與實(shí)踐。本研究證實(shí)了基于政策文本構(gòu)建專業(yè)數(shù)據(jù)集對大語言模型微調(diào)訓(xùn)練,并結(jié)合RAG技術(shù)掛載知識(shí)庫的方案,在糧食安全政策內(nèi)容問答領(lǐng)域的可行性。不僅使答案輸出更加精準(zhǔn)高效,還賦予了答案更強(qiáng)的可解釋性,同時(shí)保持了大語言模型在廣泛領(lǐng)域問答中的適應(yīng)性,為情報(bào)智庫在糧食安全政策內(nèi)容問答場景中提供了更優(yōu)的服務(wù)參考。當(dāng)然,本研究也存在一些不足,問答服務(wù)質(zhì)量還有進(jìn)一步提升的空間。在未來研究中,將進(jìn)一步探討如何構(gòu)建基于用戶體驗(yàn)的持續(xù)優(yōu)化與數(shù)據(jù)更新機(jī)制,不斷優(yōu)化情報(bào)智庫在領(lǐng)域政策內(nèi)容問答方面的服務(wù)水平,提升用戶體驗(yàn),為政策制定者、研究者以及更廣泛的公眾提供更加精準(zhǔn)、高效、可信的情報(bào)智庫服務(wù)。

    參考文獻(xiàn):

    [1]" 王翼虎,白海燕,孟旭陽.大語言模型在圖書館參考咨詢服務(wù)中的智能化實(shí)踐探索[J].情報(bào)理論與實(shí)踐,2023,46(8):96-103.

    [2]" 趙宇翔,劉周穎,朱慶華.從免費(fèi)到付費(fèi):認(rèn)知鎖定對在線問答平臺(tái)中提問者轉(zhuǎn)移行為的影響研究[J].情報(bào)學(xué)報(bào), 2020,39(5):534-546.

    [3]" 劉彥輝,張海濤,蘇欣宇,等.面向糧食安全的情報(bào)服務(wù)研究現(xiàn)狀及展望[J].情報(bào)科學(xué),2024,42(7):180-190.

    [4]" 中國政府網(wǎng).國務(wù)院辦公廳關(guān)于進(jìn)一步促進(jìn)農(nóng)產(chǎn)品加工業(yè)發(fā)展的意見[EB/OL].[2024-06-27].https://www.gov.cn/gongbao/content/2017/content_5160233.htm.

    [5]" 中國政府網(wǎng).工業(yè)和信息化部等18部門辦公廳(室)關(guān)于開展2024年“一起益企”中小微企業(yè)服務(wù)行動(dòng)的通知[EB/OL].[2024-06-27].https://www.gov.cn/zhengce/zhengceku/202403/content_6938749.htm.

    [6]" 國家糧食和物資儲(chǔ)備局.關(guān)于統(tǒng)籌推進(jìn)糧食和物資儲(chǔ)備信息化建設(shè)的指導(dǎo)意見[EB/OL].[2024-06-27].http://www.lswz.gov.cn/html/zcfb/2020-01/15/content_248536.shtml.

    [7]" 李剛,陳霏,蘇丹淳,等.智庫建設(shè)范式的轉(zhuǎn)型:從專家驅(qū)動(dòng)到數(shù)據(jù)驅(qū)動(dòng)[J].圖書與情報(bào),2023,44(5):1-12.

    [8]" 文森,錢力,胡懋地,等.基于大語言模型的問答技術(shù)研究進(jìn)展綜述[J].數(shù)據(jù)分析與知識(shí)發(fā)現(xiàn),2024,8(6):16-29.

    [9]" Guo D,Yang D,Zhang H,et al.Deepseek-r1:Incentivizing reasoning capability in llms via reinforcement learning[J].arXiv preprint arXiv,2025:2501.12948.

    [10]" 胡安琪.AIGC驅(qū)動(dòng)下圖書館智慧服務(wù)生態(tài)模式構(gòu)建與實(shí)現(xiàn)路徑研究[J].圖書館理論與實(shí)踐,2024(3):68-77.

    [11]" 宋小康,趙宇翔,宋士杰,等.社會(huì)技術(shù)系統(tǒng)范式下AI賦能的替代信息搜索:特征、理論框架與研究展望[J].圖書情報(bào)知識(shí),2023,40(4):111-121.

    [12]" BROWNING J.Getting it right:the limits of fine-tuning large language models[J].Ethics and Information Technology,2024,26(2):1-9.

    [13]" LEWIS P,PEREZ E,PIKTUS A,et al.Retrieval-augmented generation for knowledge-intensive nlp tasks[C]//Advances in Neural Information Processing Systems,NY,Curran Associates Inc,2020:9459-9474.

    [14]" KRESEVIC S,GIUFFR?魬 M,AJCEVIC M,et al.Optimization of hepatological clinical guidelines interpretation by large language models:a retrieval augmented generation-based framework[J].NPJ Digital Medicine,2024,7(1):102.

    [15]" SIRIWARDHANA S,WEERASEKERA R,Wen E,et al.Improving the domain adaptation of retrieval augmented generation (RAG) models for open domain question answering[J].Transactions of the Association for Computational Linguistics,2023,

    11:1-17.

    [16]" Parvez MR,Chi J,Ahmad WU,et al.Retrieval enhanced data augmentation for question answering on privacy policies[J].arXiv preprint arXiv,2022:2204.08952.

    [17]" Lu Z,Wang W,Guo T,et al.Decoding urban policies:NLP-driven concise explanations[J].Environment and Planning B:Urban analytics and city science,2025:23998083251321981.

    [18]" Yang T,Mei Y,Xu L,et al.Application of question answering systems for intelligent agriculture production and sustainable management:A review[J].Resources,Conservation and Recycling,2024,204:107497.

    [19]" PATIL R,GUDIVADA V.A review of current trends,techniques,and challenges in large language models(llms)[J].Applied Sciences,2024,14(5):2074.

    [20]" 李曉靜,王志濤.數(shù)字鄉(xiāng)村戰(zhàn)略下我國農(nóng)民數(shù)字技能量表構(gòu)建及應(yīng)用[J].圖書與情報(bào),2023(4):117-128.

    [21]" 張馨月,王芳.基于KANO模型的政務(wù)智能問答系統(tǒng)功能優(yōu)化研究[J/OL].情報(bào)科學(xué):1-26[2024-07-04].http://kns.cnki.net/kcms/detail/22.1264.G2.20240627.1303.010.html.

    [22]" 王靜靜,葉鷹,王婉茹.ChatGPT類AI-GPT技術(shù)應(yīng)用對圖書館信息處理的變革探析[J].圖書館理論與實(shí)踐,2024(1):122-127,136.

    [23]" 劉倩倩,劉圣嬰,劉煒.圖書情報(bào)領(lǐng)域大模型的應(yīng)用模式和數(shù)據(jù)治理[J].圖書館雜志,2023,42(12):22-35.

    [24]" 張維沖,王芳,趙洪.基于全要素網(wǎng)絡(luò)構(gòu)建的大規(guī)模政策知識(shí)關(guān)聯(lián)聚合研究[J].情報(bào)學(xué)報(bào),2023,42(3):289-303.

    [25]" 華斌,康月,范林昊.政策文本的知識(shí)建模與關(guān)聯(lián)問答研究[J].數(shù)據(jù)分析與知識(shí)發(fā)現(xiàn),2022,6(11):79-92.

    [26]" XIAOLIANG M,RUQIANG Z,YING L,et al.Design of a large language model for improving customer service in telecom operators[J].Electronics Letters,2024,60(10):e13218.

    [27]" QIU X,HAO T,SHI S,et al.Chain-of-LoRA:Enhancing the instruction fine-tuning performance of low-rank adaptation on diverse instruction set[J].IEEE Signal Processing Letters,2024.31:875-879.

    [28]nbsp; JOHNSON J,DOUZE M,J?魪GOU H.Billion-scale similarity search with GPUs[J].IEEE Transactions on Big Data,2019,7(3):535-547.

    [29]" XU L,LU L,LIU M,et al.Nanjing Yunjin intelligent question-answering system based on knowledge graphs and retrieval augmented generation technology[J].Heritage Science,2024,12(1):118.

    [30]" Zhang T,Kishore V,Wu F,et al.Bertscore:Evaluating text generation with bert[J].arXiv preprint arXiv,2019:1904.09675.

    [31]" 吳娜,沈思,王東波.基于開源LLMs的中文學(xué)術(shù)文本標(biāo)題生成研究——以人文社科領(lǐng)域?yàn)槔跩].情報(bào)科學(xué),2024,42(7):137-145.

    [32]" 陳靜,曹智勛.對抗幻覺:垂直領(lǐng)域中大語言模型的應(yīng)用策略探討——以中醫(yī)知識(shí)問答領(lǐng)域?yàn)槔跩/OL].數(shù)據(jù)分析與知識(shí)發(fā)現(xiàn),1-18[2025-01-25].http://kns.cnki.net/kcms/detail/10.1478.G2.20241218.1438.006.html.

    作者簡介:劉彥輝(1986-),男,吉林大學(xué)商學(xué)與管理學(xué)院博士研究生,研究方向:情報(bào)服務(wù)與情報(bào)決策;張海濤(1966-),男,吉林大學(xué)商學(xué)與管理學(xué)院、吉林大學(xué)信息資源研究中心、吉林大學(xué)國家發(fā)展與安全研究院教授,博士生導(dǎo)師,研究方向:數(shù)據(jù)智慧與社會(huì)治理、信息行為與智慧服務(wù);周紅磊(1996-),男,吉林大學(xué)商學(xué)與管理學(xué)院助理研究員,研究方向:應(yīng)急情報(bào)與智慧服務(wù);龐宇飛(1995-),男,吉林大學(xué)商學(xué)與管理學(xué)院博士研究生,研究方向:突發(fā)事件與社會(huì)治理。

    猜你喜歡
    糧食安全
    我國的糧食安全及對策探討
    卷宗(2016年10期)2017-01-21 18:41:25
    我國的糧食安全及對策探討
    卷宗(2016年10期)2017-01-21 18:40:53
    城市化背景下的耕地保護(hù)
    廣義水資源利用效率綜合評價(jià)指數(shù)的
    城鎮(zhèn)化加速背景下河北省糧食儲(chǔ)備形式轉(zhuǎn)變分析
    強(qiáng)化農(nóng)田水利改革 確保糧食生產(chǎn)安全
    農(nóng)村科學(xué)儲(chǔ)糧與糧食安全研究
    農(nóng)地流轉(zhuǎn)“非糧化”及對糧食安全影響研究述評
    人民論壇(2016年17期)2016-07-15 10:40:31
    中國農(nóng)業(yè)需避免落入產(chǎn)業(yè)化陷阱
    人民論壇(2016年12期)2016-05-04 11:31:13
    云南省糧食安全視角下馬鈴薯產(chǎn)業(yè)發(fā)展
    商(2016年6期)2016-04-20 18:39:31
    国产亚洲精品第一综合不卡 | 边亲边吃奶的免费视频| 精品一区二区免费观看| 久久影院123| 一二三四中文在线观看免费高清| 欧美xxxx性猛交bbbb| 老司机影院成人| 亚洲美女搞黄在线观看| 一区二区日韩欧美中文字幕 | 高清黄色对白视频在线免费看| 亚洲精品aⅴ在线观看| 波多野结衣一区麻豆| 七月丁香在线播放| 亚洲精品久久午夜乱码| 午夜91福利影院| 在线亚洲精品国产二区图片欧美| 巨乳人妻的诱惑在线观看| 深夜精品福利| 免费高清在线观看日韩| 国产精品偷伦视频观看了| 男女边吃奶边做爰视频| 精品久久久精品久久久| 妹子高潮喷水视频| h视频一区二区三区| 制服丝袜香蕉在线| 看非洲黑人一级黄片| 最近最新中文字幕免费大全7| 伦理电影免费视频| 在线观看美女被高潮喷水网站| 精品一区二区三区视频在线| 高清在线视频一区二区三区| 久久亚洲国产成人精品v| 国产男女超爽视频在线观看| 久久久久久久久久久久大奶| 一级a做视频免费观看| 久久热在线av| 国产免费一区二区三区四区乱码| 久久久久久人妻| av在线app专区| 亚洲,欧美精品.| av黄色大香蕉| 女人被躁到高潮嗷嗷叫费观| 亚洲人与动物交配视频| 亚洲av综合色区一区| 中文字幕亚洲精品专区| 宅男免费午夜| 91国产中文字幕| 女人精品久久久久毛片| 亚洲国产精品一区三区| 久久久久人妻精品一区果冻| 久久久久精品性色| 18禁国产床啪视频网站| 人成视频在线观看免费观看| 一本—道久久a久久精品蜜桃钙片| 欧美另类一区| 少妇 在线观看| 精品人妻一区二区三区麻豆| 久久久久精品人妻al黑| 亚洲精品视频女| 国产高清国产精品国产三级| 男人爽女人下面视频在线观看| 在线亚洲精品国产二区图片欧美| 久久久久久久久久人人人人人人| 亚洲欧洲国产日韩| 欧美日韩视频高清一区二区三区二| 高清欧美精品videossex| 97人妻天天添夜夜摸| 亚洲精品久久成人aⅴ小说| 五月开心婷婷网| 男女边摸边吃奶| 少妇人妻久久综合中文| 国产老妇伦熟女老妇高清| 女人被躁到高潮嗷嗷叫费观| 18+在线观看网站| 最近中文字幕2019免费版| 26uuu在线亚洲综合色| 亚洲欧洲日产国产| 狂野欧美激情性xxxx在线观看| 免费观看无遮挡的男女| 免费观看性生交大片5| 午夜福利影视在线免费观看| 精品一品国产午夜福利视频| 中文字幕人妻丝袜制服| 男人操女人黄网站| 久久午夜福利片| 久久精品久久久久久久性| 国产亚洲av片在线观看秒播厂| 国产精品久久久久久久电影| 精品一区二区免费观看| 大片免费播放器 马上看| 老熟女久久久| 成人免费观看视频高清| 欧美bdsm另类| 人人澡人人妻人| 国产精品久久久久久久久免| 高清视频免费观看一区二区| 2022亚洲国产成人精品| 少妇的丰满在线观看| 大香蕉97超碰在线| 亚洲av在线观看美女高潮| 国产伦理片在线播放av一区| 母亲3免费完整高清在线观看 | 欧美日韩视频精品一区| 人人澡人人妻人| 亚洲人与动物交配视频| 久久久久久久亚洲中文字幕| 精品酒店卫生间| 国产精品偷伦视频观看了| 国产国拍精品亚洲av在线观看| 久久精品国产综合久久久 | 亚洲国产av影院在线观看| 久久热在线av| 99热这里只有是精品在线观看| 乱人伦中国视频| 成年美女黄网站色视频大全免费| 久久精品久久久久久噜噜老黄| 国产视频首页在线观看| 免费黄色在线免费观看| 亚洲成色77777| 香蕉国产在线看| √禁漫天堂资源中文www| 欧美人与性动交α欧美软件 | 久久久久久伊人网av| 丰满迷人的少妇在线观看| 成年人午夜在线观看视频| 久久这里有精品视频免费| 夫妻性生交免费视频一级片| 国产精品秋霞免费鲁丝片| 青春草亚洲视频在线观看| 晚上一个人看的免费电影| 欧美老熟妇乱子伦牲交| freevideosex欧美| 国产成人91sexporn| 婷婷色综合www| 少妇熟女欧美另类| 人妻 亚洲 视频| 老司机影院毛片| 精品久久蜜臀av无| 久久午夜福利片| 美女视频免费永久观看网站| 日韩在线高清观看一区二区三区| 国产免费福利视频在线观看| 久久久久人妻精品一区果冻| 妹子高潮喷水视频| 久久久久国产网址| 亚洲国产欧美在线一区| 成人无遮挡网站| 男人舔女人的私密视频| 久久久久久久久久久免费av| 97在线视频观看| 国产精品久久久久久精品电影小说| 亚洲少妇的诱惑av| 成人午夜精彩视频在线观看| 午夜av观看不卡| 成人18禁高潮啪啪吃奶动态图| 美女国产高潮福利片在线看| 久热这里只有精品99| 欧美精品一区二区大全| 国产一区亚洲一区在线观看| 亚洲四区av| 日韩精品免费视频一区二区三区 | 国产极品粉嫩免费观看在线| 少妇人妻久久综合中文| 亚洲av男天堂| 国产男女内射视频| 咕卡用的链子| 少妇被粗大的猛进出69影院 | 99久国产av精品国产电影| 丁香六月天网| 丝袜人妻中文字幕| 久久久久人妻精品一区果冻| 久热久热在线精品观看| 日韩精品免费视频一区二区三区 | 伦理电影免费视频| 亚洲国产精品成人久久小说| 精品一区二区三卡| 这个男人来自地球电影免费观看 | 大香蕉久久网| 汤姆久久久久久久影院中文字幕| 伦理电影免费视频| 少妇 在线观看| videosex国产| 哪个播放器可以免费观看大片| 国语对白做爰xxxⅹ性视频网站| 国产无遮挡羞羞视频在线观看| 欧美最新免费一区二区三区| 亚洲精品乱久久久久久| 亚洲国产最新在线播放| 免费少妇av软件| 亚洲av日韩在线播放| 成人国语在线视频| 国产亚洲精品久久久com| 国产精品不卡视频一区二区| 观看av在线不卡| 亚洲精品久久午夜乱码| 久久精品国产鲁丝片午夜精品| 欧美最新免费一区二区三区| 少妇的逼好多水| videossex国产| 国产av一区二区精品久久| 交换朋友夫妻互换小说| 国产精品三级大全| 日本欧美国产在线视频| 久久精品aⅴ一区二区三区四区 | 国产免费一级a男人的天堂| 爱豆传媒免费全集在线观看| 最近手机中文字幕大全| 尾随美女入室| 日韩精品有码人妻一区| 久久久久网色| 18+在线观看网站| 日本av免费视频播放| 日日爽夜夜爽网站| 久久精品国产鲁丝片午夜精品| 免费av不卡在线播放| 色哟哟·www| 在线免费观看不下载黄p国产| 国产又色又爽无遮挡免| 看免费成人av毛片| 国产欧美另类精品又又久久亚洲欧美| 在线免费观看不下载黄p国产| 午夜视频国产福利| 成人毛片60女人毛片免费| xxxhd国产人妻xxx| 亚洲精品国产av蜜桃| 五月开心婷婷网| 黑人猛操日本美女一级片| 少妇熟女欧美另类| 亚洲,欧美,日韩| 日韩三级伦理在线观看| av女优亚洲男人天堂| 久久久精品免费免费高清| 永久免费av网站大全| 啦啦啦中文免费视频观看日本| 婷婷色av中文字幕| 亚洲精品美女久久久久99蜜臀 | 另类精品久久| 色94色欧美一区二区| 国产极品粉嫩免费观看在线| 精品久久久精品久久久| 天天影视国产精品| 亚洲第一区二区三区不卡| 人人妻人人添人人爽欧美一区卜| av在线app专区| 大陆偷拍与自拍| 在线观看美女被高潮喷水网站| 在线亚洲精品国产二区图片欧美| 欧美最新免费一区二区三区| 天堂8中文在线网| 欧美 日韩 精品 国产| 五月开心婷婷网| 制服人妻中文乱码| 亚洲国产欧美日韩在线播放| 99国产综合亚洲精品| 亚洲欧美成人综合另类久久久| 国产黄色视频一区二区在线观看| 国产成人精品福利久久| 免费av中文字幕在线| 99热这里只有是精品在线观看| 久久久久国产网址| 国产视频首页在线观看| 丝袜在线中文字幕| 国产高清不卡午夜福利| 精品午夜福利在线看| 久久久久国产精品人妻一区二区| 国产成人午夜福利电影在线观看| av在线观看视频网站免费| 少妇猛男粗大的猛烈进出视频| 亚洲少妇的诱惑av| 亚洲精品aⅴ在线观看| 久久午夜福利片| 精品一区二区三卡| 亚洲精品久久久久久婷婷小说| 人人澡人人妻人| 亚洲国产成人一精品久久久| 国产成人精品久久久久久| 国产精品三级大全| 免费黄色在线免费观看| 亚洲欧美一区二区三区黑人 | 在线观看国产h片| 超碰97精品在线观看| 久久久久久久亚洲中文字幕| 精品国产乱码久久久久久小说| 国产精品久久久久成人av| 亚洲欧美色中文字幕在线| 在线天堂最新版资源| 多毛熟女@视频| 美女视频免费永久观看网站| 亚洲激情五月婷婷啪啪| 久久精品久久精品一区二区三区| 成人综合一区亚洲| 日韩中字成人| 国产精品嫩草影院av在线观看| 精品国产一区二区三区四区第35| 男女下面插进去视频免费观看 | 夜夜爽夜夜爽视频| 丰满饥渴人妻一区二区三| 久久精品国产a三级三级三级| 18+在线观看网站| 男女啪啪激烈高潮av片| 午夜激情久久久久久久| 我要看黄色一级片免费的| 久久精品熟女亚洲av麻豆精品| 在线天堂最新版资源| 亚洲欧美成人综合另类久久久| av在线播放精品| 另类精品久久| 宅男免费午夜| 天天躁夜夜躁狠狠久久av| 我的女老师完整版在线观看| 看免费av毛片| 一边摸一边做爽爽视频免费| 80岁老熟妇乱子伦牲交| av福利片在线| 在线 av 中文字幕| 色网站视频免费| 久久ye,这里只有精品| 青春草国产在线视频| 国产成人精品无人区| av国产精品久久久久影院| 精品亚洲成a人片在线观看| 中文欧美无线码| 高清欧美精品videossex| 宅男免费午夜| 亚洲av成人精品一二三区| 晚上一个人看的免费电影| 午夜福利在线观看免费完整高清在| 久久久精品94久久精品| 免费人成在线观看视频色| 哪个播放器可以免费观看大片| 丝袜美足系列| 亚洲经典国产精华液单| 久久人人爽人人爽人人片va| av国产久精品久网站免费入址| 亚洲国产日韩一区二区| 777米奇影视久久| 亚洲五月色婷婷综合| av网站免费在线观看视频| 黄色怎么调成土黄色| tube8黄色片| 久久这里只有精品19| 欧美精品亚洲一区二区| 国产av码专区亚洲av| 色吧在线观看| 欧美日韩国产mv在线观看视频| 久久精品人人爽人人爽视色| 国产亚洲最大av| 午夜视频国产福利| 国产国语露脸激情在线看| 国语对白做爰xxxⅹ性视频网站| 亚洲av电影在线进入| 国产亚洲最大av| 久久人人97超碰香蕉20202| 国产精品无大码| 国产精品熟女久久久久浪| 国产毛片在线视频| 美女xxoo啪啪120秒动态图| 乱码一卡2卡4卡精品| 成人手机av| 热re99久久精品国产66热6| 99国产精品免费福利视频| 18禁裸乳无遮挡动漫免费视频| 日韩 亚洲 欧美在线| 欧美日韩一区二区视频在线观看视频在线| 精品少妇久久久久久888优播| 日本91视频免费播放| 99热网站在线观看| 韩国高清视频一区二区三区| 香蕉国产在线看| 国产精品久久久久久精品电影小说| 五月开心婷婷网| 久久韩国三级中文字幕| 免费看不卡的av| 成人国产av品久久久| 欧美激情国产日韩精品一区| 亚洲综合色网址| 国产日韩欧美视频二区| 国产极品天堂在线| 最后的刺客免费高清国语| 欧美人与善性xxx| 精品一区在线观看国产| 亚洲国产精品国产精品| 丝袜人妻中文字幕| 欧美丝袜亚洲另类| 亚洲精品aⅴ在线观看| 亚洲av免费高清在线观看| 九草在线视频观看| 激情五月婷婷亚洲| 亚洲精华国产精华液的使用体验| 黑人高潮一二区| 亚洲国产成人一精品久久久| 久久精品久久久久久噜噜老黄| 免费黄色在线免费观看| 性高湖久久久久久久久免费观看| 大片免费播放器 马上看| 亚洲国产精品999| 最新中文字幕久久久久| 亚洲国产精品国产精品| 亚洲色图 男人天堂 中文字幕 | 少妇 在线观看| 1024视频免费在线观看| 亚洲欧美清纯卡通| 黄色一级大片看看| av卡一久久| 国产伦理片在线播放av一区| 一边亲一边摸免费视频| 一区二区日韩欧美中文字幕 | 亚洲婷婷狠狠爱综合网| 大陆偷拍与自拍| xxxhd国产人妻xxx| h视频一区二区三区| 男女国产视频网站| 一级爰片在线观看| 国产熟女午夜一区二区三区| 午夜精品国产一区二区电影| av在线观看视频网站免费| 一级毛片我不卡| 国产免费福利视频在线观看| 一级毛片我不卡| 人体艺术视频欧美日本| 国精品久久久久久国模美| 午夜视频国产福利| 亚洲国产精品一区三区| 97超碰精品成人国产| 日韩av不卡免费在线播放| 国产亚洲一区二区精品| 亚洲第一区二区三区不卡| 久久国产亚洲av麻豆专区| 免费在线观看完整版高清| 国产欧美另类精品又又久久亚洲欧美| 精品视频人人做人人爽| 中国三级夫妇交换| 飞空精品影院首页| 亚洲综合色惰| 精品99又大又爽又粗少妇毛片| 精品一区二区三区四区五区乱码 | 日本av手机在线免费观看| 欧美老熟妇乱子伦牲交| 色哟哟·www| 人妻一区二区av| 一级毛片电影观看| 精品一区二区三卡| 制服人妻中文乱码| 精品视频人人做人人爽| 狂野欧美激情性xxxx在线观看| 亚洲精品久久成人aⅴ小说| 国产精品国产三级国产av玫瑰| 日韩视频在线欧美| 日韩大片免费观看网站| a级毛色黄片| 高清黄色对白视频在线免费看| 男女高潮啪啪啪动态图| 欧美丝袜亚洲另类| 看十八女毛片水多多多| 久久综合国产亚洲精品| 国产伦理片在线播放av一区| 狂野欧美激情性xxxx在线观看| 久久精品久久久久久久性| 边亲边吃奶的免费视频| 老司机影院成人| 最新的欧美精品一区二区| 51国产日韩欧美| 全区人妻精品视频| 久久精品夜色国产| 久久久亚洲精品成人影院| 日本欧美国产在线视频| 免费女性裸体啪啪无遮挡网站| 久久精品国产综合久久久 | 在线观看美女被高潮喷水网站| 久久毛片免费看一区二区三区| 日韩成人av中文字幕在线观看| 久久久欧美国产精品| 午夜久久久在线观看| 精品少妇黑人巨大在线播放| 欧美性感艳星| 18+在线观看网站| 国产1区2区3区精品| 久久久久久久久久成人| 好男人视频免费观看在线| 大香蕉久久网| 黄色毛片三级朝国网站| 国产免费福利视频在线观看| 亚洲综合精品二区| 亚洲精品视频女| 免费黄色在线免费观看| 午夜日本视频在线| 午夜精品国产一区二区电影| 精品国产乱码久久久久久小说| 免费黄网站久久成人精品| 日韩制服骚丝袜av| 丝瓜视频免费看黄片| 啦啦啦在线观看免费高清www| 一个人免费看片子| 五月玫瑰六月丁香| 亚洲国产看品久久| 色吧在线观看| 中国美白少妇内射xxxbb| 久久午夜综合久久蜜桃| 亚洲人成77777在线视频| 久久 成人 亚洲| 国产精品久久久久久久电影| 国产精品熟女久久久久浪| 久久久久久久久久人人人人人人| 成年人午夜在线观看视频| 欧美日韩一区二区视频在线观看视频在线| 亚洲欧美日韩另类电影网站| 丝袜人妻中文字幕| 麻豆精品久久久久久蜜桃| 国产 一区精品| 妹子高潮喷水视频| 亚洲av男天堂| 又黄又爽又刺激的免费视频.| 成人18禁高潮啪啪吃奶动态图| 欧美老熟妇乱子伦牲交| 成人影院久久| 久久精品人人爽人人爽视色| 国产成人a∨麻豆精品| 高清黄色对白视频在线免费看| 在线 av 中文字幕| 大话2 男鬼变身卡| 飞空精品影院首页| 久久久久精品久久久久真实原创| 国产淫语在线视频| 国产精品免费大片| 亚洲,欧美精品.| 午夜免费鲁丝| 国产成人一区二区在线| 国产亚洲精品久久久com| 插逼视频在线观看| 天堂俺去俺来也www色官网| 大香蕉久久成人网| 极品少妇高潮喷水抽搐| 亚洲av男天堂| videos熟女内射| 成人漫画全彩无遮挡| 高清视频免费观看一区二区| 99久久精品国产国产毛片| 免费女性裸体啪啪无遮挡网站| 久久韩国三级中文字幕| 1024视频免费在线观看| 韩国高清视频一区二区三区| 国产精品国产三级国产av玫瑰| 免费少妇av软件| 国产成人av激情在线播放| 日韩,欧美,国产一区二区三区| 精品久久久精品久久久| 国产成人精品无人区| 亚洲国产色片| 免费播放大片免费观看视频在线观看| 狠狠精品人妻久久久久久综合| 亚洲伊人久久精品综合| 乱码一卡2卡4卡精品| 一级片'在线观看视频| 秋霞伦理黄片| 国产免费视频播放在线视频| 精品酒店卫生间| 最近的中文字幕免费完整| 一区二区三区精品91| 国产精品麻豆人妻色哟哟久久| 亚洲av福利一区| 日本91视频免费播放| 天美传媒精品一区二区| 久久精品国产亚洲av涩爱| a级毛片黄视频| 午夜日本视频在线| 免费黄频网站在线观看国产| 国产精品人妻久久久影院| 亚洲久久久国产精品| 啦啦啦中文免费视频观看日本| 在线天堂中文资源库| av女优亚洲男人天堂| 亚洲精品日韩在线中文字幕| 91成人精品电影| 又粗又硬又长又爽又黄的视频| 五月开心婷婷网| av电影中文网址| 成人黄色视频免费在线看| 国产一级毛片在线| 亚洲国产av新网站| 亚洲精品一二三| 久久久久久久精品精品| 成人毛片60女人毛片免费| 亚洲五月色婷婷综合| 亚洲av.av天堂| 国产淫语在线视频| 少妇的丰满在线观看| 黄色一级大片看看| 大片免费播放器 马上看| 国产精品偷伦视频观看了| 中文字幕亚洲精品专区| 国产亚洲最大av| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 91aial.com中文字幕在线观看| 纯流量卡能插随身wifi吗| 欧美国产精品一级二级三级| 久久婷婷青草| 咕卡用的链子| 交换朋友夫妻互换小说| 国产无遮挡羞羞视频在线观看| 婷婷色综合大香蕉| 午夜免费男女啪啪视频观看| xxxhd国产人妻xxx| 亚洲一区二区三区欧美精品| 美女视频免费永久观看网站| 有码 亚洲区| 伦精品一区二区三区| 熟女人妻精品中文字幕| 国产精品无大码| 国产爽快片一区二区三区| 亚洲av福利一区| 夫妻性生交免费视频一级片| 五月天丁香电影| 亚洲伊人久久精品综合| 午夜影院在线不卡| 91精品国产国语对白视频|