• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于大語(yǔ)言模型的企業(yè)異構(gòu)數(shù)據(jù)融合查詢

    2025-04-22 00:00:00吳春龍汪敏陳智超
    科技創(chuàng)新與應(yīng)用 2025年10期
    關(guān)鍵詞:大語(yǔ)言模型知識(shí)圖譜

    摘 "要:大語(yǔ)言模型在智能問(wèn)答、文本生成、語(yǔ)言翻譯、輔助編程等創(chuàng)造性的場(chǎng)景應(yīng)用十分廣泛,但是在需求精確性的場(chǎng)景下應(yīng)用卻受到諸多限制。該文主要研究采用大語(yǔ)言模型,在知識(shí)圖譜和向量知識(shí)庫(kù)的加持下,結(jié)合Prompt提示工程、微調(diào)、LangChain等技術(shù),融合結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù),實(shí)現(xiàn)在限定知識(shí)范圍內(nèi)的精確查詢,探索大語(yǔ)言模型應(yīng)用的新方式。

    關(guān)鍵詞:大語(yǔ)言模型;異構(gòu)數(shù)據(jù);知識(shí)圖譜;向量知識(shí)庫(kù);融合查詢

    中圖分類(lèi)號(hào):TP312 " " "文獻(xiàn)標(biāo)志碼:A " " " " "文章編號(hào):2095-2945(2025)10-0001-05

    Abstract: Large Language Models (LLMs), also known as big models, have extensive applications in creative scenarios such as intelligent question answering, text generation, language translation, and programming assistance. However, their application in precision-demanding contexts is often subject to various limitations. This paper primarily investigates the utilization of large language models, coupled with the support of Knowledge Graphs and Vector Knowledge Bases. By incorporating techniques such as Prompt Engineering, fine-tuning, and LangChain, we aim to fuse structured and unstructured data and achieve precise queries within a defined knowledge scope. This research explores new approaches for the application of large language models.

    Keywords: Large Language Model (LLM); heterogeneous data; knowledge graph; vector knowledge base; fusion query

    隨著ChatGPT的橫空出世,開(kāi)啟了生成式大語(yǔ)言模型(Large Language Models,簡(jiǎn)稱(chēng)大模型或LLMs)蓬勃發(fā)展的新時(shí)代,依托Transformer[1]等技術(shù)架構(gòu)和海量的訓(xùn)練數(shù)據(jù),大模型在自然領(lǐng)域和多模態(tài)領(lǐng)域的發(fā)展十分迅速,尤其是對(duì)于非結(jié)構(gòu)化數(shù)據(jù)的處理。然而在大模型的實(shí)際應(yīng)用過(guò)程中卻存在大量的限制,例如:①缺乏解釋性,難以解釋其決策的過(guò)程,限制了其在某些領(lǐng)域的可靠性和可信度[2];②大模型雖然具有廣泛的語(yǔ)言能力和知識(shí)體系,但對(duì)特定領(lǐng)域的專(zhuān)業(yè)知識(shí)了解有限,可能無(wú)法提供準(zhǔn)確或深入的理解和分析;③新技術(shù)、新理念和新知識(shí)層出不窮,異構(gòu)數(shù)據(jù)無(wú)處不在,信息時(shí)代每時(shí)每刻都會(huì)產(chǎn)生大量的數(shù)據(jù),其中既包含信息化系統(tǒng)產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù),也包括語(yǔ)音、圖片、視頻和文檔等大量的非結(jié)構(gòu)化數(shù)據(jù),根據(jù)IDC的預(yù)測(cè),全球產(chǎn)生的數(shù)據(jù)在2025年將達(dá)到179.6 ZB,其中絕大部分?jǐn)?shù)據(jù)(約80%~90%)為非結(jié)構(gòu)化的數(shù)據(jù)[3]。

    在企業(yè)的核心資產(chǎn)中,數(shù)據(jù)占據(jù)著至關(guān)重要的地位。其中,結(jié)構(gòu)化數(shù)據(jù)雖然僅占20%,但因其可被標(biāo)準(zhǔn)化處理和存儲(chǔ),一直受到企業(yè)的重視。然而,非結(jié)構(gòu)化數(shù)據(jù),如文本、圖像、音頻和視頻等,雖然占據(jù)了數(shù)據(jù)總量的80%,卻因其多樣性和復(fù)雜性而常常被企業(yè)所忽視[4]。

    當(dāng)前解決該問(wèn)題的主流方法為NLP技術(shù)和SQL檢索。對(duì)于非結(jié)構(gòu)化數(shù)據(jù)的查詢,NLP技術(shù)發(fā)揮了重要作用。NLP通過(guò)詞法分析、句法分析、語(yǔ)義理解等技術(shù)手段,將非結(jié)構(gòu)化文本轉(zhuǎn)化為計(jì)算機(jī)可理解的結(jié)構(gòu)化信息,從而實(shí)現(xiàn)對(duì)這些數(shù)據(jù)的查詢和檢索。然而,NLP技術(shù)在處理非結(jié)構(gòu)化數(shù)據(jù)時(shí)面臨著語(yǔ)義理解的局限性,難以完全準(zhǔn)確地捕捉文本的深層含義。對(duì)于結(jié)構(gòu)化數(shù)據(jù)的查詢,SQL語(yǔ)言是最常用的工具。SQL語(yǔ)言提供了豐富的查詢語(yǔ)句和操作符,可以高效地對(duì)關(guān)系型數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行查詢、過(guò)濾、聚合等操作。企業(yè)可以通過(guò)編寫(xiě)SQL查詢語(yǔ)句,實(shí)現(xiàn)對(duì)結(jié)構(gòu)化數(shù)據(jù)的精確查詢和分析。然而,SQL語(yǔ)言對(duì)非結(jié)構(gòu)化數(shù)據(jù)的處理能力有限,無(wú)法直接應(yīng)用于非結(jié)構(gòu)化文本的檢索和查詢。

    為了綜合處理結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù),企業(yè)通常需要結(jié)合使用NLP技術(shù)和SQL語(yǔ)言。這意味著,企業(yè)需要開(kāi)發(fā)復(fù)雜的查詢系統(tǒng)或集成多個(gè)獨(dú)立的工具,以實(shí)現(xiàn)對(duì)異構(gòu)數(shù)據(jù)的統(tǒng)一查詢。然而,這種解決方案往往存在效率不高、維護(hù)困難等問(wèn)題。大模型的出現(xiàn)給這個(gè)場(chǎng)景提供了新的解決思路,與傳統(tǒng)的NLP技術(shù)和SQL查詢相比,大模型具有更高的靈活性和可擴(kuò)展性。它們不需要復(fù)雜的系統(tǒng)集成和維護(hù),只需通過(guò)簡(jiǎn)單的微調(diào)即可適應(yīng)不同的查詢需求。此外,大模型還可以結(jié)合其他先進(jìn)技術(shù)(如知識(shí)圖譜、圖像識(shí)別等),實(shí)現(xiàn)更加全面和多樣的數(shù)據(jù)處理和分析功能。

    然而,僅僅依靠增量預(yù)訓(xùn)練和模型微調(diào)均不能從根本上解決大模型在精確場(chǎng)景應(yīng)用中出現(xiàn)的問(wèn)題,即“一本正經(jīng)的胡說(shuō)八道”。筆者嘗試從異構(gòu)數(shù)據(jù)融合查詢的角度出發(fā),從數(shù)據(jù)層面上解決大模型的泛化問(wèn)題,獲取準(zhǔn)確性高和可靠性強(qiáng)的答案。

    1 技術(shù)方案研究

    為了解決大模型在精確場(chǎng)景不可靠的問(wèn)題,一個(gè)行之有效的方案是,給大模型提供針對(duì)結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的外掛知識(shí)系統(tǒng),當(dāng)用戶提問(wèn)的內(nèi)容與外掛知識(shí)系統(tǒng)產(chǎn)生交互且具備一定的關(guān)聯(lián)度時(shí),將相關(guān)的知識(shí)作為Prompt提示工程傳遞給大模型,大模型基于匹配到的限定范圍的知識(shí)進(jìn)行理解和重新組合,即可形成具有較高的準(zhǔn)確性和較為穩(wěn)定的知識(shí)問(wèn)答。

    1.1 總體架構(gòu)

    大模型作為核心能力貫穿了整個(gè)處理環(huán)節(jié),用到了知識(shí)圖譜、向量知識(shí)庫(kù)、Prompt提示工程[5-6]、微調(diào)[7]、LangChain[8-9]等技術(shù),在外掛知識(shí)體系的加持下,通過(guò)對(duì)特定知識(shí)的組合,從而最大限度地提高了大模型在處理相關(guān)問(wèn)題的可靠性。具體架構(gòu)如圖1所示。

    1.2 知識(shí)圖譜

    通過(guò)構(gòu)建知識(shí)圖譜,能夠給大模型提供結(jié)構(gòu)化的數(shù)據(jù)支持,改善語(yǔ)義理解和推理能力并拓展領(lǐng)域知識(shí)的范圍,從而達(dá)到改善問(wèn)題回答和信息檢索能力的效果。知識(shí)圖譜以圖的形式組織和表示知識(shí),可以將實(shí)體、關(guān)系和屬性以結(jié)構(gòu)化的方式存儲(chǔ)。

    在這個(gè)過(guò)程中,知識(shí)圖譜可以起到以下2個(gè)方面的作用。

    1)對(duì)于結(jié)構(gòu)化數(shù)據(jù),可以將數(shù)據(jù)(節(jié)點(diǎn)、關(guān)系)的標(biāo)簽、字段等schema用圖譜的形式來(lái)表示,從而幫助大模型能夠理解整個(gè)數(shù)據(jù)架構(gòu)。

    2)對(duì)于非結(jié)構(gòu)化數(shù)據(jù),可以將段落、上下文引用、圖表和文檔間調(diào)用等用節(jié)點(diǎn)和關(guān)系連接起來(lái),從而使得大模型能夠整體掌握非結(jié)構(gòu)化文本的大綱、行文結(jié)構(gòu)和多模態(tài)信息。

    1.3 "向量知識(shí)庫(kù)

    構(gòu)建向量知識(shí)庫(kù),可以將文本數(shù)據(jù),包括互聯(lián)網(wǎng)上的網(wǎng)頁(yè)、書(shū)籍、新聞文章等,按照段落/文字長(zhǎng)度等方式進(jìn)行切片,將文本片段映射到向量空間中的向量,為大模型提供了語(yǔ)義上的表示,這些向量表示捕捉了詞語(yǔ)之間的語(yǔ)義關(guān)系和上下文信息,從而可以進(jìn)行語(yǔ)義匹配、相似性分析等任務(wù)[10-12]。此外,向量知識(shí)庫(kù)可以用于知識(shí)補(bǔ)全和推薦任務(wù),通過(guò)匹配查詢向量與知識(shí)庫(kù)中的向量表示,推薦相關(guān)實(shí)體或相關(guān)知識(shí),大模型可以利用向量知識(shí)庫(kù)中的向量表示,與用戶提問(wèn)的向量化片段進(jìn)行距離計(jì)算,返回與用戶問(wèn)題最接近的N個(gè)知識(shí)文本片段,最終作為提示工程交給大模型組合輸出。

    1.4 "提示工程

    大模型的Prompt提示工程是指在使用大語(yǔ)言模型時(shí),通過(guò)設(shè)計(jì)和構(gòu)造合適的Prompt(提示語(yǔ))來(lái)引導(dǎo)模型的輸出以實(shí)現(xiàn)特定的功能或獲取特定的知識(shí)。Prompt提示工程的作用包括以下幾點(diǎn)。

    1)引導(dǎo)模型生成特定類(lèi)型的輸出。例如假如想要讓大模型具備翻譯的能力,那么會(huì)在提示工程中,引導(dǎo)大模型在輸出答案時(shí)僅僅輸出翻譯后的內(nèi)容,而不要引申或者拓展回答的內(nèi)容,獲得相對(duì)準(zhǔn)確的回答效果。

    2)指導(dǎo)模型獲取特定領(lǐng)域的知識(shí)。例如對(duì)于比較專(zhuān)業(yè)的知識(shí)領(lǐng)域,大模型回答時(shí)會(huì)產(chǎn)生認(rèn)知偏差,通過(guò)提示工程,可以補(bǔ)充特定支持,引導(dǎo)大模型得到正確的結(jié)果。

    3)解決大模型輸出的穩(wěn)定性問(wèn)題。大模型的輸出存在不確定性和隨機(jī)性,提示工程可以在一定程度上解決該問(wèn)題。

    1.5 "微調(diào)

    大模型使用微調(diào)技術(shù)的目的是為了進(jìn)一步優(yōu)化和適應(yīng)特定任務(wù)或領(lǐng)域的數(shù)據(jù)。微調(diào)是指在預(yù)訓(xùn)練的大模型基礎(chǔ)上,使用任務(wù)特定的數(shù)據(jù)進(jìn)行有監(jiān)督的訓(xùn)練,以調(diào)整模型的參數(shù)和權(quán)重,使其更好地適應(yīng)具體任務(wù)的要求。微調(diào)可以應(yīng)用在各個(gè)層面,例如:訓(xùn)練大模型在某些知識(shí)領(lǐng)域的能力,理解某些知識(shí)、指令或者定義,對(duì)大模型回答格式進(jìn)行調(diào)整等。

    2 "案例分析

    基于以上的技術(shù)架構(gòu),本文在人力資源管理領(lǐng)域?qū)Υ竽P团c異構(gòu)數(shù)據(jù)融合查詢流程進(jìn)行了案例實(shí)踐和驗(yàn)證。

    2.1 "知識(shí)圖譜和向量知識(shí)庫(kù)的構(gòu)造

    對(duì)于人力資源管理系統(tǒng),主要的數(shù)據(jù)分為2類(lèi):①結(jié)構(gòu)化的數(shù)據(jù),主要包含人員、部門(mén)、履歷等信息;②非結(jié)構(gòu)化數(shù)據(jù),主要包括關(guān)于人力資源管理的各項(xiàng)規(guī)章制度,例如考勤管理辦法、考核管理辦法、績(jī)效管理辦法等。

    2.1.1 "結(jié)構(gòu)化數(shù)據(jù)

    結(jié)構(gòu)化數(shù)據(jù)處理最核心的方法是梳理圖結(jié)構(gòu)(schema),如圖2所示,可以將與人員相關(guān)的節(jié)點(diǎn)和關(guān)系的標(biāo)簽(label)、字段名稱(chēng)、字段屬性等相互關(guān)聯(lián)起來(lái),之后按照這個(gè)架構(gòu)將數(shù)據(jù)寫(xiě)入圖數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ),同時(shí),圖結(jié)構(gòu)(schema)將轉(zhuǎn)換為Prompt提示工程語(yǔ)句,用于大模型對(duì)知識(shí)圖譜進(jìn)行理解。

    2.1.2 "非結(jié)構(gòu)化數(shù)據(jù)

    對(duì)于非結(jié)構(gòu)化數(shù)據(jù)處理,主要分為以下3步:①處理文本,略去圖片等信息,將表格按行與表頭一起處理成文本等;②文本向量化,結(jié)構(gòu)化的向量與非結(jié)構(gòu)化的文本形成一一對(duì)應(yīng)關(guān)系;③對(duì)于結(jié)構(gòu)較為復(fù)雜的文本,需要構(gòu)建知識(shí)圖譜,用以標(biāo)準(zhǔn)段落之間相互引用,文本之間相互引用等關(guān)系。如圖3所示,可以得到人力資源管理文檔的知識(shí)圖譜和向量知識(shí)庫(kù)。

    2.2 "文本轉(zhuǎn)結(jié)構(gòu)化查詢語(yǔ)句

    要獲取結(jié)構(gòu)化數(shù)據(jù)的信息,需要借助于數(shù)據(jù)庫(kù)查詢語(yǔ)言來(lái)執(zhí)行,而為了處理現(xiàn)實(shí)條件下用戶的日常提問(wèn),我們需要借助于一個(gè)工具來(lái)進(jìn)行一個(gè)文本轉(zhuǎn)換。實(shí)現(xiàn)這個(gè)功能的工具也有很多,包括但不限于:NLP語(yǔ)義理解(例如BERT模型)、正則化匹配填充、大模型Prompt提示工程和大模型微調(diào)等,各自有不同的試用場(chǎng)景。結(jié)合人力資源管理查詢系統(tǒng)的特點(diǎn),本文采用的是Prompt提示工程的方式,針對(duì)用戶的提問(wèn),分析其所需的數(shù)據(jù)庫(kù)及其schema,之后采用大模型抽取用戶提問(wèn)中的關(guān)鍵信息,配合Prompt提示中的相關(guān)信息(schema),從而生成滿足需求的查詢語(yǔ)句。

    2.3 "文本轉(zhuǎn)非結(jié)構(gòu)化文本檢索

    將人力資源管理文件全部按照2.1.2的方法進(jìn)行文本處理和文本結(jié)構(gòu)圖譜化處理,從而獲取了經(jīng)過(guò)向量化的知識(shí)庫(kù)和文本結(jié)構(gòu)知識(shí)圖譜。針對(duì)用戶的提問(wèn),將其轉(zhuǎn)換為向量化的文本,通過(guò)向量匹配,從向量庫(kù)中獲取與提問(wèn)最接近的N個(gè)文本段,并在知識(shí)圖譜中將其相關(guān)的文本段落也查詢出來(lái),一起推給大模型進(jìn)行組合輸出,效果如圖4所示。

    圖4 人力資源融合查詢系統(tǒng)示意圖

    2.4 意圖識(shí)別與融合查詢

    由于處理結(jié)構(gòu)化數(shù)據(jù)的檢索方式和處理非結(jié)構(gòu)化數(shù)據(jù)的檢索方式不同,我們需要使用相關(guān)工具對(duì)用戶的提問(wèn)做一個(gè)意圖識(shí)別。意圖識(shí)別可以采用的工具非常多,包括但不限于:NLP語(yǔ)義理解(例如BERT模型[13])、正則化匹配、模糊匹配、大模型Prompt提示工程等。通過(guò)這種方式可以確定數(shù)據(jù)查詢的邏輯和方式,本文人力資源查詢系統(tǒng)采用的是提示工程的方法,具體架構(gòu)如圖1所示。

    2.5 查詢系統(tǒng)效果

    基于以上的技術(shù)方案,配合前后端功能,最終實(shí)現(xiàn)了一個(gè)基于大模型的異構(gòu)數(shù)據(jù)融合查詢系統(tǒng),針對(duì)經(jīng)過(guò)知識(shí)掛載的數(shù)據(jù)庫(kù)和人力資源管理文本等相關(guān)內(nèi)容進(jìn)行提問(wèn),大模型都能夠較為準(zhǔn)確地進(jìn)行回答。

    2.5.1 "結(jié)構(gòu)化數(shù)據(jù)查詢的效果

    為了驗(yàn)證查詢效果,準(zhǔn)備了一個(gè)由103項(xiàng)問(wèn)答對(duì)組成的驗(yàn)證集,在沒(méi)有采用本文的技術(shù)方案,僅用大模型的查詢準(zhǔn)確項(xiàng)僅有53項(xiàng),準(zhǔn)確率為51.5%,具體錯(cuò)誤原因見(jiàn)表1。

    表1 "人力資源結(jié)構(gòu)化數(shù)據(jù)查詢效果

    采用本文的融合查詢技術(shù)之后,在驗(yàn)證集中結(jié)構(gòu)化數(shù)據(jù)查詢的錯(cuò)誤數(shù)量從50項(xiàng)降低為19項(xiàng),準(zhǔn)確率提升到81.6%,較之前準(zhǔn)確率大幅提升。

    2.5.2 "非結(jié)構(gòu)化數(shù)據(jù)查詢的效果

    為了驗(yàn)證查詢效果,準(zhǔn)備了一個(gè)由35項(xiàng)問(wèn)答對(duì)組成的驗(yàn)證集,在沒(méi)有采用本文的融合查詢技術(shù)方案,僅用大模型的查詢回答準(zhǔn)確的僅有20項(xiàng),準(zhǔn)確率為57.1%,具體錯(cuò)誤原因見(jiàn)表2。

    表2 "人力資源非結(jié)構(gòu)化數(shù)據(jù)查詢效果

    采用本文的融合查詢技術(shù)之后,在驗(yàn)證集中非結(jié)構(gòu)化數(shù)據(jù)查詢的錯(cuò)誤數(shù)量從15項(xiàng)降低為6項(xiàng),準(zhǔn)確率提升到82.9%,較之前準(zhǔn)確率也有較大提升。

    3 "結(jié)束語(yǔ)

    本文針對(duì)大模型在精確場(chǎng)景難以滿足需求的問(wèn)題,結(jié)合Prompt提示工程、知識(shí)圖譜和向量知識(shí)庫(kù)等相關(guān)技術(shù),以統(tǒng)一的技術(shù)架構(gòu)實(shí)現(xiàn)了針對(duì)結(jié)構(gòu)化和非結(jié)構(gòu)化異構(gòu)數(shù)據(jù)的統(tǒng)一查詢的系統(tǒng),并且在人力資源管理項(xiàng)目上進(jìn)行了驗(yàn)證。從結(jié)果上來(lái)看,該技術(shù)架構(gòu)能夠滿足相關(guān)的需求,并且由于涉及的知識(shí)類(lèi)型較為廣泛,該系統(tǒng)具備了較強(qiáng)的遷移能力,在限定知識(shí)范圍的精確查詢場(chǎng)景,均能取得較好的查詢和問(wèn)答效果。

    大模型技術(shù)的應(yīng)用仍處于一個(gè)高速發(fā)展和日趨成熟的階段,盡管大模型在結(jié)構(gòu)化和非結(jié)構(gòu)化異構(gòu)數(shù)據(jù)查詢方面已經(jīng)展現(xiàn)出了強(qiáng)大的潛力,并在某些場(chǎng)景下取得了顯著的成果,但仍存在一些待解決的問(wèn)題和挑戰(zhàn),主要包括以下3個(gè)方面:模型的魯棒性和泛化性;知識(shí)的更新與維護(hù);隱私保護(hù)與數(shù)據(jù)安全等,在這些方面還需要不斷地進(jìn)行技術(shù)發(fā)展和理論創(chuàng)新。

    參考文獻(xiàn):

    [1] VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need[J]. Advances in neural information processing systems, 2017, 30.

    [2] 張乾君.AI大模型發(fā)展綜述[J].通信技術(shù),2023,56(3):255-262.

    [3] RYDNING J. Worldwide global datasphere and global storagesphere structured and unstructured data forecast, 2021-2025[J]. 2021.

    [4] TIMOTHY K. 80 Percent of Your Data Will Be Unstructured in Five Years[EB/OL].[2024-02-06]. https://solutionsreview.com/data-management/80-percent-of-your-data-will-be-unstructured-in-five-years/ChatGPT.

    [5] BROWN T, MANN B, RYDER N, et al. Language models are few-shot learners[J]. Advances in neural information processing systems, 2020,33:1877-1901.

    [6] LESTER B, AL-RFOU R, Constant N. The power of scale for parameter-efficient prompt tuning[J].2021.

    [7] SCHICK T, SCH?譈TZE H. Exploiting cloze questions for few shot text classification and natural language inference[J].2020.

    [8] ZHANG Z, ZHANG A, LI M, et al. Automatic chain of thought prompting in large language models[J].2022.

    [9] WEI J, WANG X, SCHUURMANS D, et al. Chain-of-thought prompting elicits reasoning in large language models[J]. Advances in Neural Information Processing Systems, 2022, 35: 24824-24837.

    [10] Vearch: A Distributed System for Embedding-based Retrieval[EB/OL].[2024-02-06]. https://github.com/vearch/vearch.

    [11] LI J, LIU H, GUI C, et al. The design and implementation of a real time visual search system on JD E-commerce platform[C]//Proceedings of the 19th International Middleware Conference Industry,2018: 9-16.

    [12] CHEN Q, WANG H, LI M, et al. SPTAG: A library for fast approximate nearest neighbor search[J]. 2018.

    [13] DEVLIN J, CHANG M W, LEE K, et al. Bert: Pre-training of deep bidirectional transformers for language understanding[J].2018.

    猜你喜歡
    大語(yǔ)言模型知識(shí)圖譜
    反思與重構(gòu):中國(guó)式現(xiàn)代化進(jìn)程中的 人工智能“中國(guó)方案”
    廣布局、重應(yīng)用:生成式大語(yǔ)言模型的新進(jìn)展
    ChatGPT技術(shù)原理及未來(lái)影響研究
    財(cái)務(wù)共享服務(wù)中心的大語(yǔ)言模型應(yīng)用探究
    人工智能需要“靈魂”嗎
    生成式人工智能的教育應(yīng)用與展望
    國(guó)內(nèi)圖書(shū)館嵌入式服務(wù)研究主題分析
    國(guó)內(nèi)外政府信息公開(kāi)研究的脈絡(luò)、流派與趨勢(shì)
    近十五年我國(guó)小學(xué)英語(yǔ)教學(xué)研究的熱點(diǎn)、問(wèn)題及對(duì)策
    基于知識(shí)圖譜的產(chǎn)業(yè)集群創(chuàng)新績(jī)效可視化分析
    高清av免费在线| 亚洲人成网站在线播| 久久韩国三级中文字幕| 十分钟在线观看高清视频www | 国产高清有码在线观看视频| 又大又黄又爽视频免费| 欧美精品一区二区大全| 午夜视频国产福利| 国产69精品久久久久777片| 最近2019中文字幕mv第一页| 亚洲内射少妇av| 日韩不卡一区二区三区视频在线| 免费人成在线观看视频色| 最近手机中文字幕大全| 国产一区二区三区av在线| 国产男女超爽视频在线观看| 日日摸夜夜添夜夜添av毛片| 成人二区视频| 国产免费一区二区三区四区乱码| 爱豆传媒免费全集在线观看| 国产真实伦视频高清在线观看| 岛国毛片在线播放| 精品一区二区三卡| 妹子高潮喷水视频| 成年人午夜在线观看视频| 一区二区三区免费毛片| 舔av片在线| 国产精品免费大片| 亚洲国产精品专区欧美| 99热这里只有精品一区| 国模一区二区三区四区视频| 国产视频首页在线观看| 少妇人妻久久综合中文| 久久久亚洲精品成人影院| 成人亚洲精品一区在线观看 | 久久亚洲国产成人精品v| 国产高清三级在线| 秋霞在线观看毛片| 18禁裸乳无遮挡免费网站照片| 久久久久人妻精品一区果冻| 国产精品人妻久久久影院| 亚洲av国产av综合av卡| 亚洲成人av在线免费| 国产伦精品一区二区三区四那| 亚洲人成网站高清观看| 老女人水多毛片| 涩涩av久久男人的天堂| 高清在线视频一区二区三区| 欧美3d第一页| 91精品国产国语对白视频| 高清av免费在线| 亚洲伊人久久精品综合| 午夜日本视频在线| 久久人妻熟女aⅴ| 一个人看的www免费观看视频| av在线老鸭窝| 精品人妻熟女av久视频| 精品一区二区三区视频在线| 18禁在线无遮挡免费观看视频| 成人漫画全彩无遮挡| 国产男人的电影天堂91| 一区二区av电影网| 汤姆久久久久久久影院中文字幕| 永久网站在线| 国产成人精品福利久久| 国产在线视频一区二区| 夜夜爽夜夜爽视频| 欧美 日韩 精品 国产| 99久久精品国产国产毛片| 国产成人a∨麻豆精品| 国产黄片视频在线免费观看| 国产精品三级大全| 最近最新中文字幕免费大全7| 久久久午夜欧美精品| 国产免费福利视频在线观看| 亚洲色图av天堂| 国产精品不卡视频一区二区| 日韩欧美一区视频在线观看 | 超碰97精品在线观看| 久久久久网色| 婷婷色综合www| 嫩草影院入口| 亚洲aⅴ乱码一区二区在线播放| 日本爱情动作片www.在线观看| 噜噜噜噜噜久久久久久91| 国产成人精品婷婷| 免费不卡的大黄色大毛片视频在线观看| 各种免费的搞黄视频| 18禁裸乳无遮挡动漫免费视频| 十分钟在线观看高清视频www | 免费看光身美女| 久热这里只有精品99| 国产欧美日韩精品一区二区| 乱码一卡2卡4卡精品| 99久久人妻综合| 直男gayav资源| 尤物成人国产欧美一区二区三区| 精品99又大又爽又粗少妇毛片| 亚洲精品国产av蜜桃| 一级av片app| 国产一级毛片在线| 成人二区视频| 婷婷色av中文字幕| 国产精品一二三区在线看| 久久久久性生活片| 国产精品一区www在线观看| 精品人妻熟女av久视频| 在现免费观看毛片| 在线 av 中文字幕| 老司机影院成人| 麻豆成人午夜福利视频| 国产精品一区www在线观看| 麻豆成人午夜福利视频| 在线免费十八禁| 国产 精品1| 少妇人妻精品综合一区二区| 在线免费十八禁| 久久国内精品自在自线图片| 亚洲国产最新在线播放| 春色校园在线视频观看| 91久久精品电影网| 亚洲av中文av极速乱| 在线观看av片永久免费下载| 亚洲精品视频女| av播播在线观看一区| av免费观看日本| 免费播放大片免费观看视频在线观看| 日本vs欧美在线观看视频 | 国产午夜精品久久久久久一区二区三区| 欧美精品人与动牲交sv欧美| 1000部很黄的大片| 男女啪啪激烈高潮av片| 欧美日韩视频精品一区| 3wmmmm亚洲av在线观看| 亚洲美女视频黄频| 免费不卡的大黄色大毛片视频在线观看| 国产男女内射视频| 一级片'在线观看视频| 亚州av有码| 国产亚洲最大av| 99九九线精品视频在线观看视频| 天美传媒精品一区二区| 六月丁香七月| 夜夜骑夜夜射夜夜干| 少妇熟女欧美另类| 亚洲不卡免费看| 国产免费又黄又爽又色| 久久亚洲国产成人精品v| 久久女婷五月综合色啪小说| 免费观看在线日韩| 午夜日本视频在线| 在线观看一区二区三区| 精品久久久久久电影网| 亚州av有码| 综合色丁香网| 少妇猛男粗大的猛烈进出视频| 日本一二三区视频观看| 久久精品夜色国产| 啦啦啦啦在线视频资源| 极品少妇高潮喷水抽搐| 99久久精品一区二区三区| 久久鲁丝午夜福利片| 黄色日韩在线| 午夜福利高清视频| 欧美日韩视频精品一区| 看非洲黑人一级黄片| 国产成人精品婷婷| 少妇裸体淫交视频免费看高清| 一区二区三区免费毛片| 国产美女午夜福利| 亚洲av不卡在线观看| 在线观看人妻少妇| 亚洲av中文字字幕乱码综合| 在线天堂中文资源库| 免费女性裸体啪啪无遮挡网站| 欧美亚洲 丝袜 人妻 在线| bbb黄色大片| 国产精品免费大片| 2021少妇久久久久久久久久久| 女人被躁到高潮嗷嗷叫费观| av线在线观看网站| 免费少妇av软件| 熟女av电影| 国产成人精品在线电影| 婷婷色麻豆天堂久久| 日本一区二区免费在线视频| 国产亚洲欧美精品永久| 久久午夜综合久久蜜桃| netflix在线观看网站| 亚洲午夜精品一区,二区,三区| 天堂俺去俺来也www色官网| 亚洲图色成人| 亚洲精品久久成人aⅴ小说| 亚洲精品美女久久av网站| 最近最新中文字幕大全免费视频 | 啦啦啦视频在线资源免费观看| 国产精品熟女久久久久浪| 国产成人欧美| 欧美精品高潮呻吟av久久| 十八禁网站网址无遮挡| 性色av乱码一区二区三区2| 国产一区二区三区av在线| 久久久精品国产亚洲av高清涩受| 一级片'在线观看视频| 黄色毛片三级朝国网站| 日本欧美国产在线视频| 中文字幕制服av| 女人高潮潮喷娇喘18禁视频| h视频一区二区三区| 欧美日本中文国产一区发布| 久久人妻熟女aⅴ| 国产成人影院久久av| 国产成人一区二区三区免费视频网站 | 亚洲精品久久成人aⅴ小说| 欧美黑人欧美精品刺激| 90打野战视频偷拍视频| 天天操日日干夜夜撸| 欧美日韩视频精品一区| 精品久久蜜臀av无| 我的亚洲天堂| 亚洲精品日本国产第一区| 纯流量卡能插随身wifi吗| 考比视频在线观看| videosex国产| 久久天躁狠狠躁夜夜2o2o | 国产日韩一区二区三区精品不卡| 亚洲自偷自拍图片 自拍| 国产精品久久久av美女十八| 日韩av在线免费看完整版不卡| 欧美日韩视频高清一区二区三区二| 亚洲精品成人av观看孕妇| 国产精品久久久人人做人人爽| 国产在线免费精品| 天天操日日干夜夜撸| 亚洲伊人久久精品综合| 9色porny在线观看| 99国产精品一区二区三区| 国产成人欧美| 欧美黑人精品巨大| 国产高清不卡午夜福利| 国产精品国产三级专区第一集| 国产精品人妻久久久影院| 美女福利国产在线| 超碰97精品在线观看| 成年动漫av网址| 叶爱在线成人免费视频播放| 日本av免费视频播放| 中文精品一卡2卡3卡4更新| av在线播放精品| 久久国产精品影院| 国产成人系列免费观看| 国产精品九九99| 免费人妻精品一区二区三区视频| 午夜激情久久久久久久| 91精品伊人久久大香线蕉| 亚洲精品在线美女| 国产欧美日韩一区二区三区在线| 2021少妇久久久久久久久久久| 少妇人妻久久综合中文| 91精品三级在线观看| 国产成人免费无遮挡视频| 国产免费福利视频在线观看| 欧美精品人与动牲交sv欧美| 国产精品 国内视频| 亚洲国产欧美在线一区| 99久久99久久久精品蜜桃| 另类精品久久| 青春草视频在线免费观看| 欧美激情高清一区二区三区| 精品熟女少妇八av免费久了| www.熟女人妻精品国产| 国产精品熟女久久久久浪| 超碰97精品在线观看| 国产主播在线观看一区二区 | av一本久久久久| 不卡av一区二区三区| 国产精品一二三区在线看| avwww免费| 性色av乱码一区二区三区2| 视频区图区小说| 国产成人免费无遮挡视频| 久久精品久久久久久久性| 亚洲国产毛片av蜜桃av| 黑丝袜美女国产一区| 亚洲人成电影观看| 日韩av免费高清视频| 久久精品国产综合久久久| 热re99久久精品国产66热6| 欧美人与善性xxx| bbb黄色大片| netflix在线观看网站| 国产高清视频在线播放一区 | av在线app专区| 欧美激情极品国产一区二区三区| 亚洲熟女精品中文字幕| 久久影院123| 天堂俺去俺来也www色官网| 亚洲成人国产一区在线观看 | 欧美乱码精品一区二区三区| 少妇粗大呻吟视频| 久久亚洲国产成人精品v| 男的添女的下面高潮视频| 日韩av免费高清视频| 在现免费观看毛片| 亚洲第一av免费看| 欧美xxⅹ黑人| 大片电影免费在线观看免费| 亚洲午夜精品一区,二区,三区| 在线观看一区二区三区激情| 精品国产乱码久久久久久男人| 日韩制服骚丝袜av| 99久久综合免费| 亚洲专区中文字幕在线| 国产欧美亚洲国产| 免费在线观看黄色视频的| 免费在线观看日本一区| 亚洲欧美激情在线| 日韩欧美一区视频在线观看| 午夜福利在线免费观看网站| 日本一区二区免费在线视频| 大片免费播放器 马上看| 狠狠精品人妻久久久久久综合| 亚洲第一青青草原| 亚洲人成电影观看| 久久久精品94久久精品| 老司机在亚洲福利影院| 久久亚洲精品不卡| 亚洲精品自拍成人| 男女国产视频网站| 女性被躁到高潮视频| 精品人妻1区二区| 久久久国产精品麻豆| 亚洲欧美成人综合另类久久久| 大片免费播放器 马上看| 成年av动漫网址| 亚洲成色77777| 日韩制服骚丝袜av| 亚洲国产最新在线播放| 在线观看人妻少妇| 天堂中文最新版在线下载| 国产一区亚洲一区在线观看| 一区二区三区乱码不卡18| 国产精品麻豆人妻色哟哟久久| 免费女性裸体啪啪无遮挡网站| xxx大片免费视频| 777久久人妻少妇嫩草av网站| 视频在线观看一区二区三区| 亚洲国产欧美在线一区| 欧美性长视频在线观看| 一个人免费看片子| 国产亚洲欧美在线一区二区| 99香蕉大伊视频| netflix在线观看网站| videos熟女内射| 国产精品av久久久久免费| 成人国产av品久久久| 中文字幕制服av| 黄色一级大片看看| 久久久精品国产亚洲av高清涩受| 99久久综合免费| 男女午夜视频在线观看| 美女脱内裤让男人舔精品视频| 桃花免费在线播放| 久久精品亚洲熟妇少妇任你| 成人午夜精彩视频在线观看| 日韩人妻精品一区2区三区| 国产高清国产精品国产三级| 亚洲精品中文字幕在线视频| 国产三级黄色录像| 一本—道久久a久久精品蜜桃钙片| 国产老妇伦熟女老妇高清| 国产精品香港三级国产av潘金莲 | 9191精品国产免费久久| 午夜福利视频在线观看免费| 99国产精品一区二区蜜桃av | 久久久精品94久久精品| 老司机在亚洲福利影院| 18禁国产床啪视频网站| 国产色视频综合| 热re99久久国产66热| 丁香六月天网| 欧美xxⅹ黑人| 久久综合国产亚洲精品| 999久久久国产精品视频| 中文字幕人妻丝袜制服| 欧美中文综合在线视频| 妹子高潮喷水视频| 中文字幕人妻丝袜制服| 欧美日韩亚洲国产一区二区在线观看 | 最近中文字幕2019免费版| 亚洲精品乱久久久久久| 97精品久久久久久久久久精品| 九草在线视频观看| 亚洲欧美成人综合另类久久久| 无限看片的www在线观看| 午夜福利乱码中文字幕| 免费看十八禁软件| 日日爽夜夜爽网站| 日韩视频在线欧美| 日韩大码丰满熟妇| 亚洲精品av麻豆狂野| 一个人免费看片子| 又大又爽又粗| 男人舔女人的私密视频| 捣出白浆h1v1| 一本—道久久a久久精品蜜桃钙片| 国产精品久久久久成人av| 日韩精品免费视频一区二区三区| 亚洲五月婷婷丁香| 国产av国产精品国产| 男人舔女人的私密视频| 亚洲九九香蕉| 欧美中文综合在线视频| 久久人人爽人人片av| 九草在线视频观看| 少妇的丰满在线观看| 国产精品免费视频内射| 日本黄色日本黄色录像| 99久久精品国产亚洲精品| 丝袜脚勾引网站| 一本一本久久a久久精品综合妖精| 国产精品成人在线| 啦啦啦视频在线资源免费观看| 男人添女人高潮全过程视频| 亚洲av欧美aⅴ国产| 久久久久久久精品精品| 在线观看人妻少妇| 最新的欧美精品一区二区| 亚洲欧美日韩高清在线视频 | 丝袜美腿诱惑在线| 免费久久久久久久精品成人欧美视频| av一本久久久久| 狠狠精品人妻久久久久久综合| 大话2 男鬼变身卡| 免费在线观看日本一区| 国产日韩欧美在线精品| 久久九九热精品免费| xxxhd国产人妻xxx| 亚洲国产精品国产精品| 欧美精品人与动牲交sv欧美| 日本av手机在线免费观看| 日本五十路高清| 亚洲av国产av综合av卡| 久久精品久久精品一区二区三区| 久久久国产欧美日韩av| 超色免费av| 一本综合久久免费| 国产精品二区激情视频| 成年女人毛片免费观看观看9 | 精品一区二区三区av网在线观看 | 成人亚洲欧美一区二区av| 日本猛色少妇xxxxx猛交久久| 18禁观看日本| 色精品久久人妻99蜜桃| 人妻人人澡人人爽人人| 91麻豆精品激情在线观看国产 | 99久久人妻综合| 日韩人妻精品一区2区三区| 91精品伊人久久大香线蕉| av有码第一页| 亚洲精品日韩在线中文字幕| 大片免费播放器 马上看| a级片在线免费高清观看视频| 亚洲av男天堂| 建设人人有责人人尽责人人享有的| 美女脱内裤让男人舔精品视频| 国产成人av激情在线播放| 国产又爽黄色视频| 亚洲欧洲国产日韩| 免费在线观看影片大全网站 | 亚洲精品av麻豆狂野| 久久天堂一区二区三区四区| 18禁裸乳无遮挡动漫免费视频| 老司机靠b影院| 1024视频免费在线观看| 欧美乱码精品一区二区三区| 亚洲男人天堂网一区| 亚洲国产欧美在线一区| 久久久久久人人人人人| 99国产精品一区二区蜜桃av | 亚洲自偷自拍图片 自拍| 高清视频免费观看一区二区| 一本—道久久a久久精品蜜桃钙片| 晚上一个人看的免费电影| 电影成人av| 国产在视频线精品| 国产精品.久久久| 黄色毛片三级朝国网站| 日韩 欧美 亚洲 中文字幕| 久久精品久久久久久噜噜老黄| 热re99久久精品国产66热6| 在线看a的网站| 亚洲国产欧美网| 亚洲久久久国产精品| 久久久精品94久久精品| 天天躁狠狠躁夜夜躁狠狠躁| 后天国语完整版免费观看| 精品久久久精品久久久| 国产精品二区激情视频| 又粗又硬又长又爽又黄的视频| 国产成人欧美| 亚洲av国产av综合av卡| 欧美精品啪啪一区二区三区 | 国产欧美日韩一区二区三区在线| 亚洲激情五月婷婷啪啪| 又黄又粗又硬又大视频| 国产精品九九99| 成人18禁高潮啪啪吃奶动态图| h视频一区二区三区| 七月丁香在线播放| 久久人人97超碰香蕉20202| 午夜av观看不卡| 国产日韩欧美视频二区| 免费高清在线观看视频在线观看| 秋霞在线观看毛片| 国产精品成人在线| 飞空精品影院首页| 操出白浆在线播放| 亚洲伊人色综图| 久久精品久久久久久噜噜老黄| 丝袜在线中文字幕| 香蕉国产在线看| 建设人人有责人人尽责人人享有的| 纵有疾风起免费观看全集完整版| 久久精品国产综合久久久| www.av在线官网国产| 国产成人av激情在线播放| 国产精品久久久人人做人人爽| e午夜精品久久久久久久| 男人舔女人的私密视频| 制服诱惑二区| 国产精品一二三区在线看| 久久久亚洲精品成人影院| 在现免费观看毛片| 成年美女黄网站色视频大全免费| 日日摸夜夜添夜夜爱| 亚洲,欧美,日韩| 黑人欧美特级aaaaaa片| 国产伦理片在线播放av一区| 一级毛片电影观看| 精品一品国产午夜福利视频| 视频区图区小说| 黄色 视频免费看| 嫁个100分男人电影在线观看 | 欧美激情高清一区二区三区| 男男h啪啪无遮挡| 日本黄色日本黄色录像| 人人澡人人妻人| 亚洲精品一二三| 国产精品 欧美亚洲| 精品视频人人做人人爽| 各种免费的搞黄视频| 亚洲成人免费av在线播放| 精品国产一区二区久久| 久久久久久人人人人人| 欧美人与性动交α欧美精品济南到| 国产黄色视频一区二区在线观看| 欧美精品人与动牲交sv欧美| 手机成人av网站| 亚洲av欧美aⅴ国产| 丝袜脚勾引网站| 欧美精品人与动牲交sv欧美| 免费日韩欧美在线观看| 国产亚洲精品久久久久5区| 国产成人精品久久二区二区免费| 女性生殖器流出的白浆| av在线播放精品| 精品亚洲成a人片在线观看| 欧美人与性动交α欧美精品济南到| 一区二区三区激情视频| 成人手机av| 国产日韩欧美视频二区| 国产精品偷伦视频观看了| 一级黄片播放器| 丝袜人妻中文字幕| 一级黄片播放器| 嫁个100分男人电影在线观看 | 精品国产乱码久久久久久男人| 9191精品国产免费久久| 夫妻性生交免费视频一级片| av电影中文网址| 性色av乱码一区二区三区2| 不卡av一区二区三区| 纵有疾风起免费观看全集完整版| 久久精品亚洲熟妇少妇任你| 成年美女黄网站色视频大全免费| 无限看片的www在线观看| 大话2 男鬼变身卡| 国产精品久久久久久精品电影小说| 国产成人精品久久二区二区91| 免费在线观看视频国产中文字幕亚洲 | 欧美成人午夜精品| 国产色视频综合| 黄色 视频免费看| 18禁黄网站禁片午夜丰满| 日本五十路高清| 精品久久蜜臀av无| 欧美黑人精品巨大| 亚洲欧洲精品一区二区精品久久久| 久久天堂一区二区三区四区| 青春草亚洲视频在线观看| 捣出白浆h1v1| 亚洲国产欧美网| 久久人妻熟女aⅴ| 男人爽女人下面视频在线观看| 日韩av在线免费看完整版不卡| 又紧又爽又黄一区二区| 欧美成狂野欧美在线观看| 亚洲国产欧美日韩在线播放| 操出白浆在线播放| 极品少妇高潮喷水抽搐| 可以免费在线观看a视频的电影网站| 国产真人三级小视频在线观看| svipshipincom国产片| 一本一本久久a久久精品综合妖精|