• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于大模型的智能抄清:事件要點(diǎn)抽取與報(bào)告生成

    2024-01-10 04:00:48曾文龍
    關(guān)鍵詞:段落小節(jié)文檔

    曾文龍,劉 丹,張 超

    (1.中國(guó)人民解放軍31307部隊(duì),四川 成都 610000;2.電子科技大學(xué) 電子科學(xué)技術(shù)研究院,四川 成都 610000)

    0 引言

    在當(dāng)今信息爆炸的時(shí)代,海量的數(shù)據(jù)源源不斷地涌現(xiàn),其中包含了各種形式的信息,從新聞報(bào)道到社交媒體內(nèi)容,再到專業(yè)機(jī)構(gòu)的報(bào)告和數(shù)據(jù)。解析和理解這些數(shù)據(jù),提煉其中的關(guān)鍵信息,一直是一項(xiàng)極具挑戰(zhàn)性的任務(wù)。

    智能抄清技術(shù)是一種基于自然語(yǔ)言處理和機(jī)器學(xué)習(xí)的技術(shù),其目標(biāo)是從大規(guī)模文本數(shù)據(jù)中抽取關(guān)鍵信息并生成概括性、準(zhǔn)確性強(qiáng)的內(nèi)容摘要,幫助人們?cè)谛畔⑦^載的時(shí)代快速獲取所需信息。不同于傳統(tǒng)的信息摘要方法,抄清技術(shù)不僅能提供概括性的內(nèi)容,還可以重新組織信息,使得生成的摘要更富有創(chuàng)造性和可讀性。

    在安全情報(bào)領(lǐng)域,有大量情報(bào)數(shù)據(jù)需要及時(shí)處理和分析,以識(shí)別可能的威脅和風(fēng)險(xiǎn),智能抄清可以快速抽取關(guān)鍵信息,分析威脅的性質(zhì)、來源和可能影響,并生成詳盡的報(bào)告,為安全專家提供深入的情報(bào)分析支持,從而制定更有效的安全應(yīng)對(duì)策略。

    然而,傳統(tǒng)的手動(dòng)抄清方法已經(jīng)無法滿足處理龐大、多樣化情報(bào)數(shù)據(jù)的需求。在提取和概括信息的過程中,有時(shí)會(huì)出現(xiàn)信息遺漏或失真,影響了摘要的準(zhǔn)確性和完整性。對(duì)于一些主觀性較強(qiáng)或需要深層語(yǔ)境理解的文本,當(dāng)前技術(shù)難以達(dá)到人類的理解水平。對(duì)于長(zhǎng)文本的處理,當(dāng)前方法往往效果不佳,難以保持信息的完整性和連貫性。

    為了應(yīng)對(duì)這一挑戰(zhàn),本文提出了一種創(chuàng)新的基于大模型的智能抄清方法,該方法以事件要點(diǎn)抽取和報(bào)告生成為關(guān)鍵步驟,旨在實(shí)現(xiàn)高效、準(zhǔn)確和可靠的情報(bào)分析和推理。

    1 方法

    本文提出了運(yùn)用大模型進(jìn)行智能抄清的方法。該方法首先對(duì)文檔進(jìn)行分型,再基于主題、要點(diǎn)、事件信息、段落小節(jié)進(jìn)行四個(gè)維度的信息抽取,然后將抽取的結(jié)果作為大模型報(bào)告生成的數(shù)據(jù)支撐;接著利用大模型的分析能力,對(duì)事件進(jìn)行研究、分析和評(píng)估,并形成書面報(bào)告。

    本文提出的方法的創(chuàng)新之處在于,結(jié)合了多維度的信息抽取、大模型的分析推理和報(bào)告生成的能力,使得抄清更加全面、深入,并且提供更具有價(jià)值和深度的書面報(bào)告。在多維度信息抽取中,通過抽取主題、要點(diǎn)、段落小節(jié)和事件等多維度的信息,獲得了文檔中不同層次、不同關(guān)鍵性質(zhì)的信息,使得抄清更為全面和細(xì)致。對(duì)基于大模型的報(bào)告生成,將抽取出的關(guān)鍵信息作為輸入,利用大模型的生成能力,生成更為全面且內(nèi)容豐富的書面報(bào)告,更好地結(jié)合了信息抽取和生成模型的優(yōu)勢(shì)。

    1.1 事件要點(diǎn)抽取

    事件要點(diǎn)抽取是從文檔中提取重要信息的過程,結(jié)合語(yǔ)義、語(yǔ)法、上下文信息和推理邏輯等多種語(yǔ)言信息進(jìn)行分析展示。

    要實(shí)現(xiàn)這一過程,需要采用自然語(yǔ)言處理和機(jī)器學(xué)習(xí)技術(shù),利用文檔的結(jié)構(gòu)信息和內(nèi)容信息進(jìn)行抽取,從海量非結(jié)構(gòu)化情報(bào)數(shù)據(jù)中提取事實(shí)要點(diǎn)。通過文本分類器、主題抽取算法、原文要素抽取和段落小節(jié)抽取等模型,自動(dòng)識(shí)別文本中的重點(diǎn)關(guān)注人物、組織機(jī)構(gòu)、主要事件等基本信息,同時(shí)提取用戶關(guān)注的其他要素信息,為報(bào)告生成提供基礎(chǔ)信息來源。

    要點(diǎn)抽取的核心目標(biāo)在于保留文檔中的關(guān)鍵信息,幫助用戶快速理解文本內(nèi)容,減少信息過載的影響。這一過程不僅需要依賴先進(jìn)的技術(shù),還需要結(jié)合領(lǐng)域知識(shí)和人工智能算法,以確保抽取的準(zhǔn)確性和全面性。

    1.1.1 文檔分型

    文檔分型是根據(jù)文檔的內(nèi)容、類型、主題或其他特征將文檔進(jìn)行分類、分組或歸檔,以便更好地管理和組織文檔。

    在安全情報(bào)領(lǐng)域,文檔分型可以根據(jù)威脅類型、攻擊來源、受影響實(shí)體等標(biāo)準(zhǔn)對(duì)文檔進(jìn)行分組。文檔分型是事件要點(diǎn)抽取的第一步,通過有效地從分類文檔中提煉信息,使得情報(bào)團(tuán)隊(duì)能夠更有針對(duì)性地分析和應(yīng)對(duì)威脅,提高工作效率和情報(bào)利用價(jià)值。

    本文首先將抄清文章定義為科技、經(jīng)濟(jì)、政治、娛樂、商業(yè)、其他六種類型,并在紐約時(shí)報(bào)(https://www.nytimes.com)上爬取了600篇相關(guān)新聞作為訓(xùn)練數(shù)據(jù),最后使用BERT(Bidirectional Encoder Representations from Transformers)和softmax的組合進(jìn)行文檔分型訓(xùn)練。

    當(dāng)使用模型作為分類器時(shí),這些非結(jié)構(gòu)化的文本序列需要轉(zhuǎn)換成結(jié)構(gòu)化的特征空間[1]。常見的文本分類技術(shù)包括邏輯分類、boosting算法、bagging算法、KNN、支持向量機(jī)、決策樹、隨機(jī)森林、條件隨機(jī)場(chǎng)CRF等[2]。

    基于BERT的分型模型如圖1所示。通過在大規(guī)模文本數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練,模型學(xué)習(xí)了豐富的上下文表示和語(yǔ)言知識(shí),使其能夠更好地理解詞語(yǔ)和句子在語(yǔ)境中的含義和關(guān)系。它的雙向性和對(duì)上下文的全面考慮使其適用于文章分型任務(wù),因此本文將新聞文本使用預(yù)訓(xùn)練BERT模型作為特征提取器進(jìn)行輸入,并通過輸出層的[CLS]位置對(duì)應(yīng)的值傳入到softmax中進(jìn)行分型任務(wù)的訓(xùn)練微調(diào),從而實(shí)現(xiàn)對(duì)文章類型的分類。

    圖1 分型模型框架

    1.1.2 主題生成

    主題生成是從大量文本數(shù)據(jù)中自動(dòng)確定主題并生成相應(yīng)的摘要和標(biāo)簽,將一篇文本自動(dòng)轉(zhuǎn)化為表示其主題的詞或短語(yǔ)的技術(shù)。主題生成可以用于文本分類、話題檢測(cè)、信息過濾等任務(wù)中。

    常見的主題生成算法包括基于概率模型的方法(如Latent Dirichlet Allocation模型、貝葉斯概率模型)、基于深度學(xué)習(xí)的方法(包括詞向量模型、循環(huán)神經(jīng)網(wǎng)絡(luò)和Transformer等)、基于話題模型的方法等。由于預(yù)訓(xùn)練模型的出現(xiàn),基于深度學(xué)習(xí)的生成模型在主題生成領(lǐng)域的應(yīng)用越來越廣泛,也出現(xiàn)了一些基于此的改進(jìn)方法,如加入注意力機(jī)制、引入增量訓(xùn)練等[3]。

    大語(yǔ)言模型(LLM)是具有大量參數(shù)和能力的語(yǔ)言模型,它們經(jīng)過大規(guī)模的訓(xùn)練,能夠理解和生成自然語(yǔ)言文本。在情境學(xué)習(xí)框架下,大語(yǔ)言模型在各種自然語(yǔ)言處理任務(wù)中表現(xiàn)出了出色的性能。這包括但不限于翻譯、問答、關(guān)系抽取和主題生成等任務(wù)。本文選擇了ChatGLM-6B和Alpaca兩種模型,以便將情境學(xué)習(xí)應(yīng)用于主題生成任務(wù),從而更好地適應(yīng)本文的需求。對(duì)于主題生成,使用大型語(yǔ)言模型進(jìn)行這項(xiàng)工作通??煞譃橐韵氯齻€(gè)步驟:

    (1)構(gòu)建prompt:每個(gè)輸入文章都需要構(gòu)建一個(gè)與其內(nèi)容相關(guān)的prompt。這個(gè)prompt可以是一段文字、問題或指令,作為大模型的輸入引導(dǎo),使其能夠理解輸入文章的主題和要點(diǎn)。

    (2)模型生成文本序列:將構(gòu)建的prompt輸入到大模型中,模型將根據(jù)該prompt生成與輸入文章主題相關(guān)的文本序列。這個(gè)過程可以通過對(duì)模型進(jìn)行fine-tuning來優(yōu)化模型在特定任務(wù)上的表現(xiàn),提高生成文本的準(zhǔn)確性和相關(guān)性。

    (3)文本序列與相關(guān)段落小節(jié)對(duì)應(yīng):生成的文本序列需要與原始輸入的段落小節(jié)相對(duì)應(yīng),以確保生成的內(nèi)容與輸入文章的不同部分相匹配,保持邏輯連貫性和主題一致性。

    在圖2中,第一句話是任務(wù)描述,這個(gè)描述不僅告訴了大語(yǔ)言模型應(yīng)該關(guān)注的任務(wù)重點(diǎn),還指示模型理解輸入的文章并輸出與主題相關(guān)的內(nèi)容。第二部分將原文作為輸入提供給模型,模型在這個(gè)階段需要運(yùn)用其大量的預(yù)訓(xùn)練知識(shí)和對(duì)語(yǔ)言的理解能力,通過對(duì)原文的分析和編碼,捕捉其中的語(yǔ)境、主題、語(yǔ)義等信息,模型會(huì)嘗試將輸入的信息編碼成適合進(jìn)一步處理的形式,以便于后續(xù)對(duì)主題進(jìn)行輸出。在第三部分,模型將其對(duì)原文的理解轉(zhuǎn)化為與文章主題相關(guān)的輸出內(nèi)容,這個(gè)輸出不僅需要與原文主題相關(guān),還需要保持準(zhǔn)確性和連貫性,以便于后續(xù)應(yīng)用或進(jìn)一步分析。

    圖2 主題抽取示例

    1.1.3 要點(diǎn)抽取

    要點(diǎn)提取是一種從文本中識(shí)別出重點(diǎn)信息的方法。其主要思想是通過識(shí)別文本中的關(guān)鍵單詞或短語(yǔ),從而得到文本的概要或標(biāo)簽。要點(diǎn)提取在文本分類、信息檢索、文本聚類等任務(wù)中具有廣泛的應(yīng)用。常見的要點(diǎn)提取算法包括基于詞頻的方法、基于TF-IDF的方法、基于主題模型(如LDA)的方法以及基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的方法[4]。

    基于詞頻的方法是通過統(tǒng)計(jì)詞語(yǔ)在文本中出現(xiàn)的頻率來確定其權(quán)重,以較高的頻率為主要依據(jù)挑選出要點(diǎn)?;赥F-IDF的方法在基于詞頻的基礎(chǔ)上增加了逆文檔頻率的考慮,該方法可以用來衡量單詞在特定文檔中的重要性和相對(duì)于整個(gè)語(yǔ)料庫(kù)的稀有性?;谥黝}模型的方法則利用文本中主題的概率分布進(jìn)行建模,找出與主題相關(guān)的詞語(yǔ)作為要點(diǎn)。基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的方法是通過對(duì)大量訓(xùn)練數(shù)據(jù)的學(xué)習(xí)得到要點(diǎn)提取的規(guī)律,例如BERT模型可以通過自監(jiān)督學(xué)習(xí)得到更好的文本表達(dá)。

    如圖3所示,原文中通過序號(hào)1、2、3標(biāo)記或者帶星號(hào)標(biāo)記等信息一般均為事實(shí)要點(diǎn)信息,本文通過規(guī)則算法將此類信息從原文中直接抽取出來,并利用SimBERT模型評(píng)估抽取結(jié)果與文章主題的相關(guān)性,如果結(jié)果涵蓋了文章的核心概念、主題或關(guān)鍵觀點(diǎn),那么這些信息便作為要點(diǎn)信息保存下來。

    圖3 要點(diǎn)篩選示例

    1.1.4 事件信息

    Open Information Extraction(OIE)是一種從自然語(yǔ)言文本中提取結(jié)構(gòu)化事實(shí)的技術(shù)。它通過自動(dòng)識(shí)別文本中的主語(yǔ)、謂語(yǔ)和賓語(yǔ)等成分,從而生成一組結(jié)構(gòu)化事實(shí)。OIE算法主要分為規(guī)則算法和基于機(jī)器學(xué)習(xí)的方法。規(guī)則算法是直接查找符合一定規(guī)則和模式的詞組,然后將這些短語(yǔ)轉(zhuǎn)換為三元組。而基于機(jī)器學(xué)習(xí)的方法則利用神經(jīng)網(wǎng)絡(luò)模型或傳統(tǒng)機(jī)器學(xué)習(xí)算法,從大量的語(yǔ)料庫(kù)中學(xué)習(xí)如何使用統(tǒng)計(jì)模型來提取語(yǔ)義三元組[5]。

    事件信息抽取是OIE的一種類型,在進(jìn)行事件信息抽取前,需要對(duì)輸入文本進(jìn)行指代消解處理,將文本中的代詞和名詞指向其代表的實(shí)體內(nèi)容。本文使用語(yǔ)言技術(shù)平臺(tái)(Language Technology Platform,LTP)對(duì)文本進(jìn)行指代消解處理[6],首先對(duì)文本進(jìn)行分詞、詞性標(biāo)注和句法分析處理,提取出文本中所有的代詞、名詞短語(yǔ)等指稱詞匯。接著,使用規(guī)則或模板來判斷這些指稱詞匯與先前提到的實(shí)體是否指代相同的實(shí)體,如果是,則將它們標(biāo)注為同一個(gè)實(shí)體;否則將它們標(biāo)注為不同的實(shí)體。

    接下來,本文利用OpenIE6模型對(duì)處理后的文本進(jìn)行事件信息提取。OpenIE6是一個(gè)開源的事件三元組抽取工具,其基本原理是從自然語(yǔ)言文本中自動(dòng)抽取所有事件三元組,包括主語(yǔ)、謂語(yǔ)和賓語(yǔ)。得到這些事件三元組后,再通過KBIR和T5抽取原文的關(guān)鍵短語(yǔ),最后將三元組與關(guān)鍵短語(yǔ)進(jìn)行篩選和去重,保留那些具有較高語(yǔ)義相似度和重要性的信息,從而實(shí)現(xiàn)事件信息的精確提取。

    單獨(dú)使用OpenIE6進(jìn)行事件信息抽取時(shí),由于文本表述的多樣性和文本上下文的差異性,提取出的事件三元組可能存在一些重復(fù)或冗余的信息。因此,結(jié)合指代消解以及關(guān)鍵短語(yǔ)的語(yǔ)義相似度比較,可以提高信息抽取的準(zhǔn)確率,得到更加精確、完整的事件信息。

    1.1.5 段落小節(jié)

    段落小節(jié)是一種將一段文章自動(dòng)轉(zhuǎn)化為簡(jiǎn)潔、準(zhǔn)確、具有概括性的標(biāo)題的技術(shù),以提高用戶體驗(yàn)和效率[7]。在新聞自動(dòng)摘要、電商商品推薦、搜索引擎結(jié)果呈現(xiàn)等任務(wù)中,都可以通過段落小節(jié)技術(shù)將原文章轉(zhuǎn)換為更為簡(jiǎn)明扼要的表述方式。

    常見的段落小節(jié)算法包括基于生成模型的方法、基于強(qiáng)化學(xué)習(xí)的方法、基于預(yù)訓(xùn)練模型的方法?;谏赡P偷姆椒ㄊ紫葘⒃嘉谋揪幋a為向量,然后通過循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)或自注意力模型(Transformer)等深度神經(jīng)網(wǎng)絡(luò)生成標(biāo)題?;趶?qiáng)化學(xué)習(xí)的方法通過訓(xùn)練一個(gè)智能體,根據(jù)生成的標(biāo)題獲得獎(jiǎng)勵(lì),以優(yōu)化標(biāo)題的生成[8]。由于基于預(yù)訓(xùn)練模型的方法只需要對(duì)已有大規(guī)模語(yǔ)料庫(kù)進(jìn)行預(yù)訓(xùn)練,能夠直接完成新文本的生成任務(wù),并且具有較高的效率和準(zhǔn)確性。T5、autoNLP和Pegasus都是常見的基于預(yù)訓(xùn)練技術(shù)的模型[9],具有良好的泛化性和較高的準(zhǔn)確性,被廣泛應(yīng)用于段落小節(jié)中。

    T5(Text to Text Transfer Transformer)是本實(shí)驗(yàn)抽取段落小節(jié)的基礎(chǔ)模型,由Raffel[10]提出。T5是一個(gè)通用的基于文本到文本轉(zhuǎn)換的框架,它在許多NLP任務(wù)(如文本摘要、問答、機(jī)器翻譯等)上產(chǎn)生了先進(jìn)的性能。該框架背后的基本思想是將所有NLP任務(wù)轉(zhuǎn)換為文本對(duì)文本問題。該框架接收文本作為輸入,并生成一個(gè)新文本作為輸出,如圖4所示。

    圖4 T5模型任務(wù)示例

    模型以無監(jiān)督的方式在大型數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練,然后對(duì)下游任務(wù)進(jìn)行微調(diào),從而在NLP和其他任務(wù)中產(chǎn)生先進(jìn)的性能。本實(shí)驗(yàn)充分利用了預(yù)訓(xùn)練模型的優(yōu)勢(shì)。由于T5模型是一個(gè)微調(diào)的預(yù)訓(xùn)練模型,因此復(fù)制了基本模型的所有參數(shù)。然后,在SIPRI網(wǎng)站爬取的數(shù)據(jù)集上訓(xùn)練模型進(jìn)行段落小節(jié)抽取。

    1.2 報(bào)告生成

    在報(bào)告生成階段,將抽取的事實(shí)要點(diǎn)和一些背景信息輸入到大模型中,利用大模型的生成能力生成邏輯性強(qiáng)、準(zhǔn)確性高的抄清報(bào)告。通過輸入抽取的事實(shí)要點(diǎn)和相關(guān)背景信息,大模型能夠自動(dòng)歸納、總結(jié)和分析這些信息,并生成結(jié)構(gòu)化的、內(nèi)容完整的抄清報(bào)告。報(bào)告內(nèi)容包括事件的基礎(chǔ)情況、重要事實(shí)要點(diǎn)、事件發(fā)展脈絡(luò)、情感分析結(jié)果以及針對(duì)該事件的預(yù)案和對(duì)策建議等。

    1.2.1 模型預(yù)訓(xùn)練與微調(diào)

    思考和決策過程中的推理能力是人工智能的一個(gè)重要方面,其中大語(yǔ)言模型(LLMs),如GPT-3[11]、ChatGLM等,通過學(xué)習(xí)大規(guī)模語(yǔ)料庫(kù)的語(yǔ)言模式和知識(shí)在一些自然語(yǔ)言處理任務(wù)(如算術(shù)、常識(shí)和邏輯推理)中能夠表現(xiàn)出強(qiáng)大的推理能力[12]。

    大模型具有分析推理能力的原理是基于它所采用的深度學(xué)習(xí)算法和海量數(shù)據(jù)的訓(xùn)練。在深度學(xué)習(xí)中,大模型通常是由多個(gè)層、多個(gè)參數(shù)和復(fù)雜的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)組成的,這使得它可以處理非常大的數(shù)據(jù)集和非常復(fù)雜的

    問題。大模型可以通過反向傳播算法來調(diào)整網(wǎng)絡(luò)中的各個(gè)參數(shù),使網(wǎng)絡(luò)的輸出結(jié)果更加接近于已知的正確答案。這個(gè)過程可以讓大模型逐漸學(xué)會(huì)不同的數(shù)據(jù)特征和問題規(guī)律,從而在未知情況下進(jìn)行預(yù)測(cè)和推理。

    結(jié)合自身所積累的抄清行業(yè)數(shù)據(jù)對(duì)通用大模型進(jìn)行微調(diào),并在此基礎(chǔ)上結(jié)合行業(yè)化、場(chǎng)景化的數(shù)據(jù)與知識(shí)進(jìn)行進(jìn)一步訓(xùn)練,以提升大模型針對(duì)抄清行業(yè)及應(yīng)用場(chǎng)景的模型表現(xiàn)和可控性,形成抄清行業(yè)大模型,幫助AI完成“專業(yè)教育”?;诔逍袠I(yè)大模型,可通過API接口等方式,方便、快捷地調(diào)用、整合與自身行業(yè)更為匹配的行業(yè)大模型的底層能力,再結(jié)合自然語(yǔ)言處理相關(guān)技術(shù)能力,即可實(shí)現(xiàn)基于抄清大模型的基礎(chǔ)報(bào)告生成訓(xùn)練。

    在大模型訓(xùn)練過程中,主要通過遠(yuǎn)程監(jiān)督方式,將純文本與現(xiàn)有知識(shí)圖譜進(jìn)行對(duì)齊,能夠自動(dòng)標(biāo)注大規(guī)模訓(xùn)練數(shù)據(jù)。在完成基礎(chǔ)的知識(shí)對(duì)齊與抽取后,本文通過知識(shí)融合解決當(dāng)前模型缺乏層次性與邏輯性的問題,使模型生成的文章更精準(zhǔn),錯(cuò)誤更少,質(zhì)量更高。

    1.2.2 生成報(bào)告

    對(duì)抄清數(shù)據(jù)進(jìn)行文本分析之后,需要通過prompts手動(dòng)模板設(shè)計(jì)抄清報(bào)告的整體結(jié)構(gòu)和布局,手動(dòng)模板設(shè)計(jì)是基于人工經(jīng)驗(yàn)設(shè)計(jì)模板用以處理文本生成任務(wù),最終調(diào)用相應(yīng)的抄清大模型自動(dòng)生成抄清報(bào)告的內(nèi)容。本文中采用的抄清報(bào)告生成方案為Stanford_Alpaca+LoRA,它是ChatGPT輕量級(jí)文檔開源版本,使用LoRA技術(shù)在Meta的LLaMA 7B模型上進(jìn)行微調(diào),在凍結(jié)原模型LLaMA參數(shù)的情況下,通過往模型中加入額外的網(wǎng)絡(luò)層,并只訓(xùn)練這些新增的網(wǎng)絡(luò)層參數(shù)[13]。由于這些新增參數(shù)數(shù)量較少,這樣不僅微調(diào)的成本顯著下降,還能獲得和全模型微調(diào)類似的效果。

    圖5所示的多維度展示則為事實(shí)要點(diǎn)的抽取結(jié)果,訓(xùn)練的大模型基于抽取與總結(jié)的事實(shí)要點(diǎn)信息進(jìn)行自主報(bào)告生成,生成的報(bào)告用詞準(zhǔn)確,語(yǔ)法規(guī)范,事實(shí)要點(diǎn)邏輯清晰,每條事實(shí)描述或總結(jié)都有清晰的事實(shí)材料依據(jù)并標(biāo)明出處和來源,整體行文流暢,符合實(shí)際應(yīng)用需求。

    圖5 多維度事件信息展示

    通過結(jié)合事實(shí)要點(diǎn)和報(bào)告生成,本文提出的智能抄清方法能夠高效地從海量情報(bào)中提取有價(jià)值的信息,并生成準(zhǔn)確且內(nèi)容豐富的抄清報(bào)告。這種方法可以極大地幫助情報(bào)分析人員快速理解和分析情報(bào)數(shù)據(jù),從而提高分析效率和決策準(zhǔn)確性。

    2 實(shí)驗(yàn)與評(píng)估

    2.1 數(shù)據(jù)集

    本文通過爬蟲技術(shù)在SIPRI (https://www.sipri.org/)爬取了350篇具有深度的文章作為訓(xùn)練和測(cè)試數(shù)據(jù)集。表1展示了該數(shù)據(jù)集的一個(gè)驗(yàn)證集劃分情況。

    表1 SIPRI數(shù)據(jù)集情況

    同時(shí)為了訓(xùn)練分型模型,本文利用爬蟲技術(shù)從紐約時(shí)報(bào)(https://www.nytimes.com)上爬取了600篇相關(guān)新聞,并將其劃分為科技、經(jīng)濟(jì)、政治、娛樂、商業(yè)、其他六種類型,表2顯示了該數(shù)據(jù)集的分布情況。

    表2 紐約時(shí)報(bào)數(shù)據(jù)集情況

    2.2 實(shí)驗(yàn)設(shè)置

    實(shí)驗(yàn)采用Ubuntu 18.04操作系統(tǒng)、Python 3.10和PyTorch1.8框架,并使用A800 80 GB GPUs進(jìn)行加速。

    本文通過人工評(píng)估和專家對(duì)比實(shí)驗(yàn),對(duì)生成的報(bào)告進(jìn)行準(zhǔn)確性、完整性和可讀性等方面的評(píng)估。

    2.3 實(shí)驗(yàn)評(píng)估

    為了使模型的效果評(píng)估更加準(zhǔn)確,本文邀請(qǐng)了5名領(lǐng)域?qū)<液?名人工智能研究人員使用投票機(jī)制對(duì)數(shù)據(jù)集進(jìn)行訓(xùn)練標(biāo)注。并根據(jù)他們的專業(yè)知識(shí)和經(jīng)驗(yàn),對(duì)結(jié)果進(jìn)行主觀評(píng)估和比較。同時(shí)在段落小節(jié)部分設(shè)計(jì)了對(duì)比實(shí)驗(yàn):

    (1)PEGASUS模型[14]。該模型提出了一種新的自監(jiān)督目標(biāo)PEGASUS,在海量文本語(yǔ)料庫(kù)上預(yù)訓(xùn)練基于Transformer的大型編碼器-解碼器模型。實(shí)驗(yàn)表明,它在12個(gè)下游摘要任務(wù)上取得了先進(jìn)的性能,在低資源摘要任務(wù)上也取得了令人驚訝的性能。

    (2)BART模型[15]。BART是一種用于預(yù)訓(xùn)練序列到序列模型的去噪自動(dòng)編碼器,通過用任意的去噪函數(shù)破壞文本并學(xué)習(xí)模型來重建原始文本進(jìn)行訓(xùn)練。當(dāng)對(duì)文本生成和理解任務(wù)進(jìn)行微調(diào)時(shí),它尤其有效,與反翻譯系統(tǒng)相比,可增加高達(dá)6 ROUGE和1.1 BLEU的增益。

    (3)T5模型[10]。該模型通過引入一個(gè)統(tǒng)一的框架,將所有基于文本的語(yǔ)言問題轉(zhuǎn)換為文本到文本的格式,探索了NLP的遷移學(xué)習(xí)技術(shù)的前景。本文比較了幾十項(xiàng)語(yǔ)言理解任務(wù)的預(yù)訓(xùn)練目標(biāo)、體系結(jié)構(gòu)、未標(biāo)記數(shù)據(jù)集、轉(zhuǎn)移方法和其他因素,并取得了最先進(jìn)的結(jié)果。

    3 結(jié)果及分析

    針對(duì)紐約時(shí)報(bào)數(shù)據(jù)集,本文對(duì)六類分型效果進(jìn)行了統(tǒng)計(jì)和評(píng)估。根據(jù)圖6所示的結(jié)果,本文的模型在平均分型效果上已經(jīng)達(dá)到了95%以上的準(zhǔn)確率。這意味著本文的模型能夠高度準(zhǔn)確地對(duì)紐約時(shí)報(bào)數(shù)據(jù)集中的文本進(jìn)行分類,并將其正確地歸類到對(duì)應(yīng)的六個(gè)類別中。這樣的高準(zhǔn)確率可以為用戶提供可靠的分類結(jié)果,使他們能夠更好地理解和分析數(shù)據(jù)集中的信息。

    圖6 新聞分型準(zhǔn)確率示意圖

    針對(duì)SIPRI數(shù)據(jù)集,本文進(jìn)行了段落小節(jié)效果對(duì)比研究。隨機(jī)選擇了10篇文章,并使用不同的模型對(duì)這些文章進(jìn)行段落小節(jié)生成。圖7展示了本文針對(duì)訓(xùn)練數(shù)據(jù)使用的模型相較于其他模型的準(zhǔn)確數(shù)量,對(duì)比結(jié)果表明,本文的模型在針對(duì)SIPRI數(shù)據(jù)集中的段落小節(jié)生成任務(wù)上表現(xiàn)出色。相對(duì)于其他模型,本文的模型能夠更準(zhǔn)確地凝練有信息量的段落小節(jié)。這意味著本文的模型能夠提供更優(yōu)質(zhì)和高效的摘要結(jié)果,幫助用戶更好地理解和獲取文章的核心信息。

    圖7 段落小節(jié)模型效果對(duì)比圖

    基于抽取的事實(shí)要點(diǎn),本文利用微調(diào)的大模型生成了20篇報(bào)告,以專家總結(jié)的關(guān)鍵信息涵蓋情況為標(biāo)準(zhǔn),其包含的重要信息占比如圖8所示,實(shí)驗(yàn)結(jié)果表明,基于大模型的智能抄清方法能夠有效地從海量情報(bào)數(shù)據(jù)中提取關(guān)鍵事實(shí)要點(diǎn),并生成準(zhǔn)確、全面且內(nèi)容豐富的抄清報(bào)告。與傳統(tǒng)手動(dòng)分析相比,該方法大大提高了分析效率,并減少了人為因素對(duì)分析結(jié)果的影響。此外,通過與人類專家的對(duì)比實(shí)驗(yàn),發(fā)現(xiàn)生成的抄清報(bào)告在準(zhǔn)確性和可讀性方面與人類專家的水平相當(dāng)甚至更好。

    圖8 報(bào)告重要信息涵蓋率

    4 結(jié)束語(yǔ)

    基于大模型的智能抄清方法具有廣泛的應(yīng)用前景。它可以在情報(bào)分析領(lǐng)域中應(yīng)用于事件態(tài)勢(shì)研判、預(yù)案生成、安全風(fēng)險(xiǎn)評(píng)估等任務(wù),為決策者提供準(zhǔn)確、全面的情報(bào)支持。此外,隨著大模型技術(shù)的不斷發(fā)展和改進(jìn),未來可以進(jìn)一步提升智能抄清方法的性能和適用范圍。

    本文提出的基于大模型的智能抄清方法通過事實(shí)抽取和報(bào)告生成的過程,實(shí)現(xiàn)了從海量情報(bào)數(shù)據(jù)中快速提取關(guān)鍵信息并生成準(zhǔn)確、全面的抄清報(bào)告。實(shí)驗(yàn)結(jié)果驗(yàn)證了該方法的有效性和可行性,并展示了其在情報(bào)分析領(lǐng)域的應(yīng)用潛力。未來的研究可以進(jìn)一步改進(jìn)模型的性能,拓展方法在更多領(lǐng)域的應(yīng)用,推動(dòng)情報(bào)分析和推理技術(shù)的發(fā)展。

    猜你喜歡
    段落小節(jié)文檔
    有人一聲不吭向你扔了個(gè)文檔
    快把我哥帶走
    【短文篇】
    心理小測(cè)試
    德沃夏克
    ——《幽默曲》賞析
    黃河之聲(2019年15期)2019-12-17 09:32:52
    夏天,愛情的第四段落
    李斯特《匈牙利狂想曲第十一首》音樂分析
    北方音樂(2018年23期)2018-01-24 05:36:21
    基于RI碼計(jì)算的Word復(fù)制文檔鑒別
    弄清段落關(guān)系 按圖索驥讀文
    讀寫算(下)(2016年11期)2016-05-04 03:44:07
    Persistence of the reproductive toxicity of chlorpiryphos-ethyl in male Wistar rat
    日韩人妻高清精品专区| 又黄又粗又硬又大视频| 欧美区成人在线视频| 午夜福利在线在线| 九色成人免费人妻av| 午夜福利在线观看吧| 亚洲精品久久国产高清桃花| 国产伦人伦偷精品视频| 亚洲中文日韩欧美视频| 国产亚洲精品av在线| 又黄又粗又硬又大视频| 欧美日韩精品网址| 精品国产亚洲在线| 女人高潮潮喷娇喘18禁视频| 人人妻人人澡欧美一区二区| 在线免费观看的www视频| 国产国拍精品亚洲av在线观看 | 极品教师在线免费播放| 一个人免费在线观看电影| 亚洲欧美日韩卡通动漫| 高清毛片免费观看视频网站| 啪啪无遮挡十八禁网站| 三级毛片av免费| 成人18禁在线播放| 精品国内亚洲2022精品成人| 亚洲最大成人中文| 欧美激情久久久久久爽电影| 成人国产综合亚洲| eeuss影院久久| 琪琪午夜伦伦电影理论片6080| 黄色成人免费大全| 亚洲av成人不卡在线观看播放网| 90打野战视频偷拍视频| x7x7x7水蜜桃| 搡老熟女国产l中国老女人| 亚洲 国产 在线| 精品乱码久久久久久99久播| 欧美成人一区二区免费高清观看| 国产久久久一区二区三区| 搞女人的毛片| av国产免费在线观看| 嫩草影院精品99| 一级作爱视频免费观看| 少妇的逼水好多| 12—13女人毛片做爰片一| 日韩欧美三级三区| 午夜免费激情av| 午夜福利成人在线免费观看| 一个人看的www免费观看视频| 少妇人妻一区二区三区视频| 免费大片18禁| 精品午夜福利视频在线观看一区| 伊人久久精品亚洲午夜| 成人国产一区最新在线观看| 俄罗斯特黄特色一大片| 亚洲久久久久久中文字幕| 久久精品国产亚洲av涩爱 | 成年女人永久免费观看视频| 久9热在线精品视频| 久久久精品大字幕| 亚洲精品亚洲一区二区| 午夜亚洲福利在线播放| 好男人电影高清在线观看| 免费高清视频大片| 国产淫片久久久久久久久 | 好看av亚洲va欧美ⅴa在| 亚洲精品在线观看二区| 午夜亚洲福利在线播放| 99久久综合精品五月天人人| 在线a可以看的网站| 精品一区二区三区视频在线 | 性色av乱码一区二区三区2| 亚洲人成电影免费在线| 韩国av一区二区三区四区| 亚洲av二区三区四区| 麻豆久久精品国产亚洲av| 深夜精品福利| 很黄的视频免费| 欧美乱码精品一区二区三区| 18禁黄网站禁片免费观看直播| 99国产综合亚洲精品| 亚洲成a人片在线一区二区| 国产亚洲精品综合一区在线观看| 人人妻人人澡欧美一区二区| 日本 欧美在线| 丰满人妻熟妇乱又伦精品不卡| 女同久久另类99精品国产91| 亚洲熟妇熟女久久| 性欧美人与动物交配| 国产精品亚洲美女久久久| 精品久久久久久,| 欧美日韩乱码在线| 久久久久精品国产欧美久久久| 又紧又爽又黄一区二区| 国产免费av片在线观看野外av| 欧美在线一区亚洲| 日本在线视频免费播放| 午夜两性在线视频| 九九热线精品视视频播放| 最近在线观看免费完整版| www.熟女人妻精品国产| 九九在线视频观看精品| 99在线人妻在线中文字幕| 99精品久久久久人妻精品| 成人一区二区视频在线观看| 亚洲真实伦在线观看| 国产精品女同一区二区软件 | 午夜两性在线视频| 成人亚洲精品av一区二区| 国产97色在线日韩免费| 可以在线观看毛片的网站| 午夜福利在线观看免费完整高清在 | 天堂动漫精品| 亚洲最大成人手机在线| 51国产日韩欧美| 亚洲欧美日韩高清在线视频| 日韩中文字幕欧美一区二区| 日韩欧美一区二区三区在线观看| 亚洲性夜色夜夜综合| 午夜精品在线福利| 亚洲国产精品久久男人天堂| 国产亚洲精品av在线| 国产精品1区2区在线观看.| 久久精品国产自在天天线| 欧美日韩中文字幕国产精品一区二区三区| 深夜精品福利| 狠狠狠狠99中文字幕| 熟女少妇亚洲综合色aaa.| 一级黄色大片毛片| 国产成年人精品一区二区| 国产麻豆成人av免费视频| 亚洲无线观看免费| 国产精品,欧美在线| 给我免费播放毛片高清在线观看| 欧美日韩国产亚洲二区| 国产伦精品一区二区三区视频9 | 成人高潮视频无遮挡免费网站| 一区福利在线观看| 久久午夜亚洲精品久久| 国产伦在线观看视频一区| 91av网一区二区| 99国产精品一区二区蜜桃av| 国产精品电影一区二区三区| 亚洲精品日韩av片在线观看 | 久久精品国产综合久久久| 丁香欧美五月| 午夜福利视频1000在线观看| 9191精品国产免费久久| 久久久久久九九精品二区国产| 黄色女人牲交| 一a级毛片在线观看| 色av中文字幕| 免费看光身美女| 久久久久亚洲av毛片大全| 男女下面进入的视频免费午夜| 宅男免费午夜| 国产伦人伦偷精品视频| 日本撒尿小便嘘嘘汇集6| 天堂av国产一区二区熟女人妻| 亚洲av五月六月丁香网| av中文乱码字幕在线| 久久香蕉国产精品| 女警被强在线播放| 亚洲人成网站在线播| 免费在线观看日本一区| 国产精品1区2区在线观看.| 亚洲美女黄片视频| a级毛片a级免费在线| 91久久精品国产一区二区成人 | 日本黄色视频三级网站网址| 搡老妇女老女人老熟妇| 成年女人在线观看亚洲视频 | 啦啦啦中文免费视频观看日本| 国产大屁股一区二区在线视频| av网站免费在线观看视频 | 国产在线男女| 亚洲精品成人久久久久久| 精品久久久精品久久久| 欧美+日韩+精品| 久久久久久久久大av| 国产人妻一区二区三区在| 91狼人影院| 日本wwww免费看| 中文乱码字字幕精品一区二区三区 | 久久精品久久久久久噜噜老黄| 春色校园在线视频观看| 欧美激情久久久久久爽电影| 精品久久国产蜜桃| 蜜桃久久精品国产亚洲av| 大话2 男鬼变身卡| 视频中文字幕在线观看| 99久久精品一区二区三区| 五月伊人婷婷丁香| 在线 av 中文字幕| 三级经典国产精品| av在线天堂中文字幕| 亚洲国产精品国产精品| 欧美日韩在线观看h| 国产在视频线精品| 内射极品少妇av片p| 亚洲一级一片aⅴ在线观看| 日韩 亚洲 欧美在线| 网址你懂的国产日韩在线| 少妇的逼好多水| 晚上一个人看的免费电影| 精品熟女少妇av免费看| 一区二区三区四区激情视频| 精品久久久久久久人妻蜜臀av| 久久精品国产自在天天线| 精品一区二区三区视频在线| 三级经典国产精品| 天美传媒精品一区二区| 午夜免费观看性视频| 最新中文字幕久久久久| 久久久久性生活片| 国产女主播在线喷水免费视频网站 | 日韩电影二区| 最新中文字幕久久久久| 美女高潮的动态| 国产有黄有色有爽视频| 午夜福利视频精品| 国国产精品蜜臀av免费| 日日啪夜夜爽| 国产极品天堂在线| 久久久久精品性色| 美女脱内裤让男人舔精品视频| 亚洲最大成人av| 久久久久久久久久久丰满| 午夜福利在线在线| 成人性生交大片免费视频hd| 精品国产一区二区三区久久久樱花 | 美女被艹到高潮喷水动态| 看非洲黑人一级黄片| 亚洲欧美中文字幕日韩二区| 国产熟女欧美一区二区| 男女视频在线观看网站免费| 熟妇人妻久久中文字幕3abv| 国产视频首页在线观看| 成年女人在线观看亚洲视频 | 午夜福利在线观看吧| 久久久久久久久中文| 日日撸夜夜添| 午夜精品国产一区二区电影 | 3wmmmm亚洲av在线观看| 建设人人有责人人尽责人人享有的 | 最近2019中文字幕mv第一页| 亚洲欧美精品自产自拍| 欧美日韩国产mv在线观看视频 | 日韩电影二区| 久久99热这里只有精品18| 日韩一区二区三区影片| 22中文网久久字幕| 一本一本综合久久| 你懂的网址亚洲精品在线观看| 校园人妻丝袜中文字幕| av在线亚洲专区| 国产男人的电影天堂91| 日韩欧美国产在线观看| 亚洲美女视频黄频| 亚洲精品中文字幕在线视频 | 午夜老司机福利剧场| 中文资源天堂在线| 国产一区二区亚洲精品在线观看| 国产免费又黄又爽又色| 日韩欧美三级三区| 亚洲精品一区蜜桃| 久久精品国产自在天天线| 韩国av在线不卡| 国产精品久久久久久久电影| av卡一久久| 亚洲,欧美,日韩| 一级a做视频免费观看| 久久精品国产鲁丝片午夜精品| 国产午夜精品久久久久久一区二区三区| 国产精品熟女久久久久浪| 国产毛片a区久久久久| 激情 狠狠 欧美| 精品亚洲乱码少妇综合久久| 精品国产三级普通话版| 欧美日韩亚洲高清精品| 亚洲成人精品中文字幕电影| 麻豆乱淫一区二区| 国内少妇人妻偷人精品xxx网站| 亚洲va在线va天堂va国产| 国产探花极品一区二区| 国产精品精品国产色婷婷| 中文字幕久久专区| 在线免费观看的www视频| 特大巨黑吊av在线直播| 人人妻人人澡欧美一区二区| 精品人妻熟女av久视频| 亚洲精品aⅴ在线观看| 亚洲国产最新在线播放| 一个人看的www免费观看视频| 一级毛片久久久久久久久女| 免费av观看视频| 精品午夜福利在线看| 别揉我奶头 嗯啊视频| 精品人妻视频免费看| 亚洲欧美一区二区三区国产| 成人毛片60女人毛片免费| 性插视频无遮挡在线免费观看| 免费黄频网站在线观看国产| 国产白丝娇喘喷水9色精品| 日日啪夜夜撸| 午夜福利在线观看吧| 亚洲人成网站在线观看播放| 亚洲国产av新网站| 51国产日韩欧美| 人人妻人人澡人人爽人人夜夜 | 老司机影院成人| 中国美白少妇内射xxxbb| 亚洲av.av天堂| a级毛色黄片| 美女脱内裤让男人舔精品视频| 高清av免费在线| 欧美日韩亚洲高清精品| 日韩欧美 国产精品| av卡一久久| 国产精品不卡视频一区二区| 亚洲欧美成人综合另类久久久| 国产黄色视频一区二区在线观看| 亚洲最大成人中文| 日韩欧美三级三区| 极品教师在线视频| 我的老师免费观看完整版| 日日干狠狠操夜夜爽| 男女那种视频在线观看| freevideosex欧美| 丰满少妇做爰视频| 国产淫语在线视频| 一区二区三区高清视频在线| 国产综合精华液| 人人妻人人看人人澡| 欧美精品国产亚洲| 观看免费一级毛片| 亚洲精品色激情综合| 99久久人妻综合| 久久精品久久久久久噜噜老黄| 免费看日本二区| 街头女战士在线观看网站| 亚洲人与动物交配视频| 日韩精品青青久久久久久| 久99久视频精品免费| 午夜福利网站1000一区二区三区| 国产人妻一区二区三区在| 国产免费一级a男人的天堂| 高清欧美精品videossex| 99视频精品全部免费 在线| 亚洲高清免费不卡视频| 国产精品一区二区在线观看99 | 18+在线观看网站| 国产成人福利小说| 成人欧美大片| 又粗又硬又长又爽又黄的视频| 十八禁国产超污无遮挡网站| 中文精品一卡2卡3卡4更新| 国产成人精品一,二区| 亚州av有码| 中文字幕人妻熟人妻熟丝袜美| 九九久久精品国产亚洲av麻豆| 欧美极品一区二区三区四区| 草草在线视频免费看| 国产91av在线免费观看| 亚洲怡红院男人天堂| 久久久久久久国产电影| 菩萨蛮人人尽说江南好唐韦庄| 直男gayav资源| 久久久成人免费电影| 久久精品国产亚洲av天美| 国产精品av视频在线免费观看| 亚洲国产成人一精品久久久| 九九久久精品国产亚洲av麻豆| 日本三级黄在线观看| 国产伦精品一区二区三区视频9| 高清毛片免费看| 菩萨蛮人人尽说江南好唐韦庄| 精品久久久久久久久久久久久| 99热网站在线观看| 日本一本二区三区精品| 一边亲一边摸免费视频| 欧美高清成人免费视频www| 综合色av麻豆| 尾随美女入室| 日日干狠狠操夜夜爽| av黄色大香蕉| 国产 亚洲一区二区三区 | 丝瓜视频免费看黄片| 日本wwww免费看| av黄色大香蕉| 国产成人精品婷婷| 99久久精品一区二区三区| 久久久精品94久久精品| 国产伦一二天堂av在线观看| 一二三四中文在线观看免费高清| 美女脱内裤让男人舔精品视频| 高清欧美精品videossex| 国产一级毛片七仙女欲春2| 午夜老司机福利剧场| 岛国毛片在线播放| 熟妇人妻久久中文字幕3abv| 国产精品久久久久久久电影| 久久久精品94久久精品| 成年av动漫网址| 午夜福利高清视频| 午夜福利在线观看吧| 免费大片黄手机在线观看| 男女边吃奶边做爰视频| 欧美3d第一页| 国产免费一级a男人的天堂| 97热精品久久久久久| 日韩,欧美,国产一区二区三区| 97超视频在线观看视频| 99久国产av精品| 亚洲av国产av综合av卡| 久久国内精品自在自线图片| 国产毛片a区久久久久| 国产精品日韩av在线免费观看| 欧美成人精品欧美一级黄| 亚洲最大成人中文| 中国国产av一级| 久久久a久久爽久久v久久| 午夜日本视频在线| 久久久久网色| 波野结衣二区三区在线| 国产精品精品国产色婷婷| 午夜久久久久精精品| 免费高清在线观看视频在线观看| 一区二区三区乱码不卡18| 国产男女超爽视频在线观看| 亚洲精品国产av成人精品| 三级国产精品欧美在线观看| 国产乱来视频区| 亚洲精品成人久久久久久| 别揉我奶头 嗯啊视频| 久久久久久久久久黄片| 国产午夜精品一二区理论片| 啦啦啦中文免费视频观看日本| 97超碰精品成人国产| 九色成人免费人妻av| 午夜久久久久精精品| 日韩三级伦理在线观看| 在线免费观看不下载黄p国产| 亚洲自拍偷在线| 成年av动漫网址| 久久久久久伊人网av| av在线老鸭窝| 欧美另类一区| 精品少妇黑人巨大在线播放| videossex国产| 亚洲第一区二区三区不卡| 国产精品美女特级片免费视频播放器| 蜜臀久久99精品久久宅男| 成人二区视频| 免费av毛片视频| 亚洲三级黄色毛片| 最近视频中文字幕2019在线8| 精品少妇黑人巨大在线播放| 国模一区二区三区四区视频| 中文天堂在线官网| 99热这里只有是精品在线观看| 国产一区二区在线观看日韩| av在线老鸭窝| 久久久精品欧美日韩精品| 日本熟妇午夜| 久久99热这里只频精品6学生| 国产精品人妻久久久久久| 少妇的逼好多水| 亚洲在线观看片| av免费在线看不卡| 如何舔出高潮| 日本色播在线视频| 国产在视频线在精品| 床上黄色一级片| 日韩成人伦理影院| 精品久久久久久久末码| 成人毛片60女人毛片免费| a级毛色黄片| 搡女人真爽免费视频火全软件| 国产一区有黄有色的免费视频 | 秋霞在线观看毛片| 日韩不卡一区二区三区视频在线| 精品一区二区三卡| 免费大片18禁| 在线天堂最新版资源| 国产麻豆成人av免费视频| 免费观看a级毛片全部| 日日啪夜夜爽| 激情五月婷婷亚洲| 成人亚洲精品一区在线观看 | 亚洲欧洲日产国产| 国内精品一区二区在线观看| 午夜福利视频1000在线观看| 久久99精品国语久久久| 伊人久久国产一区二区| 亚洲国产欧美人成| 伦理电影大哥的女人| 在线 av 中文字幕| 国产 一区精品| 国产大屁股一区二区在线视频| 成人特级av手机在线观看| 黄色一级大片看看| 日本欧美国产在线视频| 久久99蜜桃精品久久| 国产在视频线在精品| av一本久久久久| 亚洲色图av天堂| 在线 av 中文字幕| av国产免费在线观看| 国产成人a区在线观看| 欧美一区二区亚洲| 国产av码专区亚洲av| 国产亚洲精品久久久com| 日本黄大片高清| 精品一区二区三区视频在线| 你懂的网址亚洲精品在线观看| 六月丁香七月| 国内精品一区二区在线观看| 观看美女的网站| 国产精品人妻久久久久久| 色综合站精品国产| 成人美女网站在线观看视频| 国产 亚洲一区二区三区 | 国产v大片淫在线免费观看| 美女黄网站色视频| 麻豆成人av视频| 亚洲欧美清纯卡通| 国产黄频视频在线观看| 国产 一区 欧美 日韩| 狂野欧美激情性xxxx在线观看| 波野结衣二区三区在线| 少妇熟女欧美另类| 我的女老师完整版在线观看| 91狼人影院| 日本一二三区视频观看| 亚洲自拍偷在线| 亚洲av成人精品一区久久| 观看美女的网站| 亚洲欧美一区二区三区黑人 | 高清日韩中文字幕在线| 免费av观看视频| 精品久久久精品久久久| av播播在线观看一区| 国产高清三级在线| 日本爱情动作片www.在线观看| 国产成人精品久久久久久| 国产精品伦人一区二区| 午夜激情久久久久久久| 黄色一级大片看看| 亚洲成人久久爱视频| 热99在线观看视频| 国产午夜精品一二区理论片| 丰满少妇做爰视频| 国产午夜精品久久久久久一区二区三区| 免费黄频网站在线观看国产| 日韩成人av中文字幕在线观看| 国内精品美女久久久久久| 特大巨黑吊av在线直播| 夫妻午夜视频| 国产高清不卡午夜福利| 色视频www国产| 97超视频在线观看视频| 国产成人freesex在线| 在线免费十八禁| 热99在线观看视频| 91精品一卡2卡3卡4卡| 午夜福利视频1000在线观看| 哪个播放器可以免费观看大片| 久久精品熟女亚洲av麻豆精品 | 高清视频免费观看一区二区 | 亚洲欧美日韩无卡精品| 精品国内亚洲2022精品成人| 国产精品久久久久久av不卡| 国产精品国产三级专区第一集| 真实男女啪啪啪动态图| 啦啦啦中文免费视频观看日本| 男的添女的下面高潮视频| 色尼玛亚洲综合影院| av在线天堂中文字幕| 亚洲伊人久久精品综合| 欧美日本视频| 在现免费观看毛片| 久久精品夜夜夜夜夜久久蜜豆| 免费看不卡的av| 一本久久精品| 精品人妻视频免费看| 可以在线观看毛片的网站| 亚洲婷婷狠狠爱综合网| 街头女战士在线观看网站| 大又大粗又爽又黄少妇毛片口| 国产成人a∨麻豆精品| 午夜福利在线在线| 国产成人a区在线观看| 日韩av在线大香蕉| 国产av在哪里看| 日本一本二区三区精品| 亚洲aⅴ乱码一区二区在线播放| 亚洲精品日韩在线中文字幕| 老师上课跳d突然被开到最大视频| 日本av手机在线免费观看| 夜夜看夜夜爽夜夜摸| 成人亚洲精品av一区二区| 日韩强制内射视频| 午夜福利在线观看免费完整高清在| 欧美极品一区二区三区四区| 嫩草影院精品99| 亚洲av日韩在线播放| 久久久久久久国产电影| 激情 狠狠 欧美| 麻豆久久精品国产亚洲av| 直男gayav资源| 午夜亚洲福利在线播放| 日韩av不卡免费在线播放| 国产色爽女视频免费观看| 免费观看无遮挡的男女|