• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    融合BERT與多尺度CNN的科技政策內(nèi)容多標(biāo)簽分類研究*

    2022-12-01 07:49:10馬雨萌黃金霞
    情報雜志 2022年11期
    關(guān)鍵詞:尺度標(biāo)簽語義

    馬雨萌 黃金霞 王 昉 芮 嘯

    (1.中國科學(xué)院文獻情報中心 北京 100190;2.北京大學(xué)信息管理系 北京 100871)

    0 引 言

    在科技創(chuàng)新已成為國家轉(zhuǎn)型發(fā)展的根本驅(qū)動力和國家間競爭制高點的今天,科技政策層出不窮??萍颊呤菄覟閷崿F(xiàn)一定歷史時期的科技任務(wù)而規(guī)定的基本行動準(zhǔn)則,是指導(dǎo)整個科技事業(yè)的戰(zhàn)略和策略原則[1]??萍颊呶谋臼侵竾一虻胤綖榘l(fā)展科技事業(yè),各級權(quán)力或行政機關(guān)以文件形式頒布的法律、法規(guī)、部門規(guī)章等官方文獻[2]。網(wǎng)絡(luò)信息時代決策過程日益開放,大數(shù)據(jù)帶來的沖擊更加劇了對政府決策的影響,政府如何利用大數(shù)據(jù)完善決策過程是適應(yīng)時代和把握機遇的關(guān)鍵[3]。政策文本是政府處理公共事務(wù)的真實記錄和行為印跡,具有數(shù)據(jù)挖掘、趨勢分析、執(zhí)政參考等多重決策支持價值[4]。對于科技政策決策者和研究者而言,科技政策文本涵蓋領(lǐng)域廣,蘊含了大量復(fù)雜多元的指導(dǎo)性內(nèi)容,能夠支持豐富決策知識的發(fā)現(xiàn),成為大數(shù)據(jù)時代政府科技決策的重要依據(jù)和工具。

    當(dāng)前政府決策過程對科技政策結(jié)構(gòu)化內(nèi)容的分類需求越來越強烈,對大規(guī)模、碎片化的政策內(nèi)容進行有效分類,能夠幫助決策者從不同科技創(chuàng)新領(lǐng)域視角組織管理政策措施,是揭示領(lǐng)域政策演化脈絡(luò)、開展區(qū)域間政策對比等進一步分析的基礎(chǔ)。隨著大規(guī)模政策文本分析環(huán)境的轉(zhuǎn)變,傳統(tǒng)的人工定性編碼方式難以滿足快速決策的需求,文本自動分類方法在政策分類中的應(yīng)用得到了越來越多的關(guān)注。政策文本具有信息密度大與內(nèi)涵分布不均衡等特點[5],如何完整和準(zhǔn)確地表達分類語義是提升政策分類準(zhǔn)確性的關(guān)鍵問題。傳統(tǒng)的基于詞袋模型或其變體方法的分類模型,由于忽略了詞的相對位置信息,在表征文本的上下文信息和語義特征上存在局限性[6],因此如果傳統(tǒng)文本分類模型直接遷移應(yīng)用于政策文本領(lǐng)域,將無法充分捕獲政策文本的復(fù)雜語義與多層次特征。此外,科技政策措施涉及了人才建設(shè)、基礎(chǔ)設(shè)施、財政稅收、市場監(jiān)管等眾多領(lǐng)域,通過多種政策工具的組合共同支持國家科技創(chuàng)新發(fā)展。然而傳統(tǒng)的科技政策分類,多以科技計劃、農(nóng)村科技、國際科技合作等科技政策的作用領(lǐng)域為標(biāo)簽,從政策文件層面給予單標(biāo)簽分類[7-8],未能有效地揭示出政策內(nèi)容的多主題特征。

    針對以上問題,本文以科技政策文本為研究對象,基于BERT預(yù)訓(xùn)練模型和卷積神經(jīng)網(wǎng)絡(luò)相融合的深度學(xué)習(xí)方法,構(gòu)建科技政策文本的多標(biāo)簽分類模型。一方面通過BERT學(xué)習(xí)政策內(nèi)容句的語義特征表示,充分提取文本的上下文信息;另一方面利用多尺度、多通道的卷積模塊提取更多尺度的特征,增強政策分類語義特征表示和不同層次信息獲取的準(zhǔn)確性,從而提升模型在多標(biāo)簽分類任務(wù)上的性能,為實現(xiàn)科技政策文本內(nèi)容的自動化編碼與多主題分類提供參考。

    1 相關(guān)研究

    1.1 科技政策文本內(nèi)容分析與挖掘

    公共政策文本內(nèi)容分析領(lǐng)域經(jīng)歷了從質(zhì)性文本解讀到定量數(shù)據(jù)分析的變化,定量分析方法的應(yīng)用與拓展豐富了政策研究范式,在一定程度上有助于政府在決策過程中科學(xué)地調(diào)整或制定相關(guān)政策。科技政策作為蘊含了豐富科技決策知識的敘述性文本,近年來學(xué)者們積極探索了文本內(nèi)容分析方法在科技政策領(lǐng)域的應(yīng)用。自然語言處理、數(shù)據(jù)挖掘與文本計算等技術(shù)的研究與應(yīng)用,通過關(guān)注政策內(nèi)容的深層語義,為支持大規(guī)模政策文本的隱性特征發(fā)現(xiàn)與知識規(guī)律揭示提供了方法基礎(chǔ)。目前文本內(nèi)容分析與挖掘方法在科技政策應(yīng)用的主要領(lǐng)域包括:

    a.文本內(nèi)容分類:當(dāng)前研究通常以政策工具理論為依據(jù)建立類目,采用內(nèi)容分析法進行分類編碼和計量,將政策內(nèi)容語句轉(zhuǎn)化為帶有政策工具分類標(biāo)簽的可量化數(shù)據(jù),有助于決策者梳理與把握議題領(lǐng)域政策工具體系的結(jié)構(gòu)特征[9]。

    b.領(lǐng)域新詞發(fā)現(xiàn):為了準(zhǔn)確識別科技政策文本中出現(xiàn)的領(lǐng)域新詞、專有名詞術(shù)語,基于規(guī)則的方法根據(jù)政策文本的語言規(guī)律和句法特征,通過構(gòu)建規(guī)則模板來識別政策領(lǐng)域詞語[10]。深度學(xué)習(xí)的發(fā)展提供了特征的自動提取,針對科技政策領(lǐng)域缺乏標(biāo)注語料的問題,目前有學(xué)者探索了無監(jiān)督方法,利用較少的標(biāo)注語料達到了較好的識別性能[11]。

    c.文本主題分析:主題分析提供了一種深入語義層面的文本挖掘方法,發(fā)現(xiàn)大規(guī)模政策文本中的主題特征和語義內(nèi)涵。早期通過政策文本詞語關(guān)聯(lián)網(wǎng)絡(luò)的構(gòu)建,能夠直觀地展示科技政策文本主題的分布與關(guān)聯(lián)結(jié)構(gòu)[12]。更進一步,學(xué)者們將主題模型和文本聚類技術(shù)引入科技政策內(nèi)容分析中,揭示科技政策文本中的隱含主題信息及主題強度變化規(guī)律[13]。

    d.知識圖譜構(gòu)建:科技政策涉及政策工具、創(chuàng)新主體、適用條件、實現(xiàn)目標(biāo)等要素的協(xié)同合作,對政策文本中這些關(guān)鍵知識的解析與關(guān)聯(lián)可以借助知識圖譜解決。通過采用知識抽取、鏈接、存儲等知識圖譜技術(shù),能夠提取政策內(nèi)容中關(guān)鍵表述的知識實體、實體屬性及實體間關(guān)系,以知識網(wǎng)絡(luò)圖形式實現(xiàn)政策內(nèi)容的關(guān)系分析與推理[14]。

    1.2 基于深度學(xué)習(xí)的政策文本分類

    基于深度學(xué)習(xí)的分類方法,由于能夠從樣本中主動學(xué)習(xí)文本特征,且具有強大的特征選擇、抽取與表達能力,目前在政策文本分類領(lǐng)域得到應(yīng)用。根據(jù)待分類對象的類型與顆粒度,政策主題分類研究涉及了政策文件或其內(nèi)容語句的分類任務(wù)。一是在政策文件的主題分類方面,李志鵬引入LSTM模型解決政策文本分類的語義抽象及上下文環(huán)境保留問題,提高政策分類精度和挖掘效果[15]。越來越多的學(xué)者通過探索分類模型的融合或改進,以取得更好的分類效果。胡吉明等通過CNN模型提取政策文本的局部特征,利用BiLSTM模型整合政策文本的上下文特征,最大程度上保證政策文本語義完整性[16]。王濤利用深度學(xué)習(xí)中的注意力機制,根據(jù)正文與標(biāo)題二者的重要程度來對教育政策文本進行建模,得到文本的最優(yōu)向量表示,解決政策文本語義分布不均衡的問題[17]。另一方面,由于自動分類技術(shù)的應(yīng)用可以減少傳統(tǒng)政策內(nèi)容分析法所需的勞動量,目前有學(xué)者嘗試開展了基于機器學(xué)習(xí)的政策內(nèi)容自動編碼實踐,張維沖等利用自動分類和加權(quán)算法對政策條文進行開放式編碼,快速得到以政策目標(biāo)、研發(fā)與應(yīng)用、政策工具為主要維度的芯片產(chǎn)業(yè)政策內(nèi)容分析編碼表[18]。

    目前基于深度學(xué)習(xí)的政策分類研究,分類對象仍主要集中于政策文件層面,由于缺乏政策領(lǐng)域的標(biāo)注數(shù)據(jù)和科學(xué)、細(xì)致的主題分類體系,因此在政策內(nèi)容的分類研究上應(yīng)用較少。此外,一個完整的政策措施句通常具有多方面的主題,尤其對于科技政策而言,圍繞國家創(chuàng)新體系涉及了要素、環(huán)境、需求等科技創(chuàng)新多維度領(lǐng)域。然而,因為目前多數(shù)政策分類研究忽視了科技政策內(nèi)容的這種多主題特征,所以科技政策信息在不同視角、維度下的空間定位難以得到有效揭示。因此,探索深度學(xué)習(xí)方法在實現(xiàn)政策多標(biāo)簽分類任務(wù)上的應(yīng)用,是科技政策分類研究的重要發(fā)展方向。

    1.3 基于深度學(xué)習(xí)的多標(biāo)簽文本分類模型

    隨著文本分類粒度的細(xì)化程度越來越高,一個樣本可能與多個類別標(biāo)簽相關(guān),多標(biāo)簽文本分類的主要任務(wù)是通過特定的分類器為某個文本賦予多個標(biāo)簽[19]。如何高效地從文本中提取特征是多標(biāo)簽文本分類面臨的首要問題,相比于傳統(tǒng)的以詞袋模型作為文本特征表示的方法,深度學(xué)習(xí)方法通過學(xué)習(xí)文本的向量表示,能夠充分捕捉文本的上下文信息和語義特征,因此在文本多標(biāo)簽分類中取得了較好的效果[6]。按照網(wǎng)絡(luò)結(jié)構(gòu)的不同,基于深度學(xué)習(xí)的多標(biāo)簽文本分類包括基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)、基于循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)和基于Transformer的算法[20]?;贑NN的方法一般通過改進CNN結(jié)構(gòu)來適應(yīng)多標(biāo)簽文本分類,Baker等提出了一種基于改進CNN結(jié)構(gòu)的多標(biāo)簽文本分類方法,通過初始化神經(jīng)網(wǎng)絡(luò)模型的最終隱藏層來利用標(biāo)簽共現(xiàn)關(guān)系[21]?;赗NN的多標(biāo)簽文本分類方法大多采用Seq2Seq結(jié)構(gòu)來實現(xiàn),將多標(biāo)簽分類任務(wù)視為序列生成問題,以此來考慮標(biāo)簽之間的相關(guān)性[22]。隨著具有注意力機制的Transformer在自然語言處理領(lǐng)域的廣泛應(yīng)用,尤其基于雙向Transformer的文本表示模型BERT在文本分類、信息抽取等任務(wù)中達到了領(lǐng)先水平[23],Transformer模型在多標(biāo)簽分類領(lǐng)域也得到了大量應(yīng)用。Lee等利用預(yù)訓(xùn)練的BERT模型,對以權(quán)力要求書為主要內(nèi)容的專利文本進行分類,實驗證明BERT模型針對多標(biāo)簽的專利文本有更好的分類效果[24]。

    上述研究為科技政策內(nèi)容的多標(biāo)簽分類提供了一定的參考思路,但是存在如下問題:①目前基于CNN、RNN的分類模型在提取特征前,多使用Word2Vec等傳統(tǒng)詞向量模型將預(yù)處理文本進行向量化表示,但是這些詞向量忽視了詞語的多義性,對文本的表征依然存在局限性[25];②對CNN或RNN的單獨使用存在著一些問題,例如CNN因為網(wǎng)絡(luò)變深而出現(xiàn)性能飽和,RNN會疊加錯誤標(biāo)簽帶來的影響,而且目前神經(jīng)網(wǎng)絡(luò)模型獲取文本的特征有限,相對于BERT等預(yù)訓(xùn)練模型仍有差距[20];③科技政策內(nèi)容句具有信息密度大、涉及主題領(lǐng)域多、內(nèi)涵分布不均衡等特點,如未充分考慮這些問題就將通用分類模型進行移植應(yīng)用,則難以實現(xiàn)對語句局部特征和關(guān)鍵有效信息的捕獲。

    2 研究設(shè)計

    2.1 整體研究框架

    本文提出了基于深度學(xué)習(xí)模型的科技政策多標(biāo)簽分類方法,依據(jù)政策工具理論建立科技政策分類體系,將科技政策內(nèi)容語句歸屬于相應(yīng)的若干政策工具類型。本文的整體研究框架包括:①實驗數(shù)據(jù)準(zhǔn)備:采集科技政策文本并進行預(yù)處理,依據(jù)分類體系,準(zhǔn)備訓(xùn)練數(shù)據(jù)。②BERT-多尺度CNN模型訓(xùn)練:本文使用BERT提取政策語句特征,提高對文本語義的表示能力,然后為了獲得不同層次的信息,設(shè)計了多尺度卷積模塊Text Inception,在不同尺度上提取句子中的關(guān)鍵語義特征,最后通過Sigmoid對語句進行多標(biāo)簽分類。③對比實驗:通過與僅使用BERT的分類實驗對比,驗證融合多尺度CNN方法的有效性。④分類效果評價:計算與分析BERT-多尺度CNN模型和單一BERT模型的分類結(jié)果,對模型進行評價。

    2.2 基于政策工具的科技政策分類體系

    政策工具是由政府所掌握的、用以實現(xiàn)政策目標(biāo)的各類手段和措施[26]。在科技政策體系研究中,當(dāng)前學(xué)者們通常以政策工具理論作為定義科技政策內(nèi)容分析框架的依據(jù),揭示科技創(chuàng)新特定領(lǐng)域下的政策工具特征,指出政策體系結(jié)構(gòu)存在的問題,并提出相應(yīng)建議[27]。本文依據(jù)經(jīng)典的Rothwell等提出的供給型、環(huán)境型和需求型政策工具分類法[28],界定和劃分科技政策內(nèi)容語句所屬的政策工具類型,共15個類別,并以此作為科學(xué)的、較細(xì)粒度的、覆蓋科技創(chuàng)新重點領(lǐng)域的科技政策分類體系??萍颊叩墓┙o型政策工具指政府通過對人才、設(shè)施、技術(shù)、資金等方面的支持,直接擴大或改善科技創(chuàng)新相關(guān)要素的供給,可細(xì)分為資金投入、技術(shù)研發(fā)、人才隊伍建設(shè)、項目計劃、科創(chuàng)基地與平臺、科技基礎(chǔ)設(shè)施建設(shè)、公共服務(wù)??萍颊叩沫h(huán)境型政策工具指政府通過影響科技創(chuàng)新發(fā)展的環(huán)境因素,為促進科技活動、提高創(chuàng)新主體積極性營造有利的政策環(huán)境,可分為創(chuàng)造和知識產(chǎn)權(quán)保護、金融支持、科技成果轉(zhuǎn)移轉(zhuǎn)化、市場監(jiān)管、稅收激勵。科技政策的需求型政策工具指政府積極開拓并穩(wěn)定技術(shù)和產(chǎn)品應(yīng)用的市場,減少與創(chuàng)新相關(guān)的市場不確定性,通過擴大市場需求對新產(chǎn)品、新技術(shù)開發(fā)等創(chuàng)新活動產(chǎn)生拉動作用,較為常見的有貿(mào)易協(xié)定、政府采購、宣傳推廣[29]。

    2.3 基于BERT-多尺度CNN的多標(biāo)簽分類模型構(gòu)建

    本文提出了基于BERT與多尺度CNN融合的多標(biāo)簽分類模型,如圖1所示,模型結(jié)構(gòu)主要包括BERT文本表示層、多尺度卷積層和多標(biāo)簽分類層。首先將政策語句輸入BERT文本表示層進行語義編碼、補充;然后在多尺度卷積層中,利用多種尺度的卷積核得到不同尺度的語義特征,通過最大池化獲取最優(yōu)特征;在分類層通過Sigmoid函數(shù)計算不同類別的概率,從而輸出多標(biāo)簽的預(yù)測序列。該模型既通過BERT充分提取文本的上下文信息,又具備了多尺度卷積核提取文本的局部特征的特點。

    圖1 BERT-多尺度CNN模型結(jié)構(gòu)

    a.BERT文本表示層。

    BERT采用雙向Transformer編碼器作為特征提取器,以多頭注意力機制融合了上下文信息[30]。BERT通過自動隨機掩碼機制來預(yù)測文本中的缺失詞,同時利用上下句關(guān)系預(yù)測來聯(lián)合表達文本的語句序列表示,分別獲取詞語和句子級別的語義信息[31]。因此,相比于Word2Vec等傳統(tǒng)的詞向量,BERT充分考慮了文本的上下文關(guān)系,具有良好的語義多樣性[32]。在BERT的輸出層,可以結(jié)合具體的任務(wù)做參數(shù)微調(diào),完成文本分類等自然語言處理任務(wù)。

    在BERT-多尺度CNN模型的文本表示層,采用BERT對輸入長度為n的政策句子進行編碼。BERT首先對輸入文本做詞向量嵌入表示,包括單詞嵌入(Token Embedding)、句子嵌入(Segment Embedding)和位置嵌入(Position Embedding),將句子通過“[CLS]”和“[SEP]”標(biāo)記同時輸入到模型中表示為En,每個詞的嵌入維度為768,如圖1所示,E1、E2、…、En表示模型的輸入向量;然后再通過12層Transformers Encoder結(jié)構(gòu),將每個詞轉(zhuǎn)換成富含句法語義特征的Tn,如圖1所示,T1、T2、…、Tn表示模型的輸出向量,作為下游多尺度CNN模型的輸入。

    b.多尺度卷積層。

    卷積神經(jīng)網(wǎng)絡(luò)(CNN)可以學(xué)習(xí)到文本的局部特征,結(jié)構(gòu)通常由卷積層、池化層和全連接層組成。CNN模型通過不同卷積核來提取多種深層特征,為了提取高維度特征,主要是進行更深層卷積,但隨之帶來網(wǎng)絡(luò)變深、性能飽和的問題[33]。因此,Google提出了Inception卷積模塊[34],增加了網(wǎng)絡(luò)的寬度,Inception網(wǎng)絡(luò)中并行使用多個不同尺度的卷積核,將輸出結(jié)果拼接成一個更深的特征圖,充分提取多尺度的特征,可更加全面地利用隱藏的特征信息[35]。本文針對科技政策內(nèi)容句的特征,借鑒Inception V1網(wǎng)絡(luò)結(jié)構(gòu)的思想,設(shè)計了多尺度卷積模塊(CNN-Inception),對CNN模型增加卷積層和通道數(shù),通過不同尺度的卷積核學(xué)習(xí)文本的不同特征信息,更好地捕獲文本的局部特征與高階特征,將這些多尺度特征進行拼接來獲得政策句的關(guān)鍵語義特征。

    CNN-Inception模塊對BERT輸出的向量并行地執(zhí)行多個卷積運算和池化處理,如圖1所示,模型中有四個卷積通道,使用不同大小的卷積核,可以從不同尺度視角下獲得文本的特征信息。第一通道和第四通道為一層卷積,第一通道的卷積核尺寸為1×768,輸出數(shù)量為256;第四通道的卷積核尺寸為3×768,輸出數(shù)量為256。為了獲得更深層的多尺度高維特征,第二個和第三個卷積通道使用兩層卷積,這兩個通道之間加入BatchNorm并使用ReLU為激活函數(shù)。其中,第二通道中第一層卷積核的尺寸為1×768,第二層卷積核尺寸為1×1,兩層輸出數(shù)量均為256;第三通道中第一層卷積核的尺寸為3×768,第二層卷積核的尺寸為5×1,兩層輸出數(shù)量均為256。模型利用最大池化方式進行特征選擇,選取主要特征作為最后的輸出特征。經(jīng)過最大池化層后將4個通道的特征拼接在一起得到一個256×4維的政策句向量,再將這個向量輸入到一個全連接層,全連接層的輸出維度等于分類數(shù)目。

    c.多標(biāo)簽分類層。

    不同于多類別分類,多標(biāo)簽分類由于每個實例的標(biāo)簽數(shù)量不同,模型將不對預(yù)測的概率進行歸一化處理[6]。本文在分類層使用Sigmoid函數(shù)預(yù)測多標(biāo)簽分類任務(wù)中每個標(biāo)簽的獨立分布,將全連接層輸出的特征向量轉(zhuǎn)換為不同標(biāo)簽的概率,對不同政策工具類別的概率進行獨立計算,概率大于0.5就屬于該標(biāo)簽,從而得到多標(biāo)簽的預(yù)測序列。

    3 實驗與結(jié)果

    3.1 實驗數(shù)據(jù)集

    本實驗于2022年1—2月期間使用后羿采集器,采集了國家部委、各省、自治區(qū)、直轄市及其省會城市的各級政府部門網(wǎng)站公開發(fā)布的2021、2020年科技政策文本。本文將這些采集數(shù)據(jù)作為實驗數(shù)據(jù)集,一方面由于數(shù)據(jù)來源于政府部門官網(wǎng),具有權(quán)威性;另一方面,各級政策制定是對上層政策的響應(yīng)和細(xì)化[36],因此國家級、省級及重要城市頒布的政策文件在政策擴散路徑上通常作為上層政策,其主題基本涵蓋了我國科技政策的體系結(jié)構(gòu)及布局重點。

    表1 政策內(nèi)容句數(shù)據(jù)集分布

    首先,對采集數(shù)據(jù)集進行遴選與去HTML標(biāo)簽等數(shù)據(jù)清洗操作,對政策全文做分句處理和篩選,剔除非措施內(nèi)容的無關(guān)語句。然后,對得到的政策內(nèi)容句數(shù)據(jù)集進行多標(biāo)簽分類標(biāo)注,優(yōu)先標(biāo)注2021年的政策句,對于樣本量過少的分類標(biāo)簽,補充標(biāo)注2020年的政策句,使各標(biāo)簽下的語句數(shù)量盡量平衡,共得到11 096條科技政策標(biāo)注數(shù)據(jù),每種類別下的政策句數(shù)量如表1所示。本實驗對各分類標(biāo)簽下的樣本進行隨機抽取,按6∶2∶2將數(shù)據(jù)集劃分為訓(xùn)練集、測試集和驗證集。

    3.2 評價指標(biāo)

    與其他多標(biāo)簽分類方法使用的評價指標(biāo)相同,本文采用精確率(Precision)、召回率(Recall)以及Micro-F1值作為模型評價指標(biāo)。精確率是指預(yù)測正確的樣本占數(shù)據(jù)中真正例與錯誤預(yù)測正例的樣本中比例,召回率表示分類預(yù)測正確的樣本占所有真實正確樣本的比例。Micro-F1值是衡量多標(biāo)簽分類任務(wù)效果的重要指標(biāo),由于多標(biāo)簽文本分類賦予文本的標(biāo)簽數(shù)量不是固定的,micro對同一類別下的文本給予相同權(quán)重,將micro-precision和micro-recall調(diào)和平均后求得micro-F1,計算公式[37]如式(1)-(3)所示,這種方式可以部分消除多標(biāo)簽文本分類因為數(shù)據(jù)不平衡帶來的影響。

    (1)

    (2)

    (3)

    3.3 實驗配置

    本文在以下環(huán)境進行實驗:PyTorch 1.10.1,Python 3.8,操作系統(tǒng)Red Hat 4.8.5,CPU為Intel Xeon@2.4GHZx4,GPU為Quadro RTX 5000(16G),運行內(nèi)存12G。

    本文使用BERT-Base的中文預(yù)訓(xùn)練模型進行實驗,該模型結(jié)構(gòu)包含12層Transformers,隱藏層維度為768,注意力頭(Head)數(shù)量為12,BERT模型其他參數(shù)通過微調(diào)后作為正式實驗使用的參數(shù),如表2所示。

    表2 BERT參數(shù)設(shè)置

    在多尺度卷積層,采用Adam優(yōu)化器加速神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程,CNN的模型參數(shù)包括批尺寸(Batch_size)為4,隨機失活率(Dropout)為0.5,學(xué)習(xí)率(Learning_rate)為3×10-5,激活函數(shù)為ReLU。

    3.4 結(jié)果與分析

    本文模型在測試集上各個類別和平均的精確率、召回率和Micro-F1值如表3所示。為了驗證本文模型融合多尺度CNN的有效性,開展僅使用BERT的多標(biāo)簽分類實驗,將文本輸入BERT模型中,經(jīng)全連接層映射到標(biāo)簽維度,通過Sigmoid分別對每個維度計算所有標(biāo)簽的分布,并與BERT-CNN的實驗結(jié)果進行對比。

    表3 多標(biāo)簽分類的實驗結(jié)果比較

    實驗結(jié)果表明,本文提出的BERT-多尺度CNN模型,由于融合了Text Inception多尺度、多通道、更深層的卷積特性,相比于僅使用BERT的分類模型,能夠有效獲得不同尺度語句的特征,在平均精確率、召回率、Micro-F1值3個指標(biāo)上分別取得了75.33%、69.12%、72.09%的效果,都要優(yōu)于單一BERT模型,且平均召回率提升了17.28%,Micro-F1值提升了11.15%,因此BERT-多尺度CNN模型提升了多標(biāo)簽分類模型的整體性能。

    通過對比模型在各個類上的結(jié)果,除“項目計劃”類外,BERT-多尺度CNN模型在其他所有類別上的Micro-F1值均高于單一BERT模型,其中有超過一半的分類標(biāo)簽提升幅度超過了10%。BERT-多尺度CNN模型顯著提升了一些樣本量偏少的類別Micro-F1值,例如提升幅度前兩位的“政府采購”類(35.18%)和“貿(mào)易協(xié)定”類(31.02%),由于在一定程度上解決了因樣本量少所造成的特征提取不充分的問題,因此該模型能夠彌補多標(biāo)簽數(shù)據(jù)分布不均的缺點。

    對于“項目計劃”這樣錯誤較多且提升效果不理想的類,通過深入分析其對應(yīng)的樣本數(shù)據(jù),發(fā)現(xiàn)這些類的標(biāo)注數(shù)據(jù)中多標(biāo)簽樣本較少,可能由于人工標(biāo)注語料的問題,機器未能充分學(xué)習(xí)到這類語句的多維度特征,未來可通過提高多標(biāo)簽標(biāo)注數(shù)據(jù)的質(zhì)量來改善分類性能。此外,在模型的多標(biāo)簽分類層,本文以概率是否大于0.5為依據(jù)來判斷語句是否屬于該標(biāo)簽,這種判別方法本身就存在較大的誤差,未來將探索判別方法的改進來提高分類的準(zhǔn)確率。

    4 總結(jié)與展望

    本文面向當(dāng)前科技政策文本內(nèi)容的自動編碼與多領(lǐng)域分類的需求,針對科技政策內(nèi)容句具有信息密度大、涉及主題多、內(nèi)涵分布不均衡等特點,提出了一種融合BERT與多尺度CNN的多標(biāo)簽文本分類方法。本文依據(jù)政策工具理論建立科技政策類別體系,構(gòu)建的多標(biāo)簽分類模型結(jié)合了BERT和多尺度CNN的優(yōu)點,通過捕獲文本的局部特征與組合不同尺度的語句特征得到更加豐富的語義特征信息,從而提升模型在多標(biāo)簽分類任務(wù)上的性能。實驗結(jié)果表明,該模型與單一BERT分類模型相比效果顯著提升,為科技政策內(nèi)容句的自動分類編碼工作提供了參考。

    利用本文提出的自動分類方法,可將科技政策內(nèi)容中有決策價值的信息快速轉(zhuǎn)化為定量數(shù)據(jù),幫助決策者從政策工具視角把握政策體系結(jié)構(gòu)?;诳萍颊邇?nèi)容的多標(biāo)簽分類結(jié)果,實現(xiàn)不同政策工具視角的交叉與關(guān)聯(lián),反映了該政策信息在科技政策體系的空間定位,便于根據(jù)不同決策任務(wù)從不同維度對科技政策措施進行分類匯總,為支撐科技決策服務(wù)提供覆蓋科技創(chuàng)新重點領(lǐng)域的政策數(shù)據(jù)資源。在未來工作中,將通過繼續(xù)收集與遴選國家和地方各級政策文本,擴大政策分類數(shù)據(jù)集規(guī)模,針對當(dāng)前樣本數(shù)據(jù)較少的類別增加訓(xùn)練樣本數(shù)量,進一步提高政策分類效果;另外,通過引入實體識別、知識圖譜等技術(shù),結(jié)合抽取到的科技創(chuàng)新主體、活動、條件等其他實體,進一步豐富科技政策內(nèi)容的描述維度,能夠從更多視角對政策數(shù)據(jù)進行組織管理。

    猜你喜歡
    尺度標(biāo)簽語義
    財產(chǎn)的五大尺度和五重應(yīng)對
    語言與語義
    無懼標(biāo)簽 Alfa Romeo Giulia 200HP
    車迷(2018年11期)2018-08-30 03:20:32
    不害怕撕掉標(biāo)簽的人,都活出了真正的漂亮
    海峽姐妹(2018年3期)2018-05-09 08:21:02
    宇宙的尺度
    太空探索(2016年5期)2016-07-12 15:17:55
    “上”與“下”語義的不對稱性及其認(rèn)知闡釋
    標(biāo)簽化傷害了誰
    基于多進制查詢樹的多標(biāo)簽識別方法
    計算機工程(2015年8期)2015-07-03 12:20:27
    認(rèn)知范疇模糊與語義模糊
    9
    h日本视频在线播放| 精品99又大又爽又粗少妇毛片| 嫩草影院精品99| 2022亚洲国产成人精品| www.av在线官网国产| 99热全是精品| 91久久精品国产一区二区成人| 国产精品国产三级国产av玫瑰| 午夜a级毛片| 亚洲精品自拍成人| 国产高清不卡午夜福利| 免费av不卡在线播放| 欧美潮喷喷水| 可以在线观看毛片的网站| 午夜精品一区二区三区免费看| 国产成人精品一,二区 | 人妻制服诱惑在线中文字幕| 欧美+日韩+精品| 国产色婷婷99| 亚洲中文字幕日韩| 91久久精品电影网| 男的添女的下面高潮视频| 在线观看av片永久免费下载| 国产极品精品免费视频能看的| 午夜免费男女啪啪视频观看| 级片在线观看| 亚洲在久久综合| 国产精品综合久久久久久久免费| 哪里可以看免费的av片| 午夜爱爱视频在线播放| 亚洲av中文字字幕乱码综合| 亚洲激情五月婷婷啪啪| 综合色av麻豆| 桃色一区二区三区在线观看| 伦精品一区二区三区| 人人妻人人澡人人爽人人夜夜 | 乱系列少妇在线播放| 午夜精品在线福利| 啦啦啦啦在线视频资源| 特大巨黑吊av在线直播| 国产一级毛片在线| 嫩草影院入口| 免费大片18禁| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 少妇人妻一区二区三区视频| 99国产极品粉嫩在线观看| 国产极品精品免费视频能看的| av在线亚洲专区| 亚洲欧美清纯卡通| 一边亲一边摸免费视频| 日韩一本色道免费dvd| 中文欧美无线码| 婷婷精品国产亚洲av| 人人妻人人澡人人爽人人夜夜 | 久久精品国产自在天天线| 久久热精品热| 国产爱豆传媒在线观看| 人妻夜夜爽99麻豆av| 熟女电影av网| av在线蜜桃| 欧美三级亚洲精品| 此物有八面人人有两片| 国产精品久久久久久亚洲av鲁大| 日本免费一区二区三区高清不卡| 男人舔奶头视频| 在线a可以看的网站| kizo精华| 成人午夜精彩视频在线观看| 人体艺术视频欧美日本| 日韩国内少妇激情av| 日韩成人伦理影院| 99在线视频只有这里精品首页| 久久九九热精品免费| 99久久无色码亚洲精品果冻| 青春草亚洲视频在线观看| 欧美+亚洲+日韩+国产| 神马国产精品三级电影在线观看| 成人高潮视频无遮挡免费网站| 综合色av麻豆| 精华霜和精华液先用哪个| 日韩,欧美,国产一区二区三区 | 变态另类成人亚洲欧美熟女| 国产av在哪里看| 亚洲真实伦在线观看| 亚洲精品日韩av片在线观看| 在线a可以看的网站| 欧美精品一区二区大全| 丰满人妻一区二区三区视频av| 国国产精品蜜臀av免费| videossex国产| 1024手机看黄色片| 成人二区视频| 亚洲三级黄色毛片| 亚洲无线观看免费| 国语自产精品视频在线第100页| 12—13女人毛片做爰片一| 99久久精品热视频| 国产一区二区三区在线臀色熟女| 97热精品久久久久久| 亚洲成a人片在线一区二区| 在线免费十八禁| 在线免费观看不下载黄p国产| 好男人视频免费观看在线| 校园人妻丝袜中文字幕| 嫩草影院精品99| 精品免费久久久久久久清纯| 国产精华一区二区三区| 亚洲最大成人手机在线| 欧美xxxx黑人xx丫x性爽| 狂野欧美白嫩少妇大欣赏| 嫩草影院入口| 日本av手机在线免费观看| 丝袜美腿在线中文| 黄色视频,在线免费观看| 校园人妻丝袜中文字幕| or卡值多少钱| 中文字幕熟女人妻在线| 成人特级av手机在线观看| 一级二级三级毛片免费看| 成人漫画全彩无遮挡| 国产精品久久视频播放| 熟女人妻精品中文字幕| 亚洲一区高清亚洲精品| 午夜爱爱视频在线播放| 成人鲁丝片一二三区免费| 成人性生交大片免费视频hd| 干丝袜人妻中文字幕| 亚洲第一电影网av| 久久久欧美国产精品| 亚洲欧美日韩东京热| 亚洲av中文字字幕乱码综合| 亚洲成av人片在线播放无| 在线播放无遮挡| 熟女电影av网| 欧美日本亚洲视频在线播放| 午夜a级毛片| 国产一区二区三区在线臀色熟女| 国产一区二区亚洲精品在线观看| 最近视频中文字幕2019在线8| 一级二级三级毛片免费看| 国产精品女同一区二区软件| 一个人观看的视频www高清免费观看| 97热精品久久久久久| 欧美3d第一页| a级毛色黄片| 午夜激情福利司机影院| 麻豆精品久久久久久蜜桃| 国产综合懂色| 看免费成人av毛片| 又粗又爽又猛毛片免费看| 亚洲欧美成人综合另类久久久 | 男女下面进入的视频免费午夜| 亚洲乱码一区二区免费版| 日韩中字成人| 色综合站精品国产| 91在线精品国自产拍蜜月| 桃色一区二区三区在线观看| 老女人水多毛片| 久久久欧美国产精品| av专区在线播放| 天天一区二区日本电影三级| av.在线天堂| 国产一区二区三区av在线 | 干丝袜人妻中文字幕| 亚洲人成网站在线观看播放| 免费无遮挡裸体视频| 亚洲成人av在线免费| 午夜福利高清视频| 国产av不卡久久| 久久国内精品自在自线图片| 欧美成人免费av一区二区三区| 黄色欧美视频在线观看| 国产伦一二天堂av在线观看| 91久久精品电影网| 国产伦精品一区二区三区视频9| 99热网站在线观看| 国产精品女同一区二区软件| 亚洲va在线va天堂va国产| 久久久a久久爽久久v久久| 国产精品久久久久久久电影| 亚洲av男天堂| 插阴视频在线观看视频| 成人二区视频| 免费人成在线观看视频色| 亚洲精品乱码久久久v下载方式| 精品人妻一区二区三区麻豆| 麻豆成人av视频| 一区二区三区高清视频在线| 婷婷色综合大香蕉| 色综合站精品国产| 国产黄色小视频在线观看| 久久九九热精品免费| 国产久久久一区二区三区| 国产欧美日韩精品一区二区| 国产午夜精品一二区理论片| 一进一出抽搐gif免费好疼| 免费电影在线观看免费观看| 久久6这里有精品| 日韩一区二区三区影片| 国产在线精品亚洲第一网站| 久久精品91蜜桃| 亚洲精品日韩在线中文字幕 | 国产亚洲av嫩草精品影院| 人妻系列 视频| 秋霞在线观看毛片| 国产又黄又爽又无遮挡在线| 中国美白少妇内射xxxbb| 亚洲精品亚洲一区二区| 波多野结衣高清作品| 少妇猛男粗大的猛烈进出视频 | 久久精品国产99精品国产亚洲性色| 日韩一区二区视频免费看| 国产免费一级a男人的天堂| 亚洲av男天堂| 久久6这里有精品| 热99re8久久精品国产| 午夜久久久久精精品| 精品久久久久久久久久免费视频| 亚洲最大成人中文| 亚洲人成网站在线播放欧美日韩| www日本黄色视频网| 听说在线观看完整版免费高清| 禁无遮挡网站| 99久国产av精品| 国产精品99久久久久久久久| 亚洲欧美日韩东京热| 久久欧美精品欧美久久欧美| 国产精品一区二区三区四区久久| 亚洲精品粉嫩美女一区| 国产黄片视频在线免费观看| 色播亚洲综合网| 狠狠狠狠99中文字幕| 最近的中文字幕免费完整| 免费看日本二区| 99热这里只有是精品在线观看| 日韩一区二区视频免费看| 日本五十路高清| 久久久精品欧美日韩精品| 亚洲成人久久爱视频| 人人妻人人看人人澡| 日本黄大片高清| 亚洲真实伦在线观看| 国产一区二区三区在线臀色熟女| 午夜老司机福利剧场| 国产精品麻豆人妻色哟哟久久 | 国产人妻一区二区三区在| 午夜福利成人在线免费观看| 亚洲天堂国产精品一区在线| 亚洲av二区三区四区| 日韩欧美一区二区三区在线观看| 亚洲欧洲日产国产| 亚洲七黄色美女视频| 日韩亚洲欧美综合| 免费人成视频x8x8入口观看| 免费观看的影片在线观看| 一区二区三区免费毛片| av在线播放精品| 国产精品一二三区在线看| 国产精品不卡视频一区二区| 夜夜看夜夜爽夜夜摸| 亚洲内射少妇av| 成人无遮挡网站| 日本黄色片子视频| 特级一级黄色大片| 亚洲av中文av极速乱| 91在线精品国自产拍蜜月| 别揉我奶头 嗯啊视频| 亚洲国产日韩欧美精品在线观看| 伊人久久精品亚洲午夜| 美女大奶头视频| 欧美性感艳星| 99久国产av精品国产电影| 国产高清三级在线| 12—13女人毛片做爰片一| 亚洲av成人av| 国产成人aa在线观看| 亚洲在久久综合| 热99在线观看视频| 亚洲无线在线观看| 毛片一级片免费看久久久久| 成人亚洲精品av一区二区| 啦啦啦韩国在线观看视频| 少妇高潮的动态图| 美女大奶头视频| АⅤ资源中文在线天堂| 久99久视频精品免费| 午夜精品一区二区三区免费看| 日本五十路高清| 精品午夜福利在线看| 免费在线观看成人毛片| 黄色配什么色好看| 深夜精品福利| 中文字幕免费在线视频6| 男女啪啪激烈高潮av片| 最近中文字幕高清免费大全6| 成人综合一区亚洲| 久久99精品国语久久久| 天美传媒精品一区二区| 久久久a久久爽久久v久久| 日韩人妻高清精品专区| 中文精品一卡2卡3卡4更新| 国产精品一二三区在线看| 婷婷色av中文字幕| 日韩一区二区视频免费看| 好男人在线观看高清免费视频| 99热这里只有是精品在线观看| h日本视频在线播放| 国产成人91sexporn| 热99re8久久精品国产| 变态另类成人亚洲欧美熟女| 精品午夜福利在线看| 蜜桃亚洲精品一区二区三区| 人体艺术视频欧美日本| 听说在线观看完整版免费高清| 精品久久久久久久久久久久久| 亚洲电影在线观看av| 菩萨蛮人人尽说江南好唐韦庄 | 成人毛片a级毛片在线播放| av在线天堂中文字幕| 欧美另类亚洲清纯唯美| 国产精品一区二区性色av| 免费大片18禁| 国产 一区 欧美 日韩| 国产精品福利在线免费观看| 日韩高清综合在线| 看片在线看免费视频| 一区福利在线观看| 男人和女人高潮做爰伦理| 国产午夜精品论理片| 国产精品国产三级国产av玫瑰| 久久精品夜色国产| av天堂中文字幕网| 噜噜噜噜噜久久久久久91| 欧美另类亚洲清纯唯美| 成人毛片a级毛片在线播放| 成人午夜高清在线视频| 国产成人精品一,二区 | 桃色一区二区三区在线观看| 在线天堂最新版资源| 久久精品影院6| 别揉我奶头 嗯啊视频| 男女下面进入的视频免费午夜| 如何舔出高潮| 少妇被粗大猛烈的视频| 国产单亲对白刺激| 亚洲国产精品sss在线观看| 亚洲一区高清亚洲精品| 黄片无遮挡物在线观看| 亚洲欧美精品综合久久99| 欧美日本亚洲视频在线播放| 国产精品伦人一区二区| 亚洲自拍偷在线| 国产视频内射| av免费观看日本| 青春草国产在线视频 | 精品欧美国产一区二区三| 精品熟女少妇av免费看| av女优亚洲男人天堂| 1000部很黄的大片| 狂野欧美白嫩少妇大欣赏| 中文字幕av成人在线电影| 国产美女午夜福利| 欧美+亚洲+日韩+国产| 在线免费十八禁| 国产精品综合久久久久久久免费| 午夜激情欧美在线| 国产亚洲5aaaaa淫片| 日本撒尿小便嘘嘘汇集6| 国产av在哪里看| 成年免费大片在线观看| 免费看a级黄色片| 秋霞在线观看毛片| 国产av在哪里看| 夜夜夜夜夜久久久久| 亚洲乱码一区二区免费版| 桃色一区二区三区在线观看| av国产免费在线观看| 成熟少妇高潮喷水视频| 男女做爰动态图高潮gif福利片| 直男gayav资源| 美女国产视频在线观看| 精品久久久久久久久久免费视频| 亚洲欧洲日产国产| 久久久久免费精品人妻一区二区| 日本av手机在线免费观看| 特级一级黄色大片| 99久久无色码亚洲精品果冻| 美女脱内裤让男人舔精品视频 | 国产成人freesex在线| 最近中文字幕高清免费大全6| 人妻制服诱惑在线中文字幕| 中国美女看黄片| 美女脱内裤让男人舔精品视频 | 人人妻人人澡人人爽人人夜夜 | 国产一区亚洲一区在线观看| 免费观看精品视频网站| 久久久精品94久久精品| 欧美日韩国产亚洲二区| 一区二区三区四区激情视频 | 午夜爱爱视频在线播放| 久久99精品国语久久久| 中文字幕制服av| 久久亚洲精品不卡| 久久久久久久亚洲中文字幕| 色综合站精品国产| 久久精品国产亚洲av涩爱 | 免费观看在线日韩| 亚洲最大成人手机在线| 久久精品人妻少妇| 成人二区视频| 国产蜜桃级精品一区二区三区| 国产又黄又爽又无遮挡在线| 精品久久久久久久久av| 91狼人影院| 一个人免费在线观看电影| 国产精品国产高清国产av| 一区二区三区免费毛片| 1000部很黄的大片| 亚洲成a人片在线一区二区| av免费观看日本| 欧洲精品卡2卡3卡4卡5卡区| 我的女老师完整版在线观看| 欧美潮喷喷水| 在线观看美女被高潮喷水网站| www.av在线官网国产| videossex国产| 亚洲中文字幕一区二区三区有码在线看| 麻豆成人午夜福利视频| 国产三级在线视频| 久久精品国产亚洲av天美| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | av免费观看日本| 亚洲精品乱码久久久v下载方式| 国产精品一及| 成人午夜精彩视频在线观看| 一级毛片久久久久久久久女| av福利片在线观看| 简卡轻食公司| 欧美又色又爽又黄视频| 亚洲人成网站在线播| 国产精品免费一区二区三区在线| 亚洲人成网站高清观看| 91久久精品国产一区二区三区| 国产精品99久久久久久久久| 亚洲婷婷狠狠爱综合网| 我的老师免费观看完整版| 熟女人妻精品中文字幕| 免费观看a级毛片全部| 亚洲第一电影网av| 麻豆国产97在线/欧美| 亚洲av中文字字幕乱码综合| 两个人视频免费观看高清| 97超碰精品成人国产| av在线播放精品| 国产熟女欧美一区二区| 午夜激情欧美在线| 国产高清激情床上av| 国产成人福利小说| 校园春色视频在线观看| 女同久久另类99精品国产91| 一级毛片我不卡| 成年女人看的毛片在线观看| 在现免费观看毛片| 黄色一级大片看看| 免费看美女性在线毛片视频| 日日摸夜夜添夜夜添av毛片| 欧美精品国产亚洲| 国产在线精品亚洲第一网站| 免费观看a级毛片全部| 青春草国产在线视频 | 高清日韩中文字幕在线| 国产色爽女视频免费观看| 久久精品国产清高在天天线| 欧美高清性xxxxhd video| 3wmmmm亚洲av在线观看| 欧美3d第一页| 亚洲精品久久久久久婷婷小说 | 丝袜美腿在线中文| 国产精品1区2区在线观看.| 嫩草影院新地址| 精品少妇黑人巨大在线播放 | 午夜老司机福利剧场| 成人特级黄色片久久久久久久| 国内精品宾馆在线| 麻豆久久精品国产亚洲av| 99久国产av精品国产电影| 亚洲国产高清在线一区二区三| 最后的刺客免费高清国语| 一级黄色大片毛片| 天天躁日日操中文字幕| 伦理电影大哥的女人| 国产精品精品国产色婷婷| 日韩在线高清观看一区二区三区| 一级毛片电影观看 | 欧美另类亚洲清纯唯美| 在线观看av片永久免费下载| 久久99热6这里只有精品| 黄色日韩在线| 亚洲aⅴ乱码一区二区在线播放| 不卡视频在线观看欧美| 日本爱情动作片www.在线观看| 国产伦一二天堂av在线观看| 超碰av人人做人人爽久久| 日日摸夜夜添夜夜添av毛片| 色哟哟·www| 中文字幕久久专区| 国产一区二区在线av高清观看| 亚洲三级黄色毛片| 久久久久久大精品| 成人午夜精彩视频在线观看| 亚洲美女视频黄频| 精品人妻一区二区三区麻豆| 又粗又硬又长又爽又黄的视频 | 一级黄色大片毛片| 午夜福利视频1000在线观看| 精品不卡国产一区二区三区| 亚洲精品久久国产高清桃花| 麻豆成人av视频| 99国产精品一区二区蜜桃av| 大香蕉久久网| 亚洲婷婷狠狠爱综合网| 熟女电影av网| 国产亚洲精品久久久com| 亚洲第一区二区三区不卡| 日本欧美国产在线视频| 两个人的视频大全免费| 在线免费十八禁| 男的添女的下面高潮视频| 日韩亚洲欧美综合| 国内少妇人妻偷人精品xxx网站| 午夜免费激情av| 欧美一区二区精品小视频在线| 熟女人妻精品中文字幕| 日韩一本色道免费dvd| 麻豆精品久久久久久蜜桃| 亚洲真实伦在线观看| 蜜桃亚洲精品一区二区三区| 久久精品国产自在天天线| 国产视频内射| 成人三级黄色视频| 99久久人妻综合| 国产成人精品婷婷| 国产高清三级在线| 久久精品影院6| 人人妻人人看人人澡| 嫩草影院新地址| 99久久九九国产精品国产免费| 免费搜索国产男女视频| 国产精品久久久久久久电影| videossex国产| 欧美精品一区二区大全| 又爽又黄无遮挡网站| 国产成人精品久久久久久| 国产老妇伦熟女老妇高清| 欧美+亚洲+日韩+国产| 久久精品久久久久久久性| 91aial.com中文字幕在线观看| 干丝袜人妻中文字幕| 成人三级黄色视频| 蜜桃久久精品国产亚洲av| 日日撸夜夜添| 亚洲欧美日韩高清在线视频| 99在线人妻在线中文字幕| 国产欧美日韩精品一区二区| 最近视频中文字幕2019在线8| 久久久久免费精品人妻一区二区| 最近中文字幕高清免费大全6| 久久久久久久久久久免费av| 18禁裸乳无遮挡免费网站照片| 日本黄大片高清| 非洲黑人性xxxx精品又粗又长| 深夜a级毛片| 日本三级黄在线观看| 99热只有精品国产| 一级毛片aaaaaa免费看小| 乱人视频在线观看| 亚洲国产精品合色在线| 能在线免费看毛片的网站| 国产免费一级a男人的天堂| 秋霞在线观看毛片| 婷婷色综合大香蕉| 中文在线观看免费www的网站| 五月玫瑰六月丁香| 午夜视频国产福利| а√天堂www在线а√下载| 国产精品一区二区在线观看99 | 女同久久另类99精品国产91| 亚洲国产色片| 欧美日本亚洲视频在线播放| 蜜桃久久精品国产亚洲av| 国产亚洲91精品色在线| 国产精品国产高清国产av| 秋霞在线观看毛片| 国产精品人妻久久久影院| 亚洲色图av天堂| 国产精品一二三区在线看| 欧美精品国产亚洲| 国产精品一区二区在线观看99 | 国产高清有码在线观看视频| 欧美一区二区精品小视频在线| 99久久成人亚洲精品观看| 天美传媒精品一区二区| 国产乱人视频| 观看免费一级毛片| 欧美zozozo另类| 此物有八面人人有两片| 精品久久久久久久久久免费视频| 欧美在线一区亚洲| 国产精品久久久久久亚洲av鲁大| 国产成人a区在线观看| 少妇猛男粗大的猛烈进出视频 | 国产中年淑女户外野战色| 波多野结衣高清无吗| 免费在线观看成人毛片| ponron亚洲|