• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于子詞嵌入和相對注意力的材料實體識別

    2022-07-05 08:47:44韓玉民郝曉燕
    計算機應用 2022年6期
    關(guān)鍵詞:字符命名注意力

    韓玉民,郝曉燕

    基于子詞嵌入和相對注意力的材料實體識別

    韓玉民,郝曉燕*

    (太原理工大學 信息與計算機學院,太原 030600)(*通信作者電子郵箱haoxiaoyan@tyut.edu.cn)

    準確識別命名實體有助于構(gòu)建專業(yè)知識圖譜、問答系統(tǒng)等?;谏疃葘W習的命名實體識別(NER)技術(shù)已廣泛應用于多種專業(yè)領(lǐng)域,然而面向材料領(lǐng)域的NER研究相對較少。針對材料領(lǐng)域NER中可用于監(jiān)督學習的數(shù)據(jù)集規(guī)模小、實體詞復雜度高等問題,使用大規(guī)模非結(jié)構(gòu)化的材料領(lǐng)域文獻數(shù)據(jù)來訓練基于一元語言模型(ULM)的子詞嵌入分詞模型,并充分利用單詞結(jié)構(gòu)蘊含的信息來增強模型魯棒性;提出以BiLSTM-CRF模型(雙向長短時記憶網(wǎng)絡與條件隨機場結(jié)合的模型)為基礎(chǔ)并結(jié)合能夠感知方向和距離的相對多頭注意力機制(RMHA)的實體識別模型,以提高對關(guān)鍵詞的敏感程度。得到的BiLSTM-RMHA-CRF模型結(jié)合ULM子詞嵌入方法,相比BiLSTM-CNNs-CRF和SciBERT等模型,在固體氧化物燃料電池(SOFC)NER數(shù)據(jù)集上的宏平均F1值(Macro F1值)提高了2~4個百分點,在SOFC細粒度實體識別數(shù)據(jù)集上的Macro F1值提高了3~8個百分點。實驗結(jié)果表明,基于子詞嵌入和相對注意力的識別模型能夠有效提高材料領(lǐng)域?qū)嶓w的識別準確率。

    命名實體識別;子詞嵌入;相對注意力;深度學習;材料領(lǐng)域

    0 引言

    命名實體識別(Named Entity Recognition, NER)的目標是在非結(jié)構(gòu)化的文本中按照預先定義的類別信息,提取并分類出具有特定意義的命名實體信息,如人名、機構(gòu)、地點等。NER技術(shù)可以用于如知識圖譜構(gòu)建、問答系統(tǒng)、機器翻譯等自然語言處理(Natural Language Processing , NLP)任務。專業(yè)領(lǐng)域的NER對于機器閱讀理解專業(yè)領(lǐng)域文獻和構(gòu)建專業(yè)知識圖譜具有重要作用,精準地進行專業(yè)領(lǐng)域的命名實體識別有助于減少科研工作量,提高查閱效率,并能夠輔助提高專業(yè)領(lǐng)域機器翻譯、自動問答等上游NLP系統(tǒng)的水平。

    近幾年對于命名實體識別的研究大多基于深度學習,目前適用于命名實體識別的常用深度學習模型與方法有條件隨機場(Conditional Random Field, CRF)[1]、卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network, CNN)[2]、長短期記憶(Long-Short Term Memory, LSTM)神經(jīng)網(wǎng)絡[3]、門控循環(huán)單元(Gate Recurrent Unit, GRU)[4]以及自注意力機制[5]等。Ma等[6]結(jié)合雙向長短期記憶(Bi-directional Long-Short Term Memory, BiLSTM)神經(jīng)網(wǎng)絡、CNN與CRF提出了端到端的序列標注模型BiLSTM-CNNs-CRF,在CoNLL-2003數(shù)據(jù)集上取得了91.21%的F1值;Chiu等[7]提出使用BiLSTM和CNN編碼層進行命名實體識別,在CoNLL-2003和OntoNotes數(shù)據(jù)集上的F1值分別達到了91.62%和86.28%;Liu等[8]提出使用LM-LSTM-CRF(Language Model+LSTM+CRF)模型將CoNLL-2003數(shù)據(jù)集的F1值提高到了91.71%;Dhrisya等[9]使用雙向GRU結(jié)合自注意力機制在OntoNotes細粒度實體識別任務上也取得了較好的結(jié)果。

    通用領(lǐng)域命名實體識別的準確率已達到較高水準,目前命名實體識別方向的研究大多基于專業(yè)領(lǐng)域。楊維等[10]提出基于CRF的命名實體識別算法,在電力服務數(shù)據(jù)集上具有較高準確率;李博等[11]采用Transformer-CRF、張華麗等[12]采用BiLSTM-CRF模型對中文電子病歷進行實體識別,能夠準確識別癥狀、治療等五類實體;張心怡等[13]提出了聯(lián)合深度注意力網(wǎng)絡,在煤礦領(lǐng)域命名實體識別精準度和識別效率都有較大的提升;許力等[14]結(jié)合CNN、BiLSTM、圖卷積神經(jīng)網(wǎng)絡(Graph Convolution Neural Network, GCNN),并融合詞向量和依存句法分析特征進行生物醫(yī)學實體識別,在多個數(shù)據(jù)集上表現(xiàn)出色。

    材料領(lǐng)域的自然語言處理研究相對貧乏,其中與本文研究相關(guān)的有:Mysore等[15-16]提出了自動提取材料科學文獻結(jié)構(gòu)化信息的系統(tǒng),并且發(fā)布了大規(guī)模材料領(lǐng)域語料庫; Mrdjenovich等[17]構(gòu)建了材料科學領(lǐng)域的知識圖譜propnet;Friedrich等[18]發(fā)布了固體氧化物燃料電池(Solid Oxide Fuel Cell, SOFC)命名實體識別數(shù)據(jù)集,并使用SciBERT(Scientific BERT)模型取得了81.5%的Macro F1值(宏平均F1值)。

    識別未登錄詞(Out-Of-Vocabulary, OOV)是命名實體識別任務的關(guān)鍵,字符嵌入一般用于解決傳統(tǒng)詞嵌入,如word2vec,存在的OOV問題,同時還能反映出單詞字符序列蘊含的形態(tài)學信息。Gajendran等[19]將詞表示和字符表示作為輸入,使用三重BiLSTM-DRNN模型進行命名實體識別。Cho等[20]同時使用BiLSTM和CNN對單詞字符進行編碼,得到字符嵌入并與詞嵌入向量結(jié)合作為模型輸入,在生物醫(yī)學命名實體識別中達到了較高水平。字符嵌入能夠有效提高命名實體識別模型的識別準度,但缺點也較為明顯:1)需要額外的字符級編碼層;2)使用CNN作為編碼層時對相鄰字符的感受野相對固定,而使用BiLSTM編碼層又不能充分挖掘單詞詞綴之間的關(guān)聯(lián)信息。因此,本文考慮采用子詞嵌入代替字符嵌入,同時使用大規(guī)模材料領(lǐng)域數(shù)據(jù),對子詞劃分模型進行預訓練,將得到的子詞分詞結(jié)果再進行詞向量訓練,同word2vec結(jié)合作為命名實體識別模型的輸入。

    自注意力機制常用于多種NLP任務,命名實體識別中加入自注意力機制能夠提高模型的特征提取能力和上下文信息的關(guān)注程度;但Transformer結(jié)構(gòu)由于在注意力計算時使用了歸一化處理,且其位置編碼不具備方向性,在命名實體識別任務上的表現(xiàn)不佳[21]。本文采用相對多頭注意力機制代替?zhèn)鹘y(tǒng)的自注意力機制,作為命名實體識別模型的編碼層。

    本文的主要工作包括:

    1)使用大量非結(jié)構(gòu)化材料領(lǐng)域文獻數(shù)據(jù),訓練基于一元語言模型(Unigram Language Model, ULM)的分詞模型,并進一步訓練出適用于材料領(lǐng)域數(shù)據(jù)的子詞嵌入用于材料領(lǐng)域命名實體識別任務。

    2)在BiLSTM-CRF模型的基礎(chǔ)上,使用能夠感知單詞方向和距離的相對多頭注意力機制(Relative Multi-Head Attention, RMHA),以增強模型對關(guān)鍵詞的感知能力。

    3)在SOFC數(shù)據(jù)集的命名實體識別和細粒度實體識別任務中,使用常用模型與BiLSTM-RMHA-CRF模型進行多組對比實驗,驗證ULM子詞嵌入和基于RMHA的深度學習模型有助于提高材料領(lǐng)域命名實體識別的精準度。

    1 子詞嵌入和RMHA實體識別網(wǎng)絡

    使用BiLSTM-CRF模型結(jié)合RMHA對材料領(lǐng)域數(shù)據(jù)進行命名實體識別,同時使用預訓練詞嵌入和子詞嵌入提高模型對于未登錄詞問題的辨識能力,完整模型結(jié)構(gòu)見圖1。

    圖1 BiLSTM-RMHA-CRF模型結(jié)構(gòu)

    1.1 BiLSTM-CRF模型

    BiLSTM后接CRF解碼層是序列標注任務的常用模型:BiLSTM通過整合前向和后向傳遞的信息,保證每個隱層都接收到來自其他隱層的信息;CRF解碼層可以通過狀態(tài)轉(zhuǎn)移矩陣來實現(xiàn)相鄰標簽的約束。本文使用BiLSTM-CRF模型為基本實驗模型,在其基礎(chǔ)上加入ULM子詞嵌入作為輸入,并進一步使用基于相對位置編碼的相對多頭注意力機制作為材料領(lǐng)域命名實體識別模型的編碼層,以提高模型對于關(guān)鍵詞和相關(guān)實體的關(guān)注程度。

    1.2 基于概率模型的子詞嵌入

    1.2.1 字符嵌入和子詞嵌入

    材料領(lǐng)域數(shù)據(jù)集中存在大量單頻詞和低頻詞,傳統(tǒng)的詞向量表示方法,如word2vec[22],無法很好地處理專業(yè)名詞、化學式等未知或者罕見詞匯,導致其命名實體識別難度較高。目前常用CNN編碼層獲得單詞的字符級表示后,將其與預訓練好的詞嵌入進行組合參與訓練。

    子詞嵌入把單詞劃分為長度不一的字符串后對其進行向量表示,相較于字符表示蘊含了更加豐富的形態(tài)信息,并可以使用大規(guī)模數(shù)據(jù)集進行預訓練詞向量。BPEmb[23]利用字節(jié)對編碼(Byte Pair Encoding, BPE)數(shù)據(jù)壓縮算法構(gòu)建子詞詞表,使分詞粒度在單詞和字符之間,從而更高效率地解決未登錄問題。BPEmb劃分的子詞只能是單一結(jié)果,而且對于子詞序列的劃分結(jié)果沒有量化的評判標準[24]。

    1.2.2 ULM子詞嵌入

    相比BPEmb只能生成固定的子詞序列,ULM可以依據(jù)概率生成多種不同的分詞結(jié)果,同時還提出使用不同的分詞結(jié)果作為噪聲輸入,有利于提高模型魯棒性,ULM子詞嵌入詞表建立流程見圖2。

    圖2 ULM子詞嵌入詞表建立流程

    Fig. 2 Word list construction flow of ULM subword embedding

    本文從網(wǎng)絡收集大量材料領(lǐng)域文獻數(shù)據(jù)用于ULM子詞分詞模型訓練及詞向量訓練。首先使用ULM模型分詞方法建立詞表,并對所有數(shù)據(jù)進行分詞處理,使用概率最大的分詞結(jié)果訓練詞向量。在后續(xù)命名實體識別的訓練中,使用ULM子詞嵌入對訓練數(shù)據(jù),取前3個分詞結(jié)果對輸入數(shù)據(jù)進行向量表示,而對測試數(shù)據(jù)仍取概率最大的分詞結(jié)果。數(shù)據(jù)處理流程見圖3。

    圖3 數(shù)據(jù)處理流程

    1.3 相對多頭注意力機制

    1.3.1 自注意力

    自注意力機制能夠有效提高模型對于關(guān)鍵詞的識別能力,基于多頭自注意力機制的Transformer編碼器已廣泛應用于多種NLP任務,其多頭注意力計算見式(5)~(7)。

    1.3.2 相對多頭注意力

    相對多頭注意力在多頭自注意力機制基礎(chǔ)上做出改進,使其能夠感知方向和距離特征,其注意力與相對位置編碼計算見式(10)~(13)。

    同時多頭自注意力中的歸一化參數(shù)會導致模型注意力分布過于平滑,不利于命名實體識別任務,因此相對多頭注意力還取消了歸一化因子,使注意力分布更加尖銳,更具區(qū)分度。

    2 實驗設置

    2.1 數(shù)據(jù)集

    ULM子詞嵌入概率分詞模型和預訓練子詞向量使用網(wǎng)絡采集的14萬條原始材料領(lǐng)域文獻數(shù)據(jù);命名實體識別實驗采用SOFC命名實體識別數(shù)據(jù)集(以下簡記為SOFC)和SOFC細粒度實體識別數(shù)據(jù)集(以下簡記為SOFC Fine-grained),示例見圖4[18]。

    SOFC包含MATERIAL、VALUE、DEVICE和EXPERIMENT四種類型的實體標簽,采用BIO標注方式。其中MATERIAL類除了材料名外還包括諸如“La0.75Sr0.25Cr0.5Mn0.5O3”的化學式;VALUE類包括實驗參數(shù)的數(shù)值和范圍符號,另外還包含描述程度的副詞,如“above 750℃”,進一步提高了識別命名實體的復雜度;EXPERIMENT類為標志實驗行為的動詞,數(shù)據(jù)集標簽分布及標簽樣例見表1。SOFC細粒度實體識別數(shù)據(jù)集將四類實體進一步細分為19個子類別。具體實體類別見表2。

    圖4 SOFC命名實體識別數(shù)據(jù)集樣例

    該數(shù)據(jù)集相較于通用領(lǐng)域數(shù)據(jù)集,未登錄詞、單頻詞和低頻詞較多,實體形態(tài)復雜多樣;且不同于通用領(lǐng)域命名實體識別數(shù)據(jù)集中人名、地名、組織名等本身蘊含的形態(tài)學信息較少,實體詞之間的關(guān)系模糊,材料領(lǐng)域數(shù)據(jù)集中的實體間存在較大的形態(tài)學關(guān)聯(lián)性,如化學式之間的關(guān)聯(lián)信息。

    表1 SOFC命名實體識別數(shù)據(jù)集標簽分布

    表2 SOFC細粒度實體識別標簽類別

    2.2 數(shù)據(jù)預處理

    本文使用基于正則模板的數(shù)據(jù)增強[25],將大量正則模板應用于模型訓練,旨在讓模型學習到更多上下文信息和模糊實體對于特定上下文的依賴關(guān)系,達到提高識別未登錄詞和低頻詞的精準度的目的。本文涉及的所有實驗均采用正則模板的數(shù)據(jù)增強方法對訓練集數(shù)據(jù)進行預處理后作為輸入。正則模板數(shù)據(jù)增強見圖5。

    2.3 模型參數(shù)

    實驗均采用300維word2vec預訓練詞向量作為基本輸入。字符嵌入對字符向量隨機初始化后,使用CNN模型進行特征編碼得到300維詞向量,并參與命名實體識別訓練;BPEmb子詞嵌入和ULM子詞嵌入均使用非結(jié)構(gòu)的大規(guī)模材料領(lǐng)域數(shù)據(jù)進行分詞模型的訓練,并進一步得到300維預訓練詞向量作為模型輸入。

    圖5 基于正則模板的數(shù)據(jù)增強

    BiLSTM-RMHA-CRF命名實體識別模型使用Adam優(yōu)化算法對模型進行參數(shù)調(diào)整,最大迭代次數(shù)為1 440,實驗結(jié)果選取其中最優(yōu)結(jié)果。本文實驗均于PyTorch-1.6.0及GPU環(huán)境下完成,詳細模型參數(shù)設置見表3。

    表3 模型參數(shù)設置

    2.4 評價指標

    采用F1值作為模型性能的評價指標,計算平均F1值時采用基于樣本分類加權(quán)的微平均F1值(Micro F1值)和宏平均F1值(Macro F1),其中Macro F1對于不均衡樣本的評估更加敏感,具體計算過程見式(15)~(19):

    3 實驗結(jié)果與分析

    3.1 綜合實驗結(jié)果

    實驗使用加入ULM子詞嵌入的BiLSTM-RMHA-CRF模型與現(xiàn)有模型在SOFC與SOFC Fine-grained上進行對比,對比模型包括BiLSTM-CNNs-CRF模型[6]、LM-LSTM-CRF模型[8]、BiGRU-SelfAttn模型[9]、SciBERT模型[18]、Char-Level CNN-LSTM模型[20],實驗結(jié)果見表4。由表4可以看出,相較于其他模型,基于相對多頭注意力機制和ULM子詞嵌入的模型能夠提高對命名實體的辨別能力。

    表4 SOFC命名實體識別數(shù)據(jù)集上不同模型的實驗結(jié)果 單位: %

    BiLSTM-CNNs-CRF模型使用字符級CNN對輸入進行編碼,得到字符嵌入,再將其輸入BiLSTM-CRF模型進行序列標注,其卷積操作在一定程度上相當于能夠提取固定寬度的子詞信息。LM-LSTM-CRF模型使用字符級LSTM作為字符嵌入模型,將字符序列編碼為詞向量用于命名實體識別訓練。Char-Level CNN-LSTM模型結(jié)合了上述兩個模型的字符嵌入方法?;谧址度氲脑~嵌入算法在SOFC與SOFC Fine-grained表現(xiàn)尚佳,但由于字符嵌入詞表規(guī)模過小且蘊含信息有限,無法進行預訓練,對于不同的單詞輸入,即使擁有相同的子詞特征也不能保證得到相近的向量表示;而預訓練子詞嵌入可以確保具有相同子詞特征的單詞,其詞嵌入獲得的信息量相同。BiGRU-SelfAttn模型使用了結(jié)構(gòu)更加簡單的GRU作為特征編碼層,并結(jié)合自注意力機制作為命名實體識別模型,并直接將單詞作為輸入進行訓練,其效果相對于其他模型表現(xiàn)有限。SciBERT模型使用了大規(guī)??茖W領(lǐng)域文獻預訓練的BERT模型作為編碼層,并結(jié)合BPEmb子詞嵌入作為輸入,但使用預訓練模型進行微調(diào),并不能充分利用子詞嵌入提供的輔助信息。模型對比實驗結(jié)果表明,基于ULM預訓練子詞嵌入和相對多頭注意力的命名實體識別模型相較于其他模型,在材料領(lǐng)域命名實體識別任務中表現(xiàn)更加出色。

    3.2 消融實驗

    本文針對BiLSTM-RMHA-CRF模型中的RMHA特征編碼層以及ULM詞嵌入特征進行消融實驗,以度量ULM詞嵌入方法以及相對多頭注意力機制對于材料領(lǐng)域命名實體識別準度的提升作用,實驗結(jié)果見表5??梢钥闯鯞iLSTM-RMHA-CRF模型中,相對多頭注意力機制和ULM子詞嵌入對材料領(lǐng)域命名實體識別都有不同程度的提升作用。

    表5 消融實驗結(jié)果 單位: %

    在僅使用BiLSTM-CRF模型時,由于其模型特征編碼性能有限,且從詞嵌入獲取到的信息較少,而材料領(lǐng)域文獻中的未登錄詞較多,導致模型的識別性能不佳;加入相對多頭注意力機制后,提高了模型對于關(guān)鍵詞的關(guān)注度,命名實體識別性能有一定程度的提升;加入ULM子詞嵌入,使模型能夠獲取到單詞的形態(tài)學信息,并能夠辨別單詞之間的關(guān)聯(lián)作用,其性能有較大提升,表明基于概率模型的子詞嵌入確實能夠有效解決未登錄詞問題,并能提高模型對于材料領(lǐng)域詞匯間關(guān)聯(lián)關(guān)系的辨識性能。

    3.3 詞嵌入對比實驗

    為驗證使用大規(guī)模材料數(shù)據(jù)預訓練子詞嵌入對于模型的提升效用,以BiLSTM-RMHA-CRF模型為基本模型,分別使用CNN字符嵌入、BPEmb子詞嵌入和ULM子詞嵌入結(jié)合word2vec作為輸入,實驗結(jié)果見表6??梢钥闯?,使用預訓練詞向量的BPEmb和ULM子詞嵌入相對于字符嵌入,對于命名實體識別的提升較大,表明預訓練詞向量能夠充分利用非結(jié)構(gòu)化的文獻數(shù)據(jù),使模型能夠解析其蘊涵的詞綴信息;使用概率模型的ULM子詞嵌入相較于BPEmb有所提升,表明基于概率模型的分詞方式和噪聲輸入確實有助于提高模型的魯棒性。

    表6 詞嵌入實驗結(jié)果 單位: %

    3.4 特征編碼對比實驗

    統(tǒng)一使用ULM詞嵌入作為輸入,在BiLSTM-CRF模型基礎(chǔ)上加入命名實體識別常用的卷積神經(jīng)網(wǎng)絡、自注意力機制(Self-Attention, SA)、多頭注意力機制(Multi-Head Attention, MHA)和相對多頭注意力機制(RMHA),用以驗證相對多頭注意力機制對于模型的提升效用,實驗結(jié)果見表7。可以看出,相對于其他特征編碼模型,相對多頭注意力機制能更有效地提升模型對于實體與實體、實體與上下文關(guān)系的辨別能力,提高注意力的銳化程度,從而提高模型的識別水平。

    表7 特征編碼器實驗結(jié)果 單位: %

    4 結(jié)語

    本文針對材料領(lǐng)域命名實體識別數(shù)據(jù)規(guī)模小、識別難度高等問題,提出了BiLSTM-RMHA-CRF模型方法,同時使用基于概率模型的ULM子詞嵌入作為模型輸入,以提高模型對于材料領(lǐng)域命名實體的辨別能力。通過在多種適用于命名實體識別的模型上進行對比實驗,證明該方法可以有效提高模型的普適性和魯棒性,在Micro F1、Macro F1兩種評價指標上都有較大的提高。通過特征編碼層對照和詞嵌入對照實驗,驗證了相對多頭注意力機制和預訓練ULM子詞嵌入對于命名實體識別模型的提高效用,表明相對多頭注意力機制和ULM子詞嵌入對于材料領(lǐng)域命名實體識別確有較大的提升作用。但本文算法并沒有解決樣本分布不均帶來的模型偏側(cè)性問題,不同類別的實體,其識別準度差異較大,檢測能力也有待提升,可以將其作為進一步的研究方向。

    [1] LAFFERTY J D, McCALLUM A, PEREIRA F C N. Conditional random fields: probabilistic models for segmenting and labeling sequence data[C]// Proceedings of the 18th International Conference on Machine Learning. San Francisco: Morgan Kaufmann Publishers Inc., 2001: 282-289.

    [2] KIM Y. Convolutional neural networks for sentence classification[C]// Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. Stroudsburg, PA: Association for Computational Linguistics, 2014: 1746 - 1751.

    [3] HOCHREITER S, SCHMIDHUBER J. Long short-term memory[J]. Neural Computation, 1997, 9(8):1735-1780.

    [4] CHUNG J, GULCEHRE C, CHO K, et al. Empirical evaluation of gated recurrent neural networks on sequence modeling[EB/OL]. (2014-12-11)[2021-02-13]. https://arxiv.org/pdf/1412.3555.pdf.

    [5] VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need[C]// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook, NY: Curran Associates Inc., 2017: 6000-6010.

    [6] MA X Z, HOVY E. End-to-end sequence labeling via bi-directional LSTM-CNNs-CRF[C]// Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Stroudsburg, PA: Association for Computational Linguistics, 2016: 1064-1074.

    [7] CHIU J P C, NICHOLS E. Named entity recognition with bidirectional LSTM-CNNs[J]. Transactions of the Association for Computational Linguistics, 2016, 4: 357-370.

    [8] LIU L Y, SHANG J B, Ren x, et al. Empower sequence labeling with task-aware neural language model[C]// Proceedings of the 32nd AAAI Conference on Artificial Intelligence. Palo Alto, CA: AAAI Press, 2018: 5253-5260.

    [9] DHRISYA K, REMYA G, MOHAN A. Fine-grained entity type classification using GRU with self-attention[J]. International Journal of Information Technology, 2020, 12(3): 869-878.

    [10] 楊維,孫德艷,張曉慧,等. 面向電力智能問答系統(tǒng)的命名實體識別算法[J]. 計算機工程與設計, 2019, 40(12): 3625-3630.(YANG W, SUN D Y, ZHANG X H, et al. Named entity recognition for intelligent answer system in power service[J]. Computer Engineering and Design, 2019, 40(12): 3625-3630.)

    [11] 李博,康曉東,張華麗,等. 采用Transformer-CRF的中文電子病歷命名實體識別[J]. 計算機工程與應用, 2020, 56(5):153-159.(LI B, KANG X D, ZHANG H L, et al. Named entity recognition in Chinese electronic medical records using Transformer-CRF[J]. Computer Engineering and Applications, 2020, 56(5):153-159.)

    [12] 張華麗,康曉東,李博,等. 結(jié)合注意力機制的Bi-LSTM-CRF中文電子病歷命名實體識別[J]. 計算機應用, 2020, 40(S1):98-102.(ZHANG H L, KANG X D, LI B, et al. Medical name entity recognition based on Bi-LSTM-CRF and attention mechanism[J]. Journal of Computer Applications, 2020, 40(S1):98-102.)

    [13] 張心怡,馮仕民,丁恩杰. 面向煤礦的實體識別與關(guān)系抽取模型[J]. 計算機應用, 2020, 40(8):2182-2188.(ZHANG X Y, FENG S M, DING E J. Entity recognition and relation extraction model for coal mine[J]. Journal of Computer Applications, 2020, 40(8):2182-2188.)

    [14] 許力,李建華. 基于句法依存分析的圖網(wǎng)絡生物醫(yī)學命名實體識別[J]. 計算機應用, 2021, 41(2):357-362.(XU L, LI J H. Biomedical named entity recognition with graph network based on syntactic dependency parsing[J]. Journal of Computer Applications, 2021, 41(2):357-362.)

    [15] MYSORE S, KIM E, STRUBELL E, et al. Automatically extracting action graphs from materials science synthesis procedures[EB/OL]. (2017-11-28)[2021-02-13].https://arxiv.org/pdf/1711.06872.pdf.

    [16] MYSORE S, JENSEN Z, KIM E, et al. The materials science procedural text corpus: annotating materials synthesis procedures with shallow semantic structures[C]// Proceedings of the 13th Linguistic Annotation Workshop. Stroudsburg, PA: Association for Computational Linguistics, 2019: 56-64.

    [17] MRDJENOVICH D, HORTON M K, MONTOYA J H, et al. propnet: a knowledge graph for materials science[J]. Matter, 2020, 2(2): 464-480.

    [18] FRIEDRICH A, ADEL H, TOMAZIC F, et al. The SOFC-Exp corpus and neural approaches to information extraction in the materials science domain[C]// Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg, PA: Association for Computational Linguistics, 2020: 1255-1268.

    [19] GAJENDRAN S, MANJULA D, SUGUMARAN V. Character level and word level embedding with bidirectional LSTM - dynamic recurrent neural network for biomedical named entity recognition from literature[J]. Journal of Biomedical Informatics, 2020, 112: No.103609.

    [20] CHO M, HA J, PARK C, et al. Combinatorial feature embedding based on CNN and LSTM for biomedical named entity recognition[J]. Journal of Biomedical Informatics, 2020, 103: No.103381.

    [21] YAN H, DENG B C, LI X N, et al. TENER: adapting transformer encoder for named entity recognition[EB/OL]. (2019-12-10)[2021-02-13].https://arxiv.org/pdf/1911.04474.pdf.

    [22] MIKOLOV T, CHEN K, CORRADO G, et al. Efficient estimation of word representations in vector space[EB/OL]. (2013-09-07)[2021-02-13].https://arxiv.org/pdf/1301.3781.pdf.

    [23] HEINZERLING B, STRUBE M. BPEmb: tokenization-free pre-trained subword embeddings in 275 languages[C]// Proceedings of the 11th International Conference on Language Resources and Evaluation . Stroudsburg, PA: Association for Computational Linguistics, 2018: 2989-2993.

    [24] KUDO T. Subword regularization: improving neural network translation models with multiple subword candidates[C]// Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Stroudsburg, PA: Association for Computational Linguistics, 2018: 66-75.

    [25] LIU Z H, WINATA G I, XU P, et al. Coach: a coarse-to-fine approach for cross-domain slot filling[C]// Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg, PA: Association for Computational Linguistics, 2020: 19-25.)

    Material entity recognition based on subword embedding and relative attention

    HAN Yumin, HAO Xiaoyan*

    (,,030600,)

    Accurately identifying named entities is helpful to construct professional knowledge graphs and question answering systems. Named Entity Recognition (NER) technology based on deep learning has been widely used in a variety of professional fields. However, there are relatively few researches on NER in the field of materials. Concerning the problem of small scale of datasets and high complexity of entity words for supervised learning in NER of materials field, the large-scale unstructured materials field literature data were used to train the subword embedding word segmentation model based on Unigram Language Model (ULM), and the information contained in the word structure was fully utilized to enhance the robustness of the model. At the same time, the entity recognition model with BiLSTM-CRF (Bi-directional Long-Short Term Memory-Conditional Random Field) model as the basis and combined with the Relative Multi-Head Attention(RMHA)capable of perceiving direction and distance of words was proposed to improve the sensitivity of the model to keywords. Compared with BiLSTM-CNNs-CRF, SciBERT (Scientific BERT) and other models, the obtained BiLSTM-RMHA-CRF model combining with the ULM subword embedding method increased the value of Macro F1 by 2-4 percentage points on Solid Oxide Fuel Cell (SOFC) NER dataset, and 3-8 percentage points on SOFC fine-grained entity recognition dataset. Experimental results show that the recognition model based on subword embedding and relative attention can effectively improve the recognition accuracy of entities in the materials field.

    named entity recognition; subword embedding; relative attention; deep learning; material field

    This work is partially supported by Soft Science Research Program of Shanxi Province (2019041055-1), Scientific Research and Technology Project of Peking University (203290929-J).

    HAN Yumin, born in 1995, M. S. His research interests include natural language processing.

    HAO Xiaoyan,born in 1970, Ph. D., associate professor. Her research interests include natural language processing, computer linguistics, artificial intelligence.

    TP391

    A

    1001-9081(2022)06-1862-07

    10.11772/j.issn.1001-9081.2021040582

    2021?04?15;

    2021?07?09;

    2021?07?15。

    山西省軟科學研究計劃項目(2019041055-1);京大學科研技術(shù)項目(203290929-J)。

    韓玉民(1995—),男,山西臨汾人,碩士,主要研究方向:自然語言處理;郝曉燕(1970—),女,山西太原人,副教授,博士,主要研究方向:自然語言處理、計算機語言學、人工智能。

    猜你喜歡
    字符命名注意力
    尋找更強的字符映射管理器
    讓注意力“飛”回來
    命名——助力有機化學的學習
    字符代表幾
    一種USB接口字符液晶控制器設計
    電子制作(2019年19期)2019-11-23 08:41:50
    消失的殖民村莊和神秘字符
    有一種男人以“暖”命名
    東方女性(2018年3期)2018-04-16 15:30:02
    為一條河命名——在白河源
    散文詩(2017年17期)2018-01-31 02:34:08
    “揚眼”APP:讓注意力“變現(xiàn)”
    傳媒評論(2017年3期)2017-06-13 09:18:10
    A Beautiful Way Of Looking At Things
    人妻丰满熟妇av一区二区三区| 欧美黄色淫秽网站| 成人无遮挡网站| 欧美黄色片欧美黄色片| 久久精品人妻少妇| 国产高潮美女av| 一个人看的www免费观看视频| 丁香六月欧美| 麻豆国产av国片精品| 色综合站精品国产| 亚洲乱码一区二区免费版| 精品一区二区三区av网在线观看| 亚洲精华国产精华精| 午夜福利欧美成人| 亚洲国产精品合色在线| 老司机福利观看| 俄罗斯特黄特色一大片| 最新中文字幕久久久久 | 九九在线视频观看精品| 亚洲第一欧美日韩一区二区三区| 亚洲无线在线观看| 神马国产精品三级电影在线观看| 久久精品国产综合久久久| 免费在线观看成人毛片| 精品国产乱码久久久久久男人| 最好的美女福利视频网| 欧美高清成人免费视频www| 99久国产av精品| 国产精品久久视频播放| 中文字幕人妻丝袜一区二区| 丰满的人妻完整版| 人人妻人人澡欧美一区二区| 亚洲中文字幕一区二区三区有码在线看 | 老熟妇乱子伦视频在线观看| 国产精品野战在线观看| 高清在线国产一区| 亚洲欧美激情综合另类| 国产精华一区二区三区| 国产成人精品无人区| 亚洲av电影在线进入| 久久中文看片网| 一级a爱片免费观看的视频| 日韩欧美 国产精品| 亚洲精品一卡2卡三卡4卡5卡| 91九色精品人成在线观看| 黑人欧美特级aaaaaa片| 精品日产1卡2卡| 美女 人体艺术 gogo| 亚洲色图 男人天堂 中文字幕| 亚洲av熟女| 亚洲性夜色夜夜综合| 国产黄a三级三级三级人| 他把我摸到了高潮在线观看| 日韩成人在线观看一区二区三区| 国产高潮美女av| 全区人妻精品视频| 亚洲国产精品合色在线| 中文资源天堂在线| 精品国产乱子伦一区二区三区| 国产成人啪精品午夜网站| 99久久精品国产亚洲精品| 99精品久久久久人妻精品| 18美女黄网站色大片免费观看| 午夜亚洲福利在线播放| 亚洲国产欧美人成| 黄片小视频在线播放| 亚洲国产看品久久| 精品人妻1区二区| 黄色 视频免费看| 国产亚洲av高清不卡| 一个人看的www免费观看视频| 亚洲精品一卡2卡三卡4卡5卡| 老熟妇乱子伦视频在线观看| 欧美日韩瑟瑟在线播放| 搡老熟女国产l中国老女人| 国产激情偷乱视频一区二区| 黄色丝袜av网址大全| 特大巨黑吊av在线直播| 亚洲人成伊人成综合网2020| svipshipincom国产片| 久久久久久久精品吃奶| 一个人免费在线观看电影 | 高潮久久久久久久久久久不卡| 高清在线国产一区| 精品久久久久久成人av| 99久久综合精品五月天人人| 成年免费大片在线观看| 99久久国产精品久久久| 99在线视频只有这里精品首页| 午夜福利视频1000在线观看| 欧美在线一区亚洲| 亚洲精品中文字幕一二三四区| 嫩草影院精品99| 亚洲无线在线观看| 欧美一区二区国产精品久久精品| 国产av不卡久久| 亚洲,欧美精品.| 草草在线视频免费看| 丁香欧美五月| 无遮挡黄片免费观看| 国产三级在线视频| 午夜福利在线在线| 18禁观看日本| 亚洲一区二区三区色噜噜| 午夜两性在线视频| 在线a可以看的网站| 成年版毛片免费区| 成年版毛片免费区| 国产乱人伦免费视频| 成年版毛片免费区| 久久久久国产精品人妻aⅴ院| 亚洲欧美日韩东京热| 亚洲va日本ⅴa欧美va伊人久久| 91在线观看av| 亚洲午夜理论影院| 国产激情偷乱视频一区二区| 99精品在免费线老司机午夜| 亚洲人成网站高清观看| 制服人妻中文乱码| 国产综合懂色| 伦理电影免费视频| 国产精品永久免费网站| 日本在线视频免费播放| 黄色丝袜av网址大全| 国产av一区在线观看免费| 国产综合懂色| 日本一本二区三区精品| 亚洲在线自拍视频| 夜夜躁狠狠躁天天躁| 国产在线精品亚洲第一网站| 亚洲在线自拍视频| 国产aⅴ精品一区二区三区波| 国产高清videossex| 亚洲第一电影网av| 日本在线视频免费播放| 午夜久久久久精精品| 日韩欧美在线乱码| 亚洲无线观看免费| 亚洲国产精品合色在线| 午夜视频精品福利| 精品国产美女av久久久久小说| 国产精品香港三级国产av潘金莲| 久久精品夜夜夜夜夜久久蜜豆| 久久精品国产清高在天天线| 久久亚洲精品不卡| 久久99热这里只有精品18| 香蕉av资源在线| 久久天堂一区二区三区四区| 日韩欧美一区二区三区在线观看| 久久久成人免费电影| 欧美黑人欧美精品刺激| 国产午夜精品久久久久久| 成人特级av手机在线观看| 我要搜黄色片| 免费人成视频x8x8入口观看| 久久久久国内视频| 国产欧美日韩一区二区精品| 国产成人av教育| 两人在一起打扑克的视频| 老司机福利观看| 天堂影院成人在线观看| 啦啦啦观看免费观看视频高清| 少妇的逼水好多| 又黄又粗又硬又大视频| 亚洲午夜精品一区,二区,三区| 精品福利观看| 精品国产亚洲在线| 一区二区三区高清视频在线| 日韩欧美 国产精品| 最好的美女福利视频网| 国产成人系列免费观看| 久久精品国产亚洲av香蕉五月| 在线永久观看黄色视频| 亚洲av美国av| 一个人免费在线观看的高清视频| 国产伦人伦偷精品视频| 51午夜福利影视在线观看| 男女视频在线观看网站免费| 禁无遮挡网站| 亚洲成人久久爱视频| 国产成人欧美在线观看| www日本在线高清视频| 婷婷亚洲欧美| 午夜两性在线视频| 国产乱人视频| 99re在线观看精品视频| 色吧在线观看| 哪里可以看免费的av片| or卡值多少钱| 久久亚洲真实| 亚洲国产色片| 狂野欧美激情性xxxx| 日韩欧美国产在线观看| 丁香六月欧美| 久久久久国产精品人妻aⅴ院| 日韩中文字幕欧美一区二区| 伊人久久大香线蕉亚洲五| 午夜福利18| 宅男免费午夜| 黄色视频,在线免费观看| 国产精品久久久久久人妻精品电影| 亚洲精品中文字幕一二三四区| 桃红色精品国产亚洲av| 非洲黑人性xxxx精品又粗又长| 欧美日韩亚洲国产一区二区在线观看| 国产高清三级在线| 香蕉久久夜色| 亚洲中文字幕日韩| av中文乱码字幕在线| 男女做爰动态图高潮gif福利片| 19禁男女啪啪无遮挡网站| av视频在线观看入口| 亚洲色图 男人天堂 中文字幕| 亚洲成a人片在线一区二区| 亚洲国产中文字幕在线视频| 天堂网av新在线| 国产精品亚洲美女久久久| 亚洲午夜精品一区,二区,三区| 欧美日韩黄片免| 久久久国产欧美日韩av| 丰满人妻一区二区三区视频av | 亚洲专区中文字幕在线| 国产一区在线观看成人免费| 亚洲精品美女久久久久99蜜臀| 日韩欧美免费精品| 精品一区二区三区视频在线 | 观看免费一级毛片| 日韩大尺度精品在线看网址| 天天一区二区日本电影三级| 动漫黄色视频在线观看| 亚洲国产精品999在线| 亚洲精品美女久久久久99蜜臀| 18禁美女被吸乳视频| 夜夜爽天天搞| 国产麻豆成人av免费视频| 欧美国产日韩亚洲一区| 免费一级毛片在线播放高清视频| 岛国在线观看网站| 午夜福利高清视频| 婷婷六月久久综合丁香| 欧美一区二区国产精品久久精品| 中亚洲国语对白在线视频| 久久这里只有精品19| 99久久成人亚洲精品观看| 亚洲国产日韩欧美精品在线观看 | 精品不卡国产一区二区三区| 亚洲精品在线观看二区| 亚洲,欧美精品.| 亚洲av第一区精品v没综合| 亚洲欧美日韩高清专用| 精品99又大又爽又粗少妇毛片 | 免费无遮挡裸体视频| 男人舔奶头视频| 亚洲av美国av| 亚洲aⅴ乱码一区二区在线播放| 国产精品美女特级片免费视频播放器 | 搡老熟女国产l中国老女人| 午夜福利在线观看免费完整高清在 | 日韩欧美国产一区二区入口| 国产91精品成人一区二区三区| 久久中文字幕人妻熟女| 亚洲欧美日韩高清专用| 午夜成年电影在线免费观看| 在线观看舔阴道视频| 成年女人看的毛片在线观看| 18禁黄网站禁片免费观看直播| 亚洲熟妇熟女久久| a级毛片在线看网站| 欧美丝袜亚洲另类 | 亚洲自偷自拍图片 自拍| 国产高潮美女av| 午夜免费观看网址| 精品国产乱码久久久久久男人| av女优亚洲男人天堂 | 美女午夜性视频免费| 中文字幕熟女人妻在线| 男人和女人高潮做爰伦理| 国产精品 欧美亚洲| 国产亚洲精品一区二区www| 悠悠久久av| 在线永久观看黄色视频| 欧美成人性av电影在线观看| 欧美又色又爽又黄视频| 九九久久精品国产亚洲av麻豆 | xxxwww97欧美| 国产探花在线观看一区二区| 黑人巨大精品欧美一区二区mp4| 成人三级黄色视频| 欧美性猛交黑人性爽| 真人一进一出gif抽搐免费| 成人18禁在线播放| 少妇熟女aⅴ在线视频| 最好的美女福利视频网| 女生性感内裤真人,穿戴方法视频| 男插女下体视频免费在线播放| www.精华液| 欧美乱色亚洲激情| 亚洲精品在线观看二区| 亚洲熟妇熟女久久| 国产亚洲精品久久久com| 级片在线观看| 婷婷精品国产亚洲av| 五月伊人婷婷丁香| 国产精品女同一区二区软件 | 日韩欧美国产在线观看| 国内精品美女久久久久久| 中文字幕熟女人妻在线| 亚洲人与动物交配视频| 熟女少妇亚洲综合色aaa.| 人人妻人人看人人澡| 三级国产精品欧美在线观看 | 成人鲁丝片一二三区免费| 成人欧美大片| 成人特级黄色片久久久久久久| 啦啦啦免费观看视频1| 成年女人永久免费观看视频| 欧美xxxx黑人xx丫x性爽| 最新在线观看一区二区三区| 精品福利观看| 国产精品影院久久| 国产蜜桃级精品一区二区三区| 视频区欧美日本亚洲| 18美女黄网站色大片免费观看| 国内精品久久久久久久电影| 在线播放国产精品三级| 国产伦在线观看视频一区| 国产视频一区二区在线看| 村上凉子中文字幕在线| 亚洲精品美女久久久久99蜜臀| 亚洲欧美日韩卡通动漫| 可以在线观看的亚洲视频| 夜夜躁狠狠躁天天躁| 精品国产超薄肉色丝袜足j| 国产成人福利小说| 国产v大片淫在线免费观看| 亚洲专区中文字幕在线| 搡老妇女老女人老熟妇| 欧美国产日韩亚洲一区| 日本成人三级电影网站| 久久精品国产亚洲av香蕉五月| 亚洲国产色片| 精品福利观看| av在线天堂中文字幕| 久久人妻av系列| 岛国在线观看网站| 国产免费男女视频| 国产一区在线观看成人免费| 亚洲av第一区精品v没综合| 欧美中文日本在线观看视频| 午夜日韩欧美国产| 久久久久亚洲av毛片大全| 国产精品爽爽va在线观看网站| 美女 人体艺术 gogo| 亚洲无线观看免费| 少妇丰满av| 日本撒尿小便嘘嘘汇集6| 精品一区二区三区视频在线观看免费| 欧美zozozo另类| 法律面前人人平等表现在哪些方面| 亚洲无线观看免费| 亚洲真实伦在线观看| 国产黄a三级三级三级人| 禁无遮挡网站| 中文在线观看免费www的网站| 国产精品98久久久久久宅男小说| 一级a爱片免费观看的视频| 性色av乱码一区二区三区2| 欧美日韩亚洲国产一区二区在线观看| 麻豆成人av在线观看| 黄色女人牲交| 亚洲五月天丁香| 国产精品久久电影中文字幕| 国产精品99久久久久久久久| 女人高潮潮喷娇喘18禁视频| 舔av片在线| 夜夜夜夜夜久久久久| 亚洲av片天天在线观看| 久久人人精品亚洲av| 亚洲成av人片免费观看| 中文字幕久久专区| 999精品在线视频| 亚洲精品粉嫩美女一区| 女警被强在线播放| 美女被艹到高潮喷水动态| ponron亚洲| 亚洲中文av在线| 美女 人体艺术 gogo| 国内精品一区二区在线观看| 国产一区在线观看成人免费| 日韩av在线大香蕉| 一区福利在线观看| 国产精品 欧美亚洲| 别揉我奶头~嗯~啊~动态视频| 狂野欧美激情性xxxx| 一本综合久久免费| 日日干狠狠操夜夜爽| 脱女人内裤的视频| 久久久久久久久久黄片| 国产单亲对白刺激| 亚洲国产看品久久| 一卡2卡三卡四卡精品乱码亚洲| 国产三级中文精品| 真人一进一出gif抽搐免费| 国产伦精品一区二区三区四那| 村上凉子中文字幕在线| 性欧美人与动物交配| 亚洲色图av天堂| 在线观看一区二区三区| 欧美黄色片欧美黄色片| 欧美一区二区精品小视频在线| 午夜福利高清视频| 天堂√8在线中文| 99久久国产精品久久久| 网址你懂的国产日韩在线| 18禁国产床啪视频网站| 久久亚洲真实| 久久精品国产综合久久久| 欧美日韩黄片免| 九九热线精品视视频播放| 国产精品美女特级片免费视频播放器 | 无人区码免费观看不卡| 欧美激情久久久久久爽电影| 国产私拍福利视频在线观看| 香蕉国产在线看| 久久精品亚洲精品国产色婷小说| 久久久成人免费电影| 最近在线观看免费完整版| 哪里可以看免费的av片| www.www免费av| 级片在线观看| 国产熟女xx| 国产精品香港三级国产av潘金莲| 香蕉国产在线看| 亚洲成av人片在线播放无| 午夜影院日韩av| 一个人观看的视频www高清免费观看 | 中文字幕熟女人妻在线| 一进一出抽搐动态| 最近最新中文字幕大全电影3| 黄色 视频免费看| 淫秽高清视频在线观看| 国产v大片淫在线免费观看| 国产亚洲av高清不卡| 亚洲av美国av| 午夜激情福利司机影院| 黑人欧美特级aaaaaa片| 午夜视频精品福利| or卡值多少钱| 欧美成人午夜免费资源| 日本黄色视频三级网站网址| 国产三级在线视频| av在线亚洲专区| 国产探花极品一区二区| 国产一区二区三区av在线| 91久久精品国产一区二区成人| 亚洲久久久久久中文字幕| 在线天堂最新版资源| 亚洲av.av天堂| 国产亚洲精品久久久com| 欧美一级a爱片免费观看看| 日韩一本色道免费dvd| 性插视频无遮挡在线免费观看| kizo精华| 99久久中文字幕三级久久日本| 免费在线观看成人毛片| 欧美区成人在线视频| 日韩成人av中文字幕在线观看| 男女那种视频在线观看| 精品人妻视频免费看| av女优亚洲男人天堂| 国产成人freesex在线| 日本猛色少妇xxxxx猛交久久| 中文字幕免费在线视频6| 中文天堂在线官网| 亚洲高清免费不卡视频| 国产伦理片在线播放av一区| 国产精品一区二区三区四区久久| 久热久热在线精品观看| 三级国产精品欧美在线观看| 国产黄色小视频在线观看| 18禁动态无遮挡网站| 少妇人妻一区二区三区视频| 成人av在线播放网站| 午夜激情福利司机影院| 国产av码专区亚洲av| 卡戴珊不雅视频在线播放| 日韩成人伦理影院| 欧美精品国产亚洲| 国产精品永久免费网站| 国产精品无大码| 最近2019中文字幕mv第一页| 全区人妻精品视频| 少妇猛男粗大的猛烈进出视频 | 青春草视频在线免费观看| 久久精品国产自在天天线| 国产精品国产三级国产专区5o | 一个人观看的视频www高清免费观看| 国产成人一区二区在线| 国产黄a三级三级三级人| 国产色婷婷99| 美女国产视频在线观看| 高清毛片免费看| 国产精品无大码| 久久人人爽人人片av| 成人毛片a级毛片在线播放| 99久久无色码亚洲精品果冻| 搞女人的毛片| 青春草亚洲视频在线观看| 日韩一区二区视频免费看| 亚洲熟妇中文字幕五十中出| 一卡2卡三卡四卡精品乱码亚洲| 久久99精品国语久久久| 在现免费观看毛片| 国产精品久久久久久久电影| 18禁在线无遮挡免费观看视频| 国产探花极品一区二区| 久久综合国产亚洲精品| 久久这里有精品视频免费| av又黄又爽大尺度在线免费看 | h日本视频在线播放| 午夜亚洲福利在线播放| 欧美变态另类bdsm刘玥| 国产精品人妻久久久影院| 久久久久久久亚洲中文字幕| 亚洲av男天堂| 欧美丝袜亚洲另类| 麻豆一二三区av精品| 高清av免费在线| 青春草视频在线免费观看| 欧美精品国产亚洲| 午夜精品一区二区三区免费看| 亚洲av.av天堂| 观看免费一级毛片| 久久久久久伊人网av| 在线播放国产精品三级| 国产精品av视频在线免费观看| 精品99又大又爽又粗少妇毛片| 亚洲欧美日韩无卡精品| 久久人人爽人人片av| 日本五十路高清| 久久久久性生活片| 午夜福利在线在线| 少妇熟女欧美另类| av在线观看视频网站免费| 久久99热6这里只有精品| 国产精品福利在线免费观看| 99热这里只有是精品在线观看| 亚洲精品乱码久久久久久按摩| av女优亚洲男人天堂| 久久久亚洲精品成人影院| 免费在线观看成人毛片| 2021天堂中文幕一二区在线观| 建设人人有责人人尽责人人享有的 | 免费观看的影片在线观看| 国产精品久久久久久久电影| 男插女下体视频免费在线播放| 欧美三级亚洲精品| 久久久色成人| 久久久亚洲精品成人影院| 三级毛片av免费| 国产极品天堂在线| 久久人人爽人人片av| 中文欧美无线码| 欧美丝袜亚洲另类| 亚洲欧美日韩无卡精品| 亚洲av电影不卡..在线观看| 免费播放大片免费观看视频在线观看 | 久久久国产成人精品二区| 国产三级在线视频| 又爽又黄无遮挡网站| 国产精品无大码| 国产精品蜜桃在线观看| av免费观看日本| 中文字幕亚洲精品专区| 久久精品夜夜夜夜夜久久蜜豆| 亚洲人成网站在线播| 国产精品av视频在线免费观看| 老师上课跳d突然被开到最大视频| 久久99热这里只有精品18| 国产精品麻豆人妻色哟哟久久 | 欧美性感艳星| 国产成人freesex在线| 丝袜美腿在线中文| 国产精品1区2区在线观看.| 日韩欧美精品免费久久| 夫妻性生交免费视频一级片| 亚洲欧美清纯卡通| 亚洲精品aⅴ在线观看| 一级黄片播放器| 久久99蜜桃精品久久| 久久久国产成人精品二区| 色噜噜av男人的天堂激情| 国产av一区在线观看免费| 中文精品一卡2卡3卡4更新| 啦啦啦韩国在线观看视频| or卡值多少钱| 国内精品一区二区在线观看| 一区二区三区免费毛片| 插逼视频在线观看| 亚洲国产色片| 中文字幕av成人在线电影| 日本黄色片子视频| 少妇被粗大猛烈的视频| 蜜桃久久精品国产亚洲av| 久久久久久伊人网av| 国产色婷婷99| 听说在线观看完整版免费高清| 国产精品乱码一区二三区的特点| 亚洲av熟女| 你懂的网址亚洲精品在线观看 | 国产一级毛片七仙女欲春2| 午夜精品在线福利| 国产精品综合久久久久久久免费| 国产精品一二三区在线看| 91av网一区二区|