• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于增強序列表示注意力網絡的中文隱式篇章關系識別

    2022-07-12 14:23:50陳增照魯圓圓
    計算機應用與軟件 2022年6期
    關鍵詞:論元語料注意力

    劉 洪 陳增照 張 婧 陳 榮 魯圓圓

    1(華中師范大學教育大數據應用技術國家工程實驗室 湖北 武漢 430079) 2(華中師范大學國家數字化學習工程技術研究中心 湖北 武漢 430079)

    0 引 言

    篇章關系識別(Discourse Relation Recognition)作為自然語言處理的基礎性研究,是以篇章粒度的連續(xù)句子對為分析目標,以字、詞為編碼粒度抽取句子中的語義結構,生成篇章論元表示,進而識別篇章關系,幫助機器更好地自動理解文本。該問題的解決能應用于諸多自然語言處理的下游任務,如機器翻譯[1]、自動文摘[2]和事件關系抽取[3]等。

    根據篇章連接詞的有無,篇章關系可分為顯、隱式篇章關系(Explicit & Implicit Discourse Relation)。表1中的例子對顯、隱式篇章關系進行了解釋。

    表1 顯、隱式篇章關系舉例

    顯式篇章關系中由于存在明顯的篇章連接詞,其識別在特征工程[4-5]階段已達到較好的識別效果。而隱式篇章論元對中由于缺乏明顯篇章連接詞,故需要抽取論元對之間的深層語義特征來構建篇章邏輯關系,這一過程較為復雜,因此隱式篇章關系識別也成為篇章關系識別中的主要問題。在特征工程階段,已有工作主要通過抽取句法、詞性、詞頻和情感極性等傳統(tǒng)語言學特征[6-7]的機器學習方法進行隱式篇章關系的識別。但這種方法工作量大、過程繁瑣,難以捕獲深層的語義結構特征。而應用目前主流的深度學習方法可以很好地避免這些缺點。

    在深度學習方法中,篇章關系識別任務一般通過對原始論元進行層層編碼,通過編碼來抽取論元對的語義結構,從而實現(xiàn)分類。而論元編碼中的序列特征對語義結構抽取至關重要。當前主流的編碼方式主要采用循環(huán)神經網絡[8-9]以及注意力機制[10-13]。循環(huán)神經網絡對于序列特征具有很好的表征能力,注意力機制則具有很好的全局視野且并行速度快。其中,Liu等[10]通過模擬人類閱讀的方式采用Bi-LSTM編碼論元,通過兩層外部注意力機制反復閱讀論元來重新分配論元權重。Guo等[13]則通過Bi-LSTM編碼后,采用一種交互注意力機制對論元進行交互表示,提升了論元的序列表達。在此基礎上,徐昇等[12]提出了一種三層注意力網絡架構,該網絡直接使用注意力機制進行編碼,能較好地捕獲長期的依賴和全局詞對線索。但以上網絡中均采用單一的初步論元編碼結構,或僅通過論元間交互來強化序列表示,容易忽略字、詞粒度上局部序列信息的表達。

    基于上述研究,本文提出一種增強序列表示的注意力網絡架構(RC-MLAN),模型通過添加循環(huán)卷積模塊(RC-Encoder)來捕捉更為細粒度的局部序列特征,并且這種循環(huán)卷積模塊與文獻[12]的三層注意力網絡(TLA-Encoder)采用并行架構的方式。最后模型采用了文獻[10]中的外部注意力機制,把TLA-Encoder得到的全局詞對聯(lián)系作為一種外部記憶,反復地閱讀RC-Encoder抽取的重要序列表示,從而生成包含豐富序列信息的最終論元表示。

    本文的主要貢獻包括:(1) 提出一種包含循環(huán)卷積模塊的四層注意力網絡架構,增強了最終論元的序列信息表示。(2) 在循環(huán)卷積模塊中采用了一種細粒度的序列特征編碼方式,并通過一種局部卷積突出了序列特征中的重要信息。(3) 使用了一種外部記憶的注意力機制,用原有三層注意力網絡提取的詞對線索重復閱讀這種更細粒度的序列表示,使最終論元表示中包含更細節(jié)的序列信息。

    1 相關研究

    由于英文的語料資源較為豐富,在隱式篇章關系識別任務已有工作較多,主要分為傳統(tǒng)特征工程的方法和深度學習的方法。在傳統(tǒng)特征工程階段,主要分為兩類:(1) 將句法結構、詞匯、情感極性等淺層信息用于機器學習的方法[6];(2) 通過標注篇章連接詞,采用預測連接詞的方法來進行篇章關系分類。后期由于深度學習方法的興起,涌現(xiàn)許多解決該任務的神經網絡模型[11-15]。Nie等[15]利用依存關系分析和基于規(guī)則的方法自動挑選出顯示語料,用Bi-LSTM生成有效的句子表示來提升隱式篇章的識別效果。Guo等[13]模擬人類閱讀的方式,采用了一種交互注意力機制增強論元交互從而抽取更深層次的篇章語義信息。此外,有部分工作[16-17]通過擴展和平衡數據集的方式來進一步提升隱式篇章識別效果,這種方法對后期英文篇章方面工作和中文篇章關系研究均有所啟發(fā)。英文隱式篇章關系起步早,研究成果相對較多,但由于中英文在語言形式和表達習慣上的差異,針對英文任務的方法并不能直接應用于中文領域。

    就目前中文隱式篇章識別研究工作而言,由于語料資源較為稀少,在該任務上的研究工作不多,已有的方法主要分為傳統(tǒng)特征方法和深度學習階段。在傳統(tǒng)特征方法上,Huang等[18]在自建語料上就句子長度、標點、連詞和共享詞等淺層語言學特征進行整合探究。張牧宇等[5]利用依存句法等特征提出了一種多元SVM和最大熵模型分類器,由于SVM存在對邊界的敏感性,效果優(yōu)于最大熵分類器。孫靜等[19]利用上下文特征、詞匯特征和依存樹特征提出了一種最大熵模型,在并列類識別效果較好。李國臣等[20]提出了一種漢語框架語義網,通過識別句子中的目標詞對篇章單元進行分析從而識別篇章關系。由于傳統(tǒng)方法需要人工抽取特征,過程繁瑣且特征較為淺表,難以捕獲深層的語義結構,因而深度學習的方法在近年的中文隱式篇章關系研究中逐漸興起。R?nnqvist等[8]采用了一種循環(huán)神經網絡抽取論元的序列特征,并通過Attention機制來重新計算詞序權重。田文洪等[9]構建了一種多任務架構的雙端長短時記憶網絡(Bi-LSTM),通過擴充顯示語料的訓練方式解決了訓練語料不足的問題,并取得了較好的魯棒性。徐昇等[12]通過模擬人類反復閱讀的模式提出了一種多層注意力網絡,通過共享自注意力(Self-Attention)層直接對論元進行編碼,并通過交互注意力和外部記憶的方式抽取深層語義完成篇章論元對的最終表示。

    2 方 法

    由于已有的方法中大多只采用了一種初步論元的編碼方式,基于循環(huán)神經網絡的編碼方式具有很好的序列表示,而結合注意力機制的方法則具有很好的全局視野,考慮到經過多層注意力后表示中容易忽略字符序列信息,因此本文嘗試用兩種不同的編碼方式來抽取論元特征,并通過一種局部卷積來突出重要的局部序列特征,增強論元的序列表示。此外,通過一種外部注意力將兩種編碼方式進行融合,使注意力網絡結構中生成的最終論元表示中包含豐富的局部序列信息。

    本文提出的增強序列表示的多層注意力網絡架構主要包括TLA-Encoder、RC-Encoder和IEM-Attention層,其整體框架如圖1所示。

    圖1 RC-MLAN網絡結構

    模型通過Source Embedding層將論元對Arg1和Arg2初始化為包含詞性特征的融合向量表示E1和E2,再將E1、E2送入TLA-Encoder層和RC-Encoder層分別提取語義信息和序列信息。

    在TLA-Encoder中,文本采用文獻[12]提出的三層注意力網絡,利用Self-Attention對論元直接編碼得到H1和H2,然后在Interactive Attention層對H1和H2進行交互閱讀得到交互表示H3和H4,并通過非線性變化得到初步的論元語義表示M,最后由IEM-Attention模擬人類反復閱讀的方式把M作為外部記憶引導H1和H2生成篇章語義表示MTLA。

    在RC-Encoder中,首先將E1、E2送入Bi-LSTM來提取論元對的詞序信息,然后通過局部卷積對論元序列抽取重要的局部特征L,最后通過L來重新分配論元序列中的權重,得到論元序列的強化表示O。

    在兩個Encoder層獲得各自的特征后,將篇章語義表示MTLA作為頂部IEM-Attention層的外部記憶,通過重復讀RC-Encoder層得到的序列表示O,從而得到包含豐富序列信息的最終論元表示R,并在softmax層中完成篇章關系的分類。

    2.1 融合詞嵌入

    由于用低維稠密的數值向量來表征詞的方式可以提升模型處理文本數據的能力,這種通過預訓練的語言模型來生成低維稠密詞向量的方式在自然語言處理中得到廣泛應用。為了增強詞向量的表征能力,將詞的word2vec[21]編碼和詞性特征進行了拼接。

    模型的輸入由論元Arg1和Arg2構成,用xi表示論元中位置為i的詞,則每個論元表示為:

    Arg={x1,x2,…,xn}

    (1)

    在經過Source Embedding層后,論元對的編碼表示為E1∈Rm×dime,E2∈Rm×dime:

    (2)

    (3)

    Xt={Xt,w2v?Xt,p}

    (4)

    式中:Xt,w2v表示word2vec訓練生成的詞向量;Xt,p表示詞性向量;t表示詞在論元中的位置。

    2.2 TLA-Encoder

    注意力機制編碼并行速度快,且對于捕捉句子的語義信息具有較好的全局視野。在文本處理問題中,注意力機制能較好地捕捉到文本中的詞對線索。而篇章關系問題的核心在于理解篇章論元的邏輯語義,邏輯語義可以通過論元中詞對的相關性來體現(xiàn)。受文獻[12]啟發(fā),本文采用了一個三層的注意力網絡作為語義編碼模塊。首先通過兩個獨立的自注意力層[22]對論元進行初步編碼,通過該機制計算論元自身的詞對權重矩陣,從而得到初始論元的淺層語義結構。同時,為了增強論元間的序列表示,采用了文獻[12]中的交互注意力機制模擬人類閱讀,通過重新計算論元間的詞對權重矩陣來提取論元間的詞對線索。再將這兩個論元的交互表示拼接后進行非線性變換,得到論元的外部記憶表示。最后,這種外部記憶通過外部注意力機制[10]重復閱讀論元對的初步編碼,最后得到篇章的語義表示MTLA。

    2.2.1自注意力(Self-Attention)

    由Source Embedding層初始化論元后,使用自注意力對其進行初步編碼。公式如下:

    (5)

    由于兩個論元具有不同的語義結構,本文采用非共享方式對嵌入層表示E1和E2分別進行初步編碼,公式如下:

    (6)

    (7)

    2.2.2交互注意力

    考慮到自注意力是對兩個論元獨立編碼,而篇章關系本質上是兩個論元對之間的語義關聯(lián),缺乏交互的論元表示難以表達篇章語義聯(lián)系。受已有研究[10,12]啟發(fā),本文也使用了一種模仿人類閱讀的方式反復閱讀論元。通過論元間的詞對矩陣重新調整論元自身權重矩陣,使兩個論元的表示具有更廣闊的篇章語義視野。式(8)-式(9)表示論元的交互生成。

    (8)

    (9)

    在得到論元各自交互表示H3、H4后,通過平均池化操作和非線性變換來獲得論元的外部記憶M∈Rdi,公式如下:

    (10)

    (11)

    M=tanh(Wm·concat(P1,P2,P1-P2))

    (12)

    2.2.3包含外部記憶的注意力(IEM-Attention)

    根據人類閱讀的習慣,通過反復閱讀[10]有助于更深層次地理解文本。這是因為在重讀閱讀的過程中,先前的閱讀記憶會幫助下一次閱讀更好地理解文本。因此,在篇章關系的識別中,本文也嘗試通過這種反復的閱讀來更深入地理解文本。公式如下:

    f(C,M)=tanh(C+Me)·Wf

    (13)

    g(C,M)=softmax(f(C,M))

    (14)

    IEMAttention(C,M)=g(C,M)·C

    (15)

    式中:C表示論元編碼;Me表示記憶;Wf∈Rdj×dj表示變換矩陣。

    在TLA-Encoder中,模型使用篇章層面的詞對線索M作為論元的外部記憶,通過M對兩個論元進行重復的閱讀,增強對論元的理解,同時重新分配原始論元的權重矩陣,從而使論元編碼具有更廣闊的全局視野。模型經外部記憶M重新理解H1得到了更深層次的語義表示H5∈Rm×dk,公式如下:

    Me1=e1?M

    (16)

    H5=IEMAttention(H1W5,Me1We1)

    (17)

    式中:e1∈Rm表示全1向量,e1?M表示將外部記憶M復制m次得到Me1∈Rm×di;W5∈Rds×dk和We1∈Rdi×dk表示轉換矩陣表示轉換矩陣。同理也可以得到H6∈Rn×dk。最后,對H5、H6進行非線性變化,得到篇章的語義表示MTLA∈R(n+m)×dk。

    MTLA=tanh(Wm·concat(H5,H6,H5-H6))

    (18)

    式中:Wm表示線性變換矩陣。

    同時,本文還嘗試從不同的角度來反復地理解篇章論元。由于注意力編碼機制能很好地捕捉詞對相關,但經過多層注意力編碼之后,模型獲得豐富的詞對線索的同時會忽略對原始論元中的字符序列信息的關注。因此,本文還利用這種包含外部記憶的注意力機制,將TLA-Encoder的語義編碼作為序列表示的外部記憶,通過具有全局視野的詞對線索反復理解包含豐富局部特征的論元序列,從而使生成的最終論元表示R∈Rdj既保留了全局的詞對線索,也包含豐富的局部序列特征。其公式如下:

    Me3=e3?MTLA

    (19)

    R=IEMAttention(OTWO,Me3We3)

    (20)

    式中:O是RC-Encoder生成的序列表示;e3∈Rn+m表示全1向量;WO∈Rdhid×dj,We3∈Rdk×dj表示變換矩陣。

    2.3 RC-Encoder

    具體而言,篇章關系表示為兩個連續(xù)句子之間的語義邏輯,其序列信息對其十分重要。由于注意力機制主要關注句子中的詞對信息,且經過多層注意力編碼之后,模型會逐漸丟失原始論元中的字符序列信息。常見的序列表示方法是通過RNN及其變種[8-10,13]對于兩個論元進行序列編碼,然后通過注意力機制重新進行論元的權重分配。Cai等[23]構建了一種循環(huán)卷積模塊來強化Transformer[22]的序列表示,在Bi-LSTM編碼下采用多次連續(xù)卷積操作來提取序列中的重要信息。本任務數據較文獻[23]的自動摘要數據長度相對更短,因此通過多次卷積后視野更大,會降低局部序列特征的抽取效果,同時大量的卷積操作也會限制模型速度的提升。因此,本文通過控制卷積次數和卷積核大小來抽取n-gram特征進一步強化序列表示,使得序列特征更容易被上層的注意力機制捕獲,從而生成序列信息更為豐富的論元表示。

    2.3.1雙向長短時記憶網絡(Bi-LSTM)

    雙向長短時記憶網絡(Bi-LSTM)作為循環(huán)神經網絡(RNN)的一種變形,在多種自然語言處理的任務中取得了不錯的效果。Bi-LSTM在神經元中添加門結構元,控制了信息通過的量,解決了RNN中存在的長期依賴問題。另外,Bi-LSTM通過后向計算,將正向序列特征與反向序列特征進行疊加輸出,從而得到了文本的雙向序列特征。

    融合詞向量表示E1、E2在經過拼接之后送入Bi-LSTM抽取其序列特征得到其隱含序列文本表示S∈R(m+n)×dhid。其中,dhid表示BiLSTM的中間隱含層維度。

    S=BiLSTM(E1?E2)

    (21)

    式中:m、n表示不同論元融合嵌入后長度。

    2.3.2局部卷積(LocalConvolution)

    本文用兩個卷積層進一步強化局部序列表示。如圖2所示,本模塊在得到序文本列表示S后,通過兩個不同的卷積核去對序列進行卷積操作。其結構如圖2所示。

    圖2 局部卷積結構

    通過卷積得到n-gram特征表示為Dk∈R(m+n)×dhid,其中:k表示卷積核的大?。籨hid表示卷積層輸出的維度。將兩次卷積的結果進行非線性變換,得到重要的局部特征D∈R(m+n)×2dhid。

    D=concat(D1,D3)

    (22)

    L=σ(WdDT+bd)

    (23)

    式中:σ表示Sigmoid函數;bd∈Rdhid×(m+n)表示偏置矩陣。

    這里設置了一個過濾機制,根據卷積操作得到的局部重要性來過濾序列文本,從而突出序列中的重要局部信息。公式如下:

    O=L⊙(WsST+bs)

    (24)

    式中:⊙表示點積操作;Wd∈Rdhid×2dhid,Ws∈Rdhid×dhid表示變化矩陣;bs∈Rdhid×(m+n)表示偏置矩陣。

    最后,式(19)-式(20)以語義編碼的結果MTLA為外部記憶再次閱讀包含豐富局部序列特征的論元表示O,引導生成論元的最終表示R。再通過一個非線性變換將這種表示送入到Softmax層完成篇章關系的識別,如式(25)-式(26)所示。

    t=ReLU(WrR+br)

    (25)

    (26)

    式中:ReLU表示激活函數;Wr∈Rdr×dj和Wt∈Rdy×dr表示權重矩陣;br∈Rdr和bt∈Rdy表示偏置矩陣。

    3 實 驗

    3.1 實驗環(huán)境以及數據介紹

    本實驗在NVIDIA 1060上展開,內存16 GB,其中軟件環(huán)境為Python 3.6.7,Tensorflow-gpu 1.14,Keras 2.3.1,jieba 0.39,gensim 3.8.1。

    實驗所采用的語料庫為HIT-CDTB語料[24]。該語料共標記了525篇文章,按有無篇章詞分為顯、隱式篇章關系;按句間語義邏輯分為時序、因果、平行、條件、比較和擴展六大類篇章關系,并在大類基礎上進行細分,共計55個小類。由于不同類別語料分布不均,本文僅選取了因果、比較、擴展和平行這四類語料展開實驗。由于顯式語料與隱式語料最大的特點是篇章連接詞的有無,其兩者在語義結構上是相似的,因此本實驗訓練時采用部分顯式語料對隱式語料進行擴充[16]。具體語料細節(jié)如表2所示。

    表2 語料分布

    本實驗的訓練語料由顯式語料和70%的隱式語料構成,余下30%的隱式語料作為測試集,其細節(jié)如表3所示。

    表3 訓練集與測試集分布

    其中,實驗詞向量設置為300維,詞性向量維度為50維。注意力變換矩陣維數為350維,Bi-LSTM的隱含層節(jié)點數為700維;局部卷積步長為1和3,采用邊界填充的方式保證卷積結果維度一致;IEM-Attention的變換矩陣維數為350維。在實驗過程中,采用交叉熵作為損失函數來優(yōu)化模型參數。用微平均(Micro-F1)和宏平均(Macro-F1)作為主要的參考指標,并對每一個小類采用了調和平均值(F1)作為評估標準。

    3.2 實驗結果

    為了驗證增強序列表示的多層注意力網絡的有效性,本文選取了Bi-LSTM[25]作為本文的基準模型,并與基于注意力機制的循環(huán)神經網絡(RNN-Attention)[8]、多任務雙端長短時記憶網絡(Multi-Task Bi-LSTM,MT Bi-LSTM)[9]和多層注意力神經網絡(TLAN)[12]進行了對比,結果如表4所示。

    表4 模型試驗結果

    基準模型憑借較好的雙向序列表征能力,在Micro-F1和Macro-F1上分別取得56.82%和46.31%的實驗效果。RNN+Attention機制的方法缺乏對論元的逆向序列表征能力,在整體識別效果上較基準模型欠佳,但由于Attention機制能抽取序列表示中的詞對相關性,在平行和對比語料中取得了與基準模型相當的效果。多任務學習通過共享網絡層學習顯示特征輔助分析隱式語料具有良好的魯棒性,相比于基準模型在Micro-F1提升了約0.022 1,Macro-F1提升了約0.000 4,尤其相對于基準模型在擴展和平行占比相對較高的語料上分別有0.025 4和0.016 2的提升;但該方法在對比類語料中識別效果欠佳,主要原因是多任務的方法大量地增加了訓練參數,而對比語料過少導致隱式層參數欠擬合。TLAN中的注意力編碼具有強大的詞對聯(lián)系捕獲能力,并通過交互機制來模擬雙向閱讀抽取論元的交互信息,并通過引入外部記憶的方式反復地理解論元,相比于基準模型在Micro-F1提升了約0.042 3,Macro-F1提升了約0.009 7,同時在對比、擴展和平行三種語料中均取得了較前三種方法更好的實驗效果。

    增強序列表示的多層注意力網絡與其他模型相比均取得了更好的效果,較基準模型在Micro-F1提升了約0.110 6,Macro-F1提升了約0.085 7。同時,該模型在四類語料中的實驗效果均好于基準模型,尤其在語料占比較大的擴展語料中效果提升較大。這是因為不同結構的模型對于論元的特征抽取能力是不同的,多層注意力網絡對于詞對聯(lián)系這種語義特征具有較好的抽取能力,而RC-Encoder除了能抽取相關的語義特征以外,還具有較強的序列表征能力,并通過卷積操作過濾出了重要的局部序列特征和語義信息。相比于循環(huán)神經網絡和注意力機制單一的論元編碼方式,本文模型在保留了注意力機制強大的語義信息抽取能力的同時,還通過IEM-Attention機制反復地對序列表示進行重復閱讀,增強了最終論元的序列表征能力,因此能夠較好地提升分類實驗效果。

    3.3 結果分析

    為了進一步驗證RC-Encoder對于提升模型性能的有效性,在該部分設置了三個自我對比實驗。實驗設置如下:

    (1) 基準模型(Base):在基準模型中,直接將Source Embedding層的論元表示和TLA-Encoder的論元編碼作為頂層IEM-Attention的輸入。

    (2) Base+Bi-LSTM:用Bi-LSTM替換RC-Encoder。

    (3) Base+RC-Encoder(RC-MLAN)。

    實驗結果如表5所示,通過在基準模型中添加Bi-LSTM模塊使得隱式篇章分類效果在Micro-F1和Macro-F1上分別獲得了0.026 8和0.025 1的提升;添加RC-Encoder模塊使得隱式篇章分類效果在Micro-F1和Macro-F1上分別獲得了0.067 4和0.072 4的提升。這是因為RC-Encoder中的Bi-LSTM增強了論元的雙向序列表征能力,而局部卷積操作所提取的N-gram特征有利于進一步強化這種序列特征。此外,本文還對單一類型語料的實驗結果進行了分析。通過添加Bi-LSTM模塊,實驗結果在對比、擴展、平行和因果四類語料的F1值分別獲得了0.022 1,0.011 6,0.022 6和0.032 8的提升;通過添加RC-Encoder,實驗結果在對比、擴展、平行和因果四類語料的F1值分別獲得了0.077 5,0.044 7,0.041 2和0.062 3的提升。這種具有多特征抽取的編碼機制,不僅保留了多層注意力網絡中的注意力編碼和交互編碼的語義聯(lián)系,同時,通過Bi-LSTM和局部卷積對論元序列進行有效的過濾,并通過頂層的IEM-Attention機制增強了最終論元表示的序列表達能力,從而能提升模型對于單一類別的識別效果,這也說明了這種通過增強論元序列表示的方法對于隱式篇章識別是有效。

    表5 RC-MLAN變體實驗結果

    將Base+Bi-LSTM模型作為該部分的基準模型,通過設置不同的卷積層來探究局部卷積操作對模型性能的影響,結果如表6所示。

    表6 局部卷積層數對模型性能的影響

    通過將局部的卷積層數設置為1~5,與沒有局部卷積操作的Bi-LSTM進行了對比。實驗發(fā)現(xiàn),當卷積層數等于2時,對模型性能提升最大。而當卷積層數逐漸增大時,其整體性能會逐漸下降。這是因為隨著卷積層數的增多,卷積層的視野逐漸增大,這樣對于局部序列特征的過濾能力會下降;同時增加卷積層數也會導致訓練參數增多,加大了模型訓練的負荷,在訓練數據有限的情況下會導致模型性能下降。

    4 結 語

    針對中文隱式篇章關系識別任務,本文提出一種增強序列表示的多層注意力網絡模型。本文通過RC-Encoder中的Bi-LSTM抽取序列特征并用局部卷積抽取局部特征來突出重要的序列信息。最后使用了一種包含外部記憶的注意力使得到的詞對關聯(lián)作為序列編碼的外部記憶,模擬人類閱讀的方式反復理解這種序列表示并引導最終的論元生成。實驗表示,本文提出的模型在HIT-CDTB語料上的實驗效果在Micro-F1和Macro-F1上均超過了已有模型,并通過設置自我對比實驗和討論局部卷積層數探究了RC-Encoder對于模型性能的影響,充分說明了這種增強模型的序列表征能力的方法對中文隱式篇章關系分類是有效的。

    猜你喜歡
    論元語料注意力
    讓注意力“飛”回來
    “揚眼”APP:讓注意力“變現(xiàn)”
    傳媒評論(2017年3期)2017-06-13 09:18:10
    成分重量和粵方言雙及物結構的論元語序
    基于論元結構和題元指派對漢語處置義“把”字句的句法語義分析
    基于語料調查的“連……都(也)……”出現(xiàn)的語義背景分析
    A Beautiful Way Of Looking At Things
    華語電影作為真實語料在翻譯教學中的應用
    《苗防備覽》中的湘西語料
    英語中動構式中施事論元句法隱含的認知研究
    國內外語用學實證研究比較:語料類型與收集方法
    99热这里只有是精品在线观看| 国产精品福利在线免费观看| 乱人视频在线观看| 日韩 亚洲 欧美在线| 国产av一区在线观看免费| 两性午夜刺激爽爽歪歪视频在线观看| 久久久午夜欧美精品| 亚州av有码| 亚洲高清免费不卡视频| 日韩欧美国产在线观看| 小说图片视频综合网站| 色吧在线观看| 欧美成人一区二区免费高清观看| 国产综合懂色| 九九在线视频观看精品| 精品久久久久久久久亚洲| 久久久精品欧美日韩精品| 乱系列少妇在线播放| 亚洲av成人精品一区久久| 老司机影院毛片| 看非洲黑人一级黄片| 免费大片18禁| 亚洲av不卡在线观看| 特级一级黄色大片| 国产一区二区在线观看日韩| 69人妻影院| 久久99热6这里只有精品| 日韩视频在线欧美| 欧美一区二区精品小视频在线| 三级经典国产精品| av国产免费在线观看| 我要搜黄色片| 成人亚洲精品av一区二区| 国产成人一区二区在线| 美女大奶头视频| 国产精品女同一区二区软件| 欧美成人免费av一区二区三区| 高清视频免费观看一区二区 | 亚洲真实伦在线观看| 成年女人永久免费观看视频| 国产美女午夜福利| 亚洲成av人片在线播放无| 国产高潮美女av| 爱豆传媒免费全集在线观看| 一本久久精品| a级毛色黄片| a级一级毛片免费在线观看| 中国美白少妇内射xxxbb| 欧美三级亚洲精品| 国产一区二区在线av高清观看| 在现免费观看毛片| 国产午夜精品一二区理论片| 日韩欧美精品v在线| 国产精品女同一区二区软件| 亚洲精品乱码久久久v下载方式| 欧美不卡视频在线免费观看| 亚洲美女视频黄频| 大香蕉97超碰在线| 看片在线看免费视频| 久久久久久九九精品二区国产| 国产黄a三级三级三级人| 国产老妇伦熟女老妇高清| 国产色婷婷99| 自拍偷自拍亚洲精品老妇| 听说在线观看完整版免费高清| 国产乱来视频区| 亚洲精华国产精华液的使用体验| 成人三级黄色视频| 欧美激情在线99| 国产精品久久久久久久久免| 精品不卡国产一区二区三区| 亚洲av免费在线观看| 禁无遮挡网站| 国产日韩欧美在线精品| 亚洲精品亚洲一区二区| 日日干狠狠操夜夜爽| 欧美成人精品欧美一级黄| 日韩,欧美,国产一区二区三区 | 男女那种视频在线观看| 亚洲精品aⅴ在线观看| 亚洲av成人av| 国产中年淑女户外野战色| 久久亚洲国产成人精品v| 亚洲精品日韩在线中文字幕| 日日干狠狠操夜夜爽| 国产精品久久电影中文字幕| 九九在线视频观看精品| 欧美性猛交黑人性爽| 中文字幕精品亚洲无线码一区| 久久久欧美国产精品| 亚洲真实伦在线观看| 观看美女的网站| 晚上一个人看的免费电影| 国产毛片a区久久久久| 成人国产麻豆网| av国产久精品久网站免费入址| 亚洲天堂国产精品一区在线| 身体一侧抽搐| 欧美性猛交╳xxx乱大交人| 桃色一区二区三区在线观看| 免费看光身美女| 美女大奶头视频| 国产免费视频播放在线视频 | 人体艺术视频欧美日本| 亚洲国产欧美在线一区| 色视频www国产| 国产精品乱码一区二三区的特点| 色吧在线观看| 人妻少妇偷人精品九色| 日韩国内少妇激情av| 少妇丰满av| 亚洲婷婷狠狠爱综合网| 一级爰片在线观看| 中文字幕av成人在线电影| 中国国产av一级| 又爽又黄无遮挡网站| 久久久久国产网址| 国产伦精品一区二区三区视频9| 亚洲va在线va天堂va国产| 亚洲在线观看片| 欧美一区二区精品小视频在线| 我要看日韩黄色一级片| 亚洲av不卡在线观看| 在线观看66精品国产| 亚洲av福利一区| 国产成人aa在线观看| 97超碰精品成人国产| 亚洲精品久久久久久婷婷小说 | 看片在线看免费视频| 日本与韩国留学比较| 日韩av在线大香蕉| 久久人妻av系列| 日本免费一区二区三区高清不卡| 少妇裸体淫交视频免费看高清| 婷婷色av中文字幕| av天堂中文字幕网| 九色成人免费人妻av| 熟女人妻精品中文字幕| 国产成人一区二区在线| 亚洲国产精品专区欧美| 国产人妻一区二区三区在| 99久久精品一区二区三区| 国产乱人视频| 搡老妇女老女人老熟妇| 中文在线观看免费www的网站| 久久精品91蜜桃| 天堂√8在线中文| 亚洲欧美中文字幕日韩二区| 91狼人影院| av国产免费在线观看| 99久久无色码亚洲精品果冻| 精品人妻一区二区三区麻豆| 日韩一本色道免费dvd| 我要看日韩黄色一级片| 男人狂女人下面高潮的视频| 99视频精品全部免费 在线| 国产高清视频在线观看网站| 人妻系列 视频| 久久精品国产亚洲av涩爱| 3wmmmm亚洲av在线观看| 一本久久精品| 97超碰精品成人国产| 亚洲成人中文字幕在线播放| 男人和女人高潮做爰伦理| 99久久精品一区二区三区| 国产三级在线视频| 一本一本综合久久| 亚洲av成人精品一区久久| 你懂的网址亚洲精品在线观看 | 国产精品一区二区三区四区免费观看| 国产成人福利小说| 精品无人区乱码1区二区| 精品酒店卫生间| 国产高清视频在线观看网站| 欧美成人免费av一区二区三区| 日本黄色视频三级网站网址| 少妇裸体淫交视频免费看高清| 国产精品久久电影中文字幕| 1000部很黄的大片| 日日摸夜夜添夜夜爱| 99热这里只有是精品50| 久久99精品国语久久久| 嫩草影院入口| 国产亚洲精品av在线| 亚洲美女视频黄频| 建设人人有责人人尽责人人享有的 | 久久精品人妻少妇| 亚洲国产最新在线播放| 18+在线观看网站| 中文字幕av成人在线电影| 99国产精品一区二区蜜桃av| 午夜视频国产福利| 99热网站在线观看| 日本黄色片子视频| 91久久精品电影网| 久久6这里有精品| 欧美一级a爱片免费观看看| 国产三级在线视频| 亚洲国产色片| 美女脱内裤让男人舔精品视频| 男女边吃奶边做爰视频| 国产亚洲av片在线观看秒播厂 | 精品久久久久久电影网 | www日本黄色视频网| 亚洲四区av| av在线亚洲专区| 免费电影在线观看免费观看| 国产精品蜜桃在线观看| av在线蜜桃| 69人妻影院| 欧美97在线视频| 91aial.com中文字幕在线观看| 能在线免费看毛片的网站| 国产在线男女| 国产高清视频在线观看网站| 日本三级黄在线观看| 在线观看av片永久免费下载| 精品久久久久久久末码| 熟妇人妻久久中文字幕3abv| 一级毛片电影观看 | 美女大奶头视频| 一本一本综合久久| 岛国毛片在线播放| av在线天堂中文字幕| 国产在视频线在精品| 国产精品国产三级专区第一集| 亚洲五月天丁香| 免费av观看视频| 亚洲av男天堂| 午夜精品国产一区二区电影 | 看黄色毛片网站| 亚洲国产精品专区欧美| 亚洲av不卡在线观看| 边亲边吃奶的免费视频| 亚洲欧美清纯卡通| 三级经典国产精品| 国产黄色小视频在线观看| 天堂网av新在线| 少妇被粗大猛烈的视频| 国产精品国产三级国产专区5o | 免费在线观看成人毛片| 纵有疾风起免费观看全集完整版 | 好男人在线观看高清免费视频| 久久久久国产网址| 深爱激情五月婷婷| 赤兔流量卡办理| 色综合亚洲欧美另类图片| 麻豆乱淫一区二区| 日本黄大片高清| av在线播放精品| 可以在线观看毛片的网站| 国内揄拍国产精品人妻在线| 久久久国产成人精品二区| 国产一级毛片七仙女欲春2| 最近中文字幕高清免费大全6| 免费观看精品视频网站| 九九久久精品国产亚洲av麻豆| 久久人人爽人人片av| 99视频精品全部免费 在线| 国产黄色小视频在线观看| 成人欧美大片| 日韩三级伦理在线观看| 亚洲国产精品久久男人天堂| 黄片wwwwww| 国产麻豆成人av免费视频| 精品不卡国产一区二区三区| av卡一久久| 亚洲性久久影院| 亚洲内射少妇av| 久久久久久久久久久丰满| 日产精品乱码卡一卡2卡三| 2021少妇久久久久久久久久久| 少妇高潮的动态图| 国产黄色小视频在线观看| 国产伦精品一区二区三区四那| 日日撸夜夜添| 嘟嘟电影网在线观看| 男女啪啪激烈高潮av片| 亚洲va在线va天堂va国产| 看免费成人av毛片| av在线天堂中文字幕| 成人二区视频| 国产女主播在线喷水免费视频网站 | 亚洲国产欧洲综合997久久,| 内地一区二区视频在线| 3wmmmm亚洲av在线观看| 久久草成人影院| 亚洲精品乱码久久久久久按摩| 一本久久精品| 在线观看66精品国产| 嫩草影院新地址| a级一级毛片免费在线观看| 美女黄网站色视频| 国产精品永久免费网站| 搡女人真爽免费视频火全软件| 成年免费大片在线观看| 欧美又色又爽又黄视频| 久久国内精品自在自线图片| 99视频精品全部免费 在线| 一二三四中文在线观看免费高清| 日本熟妇午夜| 99九九线精品视频在线观看视频| 欧美变态另类bdsm刘玥| 日本猛色少妇xxxxx猛交久久| 观看免费一级毛片| 国产精品国产三级国产av玫瑰| 午夜福利成人在线免费观看| eeuss影院久久| 韩国av在线不卡| 91久久精品电影网| 国产人妻一区二区三区在| 久久精品91蜜桃| 亚洲高清免费不卡视频| 人人妻人人澡人人爽人人夜夜 | 国产精华一区二区三区| av.在线天堂| 欧美xxxx黑人xx丫x性爽| 欧美激情久久久久久爽电影| 嫩草影院新地址| 国产伦理片在线播放av一区| 噜噜噜噜噜久久久久久91| 国产精品一区二区三区四区免费观看| 国产精品日韩av在线免费观看| 国产免费又黄又爽又色| 亚洲国产欧美在线一区| 日韩视频在线欧美| 国产av不卡久久| 国产又黄又爽又无遮挡在线| 七月丁香在线播放| 亚洲国产精品国产精品| 国产成人免费观看mmmm| 在线播放国产精品三级| 久久久成人免费电影| 久久久久久久国产电影| 亚洲欧美成人综合另类久久久 | 亚洲自偷自拍三级| 天堂影院成人在线观看| 国产精品,欧美在线| 亚洲图色成人| 亚洲av.av天堂| 色尼玛亚洲综合影院| 欧美日韩精品成人综合77777| 久久精品久久久久久久性| 亚洲av中文av极速乱| 在线免费十八禁| 身体一侧抽搐| 成人性生交大片免费视频hd| ponron亚洲| av女优亚洲男人天堂| 永久网站在线| 欧美色视频一区免费| 亚洲欧美精品自产自拍| 男人和女人高潮做爰伦理| 亚洲电影在线观看av| 久久久久九九精品影院| 你懂的网址亚洲精品在线观看 | 波多野结衣高清无吗| 午夜爱爱视频在线播放| 日韩av在线免费看完整版不卡| 水蜜桃什么品种好| 又粗又爽又猛毛片免费看| 国产精品久久久久久精品电影小说 | 国产成人a∨麻豆精品| 久久久久久久久久成人| 两个人视频免费观看高清| 特级一级黄色大片| 日日摸夜夜添夜夜爱| 黄色配什么色好看| 亚洲高清免费不卡视频| 在线天堂最新版资源| 亚洲精品国产av成人精品| 熟女电影av网| 欧美色视频一区免费| 两个人的视频大全免费| 亚洲欧美日韩高清专用| 日韩av不卡免费在线播放| 亚洲人与动物交配视频| 国产亚洲5aaaaa淫片| 国产中年淑女户外野战色| 欧美又色又爽又黄视频| 一级av片app| www日本黄色视频网| 久久久久久久国产电影| 美女国产视频在线观看| 久久久精品大字幕| 色哟哟·www| 波多野结衣巨乳人妻| 国产亚洲最大av| 中文字幕av在线有码专区| 亚洲欧洲日产国产| 午夜免费男女啪啪视频观看| 我要搜黄色片| 看十八女毛片水多多多| 亚洲欧美清纯卡通| 国产高潮美女av| 日韩 亚洲 欧美在线| 亚洲精品日韩在线中文字幕| 国产单亲对白刺激| 少妇丰满av| 99久久人妻综合| 亚洲伊人久久精品综合 | 五月伊人婷婷丁香| 久久精品国产鲁丝片午夜精品| 亚洲av.av天堂| 亚洲人成网站高清观看| 国国产精品蜜臀av免费| 中国美白少妇内射xxxbb| 青青草视频在线视频观看| 国产免费男女视频| 欧美成人a在线观看| 精品国产一区二区三区久久久樱花 | 最近最新中文字幕大全电影3| 日韩大片免费观看网站 | 99热网站在线观看| 啦啦啦观看免费观看视频高清| 国产一区二区在线av高清观看| 久久久久久久久中文| 成人漫画全彩无遮挡| 高清视频免费观看一区二区 | 免费黄网站久久成人精品| 亚洲欧洲国产日韩| 又黄又爽又刺激的免费视频.| 国产男人的电影天堂91| 亚洲人成网站在线观看播放| 免费观看人在逋| 大香蕉久久网| 亚洲国产最新在线播放| 永久免费av网站大全| 少妇人妻精品综合一区二区| 精品人妻视频免费看| 一卡2卡三卡四卡精品乱码亚洲| 婷婷六月久久综合丁香| 夜夜爽夜夜爽视频| 舔av片在线| 国产免费男女视频| 欧美激情在线99| 最近中文字幕2019免费版| 男人和女人高潮做爰伦理| 中文字幕av成人在线电影| 色视频www国产| 男女下面进入的视频免费午夜| 精品人妻一区二区三区麻豆| 国产黄a三级三级三级人| 91精品一卡2卡3卡4卡| 久久精品久久精品一区二区三区| 美女脱内裤让男人舔精品视频| 日韩亚洲欧美综合| 日产精品乱码卡一卡2卡三| 久热久热在线精品观看| 七月丁香在线播放| 看片在线看免费视频| 青青草视频在线视频观看| 免费无遮挡裸体视频| 男人的好看免费观看在线视频| 国产女主播在线喷水免费视频网站 | 老司机福利观看| 亚洲av男天堂| 看片在线看免费视频| 午夜亚洲福利在线播放| 九九在线视频观看精品| 国产黄色视频一区二区在线观看 | 亚洲天堂国产精品一区在线| 97在线视频观看| 欧美日韩国产亚洲二区| 久久午夜福利片| 免费观看在线日韩| 精品无人区乱码1区二区| 亚洲成人中文字幕在线播放| 国产又黄又爽又无遮挡在线| 亚洲av男天堂| 国产精品久久电影中文字幕| 亚洲熟妇中文字幕五十中出| 中国美白少妇内射xxxbb| 亚洲国产精品成人综合色| 99视频精品全部免费 在线| 精品欧美国产一区二区三| 神马国产精品三级电影在线观看| 免费黄网站久久成人精品| 国产一区亚洲一区在线观看| 午夜免费男女啪啪视频观看| 少妇猛男粗大的猛烈进出视频 | 国产黄片美女视频| 国产精品久久久久久精品电影小说 | 在线免费十八禁| 亚洲欧美精品专区久久| 免费黄网站久久成人精品| 亚洲国产欧洲综合997久久,| 亚洲性久久影院| 一区二区三区免费毛片| 又粗又爽又猛毛片免费看| 亚洲国产成人一精品久久久| 爱豆传媒免费全集在线观看| 久久亚洲国产成人精品v| 日日摸夜夜添夜夜爱| 亚洲欧美精品自产自拍| 亚洲一区高清亚洲精品| 亚洲伊人久久精品综合 | 国产一区亚洲一区在线观看| 色5月婷婷丁香| 性插视频无遮挡在线免费观看| 我的老师免费观看完整版| a级毛色黄片| 久久99热这里只有精品18| av专区在线播放| av在线播放精品| 国产免费福利视频在线观看| 成人二区视频| 亚洲av成人精品一二三区| 99热精品在线国产| 狠狠狠狠99中文字幕| 在线天堂最新版资源| 久久久久性生活片| 菩萨蛮人人尽说江南好唐韦庄 | 国产欧美另类精品又又久久亚洲欧美| 亚洲无线观看免费| 国模一区二区三区四区视频| 久久久午夜欧美精品| 99久久人妻综合| 欧美一区二区国产精品久久精品| 免费无遮挡裸体视频| 成人av在线播放网站| 久久国产乱子免费精品| 午夜精品一区二区三区免费看| 偷拍熟女少妇极品色| 全区人妻精品视频| 啦啦啦啦在线视频资源| 七月丁香在线播放| 免费一级毛片在线播放高清视频| 国产高清有码在线观看视频| 我的老师免费观看完整版| 嘟嘟电影网在线观看| 国产欧美另类精品又又久久亚洲欧美| 欧美人与善性xxx| 男人的好看免费观看在线视频| 自拍偷自拍亚洲精品老妇| 乱码一卡2卡4卡精品| 青春草亚洲视频在线观看| 小说图片视频综合网站| a级毛色黄片| 99久久中文字幕三级久久日本| 国产精品不卡视频一区二区| 卡戴珊不雅视频在线播放| 边亲边吃奶的免费视频| 99热这里只有精品一区| 久久精品综合一区二区三区| 亚洲色图av天堂| 午夜爱爱视频在线播放| 热99在线观看视频| 国产激情偷乱视频一区二区| 好男人视频免费观看在线| 久久久午夜欧美精品| 国产在视频线在精品| 99九九线精品视频在线观看视频| 日本黄色视频三级网站网址| 国产单亲对白刺激| 又粗又硬又长又爽又黄的视频| 看免费成人av毛片| 国产精品美女特级片免费视频播放器| 少妇丰满av| 午夜视频国产福利| 丰满少妇做爰视频| 日本五十路高清| 日韩欧美国产在线观看| 我要搜黄色片| 午夜福利网站1000一区二区三区| 亚洲av电影不卡..在线观看| 国产成人福利小说| .国产精品久久| 韩国高清视频一区二区三区| 五月玫瑰六月丁香| 国产精品一区二区三区四区免费观看| 亚洲人与动物交配视频| 久久久久久久久大av| 国产成人一区二区在线| 好男人在线观看高清免费视频| 在线观看一区二区三区| 亚洲av中文字字幕乱码综合| 国产免费视频播放在线视频 | 深爱激情五月婷婷| 国内精品美女久久久久久| 欧美成人精品欧美一级黄| 精品久久国产蜜桃| 亚洲成人av在线免费| 啦啦啦啦在线视频资源| 国产av不卡久久| 一个人看的www免费观看视频| 免费黄色在线免费观看| 国产私拍福利视频在线观看| 日韩国内少妇激情av| 国产美女午夜福利| 色吧在线观看| 人妻制服诱惑在线中文字幕| 三级毛片av免费| 日韩欧美三级三区| www.av在线官网国产| 国产中年淑女户外野战色| 免费不卡的大黄色大毛片视频在线观看 | 一级黄色大片毛片| 国产乱来视频区| 亚洲av福利一区| 亚洲av二区三区四区| 啦啦啦啦在线视频资源| 国产成人福利小说| 精品国产一区二区三区久久久樱花 | 欧美日韩国产亚洲二区| 亚洲国产色片| 亚洲综合色惰| 伊人久久精品亚洲午夜| 人妻少妇偷人精品九色| 七月丁香在线播放| 人妻制服诱惑在线中文字幕| 亚洲欧美一区二区三区国产| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 久久久久性生活片| 亚洲av成人av|