• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于組合神經網(wǎng)絡的語義省略“的”字結構識別

    2019-01-29 05:48:50侍冰清戴茹冰曲維光顧彥慧周俊生李斌徐戈史勝旺
    北京大學學報(自然科學版) 2019年1期
    關鍵詞:省略語料用法

    侍冰清 戴茹冰 曲維光,,,? 顧彥慧 周俊生 李斌 徐戈 史勝旺

    1.南京師范大學計算機科學與技術學院, 南京 210023; 2.南京師范大學文學院, 南京 210097; 3.閩江學院福建省信息處理與智能控制重點實驗室, 福州 350121; ? 通信作者, E-mail: wgqu_nj@163.com

    作為現(xiàn)代漢語使用頻率最高的虛詞之一, “的”字用法靈活。在其用法中, 存在部分具有語義省略的“的”字結構, 如“開車的”、“我們應該做的”等,這些不依附任何成分而獨立充當名詞性成分的“的”字結構通常在語義上伴有省略的成分。省略的“的”字結構是名詞性偏正結構的語境變體[1], 實質上是定中關系的偏正短語中心詞隱去后的短語。其特征為詞語后附著一個“的”字。然而, 并不是所有具有定中關系的偏正短語中心詞都可以隱去, 從而形成“的”字結構。對于中心詞可省的限制條件, 黃國營[2]和呂叔湘[3]從語法角度分析了形如“X+的”結構中X 與中心詞的句法關系, 即當中心詞為 X 的主賓語時, 中心詞可省??琢钸_[4]從意義的角度區(qū)分了 X與中心詞的語義類別關系, 并針對 X 是否具有區(qū)別性, 總結了一套形式化的鑒別方式。石毓智[5]從語言認知角度闡釋了“的”字結構的形成機制。語義省略“的”字結構中隱含的成分對整體語義的理解有至關重要的作用, 正確識別具有語義省略的“的”字結構, 能夠有效地減少因省略造成的語義自動理解障礙, 為補充句子完整的語義打下基礎。

    近幾年, 人們開始關注面向機器的“的”字結構研究。張坤麗等[6]構建了現(xiàn)代漢語廣義虛詞用法知識庫(Chinese function word usage knowledge base,CFKB), 其中包含助詞“的”的虛詞用法詞典、規(guī)則庫以及用法標注語料庫。韓英杰等[7]在現(xiàn)代漢語詞典、規(guī)則庫、語料庫“三位一體”的助詞知識庫基礎上, 采用基于規(guī)則的方法, 研究“的”字用法的自動識別。劉秋慧等[8]在“三位一體”虛詞用法知識庫的基礎上, 分別采用基于規(guī)則、基于條件隨機場和神經網(wǎng)絡模型門循環(huán)單元, 對助詞“的”的用法進行自動識別。然而, 鮮有研究者從語義成分省略的角度關注“的”字結構的語義完整性問題。僅從句法角度分類描述“的”字的用法和特征, 不能深入地挖掘受語境和語言經濟原則制約而省略的中心語語義, 還原“的”字結構完整語義。鑒于上述背景, 本文提出基于神經網(wǎng)絡的語義省略“的”字結構自動識別方法。

    近期, 一種新型的句子語義表示方式——抽象語義表示(abstract meaning representation, AMR)受到研究者的廣泛關注。AMR 的主要設計目標在于描述和揭示句子中蘊含的完整的、深度的語義信息, 以利于解決各種自然語言處理問題[9]。該方法突破了基于句法形式表示語義的傳統(tǒng)方式, 允許補充省略或隱含的語義概念, 以便還原句子的完整語義。這種概念添加方式對漢語中的省略結構同樣有良好的表示能力, 能夠較完整地補充省略成分。因此, AMR 語料庫的構造和自動解析成為研究熱點。李斌等[10-11]設計了中文 AMR 標注體系, 并先后建立中文《小王子》AMR 語料庫和基于部分 CTB8.0(Chinese Treebank 8.0)網(wǎng)絡媒體真實語料的中文AMR (CAMR)語料庫。我們對中文《小王子》 AMR語料中需要添加的缺省概念進行統(tǒng)計分析, 發(fā)現(xiàn)省略“的”字結構在所有省略結構中占有相當大的比例(45.7%)。

    本文數(shù)據(jù)集由兩部分組成, 首先抽取 CAMR語料庫中所有的“的”字結構, 并對添加概念的“的”字結構進行省略類別的自動標注, 然后對 CTB 語料中未進行 CAMR 標注的部分, 采用人工標注的方法獲取更多的省略“的”字結構。

    本文在 CTB8.0 語料上探索基于神經網(wǎng)絡的語義省略“的”字結構自動識別方法, 將該問題視為二分類問題, 提出一種基于組合神經網(wǎng)絡的識別方法。首先, 利用詞語和詞性, 通過雙向 LSTM (long short-term memory)神經網(wǎng)絡學習“的”字結構深層次的語義語法表示。然后, 通過 Max-pooling 層和基于 GRU (gated recurrent unit)的多注意力層, 捕獲“的”字結構的省略特征, 完成語義省略“的”字結構識別任務。實驗結果表明, 在 CTB8.0 語料中, 本文提出的模型能夠有效地識別出語義省略的“的”字結構。

    1 相關工作

    韓英杰等[7]探討了基于規(guī)則的助詞“的”的用法自動標注, 借助《現(xiàn)代漢語詞典》、《虛詞詞典》、《現(xiàn)代漢語八百詞》和《語法信息詞典》等, 人工歸納、總結和提取規(guī)則, 也使用直接從語料中提取規(guī)則的方法, 將規(guī)則轉化為正則表達式, 從而把“的”字用法標注問題轉化成字符串模式匹配問題來處理。韓英杰等[7]基于規(guī)則的方法需要借助助詞知識庫, 在實驗中要額外考慮規(guī)則的細化、擴充和調序, 費時費力; 并且, “的”字的用法有 39 個, 使用靈活, 語法特征不明顯, 對于某些用法, 不易寫出規(guī)則的形式化描述。劉秋慧等[8]在對基于規(guī)則的方法及基于條件隨機場的方法進行初步探究后, 將深度學習方法引入“的”用法的自動識別中, 通過設置前向輸入窗口, 利用 GRU 單元獲取長距離特征, 提高了“的”的用法自動識別性能。他們設置的輸入窗口中包含“的”右側兩個詞及詞性的特征, 這種考慮符合部分“的”用法的規(guī)則, 如“的”字下文緊接某些詞時, 其類型是唯一的。但是, 對某些不符合這個情形的“的”字用法, 這種做法是一種干擾。他們認為GRU 模型最后一個輸出單元包含序列的全部有效特征, 并將這個長距離特征直接作為分類的依據(jù)。

    本文在以下 4 個方面有別于文獻[7?8]的工作。1)從分類的角度看, 文獻[7?8]關注“的”字全部用法的分類, 從句法角度描述“的”字的用法和特征。但是, 某些“的”字用法同時存在語義省略和非省略現(xiàn)象, 文獻[7?8]沒有研究“的”字結構省略識別問題,而本文從語義成分省略角度關注“的”字結構。2)在語料選擇上, 文獻[7?8]基于《人民日報》1998年 1月和 2000年 4 月的語料, 人工標注“的”字用法。本文首先基于 CAMR 語料庫, 自動抽取所有“的”字結構, 并且對添加概念的“的”字結構進行省略類別的自動標注, 然后對 CTB 語料中未進行 CAMR 標注的部分, 采用人工標注的方法, 獲取更多的省略“的”字結構。3)在方法上, 韓英杰等[7]采用基于規(guī)則的方法, 劉秋慧等[8]分別采用基于規(guī)則、基于條件隨機場和神經網(wǎng)絡模型門循環(huán)單元的方法, 本文則提出一種基于組合神經網(wǎng)絡的識別方法。4)在模型上, 劉秋慧等[8]認為 GRU 模型最后一個輸出單元包含序列的全部有效特征, 并將這個長距離特征直接作為分類的依據(jù), 本文則將識別任務分成兩個步驟。首先, 在內存模塊, 通過雙向 LSTM 神經網(wǎng)絡學習“的”字結構深層次的語義語法表示。然后,在抽取模塊, 通過基于 GRU 的多注意力層和 Maxpooling 層, 捕獲“的”字結構的省略特征, 完成語義省略“的”字結構識別任務。

    2 基于組合神經網(wǎng)絡的語義省略“的”字結構識別

    本文采用組合神經網(wǎng)絡模型, 包含 4 個部分:輸入模塊、內存模塊、抽取模塊和輸出模塊, 網(wǎng)絡結構如圖 1 所示。對于輸入的“的”字結構s={s1,...,sde,...,sN}, 其中si=(wi,pi)(1 ≤i≤N), 包含i位置上詞語wi及其詞性pi, 本文旨在識別圍繞sde構成的“的”字結構是否省略。在前 3 個模塊, 對“的”字結構的詞語和詞性分別進行相同操作, 在輸出模塊中合并兩者的處理結果。下面從詞語的視角介紹前 3個模塊。

    2.1 輸入模塊

    圖1 語義省略“的”字結構識別模型結構Fig.1 Model architecture for recognition of the“de” structure with semantic ellipsis

    通過非監(jiān)督學習方法, 比如 Skip-gram[12], 得到一個詞語向量查詢表L∈其中d是詞語向量的維度, |V|是詞語詞匯表的長度。在輸入模塊中,根據(jù)輸入序列w={w1,w2,...,wN}, 對L進行查詢, 得到對應的詞嵌入表示序列v={v1,v2,...,vN}, 其中vi∈ ?d(1 ≤i≤N)。若詞語向量查詢表中不存在當前詞語, 則采用特殊符號“UNK”的向量表示, “UNK”隨機初始化。

    2.2 內存模塊

    Tang 等[13]在 MemNet 中, 簡單地按詞語在原句子中的順序來拼接詞語的向量, 完成內存模塊的構建。然而, 韓英杰等[7]在基于規(guī)則的方法中發(fā)現(xiàn),即使借助助詞規(guī)則庫, 在應用中也需要考慮規(guī)則之間的調序。這意味著, 達到人類標注水平的規(guī)則必定是非常復雜的, 應當使用一些循環(huán)神經網(wǎng)絡方法,使得內存模塊含有短語級別的信息[14], 比如在很多自然語言處理任務中表現(xiàn)優(yōu)秀的單層或者多層 Bi-LSTM[15]。Sachan 等[16]發(fā)現(xiàn), 與卷積神經網(wǎng)絡相比,Bi-LSTM 具有較好的獲得語義信息的能力。因此,本文選擇 Bi-LSTM 來獲得“的”字結構深層次的語義語法信息, 詞性輸入采用雙層 Bi-LSTM, 詞語輸入則采用單層Bi-LSTM。

    詞嵌入表示序列v={v1,v2,...,vN}作為 Bi-LSTM的初始輸入, 經過模型編碼, 獲得“的”字結構的抽象表示。其中, 對于詞語向量vt(1 ≤t≤N), 在第l量表示, 通過后向 LSTM 計算, 獲得向量表示層 Bi-LSTM 中, 通過該層前向 LSTM 計算, 獲得向。如果共L層Bi-LSTM,最后將得到內存模塊內存片段N)。[;]表示各向量連接構成一個向量, 也就是將第L層前向 LSTM 和后向 LSTM 的輸出結果進行連接。

    上述內存模塊通過循環(huán)神經網(wǎng)絡保留詞序信息, 對“的”字結構進行深層語義語法建模, 但忽略了詞語與“的”之間的相對位置信息。Chen 等[14]指出, 較好的距離公式應該使用兩個詞在依存樹中的距離, 但是本文希望該任務僅僅基于數(shù)據(jù)驅動。因此, 對于i位置的詞語與“的”字的距離, 采用 Chen等[14]提出的公式:

    其中,ui(1 ≤i≤N)是詞語與“的”字的距離, deindex是“的”字所在位置,imax是“的”字結構的長度, weighti是位置權重。除此以外, 借鑒 Chen 等[14]不僅隱含地考慮位置權重, 還在內存模塊中顯性地放入位置信息, 最終得到內存模塊M={m1,m2,...,mN}, 其中本文也考慮了 Tang等[13]提出的 4 種距離公式, 但效果沒有超過 Chen等[14]的公式。

    2.3 抽取模塊

    抽取模塊包含兩個步驟: 第一步, 從內存模塊中提煉“的”字結構的省略特征; 第二步, 合理地組織省略特征。具體地, 采取基于 GRU 的多注意力機制和Max-pooling兩種抽取模式。

    2.3.1 基于GRU的多注意力層的抽取模塊

    本節(jié)介紹通過多注意力層從內存模塊中抽取多個省略特征, 并使用GRU單元將其合理組織。

    一般認為, 隨著網(wǎng)絡層數(shù)的加深, 模型的刻畫能力更強, 可以獲得更抽象的特征信息[17], 對省略類型“的”字結構的識別更有幫助。多注意力層可以在不同的層中注意到輸入的不同位置[18]。使用非線性操作去組合不同的注意力層結果, 可以避免抽取的內容僅僅是內存模塊的線性組合[14]。該抽取模塊的結構如圖2所示。

    圖2 基于GRU的多層注意力層抽取模塊Fig.2 Extraction module based on GRU and multiple attention layers

    注意力層t的輸入包括內存片段mj(1≤j≤N)、GRU 的前一時刻隱藏狀態(tài)et-1、“的”字的詞語向量vde和詞語j與“的”字相對位置的距離uj(1≤j≤N)?!暗摹弊值脑~語向量和 GRU 的前一層隱藏狀態(tài)可以指導計算當前注意力層中各內存片段的得分, 有助于抽取與“的”字結構省略有關的信息。相對位置距離有助于得到詞語j與“的”的句法和語義關聯(lián)。首先計算每一個內存片段mj(1 ≤j≤N)的注意力得分以及該注意力層結果it:

    其中,Watt是權值參數(shù), 所有注意力層共享;batt是偏置項。根據(jù) Tang 等[13]的經驗, 這里設置注意力層數(shù)為 3。

    接著, 在注意力層之間應用 GRU 單元, 其最后一個輸出合理地組織了所有省略特征, 將這個特征作為抽出模塊的輸出。GRU 主要通過“門”來更新狀態(tài), 門可以讓信息選擇性地通過。GRU 單元中的非線性操作公式如下:

    r是重置門,z是更新門,it是當前輸入,和et表示候選激活狀態(tài)和激活狀態(tài)。與 LSTM 相比,GRU 具有更少的參數(shù)和更簡單的結構, 且更容易收斂[19], 所以這里選擇GRU。

    2.3.2 基于Max-pooling的抽取模塊

    使用 Max-pooling 提煉最重要的省略特征, 抽取結構如圖 3 所示。Max-pooling 是元素級別的操作[20-21], 計算公式如下:

    由于語義省略“的”字結構識別是二分類任務,而 Max-pooling 抽取的向量維度較大, 因此本文再添加一層前饋神經網(wǎng)絡(feedforward neural network,FNN), 將其結果作為 Max-pooling 抽取模塊的輸出。

    2.4 輸出模塊

    在輸出模塊, 本文連接基于詞語和詞性的“的”字結構省略特征, 將其送入softmax層得到最終分類概率。計算公式如下:

    圖3 基于Max-pooling的抽取模塊Fig.3 Extraction module based on Max-pooling

    其中,p(d)∈?2,Ws和bs是分類層的參數(shù)。

    模型采用交叉熵損失函數(shù), 計算公式如下:

    C是“的”字結構的類型,D是訓練數(shù)據(jù)集,pi(d)是本文模型得到的樣本d屬于類型i的概率,y(d)是樣本d的標簽。我們用反向傳播來計算參數(shù)的梯度,神經網(wǎng)絡模型優(yōu)化選用 Adam 算法[22], 正則化方法采用dropout[23]。

    3 實驗

    3.1 語料

    圖4 概念補充的“的”字結構示例Fig.4 An example of concept adding of the “de” structure

    AMR 允許重新分析和補充概念, 能完整地表達一個句子的語義[10]。圖 4 給出“跳舞的走了”的AMR 表示。AMR 可以根據(jù)上下文添加概念 person,作為“跳舞”的 arg0。同時, 中文 AMR 還會標出語義省略“的”字結構的虛詞“的”。AMR 的這個特點解決了傳統(tǒng)的句法表示方法無法應對的省略和詞內分析困境[11]。

    本文抽取 CAMR 語料庫中所有的“的”字結構,并對添加概念的“的”字結構進行省略類別的自動標注。共有 11829 個“的”字結構, 其中非省略類型“的”字結構 11165 個, 省略類型“的”字結構 664個。本文綜合語法類詞典《現(xiàn)代漢語八百詞》[3]、現(xiàn)代漢語廣義虛詞用法知識庫[6]及 CAMR 語料庫, 分析省略與非省略類型“的”字結構中的上下文特征,將“的”的意義分成4個義項, 詳見表1。

    表1 中, 義項 3 中全部“的”字結構和義項 4 中部分“的”字結構含有語義省略成分, 是本文討論的省略類型“的”字結構。其余是非省略類型“的”字結構??梢钥闯? 兩個類別的語料數(shù)量懸殊。因此,對 CTB 語料中未進行 CAMR 標注的部分, 采用人工標注的方法獲取更多省略類型“的”字結構, 以期平衡兩者數(shù)量。最終, 省略類型“的”字結構增長到1830 個。為了進一步平衡兩種類型的數(shù)據(jù)量, 去除非省略類型“的”字結構對應的各義項近一半的數(shù)目, 數(shù)據(jù)情況詳見表2。

    本文設置訓練集和測試集的比例為 4:1。其中,“的”字的每種用法也按該比例分發(fā)到訓練集和測試集。關于模型初始的詞語向量, 我們采用 word2vec工具對 CTB 分詞語料進行訓練, 不隨迭代更新; 詞性向量隨機初始化, 并在訓練過程中更新。

    3.2 參數(shù)設置

    實驗中涉及多個超參數(shù), 組合神經網(wǎng)絡模型的超參數(shù)設置如表3所示。

    目前, 尚沒有完善的理論可以自動且準確地界定“的”字結構的范圍。本文參考劉秋慧等[8]基于條件隨機場的自動識別方法, 即提取向前、向后的詞和詞性等上下文環(huán)境, 作為識別省略與非省略類型“的”字結構的依據(jù)。具體地, 我們規(guī)定從“的”字前面 10 個詞語起到“的”字后面 6 個詞語止, 構成一個“的”字結構, 長度不足的補齊。

    表1 “的”主要義項及用法描述Table 1 Usages of the “de” and their frequency in CAMR corpus

    表2 數(shù)據(jù)集Table 2 Datasets

    表3 超參數(shù)設置Table 3 Settings of hyperparameters

    表3 中, 第 1 組超參數(shù)是輸入模塊和內存模塊的參數(shù), 第 2 組是在 Max-pooling 抽取模塊中所需的參數(shù), 第 3 組是基于 GRU 的多注意力層的實驗中所需的超參數(shù)。

    3.3 實驗結果與分析

    3.3.1 不同方法的對比實驗

    韓英杰等[7]和劉秋慧等[8]關注“的”字全部用法的分類, 只從句法角度描述“的”的用法和特征, 其采用的某些“的”字用法僅屬于省略類型“的”字結構,他們提出的方法可能在某種程度上也適用于本文的任務。因此, 為了驗證模型的有效性, 基于本文數(shù)據(jù)集, 我們參考劉秋慧等[8]基于條件隨機場和神經網(wǎng)絡模型門循環(huán)單元的方法, 實現(xiàn)兩個基線方法:CRF 和 GRU。CRF 使用劉秋慧等[8]提出的特征模板。對于 GRU, 由于劉秋慧等[8]沒有明確網(wǎng)絡模型的超參數(shù)設置(如詞語向量維度等), 這里均采用與本文實驗相同的超參數(shù)設置, 并以“的”字位置對應的隱藏狀態(tài)作為輸出。這樣做的結果比原模型中以序列的最后一個輸出單元作為輸出的實驗效果好。

    表4 是與基線方法對比的實驗結果, 其中 ACC是所有“的”字結構分類結果的正確率, 非省略-F1是非省略“的”字結構識別結果的 F1 值, 省略-F1 是省略“的”字結構的識別結果的 F1 值。可以看出,CRF 的識別性能與語料規(guī)模成正比, 但 GRU 在提升省略“的”字結構識別的同時, 嚴重影響非省略類型的識別效果, 而本文提出模型的性能均優(yōu)于 CRF和GRU。

    3.3.2 模塊分析

    下面通過對比實驗, 分析各模塊在模型中起到的作用。網(wǎng)絡結構設置詳情見表 5。其中, M1, M2和 M3 分別為內存模塊的 3 種設置; L1 和 L2 分別表示在內存模塊中使用單層和雙層雙向 LSTM 神經網(wǎng)絡; None 表示不使用抽取模塊, 直接連接“的”字位置上的前向、后向內存片段, 將其視為“的”字結構省略特征, 并送入輸出層; Att 表示在抽取模塊使用單層注意力機制, 因為注意力層的結果本質上是內存模塊的線性組合, 如果多注意力層之間沒有非線性操作, 則最后結果還是內存模塊的線性組合[14],所以這里將多注意力層改為單注意力層; GRU+Att對應 2.3.1 節(jié)基于 GRU 的多注意力層的抽取模塊;Max-pooling 對應 2.3.2 節(jié)中基于 Max-pooling 的抽取模塊。

    圖5 顯示, 所有模型能夠有效地分類“的”字結構, 正確率都超過 97.5%。圖 6 顯示, 所有模型能夠有效地識別非省略類型“的”字結構, F1 值都超過98.5 %。圖 6 和 7 顯示, 隨著語料擴充, 省略與非省略類型“的”字結構的數(shù)據(jù)量逐漸趨于平衡, 所有模型識別省略類型“的”字結構的性能越來越好, 同時,識別非省略類型“的”字結構的性能沒有受到明顯的影響。

    表4 與基線方法對比實驗結果Table 4 Performance of different methods

    表5 網(wǎng)絡結構設置Table 5 Settings of networks

    本文著重討論省略類型“的”字結構的識別結果。圖 7 顯示, 所有模型在數(shù)據(jù)集 Data3 上的表現(xiàn)都最優(yōu), 因此接下來的實驗均基于數(shù)據(jù)集Data3。

    表6 是采用不同內存模塊設置的對比實驗結果,可以看出, M3+Max-pooling 的性能超過 M2+Maxpooling。雖然“的”字結構是一個復雜的結構, 需要深層的模型在內存模塊學習到其更本質的抽象表示, 但根據(jù)助詞知識庫等研究成果[6,8]中對“的”字用法的描述, “的”字結構的省略特征更依賴于句法信息。也就是說, 從詞語角度, 詞語包含語法和語義信息, 可能不需要采用更傾向于學習語義信息的復雜模型, 比如兩層 Bi-LSTM。從表 6 還可以看出,模型 M3+Max-pooling 的性能超過模型 M1+Maxpooling。從詞性角度來看, 詞性本身不含語義, 僅僅提供語法信息, 因此可以適當?shù)厥褂脧碗s模型學習其向量表示, 比如兩層Bi-LSTM。

    表7 是采用不同抽取模塊設置的對比實驗結果。注意力層的結果本質上是內存片段的線性組合, 也就是說, M3+None 的模型設置是 M3+Att 的特殊例子。但是, M3+None 的性能低于 M3+Att, 說明設立抽取模塊是有必要的, 我們需要基于“的”字結構中所有的詞來提取“的”字結構的省略特征。M3+GRU+Att 的 F1 值比 M3+Att 提高 1.06%, 說明合理地組織省略特征是有必要的。M3+GRU+Att 的性能暫時落后于 Max-pooling, 可能是由于基于注意力機制的網(wǎng)絡擁有更多的參數(shù), 其優(yōu)化所需的語料規(guī)模更大。在圖 7 中還可以看到, 隨著語料的擴充和不同類別數(shù)據(jù)量的平衡, M3+GRU+Att 與 M3+Max-pooling 的性能差距不斷縮小。相信在語料更充足的情況下, M3+GRU+Att 會有更好的效果。目前, M3+Max-pooling 性能最佳, F1 值為96.67%。

    圖5 “的”字結構分類結果Fig.5 Results of classification of the “de” structure

    圖6 非省略類型識別結果Fig.6 Results of recognition of the “de” structure without semantic ellipsis

    圖7 省略類型識別結果Fig.7 Results of recognition of the “de” structure with semantic ellipsis

    表6 內存模塊對比實驗結果Table 6 Comparative experiments on memory module

    表7 抽取模塊對比實驗結果Table 7 Comparative experiments on extraction module

    4 結語

    本文從語義成分省略的角度關注“的”字結構的語義完整性問題, 研究了基于組合神經網(wǎng)絡的語義省略“的”字結構識別方法。通過內存模塊學習“的”字結構的深層次語義語法表示, 利用抽取模塊提取和組織省略特征, 完成識別任務。據(jù)我們所知, 這是首次利用神經網(wǎng)絡解決語義省略“的”字結構的自動識別。實驗結果顯示, 該模型能夠取得較好的識別效果。隨著語料規(guī)模的擴展, 有可能取得更好的效果。

    在下一步的研究中, 我們將針對省略類型的“的”字結構, 對其缺省的信息進行補全, 并嘗試將補全的“的”字結構用于語義自動解析等工作中。

    猜你喜歡
    省略語料用法
    address的高級用法你知道嗎?
    偏旁省略異體字研究
    “作”與“做”的用法
    特殊用法
    基于語料調查的“連……都(也)……”出現(xiàn)的語義背景分析
    華語電影作為真實語料在翻譯教學中的應用
    中間的省略
    詩選刊(2015年6期)2015-10-26 09:47:13
    《苗防備覽》中的湘西語料
    國內外語用學實證研究比較:語料類型與收集方法
    “撞車”、“撞衫”及其流行中的三種用法
    當代修辭學(2010年2期)2010-01-21 02:27:04
    日韩av不卡免费在线播放| 婷婷色综合www| 丰满乱子伦码专区| 五月玫瑰六月丁香| 一本色道久久久久久精品综合| 99热国产这里只有精品6| 如日韩欧美国产精品一区二区三区 | 国产深夜福利视频在线观看| 在线免费观看不下载黄p国产| 国产精品久久久久久精品电影小说| 女性被躁到高潮视频| 人妻少妇偷人精品九色| 精品一区二区三区视频在线| videossex国产| 亚洲国产最新在线播放| 亚洲成人手机| 人妻人人澡人人爽人人| 国产精品久久久久成人av| 最近手机中文字幕大全| 大香蕉97超碰在线| 老司机影院成人| 国产精品嫩草影院av在线观看| 日本欧美国产在线视频| 午夜老司机福利剧场| 欧美日韩国产mv在线观看视频| 日韩欧美精品免费久久| 亚洲综合精品二区| 国产精品嫩草影院av在线观看| 亚洲欧美日韩另类电影网站| 国产成人aa在线观看| 久久久久网色| 一级毛片我不卡| 秋霞在线观看毛片| 国产精品99久久99久久久不卡 | 国产一级毛片在线| 亚洲国产欧美日韩在线播放| 国产亚洲一区二区精品| 亚洲精品成人av观看孕妇| 免费黄色在线免费观看| 久久精品国产亚洲网站| 特大巨黑吊av在线直播| 丝瓜视频免费看黄片| 91成人精品电影| 夜夜爽夜夜爽视频| 日韩在线高清观看一区二区三区| 丝袜喷水一区| 久热这里只有精品99| 久久av网站| 看十八女毛片水多多多| 精品国产露脸久久av麻豆| 成年美女黄网站色视频大全免费 | 亚洲av免费高清在线观看| a 毛片基地| 三级国产精品片| 亚洲国产成人一精品久久久| 新久久久久国产一级毛片| 在线观看免费视频网站a站| kizo精华| 尾随美女入室| 少妇高潮的动态图| 熟女电影av网| 精品人妻偷拍中文字幕| 国产一区二区三区av在线| 这个男人来自地球电影免费观看 | 成人毛片a级毛片在线播放| 蜜臀久久99精品久久宅男| 街头女战士在线观看网站| 国产免费一级a男人的天堂| 成人毛片60女人毛片免费| 母亲3免费完整高清在线观看 | 欧美性感艳星| 人人妻人人添人人爽欧美一区卜| 国产成人av激情在线播放 | 狂野欧美激情性bbbbbb| 一边摸一边做爽爽视频免费| 特大巨黑吊av在线直播| 国产成人精品一,二区| 国产免费又黄又爽又色| 国产不卡av网站在线观看| 国产av一区二区精品久久| 欧美老熟妇乱子伦牲交| av有码第一页| 欧美日韩综合久久久久久| 日韩人妻高清精品专区| 成人国产麻豆网| 久久人人爽人人爽人人片va| xxxhd国产人妻xxx| 性色avwww在线观看| 亚洲国产精品成人久久小说| 成人二区视频| 国产日韩欧美亚洲二区| 久久亚洲国产成人精品v| 国产白丝娇喘喷水9色精品| 狠狠婷婷综合久久久久久88av| 国产精品国产三级专区第一集| 草草在线视频免费看| 午夜激情久久久久久久| 国产日韩一区二区三区精品不卡 | 91精品国产九色| 久久久久久久久久久丰满| 男人添女人高潮全过程视频| 人妻一区二区av| 美女脱内裤让男人舔精品视频| 边亲边吃奶的免费视频| 久久久午夜欧美精品| 亚洲精品日韩av片在线观看| 成人国语在线视频| 国产成人av激情在线播放 | 在线观看人妻少妇| 秋霞伦理黄片| 亚洲久久久国产精品| 美女脱内裤让男人舔精品视频| 亚洲精品自拍成人| av免费观看日本| 少妇人妻久久综合中文| 欧美另类一区| 欧美日韩视频高清一区二区三区二| 卡戴珊不雅视频在线播放| 午夜福利影视在线免费观看| 欧美日韩av久久| 蜜桃国产av成人99| 中文字幕久久专区| 亚洲国产精品999| 亚洲人成77777在线视频| 日本黄大片高清| 国产精品偷伦视频观看了| 国产一区二区在线观看av| 十分钟在线观看高清视频www| 成人影院久久| 美女cb高潮喷水在线观看| 麻豆乱淫一区二区| 黑人巨大精品欧美一区二区蜜桃 | 午夜福利,免费看| 免费观看av网站的网址| 国产精品 国内视频| 欧美人与性动交α欧美精品济南到 | 欧美日韩精品成人综合77777| 国产精品国产三级国产av玫瑰| av天堂久久9| 在线观看免费高清a一片| 熟女人妻精品中文字幕| 国产欧美日韩一区二区三区在线 | 亚洲精品色激情综合| 国产男女内射视频| 日日摸夜夜添夜夜爱| 国产精品一区www在线观看| 亚洲av在线观看美女高潮| 精品人妻在线不人妻| 久久久久久久久久久免费av| 欧美精品人与动牲交sv欧美| 观看av在线不卡| 一级a做视频免费观看| 免费观看性生交大片5| 久久国内精品自在自线图片| 久久精品国产亚洲网站| 一个人免费看片子| 亚洲,欧美,日韩| 天天操日日干夜夜撸| 久久精品久久久久久噜噜老黄| 一级片'在线观看视频| 精品少妇久久久久久888优播| 在线 av 中文字幕| 狂野欧美激情性xxxx在线观看| 久久午夜综合久久蜜桃| 亚洲精品国产av成人精品| 久久精品久久久久久久性| 少妇精品久久久久久久| 欧美激情国产日韩精品一区| 国产女主播在线喷水免费视频网站| 3wmmmm亚洲av在线观看| 自拍欧美九色日韩亚洲蝌蚪91| 热re99久久国产66热| 蜜桃国产av成人99| 欧美变态另类bdsm刘玥| 99国产综合亚洲精品| 街头女战士在线观看网站| 免费不卡的大黄色大毛片视频在线观看| 亚洲欧洲精品一区二区精品久久久 | 欧美激情 高清一区二区三区| 亚洲av二区三区四区| 一级,二级,三级黄色视频| 一级毛片 在线播放| 高清不卡的av网站| 国产乱来视频区| 国产日韩欧美在线精品| 国产白丝娇喘喷水9色精品| 久久久久久久久久久久大奶| 国产成人免费观看mmmm| 青青草视频在线视频观看| 国产老妇伦熟女老妇高清| 国产无遮挡羞羞视频在线观看| 成年女人在线观看亚洲视频| 夫妻性生交免费视频一级片| 国产精品偷伦视频观看了| 精品久久久久久久久av| 热re99久久国产66热| 成人二区视频| 人妻 亚洲 视频| 制服丝袜香蕉在线| 视频区图区小说| 欧美性感艳星| 99热全是精品| 久热这里只有精品99| 欧美xxⅹ黑人| 菩萨蛮人人尽说江南好唐韦庄| 欧美性感艳星| 狂野欧美白嫩少妇大欣赏| 精品久久久噜噜| 免费av不卡在线播放| 亚洲色图 男人天堂 中文字幕 | 欧美xxⅹ黑人| 国产一区二区在线观看av| 亚洲欧美日韩卡通动漫| 女性被躁到高潮视频| av黄色大香蕉| 国产成人freesex在线| 蜜臀久久99精品久久宅男| 国产精品欧美亚洲77777| av不卡在线播放| 久久久久久久亚洲中文字幕| 亚洲人成77777在线视频| 免费观看a级毛片全部| 成人18禁高潮啪啪吃奶动态图 | 亚洲欧美色中文字幕在线| 国产白丝娇喘喷水9色精品| 国产午夜精品久久久久久一区二区三区| 日韩强制内射视频| 日韩亚洲欧美综合| 精品亚洲成国产av| 国产有黄有色有爽视频| 亚洲av成人精品一二三区| 日本爱情动作片www.在线观看| 国产亚洲一区二区精品| 午夜视频国产福利| 我的老师免费观看完整版| 亚洲综合色惰| 91久久精品国产一区二区成人| 婷婷成人精品国产| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 爱豆传媒免费全集在线观看| 91精品国产国语对白视频| 天堂俺去俺来也www色官网| 日韩精品免费视频一区二区三区 | 日韩视频在线欧美| 精品国产露脸久久av麻豆| 最新中文字幕久久久久| 久久久久久久精品精品| 国产视频内射| a级片在线免费高清观看视频| 中文字幕人妻丝袜制服| 少妇人妻久久综合中文| av国产久精品久网站免费入址| 午夜激情av网站| 日韩欧美精品免费久久| 欧美日韩视频高清一区二区三区二| 亚洲精品久久久久久婷婷小说| 在线观看一区二区三区激情| 亚洲高清免费不卡视频| 美女主播在线视频| 久久久久精品久久久久真实原创| 美女国产视频在线观看| 丝袜美足系列| 丝袜喷水一区| 亚洲欧美一区二区三区黑人 | 亚洲精品久久成人aⅴ小说 | 亚洲内射少妇av| 51国产日韩欧美| 人妻 亚洲 视频| 只有这里有精品99| 亚洲国产精品一区三区| 国产精品国产三级国产专区5o| 18禁在线播放成人免费| 国产一级毛片在线| 国产探花极品一区二区| av在线观看视频网站免费| 综合色丁香网| 欧美成人精品欧美一级黄| 免费看光身美女| 少妇丰满av| 好男人视频免费观看在线| 97在线人人人人妻| 九九在线视频观看精品| 18禁裸乳无遮挡动漫免费视频| 日韩免费高清中文字幕av| 老女人水多毛片| 美女脱内裤让男人舔精品视频| 十分钟在线观看高清视频www| 免费观看无遮挡的男女| 一本久久精品| av黄色大香蕉| 你懂的网址亚洲精品在线观看| 在线观看三级黄色| 午夜激情av网站| 午夜福利,免费看| 亚洲欧洲国产日韩| 亚洲欧美清纯卡通| 黄色欧美视频在线观看| 久久热精品热| 国产日韩一区二区三区精品不卡 | 日韩成人伦理影院| 欧美精品一区二区免费开放| av国产精品久久久久影院| 成年av动漫网址| 日本免费在线观看一区| 久久人人爽人人爽人人片va| 黄色视频在线播放观看不卡| 成人午夜精彩视频在线观看| 伊人亚洲综合成人网| 亚洲国产精品一区三区| 国产无遮挡羞羞视频在线观看| 国产一区二区三区综合在线观看 | 精品久久久久久电影网| 人妻人人澡人人爽人人| 午夜影院在线不卡| 人体艺术视频欧美日本| 亚州av有码| 狂野欧美白嫩少妇大欣赏| 色5月婷婷丁香| av福利片在线| 一二三四中文在线观看免费高清| 熟妇人妻不卡中文字幕| 老司机影院毛片| 亚洲精品乱久久久久久| a级毛片黄视频| 亚洲无线观看免费| 成人黄色视频免费在线看| 男男h啪啪无遮挡| 天天影视国产精品| 久久99精品国语久久久| av在线播放精品| 国产在线一区二区三区精| 九九在线视频观看精品| 国产精品免费大片| 免费看av在线观看网站| 伦理电影大哥的女人| 中国三级夫妇交换| 日本欧美国产在线视频| 少妇的逼水好多| 一区二区三区精品91| 日本av手机在线免费观看| 18禁动态无遮挡网站| 色网站视频免费| 一级毛片电影观看| 亚洲美女搞黄在线观看| 视频在线观看一区二区三区| 视频区图区小说| 精品国产乱码久久久久久小说| 夜夜骑夜夜射夜夜干| 午夜视频国产福利| 狠狠婷婷综合久久久久久88av| 国产精品成人在线| av女优亚洲男人天堂| 成人免费观看视频高清| 色哟哟·www| 综合色丁香网| 少妇的逼水好多| 亚洲综合色惰| 在线观看www视频免费| 狠狠婷婷综合久久久久久88av| 免费大片18禁| 久久国产精品男人的天堂亚洲 | 日本免费在线观看一区| 综合色丁香网| 成人综合一区亚洲| 看非洲黑人一级黄片| 黄色视频在线播放观看不卡| 亚洲成色77777| 国产精品一区二区在线不卡| 精品亚洲成国产av| 成人黄色视频免费在线看| 中文乱码字字幕精品一区二区三区| 黄色配什么色好看| 97在线视频观看| 国产乱人偷精品视频| 国产精品成人在线| 国产老妇伦熟女老妇高清| 女性生殖器流出的白浆| 男女高潮啪啪啪动态图| 精品亚洲成国产av| 少妇被粗大猛烈的视频| 51国产日韩欧美| 国产精品久久久久久久电影| 日韩av免费高清视频| 免费不卡的大黄色大毛片视频在线观看| 五月天丁香电影| 亚洲在久久综合| 自拍欧美九色日韩亚洲蝌蚪91| 国产视频内射| 美女脱内裤让男人舔精品视频| 久久人人爽av亚洲精品天堂| 乱码一卡2卡4卡精品| 五月伊人婷婷丁香| 日日摸夜夜添夜夜爱| 国产精品人妻久久久影院| 欧美日韩av久久| 日本黄色日本黄色录像| av又黄又爽大尺度在线免费看| 亚洲精品中文字幕在线视频| 国产成人精品无人区| 人人妻人人添人人爽欧美一区卜| 久久久国产欧美日韩av| 国产黄频视频在线观看| 亚洲精品国产av成人精品| 国产精品不卡视频一区二区| 亚洲av.av天堂| 一边摸一边做爽爽视频免费| 亚洲不卡免费看| 国产永久视频网站| 校园人妻丝袜中文字幕| 青春草视频在线免费观看| 久久久久精品久久久久真实原创| 亚洲人与动物交配视频| 黑丝袜美女国产一区| 一级二级三级毛片免费看| 丁香六月天网| freevideosex欧美| 99九九在线精品视频| 国产不卡av网站在线观看| 我的女老师完整版在线观看| 麻豆精品久久久久久蜜桃| 人体艺术视频欧美日本| 亚洲精品国产色婷婷电影| 亚洲少妇的诱惑av| 欧美精品一区二区免费开放| 美女国产高潮福利片在线看| 尾随美女入室| 国产精品国产三级国产av玫瑰| 成人二区视频| 亚洲成人av在线免费| 9色porny在线观看| 久久国产精品男人的天堂亚洲 | 亚洲少妇的诱惑av| 亚洲美女黄色视频免费看| av女优亚洲男人天堂| 大陆偷拍与自拍| 国产av国产精品国产| 少妇的逼水好多| 免费不卡的大黄色大毛片视频在线观看| 亚洲精品中文字幕在线视频| 91久久精品电影网| 毛片一级片免费看久久久久| 国产精品不卡视频一区二区| 精品久久国产蜜桃| 天堂俺去俺来也www色官网| 亚洲精品乱码久久久v下载方式| 边亲边吃奶的免费视频| 春色校园在线视频观看| 国产免费现黄频在线看| 大香蕉97超碰在线| 亚洲在久久综合| 亚洲综合色网址| 亚洲精品国产av蜜桃| 久久99精品国语久久久| 简卡轻食公司| 性高湖久久久久久久久免费观看| 国产精品一区二区在线不卡| 亚洲三级黄色毛片| 亚洲国产精品专区欧美| 国产一级毛片在线| 汤姆久久久久久久影院中文字幕| 女性被躁到高潮视频| .国产精品久久| 9色porny在线观看| 亚洲三级黄色毛片| 亚洲综合色惰| 丝袜在线中文字幕| 亚洲精品,欧美精品| 国产精品久久久久久精品电影小说| 美女脱内裤让男人舔精品视频| 啦啦啦中文免费视频观看日本| 99久久精品一区二区三区| 99久久中文字幕三级久久日本| 嘟嘟电影网在线观看| 久久久亚洲精品成人影院| 国内精品宾馆在线| 免费av不卡在线播放| 最近中文字幕高清免费大全6| 另类亚洲欧美激情| 久久久久久伊人网av| 国产日韩欧美视频二区| 黑丝袜美女国产一区| 美女福利国产在线| 麻豆成人av视频| 国产日韩一区二区三区精品不卡 | 亚洲国产日韩一区二区| 国产亚洲欧美精品永久| 涩涩av久久男人的天堂| 99热国产这里只有精品6| 性色av一级| 日韩av在线免费看完整版不卡| 亚洲欧美中文字幕日韩二区| 国产精品久久久久久久电影| 好男人视频免费观看在线| 伊人久久精品亚洲午夜| 在线观看国产h片| 一区二区日韩欧美中文字幕 | 欧美亚洲 丝袜 人妻 在线| 免费日韩欧美在线观看| 免费观看av网站的网址| 亚洲婷婷狠狠爱综合网| 女人久久www免费人成看片| av一本久久久久| 午夜视频国产福利| 精品久久久久久久久av| 又黄又爽又刺激的免费视频.| 日本午夜av视频| a级毛片黄视频| 高清黄色对白视频在线免费看| 欧美日韩国产mv在线观看视频| 看十八女毛片水多多多| 免费观看无遮挡的男女| 亚洲国产日韩一区二区| 人人妻人人添人人爽欧美一区卜| 亚洲精品一二三| 男女高潮啪啪啪动态图| 又黄又爽又刺激的免费视频.| 色婷婷av一区二区三区视频| 亚洲精品乱码久久久v下载方式| 亚洲精品日韩av片在线观看| 欧美xxxx性猛交bbbb| 日韩av不卡免费在线播放| 亚洲国产色片| 在线看a的网站| 五月天丁香电影| 一级毛片黄色毛片免费观看视频| 我要看黄色一级片免费的| 九九在线视频观看精品| 亚洲欧美日韩卡通动漫| 国产欧美亚洲国产| 亚洲,一卡二卡三卡| 久久久久久久久久成人| av天堂久久9| 欧美老熟妇乱子伦牲交| 在线观看国产h片| 在线播放无遮挡| 国产精品女同一区二区软件| 日韩成人伦理影院| 欧美性感艳星| kizo精华| 黄片播放在线免费| 99国产精品免费福利视频| 久久精品久久精品一区二区三区| 欧美+日韩+精品| 日本爱情动作片www.在线观看| 在线精品无人区一区二区三| 校园人妻丝袜中文字幕| 国产成人精品福利久久| 午夜福利视频精品| 波野结衣二区三区在线| 国产免费一区二区三区四区乱码| 亚洲成人av在线免费| 亚洲欧美清纯卡通| 最近中文字幕2019免费版| 成人无遮挡网站| 九九在线视频观看精品| 性色avwww在线观看| 内地一区二区视频在线| 制服诱惑二区| 中文字幕免费在线视频6| 3wmmmm亚洲av在线观看| 飞空精品影院首页| 少妇丰满av| 伊人久久国产一区二区| 我的女老师完整版在线观看| 成人综合一区亚洲| 有码 亚洲区| 日日摸夜夜添夜夜添av毛片| 日韩成人av中文字幕在线观看| 成年人免费黄色播放视频| 国产免费视频播放在线视频| 亚洲经典国产精华液单| 人妻人人澡人人爽人人| 狠狠婷婷综合久久久久久88av| 色婷婷久久久亚洲欧美| a级毛片在线看网站| 亚洲精品第二区| 日本与韩国留学比较| 欧美 日韩 精品 国产| 亚洲欧洲国产日韩| 日本91视频免费播放| 日韩av免费高清视频| 亚洲少妇的诱惑av| 少妇的逼好多水| 国产又色又爽无遮挡免| 久久综合国产亚洲精品| 久久久久久久久久成人| 卡戴珊不雅视频在线播放| 黑丝袜美女国产一区| 国产精品久久久久成人av| 日韩av不卡免费在线播放| 性色av一级| 免费播放大片免费观看视频在线观看| 高清毛片免费看| 各种免费的搞黄视频| 精品一品国产午夜福利视频| 在线观看国产h片| 岛国毛片在线播放| 午夜老司机福利剧场| 我的老师免费观看完整版| 人妻系列 视频| 国产熟女午夜一区二区三区 | 国产精品国产三级专区第一集| 国产精品久久久久久精品古装| 免费观看a级毛片全部| 亚洲国产精品国产精品| 又粗又硬又长又爽又黄的视频| 少妇被粗大的猛进出69影院 | 99热网站在线观看| 黄色欧美视频在线观看| 成人影院久久| 欧美日本中文国产一区发布| 99九九在线精品视频| 久久人妻熟女aⅴ| 少妇人妻精品综合一区二区| 亚洲精品日韩av片在线观看|