• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于動(dòng)態(tài)詞匯編碼的樹(shù)形神經(jīng)機(jī)器翻譯

    2022-10-01 03:47:36席紅旗蔣亞平
    關(guān)鍵詞:樹(shù)形編碼器短語(yǔ)

    席紅旗,蔣亞平

    (1.河南財(cái)政金融學(xué)院 計(jì)算機(jī)與信息技術(shù)學(xué)院,河南 鄭州 450000;2.鄭州輕工業(yè)大學(xué) 計(jì)算機(jī)與通信工程學(xué)院,河南 鄭州 450000)

    0 引 言

    隨著機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)的不斷發(fā)展,神經(jīng)機(jī)器翻譯(neural machine translation,NMT)由于其較強(qiáng)的翻譯能力得到了廣泛的應(yīng)用[1,2]。NMT最廣泛采用的框架是編碼器-解碼器模型,該模型首先將源語(yǔ)句映射到分布式表示中,然后通過(guò)利用軟注意機(jī)制循環(huán)生成目標(biāo)詞[3]。先前研究中的大多數(shù)編碼器都使用雙向遞歸神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNNs)來(lái)編碼源端順序的上下文[4]。Sennrich等指出,這類(lèi)模型的不足之處是缺乏對(duì)語(yǔ)法信息的考慮,即沒(méi)有對(duì)長(zhǎng)距離單詞之間的依賴(lài)關(guān)系進(jìn)行完整的建模[5]。為解決該問(wèn)題,學(xué)者們提出了幾種語(yǔ)法感知的NMT模型[6-9]。從模型架構(gòu)的角度來(lái)看,可以將這些基于語(yǔ)法的NMT模型分為兩種方法:通過(guò)線(xiàn)性化結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)或樹(shù)型結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)對(duì)語(yǔ)法結(jié)構(gòu)進(jìn)行建模。

    樹(shù)型結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)根據(jù)句子的語(yǔ)法結(jié)構(gòu)對(duì)句子進(jìn)行編碼。在這種背景下,Socher等證明,在順序RNN層上按照語(yǔ)法結(jié)構(gòu)對(duì)源語(yǔ)句進(jìn)行進(jìn)一步編碼有益于捕獲更多源端語(yǔ)言信息。盡管基于樹(shù)形方法已在多個(gè)翻譯任務(wù)中獲得了較好效果,但該類(lèi)別下的方法仍面臨一些問(wèn)題:

    ①詞匯信息在構(gòu)成結(jié)構(gòu)的內(nèi)部節(jié)點(diǎn)的構(gòu)成中被過(guò)度使用。Yang等指出,使用短語(yǔ)結(jié)構(gòu)編碼器可能會(huì)導(dǎo)致過(guò)度翻譯問(wèn)題[10]。此外,隨著語(yǔ)法結(jié)構(gòu)的使用,模型參數(shù)數(shù)量會(huì)不斷增加,且其中的短語(yǔ)節(jié)點(diǎn)可能并不總是有益于神經(jīng)翻譯模型。②樹(shù)形RNN模型采用子和架構(gòu),該架構(gòu)依賴(lài)于預(yù)定義數(shù)量的子節(jié)點(diǎn)。因此,基于成分的模型通常用二叉樹(shù)進(jìn)行處理,在某種程度上,這限制了它在計(jì)算短語(yǔ)表示時(shí)考慮遠(yuǎn)程上下文之間的依賴(lài)關(guān)系,從而忽略了對(duì)于正確解釋源語(yǔ)句語(yǔ)義至關(guān)重要的單詞依存關(guān)系。③Socher等證明單一的權(quán)重參數(shù)集不足以完全捕獲解析和文本分類(lèi)任務(wù)中語(yǔ)言短語(yǔ)的語(yǔ)法和語(yǔ)義豐富性,因此NMT也無(wú)法適應(yīng)翻譯過(guò)程中存在的語(yǔ)法語(yǔ)義豐富性。

    針對(duì)樹(shù)形神經(jīng)機(jī)器翻譯方法存在的局限性,提出了一種動(dòng)態(tài)詞匯化依賴(lài)編碼的樹(shù)形神經(jīng)機(jī)器翻譯方法。實(shí)例驗(yàn)證了所提出的模型在參數(shù)更少的情況下優(yōu)于兩個(gè)先前的模型,對(duì)于機(jī)器翻譯、領(lǐng)域知識(shí)庫(kù)自動(dòng)構(gòu)建等領(lǐng)域具有較大應(yīng)用價(jià)值。

    1 樹(shù)形序列神經(jīng)機(jī)器翻譯

    1.1 基于依賴(lài)關(guān)系的編碼器

    樹(shù)形序列神經(jīng)機(jī)器翻譯系統(tǒng)的思想是建立一個(gè)考慮源語(yǔ)句的語(yǔ)法結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)。給定一個(gè)源語(yǔ)句X=(x1,…,xN) 及其語(yǔ)法樹(shù)T, 對(duì)模型進(jìn)行訓(xùn)練,從而在并行訓(xùn)練語(yǔ)料庫(kù)上實(shí)現(xiàn)目標(biāo)值Y=(y1,…,yM) 的條件翻譯概率p(Y|X,T) 最大化。

    (1)

    (2)

    (3)

    圖1 傳統(tǒng)的樹(shù)形編碼翻譯器

    (4)

    (5)

    1.2 順序解碼器

    目標(biāo)句子由RNN順序預(yù)測(cè),使用非線(xiàn)性函數(shù)fsoftmax計(jì)算第j個(gè)目標(biāo)詞yj的條件概率

    (6)

    上下文向量dj是由注意力模型計(jì)算的,該注意力模型用于將每個(gè)解碼的隱藏狀態(tài)與源端表示形式進(jìn)行軟對(duì)齊

    (7)

    (8)

    (9)

    其中,Va、Ua、Wa和ba是模型參數(shù)。

    2 詞匯化依賴(lài)編碼

    2.1 建模依賴(lài)

    如圖1所示,成分表示向量是從其子節(jié)點(diǎn)表示得到的,成分節(jié)點(diǎn)下面的葉節(jié)點(diǎn)處的詞匯信息會(huì)被重復(fù)使用,并傳播到根路徑上的所有內(nèi)部節(jié)點(diǎn)。這導(dǎo)致以下情況:無(wú)論成分節(jié)點(diǎn)是否參與解碼,在目標(biāo)詞的預(yù)測(cè)中始終考慮相同的詞法信息。Yang等和Chen等指出,對(duì)短語(yǔ)表示進(jìn)行條件限制時(shí),如果沒(méi)有適當(dāng)?shù)目刂?,可能?huì)導(dǎo)致翻譯過(guò)度的問(wèn)題,即部分源句被多次翻譯[12,13]。解決此問(wèn)題的另一種方法是要么將成分結(jié)構(gòu)的內(nèi)部節(jié)點(diǎn)詞匯化,要么使用依賴(lài)關(guān)系結(jié)構(gòu)對(duì)句子的語(yǔ)法建模,在這種依賴(lài)性結(jié)構(gòu)中,每個(gè)節(jié)點(diǎn)自然都被詞匯化。此外,對(duì)于正確地解釋源句子的語(yǔ)義至關(guān)重要的單詞之間的依賴(lài)關(guān)系可能無(wú)法直接體現(xiàn)在連續(xù)的短語(yǔ)結(jié)構(gòu)中。在一個(gè)句子中,頭詞和它的依存詞之間可能有很大的距離。圖2顯示了一個(gè)句子依賴(lài)結(jié)構(gòu)的示例,其中單詞對(duì)之間的頭部依賴(lài)關(guān)系被直接鏈接。與依賴(lài)關(guān)系圖相比,信息流更直接,同時(shí),它給出了更簡(jiǎn)單的網(wǎng)絡(luò)體系結(jié)構(gòu),與其中引入了附加節(jié)點(diǎn)來(lái)代表句子成分的成分結(jié)構(gòu)相反。使用依賴(lài)結(jié)構(gòu)對(duì)句子的語(yǔ)法進(jìn)行建模能夠緩解上述問(wèn)題。

    圖2 單詞之間的頭部依賴(lài)關(guān)系在依賴(lài)關(guān)系樹(shù)中表示

    研究表明,自上向下的編碼方法可以更好地傳播和捕獲全局語(yǔ)法和語(yǔ)義信息[14]。為了攜帶語(yǔ)法信息并減少相應(yīng)單詞之間的距離,提出從核心詞到其依存詞的對(duì)源句子進(jìn)行遞歸編碼。如圖3所示,其中灰線(xiàn)表示單詞嵌入的輸入,黑線(xiàn)表示頭部依賴(lài)關(guān)系,左和右直線(xiàn)表示從頭到右依存和從頭到左依存順序編碼的方向。以h0作為根節(jié)點(diǎn)的隱藏狀態(tài),首先將核心詞“l(fā)ive”編碼為h1, 然后再編碼其左、右依存詞“We”和“places”分別變成h2和h3。 帶箭頭的黑線(xiàn)表示依賴(lài)性。首先對(duì)核心詞(最重要的信息)和其依存詞(補(bǔ)充信息)建模。表1中說(shuō)明了編碼過(guò)程,“Current”,“Head”和“Sibling”表示當(dāng)前編碼的單詞、父單詞和兄弟單詞,其表示在每個(gè)時(shí)間步都輸入到變體GRU中?!癐NIT”表示初始隱藏狀態(tài)為的根節(jié)點(diǎn)。

    圖3 詞匯化依賴(lài)編碼器

    表1 每個(gè)時(shí)間步的編碼過(guò)程

    2.2 建模順序上下文

    在一個(gè)普通的基于樹(shù)形模型中,樹(shù)節(jié)點(diǎn)的表示是在二叉化的成分樹(shù)之后遞歸構(gòu)建的,這增加了結(jié)構(gòu)的深度,并沒(méi)有充分考慮順序上下文。依賴(lài)樹(shù)是一個(gè)有序圖,它包含頭部依賴(lài)關(guān)系以及依存詞到其頭部的相對(duì)位置。在所提出的方法中,為了對(duì)順序信息進(jìn)行建模,將共享相同頭部的依存詞在中心以圓形方式順序編碼,即從頭到左的依賴(lài)和從頭到右的依賴(lài)。以頭節(jié)點(diǎn)h3為例,h4和h5是左依存詞,而h6是右依存詞。箭頭指示遞歸計(jì)算依賴(lài)關(guān)系的方向,如圖3所示。

    (10)

    (11)

    (12)

    2.3 初始狀態(tài)

    為了用全局信息豐富源表示,僅將初始隱藏狀態(tài)h0視為根節(jié)點(diǎn)的表示,并通過(guò)提供其下層的平均值,即由雙向RNN生成的表示,對(duì)其進(jìn)行初始化,即

    (13)

    由于源側(cè)隱藏狀態(tài)是以詞匯化的方式計(jì)算的,因此很容易將提出的模型與標(biāo)準(zhǔn)的NMT解碼器組合在一起。根據(jù)文獻(xiàn)[15],將源端隱藏狀態(tài)的平均值定義為解碼器的初始隱藏狀態(tài)

    (14)

    然后,將源隱藏狀態(tài)傳遞給標(biāo)準(zhǔn)注意力模型以預(yù)測(cè)目標(biāo)詞的條件概率。

    3 上下文特定參數(shù)調(diào)整

    3.1 潛在向量

    傳統(tǒng)方法的另一個(gè)缺點(diǎn)是它在整個(gè)合成過(guò)程中遞歸地使用相同的共享合成函數(shù),并且由于無(wú)法捕獲語(yǔ)言短語(yǔ)的語(yǔ)法和語(yǔ)義豐富性而缺乏表達(dá)能力。Liu等提到在所有語(yǔ)義組成規(guī)則之間共享的相同參數(shù)可能無(wú)法捕獲文本分類(lèi)和語(yǔ)義匹配任務(wù)上語(yǔ)義結(jié)構(gòu)的豐富性。為了處理由文獻(xiàn)[16]啟發(fā)的語(yǔ)義組合中的多樣性所引起的擬合不足問(wèn)題,進(jìn)一步采用了由元網(wǎng)絡(luò)生成的低維潛在向量z, 以動(dòng)態(tài)調(diào)節(jié)上下文特定的參數(shù)。

    (15)

    圖4 依賴(lài)模型框架

    3.2 動(dòng)態(tài)參數(shù)

    (16)

    (17)

    4 實(shí)驗(yàn)與分析

    4.1 實(shí)驗(yàn)設(shè)置

    本文進(jìn)行了一組關(guān)于英漢翻譯任務(wù)的實(shí)驗(yàn)。使用LDC語(yǔ)料庫(kù)的并行數(shù)據(jù)訓(xùn)練模型,使用NIST 08數(shù)據(jù)集進(jìn)行開(kāi)發(fā),并在NIST 06測(cè)試集上進(jìn)行評(píng)估。使用NiuTrans的中文分詞工具包對(duì)中文句子進(jìn)行了分段。此外還在WMT14上針對(duì)英語(yǔ)-德語(yǔ)翻譯任務(wù)中更為突出的數(shù)據(jù)集上對(duì)提出的模型進(jìn)行了訓(xùn)練,其中使用newstest13數(shù)據(jù)集開(kāi)發(fā)模型并在newstest14數(shù)據(jù)集上進(jìn)行檢查。對(duì)于傳統(tǒng)的基于樹(shù)形模型和本文提出的模型,使用基于Shift-Reduce算法的Stanford Parser解析英語(yǔ)句子,并分別獲得二進(jìn)制成分樹(shù)和依賴(lài)樹(shù)。該解析器在各種解析任務(wù)上均取得了較好的效果,在English Penn Treebank(PTB)上的準(zhǔn)確度達(dá)到92.0%。出于計(jì)算效率的原因,超過(guò)50個(gè)單詞的句子被排除在訓(xùn)練集中。通過(guò)最常用的30K(英語(yǔ)-漢語(yǔ))和50K(英語(yǔ)-德語(yǔ))單詞作為源詞匯和目標(biāo)詞匯,在兩個(gè)平行語(yǔ)料庫(kù)的源端和目標(biāo)端分別覆蓋了約99.8%/97.9%和97.6%/94.5%。所有詞匯量以外的詞都映射到特殊標(biāo)記“UNK”。表2展示了過(guò)濾后的數(shù)據(jù)集的句子數(shù)。

    表2 實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)

    為了實(shí)現(xiàn)可比性,在本研究中,所有比較的NMT模型都是基于廣泛使用的NMT源代碼dl4mt實(shí)現(xiàn)的。NMT的參數(shù)設(shè)置如下:模型使用500維單詞嵌入和隱藏單元。為了進(jìn)行公平的比較,建立了一個(gè)額外的順序模型,該模型的維數(shù)為700,該模型需要有與提出的模型相當(dāng)數(shù)量的參數(shù)。為了防止過(guò)度擬合,在每個(gè)時(shí)期之后對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行混洗。最小批量大小設(shè)置為50個(gè)句子。在解碼過(guò)程中,采用波束搜索算法來(lái)預(yù)測(cè)每一步的輸出單詞,并且波束搜索的大小為5。盡早停止對(duì)每個(gè)模型的訓(xùn)練,以最大程度地減少開(kāi)發(fā)集上的疑慮。此外,使用Adadelta優(yōu)化模型參數(shù),其中學(xué)習(xí)率根據(jù)梯度的變化進(jìn)行調(diào)整。使用BLEU度量標(biāo)準(zhǔn)評(píng)估相對(duì)于參考文獻(xiàn)的翻譯準(zhǔn)確性,對(duì)比系統(tǒng)為:

    (1)順序編碼器:一種廣泛使用的逐序列基線(xiàn),沒(méi)有對(duì)句子的語(yǔ)法結(jié)構(gòu)進(jìn)行任何顯式建模。

    (2)成分編碼器:傳統(tǒng)的樹(shù)形序列基線(xiàn),它使用基于雙向樹(shù)形編碼器。

    (3)順序依賴(lài)編碼器:具有源方依賴(lài)性信息的順序到順序框架的表示。該模型用兩個(gè)附加的RNNs擴(kuò)展了原始的順序編碼器,以對(duì)源依賴(lài)結(jié)構(gòu)派生的頭富集和子富集序列進(jìn)行建模。

    (4)詞匯化的依賴(lài)編碼器:立即將源依賴(lài)結(jié)構(gòu)利用到編碼器中。

    4.2 英漢翻譯

    4.2.1 詞匯化依賴(lài)

    實(shí)驗(yàn)結(jié)果總結(jié)見(jiàn)表3?!?00 d”和“700 d”表示順序編碼器的隱藏大小,分別設(shè)置為500和700。第三列表示每個(gè)編碼器的參數(shù)數(shù)量?!坝?xùn)練”和“解碼”表示在一個(gè)GeForce GTX 1080 GPU上檢查的訓(xùn)練和解碼速度。最后一欄是通過(guò)BLEU分?jǐn)?shù)評(píng)估的英漢測(cè)試集的翻譯準(zhǔn)確性。粗體表示動(dòng)態(tài)詞匯化依賴(lài)編碼器明顯優(yōu)于普通的基于成分的編碼器(模型#3)(p<0.01)?;谝蕾?lài)的編碼器(模型#6和#8)均優(yōu)于傳統(tǒng)的順序編碼器(模型#1和#2)和傳統(tǒng)的成分模型(模型#3)。這揭示了依賴(lài)方法在結(jié)構(gòu)上下文中對(duì)源端表示進(jìn)行建模的有效性。關(guān)于依賴(lài)模型對(duì)比,所提出的詞匯化依賴(lài)模型(模型#8)優(yōu)于其線(xiàn)性化依賴(lài)模型(模型#6)。分析可知提高的原因是:后者按順序構(gòu)建依賴(lài)關(guān)系,但仍然僅限于捕獲長(zhǎng)距離依賴(lài)關(guān)系,而所提出的模型能夠通過(guò)層次結(jié)構(gòu)直接對(duì)依賴(lài)關(guān)系進(jìn)行建模。

    表3 英漢翻譯結(jié)果

    進(jìn)一步評(píng)估了捕獲順序上下文信息能力的模型。如前文所述,通過(guò)刪除雙向順序編碼層,它對(duì)成分模型(模型#4)的翻譯質(zhì)量產(chǎn)生了巨大影響。英漢翻譯任務(wù)中的6.73 BLEU得分大幅下降,表明成分模型的成功取決于順序RNNs所學(xué)習(xí)的上下文。相反,在不使用顯式單詞序列的情況下,基于依賴(lài)關(guān)系的方法(模型#7和模型#10)的性能優(yōu)于常規(guī)樹(shù)方法(模型#4),產(chǎn)生的結(jié)果要高得多。這證實(shí)了提出的理論,即在某種程度上,所提出的依賴(lài)模型能夠通過(guò)對(duì)兄弟節(jié)點(diǎn)的相對(duì)位置進(jìn)行建模來(lái)捕獲順序上下文。

    4.2.2 動(dòng)態(tài)參數(shù)

    潛在向量z控制基本網(wǎng)絡(luò)的性能,其維數(shù)確定模型參數(shù)的數(shù)量。本文研究了25、50、75、100、150和200不同維度模型的動(dòng)態(tài)組成機(jī)制,而文獻(xiàn)[14]的工作只評(píng)估了25以下小維度的z。 圖5中的實(shí)驗(yàn)結(jié)果表明,即使向量z的大小減小到25,該模型仍然可以在編碼器中以少2倍的參數(shù)獲得可觀的性能。通過(guò)研究翻譯質(zhì)量和模型大小的組合,將z的維數(shù)設(shè)置為100。x軸表示的維數(shù)。圖5(a)的y軸報(bào)告編碼器所需的參數(shù)數(shù)量,圖5(b)的y軸顯示在英漢驗(yàn)證集上評(píng)估的BLEU得分。

    圖5 實(shí)驗(yàn)結(jié)果

    如圖5所示,通過(guò)利用動(dòng)態(tài)參數(shù),成分模型和提出的依賴(lài)模型(模型#5和模型#10)都可以用更少的參數(shù)實(shí)現(xiàn)漸進(jìn)式改進(jìn)。從結(jié)果可知,以潛在向量為組成函數(shù)的動(dòng)態(tài)參數(shù)有助于捕獲各種語(yǔ)法模式,因此可以更準(zhǔn)確地對(duì)源端信息進(jìn)行建模。另外,順序依賴(lài)性編碼器(模型#6)由于其元網(wǎng)絡(luò)體系結(jié)構(gòu)的不兼容性問(wèn)題而無(wú)法從元網(wǎng)絡(luò)帶來(lái)的優(yōu)勢(shì)中受益。此外,每個(gè)編碼器所需參數(shù)的統(tǒng)計(jì)數(shù)據(jù)表明,與傳統(tǒng)的基于樹(shù)形模型相比,提出的模型所需的模型參數(shù)更少,并且得到的處理速度更快。

    順序編碼器(模型#1)和基于成分的編碼器(模型#3)在相同數(shù)據(jù)上均勝過(guò)報(bào)告的結(jié)果。通過(guò)將所有上述改進(jìn)集成到NMT系統(tǒng)中,提出的動(dòng)態(tài)詞匯化依賴(lài)編碼器(模型#10)在參數(shù)尺寸較小的情況下,明顯優(yōu)于基于成分的編碼器(模型#3)(+0.84 BLEU評(píng)分)。所提出的模型展示了從順序和結(jié)構(gòu)性上下文對(duì)源端表示進(jìn)行有效建模的能力。

    4.3 英語(yǔ)-德語(yǔ)翻譯

    在大型訓(xùn)練數(shù)據(jù)(4.5 M)上評(píng)估基于樹(shù)形NMT模型并進(jìn)行英語(yǔ)-德語(yǔ)翻譯。如表4所示,動(dòng)態(tài)詞匯化依賴(lài)編碼器明顯優(yōu)于成分編碼器(p<0.01),在英語(yǔ)-德語(yǔ)翻譯任務(wù)中,所提出的模型始終優(yōu)于成分編碼器和順序編碼器,顯示了提出方法的有效性和普遍性。但是,相對(duì)于順序模型,本文提出的方法在英語(yǔ)-德語(yǔ)翻譯任務(wù)中獲得了+0.52的BLEU分?jǐn)?shù),這與英語(yǔ)-漢語(yǔ)實(shí)驗(yàn)相比是微不足道的(+1.05 的BLEU分?jǐn)?shù)),原因一方面可能是德語(yǔ)屬于一種語(yǔ)義更為豐富的語(yǔ)言,其次在英語(yǔ)到德語(yǔ)的翻譯中,只使用了有限的詞匯,經(jīng)常使用50k個(gè)單詞,它僅覆蓋了德國(guó)訓(xùn)練數(shù)據(jù)上94.5%的詞匯量,因此存在模型訓(xùn)練期間引入詞匯不足的問(wèn)題。

    表4 英語(yǔ)-德語(yǔ)翻譯任務(wù)的翻譯結(jié)果

    5 結(jié)果分析

    5.1 對(duì)比分析

    根據(jù)等式(3),短語(yǔ)表示僅從其子節(jié)點(diǎn)的隱藏狀態(tài)中得出,并考慮了單詞的語(yǔ)法和語(yǔ)義關(guān)系。隨著子樹(shù)深度的增加,可以認(rèn)為上層短語(yǔ)表示的隱藏狀態(tài)很難較好地學(xué)習(xí)語(yǔ)法信息。為了深入評(píng)估各個(gè)級(jí)別的短語(yǔ)表示形式對(duì)翻譯質(zhì)量的影響,對(duì)英漢翻譯任務(wù)進(jìn)行了多次實(shí)驗(yàn)。模型允許在不同層次的組成樹(shù)上公開(kāi)參與限制短語(yǔ)表示。通過(guò)控制方程(7)的變量i來(lái)訓(xùn)練這些模型。

    如表5所示的實(shí)驗(yàn)結(jié)果,考慮了組成樹(shù)中靠近根(上層)的節(jié)點(diǎn)表示的模型(模型#5、模型#6、模型#7),其翻譯質(zhì)量比那些上層短語(yǔ)向量的模型(模型#1、模型#2、模型#3、模型#4)要稍差一些。此外,忽略葉表示的模型(模型#8)可能會(huì)比其它同樣受葉節(jié)點(diǎn)約束的模型表現(xiàn)差。這表明在解碼過(guò)程中考慮源側(cè)高級(jí)短語(yǔ)表示會(huì)明顯損害翻譯質(zhì)量。

    表5 驗(yàn)證集上的翻譯結(jié)果對(duì)比

    5.2 詞匯化形式

    關(guān)于較低節(jié)點(diǎn)例如葉節(jié)點(diǎn)及其直接父節(jié)點(diǎn)的表示,在提出的詞匯化模型與模型#1、模型#2之間僅存在少量改進(jìn)??梢詫⒖s小的差距歸因于以下事實(shí):用語(yǔ)法信息更新詞法表示時(shí),該信息從上層節(jié)點(diǎn)通過(guò)自上而下的編碼傳播。通過(guò)對(duì)組成樹(shù)進(jìn)行詞匯化,傳統(tǒng)的基于樹(shù)形模型能夠獲得與依賴(lài)編碼器可比的結(jié)果,從而驗(yàn)證了詞匯化形式在神經(jīng)機(jī)器翻譯上下文中的有效性。但是基于依賴(lài)的模型和基于成分的模型之間仍然存在差距,原因是前者直接捕獲單詞的長(zhǎng)距離依賴(lài),而后者則不能。

    5.3 長(zhǎng)句分析

    進(jìn)一步評(píng)估了所提出的依賴(lài)模型對(duì)長(zhǎng)句子的影響。如圖6所示,根據(jù)句子的長(zhǎng)度將句子分成10個(gè)不相交的組,并對(duì)其BLEU分?jǐn)?shù)進(jìn)行評(píng)估,Y軸表示提出的模型和成分編碼器之間的BLEU得分差距。所提出的方法在幾乎所有長(zhǎng)度段中都優(yōu)于成分模型。結(jié)果表明,所提出的依賴(lài)編碼器在對(duì)長(zhǎng)距離依賴(lài)進(jìn)行建模時(shí)表現(xiàn)更好,從而對(duì)長(zhǎng)句實(shí)現(xiàn)了更好的翻譯質(zhì)量。

    圖6 輸入句子的長(zhǎng)度對(duì)翻譯性能的影響

    5.4 過(guò)度翻譯

    在沒(méi)有適當(dāng)?shù)乜刂苼?lái)自結(jié)構(gòu)表示形式的信息流的比例的情況下,成分模型往往會(huì)過(guò)度翻譯句子,尤其是構(gòu)成要素的翻譯。從對(duì)翻譯結(jié)果的觀察進(jìn)一步驗(yàn)證了這一現(xiàn)象。選擇并檢查由兩個(gè)或多個(gè)連續(xù)的相同短語(yǔ)或片段組成的句子。如圖7所示,根據(jù)重復(fù)短語(yǔ)的長(zhǎng)度,將統(tǒng)計(jì)數(shù)據(jù)分為5個(gè)不相交的組。顯然,與連續(xù)模型相比,成分模型產(chǎn)生較多的過(guò)度翻譯,尤其是在較短的短語(yǔ)上(N<4)。所提出的依賴(lài)模型能夠減輕這個(gè)問(wèn)題,并且比其順序?qū)?yīng)模型產(chǎn)生更少的過(guò)度翻譯。

    圖7 重復(fù)翻譯結(jié)果

    5.5 定性分析

    5.5.1 歧義表現(xiàn)分析

    在表6的第一個(gè)示例中,順序編碼模型錯(cuò)誤地將“signed up”轉(zhuǎn)換為“署名(signature)”,這在上下文中是不正確的,而兩個(gè)樹(shù)模型都給出了正確的翻譯“簽約(sign a contract)”。可以將其歸因于樹(shù)模型的能力,該樹(shù)模型在某種程度上能夠捕獲“sign”和“up”的關(guān)系并消除詞義的歧義,表明在NMT中對(duì)語(yǔ)法結(jié)構(gòu)進(jìn)行建模對(duì)翻譯是有效的。關(guān)于第二個(gè)翻譯錯(cuò)誤,順序編碼模型和成分編碼模型都不能很好地解釋“play”,“music”和“piano”之間的關(guān)系,從而導(dǎo)致錯(cuò)誤的翻譯“play...with a music player(播放)”,而不是“perform piano(演奏)”。但是,在依賴(lài)編碼模型中,這些詞的依賴(lài)關(guān)系以更直接的方式連接在一起,而不管它們?cè)诰渥又械奈恢萌绾?,從而產(chǎn)生了更加可靠的翻譯“演奏”。

    5.5.2 過(guò)度翻譯問(wèn)題

    如表6中的第二個(gè)示例所示。成分編碼模型將短語(yǔ)“the same aspiration working in the same industry”翻譯了兩次??梢酝茢鄦?wèn)題主要是由句子的遞歸結(jié)構(gòu)引起的。它允許注意力模型對(duì)不同層次的成分施加條件,這些成分可能攜帶共同的詞匯信息。在提出的依賴(lài)編碼模型中,遞歸結(jié)構(gòu)隱含在依賴(lài)結(jié)構(gòu)中,因此自然緩解了過(guò)度翻譯的問(wèn)題。

    表6 不同模型生成的翻譯示例

    6 結(jié)束語(yǔ)

    本文針對(duì)樹(shù)形神經(jīng)機(jī)器翻譯方法存在的局限性,提出了一種動(dòng)態(tài)詞匯化依賴(lài)編碼的樹(shù)形神經(jīng)機(jī)器翻譯方法。通過(guò)實(shí)例數(shù)據(jù)分析可知:

    (1)解碼過(guò)程中考慮源側(cè)高級(jí)短語(yǔ)表示會(huì)明顯損害翻譯質(zhì)量,動(dòng)態(tài)詞匯化編碼在神經(jīng)機(jī)器翻譯上下文中能夠兼顧順序模型與依賴(lài)模型的優(yōu)點(diǎn)。從而對(duì)長(zhǎng)句實(shí)現(xiàn)了更好的翻譯質(zhì)量。所提出的依賴(lài)模型能夠減輕這個(gè)問(wèn)題,并且比其順序?qū)?yīng)模型產(chǎn)生更少的過(guò)度翻譯。

    (2)潛在向量動(dòng)態(tài)調(diào)節(jié)每個(gè)節(jié)點(diǎn)表示的組成參數(shù),能夠更加準(zhǔn)確地捕捉語(yǔ)言短語(yǔ)的語(yǔ)法和語(yǔ)義豐富性。

    (3)提出的模型有效地提高了翻譯質(zhì)量與效率,對(duì)于多語(yǔ)義詞匯有較好的翻譯效果,并且有效地解決了基于樹(shù)形模型中的過(guò)度翻譯問(wèn)題。所提出的動(dòng)態(tài)詞匯化依賴(lài)關(guān)系模型在參數(shù)大小較小的情況下,顯著優(yōu)于英語(yǔ)-漢語(yǔ)和英語(yǔ)-德語(yǔ)翻譯任務(wù)中基于樹(shù)形傳統(tǒng)模型。

    猜你喜歡
    樹(shù)形編碼器短語(yǔ)
    花光卉影
    花卉(2024年1期)2024-01-16 11:29:12
    蘋(píng)果高光效樹(shù)形改造綜合配套技術(shù)
    基于FPGA的同步機(jī)軸角編碼器
    獼猴桃樹(shù)形培養(yǎng)和修剪技術(shù)
    休眠季榆葉梅自然開(kāi)心樹(shù)形的整形修剪
    基于PRBS檢測(cè)的8B/IOB編碼器設(shè)計(jì)
    JESD204B接口協(xié)議中的8B10B編碼器設(shè)計(jì)
    電子器件(2015年5期)2015-12-29 08:42:24
    多總線(xiàn)式光電編碼器的設(shè)計(jì)與應(yīng)用
    搞女人的毛片| 国产极品粉嫩免费观看在线| 男女之事视频高清在线观看| а√天堂www在线а√下载| а√天堂www在线а√下载| 久久久久久久午夜电影| 色综合欧美亚洲国产小说| 欧美成人性av电影在线观看| 美国免费a级毛片| or卡值多少钱| 法律面前人人平等表现在哪些方面| 97人妻精品一区二区三区麻豆 | 在线免费观看的www视频| 91九色精品人成在线观看| 青草久久国产| 国产一区二区三区视频了| 成人18禁在线播放| 欧美日韩乱码在线| 国产欧美日韩一区二区精品| 两个人免费观看高清视频| 真人做人爱边吃奶动态| 中亚洲国语对白在线视频| 国内毛片毛片毛片毛片毛片| 欧美+亚洲+日韩+国产| 成人三级做爰电影| 久久久国产精品麻豆| 亚洲av第一区精品v没综合| 亚洲一区二区三区色噜噜| 女人被狂操c到高潮| 亚洲国产精品999在线| 悠悠久久av| 在线播放国产精品三级| av有码第一页| 亚洲第一av免费看| 欧洲精品卡2卡3卡4卡5卡区| 操出白浆在线播放| 天堂动漫精品| 亚洲国产精品999在线| 欧美激情久久久久久爽电影| 久9热在线精品视频| 美女高潮喷水抽搐中文字幕| 人人妻,人人澡人人爽秒播| 国产伦在线观看视频一区| 日韩欧美在线二视频| 一区二区三区精品91| 国产精品免费一区二区三区在线| 欧美日韩精品网址| 两个人看的免费小视频| 99国产精品一区二区三区| 99在线视频只有这里精品首页| 琪琪午夜伦伦电影理论片6080| 女同久久另类99精品国产91| 精品久久久久久久人妻蜜臀av| 午夜福利在线观看吧| 女生性感内裤真人,穿戴方法视频| 久久国产乱子伦精品免费另类| 91大片在线观看| 免费人成视频x8x8入口观看| 波多野结衣高清无吗| 午夜久久久在线观看| 免费搜索国产男女视频| 国产精品一区二区精品视频观看| 人人妻人人澡人人看| 精品久久久久久久毛片微露脸| 欧美激情久久久久久爽电影| 级片在线观看| 免费看十八禁软件| 国产精品久久久久久精品电影 | 久久久水蜜桃国产精品网| 国产男靠女视频免费网站| 一二三四在线观看免费中文在| 亚洲国产欧美网| 午夜成年电影在线免费观看| 91国产中文字幕| 久久久精品欧美日韩精品| 国产一区在线观看成人免费| 嫩草影视91久久| www日本在线高清视频| 我的亚洲天堂| 国产片内射在线| 国产视频内射| 99在线人妻在线中文字幕| 日韩 欧美 亚洲 中文字幕| 亚洲专区国产一区二区| 欧美又色又爽又黄视频| 麻豆成人av在线观看| 欧美性长视频在线观看| 成人18禁高潮啪啪吃奶动态图| 中出人妻视频一区二区| 一夜夜www| 麻豆成人av在线观看| 国产精品亚洲美女久久久| 国产v大片淫在线免费观看| 在线观看日韩欧美| 日本免费a在线| 日本在线视频免费播放| 亚洲一卡2卡3卡4卡5卡精品中文| www.自偷自拍.com| 高清在线国产一区| 在线av久久热| 免费女性裸体啪啪无遮挡网站| 一区二区三区激情视频| 欧美中文综合在线视频| 俺也久久电影网| 日本 欧美在线| 亚洲国产欧美日韩在线播放| 久久国产精品人妻蜜桃| 国产高清videossex| 久久精品91无色码中文字幕| 搡老妇女老女人老熟妇| 天天添夜夜摸| 国产精品一区二区精品视频观看| 亚洲av片天天在线观看| 黄片大片在线免费观看| 一级片免费观看大全| 亚洲自拍偷在线| 757午夜福利合集在线观看| 中文在线观看免费www的网站 | 村上凉子中文字幕在线| 成人国产综合亚洲| 搡老熟女国产l中国老女人| 欧美成人免费av一区二区三区| 最近在线观看免费完整版| 久9热在线精品视频| 黄片大片在线免费观看| 中文字幕另类日韩欧美亚洲嫩草| 精品久久久久久久毛片微露脸| 亚洲精品粉嫩美女一区| 丰满的人妻完整版| 女警被强在线播放| 欧美中文日本在线观看视频| 久久九九热精品免费| 久久国产精品男人的天堂亚洲| 午夜两性在线视频| 欧美日韩精品网址| 少妇熟女aⅴ在线视频| 人人妻人人看人人澡| 免费在线观看日本一区| 亚洲人成网站高清观看| 99国产精品99久久久久| 黄色片一级片一级黄色片| 日韩视频一区二区在线观看| 国产精品日韩av在线免费观看| 免费电影在线观看免费观看| 国产欧美日韩一区二区三| 9191精品国产免费久久| 日韩大尺度精品在线看网址| 丁香六月欧美| 最近最新中文字幕大全免费视频| 在线观看免费视频日本深夜| 黄色毛片三级朝国网站| 亚洲第一欧美日韩一区二区三区| 成人18禁在线播放| 在线观看免费视频日本深夜| 日韩精品青青久久久久久| 亚洲第一av免费看| 亚洲av成人av| 91成人精品电影| 亚洲精品一区av在线观看| 国产午夜精品久久久久久| 亚洲欧美一区二区三区黑人| 俺也久久电影网| 无人区码免费观看不卡| 免费搜索国产男女视频| 国产精品精品国产色婷婷| www日本黄色视频网| 一区福利在线观看| 亚洲片人在线观看| 国产真人三级小视频在线观看| 神马国产精品三级电影在线观看 | 久久香蕉激情| 亚洲一卡2卡3卡4卡5卡精品中文| 欧美人与性动交α欧美精品济南到| 国产人伦9x9x在线观看| 黄网站色视频无遮挡免费观看| 香蕉av资源在线| 久久天躁狠狠躁夜夜2o2o| 亚洲精品国产一区二区精华液| 好看av亚洲va欧美ⅴa在| 日韩欧美国产一区二区入口| 色综合站精品国产| 三级毛片av免费| 99精品在免费线老司机午夜| 欧美黄色淫秽网站| 禁无遮挡网站| 久久久久久久久免费视频了| 国产精品一区二区免费欧美| 精品国内亚洲2022精品成人| 在线观看免费午夜福利视频| 久久久国产成人精品二区| 中文字幕精品亚洲无线码一区 | 黄色视频不卡| 久久中文字幕人妻熟女| 日韩成人在线观看一区二区三区| 国产v大片淫在线免费观看| 亚洲国产欧美一区二区综合| 亚洲国产中文字幕在线视频| 亚洲第一欧美日韩一区二区三区| 精品一区二区三区四区五区乱码| 成熟少妇高潮喷水视频| 精品久久久久久成人av| www.熟女人妻精品国产| 人妻丰满熟妇av一区二区三区| 淫妇啪啪啪对白视频| 欧美一级毛片孕妇| 亚洲欧美激情综合另类| 欧美一级毛片孕妇| 91老司机精品| 国产v大片淫在线免费观看| 亚洲精品国产一区二区精华液| xxx96com| 色播在线永久视频| 亚洲精品一卡2卡三卡4卡5卡| 18禁观看日本| 妹子高潮喷水视频| 97人妻精品一区二区三区麻豆 | 欧美不卡视频在线免费观看 | 欧洲精品卡2卡3卡4卡5卡区| 欧美日韩瑟瑟在线播放| 成人特级黄色片久久久久久久| 97碰自拍视频| 亚洲 国产 在线| 日韩欧美一区视频在线观看| 一区二区日韩欧美中文字幕| 国产私拍福利视频在线观看| 露出奶头的视频| 久久亚洲真实| 久久午夜亚洲精品久久| 亚洲人成伊人成综合网2020| 伦理电影免费视频| 色精品久久人妻99蜜桃| 国产又爽黄色视频| 国产一级毛片七仙女欲春2 | 在线看三级毛片| 精品一区二区三区四区五区乱码| 免费看十八禁软件| 久久天躁狠狠躁夜夜2o2o| 十八禁人妻一区二区| 国产精品日韩av在线免费观看| 国产精品自产拍在线观看55亚洲| 无遮挡黄片免费观看| 国产一区二区在线av高清观看| 日日干狠狠操夜夜爽| 后天国语完整版免费观看| 精品久久蜜臀av无| 亚洲国产中文字幕在线视频| 好看av亚洲va欧美ⅴa在| 自线自在国产av| 欧美又色又爽又黄视频| av免费在线观看网站| 成人特级黄色片久久久久久久| 国产精品影院久久| av在线播放免费不卡| 亚洲熟妇中文字幕五十中出| 天天添夜夜摸| 国产成人影院久久av| 老司机午夜十八禁免费视频| x7x7x7水蜜桃| 美女 人体艺术 gogo| 色尼玛亚洲综合影院| 高清在线国产一区| 亚洲专区字幕在线| 亚洲国产精品合色在线| 久久婷婷成人综合色麻豆| 香蕉av资源在线| 日日干狠狠操夜夜爽| 无人区码免费观看不卡| 久久久久精品国产欧美久久久| aaaaa片日本免费| 精品午夜福利视频在线观看一区| 国产在线精品亚洲第一网站| 在线国产一区二区在线| av免费在线观看网站| 欧美亚洲日本最大视频资源| 国产又色又爽无遮挡免费看| 亚洲第一青青草原| av视频在线观看入口| 在线观看日韩欧美| 色综合欧美亚洲国产小说| 久久久久久久久免费视频了| 欧美精品啪啪一区二区三区| 国产精品影院久久| 深夜精品福利| 精品久久久久久久末码| 国产日本99.免费观看| 伦理电影免费视频| 久久人妻av系列| 一本大道久久a久久精品| 一卡2卡三卡四卡精品乱码亚洲| 亚洲 欧美一区二区三区| 老司机在亚洲福利影院| 国产男靠女视频免费网站| 国产欧美日韩精品亚洲av| 日韩av在线大香蕉| 老鸭窝网址在线观看| 免费在线观看亚洲国产| 91大片在线观看| 久久精品亚洲精品国产色婷小说| 日韩中文字幕欧美一区二区| 精品国产一区二区三区四区第35| 亚洲性夜色夜夜综合| 欧美人与性动交α欧美精品济南到| 亚洲欧洲精品一区二区精品久久久| 欧美国产日韩亚洲一区| 国产免费男女视频| 妹子高潮喷水视频| 国产免费av片在线观看野外av| 制服丝袜大香蕉在线| 久久九九热精品免费| 观看免费一级毛片| 国产av在哪里看| 一个人观看的视频www高清免费观看 | 国产蜜桃级精品一区二区三区| 日韩欧美一区视频在线观看| 后天国语完整版免费观看| 一级毛片高清免费大全| 一级a爱片免费观看的视频| 日韩欧美国产一区二区入口| 日韩欧美一区二区三区在线观看| 香蕉丝袜av| 丝袜人妻中文字幕| 又大又爽又粗| 精品欧美一区二区三区在线| 9191精品国产免费久久| 亚洲精品在线美女| 两个人免费观看高清视频| 久久中文字幕一级| www.www免费av| 亚洲国产精品久久男人天堂| 熟妇人妻久久中文字幕3abv| 国产又爽黄色视频| 欧美一区二区精品小视频在线| 精品人妻1区二区| 十八禁网站免费在线| 亚洲五月婷婷丁香| 成人三级做爰电影| 超碰成人久久| 女人高潮潮喷娇喘18禁视频| 久久久久久久久久黄片| 母亲3免费完整高清在线观看| 十八禁人妻一区二区| 亚洲国产精品久久男人天堂| 天天一区二区日本电影三级| 嫩草影视91久久| 午夜影院日韩av| 亚洲美女黄片视频| 哪里可以看免费的av片| 午夜福利视频1000在线观看| 久久伊人香网站| 亚洲自偷自拍图片 自拍| 一级a爱视频在线免费观看| 国产精品久久久av美女十八| 久久人妻福利社区极品人妻图片| aaaaa片日本免费| 国产成人欧美在线观看| 国产亚洲精品一区二区www| ponron亚洲| 久久久水蜜桃国产精品网| 一本久久中文字幕| 欧美国产日韩亚洲一区| 欧美激情久久久久久爽电影| 日本 av在线| 狠狠狠狠99中文字幕| 嫁个100分男人电影在线观看| 成人手机av| 久久午夜综合久久蜜桃| 欧美日韩黄片免| 免费av毛片视频| 在线观看午夜福利视频| 亚洲av电影不卡..在线观看| 久久久久国产精品人妻aⅴ院| 精品久久久久久,| 淫秽高清视频在线观看| 精品一区二区三区四区五区乱码| 国产成人一区二区三区免费视频网站| 黑人欧美特级aaaaaa片| 精品不卡国产一区二区三区| 久久亚洲精品不卡| 亚洲aⅴ乱码一区二区在线播放 | 波多野结衣av一区二区av| 90打野战视频偷拍视频| 美女 人体艺术 gogo| 国产亚洲精品综合一区在线观看 | 高清在线国产一区| 天天一区二区日本电影三级| 国产在线观看jvid| 亚洲av电影在线进入| 国内精品久久久久久久电影| 搡老熟女国产l中国老女人| av天堂在线播放| 嫩草影院精品99| 男女视频在线观看网站免费 | 手机成人av网站| 天堂√8在线中文| 99热只有精品国产| 久久精品国产亚洲av高清一级| 热99re8久久精品国产| 亚洲 欧美一区二区三区| 大型黄色视频在线免费观看| 国产av不卡久久| 视频在线观看一区二区三区| 欧美久久黑人一区二区| 日本熟妇午夜| 丁香欧美五月| 精品久久久久久久末码| 在线观看午夜福利视频| 丰满人妻熟妇乱又伦精品不卡| 男男h啪啪无遮挡| 亚洲成人久久性| 国产精品一区二区三区四区久久 | 亚洲av成人av| 热99re8久久精品国产| 国产亚洲精品综合一区在线观看 | tocl精华| 久久伊人香网站| 黑人巨大精品欧美一区二区mp4| 欧美黑人欧美精品刺激| cao死你这个sao货| 国内久久婷婷六月综合欲色啪| 啦啦啦观看免费观看视频高清| 欧美不卡视频在线免费观看 | 国产精品久久久久久精品电影 | 久99久视频精品免费| 国产伦一二天堂av在线观看| 老汉色av国产亚洲站长工具| 亚洲熟女毛片儿| 国产91精品成人一区二区三区| 最新在线观看一区二区三区| 欧美亚洲日本最大视频资源| 精品久久久久久久末码| 欧美绝顶高潮抽搐喷水| 色婷婷久久久亚洲欧美| 亚洲 国产 在线| 久久精品成人免费网站| av电影中文网址| 19禁男女啪啪无遮挡网站| 亚洲真实伦在线观看| 亚洲五月婷婷丁香| 精品福利观看| 黄频高清免费视频| 免费一级毛片在线播放高清视频| 亚洲成人国产一区在线观看| 久久久久国产一级毛片高清牌| 久久欧美精品欧美久久欧美| 国产亚洲av嫩草精品影院| 国产精品免费视频内射| 亚洲九九香蕉| 一区二区三区国产精品乱码| 久久久久亚洲av毛片大全| 免费搜索国产男女视频| 91老司机精品| 草草在线视频免费看| 精品无人区乱码1区二区| 老汉色∧v一级毛片| 亚洲国产精品成人综合色| 国产亚洲精品av在线| 亚洲av成人av| 最新美女视频免费是黄的| 亚洲片人在线观看| 成年女人毛片免费观看观看9| av天堂在线播放| 人人妻人人澡人人看| 老熟妇仑乱视频hdxx| 久久午夜亚洲精品久久| 国产视频一区二区在线看| av视频在线观看入口| 一本综合久久免费| 日韩视频一区二区在线观看| 国产1区2区3区精品| 波多野结衣高清作品| 成人18禁高潮啪啪吃奶动态图| 日韩欧美一区视频在线观看| 久久草成人影院| 人人妻,人人澡人人爽秒播| bbb黄色大片| 老司机靠b影院| a在线观看视频网站| 国产黄片美女视频| 精品免费久久久久久久清纯| 国产熟女xx| 嫩草影院精品99| 色综合婷婷激情| 日韩三级视频一区二区三区| 午夜免费鲁丝| 亚洲男人天堂网一区| 制服人妻中文乱码| 国产欧美日韩一区二区三| 欧美国产日韩亚洲一区| 日本 av在线| www.精华液| 一区福利在线观看| 亚洲avbb在线观看| 男女之事视频高清在线观看| 亚洲人成伊人成综合网2020| 久久欧美精品欧美久久欧美| 国产麻豆成人av免费视频| 久久精品人妻少妇| 久久这里只有精品19| 成人国产一区最新在线观看| 国产麻豆成人av免费视频| 韩国精品一区二区三区| 国产极品粉嫩免费观看在线| 大型黄色视频在线免费观看| 热99re8久久精品国产| 波多野结衣高清无吗| 国产精品美女特级片免费视频播放器 | 日韩三级视频一区二区三区| 中文字幕久久专区| 一二三四社区在线视频社区8| 精品久久久久久久久久免费视频| 午夜a级毛片| 黄频高清免费视频| 无限看片的www在线观看| 亚洲av电影在线进入| 啦啦啦观看免费观看视频高清| 国产精品久久久久久精品电影 | 熟女电影av网| 一个人观看的视频www高清免费观看 | 日韩av在线大香蕉| 香蕉久久夜色| 亚洲第一青青草原| 欧美国产日韩亚洲一区| 美女免费视频网站| 日韩一卡2卡3卡4卡2021年| 夜夜看夜夜爽夜夜摸| 日本a在线网址| 国产亚洲精品一区二区www| 免费人成视频x8x8入口观看| 动漫黄色视频在线观看| 精品一区二区三区四区五区乱码| 搡老岳熟女国产| 中文在线观看免费www的网站 | 午夜福利免费观看在线| 又黄又粗又硬又大视频| 久久久久久久精品吃奶| 日韩欧美 国产精品| 免费在线观看亚洲国产| 日本 av在线| 日本一本二区三区精品| 久久久精品欧美日韩精品| 欧美 亚洲 国产 日韩一| 日本 欧美在线| 999久久久精品免费观看国产| 国产国语露脸激情在线看| 亚洲成人精品中文字幕电影| 天堂影院成人在线观看| 亚洲精品粉嫩美女一区| 日韩国内少妇激情av| 色精品久久人妻99蜜桃| 成人国产一区最新在线观看| 国产亚洲欧美精品永久| 波多野结衣高清作品| 好看av亚洲va欧美ⅴa在| 亚洲精华国产精华精| 国产高清视频在线播放一区| 欧美黄色淫秽网站| 1024香蕉在线观看| 麻豆一二三区av精品| 成人午夜高清在线视频 | 国产成人精品无人区| 欧美成人午夜精品| 美女 人体艺术 gogo| avwww免费| 免费观看精品视频网站| 听说在线观看完整版免费高清| 亚洲午夜精品一区,二区,三区| 午夜福利视频1000在线观看| 国产精品影院久久| 成人18禁在线播放| 久久久久久久午夜电影| 欧美国产精品va在线观看不卡| 日韩高清综合在线| 欧美日本亚洲视频在线播放| svipshipincom国产片| 国产精品九九99| 亚洲一区中文字幕在线| 麻豆成人午夜福利视频| 波多野结衣av一区二区av| 久久人妻av系列| 黄色视频,在线免费观看| 黄色成人免费大全| 无人区码免费观看不卡| 欧美黑人精品巨大| 午夜免费鲁丝| 亚洲欧美一区二区三区黑人| 国产一级毛片七仙女欲春2 | 人人妻人人澡欧美一区二区| √禁漫天堂资源中文www| 亚洲中文av在线| 久久国产精品影院| x7x7x7水蜜桃| 免费av毛片视频| 亚洲av成人一区二区三| 中亚洲国语对白在线视频| 国产高清视频在线播放一区| 法律面前人人平等表现在哪些方面| 天天添夜夜摸| 国产午夜福利久久久久久| 国产又色又爽无遮挡免费看| 免费在线观看日本一区| 亚洲 欧美 日韩 在线 免费| 性色av乱码一区二区三区2| 久久婷婷成人综合色麻豆| svipshipincom国产片| 免费看美女性在线毛片视频| 日韩欧美 国产精品| 久久久久精品国产欧美久久久| 精品国产乱码久久久久久男人| 国产高清视频在线播放一区| 日韩欧美国产在线观看| 久久精品国产亚洲av高清一级| 老司机靠b影院| 精品久久久久久久久久久久久 | 精品久久久久久久久久免费视频| 亚洲七黄色美女视频|