• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于動(dòng)態(tài)詞匯編碼的樹(shù)形神經(jīng)機(jī)器翻譯

    2022-10-01 03:47:36席紅旗蔣亞平
    關(guān)鍵詞:樹(shù)形編碼器短語(yǔ)

    席紅旗,蔣亞平

    (1.河南財(cái)政金融學(xué)院 計(jì)算機(jī)與信息技術(shù)學(xué)院,河南 鄭州 450000;2.鄭州輕工業(yè)大學(xué) 計(jì)算機(jī)與通信工程學(xué)院,河南 鄭州 450000)

    0 引 言

    隨著機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)的不斷發(fā)展,神經(jīng)機(jī)器翻譯(neural machine translation,NMT)由于其較強(qiáng)的翻譯能力得到了廣泛的應(yīng)用[1,2]。NMT最廣泛采用的框架是編碼器-解碼器模型,該模型首先將源語(yǔ)句映射到分布式表示中,然后通過(guò)利用軟注意機(jī)制循環(huán)生成目標(biāo)詞[3]。先前研究中的大多數(shù)編碼器都使用雙向遞歸神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNNs)來(lái)編碼源端順序的上下文[4]。Sennrich等指出,這類(lèi)模型的不足之處是缺乏對(duì)語(yǔ)法信息的考慮,即沒(méi)有對(duì)長(zhǎng)距離單詞之間的依賴(lài)關(guān)系進(jìn)行完整的建模[5]。為解決該問(wèn)題,學(xué)者們提出了幾種語(yǔ)法感知的NMT模型[6-9]。從模型架構(gòu)的角度來(lái)看,可以將這些基于語(yǔ)法的NMT模型分為兩種方法:通過(guò)線(xiàn)性化結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)或樹(shù)型結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)對(duì)語(yǔ)法結(jié)構(gòu)進(jìn)行建模。

    樹(shù)型結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)根據(jù)句子的語(yǔ)法結(jié)構(gòu)對(duì)句子進(jìn)行編碼。在這種背景下,Socher等證明,在順序RNN層上按照語(yǔ)法結(jié)構(gòu)對(duì)源語(yǔ)句進(jìn)行進(jìn)一步編碼有益于捕獲更多源端語(yǔ)言信息。盡管基于樹(shù)形方法已在多個(gè)翻譯任務(wù)中獲得了較好效果,但該類(lèi)別下的方法仍面臨一些問(wèn)題:

    ①詞匯信息在構(gòu)成結(jié)構(gòu)的內(nèi)部節(jié)點(diǎn)的構(gòu)成中被過(guò)度使用。Yang等指出,使用短語(yǔ)結(jié)構(gòu)編碼器可能會(huì)導(dǎo)致過(guò)度翻譯問(wèn)題[10]。此外,隨著語(yǔ)法結(jié)構(gòu)的使用,模型參數(shù)數(shù)量會(huì)不斷增加,且其中的短語(yǔ)節(jié)點(diǎn)可能并不總是有益于神經(jīng)翻譯模型。②樹(shù)形RNN模型采用子和架構(gòu),該架構(gòu)依賴(lài)于預(yù)定義數(shù)量的子節(jié)點(diǎn)。因此,基于成分的模型通常用二叉樹(shù)進(jìn)行處理,在某種程度上,這限制了它在計(jì)算短語(yǔ)表示時(shí)考慮遠(yuǎn)程上下文之間的依賴(lài)關(guān)系,從而忽略了對(duì)于正確解釋源語(yǔ)句語(yǔ)義至關(guān)重要的單詞依存關(guān)系。③Socher等證明單一的權(quán)重參數(shù)集不足以完全捕獲解析和文本分類(lèi)任務(wù)中語(yǔ)言短語(yǔ)的語(yǔ)法和語(yǔ)義豐富性,因此NMT也無(wú)法適應(yīng)翻譯過(guò)程中存在的語(yǔ)法語(yǔ)義豐富性。

    針對(duì)樹(shù)形神經(jīng)機(jī)器翻譯方法存在的局限性,提出了一種動(dòng)態(tài)詞匯化依賴(lài)編碼的樹(shù)形神經(jīng)機(jī)器翻譯方法。實(shí)例驗(yàn)證了所提出的模型在參數(shù)更少的情況下優(yōu)于兩個(gè)先前的模型,對(duì)于機(jī)器翻譯、領(lǐng)域知識(shí)庫(kù)自動(dòng)構(gòu)建等領(lǐng)域具有較大應(yīng)用價(jià)值。

    1 樹(shù)形序列神經(jīng)機(jī)器翻譯

    1.1 基于依賴(lài)關(guān)系的編碼器

    樹(shù)形序列神經(jīng)機(jī)器翻譯系統(tǒng)的思想是建立一個(gè)考慮源語(yǔ)句的語(yǔ)法結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)。給定一個(gè)源語(yǔ)句X=(x1,…,xN) 及其語(yǔ)法樹(shù)T, 對(duì)模型進(jìn)行訓(xùn)練,從而在并行訓(xùn)練語(yǔ)料庫(kù)上實(shí)現(xiàn)目標(biāo)值Y=(y1,…,yM) 的條件翻譯概率p(Y|X,T) 最大化。

    (1)

    (2)

    (3)

    圖1 傳統(tǒng)的樹(shù)形編碼翻譯器

    (4)

    (5)

    1.2 順序解碼器

    目標(biāo)句子由RNN順序預(yù)測(cè),使用非線(xiàn)性函數(shù)fsoftmax計(jì)算第j個(gè)目標(biāo)詞yj的條件概率

    (6)

    上下文向量dj是由注意力模型計(jì)算的,該注意力模型用于將每個(gè)解碼的隱藏狀態(tài)與源端表示形式進(jìn)行軟對(duì)齊

    (7)

    (8)

    (9)

    其中,Va、Ua、Wa和ba是模型參數(shù)。

    2 詞匯化依賴(lài)編碼

    2.1 建模依賴(lài)

    如圖1所示,成分表示向量是從其子節(jié)點(diǎn)表示得到的,成分節(jié)點(diǎn)下面的葉節(jié)點(diǎn)處的詞匯信息會(huì)被重復(fù)使用,并傳播到根路徑上的所有內(nèi)部節(jié)點(diǎn)。這導(dǎo)致以下情況:無(wú)論成分節(jié)點(diǎn)是否參與解碼,在目標(biāo)詞的預(yù)測(cè)中始終考慮相同的詞法信息。Yang等和Chen等指出,對(duì)短語(yǔ)表示進(jìn)行條件限制時(shí),如果沒(méi)有適當(dāng)?shù)目刂?,可能?huì)導(dǎo)致翻譯過(guò)度的問(wèn)題,即部分源句被多次翻譯[12,13]。解決此問(wèn)題的另一種方法是要么將成分結(jié)構(gòu)的內(nèi)部節(jié)點(diǎn)詞匯化,要么使用依賴(lài)關(guān)系結(jié)構(gòu)對(duì)句子的語(yǔ)法建模,在這種依賴(lài)性結(jié)構(gòu)中,每個(gè)節(jié)點(diǎn)自然都被詞匯化。此外,對(duì)于正確地解釋源句子的語(yǔ)義至關(guān)重要的單詞之間的依賴(lài)關(guān)系可能無(wú)法直接體現(xiàn)在連續(xù)的短語(yǔ)結(jié)構(gòu)中。在一個(gè)句子中,頭詞和它的依存詞之間可能有很大的距離。圖2顯示了一個(gè)句子依賴(lài)結(jié)構(gòu)的示例,其中單詞對(duì)之間的頭部依賴(lài)關(guān)系被直接鏈接。與依賴(lài)關(guān)系圖相比,信息流更直接,同時(shí),它給出了更簡(jiǎn)單的網(wǎng)絡(luò)體系結(jié)構(gòu),與其中引入了附加節(jié)點(diǎn)來(lái)代表句子成分的成分結(jié)構(gòu)相反。使用依賴(lài)結(jié)構(gòu)對(duì)句子的語(yǔ)法進(jìn)行建模能夠緩解上述問(wèn)題。

    圖2 單詞之間的頭部依賴(lài)關(guān)系在依賴(lài)關(guān)系樹(shù)中表示

    研究表明,自上向下的編碼方法可以更好地傳播和捕獲全局語(yǔ)法和語(yǔ)義信息[14]。為了攜帶語(yǔ)法信息并減少相應(yīng)單詞之間的距離,提出從核心詞到其依存詞的對(duì)源句子進(jìn)行遞歸編碼。如圖3所示,其中灰線(xiàn)表示單詞嵌入的輸入,黑線(xiàn)表示頭部依賴(lài)關(guān)系,左和右直線(xiàn)表示從頭到右依存和從頭到左依存順序編碼的方向。以h0作為根節(jié)點(diǎn)的隱藏狀態(tài),首先將核心詞“l(fā)ive”編碼為h1, 然后再編碼其左、右依存詞“We”和“places”分別變成h2和h3。 帶箭頭的黑線(xiàn)表示依賴(lài)性。首先對(duì)核心詞(最重要的信息)和其依存詞(補(bǔ)充信息)建模。表1中說(shuō)明了編碼過(guò)程,“Current”,“Head”和“Sibling”表示當(dāng)前編碼的單詞、父單詞和兄弟單詞,其表示在每個(gè)時(shí)間步都輸入到變體GRU中?!癐NIT”表示初始隱藏狀態(tài)為的根節(jié)點(diǎn)。

    圖3 詞匯化依賴(lài)編碼器

    表1 每個(gè)時(shí)間步的編碼過(guò)程

    2.2 建模順序上下文

    在一個(gè)普通的基于樹(shù)形模型中,樹(shù)節(jié)點(diǎn)的表示是在二叉化的成分樹(shù)之后遞歸構(gòu)建的,這增加了結(jié)構(gòu)的深度,并沒(méi)有充分考慮順序上下文。依賴(lài)樹(shù)是一個(gè)有序圖,它包含頭部依賴(lài)關(guān)系以及依存詞到其頭部的相對(duì)位置。在所提出的方法中,為了對(duì)順序信息進(jìn)行建模,將共享相同頭部的依存詞在中心以圓形方式順序編碼,即從頭到左的依賴(lài)和從頭到右的依賴(lài)。以頭節(jié)點(diǎn)h3為例,h4和h5是左依存詞,而h6是右依存詞。箭頭指示遞歸計(jì)算依賴(lài)關(guān)系的方向,如圖3所示。

    (10)

    (11)

    (12)

    2.3 初始狀態(tài)

    為了用全局信息豐富源表示,僅將初始隱藏狀態(tài)h0視為根節(jié)點(diǎn)的表示,并通過(guò)提供其下層的平均值,即由雙向RNN生成的表示,對(duì)其進(jìn)行初始化,即

    (13)

    由于源側(cè)隱藏狀態(tài)是以詞匯化的方式計(jì)算的,因此很容易將提出的模型與標(biāo)準(zhǔn)的NMT解碼器組合在一起。根據(jù)文獻(xiàn)[15],將源端隱藏狀態(tài)的平均值定義為解碼器的初始隱藏狀態(tài)

    (14)

    然后,將源隱藏狀態(tài)傳遞給標(biāo)準(zhǔn)注意力模型以預(yù)測(cè)目標(biāo)詞的條件概率。

    3 上下文特定參數(shù)調(diào)整

    3.1 潛在向量

    傳統(tǒng)方法的另一個(gè)缺點(diǎn)是它在整個(gè)合成過(guò)程中遞歸地使用相同的共享合成函數(shù),并且由于無(wú)法捕獲語(yǔ)言短語(yǔ)的語(yǔ)法和語(yǔ)義豐富性而缺乏表達(dá)能力。Liu等提到在所有語(yǔ)義組成規(guī)則之間共享的相同參數(shù)可能無(wú)法捕獲文本分類(lèi)和語(yǔ)義匹配任務(wù)上語(yǔ)義結(jié)構(gòu)的豐富性。為了處理由文獻(xiàn)[16]啟發(fā)的語(yǔ)義組合中的多樣性所引起的擬合不足問(wèn)題,進(jìn)一步采用了由元網(wǎng)絡(luò)生成的低維潛在向量z, 以動(dòng)態(tài)調(diào)節(jié)上下文特定的參數(shù)。

    (15)

    圖4 依賴(lài)模型框架

    3.2 動(dòng)態(tài)參數(shù)

    (16)

    (17)

    4 實(shí)驗(yàn)與分析

    4.1 實(shí)驗(yàn)設(shè)置

    本文進(jìn)行了一組關(guān)于英漢翻譯任務(wù)的實(shí)驗(yàn)。使用LDC語(yǔ)料庫(kù)的并行數(shù)據(jù)訓(xùn)練模型,使用NIST 08數(shù)據(jù)集進(jìn)行開(kāi)發(fā),并在NIST 06測(cè)試集上進(jìn)行評(píng)估。使用NiuTrans的中文分詞工具包對(duì)中文句子進(jìn)行了分段。此外還在WMT14上針對(duì)英語(yǔ)-德語(yǔ)翻譯任務(wù)中更為突出的數(shù)據(jù)集上對(duì)提出的模型進(jìn)行了訓(xùn)練,其中使用newstest13數(shù)據(jù)集開(kāi)發(fā)模型并在newstest14數(shù)據(jù)集上進(jìn)行檢查。對(duì)于傳統(tǒng)的基于樹(shù)形模型和本文提出的模型,使用基于Shift-Reduce算法的Stanford Parser解析英語(yǔ)句子,并分別獲得二進(jìn)制成分樹(shù)和依賴(lài)樹(shù)。該解析器在各種解析任務(wù)上均取得了較好的效果,在English Penn Treebank(PTB)上的準(zhǔn)確度達(dá)到92.0%。出于計(jì)算效率的原因,超過(guò)50個(gè)單詞的句子被排除在訓(xùn)練集中。通過(guò)最常用的30K(英語(yǔ)-漢語(yǔ))和50K(英語(yǔ)-德語(yǔ))單詞作為源詞匯和目標(biāo)詞匯,在兩個(gè)平行語(yǔ)料庫(kù)的源端和目標(biāo)端分別覆蓋了約99.8%/97.9%和97.6%/94.5%。所有詞匯量以外的詞都映射到特殊標(biāo)記“UNK”。表2展示了過(guò)濾后的數(shù)據(jù)集的句子數(shù)。

    表2 實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)

    為了實(shí)現(xiàn)可比性,在本研究中,所有比較的NMT模型都是基于廣泛使用的NMT源代碼dl4mt實(shí)現(xiàn)的。NMT的參數(shù)設(shè)置如下:模型使用500維單詞嵌入和隱藏單元。為了進(jìn)行公平的比較,建立了一個(gè)額外的順序模型,該模型的維數(shù)為700,該模型需要有與提出的模型相當(dāng)數(shù)量的參數(shù)。為了防止過(guò)度擬合,在每個(gè)時(shí)期之后對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行混洗。最小批量大小設(shè)置為50個(gè)句子。在解碼過(guò)程中,采用波束搜索算法來(lái)預(yù)測(cè)每一步的輸出單詞,并且波束搜索的大小為5。盡早停止對(duì)每個(gè)模型的訓(xùn)練,以最大程度地減少開(kāi)發(fā)集上的疑慮。此外,使用Adadelta優(yōu)化模型參數(shù),其中學(xué)習(xí)率根據(jù)梯度的變化進(jìn)行調(diào)整。使用BLEU度量標(biāo)準(zhǔn)評(píng)估相對(duì)于參考文獻(xiàn)的翻譯準(zhǔn)確性,對(duì)比系統(tǒng)為:

    (1)順序編碼器:一種廣泛使用的逐序列基線(xiàn),沒(méi)有對(duì)句子的語(yǔ)法結(jié)構(gòu)進(jìn)行任何顯式建模。

    (2)成分編碼器:傳統(tǒng)的樹(shù)形序列基線(xiàn),它使用基于雙向樹(shù)形編碼器。

    (3)順序依賴(lài)編碼器:具有源方依賴(lài)性信息的順序到順序框架的表示。該模型用兩個(gè)附加的RNNs擴(kuò)展了原始的順序編碼器,以對(duì)源依賴(lài)結(jié)構(gòu)派生的頭富集和子富集序列進(jìn)行建模。

    (4)詞匯化的依賴(lài)編碼器:立即將源依賴(lài)結(jié)構(gòu)利用到編碼器中。

    4.2 英漢翻譯

    4.2.1 詞匯化依賴(lài)

    實(shí)驗(yàn)結(jié)果總結(jié)見(jiàn)表3?!?00 d”和“700 d”表示順序編碼器的隱藏大小,分別設(shè)置為500和700。第三列表示每個(gè)編碼器的參數(shù)數(shù)量?!坝?xùn)練”和“解碼”表示在一個(gè)GeForce GTX 1080 GPU上檢查的訓(xùn)練和解碼速度。最后一欄是通過(guò)BLEU分?jǐn)?shù)評(píng)估的英漢測(cè)試集的翻譯準(zhǔn)確性。粗體表示動(dòng)態(tài)詞匯化依賴(lài)編碼器明顯優(yōu)于普通的基于成分的編碼器(模型#3)(p<0.01)?;谝蕾?lài)的編碼器(模型#6和#8)均優(yōu)于傳統(tǒng)的順序編碼器(模型#1和#2)和傳統(tǒng)的成分模型(模型#3)。這揭示了依賴(lài)方法在結(jié)構(gòu)上下文中對(duì)源端表示進(jìn)行建模的有效性。關(guān)于依賴(lài)模型對(duì)比,所提出的詞匯化依賴(lài)模型(模型#8)優(yōu)于其線(xiàn)性化依賴(lài)模型(模型#6)。分析可知提高的原因是:后者按順序構(gòu)建依賴(lài)關(guān)系,但仍然僅限于捕獲長(zhǎng)距離依賴(lài)關(guān)系,而所提出的模型能夠通過(guò)層次結(jié)構(gòu)直接對(duì)依賴(lài)關(guān)系進(jìn)行建模。

    表3 英漢翻譯結(jié)果

    進(jìn)一步評(píng)估了捕獲順序上下文信息能力的模型。如前文所述,通過(guò)刪除雙向順序編碼層,它對(duì)成分模型(模型#4)的翻譯質(zhì)量產(chǎn)生了巨大影響。英漢翻譯任務(wù)中的6.73 BLEU得分大幅下降,表明成分模型的成功取決于順序RNNs所學(xué)習(xí)的上下文。相反,在不使用顯式單詞序列的情況下,基于依賴(lài)關(guān)系的方法(模型#7和模型#10)的性能優(yōu)于常規(guī)樹(shù)方法(模型#4),產(chǎn)生的結(jié)果要高得多。這證實(shí)了提出的理論,即在某種程度上,所提出的依賴(lài)模型能夠通過(guò)對(duì)兄弟節(jié)點(diǎn)的相對(duì)位置進(jìn)行建模來(lái)捕獲順序上下文。

    4.2.2 動(dòng)態(tài)參數(shù)

    潛在向量z控制基本網(wǎng)絡(luò)的性能,其維數(shù)確定模型參數(shù)的數(shù)量。本文研究了25、50、75、100、150和200不同維度模型的動(dòng)態(tài)組成機(jī)制,而文獻(xiàn)[14]的工作只評(píng)估了25以下小維度的z。 圖5中的實(shí)驗(yàn)結(jié)果表明,即使向量z的大小減小到25,該模型仍然可以在編碼器中以少2倍的參數(shù)獲得可觀的性能。通過(guò)研究翻譯質(zhì)量和模型大小的組合,將z的維數(shù)設(shè)置為100。x軸表示的維數(shù)。圖5(a)的y軸報(bào)告編碼器所需的參數(shù)數(shù)量,圖5(b)的y軸顯示在英漢驗(yàn)證集上評(píng)估的BLEU得分。

    圖5 實(shí)驗(yàn)結(jié)果

    如圖5所示,通過(guò)利用動(dòng)態(tài)參數(shù),成分模型和提出的依賴(lài)模型(模型#5和模型#10)都可以用更少的參數(shù)實(shí)現(xiàn)漸進(jìn)式改進(jìn)。從結(jié)果可知,以潛在向量為組成函數(shù)的動(dòng)態(tài)參數(shù)有助于捕獲各種語(yǔ)法模式,因此可以更準(zhǔn)確地對(duì)源端信息進(jìn)行建模。另外,順序依賴(lài)性編碼器(模型#6)由于其元網(wǎng)絡(luò)體系結(jié)構(gòu)的不兼容性問(wèn)題而無(wú)法從元網(wǎng)絡(luò)帶來(lái)的優(yōu)勢(shì)中受益。此外,每個(gè)編碼器所需參數(shù)的統(tǒng)計(jì)數(shù)據(jù)表明,與傳統(tǒng)的基于樹(shù)形模型相比,提出的模型所需的模型參數(shù)更少,并且得到的處理速度更快。

    順序編碼器(模型#1)和基于成分的編碼器(模型#3)在相同數(shù)據(jù)上均勝過(guò)報(bào)告的結(jié)果。通過(guò)將所有上述改進(jìn)集成到NMT系統(tǒng)中,提出的動(dòng)態(tài)詞匯化依賴(lài)編碼器(模型#10)在參數(shù)尺寸較小的情況下,明顯優(yōu)于基于成分的編碼器(模型#3)(+0.84 BLEU評(píng)分)。所提出的模型展示了從順序和結(jié)構(gòu)性上下文對(duì)源端表示進(jìn)行有效建模的能力。

    4.3 英語(yǔ)-德語(yǔ)翻譯

    在大型訓(xùn)練數(shù)據(jù)(4.5 M)上評(píng)估基于樹(shù)形NMT模型并進(jìn)行英語(yǔ)-德語(yǔ)翻譯。如表4所示,動(dòng)態(tài)詞匯化依賴(lài)編碼器明顯優(yōu)于成分編碼器(p<0.01),在英語(yǔ)-德語(yǔ)翻譯任務(wù)中,所提出的模型始終優(yōu)于成分編碼器和順序編碼器,顯示了提出方法的有效性和普遍性。但是,相對(duì)于順序模型,本文提出的方法在英語(yǔ)-德語(yǔ)翻譯任務(wù)中獲得了+0.52的BLEU分?jǐn)?shù),這與英語(yǔ)-漢語(yǔ)實(shí)驗(yàn)相比是微不足道的(+1.05 的BLEU分?jǐn)?shù)),原因一方面可能是德語(yǔ)屬于一種語(yǔ)義更為豐富的語(yǔ)言,其次在英語(yǔ)到德語(yǔ)的翻譯中,只使用了有限的詞匯,經(jīng)常使用50k個(gè)單詞,它僅覆蓋了德國(guó)訓(xùn)練數(shù)據(jù)上94.5%的詞匯量,因此存在模型訓(xùn)練期間引入詞匯不足的問(wèn)題。

    表4 英語(yǔ)-德語(yǔ)翻譯任務(wù)的翻譯結(jié)果

    5 結(jié)果分析

    5.1 對(duì)比分析

    根據(jù)等式(3),短語(yǔ)表示僅從其子節(jié)點(diǎn)的隱藏狀態(tài)中得出,并考慮了單詞的語(yǔ)法和語(yǔ)義關(guān)系。隨著子樹(shù)深度的增加,可以認(rèn)為上層短語(yǔ)表示的隱藏狀態(tài)很難較好地學(xué)習(xí)語(yǔ)法信息。為了深入評(píng)估各個(gè)級(jí)別的短語(yǔ)表示形式對(duì)翻譯質(zhì)量的影響,對(duì)英漢翻譯任務(wù)進(jìn)行了多次實(shí)驗(yàn)。模型允許在不同層次的組成樹(shù)上公開(kāi)參與限制短語(yǔ)表示。通過(guò)控制方程(7)的變量i來(lái)訓(xùn)練這些模型。

    如表5所示的實(shí)驗(yàn)結(jié)果,考慮了組成樹(shù)中靠近根(上層)的節(jié)點(diǎn)表示的模型(模型#5、模型#6、模型#7),其翻譯質(zhì)量比那些上層短語(yǔ)向量的模型(模型#1、模型#2、模型#3、模型#4)要稍差一些。此外,忽略葉表示的模型(模型#8)可能會(huì)比其它同樣受葉節(jié)點(diǎn)約束的模型表現(xiàn)差。這表明在解碼過(guò)程中考慮源側(cè)高級(jí)短語(yǔ)表示會(huì)明顯損害翻譯質(zhì)量。

    表5 驗(yàn)證集上的翻譯結(jié)果對(duì)比

    5.2 詞匯化形式

    關(guān)于較低節(jié)點(diǎn)例如葉節(jié)點(diǎn)及其直接父節(jié)點(diǎn)的表示,在提出的詞匯化模型與模型#1、模型#2之間僅存在少量改進(jìn)??梢詫⒖s小的差距歸因于以下事實(shí):用語(yǔ)法信息更新詞法表示時(shí),該信息從上層節(jié)點(diǎn)通過(guò)自上而下的編碼傳播。通過(guò)對(duì)組成樹(shù)進(jìn)行詞匯化,傳統(tǒng)的基于樹(shù)形模型能夠獲得與依賴(lài)編碼器可比的結(jié)果,從而驗(yàn)證了詞匯化形式在神經(jīng)機(jī)器翻譯上下文中的有效性。但是基于依賴(lài)的模型和基于成分的模型之間仍然存在差距,原因是前者直接捕獲單詞的長(zhǎng)距離依賴(lài),而后者則不能。

    5.3 長(zhǎng)句分析

    進(jìn)一步評(píng)估了所提出的依賴(lài)模型對(duì)長(zhǎng)句子的影響。如圖6所示,根據(jù)句子的長(zhǎng)度將句子分成10個(gè)不相交的組,并對(duì)其BLEU分?jǐn)?shù)進(jìn)行評(píng)估,Y軸表示提出的模型和成分編碼器之間的BLEU得分差距。所提出的方法在幾乎所有長(zhǎng)度段中都優(yōu)于成分模型。結(jié)果表明,所提出的依賴(lài)編碼器在對(duì)長(zhǎng)距離依賴(lài)進(jìn)行建模時(shí)表現(xiàn)更好,從而對(duì)長(zhǎng)句實(shí)現(xiàn)了更好的翻譯質(zhì)量。

    圖6 輸入句子的長(zhǎng)度對(duì)翻譯性能的影響

    5.4 過(guò)度翻譯

    在沒(méi)有適當(dāng)?shù)乜刂苼?lái)自結(jié)構(gòu)表示形式的信息流的比例的情況下,成分模型往往會(huì)過(guò)度翻譯句子,尤其是構(gòu)成要素的翻譯。從對(duì)翻譯結(jié)果的觀察進(jìn)一步驗(yàn)證了這一現(xiàn)象。選擇并檢查由兩個(gè)或多個(gè)連續(xù)的相同短語(yǔ)或片段組成的句子。如圖7所示,根據(jù)重復(fù)短語(yǔ)的長(zhǎng)度,將統(tǒng)計(jì)數(shù)據(jù)分為5個(gè)不相交的組。顯然,與連續(xù)模型相比,成分模型產(chǎn)生較多的過(guò)度翻譯,尤其是在較短的短語(yǔ)上(N<4)。所提出的依賴(lài)模型能夠減輕這個(gè)問(wèn)題,并且比其順序?qū)?yīng)模型產(chǎn)生更少的過(guò)度翻譯。

    圖7 重復(fù)翻譯結(jié)果

    5.5 定性分析

    5.5.1 歧義表現(xiàn)分析

    在表6的第一個(gè)示例中,順序編碼模型錯(cuò)誤地將“signed up”轉(zhuǎn)換為“署名(signature)”,這在上下文中是不正確的,而兩個(gè)樹(shù)模型都給出了正確的翻譯“簽約(sign a contract)”。可以將其歸因于樹(shù)模型的能力,該樹(shù)模型在某種程度上能夠捕獲“sign”和“up”的關(guān)系并消除詞義的歧義,表明在NMT中對(duì)語(yǔ)法結(jié)構(gòu)進(jìn)行建模對(duì)翻譯是有效的。關(guān)于第二個(gè)翻譯錯(cuò)誤,順序編碼模型和成分編碼模型都不能很好地解釋“play”,“music”和“piano”之間的關(guān)系,從而導(dǎo)致錯(cuò)誤的翻譯“play...with a music player(播放)”,而不是“perform piano(演奏)”。但是,在依賴(lài)編碼模型中,這些詞的依賴(lài)關(guān)系以更直接的方式連接在一起,而不管它們?cè)诰渥又械奈恢萌绾?,從而產(chǎn)生了更加可靠的翻譯“演奏”。

    5.5.2 過(guò)度翻譯問(wèn)題

    如表6中的第二個(gè)示例所示。成分編碼模型將短語(yǔ)“the same aspiration working in the same industry”翻譯了兩次??梢酝茢鄦?wèn)題主要是由句子的遞歸結(jié)構(gòu)引起的。它允許注意力模型對(duì)不同層次的成分施加條件,這些成分可能攜帶共同的詞匯信息。在提出的依賴(lài)編碼模型中,遞歸結(jié)構(gòu)隱含在依賴(lài)結(jié)構(gòu)中,因此自然緩解了過(guò)度翻譯的問(wèn)題。

    表6 不同模型生成的翻譯示例

    6 結(jié)束語(yǔ)

    本文針對(duì)樹(shù)形神經(jīng)機(jī)器翻譯方法存在的局限性,提出了一種動(dòng)態(tài)詞匯化依賴(lài)編碼的樹(shù)形神經(jīng)機(jī)器翻譯方法。通過(guò)實(shí)例數(shù)據(jù)分析可知:

    (1)解碼過(guò)程中考慮源側(cè)高級(jí)短語(yǔ)表示會(huì)明顯損害翻譯質(zhì)量,動(dòng)態(tài)詞匯化編碼在神經(jīng)機(jī)器翻譯上下文中能夠兼顧順序模型與依賴(lài)模型的優(yōu)點(diǎn)。從而對(duì)長(zhǎng)句實(shí)現(xiàn)了更好的翻譯質(zhì)量。所提出的依賴(lài)模型能夠減輕這個(gè)問(wèn)題,并且比其順序?qū)?yīng)模型產(chǎn)生更少的過(guò)度翻譯。

    (2)潛在向量動(dòng)態(tài)調(diào)節(jié)每個(gè)節(jié)點(diǎn)表示的組成參數(shù),能夠更加準(zhǔn)確地捕捉語(yǔ)言短語(yǔ)的語(yǔ)法和語(yǔ)義豐富性。

    (3)提出的模型有效地提高了翻譯質(zhì)量與效率,對(duì)于多語(yǔ)義詞匯有較好的翻譯效果,并且有效地解決了基于樹(shù)形模型中的過(guò)度翻譯問(wèn)題。所提出的動(dòng)態(tài)詞匯化依賴(lài)關(guān)系模型在參數(shù)大小較小的情況下,顯著優(yōu)于英語(yǔ)-漢語(yǔ)和英語(yǔ)-德語(yǔ)翻譯任務(wù)中基于樹(shù)形傳統(tǒng)模型。

    猜你喜歡
    樹(shù)形編碼器短語(yǔ)
    花光卉影
    花卉(2024年1期)2024-01-16 11:29:12
    蘋(píng)果高光效樹(shù)形改造綜合配套技術(shù)
    基于FPGA的同步機(jī)軸角編碼器
    獼猴桃樹(shù)形培養(yǎng)和修剪技術(shù)
    休眠季榆葉梅自然開(kāi)心樹(shù)形的整形修剪
    基于PRBS檢測(cè)的8B/IOB編碼器設(shè)計(jì)
    JESD204B接口協(xié)議中的8B10B編碼器設(shè)計(jì)
    電子器件(2015年5期)2015-12-29 08:42:24
    多總線(xiàn)式光電編碼器的設(shè)計(jì)與應(yīng)用
    久久久久久国产a免费观看| 一级av片app| 亚洲欧美日韩东京热| 精品人妻熟女av久视频| 精品一区二区三区视频在线| 亚洲成人久久爱视频| 日韩一区二区三区影片| 一级毛片我不卡| 男人和女人高潮做爰伦理| 少妇人妻精品综合一区二区 | 国产成人午夜福利电影在线观看| 成人欧美大片| 久久久a久久爽久久v久久| 久久精品国产亚洲av天美| 国产日韩欧美在线精品| 成人午夜精彩视频在线观看| 国产成人一区二区在线| a级一级毛片免费在线观看| 在线播放无遮挡| 婷婷亚洲欧美| 少妇高潮的动态图| 99视频精品全部免费 在线| 国产伦在线观看视频一区| 久久久久久久久中文| 欧美日韩国产亚洲二区| 尾随美女入室| 内射极品少妇av片p| 国产在线男女| 中文字幕av在线有码专区| 国产伦理片在线播放av一区 | 变态另类成人亚洲欧美熟女| 寂寞人妻少妇视频99o| 久久99精品国语久久久| av免费观看日本| 美女大奶头视频| 边亲边吃奶的免费视频| 老熟妇乱子伦视频在线观看| 国产精品久久久久久精品电影| 欧美三级亚洲精品| 插阴视频在线观看视频| 69人妻影院| 日韩欧美精品免费久久| videossex国产| 一边摸一边抽搐一进一小说| 岛国在线免费视频观看| 中文字幕熟女人妻在线| 夜夜爽天天搞| 亚洲最大成人手机在线| 我要看日韩黄色一级片| av又黄又爽大尺度在线免费看 | 啦啦啦观看免费观看视频高清| 日韩成人伦理影院| 丝袜喷水一区| 大又大粗又爽又黄少妇毛片口| 午夜福利成人在线免费观看| 男女那种视频在线观看| 又黄又爽又刺激的免费视频.| 天堂网av新在线| 精品久久久久久久久久免费视频| 直男gayav资源| 啦啦啦观看免费观看视频高清| 国产在线男女| 伦精品一区二区三区| 伊人久久精品亚洲午夜| 色综合色国产| 亚洲,欧美,日韩| 九九久久精品国产亚洲av麻豆| 国产伦理片在线播放av一区 | 久久99热这里只有精品18| 日韩欧美 国产精品| 此物有八面人人有两片| 两个人的视频大全免费| 久久99精品国语久久久| 日韩欧美精品v在线| avwww免费| 男女做爰动态图高潮gif福利片| 淫秽高清视频在线观看| 免费在线观看成人毛片| 亚洲在久久综合| 欧美日本亚洲视频在线播放| 成人漫画全彩无遮挡| 99热6这里只有精品| 99热精品在线国产| 波多野结衣高清无吗| 天堂√8在线中文| 亚洲四区av| 99热这里只有是精品50| 天天躁夜夜躁狠狠久久av| 亚洲av成人av| 狂野欧美白嫩少妇大欣赏| 成人午夜精彩视频在线观看| 男的添女的下面高潮视频| 日日撸夜夜添| 一区二区三区免费毛片| 丝袜喷水一区| 成人毛片a级毛片在线播放| 亚洲av免费在线观看| 国产精品久久视频播放| 在现免费观看毛片| 欧美xxxx性猛交bbbb| 人妻久久中文字幕网| 桃色一区二区三区在线观看| 麻豆国产av国片精品| 亚洲最大成人手机在线| 好男人在线观看高清免费视频| 欧美激情在线99| 亚洲最大成人av| 日韩av不卡免费在线播放| 22中文网久久字幕| 国产高清激情床上av| 中文精品一卡2卡3卡4更新| av在线天堂中文字幕| 麻豆成人午夜福利视频| 成人鲁丝片一二三区免费| 天堂影院成人在线观看| 天天躁日日操中文字幕| 2021天堂中文幕一二区在线观| 中文字幕av成人在线电影| 国产真实伦视频高清在线观看| 午夜a级毛片| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 久久久久久大精品| 日日摸夜夜添夜夜爱| 99久国产av精品国产电影| 午夜福利成人在线免费观看| 成人综合一区亚洲| 国产成人freesex在线| av.在线天堂| 村上凉子中文字幕在线| 99久久中文字幕三级久久日本| 99久久中文字幕三级久久日本| 国产成人精品婷婷| 国产精品日韩av在线免费观看| 国产视频首页在线观看| 欧美xxxx黑人xx丫x性爽| 免费在线观看成人毛片| 精品久久久久久久久久免费视频| www.av在线官网国产| 色哟哟哟哟哟哟| 床上黄色一级片| 国产麻豆成人av免费视频| 91狼人影院| 91av网一区二区| 亚洲婷婷狠狠爱综合网| 波多野结衣巨乳人妻| 91av网一区二区| videossex国产| 大又大粗又爽又黄少妇毛片口| av天堂在线播放| 欧美激情在线99| 国产高清三级在线| 91av网一区二区| 99riav亚洲国产免费| 青春草视频在线免费观看| 2022亚洲国产成人精品| 亚洲精品久久国产高清桃花| av在线亚洲专区| 国产精品av视频在线免费观看| 毛片女人毛片| 日本熟妇午夜| 精品久久久久久久久av| 成年av动漫网址| 国产成人精品久久久久久| 男女边吃奶边做爰视频| 亚洲不卡免费看| 成人毛片60女人毛片免费| 中国国产av一级| 亚洲不卡免费看| 国产免费一级a男人的天堂| 我要看日韩黄色一级片| 十八禁国产超污无遮挡网站| 亚洲乱码一区二区免费版| 一区二区三区四区激情视频 | 国产成人精品婷婷| 国产精品久久电影中文字幕| 久久久午夜欧美精品| 卡戴珊不雅视频在线播放| 成人综合一区亚洲| 亚洲欧洲国产日韩| 三级毛片av免费| 色综合色国产| 嫩草影院精品99| 日本三级黄在线观看| 伦精品一区二区三区| 欧美日韩一区二区视频在线观看视频在线 | 久久久久久大精品| 欧美色视频一区免费| 男女做爰动态图高潮gif福利片| 中文亚洲av片在线观看爽| 成人三级黄色视频| 久久久成人免费电影| 久久国产乱子免费精品| 亚洲内射少妇av| 一级毛片久久久久久久久女| 老司机影院成人| 国产亚洲av片在线观看秒播厂 | 99热只有精品国产| 一本一本综合久久| 亚洲欧美日韩高清在线视频| 国产高清不卡午夜福利| 菩萨蛮人人尽说江南好唐韦庄 | 丝袜美腿在线中文| av专区在线播放| 男女下面进入的视频免费午夜| 亚洲四区av| 亚洲在久久综合| 亚洲av免费在线观看| 亚洲一区高清亚洲精品| 99久久久亚洲精品蜜臀av| 亚洲av第一区精品v没综合| 成人美女网站在线观看视频| 久久精品夜夜夜夜夜久久蜜豆| 人妻少妇偷人精品九色| 国产熟女欧美一区二区| 国产精品女同一区二区软件| 成人综合一区亚洲| 国产精品久久久久久精品电影| 美女 人体艺术 gogo| .国产精品久久| 亚洲最大成人av| 国产大屁股一区二区在线视频| av在线观看视频网站免费| 最后的刺客免费高清国语| 中文资源天堂在线| 国产一区亚洲一区在线观看| 蜜桃久久精品国产亚洲av| 成人毛片a级毛片在线播放| 久久久久久久久久黄片| 免费看日本二区| 国产午夜福利久久久久久| 久久综合国产亚洲精品| 赤兔流量卡办理| 丰满的人妻完整版| 免费看av在线观看网站| 波多野结衣高清无吗| 一边摸一边抽搐一进一小说| 熟妇人妻久久中文字幕3abv| a级毛片免费高清观看在线播放| 蜜桃亚洲精品一区二区三区| 国产乱人视频| 插阴视频在线观看视频| 国语自产精品视频在线第100页| 国产一区二区激情短视频| 亚洲不卡免费看| av天堂在线播放| 禁无遮挡网站| 变态另类成人亚洲欧美熟女| 欧美zozozo另类| 成人午夜精彩视频在线观看| 国产成人精品婷婷| 真实男女啪啪啪动态图| 久久这里只有精品中国| 女的被弄到高潮叫床怎么办| 亚洲成a人片在线一区二区| av又黄又爽大尺度在线免费看 | 搞女人的毛片| 蜜臀久久99精品久久宅男| 美女黄网站色视频| 日本-黄色视频高清免费观看| 一区福利在线观看| 国产精品久久久久久av不卡| 亚洲国产精品国产精品| 国产精品久久久久久久电影| 日日撸夜夜添| 久久久久网色| 九九爱精品视频在线观看| 国产精品国产高清国产av| 一区福利在线观看| 午夜免费激情av| 99精品在免费线老司机午夜| 此物有八面人人有两片| 亚洲av第一区精品v没综合| 亚洲不卡免费看| 国内少妇人妻偷人精品xxx网站| 美女内射精品一级片tv| 亚洲国产精品合色在线| 国产黄色小视频在线观看| 看片在线看免费视频| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 少妇高潮的动态图| 我要搜黄色片| 国产色婷婷99| 99国产极品粉嫩在线观看| 国产视频首页在线观看| 亚洲成人久久爱视频| 亚洲精华国产精华液的使用体验 | 麻豆乱淫一区二区| 国产成人freesex在线| 99热网站在线观看| 简卡轻食公司| 亚洲,欧美,日韩| 日韩欧美一区二区三区在线观看| 午夜福利视频1000在线观看| 国产午夜精品一二区理论片| 亚洲精品乱码久久久久久按摩| 舔av片在线| 精品99又大又爽又粗少妇毛片| av福利片在线观看| 国产精品免费一区二区三区在线| 好男人在线观看高清免费视频| 国产成人午夜福利电影在线观看| 久久精品国产自在天天线| 99久久精品国产国产毛片| 精品国内亚洲2022精品成人| 亚洲成人精品中文字幕电影| 18禁裸乳无遮挡免费网站照片| 波多野结衣巨乳人妻| 热99在线观看视频| 99久久精品国产国产毛片| 91狼人影院| 亚洲精品色激情综合| 亚洲成人久久爱视频| 午夜免费男女啪啪视频观看| 日本黄色视频三级网站网址| 国产一区二区在线av高清观看| 国产精品伦人一区二区| 亚洲经典国产精华液单| 综合色av麻豆| 欧美成人精品欧美一级黄| 夜夜看夜夜爽夜夜摸| 久久精品综合一区二区三区| 久久国内精品自在自线图片| 黄色欧美视频在线观看| 12—13女人毛片做爰片一| or卡值多少钱| 又爽又黄无遮挡网站| 高清午夜精品一区二区三区 | 天堂影院成人在线观看| 我的老师免费观看完整版| 日韩强制内射视频| 九九爱精品视频在线观看| 日韩欧美 国产精品| 天美传媒精品一区二区| 老师上课跳d突然被开到最大视频| 午夜福利在线在线| 欧美在线一区亚洲| 啦啦啦观看免费观看视频高清| 亚洲成人精品中文字幕电影| 春色校园在线视频观看| 国产精品不卡视频一区二区| 国产不卡一卡二| 1024手机看黄色片| 久久久久国产网址| av又黄又爽大尺度在线免费看 | 春色校园在线视频观看| 国产伦理片在线播放av一区 | 99在线视频只有这里精品首页| 成人永久免费在线观看视频| 久久中文看片网| 久久99热6这里只有精品| 欧美日韩综合久久久久久| 亚洲精品国产成人久久av| 别揉我奶头 嗯啊视频| 神马国产精品三级电影在线观看| av卡一久久| 国产伦精品一区二区三区四那| 少妇被粗大猛烈的视频| 亚洲国产精品成人久久小说 | 亚洲aⅴ乱码一区二区在线播放| 大又大粗又爽又黄少妇毛片口| 成人三级黄色视频| 亚洲国产色片| 国产黄片美女视频| 久久精品综合一区二区三区| 别揉我奶头 嗯啊视频| 日韩精品青青久久久久久| 亚洲高清免费不卡视频| 亚洲中文字幕日韩| 18禁在线播放成人免费| 国产又黄又爽又无遮挡在线| 欧美一区二区精品小视频在线| 欧美激情在线99| 免费一级毛片在线播放高清视频| 久久精品国产亚洲av香蕉五月| 成人性生交大片免费视频hd| 尾随美女入室| 丰满人妻一区二区三区视频av| 久久久久性生活片| 女同久久另类99精品国产91| 我要看日韩黄色一级片| 中文字幕人妻熟人妻熟丝袜美| 99国产极品粉嫩在线观看| 性色avwww在线观看| 国产午夜精品论理片| av又黄又爽大尺度在线免费看 | 午夜精品在线福利| 国产精品乱码一区二三区的特点| 国产成人精品婷婷| 九九爱精品视频在线观看| 亚洲av中文av极速乱| 亚洲精品国产av成人精品| 亚洲在久久综合| 亚洲内射少妇av| 国内久久婷婷六月综合欲色啪| 99国产极品粉嫩在线观看| 亚洲精品久久国产高清桃花| 欧美高清成人免费视频www| 久久精品国产清高在天天线| 国产单亲对白刺激| 久久精品人妻少妇| 日本欧美国产在线视频| 婷婷亚洲欧美| 国产精品精品国产色婷婷| 欧美一级a爱片免费观看看| www日本黄色视频网| 久久精品夜色国产| 欧美区成人在线视频| 亚洲av一区综合| 观看免费一级毛片| 男人舔奶头视频| 在线观看午夜福利视频| 91精品一卡2卡3卡4卡| 高清日韩中文字幕在线| 欧美成人免费av一区二区三区| 天天躁夜夜躁狠狠久久av| 欧美成人一区二区免费高清观看| 欧美激情国产日韩精品一区| 国产av不卡久久| 99久久人妻综合| 村上凉子中文字幕在线| 可以在线观看的亚洲视频| 成年女人看的毛片在线观看| 毛片一级片免费看久久久久| 在线国产一区二区在线| av又黄又爽大尺度在线免费看 | 亚洲av免费高清在线观看| 国产精品.久久久| 偷拍熟女少妇极品色| 可以在线观看毛片的网站| 久久久久久伊人网av| 蜜桃亚洲精品一区二区三区| 日韩av不卡免费在线播放| 国产亚洲av嫩草精品影院| 三级经典国产精品| 国产一区二区三区在线臀色熟女| 一本精品99久久精品77| 日韩中字成人| 麻豆精品久久久久久蜜桃| 日韩欧美 国产精品| 午夜免费激情av| 免费无遮挡裸体视频| 少妇裸体淫交视频免费看高清| 久久久久久久久中文| 国产成年人精品一区二区| 久久精品国产亚洲av天美| 亚洲精品日韩在线中文字幕 | 一区二区三区高清视频在线| 欧美xxxx黑人xx丫x性爽| 人妻制服诱惑在线中文字幕| a级毛片免费高清观看在线播放| 亚洲在线观看片| 国产伦精品一区二区三区视频9| 99久国产av精品| 国产亚洲5aaaaa淫片| 日韩av在线大香蕉| 国产午夜精品论理片| 九九热线精品视视频播放| 联通29元200g的流量卡| 亚洲av.av天堂| 成人亚洲精品av一区二区| 色综合色国产| 嫩草影院精品99| 亚洲人成网站在线观看播放| 99在线人妻在线中文字幕| 亚洲国产精品国产精品| 在线观看一区二区三区| 夜夜夜夜夜久久久久| 日韩精品青青久久久久久| 在线免费十八禁| 1000部很黄的大片| 能在线免费看毛片的网站| 三级经典国产精品| 欧美zozozo另类| 日韩国内少妇激情av| 深爱激情五月婷婷| 亚洲人成网站在线观看播放| 成人特级av手机在线观看| 国产欧美日韩精品一区二区| 爱豆传媒免费全集在线观看| 别揉我奶头 嗯啊视频| 久久精品久久久久久噜噜老黄 | 十八禁国产超污无遮挡网站| 美女国产视频在线观看| 91精品国产九色| 亚洲国产精品sss在线观看| 久久人人爽人人片av| 久久精品人妻少妇| 精品人妻熟女av久视频| 亚洲成人久久性| 在线免费观看不下载黄p国产| 久久久久久九九精品二区国产| 午夜爱爱视频在线播放| 1000部很黄的大片| 男人和女人高潮做爰伦理| 国产极品精品免费视频能看的| 一本久久精品| 九九在线视频观看精品| 亚洲五月天丁香| 在线观看66精品国产| 一区二区三区免费毛片| av天堂中文字幕网| 亚洲高清免费不卡视频| av天堂中文字幕网| 亚洲av熟女| 国产精品一区二区三区四区免费观看| 嫩草影院新地址| 成人高潮视频无遮挡免费网站| 18禁在线播放成人免费| 亚洲性久久影院| 综合色丁香网| 国产伦一二天堂av在线观看| 听说在线观看完整版免费高清| 午夜免费男女啪啪视频观看| 久久久精品欧美日韩精品| 18+在线观看网站| 狂野欧美激情性xxxx在线观看| a级一级毛片免费在线观看| 久久久久久国产a免费观看| 天堂av国产一区二区熟女人妻| 99在线人妻在线中文字幕| 国产熟女欧美一区二区| 能在线免费看毛片的网站| 欧美区成人在线视频| 一本久久中文字幕| 欧美三级亚洲精品| 国产亚洲av嫩草精品影院| 国产一级毛片七仙女欲春2| 亚洲四区av| 国产精品一区二区性色av| 亚洲欧美中文字幕日韩二区| 大型黄色视频在线免费观看| 美女 人体艺术 gogo| 蜜臀久久99精品久久宅男| 国产亚洲欧美98| 哪个播放器可以免费观看大片| 特大巨黑吊av在线直播| 亚洲欧洲国产日韩| 最近最新中文字幕大全电影3| 免费av毛片视频| 亚洲天堂国产精品一区在线| 美女黄网站色视频| 成人美女网站在线观看视频| 亚洲av成人av| 国产在线男女| 国产精品精品国产色婷婷| 久久久久久久久久成人| 69人妻影院| 黄色日韩在线| 最后的刺客免费高清国语| av.在线天堂| 亚洲欧美中文字幕日韩二区| 大型黄色视频在线免费观看| 免费在线观看成人毛片| 黄片无遮挡物在线观看| 欧美成人精品欧美一级黄| 午夜a级毛片| 一本精品99久久精品77| 精品午夜福利在线看| 天堂av国产一区二区熟女人妻| 我要看日韩黄色一级片| 搞女人的毛片| 美女内射精品一级片tv| 亚洲电影在线观看av| 老司机影院成人| 男女啪啪激烈高潮av片| 久久精品国产亚洲网站| 日韩欧美精品v在线| 九九爱精品视频在线观看| 免费电影在线观看免费观看| 久久久久久久亚洲中文字幕| 亚洲内射少妇av| 欧美日本视频| av在线播放精品| 欧美区成人在线视频| 麻豆国产av国片精品| 午夜福利在线在线| 亚洲欧美精品综合久久99| 午夜a级毛片| 又黄又爽又刺激的免费视频.| 精品久久国产蜜桃| 亚洲精华国产精华液的使用体验 | 欧美激情国产日韩精品一区| 色播亚洲综合网| 国产午夜福利久久久久久| 少妇人妻精品综合一区二区 | 能在线免费看毛片的网站| 欧美精品一区二区大全| 色视频www国产| 搡女人真爽免费视频火全软件| 国产成人a区在线观看| 九九热线精品视视频播放| 国产成人freesex在线| 日韩欧美精品免费久久| 欧美日韩综合久久久久久| 国产精华一区二区三区| 午夜福利高清视频| 99热全是精品| 精品久久久久久久久亚洲| 午夜久久久久精精品| 国产一区二区在线av高清观看| 亚洲,欧美,日韩| 亚洲精品影视一区二区三区av| 成年女人看的毛片在线观看| 国产麻豆成人av免费视频| 亚洲成人中文字幕在线播放| 亚洲天堂国产精品一区在线| 国产一区二区激情短视频| 熟妇人妻久久中文字幕3abv| 美女内射精品一级片tv| 日韩欧美 国产精品| 啦啦啦啦在线视频资源| 日韩欧美一区二区三区在线观看| 大又大粗又爽又黄少妇毛片口| 欧美性感艳星| 一级黄色大片毛片|