• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于歸一化點(diǎn)向互信息的低資源平行語料過濾方法*

    2022-01-25 14:11:04章浩然
    通信技術(shù) 2021年12期
    關(guān)鍵詞:語料平行短語

    吳 霖,章浩然

    (昆明理工大學(xué),云南 昆明 650500)

    關(guān)鍵字:神經(jīng)機(jī)器翻譯;過濾;歸一化點(diǎn)向互信息算法;平行語料;對齊信息

    0 引言

    神經(jīng)機(jī)器翻譯是數(shù)據(jù)驅(qū)動(dòng)模型,提高平行語料的規(guī)模和質(zhì)量是提升神經(jīng)機(jī)器翻譯性能最簡單有效的方法。然而,通過非人工方式得到的平行語料,其規(guī)模足夠但質(zhì)量不佳。平行語料質(zhì)量不佳的情況下,提高其規(guī)模并不會(huì)讓模型有較大的性能提升甚至存在性能下降的情況,因此提高平行語料的質(zhì)量成了提升模型性能的關(guān)鍵,這使得平行語料過濾方法變得越來越重要。

    語料過濾方法是從一個(gè)大規(guī)模的、含有噪聲的平行語料中,過濾出一個(gè)較高質(zhì)量的子語料,并以此來提高翻譯模型性能的方法。當(dāng)前,根據(jù)句子長度、句子長度比例以及語言標(biāo)識(shí)等來過濾語料的方法較為簡單和通用。其中語言標(biāo)識(shí)過濾是過濾掉特定語言對中不屬于該語言對的句子,例如在漢泰語料中,只過濾源語言不為漢語且目標(biāo)語言不為泰語的句子。但是,這些方法只能過濾存在明顯錯(cuò)誤的句對,難以判別并過濾詞翻譯錯(cuò)誤或句意不一致的句對。利用少量干凈的平行語料來提供對齊信息,根據(jù)提供的對齊信息來判別每個(gè)句對是否為噪聲句對的過濾方法也較為常見[1-3],但這些過濾方法都需要有少量干凈的平行語料。但在低資源語言對中,可能存在大規(guī)模且含有噪聲的平行語料,并不存在少量干凈的平行語料。

    例如OpenSubtitles[4]中的漢泰平行語料就存在大量噪聲,致使翻譯模型性能不佳,也不存在干凈的且領(lǐng)域相同的平行語料提供對齊信息;因此需要從噪聲語料或單語語料中尋找對齊信息。而在神經(jīng)機(jī)器翻譯領(lǐng)域中,通常采用跨語言預(yù)訓(xùn)練模型或多語言預(yù)訓(xùn)練模型來提供對齊信息。Ivana 等人[5]利用無監(jiān)督神經(jīng)機(jī)器翻譯生成偽平行語料來提供偽對齊信息,然后利用該偽平行語料微調(diào)跨語言模型(Cross-lingual Language Model,XLM)[6],以此來獲取多語言句子嵌入信息。該方法可以用于計(jì)算句子間的相互翻譯程度,從而挖掘和過濾平行語料,但這樣的方法需要龐大的單語語料和強(qiáng)大的硬件支持。

    為了減少對單語語料和硬件的依賴,從噪聲語料中抽取出對齊信息是更為有效的方法。點(diǎn)向互信息(Pointwise Mutual Information,PMI)[7]是一種獲取語料中詞對共現(xiàn)概率的方法,其詞對共現(xiàn)概率是由詞對中兩個(gè)詞各自出現(xiàn)的概率和其共同出現(xiàn)概率來得到的。由于噪聲語料中,對齊較差的詞對不具備規(guī)律性,其共同出現(xiàn)的概率低,會(huì)被PMI 賦予低共現(xiàn)概率,而對齊較好的詞對存在一定的規(guī)律性,會(huì)被PMI 賦予高共現(xiàn)概率,通過這樣的方法可以從噪聲語料中抽取出可靠性高的對齊信息。然而,由于PMI 會(huì)給予低頻詞更大的權(quán)重,這會(huì)導(dǎo)致低頻詞對具備更大的共現(xiàn)概率,形成噪聲,降低對齊信息的質(zhì)量。因此,本文采用給予低頻詞對更低權(quán)重的歸一化點(diǎn)向互信息(Normalized Pointwise Mutual Information,NPMI)[8]來抽取噪聲語料中的對齊信息。

    本文采用基于NPMI的平行語料過濾方法,該方法直接在噪聲語料中抽取出對齊信息,并利用其中可靠性高的對齊信息來過濾噪聲語料。本文在OpenSubtitles的泰語—漢語翻譯方向上提高了5.8個(gè)BLEU 值,漢語—泰語翻譯方向上提高了10 個(gè)BLEU 值。該方法在2020 年國際機(jī)器翻譯大賽給出的柬埔寨語—英語單向翻譯任務(wù)中實(shí)驗(yàn),得到的結(jié)果比基線高了0.4 個(gè)BLEU 值。

    1 相關(guān)工作

    1.1 平行語料過濾任務(wù)

    國際機(jī)器翻譯大賽(WMT)在2018 年[9]、2019 年[10]、2020 年[11]分別舉行了不同語言對的平行語料過濾任務(wù)比賽,其中也包括低資源語言對,例如柬埔寨語-英語以及普什圖語-英語,這也是目前最有影響力的平行語料過濾任務(wù)。在WMT2020的任務(wù)中,參賽者根據(jù)噪聲語料中每個(gè)句對的質(zhì)量進(jìn)行評(píng)分,最終按照每個(gè)句對的分?jǐn)?shù)由高到低選取。為了降低平行語料數(shù)量的影響,官方規(guī)定了過濾后的平行語料中,英語語料的詞元(token)數(shù)為5百萬左右。其評(píng)價(jià)平行語料質(zhì)量的方法是在該平行語料上訓(xùn)練一個(gè)翻譯模型,翻譯模型的雙語評(píng)估替補(bǔ)(Bilingual Evaluation Understudy,BLEU)值越大則代表平行語料質(zhì)量越好。此外,所有參賽者都使用相同的翻譯模型,參數(shù)由官方給定。

    1.2 平行語料過濾任務(wù)

    句對的相互翻譯程度(以下稱之為平行度)的計(jì)算是過濾方法的核心。句對平行度的計(jì)算可以分為詞級(jí)和句級(jí),現(xiàn)有的過濾方法也主要以這兩個(gè)方面為主。因此,如何找到意思表達(dá)更精確的詞向量或句向量,以及如何找到更為精準(zhǔn)的對齊信息是提高過濾性能的關(guān)鍵。

    Herold 等人[12]采用glove[13]在每個(gè)語言的單語語料上分別學(xué)習(xí)該語言的詞向量,并將兩種語言的單語詞向量映射到同一向量空間,兩種語言句子中每個(gè)詞對的余弦相似度的總和作為句對平行度,最后實(shí)驗(yàn)證明了語言標(biāo)識(shí)檢測方法的有效性以及適用范圍。除了利用詞向量來計(jì)算兩個(gè)語言句子的平行度外,還可以利用多語言預(yù)訓(xùn)練模型或跨語言預(yù)訓(xùn)練模型,具體是將兩種語言的詞或句子向量映射到相同向量空間中并在一定程度上將它們進(jìn)行對齊,以此來保證兩種語言的詞或句子向量可以進(jìn)行更為精確的余弦相似度計(jì)算。

    阿里巴巴團(tuán)隊(duì)[14]利用小規(guī)模干凈的平行語料對語料過濾模型(GPT-2[15])進(jìn)行了最初的訓(xùn)練;之后利用該過濾模型對噪聲語料進(jìn)行過濾,將高質(zhì)量的平行語料和干凈的平行語料進(jìn)行合并;最后利用合并后的語料訓(xùn)練一個(gè)新版本的過濾模型,并迭代3 次來提高過濾模型的過濾性能。

    字節(jié)跳動(dòng)[16]團(tuán)隊(duì)利用大規(guī)模的單語語料和官方提供的干凈平行語料上訓(xùn)練了一個(gè)高性能的XLM,并在XLM 上添加一個(gè)線性或卷積層來預(yù)測每個(gè)句對是否平行,最終用4 個(gè)參數(shù)不同或最后一層不同的XLM 對每個(gè)句對進(jìn)行評(píng)分,以它們的平均得分作為最終的質(zhì)量評(píng)分。

    評(píng)估句對的平行度不僅可以利用余弦相似度,而且可以利用翻譯模型的交叉熵?fù)p失值。Marcin[1]利用對偶條件交叉熵?fù)p失結(jié)合語言模型作為過濾條件。其中對偶條件交叉熵?fù)p失由兩個(gè)相反翻譯方向的翻譯模型計(jì)算兩個(gè)交叉熵?fù)p失值的差異得到,用于過濾掉對齊錯(cuò)誤的句對;而語言模型分別為一個(gè)領(lǐng)域內(nèi)和領(lǐng)域外的語言模型來計(jì)算其領(lǐng)域的相似性得到,用于過濾掉與領(lǐng)域不相關(guān)的句對。

    1.3 PMI

    PMI 是一種在訓(xùn)練語料上構(gòu)建一個(gè)共現(xiàn)矩陣,來對訓(xùn)練語料重新加權(quán)的方法。計(jì)算方法為:

    式中:x和y分別為源語言的詞和目標(biāo)語言的詞;p(x)和p(y)分別為x和y在語料中出現(xiàn)的概率;p(x,y)為x和y兩個(gè)詞共同出現(xiàn)的概率。

    在實(shí)踐中發(fā)現(xiàn),將詞對中的負(fù)相關(guān)置0,PMI的表現(xiàn)會(huì)更好。而NPMI 也是一種在訓(xùn)練語料上構(gòu)建一個(gè)共現(xiàn)矩陣,來對訓(xùn)練語料重新加權(quán)的方法。該方法對PMI 進(jìn)行了規(guī)范化,從而緩解了PMI 對低頻詞對的偏向。計(jì)算方法為:

    2 方 法

    OpenSubtitles 中的漢泰平行語料質(zhì)量較差,且沒有同領(lǐng)域高質(zhì)量的平行語料作為錨點(diǎn)提供對齊信息。因此本文選擇直接在漢泰噪聲語料上抽取對齊信息,通過NPMI 來計(jì)算每個(gè)詞對的共現(xiàn)概率,并利用高共現(xiàn)概率的詞對來過濾噪聲語料。

    機(jī)器翻譯領(lǐng)域存在大量一對一的詞對,但也存在多對一、一對多甚至多對多的短語對。為了能夠獲取噪聲語料中存在的短語對信息。本文采用快速對齊(fast align)[17]來得到源句子與目標(biāo)句子中詞的對齊信息,以此來構(gòu)建出源與目標(biāo)的短語對表,并過濾掉其中低頻率的短語對。通過該方法得到的短語表,可以用于簡單的過濾。

    本文將源語言和目標(biāo)語言分別用X和Y進(jìn)行表示,并利用Px和Py代表分別從X和Y中抽取得到的短語。f(X,Y)是根據(jù)fast align 從X和Y中獲得的詞對齊信息,構(gòu)建出的短語對函數(shù)。因此,本文的NPMI 不計(jì)算噪聲語料中所有可能存在的詞對或短語對,只計(jì)算短語表中存在的詞對或短語對,這樣可以減少可靠性低的對齊信息數(shù)量,進(jìn)而提高從噪聲語料中提取對齊信息的可靠性。

    利用統(tǒng)計(jì)機(jī)器翻譯的fast align 技術(shù),本文可以得到所有可能的短語表(其中包括詞對),若將句子中的短語看作為一個(gè)詞,平行語料中依然以一對一詞對為主,因此本文采用與Tu 等人[18]一樣的翻譯覆蓋率來進(jìn)一步保證兩個(gè)句子的平行度。本文以整個(gè)源句子在目標(biāo)句子中是否存在相對應(yīng)的翻譯為基礎(chǔ),若源句子中的某個(gè)詞在目標(biāo)句子中沒有與之相對應(yīng)的詞,則降低源句子的翻譯覆蓋率。同樣判斷目標(biāo)句中的每個(gè)詞是否可以在源句子中找到相對應(yīng)的詞,如果沒有與之對應(yīng)的詞,則降低目標(biāo)句子的翻譯覆蓋率。之所以對源句子和目標(biāo)句子都做翻譯覆蓋率的調(diào)整,原因有二:一是翻譯是雙向的,需要在漢泰和泰漢兩個(gè)翻譯方向上都訓(xùn)練;二是防止源或目標(biāo)句子的每個(gè)詞都指向目標(biāo)或源中的同一個(gè)詞,從而避免存在錯(cuò)誤的翻譯覆蓋率。

    為了計(jì)算噪聲語料中對齊信息的可靠性,本文采用NPMI 方法。該方法是對PMI 進(jìn)行了歸一化,防止低頻短語對的可靠性太高。同時(shí)根據(jù)正點(diǎn)向互信息(Positive Pointwise Mutual Information,PPMI)[19](只保留PMI 中大于0的值)的效果好于PMI的效果,本文只使用了NPMI 中大于0的部分。

    本文使用了由NPMI 得到的對齊信息和翻譯覆蓋率(normalized pointwise Mutual Information and Translation Coverage,MITC)來評(píng)估源句子與目標(biāo)句子的平行度,計(jì)算方法為:

    式中:|·|為短語或句子包含的token 個(gè)數(shù),用該方法來防止長句子對擁有太高的分?jǐn)?shù)和短句子對擁有太低的分?jǐn)?shù),盡管短句子對的質(zhì)量可能高于長句子對的質(zhì)量;C(Y|X)為X中的所有可以在Y中找到對應(yīng)翻譯的詞在整個(gè)X中的占比,即X的翻譯覆蓋率;C(X|Y)為Y的翻譯覆蓋率。

    這里計(jì)算源句子和目標(biāo)句子平行度的依據(jù)是:

    (1)如果對齊信息(Px,Py)有很高的可靠性,則包含(Px,Py)的句對(X,Y)同樣有很高的對齊可靠性,即句對的平行度很高;

    (2)如果短語Px或者Py在X或Y整個(gè)句子中的占比非常大,則對齊信息(Px,Py)與句對(X,Y)是強(qiáng)關(guān)聯(lián);

    (3)若C(Y|X)和C(X|Y)代表了(X,Y)整體平行度,則翻譯覆蓋率越高,(X,Y)的整體平行度就越高。

    3 實(shí) 驗(yàn)

    本文在漢泰翻譯上采用OpenSubtitles 中的漢泰語料作為訓(xùn)練集,總共有117 萬句對,驗(yàn)證集和測試集均為2 000 句對。在柬埔寨語—英語翻譯方向上采用WMT2020的平行語料過濾任務(wù)的噪聲語料過濾后的語料作為訓(xùn)練集,驗(yàn)證集與測試集由WMT2020 官方給出,驗(yàn)證集有2 378 句對,測試集有2 309 句對。

    翻譯模型采用transformer[20],批次大小為64,嵌入層維度為512,隱藏層維度為512,編碼器和解碼器的層數(shù)均設(shè)置為6,注意力頭個(gè)數(shù)設(shè)置為8,學(xué)習(xí)率為0.000 5,丟棄率(dropout)為0.1,解碼采用集束搜索,集束寬度設(shè)置為4,優(yōu)化器設(shè)置為Adam,最大Epoch 設(shè)置為100。訓(xùn)練結(jié)束的標(biāo)志為連續(xù)10 個(gè)epoch 模型在驗(yàn)證集上的損失值沒有超過當(dāng)前最優(yōu)損失值就停止訓(xùn)練。詞匯表大小設(shè)置為50 000,泰語用pythainlp[21]進(jìn)行分詞,漢語利用jieba 進(jìn)行分詞。采用不區(qū)分大小寫的BLEU-4 來測量BLEU 值。模型利用tensorflow 2.2 進(jìn)行實(shí)現(xiàn),所有實(shí)驗(yàn)均在Nvidia GPU(GTX titan X)上運(yùn)行。

    柬埔寨語—英語實(shí)驗(yàn)采用的模型由官方提供。源語言與目標(biāo)語言共享詞嵌入,編碼器層與解碼器層均為5 層,嵌入層維度為512,隱藏層維度為2 048,注意力頭個(gè)數(shù)均為2,dropout 為0.4,學(xué)習(xí)率設(shè)置為0.001,優(yōu)化器設(shè)置為Adam,最大epoch 設(shè)置為100。過濾過程中,柬埔寨語采用KhmerNLP[22]進(jìn)行分詞。

    3.1 漢泰OpenSubtitles 實(shí)驗(yàn)

    3.1.1 預(yù)過濾和基線

    針對漢泰的OpenSubtitles 語料,為了盡可能提高翻譯模型的性能,本文先從句子長度和句子比例進(jìn)行分析,找到最佳的句子長度和句子長度比例。在以下實(shí)驗(yàn)中,本文先對原始的117 萬語料按長度比例進(jìn)行過濾,然后隨機(jī)抽取20 萬作為訓(xùn)練集,此過程重復(fù)3 次取它們的平均值。實(shí)驗(yàn)結(jié)果如表1所示。

    表1 句子長度比例對BLEU 值的影響

    在不限制句子長度的情況下,本文只利用句對的句子長度比例對語料進(jìn)行過濾,句子長度比例為1.5 則代表句子長度比例在1.5 以上的句對都將被過濾掉。實(shí)驗(yàn)結(jié)果證明,句子長度比例為2的時(shí)候,最適合該漢泰語料,可以將翻譯模型的性能最大化。

    本文在句子比例為2的條件下,為了找到能將翻譯模型性能最大化的語料,針對句子最大長度進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如表2 所示。

    表2 句子最大長度對BLEU 值的影響

    從句子長度來看,最大長度為10的語料可以將翻譯模型的性能最大化,這可能是因?yàn)镺penSubtitles 上漢泰語料的平均長度在9 個(gè)token 左右(泰語語料的每句話的平均長度為9.5 個(gè)token,漢語語料的每句話的平均長度為8.1 個(gè)token),但該句子長度過短,因此本文選擇對翻譯模型的性能提升次佳的句子最大長度為30的語料。

    句子比例為2 且句子最大長度為10的語料(包含20 萬句對)的BLEU 值與用完整原始語料(包含117 萬句對)的BLEU 近似,這說明基于規(guī)則的語料過濾方法的有效性,也證明了OpenSubtitles的漢泰語料的確存在著大量的噪聲。

    最后利用常規(guī)的langid 工具包過濾掉其中泰語端句子并不屬于泰語或者漢語端句子并不屬于漢語的句對?;€實(shí)驗(yàn)結(jié)果如表3 所示。

    表3 基線的BLEU 值

    基線(20 萬)是在原始語料中隨機(jī)抽取20 萬平行語料上訓(xùn)練的模型,而基線(117 萬)是在完整的原始語料上訓(xùn)練的模型。在經(jīng)過句子比例為2、句子長度為30 以及l(fā)angid 過濾后的語料(本文稱之為預(yù)過濾語料)上訓(xùn)練的模型與在基線(20 萬)上訓(xùn)練的模型相比,在泰漢上高了3.029 個(gè)BLEU值,在漢泰上高了2.898 個(gè)BLEU 值。而預(yù)過濾(20 萬)與基線(117 萬)相比,在泰漢上高了0.168 個(gè)BLEU 值,在漢泰上低了0.663 個(gè)BLEU 值,預(yù)過濾(20 萬)的性能與基線(117 萬)的性能相當(dāng)。實(shí)驗(yàn)證明,利用預(yù)過濾方法可以有效地提高語料的質(zhì)量。

    3.1.2 基于NPMI的過濾方法

    本文先利用fast align 得到短語對表,針對這個(gè)短語對表對整個(gè)漢泰語料進(jìn)行了NPMI。從而得到短語對表中每一個(gè)短語對的共現(xiàn)概率,并且過濾掉了共現(xiàn)概率低于0.2的短語對。實(shí)驗(yàn)結(jié)果如表4所示。

    表4 不同條件下NPMI 過濾效果的對比

    在該實(shí)驗(yàn)中,表中“短語對N”代表在短語對數(shù)量大于等于N的語料上訓(xùn)練的模型,MITC 代表著在NPMI 和翻譯覆蓋率過濾后的語料上進(jìn)行訓(xùn)練的模型。本文不做短語對數(shù)量為4 及以上的實(shí)驗(yàn)的原因是過濾后的平行語料數(shù)量不到12 萬,而其他方法的數(shù)量均在20 萬以上,且隨機(jī)抽取20 萬語料進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)證明,在共現(xiàn)短語對數(shù)量上,共現(xiàn)短語對3的效果優(yōu)于共現(xiàn)短語對2的效果,因此擁有更多共現(xiàn)短語對的句子對具備更高的相互翻譯程度。但單純地利用共現(xiàn)短語對個(gè)數(shù)進(jìn)行判定的方法,也會(huì)導(dǎo)致在長句子上具有更大的優(yōu)勢,因此采用翻譯覆蓋率來降低語料中長句子的優(yōu)勢。實(shí)驗(yàn)表明,利用共現(xiàn)短語對在句對中的翻譯覆蓋率來進(jìn)行過濾是更佳的選擇,比起在共現(xiàn)短語對數(shù)量為3 個(gè)以上語料上訓(xùn)練的模型,在搭配翻譯覆蓋率語料(MITC)上訓(xùn)練的模型,在泰漢上提高了1.61 個(gè)BLEU,在漢泰上提高了2.42 個(gè)BLEU。將在MITC 上訓(xùn)練的模型與在預(yù)過濾語料上訓(xùn)練的模型相比,在泰漢上提高了5.884 個(gè)BLEU 值,在漢泰上提高了10 個(gè)BLEU 值。

    3.1.3 NPMI 對生成式偽平行語料的過濾效果

    本文除了在抽取式方法得到的平行語料上進(jìn)行實(shí)驗(yàn),也在生成式方法得到的平行語料上進(jìn)行實(shí)驗(yàn)。

    本文利用在基線(117 萬)語料上訓(xùn)練的模型和在MITC 過濾后的語料上訓(xùn)練的模型來生成偽平行語料。以此來探索NPMI 在對偽平行語料過濾的有效性。

    將在117 萬和MITC 語料上訓(xùn)練的兩個(gè)翻譯模型生成的偽平行語料(數(shù)量均為117 萬),與MITC的訓(xùn)練語料進(jìn)行混合。這是為了比較兩個(gè)翻譯模型生成的偽平行語料質(zhì)量,同時(shí)保證存在高質(zhì)量的平行語料,防止NPMI 被回譯生成的偽平行語料干擾,影響過濾效果。之后利用混合后的語料,分別在不進(jìn)行NPMI 過濾和進(jìn)行NPMI 過濾的情況下,重新訓(xùn)練翻譯模型。實(shí)驗(yàn)結(jié)果如表5 所示。

    表5 NPMI 對生成式偽平行語料的過濾效果

    表5 中,基線(117 萬)代表在原始語料上訓(xùn)練的模型;MITC 代表在經(jīng)過NPMI 和翻譯覆蓋率過濾后的語料上訓(xùn)練的模型;117 萬(未過濾)代表在基線(117 萬)生成的偽平行語料和經(jīng)過NPMI和翻譯覆蓋率過濾后的語料上訓(xùn)練的模型;117 萬(過濾)代表在117 萬(未過濾)所用語料的基礎(chǔ)上,進(jìn)行了NPMI 和翻譯覆蓋率過濾后的語料上訓(xùn)練的模型;MITC(未過濾)代表在MITC 生成的偽平行語料和經(jīng)過NPMI 和翻譯覆蓋率過濾后的語料上訓(xùn)練的模型;MITC(過濾)代表在MITC(未過濾)所用語料的基礎(chǔ)上,進(jìn)行了NPMI 和翻譯覆蓋率過濾后的語料上訓(xùn)練的模型。

    從117 萬(未過濾)模型和MITC(未過濾)模型的性能上可以看出,利用回譯生成偽平行語料的質(zhì)量依賴于翻譯模型的性能。在性能上,基線(117萬)模型性能比MITC 模型在泰漢上低了6.052 個(gè)BLEU 值,而在漢泰上低了9.356 個(gè)BLEU 值。這個(gè)差異在各自生成的偽平行語料的質(zhì)量上得到了體現(xiàn)。117 萬(未過濾)模型與MITC(未過濾)模型相比,在泰漢上低了4.12 個(gè)BLEU 值,而漢泰上則低了6.83 個(gè)BLEU 值。

    在分別對兩個(gè)語料做NPMI 過濾后,雙方的混合語料規(guī)模均出現(xiàn)了下降,117 萬(過濾)模型訓(xùn)練集數(shù)量在泰漢和漢泰兩個(gè)方向均為57 萬左右,而MITC(過濾)模型訓(xùn)練集數(shù)量在泰漢上有79 萬左右,但是漢泰上不到76 萬。經(jīng)過過濾后存在的數(shù)量差異也表明了雙方生成的偽平行語料在質(zhì)量上存在差異。此外,117 萬(過濾)模型與117 萬(未過濾)模型相比,在泰漢和漢泰兩個(gè)翻譯方向上分別提高了1.44 和1.42 個(gè)BLEU 值;MITC(過濾)模型與MITC(未過濾)模型相比,在泰漢和漢泰兩個(gè)翻譯方向上分別提高了1.42和1.11個(gè)BLEU值。這證明了NPMI 過濾方法確實(shí)可以過濾掉生成式偽平行語料中的低質(zhì)量句對。

    同時(shí),本文為進(jìn)一步探索NPMI 在生成式偽平行語料上過濾的效果。采用MITC(過濾)語料訓(xùn)練的翻譯模型來再次生成偽平行語料,生成的語料會(huì)與最初訓(xùn)練的語料進(jìn)行混合。實(shí)驗(yàn)結(jié)果如表6 所示。

    表6 NPMI 對第二次生成的偽平行語料的過濾效果

    在該實(shí)驗(yàn)中,表中“短語對N”代表在短語對數(shù)量大于等于N的語料上訓(xùn)練的模型,MITC 代表在MITC 過濾后的語料進(jìn)行訓(xùn)練的模型。本文使用所有符合篩選條件的語料作為訓(xùn)練集,泰漢實(shí)驗(yàn)中,短語對數(shù)量為3 以上的語料有87 萬,短語對數(shù)量為4 以上的語料有66 萬,短語對數(shù)量為5 以上的語料有49 萬;在漢泰實(shí)驗(yàn)中,短語對數(shù)量為3 以上的語料有86 萬,短語對數(shù)量為4 以上的語料有65 萬,短語對數(shù)量為5 以上的語料有47 萬;經(jīng)過MITC 過濾的語料在泰漢和漢泰上均為99 萬。在泰漢上,短語對3 和短語對4 模型的性能高于在未過濾語料上訓(xùn)練出來的模型性能,這表明在泰漢上NPMI 具備過濾第二次生成的偽平行語料的能力,但在漢泰上,沒有在任何過濾后語料上訓(xùn)練的模型性能高于在未過濾語料上訓(xùn)練的模型性能。本文猜想,NPMI 在泰漢上有過濾效果,但在漢泰上沒有過濾效果,是由于泰漢翻譯模型(表5 中的MITC泰漢模型)生成的偽平行語料中依然存在對模型性能只造成負(fù)面影響的噪聲,但漢泰翻譯模型(表5中的MITC 漢泰模型)生成的偽平行語料中的極大部分語料已經(jīng)不是簡單的噪聲語料,都是對模型的性能有正面影響也有負(fù)面影響的句對。而NPMI 直接對平行語料進(jìn)行過濾,會(huì)直接將這樣的語料過濾掉導(dǎo)致模型缺乏部分必要的語義信息,致使模型性能降低。在該實(shí)驗(yàn)的漢泰中也體現(xiàn)了這一情況,語料規(guī)模的下降會(huì)導(dǎo)致模型性能的下降,性能最高的MITC 模型也是漢泰語料最多的模型,訓(xùn)練語料高達(dá)99 萬。

    3.2 柬埔寨語—英語WMT20 實(shí)驗(yàn)

    為了證明本文方法的有效性,本文在WMT2020的柬埔寨語—英語的平行語料過濾任務(wù)中也做了實(shí)驗(yàn)。

    在WMT2020的平行語料過濾任務(wù)中,官方提供了帶有噪聲的柬埔寨語—英語的平行語料。參與者只需要提供過濾后的平行語料,其余的由官方提供,包括參數(shù)一致的翻譯模型,共同的驗(yàn)證集和測試集。

    柬埔寨語—英語同樣是低資源語言對,現(xiàn)有的干凈平行語料稀少,過濾過程中無法采用干凈的平行語料作為錨點(diǎn)對噪聲語料進(jìn)行過濾。雖然官方提供了少量的干凈平行語料,但本文為了實(shí)驗(yàn)的一致性并沒有使用該平行語料,依然采用NPMI 直接從噪聲語料提取對齊信息,之后利用可靠性高的對齊信息進(jìn)行過濾。

    對比實(shí)驗(yàn)使用的數(shù)據(jù)都是英語token 數(shù)量為2百萬的語料。實(shí)驗(yàn)結(jié)果如表7 所示。

    表7 柬英上不同過濾方法的對比

    實(shí)驗(yàn)表明,NPMI的過濾在驗(yàn)證集和測試集上均比LASER 低了0.2 個(gè)BLEU 值,但將NPMI 和LASER 進(jìn)行聯(lián)合過濾之后,在驗(yàn)證集上比LASER 高了0.8個(gè)BLEU值,而在測試集上高了0.4個(gè)BLEU值。

    4 結(jié)語

    針對非人工方式得到的平行語料的規(guī)模足夠但質(zhì)量不佳的問題,提出了基于NPMI的平行語料過濾方法。該方法在不使用任何單語語料和干凈平行語料而只使用噪聲語料的情況下,可以直接抽取出噪聲語料中可靠性高的對齊信息,并利用該對齊信息對噪聲語料進(jìn)行過濾。在抽取式的平行語料上,過濾效果良好,在只生成一次的偽平行語料上,NPMI 也可以提高偽平行語料的質(zhì)量,但在二次生成的偽平行語料上,過濾效果不佳。如何改進(jìn)NPMI 在多次生成的偽平行語料的過濾效果是筆者未來的研究方向。

    猜你喜歡
    語料平行短語
    向量的平行與垂直
    平行
    逃離平行世界
    基于語料調(diào)查的“連……都(也)……”出現(xiàn)的語義背景分析
    再頂平行進(jìn)口
    汽車觀察(2016年3期)2016-02-28 13:16:36
    華語電影作為真實(shí)語料在翻譯教學(xué)中的應(yīng)用
    《苗防備覽》中的湘西語料
    國內(nèi)外語用學(xué)實(shí)證研究比較:語料類型與收集方法
    国产 一区精品| 精品久久久精品久久久| 中文精品一卡2卡3卡4更新| 2022亚洲国产成人精品| 国产av码专区亚洲av| 亚洲,欧美,日韩| 十八禁国产超污无遮挡网站| 国产精品一及| 亚洲伊人久久精品综合| 中文字幕av成人在线电影| 国产白丝娇喘喷水9色精品| 日韩成人伦理影院| 久久精品国产亚洲av天美| 三级国产精品片| 熟女人妻精品中文字幕| 国产人妻一区二区三区在| 精品久久久精品久久久| 女人十人毛片免费观看3o分钟| 精品久久国产蜜桃| 男女下面进入的视频免费午夜| 2022亚洲国产成人精品| 国内精品美女久久久久久| 欧美日韩综合久久久久久| 国产伦一二天堂av在线观看| 中文字幕av在线有码专区| 赤兔流量卡办理| 观看免费一级毛片| 久久精品国产亚洲av天美| 91精品国产九色| 国产一级毛片在线| 少妇熟女欧美另类| 亚洲国产色片| 国产亚洲精品久久久com| 啦啦啦中文免费视频观看日本| 久久久精品欧美日韩精品| 国产成年人精品一区二区| 亚洲国产精品专区欧美| 日产精品乱码卡一卡2卡三| 两个人的视频大全免费| 身体一侧抽搐| 国产免费福利视频在线观看| 肉色欧美久久久久久久蜜桃 | 国产精品美女特级片免费视频播放器| 欧美xxxx黑人xx丫x性爽| 久久97久久精品| 两个人视频免费观看高清| 一级毛片久久久久久久久女| 青春草亚洲视频在线观看| 97在线视频观看| 国产亚洲午夜精品一区二区久久 | 精品午夜福利在线看| 我的女老师完整版在线观看| 国产 亚洲一区二区三区 | 啦啦啦啦在线视频资源| 丰满少妇做爰视频| 亚洲欧美日韩卡通动漫| 天美传媒精品一区二区| 校园人妻丝袜中文字幕| 亚洲欧美日韩卡通动漫| 一区二区三区免费毛片| 欧美成人a在线观看| 日韩欧美精品免费久久| 亚洲欧美清纯卡通| 午夜福利视频1000在线观看| 麻豆成人午夜福利视频| 熟女人妻精品中文字幕| 国产成人aa在线观看| 国产黄色视频一区二区在线观看| 日韩 亚洲 欧美在线| 51国产日韩欧美| 韩国av在线不卡| 亚洲欧美一区二区三区国产| 国产成人aa在线观看| 成人鲁丝片一二三区免费| 欧美 日韩 精品 国产| 干丝袜人妻中文字幕| 美女高潮的动态| 如何舔出高潮| 亚洲av在线观看美女高潮| 亚洲图色成人| 国产日韩欧美在线精品| 国产伦精品一区二区三区四那| a级一级毛片免费在线观看| 久久久欧美国产精品| 日韩成人伦理影院| 一个人看视频在线观看www免费| 国产伦一二天堂av在线观看| 97超碰精品成人国产| 日韩成人伦理影院| 欧美不卡视频在线免费观看| 大香蕉久久网| 免费无遮挡裸体视频| 精品国产露脸久久av麻豆 | 亚洲熟女精品中文字幕| 久久99蜜桃精品久久| 五月伊人婷婷丁香| 热99在线观看视频| 婷婷六月久久综合丁香| 日韩三级伦理在线观看| 日本猛色少妇xxxxx猛交久久| 亚洲精品国产成人久久av| 国产精品精品国产色婷婷| 欧美激情在线99| 毛片一级片免费看久久久久| 亚洲综合精品二区| 亚洲最大成人手机在线| 久久久久网色| 久久精品夜色国产| 免费看av在线观看网站| 亚洲av不卡在线观看| 尤物成人国产欧美一区二区三区| 联通29元200g的流量卡| 国产探花极品一区二区| av福利片在线观看| 看十八女毛片水多多多| 国产免费福利视频在线观看| 国产极品天堂在线| 久久精品国产自在天天线| 精品一区二区免费观看| 久久人人爽人人爽人人片va| 国产高清国产精品国产三级 | av.在线天堂| 日本-黄色视频高清免费观看| 我的老师免费观看完整版| 国产精品国产三级专区第一集| 免费看a级黄色片| 又大又黄又爽视频免费| 亚洲av免费在线观看| 色综合站精品国产| 青青草视频在线视频观看| 丝袜美腿在线中文| 91精品伊人久久大香线蕉| 精品欧美国产一区二区三| 成年免费大片在线观看| 99热这里只有精品一区| 欧美潮喷喷水| 国产成人精品福利久久| av.在线天堂| 91久久精品电影网| 五月伊人婷婷丁香| 亚洲av.av天堂| 97在线视频观看| 美女内射精品一级片tv| 简卡轻食公司| 欧美3d第一页| 国产成人午夜福利电影在线观看| 欧美人与善性xxx| h日本视频在线播放| 久久热精品热| 五月伊人婷婷丁香| 国产精品人妻久久久影院| 99九九线精品视频在线观看视频| av在线播放精品| 日本欧美国产在线视频| 亚洲一区高清亚洲精品| 日日啪夜夜爽| 久久久久久久久中文| 免费无遮挡裸体视频| 日韩一本色道免费dvd| 久久久久精品久久久久真实原创| 97超视频在线观看视频| 国产亚洲午夜精品一区二区久久 | 午夜亚洲福利在线播放| 97热精品久久久久久| 青春草国产在线视频| 黄色欧美视频在线观看| 十八禁网站网址无遮挡 | 身体一侧抽搐| 在线观看一区二区三区| 国产成人福利小说| 亚洲精品久久午夜乱码| 午夜免费激情av| 三级国产精品片| 国产大屁股一区二区在线视频| 国产精品不卡视频一区二区| 国产午夜福利久久久久久| 亚洲精品日韩av片在线观看| 高清av免费在线| 日本免费a在线| 国产淫片久久久久久久久| 中文字幕亚洲精品专区| 成人一区二区视频在线观看| 日韩国内少妇激情av| 在线天堂最新版资源| 国产午夜精品久久久久久一区二区三区| 日韩欧美三级三区| 免费观看性生交大片5| 麻豆成人午夜福利视频| 国产在线一区二区三区精| 午夜免费男女啪啪视频观看| 成人亚洲欧美一区二区av| 汤姆久久久久久久影院中文字幕 | 乱人视频在线观看| 国模一区二区三区四区视频| 麻豆av噜噜一区二区三区| 观看免费一级毛片| 天天一区二区日本电影三级| 亚洲欧美一区二区三区黑人 | 亚洲国产日韩欧美精品在线观看| 免费观看av网站的网址| 日本午夜av视频| 国产亚洲午夜精品一区二区久久 | 毛片一级片免费看久久久久| 国产精品嫩草影院av在线观看| 中文字幕亚洲精品专区| 久久这里有精品视频免费| 欧美最新免费一区二区三区| 天天躁夜夜躁狠狠久久av| 99热网站在线观看| 日日干狠狠操夜夜爽| 熟女人妻精品中文字幕| 亚洲图色成人| 伦精品一区二区三区| 男女边摸边吃奶| 婷婷色麻豆天堂久久| 亚洲欧美成人综合另类久久久| 久久精品综合一区二区三区| 一级毛片我不卡| 如何舔出高潮| 国产在线男女| av.在线天堂| 日韩伦理黄色片| av在线天堂中文字幕| 2021少妇久久久久久久久久久| 精品久久久久久成人av| 国产午夜精品论理片| 欧美日韩一区二区视频在线观看视频在线 | 日产精品乱码卡一卡2卡三| 色综合亚洲欧美另类图片| 91精品伊人久久大香线蕉| 韩国av在线不卡| 天堂av国产一区二区熟女人妻| 免费观看av网站的网址| 五月伊人婷婷丁香| 国产亚洲最大av| 男人和女人高潮做爰伦理| 高清毛片免费看| 免费看光身美女| 日韩精品青青久久久久久| 我的女老师完整版在线观看| 亚洲国产精品成人综合色| 国产69精品久久久久777片| 国产淫语在线视频| 天堂中文最新版在线下载 | 国产成人精品福利久久| 91aial.com中文字幕在线观看| 国产成人福利小说| 国语对白做爰xxxⅹ性视频网站| 亚洲国产精品专区欧美| 国产精品日韩av在线免费观看| 视频中文字幕在线观看| 在线免费观看不下载黄p国产| 国产成人a区在线观看| h日本视频在线播放| 国产真实伦视频高清在线观看| 国产黄a三级三级三级人| 性插视频无遮挡在线免费观看| 亚洲经典国产精华液单| 中文字幕人妻熟人妻熟丝袜美| 国产视频首页在线观看| 国产一级毛片七仙女欲春2| 国产亚洲av片在线观看秒播厂 | 国产成年人精品一区二区| 午夜激情久久久久久久| 在线观看免费高清a一片| 天堂俺去俺来也www色官网 | 欧美日韩一区二区视频在线观看视频在线 | 亚洲美女搞黄在线观看| 99视频精品全部免费 在线| 亚洲乱码一区二区免费版| 亚洲内射少妇av| 97热精品久久久久久| 国产一级毛片在线| 看黄色毛片网站| 久久热精品热| 亚洲国产欧美在线一区| 国语对白做爰xxxⅹ性视频网站| 三级国产精品片| 一级爰片在线观看| 欧美最新免费一区二区三区| 亚洲怡红院男人天堂| 性插视频无遮挡在线免费观看| 色视频www国产| 欧美高清成人免费视频www| 国产高潮美女av| 久久精品综合一区二区三区| 国产人妻一区二区三区在| 亚洲av成人精品一区久久| 欧美区成人在线视频| 3wmmmm亚洲av在线观看| 国产视频首页在线观看| 午夜爱爱视频在线播放| 在线观看人妻少妇| 精品国产一区二区三区久久久樱花 | 国内少妇人妻偷人精品xxx网站| 99热网站在线观看| 大片免费播放器 马上看| 国产在线一区二区三区精| 国产精品1区2区在线观看.| 免费观看a级毛片全部| 天美传媒精品一区二区| 午夜激情欧美在线| 人人妻人人看人人澡| 日韩欧美 国产精品| 免费电影在线观看免费观看| 成人无遮挡网站| 久久精品国产鲁丝片午夜精品| 伦理电影大哥的女人| 男人舔女人下体高潮全视频| 嫩草影院入口| 99久久人妻综合| 亚洲色图av天堂| 亚洲怡红院男人天堂| 国模一区二区三区四区视频| 成人二区视频| 亚洲,欧美,日韩| 日韩中字成人| 亚洲婷婷狠狠爱综合网| 中文字幕人妻熟人妻熟丝袜美| 国产免费福利视频在线观看| 黑人高潮一二区| 久久久久九九精品影院| 乱码一卡2卡4卡精品| 插逼视频在线观看| 亚洲av免费在线观看| 亚洲国产色片| 可以在线观看毛片的网站| 国产永久视频网站| 日韩av免费高清视频| 最近的中文字幕免费完整| 欧美人与善性xxx| 91av网一区二区| 亚洲婷婷狠狠爱综合网| 亚洲国产精品国产精品| 老司机影院毛片| 久久久久久久久久黄片| 男人爽女人下面视频在线观看| 可以在线观看毛片的网站| 日韩精品青青久久久久久| 深爱激情五月婷婷| 国产v大片淫在线免费观看| 国产黄片美女视频| 爱豆传媒免费全集在线观看| 久99久视频精品免费| 日韩成人伦理影院| 人人妻人人澡欧美一区二区| 91在线精品国自产拍蜜月| 午夜精品国产一区二区电影 | 超碰97精品在线观看| 黄色配什么色好看| 亚洲自偷自拍三级| 能在线免费观看的黄片| 亚洲欧美成人精品一区二区| 美女主播在线视频| 综合色丁香网| 人妻少妇偷人精品九色| 可以在线观看毛片的网站| 91aial.com中文字幕在线观看| 天天躁日日操中文字幕| 男女那种视频在线观看| 久久热精品热| 乱人视频在线观看| 日韩一区二区视频免费看| 日本黄大片高清| 乱人视频在线观看| 欧美成人午夜免费资源| 国产精品久久久久久久电影| 精品久久国产蜜桃| 免费看日本二区| 欧美区成人在线视频| 丰满乱子伦码专区| 欧美 日韩 精品 国产| 日本免费在线观看一区| 日韩强制内射视频| 女的被弄到高潮叫床怎么办| 亚洲成色77777| 高清av免费在线| 国产一级毛片在线| 高清午夜精品一区二区三区| 国产成人福利小说| 啦啦啦啦在线视频资源| 久久久久久久久久人人人人人人| av又黄又爽大尺度在线免费看| 三级毛片av免费| 黄色配什么色好看| 日韩欧美三级三区| 韩国高清视频一区二区三区| 欧美区成人在线视频| 久久精品综合一区二区三区| 成年av动漫网址| 国产永久视频网站| 卡戴珊不雅视频在线播放| 国产一区有黄有色的免费视频 | 五月玫瑰六月丁香| 亚洲一区高清亚洲精品| 色网站视频免费| 欧美另类一区| 亚洲国产成人一精品久久久| 永久网站在线| 美女xxoo啪啪120秒动态图| 乱码一卡2卡4卡精品| 亚洲真实伦在线观看| 18禁在线无遮挡免费观看视频| 秋霞伦理黄片| 亚洲怡红院男人天堂| 水蜜桃什么品种好| 三级经典国产精品| 国产高清国产精品国产三级 | 久久这里只有精品中国| 免费观看的影片在线观看| 亚洲,欧美,日韩| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 日本猛色少妇xxxxx猛交久久| 欧美日韩亚洲高清精品| 国产永久视频网站| 国产成人a∨麻豆精品| 久久这里有精品视频免费| 日韩不卡一区二区三区视频在线| 精品一区二区三区视频在线| 国产成人freesex在线| 777米奇影视久久| 亚洲精品国产av蜜桃| 一区二区三区高清视频在线| 天天躁日日操中文字幕| 赤兔流量卡办理| 菩萨蛮人人尽说江南好唐韦庄| 欧美xxxx性猛交bbbb| 国产白丝娇喘喷水9色精品| 国产精品爽爽va在线观看网站| 老女人水多毛片| 久久99蜜桃精品久久| 婷婷色综合www| 久久久久国产网址| 亚洲内射少妇av| 亚洲精品乱码久久久v下载方式| 国产高潮美女av| 成人无遮挡网站| 国产伦一二天堂av在线观看| 国产成人精品婷婷| 九九爱精品视频在线观看| 只有这里有精品99| 好男人在线观看高清免费视频| 成年版毛片免费区| 国产视频首页在线观看| 国产一区有黄有色的免费视频 | 在线观看免费高清a一片| 看黄色毛片网站| 国产精品一及| 男人狂女人下面高潮的视频| 日韩欧美 国产精品| 午夜老司机福利剧场| 久久久久久久久久成人| 国产成人精品婷婷| 国产在线一区二区三区精| 亚洲精品久久久久久婷婷小说| 禁无遮挡网站| 日本熟妇午夜| 欧美另类一区| 一级爰片在线观看| 亚洲av男天堂| 极品教师在线视频| 亚洲精品,欧美精品| 国产乱来视频区| 亚洲精品aⅴ在线观看| 亚洲va在线va天堂va国产| 日韩一区二区视频免费看| 看黄色毛片网站| 国产精品人妻久久久影院| av线在线观看网站| 欧美日韩在线观看h| 狂野欧美白嫩少妇大欣赏| 三级国产精品欧美在线观看| 好男人视频免费观看在线| 久久久久久久久久成人| 国产一区二区亚洲精品在线观看| 欧美成人午夜免费资源| 欧美日韩在线观看h| 一级黄片播放器| av.在线天堂| 能在线免费看毛片的网站| 黄色一级大片看看| 最近视频中文字幕2019在线8| 免费少妇av软件| 国产成人免费观看mmmm| 熟妇人妻不卡中文字幕| 亚洲乱码一区二区免费版| 三级毛片av免费| 边亲边吃奶的免费视频| 午夜福利在线观看吧| 大香蕉久久网| 日本免费a在线| 国产精品不卡视频一区二区| 一级片'在线观看视频| 国产在视频线在精品| 国产一区二区在线观看日韩| 韩国av在线不卡| 国产爱豆传媒在线观看| 国产老妇伦熟女老妇高清| 一级毛片黄色毛片免费观看视频| 国产男女超爽视频在线观看| 国产精品女同一区二区软件| 美女被艹到高潮喷水动态| 在线免费观看的www视频| 亚洲图色成人| 欧美bdsm另类| 极品教师在线视频| 国产午夜精品久久久久久一区二区三区| 中文乱码字字幕精品一区二区三区 | 国内少妇人妻偷人精品xxx网站| 美女cb高潮喷水在线观看| 国产精品一区二区在线观看99 | 亚洲美女搞黄在线观看| 精华霜和精华液先用哪个| 成人鲁丝片一二三区免费| 国产黄色免费在线视频| 亚洲欧美一区二区三区国产| 人妻夜夜爽99麻豆av| 亚洲四区av| 国产一级毛片七仙女欲春2| 午夜老司机福利剧场| 白带黄色成豆腐渣| av在线播放精品| 日本熟妇午夜| 日本免费a在线| 国产午夜精品论理片| 国产精品女同一区二区软件| 午夜免费男女啪啪视频观看| 精品久久久久久久久av| 精品国内亚洲2022精品成人| 黑人高潮一二区| 老师上课跳d突然被开到最大视频| 免费播放大片免费观看视频在线观看| 免费看av在线观看网站| 亚洲精品自拍成人| 国产老妇伦熟女老妇高清| 我的老师免费观看完整版| 五月天丁香电影| 国产免费福利视频在线观看| 一本一本综合久久| 日本-黄色视频高清免费观看| 一区二区三区乱码不卡18| 夫妻性生交免费视频一级片| 国产精品久久久久久av不卡| 岛国毛片在线播放| 亚洲欧美日韩卡通动漫| 天天一区二区日本电影三级| 91在线精品国自产拍蜜月| 麻豆成人av视频| 美女xxoo啪啪120秒动态图| 91精品一卡2卡3卡4卡| 国产亚洲最大av| 看黄色毛片网站| 亚洲精品国产成人久久av| 亚洲精华国产精华液的使用体验| 97在线视频观看| 可以在线观看毛片的网站| 亚洲最大成人av| 伊人久久精品亚洲午夜| 日日摸夜夜添夜夜爱| 欧美最新免费一区二区三区| 国产亚洲av嫩草精品影院| 在线观看av片永久免费下载| 麻豆精品久久久久久蜜桃| 日日啪夜夜撸| 久久精品久久久久久久性| 国产午夜精品久久久久久一区二区三区| 三级国产精品片| 国产精品无大码| 女的被弄到高潮叫床怎么办| 久久精品久久久久久噜噜老黄| 亚洲精品乱码久久久v下载方式| 久久久成人免费电影| 乱码一卡2卡4卡精品| 亚洲精品乱久久久久久| 亚洲在线自拍视频| 亚洲av成人av| 国产激情偷乱视频一区二区| 国产亚洲最大av| av在线亚洲专区| 成人午夜高清在线视频| 亚洲av二区三区四区| 嫩草影院入口| 免费观看av网站的网址| 久久久久精品性色| 国产永久视频网站| 国产乱来视频区| 亚洲成人中文字幕在线播放| 欧美 日韩 精品 国产| 搡女人真爽免费视频火全软件| 天堂影院成人在线观看| 日韩大片免费观看网站| 免费观看精品视频网站| 久久久久久国产a免费观看| 国产伦理片在线播放av一区| 校园人妻丝袜中文字幕| 免费无遮挡裸体视频| 一级毛片我不卡| 国产女主播在线喷水免费视频网站 | 国产精品一二三区在线看| 国产真实伦视频高清在线观看| 亚洲精品国产av蜜桃| 七月丁香在线播放| 久久精品熟女亚洲av麻豆精品 | 熟女人妻精品中文字幕| 午夜福利在线在线| 国产v大片淫在线免费观看| 日韩制服骚丝袜av| 国产成人a区在线观看| 国产国拍精品亚洲av在线观看| 亚洲人成网站在线观看播放| 一夜夜www| 欧美日韩综合久久久久久| 精品欧美国产一区二区三| 日韩精品青青久久久久久| 欧美成人精品欧美一级黄|