• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于歸一化點(diǎn)向互信息的低資源平行語料過濾方法*

    2022-01-25 14:11:04章浩然
    通信技術(shù) 2021年12期
    關(guān)鍵詞:語料平行短語

    吳 霖,章浩然

    (昆明理工大學(xué),云南 昆明 650500)

    關(guān)鍵字:神經(jīng)機(jī)器翻譯;過濾;歸一化點(diǎn)向互信息算法;平行語料;對齊信息

    0 引言

    神經(jīng)機(jī)器翻譯是數(shù)據(jù)驅(qū)動(dòng)模型,提高平行語料的規(guī)模和質(zhì)量是提升神經(jīng)機(jī)器翻譯性能最簡單有效的方法。然而,通過非人工方式得到的平行語料,其規(guī)模足夠但質(zhì)量不佳。平行語料質(zhì)量不佳的情況下,提高其規(guī)模并不會(huì)讓模型有較大的性能提升甚至存在性能下降的情況,因此提高平行語料的質(zhì)量成了提升模型性能的關(guān)鍵,這使得平行語料過濾方法變得越來越重要。

    語料過濾方法是從一個(gè)大規(guī)模的、含有噪聲的平行語料中,過濾出一個(gè)較高質(zhì)量的子語料,并以此來提高翻譯模型性能的方法。當(dāng)前,根據(jù)句子長度、句子長度比例以及語言標(biāo)識(shí)等來過濾語料的方法較為簡單和通用。其中語言標(biāo)識(shí)過濾是過濾掉特定語言對中不屬于該語言對的句子,例如在漢泰語料中,只過濾源語言不為漢語且目標(biāo)語言不為泰語的句子。但是,這些方法只能過濾存在明顯錯(cuò)誤的句對,難以判別并過濾詞翻譯錯(cuò)誤或句意不一致的句對。利用少量干凈的平行語料來提供對齊信息,根據(jù)提供的對齊信息來判別每個(gè)句對是否為噪聲句對的過濾方法也較為常見[1-3],但這些過濾方法都需要有少量干凈的平行語料。但在低資源語言對中,可能存在大規(guī)模且含有噪聲的平行語料,并不存在少量干凈的平行語料。

    例如OpenSubtitles[4]中的漢泰平行語料就存在大量噪聲,致使翻譯模型性能不佳,也不存在干凈的且領(lǐng)域相同的平行語料提供對齊信息;因此需要從噪聲語料或單語語料中尋找對齊信息。而在神經(jīng)機(jī)器翻譯領(lǐng)域中,通常采用跨語言預(yù)訓(xùn)練模型或多語言預(yù)訓(xùn)練模型來提供對齊信息。Ivana 等人[5]利用無監(jiān)督神經(jīng)機(jī)器翻譯生成偽平行語料來提供偽對齊信息,然后利用該偽平行語料微調(diào)跨語言模型(Cross-lingual Language Model,XLM)[6],以此來獲取多語言句子嵌入信息。該方法可以用于計(jì)算句子間的相互翻譯程度,從而挖掘和過濾平行語料,但這樣的方法需要龐大的單語語料和強(qiáng)大的硬件支持。

    為了減少對單語語料和硬件的依賴,從噪聲語料中抽取出對齊信息是更為有效的方法。點(diǎn)向互信息(Pointwise Mutual Information,PMI)[7]是一種獲取語料中詞對共現(xiàn)概率的方法,其詞對共現(xiàn)概率是由詞對中兩個(gè)詞各自出現(xiàn)的概率和其共同出現(xiàn)概率來得到的。由于噪聲語料中,對齊較差的詞對不具備規(guī)律性,其共同出現(xiàn)的概率低,會(huì)被PMI 賦予低共現(xiàn)概率,而對齊較好的詞對存在一定的規(guī)律性,會(huì)被PMI 賦予高共現(xiàn)概率,通過這樣的方法可以從噪聲語料中抽取出可靠性高的對齊信息。然而,由于PMI 會(huì)給予低頻詞更大的權(quán)重,這會(huì)導(dǎo)致低頻詞對具備更大的共現(xiàn)概率,形成噪聲,降低對齊信息的質(zhì)量。因此,本文采用給予低頻詞對更低權(quán)重的歸一化點(diǎn)向互信息(Normalized Pointwise Mutual Information,NPMI)[8]來抽取噪聲語料中的對齊信息。

    本文采用基于NPMI的平行語料過濾方法,該方法直接在噪聲語料中抽取出對齊信息,并利用其中可靠性高的對齊信息來過濾噪聲語料。本文在OpenSubtitles的泰語—漢語翻譯方向上提高了5.8個(gè)BLEU 值,漢語—泰語翻譯方向上提高了10 個(gè)BLEU 值。該方法在2020 年國際機(jī)器翻譯大賽給出的柬埔寨語—英語單向翻譯任務(wù)中實(shí)驗(yàn),得到的結(jié)果比基線高了0.4 個(gè)BLEU 值。

    1 相關(guān)工作

    1.1 平行語料過濾任務(wù)

    國際機(jī)器翻譯大賽(WMT)在2018 年[9]、2019 年[10]、2020 年[11]分別舉行了不同語言對的平行語料過濾任務(wù)比賽,其中也包括低資源語言對,例如柬埔寨語-英語以及普什圖語-英語,這也是目前最有影響力的平行語料過濾任務(wù)。在WMT2020的任務(wù)中,參賽者根據(jù)噪聲語料中每個(gè)句對的質(zhì)量進(jìn)行評(píng)分,最終按照每個(gè)句對的分?jǐn)?shù)由高到低選取。為了降低平行語料數(shù)量的影響,官方規(guī)定了過濾后的平行語料中,英語語料的詞元(token)數(shù)為5百萬左右。其評(píng)價(jià)平行語料質(zhì)量的方法是在該平行語料上訓(xùn)練一個(gè)翻譯模型,翻譯模型的雙語評(píng)估替補(bǔ)(Bilingual Evaluation Understudy,BLEU)值越大則代表平行語料質(zhì)量越好。此外,所有參賽者都使用相同的翻譯模型,參數(shù)由官方給定。

    1.2 平行語料過濾任務(wù)

    句對的相互翻譯程度(以下稱之為平行度)的計(jì)算是過濾方法的核心。句對平行度的計(jì)算可以分為詞級(jí)和句級(jí),現(xiàn)有的過濾方法也主要以這兩個(gè)方面為主。因此,如何找到意思表達(dá)更精確的詞向量或句向量,以及如何找到更為精準(zhǔn)的對齊信息是提高過濾性能的關(guān)鍵。

    Herold 等人[12]采用glove[13]在每個(gè)語言的單語語料上分別學(xué)習(xí)該語言的詞向量,并將兩種語言的單語詞向量映射到同一向量空間,兩種語言句子中每個(gè)詞對的余弦相似度的總和作為句對平行度,最后實(shí)驗(yàn)證明了語言標(biāo)識(shí)檢測方法的有效性以及適用范圍。除了利用詞向量來計(jì)算兩個(gè)語言句子的平行度外,還可以利用多語言預(yù)訓(xùn)練模型或跨語言預(yù)訓(xùn)練模型,具體是將兩種語言的詞或句子向量映射到相同向量空間中并在一定程度上將它們進(jìn)行對齊,以此來保證兩種語言的詞或句子向量可以進(jìn)行更為精確的余弦相似度計(jì)算。

    阿里巴巴團(tuán)隊(duì)[14]利用小規(guī)模干凈的平行語料對語料過濾模型(GPT-2[15])進(jìn)行了最初的訓(xùn)練;之后利用該過濾模型對噪聲語料進(jìn)行過濾,將高質(zhì)量的平行語料和干凈的平行語料進(jìn)行合并;最后利用合并后的語料訓(xùn)練一個(gè)新版本的過濾模型,并迭代3 次來提高過濾模型的過濾性能。

    字節(jié)跳動(dòng)[16]團(tuán)隊(duì)利用大規(guī)模的單語語料和官方提供的干凈平行語料上訓(xùn)練了一個(gè)高性能的XLM,并在XLM 上添加一個(gè)線性或卷積層來預(yù)測每個(gè)句對是否平行,最終用4 個(gè)參數(shù)不同或最后一層不同的XLM 對每個(gè)句對進(jìn)行評(píng)分,以它們的平均得分作為最終的質(zhì)量評(píng)分。

    評(píng)估句對的平行度不僅可以利用余弦相似度,而且可以利用翻譯模型的交叉熵?fù)p失值。Marcin[1]利用對偶條件交叉熵?fù)p失結(jié)合語言模型作為過濾條件。其中對偶條件交叉熵?fù)p失由兩個(gè)相反翻譯方向的翻譯模型計(jì)算兩個(gè)交叉熵?fù)p失值的差異得到,用于過濾掉對齊錯(cuò)誤的句對;而語言模型分別為一個(gè)領(lǐng)域內(nèi)和領(lǐng)域外的語言模型來計(jì)算其領(lǐng)域的相似性得到,用于過濾掉與領(lǐng)域不相關(guān)的句對。

    1.3 PMI

    PMI 是一種在訓(xùn)練語料上構(gòu)建一個(gè)共現(xiàn)矩陣,來對訓(xùn)練語料重新加權(quán)的方法。計(jì)算方法為:

    式中:x和y分別為源語言的詞和目標(biāo)語言的詞;p(x)和p(y)分別為x和y在語料中出現(xiàn)的概率;p(x,y)為x和y兩個(gè)詞共同出現(xiàn)的概率。

    在實(shí)踐中發(fā)現(xiàn),將詞對中的負(fù)相關(guān)置0,PMI的表現(xiàn)會(huì)更好。而NPMI 也是一種在訓(xùn)練語料上構(gòu)建一個(gè)共現(xiàn)矩陣,來對訓(xùn)練語料重新加權(quán)的方法。該方法對PMI 進(jìn)行了規(guī)范化,從而緩解了PMI 對低頻詞對的偏向。計(jì)算方法為:

    2 方 法

    OpenSubtitles 中的漢泰平行語料質(zhì)量較差,且沒有同領(lǐng)域高質(zhì)量的平行語料作為錨點(diǎn)提供對齊信息。因此本文選擇直接在漢泰噪聲語料上抽取對齊信息,通過NPMI 來計(jì)算每個(gè)詞對的共現(xiàn)概率,并利用高共現(xiàn)概率的詞對來過濾噪聲語料。

    機(jī)器翻譯領(lǐng)域存在大量一對一的詞對,但也存在多對一、一對多甚至多對多的短語對。為了能夠獲取噪聲語料中存在的短語對信息。本文采用快速對齊(fast align)[17]來得到源句子與目標(biāo)句子中詞的對齊信息,以此來構(gòu)建出源與目標(biāo)的短語對表,并過濾掉其中低頻率的短語對。通過該方法得到的短語表,可以用于簡單的過濾。

    本文將源語言和目標(biāo)語言分別用X和Y進(jìn)行表示,并利用Px和Py代表分別從X和Y中抽取得到的短語。f(X,Y)是根據(jù)fast align 從X和Y中獲得的詞對齊信息,構(gòu)建出的短語對函數(shù)。因此,本文的NPMI 不計(jì)算噪聲語料中所有可能存在的詞對或短語對,只計(jì)算短語表中存在的詞對或短語對,這樣可以減少可靠性低的對齊信息數(shù)量,進(jìn)而提高從噪聲語料中提取對齊信息的可靠性。

    利用統(tǒng)計(jì)機(jī)器翻譯的fast align 技術(shù),本文可以得到所有可能的短語表(其中包括詞對),若將句子中的短語看作為一個(gè)詞,平行語料中依然以一對一詞對為主,因此本文采用與Tu 等人[18]一樣的翻譯覆蓋率來進(jìn)一步保證兩個(gè)句子的平行度。本文以整個(gè)源句子在目標(biāo)句子中是否存在相對應(yīng)的翻譯為基礎(chǔ),若源句子中的某個(gè)詞在目標(biāo)句子中沒有與之相對應(yīng)的詞,則降低源句子的翻譯覆蓋率。同樣判斷目標(biāo)句中的每個(gè)詞是否可以在源句子中找到相對應(yīng)的詞,如果沒有與之對應(yīng)的詞,則降低目標(biāo)句子的翻譯覆蓋率。之所以對源句子和目標(biāo)句子都做翻譯覆蓋率的調(diào)整,原因有二:一是翻譯是雙向的,需要在漢泰和泰漢兩個(gè)翻譯方向上都訓(xùn)練;二是防止源或目標(biāo)句子的每個(gè)詞都指向目標(biāo)或源中的同一個(gè)詞,從而避免存在錯(cuò)誤的翻譯覆蓋率。

    為了計(jì)算噪聲語料中對齊信息的可靠性,本文采用NPMI 方法。該方法是對PMI 進(jìn)行了歸一化,防止低頻短語對的可靠性太高。同時(shí)根據(jù)正點(diǎn)向互信息(Positive Pointwise Mutual Information,PPMI)[19](只保留PMI 中大于0的值)的效果好于PMI的效果,本文只使用了NPMI 中大于0的部分。

    本文使用了由NPMI 得到的對齊信息和翻譯覆蓋率(normalized pointwise Mutual Information and Translation Coverage,MITC)來評(píng)估源句子與目標(biāo)句子的平行度,計(jì)算方法為:

    式中:|·|為短語或句子包含的token 個(gè)數(shù),用該方法來防止長句子對擁有太高的分?jǐn)?shù)和短句子對擁有太低的分?jǐn)?shù),盡管短句子對的質(zhì)量可能高于長句子對的質(zhì)量;C(Y|X)為X中的所有可以在Y中找到對應(yīng)翻譯的詞在整個(gè)X中的占比,即X的翻譯覆蓋率;C(X|Y)為Y的翻譯覆蓋率。

    這里計(jì)算源句子和目標(biāo)句子平行度的依據(jù)是:

    (1)如果對齊信息(Px,Py)有很高的可靠性,則包含(Px,Py)的句對(X,Y)同樣有很高的對齊可靠性,即句對的平行度很高;

    (2)如果短語Px或者Py在X或Y整個(gè)句子中的占比非常大,則對齊信息(Px,Py)與句對(X,Y)是強(qiáng)關(guān)聯(lián);

    (3)若C(Y|X)和C(X|Y)代表了(X,Y)整體平行度,則翻譯覆蓋率越高,(X,Y)的整體平行度就越高。

    3 實(shí) 驗(yàn)

    本文在漢泰翻譯上采用OpenSubtitles 中的漢泰語料作為訓(xùn)練集,總共有117 萬句對,驗(yàn)證集和測試集均為2 000 句對。在柬埔寨語—英語翻譯方向上采用WMT2020的平行語料過濾任務(wù)的噪聲語料過濾后的語料作為訓(xùn)練集,驗(yàn)證集與測試集由WMT2020 官方給出,驗(yàn)證集有2 378 句對,測試集有2 309 句對。

    翻譯模型采用transformer[20],批次大小為64,嵌入層維度為512,隱藏層維度為512,編碼器和解碼器的層數(shù)均設(shè)置為6,注意力頭個(gè)數(shù)設(shè)置為8,學(xué)習(xí)率為0.000 5,丟棄率(dropout)為0.1,解碼采用集束搜索,集束寬度設(shè)置為4,優(yōu)化器設(shè)置為Adam,最大Epoch 設(shè)置為100。訓(xùn)練結(jié)束的標(biāo)志為連續(xù)10 個(gè)epoch 模型在驗(yàn)證集上的損失值沒有超過當(dāng)前最優(yōu)損失值就停止訓(xùn)練。詞匯表大小設(shè)置為50 000,泰語用pythainlp[21]進(jìn)行分詞,漢語利用jieba 進(jìn)行分詞。采用不區(qū)分大小寫的BLEU-4 來測量BLEU 值。模型利用tensorflow 2.2 進(jìn)行實(shí)現(xiàn),所有實(shí)驗(yàn)均在Nvidia GPU(GTX titan X)上運(yùn)行。

    柬埔寨語—英語實(shí)驗(yàn)采用的模型由官方提供。源語言與目標(biāo)語言共享詞嵌入,編碼器層與解碼器層均為5 層,嵌入層維度為512,隱藏層維度為2 048,注意力頭個(gè)數(shù)均為2,dropout 為0.4,學(xué)習(xí)率設(shè)置為0.001,優(yōu)化器設(shè)置為Adam,最大epoch 設(shè)置為100。過濾過程中,柬埔寨語采用KhmerNLP[22]進(jìn)行分詞。

    3.1 漢泰OpenSubtitles 實(shí)驗(yàn)

    3.1.1 預(yù)過濾和基線

    針對漢泰的OpenSubtitles 語料,為了盡可能提高翻譯模型的性能,本文先從句子長度和句子比例進(jìn)行分析,找到最佳的句子長度和句子長度比例。在以下實(shí)驗(yàn)中,本文先對原始的117 萬語料按長度比例進(jìn)行過濾,然后隨機(jī)抽取20 萬作為訓(xùn)練集,此過程重復(fù)3 次取它們的平均值。實(shí)驗(yàn)結(jié)果如表1所示。

    表1 句子長度比例對BLEU 值的影響

    在不限制句子長度的情況下,本文只利用句對的句子長度比例對語料進(jìn)行過濾,句子長度比例為1.5 則代表句子長度比例在1.5 以上的句對都將被過濾掉。實(shí)驗(yàn)結(jié)果證明,句子長度比例為2的時(shí)候,最適合該漢泰語料,可以將翻譯模型的性能最大化。

    本文在句子比例為2的條件下,為了找到能將翻譯模型性能最大化的語料,針對句子最大長度進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如表2 所示。

    表2 句子最大長度對BLEU 值的影響

    從句子長度來看,最大長度為10的語料可以將翻譯模型的性能最大化,這可能是因?yàn)镺penSubtitles 上漢泰語料的平均長度在9 個(gè)token 左右(泰語語料的每句話的平均長度為9.5 個(gè)token,漢語語料的每句話的平均長度為8.1 個(gè)token),但該句子長度過短,因此本文選擇對翻譯模型的性能提升次佳的句子最大長度為30的語料。

    句子比例為2 且句子最大長度為10的語料(包含20 萬句對)的BLEU 值與用完整原始語料(包含117 萬句對)的BLEU 近似,這說明基于規(guī)則的語料過濾方法的有效性,也證明了OpenSubtitles的漢泰語料的確存在著大量的噪聲。

    最后利用常規(guī)的langid 工具包過濾掉其中泰語端句子并不屬于泰語或者漢語端句子并不屬于漢語的句對?;€實(shí)驗(yàn)結(jié)果如表3 所示。

    表3 基線的BLEU 值

    基線(20 萬)是在原始語料中隨機(jī)抽取20 萬平行語料上訓(xùn)練的模型,而基線(117 萬)是在完整的原始語料上訓(xùn)練的模型。在經(jīng)過句子比例為2、句子長度為30 以及l(fā)angid 過濾后的語料(本文稱之為預(yù)過濾語料)上訓(xùn)練的模型與在基線(20 萬)上訓(xùn)練的模型相比,在泰漢上高了3.029 個(gè)BLEU值,在漢泰上高了2.898 個(gè)BLEU 值。而預(yù)過濾(20 萬)與基線(117 萬)相比,在泰漢上高了0.168 個(gè)BLEU 值,在漢泰上低了0.663 個(gè)BLEU 值,預(yù)過濾(20 萬)的性能與基線(117 萬)的性能相當(dāng)。實(shí)驗(yàn)證明,利用預(yù)過濾方法可以有效地提高語料的質(zhì)量。

    3.1.2 基于NPMI的過濾方法

    本文先利用fast align 得到短語對表,針對這個(gè)短語對表對整個(gè)漢泰語料進(jìn)行了NPMI。從而得到短語對表中每一個(gè)短語對的共現(xiàn)概率,并且過濾掉了共現(xiàn)概率低于0.2的短語對。實(shí)驗(yàn)結(jié)果如表4所示。

    表4 不同條件下NPMI 過濾效果的對比

    在該實(shí)驗(yàn)中,表中“短語對N”代表在短語對數(shù)量大于等于N的語料上訓(xùn)練的模型,MITC 代表著在NPMI 和翻譯覆蓋率過濾后的語料上進(jìn)行訓(xùn)練的模型。本文不做短語對數(shù)量為4 及以上的實(shí)驗(yàn)的原因是過濾后的平行語料數(shù)量不到12 萬,而其他方法的數(shù)量均在20 萬以上,且隨機(jī)抽取20 萬語料進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)證明,在共現(xiàn)短語對數(shù)量上,共現(xiàn)短語對3的效果優(yōu)于共現(xiàn)短語對2的效果,因此擁有更多共現(xiàn)短語對的句子對具備更高的相互翻譯程度。但單純地利用共現(xiàn)短語對個(gè)數(shù)進(jìn)行判定的方法,也會(huì)導(dǎo)致在長句子上具有更大的優(yōu)勢,因此采用翻譯覆蓋率來降低語料中長句子的優(yōu)勢。實(shí)驗(yàn)表明,利用共現(xiàn)短語對在句對中的翻譯覆蓋率來進(jìn)行過濾是更佳的選擇,比起在共現(xiàn)短語對數(shù)量為3 個(gè)以上語料上訓(xùn)練的模型,在搭配翻譯覆蓋率語料(MITC)上訓(xùn)練的模型,在泰漢上提高了1.61 個(gè)BLEU,在漢泰上提高了2.42 個(gè)BLEU。將在MITC 上訓(xùn)練的模型與在預(yù)過濾語料上訓(xùn)練的模型相比,在泰漢上提高了5.884 個(gè)BLEU 值,在漢泰上提高了10 個(gè)BLEU 值。

    3.1.3 NPMI 對生成式偽平行語料的過濾效果

    本文除了在抽取式方法得到的平行語料上進(jìn)行實(shí)驗(yàn),也在生成式方法得到的平行語料上進(jìn)行實(shí)驗(yàn)。

    本文利用在基線(117 萬)語料上訓(xùn)練的模型和在MITC 過濾后的語料上訓(xùn)練的模型來生成偽平行語料。以此來探索NPMI 在對偽平行語料過濾的有效性。

    將在117 萬和MITC 語料上訓(xùn)練的兩個(gè)翻譯模型生成的偽平行語料(數(shù)量均為117 萬),與MITC的訓(xùn)練語料進(jìn)行混合。這是為了比較兩個(gè)翻譯模型生成的偽平行語料質(zhì)量,同時(shí)保證存在高質(zhì)量的平行語料,防止NPMI 被回譯生成的偽平行語料干擾,影響過濾效果。之后利用混合后的語料,分別在不進(jìn)行NPMI 過濾和進(jìn)行NPMI 過濾的情況下,重新訓(xùn)練翻譯模型。實(shí)驗(yàn)結(jié)果如表5 所示。

    表5 NPMI 對生成式偽平行語料的過濾效果

    表5 中,基線(117 萬)代表在原始語料上訓(xùn)練的模型;MITC 代表在經(jīng)過NPMI 和翻譯覆蓋率過濾后的語料上訓(xùn)練的模型;117 萬(未過濾)代表在基線(117 萬)生成的偽平行語料和經(jīng)過NPMI和翻譯覆蓋率過濾后的語料上訓(xùn)練的模型;117 萬(過濾)代表在117 萬(未過濾)所用語料的基礎(chǔ)上,進(jìn)行了NPMI 和翻譯覆蓋率過濾后的語料上訓(xùn)練的模型;MITC(未過濾)代表在MITC 生成的偽平行語料和經(jīng)過NPMI 和翻譯覆蓋率過濾后的語料上訓(xùn)練的模型;MITC(過濾)代表在MITC(未過濾)所用語料的基礎(chǔ)上,進(jìn)行了NPMI 和翻譯覆蓋率過濾后的語料上訓(xùn)練的模型。

    從117 萬(未過濾)模型和MITC(未過濾)模型的性能上可以看出,利用回譯生成偽平行語料的質(zhì)量依賴于翻譯模型的性能。在性能上,基線(117萬)模型性能比MITC 模型在泰漢上低了6.052 個(gè)BLEU 值,而在漢泰上低了9.356 個(gè)BLEU 值。這個(gè)差異在各自生成的偽平行語料的質(zhì)量上得到了體現(xiàn)。117 萬(未過濾)模型與MITC(未過濾)模型相比,在泰漢上低了4.12 個(gè)BLEU 值,而漢泰上則低了6.83 個(gè)BLEU 值。

    在分別對兩個(gè)語料做NPMI 過濾后,雙方的混合語料規(guī)模均出現(xiàn)了下降,117 萬(過濾)模型訓(xùn)練集數(shù)量在泰漢和漢泰兩個(gè)方向均為57 萬左右,而MITC(過濾)模型訓(xùn)練集數(shù)量在泰漢上有79 萬左右,但是漢泰上不到76 萬。經(jīng)過過濾后存在的數(shù)量差異也表明了雙方生成的偽平行語料在質(zhì)量上存在差異。此外,117 萬(過濾)模型與117 萬(未過濾)模型相比,在泰漢和漢泰兩個(gè)翻譯方向上分別提高了1.44 和1.42 個(gè)BLEU 值;MITC(過濾)模型與MITC(未過濾)模型相比,在泰漢和漢泰兩個(gè)翻譯方向上分別提高了1.42和1.11個(gè)BLEU值。這證明了NPMI 過濾方法確實(shí)可以過濾掉生成式偽平行語料中的低質(zhì)量句對。

    同時(shí),本文為進(jìn)一步探索NPMI 在生成式偽平行語料上過濾的效果。采用MITC(過濾)語料訓(xùn)練的翻譯模型來再次生成偽平行語料,生成的語料會(huì)與最初訓(xùn)練的語料進(jìn)行混合。實(shí)驗(yàn)結(jié)果如表6 所示。

    表6 NPMI 對第二次生成的偽平行語料的過濾效果

    在該實(shí)驗(yàn)中,表中“短語對N”代表在短語對數(shù)量大于等于N的語料上訓(xùn)練的模型,MITC 代表在MITC 過濾后的語料進(jìn)行訓(xùn)練的模型。本文使用所有符合篩選條件的語料作為訓(xùn)練集,泰漢實(shí)驗(yàn)中,短語對數(shù)量為3 以上的語料有87 萬,短語對數(shù)量為4 以上的語料有66 萬,短語對數(shù)量為5 以上的語料有49 萬;在漢泰實(shí)驗(yàn)中,短語對數(shù)量為3 以上的語料有86 萬,短語對數(shù)量為4 以上的語料有65 萬,短語對數(shù)量為5 以上的語料有47 萬;經(jīng)過MITC 過濾的語料在泰漢和漢泰上均為99 萬。在泰漢上,短語對3 和短語對4 模型的性能高于在未過濾語料上訓(xùn)練出來的模型性能,這表明在泰漢上NPMI 具備過濾第二次生成的偽平行語料的能力,但在漢泰上,沒有在任何過濾后語料上訓(xùn)練的模型性能高于在未過濾語料上訓(xùn)練的模型性能。本文猜想,NPMI 在泰漢上有過濾效果,但在漢泰上沒有過濾效果,是由于泰漢翻譯模型(表5 中的MITC泰漢模型)生成的偽平行語料中依然存在對模型性能只造成負(fù)面影響的噪聲,但漢泰翻譯模型(表5中的MITC 漢泰模型)生成的偽平行語料中的極大部分語料已經(jīng)不是簡單的噪聲語料,都是對模型的性能有正面影響也有負(fù)面影響的句對。而NPMI 直接對平行語料進(jìn)行過濾,會(huì)直接將這樣的語料過濾掉導(dǎo)致模型缺乏部分必要的語義信息,致使模型性能降低。在該實(shí)驗(yàn)的漢泰中也體現(xiàn)了這一情況,語料規(guī)模的下降會(huì)導(dǎo)致模型性能的下降,性能最高的MITC 模型也是漢泰語料最多的模型,訓(xùn)練語料高達(dá)99 萬。

    3.2 柬埔寨語—英語WMT20 實(shí)驗(yàn)

    為了證明本文方法的有效性,本文在WMT2020的柬埔寨語—英語的平行語料過濾任務(wù)中也做了實(shí)驗(yàn)。

    在WMT2020的平行語料過濾任務(wù)中,官方提供了帶有噪聲的柬埔寨語—英語的平行語料。參與者只需要提供過濾后的平行語料,其余的由官方提供,包括參數(shù)一致的翻譯模型,共同的驗(yàn)證集和測試集。

    柬埔寨語—英語同樣是低資源語言對,現(xiàn)有的干凈平行語料稀少,過濾過程中無法采用干凈的平行語料作為錨點(diǎn)對噪聲語料進(jìn)行過濾。雖然官方提供了少量的干凈平行語料,但本文為了實(shí)驗(yàn)的一致性并沒有使用該平行語料,依然采用NPMI 直接從噪聲語料提取對齊信息,之后利用可靠性高的對齊信息進(jìn)行過濾。

    對比實(shí)驗(yàn)使用的數(shù)據(jù)都是英語token 數(shù)量為2百萬的語料。實(shí)驗(yàn)結(jié)果如表7 所示。

    表7 柬英上不同過濾方法的對比

    實(shí)驗(yàn)表明,NPMI的過濾在驗(yàn)證集和測試集上均比LASER 低了0.2 個(gè)BLEU 值,但將NPMI 和LASER 進(jìn)行聯(lián)合過濾之后,在驗(yàn)證集上比LASER 高了0.8個(gè)BLEU值,而在測試集上高了0.4個(gè)BLEU值。

    4 結(jié)語

    針對非人工方式得到的平行語料的規(guī)模足夠但質(zhì)量不佳的問題,提出了基于NPMI的平行語料過濾方法。該方法在不使用任何單語語料和干凈平行語料而只使用噪聲語料的情況下,可以直接抽取出噪聲語料中可靠性高的對齊信息,并利用該對齊信息對噪聲語料進(jìn)行過濾。在抽取式的平行語料上,過濾效果良好,在只生成一次的偽平行語料上,NPMI 也可以提高偽平行語料的質(zhì)量,但在二次生成的偽平行語料上,過濾效果不佳。如何改進(jìn)NPMI 在多次生成的偽平行語料的過濾效果是筆者未來的研究方向。

    猜你喜歡
    語料平行短語
    向量的平行與垂直
    平行
    逃離平行世界
    基于語料調(diào)查的“連……都(也)……”出現(xiàn)的語義背景分析
    再頂平行進(jìn)口
    汽車觀察(2016年3期)2016-02-28 13:16:36
    華語電影作為真實(shí)語料在翻譯教學(xué)中的應(yīng)用
    《苗防備覽》中的湘西語料
    國內(nèi)外語用學(xué)實(shí)證研究比較:語料類型與收集方法
    少妇的逼好多水| 男人爽女人下面视频在线观看| 超碰97精品在线观看| 久久国产精品男人的天堂亚洲 | 91aial.com中文字幕在线观看| 自拍欧美九色日韩亚洲蝌蚪91| 黄色毛片三级朝国网站| 晚上一个人看的免费电影| 两个人免费观看高清视频| 天堂中文最新版在线下载| 视频区图区小说| 中国国产av一级| 亚洲国产色片| 久久这里有精品视频免费| 肉色欧美久久久久久久蜜桃| 免费不卡的大黄色大毛片视频在线观看| 91久久精品国产一区二区成人| 丰满饥渴人妻一区二区三| 日韩一区二区视频免费看| 狠狠婷婷综合久久久久久88av| 国产国语露脸激情在线看| 青青草视频在线视频观看| 丝袜脚勾引网站| tube8黄色片| 免费av不卡在线播放| 婷婷色综合大香蕉| 在线观看免费高清a一片| 亚洲av综合色区一区| 少妇的逼水好多| 成人毛片60女人毛片免费| 国产精品国产三级国产av玫瑰| 精品少妇久久久久久888优播| 少妇熟女欧美另类| a级片在线免费高清观看视频| 久久99一区二区三区| 国产成人免费观看mmmm| 夜夜骑夜夜射夜夜干| 内地一区二区视频在线| 黑丝袜美女国产一区| 91aial.com中文字幕在线观看| 18禁在线播放成人免费| 狠狠精品人妻久久久久久综合| 欧美激情国产日韩精品一区| 美女主播在线视频| 啦啦啦视频在线资源免费观看| 欧美亚洲日本最大视频资源| 伦精品一区二区三区| freevideosex欧美| 国产综合精华液| 麻豆精品久久久久久蜜桃| 亚洲人成网站在线观看播放| 久久99蜜桃精品久久| 国产视频首页在线观看| 51国产日韩欧美| 一级毛片aaaaaa免费看小| 制服丝袜香蕉在线| 男女边吃奶边做爰视频| 青春草国产在线视频| 热99久久久久精品小说推荐| av播播在线观看一区| 制服人妻中文乱码| 欧美丝袜亚洲另类| 亚洲国产日韩一区二区| 极品人妻少妇av视频| 国模一区二区三区四区视频| 少妇精品久久久久久久| av网站免费在线观看视频| 国产成人精品婷婷| 少妇熟女欧美另类| 大香蕉久久网| 国产成人91sexporn| 久久午夜福利片| 99久久人妻综合| 色94色欧美一区二区| 日韩不卡一区二区三区视频在线| 最近手机中文字幕大全| 国产精品国产三级国产专区5o| av在线app专区| 成年人免费黄色播放视频| 大香蕉久久成人网| 中文字幕av电影在线播放| 欧美日韩亚洲高清精品| 老司机影院毛片| 亚洲国产av新网站| 热99国产精品久久久久久7| 午夜影院在线不卡| 亚洲精品久久久久久婷婷小说| 欧美少妇被猛烈插入视频| 狂野欧美激情性bbbbbb| 欧美+日韩+精品| 日本av免费视频播放| 天美传媒精品一区二区| 亚洲av不卡在线观看| 国产精品一区二区三区四区免费观看| 女人精品久久久久毛片| 久久精品夜色国产| 人妻制服诱惑在线中文字幕| 桃花免费在线播放| 人妻少妇偷人精品九色| 麻豆成人av视频| 男人操女人黄网站| 99九九在线精品视频| videos熟女内射| 中文字幕人妻丝袜制服| 一级a做视频免费观看| 最近2019中文字幕mv第一页| 国产探花极品一区二区| 七月丁香在线播放| 免费黄色在线免费观看| 久久精品国产亚洲av涩爱| 日本午夜av视频| 高清不卡的av网站| 国产色婷婷99| 日韩一本色道免费dvd| 狂野欧美激情性xxxx在线观看| 超碰97精品在线观看| 亚洲中文av在线| 国产伦精品一区二区三区视频9| 久久久久人妻精品一区果冻| 国产精品欧美亚洲77777| 五月开心婷婷网| 亚洲欧美色中文字幕在线| 我要看黄色一级片免费的| 美女xxoo啪啪120秒动态图| 亚洲婷婷狠狠爱综合网| 国产日韩欧美视频二区| 亚洲精品456在线播放app| 男女无遮挡免费网站观看| 久久精品国产亚洲av涩爱| 亚洲成色77777| 欧美日韩视频精品一区| 国产一区二区在线观看av| 久久午夜福利片| 另类精品久久| 97超碰精品成人国产| 全区人妻精品视频| 免费观看a级毛片全部| 国国产精品蜜臀av免费| 亚洲内射少妇av| 大片电影免费在线观看免费| 青春草亚洲视频在线观看| 精品久久久久久久久av| 久久久久久久精品精品| 日本欧美国产在线视频| 日韩一区二区三区影片| 成年av动漫网址| 免费人成在线观看视频色| 国产色婷婷99| 国产高清不卡午夜福利| 久久免费观看电影| 日韩不卡一区二区三区视频在线| 一级a做视频免费观看| 性色avwww在线观看| 三级国产精品片| 亚洲国产欧美日韩在线播放| 人妻制服诱惑在线中文字幕| 高清av免费在线| 亚洲欧美日韩另类电影网站| 国产av精品麻豆| 又粗又硬又长又爽又黄的视频| 少妇人妻精品综合一区二区| 国产精品一区二区在线观看99| av又黄又爽大尺度在线免费看| 51国产日韩欧美| 欧美激情极品国产一区二区三区 | 亚洲综合色惰| 少妇 在线观看| 午夜免费观看性视频| 日产精品乱码卡一卡2卡三| 青青草视频在线视频观看| av在线app专区| 日韩av不卡免费在线播放| 午夜免费鲁丝| 亚洲三级黄色毛片| 美女主播在线视频| 国产黄色视频一区二区在线观看| 成人亚洲欧美一区二区av| 777米奇影视久久| 麻豆乱淫一区二区| 在线天堂最新版资源| 国产精品欧美亚洲77777| 特大巨黑吊av在线直播| 男女边摸边吃奶| 久久久久久久精品精品| 成年女人在线观看亚洲视频| 成人国产麻豆网| 老司机亚洲免费影院| 国产av一区二区精品久久| 国产熟女午夜一区二区三区 | 欧美精品人与动牲交sv欧美| 91精品伊人久久大香线蕉| 午夜影院在线不卡| 少妇丰满av| 日韩亚洲欧美综合| av有码第一页| 亚洲欧洲日产国产| 自线自在国产av| 母亲3免费完整高清在线观看 | 草草在线视频免费看| 女性被躁到高潮视频| 精品少妇黑人巨大在线播放| 一边亲一边摸免费视频| 亚洲国产成人一精品久久久| 国产精品国产三级专区第一集| 午夜福利视频精品| 国产精品不卡视频一区二区| 国产一区亚洲一区在线观看| 狠狠精品人妻久久久久久综合| 国产成人午夜福利电影在线观看| 99热网站在线观看| 飞空精品影院首页| 在线天堂最新版资源| 欧美性感艳星| 一级爰片在线观看| 制服诱惑二区| 亚洲av免费高清在线观看| 国产成人一区二区在线| 99热网站在线观看| 欧美丝袜亚洲另类| 亚洲精品亚洲一区二区| 免费观看的影片在线观看| 日韩成人伦理影院| 女人精品久久久久毛片| 亚洲精品国产av蜜桃| 我的老师免费观看完整版| 校园人妻丝袜中文字幕| 免费看不卡的av| www.色视频.com| a级毛色黄片| 成人免费观看视频高清| 成人漫画全彩无遮挡| av在线app专区| 国产精品国产三级专区第一集| 亚洲高清免费不卡视频| 欧美日本中文国产一区发布| 狂野欧美激情性xxxx在线观看| 极品少妇高潮喷水抽搐| 在线观看免费日韩欧美大片 | 日韩av在线免费看完整版不卡| 91精品国产国语对白视频| 久久久a久久爽久久v久久| 国产 一区精品| 高清不卡的av网站| 久久久久久久久久成人| 狂野欧美激情性xxxx在线观看| 久久久a久久爽久久v久久| 男人操女人黄网站| 人妻系列 视频| 欧美激情极品国产一区二区三区 | 久久精品国产亚洲网站| 久久久久久久久久久久大奶| 欧美日韩国产mv在线观看视频| kizo精华| 丰满乱子伦码专区| 国产高清三级在线| 亚洲av男天堂| 91精品国产九色| 大话2 男鬼变身卡| 亚洲国产最新在线播放| www.av在线官网国产| 少妇的逼好多水| 亚洲精品一区蜜桃| 日韩中字成人| 国产69精品久久久久777片| 人妻夜夜爽99麻豆av| 91精品国产国语对白视频| 97超碰精品成人国产| 最近最新中文字幕免费大全7| 欧美丝袜亚洲另类| 亚洲精品视频女| 一本久久精品| 亚洲中文av在线| 国产日韩一区二区三区精品不卡 | 一区二区av电影网| 免费看av在线观看网站| av在线观看视频网站免费| 国产精品久久久久成人av| 精品少妇黑人巨大在线播放| 9色porny在线观看| kizo精华| 久久ye,这里只有精品| av在线老鸭窝| 亚洲国产精品专区欧美| 狠狠精品人妻久久久久久综合| 汤姆久久久久久久影院中文字幕| 国产黄色视频一区二区在线观看| 成人毛片a级毛片在线播放| 嫩草影院入口| 国产在线免费精品| 9色porny在线观看| 国产精品人妻久久久久久| 精品午夜福利在线看| 99热这里只有精品一区| 欧美bdsm另类| 国产精品久久久久久久久免| 亚洲熟女精品中文字幕| 天堂俺去俺来也www色官网| 男的添女的下面高潮视频| 嫩草影院入口| 亚洲经典国产精华液单| 国产av国产精品国产| 日日摸夜夜添夜夜添av毛片| 激情五月婷婷亚洲| 秋霞伦理黄片| 精品久久蜜臀av无| 老女人水多毛片| 看非洲黑人一级黄片| 久久精品国产亚洲网站| 蜜臀久久99精品久久宅男| 在现免费观看毛片| 高清黄色对白视频在线免费看| 王馨瑶露胸无遮挡在线观看| 性高湖久久久久久久久免费观看| av在线播放精品| 日韩在线高清观看一区二区三区| 中文字幕最新亚洲高清| 赤兔流量卡办理| av又黄又爽大尺度在线免费看| 亚洲少妇的诱惑av| 亚洲国产av影院在线观看| 亚洲精品中文字幕在线视频| 国产精品成人在线| 妹子高潮喷水视频| 国产精品成人在线| 亚洲av综合色区一区| 国产极品天堂在线| 亚洲欧美一区二区三区国产| 久久99一区二区三区| 性色avwww在线观看| 国产白丝娇喘喷水9色精品| 国产成人av激情在线播放 | 亚洲精品乱久久久久久| 精品亚洲成国产av| 女人精品久久久久毛片| 丝袜喷水一区| 一本—道久久a久久精品蜜桃钙片| 内地一区二区视频在线| 日韩制服骚丝袜av| 乱人伦中国视频| 欧美日韩精品成人综合77777| 国产视频内射| 大香蕉久久成人网| 久久99热6这里只有精品| 美女大奶头黄色视频| 国语对白做爰xxxⅹ性视频网站| 99国产精品免费福利视频| av天堂久久9| 国产午夜精品一二区理论片| 精品一区在线观看国产| 久热这里只有精品99| 爱豆传媒免费全集在线观看| 中文字幕久久专区| 2018国产大陆天天弄谢| 两个人免费观看高清视频| 国产男人的电影天堂91| 欧美97在线视频| 亚州av有码| 人体艺术视频欧美日本| 久久久久久伊人网av| 菩萨蛮人人尽说江南好唐韦庄| 午夜福利影视在线免费观看| 男人添女人高潮全过程视频| 日韩中字成人| 国模一区二区三区四区视频| 国产精品国产av在线观看| 国产精品秋霞免费鲁丝片| 久久久久国产精品人妻一区二区| av有码第一页| 菩萨蛮人人尽说江南好唐韦庄| 最近手机中文字幕大全| 午夜影院在线不卡| 欧美亚洲 丝袜 人妻 在线| 久久精品久久精品一区二区三区| 亚洲国产成人一精品久久久| 成人亚洲精品一区在线观看| 日韩大片免费观看网站| 狂野欧美激情性bbbbbb| 日本黄大片高清| 免费观看性生交大片5| 国产日韩欧美视频二区| 少妇的逼水好多| 日韩一本色道免费dvd| 一级a做视频免费观看| 如何舔出高潮| 欧美三级亚洲精品| 黄片播放在线免费| 久久国产精品男人的天堂亚洲 | 国产成人freesex在线| 国产精品秋霞免费鲁丝片| 在线 av 中文字幕| 午夜福利,免费看| 男人操女人黄网站| 99久国产av精品国产电影| 欧美激情国产日韩精品一区| 26uuu在线亚洲综合色| 亚洲国产最新在线播放| 精品酒店卫生间| av卡一久久| 免费av不卡在线播放| 啦啦啦中文免费视频观看日本| 国产午夜精品一二区理论片| 久久久久人妻精品一区果冻| 久久久久久久久久成人| 国产成人a∨麻豆精品| 老司机影院毛片| 一本大道久久a久久精品| 最近中文字幕2019免费版| 高清欧美精品videossex| 免费观看av网站的网址| a级毛片黄视频| 91午夜精品亚洲一区二区三区| 国产黄色视频一区二区在线观看| 国产精品无大码| 在线亚洲精品国产二区图片欧美 | 久久国产精品男人的天堂亚洲 | 黄色视频在线播放观看不卡| 亚洲精品,欧美精品| 丝袜在线中文字幕| 菩萨蛮人人尽说江南好唐韦庄| 丝袜喷水一区| 九色成人免费人妻av| 精品人妻在线不人妻| 亚洲国产精品一区三区| 女人久久www免费人成看片| 亚洲成人手机| 人妻夜夜爽99麻豆av| 最近的中文字幕免费完整| 国产精品国产三级专区第一集| 国产无遮挡羞羞视频在线观看| 日韩伦理黄色片| 久久精品国产a三级三级三级| 亚洲综合色惰| 中文字幕久久专区| 99九九线精品视频在线观看视频| 久久久久国产网址| 春色校园在线视频观看| 视频在线观看一区二区三区| 婷婷成人精品国产| 精品国产一区二区久久| 精品一区二区三卡| av天堂久久9| 成年人免费黄色播放视频| 好男人视频免费观看在线| 亚洲欧美精品自产自拍| 97精品久久久久久久久久精品| 免费人妻精品一区二区三区视频| 成年av动漫网址| 免费不卡的大黄色大毛片视频在线观看| 日韩精品免费视频一区二区三区 | 91精品国产国语对白视频| 在线天堂最新版资源| 国产老妇伦熟女老妇高清| 日韩一本色道免费dvd| 超碰97精品在线观看| 日韩不卡一区二区三区视频在线| 日本欧美视频一区| 99九九线精品视频在线观看视频| 亚洲中文av在线| 我要看黄色一级片免费的| 天天躁夜夜躁狠狠久久av| 成人黄色视频免费在线看| 国产精品国产三级国产专区5o| 免费人妻精品一区二区三区视频| 日本黄色片子视频| 欧美人与性动交α欧美精品济南到 | 成人手机av| 亚洲精品456在线播放app| www.色视频.com| 日韩精品免费视频一区二区三区 | 91久久精品国产一区二区成人| 亚洲成色77777| 老司机影院成人| 婷婷色麻豆天堂久久| 欧美亚洲日本最大视频资源| 十分钟在线观看高清视频www| 精品视频人人做人人爽| 久久久久久久精品精品| 日本免费在线观看一区| 久久精品国产亚洲网站| 久久久久精品久久久久真实原创| 欧美97在线视频| 亚洲情色 制服丝袜| 国产在线免费精品| 2021少妇久久久久久久久久久| 国产精品 国内视频| 免费看av在线观看网站| 99热网站在线观看| 午夜免费男女啪啪视频观看| 男男h啪啪无遮挡| 永久网站在线| 韩国高清视频一区二区三区| 亚洲综合色惰| 18+在线观看网站| 国精品久久久久久国模美| 在线天堂最新版资源| 久久久久国产精品人妻一区二区| 久久久久精品久久久久真实原创| 国产成人精品一,二区| 在线观看国产h片| 国产成人精品在线电影| 久久久久精品性色| 成人手机av| 涩涩av久久男人的天堂| 久久午夜综合久久蜜桃| 亚洲成色77777| 国产 精品1| 国产一区二区在线观看日韩| 精品一区二区三卡| 色视频在线一区二区三区| 一级毛片黄色毛片免费观看视频| 麻豆精品久久久久久蜜桃| 极品人妻少妇av视频| 亚洲丝袜综合中文字幕| 最近中文字幕高清免费大全6| 老司机影院毛片| 97精品久久久久久久久久精品| 免费播放大片免费观看视频在线观看| 中文字幕久久专区| 国精品久久久久久国模美| 人妻夜夜爽99麻豆av| 另类精品久久| 五月玫瑰六月丁香| 不卡视频在线观看欧美| 亚洲综合精品二区| 日本与韩国留学比较| 高清在线视频一区二区三区| 精品久久国产蜜桃| 免费大片黄手机在线观看| 国产老妇伦熟女老妇高清| 91aial.com中文字幕在线观看| 国产色爽女视频免费观看| 国产精品女同一区二区软件| 99视频精品全部免费 在线| 亚洲欧美日韩另类电影网站| 亚洲国产精品专区欧美| 熟女av电影| 一区二区三区乱码不卡18| 婷婷色麻豆天堂久久| 国产乱人偷精品视频| 久久午夜综合久久蜜桃| 亚洲成人av在线免费| 51国产日韩欧美| 九九久久精品国产亚洲av麻豆| 国产午夜精品一二区理论片| 99久久综合免费| 亚洲av中文av极速乱| 国产深夜福利视频在线观看| 国产亚洲最大av| 亚洲人成77777在线视频| 一级黄片播放器| 女人精品久久久久毛片| 久久亚洲国产成人精品v| 亚洲欧美清纯卡通| 欧美日韩视频精品一区| 青春草视频在线免费观看| 久久青草综合色| 亚洲国产精品一区二区三区在线| 亚洲精品456在线播放app| 久久久国产一区二区| 久久精品国产亚洲av涩爱| 亚洲精品日本国产第一区| 免费观看a级毛片全部| 精品视频人人做人人爽| 亚洲精品av麻豆狂野| 人成视频在线观看免费观看| 久久久久久久国产电影| 男女国产视频网站| 国产有黄有色有爽视频| 啦啦啦啦在线视频资源| 亚洲精品色激情综合| 看免费成人av毛片| a 毛片基地| 少妇人妻 视频| 亚洲精华国产精华液的使用体验| 中文字幕精品免费在线观看视频 | 色视频在线一区二区三区| 永久网站在线| 久久久久久久国产电影| 狂野欧美激情性xxxx在线观看| 亚洲成人av在线免费| h视频一区二区三区| 美女内射精品一级片tv| 天天躁夜夜躁狠狠久久av| av线在线观看网站| 国产高清国产精品国产三级| 精品国产露脸久久av麻豆| 999精品在线视频| 大码成人一级视频| 看免费成人av毛片| 免费黄色在线免费观看| 18禁裸乳无遮挡动漫免费视频| 一个人看视频在线观看www免费| 人妻少妇偷人精品九色| 国产成人91sexporn| 99国产精品免费福利视频| 亚洲国产色片| 国产成人91sexporn| 精品少妇黑人巨大在线播放| 国产精品一区www在线观看| 亚洲怡红院男人天堂| 熟女av电影| 久久久久网色| 亚洲国产精品专区欧美| 麻豆成人av视频| 黄色视频在线播放观看不卡| 日日撸夜夜添| 在线精品无人区一区二区三| 免费日韩欧美在线观看| 国产精品秋霞免费鲁丝片| 伦精品一区二区三区| 精品人妻熟女av久视频| 亚洲av男天堂| 九草在线视频观看| 人妻系列 视频| 少妇的逼好多水|