• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    一種面向中文拼寫糾錯的自監(jiān)督預(yù)訓(xùn)練方法

    2023-11-24 01:40:12蘇錦鈿余珊珊洪曉斌
    關(guān)鍵詞:拼寫錯誤掩碼字形

    蘇錦鈿 余珊珊 洪曉斌

    (1.華南理工大學(xué) 計算機(jī)科學(xué)與工程學(xué)院,廣東 廣州 510006;2.廣東藥科大學(xué) 醫(yī)藥信息工程學(xué)院,廣東 廣州 510006;3.華南理工大學(xué) 機(jī)械與汽車工程學(xué)院,廣東 廣州 510640)

    中文拼寫糾錯(CSC)也稱中文拼寫檢測,是自然語言處理(NLP)及中文文本分析中的一個重要子任務(wù)和研究方向,其主要目的是利用計算機(jī)技術(shù)識別中文文本中包含的拼寫錯誤并進(jìn)行糾正[1-3]。早期的研究主要以基于規(guī)則、N-元語法、統(tǒng)計機(jī)器翻譯和神經(jīng)網(wǎng)絡(luò)的方法為主,如NMT[4]和CPN[2]等。近幾年,隨著Transformer 結(jié)構(gòu)[5]及以BERT[6]為代表的預(yù)訓(xùn)練語言模型在多個NLP任務(wù)中取得了突出的效果,一些學(xué)者陸續(xù)將預(yù)訓(xùn)練語言模型引入到CSC任務(wù)中,并提出一系列新的拼寫糾錯模型,如FASPell[1]、SM-BERT[3]、SpellGCN[7]、DCN[8]、DCSpell[9]、PLOME[10]、PHMOSpell[11]、ReaLiSe[12]等。

    相對于早期其他的CSC 工作,BERT 和RoBERTa[13]等預(yù)訓(xùn)練語言模型可以通過海量文本預(yù)訓(xùn)練和下游任務(wù)微調(diào)的方式更好地學(xué)習(xí)字詞及句子的語義和上下文信息,從而進(jìn)一步提升模型在CSC任務(wù)中的效果。但BERT 等在預(yù)訓(xùn)練過程中主要利用掩碼語言模型(MLM)隨機(jī)屏蔽句子中的字,然后結(jié)合上下文預(yù)測其正確值。這一方面假定文本序列中各個字相互獨(dú)立,即忽略詞組中各個字之間的依賴關(guān)系;另一方面影響了模型對拼寫錯誤的識別和糾正能力,且沒有考慮錯誤字詞在發(fā)音和字形上的相似性,從而導(dǎo)致預(yù)訓(xùn)練和微調(diào)目標(biāo)不一致。針對BERT 的字獨(dú)立性假設(shè)及預(yù)訓(xùn)練與微調(diào)階段不一致問題,文獻(xiàn)[14]在英文BERT 的全詞掩碼(WWM)模型基礎(chǔ)上,結(jié)合中文的特點(diǎn)提出一個基于全詞和連續(xù)詞組掩蔽策略的MacBERT 模型。但MacBERT在CSC任務(wù)中同樣面臨預(yù)訓(xùn)練與微調(diào)目標(biāo)不一致問題,特別是CSC中的大部分錯誤主要是因?yàn)榘l(fā)音或字形相近引起的,而不是同義詞誤用,并且很少出現(xiàn)連續(xù)多個詞拼寫錯誤的情況。

    本文針對BERT 的中文拼寫錯誤識別及糾正能力不足問題,提出一種面向中文拼寫糾錯的自監(jiān)督預(yù)訓(xùn)練方法MASC,將BERT中的MLM和MacBERT中的Mac任務(wù)轉(zhuǎn)換成基于混淆集的拼寫錯誤識別及糾正任務(wù);在全詞掩碼的基礎(chǔ)上利用混淆集從音調(diào)相同、音調(diào)相近和字形相近等多個方面構(gòu)造拼寫錯誤候選字,給出相應(yīng)的掩碼策略、替換策略和預(yù)訓(xùn)練任務(wù),從而進(jìn)一步增強(qiáng)BERT 的拼寫錯誤識別及糾正能力;還通過sighan13、sighan14 和sighan15等公開CSC 語料集上的實(shí)驗(yàn)證明MASC 能夠在不改變BERT/RoBERTa/MacBERT 等模型現(xiàn)有結(jié)構(gòu)的前提下,進(jìn)一步提升它們在下游CSC任務(wù)中的效果。

    1 相關(guān)工作

    與英文拼寫糾錯相比,中文拼寫糾錯面臨更多的困難和挑戰(zhàn),特別是中文字詞之間沒有定界符、缺乏形態(tài)上的變化和嚴(yán)重依賴于上下文語義等特點(diǎn),使得對中文拼寫錯誤字符的識別及糾正高度依賴上下文語境。近幾年,隨著各種預(yù)訓(xùn)練語言模型在許多NLP任務(wù)上取得一系列突出的成果,部分學(xué)者開始將它們引入到CSC中。文獻(xiàn)[1]提出一種基于去噪自動編碼器(DAE)和解碼器的中文拼寫檢查器——FASPell,其中DAE 采用BERT 中的掩碼語言模型,而解碼器采用把握度-字符相似度解碼器;文獻(xiàn)[2]提出一個雙向GRU 和BERT 的SM-BERT 模型,其主要思路是通過一個基于雙向GRU 的錯誤檢測網(wǎng)絡(luò)識別句子中可能出錯的字的位置,并利用這些位置信息對糾錯網(wǎng)絡(luò)中的輸入句子進(jìn)行軟掩碼,從而讓模型學(xué)習(xí)只針對可能出錯的字進(jìn)行糾正,而非句子中所有的字;文獻(xiàn)[8]提出一種基于動態(tài)連接網(wǎng)絡(luò)的DCN 模型,其主要思路是在RoBERTa[13]的基礎(chǔ)上利用拼音增強(qiáng)候選生成器生成候選的中文字,并通過注意力網(wǎng)絡(luò)對相鄰中文字間的依賴關(guān)系進(jìn)行建模;文獻(xiàn)[7]提出一種拼寫檢查卷積圖網(wǎng)絡(luò)Spell-GCN,通過結(jié)合BERT 和卷積圖網(wǎng)絡(luò)刻畫字符的發(fā)音/形狀相似性知識以及字之間的先驗(yàn)依賴關(guān)系,并生成正確的拼寫校正;文獻(xiàn)[15]在Transformer注意力機(jī)制的基礎(chǔ)上添加高斯分布的偏置矩陣,用于提高模型對局部文本的關(guān)注程度,同時使用ON_STM 模型對錯誤文本表現(xiàn)出的特殊語法結(jié)構(gòu)特征進(jìn)行語法信息提取;文獻(xiàn)[16]則提出一種融合漢字多特征嵌入的端到端中文拼寫檢查算法模型BFMBERT,主要利用結(jié)合混淆集的預(yù)訓(xùn)練任務(wù)讓BERT 學(xué)習(xí)中文拼寫錯誤知識。總的來說,這些工作均證明了BERT和RoBERTa等預(yù)訓(xùn)練語言模型能夠進(jìn)一步改善字詞及句子的語義表征,從而提升模型在下游CSC 任務(wù)中的效果。但由于BERT 和RoBERTa等模型在預(yù)訓(xùn)練過程中是通過上下文信息學(xué)習(xí)字詞的語義,而CSC任務(wù)中拼寫錯誤的字詞通常是離散出現(xiàn)的,因此導(dǎo)致預(yù)訓(xùn)練語言模型一方面在拼寫錯誤識別方面存在一定的不足,另一方面在糾正時往往需通過額外的神經(jīng)網(wǎng)絡(luò)層引入錯誤字詞和正確字詞在音調(diào)或字形等方面的相似性知識。

    文獻(xiàn)[14]在英文BERT 的全詞掩碼WWM 基礎(chǔ)上,結(jié)合中文的特點(diǎn)提出一個基于全詞和詞組掩蔽策略的模型MacBERT。MacBERT 將BERT 中的MLM 任務(wù)轉(zhuǎn)換為面向同義詞替換的文本校正任務(wù),即讓模型學(xué)習(xí)如何將替換后的同義詞識別為原來的字詞,目的是縮小預(yù)訓(xùn)練和微調(diào)階段之間的差距。但MacBERT 在CSC 中同樣面臨預(yù)訓(xùn)練與微調(diào)不一致的問題。一方面,CSC中的大部分拼寫錯誤并不是由同義詞誤用引起的,而是由音調(diào)相同、音調(diào)相近或字形相似等因素導(dǎo)致的;另一方面,CSC中一般以單個的字或單詞拼寫錯誤為主,很少出現(xiàn)連續(xù)多個詞組的拼寫錯誤。

    文獻(xiàn)[17]指出約83%的中文拼寫錯誤與音調(diào)相似性相關(guān),48%與字形相似性相關(guān)。表1 給出了CSC中一些常見的拼寫錯誤及原因,其中粗斜體部分表示錯誤的字詞,括號中的粗體為正確字詞,方括號中為錯誤字詞與正確字詞的拼音。

    表1 常見中文拼寫錯誤例子Table 1 Examples of common CSC errors

    CSC中大部分的拼寫錯誤主要是因?yàn)橐粽{(diào)相同、音調(diào)相近或字形相近等引起的,但BERT/RoBERTa/MacBERT等預(yù)訓(xùn)練語言模型在預(yù)訓(xùn)練過程中均沒有考慮這些相似性知識。文獻(xiàn)[18]嘗試在預(yù)訓(xùn)練階段引入拼音相似性知識,并提出了混淆漢字和噪聲拼音的替換策略;文獻(xiàn)[19]也在BERT的基礎(chǔ)上提出一個預(yù)訓(xùn)練模型SpellBERT,并利用圖神經(jīng)網(wǎng)絡(luò)將字的偏旁部首和拼音信息引入到預(yù)訓(xùn)練任務(wù)中。但這些工作均沒有進(jìn)一步探討如何利用現(xiàn)有的混淆集更好地融合發(fā)音和字形等相似性知識。文獻(xiàn)[10]提出的PLOME在訓(xùn)練預(yù)訓(xùn)練語言模型時引入基于語義混淆集的MASK 策略,并將拼音和筆畫作為預(yù)訓(xùn)練語言模型以及模型微調(diào)的輸入,但需依賴于額外的筆畫知識;文獻(xiàn)[11]則結(jié)合光學(xué)字形識別(OCR)及自動語音識別(ASR),從多模態(tài)的角度對拼音特征、字形特征、語音特征進(jìn)行信息融合和錯誤字預(yù)測;文獻(xiàn)[12]同樣也利用了中文字符上的語義、聲音和字形等多模態(tài)信息。但這些工作均需要在下游任務(wù)中對不同模態(tài)信息進(jìn)行融合。因此本文的主要目的是在上述工作的基礎(chǔ)上,通過預(yù)訓(xùn)練任務(wù)和混淆集將中文拼寫糾錯中錯誤字詞與正確字詞間的音調(diào)及字形相似性知識引入到預(yù)訓(xùn)練語言模型中,從而提升模型在下游CSC任務(wù)中的拼寫錯誤識別及糾正能力。

    2 面向中文拼寫糾錯的自監(jiān)督預(yù)訓(xùn)練MASC

    下面提出一種中文拼寫糾錯掩碼語言模型的自監(jiān)督預(yù)訓(xùn)練方法MASC。

    2.1 MASC預(yù)訓(xùn)練

    BERT中的MLM在預(yù)訓(xùn)練過程中對每一個句子隨機(jī)選擇其中15%的字,然后用[MASK]標(biāo)記進(jìn)行掩碼后,通過預(yù)訓(xùn)練讓模型學(xué)習(xí)如何根據(jù)上下文信息預(yù)測被掩碼字的真實(shí)值。每一個字被選中并進(jìn)行掩碼的概率為15%,被選中的字當(dāng)中有80%的概率被[MASK]標(biāo)記替換、10%的概率保持不變、10%的概率隨機(jī)用詞匯表中的字進(jìn)行替換。

    MASC采用類似于MLM的選擇策略,但是對每一個被選中進(jìn)行掩碼的字,利用混淆集得到相應(yīng)的候選字后進(jìn)行替換,最后通過訓(xùn)練讓模型學(xué)習(xí)根據(jù)上下文信息預(yù)測被替換字的真實(shí)值以及是否存在拼寫出錯。具體來說,MASC的流程如圖1所示。

    圖1 MASC的流程Fig.1 Process of MASC

    具體來說,MASC主要采用以下策略。

    (1)基于全詞掩碼和N-grams語法的掩碼策略

    MASC 在BERT 的全詞掩碼WWM 基礎(chǔ)上,結(jié)合MacBERT的N-grams掩碼策略,采用一元和二元詞的字掩碼方式。由于一般文本中的大部分錯誤為單字或某個單詞,很少連續(xù)多個單詞出現(xiàn)錯誤,因此MASC 中只考慮一元詞(字)和二元詞(連續(xù)兩個字或完整的單詞)的掩碼策略。具體來說,選擇輸入句子中15%的字進(jìn)行替換,被選中的字有90%的概率為一元詞組、10%的概率為二元詞。若被選中的字為某個詞組的字,則有15%的概率同時選擇該詞組中的其他字。掩碼選擇算法selectMasked-Char的核心偽代碼表示如下:

    (2)基于混淆集的替換策略

    MASC在文獻(xiàn)[2]中的混淆集基礎(chǔ)上結(jié)合PinYin工具進(jìn)行擴(kuò)充,并劃分為同音同調(diào)、同音異調(diào)、近音同調(diào)、近音異調(diào)和字形相近5種不同類型。

    對于每一個待掩碼的字或詞,采用以下替換策略:40%的概率采用同音同調(diào)字典,15%的概率采用同音異調(diào)字典,15%的概率采用近音同調(diào)字典,10%的概率采用近音異調(diào)字典,10%的概率采用字形相近字典,10%的概率保持不變。表2給出了不同掩碼方法的示例,其中每一個“+”表示在前一個“+”基礎(chǔ)上繼續(xù)增加新的掩碼方法,例如“++WWM”表示在上一行“+MLM”的基礎(chǔ)上增加WWM。

    替換策略算法charMaskWithConfuseSet 的部分核心偽代碼表示如下:

    2.2 基于MASC的預(yù)訓(xùn)練模型

    為了最大程度地利用BERT/RoBERTa/MacBERT 等預(yù)訓(xùn)練模型中已學(xué)習(xí)到的大量知識,MASC 采用原有的預(yù)訓(xùn)練模型結(jié)構(gòu),如圖2 所示。其中,ai(1≤i≤n)和bj(1≤j≤m)分別表示輸入長度為n和m的句子A和B中的各個字符。

    圖2 基于MASC的預(yù)訓(xùn)練模型結(jié)構(gòu)Fig.2 Pre-training model structure of MASC

    為了區(qū)別一般的BERT/RoBERTa/MacBERT,將基于MASC 的BERT/RoBERTa/MacBERT 的模型分別記為MascBERT/MascRoBERTa/MascMacBERT。

    以MascBERT 為例,預(yù)訓(xùn)練任務(wù)可形式化地定義為:給定任意一對中文文本序列A={a1,a2,…,an}和B={b1,b2,…,bm},根據(jù)BERT 的輸入要求將A和B進(jìn)行串聯(lián)并構(gòu)造成輸入序列X={x0,x1,…,xt},其中t=n+m+2:

    MascBERT 通過詞向量嵌入層Embedding 和多層連續(xù)Transformer隱層將輸入X轉(zhuǎn)換為上下文表示H(L)∈RN×d,其中L為隱層數(shù)量,N為輸入的字符最大長度(通常最大為512),d為隱層的詞向量維度(通常為768或1 024):

    在H(L)的基礎(chǔ)上,MascBERT 的主要目標(biāo)是預(yù)測替換后的文本序列中拼寫錯誤字的正確值以及是否存在拼寫錯誤。對于替換后的錯誤字的隱層向量用子集Hm∈Rk×d表示,其中k為被替換字的總數(shù)。默認(rèn)情況下與BERT 一樣采用輸入序列長度的15%作為k的值,即k=int(t×15%)。

    對于訓(xùn)練集中的第i個句子,利用待訓(xùn)練參數(shù)矩陣W1∈R|V|×d和偏置向量b1∈ RM將Hm投影到詞匯表V上并預(yù)測相應(yīng)的概率分布pi:

    利用標(biāo)準(zhǔn)交叉熵函數(shù)Losscor計算相應(yīng)的糾正損失值:

    式中,M為每一批數(shù)據(jù)的數(shù)量,yij為M中第i個句子的第j個字的正確值;pij為M中第i個句子的第j個被替換字在詞匯表V中的概率分布。

    為了進(jìn)一步提高模型對拼寫錯誤的識別能力,MascBERT 同時還對句子中各個位置上是否存在拼寫錯誤進(jìn)行判斷。利用待訓(xùn)練參數(shù)矩陣W2∈R1×d和偏置向量b2∈RM對H(L)進(jìn)行轉(zhuǎn)換,并利用sigmoid 函數(shù)計算相應(yīng)的錯誤概率值qi:

    qi中每一個位置的值越接近1,則表示該位置出現(xiàn)拼寫錯誤的概率越大。利用二元交叉熵函數(shù)Lossdet計算相應(yīng)的錯誤識別損失值,其中l(wèi)ij(1≤j≤t)為第i個句子中第j個位置是否出現(xiàn)拼寫錯誤的正確值,“1”表示存在拼寫錯誤,“0”表示不存在拼寫錯誤:

    BERT的預(yù)訓(xùn)練任務(wù)除MLM外,還包括句子相鄰關(guān)系預(yù)測任務(wù)NSP。ALBERT[20]和MacBERT[14]針對NSP的效果不佳問題,進(jìn)一步提出句子順序關(guān)系預(yù)測SOP。對于MASC,可根據(jù)需要結(jié)合NSP 或SOP等其他預(yù)訓(xùn)練任務(wù),相應(yīng)的損失函數(shù)分別為

    式中,LossNSP、LossSOP分別為針對NSP和SOP任務(wù)的損失函數(shù)。

    3 實(shí)驗(yàn)與分析

    3.1 實(shí)驗(yàn)準(zhǔn)備

    為了利用MASC 進(jìn)行預(yù)訓(xùn)練,實(shí)驗(yàn)從文獻(xiàn)[21]的生成語料集ACG中隨機(jī)選擇3萬個目標(biāo)正確句子作為預(yù)訓(xùn)練語料集,記為ACG3W;同時,還采用漢語水平考試(HSK)語料集中的部分句子作為預(yù)訓(xùn)練數(shù)據(jù)。HSK 語料集共包含156 820 個句子,最大長度為417 個字,平均長度為27.35 個字??紤]到訓(xùn)練效率和句子表達(dá)完整性等因素,只從HSK語料集中選擇3萬個句子作為預(yù)訓(xùn)練數(shù)據(jù),每條數(shù)據(jù)的長度在12到120個字之間,并以句號、問號和感嘆號等結(jié)尾,記為HSK3W。

    因?qū)嶒?yàn)條件和篇幅限制,實(shí)驗(yàn)中只選擇3個最常用的BERT 中文預(yù)訓(xùn)練語言模型作為基礎(chǔ)模型進(jìn)行新的MASC 預(yù)訓(xùn)練,包括:bert-base-chinese、chinese-bert-wwm和chinese-macbert-base,分別簡單記為base、wwm 和macbert。3 個模型均包含12 個隱層、12個多頭自注意力,輸出張量為768維,參數(shù)量約為1.1 億,詞匯量約為2.1 萬。第1 個模型的原始預(yù)訓(xùn)練采用MLM和NSP,第2個模型采用全詞掩碼的MLM和NSP,第3個模型采用N-grams(包括一元、二元和三元詞組),并利用近義詞代替[MASK]進(jìn)行預(yù)測。

    預(yù)訓(xùn)練過程采用批量訓(xùn)練的方式,每一批數(shù)據(jù)的數(shù)量為32,學(xué)習(xí)率為5×10-5,共訓(xùn)練5 輪,并采用Adam優(yōu)化器。由于原始HSK和ACG中的數(shù)據(jù)大部分為單個句子,因此預(yù)訓(xùn)練過程中只考慮MASC及相應(yīng)的Lossdet和Losscor,而忽略NSP或SOP任務(wù)。

    為驗(yàn)證MASC 的有效性,實(shí)驗(yàn)用3 個經(jīng)典的公開CSC語料集sighan13[22]、sighan14[23]和sighan15[24],并參照文獻(xiàn)[2]的做法,利用OpenCC工具將各語料集中的繁體中文句子轉(zhuǎn)換成簡體中文,同時利用PinYin工具獲取混淆集中各個單詞的拼音信息。3個語料集的相關(guān)統(tǒng)計信息如表3所示。

    表3 3個CSC語料集的統(tǒng)計信息1)Table 3 Statistical information about three corpora

    由于各語料集中句子的最大長度均明顯小于512 個字,因此在微調(diào)和測試過程中均取其最大長度值作為閾值。

    與文獻(xiàn)[1,3,7]等其他工作類似,實(shí)驗(yàn)中均采用CSC任務(wù)中常用的句子級別精確率P(Precision)、召回率R(Recall)和F1 值等作為評價指標(biāo),并區(qū)分錯誤識別網(wǎng)絡(luò)D(Detection Network)和糾正網(wǎng)絡(luò)C(Correction Network)。例如,PD和PC分別表示識別網(wǎng)絡(luò)和糾正網(wǎng)絡(luò)的精確率,RD和RC分別表示識別網(wǎng)絡(luò)和糾正網(wǎng)絡(luò)的召回率,F(xiàn)1D和F1C分別表示識別網(wǎng)絡(luò)和糾正網(wǎng)絡(luò)的F1 值。同時,為了減少參數(shù)初始化及訓(xùn)練過程中產(chǎn)生的偏差,在下游任務(wù)中取3次獨(dú)立微調(diào)和測試的結(jié)果平均值作為最終實(shí)驗(yàn)結(jié)果。

    3.2 預(yù)訓(xùn)練語言模型對比

    為了分別對比原始base、wwm 和macbert 與采用MASC進(jìn)行再次預(yù)訓(xùn)練后的效果,本實(shí)驗(yàn)采用文獻(xiàn)[7]中BERT 的類似結(jié)構(gòu),在最后Transformer 隱層輸出序列的基礎(chǔ)上,分別利用sigmoid 和softmax層用于錯誤識別和糾正判斷。表4給出了采用不同預(yù)訓(xùn)練語言模型后MASC 在3 個語料集上的效果,后綴agc、hsk和all分別表示采用ACG3W、HSK3W和同時采用ACG3W及HSK3W進(jìn)行MASC預(yù)訓(xùn)練的結(jié)果?;赽ase 的MASC 即相當(dāng)于文獻(xiàn)[21]中的BERT 模型,實(shí)驗(yàn)結(jié)果來自于相應(yīng)文獻(xiàn);其他實(shí)驗(yàn)結(jié)果均為本文的實(shí)驗(yàn)結(jié)果。粗體部分表示在該語料集上不同模型的最好效果。

    表4 不同預(yù)訓(xùn)練語言模型的MASC在3個語料集上的效果Table 4 Performance on three corpora of MASC with different pre-trained language models %

    由表4可知:

    (1)當(dāng)采用3 種不同的預(yù)訓(xùn)練語言模型時,MASC 在3 個語料集上的表現(xiàn)不同。總體上來說,MASC在macbert上的效果最好,而在bert和wwm上則表現(xiàn)各不同。本文認(rèn)為主要的原因是macbert 在base基礎(chǔ)上結(jié)合文本校正預(yù)訓(xùn)練任務(wù),進(jìn)一步增強(qiáng)了模型識別詞組和同義詞的能力,而且通過大規(guī)模的再次預(yù)訓(xùn)練能更好地學(xué)習(xí)句子的上下文語義并提升模型在CSC中的效果。而wwm在3個語料集上的效果并沒有明顯優(yōu)于base,甚至部分效果更差,主要是因?yàn)椋? 個語料集中的大部分錯誤以單字為主(具體統(tǒng)計信息可見表5),而很少整個詞出錯,這與wwm 在預(yù)訓(xùn)練時的全詞掩碼策略存在較大的差異;還與3個語料集本身存在一定的差異有關(guān)。

    表5 3個語料集中字和詞錯誤的統(tǒng)計信息Table 5 Statistic information about character and word errors in three corpora

    wwm與base均沒有考慮錯誤字詞與正確字詞間的發(fā)音或字形相似性知識,且面臨預(yù)訓(xùn)練和與微調(diào)不一致的問題。

    (2)對于hsk、acg 和all 3 種不同的預(yù)訓(xùn)練語料集,MASC 采用all 數(shù)據(jù)后在3 個CSC 語料集上總體表現(xiàn)最好,采用hsk 的次之,而采用acg 的最差。這說明預(yù)訓(xùn)練數(shù)據(jù)的內(nèi)容對于模型在下游任務(wù)中的效果有著較大的影響。3 個CSC 語料中的句子主要來自國外的中文初學(xué)者所寫的散文。HSK中的句子來自于漢語水平考試(HSK)語料集,而ACG的句子則主要來自于人民日報的報道。因此,總體上各個CSC 語料集與ACG 句子內(nèi)容和語法結(jié)構(gòu)上相差較大,而與HSK 非常接近。實(shí)驗(yàn)結(jié)果也證明了hsk在CSC 語料集上的表現(xiàn)確實(shí)優(yōu)于acg。采用all 訓(xùn)練數(shù)據(jù)后,模型效果大部分情況下表現(xiàn)較好,特別是在錯誤識別效果方面均有一定的提升,但在糾正方面因與acg 訓(xùn)練數(shù)據(jù)的內(nèi)容存在一定差異及總體訓(xùn)練不充分等因素,導(dǎo)致糾正的效果有時候略下降。

    (3)采用不同訓(xùn)練數(shù)據(jù)后,MASC在3個語料集上的錯誤識別效果均得到了一定的提升,這說明MASC確實(shí)能有效地提升模型的中文拼寫錯誤識別能力。但在文本糾正方面,采用wwm后模型的效果并沒有提升,反而下降了。本文認(rèn)為主要是因?yàn)閣wm中對詞組的掩碼與CSC中以單字拼寫錯誤為主的情況存在很大差異,因此預(yù)訓(xùn)練后反而容易引入一些噪聲數(shù)據(jù),從而導(dǎo)致模型的糾正效果受到一定的影響。

    3.3 消融實(shí)驗(yàn)

    本實(shí)驗(yàn)以sighan15 語料集為例對MASC 中的各組成部分進(jìn)行消融分析。結(jié)合表4所示的結(jié)果,以MascBERT+base+all 作為基線模型進(jìn)行分析,實(shí)驗(yàn)結(jié)果如表6所示。其中“-”表示在原來模型基礎(chǔ)上去除相應(yīng)的組成部分,例如,-N-grams表示不考慮詞掩碼,即只采用字掩碼,-tone表示不考慮拼音的音調(diào),-visual 表示不考慮字形相近信息,-lossdet表示不考慮錯誤識別層和相應(yīng)的損失函數(shù)。

    表6 MascBERT的消融實(shí)驗(yàn)結(jié)果Table 6 Ablation experiment result for MascBERT %

    從表6中的實(shí)驗(yàn)結(jié)果可知:去除N-grams之后,MascBERT 在錯誤識別效果方面稍有下降,而在糾正方面不僅沒有下降,反而有一定的提升。本文認(rèn)為這主要是因?yàn)閟ighan的訓(xùn)練集和測試集都是以單個字的錯誤為主,因此去除N-grams雖然降低了錯誤識別效果,但在糾正時減少了詞組所帶來的一些干擾信息,因此更符合下游任務(wù)的特點(diǎn),從而使糾正效果有一定的提升。這也與表5的結(jié)果相符,同時也說明雖然MascBERT 中采用全詞及多元詞組掩碼能夠提升模型在許多下游任務(wù)中的表現(xiàn),但對于CSC任務(wù)卻不一定有效。對于聲調(diào)和字形相近信息來說,總體上聲調(diào)對模型的效果影響更大,這主要是因?yàn)榇蟛糠制磳戝e誤的正確字與錯誤字之間存在發(fā)音相同的情況,而字形相近的錯誤相對較少。去除錯誤識別層及相應(yīng)的損失函數(shù)后,模型的效果明顯有一定的下降,這主要是因?yàn)樵璏LM中只考慮對被掩碼字正確值的判斷,而忽略了對該字是否存在拼寫錯誤進(jìn)行識別。因此增加錯誤識別和損失函數(shù)后,能夠引導(dǎo)模型進(jìn)一步根據(jù)上下文判斷相應(yīng)的字是否存在拼寫錯誤,而不只是單獨(dú)考慮是否語義正確。當(dāng)同時去除聲調(diào)和錯誤識別判斷后,模型的效果下降明顯,甚至比不采用MASC的效果更差。這主要是因?yàn)閟ighan15語料集中的拼寫錯誤大多是因?yàn)橥艋蚪舳鸬?,因此單純只考慮N-grams和字形相近信息反而容易在預(yù)訓(xùn)練時引入噪聲數(shù)據(jù),特別是在預(yù)訓(xùn)練數(shù)據(jù)量比較有限以及訓(xùn)練不充分的情況下。

    3.4 實(shí)例分析

    下面繼續(xù)以sighan15 語料集中的部分句子為例,分別對BERT 和MascBERT 的判斷結(jié)果進(jìn)行對比分析。測試集中的3個句子如下。

    句子1:這兩問題真的嚴(yán)重,我么(們)受不了。

    句子2:可是你現(xiàn)在不在宿舍,所以我留了一枝(紙)條。

    句子3:我以前想要高(告)訴你,可是我忘了。我真戶禿(糊涂)。

    分別采用預(yù)訓(xùn)練及微調(diào)后的BERT和MascBERT進(jìn)行判斷,結(jié)果如表7所示,其中粗體字表示對應(yīng)錯誤的預(yù)測結(jié)果。

    表7 常見中文拼寫錯誤例子Table 7 Examples of common CSC errors

    從表7 可以看出,BERT 的輸出結(jié)果句子在語義上是合理通順的,但不是正確的目標(biāo)句子,特別是預(yù)測的字詞與錯誤字詞之間沒有發(fā)音或字形上的相似性信息;而MascBERT 的輸出結(jié)果不僅在句子語義上是合理的,而且能夠更好地學(xué)習(xí)到字之間在發(fā)音上的相似性知識。

    4 結(jié)語

    針對現(xiàn)有BERT/RoBERTa/MacBERT 等預(yù)訓(xùn)練語言模型的MLM在CSC任務(wù)中面臨預(yù)訓(xùn)練與微調(diào)任務(wù)不一致的問題,提出一種面向中文拼寫糾錯的自監(jiān)督預(yù)訓(xùn)練方法MASC,將MLM 中對被掩碼字的正確值預(yù)測轉(zhuǎn)換成對拼寫錯誤字的識別和糾正,同時結(jié)合混淆集引入音調(diào)相同、音調(diào)相近和字形相近等相似性知識。實(shí)驗(yàn)結(jié)果表明,所提出的MASC可在不改變BERT/RoBERTa/MacBERT 等模型結(jié)構(gòu)的前提下,有效地提升預(yù)訓(xùn)練語言模型在下游CSC任務(wù)中的效果。下一步將繼續(xù)研究如何改進(jìn)預(yù)訓(xùn)練任務(wù)中的掩碼策略和候選字生成策略,以提升模型的錯誤識別及糾正能力;還將探討如何在下游任務(wù)中進(jìn)一步引入其他相似性知識,以避免依賴于特定的混淆集。

    猜你喜歡
    拼寫錯誤掩碼字形
    低面積復(fù)雜度AES低熵掩碼方案的研究
    甲骨文“黍”字形義考
    甲骨文中的字形直立化二則
    復(fù)習(xí)生字字形的方法
    初中生英語詞匯學(xué)習(xí)策略探究
    贏未來(2018年1期)2018-04-20 07:11:36
    基于布爾異或掩碼轉(zhuǎn)算術(shù)加法掩碼的安全設(shè)計*
    從2017年6月四級翻譯閱卷看段落翻譯中的詞匯錯誤類型
    考試周刊(2017年92期)2018-02-03 01:00:32
    添一筆變個字
    由wrong錯拼成worry引發(fā)的行動研究
    基于掩碼的區(qū)域增長相位解纏方法
    av在线观看视频网站免费| 国产老妇女一区| av黄色大香蕉| 能在线免费观看的黄片| 搡老乐熟女国产| 精品人妻视频免费看| 欧美激情久久久久久爽电影| 高清毛片免费看| 国产老妇伦熟女老妇高清| 男女边吃奶边做爰视频| 午夜日本视频在线| 久久久久国产网址| 亚洲不卡免费看| 最后的刺客免费高清国语| 国产黄片视频在线免费观看| 在线免费观看的www视频| 精品酒店卫生间| 22中文网久久字幕| 久热久热在线精品观看| 国产成人a∨麻豆精品| 久久精品夜夜夜夜夜久久蜜豆| 内射极品少妇av片p| 晚上一个人看的免费电影| 在线观看免费高清a一片| 高清日韩中文字幕在线| 成年女人看的毛片在线观看| 国产午夜精品一二区理论片| 欧美极品一区二区三区四区| 一区二区三区乱码不卡18| 国产成人精品婷婷| 身体一侧抽搐| 可以在线观看毛片的网站| 非洲黑人性xxxx精品又粗又长| 一级毛片电影观看| 自拍偷自拍亚洲精品老妇| 大香蕉久久网| 天堂网av新在线| 韩国高清视频一区二区三区| 亚洲高清免费不卡视频| 亚洲一级一片aⅴ在线观看| av福利片在线观看| 日韩欧美一区视频在线观看 | 免费黄频网站在线观看国产| 国内精品宾馆在线| 久久久国产一区二区| 久久久亚洲精品成人影院| 一个人看视频在线观看www免费| 亚洲精品456在线播放app| 毛片女人毛片| 综合色丁香网| 国产精品人妻久久久影院| 国产精品国产三级专区第一集| 欧美日韩综合久久久久久| a级一级毛片免费在线观看| 国产精品一二三区在线看| 久久久久久久久久黄片| 亚洲国产高清在线一区二区三| 国产大屁股一区二区在线视频| 三级国产精品片| 午夜爱爱视频在线播放| 亚洲婷婷狠狠爱综合网| 免费大片18禁| 久久久久久久久久黄片| 久久精品夜夜夜夜夜久久蜜豆| 久久精品人妻少妇| av在线蜜桃| 黄色日韩在线| 久久久久久久久久成人| 日韩一区二区视频免费看| 蜜桃久久精品国产亚洲av| 秋霞在线观看毛片| 亚洲综合精品二区| 一二三四中文在线观看免费高清| 狂野欧美激情性xxxx在线观看| 69人妻影院| 最近视频中文字幕2019在线8| 久久久久久久午夜电影| 有码 亚洲区| or卡值多少钱| 噜噜噜噜噜久久久久久91| 国产av国产精品国产| 日韩强制内射视频| 色综合站精品国产| 夫妻午夜视频| 精品久久久久久久久av| 深爱激情五月婷婷| 舔av片在线| 精品一区在线观看国产| 一边亲一边摸免费视频| 国产成人精品婷婷| 免费av毛片视频| 国产精品人妻久久久影院| 精品国产三级普通话版| 97人妻精品一区二区三区麻豆| 久久热精品热| 欧美日韩一区二区视频在线观看视频在线 | 精品一区二区三卡| 亚洲av在线观看美女高潮| 欧美 日韩 精品 国产| 亚洲精品一区蜜桃| 精品人妻一区二区三区麻豆| 精品久久久久久成人av| 韩国高清视频一区二区三区| 日韩三级伦理在线观看| 蜜臀久久99精品久久宅男| 亚洲精品视频女| 日韩欧美 国产精品| 天堂中文最新版在线下载 | 午夜福利视频1000在线观看| 少妇猛男粗大的猛烈进出视频 | 少妇裸体淫交视频免费看高清| 日韩欧美三级三区| 久久精品夜夜夜夜夜久久蜜豆| 国产精品一及| 99久久中文字幕三级久久日本| 亚洲精品日韩av片在线观看| 亚洲欧美精品专区久久| 亚洲精品亚洲一区二区| 夜夜看夜夜爽夜夜摸| 国产精品一区二区在线观看99 | 一个人看视频在线观看www免费| 高清视频免费观看一区二区 | 亚洲精品国产成人久久av| 91久久精品国产一区二区三区| 色综合站精品国产| 夫妻午夜视频| 一个人免费在线观看电影| 69av精品久久久久久| 免费看美女性在线毛片视频| 亚洲最大成人av| 精品久久国产蜜桃| xxx大片免费视频| 18禁在线播放成人免费| 欧美一区二区亚洲| 乱人视频在线观看| 激情五月婷婷亚洲| 国产高清国产精品国产三级 | 亚洲不卡免费看| 精品久久久久久成人av| 高清在线视频一区二区三区| 99热这里只有精品一区| 国产在线一区二区三区精| 久久久久久久亚洲中文字幕| 中文字幕久久专区| 亚洲,欧美,日韩| 一个人看视频在线观看www免费| 欧美日韩国产mv在线观看视频 | 一级a做视频免费观看| xxx大片免费视频| 综合色av麻豆| 欧美性感艳星| 国产高清有码在线观看视频| 日日干狠狠操夜夜爽| 欧美zozozo另类| 日韩三级伦理在线观看| 亚洲av成人av| 欧美另类一区| 免费看美女性在线毛片视频| 国产黄色小视频在线观看| 性插视频无遮挡在线免费观看| 插阴视频在线观看视频| 国产精品久久久久久精品电影小说 | 91久久精品国产一区二区成人| 国产亚洲av嫩草精品影院| 性色avwww在线观看| 亚洲精品第二区| 最近的中文字幕免费完整| 日韩一区二区三区影片| 啦啦啦啦在线视频资源| 直男gayav资源| 直男gayav资源| 色尼玛亚洲综合影院| 久久久a久久爽久久v久久| 尤物成人国产欧美一区二区三区| 精品人妻一区二区三区麻豆| 亚洲在线自拍视频| 大又大粗又爽又黄少妇毛片口| 人人妻人人看人人澡| 99re6热这里在线精品视频| www.av在线官网国产| 亚洲成人av在线免费| 成人毛片60女人毛片免费| ponron亚洲| 亚洲精品自拍成人| 日本午夜av视频| 精品一区二区免费观看| 国产成人免费观看mmmm| 一级a做视频免费观看| 欧美性感艳星| 美女内射精品一级片tv| 99热这里只有是精品在线观看| 建设人人有责人人尽责人人享有的 | 女人久久www免费人成看片| 99久久精品一区二区三区| 国产激情偷乱视频一区二区| 国产亚洲精品av在线| 亚洲最大成人中文| 亚洲成人av在线免费| 日本黄大片高清| 亚洲精品自拍成人| 国内揄拍国产精品人妻在线| 精品午夜福利在线看| 狂野欧美激情性xxxx在线观看| 日韩成人av中文字幕在线观看| 美女内射精品一级片tv| 国产精品久久视频播放| av女优亚洲男人天堂| 一级黄片播放器| 亚洲av不卡在线观看| 中文在线观看免费www的网站| 欧美 日韩 精品 国产| av专区在线播放| 亚洲,欧美,日韩| 精品不卡国产一区二区三区| 日日啪夜夜撸| 99久久中文字幕三级久久日本| 日本猛色少妇xxxxx猛交久久| 深爱激情五月婷婷| 卡戴珊不雅视频在线播放| 日本一二三区视频观看| 国产精品国产三级国产专区5o| 欧美成人午夜免费资源| 国产在线男女| 亚洲经典国产精华液单| 神马国产精品三级电影在线观看| 99re6热这里在线精品视频| 黄色欧美视频在线观看| 国产探花极品一区二区| 国产毛片a区久久久久| 肉色欧美久久久久久久蜜桃 | 中文字幕制服av| 成人综合一区亚洲| 亚洲国产日韩欧美精品在线观看| 亚洲精品国产av蜜桃| 在线播放无遮挡| 国产高清不卡午夜福利| 蜜臀久久99精品久久宅男| 久久这里只有精品中国| 亚洲欧洲日产国产| 成人漫画全彩无遮挡| 一区二区三区乱码不卡18| 色播亚洲综合网| 午夜精品在线福利| 婷婷色综合www| 18禁裸乳无遮挡免费网站照片| 成年人午夜在线观看视频 | 黄色欧美视频在线观看| 高清视频免费观看一区二区 | 欧美日韩国产mv在线观看视频 | 久久精品国产亚洲av涩爱| 国产免费福利视频在线观看| 在线观看一区二区三区| 啦啦啦中文免费视频观看日本| 51国产日韩欧美| 国产精品一二三区在线看| 免费黄频网站在线观看国产| 国产毛片a区久久久久| 最新中文字幕久久久久| av国产久精品久网站免费入址| 亚洲一区高清亚洲精品| 国产亚洲av片在线观看秒播厂 | 成人亚洲欧美一区二区av| 国产女主播在线喷水免费视频网站 | 神马国产精品三级电影在线观看| 精品国产三级普通话版| 免费看美女性在线毛片视频| 亚洲四区av| 少妇熟女欧美另类| 免费黄网站久久成人精品| 一级爰片在线观看| av在线亚洲专区| 日本黄大片高清| 国产真实伦视频高清在线观看| 国产精品一区二区三区四区久久| 一夜夜www| 亚洲国产精品成人久久小说| 亚洲久久久久久中文字幕| a级一级毛片免费在线观看| av天堂中文字幕网| 国产黄频视频在线观看| 又粗又硬又长又爽又黄的视频| 日本av手机在线免费观看| 精品一区二区三区视频在线| 九九爱精品视频在线观看| 日韩电影二区| 国产黄片美女视频| 国产亚洲5aaaaa淫片| 亚洲国产欧美在线一区| 欧美成人a在线观看| 亚洲精品第二区| 免费人成在线观看视频色| 日本熟妇午夜| 精品国产露脸久久av麻豆 | 中文资源天堂在线| 久久久久久久久久久免费av| 久久久久久久久久人人人人人人| 永久免费av网站大全| 日韩伦理黄色片| 色综合站精品国产| 熟女人妻精品中文字幕| 成人亚洲精品av一区二区| 午夜免费观看性视频| 1000部很黄的大片| 国产伦精品一区二区三区视频9| 噜噜噜噜噜久久久久久91| 国产精品熟女久久久久浪| 中文字幕免费在线视频6| 成人午夜精彩视频在线观看| 你懂的网址亚洲精品在线观看| 精品一区二区免费观看| 搡老妇女老女人老熟妇| 久久久久久久国产电影| 亚洲三级黄色毛片| 黄色配什么色好看| 街头女战士在线观看网站| 久久久精品欧美日韩精品| 国产中年淑女户外野战色| 欧美激情国产日韩精品一区| 久久99精品国语久久久| 激情五月婷婷亚洲| 午夜激情欧美在线| 欧美高清成人免费视频www| 身体一侧抽搐| 丰满人妻一区二区三区视频av| 大片免费播放器 马上看| 又爽又黄无遮挡网站| 日韩在线高清观看一区二区三区| 免费观看av网站的网址| 搡女人真爽免费视频火全软件| 欧美zozozo另类| 午夜福利成人在线免费观看| 18+在线观看网站| 精品人妻偷拍中文字幕| 亚洲欧洲国产日韩| 国产综合精华液| 久久人人爽人人片av| 亚洲av中文字字幕乱码综合| 欧美三级亚洲精品| 色综合亚洲欧美另类图片| 亚洲高清免费不卡视频| 在线免费观看不下载黄p国产| 91精品一卡2卡3卡4卡| 亚洲精品自拍成人| 日韩不卡一区二区三区视频在线| 精品久久久久久久久av| 久久久久精品性色| 精品一区二区三卡| 美女脱内裤让男人舔精品视频| 亚洲国产欧美在线一区| 国产老妇伦熟女老妇高清| 中文字幕久久专区| 美女脱内裤让男人舔精品视频| 精品久久久久久久久亚洲| 一级毛片久久久久久久久女| 欧美xxxx性猛交bbbb| 秋霞在线观看毛片| 国产高清三级在线| 在线播放无遮挡| 国产精品一区二区在线观看99 | 久久久久久久久大av| 毛片一级片免费看久久久久| 亚洲精品国产av蜜桃| 国产精品一区二区三区四区免费观看| 婷婷色综合大香蕉| 女人十人毛片免费观看3o分钟| 亚洲成人一二三区av| 久久这里有精品视频免费| 午夜福利网站1000一区二区三区| 亚洲精品色激情综合| 一本久久精品| 天堂影院成人在线观看| 在线天堂最新版资源| 我的女老师完整版在线观看| 能在线免费看毛片的网站| 直男gayav资源| 欧美最新免费一区二区三区| 日韩伦理黄色片| 色播亚洲综合网| 久久精品国产亚洲av天美| 国产老妇女一区| 亚洲综合色惰| 毛片女人毛片| 国产淫语在线视频| 久久久亚洲精品成人影院| 久久久久久久午夜电影| 最近的中文字幕免费完整| 中文字幕av在线有码专区| 美女主播在线视频| 色播亚洲综合网| 国产大屁股一区二区在线视频| 精品一区二区三区人妻视频| 97超视频在线观看视频| 人妻少妇偷人精品九色| 国产精品99久久久久久久久| 少妇丰满av| 久久午夜福利片| 亚洲在线自拍视频| 国产精品综合久久久久久久免费| 有码 亚洲区| 日韩一区二区三区影片| 欧美高清成人免费视频www| 亚洲精品日韩在线中文字幕| 午夜亚洲福利在线播放| 欧美极品一区二区三区四区| 亚洲成色77777| 中文精品一卡2卡3卡4更新| 亚洲国产精品成人久久小说| 国产午夜精品一二区理论片| 91aial.com中文字幕在线观看| 在线观看美女被高潮喷水网站| 国产91av在线免费观看| 亚洲电影在线观看av| 久久久久久国产a免费观看| 尤物成人国产欧美一区二区三区| 久久热精品热| 性插视频无遮挡在线免费观看| 在线播放无遮挡| 亚洲一级一片aⅴ在线观看| 免费黄网站久久成人精品| 夫妻性生交免费视频一级片| 欧美另类一区| 18禁动态无遮挡网站| 日韩一本色道免费dvd| 午夜精品一区二区三区免费看| 亚洲精品日韩av片在线观看| 午夜老司机福利剧场| 久久久久久久久久成人| 亚洲精品色激情综合| 国产单亲对白刺激| 我的老师免费观看完整版| 欧美xxxx黑人xx丫x性爽| 联通29元200g的流量卡| 精品久久久久久久久亚洲| 久久久久精品性色| 久久久久久久久久成人| 亚洲自偷自拍三级| 美女高潮的动态| 黄色日韩在线| 777米奇影视久久| 能在线免费观看的黄片| 中国美白少妇内射xxxbb| 国内揄拍国产精品人妻在线| 国语对白做爰xxxⅹ性视频网站| 欧美97在线视频| 中文字幕av成人在线电影| 日本av手机在线免费观看| 99久久人妻综合| 寂寞人妻少妇视频99o| 综合色av麻豆| 狠狠精品人妻久久久久久综合| 精品不卡国产一区二区三区| 日韩av免费高清视频| 国产69精品久久久久777片| 人人妻人人澡人人爽人人夜夜 | 国产精品日韩av在线免费观看| 色视频www国产| 午夜福利在线在线| 日本爱情动作片www.在线观看| 一级毛片aaaaaa免费看小| 我的女老师完整版在线观看| 狂野欧美白嫩少妇大欣赏| 少妇高潮的动态图| 国产成人福利小说| 女的被弄到高潮叫床怎么办| 在线天堂最新版资源| 精品一区在线观看国产| 特大巨黑吊av在线直播| 永久网站在线| 免费观看性生交大片5| 亚洲在线自拍视频| 亚洲国产精品sss在线观看| 国精品久久久久久国模美| 一级毛片aaaaaa免费看小| 日韩中字成人| 日韩亚洲欧美综合| 国产探花极品一区二区| 七月丁香在线播放| 久久99热6这里只有精品| 亚洲经典国产精华液单| 2018国产大陆天天弄谢| 亚洲成人一二三区av| 欧美区成人在线视频| 综合色av麻豆| 日韩欧美国产在线观看| 日韩av在线免费看完整版不卡| 丝袜美腿在线中文| 午夜视频国产福利| 亚洲av.av天堂| 亚洲av不卡在线观看| 日韩欧美 国产精品| 天天躁日日操中文字幕| 亚洲欧美成人精品一区二区| 爱豆传媒免费全集在线观看| 欧美极品一区二区三区四区| 两个人的视频大全免费| 丝袜美腿在线中文| 日韩在线高清观看一区二区三区| 日韩制服骚丝袜av| 国产精品一二三区在线看| 精品一区二区三区人妻视频| 亚洲aⅴ乱码一区二区在线播放| 成人一区二区视频在线观看| 国产精品人妻久久久影院| 狠狠精品人妻久久久久久综合| freevideosex欧美| 午夜精品在线福利| 精品酒店卫生间| 国产亚洲午夜精品一区二区久久 | 亚洲欧美一区二区三区国产| 国产精品.久久久| 国产精品精品国产色婷婷| 亚洲天堂国产精品一区在线| 91aial.com中文字幕在线观看| 男人爽女人下面视频在线观看| 国产精品一区二区在线观看99 | 日本一二三区视频观看| 亚洲在久久综合| 久久久久久国产a免费观看| 伊人久久国产一区二区| av在线观看视频网站免费| 男人和女人高潮做爰伦理| 久久久久国产网址| av又黄又爽大尺度在线免费看| 免费看av在线观看网站| 亚洲精品亚洲一区二区| 精品一区二区三区视频在线| 黄色配什么色好看| 亚洲av电影在线观看一区二区三区 | 国产一区二区亚洲精品在线观看| 久久精品国产鲁丝片午夜精品| 最新中文字幕久久久久| 亚洲精品成人av观看孕妇| 欧美三级亚洲精品| 嫩草影院入口| 伦精品一区二区三区| 九色成人免费人妻av| 乱码一卡2卡4卡精品| 国产伦精品一区二区三区视频9| 超碰97精品在线观看| 国产极品天堂在线| 99久国产av精品国产电影| 久久久久久久久久久免费av| 在线观看美女被高潮喷水网站| 又黄又爽又刺激的免费视频.| 少妇人妻一区二区三区视频| 亚洲国产精品成人久久小说| av.在线天堂| 男女视频在线观看网站免费| 18+在线观看网站| av又黄又爽大尺度在线免费看| 天堂俺去俺来也www色官网 | 久久精品夜夜夜夜夜久久蜜豆| 精品人妻熟女av久视频| 国产精品久久久久久久电影| 免费观看无遮挡的男女| 国产午夜精品论理片| 国产精品日韩av在线免费观看| 国产免费又黄又爽又色| 亚洲国产av新网站| 欧美日韩亚洲高清精品| 国产乱人视频| 国产精品久久视频播放| 伦理电影大哥的女人| 国产成人精品一,二区| 3wmmmm亚洲av在线观看| 欧美成人午夜免费资源| 日韩中字成人| 麻豆av噜噜一区二区三区| 1000部很黄的大片| 亚洲综合精品二区| 三级男女做爰猛烈吃奶摸视频| 免费观看性生交大片5| 伦精品一区二区三区| 国产视频首页在线观看| 大又大粗又爽又黄少妇毛片口| 免费电影在线观看免费观看| 乱码一卡2卡4卡精品| 国产不卡一卡二| 国产亚洲一区二区精品| 久久99蜜桃精品久久| 亚洲精品第二区| 亚洲av中文av极速乱| 99热6这里只有精品| av网站免费在线观看视频 | 极品教师在线视频| 日韩欧美精品v在线| 非洲黑人性xxxx精品又粗又长| 国产乱人视频| 色视频www国产| 亚洲精品乱码久久久久久按摩| 日韩 亚洲 欧美在线| 身体一侧抽搐| 日韩亚洲欧美综合| 国产免费一级a男人的天堂| 高清欧美精品videossex| 人人妻人人澡人人爽人人夜夜 | 久久精品久久久久久久性| 午夜日本视频在线| 少妇人妻精品综合一区二区| 婷婷色麻豆天堂久久| 午夜激情欧美在线| 久久久久久九九精品二区国产| 国产老妇伦熟女老妇高清| 日韩欧美 国产精品| 在线免费十八禁| 国产乱人视频| 中文乱码字字幕精品一区二区三区 | 亚洲精品乱码久久久久久按摩| 午夜激情欧美在线| 婷婷色麻豆天堂久久| 韩国高清视频一区二区三区| 国产 一区精品| 成人二区视频| av免费观看日本| 欧美成人午夜免费资源|