• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    面向語義多樣性的對話生成模型

    2022-10-15 03:06:42盧永美卜令梅于中華
    關(guān)鍵詞:徑向檢索語義

    劉 家,盧永美,何 東,卜令梅,陳 黎,于中華

    (四川大學(xué) 計(jì)算機(jī)學(xué)院,成都 610065)

    E-mail:cl@scu.edu.cn

    1 引 言

    對話生成是自然語言處理中重要的研究領(lǐng)域之一,受到學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注.目前,開放域?qū)υ捝傻难芯恐饕譃闄z索式[1-3]、生成式[4-7]和檢索-生成式[8-13].檢索式方法從問-答語料庫中檢索與當(dāng)前問題最匹配的語句作為回復(fù),得到的回復(fù)語義流暢、信息豐富但相關(guān)性較差.為了解決檢索式方法存在的問題,生成式方法將問題作為輸入,通過序列到序列(Seq2seq)模型生成相關(guān)性較好的回復(fù),但是容易生成較短且無意義的萬能回復(fù),例如“我也是”、“我不知道”等,降低了用戶的體驗(yàn)度.近年來,為了結(jié)合檢索式和生成式方法的優(yōu)點(diǎn),研究者提出了檢索-生成式方法,先從語料庫中檢索出與當(dāng)前問題最相關(guān)的回復(fù),將其作為輔助信息引入到生成過程,以此提高生成回復(fù)的質(zhì)量[8-13].例如,Song[8]、Wu[9]和Cai[10,11]等人利用問-答語料庫中最相關(guān)的一個檢索結(jié)果來生成對話.由于語料庫大小有限,無法覆蓋所有語言現(xiàn)象,所以這種做法不僅存在稀疏問題,而且嚴(yán)重依賴于單個檢索結(jié)果的質(zhì)量,當(dāng)檢索結(jié)果與問題相關(guān)性差或完全無關(guān)時,模型往往會產(chǎn)生錯誤或者無關(guān)的回復(fù)[13].因此,研究者開始探索如何將多個檢索結(jié)果融入到回復(fù)生成中,如Cai等人[10]嘗試了對多個回復(fù)骨架的嵌入表達(dá)拼接后用于回復(fù)的生成.Song等人[12]則將當(dāng)前問題的編碼與最相似的兩個回復(fù)的嵌入拼接后作為生成模型的輸入,提高了生成回復(fù)的質(zhì)量.為了利用到更多的檢索結(jié)果對同一類型的問題語義提取共同回復(fù)特征,Tian[13]等人提出聚類-生成方法.該方法利用K-均值算法對歷史問-答對中的問題進(jìn)行硬聚類,將問題-回復(fù)對分配到不同的問題-回復(fù)語義簇,根據(jù)當(dāng)前問題與問題語義簇的相似性,找到最相似的回復(fù)簇,并將回復(fù)簇中所有回復(fù)信息融入到生成過程,以此提高生成回復(fù)的質(zhì)量.

    雖然對話生成研究取得了很大的進(jìn)步,特別是聚類-生成方法從每個問題簇所對應(yīng)的回答中學(xué)習(xí)該簇問題的回復(fù)模式,但是利用單個檢索結(jié)果的方法和聚類-生成方法都只考慮了問題的單個語義,忽略了問題的語義多樣性.如表1所示,問題中包含“孤單”和“麻煩”兩種語義,而現(xiàn)有檢索-生成方法傾向于產(chǎn)生回復(fù)1或回復(fù)2這類只包含一種語義信息的回復(fù),很明顯回復(fù)3才是更有效的回答,因?yàn)樗鼜膯栴}的多個語義方面來生成回復(fù).

    表1 問題語義多樣性實(shí)例Table 1 Example of semantic multiplicity

    為了解決上述挑戰(zhàn),本文對問題的語義多樣性建模,通過徑向基函數(shù)(Radial Basis Function,RBF)神經(jīng)網(wǎng)絡(luò)的軟聚類方式將訓(xùn)練集中的問題分配到多個語義簇,從而達(dá)到捕獲語義多樣性的目的.模型根據(jù)當(dāng)前問題與每個問題語義簇的隸屬度來融合問題簇對應(yīng)的回復(fù)簇信息,并用于對話生成.本文引入的RBF不僅能夠解決語義多樣性問題,同時由于它的可微性,使模型能夠進(jìn)行端到端的訓(xùn)練.本文在騰訊公開的大型中文單輪對話數(shù)據(jù)集Chat上進(jìn)行了一系列對比和消融實(shí)驗(yàn),結(jié)果表明,相比最好的聚類-生成模型,本文的模型在相關(guān)性、流暢性和信息性指標(biāo)上均有明顯的提升.

    本文的主要貢獻(xiàn)如下:

    1)提出了基于語義多樣性的對話生成模型,通過對歷史問題的語義多樣性建模,能夠生成更相關(guān)、信息更豐富的回復(fù).

    2)引入了徑向基神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)訓(xùn)練集中的問題軟聚類來捕獲問題的不同語義,通過這種端到端可訓(xùn)練的軟聚類方式使得聚類和生成過程更加緊密耦合.

    3)在公開的基準(zhǔn)數(shù)據(jù)集上進(jìn)行了一系列對比和消融實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明,本文提出的方法在自動評價指標(biāo)和人工評價指標(biāo)上都明顯優(yōu)于目前已經(jīng)提出的對話生成方法.

    2 相關(guān)工作

    現(xiàn)有的開放域?qū)υ捝煞椒ㄖ饕譃闄z索式、生成式以及二者結(jié)合的檢索-生成式方法.檢索式方法需要構(gòu)建大規(guī)模問-答對語料,對于給定的問題,根據(jù)當(dāng)前問題和歷史問題的相似性或者當(dāng)前問題與歷史回復(fù)之間的相關(guān)性從語料庫中選擇最合適的回復(fù).早期的檢索式方法主要使用傳統(tǒng)的信息檢索算法,如Ji[1]使用TF-IDF對問-答語句進(jìn)行編碼,但這種方法只考慮了字面的相似性而忽略了深層次的語義信息.為了解決傳統(tǒng)信息檢索的問題,同時受到深度學(xué)習(xí)的啟發(fā),研究者提出了一系列基于深度學(xué)習(xí)的方法建模問題和回復(fù)的語義表示[2-3,14-17].如Shen等[2]和Wan等[3]使用卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)來獲取問題和回復(fù)的語義嵌入.檢索式方法由于直接使用語料庫中的回復(fù)作為輸出,因此生成的回復(fù)流暢且信息豐富,但相關(guān)性較差,并且無法產(chǎn)生語料庫以外的回復(fù).

    為了解決檢索式方法存在的問題,研究者提出了基于序列到序列的生成式方法,在編碼端對當(dāng)前問題進(jìn)行編碼,再通過解碼端生成回復(fù)[18].然而,生成式方法傾向于產(chǎn)生缺乏信息且無意義的通用回復(fù)[4],如“我不知道”等.為緩解該問題,Li等[4]利用最大互信息作為目標(biāo)函數(shù)來增強(qiáng)回復(fù)的信息性;Xing等[5]引入主題信息,并與當(dāng)前問題共同解碼,生成了更有意義的回答;Mou等[6]提出先預(yù)測關(guān)鍵詞,然后使解碼端生成的回復(fù)中包含該關(guān)鍵詞,以此減少通用回復(fù)的產(chǎn)生;Kong等[7]先解碼生成內(nèi)容詞,再用內(nèi)容詞與當(dāng)前問題來生成回復(fù),提高了回復(fù)的質(zhì)量.現(xiàn)有的基于生成的研究雖然提出了各種方法來提高生成回復(fù)的質(zhì)量,但模型仍然傾向于生成通用回復(fù)[8].

    基于相似問題具有相似回答這一假設(shè),近年來,研究者結(jié)合檢索式和生成式方法的優(yōu)點(diǎn)提出了檢索-生成式方法.該方法根據(jù)當(dāng)前問題在問-答語料庫檢索得到的相似回復(fù)來指導(dǎo)對話生成.Song等[8]首次提出先利用檢索式方法得到語料庫中與問題最相關(guān)的回復(fù),然后將問題和檢索得到的回復(fù)編碼拼接后作為解碼器的輸入;Wu等[9]把檢索得到的最相關(guān)回復(fù)作為原型語句,基于當(dāng)前問題與相似問題的字面差異構(gòu)造編輯向量,利用編輯向量改寫原型語句來生成當(dāng)前問題的回復(fù);Cai等[10,11]對檢索回復(fù)提取相關(guān)詞語作為回復(fù)“骨架”,其中文獻(xiàn)[10]通過骨架抽取器得到檢索回復(fù)的骨架語義,文獻(xiàn)[11]則對檢索回復(fù)提取字符級別的骨架;為避免最終生成的回復(fù)與檢索回復(fù)過于相似導(dǎo)致相關(guān)性較差,Zhang等[19]先對當(dāng)前問題生成“草稿”回復(fù),并利用Transformer學(xué)習(xí)檢索得到回復(fù)中的語句信息對“草稿”回復(fù)進(jìn)一步修改,從而生成信息豐富且更加相關(guān)的回復(fù).然而上述方法僅利用到單個檢索結(jié)果,能獲取的額外信息有限,并且當(dāng)檢索結(jié)果與問題相關(guān)性較低時,模型往往生成無關(guān)或無意義的回復(fù).因此,如何利用更多的檢索回復(fù)以生成更高質(zhì)量的回復(fù)成了研究者們面臨的新問題.Cai[10]嘗試拼接多個“骨架”來生成對話,但由于多個不同的“骨架”無法出現(xiàn)在同一回復(fù)中,反而干擾了生成過程,最終效果比生成式方法更差.Song等[12]將檢索得到的最相關(guān)的兩個回復(fù)語句與問題語句分別編碼,拼接三者后解碼生成回復(fù).但這類方法僅能引入固定個數(shù)的檢索結(jié)果,難以擴(kuò)展.而Tian等[6]使用K-均值聚類算法將語料庫中問題聚為多個問題簇,提取每個問題簇所對應(yīng)的回復(fù)簇的信息生成回復(fù).但在實(shí)際應(yīng)用中,問題中往往包含多方面語義信息,使用硬聚類方式只能捕獲單方面的語義,忽略了問題的語義多樣性,降低了生成最終回復(fù)的質(zhì)量.

    為了解決上述問題,本文提出了一個面向語義多樣性的對話生成模型,通過徑向基神經(jīng)網(wǎng)絡(luò)的軟聚類能力,將訓(xùn)練集中的問題劃分為多個語義簇來學(xué)習(xí)不同的語義表達(dá),并根據(jù)當(dāng)前問題與問題語義簇的隸屬度來融合不同語義簇的回復(fù)信息,以此來生成信息量更大、語義更豐富的回復(fù).

    3 本文算法

    本文算法基于序列到序列模型,問題編碼層和回復(fù)自編碼層采用雙向LSTM[20]分別學(xué)習(xí)問題和回復(fù)的語義表達(dá),解碼層通過單向LSTM順序解碼生成回復(fù)中的每個詞.為了捕獲問題的多樣性語義,本文引入了徑向基神經(jīng)網(wǎng)絡(luò),將訓(xùn)練集中的問題分配到不同的語義簇.在順序生成每個詞時,通過兩個注意力機(jī)制分別聚焦當(dāng)前問題對回復(fù)產(chǎn)生重要作用的信息以及檢索回復(fù)對生成回復(fù)起重要作用的信息來指導(dǎo)對話的生成.本節(jié)先給出對話生成任務(wù)的形式化描述,然后介紹本文算法的方法細(xì)節(jié).

    3.1 任務(wù)定義

    假定當(dāng)前問題q={q1,…,qi,…,qN},長度為N,qi表示問題中第i個詞,回復(fù)r={r1,…,ri,…,rM},長度為M,ri表示回復(fù)中第i個詞.對話生成任務(wù)可形式化定義為:

    給定訓(xùn)練集D={},,表示訓(xùn)練集中問題-回復(fù)對,其中r是問題q對應(yīng)的回復(fù),模型的目標(biāo)是最大化似然P(r|q,D).

    3.2 模型結(jié)構(gòu)

    本文提出面向語義多樣性的對話生成模型總體架構(gòu)如圖1所示.模型由4部分組成:問題編碼層、聚類層、解碼層和回復(fù)自編碼層.訓(xùn)練時,模型以對作為輸入,通過問題編碼層將輸入的問題q的詞序列通過雙向LSTM獲得問題的句子表達(dá),隨后送入到Q-聚類模塊的徑向基神經(jīng)網(wǎng)絡(luò)將訓(xùn)練集中的問題根據(jù)語義分配到多個語義簇,每個徑向基單元學(xué)習(xí)不同問題簇的語義向量.根據(jù)當(dāng)前問題和每個語義向量的隸屬度來融合問題簇對應(yīng)的回復(fù)簇的信息作為檢索的特征表達(dá),并送入到解碼器來生成最終回復(fù).回復(fù)自編碼器用于更新記憶模塊中回復(fù)的嵌入表達(dá),通過自編碼器的回復(fù)重建,能夠?qū)W到與問題更相關(guān)的回復(fù)的句子編碼.

    圖1 模型示意圖Fig.1 Model architecture overview

    3.2.1 問題編碼層

    (1)

    (2)

    3.2.2 回復(fù)自編碼層

    (3)

    S′=MLP[hq;hr]

    (4)

    (5)

    回復(fù)自編碼層損失如式(6)所示:

    (6)

    3.2.3 聚類層

    在訓(xùn)練階段,聚類層的任務(wù)是捕獲問題的語義多樣性,因此,本文通過Q-聚類模塊的徑向基神經(jīng)網(wǎng)絡(luò)對訓(xùn)練集中的問題進(jìn)行軟聚類,并訓(xùn)練了K個不同的問題語義向量(簇中心).記憶模塊存儲了回復(fù)簇的語義信息,并根據(jù)當(dāng)前問題的隸屬度生成不同的檢索回復(fù)表達(dá),用于對話生成.

    Q-聚類模塊對于當(dāng)前問題q,它的嵌入表達(dá)hq通過一個含有K個徑向基單元的網(wǎng)絡(luò)生成q的語義嵌入表達(dá)Q*,其中徑向基單元采用高斯核函數(shù).第j個隱藏單元的激活函數(shù)為:

    (7)

    其中,Qj為第j個徑向基單元的語義向量,即第j個問題簇的簇中心,σj為該徑向基單元的方差,二者均為可學(xué)習(xí)參數(shù).然后,獲取q在第j個問題簇的隸屬度αj,如式(8)所示,通過對各個簇的隸屬度的加權(quán)求和得到問題的語義嵌入表達(dá)Q*,如式(9)所示:

    (8)

    (9)

    記憶模塊根據(jù)相似的問題有相似的回復(fù)這一假設(shè),將當(dāng)前問題在各個問題簇的隸屬度作為回復(fù)簇的隸屬度,即當(dāng)前問題對第j個回答簇的隸屬度αj作為對應(yīng)回復(fù)簇中回復(fù)的隸屬度,來計(jì)算對應(yīng)回復(fù)簇每個語義向量(簇中心),如式(10)所示.當(dāng)前問題對應(yīng)的回復(fù)語義表達(dá)是根據(jù)問題隸屬度分布α對所有的回復(fù)簇簇中心進(jìn)行加權(quán)求和,如式(11)所示:

    (10)

    (11)

    徑向基單元的語義向量是用來描述問題語義的多樣性,模型希望各個問題簇的語義盡可能分離,本文使用如式(13)的正交損失.

    Q=[Q1;Q2;…;QK]

    (12)

    (13)

    3.2.4 解碼層

    對話生成的解碼器基于單向LSTM,首先將q的語義表達(dá)Q*、句子表達(dá)hq以及回復(fù)的語義表達(dá)R*拼接后通過全連接網(wǎng)絡(luò)得到解碼器的初始狀態(tài)S0,如式(14)所示:

    S0=MLP([Q*,hq,R*])

    (14)

    (15)

    以St作為查詢向量,利用式(16)和式(17)計(jì)算問題中每個詞在第t時刻前后文注意力權(quán)重,根據(jù)注意力權(quán)重加權(quán)求和得到問題前后文表達(dá)Ct,如式(18)所示:

    (16)

    (17)

    (18)

    其中Wc是可學(xué)習(xí)的參數(shù),ut,i表示時刻解碼器隱藏狀態(tài)與q里第i個詞的注意力大小.

    檢索嵌入表達(dá)Zt編碼了回復(fù)簇語義信息,有助于當(dāng)前問題的回復(fù)生成.本文將當(dāng)前問題和每個問題簇的隸屬度作為回復(fù)簇對目標(biāo)問題生成的回復(fù)的貢獻(xiàn)度.考慮在不同的t時刻,根據(jù)當(dāng)前隱藏狀態(tài)St,需要聚焦回復(fù)簇中不同的回復(fù)特征來生成檢索的表達(dá).同樣地,以St作為查詢向量,利用式(19)和式(20)計(jì)算不同語義的回復(fù)簇注意力,再根據(jù)注意力加權(quán)求和后得到t時刻Zt:

    (19)

    (20)

    (21)

    其中Wz為注意力矩陣,vi,j表示解碼器時刻隱藏層狀態(tài)St與記憶模塊中第j個回復(fù)簇Rj的注意力大小.

    (22)

    在回復(fù)生成中,使用負(fù)對數(shù)似然作為損失函數(shù):

    (23)

    其中,M為標(biāo)注回復(fù)長度,θ為模型所有參數(shù).

    3.3 模型的訓(xùn)練和測試

    訓(xùn)練時,本文將對作為輸入,模型優(yōu)化的總損失函數(shù)由3部分構(gòu)成,如式(24)所示:

    L=Lpre+λ1LQ+λ2LAE

    (24)

    其中,λ1和λ2為超參數(shù).訓(xùn)練時,在當(dāng)前epoch內(nèi)固定記憶模塊中的所有回復(fù)簇的語義向量并存儲所有歷史回復(fù)的嵌入表達(dá)hr及其在所有回復(fù)簇中的隸屬度分布α,當(dāng)前epoch結(jié)束后,根據(jù)式(10)更新所有回復(fù)簇特征信息.在測試階段,對于測試樣例,只有問題q送入模型,回復(fù)自編碼層將被去掉.

    4 實(shí) 驗(yàn)

    為驗(yàn)證算法性能,本文開展了以下3個方面的實(shí)驗(yàn):1)和現(xiàn)有對話生成的方法進(jìn)行對比,考察軟聚類的效果,以驗(yàn)證本文提出的算法的有效性;2)消融實(shí)驗(yàn),考察模型中各模塊的作用;3)考察徑向基單元的個數(shù)對模型性能的影響.

    4.1 數(shù)據(jù)集及評價指標(biāo)

    為了驗(yàn)證模型的有效性,本文在騰訊公開的大型中文單輪對話數(shù)據(jù)集Chat上進(jìn)行了一系列實(shí)驗(yàn).Chat數(shù)據(jù)集來源于微博和豆瓣論壇,相比來源于單個論壇的數(shù)據(jù)集,該數(shù)據(jù)集包含更多問題語義類型.經(jīng)預(yù)處理[19]后,本文的實(shí)驗(yàn)將其中550萬條數(shù)據(jù)用于訓(xùn)練,1000條用于驗(yàn)證,10000條用于測試,并使用了3類自動評價指標(biāo)來評估模型的性能:

    1)Bleu 1-4[21]:Bleu N 反映生成回復(fù)與黃金標(biāo)準(zhǔn)之間N-gram的字面相似度,分?jǐn)?shù)越高,字面匹配程度越高.

    2)Embedding Average(E-A),Embedding Greedy(E-G),Embedding Extrema(E-E)[22]:Embedding * 用來度量生成回復(fù)與標(biāo)注回復(fù)的語義相似度.E-A使用生成文本與黃金標(biāo)準(zhǔn)的詞向量均值的余弦相似度,E-G使用生成回復(fù)與黃金標(biāo)準(zhǔn)之間的最大詞-詞余弦相似度的平均作為二者相似度,E-E使用句子中所有詞的詞向量每一維極值作為句子向量,然后計(jì)算生成文本和黃金標(biāo)準(zhǔn)之間的余弦相似度.數(shù)值越大,表明生成文本與黃金標(biāo)準(zhǔn)語義越相似.

    3)Dist-1/2:Dist-N反映生成回復(fù)的多樣性,計(jì)算生成回復(fù)集合中一元組或二元組占總數(shù)的百分比.數(shù)值越大,多樣性越好.

    本文實(shí)驗(yàn)的所有模型是在相同數(shù)據(jù)集上進(jìn)行了5次實(shí)驗(yàn),后續(xù)小節(jié)報(bào)告的是5次的平均值.同時,本文從測試集中隨機(jī)抽取了100個問題,邀請了3名研究生對每個模型生成的回復(fù)從相關(guān)性、流暢性和信息性3方面進(jìn)行了人工評估.相關(guān)性是指是否與問題相關(guān);流暢性是指語義是否流暢,是否容易理解;信息性是指是否有意義,而非通用回復(fù).每個度量指標(biāo)用5級評分.以相關(guān)性為例,數(shù)字表示回復(fù)語句的相關(guān)程度,其中1表示與問題完全不相關(guān),5表示完全相關(guān).

    4.2 實(shí)驗(yàn)設(shè)置

    本文實(shí)驗(yàn)基于PyTorch1.8.1,Python版本為3.8.5.服務(wù)器實(shí)驗(yàn)環(huán)境為Ubuntu 18.04.4 LTS,搭載的顯卡為NVIDIA GeForce RTX 3090.

    根據(jù)Chat數(shù)據(jù)集特點(diǎn),模型設(shè)置詞表大小為20000,訓(xùn)練時使用Adam[23]優(yōu)化器,初始學(xué)習(xí)率為0.001,測試時束搜索大小為10,其余超參數(shù)如表2所示.

    表2 超參數(shù)設(shè)置Table 2 Hyperparameters setting

    4.3 基線模型

    為了驗(yàn)證本文算法考慮到問題的語義多樣性對生成回復(fù)質(zhì)量的影響,本文與以下5個基線方法進(jìn)行了對比:

    Seq2seq[24]:帶有注意力的Seq2seq對話生成模型,僅以問題作為輸入生成回復(fù);

    CVAE[25]:使用變分編碼器來增加回復(fù)多樣性的對話生成模型;

    RP[19]:先通過當(dāng)前問題生成回復(fù),再利用檢索結(jié)果對回復(fù)進(jìn)一步潤色得到最終回復(fù);

    Skeleton[11]:基于骨架生成回復(fù)的對話生成模型,先對檢索的回復(fù)提取骨架詞,然后將當(dāng)前問題與骨架詞融合來生成回復(fù);

    Memory[13]:一種檢索-生成式對話生成模型,通過對歷史問題進(jìn)行硬聚類,將與當(dāng)前問題相似度最高的問題簇對應(yīng)的回復(fù)簇的特征信息融入到對話生成中.

    4.4 實(shí)驗(yàn)結(jié)果與分析

    為了驗(yàn)證本文模型的有效性,本文模型和現(xiàn)有的基線模型進(jìn)行了對比,自動評價結(jié)果如表3所示,人工評估的對比結(jié)果如圖2所示.從表3的實(shí)驗(yàn)結(jié)果可以看出,本文的模型在Blue 3、Blue 4和Dist-1上分別提高了18.6%、4.48%以及6.38%.同時Blue N中N越大能反映回復(fù)的流暢性,本文的模型在Blue 3和Blue 4指標(biāo)上性能提升顯著,這些結(jié)果也充分說明了,通過徑向基神經(jīng)網(wǎng)絡(luò)的軟聚類方式能夠捕獲問題的語義多樣性,提高生成結(jié)果的相關(guān)性、信息性和流暢性,從而得到了質(zhì)量更高的回復(fù).在生成回復(fù)的字面多樣性中,本文模型Dist-1遠(yuǎn)高于其他模型,而Dist-2低于Skeleton,但相比最新的聚類-生成模型Memory提升了0.55%.根據(jù)對生成回復(fù)的結(jié)果進(jìn)行分析發(fā)現(xiàn),本文模型傾向于產(chǎn)生通用句式的語句,如“××我也××”,“××哈哈,××”這類句式,其中,“××我也××”在訓(xùn)練集中占比為1.8%.而Skeleton先提取檢索結(jié)果的“骨架詞”,利用“骨架詞”的信息生成對話,傾向于生成與檢索結(jié)果相似的回復(fù),因此在Dist-2上性能較好,但相關(guān)性上較差.

    圖2 人工評價的對比結(jié)果Fig.2 Comparative results of human evaluation

    表3 本文模型和基準(zhǔn)模型的性能對比Table 3 Overall performance of our model and the baseline models

    從圖2的人工評價對比結(jié)果中可以看出,檢索-生成式的方法由于利用到了額外的檢索結(jié)果,所以在信息性上要明顯優(yōu)于生成式的Seq2seq方法.而Memory與本文方法通過聚類方式將更多的檢索結(jié)果的特征信息融入到對話生成中,能夠進(jìn)一步提高生成回復(fù)的信息性.同時,由于本文使用軟聚類方式,獲取問題語句的多方面語義,因而能檢索得到更多的相關(guān)回復(fù)信息增強(qiáng)生成過程,不僅提高了信息性和相關(guān)性,同時還保持著較高的流暢性.

    4.5 消融實(shí)驗(yàn)

    為驗(yàn)證模型中各模塊的有效性,本文對比了兩種消融實(shí)驗(yàn):

    1) 本文算法w/o Mul:采用硬聚類方式,即認(rèn)為當(dāng)前問題語句只屬于一個問題語義簇,查詢記憶模塊時也只取相似度最高的問題語義簇對應(yīng)的回復(fù)特征;

    2) 本文算法 w/o:去掉模型Q-聚類模塊中的正交損失.

    表4列出了消融實(shí)驗(yàn)結(jié)果,從表中可以看出去除各模塊的消融實(shí)驗(yàn)性能都有所下降.首先,當(dāng)采用硬聚類方式時,模型只能捕捉問題語句單方面的語義,因此模型性能在各方面都略低于軟聚類的結(jié)果,從而表明考慮問題的語義多樣性有助于生成質(zhì)量更高的回復(fù).其次,去掉正交損失后,模型性能急劇下降,這是因?yàn)槿サ粽粨p失后,各個徑向基單元學(xué)習(xí)到的語義向量過于相似,無法充分表達(dá)訓(xùn)練集中多方面語義,極大地降低了模型性能.

    表4 消融實(shí)驗(yàn)結(jié)果Table 4 Ablation experimental results

    4.6 徑向基單元個數(shù)K的影響

    為了探究徑向基單元數(shù)K對模型性能的影響,本文使用不同的K在Chat數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),如圖3所示.

    圖3 不同K下的性能Fig.3 Performances of different K

    由圖3可以看出,隨著K的增加,性能在逐漸提升,而當(dāng)K>2000以后,模型的性能又開始緩慢下降.說明K如果太小,會導(dǎo)致訓(xùn)練集中問題的語義不能有效區(qū)分,而K太大則導(dǎo)致徑向基單元學(xué)習(xí)到的語義向量太過于相似,從而降低了最終回復(fù)的質(zhì)量,其中對回復(fù)的多樣性影響最大.

    4.7 案例分析

    為了更深入了解本文提出的方法在開放域?qū)υ捴械男阅?,本小?jié)從問題語義的多樣性、軟聚類質(zhì)量以及生成回復(fù)的質(zhì)量3方面進(jìn)行了案例分析.

    多樣性本文從訓(xùn)練集中選擇了兩個問題,分別包含了兩種語義信息,并對比了基線模型和本文模型的回復(fù)結(jié)果,如表5所示.從表5中可以看出,問題1和問題2都包含了兩個方面的語義:癥狀以及尋求解決方法.只利用了單個檢索結(jié)果生成回復(fù)的模型,如RP和Skeleton和利用多個檢索結(jié)果的Memory都只能捕獲問題單方面的語義,所以回復(fù)中只包含關(guān)于癥狀信息,而本文算法由于對問題進(jìn)行軟聚類后能夠捕獲問題多方面語義,所以生成的回復(fù)能夠關(guān)注到“過敏”或者“口腔潰瘍”同時還關(guān)注到了“怎么辦”兩種不同的語義.

    表5 語義多樣性案例Table 5 Cases of semantic multiplicity

    軟聚類本文首先從訓(xùn)練集中選擇8個問題,分別計(jì)算每個問題和問題簇的隸屬度,根據(jù)隸屬度最高的前10個簇.對8個問題隸屬的語義簇取交集后,如表6所示(為方便理解,人工為3個簇添加了語義標(biāo)簽并將問題中與簇相關(guān)的語義信息加粗表示).從表6中可以看出,這3個簇的語義差別比較大,說明每個簇的徑向基單元通過正交損失能夠?qū)W到不同的語義.同時,對于問題中包含多個語義的樣例,如Q3,Q5和Q6,其中Q3在簇1和簇2相似度很高,但在簇3的相似度很低.在這3個簇的語義向量的相似度都比較高.由此可以看出,用軟聚類的建模方式才能更好地捕捉問題語句的多樣性語義,檢索得到多方面相關(guān)回復(fù)信息,從而提高生成回復(fù)的質(zhì)量.

    表6 軟聚類案例Table 6 Cases of soft clustering

    回復(fù)質(zhì)量本文從測試集中隨機(jī)選擇了兩個問題,并對比了本文模型和基線模型產(chǎn)生的回復(fù)的質(zhì)量,結(jié)果如表7所示.從表7中可以看出,對問題1,Seq2seq和CVAE回復(fù)的相關(guān)性很低,而RP只是對問題做了一個陳述,Skeleton回復(fù)的流暢性較差,相比Memory的回復(fù),本文模型的回復(fù)的可讀性更好.問題2的本文的模型用“屈臣氏的燕窩面膜”來回答了問題,而其他模型的回復(fù)和問題的語義相關(guān)性比較差.

    表7 回復(fù)質(zhì)量案例Table 7 Cases of response quality

    5 結(jié) 語

    針對現(xiàn)有檢索-生成式研究存在語義多樣性的挑戰(zhàn),本文提出面向語義多樣性的開放域?qū)υ捝赡P?,并設(shè)計(jì)了一個可學(xué)習(xí)的聚類網(wǎng)絡(luò)將訓(xùn)練集中的問題根據(jù)語義分配到多個語義簇,從而對語義多樣性建模.本文使用徑向基神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)軟聚類過程,由于徑向基的可微性,使得本文提出的模型對軟聚類和回復(fù)生成過程可以通過梯度下降端到端地訓(xùn)練,使得聚類和生成更加緊密耦合.本文通過一系列的對比實(shí)驗(yàn)、消融實(shí)驗(yàn)及案例分析驗(yàn)證了本文模型的有效性.

    猜你喜歡
    徑向檢索語義
    淺探徑向連接體的圓周運(yùn)動
    RN上一類Kirchhoff型方程徑向?qū)ΨQ正解的存在性
    基于PID+前饋的3MN徑向鍛造機(jī)控制系統(tǒng)的研究
    語言與語義
    一類無窮下級整函數(shù)的Julia集的徑向分布
    2019年第4-6期便捷檢索目錄
    “上”與“下”語義的不對稱性及其認(rèn)知闡釋
    專利檢索中“語義”的表現(xiàn)
    專利代理(2016年1期)2016-05-17 06:14:36
    認(rèn)知范疇模糊與語義模糊
    語義分析與漢俄副名組合
    午夜免费男女啪啪视频观看| 青春草亚洲视频在线观看| 一区二区av电影网| 亚洲美女视频黄频| 亚洲美女黄色视频免费看| 夫妻性生交免费视频一级片| 亚洲成人av在线免费| 91成年电影在线观看| 老司机影院毛片| 亚洲精品中文字幕一二三四区| 满18在线观看网站| 久久99一区二区三区| 久久中文字幕一级| 亚洲九九香蕉| 亚洲黑人精品在线| 久久久久国内视频| 亚洲av欧美aⅴ国产| 又大又爽又粗| 国产色视频综合| 日本wwww免费看| 久久精品国产99精品国产亚洲性色 | 黑人巨大精品欧美一区二区mp4| 变态另类成人亚洲欧美熟女 | 亚洲色图 男人天堂 中文字幕| 亚洲色图 男人天堂 中文字幕| 性少妇av在线| 色综合欧美亚洲国产小说| 国产精品欧美亚洲77777| 成人三级做爰电影| av网站在线播放免费| av一本久久久久| 美女福利国产在线| 午夜久久久在线观看| 国产精品免费大片| 91老司机精品| 中文字幕av电影在线播放| 日韩免费高清中文字幕av| 热99国产精品久久久久久7| 欧美激情久久久久久爽电影 | 99热网站在线观看| 国产亚洲欧美精品永久| 亚洲精品国产色婷婷电影| 亚洲在线自拍视频| 黄色a级毛片大全视频| 啦啦啦视频在线资源免费观看| 国产精品久久久久成人av| 亚洲精品一卡2卡三卡4卡5卡| 999精品在线视频| 精品久久久精品久久久| 咕卡用的链子| 久久ye,这里只有精品| 久久 成人 亚洲| 国产成+人综合+亚洲专区| 老熟妇乱子伦视频在线观看| 亚洲国产欧美日韩在线播放| 精品卡一卡二卡四卡免费| 女人爽到高潮嗷嗷叫在线视频| 成年版毛片免费区| 动漫黄色视频在线观看| 村上凉子中文字幕在线| 80岁老熟妇乱子伦牲交| 国产精品久久久人人做人人爽| 午夜福利,免费看| 99国产综合亚洲精品| 国产精品久久视频播放| 日本vs欧美在线观看视频| av网站在线播放免费| 看免费av毛片| 激情在线观看视频在线高清 | 久久中文字幕人妻熟女| 亚洲欧美一区二区三区黑人| 国产色视频综合| 久久久久国产一级毛片高清牌| 欧美大码av| 黄色毛片三级朝国网站| 亚洲一区中文字幕在线| 999精品在线视频| 成年动漫av网址| 在线天堂中文资源库| 免费人成视频x8x8入口观看| 成人黄色视频免费在线看| 久久精品国产99精品国产亚洲性色 | 精品高清国产在线一区| 777久久人妻少妇嫩草av网站| 超碰97精品在线观看| 婷婷精品国产亚洲av在线 | 夫妻午夜视频| 免费一级毛片在线播放高清视频 | 免费观看a级毛片全部| 精品久久蜜臀av无| 人人澡人人妻人| 免费在线观看视频国产中文字幕亚洲| 亚洲专区国产一区二区| 亚洲 国产 在线| 久久精品aⅴ一区二区三区四区| 久久久国产精品麻豆| 久久天躁狠狠躁夜夜2o2o| 三级毛片av免费| 国内久久婷婷六月综合欲色啪| 丁香六月欧美| 黄色丝袜av网址大全| 午夜亚洲福利在线播放| 国产精品免费视频内射| 精品国产超薄肉色丝袜足j| 999久久久精品免费观看国产| 黄色成人免费大全| 多毛熟女@视频| 久久亚洲真实| 欧美精品一区二区免费开放| 久久午夜亚洲精品久久| 成年动漫av网址| 90打野战视频偷拍视频| 在线观看午夜福利视频| 99久久综合精品五月天人人| xxxhd国产人妻xxx| www日本在线高清视频| 黄色成人免费大全| 在线观看一区二区三区激情| 国产一区二区三区在线臀色熟女 | 天堂俺去俺来也www色官网| 国产又爽黄色视频| 国产精品久久久人人做人人爽| 两个人免费观看高清视频| 成人国产一区最新在线观看| 天天影视国产精品| 黄色女人牲交| av视频免费观看在线观看| 国产亚洲欧美在线一区二区| 精品国产一区二区三区久久久樱花| 最近最新中文字幕大全免费视频| 波多野结衣一区麻豆| 夫妻午夜视频| 午夜91福利影院| ponron亚洲| 热re99久久精品国产66热6| 18禁国产床啪视频网站| 18禁裸乳无遮挡免费网站照片 | 男人操女人黄网站| 欧美黄色淫秽网站| 亚洲精品av麻豆狂野| 一级a爱视频在线免费观看| 欧美不卡视频在线免费观看 | av网站在线播放免费| 亚洲avbb在线观看| 9色porny在线观看| 精品卡一卡二卡四卡免费| 久久国产精品影院| 在线视频色国产色| 精品乱码久久久久久99久播| 另类亚洲欧美激情| 大香蕉久久网| 亚洲国产欧美一区二区综合| 国产欧美日韩综合在线一区二区| aaaaa片日本免费| 中文字幕人妻熟女乱码| 丁香六月欧美| 99国产极品粉嫩在线观看| 亚洲av美国av| 777米奇影视久久| 手机成人av网站| 亚洲精品久久成人aⅴ小说| 18禁裸乳无遮挡免费网站照片 | 无遮挡黄片免费观看| 久久久久久久精品吃奶| 99精品在免费线老司机午夜| avwww免费| 成年人黄色毛片网站| 亚洲成人手机| 精品国产美女av久久久久小说| 99riav亚洲国产免费| 窝窝影院91人妻| 久久久国产欧美日韩av| 黄片大片在线免费观看| 搡老熟女国产l中国老女人| avwww免费| 男人操女人黄网站| 老熟妇乱子伦视频在线观看| 午夜福利在线免费观看网站| 久久热在线av| 波多野结衣av一区二区av| 在线观看午夜福利视频| 高清欧美精品videossex| 久久天堂一区二区三区四区| 国产成人一区二区三区免费视频网站| 变态另类成人亚洲欧美熟女 | 99精品欧美一区二区三区四区| 国产成人av教育| 岛国在线观看网站| 亚洲av日韩精品久久久久久密| 欧美一级毛片孕妇| 亚洲全国av大片| 亚洲aⅴ乱码一区二区在线播放 | 免费看a级黄色片| 国产精品 国内视频| 国产精品电影一区二区三区 | xxx96com| 巨乳人妻的诱惑在线观看| 桃红色精品国产亚洲av| 热99国产精品久久久久久7| 欧美老熟妇乱子伦牲交| 亚洲成国产人片在线观看| 午夜两性在线视频| 中文字幕另类日韩欧美亚洲嫩草| 脱女人内裤的视频| av视频免费观看在线观看| 日本一区二区免费在线视频| 一边摸一边做爽爽视频免费| 最近最新中文字幕大全免费视频| 亚洲国产欧美网| 国产av一区二区精品久久| 69精品国产乱码久久久| 九色亚洲精品在线播放| 中文字幕另类日韩欧美亚洲嫩草| 成人影院久久| 丁香欧美五月| 很黄的视频免费| 亚洲欧美精品综合一区二区三区| 少妇裸体淫交视频免费看高清 | 老司机深夜福利视频在线观看| 国产欧美日韩一区二区三| 在线观看日韩欧美| 久久香蕉精品热| 黄色视频,在线免费观看| 国产aⅴ精品一区二区三区波| 亚洲精品国产区一区二| 一级,二级,三级黄色视频| 一级毛片高清免费大全| 国产精品免费一区二区三区在线 | 一进一出抽搐gif免费好疼 | 国产日韩一区二区三区精品不卡| 搡老岳熟女国产| 男人操女人黄网站| 黑人巨大精品欧美一区二区mp4| videosex国产| 50天的宝宝边吃奶边哭怎么回事| 久热这里只有精品99| 黄色片一级片一级黄色片| 欧美精品亚洲一区二区| 免费女性裸体啪啪无遮挡网站| xxx96com| 国产精品国产av在线观看| 国产成人一区二区三区免费视频网站| 亚洲精品中文字幕在线视频| 这个男人来自地球电影免费观看| 女性被躁到高潮视频| 久久香蕉国产精品| 国产精品一区二区免费欧美| 80岁老熟妇乱子伦牲交| 亚洲精品乱久久久久久| 好男人电影高清在线观看| 这个男人来自地球电影免费观看| 手机成人av网站| 精品久久久久久久毛片微露脸| 欧美大码av| 丁香欧美五月| 国产97色在线日韩免费| www.自偷自拍.com| 波多野结衣一区麻豆| 老司机在亚洲福利影院| 午夜亚洲福利在线播放| 欧美日韩国产mv在线观看视频| 午夜福利,免费看| 老司机福利观看| 成人特级黄色片久久久久久久| 男女之事视频高清在线观看| 91在线观看av| 亚洲精品国产精品久久久不卡| 免费av中文字幕在线| 十八禁高潮呻吟视频| 中文欧美无线码| 岛国在线观看网站| 亚洲av第一区精品v没综合| 国产1区2区3区精品| 国产精品国产av在线观看| 狂野欧美激情性xxxx| 国产精品综合久久久久久久免费 | 亚洲,欧美精品.| 久久草成人影院| 男人舔女人的私密视频| 麻豆国产av国片精品| 国产精品1区2区在线观看. | 亚洲一区二区三区不卡视频| 人人妻人人澡人人爽人人夜夜| 久久热在线av| 亚洲第一青青草原| 久久久久精品国产欧美久久久| 久久国产乱子伦精品免费另类| 久久久国产成人免费| 久久国产精品影院| 午夜福利在线观看吧| 两性午夜刺激爽爽歪歪视频在线观看 | 他把我摸到了高潮在线观看| 日韩欧美在线二视频 | 国内久久婷婷六月综合欲色啪| 免费黄频网站在线观看国产| 老司机午夜十八禁免费视频| 18禁观看日本| 一进一出抽搐动态| 999久久久国产精品视频| 国产精品成人在线| 水蜜桃什么品种好| av网站免费在线观看视频| 无限看片的www在线观看| 国产精品九九99| 久久国产精品人妻蜜桃| 黄片小视频在线播放| 午夜久久久在线观看| 亚洲成人免费av在线播放| 三级毛片av免费| 黄色 视频免费看| 国产成人影院久久av| 色婷婷久久久亚洲欧美| 黄片大片在线免费观看| 黄网站色视频无遮挡免费观看| 交换朋友夫妻互换小说| 亚洲va日本ⅴa欧美va伊人久久| 美女高潮到喷水免费观看| 18禁裸乳无遮挡动漫免费视频| 好男人电影高清在线观看| 欧美日韩视频精品一区| 精品一区二区三区视频在线观看免费 | 欧美日韩中文字幕国产精品一区二区三区 | 国产亚洲欧美在线一区二区| 久久 成人 亚洲| 精品人妻熟女毛片av久久网站| 在线播放国产精品三级| 日韩欧美一区二区三区在线观看 | av天堂在线播放| 99热国产这里只有精品6| 国产一区二区三区视频了| 高清毛片免费观看视频网站 | 999精品在线视频| 一区二区三区精品91| 午夜激情av网站| 免费观看人在逋| 91精品国产国语对白视频| 午夜福利一区二区在线看| 久久久久国产一级毛片高清牌| 亚洲精品在线观看二区| 日本撒尿小便嘘嘘汇集6| 黑人巨大精品欧美一区二区蜜桃| 精品久久久久久电影网| av线在线观看网站| 无人区码免费观看不卡| 成人国产一区最新在线观看| 亚洲人成伊人成综合网2020| 国产精品影院久久| 99热网站在线观看| 国产一区有黄有色的免费视频| 老司机午夜十八禁免费视频| 国产男靠女视频免费网站| 精品无人区乱码1区二区| 亚洲熟女毛片儿| 国产成人影院久久av| 在线观看免费视频日本深夜| 亚洲五月婷婷丁香| 美女视频免费永久观看网站| 91国产中文字幕| 亚洲一区中文字幕在线| av网站免费在线观看视频| 曰老女人黄片| 电影成人av| 一边摸一边抽搐一进一出视频| 中文字幕人妻丝袜制服| 又黄又爽又免费观看的视频| 亚洲五月天丁香| 国产乱人伦免费视频| 99国产精品一区二区蜜桃av | 午夜精品在线福利| 中文字幕制服av| 99热国产这里只有精品6| 三上悠亚av全集在线观看| 麻豆国产av国片精品| 飞空精品影院首页| 日本wwww免费看| 午夜精品国产一区二区电影| 三级毛片av免费| 亚洲精品在线观看二区| 久久久国产成人精品二区 | 51午夜福利影视在线观看| 中文字幕精品免费在线观看视频| 久久精品国产亚洲av高清一级| 亚洲国产精品合色在线| 久久精品91无色码中文字幕| 建设人人有责人人尽责人人享有的| 超色免费av| 久久久精品区二区三区| 在线观看免费午夜福利视频| 国产高清视频在线播放一区| 视频区图区小说| 国产深夜福利视频在线观看| 免费不卡黄色视频| 天天影视国产精品| √禁漫天堂资源中文www| 在线观看免费视频网站a站| 亚洲国产中文字幕在线视频| 久久中文看片网| 人人澡人人妻人| 十八禁网站免费在线| 免费观看精品视频网站| 午夜福利免费观看在线| 一本大道久久a久久精品| 国产伦人伦偷精品视频| 激情在线观看视频在线高清 | 午夜视频精品福利| 精品国产一区二区久久| 涩涩av久久男人的天堂| 老司机福利观看| 日韩欧美一区视频在线观看| 久久影院123| 午夜福利,免费看| 精品国内亚洲2022精品成人 | 国产在线精品亚洲第一网站| 捣出白浆h1v1| 精品第一国产精品| 在线观看一区二区三区激情| 91av网站免费观看| 69av精品久久久久久| 久久久久精品国产欧美久久久| 老熟妇仑乱视频hdxx| 天天添夜夜摸| 国产精品欧美亚洲77777| 丝瓜视频免费看黄片| 亚洲黑人精品在线| 在线观看免费高清a一片| 亚洲成人免费av在线播放| 黄色片一级片一级黄色片| 在线观看www视频免费| 久久人妻熟女aⅴ| 久久人人爽av亚洲精品天堂| 成年动漫av网址| 国产麻豆69| 少妇粗大呻吟视频| 麻豆av在线久日| 国产免费男女视频| 日韩三级视频一区二区三区| 色综合欧美亚洲国产小说| 亚洲av成人不卡在线观看播放网| 亚洲精华国产精华精| 老司机深夜福利视频在线观看| 亚洲av电影在线进入| 看免费av毛片| 亚洲成人国产一区在线观看| 校园春色视频在线观看| 亚洲精品久久成人aⅴ小说| 久久国产精品人妻蜜桃| 91成年电影在线观看| 两性午夜刺激爽爽歪歪视频在线观看 | 国产野战对白在线观看| 成人三级做爰电影| 久久天堂一区二区三区四区| 黄色毛片三级朝国网站| 久久人妻熟女aⅴ| 国产精品免费视频内射| av福利片在线| 免费黄频网站在线观看国产| 国产高清videossex| 中文字幕人妻丝袜一区二区| 精品国产国语对白av| 国产成人精品久久二区二区91| 国产精品亚洲一级av第二区| 人人妻人人澡人人看| 在线视频色国产色| 久久影院123| 国产午夜精品久久久久久| 日韩免费高清中文字幕av| 亚洲av欧美aⅴ国产| 欧美日韩黄片免| 色婷婷av一区二区三区视频| 两个人免费观看高清视频| 人妻丰满熟妇av一区二区三区 | 免费观看精品视频网站| 亚洲一卡2卡3卡4卡5卡精品中文| 老熟女久久久| 亚洲精品国产一区二区精华液| 一本一本久久a久久精品综合妖精| 91精品国产国语对白视频| 一夜夜www| 亚洲成人免费电影在线观看| 精品国产一区二区久久| 国产高清激情床上av| 我的亚洲天堂| 精品国产乱码久久久久久男人| 国产精品1区2区在线观看. | 在线观看66精品国产| 男人操女人黄网站| 亚洲 国产 在线| 99香蕉大伊视频| 大型黄色视频在线免费观看| 欧美另类亚洲清纯唯美| 黄色女人牲交| 国产精品一区二区在线不卡| 国产91精品成人一区二区三区| 啦啦啦在线免费观看视频4| 狠狠婷婷综合久久久久久88av| 国产精品98久久久久久宅男小说| 日韩有码中文字幕| 国产日韩欧美亚洲二区| 成人影院久久| 黑丝袜美女国产一区| 曰老女人黄片| 日韩有码中文字幕| 在线观看免费视频网站a站| 欧美最黄视频在线播放免费 | 超色免费av| 人人妻,人人澡人人爽秒播| 国产精品久久电影中文字幕 | 久久热在线av| 欧美激情高清一区二区三区| 日本黄色视频三级网站网址 | 日韩欧美一区二区三区在线观看 | 天堂动漫精品| 欧美性长视频在线观看| 成人黄色视频免费在线看| 久久久国产欧美日韩av| 亚洲情色 制服丝袜| 99国产综合亚洲精品| 黑人巨大精品欧美一区二区mp4| 午夜老司机福利片| 80岁老熟妇乱子伦牲交| 丝袜美足系列| 18在线观看网站| 十八禁高潮呻吟视频| 欧美精品av麻豆av| 99国产综合亚洲精品| 亚洲欧美激情在线| 欧美丝袜亚洲另类 | 在线观看一区二区三区激情| 我的亚洲天堂| 高清黄色对白视频在线免费看| 美女视频免费永久观看网站| 777米奇影视久久| 国产欧美日韩精品亚洲av| 国产精品乱码一区二三区的特点 | 1024视频免费在线观看| 99国产极品粉嫩在线观看| 国产高清videossex| 国产一区二区三区在线臀色熟女 | 美女高潮喷水抽搐中文字幕| 国产精品久久久久成人av| 久久午夜亚洲精品久久| 国产一区在线观看成人免费| 中文字幕av电影在线播放| av网站免费在线观看视频| 亚洲 国产 在线| 丰满人妻熟妇乱又伦精品不卡| 视频区欧美日本亚洲| 亚洲欧美精品综合一区二区三区| 精品久久久久久电影网| 国产精品免费一区二区三区在线 | 国产免费现黄频在线看| 亚洲精品成人av观看孕妇| 日本wwww免费看| 亚洲精品一二三| 午夜福利影视在线免费观看| 久久九九热精品免费| 日本欧美视频一区| 国精品久久久久久国模美| 老鸭窝网址在线观看| 久久精品国产a三级三级三级| 黄色丝袜av网址大全| 日韩视频一区二区在线观看| 动漫黄色视频在线观看| 久久久久视频综合| 亚洲精品美女久久av网站| 欧美日韩瑟瑟在线播放| bbb黄色大片| 亚洲片人在线观看| 91在线观看av| 久久午夜亚洲精品久久| 成年动漫av网址| 99久久99久久久精品蜜桃| 欧美亚洲 丝袜 人妻 在线| 亚洲国产毛片av蜜桃av| 国产激情欧美一区二区| 久久天躁狠狠躁夜夜2o2o| 涩涩av久久男人的天堂| 精品国产乱子伦一区二区三区| 精品福利永久在线观看| 婷婷精品国产亚洲av在线 | 亚洲九九香蕉| 超碰97精品在线观看| 国产精品免费大片| 久久国产精品大桥未久av| 国产99白浆流出| 国产激情久久老熟女| 老司机影院毛片| 精品国产亚洲在线| 亚洲avbb在线观看| 黑丝袜美女国产一区| 超碰97精品在线观看| 亚洲国产中文字幕在线视频| 黄色视频,在线免费观看| 欧美亚洲日本最大视频资源| 法律面前人人平等表现在哪些方面| 国产男女超爽视频在线观看| 超碰97精品在线观看| 法律面前人人平等表现在哪些方面| 国产精品自产拍在线观看55亚洲 | 国产单亲对白刺激| 精品乱码久久久久久99久播| 成人精品一区二区免费| 中文字幕人妻丝袜制服| 亚洲欧美精品综合一区二区三区| 波多野结衣一区麻豆| 久久婷婷成人综合色麻豆| 三级毛片av免费| 亚洲国产毛片av蜜桃av| 国产精品欧美亚洲77777| 十八禁网站免费在线| av电影中文网址| 亚洲精华国产精华精| 老熟妇仑乱视频hdxx| 久久久久国产一级毛片高清牌| 黄片小视频在线播放|