• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于文本蘊(yùn)含的選擇類(lèi)問(wèn)題解答技術(shù)研究

    2016-10-13 04:28:14王寶鑫鄭德權(quán)王曉雪趙姍姍趙鐵軍
    關(guān)鍵詞:阿爾卑斯雪崩

    王寶鑫 鄭德權(quán) 王曉雪 趙姍姍 趙鐵軍

    ?

    基于文本蘊(yùn)含的選擇類(lèi)問(wèn)題解答技術(shù)研究

    王寶鑫 鄭德權(quán)?王曉雪 趙姍姍 趙鐵軍

    哈爾濱工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 哈爾濱 150001; ?通信作者, E-mail: dqzheng@mtlab.hit.edu.cn

    利用選擇類(lèi)問(wèn)題具有明確候選項(xiàng)的特點(diǎn), 簡(jiǎn)化問(wèn)題分類(lèi)過(guò)程, 并針對(duì)長(zhǎng)文本語(yǔ)義蘊(yùn)含短文本語(yǔ)義的語(yǔ)言現(xiàn)象, 提出一種根據(jù)文本蘊(yùn)含強(qiáng)度大小對(duì)候選答案進(jìn)行排序的方法。在沒(méi)有大規(guī)模問(wèn)答對(duì)的情況下, 采用維基百科中文語(yǔ)料庫(kù), 以全國(guó)各省市高考地理選擇題作為實(shí)驗(yàn)數(shù)據(jù), 通過(guò)句子相似度和文本蘊(yùn)含兩種方法來(lái)解答地理選擇題。實(shí)驗(yàn)表明, 基于文本蘊(yùn)含方法的準(zhǔn)確率為36.93%, 比基于詞嵌入的句子相似度方法提高2.44%, 比基于向量空間模型的句子相似度方法提高7.66%, 驗(yàn)證了該文本蘊(yùn)含強(qiáng)度計(jì)算方法的有效性。

    文本蘊(yùn)含; 選擇題; 詞嵌入; 句子相似度

    問(wèn)答系統(tǒng)通常分為三類(lèi): 基于知識(shí)庫(kù)的問(wèn)答系統(tǒng)、基于大規(guī)模文本的問(wèn)答系統(tǒng)和基于問(wèn)答對(duì)的問(wèn)答系統(tǒng)[1]。隨著互聯(lián)網(wǎng)的快速發(fā)展以及電子文本的增多, 社區(qū)問(wèn)答系統(tǒng)(community question answering, CQA)和基于大規(guī)模文本的問(wèn)答系統(tǒng)的相關(guān)研究不斷增多, 但是針對(duì)選擇題這類(lèi)對(duì)人們?nèi)粘I詈蛯W(xué)習(xí)影響較大的問(wèn)答系統(tǒng)的研究相對(duì)較少。

    本文對(duì)具有明確候選項(xiàng)的選擇題問(wèn)答系統(tǒng)進(jìn)行研究, 利用大規(guī)模維基百科中文語(yǔ)料作為數(shù)據(jù)源, 提出一種根據(jù)文本蘊(yùn)含強(qiáng)度大小對(duì)候選答案進(jìn)行排序的方法, 利用選擇題選項(xiàng)的規(guī)范性來(lái)確定問(wèn)題分類(lèi), 降低了問(wèn)題分析過(guò)程的復(fù)雜度。最后將本文的方法與傳統(tǒng)的句子相似度計(jì)算方法進(jìn)行比較。

    1 相關(guān)工作

    1.1 文本蘊(yùn)含相關(guān)工作

    文本蘊(yùn)含[2]是一個(gè)連貫文本與一個(gè)假設(shè)文本之間的一種關(guān)系, 如果假設(shè)文本的語(yǔ)義可以通過(guò)文本推斷出來(lái), 則認(rèn)為文本蘊(yùn)含文本。文本蘊(yùn)含由Dagan等[2]在2004年提出, 其相關(guān)的任務(wù)一般包含識(shí)別、產(chǎn)生和抽取, 其中關(guān)于文本蘊(yùn)含識(shí)別(recognize textual entailment, RTE)的相關(guān)研究相對(duì)較多, RTE在問(wèn)答系統(tǒng)、信息抽取、機(jī)器翻譯評(píng)測(cè)等很多應(yīng)用中起關(guān)鍵作用[3]。RTE常采用的方法有單獨(dú)基于詞匯、句法、淺層語(yǔ)義的無(wú)監(jiān)督方法和基于分類(lèi)器的有監(jiān)督學(xué)習(xí)方法等[4]。有監(jiān)督方法往往需要較多訓(xùn)練數(shù)據(jù), 并且對(duì)于訓(xùn)練數(shù)據(jù)的領(lǐng)域依賴(lài)性較強(qiáng), 因此本文采用基于詞匯的無(wú)監(jiān)督方法。以往對(duì)文本蘊(yùn)含識(shí)別的研究多集中在兩個(gè)句子之間, 評(píng)測(cè)的任務(wù)也僅僅是評(píng)估句子是否蘊(yùn)含句子。本文文本蘊(yùn)含識(shí)別則是集中在長(zhǎng)文本與短語(yǔ)之間、長(zhǎng)文本與句子之間。實(shí)際上, 兩個(gè)文本之間是否存在蘊(yùn)含關(guān)系很難分清界限, 所以現(xiàn)有的文本蘊(yùn)含識(shí)別系統(tǒng)多是根據(jù)某一確定標(biāo)準(zhǔn)來(lái)判斷兩個(gè)句子是否存在蘊(yùn)含關(guān)系。由于本文研究的是已有明確候選答案的選擇題類(lèi)問(wèn)答系統(tǒng), 需要比較文本對(duì)文本1的蘊(yùn)含關(guān)系是否大于文本對(duì)文本2的蘊(yùn)含關(guān)系, 而不是簡(jiǎn)單地判斷兩個(gè)文本之間是否存在蘊(yùn)含關(guān)系。因此, 為衡量蘊(yùn)含關(guān)系的大小, 本文提出文本蘊(yùn)含強(qiáng)度的概念。

    1.2 問(wèn)答系統(tǒng)相關(guān)工作

    問(wèn)答系統(tǒng)一般包含3個(gè)主要組成部分: 問(wèn)題分析、信息檢索和答案抽取。依據(jù)處理數(shù)據(jù)的格式, 問(wèn)答系統(tǒng)可以劃分為三類(lèi): 基于知識(shí)庫(kù)的問(wèn)答系統(tǒng)、基于自由文本的問(wèn)答系統(tǒng)和基于問(wèn)題答案對(duì)的問(wèn)答系統(tǒng)。早期的問(wèn)答系統(tǒng)大部分是基于知識(shí)庫(kù)的問(wèn)答系統(tǒng), 但是由于知識(shí)庫(kù)構(gòu)建需要消耗大量的資源, 產(chǎn)生的問(wèn)答系統(tǒng)局限性也比較大, 所以該類(lèi)問(wèn)答系統(tǒng)多用來(lái)解決限定領(lǐng)域的問(wèn)題。隨著互聯(lián)網(wǎng)的興起, 網(wǎng)絡(luò)上的文本數(shù)量激增, 隨之興起的是基于自由文本的問(wèn)答系統(tǒng), 即從已經(jīng)存在的非結(jié)構(gòu)化文本中抽取答案。自2005年末以來(lái), 隨著CQA數(shù)據(jù)的大量出現(xiàn), 問(wèn)題答案對(duì)數(shù)量的增多[5], 基于問(wèn)答對(duì)的問(wèn)答系統(tǒng)逐漸成為研究熱點(diǎn)。

    本文采用全國(guó)各省市高考地理選擇題作為實(shí)驗(yàn)數(shù)據(jù), 進(jìn)行關(guān)于選擇題問(wèn)答系統(tǒng)的研究。由于知識(shí)庫(kù)的匱乏, 構(gòu)建知識(shí)庫(kù)需要消耗大量人力和時(shí)間, 且關(guān)于高考題的問(wèn)答對(duì)的數(shù)目相對(duì)較少, 重復(fù)問(wèn)題出現(xiàn)的可能性低, 因此本文采用依賴(lài)于自由文本的問(wèn)答系統(tǒng)。本文的選擇題問(wèn)答系統(tǒng)可以看做問(wèn)答對(duì)類(lèi)和自由文本類(lèi)問(wèn)答系統(tǒng)的結(jié)合: 一方面, 它與CQA一樣擁有天然的候選答案可供選擇; 另一方面, 該系統(tǒng)通過(guò)自由文本對(duì)選擇題進(jìn)行解答。傳統(tǒng)的基于自由文本的問(wèn)答系統(tǒng)由于沒(méi)有天然可靠的候選答案, 所以問(wèn)題研究的重點(diǎn)多集中在對(duì)問(wèn)題精細(xì)分類(lèi)、從文本中檢索相關(guān)信息以及從文本中抽取簡(jiǎn)潔的答案等方面。本文中涉及的選擇題問(wèn)答, 由于候選選項(xiàng)已經(jīng)確定, 所以重點(diǎn)研究如何對(duì)候選項(xiàng)進(jìn)行評(píng)分排序。本文采用計(jì)算文本蘊(yùn)含(textual entailment, TE)強(qiáng)度的方法來(lái)解決選擇題型問(wèn)答。

    2 算法與理論推導(dǎo)

    2.1 問(wèn)題定義

    定義1 文本蘊(yùn)含強(qiáng)度。

    對(duì)于一個(gè)連貫文本與一個(gè)假設(shè)文本, 如果可以根據(jù)推斷出, 則說(shuō)明與之間存在一個(gè)有向的文本蘊(yùn)含關(guān)系。過(guò)去對(duì)于文本蘊(yùn)含的研究多集中于兩個(gè)文本與是否含有蘊(yùn)含關(guān)系, 然而在很多實(shí)際任務(wù)中, 不僅需要定性地判斷兩個(gè)文本之間是否存在蘊(yùn)含關(guān)系, 而且在不蘊(yùn)含的情況下, 可能還需要判斷是否部分蘊(yùn)含, 以及部分蘊(yùn)含多少[6]。例1給出一個(gè)部分蘊(yùn)含的示例。

    例1: 李娜出生于1982年, 是中國(guó)著名網(wǎng)球運(yùn)動(dòng)員。

    : 李娜是中國(guó)女子網(wǎng)球運(yùn)動(dòng)員。

    在例1中可以看到, 從句中可以推斷出句的部分信息, 然而并不能推斷出句的全部信息, 其中“女子”這一信息無(wú)法從句中推斷出來(lái)。

    針對(duì)此現(xiàn)象, 本文提出文本蘊(yùn)含強(qiáng)度的概念, 文本對(duì)的文本蘊(yùn)含強(qiáng)度指與之間信息的交集占全部信息的比重, 即連貫文本對(duì)假設(shè)文本的蘊(yùn)含關(guān)系的大小。

    定義2 長(zhǎng)文本蘊(yùn)含。

    過(guò)去針對(duì)文本蘊(yùn)含的研究, 多是判斷兩個(gè)句子之間的蘊(yùn)含關(guān)系。然而實(shí)際問(wèn)題中, 可能會(huì)出現(xiàn)需要判斷長(zhǎng)文本(多個(gè)句子)對(duì)一個(gè)句子的文本蘊(yùn)含關(guān)系, 即長(zhǎng)文本蘊(yùn)含。例2給出一個(gè)長(zhǎng)文本對(duì)單句的語(yǔ)義蘊(yùn)含示例。

    例2: 李娜, 1982年2月26日出生在湖北省武漢市, 中國(guó)女子網(wǎng)球運(yùn)動(dòng)員。2008年北京奧運(yùn)會(huì)女子單打第四名。

    : 網(wǎng)球運(yùn)動(dòng)員李娜在2008年北京奧運(yùn)會(huì)獲得女子單打第四名。

    顯然從文本可以推斷出文本, 因此文本蘊(yùn)含文本。然而文本包含兩個(gè)句子, 每個(gè)句子分別包含一部分文本的信息, 過(guò)去RTE的很多研究方法對(duì)于該類(lèi)問(wèn)題并不適用。

    RTE常常采用有監(jiān)督的機(jī)器學(xué)習(xí)算法, 將其作為一個(gè)分類(lèi)任務(wù)進(jìn)行解決, 但是在文本是多個(gè)句子的情況下, 很多特征對(duì)該類(lèi)問(wèn)題并不適用, 并且需要人工標(biāo)注較多的訓(xùn)練數(shù)據(jù)(長(zhǎng)文本蘊(yùn)含的標(biāo)注往往需要消耗更多的時(shí)間和人力)。Glickman等[7]采用基于詞對(duì)齊的產(chǎn)生式模型, 計(jì)算文本蘊(yùn)含關(guān)系, 但是他們只考慮了詞之間的共現(xiàn)關(guān)系而忽視了詞語(yǔ)語(yǔ)義、詞語(yǔ)位置等信息。Jijkoun等[8]利用詞語(yǔ)相似度的方法來(lái)識(shí)別兩個(gè)句子的語(yǔ)義蘊(yùn)含關(guān)系, 但其語(yǔ)義相似度是基于WordNet計(jì)算的, 有一定局限性, 并且也沒(méi)有考慮詞語(yǔ)位置的關(guān)系。本文改進(jìn)了文獻(xiàn)[7-8]的算法, 提出一個(gè)啟發(fā)式算法對(duì)文本蘊(yùn)含強(qiáng)度進(jìn)行求解。

    2.2 文本蘊(yùn)含強(qiáng)度計(jì)算方法

    文本對(duì)文本的蘊(yùn)含強(qiáng)度大小TES(Textual Entailment Strength)滿足式(1):

    其中,表示連貫文本的詞數(shù),表示假設(shè)文本的詞數(shù),表示文本中的詞對(duì)文本中的詞語(yǔ)義蘊(yùn)含的大小,表示詞語(yǔ)對(duì)應(yīng)蘊(yùn)含強(qiáng)度占總蘊(yùn)含強(qiáng)度的權(quán)重。本文用與之間的相似度來(lái)近似估計(jì)對(duì)的語(yǔ)義蘊(yùn)含大小。

    可以這樣理解式(1): 對(duì)于文本中的每個(gè)詞, 找到在文本中與它相似度最高的詞, 計(jì)算與之間的相似度, 最后再對(duì)所有詞語(yǔ)相似度加權(quán)平均, 求得文本蘊(yùn)含強(qiáng)度。其中與的關(guān)系相當(dāng)于一種詞對(duì)齊關(guān)系, 如圖1所示。

    的計(jì)算過(guò)程如下: 定義()表示文本出現(xiàn)的概率,()表示詞語(yǔ)所在文本出現(xiàn)的概率,(|)表示在詞語(yǔ)出現(xiàn)的情況下, 文本出現(xiàn)的概率。直觀上,(|)越大,在公式中所占的比重越大。

    由貝葉斯公式(式(2))可知, 當(dāng)(|H)=1,()為定值時(shí),(|)與成正比。恰好是IDF(inverse document frequency), 常用來(lái)表示一個(gè)詞語(yǔ)對(duì)文本的區(qū)分度。本文使用式(3)所示的歸一化IDF作為權(quán)重。

    傳統(tǒng)詞義相似度計(jì)算多是通過(guò)WordNet和HowNet等知識(shí)庫(kù)計(jì)算的, 因此詞義相似度的計(jì)算效果往往會(huì)受限于知識(shí)庫(kù)的大小。近幾年, 基于神經(jīng)網(wǎng)絡(luò)的Word Embedding因其在詞語(yǔ)語(yǔ)義表示方面的良好性能受到廣泛關(guān)注[9–11]。Word Embedding將語(yǔ)料庫(kù)中的每個(gè)詞表示為一個(gè)低維實(shí)數(shù)向量, 可以很好地表示兩個(gè)詞語(yǔ)語(yǔ)義之間的距離。Glickman等[7]的方法需要計(jì)算任意兩個(gè)詞語(yǔ)在一句話的共現(xiàn)次數(shù), 往往需要較大的空間開(kāi)銷(xiāo)。Word Embedding也利用了詞共現(xiàn)的信息, 并且能更好地表達(dá)一個(gè)詞語(yǔ)的語(yǔ)義。因此, 本文中的相似度是采用Word Embedding計(jì)算余弦相似度得到的, 余弦相似度的計(jì)算如下:

    將式(1)~(4)的過(guò)程進(jìn)行總結(jié),得到算法1。

    算法1 基于詞語(yǔ)相似度的文本蘊(yùn)含強(qiáng)度計(jì)算。

    初始化:

    總相似度totalSim=0

    總權(quán)重totalWeight=0

    1 for= 1, ...,do

    3 totalSim+=IDF(v) maxSim

    4 totalWeight+=IDF(v)

    5 end for

    6 文本蘊(yùn)含強(qiáng)度TES=totalSim/totalWeight

    7 Return TES

    2.3 算法改進(jìn)

    算法1雖然可以在一定程度上表達(dá)文本蘊(yùn)含關(guān)系, 但是沒(méi)有考慮詞語(yǔ)位置信息。當(dāng)文本過(guò)長(zhǎng)時(shí), 如果文本中相鄰的兩個(gè)詞在文本中所對(duì)應(yīng)的詞之間的距離很大, 那么與的詞語(yǔ)之間的語(yǔ)義蘊(yùn)含強(qiáng)度相應(yīng)降低, 如例3所示。

    例3: 新月與滿月時(shí), 太陽(yáng)、地球、月球呈一直線, 潮差最大, 稱(chēng)作大潮; 上下弦月時(shí), 三者呈直角, 潮差最小, 稱(chēng)為小潮。

    1: 地球處在太陽(yáng)與月球之間, 出現(xiàn)大潮。

    2: 地球處在太陽(yáng)與月球之間, 出現(xiàn)小潮。

    對(duì)于例3, 顯然文本對(duì)1的文本蘊(yùn)含強(qiáng)度應(yīng)該大于對(duì)2的蘊(yùn)含強(qiáng)度。事實(shí)上, 從文本可以推斷出1, 而無(wú)法推斷出2。因此, 我們提出對(duì)應(yīng)的改進(jìn)算法, 相應(yīng)的蘊(yùn)含強(qiáng)度計(jì)算如下:

    其中,和分別表示假設(shè)文本和連貫文本的詞數(shù),表示詞語(yǔ)在文本中所在的位置下標(biāo),表示詞語(yǔ)在文本中對(duì)應(yīng)詞所在的位置下標(biāo), 即是文本中的兩個(gè)詞之間的距離。

    文本中相鄰的兩個(gè)詞所對(duì)應(yīng)的文本中的兩個(gè)詞距離越遠(yuǎn), 其語(yǔ)義蘊(yùn)含強(qiáng)度越低, 且這種降低趨勢(shì)隨距離增大先緩慢降低, 到一定距離后再加速降低, 最后再緩慢降低, 高斯函數(shù)(式(6))正好滿足這種下降趨勢(shì)。

    我們用動(dòng)態(tài)規(guī)劃求解獲得最終TES的值, 具體描述如算法2所示。

    算法2 改進(jìn)的文本蘊(yùn)含強(qiáng)度計(jì)算

    輸出: 文本蘊(yùn)含強(qiáng)度TES

    1 初始化:

    2 遞推:

    3 終止:

    3 選擇類(lèi)問(wèn)題解答及分析

    鑒于高考地理題具有易獲取、少干擾、形式規(guī)范以及可靠性高的特點(diǎn), 本文采用各地高考近十年的地理選擇題, 去除其中含有圖片的題目以及計(jì)算類(lèi)題目, 剩余287道選擇題作為最終的實(shí)驗(yàn)數(shù)據(jù)。

    本文方法分為預(yù)處理、問(wèn)題分析、信息檢索與答案抽取4個(gè)模塊, 如圖2所示。

    3.1 預(yù)處理

    預(yù)處理階段, 對(duì)維基百科文本語(yǔ)料進(jìn)行分詞, 并用分詞后的維基百科中文文本語(yǔ)料和Mikolov 等[10–11]提出的word2vec工具實(shí)現(xiàn)Word Embedding的訓(xùn)練。使用目前國(guó)際上句法分析效果比較好的ZPar[12]工具, 對(duì)選擇題選項(xiàng)進(jìn)行句法分析。

    3.2 問(wèn)題分析

    3.2.1 關(guān)鍵詞抽取

    本文通過(guò)傳統(tǒng)的TF-IDF方法來(lái)提取關(guān)鍵詞, 即根據(jù)計(jì)算選擇題題干部分的TF-IDF的數(shù)值大小進(jìn)行排序, 去除停用詞后, 依據(jù)TF-IDF值的大小依次選取關(guān)鍵詞, 本文實(shí)驗(yàn)中選取的關(guān)鍵詞數(shù)目為3。例4是一道高考地理選擇題的實(shí)例。例5是針對(duì)例4的一個(gè)抽取關(guān)鍵詞的例子。從例5可以看出, 基于TF-IDF抽取關(guān)鍵詞的方法雖然簡(jiǎn)單, 但是在地理選擇題題干中的表現(xiàn)很好。

    例4 春季, 歐洲阿爾卑斯山區(qū), 背風(fēng)坡常常出現(xiàn)冰雪迅速融化或雪崩。其主要原因是

    A. 反氣旋控制下沉增溫

    B. 暖鋒過(guò)境釋放熱量

    C. 西風(fēng)帶南移釋放熱量

    D. 局地氣流下沉增溫

    例5 題干:“春季, 歐洲阿爾卑斯山區(qū), 背風(fēng)坡常常出現(xiàn)冰雪迅速融化或雪崩。其主要原因是”。抽取關(guān)鍵詞:背風(fēng)坡、阿爾卑斯、雪崩。

    3.2.2 問(wèn)題分類(lèi)

    傳統(tǒng)問(wèn)答系統(tǒng)的問(wèn)題分類(lèi)通常比較精細(xì), 一方面為了確定答案的類(lèi)型, 同時(shí)也為了對(duì)不同類(lèi)別的問(wèn)題采用不同的方法來(lái)解答。本文采用的高考題具有規(guī)范性, 候選答案的形式規(guī)范且符合問(wèn)題要求。根據(jù)該特點(diǎn), 依據(jù)選擇題的選項(xiàng)對(duì)問(wèn)題分為兩大類(lèi):一類(lèi)是候選答案為名詞短語(yǔ)的選擇題; 另一類(lèi)是候選答案為句子的選擇題。本文對(duì)選項(xiàng)的分析判斷采用句法分析, 4個(gè)選項(xiàng)中含有名詞短語(yǔ)(NP)的選項(xiàng)有兩個(gè)及兩個(gè)以上則為名詞短語(yǔ)類(lèi)型, 否則即為句子類(lèi)型(IP)。

    例6是一道地理選擇題, 其中的4個(gè)選項(xiàng)都是NP, 因此該選擇題將會(huì)被劃分為名詞短語(yǔ)類(lèi)型。

    例6 人類(lèi)已知月球上的能源有

    A. (NP (NN 生物能) (PU 、) (NN 風(fēng)能))

    B. (NP (NN 核能) (PU 、) (NN 潮汐能))

    C. (NP (NN 潮汐能) (PU 、) (NN 太陽(yáng)能))

    D. (NP (NN 太陽(yáng)能) (PU 、) (NN 核能))

    3.2.3 問(wèn)句正誤傾向分析

    選擇題經(jīng)常會(huì)要求判斷“不正確”、“錯(cuò)誤”或“不合理”。對(duì)于這類(lèi)問(wèn)題, 我們將其識(shí)別出來(lái), 為后面的答案抽取過(guò)程提供幫助。該部分主要通過(guò)人工配置詞典的方法, 對(duì)選擇題題干進(jìn)行識(shí)別, 例如, 在題目的問(wèn)句中出現(xiàn)“不正確”一詞, 則將該問(wèn)題作為錯(cuò)誤傾向類(lèi)的問(wèn)題。

    3.3 信息檢索

    對(duì)中文維基百科的詞條建立索引, 根據(jù)問(wèn)題分析階段抽取出來(lái)的關(guān)鍵詞, 在維基百科語(yǔ)料中檢索相應(yīng)的詞條, 將與其對(duì)應(yīng)的百科文本提取出來(lái)。

    3.4 答案抽取

    該階段分別采用句子相似度和文本蘊(yùn)含兩種方法來(lái)實(shí)現(xiàn)答案抽取。最后根據(jù)問(wèn)題分析中的正誤傾向性判斷來(lái)選擇答案。如果是正向問(wèn)題, 則選擇分值最高的選項(xiàng), 否則, 選擇分值最低的選項(xiàng)。

    3.4.1 句子相似度

    在中文維基百科文本中檢索關(guān)鍵詞對(duì)應(yīng)的百科文本, 將選項(xiàng)與百科文本中的所有句子一一進(jìn)行相似度計(jì)算, 選取最高的相似度作為該選項(xiàng)最終的分?jǐn)?shù)。相似度計(jì)算分別采用基于TF-IDF的向量空間模型和基于Word Embedding的句子相似度計(jì)算。

    基于VSM的句子相似度: 將兩個(gè)句子表示為兩個(gè)向量, 向量的每一維權(quán)值對(duì)應(yīng)每個(gè)詞的TF-IDF值, 再對(duì)兩個(gè)向量計(jì)算余弦相似度, 作為兩個(gè)句子最終的相似度。

    基于Word Embedding的句子相似度: 如式(7)和(8)所示, 將句子中每個(gè)詞的Word Embedding向量相加取平均值作為句子的向量, 再對(duì)兩個(gè)句子的向量計(jì)算余弦相似度, 作為兩個(gè)句子最終的相似度。

    3.4.2 文本蘊(yùn)含

    將關(guān)鍵詞對(duì)應(yīng)的維基百科文本整體作為文本, 句子選項(xiàng)作為文本, 對(duì)短語(yǔ)類(lèi)的問(wèn)題采用算法1, 對(duì)句子類(lèi)的問(wèn)題采用算法2, 計(jì)算對(duì)的文本蘊(yùn)含強(qiáng)度。

    4 實(shí)驗(yàn)結(jié)果與分析

    由于本文問(wèn)答系統(tǒng)中候選項(xiàng)已經(jīng)確定, 正確答案一定會(huì)出現(xiàn)在候選項(xiàng)中, 且每道題都有固定的4個(gè)候選項(xiàng), 所以本文對(duì)問(wèn)答系統(tǒng)的評(píng)測(cè)標(biāo)準(zhǔn)采用準(zhǔn)確率。算法2中高斯函數(shù)的參數(shù)設(shè)置如下:,。

    根據(jù)句子相似度和文本蘊(yùn)含得到的最終問(wèn)答系統(tǒng)準(zhǔn)確率如表1所示。從表1可見(jiàn), 基于Word Embedding的相似度計(jì)算方法好于基于VSM的方法??梢?jiàn)基于Word Embedding的方法比VSM的方法能更好地表達(dá)句子的語(yǔ)義。從表1還可以看出, 算法1對(duì)名詞短語(yǔ)類(lèi)的問(wèn)題效果比較好, 而算法2對(duì)于句子類(lèi)的問(wèn)題效果較好。綜合兩種方法后, 本文提出的方法最終的準(zhǔn)確率可達(dá)36.93%。

    表1 實(shí)驗(yàn)結(jié)果

    為了驗(yàn)證本文方法的有效性, 在選取關(guān)鍵詞對(duì)應(yīng)的百科全部文本作為連貫文本之外, 還將百科文本中不同數(shù)目的連續(xù)句子作為進(jìn)行實(shí)驗(yàn), 選取其中最大的文本蘊(yùn)含強(qiáng)度作為最終選項(xiàng)的分值。

    圖3是對(duì)應(yīng)的實(shí)驗(yàn)結(jié)果, 可以看出, 算法1對(duì)應(yīng)名詞短語(yǔ)類(lèi)問(wèn)題的解答準(zhǔn)確率隨著句子數(shù)目的增大而呈上升趨勢(shì), 但是算法1卻無(wú)法對(duì)候選項(xiàng)為句子的問(wèn)題進(jìn)行有效解答。隨著句子數(shù)目增大, 算法1對(duì)句子類(lèi)問(wèn)題逐漸失效。原因可能有以下兩點(diǎn): 1)算法1無(wú)法很好地分析含有完整句法結(jié)構(gòu)的句子所對(duì)應(yīng)的文本蘊(yùn)含情況; 2)詞短語(yǔ)部分的選擇題更傾向于概念類(lèi)題目, 相對(duì)簡(jiǎn)單, 而候選答案為句子的選擇題分析則較為復(fù)雜, 需要更深層的語(yǔ)義分析, 因此無(wú)法直接從百科抽取答案。

    例7是在算法2中正確而在算法1中錯(cuò)誤的一個(gè)例子(算法2的答案為D, 算法1的答案為A), 其對(duì)應(yīng)的候選項(xiàng)都為句子。例7在一定程度上反映了算法2對(duì)候選項(xiàng)為句子的問(wèn)題的解答效果比算法1好。

    例7 在森林中一旦遭遇火災(zāi), 下列做法正確的是

    A. 使用沾濕的毛巾遮住口鼻, 順風(fēng)逃離

    B. 如果火勢(shì)突然減弱, 則可以放心休息

    C. 選擇低洼地或坑洞躲避

    D. 伺機(jī)逆風(fēng)突破林火包圍

    算法2在名詞短語(yǔ)類(lèi)問(wèn)題上的表現(xiàn)不如算法1, 原因可能是名詞短語(yǔ)類(lèi)選項(xiàng)大多由多個(gè)實(shí)體名詞混合在一起組成, 在百科文本中出現(xiàn)的位置相對(duì)分散, 限制其位置會(huì)導(dǎo)致最終的準(zhǔn)確率較低。算法2對(duì)于候選項(xiàng)為句子的問(wèn)題解答效果顯然比算法1好很多, 并且其準(zhǔn)確率隨著句子數(shù)目增多而增大, 這也說(shuō)明算法2對(duì)于計(jì)算長(zhǎng)文本對(duì)句子的文本蘊(yùn)含強(qiáng)度的效果明顯。

    5 結(jié)論

    本文針對(duì)選擇類(lèi)問(wèn)題解答方法進(jìn)行了研究, 提出了一種新的計(jì)算文本蘊(yùn)含強(qiáng)度的方法。在沒(méi)有大規(guī)模訓(xùn)練數(shù)據(jù)的情況下, 僅用維基百科中文語(yǔ)料庫(kù), 通過(guò)Word Embedding計(jì)算文本蘊(yùn)含強(qiáng)度來(lái)解決地理選擇類(lèi)問(wèn)題, 最終基于文本蘊(yùn)含方法的準(zhǔn)確率為36.93%, 比基于VSM的句子相似度方法的準(zhǔn)確率高7.66%, 比基于Word Embedding的句子相似度方法高2.44%。實(shí)驗(yàn)驗(yàn)證了本文提出的文本蘊(yùn)含計(jì)算方法對(duì)長(zhǎng)文本蘊(yùn)含短文本的情況效果明顯, 并且文本蘊(yùn)含也是解答選擇類(lèi)問(wèn)題的有效的方法。

    由于本文關(guān)于文本蘊(yùn)含強(qiáng)度的計(jì)算方法是分別針對(duì)長(zhǎng)文本對(duì)短語(yǔ)和長(zhǎng)文本對(duì)句子兩種類(lèi)型的文本蘊(yùn)含情況進(jìn)行的, 所以該方法在句子對(duì)句子類(lèi)型的文本蘊(yùn)含強(qiáng)度的計(jì)算效果仍有待提升。此外, 對(duì)于推理類(lèi)地理選擇題, 本文的方法在很多情況下并不適用, 需要后期構(gòu)建大型的知識(shí)庫(kù)以及邏輯推理框架來(lái)解決。

    [1]毛先領(lǐng), 李曉明. 問(wèn)答系統(tǒng)研究綜述. 計(jì)算機(jī)科學(xué)與探索, 2012, 6(3): 193-207

    [2]Dagan I, Glickman O. Probabilistic textual entail-ment: generic applied modeling of language varia-bility // Proc of the Pascal Workshop on Learning Methods for Text Understanding & Mining. Grenoble, 2004: 26–29

    [3]Androutsopoulos I, Malakasiotis P. A survey of paraphrasing and textual entailment methods. Journal of Artificial Intelligence Research, 2009, 38(4): 135–187

    [4]袁毓林, 王明華. 文本蘊(yùn)涵的推理模型與識(shí)別模型. 中文信息學(xué)報(bào), 2010, 24(2): 3–13

    [5]張中峰, 李秋丹. 社區(qū)問(wèn)答系統(tǒng)研究綜述. 計(jì)算機(jī)科學(xué), 2010, 37(11): 19–23

    [6]Levy O, Zesch T, Dagan I, et al. Recognizing partial textual entailment // Proceedings of the 51st Annual Meeting of the Association for Computational Lingui-stics. Sofia, 2013: 451–455

    [7]Glickman O, Dagan I M. A lexical alignment model for probabilistic textual entailment // Machine Lear-ning Callenges: Evaluating Predictive Uncertainty, Visual Object Classification, and Recognising Tectual Entailment. Berlin: Springer, 2006: 287–298

    [8]Jijkoun V, de Rijke M. Recognizing textual entailment using lexical similarity // Proc of the First PASCAL Challenges Workshop on RTE. Southampton, 2005: 73–76

    [9]Collobert R, Weston J. A unified architecture for natural language processing: deep neural networks with multitask learning // Proceedings of the 25th International Conference on Machine Learning. Helsinki, 2008: 160–167

    [10]Mikolov T, Chen K, Corrado G, et al. Efficient estimation of word representations in vector space // Proceedings of the Workshop at ICLR. Scottsdale, 2013: 1–12

    [11]Mikolov T, Sutskever I, Chen K, et al. Distributed representations of words and phrases and their compositionality // Proceedings of Neural Information Processing Systems. Lake Tahoe, 2013: 3111–3119

    [12]Zhang Y, Clark S. Syntactic processing using the generalized perceptron and beam search. Compu-tational Linguistics, 2011, 37(1): 105–151

    Multiple-Choice Question Answering Based on Textual Entailment

    WANG Baoxin, ZHENG Dequan?, WANG Xiaoxue, ZHAO Shanshan, ZHAO Tiejun

    School of Computer Science and Technology, Harbin Institute of Technology, Harbin 150001; ? Corresponding author, E-mail: dqzheng@mtlab.hit.edu.cn

    This paper proposes a method to compute textual entailment strength, taking multiple-choice questions which have clear candidate answers as research objects, aiming at the phenomenon of long text entailing short text. Two methods are used to answer the college entrance examination geography multiple-choice questions based on the Wikipedia Chinese Corpus in the absence of large-scale questions and answers. One is based on the sentence similarity and the other is based on the textual entailment proposed above. The accuracy rate of the proposed method is 36.93%, increasing by 2.44% than the way based on the word embedding sentence similarity, increasing 7.66% than the way based on the Vector Space Model sentence similarity, which confirm the effectiveness of the method based on the textual entailment.

    textual entailment; multiple-choice question; word embedding; sentence similarity

    10.13209/j.0479-8023.2016.017

    TP391

    2015-06-19;

    2015-08-17; 網(wǎng)絡(luò)出版日期: 2015-09-29

    國(guó)家自然科學(xué)基金(61173073)和863計(jì)劃(2015AA015405)資助

    猜你喜歡
    阿爾卑斯雪崩
    雪崩大危機(jī)
    雪崩時(shí),沒(méi)有一片雪花是無(wú)辜的
    The shocking disappearance of flights
    節(jié)日樂(lè)曲
    草原之晨?西域胡楊之魂?阿爾卑斯之晨
    文化交流(2017年6期)2017-06-13 02:09:53
    這個(gè)被譽(yù)為中國(guó)阿爾卑斯的地方,竟藏著11月最美的秋天
    大自然的音調(diào)(一)
    阿爾卑斯縱覽
    穿越阿爾卑斯
    91九色精品人成在线观看| 亚洲av日韩在线播放| 在线观看免费视频网站a站| 久久久精品区二区三区| 真人做人爱边吃奶动态| 成年女人毛片免费观看观看9 | 免费高清在线观看日韩| 在线观看免费视频网站a站| 村上凉子中文字幕在线| 亚洲专区中文字幕在线| 日日摸夜夜添夜夜添小说| 熟女少妇亚洲综合色aaa.| 一级,二级,三级黄色视频| 国产男女超爽视频在线观看| 女性生殖器流出的白浆| 搡老岳熟女国产| 飞空精品影院首页| 欧美亚洲日本最大视频资源| 成年人午夜在线观看视频| 亚洲欧美一区二区三区久久| 免费观看精品视频网站| 欧美国产精品一级二级三级| 最新在线观看一区二区三区| 日韩有码中文字幕| 久久久久国内视频| 色94色欧美一区二区| 丰满的人妻完整版| 天天躁狠狠躁夜夜躁狠狠躁| 国产高清视频在线播放一区| 午夜视频精品福利| 久久久精品区二区三区| 亚洲熟女毛片儿| 久久国产精品影院| 国产精品亚洲一级av第二区| 欧美乱色亚洲激情| xxxhd国产人妻xxx| 国产成人啪精品午夜网站| 日本vs欧美在线观看视频| 欧美日韩一级在线毛片| 啪啪无遮挡十八禁网站| 男女之事视频高清在线观看| 人成视频在线观看免费观看| 国产一区二区三区在线臀色熟女 | 男女午夜视频在线观看| 少妇粗大呻吟视频| 丰满饥渴人妻一区二区三| 黑人巨大精品欧美一区二区mp4| 国产精品98久久久久久宅男小说| 国产一区二区三区视频了| 在线观看66精品国产| 欧美日韩精品网址| 97人妻天天添夜夜摸| 欧美精品啪啪一区二区三区| av电影中文网址| 午夜91福利影院| 中文字幕av电影在线播放| 中出人妻视频一区二区| aaaaa片日本免费| 国产成人av教育| bbb黄色大片| 亚洲成a人片在线一区二区| 日本撒尿小便嘘嘘汇集6| 国产极品粉嫩免费观看在线| 丝袜人妻中文字幕| 中文亚洲av片在线观看爽 | 老汉色∧v一级毛片| 黄网站色视频无遮挡免费观看| 黄色视频不卡| 悠悠久久av| 伊人久久大香线蕉亚洲五| 日韩制服丝袜自拍偷拍| 亚洲av成人不卡在线观看播放网| 黑人巨大精品欧美一区二区蜜桃| 好男人电影高清在线观看| 国产成人系列免费观看| 久久精品熟女亚洲av麻豆精品| 少妇被粗大的猛进出69影院| 国产蜜桃级精品一区二区三区 | 免费在线观看黄色视频的| x7x7x7水蜜桃| 女人被狂操c到高潮| 亚洲欧洲精品一区二区精品久久久| 国产激情久久老熟女| 国产精品 欧美亚洲| 中文字幕最新亚洲高清| 啦啦啦视频在线资源免费观看| 亚洲中文日韩欧美视频| 看黄色毛片网站| 国产精品久久久久成人av| 亚洲色图综合在线观看| 美女福利国产在线| 亚洲自偷自拍图片 自拍| 亚洲国产精品合色在线| 欧美日韩av久久| 少妇 在线观看| 精品国产超薄肉色丝袜足j| 亚洲国产欧美日韩在线播放| 十八禁高潮呻吟视频| 午夜福利欧美成人| 一区福利在线观看| avwww免费| 欧美黑人精品巨大| 亚洲精品一二三| 国产精品九九99| 欧美日韩亚洲综合一区二区三区_| 精品免费久久久久久久清纯 | 精品人妻在线不人妻| 另类亚洲欧美激情| 欧美激情 高清一区二区三区| 亚洲熟妇中文字幕五十中出 | 国产一卡二卡三卡精品| 亚洲第一青青草原| 国产精品九九99| 性色av乱码一区二区三区2| 人成视频在线观看免费观看| 青草久久国产| 国产97色在线日韩免费| 国产成人啪精品午夜网站| 人妻丰满熟妇av一区二区三区 | 老汉色∧v一级毛片| 色在线成人网| 人妻 亚洲 视频| 成年人免费黄色播放视频| 99国产综合亚洲精品| 这个男人来自地球电影免费观看| 三级毛片av免费| 国产精品一区二区在线不卡| 亚洲av片天天在线观看| 欧美激情久久久久久爽电影 | 国产麻豆69| 精品午夜福利视频在线观看一区| √禁漫天堂资源中文www| 久久久久久久久免费视频了| 一本综合久久免费| 9热在线视频观看99| 一进一出抽搐gif免费好疼 | 精品久久久久久,| 国产免费av片在线观看野外av| 90打野战视频偷拍视频| 一边摸一边抽搐一进一小说 | 亚洲国产欧美日韩在线播放| 国产av一区二区精品久久| 欧美激情极品国产一区二区三区| 男女免费视频国产| 久久午夜亚洲精品久久| 操美女的视频在线观看| av一本久久久久| 天天躁日日躁夜夜躁夜夜| 欧美日韩av久久| 午夜精品国产一区二区电影| 无遮挡黄片免费观看| 18禁国产床啪视频网站| 午夜福利在线免费观看网站| 一边摸一边抽搐一进一小说 | 热re99久久精品国产66热6| 成年动漫av网址| 国产精品一区二区在线观看99| 久久精品91无色码中文字幕| 人人妻人人澡人人看| 中文字幕最新亚洲高清| 亚洲专区字幕在线| 国产亚洲一区二区精品| 涩涩av久久男人的天堂| 99国产精品免费福利视频| 亚洲av日韩在线播放| 男人操女人黄网站| 首页视频小说图片口味搜索| 国产日韩一区二区三区精品不卡| 99精品在免费线老司机午夜| 欧美日韩国产mv在线观看视频| 激情在线观看视频在线高清 | 日韩人妻精品一区2区三区| 99香蕉大伊视频| 夫妻午夜视频| 精品久久久精品久久久| 久热爱精品视频在线9| 日韩欧美国产一区二区入口| 人人妻人人爽人人添夜夜欢视频| 久久中文字幕一级| 99riav亚洲国产免费| 国产成人欧美在线观看 | 欧美激情 高清一区二区三区| 性色av乱码一区二区三区2| 免费观看a级毛片全部| 亚洲avbb在线观看| 男男h啪啪无遮挡| 麻豆乱淫一区二区| 日本欧美视频一区| 久久精品人人爽人人爽视色| 亚洲黑人精品在线| 精品一区二区三区四区五区乱码| 久久午夜综合久久蜜桃| 国产免费男女视频| 欧美日韩亚洲高清精品| 国产免费av片在线观看野外av| 欧美日韩亚洲综合一区二区三区_| 制服诱惑二区| 午夜久久久在线观看| 香蕉久久夜色| 妹子高潮喷水视频| 久久精品熟女亚洲av麻豆精品| 日韩熟女老妇一区二区性免费视频| 天天操日日干夜夜撸| 无人区码免费观看不卡| 欧美久久黑人一区二区| 老司机深夜福利视频在线观看| ponron亚洲| 国产精品国产av在线观看| 天堂中文最新版在线下载| bbb黄色大片| 成人18禁高潮啪啪吃奶动态图| 欧美 亚洲 国产 日韩一| 精品亚洲成a人片在线观看| 在线永久观看黄色视频| 久久人妻福利社区极品人妻图片| 99香蕉大伊视频| 亚洲欧洲精品一区二区精品久久久| 9191精品国产免费久久| 日韩免费av在线播放| 深夜精品福利| 夜夜爽天天搞| 国产精品亚洲av一区麻豆| 精品国内亚洲2022精品成人 | 巨乳人妻的诱惑在线观看| 99在线人妻在线中文字幕 | 欧美日韩精品网址| 久久国产乱子伦精品免费另类| 成人免费观看视频高清| 欧美色视频一区免费| 黑人猛操日本美女一级片| 在线十欧美十亚洲十日本专区| 极品少妇高潮喷水抽搐| 国产午夜精品久久久久久| 久久性视频一级片| 在线播放国产精品三级| 国产精品乱码一区二三区的特点 | av网站在线播放免费| 香蕉久久夜色| 亚洲精品中文字幕在线视频| 亚洲视频免费观看视频| 69av精品久久久久久| 国产单亲对白刺激| 中文字幕高清在线视频| 日本黄色视频三级网站网址 | 777米奇影视久久| 国产成+人综合+亚洲专区| 精品人妻1区二区| 精品人妻熟女毛片av久久网站| 国产一卡二卡三卡精品| 欧美日韩亚洲综合一区二区三区_| 女警被强在线播放| 成人三级做爰电影| 久久ye,这里只有精品| 欧美日韩瑟瑟在线播放| 免费一级毛片在线播放高清视频 | 亚洲欧美一区二区三区黑人| 青草久久国产| 免费久久久久久久精品成人欧美视频| 一本综合久久免费| 99国产极品粉嫩在线观看| 人人妻人人澡人人爽人人夜夜| 男人操女人黄网站| xxxhd国产人妻xxx| 天堂俺去俺来也www色官网| 精品视频人人做人人爽| 国产伦人伦偷精品视频| 亚洲一区高清亚洲精品| 咕卡用的链子| 国产日韩欧美亚洲二区| 90打野战视频偷拍视频| 在线观看免费午夜福利视频| 精品少妇久久久久久888优播| 热re99久久精品国产66热6| 欧美午夜高清在线| 亚洲人成电影观看| 50天的宝宝边吃奶边哭怎么回事| 每晚都被弄得嗷嗷叫到高潮| 高清视频免费观看一区二区| 国产色视频综合| 看免费av毛片| 欧美日韩亚洲高清精品| 国产欧美亚洲国产| 嫁个100分男人电影在线观看| 国产人伦9x9x在线观看| 一级黄色大片毛片| 午夜福利乱码中文字幕| 久久天躁狠狠躁夜夜2o2o| 人妻久久中文字幕网| 亚洲一区中文字幕在线| avwww免费| 久久99一区二区三区| 欧美另类亚洲清纯唯美| 黄色成人免费大全| 日韩欧美一区二区三区在线观看 | 99久久综合精品五月天人人| 岛国在线观看网站| 国产真人三级小视频在线观看| 满18在线观看网站| 成人三级做爰电影| 激情在线观看视频在线高清 | 日本vs欧美在线观看视频| 久久人人爽av亚洲精品天堂| 中文亚洲av片在线观看爽 | 国产高清国产精品国产三级| 精品一区二区三区视频在线观看免费 | 村上凉子中文字幕在线| 大陆偷拍与自拍| 精品午夜福利视频在线观看一区| 女性被躁到高潮视频| 精品一品国产午夜福利视频| 亚洲精华国产精华精| 国产aⅴ精品一区二区三区波| 精品国产亚洲在线| 久久久久精品人妻al黑| 精品熟女少妇八av免费久了| 国精品久久久久久国模美| 一进一出抽搐gif免费好疼 | 极品教师在线免费播放| 18禁裸乳无遮挡动漫免费视频| 又黄又爽又免费观看的视频| 国产淫语在线视频| 夜夜爽天天搞| 丰满人妻熟妇乱又伦精品不卡| 一二三四在线观看免费中文在| 在线免费观看的www视频| 亚洲人成电影免费在线| 91九色精品人成在线观看| 日韩制服丝袜自拍偷拍| 久久久久精品人妻al黑| 亚洲人成伊人成综合网2020| 超碰成人久久| 人妻 亚洲 视频| 一级作爱视频免费观看| 国产日韩一区二区三区精品不卡| 一进一出抽搐gif免费好疼 | 女性生殖器流出的白浆| av片东京热男人的天堂| 高清欧美精品videossex| av视频免费观看在线观看| 嫁个100分男人电影在线观看| av国产精品久久久久影院| 婷婷精品国产亚洲av在线 | 亚洲欧美一区二区三区久久| 亚洲美女黄片视频| 亚洲黑人精品在线| 国产在线精品亚洲第一网站| 中文亚洲av片在线观看爽 | 免费在线观看日本一区| 亚洲专区中文字幕在线| а√天堂www在线а√下载 | 亚洲片人在线观看| 69精品国产乱码久久久| 看黄色毛片网站| 国产一区有黄有色的免费视频| 国产精品久久视频播放| 久久久久久久久免费视频了| 成人国产一区最新在线观看| 亚洲黑人精品在线| 午夜免费鲁丝| 大型黄色视频在线免费观看| 免费女性裸体啪啪无遮挡网站| 国内久久婷婷六月综合欲色啪| 中文字幕制服av| 性色av乱码一区二区三区2| 亚洲精品国产色婷婷电影| 女人被躁到高潮嗷嗷叫费观| 99国产综合亚洲精品| 亚洲国产中文字幕在线视频| 国产成人欧美| 丝袜美腿诱惑在线| 黑人猛操日本美女一级片| 精品国产亚洲在线| 久久精品人人爽人人爽视色| 成熟少妇高潮喷水视频| 国产精品1区2区在线观看. | 一个人免费在线观看的高清视频| 欧美色视频一区免费| 亚洲午夜精品一区,二区,三区| 精品国产一区二区三区四区第35| 在线观看免费日韩欧美大片| 精品卡一卡二卡四卡免费| 久久精品熟女亚洲av麻豆精品| 久9热在线精品视频| 欧美人与性动交α欧美软件| 国产精品免费一区二区三区在线 | 少妇猛男粗大的猛烈进出视频| 丁香欧美五月| 成人手机av| 国产成+人综合+亚洲专区| 精品乱码久久久久久99久播| 日本撒尿小便嘘嘘汇集6| 亚洲中文字幕日韩| 国产精品一区二区在线观看99| 高清av免费在线| 91字幕亚洲| 男人的好看免费观看在线视频 | 后天国语完整版免费观看| 好看av亚洲va欧美ⅴa在| 在线免费观看的www视频| 少妇的丰满在线观看| 一区二区三区激情视频| 91精品三级在线观看| 亚洲精品乱久久久久久| 999精品在线视频| 国产有黄有色有爽视频| 国产在线精品亚洲第一网站| 亚洲国产毛片av蜜桃av| 在线观看免费日韩欧美大片| 老司机深夜福利视频在线观看| 18禁国产床啪视频网站| 热99re8久久精品国产| 亚洲五月色婷婷综合| av有码第一页| 欧美精品av麻豆av| 午夜影院日韩av| 久久午夜亚洲精品久久| 亚洲自偷自拍图片 自拍| 国产精品二区激情视频| 成年女人毛片免费观看观看9 | 在线观看免费视频网站a站| 国产熟女午夜一区二区三区| av不卡在线播放| 久久香蕉国产精品| av一本久久久久| 人人妻,人人澡人人爽秒播| 国产成人影院久久av| 免费日韩欧美在线观看| 欧美激情极品国产一区二区三区| 国产精品永久免费网站| 国产精品影院久久| 十八禁人妻一区二区| 美国免费a级毛片| 日本精品一区二区三区蜜桃| 老司机午夜十八禁免费视频| 国产免费av片在线观看野外av| 王馨瑶露胸无遮挡在线观看| 1024香蕉在线观看| 久久久精品国产亚洲av高清涩受| 午夜两性在线视频| cao死你这个sao货| 在线国产一区二区在线| 欧美午夜高清在线| 久久精品国产99精品国产亚洲性色 | 日韩免费av在线播放| 免费看十八禁软件| 19禁男女啪啪无遮挡网站| 少妇的丰满在线观看| 日韩免费av在线播放| 亚洲精华国产精华精| 老司机亚洲免费影院| 成人免费观看视频高清| 最新美女视频免费是黄的| 国产精品久久久av美女十八| 99热国产这里只有精品6| 日韩中文字幕欧美一区二区| 久久人妻熟女aⅴ| 看免费av毛片| 他把我摸到了高潮在线观看| 在线av久久热| 一进一出抽搐gif免费好疼 | 国产精品 国内视频| 美女福利国产在线| 欧美老熟妇乱子伦牲交| 国产精品亚洲av一区麻豆| 三上悠亚av全集在线观看| 久久久久国内视频| 岛国在线观看网站| 大陆偷拍与自拍| 精品国内亚洲2022精品成人 | 母亲3免费完整高清在线观看| 又黄又粗又硬又大视频| 亚洲av日韩精品久久久久久密| 国产精品一区二区免费欧美| 人妻 亚洲 视频| 精品欧美一区二区三区在线| av线在线观看网站| 久久精品亚洲av国产电影网| 国产精品98久久久久久宅男小说| 少妇裸体淫交视频免费看高清 | 高清视频免费观看一区二区| 大片电影免费在线观看免费| 国产男靠女视频免费网站| 制服诱惑二区| 国产亚洲av高清不卡| 大型av网站在线播放| netflix在线观看网站| 国产三级黄色录像| 欧美另类亚洲清纯唯美| 色在线成人网| 精品无人区乱码1区二区| 免费在线观看影片大全网站| 亚洲精品自拍成人| 热99国产精品久久久久久7| 日韩视频一区二区在线观看| 99精品在免费线老司机午夜| 男女午夜视频在线观看| 久久久久久久精品吃奶| 亚洲自偷自拍图片 自拍| 一a级毛片在线观看| 欧美色视频一区免费| 亚洲一区高清亚洲精品| 久久人妻av系列| 搡老岳熟女国产| 成在线人永久免费视频| 日本撒尿小便嘘嘘汇集6| 色老头精品视频在线观看| 99精品欧美一区二区三区四区| 69精品国产乱码久久久| 亚洲情色 制服丝袜| 亚洲自偷自拍图片 自拍| 日韩免费av在线播放| 免费在线观看完整版高清| 欧美成人免费av一区二区三区 | 91麻豆精品激情在线观看国产 | 国产97色在线日韩免费| 12—13女人毛片做爰片一| 交换朋友夫妻互换小说| 欧美精品啪啪一区二区三区| 午夜亚洲福利在线播放| 好看av亚洲va欧美ⅴa在| 亚洲av日韩精品久久久久久密| xxxhd国产人妻xxx| 亚洲久久久国产精品| 91大片在线观看| 80岁老熟妇乱子伦牲交| 精品久久蜜臀av无| 欧美不卡视频在线免费观看 | 久久国产精品影院| 天天操日日干夜夜撸| 午夜福利影视在线免费观看| 国产一区二区三区在线臀色熟女 | 少妇猛男粗大的猛烈进出视频| 亚洲成av片中文字幕在线观看| 久久人妻av系列| 国产xxxxx性猛交| 老司机福利观看| 国产xxxxx性猛交| 狂野欧美激情性xxxx| 色在线成人网| 亚洲精品乱久久久久久| 色在线成人网| 亚洲成a人片在线一区二区| 人人妻,人人澡人人爽秒播| 操出白浆在线播放| 亚洲专区中文字幕在线| 欧美日韩福利视频一区二区| 12—13女人毛片做爰片一| 超色免费av| 成人特级黄色片久久久久久久| 亚洲五月天丁香| 久久国产精品影院| 色精品久久人妻99蜜桃| 精品福利观看| 人成视频在线观看免费观看| 欧美激情久久久久久爽电影 | 亚洲成人免费电影在线观看| 男女之事视频高清在线观看| 欧美人与性动交α欧美软件| 男女免费视频国产| 热99国产精品久久久久久7| 狠狠狠狠99中文字幕| 咕卡用的链子| 俄罗斯特黄特色一大片| 久久精品亚洲精品国产色婷小说| 狠狠婷婷综合久久久久久88av| 国产精品久久久久成人av| av有码第一页| 精品卡一卡二卡四卡免费| 黑丝袜美女国产一区| 99久久99久久久精品蜜桃| 国产av精品麻豆| 国产亚洲精品一区二区www | 9191精品国产免费久久| 免费高清在线观看日韩| 亚洲专区字幕在线| 狠狠狠狠99中文字幕| 手机成人av网站| 电影成人av| 成人特级黄色片久久久久久久| 国产色视频综合| 国产精品久久久久久精品古装| 一级作爱视频免费观看| 大型黄色视频在线免费观看| 极品人妻少妇av视频| 99国产极品粉嫩在线观看| 国产精品亚洲av一区麻豆| 成年动漫av网址| 欧美精品av麻豆av| 99热只有精品国产| 国产精品电影一区二区三区 | 淫妇啪啪啪对白视频| 在线永久观看黄色视频| 久久久久久久久免费视频了| 99re6热这里在线精品视频| 成人精品一区二区免费| 亚洲人成77777在线视频| 韩国av一区二区三区四区| 99国产综合亚洲精品| 高清欧美精品videossex| cao死你这个sao货| 亚洲五月色婷婷综合| 后天国语完整版免费观看| 91字幕亚洲| 国产成人欧美在线观看 | 精品久久蜜臀av无| 亚洲第一av免费看| 国产高清videossex| 国产精品二区激情视频| 看片在线看免费视频| 大陆偷拍与自拍| 在线十欧美十亚洲十日本专区| 老鸭窝网址在线观看| 激情视频va一区二区三区| 亚洲色图 男人天堂 中文字幕| 久久久久久久国产电影|