• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于概率語義分布的短文本分類

    2016-12-17 08:23:58馬成龍顏永紅
    自動化學(xué)報 2016年11期
    關(guān)鍵詞:高斯短文矢量

    馬成龍 顏永紅,2

    基于概率語義分布的短文本分類

    馬成龍1顏永紅1,2

    在短文本分類中,面對特征稀疏的短文本,如何充分利用文本中的每一個詞語成為關(guān)鍵.本文提出概率語義分布模型的思想,首先通過查詢詞矢量詞典,將文本轉(zhuǎn)換為詞矢量數(shù)據(jù);其次,在概率語義分布模型的假設(shè)下利用混合高斯模型對無標(biāo)注的文本數(shù)據(jù)進(jìn)行通用背景語義模型訓(xùn)練;利用訓(xùn)練數(shù)據(jù)對通用模型進(jìn)行自適應(yīng)得到各個領(lǐng)域的目標(biāo)領(lǐng)域語義分布模型;最后,在測試過程中,計算短文本屬于領(lǐng)域模型的概率,得到最終的分類結(jié)果.實驗結(jié)果表明,本文提出的方法能夠從一定程度上利用短文本所提供的信息,有效降低了對訓(xùn)練數(shù)據(jù)的依賴性,相比于支持向量機(jī)(Support vector machine,SVM)和最大熵分類方法性能相對提高了17.7%.

    短文本分類,詞矢量,語義分布,高斯混合模型

    近年來,隨著社交網(wǎng)絡(luò)和電子商務(wù)的飛速發(fā)展,微博、Twitter、即時信息、商品評價等短文本形式的文字充斥著互聯(lián)網(wǎng).這些短文本包含了用戶的潛在需求、興趣點、意圖傾向等,如何能夠從這些短文本中獲取信息從而更好地為用戶提供服務(wù)成為關(guān)鍵.然而,這些短文本通常都有長度限制,如微博字?jǐn)?shù)限制在140字以內(nèi),短消息限制在70字以內(nèi),如何能夠從只言片語中挖掘出目標(biāo)信息成為了一大挑戰(zhàn).在使用傳統(tǒng)的向量空間模型(Vector space model, VSM)將短文本數(shù)字向量化時,該向量會很稀疏[1],特別是在測試階段,由于訓(xùn)練數(shù)據(jù)的不充分,會造成很多有用特征因未被模型捕獲過而被忽略的情況,因此使用傳統(tǒng)的文本分類方法將導(dǎo)致分類結(jié)果不理想.

    為了充分利用短文本所蘊(yùn)含的信息,已有很多相關(guān)研究.一種方案是計算短文本之間的相似性,文獻(xiàn)[2]提出使用外部數(shù)據(jù)作為一個橋梁,如果預(yù)測文檔和訓(xùn)練文檔同時和某一外部文檔相似,那么領(lǐng)域標(biāo)簽信息也應(yīng)該一樣,但搜集的外部數(shù)據(jù)必須和實驗數(shù)據(jù)相關(guān);文獻(xiàn)[3]提出使用搜索引擎返回的結(jié)果來衡量兩個詞語之間的相似度,但是需要等待搜索引擎返回結(jié)果,比較耗時,不利于在線實時應(yīng)用;文獻(xiàn)[4]提出使用固定的資源維基百科作為知識庫進(jìn)行搜索.另一種解決方案是在短文本稀疏特征的基礎(chǔ)上擴(kuò)展相關(guān)語義特征,文獻(xiàn)[5]提出使用Lucene[6]對維基百科建立索引,在原有特征基礎(chǔ)上增加Lucene返回的搜索結(jié)果作為額外特征;文獻(xiàn)[7]提出使用短文本隱藏的主題作為額外特征集,在相關(guān)數(shù)據(jù)上使用LDA(Latent Dirichlet allocation)[8]獲得主題模型,針對短文本首先進(jìn)行推理得到主題特征,與原始特征融合用于訓(xùn)練和分類.上述研究都是基于利用外部相關(guān)數(shù)據(jù)對原始文本進(jìn)行相似度估計或者特征擴(kuò)展,并且取得了不錯的效果,但是對外部數(shù)據(jù)的相關(guān)性要求較高,而這些相關(guān)數(shù)據(jù)通常是根據(jù)領(lǐng)域知識,人工干預(yù)下進(jìn)行收集的,在實際應(yīng)用中獲取相關(guān)領(lǐng)域的外部數(shù)據(jù)有時比較困難.上述方法最終將文本轉(zhuǎn)換為空間向量,統(tǒng)計特征的共現(xiàn)權(quán)重,簡單來說是一種計數(shù)原理.隨著神經(jīng)網(wǎng)絡(luò)模型在自然語言處理中的廣泛應(yīng)用,文獻(xiàn)[9]提出將詞矢量作為輸入特征,利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練.為了得到句子層級的矢量表示,文獻(xiàn)[10]提出將變長文本訓(xùn)練為固定維度的段落矢量(Paragraph vector)的概念,文獻(xiàn)[11]提出動態(tài)卷積神經(jīng)網(wǎng)絡(luò),不依賴于句法解析樹,而是利用動態(tài)k-max pooling提取全局特征.

    基于文獻(xiàn)[7],為了擺脫對外部相關(guān)數(shù)據(jù)的過度依賴,本文從句子語義層面出發(fā),深度挖掘短文本所表達(dá)的語義.本文利用詞矢量作為輸入特征表征語義.詞矢量是指將詞語映射成空間中的一個低維實數(shù)向量,向量之間的距離描述了詞與詞之間的語義關(guān)系,語義相近的詞語在空間中成群出現(xiàn),提高了文字表示的泛化能力.為了更好地利用詞矢量,本文提出了概率語義分布模型,利用詞矢量來表征語義分布,在一定程度上避免了數(shù)據(jù)的稀疏性問題,實驗結(jié)果表明,本文所提出的方法準(zhǔn)確率相對于傳統(tǒng)的分類器提高了17.7%.

    本文結(jié)構(gòu)如下:第1節(jié)簡要介紹連續(xù)空間詞矢量,第2節(jié)描述了本文提出的概率語義分布模型,第3節(jié)介紹了在概率語義分布模型的假設(shè)下,本文提出了一種基于通用語義背景模型的短文本分類方法,第4節(jié)為實驗及結(jié)果分析,第5節(jié)給出總結(jié).

    1 連續(xù)空間詞矢量

    近幾年,越來越多的學(xué)者開始關(guān)注利用低維實數(shù)向量來表征一個詞、短語或者句子.例如,LSA (Latent semantic analysis)[12]和LDA模型將文本映射成主題模型里的一個低維向量.隨著神經(jīng)網(wǎng)絡(luò)的廣泛應(yīng)用,人們可以利用神經(jīng)網(wǎng)絡(luò)對大規(guī)模語料進(jìn)行語言模型訓(xùn)練,同時能夠得到描述語義和句法關(guān)系的詞矢量.其中,文獻(xiàn)[13]提出的Skip-gram模型便是一種能夠高效得到詞矢量的訓(xùn)練模型,通過訓(xùn)練無標(biāo)注語料將每個詞映射成低維實數(shù)向量,每一維都代表了詞的淺層語義特征[14].同時,文獻(xiàn)[15]發(fā)現(xiàn)上述模型訓(xùn)練得到的詞矢量能夠通過余弦距離描述詞與詞之間的語義和句法關(guān)系,并且相同的余弦距離表征了同樣關(guān)系,例如,向量“Man”與向量“King”之間的距離近似于向量“Woman”與向量“Queen”之間的距離.因此,本文利用詞矢量上述特性,結(jié)合短文本的特點,提出了概率語義分布模型,應(yīng)用于短文本分類中.

    2 概率語義分布模型

    不同于傳統(tǒng)的文本分類算法,本文認(rèn)為短文本是在貝葉斯框架下各個領(lǐng)域里的一個抽樣.本文假設(shè)短文本數(shù)據(jù)產(chǎn)生于一個概率語義分布模型,不同領(lǐng)域數(shù)據(jù)來自于不同的語義分布模型,并且我們可以利用已知的文本數(shù)據(jù)去估計這些模型.得到這些模型之后,對于新的測試數(shù)據(jù),計算來源于各個模型的概率,根據(jù)貝葉斯原理選擇類別標(biāo)簽作為預(yù)測結(jié)果.

    假設(shè)訓(xùn)練數(shù)據(jù)包含一系列的短文本文檔, D={d1,d2,d3,···,dn},di表示一條短文本,共n條訓(xùn)練數(shù)據(jù),分別屬于C={c1,c2,c3,···,cm}, cj為領(lǐng)域標(biāo)記,共m 個領(lǐng)域.本文假設(shè)同一領(lǐng)域短文本文檔產(chǎn)生于同一個語義分布模型(模型參數(shù)為λ).一條短文本數(shù)據(jù)di的產(chǎn)生,首先根據(jù)先驗概率p(cj|λ)選擇語義分布模型,然后根據(jù)該領(lǐng)域模型的模型參數(shù)p(di|cj;λ)產(chǎn)生文檔di.因此文檔di的產(chǎn)生概率為p(di|λ):

    類似于一元語言模型,認(rèn)為短文本中詞與詞之間是互相獨(dú)立的,不依賴于前文信息,dik表示短文本di中位置為k的單詞,|di|表示文本中單詞的個數(shù),則有

    假設(shè)已通過訓(xùn)練數(shù)據(jù)計算得到模型參數(shù)?λ,針對測試數(shù)據(jù),可以分別計算各個分布模型產(chǎn)生該數(shù)據(jù)的概率.根據(jù)貝葉斯原理,由式(1)和(2)得到

    根據(jù)上述提出的概率語義分布模型假設(shè),本文認(rèn)為可以選擇合適的模型去近似描述每個領(lǐng)域內(nèi)的詞語分布.由于混合高斯模型能夠描述任意形狀的概率分布,因此本文選用混合高斯模型.由于訓(xùn)練數(shù)據(jù)的不充分,直接使用混合高斯模型進(jìn)行多高斯訓(xùn)練時會產(chǎn)生欠擬合,因此本文在混合高斯模型的基礎(chǔ)上提出了一種基于通用語義背景模型的短文本分類方法.

    3 基于通用語義背景模型的短文本分類

    在實際應(yīng)用中,由于自然語言表達(dá)的靈活性,獲取足夠多的標(biāo)注數(shù)據(jù)是一件費(fèi)時費(fèi)力的事情,如何能夠充分利用已有數(shù)據(jù)進(jìn)行短文本分類成為關(guān)鍵.在圖像處理、說話人識別系統(tǒng)中,高斯混合–通用背景模型[16?17]便是一種能夠在訓(xùn)練數(shù)據(jù)不足的情況下,由一個通用的背景模型根據(jù)少量的訓(xùn)練數(shù)據(jù)自適應(yīng)到目標(biāo)模型上,并且取得了很好效果.因此,借鑒于高斯混合–通用背景模型,在概率語義分布模型的假設(shè)下,首先利用混合高斯構(gòu)建通用概率語義背景分布模型,然后根據(jù)訓(xùn)練數(shù)據(jù)自適應(yīng)得到目標(biāo)領(lǐng)域概率語義分布模型,如圖1所示.

    圖1 基于通用語義背景模型的短文本分類Fig.1 Short text classification based on universal semantic background model

    3.1 詞匯特征

    在連續(xù)空間詞矢量表示中,通過向量之間的空間距離來表征詞與詞之間的特定關(guān)系,并且文獻(xiàn)[18]指出從大量無標(biāo)記文本數(shù)據(jù)訓(xùn)練得到的詞矢量要比隨機(jī)初始化的矢量性能要好.在短文本分類中,我們應(yīng)該首先訓(xùn)練得到詞矢量.然而,詞矢量的訓(xùn)練通常需要耗費(fèi)很長時間,并且已有許多學(xué)者將訓(xùn)練好的詞矢量進(jìn)行了開源.本文的實驗直接使用文獻(xiàn)[19]提供的詞矢量詞典,該詞典是利用大概十億單詞數(shù)量的谷歌新聞數(shù)據(jù)訓(xùn)練得到的維度為300的詞矢量.

    3.2 高斯混合模型

    高斯混合模型 (Gaussian mixture model, GMM)作為一種通用的概率模型,只要高斯數(shù)足夠大,便能有效地模擬多維矢量的連續(xù)概率分布,因而很適合去表征語義分布.高斯混合模型是一系列高斯分布的加權(quán)組合.一個由M 個高斯分量組成的高斯混合密度函數(shù)是M 個高斯密度函數(shù)的線性加權(quán)和:

    上式中λ為GMM模型參數(shù),pk(di),k=1,···,M是高斯分量密度函數(shù).wk,k=1,···,M 是各個高斯分量的權(quán)重,滿足每個高斯分量的概率密度函數(shù)公式pk(di)表示如下:

    這里μk是第k個高斯分量的均值矢量,Σk為相應(yīng)的協(xié)方差矩陣,D是特征矢量的維度.這樣,GMM模型便可以由以下參數(shù)集合表示:

    使用GMM對概率語義分布建模主要基于兩個出發(fā)點:1)GMM的高斯分量能夠描述一定詞矢量的分布;2)線性加權(quán)的高斯密度函數(shù)可以逼近任意形狀的概率分布,因此選用GMM對語義分布進(jìn)行描述.

    3.3 最大后驗?zāi)P妥赃m應(yīng)

    利用高斯混合模型在無標(biāo)注文本數(shù)據(jù)上訓(xùn)練得到通用概率語義背景分布模型,再用帶有標(biāo)記的訓(xùn)練數(shù)據(jù)進(jìn)行模型自適應(yīng)得到目標(biāo)模型.最大后驗概率(Maximum a posteriori,MAP)是一種典型的貝葉斯估計,它首先計算訓(xùn)練數(shù)據(jù)相對于通用背景模型的各個統(tǒng)計量,然后用一個相關(guān)系數(shù)將通用背景模型參數(shù)與相關(guān)統(tǒng)計量聯(lián)合,得到目標(biāo)模型.給定通用背景模型:λ={wk,μk,Σk},k=1,2,···,M,以及某一特定領(lǐng)域內(nèi)的短文本訓(xùn)練數(shù)據(jù)Dcj={dc1,···,dci,···,d|cj|},對每一條訓(xùn)練數(shù)據(jù)計算其在各高斯分量上的占有率,即后驗條件概率:

    然后便可計算出與權(quán)重相關(guān)的零階統(tǒng)計量nk,與均值相關(guān)的一階統(tǒng)計量Ek(d)以及與協(xié)方差矩陣相關(guān)的二階統(tǒng)計量Ek(d2):

    用以上計算得到的統(tǒng)計量對通用背景模型的各個高斯分量的權(quán)重、均值和協(xié)方差進(jìn)行自適應(yīng),得到新的模型參數(shù):

    其中γ用來平衡高斯分量的權(quán)值,以保證更新后各分量的權(quán)值和為1.是調(diào)整新舊模型參數(shù)平衡的自適應(yīng)系數(shù),通常使用同一個自適應(yīng)系數(shù).為了能夠確定上述參數(shù),本文在訓(xùn)練集上使用5折交叉驗證來確保參數(shù)的可靠性.

    4 實驗結(jié)果與分析

    為了驗證所提出方法的有效性,本文利用文獻(xiàn)[7]提供的短文本數(shù)據(jù),首先驗證背景模型和高斯數(shù)對分類性能的影響,其次與基線系統(tǒng)進(jìn)行比較,最后驗證所提出的方法對訓(xùn)練數(shù)據(jù)的依賴性.

    4.1 實驗數(shù)據(jù)與評價標(biāo)準(zhǔn)

    本文選擇文獻(xiàn)[7]提供的網(wǎng)頁搜索片段數(shù)據(jù)作為實驗數(shù)據(jù),網(wǎng)頁搜索片段數(shù)據(jù)集是將特定領(lǐng)域詞送入谷歌搜索引擎得到的搜索結(jié)果片段,為了保證領(lǐng)域的特定性,通常選取前20~30個片段作為引用數(shù)據(jù).例如計算機(jī)類,選取60個計算機(jī)領(lǐng)域的詞語,分別送入谷歌搜索引擎,每次抽取搜索結(jié)果的前20條數(shù)據(jù)作為訓(xùn)練數(shù)據(jù),則可以得到1200條數(shù)據(jù),數(shù)據(jù)分布如表1.為了區(qū)分訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù),在生成測試數(shù)據(jù)時所使用的領(lǐng)域詞不同于訓(xùn)練數(shù)據(jù).如表2所示,無論是英文單詞未經(jīng)提取詞干還是經(jīng)過提取詞干(Porter stemming)[20]之后,都會有超過40%的未登錄詞(未登錄詞通常是指未在詞典中出現(xiàn)的詞[21])出現(xiàn)在測試集中,這極大地增加了分類的難度.

    表1 網(wǎng)頁搜索片段數(shù)據(jù)分布Table 1 Statistics of web snippets data

    表2 未登錄詞分布Table 2 Statistics of unseen words

    在實驗過程中,本文使用精度(Precision,P)、召回率(Recall,R)、F1值和準(zhǔn)確率(Accuracy,A)作為評價標(biāo)準(zhǔn).

    4.2 實驗

    4.2.1 參數(shù)設(shè)置

    如何選擇背景數(shù)據(jù)進(jìn)行通用背景語義模型訓(xùn)練以及不同的背景模型對性能如何影響,混合高斯模型中的高斯數(shù)如何確定,這些參數(shù)都需要通過實驗進(jìn)行驗證.本文選擇:1)相關(guān)數(shù)據(jù):去掉標(biāo)注的訓(xùn)練數(shù)據(jù)作為背景數(shù)據(jù);2)通用數(shù)據(jù):選取語言資源聯(lián)盟(Linguistic Data Consortium)提供的新聞數(shù)據(jù)[22],本文僅選取標(biāo)簽Headline下的文本;3)混合數(shù)據(jù):相關(guān)數(shù)據(jù)和通用數(shù)據(jù)的混合,分別作為背景數(shù)據(jù)進(jìn)行背景模型訓(xùn)練,實驗結(jié)果如圖2所示.

    當(dāng)我們不斷增加高斯數(shù)時,混合高斯能夠很好地擬合特征分布,但是當(dāng)高斯數(shù)過高時,由于數(shù)據(jù)的稀缺,會出現(xiàn)過擬合現(xiàn)象,正如圖2中當(dāng)使用訓(xùn)練數(shù)據(jù)1)進(jìn)行背景模型訓(xùn)練時,高斯數(shù)達(dá)到256時無法擬合出混合高斯模型.在圖2中,直接使用無標(biāo)注的訓(xùn)練數(shù)據(jù)進(jìn)行通用背景模型訓(xùn)練,在低維混合高斯下能夠快速地提高分類性能,但是由于數(shù)據(jù)有限,無法進(jìn)行高維高斯擬合,高斯數(shù)為128時準(zhǔn)確率達(dá)到78.6%;使用通用數(shù)據(jù),由于數(shù)據(jù)量較大,能夠進(jìn)行高維高斯擬合,并且在高維混合高斯的情況下能夠達(dá)到直接使用訓(xùn)練數(shù)據(jù)的分類性能,高斯數(shù)為8時準(zhǔn)確率達(dá)到最高75.83%;當(dāng)使用無標(biāo)注的訓(xùn)練數(shù)據(jù)+通用數(shù)據(jù)時,高斯數(shù)為16,短文本分類準(zhǔn)確率達(dá)到最高值80%.

    圖2 不同的背景數(shù)據(jù)和高斯數(shù)對分類結(jié)果的影響Fig.2 Influence of background data and the number of GMM

    4.2.2 與基線系統(tǒng)相比

    為了驗證本文所提方法的有效性,本文選擇以下方法作為基線系統(tǒng):

    1)TF*IDF+SVM/MaxEnt:特征值采用TF*IDF進(jìn)行計算,利用支持向量機(jī)(Support vector machine,SVM)或最大熵(MaxEnt)作為分類器.

    2)LDA+MaxEnt:在文獻(xiàn)[7]中,利用LDA對文本進(jìn)行主題特征提取,與文本特征進(jìn)行合并,利用MaxEnt進(jìn)行分類模型的訓(xùn)練.

    3)Wiki feature+SVM:對維基百科數(shù)據(jù)1http://download.wikipedia.com/enwiki/進(jìn)行去除網(wǎng)頁標(biāo)簽、網(wǎng)頁鏈接等預(yù)處理之后,使用Lucene對其建立索引,對每一條短文本實驗數(shù)據(jù)進(jìn)行檢索.在檢索結(jié)果中,類似文獻(xiàn)[5]中提出的方法,將維基百科數(shù)據(jù)的標(biāo)題作為額外的文本特征擴(kuò)充到原始短文本數(shù)據(jù)中.不同于文獻(xiàn)[5]中所描述的聚類任務(wù),我們將融合后的文本用于短文本分類.

    4)Paragraph vector+SVM:文獻(xiàn)[10]提出了一種無監(jiān)督的方法,利用定長數(shù)學(xué)向量表征不定長文本.該模型認(rèn)為當(dāng)前詞語的選擇不僅由上下文決定,還由隱藏的文本矢量共同決定.該隱藏文本矢量可以看做為文本的隱藏主題[23].

    5)LSTM(Long short term memory):對文獻(xiàn)[24]中提出的LSTM模型進(jìn)行修改,組成結(jié)構(gòu)為單一的LSTM層、均值池化層(Average pooling layer)和邏輯回歸層(Logistic regression layer),使其能夠進(jìn)行文本類別預(yù)測[23].

    在傳統(tǒng)的文本分類方法中,通常是利用詞袋模型(Bag of words,BoW)將文本離散化,計算特征權(quán)重,轉(zhuǎn)換為向量空間模型中的特征權(quán)重向量,每個詞被轉(zhuǎn)換為字典中的索引數(shù)字.這種方法降低了計算復(fù)雜度,但是對于未登錄詞的處理能力大幅度降低.

    由于在訓(xùn)練的過程中,分類模型未捕捉到未登錄詞對分類結(jié)果的貢獻(xiàn)能力,在測試階段,未登錄詞通常會被忽略.尤其是在該測試集中會出現(xiàn)超過40% 的未登錄詞,這極大地增加了分類難度.因此,在表3中傳統(tǒng)的文本分類方法SVM和Max-Ent性能均不是很高.以維基百科作為搜索庫,利用Lucene的搜索結(jié)果進(jìn)行原始短文本擴(kuò)展,在一定程度上降低了特征稀疏性,對分類性能有所提升.本文的方法利用詞矢量將文本向量化,詞矢量體現(xiàn)了一定的語言泛化能力,充分利用了訓(xùn)練數(shù)據(jù)里的每一個有用詞語,使得準(zhǔn)確率相對傳統(tǒng)方法提高了17.7%,并且如表4所示每一領(lǐng)域的分類結(jié)果F1值均優(yōu)于傳統(tǒng)的分類結(jié)果.在Paragraph vector和LSTM這兩種模型中,都使用到了詞矢量,但都未能有效地捕獲到語句中的語義信息.

    表3 與基線系統(tǒng)對比實驗結(jié)果(%)Table 3 Experimental results of the proposed method against other methods(%)

    文獻(xiàn)[7]提到的方法需要根據(jù)領(lǐng)域知識額外準(zhǔn)備大概470000篇維基百科數(shù)據(jù),共計3.5GB的相關(guān)數(shù)據(jù)進(jìn)行主題模型訓(xùn)練,增加了收集數(shù)據(jù)的難度.本文在使用混合數(shù)據(jù)時準(zhǔn)確率達(dá)到80%,略低于文獻(xiàn)[7]中的82.18%,但是本文有效地避免了收集相關(guān)數(shù)據(jù)的困難.本文選用維基百科數(shù)據(jù),對其進(jìn)行去除網(wǎng)頁標(biāo)簽、鏈接等預(yù)處理之后,用于LDA主題模型訓(xùn)練和詞矢量訓(xùn)練.在主題模型訓(xùn)練過程中,主題數(shù)目選擇為50、100、200、300、400等,在訓(xùn)練集上利用五折交叉驗證確定最優(yōu)主題數(shù).針對詞矢量的訓(xùn)練,使用開源工具word2vector2http://word2vec.googlecode.com/svn/trunk/訓(xùn)練得到維度為300的詞矢量.在使用相同外部數(shù)據(jù)的情況下,本文方法取得79.93%的性能,略高于基于LDA+MaxEnt方法的79.89%.從這一點可以看出,在使用外部數(shù)據(jù)進(jìn)行主題模型訓(xùn)練時,外部數(shù)據(jù)與實驗數(shù)據(jù)的相關(guān)性,是影響主題特征貢獻(xiàn)能力的一個重要因素.因此,當(dāng)面對一個新的分類任務(wù)時,文獻(xiàn)[7]中的方法需要根據(jù)領(lǐng)域知識重新挑選大量相關(guān)語料進(jìn)行主題模型訓(xùn)練,從一定程度來講,本文的方法更易實現(xiàn).

    表4 SVM、MaxEnt和本文方法的實驗結(jié)果Table 4 Evaluations of SVM,MaxEnt and the proposed method

    4.2.3 訓(xùn)練數(shù)據(jù)大小對分類效果的影響

    為了驗證本文方法對訓(xùn)練數(shù)據(jù)的依賴性,本文將訓(xùn)練數(shù)據(jù)保持原領(lǐng)域數(shù)據(jù)的分布比例不變平均分成10份,每次增加1份進(jìn)行試驗,在同一測試集上進(jìn)行測試,得到10組實驗結(jié)果,如圖3所示.由于SVM和MaxEnt的分類效果相差不大,因此僅選擇了MaxEnt作為基線系統(tǒng).隨著訓(xùn)練數(shù)據(jù)的減少,測試集中未登錄詞的比重會逐漸加大,MaxEnt的分類效果變化幅度較大,對訓(xùn)練數(shù)據(jù)的依賴性比較大.在訓(xùn)練數(shù)據(jù)稀缺的情況下(僅占原訓(xùn)練數(shù)據(jù)的1/10),本文方法能夠?qū)⒄_率從47.06%提高到71.54%(相對提高52%).從另一角度說明如何充分利用詞匯信息成為分類的關(guān)鍵,而這也是本文方法的關(guān)鍵.

    圖3 訓(xùn)練數(shù)據(jù)大小對分類效果的影響(1)Fig.3 Influence of training set size(1)

    為了進(jìn)一步檢驗訓(xùn)練數(shù)據(jù)對本文方法的影響,本文繼續(xù)將訓(xùn)練數(shù)據(jù)數(shù)量縮小,如圖4所示.在僅有100條訓(xùn)練數(shù)據(jù)的情況下,本文所提出的方法準(zhǔn)確率能夠達(dá)到51.4%,高于MaxEnt在1000條訓(xùn)練數(shù)據(jù)下的47.06%,這對于獲取訓(xùn)練數(shù)據(jù)比較困難的應(yīng)用來說,可以大大地降低對訓(xùn)練數(shù)據(jù)的依賴性.

    圖4 訓(xùn)練數(shù)據(jù)大小對分類效果的影響(2)Fig.4 Influence of training set size(2)

    5 結(jié)論

    本文摒棄了傳統(tǒng)的文本向量空間表示模型,提出概率語義分布模型,認(rèn)為短文本是來自于概率語義模型的一個抽樣,利用詞矢量將文本數(shù)字化,通過無標(biāo)記數(shù)據(jù)構(gòu)建通用語義背景模型,利用訓(xùn)練數(shù)據(jù)進(jìn)行自適應(yīng)得到目標(biāo)模型.實驗結(jié)果驗證了本文所提出方法的可行性,利用能夠表征語義和句法關(guān)系的詞矢量有效地降低了訓(xùn)練數(shù)據(jù)不充分所帶來的影響,短文本分類性能明顯優(yōu)于傳統(tǒng)的文本分類方法,降低了對訓(xùn)練數(shù)據(jù)的依賴性.雖然本文的實驗結(jié)果略低于基于主題模型的短文本分類系統(tǒng)的結(jié)果,但明顯優(yōu)于基于SVM和最大熵的分類算法,并且本文的方法無需準(zhǔn)備大量的相關(guān)數(shù)據(jù),在一定程度上本文方法更易實現(xiàn).

    1 Wang B K,Huang Y F,Yang W X,Li X.Short text classification based on strong feature thesaurus.Journal of Zhejiang University Science C,2012,13(9):649?659

    2 Zelikovitz S,Hirsh H.Improving short text classification using unlabeled background knowledge to assess document similarity.In:Proceedings of the 17th International Conference on Machine Learning.San Francisco,USA:Morgan Kaufmann,2000.1183?1190

    3 Bollegala D,Matsuo Y,Ishizuka M.Measuring semantic similarity between words using web search engines.In:Proceedings of the 16th International Conference on World Wide Web.New York,USA:ACM,2007.757?766

    4 Gabrilovich E,Markovitch S.Computing semantic relatedness using Wikipedia-based explicit semantic analysis.In: Proceedings of the 20th International Joint Conference on Artificial Intelligence.San Francisco,USA:Morgan Kaufmann,2007.1606?1611

    5 Banerjee S,Ramanathan K,Gupta A.Clustering short texts using Wikipedia.In:Proceedings of the 30th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval.New York,USA:ACM, 2007.787?788

    6 Lucene[Online],available:https://lucene.apache.org/,May 3,2016.

    7 Phan X H,Nguyen L M,Horiguchi S.Learning to classify short and sparse text&web with hidden topics from largescale data collections.In:Proceedings of the 17th International Conference on World Wide Web.New York,USA: ACM,2008.91?100

    8 Blei D M,Ng A Y,Jordan M I.Latent Dirichlet allocation. Journal of Machine Learning Research,2003,3:993?1022

    9 Kim Y.Convolutional neural networks for sentence classification.In:Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing.Doha,Qatar:Association for Computational Linguistics,2014.1746?1751

    10 Le Q,Mikolov T.Distributed representations of sentences and documents.In:Proceedings of the 31st International Conference on Machine Learning.Beijing,China:JMLR, 2014.1188?1196

    11 Kalchbrenner N,Grefenstette E,Blunsom P.A convolutional neural network for modelling sentences.In:Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics.Baltimore,USA:Association for Computational Linguistics,2014.655?665

    12 Landauer T K,Foltz P W,Laham D.An introduction to latent semantic analysis.Discourse Processes,1998,25(2?3): 259?284

    13 Mikolov T,Chen K,Corrado G,Dean J.Efficient estimation of word representations in vector space.arXiv:1301.3781, 2013.

    14 Turian J,Ratinov L,Bengio Y.Word representations:a simple and general method for semi-supervised learning.In: Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics.Uppsala,Sweden:Association for Computational Linguistics,2010.384?394

    15 Mikolov T,Yih W T,Zweig G.Linguistic Regularities in Continuous Space Word Representations.In:Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics:Human Language Technologies.Atlanta,Georgia:Association for Computational Linguistics,2013.746?751

    16 Reynolds D A.Speaker identification and verification using Gaussian mixture speaker models.Speech Communication, 1995,17(1?2):91?108

    17 Reynolds D A,Quatieri T F,Dunn R B.Speaker verification using adapted Gaussian mixture models.Digital Signal Processing,2000,10(1?3):19?41

    18 Collobert R,Weston J,Bottou L,Karlen M,Kavukcuoglu K,Kuksa P.Natural language processing(almost)from scratch.Journal of Machine Learning Research,2011,12: 2493?2537

    19 Mikolov T,Sutskever I,Chen K,Corrado G S,Dean J.Distributed representations of words and phrases and their compositionality.In:Proceedings of the 2013 Advances in Neural Information Processing Systems.Lake Tahoe,Nevada, USA:Curran Associates,Inc.,2013.3111?3119

    20 Porter M F.An algorithm for suffix stripping.Readings in Information Retrieval.San Francisco:Morgan Kaufmann, 1997.313?316

    21 LingG C,AsaharaM,MatsumotoY.Chineseunknown word identification using character-based tagging and chunking.In:Proceedings of the 41st Annual Meeting on Association for Computational Linguistics.Sapporo, Japan:Association for Computational Linguistics,2003. 197?200

    22 ParkerR,GraffD,Kong J B,Chen K,Maeda K.English Gigaword Fifth Edition[Online],available: https://catalog.ldc.upenn.edu/LDC2011T07,May 3,2016.

    23 Wang P,Xu B,Xu J M,Tian G H,Liu C L,Hao H W. Semantic expansion using word embedding clustering and convolutional neural network for improving short text classification.Neurocomputing,2016,174:806?814

    24 Hochreiter S,Schmidhuber J.Long short-term memory. Neural Computation,1997,9(8):1735?1780

    馬成龍 中國科學(xué)院聲學(xué)研究所博士研究生.2011年獲得山東大學(xué)(威海)通信工程學(xué)士學(xué)位.主要研究方向為自然語言處理,口語理解,情感分析,深度學(xué)習(xí).本文通信作者.

    E-mail:machenglong@hccl.ioa.ac.cn

    (MACheng-Long Ph.D.candidate at the Institute of Acoustics,Chinese Academy of Sciences.He received his bachelor degree from Shandong University,Weihai in 2011.His research interest covers natural language processing,spoken language understanding,sentiment analysis and deep learning.Corresponding author of this paper.)

    顏永紅 中國科學(xué)院聲學(xué)研究所語言聲學(xué)與內(nèi)容理解重點實驗室教授.1990年在清華大學(xué)獲得學(xué)士學(xué)位,1995年8月于美國俄勒岡研究院(Oregon Graduate Institute,OGI)獲得計算機(jī)科學(xué)和工程博士學(xué)位.他曾在OGI擔(dān)任助理教授(1995年),副教授(1998年)和副主任(1997年).主要研究方向為語音處理和識別,語言/說話人識別和人機(jī)界面.

    E-mail:yanyonghong@hccl.ioa.ac.cn

    (YAN Yong-Hong Professor at The Key Laboratory of Speech Acoustics and Content Understanding,Chinese Academy of Sciences.He received his bachelor degree from Tsinghua University in 1990,and Ph.D.degree from Oregon Graduate Institute(OGI),USA.He worked in OGI as assistant professor(1995),associate professor(1998)and associate director(1997)of Center for Spoken Language Understanding.His research interest covers speech processing and recognition,language/speaker recognition,and human computer interface.)

    Short Text Classification Based on Probabilistic Semantic Distribution

    MA Cheng-Long1YAN Yong-Hong1,2

    In short text classification,it is critical to deal with each word because of data sparsity.In this paper, we present a novel probabilistic semantic distribution model.Firstly,words are transformed to vectors by looking up word embeddings.Secondly,the universal background semantic model is trained based on unlabelled universal data through mixture Gaussian models.Then,target models are obtained by adapting the background model for each domain training data.Finally,the probability of the test data belonging to each target model is calculated.Experimental results demonstrate that our approach can make best use of each word and effectively reduce the influence of training data size. In comparison with the methods of support vector machine(SVM)and MaxEnt,the proposed method gains a 17.7% relative accuracy improvement.

    Short text classification,word embedding,semantic distribution,Gaussian mixture model

    馬成龍,顏永紅.基于概率語義分布的短文本分類.自動化學(xué)報,2016,42(11):1711?1717

    Ma Cheng-Long,Yan Yong-Hong.Short text classification based on probabilistic semantic distribution.Acta Automatica Sinica,2016,42(11):1711?1717

    2015-05-19 錄用日期2016-05-03

    Manuscript received May 19,2015;accepted May 3,2016

    國家高技術(shù)研究發(fā)展計劃 (863計劃)(2015AA016306),國家重點基礎(chǔ)研究發(fā)展計劃(973計劃)(2013CB329302),國家自然科學(xué)基金(11461141004,61271426,11504406,11590770,11590771, 11590772,11590773,11590774),中國科學(xué)院戰(zhàn)略性先導(dǎo)科技專項(XDA06030100,XDA06030500,XDA06040603)和新疆維吾爾自治區(qū)科技重大專項(201230118-3)資助

    Supported by National High Technology Research Program of China(863 Program)(2015AA016306),National Basic Research Program of China(973 Program)(2013CB329302),National Natural Science Foundation of China(11461141004,61271426, 11504406,11590770,11590771,11590772,11590773,11590774), the Strategic Priority Research Program of the Chinese Academy of Sciences(XDA06030100,XDA06030500,XDA06040603),and the Key Science and Technology Project of the Xinjiang Uygur Autonomous Region(201230118-3)

    本文責(zé)任編委趙鐵軍

    Recommended by Associate Editor ZHAO Tie-Jun

    1.中國科學(xué)院聲學(xué)研究所語言聲學(xué)與內(nèi)容理解重點實驗室 北京100190 2.新疆民族語音語言信息處理實驗室烏魯木齊830011

    1.The Key Laboratory of Speech Acoustics and Content Understanding,Institute of Acoustics,Chinese Academy of Sciences,Beijing 100190 2.Xinjiang Laboratory of Minority Speech and Language Information Processing,Urumchi 830011

    DOI 10.16383/j.aas.2016.c150268

    猜你喜歡
    高斯短文矢量
    小高斯的大發(fā)現(xiàn)
    矢量三角形法的應(yīng)用
    天才數(shù)學(xué)家——高斯
    KEYS
    Keys
    基于矢量最優(yōu)估計的穩(wěn)健測向方法
    三角形法則在動態(tài)平衡問題中的應(yīng)用
    有限域上高斯正規(guī)基的一個注記
    短文改錯
    短文改錯
    国产av在哪里看| 久久人妻av系列| 国产精品久久视频播放| 天堂动漫精品| 日韩欧美精品v在线| 国产亚洲精品久久久久久毛片| 亚洲国产日韩欧美精品在线观看| 51午夜福利影视在线观看| 一a级毛片在线观看| 国产不卡一卡二| 久久婷婷人人爽人人干人人爱| 亚洲自偷自拍三级| 美女高潮喷水抽搐中文字幕| 欧美午夜高清在线| 国产精品一及| 天堂√8在线中文| 亚洲国产欧美人成| 免费大片18禁| 俄罗斯特黄特色一大片| 69av精品久久久久久| 亚洲av一区综合| 中文字幕熟女人妻在线| 深夜精品福利| 亚洲精品粉嫩美女一区| 88av欧美| 国产免费av片在线观看野外av| 国产精品一及| 国产免费av片在线观看野外av| 亚州av有码| 中文字幕熟女人妻在线| 亚洲欧美清纯卡通| 午夜精品久久久久久毛片777| 99热6这里只有精品| 日韩 亚洲 欧美在线| 亚洲欧美激情综合另类| 欧美成人免费av一区二区三区| 一卡2卡三卡四卡精品乱码亚洲| 一本精品99久久精品77| 人妻丰满熟妇av一区二区三区| 麻豆一二三区av精品| 日本熟妇午夜| 亚洲成人免费电影在线观看| 欧美三级亚洲精品| av天堂中文字幕网| 国产午夜福利久久久久久| 日韩精品青青久久久久久| 国产高潮美女av| 午夜影院日韩av| 亚洲欧美日韩无卡精品| 国产精品免费一区二区三区在线| 久久久久久久久久黄片| 亚洲精品色激情综合| 在线观看美女被高潮喷水网站 | 亚洲自拍偷在线| 小说图片视频综合网站| 亚洲av二区三区四区| 成人特级黄色片久久久久久久| 色在线成人网| 色噜噜av男人的天堂激情| 麻豆国产97在线/欧美| 18美女黄网站色大片免费观看| 日韩亚洲欧美综合| 日韩高清综合在线| 女人十人毛片免费观看3o分钟| 老鸭窝网址在线观看| 色播亚洲综合网| 亚州av有码| 欧美日韩中文字幕国产精品一区二区三区| 好男人电影高清在线观看| 中文字幕av成人在线电影| 美女免费视频网站| 亚洲综合色惰| 亚洲,欧美精品.| 一进一出好大好爽视频| 精品乱码久久久久久99久播| 久久精品综合一区二区三区| 噜噜噜噜噜久久久久久91| 给我免费播放毛片高清在线观看| 色综合欧美亚洲国产小说| 观看免费一级毛片| 丁香六月欧美| 免费人成在线观看视频色| 精品日产1卡2卡| 亚洲av不卡在线观看| 免费黄网站久久成人精品 | 亚洲国产高清在线一区二区三| 国产高清视频在线播放一区| 久久亚洲精品不卡| 国产三级黄色录像| 国产一区二区激情短视频| 中文字幕熟女人妻在线| 一个人观看的视频www高清免费观看| 69av精品久久久久久| 嫁个100分男人电影在线观看| 毛片女人毛片| 成熟少妇高潮喷水视频| 赤兔流量卡办理| 白带黄色成豆腐渣| 亚洲电影在线观看av| 最新中文字幕久久久久| 日韩欧美三级三区| 国产国拍精品亚洲av在线观看| 变态另类丝袜制服| 国产精品女同一区二区软件 | 亚洲精品影视一区二区三区av| 一级作爱视频免费观看| 美女 人体艺术 gogo| 丰满人妻熟妇乱又伦精品不卡| 精品国内亚洲2022精品成人| 成人精品一区二区免费| 亚洲经典国产精华液单 | 最近最新免费中文字幕在线| 99国产精品一区二区蜜桃av| 国产亚洲av嫩草精品影院| 久99久视频精品免费| 91麻豆av在线| 亚洲中文日韩欧美视频| 成人永久免费在线观看视频| 久久精品91蜜桃| 中文字幕人成人乱码亚洲影| 99久久精品热视频| 亚洲18禁久久av| 国产成人福利小说| 深爱激情五月婷婷| 男人的好看免费观看在线视频| 国产成人欧美在线观看| 黄色丝袜av网址大全| 成人欧美大片| 婷婷精品国产亚洲av| 97人妻精品一区二区三区麻豆| 一级毛片久久久久久久久女| 岛国在线免费视频观看| 丝袜美腿在线中文| bbb黄色大片| 尤物成人国产欧美一区二区三区| 免费av观看视频| 全区人妻精品视频| 搡老岳熟女国产| 一二三四社区在线视频社区8| 亚洲黑人精品在线| 日韩有码中文字幕| 日本三级黄在线观看| 亚洲中文日韩欧美视频| 欧美三级亚洲精品| 草草在线视频免费看| 丰满乱子伦码专区| 免费看日本二区| 国产白丝娇喘喷水9色精品| 精品国产三级普通话版| 久9热在线精品视频| 免费在线观看日本一区| 亚洲美女黄片视频| 亚洲五月婷婷丁香| 国产探花在线观看一区二区| 欧美日本亚洲视频在线播放| 日本一二三区视频观看| 赤兔流量卡办理| 97人妻精品一区二区三区麻豆| 欧美xxxx黑人xx丫x性爽| 国产精品伦人一区二区| 赤兔流量卡办理| 国产欧美日韩一区二区精品| 日韩欧美三级三区| 男人的好看免费观看在线视频| 中文字幕免费在线视频6| 伊人久久精品亚洲午夜| 中文字幕av成人在线电影| 久久中文看片网| 国产一区二区激情短视频| 亚洲成av人片免费观看| 国产精品一区二区免费欧美| 欧美区成人在线视频| 精品国产三级普通话版| 中亚洲国语对白在线视频| 亚洲av电影不卡..在线观看| 亚洲,欧美,日韩| av在线观看视频网站免费| 精品久久国产蜜桃| 欧美成人一区二区免费高清观看| 99热这里只有精品一区| 国产黄片美女视频| eeuss影院久久| 亚洲av第一区精品v没综合| 美女cb高潮喷水在线观看| 欧美国产日韩亚洲一区| 一个人看的www免费观看视频| 久久精品国产自在天天线| 亚洲aⅴ乱码一区二区在线播放| 亚洲精品456在线播放app | 老司机午夜福利在线观看视频| 亚洲中文日韩欧美视频| 亚洲乱码一区二区免费版| 偷拍熟女少妇极品色| 一级黄片播放器| 91狼人影院| 免费看a级黄色片| 免费观看人在逋| 日韩 亚洲 欧美在线| 免费人成在线观看视频色| 久久精品91蜜桃| www.色视频.com| 啪啪无遮挡十八禁网站| 特大巨黑吊av在线直播| 成人精品一区二区免费| 色哟哟哟哟哟哟| 国产成年人精品一区二区| 日韩高清综合在线| 久久精品国产亚洲av天美| 国产毛片a区久久久久| 波多野结衣高清无吗| 色综合亚洲欧美另类图片| 欧美zozozo另类| 99热这里只有是精品在线观看 | 91av网一区二区| 国产一区二区三区在线臀色熟女| 亚洲人成电影免费在线| 在线播放国产精品三级| 国产亚洲精品av在线| 欧美+亚洲+日韩+国产| 天堂√8在线中文| 亚洲五月婷婷丁香| 看免费av毛片| 国产精品98久久久久久宅男小说| 少妇被粗大猛烈的视频| 久久久久久久久大av| 听说在线观看完整版免费高清| 非洲黑人性xxxx精品又粗又长| 内射极品少妇av片p| 国产精品久久久久久亚洲av鲁大| 久久久精品欧美日韩精品| 狂野欧美白嫩少妇大欣赏| 免费人成在线观看视频色| 成人特级黄色片久久久久久久| 日韩欧美一区二区三区在线观看| 91在线精品国自产拍蜜月| 国内精品久久久久久久电影| 老师上课跳d突然被开到最大视频 久久午夜综合久久蜜桃 | 在线天堂最新版资源| 久久婷婷人人爽人人干人人爱| 99国产精品一区二区蜜桃av| 精品午夜福利视频在线观看一区| 欧美乱色亚洲激情| 日本与韩国留学比较| 国产黄色小视频在线观看| 久久99热6这里只有精品| 午夜免费男女啪啪视频观看 | 老女人水多毛片| 1000部很黄的大片| 精品久久久久久久末码| 欧美激情国产日韩精品一区| 99热只有精品国产| 特大巨黑吊av在线直播| 神马国产精品三级电影在线观看| 国产淫片久久久久久久久 | a级毛片免费高清观看在线播放| 特大巨黑吊av在线直播| 1000部很黄的大片| 在线观看午夜福利视频| 老熟妇乱子伦视频在线观看| 极品教师在线免费播放| 中文字幕久久专区| 91午夜精品亚洲一区二区三区 | АⅤ资源中文在线天堂| 成年人黄色毛片网站| 国产色爽女视频免费观看| 亚洲成人免费电影在线观看| 深夜精品福利| 欧美色视频一区免费| 高潮久久久久久久久久久不卡| 精品一区二区三区人妻视频| 波多野结衣高清作品| 99在线视频只有这里精品首页| 国产av麻豆久久久久久久| 好男人电影高清在线观看| 听说在线观看完整版免费高清| 欧美中文日本在线观看视频| 精品久久久久久久人妻蜜臀av| 精品无人区乱码1区二区| 色5月婷婷丁香| 午夜a级毛片| 有码 亚洲区| 国产精品嫩草影院av在线观看 | 亚洲精品久久国产高清桃花| 人妻丰满熟妇av一区二区三区| 亚洲乱码一区二区免费版| 亚洲av日韩精品久久久久久密| 久久精品国产99精品国产亚洲性色| 亚洲色图av天堂| 五月玫瑰六月丁香| 99精品久久久久人妻精品| 搡老熟女国产l中国老女人| 欧美bdsm另类| 狠狠狠狠99中文字幕| 九色国产91popny在线| 99久久久亚洲精品蜜臀av| 高清日韩中文字幕在线| 午夜亚洲福利在线播放| 午夜福利成人在线免费观看| 欧美日韩瑟瑟在线播放| 我的女老师完整版在线观看| 免费观看人在逋| 国产视频内射| 日日摸夜夜添夜夜添小说| 亚洲av二区三区四区| 亚洲美女视频黄频| 好男人在线观看高清免费视频| 午夜免费男女啪啪视频观看 | 国产v大片淫在线免费观看| 亚洲在线自拍视频| 99久久久亚洲精品蜜臀av| 欧美一区二区国产精品久久精品| 亚洲av免费高清在线观看| 高潮久久久久久久久久久不卡| 久久精品人妻少妇| 日日干狠狠操夜夜爽| 久久久久精品国产欧美久久久| 国产极品精品免费视频能看的| 国产精品三级大全| 在线看三级毛片| 国产黄片美女视频| 天堂√8在线中文| 久久99热6这里只有精品| .国产精品久久| 十八禁网站免费在线| 久99久视频精品免费| 色5月婷婷丁香| 亚洲精品成人久久久久久| 制服丝袜大香蕉在线| 成年女人毛片免费观看观看9| 黄色日韩在线| 99久久精品热视频| 日韩 亚洲 欧美在线| 少妇高潮的动态图| 香蕉av资源在线| 欧美日韩福利视频一区二区| 免费一级毛片在线播放高清视频| 久久久久亚洲av毛片大全| 3wmmmm亚洲av在线观看| 久久久久国内视频| 亚洲精品乱码久久久v下载方式| 国产大屁股一区二区在线视频| 亚洲第一区二区三区不卡| 欧美日韩乱码在线| 国产精品野战在线观看| 国产乱人视频| 欧美黑人巨大hd| 色视频www国产| 搡老熟女国产l中国老女人| 97超视频在线观看视频| 国产日本99.免费观看| 国产探花在线观看一区二区| 欧美又色又爽又黄视频| 一区二区三区免费毛片| 91九色精品人成在线观看| 悠悠久久av| 丝袜美腿在线中文| 99久久精品一区二区三区| 亚洲欧美日韩无卡精品| 亚洲五月婷婷丁香| 亚洲中文日韩欧美视频| 国产精品精品国产色婷婷| 久久精品国产自在天天线| 一夜夜www| 男女那种视频在线观看| 99国产极品粉嫩在线观看| 久久午夜福利片| 午夜久久久久精精品| 一进一出抽搐gif免费好疼| 欧美成人a在线观看| 欧美日韩国产亚洲二区| 高清日韩中文字幕在线| 99热6这里只有精品| 亚洲经典国产精华液单 | 国内精品久久久久久久电影| 色5月婷婷丁香| 久久国产乱子伦精品免费另类| 国产精品爽爽va在线观看网站| a在线观看视频网站| а√天堂www在线а√下载| 两个人视频免费观看高清| 免费观看精品视频网站| 3wmmmm亚洲av在线观看| 国产人妻一区二区三区在| 国产黄片美女视频| a级毛片a级免费在线| 国产精品久久久久久久久免 | 久久99热6这里只有精品| 亚洲电影在线观看av| 欧美激情在线99| 特级一级黄色大片| 99在线人妻在线中文字幕| 日韩欧美国产在线观看| 久久这里只有精品中国| 最新在线观看一区二区三区| 成人av一区二区三区在线看| 美女cb高潮喷水在线观看| 亚洲色图av天堂| 亚洲性夜色夜夜综合| 亚洲av中文字字幕乱码综合| 久久久久久国产a免费观看| 怎么达到女性高潮| 九色成人免费人妻av| 亚洲av电影不卡..在线观看| 久久人人精品亚洲av| 欧美色欧美亚洲另类二区| 免费在线观看影片大全网站| 成人性生交大片免费视频hd| 一区二区三区高清视频在线| 欧美黄色淫秽网站| 美女大奶头视频| xxxwww97欧美| 国产av在哪里看| 一进一出抽搐动态| av在线观看视频网站免费| 日韩有码中文字幕| 亚洲精品一卡2卡三卡4卡5卡| а√天堂www在线а√下载| 天天一区二区日本电影三级| 嫩草影院新地址| 国产精品99久久久久久久久| 制服丝袜大香蕉在线| 成人永久免费在线观看视频| 日韩欧美免费精品| 久久久久久久久久成人| 国产高清有码在线观看视频| 国产精品国产高清国产av| 男女之事视频高清在线观看| 两性午夜刺激爽爽歪歪视频在线观看| 性色av乱码一区二区三区2| 好看av亚洲va欧美ⅴa在| 露出奶头的视频| 在线国产一区二区在线| 国产一区二区三区在线臀色熟女| 国产精品人妻久久久久久| 国产精品爽爽va在线观看网站| 看黄色毛片网站| 90打野战视频偷拍视频| 日日摸夜夜添夜夜添av毛片 | 欧美日韩福利视频一区二区| 我的老师免费观看完整版| 午夜精品在线福利| ponron亚洲| 18禁黄网站禁片午夜丰满| 久久久久久九九精品二区国产| 能在线免费观看的黄片| 91字幕亚洲| 18禁黄网站禁片午夜丰满| 此物有八面人人有两片| 日本黄色片子视频| 成人三级黄色视频| 人妻久久中文字幕网| 一二三四社区在线视频社区8| 国产在视频线在精品| 丰满的人妻完整版| 久久人妻av系列| 欧美黄色片欧美黄色片| 欧美最黄视频在线播放免费| 国产黄a三级三级三级人| 看免费av毛片| 欧美一区二区国产精品久久精品| 亚洲一区二区三区不卡视频| 男女之事视频高清在线观看| 一个人看的www免费观看视频| 亚洲精华国产精华精| av福利片在线观看| 桃红色精品国产亚洲av| 国产高潮美女av| 一进一出抽搐动态| 午夜福利18| 色av中文字幕| 久久99热这里只有精品18| 丰满人妻熟妇乱又伦精品不卡| 久久99热这里只有精品18| 国产aⅴ精品一区二区三区波| 亚洲熟妇中文字幕五十中出| 真人做人爱边吃奶动态| 俄罗斯特黄特色一大片| 激情在线观看视频在线高清| 18禁裸乳无遮挡免费网站照片| 国产亚洲精品久久久久久毛片| 毛片女人毛片| 亚洲av成人不卡在线观看播放网| 99热这里只有是精品在线观看 | 丰满人妻熟妇乱又伦精品不卡| 免费电影在线观看免费观看| 怎么达到女性高潮| 色噜噜av男人的天堂激情| 一个人观看的视频www高清免费观看| 一卡2卡三卡四卡精品乱码亚洲| 男人狂女人下面高潮的视频| 久久久久精品国产欧美久久久| 97碰自拍视频| 久久午夜福利片| 亚洲欧美日韩高清在线视频| av在线蜜桃| av在线天堂中文字幕| 中文字幕精品亚洲无线码一区| 99久久成人亚洲精品观看| 亚洲最大成人中文| 国产不卡一卡二| 中亚洲国语对白在线视频| 亚洲av成人精品一区久久| 一区二区三区激情视频| 床上黄色一级片| 99在线视频只有这里精品首页| 91麻豆av在线| 一级黄色大片毛片| 91av网一区二区| av视频在线观看入口| 精品一区二区三区av网在线观看| 久久欧美精品欧美久久欧美| 国内毛片毛片毛片毛片毛片| 一本精品99久久精品77| 欧美黑人欧美精品刺激| 9191精品国产免费久久| 欧美zozozo另类| 午夜两性在线视频| 国产中年淑女户外野战色| 一a级毛片在线观看| 乱码一卡2卡4卡精品| 少妇的逼好多水| 91狼人影院| 嫩草影院入口| 两个人的视频大全免费| 成年免费大片在线观看| 免费av毛片视频| 天堂av国产一区二区熟女人妻| 国产伦人伦偷精品视频| 国产精品久久久久久久电影| 精品无人区乱码1区二区| 久久精品国产自在天天线| 日本一本二区三区精品| 亚洲最大成人av| 精品福利观看| 99精品久久久久人妻精品| 亚洲成人精品中文字幕电影| 黄色丝袜av网址大全| 99在线人妻在线中文字幕| 成人高潮视频无遮挡免费网站| 嫁个100分男人电影在线观看| 久久欧美精品欧美久久欧美| 亚洲不卡免费看| 久久精品影院6| 欧美绝顶高潮抽搐喷水| 嫁个100分男人电影在线观看| 自拍偷自拍亚洲精品老妇| 日韩欧美在线二视频| 精品午夜福利在线看| 91在线观看av| 一边摸一边抽搐一进一小说| 久久精品人妻少妇| 午夜福利成人在线免费观看| 国产一区二区在线av高清观看| 人妻制服诱惑在线中文字幕| 亚洲最大成人手机在线| 精品人妻视频免费看| 国产 一区 欧美 日韩| a级毛片a级免费在线| 日本成人三级电影网站| 无人区码免费观看不卡| 午夜a级毛片| 成人精品一区二区免费| 久久久久久久精品吃奶| 日本黄色视频三级网站网址| aaaaa片日本免费| 他把我摸到了高潮在线观看| 国产伦精品一区二区三区四那| 精品免费久久久久久久清纯| 精品一区二区三区人妻视频| 首页视频小说图片口味搜索| 美女黄网站色视频| 午夜免费男女啪啪视频观看 | 久久精品国产清高在天天线| 成人精品一区二区免费| 最近最新免费中文字幕在线| 97碰自拍视频| 国产精品久久电影中文字幕| 国产一区二区激情短视频| 欧美精品啪啪一区二区三区| av视频在线观看入口| 三级国产精品欧美在线观看| 中文字幕精品亚洲无线码一区| 高清日韩中文字幕在线| 国产精品人妻久久久久久| 久久久久国内视频| 日本与韩国留学比较| 午夜久久久久精精品| 欧美一区二区亚洲| 麻豆久久精品国产亚洲av| 国产成人欧美在线观看| 亚洲精品色激情综合| 国产成+人综合+亚洲专区| 国产淫片久久久久久久久 | 简卡轻食公司| 在线观看一区二区三区| 精品久久久久久久人妻蜜臀av| 一个人观看的视频www高清免费观看| 91字幕亚洲| av黄色大香蕉| 天美传媒精品一区二区| 亚洲中文字幕一区二区三区有码在线看| 成年免费大片在线观看| 天堂√8在线中文| 亚洲国产精品合色在线| 亚洲国产色片| 欧美bdsm另类| 午夜视频国产福利| 日本 欧美在线| 日本五十路高清| 老师上课跳d突然被开到最大视频 久久午夜综合久久蜜桃 | 欧美极品一区二区三区四区| 少妇的逼好多水| 国产精品1区2区在线观看.| 欧美黄色淫秽网站| 波多野结衣高清作品|