• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于概率語義分布的短文本分類

    2016-12-17 08:23:58馬成龍顏永紅
    自動化學(xué)報 2016年11期
    關(guān)鍵詞:高斯短文矢量

    馬成龍 顏永紅,2

    基于概率語義分布的短文本分類

    馬成龍1顏永紅1,2

    在短文本分類中,面對特征稀疏的短文本,如何充分利用文本中的每一個詞語成為關(guān)鍵.本文提出概率語義分布模型的思想,首先通過查詢詞矢量詞典,將文本轉(zhuǎn)換為詞矢量數(shù)據(jù);其次,在概率語義分布模型的假設(shè)下利用混合高斯模型對無標(biāo)注的文本數(shù)據(jù)進(jìn)行通用背景語義模型訓(xùn)練;利用訓(xùn)練數(shù)據(jù)對通用模型進(jìn)行自適應(yīng)得到各個領(lǐng)域的目標(biāo)領(lǐng)域語義分布模型;最后,在測試過程中,計算短文本屬于領(lǐng)域模型的概率,得到最終的分類結(jié)果.實驗結(jié)果表明,本文提出的方法能夠從一定程度上利用短文本所提供的信息,有效降低了對訓(xùn)練數(shù)據(jù)的依賴性,相比于支持向量機(jī)(Support vector machine,SVM)和最大熵分類方法性能相對提高了17.7%.

    短文本分類,詞矢量,語義分布,高斯混合模型

    近年來,隨著社交網(wǎng)絡(luò)和電子商務(wù)的飛速發(fā)展,微博、Twitter、即時信息、商品評價等短文本形式的文字充斥著互聯(lián)網(wǎng).這些短文本包含了用戶的潛在需求、興趣點、意圖傾向等,如何能夠從這些短文本中獲取信息從而更好地為用戶提供服務(wù)成為關(guān)鍵.然而,這些短文本通常都有長度限制,如微博字?jǐn)?shù)限制在140字以內(nèi),短消息限制在70字以內(nèi),如何能夠從只言片語中挖掘出目標(biāo)信息成為了一大挑戰(zhàn).在使用傳統(tǒng)的向量空間模型(Vector space model, VSM)將短文本數(shù)字向量化時,該向量會很稀疏[1],特別是在測試階段,由于訓(xùn)練數(shù)據(jù)的不充分,會造成很多有用特征因未被模型捕獲過而被忽略的情況,因此使用傳統(tǒng)的文本分類方法將導(dǎo)致分類結(jié)果不理想.

    為了充分利用短文本所蘊(yùn)含的信息,已有很多相關(guān)研究.一種方案是計算短文本之間的相似性,文獻(xiàn)[2]提出使用外部數(shù)據(jù)作為一個橋梁,如果預(yù)測文檔和訓(xùn)練文檔同時和某一外部文檔相似,那么領(lǐng)域標(biāo)簽信息也應(yīng)該一樣,但搜集的外部數(shù)據(jù)必須和實驗數(shù)據(jù)相關(guān);文獻(xiàn)[3]提出使用搜索引擎返回的結(jié)果來衡量兩個詞語之間的相似度,但是需要等待搜索引擎返回結(jié)果,比較耗時,不利于在線實時應(yīng)用;文獻(xiàn)[4]提出使用固定的資源維基百科作為知識庫進(jìn)行搜索.另一種解決方案是在短文本稀疏特征的基礎(chǔ)上擴(kuò)展相關(guān)語義特征,文獻(xiàn)[5]提出使用Lucene[6]對維基百科建立索引,在原有特征基礎(chǔ)上增加Lucene返回的搜索結(jié)果作為額外特征;文獻(xiàn)[7]提出使用短文本隱藏的主題作為額外特征集,在相關(guān)數(shù)據(jù)上使用LDA(Latent Dirichlet allocation)[8]獲得主題模型,針對短文本首先進(jìn)行推理得到主題特征,與原始特征融合用于訓(xùn)練和分類.上述研究都是基于利用外部相關(guān)數(shù)據(jù)對原始文本進(jìn)行相似度估計或者特征擴(kuò)展,并且取得了不錯的效果,但是對外部數(shù)據(jù)的相關(guān)性要求較高,而這些相關(guān)數(shù)據(jù)通常是根據(jù)領(lǐng)域知識,人工干預(yù)下進(jìn)行收集的,在實際應(yīng)用中獲取相關(guān)領(lǐng)域的外部數(shù)據(jù)有時比較困難.上述方法最終將文本轉(zhuǎn)換為空間向量,統(tǒng)計特征的共現(xiàn)權(quán)重,簡單來說是一種計數(shù)原理.隨著神經(jīng)網(wǎng)絡(luò)模型在自然語言處理中的廣泛應(yīng)用,文獻(xiàn)[9]提出將詞矢量作為輸入特征,利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練.為了得到句子層級的矢量表示,文獻(xiàn)[10]提出將變長文本訓(xùn)練為固定維度的段落矢量(Paragraph vector)的概念,文獻(xiàn)[11]提出動態(tài)卷積神經(jīng)網(wǎng)絡(luò),不依賴于句法解析樹,而是利用動態(tài)k-max pooling提取全局特征.

    基于文獻(xiàn)[7],為了擺脫對外部相關(guān)數(shù)據(jù)的過度依賴,本文從句子語義層面出發(fā),深度挖掘短文本所表達(dá)的語義.本文利用詞矢量作為輸入特征表征語義.詞矢量是指將詞語映射成空間中的一個低維實數(shù)向量,向量之間的距離描述了詞與詞之間的語義關(guān)系,語義相近的詞語在空間中成群出現(xiàn),提高了文字表示的泛化能力.為了更好地利用詞矢量,本文提出了概率語義分布模型,利用詞矢量來表征語義分布,在一定程度上避免了數(shù)據(jù)的稀疏性問題,實驗結(jié)果表明,本文所提出的方法準(zhǔn)確率相對于傳統(tǒng)的分類器提高了17.7%.

    本文結(jié)構(gòu)如下:第1節(jié)簡要介紹連續(xù)空間詞矢量,第2節(jié)描述了本文提出的概率語義分布模型,第3節(jié)介紹了在概率語義分布模型的假設(shè)下,本文提出了一種基于通用語義背景模型的短文本分類方法,第4節(jié)為實驗及結(jié)果分析,第5節(jié)給出總結(jié).

    1 連續(xù)空間詞矢量

    近幾年,越來越多的學(xué)者開始關(guān)注利用低維實數(shù)向量來表征一個詞、短語或者句子.例如,LSA (Latent semantic analysis)[12]和LDA模型將文本映射成主題模型里的一個低維向量.隨著神經(jīng)網(wǎng)絡(luò)的廣泛應(yīng)用,人們可以利用神經(jīng)網(wǎng)絡(luò)對大規(guī)模語料進(jìn)行語言模型訓(xùn)練,同時能夠得到描述語義和句法關(guān)系的詞矢量.其中,文獻(xiàn)[13]提出的Skip-gram模型便是一種能夠高效得到詞矢量的訓(xùn)練模型,通過訓(xùn)練無標(biāo)注語料將每個詞映射成低維實數(shù)向量,每一維都代表了詞的淺層語義特征[14].同時,文獻(xiàn)[15]發(fā)現(xiàn)上述模型訓(xùn)練得到的詞矢量能夠通過余弦距離描述詞與詞之間的語義和句法關(guān)系,并且相同的余弦距離表征了同樣關(guān)系,例如,向量“Man”與向量“King”之間的距離近似于向量“Woman”與向量“Queen”之間的距離.因此,本文利用詞矢量上述特性,結(jié)合短文本的特點,提出了概率語義分布模型,應(yīng)用于短文本分類中.

    2 概率語義分布模型

    不同于傳統(tǒng)的文本分類算法,本文認(rèn)為短文本是在貝葉斯框架下各個領(lǐng)域里的一個抽樣.本文假設(shè)短文本數(shù)據(jù)產(chǎn)生于一個概率語義分布模型,不同領(lǐng)域數(shù)據(jù)來自于不同的語義分布模型,并且我們可以利用已知的文本數(shù)據(jù)去估計這些模型.得到這些模型之后,對于新的測試數(shù)據(jù),計算來源于各個模型的概率,根據(jù)貝葉斯原理選擇類別標(biāo)簽作為預(yù)測結(jié)果.

    假設(shè)訓(xùn)練數(shù)據(jù)包含一系列的短文本文檔, D={d1,d2,d3,···,dn},di表示一條短文本,共n條訓(xùn)練數(shù)據(jù),分別屬于C={c1,c2,c3,···,cm}, cj為領(lǐng)域標(biāo)記,共m 個領(lǐng)域.本文假設(shè)同一領(lǐng)域短文本文檔產(chǎn)生于同一個語義分布模型(模型參數(shù)為λ).一條短文本數(shù)據(jù)di的產(chǎn)生,首先根據(jù)先驗概率p(cj|λ)選擇語義分布模型,然后根據(jù)該領(lǐng)域模型的模型參數(shù)p(di|cj;λ)產(chǎn)生文檔di.因此文檔di的產(chǎn)生概率為p(di|λ):

    類似于一元語言模型,認(rèn)為短文本中詞與詞之間是互相獨(dú)立的,不依賴于前文信息,dik表示短文本di中位置為k的單詞,|di|表示文本中單詞的個數(shù),則有

    假設(shè)已通過訓(xùn)練數(shù)據(jù)計算得到模型參數(shù)?λ,針對測試數(shù)據(jù),可以分別計算各個分布模型產(chǎn)生該數(shù)據(jù)的概率.根據(jù)貝葉斯原理,由式(1)和(2)得到

    根據(jù)上述提出的概率語義分布模型假設(shè),本文認(rèn)為可以選擇合適的模型去近似描述每個領(lǐng)域內(nèi)的詞語分布.由于混合高斯模型能夠描述任意形狀的概率分布,因此本文選用混合高斯模型.由于訓(xùn)練數(shù)據(jù)的不充分,直接使用混合高斯模型進(jìn)行多高斯訓(xùn)練時會產(chǎn)生欠擬合,因此本文在混合高斯模型的基礎(chǔ)上提出了一種基于通用語義背景模型的短文本分類方法.

    3 基于通用語義背景模型的短文本分類

    在實際應(yīng)用中,由于自然語言表達(dá)的靈活性,獲取足夠多的標(biāo)注數(shù)據(jù)是一件費(fèi)時費(fèi)力的事情,如何能夠充分利用已有數(shù)據(jù)進(jìn)行短文本分類成為關(guān)鍵.在圖像處理、說話人識別系統(tǒng)中,高斯混合–通用背景模型[16?17]便是一種能夠在訓(xùn)練數(shù)據(jù)不足的情況下,由一個通用的背景模型根據(jù)少量的訓(xùn)練數(shù)據(jù)自適應(yīng)到目標(biāo)模型上,并且取得了很好效果.因此,借鑒于高斯混合–通用背景模型,在概率語義分布模型的假設(shè)下,首先利用混合高斯構(gòu)建通用概率語義背景分布模型,然后根據(jù)訓(xùn)練數(shù)據(jù)自適應(yīng)得到目標(biāo)領(lǐng)域概率語義分布模型,如圖1所示.

    圖1 基于通用語義背景模型的短文本分類Fig.1 Short text classification based on universal semantic background model

    3.1 詞匯特征

    在連續(xù)空間詞矢量表示中,通過向量之間的空間距離來表征詞與詞之間的特定關(guān)系,并且文獻(xiàn)[18]指出從大量無標(biāo)記文本數(shù)據(jù)訓(xùn)練得到的詞矢量要比隨機(jī)初始化的矢量性能要好.在短文本分類中,我們應(yīng)該首先訓(xùn)練得到詞矢量.然而,詞矢量的訓(xùn)練通常需要耗費(fèi)很長時間,并且已有許多學(xué)者將訓(xùn)練好的詞矢量進(jìn)行了開源.本文的實驗直接使用文獻(xiàn)[19]提供的詞矢量詞典,該詞典是利用大概十億單詞數(shù)量的谷歌新聞數(shù)據(jù)訓(xùn)練得到的維度為300的詞矢量.

    3.2 高斯混合模型

    高斯混合模型 (Gaussian mixture model, GMM)作為一種通用的概率模型,只要高斯數(shù)足夠大,便能有效地模擬多維矢量的連續(xù)概率分布,因而很適合去表征語義分布.高斯混合模型是一系列高斯分布的加權(quán)組合.一個由M 個高斯分量組成的高斯混合密度函數(shù)是M 個高斯密度函數(shù)的線性加權(quán)和:

    上式中λ為GMM模型參數(shù),pk(di),k=1,···,M是高斯分量密度函數(shù).wk,k=1,···,M 是各個高斯分量的權(quán)重,滿足每個高斯分量的概率密度函數(shù)公式pk(di)表示如下:

    這里μk是第k個高斯分量的均值矢量,Σk為相應(yīng)的協(xié)方差矩陣,D是特征矢量的維度.這樣,GMM模型便可以由以下參數(shù)集合表示:

    使用GMM對概率語義分布建模主要基于兩個出發(fā)點:1)GMM的高斯分量能夠描述一定詞矢量的分布;2)線性加權(quán)的高斯密度函數(shù)可以逼近任意形狀的概率分布,因此選用GMM對語義分布進(jìn)行描述.

    3.3 最大后驗?zāi)P妥赃m應(yīng)

    利用高斯混合模型在無標(biāo)注文本數(shù)據(jù)上訓(xùn)練得到通用概率語義背景分布模型,再用帶有標(biāo)記的訓(xùn)練數(shù)據(jù)進(jìn)行模型自適應(yīng)得到目標(biāo)模型.最大后驗概率(Maximum a posteriori,MAP)是一種典型的貝葉斯估計,它首先計算訓(xùn)練數(shù)據(jù)相對于通用背景模型的各個統(tǒng)計量,然后用一個相關(guān)系數(shù)將通用背景模型參數(shù)與相關(guān)統(tǒng)計量聯(lián)合,得到目標(biāo)模型.給定通用背景模型:λ={wk,μk,Σk},k=1,2,···,M,以及某一特定領(lǐng)域內(nèi)的短文本訓(xùn)練數(shù)據(jù)Dcj={dc1,···,dci,···,d|cj|},對每一條訓(xùn)練數(shù)據(jù)計算其在各高斯分量上的占有率,即后驗條件概率:

    然后便可計算出與權(quán)重相關(guān)的零階統(tǒng)計量nk,與均值相關(guān)的一階統(tǒng)計量Ek(d)以及與協(xié)方差矩陣相關(guān)的二階統(tǒng)計量Ek(d2):

    用以上計算得到的統(tǒng)計量對通用背景模型的各個高斯分量的權(quán)重、均值和協(xié)方差進(jìn)行自適應(yīng),得到新的模型參數(shù):

    其中γ用來平衡高斯分量的權(quán)值,以保證更新后各分量的權(quán)值和為1.是調(diào)整新舊模型參數(shù)平衡的自適應(yīng)系數(shù),通常使用同一個自適應(yīng)系數(shù).為了能夠確定上述參數(shù),本文在訓(xùn)練集上使用5折交叉驗證來確保參數(shù)的可靠性.

    4 實驗結(jié)果與分析

    為了驗證所提出方法的有效性,本文利用文獻(xiàn)[7]提供的短文本數(shù)據(jù),首先驗證背景模型和高斯數(shù)對分類性能的影響,其次與基線系統(tǒng)進(jìn)行比較,最后驗證所提出的方法對訓(xùn)練數(shù)據(jù)的依賴性.

    4.1 實驗數(shù)據(jù)與評價標(biāo)準(zhǔn)

    本文選擇文獻(xiàn)[7]提供的網(wǎng)頁搜索片段數(shù)據(jù)作為實驗數(shù)據(jù),網(wǎng)頁搜索片段數(shù)據(jù)集是將特定領(lǐng)域詞送入谷歌搜索引擎得到的搜索結(jié)果片段,為了保證領(lǐng)域的特定性,通常選取前20~30個片段作為引用數(shù)據(jù).例如計算機(jī)類,選取60個計算機(jī)領(lǐng)域的詞語,分別送入谷歌搜索引擎,每次抽取搜索結(jié)果的前20條數(shù)據(jù)作為訓(xùn)練數(shù)據(jù),則可以得到1200條數(shù)據(jù),數(shù)據(jù)分布如表1.為了區(qū)分訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù),在生成測試數(shù)據(jù)時所使用的領(lǐng)域詞不同于訓(xùn)練數(shù)據(jù).如表2所示,無論是英文單詞未經(jīng)提取詞干還是經(jīng)過提取詞干(Porter stemming)[20]之后,都會有超過40%的未登錄詞(未登錄詞通常是指未在詞典中出現(xiàn)的詞[21])出現(xiàn)在測試集中,這極大地增加了分類的難度.

    表1 網(wǎng)頁搜索片段數(shù)據(jù)分布Table 1 Statistics of web snippets data

    表2 未登錄詞分布Table 2 Statistics of unseen words

    在實驗過程中,本文使用精度(Precision,P)、召回率(Recall,R)、F1值和準(zhǔn)確率(Accuracy,A)作為評價標(biāo)準(zhǔn).

    4.2 實驗

    4.2.1 參數(shù)設(shè)置

    如何選擇背景數(shù)據(jù)進(jìn)行通用背景語義模型訓(xùn)練以及不同的背景模型對性能如何影響,混合高斯模型中的高斯數(shù)如何確定,這些參數(shù)都需要通過實驗進(jìn)行驗證.本文選擇:1)相關(guān)數(shù)據(jù):去掉標(biāo)注的訓(xùn)練數(shù)據(jù)作為背景數(shù)據(jù);2)通用數(shù)據(jù):選取語言資源聯(lián)盟(Linguistic Data Consortium)提供的新聞數(shù)據(jù)[22],本文僅選取標(biāo)簽Headline下的文本;3)混合數(shù)據(jù):相關(guān)數(shù)據(jù)和通用數(shù)據(jù)的混合,分別作為背景數(shù)據(jù)進(jìn)行背景模型訓(xùn)練,實驗結(jié)果如圖2所示.

    當(dāng)我們不斷增加高斯數(shù)時,混合高斯能夠很好地擬合特征分布,但是當(dāng)高斯數(shù)過高時,由于數(shù)據(jù)的稀缺,會出現(xiàn)過擬合現(xiàn)象,正如圖2中當(dāng)使用訓(xùn)練數(shù)據(jù)1)進(jìn)行背景模型訓(xùn)練時,高斯數(shù)達(dá)到256時無法擬合出混合高斯模型.在圖2中,直接使用無標(biāo)注的訓(xùn)練數(shù)據(jù)進(jìn)行通用背景模型訓(xùn)練,在低維混合高斯下能夠快速地提高分類性能,但是由于數(shù)據(jù)有限,無法進(jìn)行高維高斯擬合,高斯數(shù)為128時準(zhǔn)確率達(dá)到78.6%;使用通用數(shù)據(jù),由于數(shù)據(jù)量較大,能夠進(jìn)行高維高斯擬合,并且在高維混合高斯的情況下能夠達(dá)到直接使用訓(xùn)練數(shù)據(jù)的分類性能,高斯數(shù)為8時準(zhǔn)確率達(dá)到最高75.83%;當(dāng)使用無標(biāo)注的訓(xùn)練數(shù)據(jù)+通用數(shù)據(jù)時,高斯數(shù)為16,短文本分類準(zhǔn)確率達(dá)到最高值80%.

    圖2 不同的背景數(shù)據(jù)和高斯數(shù)對分類結(jié)果的影響Fig.2 Influence of background data and the number of GMM

    4.2.2 與基線系統(tǒng)相比

    為了驗證本文所提方法的有效性,本文選擇以下方法作為基線系統(tǒng):

    1)TF*IDF+SVM/MaxEnt:特征值采用TF*IDF進(jìn)行計算,利用支持向量機(jī)(Support vector machine,SVM)或最大熵(MaxEnt)作為分類器.

    2)LDA+MaxEnt:在文獻(xiàn)[7]中,利用LDA對文本進(jìn)行主題特征提取,與文本特征進(jìn)行合并,利用MaxEnt進(jìn)行分類模型的訓(xùn)練.

    3)Wiki feature+SVM:對維基百科數(shù)據(jù)1http://download.wikipedia.com/enwiki/進(jìn)行去除網(wǎng)頁標(biāo)簽、網(wǎng)頁鏈接等預(yù)處理之后,使用Lucene對其建立索引,對每一條短文本實驗數(shù)據(jù)進(jìn)行檢索.在檢索結(jié)果中,類似文獻(xiàn)[5]中提出的方法,將維基百科數(shù)據(jù)的標(biāo)題作為額外的文本特征擴(kuò)充到原始短文本數(shù)據(jù)中.不同于文獻(xiàn)[5]中所描述的聚類任務(wù),我們將融合后的文本用于短文本分類.

    4)Paragraph vector+SVM:文獻(xiàn)[10]提出了一種無監(jiān)督的方法,利用定長數(shù)學(xué)向量表征不定長文本.該模型認(rèn)為當(dāng)前詞語的選擇不僅由上下文決定,還由隱藏的文本矢量共同決定.該隱藏文本矢量可以看做為文本的隱藏主題[23].

    5)LSTM(Long short term memory):對文獻(xiàn)[24]中提出的LSTM模型進(jìn)行修改,組成結(jié)構(gòu)為單一的LSTM層、均值池化層(Average pooling layer)和邏輯回歸層(Logistic regression layer),使其能夠進(jìn)行文本類別預(yù)測[23].

    在傳統(tǒng)的文本分類方法中,通常是利用詞袋模型(Bag of words,BoW)將文本離散化,計算特征權(quán)重,轉(zhuǎn)換為向量空間模型中的特征權(quán)重向量,每個詞被轉(zhuǎn)換為字典中的索引數(shù)字.這種方法降低了計算復(fù)雜度,但是對于未登錄詞的處理能力大幅度降低.

    由于在訓(xùn)練的過程中,分類模型未捕捉到未登錄詞對分類結(jié)果的貢獻(xiàn)能力,在測試階段,未登錄詞通常會被忽略.尤其是在該測試集中會出現(xiàn)超過40% 的未登錄詞,這極大地增加了分類難度.因此,在表3中傳統(tǒng)的文本分類方法SVM和Max-Ent性能均不是很高.以維基百科作為搜索庫,利用Lucene的搜索結(jié)果進(jìn)行原始短文本擴(kuò)展,在一定程度上降低了特征稀疏性,對分類性能有所提升.本文的方法利用詞矢量將文本向量化,詞矢量體現(xiàn)了一定的語言泛化能力,充分利用了訓(xùn)練數(shù)據(jù)里的每一個有用詞語,使得準(zhǔn)確率相對傳統(tǒng)方法提高了17.7%,并且如表4所示每一領(lǐng)域的分類結(jié)果F1值均優(yōu)于傳統(tǒng)的分類結(jié)果.在Paragraph vector和LSTM這兩種模型中,都使用到了詞矢量,但都未能有效地捕獲到語句中的語義信息.

    表3 與基線系統(tǒng)對比實驗結(jié)果(%)Table 3 Experimental results of the proposed method against other methods(%)

    文獻(xiàn)[7]提到的方法需要根據(jù)領(lǐng)域知識額外準(zhǔn)備大概470000篇維基百科數(shù)據(jù),共計3.5GB的相關(guān)數(shù)據(jù)進(jìn)行主題模型訓(xùn)練,增加了收集數(shù)據(jù)的難度.本文在使用混合數(shù)據(jù)時準(zhǔn)確率達(dá)到80%,略低于文獻(xiàn)[7]中的82.18%,但是本文有效地避免了收集相關(guān)數(shù)據(jù)的困難.本文選用維基百科數(shù)據(jù),對其進(jìn)行去除網(wǎng)頁標(biāo)簽、鏈接等預(yù)處理之后,用于LDA主題模型訓(xùn)練和詞矢量訓(xùn)練.在主題模型訓(xùn)練過程中,主題數(shù)目選擇為50、100、200、300、400等,在訓(xùn)練集上利用五折交叉驗證確定最優(yōu)主題數(shù).針對詞矢量的訓(xùn)練,使用開源工具word2vector2http://word2vec.googlecode.com/svn/trunk/訓(xùn)練得到維度為300的詞矢量.在使用相同外部數(shù)據(jù)的情況下,本文方法取得79.93%的性能,略高于基于LDA+MaxEnt方法的79.89%.從這一點可以看出,在使用外部數(shù)據(jù)進(jìn)行主題模型訓(xùn)練時,外部數(shù)據(jù)與實驗數(shù)據(jù)的相關(guān)性,是影響主題特征貢獻(xiàn)能力的一個重要因素.因此,當(dāng)面對一個新的分類任務(wù)時,文獻(xiàn)[7]中的方法需要根據(jù)領(lǐng)域知識重新挑選大量相關(guān)語料進(jìn)行主題模型訓(xùn)練,從一定程度來講,本文的方法更易實現(xiàn).

    表4 SVM、MaxEnt和本文方法的實驗結(jié)果Table 4 Evaluations of SVM,MaxEnt and the proposed method

    4.2.3 訓(xùn)練數(shù)據(jù)大小對分類效果的影響

    為了驗證本文方法對訓(xùn)練數(shù)據(jù)的依賴性,本文將訓(xùn)練數(shù)據(jù)保持原領(lǐng)域數(shù)據(jù)的分布比例不變平均分成10份,每次增加1份進(jìn)行試驗,在同一測試集上進(jìn)行測試,得到10組實驗結(jié)果,如圖3所示.由于SVM和MaxEnt的分類效果相差不大,因此僅選擇了MaxEnt作為基線系統(tǒng).隨著訓(xùn)練數(shù)據(jù)的減少,測試集中未登錄詞的比重會逐漸加大,MaxEnt的分類效果變化幅度較大,對訓(xùn)練數(shù)據(jù)的依賴性比較大.在訓(xùn)練數(shù)據(jù)稀缺的情況下(僅占原訓(xùn)練數(shù)據(jù)的1/10),本文方法能夠?qū)⒄_率從47.06%提高到71.54%(相對提高52%).從另一角度說明如何充分利用詞匯信息成為分類的關(guān)鍵,而這也是本文方法的關(guān)鍵.

    圖3 訓(xùn)練數(shù)據(jù)大小對分類效果的影響(1)Fig.3 Influence of training set size(1)

    為了進(jìn)一步檢驗訓(xùn)練數(shù)據(jù)對本文方法的影響,本文繼續(xù)將訓(xùn)練數(shù)據(jù)數(shù)量縮小,如圖4所示.在僅有100條訓(xùn)練數(shù)據(jù)的情況下,本文所提出的方法準(zhǔn)確率能夠達(dá)到51.4%,高于MaxEnt在1000條訓(xùn)練數(shù)據(jù)下的47.06%,這對于獲取訓(xùn)練數(shù)據(jù)比較困難的應(yīng)用來說,可以大大地降低對訓(xùn)練數(shù)據(jù)的依賴性.

    圖4 訓(xùn)練數(shù)據(jù)大小對分類效果的影響(2)Fig.4 Influence of training set size(2)

    5 結(jié)論

    本文摒棄了傳統(tǒng)的文本向量空間表示模型,提出概率語義分布模型,認(rèn)為短文本是來自于概率語義模型的一個抽樣,利用詞矢量將文本數(shù)字化,通過無標(biāo)記數(shù)據(jù)構(gòu)建通用語義背景模型,利用訓(xùn)練數(shù)據(jù)進(jìn)行自適應(yīng)得到目標(biāo)模型.實驗結(jié)果驗證了本文所提出方法的可行性,利用能夠表征語義和句法關(guān)系的詞矢量有效地降低了訓(xùn)練數(shù)據(jù)不充分所帶來的影響,短文本分類性能明顯優(yōu)于傳統(tǒng)的文本分類方法,降低了對訓(xùn)練數(shù)據(jù)的依賴性.雖然本文的實驗結(jié)果略低于基于主題模型的短文本分類系統(tǒng)的結(jié)果,但明顯優(yōu)于基于SVM和最大熵的分類算法,并且本文的方法無需準(zhǔn)備大量的相關(guān)數(shù)據(jù),在一定程度上本文方法更易實現(xiàn).

    1 Wang B K,Huang Y F,Yang W X,Li X.Short text classification based on strong feature thesaurus.Journal of Zhejiang University Science C,2012,13(9):649?659

    2 Zelikovitz S,Hirsh H.Improving short text classification using unlabeled background knowledge to assess document similarity.In:Proceedings of the 17th International Conference on Machine Learning.San Francisco,USA:Morgan Kaufmann,2000.1183?1190

    3 Bollegala D,Matsuo Y,Ishizuka M.Measuring semantic similarity between words using web search engines.In:Proceedings of the 16th International Conference on World Wide Web.New York,USA:ACM,2007.757?766

    4 Gabrilovich E,Markovitch S.Computing semantic relatedness using Wikipedia-based explicit semantic analysis.In: Proceedings of the 20th International Joint Conference on Artificial Intelligence.San Francisco,USA:Morgan Kaufmann,2007.1606?1611

    5 Banerjee S,Ramanathan K,Gupta A.Clustering short texts using Wikipedia.In:Proceedings of the 30th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval.New York,USA:ACM, 2007.787?788

    6 Lucene[Online],available:https://lucene.apache.org/,May 3,2016.

    7 Phan X H,Nguyen L M,Horiguchi S.Learning to classify short and sparse text&web with hidden topics from largescale data collections.In:Proceedings of the 17th International Conference on World Wide Web.New York,USA: ACM,2008.91?100

    8 Blei D M,Ng A Y,Jordan M I.Latent Dirichlet allocation. Journal of Machine Learning Research,2003,3:993?1022

    9 Kim Y.Convolutional neural networks for sentence classification.In:Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing.Doha,Qatar:Association for Computational Linguistics,2014.1746?1751

    10 Le Q,Mikolov T.Distributed representations of sentences and documents.In:Proceedings of the 31st International Conference on Machine Learning.Beijing,China:JMLR, 2014.1188?1196

    11 Kalchbrenner N,Grefenstette E,Blunsom P.A convolutional neural network for modelling sentences.In:Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics.Baltimore,USA:Association for Computational Linguistics,2014.655?665

    12 Landauer T K,Foltz P W,Laham D.An introduction to latent semantic analysis.Discourse Processes,1998,25(2?3): 259?284

    13 Mikolov T,Chen K,Corrado G,Dean J.Efficient estimation of word representations in vector space.arXiv:1301.3781, 2013.

    14 Turian J,Ratinov L,Bengio Y.Word representations:a simple and general method for semi-supervised learning.In: Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics.Uppsala,Sweden:Association for Computational Linguistics,2010.384?394

    15 Mikolov T,Yih W T,Zweig G.Linguistic Regularities in Continuous Space Word Representations.In:Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics:Human Language Technologies.Atlanta,Georgia:Association for Computational Linguistics,2013.746?751

    16 Reynolds D A.Speaker identification and verification using Gaussian mixture speaker models.Speech Communication, 1995,17(1?2):91?108

    17 Reynolds D A,Quatieri T F,Dunn R B.Speaker verification using adapted Gaussian mixture models.Digital Signal Processing,2000,10(1?3):19?41

    18 Collobert R,Weston J,Bottou L,Karlen M,Kavukcuoglu K,Kuksa P.Natural language processing(almost)from scratch.Journal of Machine Learning Research,2011,12: 2493?2537

    19 Mikolov T,Sutskever I,Chen K,Corrado G S,Dean J.Distributed representations of words and phrases and their compositionality.In:Proceedings of the 2013 Advances in Neural Information Processing Systems.Lake Tahoe,Nevada, USA:Curran Associates,Inc.,2013.3111?3119

    20 Porter M F.An algorithm for suffix stripping.Readings in Information Retrieval.San Francisco:Morgan Kaufmann, 1997.313?316

    21 LingG C,AsaharaM,MatsumotoY.Chineseunknown word identification using character-based tagging and chunking.In:Proceedings of the 41st Annual Meeting on Association for Computational Linguistics.Sapporo, Japan:Association for Computational Linguistics,2003. 197?200

    22 ParkerR,GraffD,Kong J B,Chen K,Maeda K.English Gigaword Fifth Edition[Online],available: https://catalog.ldc.upenn.edu/LDC2011T07,May 3,2016.

    23 Wang P,Xu B,Xu J M,Tian G H,Liu C L,Hao H W. Semantic expansion using word embedding clustering and convolutional neural network for improving short text classification.Neurocomputing,2016,174:806?814

    24 Hochreiter S,Schmidhuber J.Long short-term memory. Neural Computation,1997,9(8):1735?1780

    馬成龍 中國科學(xué)院聲學(xué)研究所博士研究生.2011年獲得山東大學(xué)(威海)通信工程學(xué)士學(xué)位.主要研究方向為自然語言處理,口語理解,情感分析,深度學(xué)習(xí).本文通信作者.

    E-mail:machenglong@hccl.ioa.ac.cn

    (MACheng-Long Ph.D.candidate at the Institute of Acoustics,Chinese Academy of Sciences.He received his bachelor degree from Shandong University,Weihai in 2011.His research interest covers natural language processing,spoken language understanding,sentiment analysis and deep learning.Corresponding author of this paper.)

    顏永紅 中國科學(xué)院聲學(xué)研究所語言聲學(xué)與內(nèi)容理解重點實驗室教授.1990年在清華大學(xué)獲得學(xué)士學(xué)位,1995年8月于美國俄勒岡研究院(Oregon Graduate Institute,OGI)獲得計算機(jī)科學(xué)和工程博士學(xué)位.他曾在OGI擔(dān)任助理教授(1995年),副教授(1998年)和副主任(1997年).主要研究方向為語音處理和識別,語言/說話人識別和人機(jī)界面.

    E-mail:yanyonghong@hccl.ioa.ac.cn

    (YAN Yong-Hong Professor at The Key Laboratory of Speech Acoustics and Content Understanding,Chinese Academy of Sciences.He received his bachelor degree from Tsinghua University in 1990,and Ph.D.degree from Oregon Graduate Institute(OGI),USA.He worked in OGI as assistant professor(1995),associate professor(1998)and associate director(1997)of Center for Spoken Language Understanding.His research interest covers speech processing and recognition,language/speaker recognition,and human computer interface.)

    Short Text Classification Based on Probabilistic Semantic Distribution

    MA Cheng-Long1YAN Yong-Hong1,2

    In short text classification,it is critical to deal with each word because of data sparsity.In this paper, we present a novel probabilistic semantic distribution model.Firstly,words are transformed to vectors by looking up word embeddings.Secondly,the universal background semantic model is trained based on unlabelled universal data through mixture Gaussian models.Then,target models are obtained by adapting the background model for each domain training data.Finally,the probability of the test data belonging to each target model is calculated.Experimental results demonstrate that our approach can make best use of each word and effectively reduce the influence of training data size. In comparison with the methods of support vector machine(SVM)and MaxEnt,the proposed method gains a 17.7% relative accuracy improvement.

    Short text classification,word embedding,semantic distribution,Gaussian mixture model

    馬成龍,顏永紅.基于概率語義分布的短文本分類.自動化學(xué)報,2016,42(11):1711?1717

    Ma Cheng-Long,Yan Yong-Hong.Short text classification based on probabilistic semantic distribution.Acta Automatica Sinica,2016,42(11):1711?1717

    2015-05-19 錄用日期2016-05-03

    Manuscript received May 19,2015;accepted May 3,2016

    國家高技術(shù)研究發(fā)展計劃 (863計劃)(2015AA016306),國家重點基礎(chǔ)研究發(fā)展計劃(973計劃)(2013CB329302),國家自然科學(xué)基金(11461141004,61271426,11504406,11590770,11590771, 11590772,11590773,11590774),中國科學(xué)院戰(zhàn)略性先導(dǎo)科技專項(XDA06030100,XDA06030500,XDA06040603)和新疆維吾爾自治區(qū)科技重大專項(201230118-3)資助

    Supported by National High Technology Research Program of China(863 Program)(2015AA016306),National Basic Research Program of China(973 Program)(2013CB329302),National Natural Science Foundation of China(11461141004,61271426, 11504406,11590770,11590771,11590772,11590773,11590774), the Strategic Priority Research Program of the Chinese Academy of Sciences(XDA06030100,XDA06030500,XDA06040603),and the Key Science and Technology Project of the Xinjiang Uygur Autonomous Region(201230118-3)

    本文責(zé)任編委趙鐵軍

    Recommended by Associate Editor ZHAO Tie-Jun

    1.中國科學(xué)院聲學(xué)研究所語言聲學(xué)與內(nèi)容理解重點實驗室 北京100190 2.新疆民族語音語言信息處理實驗室烏魯木齊830011

    1.The Key Laboratory of Speech Acoustics and Content Understanding,Institute of Acoustics,Chinese Academy of Sciences,Beijing 100190 2.Xinjiang Laboratory of Minority Speech and Language Information Processing,Urumchi 830011

    DOI 10.16383/j.aas.2016.c150268

    猜你喜歡
    高斯短文矢量
    小高斯的大發(fā)現(xiàn)
    矢量三角形法的應(yīng)用
    天才數(shù)學(xué)家——高斯
    KEYS
    Keys
    基于矢量最優(yōu)估計的穩(wěn)健測向方法
    三角形法則在動態(tài)平衡問題中的應(yīng)用
    有限域上高斯正規(guī)基的一個注記
    短文改錯
    短文改錯
    最近2019中文字幕mv第一页| 特大巨黑吊av在线直播| 午夜福利视频精品| 成人黄色视频免费在线看| 一级毛片黄色毛片免费观看视频| 亚洲国产精品999| 亚洲av在线观看美女高潮| 国产黄色视频一区二区在线观看| 亚洲欧美日韩卡通动漫| 欧美少妇被猛烈插入视频| 免费播放大片免费观看视频在线观看| 日本av免费视频播放| 两个人的视频大全免费| 尾随美女入室| 国产又色又爽无遮挡免| 久久精品熟女亚洲av麻豆精品| 女性被躁到高潮视频| 日韩成人av中文字幕在线观看| 精华霜和精华液先用哪个| 国产av精品麻豆| 亚洲在久久综合| 欧美97在线视频| 在线亚洲精品国产二区图片欧美 | 麻豆乱淫一区二区| 久久97久久精品| 各种免费的搞黄视频| 国产精品福利在线免费观看| 成人亚洲精品一区在线观看 | 欧美变态另类bdsm刘玥| 狂野欧美激情性bbbbbb| 欧美日韩国产mv在线观看视频 | 精品一区二区三卡| 午夜精品国产一区二区电影| 色婷婷久久久亚洲欧美| av卡一久久| 综合色丁香网| 男女国产视频网站| 美女视频免费永久观看网站| 蜜臀久久99精品久久宅男| 91精品国产国语对白视频| 色吧在线观看| 伦理电影大哥的女人| 亚洲精品乱码久久久v下载方式| 美女福利国产在线 | 免费不卡的大黄色大毛片视频在线观看| 国产精品久久久久久精品电影小说 | 精品国产一区二区三区久久久樱花 | 亚洲国产精品成人久久小说| 一级毛片电影观看| 3wmmmm亚洲av在线观看| 午夜福利在线观看免费完整高清在| 国产一区二区三区综合在线观看 | 2021少妇久久久久久久久久久| 深爱激情五月婷婷| 日韩中文字幕视频在线看片 | 日韩欧美精品免费久久| xxx大片免费视频| 最黄视频免费看| 22中文网久久字幕| 国产在线免费精品| 在线观看免费视频网站a站| 中文字幕免费在线视频6| 建设人人有责人人尽责人人享有的 | 99久久中文字幕三级久久日本| 只有这里有精品99| 日本-黄色视频高清免费观看| 国产探花极品一区二区| 大又大粗又爽又黄少妇毛片口| 国产深夜福利视频在线观看| 久久这里有精品视频免费| 日韩免费高清中文字幕av| 六月丁香七月| 青青草视频在线视频观看| 欧美另类一区| 大片电影免费在线观看免费| 丰满人妻一区二区三区视频av| 一区二区av电影网| 国产精品偷伦视频观看了| av网站免费在线观看视频| 三级国产精品欧美在线观看| 亚洲av二区三区四区| 少妇高潮的动态图| 日本黄色日本黄色录像| 亚洲国产精品999| 久久婷婷青草| 黄色欧美视频在线观看| 国产 一区 欧美 日韩| 在线观看人妻少妇| 久久久久久人妻| 国产91av在线免费观看| 中文字幕制服av| 国产精品99久久99久久久不卡 | 色综合色国产| 国产成人精品一,二区| 国产一级毛片在线| 2021少妇久久久久久久久久久| 欧美xxxx黑人xx丫x性爽| 欧美性感艳星| 亚洲精品国产成人久久av| 亚洲av.av天堂| 看非洲黑人一级黄片| 亚洲激情五月婷婷啪啪| 国产高潮美女av| 肉色欧美久久久久久久蜜桃| 性高湖久久久久久久久免费观看| 国产av一区二区精品久久 | 欧美激情极品国产一区二区三区 | 国产亚洲精品久久久com| 精品少妇久久久久久888优播| 美女xxoo啪啪120秒动态图| 高清av免费在线| 亚洲精品乱久久久久久| 少妇丰满av| 日韩av在线免费看完整版不卡| 亚洲国产高清在线一区二区三| 亚洲经典国产精华液单| 女性生殖器流出的白浆| 色5月婷婷丁香| 秋霞伦理黄片| 精品一品国产午夜福利视频| 老师上课跳d突然被开到最大视频| 久久99热6这里只有精品| 国产亚洲一区二区精品| 精品人妻熟女av久视频| 黄色视频在线播放观看不卡| 男人和女人高潮做爰伦理| 国内精品宾馆在线| 精品久久久精品久久久| 最后的刺客免费高清国语| 我要看黄色一级片免费的| videossex国产| 久久午夜福利片| 欧美日韩国产mv在线观看视频 | 日韩欧美一区视频在线观看 | 麻豆成人午夜福利视频| 人妻少妇偷人精品九色| 51国产日韩欧美| 国产成人aa在线观看| 麻豆乱淫一区二区| 蜜桃亚洲精品一区二区三区| 蜜桃久久精品国产亚洲av| 高清毛片免费看| 97在线人人人人妻| 国产日韩欧美亚洲二区| 国产乱人偷精品视频| 丝袜喷水一区| 男女无遮挡免费网站观看| 久热这里只有精品99| 午夜免费观看性视频| 熟女av电影| 欧美+日韩+精品| 亚洲,欧美,日韩| 三级经典国产精品| 亚洲成人av在线免费| 精品熟女少妇av免费看| 日韩av不卡免费在线播放| 亚洲精品,欧美精品| 亚洲天堂av无毛| 91久久精品电影网| 三级国产精品欧美在线观看| 欧美亚洲 丝袜 人妻 在线| 少妇被粗大猛烈的视频| 色婷婷av一区二区三区视频| 亚洲一级一片aⅴ在线观看| 国产国拍精品亚洲av在线观看| 国产精品一区二区在线不卡| 免费大片18禁| 国产av国产精品国产| 一区二区三区免费毛片| 老司机影院成人| 日韩一区二区三区影片| 亚洲精品456在线播放app| 亚洲美女搞黄在线观看| av在线老鸭窝| 少妇的逼水好多| 人人妻人人看人人澡| 小蜜桃在线观看免费完整版高清| 91精品一卡2卡3卡4卡| 亚洲欧美日韩东京热| 夜夜看夜夜爽夜夜摸| 深夜a级毛片| 国产亚洲5aaaaa淫片| 日产精品乱码卡一卡2卡三| 黄片无遮挡物在线观看| 成人国产麻豆网| 精品国产三级普通话版| 我的女老师完整版在线观看| 久久久国产一区二区| 国产精品女同一区二区软件| 视频中文字幕在线观看| 欧美zozozo另类| 亚洲色图综合在线观看| 少妇猛男粗大的猛烈进出视频| 丰满少妇做爰视频| 97精品久久久久久久久久精品| 18禁动态无遮挡网站| 老师上课跳d突然被开到最大视频| 在线观看免费视频网站a站| 亚洲精品一二三| 五月开心婷婷网| 你懂的网址亚洲精品在线观看| 国产成人精品久久久久久| 午夜福利在线在线| 日韩不卡一区二区三区视频在线| 国产一区亚洲一区在线观看| 多毛熟女@视频| 高清不卡的av网站| 春色校园在线视频观看| 午夜老司机福利剧场| 久久久久精品性色| 国产乱来视频区| 国产大屁股一区二区在线视频| 欧美变态另类bdsm刘玥| 亚洲精品一二三| 免费av不卡在线播放| 老司机影院毛片| 日本-黄色视频高清免费观看| 人妻夜夜爽99麻豆av| 欧美日韩视频精品一区| av免费在线看不卡| 有码 亚洲区| 最近中文字幕高清免费大全6| 精品久久久久久久末码| 日韩免费高清中文字幕av| 国产 精品1| 久久久久久久大尺度免费视频| 国产乱人偷精品视频| 男女无遮挡免费网站观看| 男女下面进入的视频免费午夜| 汤姆久久久久久久影院中文字幕| 精品国产乱码久久久久久小说| 一边亲一边摸免费视频| 噜噜噜噜噜久久久久久91| 91在线精品国自产拍蜜月| av国产精品久久久久影院| 日韩免费高清中文字幕av| 国产精品国产三级国产专区5o| 最近最新中文字幕大全电影3| 亚洲欧美成人精品一区二区| 成人亚洲精品一区在线观看 | 欧美bdsm另类| 一级a做视频免费观看| 国产精品爽爽va在线观看网站| 综合色丁香网| 18禁在线无遮挡免费观看视频| 国产精品嫩草影院av在线观看| 国产91av在线免费观看| 成人一区二区视频在线观看| 成人高潮视频无遮挡免费网站| 夜夜看夜夜爽夜夜摸| 亚洲成人中文字幕在线播放| 一本—道久久a久久精品蜜桃钙片| 观看美女的网站| 国产老妇伦熟女老妇高清| 99热这里只有精品一区| 80岁老熟妇乱子伦牲交| 黄色配什么色好看| 亚洲av欧美aⅴ国产| 亚洲伊人久久精品综合| 黄色怎么调成土黄色| 乱系列少妇在线播放| 欧美高清性xxxxhd video| av视频免费观看在线观看| 日韩欧美精品免费久久| 亚洲欧美中文字幕日韩二区| 涩涩av久久男人的天堂| 成人高潮视频无遮挡免费网站| 蜜臀久久99精品久久宅男| 又粗又硬又长又爽又黄的视频| 欧美成人一区二区免费高清观看| 超碰97精品在线观看| 国产成人午夜福利电影在线观看| 亚洲电影在线观看av| 婷婷色综合大香蕉| 久久99热这里只频精品6学生| 久久精品夜色国产| 免费黄频网站在线观看国产| 不卡视频在线观看欧美| 久久热精品热| 午夜激情久久久久久久| 一二三四中文在线观看免费高清| 久久精品国产亚洲网站| av在线老鸭窝| 免费人成在线观看视频色| 亚洲精品一二三| 老司机影院毛片| av黄色大香蕉| 国产精品99久久久久久久久| 赤兔流量卡办理| 性高湖久久久久久久久免费观看| 最近中文字幕2019免费版| 肉色欧美久久久久久久蜜桃| 三级国产精品欧美在线观看| 婷婷色综合大香蕉| 中国国产av一级| 日韩成人av中文字幕在线观看| 国产精品国产三级国产专区5o| 免费黄网站久久成人精品| 在线播放无遮挡| 波野结衣二区三区在线| av网站免费在线观看视频| 亚洲一级一片aⅴ在线观看| 精品一区在线观看国产| 久久久久久九九精品二区国产| 欧美日韩视频精品一区| 亚洲一区二区三区欧美精品| 国产成人精品婷婷| av又黄又爽大尺度在线免费看| 舔av片在线| 日本av手机在线免费观看| 午夜激情福利司机影院| 亚洲av不卡在线观看| 男人添女人高潮全过程视频| 午夜视频国产福利| 夫妻性生交免费视频一级片| 在线天堂最新版资源| 一区二区三区精品91| 久久久久久伊人网av| 国产亚洲欧美精品永久| 亚洲国产精品一区三区| 人妻系列 视频| 久久久久久久国产电影| 欧美97在线视频| 国产毛片在线视频| 女性生殖器流出的白浆| 久久精品久久久久久噜噜老黄| 十分钟在线观看高清视频www | 女性被躁到高潮视频| 亚洲va在线va天堂va国产| 国产黄色视频一区二区在线观看| 久久99热6这里只有精品| 极品少妇高潮喷水抽搐| 久久亚洲国产成人精品v| 成人亚洲欧美一区二区av| 亚洲精品日韩在线中文字幕| 精品久久久久久久久亚洲| 高清不卡的av网站| 国产 精品1| 极品少妇高潮喷水抽搐| 91精品一卡2卡3卡4卡| 国产亚洲5aaaaa淫片| 国内揄拍国产精品人妻在线| 夫妻午夜视频| 一区二区三区乱码不卡18| 亚洲美女搞黄在线观看| 国产成人午夜福利电影在线观看| 亚洲成人av在线免费| 亚洲欧美精品专区久久| 人人妻人人添人人爽欧美一区卜 | av国产精品久久久久影院| 六月丁香七月| 热re99久久精品国产66热6| 亚洲性久久影院| 1000部很黄的大片| 亚洲国产精品专区欧美| 午夜福利影视在线免费观看| 国产精品麻豆人妻色哟哟久久| 在线看a的网站| 啦啦啦在线观看免费高清www| 男人爽女人下面视频在线观看| av视频免费观看在线观看| 亚洲欧美精品专区久久| 久久精品久久精品一区二区三区| 亚洲美女搞黄在线观看| 国产精品久久久久久久电影| 最近最新中文字幕免费大全7| 我要看黄色一级片免费的| 日韩视频在线欧美| 纵有疾风起免费观看全集完整版| 国产男女内射视频| 97精品久久久久久久久久精品| 久久av网站| 3wmmmm亚洲av在线观看| 99久久综合免费| 成人一区二区视频在线观看| 国产乱人视频| 深爱激情五月婷婷| 欧美极品一区二区三区四区| 少妇高潮的动态图| 色吧在线观看| 国产成人免费观看mmmm| 免费观看的影片在线观看| 特大巨黑吊av在线直播| 久久这里有精品视频免费| 亚洲欧美一区二区三区黑人 | 亚洲综合色惰| 18禁在线播放成人免费| 如何舔出高潮| 人人妻人人看人人澡| 性高湖久久久久久久久免费观看| 99热网站在线观看| 五月玫瑰六月丁香| 黑人高潮一二区| 少妇猛男粗大的猛烈进出视频| 人妻少妇偷人精品九色| 国产日韩欧美亚洲二区| 国产欧美亚洲国产| 日日撸夜夜添| 毛片一级片免费看久久久久| 建设人人有责人人尽责人人享有的 | 亚洲怡红院男人天堂| 久久97久久精品| 欧美丝袜亚洲另类| 蜜桃久久精品国产亚洲av| 久久这里有精品视频免费| 自拍偷自拍亚洲精品老妇| 777米奇影视久久| 成人漫画全彩无遮挡| 久久久久精品性色| 99热这里只有精品一区| 久久国产精品大桥未久av | 久久婷婷青草| 欧美+日韩+精品| 男女啪啪激烈高潮av片| 高清av免费在线| 婷婷色综合www| 黄色视频在线播放观看不卡| 涩涩av久久男人的天堂| 亚洲成色77777| 高清午夜精品一区二区三区| 中文字幕人妻熟人妻熟丝袜美| 青春草亚洲视频在线观看| 欧美97在线视频| 亚洲国产av新网站| 人体艺术视频欧美日本| 边亲边吃奶的免费视频| 菩萨蛮人人尽说江南好唐韦庄| 欧美zozozo另类| 韩国高清视频一区二区三区| 在线播放无遮挡| 亚洲欧美成人综合另类久久久| 麻豆乱淫一区二区| 成人影院久久| 成年人午夜在线观看视频| 高清毛片免费看| 久久热精品热| 欧美国产精品一级二级三级 | 日本午夜av视频| 久久影院123| 亚洲精品成人av观看孕妇| 免费少妇av软件| 在线天堂最新版资源| 日韩制服骚丝袜av| 少妇猛男粗大的猛烈进出视频| 久久精品久久久久久久性| 亚洲人成网站在线观看播放| 久久久久久九九精品二区国产| 2018国产大陆天天弄谢| 久久午夜福利片| 99久久人妻综合| 免费大片黄手机在线观看| 2022亚洲国产成人精品| 国产欧美另类精品又又久久亚洲欧美| 成人无遮挡网站| 亚洲av不卡在线观看| 内射极品少妇av片p| 午夜福利高清视频| 亚洲自偷自拍三级| 六月丁香七月| 欧美高清性xxxxhd video| 国产精品国产av在线观看| 亚洲欧美一区二区三区黑人 | 免费大片黄手机在线观看| 肉色欧美久久久久久久蜜桃| 久久久久久伊人网av| 国产综合精华液| 国产美女午夜福利| 国产午夜精品一二区理论片| 日本黄大片高清| 97超视频在线观看视频| 亚洲精品第二区| av线在线观看网站| 免费大片黄手机在线观看| 亚洲天堂av无毛| 深爱激情五月婷婷| 韩国av在线不卡| 尾随美女入室| 精华霜和精华液先用哪个| 搡老乐熟女国产| 99久国产av精品国产电影| 少妇精品久久久久久久| 午夜视频国产福利| 伦理电影大哥的女人| 日本与韩国留学比较| 少妇的逼好多水| 夫妻午夜视频| 久久久久精品性色| 国产成人精品一,二区| 成人亚洲欧美一区二区av| 日韩精品有码人妻一区| 久久影院123| 亚洲成人一二三区av| 久久久精品免费免费高清| 精品人妻偷拍中文字幕| 国国产精品蜜臀av免费| 亚洲国产精品成人久久小说| av线在线观看网站| 精品国产一区二区三区久久久樱花 | 嫩草影院入口| 亚洲av综合色区一区| 国产伦在线观看视频一区| 国产真实伦视频高清在线观看| 国产精品女同一区二区软件| 日韩 亚洲 欧美在线| 成人美女网站在线观看视频| 你懂的网址亚洲精品在线观看| 久久久久久伊人网av| av卡一久久| 国产亚洲一区二区精品| 内射极品少妇av片p| 日日啪夜夜撸| 国产精品爽爽va在线观看网站| 99久久精品国产国产毛片| 中文字幕人妻熟人妻熟丝袜美| 黄色一级大片看看| 最新中文字幕久久久久| 欧美精品国产亚洲| 男男h啪啪无遮挡| 中文字幕亚洲精品专区| 精品人妻一区二区三区麻豆| 一个人看的www免费观看视频| 3wmmmm亚洲av在线观看| 久久精品久久精品一区二区三区| 国产精品一二三区在线看| 国产在线男女| 欧美精品一区二区免费开放| 久久ye,这里只有精品| 久久久久精品性色| 国产伦在线观看视频一区| 久久久午夜欧美精品| 偷拍熟女少妇极品色| 日韩一区二区三区影片| 国产伦在线观看视频一区| 国产 一区精品| 日本av手机在线免费观看| 成人二区视频| 岛国毛片在线播放| 久久久久精品久久久久真实原创| 精品久久久久久久末码| 日本欧美视频一区| 亚洲av日韩在线播放| 亚州av有码| 观看美女的网站| 一级av片app| 久久精品国产亚洲av涩爱| 精品人妻视频免费看| 爱豆传媒免费全集在线观看| 午夜免费鲁丝| 美女视频免费永久观看网站| 青春草视频在线免费观看| 久久女婷五月综合色啪小说| 亚洲欧洲国产日韩| 99久国产av精品国产电影| 午夜免费观看性视频| 免费高清在线观看视频在线观看| 一级二级三级毛片免费看| 中文字幕制服av| 色网站视频免费| 欧美精品国产亚洲| 少妇 在线观看| 99re6热这里在线精品视频| 视频区图区小说| 亚洲欧美日韩卡通动漫| 啦啦啦啦在线视频资源| 亚洲在久久综合| 国产成人免费观看mmmm| 一区二区三区免费毛片| 国产日韩欧美在线精品| 亚洲精品乱码久久久久久按摩| 欧美日韩视频高清一区二区三区二| 热re99久久精品国产66热6| 黄色配什么色好看| 欧美日韩精品成人综合77777| 少妇猛男粗大的猛烈进出视频| av线在线观看网站| 大香蕉久久网| 菩萨蛮人人尽说江南好唐韦庄| 毛片一级片免费看久久久久| 成人美女网站在线观看视频| 婷婷色麻豆天堂久久| 久久影院123| 熟女人妻精品中文字幕| 免费人成在线观看视频色| 国产精品福利在线免费观看| 欧美成人a在线观看| 日本欧美视频一区| 欧美精品一区二区大全| 美女xxoo啪啪120秒动态图| 免费看日本二区| 成人亚洲精品一区在线观看 | 特大巨黑吊av在线直播| 欧美+日韩+精品| 久久99热这里只有精品18| 熟女人妻精品中文字幕| 大香蕉久久网| 日本vs欧美在线观看视频 | 成人免费观看视频高清| 少妇精品久久久久久久| 91午夜精品亚洲一区二区三区| 一级a做视频免费观看| 极品教师在线视频| 国产黄片美女视频| 成人特级av手机在线观看| 丝瓜视频免费看黄片| 免费大片黄手机在线观看| 美女主播在线视频| 春色校园在线视频观看| 成人美女网站在线观看视频| 国产精品无大码| 午夜福利影视在线免费观看| 欧美老熟妇乱子伦牲交| 日本vs欧美在线观看视频 | 大话2 男鬼变身卡| 天美传媒精品一区二区| 免费少妇av软件|