• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    不同情境下中文文本分類模型的表現(xiàn)及選擇*

    2016-06-01 08:04:08蘭秋軍李衛(wèi)康劉文星
    關(guān)鍵詞:文本分類數(shù)據(jù)挖掘

    蘭秋軍,李衛(wèi)康, 劉文星

    (湖南大學(xué) 工商管理學(xué)院,湖南 長(zhǎng)沙 410082)

    ?

    不同情境下中文文本分類模型的表現(xiàn)及選擇*

    蘭秋軍?,李衛(wèi)康, 劉文星

    (湖南大學(xué) 工商管理學(xué)院,湖南 長(zhǎng)沙410082)

    摘要:針對(duì)中文文本分類任務(wù)中N-Gram,素貝葉斯、K最近鄰和TF-IDF等經(jīng)典而廣泛使用的文本分類模型的選擇困惑問(wèn)題,基于萬(wàn)余篇中文新聞文本語(yǔ)料數(shù)據(jù),設(shè)計(jì)了一系列的對(duì)比實(shí)驗(yàn),考察了各模型在不同參數(shù)、不同訓(xùn)練數(shù)據(jù)規(guī)模、不同訓(xùn)練文本長(zhǎng)度、類別是否偏斜等多種情境下分類性能的表現(xiàn),總結(jié)了各模型的特性,為中文文本分類模型的選擇和應(yīng)用提供了實(shí)踐依據(jù)和參考.

    關(guān)鍵詞:中文文本;文本分類;數(shù)據(jù)挖掘; 情報(bào)分析

    文本挖掘是語(yǔ)言學(xué)、統(tǒng)計(jì)學(xué)以及計(jì)算機(jī)技術(shù)相結(jié)合的產(chǎn)物,是對(duì)海量文本信息進(jìn)行自動(dòng)處理,獲取人們感興趣的、隱含的、有用信息的過(guò)程[1-2],在信息檢索、生物醫(yī)學(xué)、情報(bào)獲取、輿情分析和市場(chǎng)營(yíng)銷等眾多領(lǐng)域備受關(guān)注[3-5].文本分類作為文本挖掘領(lǐng)域中的核心技術(shù),是各種自然語(yǔ)言處理、應(yīng)用的基礎(chǔ).其中分類模型的選擇對(duì)最終結(jié)果具有至關(guān)重要的影響.然而,因所基于的原理、參數(shù)、應(yīng)用場(chǎng)合各不相同,即使相同的模型其性能表現(xiàn)也往往大相徑庭.

    新聞文本是一類常見(jiàn)的文本形式,其蘊(yùn)含的信息量大,是各種情報(bào)分析的重要數(shù)據(jù)源[6-7].盡管現(xiàn)有的各個(gè)新聞網(wǎng)站以欄目形式對(duì)新聞進(jìn)行了人工劃分,然而各網(wǎng)站的分類體系和欄目形式各不相同,因此在具體的新聞挖掘應(yīng)用項(xiàng)目中,常需將采集的新聞數(shù)據(jù)重新進(jìn)行組織和劃分.中文文本分類領(lǐng)域中具有代表性的模型是樸素貝葉斯、N-Gram,K最近鄰和TF-IDF.這些不同的模型各具有怎樣的特性?分別適合哪些場(chǎng)合?在使用時(shí)應(yīng)如何選取合適的參數(shù)?人們往往面臨困惑.由于各方法在處理細(xì)節(jié)上有不少差異,很難從理論分析的角度來(lái)比較各方法的優(yōu)劣.因此,基于典型數(shù)據(jù),采用實(shí)驗(yàn)的方式進(jìn)行比較是比較通行的做法[8-9].本文精心構(gòu)造了多組實(shí)驗(yàn),從模型參數(shù)選取、訓(xùn)練數(shù)據(jù)規(guī)模、訓(xùn)練文本長(zhǎng)度、數(shù)據(jù)是否偏斜等幾個(gè)情境來(lái)考察各模型在不同情境下的性能表現(xiàn),其結(jié)論對(duì)中文文本分類模型的選擇與參數(shù)設(shè)置等具有實(shí)踐指導(dǎo)意義.

    1模型概述

    文本分類就是通過(guò)計(jì)算機(jī)程序自動(dòng)將某個(gè)文檔歸屬到事先給定的類別體系中一個(gè)或多個(gè)類別.現(xiàn)有的文本分類方法大致可歸為兩類:基于規(guī)則的方法和基于機(jī)器學(xué)習(xí)的方法.其中基于規(guī)則的方法早在20世紀(jì)70年代就已出現(xiàn),但因規(guī)則制定的困難,目前普遍采用的是基于機(jī)器學(xué)習(xí)的方法.而機(jī)器學(xué)習(xí)方法中,基于統(tǒng)計(jì)的方法是最具有代表性和使用最為廣泛的[10].其中,N元模型(N-Gram)[11]、樸素貝葉斯(NB),K最近鄰(KNN)和TF-IDF又是其中最經(jīng)典的幾個(gè)模型.

    N-Gram模型基于馬爾科夫假設(shè),即下一詞的出現(xiàn)概率僅依賴于它前面的N個(gè)詞,統(tǒng)計(jì)N元詞串在各類別中出現(xiàn)概率,以此確定文檔歸屬于哪個(gè)類別[11-12].樸素貝葉斯模型基于貝葉斯定理,假設(shè)單詞兩兩獨(dú)立,獲得各文檔類別的后驗(yàn)概率,哪個(gè)類別概率值大,文檔即歸屬于該類別[13].KNN的主要思想是先將文檔內(nèi)容轉(zhuǎn)化為特征空間中的特征向量,計(jì)算待分類文檔與訓(xùn)練文檔中每個(gè)樣本的相似度,找出其中的k個(gè)最近鄰居,據(jù)此判別文檔所屬類別[14].TF-IDF則先將文本內(nèi)容轉(zhuǎn)化為特征向量,然后計(jì)算其與類別特征向量間的余弦相似度,以此作為其所屬類別的判據(jù)[15].分析上述模型,不難發(fā)現(xiàn),N-Gram模型主要是提取了不同類別文檔中字與字之間的順序依賴關(guān)系來(lái)構(gòu)造分類特征,樸素貝葉斯則提取了不同類別文檔中詞與詞之間的概率依賴關(guān)系構(gòu)成分類依據(jù),K近鄰直接利用了空間向量模型,以文檔相似性特征作為分類依據(jù),而TF-IDF則同時(shí)考慮了詞在文檔本身中的出現(xiàn)頻度以及其在不同文檔中的出現(xiàn)頻度信息.幾個(gè)模型所抓取的文檔類別信息特征明顯不同,很難在理論上判別哪個(gè)模型更好,更適合哪些情境.因此,從實(shí)驗(yàn)的角度來(lái)考察是更為切合實(shí)際的方案.

    2基礎(chǔ)與準(zhǔn)備

    2.1算法實(shí)現(xiàn)工具

    LingPipe是基于Java語(yǔ)言的自然語(yǔ)言處理的開(kāi)源軟件包,提供了文本挖掘各階段的基本功能.由于該軟件包的數(shù)據(jù)處理都基于一個(gè)共同框架,采用了相同的基礎(chǔ)源代碼模塊,故本文以其作為算法實(shí)現(xiàn)工具,可盡量減少模型本身之外的因素(如文本預(yù)處理階段的分詞、特征提取、文本表示等)給模型性能帶來(lái)的影響.

    2.2實(shí)驗(yàn)數(shù)據(jù)

    本文實(shí)驗(yàn)數(shù)據(jù)采集來(lái)自新浪、騰訊、鳳凰等主流網(wǎng)站.特地挑選了歷史、軍事、文化、讀書(shū)、社會(huì)幾個(gè)比較近似,甚至人工也容易分錯(cuò)的文本類別.其中,歷史類和軍事類的文章比較相近,而文化類和讀書(shū)類的也常相似.數(shù)據(jù)采集跨時(shí)2個(gè)月,去除了所有Html標(biāo)記和網(wǎng)頁(yè)中的噪聲文本,只包含標(biāo)題、正文內(nèi)容以及標(biāo)點(diǎn)符號(hào).共采集16 000篇,去除了部分重復(fù)和校驗(yàn)過(guò)程中有問(wèn)題的文檔,最終保留14 000篇作為本文研究的語(yǔ)料數(shù)據(jù).其中含歷史1 900篇,軍事1 600篇,文化2 500篇,讀書(shū)4 000篇,社會(huì)4 000篇.每篇文章按類別以txt文件的形式保存.各類別、不同文本長(zhǎng)度的文檔篇數(shù)分布情況如表1所示,所有文檔的長(zhǎng)度介于10 000字節(jié)以內(nèi),涵蓋了網(wǎng)頁(yè)中的絕大多數(shù)新聞文本長(zhǎng)度.

    2.3分詞與特征項(xiàng)

    盡管特征選擇和預(yù)處理措施都是影響文本分類性能的關(guān)鍵因素,但因各模型算法原理相差太大,無(wú)法基于統(tǒng)一的特征項(xiàng)和預(yù)處理進(jìn)行比較[16].因此,各模型的特征項(xiàng)均以詞頻為基礎(chǔ),采取各模型常用的特征形式和預(yù)處理方式.N-Gram模型本身不需分詞,因此未做分詞處理,而其它模型則應(yīng)用中科院分詞系統(tǒng)NLPIR_2014進(jìn)行分詞處理.

    2.4分類評(píng)價(jià)指標(biāo)

    LingPipe提供了一系列指標(biāo)對(duì)模型性能進(jìn)行評(píng)估.本文實(shí)驗(yàn)主要采用宏平均、微平均下的F值進(jìn)行評(píng)價(jià),它綜合考慮了準(zhǔn)確率、召回率兩個(gè)被廣泛認(rèn)可的分類器評(píng)價(jià)指標(biāo).其詳細(xì)定義和含義可參見(jiàn)相關(guān)文獻(xiàn)[17].此外,實(shí)驗(yàn)過(guò)程中,還記錄了各模型的訓(xùn)練和分類運(yùn)行時(shí)間.這也是反映分類模型性能的一個(gè)方面.

    注:1000以下表示1000字節(jié)以下,1000-2000表示1000字節(jié)-2000字節(jié),后同;單元格內(nèi)數(shù)字為文檔數(shù).

    3實(shí)驗(yàn)方案與結(jié)果

    從應(yīng)用角度來(lái)看,分類準(zhǔn)確度和處理效率是用戶最為關(guān)注的兩個(gè)方面.而影響這兩方面的因素?zé)o外乎模型本身和待處理的數(shù)據(jù),如圖1所示.模型本身因素具體包括模型的構(gòu)造機(jī)制和模型參數(shù).其中,模型機(jī)制對(duì)用戶而言是封裝的,要提升分類性能,用戶只能調(diào)整模型參數(shù).而數(shù)據(jù)方面,文本的詞語(yǔ)和語(yǔ)義特點(diǎn)太過(guò)復(fù)雜和精細(xì),用戶難以據(jù)此選擇模型.然而待處理文本的長(zhǎng)度、規(guī)模和偏斜程度等是影響分類性能的重要因素,用戶可以據(jù)此選擇最合適的模型.因此,本文主要設(shè)計(jì)了4組實(shí)驗(yàn)考察不同情境下中文文本分類模型的表現(xiàn).下面具體闡述各組實(shí)驗(yàn)的具體方案及結(jié)果.

    圖1 模型分類性能影響因素

    3.1模型參數(shù)與模型性能

    所述的4個(gè)分類模型中,NB模型和TF-IDF模型沒(méi)有參數(shù),而N-Gram和KNN模型則分別有一個(gè)關(guān)鍵參數(shù)N和K.先對(duì)這兩個(gè)模型進(jìn)行不同參數(shù)取值下的實(shí)驗(yàn).所采用的數(shù)據(jù)集文檔篇數(shù)情況如表2所示.

    表2 不同模型參數(shù)下的實(shí)驗(yàn)數(shù)據(jù)分布情況

    3.1.1關(guān)于N-Gram模型參數(shù)N的實(shí)驗(yàn)

    根據(jù)N-Gram模型中參數(shù)N的含義,字與字之間的概率依賴關(guān)系主要由詞組造成,漢語(yǔ)超過(guò)6個(gè)字的詞組已經(jīng)相當(dāng)稀少.本組實(shí)驗(yàn)考察了N取值為1,2,4,6,7的情形,獲得結(jié)果如表3所示.可見(jiàn),隨著N取值的加大,該分類器的分類性能也越高,但在N超過(guò)4以后,分類性能改善幅度已相當(dāng)小,而訓(xùn)練時(shí)間和測(cè)試時(shí)間卻成倍增長(zhǎng),為此,后述實(shí)驗(yàn)均取N=4,不再贅述.

    表3 N-Gram模型N值大小與性能關(guān)系

    3.1.2關(guān)于KNN模型參數(shù)K的實(shí)驗(yàn)

    參數(shù)K為經(jīng)驗(yàn)參數(shù),表示選取的近鄰個(gè)數(shù),其值的大小對(duì)于模型的分類性能有顯著的影響.實(shí)驗(yàn)中,為確定K最佳值,將K分別取值 1,3,5,10,20,獲得如表4所示結(jié)果.顯見(jiàn),隨著K值的增加,分類性能有緩慢下降趨勢(shì),表明并非選取的近鄰數(shù)越多越好.原因在于KNN基于向量空間模型,維數(shù)較高,數(shù)據(jù)比較稀疏,K值越大,反而可能帶來(lái)更多的誤判信息.本實(shí)驗(yàn)中,K取值為1時(shí)分類性能最優(yōu),因此在后述實(shí)驗(yàn)中均取該最優(yōu)值.

    表4 KNN模型K值大小與性能關(guān)系

    3.2訓(xùn)練集規(guī)模與模型性能

    為了考察各模型在不同訓(xùn)練集規(guī)模情境下的性能表現(xiàn),分8次小實(shí)驗(yàn),每次從實(shí)驗(yàn)語(yǔ)料中抽取1 000,2 000,3 000,4 000,5 000,6 000,7 000,8 000篇文檔構(gòu)成訓(xùn)練集,抽取1 000篇文檔構(gòu)成測(cè)試集.抽樣過(guò)程中,為了消除各類別新聞分布不一致、文本長(zhǎng)度不一致所帶來(lái)的影響,進(jìn)行了適度控制,即確保8次實(shí)驗(yàn)中,各類別新聞的比例保持一致,各文本長(zhǎng)度所占比例也保持一致.在此控制下,隨機(jī)抽取樣本,每次實(shí)驗(yàn)進(jìn)行3次,以其平均值作為最后結(jié)果.實(shí)驗(yàn)結(jié)果如表5所示,圖2展示了不同訓(xùn)練集規(guī)模情境下,模型性能(微平均下F值)的情況;圖3和圖4則分別展示了分類訓(xùn)練時(shí)間和測(cè)試時(shí)間與訓(xùn)練集規(guī)模的關(guān)系.

    由表5以及圖2~圖4可知,在各類別數(shù)據(jù)相近的情況下,隨著訓(xùn)練集規(guī)模的增大,各模型的分類性能也均得到提升并漸趨于平穩(wěn),與文獻(xiàn)[9]結(jié)論相同.KNN改善效果最為明顯.就運(yùn)行時(shí)間而言,各分類模型隨著訓(xùn)練集規(guī)模的增大,訓(xùn)練時(shí)間明顯增加,而測(cè)試時(shí)間僅KNN分類模型顯著增加,其它則變化微小.通過(guò)逐漸加大訓(xùn)練集規(guī)模,實(shí)驗(yàn)還發(fā)現(xiàn),在測(cè)試集不變的情況下,訓(xùn)練集達(dá)到一定規(guī)模后(例如7 000篇),即使再顯著增大訓(xùn)練集規(guī)模,分類性能的改善也非常微弱.

    表5 模型性能與訓(xùn)練集規(guī)模間關(guān)系

    訓(xùn)練集規(guī)模

    訓(xùn)練集規(guī)模

    訓(xùn)練集規(guī)模

    3.3文本長(zhǎng)度與性能

    為了考察各模型在不同文本長(zhǎng)度情境下性能的表現(xiàn),將訓(xùn)練數(shù)據(jù)的每個(gè)類別都按文檔大小進(jìn)行劃分,抽取5個(gè)子集,分別為1 000字節(jié)以下,1 000- 2 000字節(jié),2 000-3 000字節(jié),3 000-5 000字節(jié),5 000字節(jié)以上.在保證5個(gè)子集的類別分布和規(guī)模分布一致的前提下,隨機(jī)抽取樣本構(gòu)成訓(xùn)練數(shù)據(jù),實(shí)驗(yàn)數(shù)據(jù)如表6所示.該實(shí)驗(yàn)共進(jìn)行3次,取3次實(shí)驗(yàn)結(jié)果的平均值作為最終結(jié)果,如表7所示.圖5展示了不同文本長(zhǎng)度情境下,模型性能(微平均下F值)的情況;圖6和圖7則展示了分類訓(xùn)練時(shí)間和測(cè)試時(shí)間與文本長(zhǎng)度的關(guān)系.

    表6 文本長(zhǎng)度實(shí)驗(yàn)數(shù)據(jù)集示例

    表7 各模型性能與訓(xùn)練集文本長(zhǎng)度關(guān)系

    對(duì)文本長(zhǎng)度情境而言,從表7以及圖5~圖7可以看出,隨著文本長(zhǎng)度的增加,除KNN模型外,其它3個(gè)分類模型的準(zhǔn)確性能在初期快速提升,其后趨緩而漸趨平穩(wěn),但KNN快速提升后卻逐漸下降.實(shí)驗(yàn)還發(fā)現(xiàn),在文本長(zhǎng)度短時(shí)(小于1 000字節(jié)),TF-IDF模型要好于其它3個(gè)模型.從時(shí)間性能來(lái)看,各模型都隨文本長(zhǎng)度增加而近似呈線性增長(zhǎng)趨勢(shì).其中NB和TF-IDF相對(duì)較遜一籌.

    文本長(zhǎng)度

    文本長(zhǎng)度

    文本長(zhǎng)度

    3.4類別偏斜與模型性能

    為了考察各模型在類別是否偏斜情境下性能的表現(xiàn),我們?cè)O(shè)計(jì)了類別均衡和非均衡兩組實(shí)驗(yàn),實(shí)驗(yàn)數(shù)據(jù)集如表8所示,訓(xùn)練集和測(cè)試集規(guī)模相同,非均衡訓(xùn)練集中讀書(shū)和社會(huì)兩個(gè)類別遠(yuǎn)高于其它類別數(shù)據(jù),而均衡訓(xùn)練集中各類別文本數(shù)相同.每組實(shí)驗(yàn)共進(jìn)行3次,隨機(jī)抽取樣本構(gòu)成訓(xùn)練數(shù)據(jù).取3次實(shí)驗(yàn)結(jié)果的平均值作為最終結(jié)果,如表9所示.

    表8 文本類別偏斜實(shí)驗(yàn)數(shù)據(jù)集示例

    對(duì)類別偏斜情境而言,觀察可知,各模型整體性能及各類別分類性能在均衡訓(xùn)練集情境下的表現(xiàn)均優(yōu)于在非均衡訓(xùn)練集下的性能表現(xiàn).在非均衡訓(xùn)練集情境下,對(duì)各小類而言,包含文本數(shù)較多的讀書(shū)和社會(huì)兩個(gè)類別的分類性能要優(yōu)于其它類別,與文獻(xiàn)[18]對(duì)訓(xùn)練集類別分布對(duì)文本分類影響的研究結(jié)果類似.4個(gè)分類模型中,對(duì)于類別均衡數(shù)據(jù)而言,TF-IDF表現(xiàn)最佳,對(duì)于類別非均衡數(shù)據(jù)而言,NB表現(xiàn)最佳.

    表9 文本類別偏斜實(shí)驗(yàn)各小類分類情況(F1值)

    4結(jié)論

    本文所考察的幾個(gè)模型是當(dāng)前文本分類領(lǐng)域應(yīng)用最為廣泛、最為經(jīng)典的.在實(shí)踐當(dāng)中,各模型的表現(xiàn)各異,而在理論上又很難分析和評(píng)價(jià)其優(yōu)劣.為此本文構(gòu)建了多組實(shí)驗(yàn)來(lái)考察不同情境下各模型的表現(xiàn),形成的結(jié)論及模型選擇建議如下:

    1)幾個(gè)模型在運(yùn)行效率方面沒(méi)有明顯的區(qū)別,訓(xùn)練和測(cè)試時(shí)間都與數(shù)據(jù)集的規(guī)模和文本長(zhǎng)度呈線性關(guān)系.實(shí)驗(yàn)結(jié)果看,NB模型和TF-IDF雖然稍遜,但實(shí)際應(yīng)用中,此差別并不明顯,可以忽略.

    2)不管在何種情境下,KNN的表現(xiàn)都最差,因此不推薦采用此模型.

    3)從訓(xùn)練集規(guī)模來(lái)看,幾種模型都是隨著規(guī)模增大而分類精確性穩(wěn)步增加,訓(xùn)練集的大小不構(gòu)成模型選擇的關(guān)鍵依據(jù).

    4)N-Gram、TF-IDF、NB三個(gè)模型的分類精度受文本長(zhǎng)度的影響差別不大.都隨文本長(zhǎng)度的增加而精度得到提升,且都在長(zhǎng)度低于1 kb(約400漢字)時(shí)提升較明顯,而此后提升速度放緩.KNN則未能因文本長(zhǎng)度的增加而提升其精確度.

    5)對(duì)類別分布是否偏斜的情況,NB模型表現(xiàn)出良好的穩(wěn)定性,比N-Gram和TF-IDF都要好.因此,在類別偏斜嚴(yán)重的情況下,推薦采用NB模型.

    參考文獻(xiàn)

    [1]NASSIRTOUSSI A K, AGHABOZORGI S, WAH T Y,etal. Text mining for market prediction: A systematic review[J]. Expert Systems with Applications, 2014, 41(16): 7653-7670.

    [2]袁軍鵬, 朱東華, 李毅, 等. 文本挖掘技術(shù)研究進(jìn)展[J]. 計(jì)算機(jī)應(yīng)用研究, 2006,23(2):1-4.

    YUAN J P, ZHU D H, LI Y,etal. Survey of text mining technology[J]. Application Research of Computers, 2006,23(2):1-4. (In Chinese)

    [3]譚文堂, 王楨文, 殷風(fēng)景, 等. 一種面向多文本集的部分比較性混合模型[J]. 湖南大學(xué)學(xué)報(bào): 自然科學(xué)版, 2013, 40(11): 101-107.

    TAN W T, WANG Z W, YIN F J,etal. A partial comparative mixture model for multi-collections documents[J]. Journal of Hunan University: Natural Sciences Edition, 2013, 40(11): 101-107. (In Chinese)

    [4]ZHU F, PATUMCHAROENPOL P, ZHANG C,etal. Biomedical text mining and its applications in cancer research[J]. Journal of Biomedical Informatics, 2013, 46(2): 200-211.

    [5]XU X, CHENG X, TAN S,etal. Aspect-level opinion mining of online customer reviews[J]. Communications, China, 2013, 10(3): 25-41.

    [6]胡凌云,胡桂蘭,徐勇,等.基于Web的新聞文本分類技術(shù)研究[J].安徽大學(xué)學(xué)報(bào):自然科學(xué)版,2010,34(6):66-70.

    HU L Y, HU G L, XU Y,etal. Research of text classification technology based on Web news pages[J]. Journal of Anhui University: Natural Sciences Edition, 2010,34(6):66-70.(In Chinese)

    [7]蔡華麗,劉魯,王理. 突發(fā)事件Web新聞多層次自動(dòng)分類方法[J]. 北京工業(yè)大學(xué)學(xué)報(bào):自然科學(xué)版, 2011,37(6): 947-954.

    CAI H L, LIU L, WANG L. Automated multiple hierarchical classification of web news of unexpected events[J]. Journal of Beijing University of Technology, 2011,37(6): 947-954. (In Chinese)

    [8]蘇金樹(shù), 張博鋒, 徐昕. 基于機(jī)器學(xué)習(xí)的文本分類技術(shù)研究進(jìn)展[J]. 軟件學(xué)報(bào), 2006, 17(9): 1848-1859.

    SU J S, ZHANG B F, XU X.Advances in machine learning based text categorization[J].Journal of Software,2006, 17(9): 1848-1859. (In Chinese)

    [9]盧葦, 彭雅. 幾種常用文本分類算法性能比較與分析[J]. 湖南大學(xué)學(xué)報(bào):自然科學(xué)版, 2007, 34(6): 67-69.

    LU W, PENG Y. Performance comparison and analysis of several general text classification algorithms[J].Journal of Hunan University: Natural Sciences Edition, 2007, 34(6): 67-69. (In Chinese)

    [10]SEBASTIANI F. Machine learning in automated text categorization[J]. ACM Computing Surveys (CSUR), 2002, 34(1): 1-47.

    [11]BROWN P F, DESOUZA P V, MERCER R L,etal. Class based N-gram models of natural language[J]. Computational Linguistics, 1992, 18(4): 467-479.

    [12]楊健, 汪海航. 基于隱馬爾可夫模型的文本分類算法[J]. 計(jì)算機(jī)應(yīng)用, 2010, 30(9): 2348-2350.

    YANG J, WANG H H. Text classification algorithm based on hidden Markov model[J]. Journal of Computer Applications, 2010, 30(9): 2348-2350. (In Chinese)

    [13]熊志斌, 劉冬. 樸素貝葉斯在文本分類中的應(yīng)用[J]. 軟件導(dǎo)刊, 2013, 12(2):49-51.

    XIONG Z B, LIU D. Application of naive Bayes in documents[J]. Software Guide,2013, 12(2):49-51. (In Chinese)

    [14]張寧, 賈自艷, 史忠植. 使用 KNN 算法的文本分類[J]. 計(jì)算機(jī)工程, 2005, 31(8).

    ZHANG N, JIA Z Y, SHI Z Z. Text categorization with KNN algorithm [J]. Computer Engineering, 2005, 31(8). (In Chinese)

    [15]張玉芳, 彭時(shí)名, 呂佳. 基于文本分類 TFIDF 方法的改進(jìn)與應(yīng)用[J]. 計(jì)算機(jī)工程, 2006, 32(19): 76-78.

    ZHANG Y F, PENG S M, LV J. Improvement and application of TFIDF method based on text classification [J]. Computer Engineering, 2006, 32(19): 76-78. (In Chinese)

    [16]李明江.結(jié)合類詞頻的文本特征選擇方法的研究[J].計(jì)算機(jī)應(yīng)用研究,2014,31(7): 2024-2026.

    LI M J. Research on method of feature selection in text combined with word frequency in class[J]. Application Research of Computers, 2014,31(7): 2024-2026. (In Chinese)

    [17]陳建華. 中文文本分類特征選擇方法研究[D]. 西北師范大學(xué),2012.

    CHEN J H. Research of feature selection method for Chinese text classification[D]. Northwest Normal University, 2012. (In Chinese)

    [18]張啟蕊, 張凌, 董守斌, 等. 訓(xùn)練集類別分布對(duì)文本分類的影響[J]. 清華大學(xué)學(xué)報(bào): 自然科學(xué)版, 2005,45(S1).

    ZHANG Q R,ZHANG L,DONG S B,etal. Effects of category distribution in a training set on text categorization[J]. Journal of Tsinghua University: Science and Technology, 2005,45(S1). (In Chinese)

    Performance and Choice of Chinese Text Classification Models in Different Situations

    LAN Qiu-jun?, LI Wei-kang, LIU Wen-xing

    (Business School, Hunan Univ, Changsha, Hunan410082,China )

    Abstract:N-Gram, Na?ve Bayes, K nearest neighbors and TF-IDF are classical text classification models with a wide range of applications. People are often puzzled about which classification model should be used in a certain Chinese text classification task. This paper collected more than ten thousand Chinese news texts, and designed a series of experiments to analyze the performance of these models in varied situations from classification parameters, training data scale, text length and skewed data sets. The characteristics of these models were summarized, which provides a practical guide for the model selection in Chinese text classification tasks.

    Key words:Chinese text; text classification; data mining; information analysis

    中圖分類號(hào):TP274;TP302

    文獻(xiàn)標(biāo)識(shí)碼:A

    作者簡(jiǎn)介:蘭秋軍(1972-),男,湖南婁底人,湖南大學(xué)副教授,博士?通訊聯(lián)系人,E-mail:lanqiujun@hnu.edu.cn

    收稿日期:2014-11-08基金項(xiàng)目:國(guó)家自然科學(xué)基金資助項(xiàng)目(71171076),National Natural Science Foundation of China(71171076)

    文章編號(hào):1674-2974(2016)04-0141-06

    猜你喜歡
    文本分類數(shù)據(jù)挖掘
    探討人工智能與數(shù)據(jù)挖掘發(fā)展趨勢(shì)
    基于并行計(jì)算的大數(shù)據(jù)挖掘在電網(wǎng)中的應(yīng)用
    電力與能源(2017年6期)2017-05-14 06:19:37
    基于組合分類算法的源代碼注釋質(zhì)量評(píng)估方法
    基于貝葉斯分類器的中文文本分類
    數(shù)據(jù)挖掘技術(shù)在中醫(yī)診療數(shù)據(jù)分析中的應(yīng)用
    基于蟻群智能算法的研究文本分類
    基于樸素貝葉斯分類的Java課程網(wǎng)絡(luò)答疑反饋系統(tǒng)
    基于K—means算法的文本分類技術(shù)研究
    文本分類算法在山東女子學(xué)院檔案管理的應(yīng)用
    科技視界(2016年24期)2016-10-11 09:36:57
    一種基于Hadoop的大數(shù)據(jù)挖掘云服務(wù)及應(yīng)用
    咕卡用的链子| 99国产精品一区二区三区| 精品久久久久久久久久免费视频| 久久天堂一区二区三区四区| 久久婷婷人人爽人人干人人爱 | 18美女黄网站色大片免费观看| 搡老妇女老女人老熟妇| 黑丝袜美女国产一区| 国产精品一区二区三区四区久久 | 999久久久精品免费观看国产| 少妇 在线观看| 老汉色∧v一级毛片| 国产一区二区三区视频了| 此物有八面人人有两片| 日韩 欧美 亚洲 中文字幕| 黄色女人牲交| 国产精品,欧美在线| 长腿黑丝高跟| 叶爱在线成人免费视频播放| 欧美日韩乱码在线| 夜夜爽天天搞| 午夜精品久久久久久毛片777| 欧美久久黑人一区二区| 精品一区二区三区视频在线观看免费| 欧美日本中文国产一区发布| 女警被强在线播放| 色播在线永久视频| 亚洲欧美日韩无卡精品| 国产一区二区三区在线臀色熟女| 波多野结衣一区麻豆| 精品欧美一区二区三区在线| 国产亚洲欧美98| 色av中文字幕| 午夜免费鲁丝| 看黄色毛片网站| 色综合婷婷激情| 亚洲av片天天在线观看| 色综合婷婷激情| 亚洲一区二区三区不卡视频| 搞女人的毛片| 成年版毛片免费区| 日本黄色视频三级网站网址| 久久久久亚洲av毛片大全| 欧美在线黄色| 国产精品,欧美在线| 国产一区二区三区在线臀色熟女| 一个人观看的视频www高清免费观看 | 久久精品91蜜桃| 亚洲视频免费观看视频| 麻豆国产av国片精品| 精品国产乱子伦一区二区三区| 757午夜福利合集在线观看| 黑人巨大精品欧美一区二区蜜桃| 亚洲全国av大片| 久久热在线av| 好看av亚洲va欧美ⅴa在| 夜夜看夜夜爽夜夜摸| 欧美日本亚洲视频在线播放| 久久国产精品人妻蜜桃| 久9热在线精品视频| 成人亚洲精品av一区二区| 国产精品野战在线观看| av免费在线观看网站| 午夜免费成人在线视频| 成人特级黄色片久久久久久久| 精品国产超薄肉色丝袜足j| 精品国产一区二区三区四区第35| 久久人妻福利社区极品人妻图片| 国产国语露脸激情在线看| 欧美另类亚洲清纯唯美| 美国免费a级毛片| 少妇粗大呻吟视频| 少妇被粗大的猛进出69影院| 亚洲av日韩精品久久久久久密| 高清黄色对白视频在线免费看| 一进一出抽搐动态| 国产成人av激情在线播放| 手机成人av网站| 成人特级黄色片久久久久久久| 日韩成人在线观看一区二区三区| 波多野结衣av一区二区av| 一a级毛片在线观看| 国产xxxxx性猛交| 亚洲男人天堂网一区| 国产亚洲欧美在线一区二区| 国产高清有码在线观看视频 | 日韩高清综合在线| av免费在线观看网站| 亚洲av成人不卡在线观看播放网| 午夜福利,免费看| 一级,二级,三级黄色视频| 两人在一起打扑克的视频| 一级毛片女人18水好多| 精品福利观看| 韩国精品一区二区三区| 国产三级在线视频| 超碰成人久久| 亚洲一区中文字幕在线| 中文字幕人成人乱码亚洲影| 黑丝袜美女国产一区| 日韩视频一区二区在线观看| 久久人妻熟女aⅴ| 99香蕉大伊视频| 精品一区二区三区av网在线观看| 亚洲欧美精品综合一区二区三区| 午夜福利欧美成人| 美女大奶头视频| 色哟哟哟哟哟哟| 午夜精品国产一区二区电影| av网站免费在线观看视频| 高清毛片免费观看视频网站| 丰满人妻熟妇乱又伦精品不卡| 久久久久久亚洲精品国产蜜桃av| 咕卡用的链子| ponron亚洲| 亚洲熟妇熟女久久| 性少妇av在线| 搞女人的毛片| 婷婷六月久久综合丁香| 亚洲人成电影观看| 国产1区2区3区精品| 嫩草影视91久久| 亚洲精品粉嫩美女一区| 99久久国产精品久久久| 看片在线看免费视频| 此物有八面人人有两片| 免费女性裸体啪啪无遮挡网站| 国产单亲对白刺激| 麻豆成人av在线观看| 精品乱码久久久久久99久播| 午夜精品久久久久久毛片777| 亚洲 欧美一区二区三区| 纯流量卡能插随身wifi吗| 亚洲无线在线观看| 可以免费在线观看a视频的电影网站| 欧美绝顶高潮抽搐喷水| 国产一卡二卡三卡精品| bbb黄色大片| 咕卡用的链子| 1024香蕉在线观看| 三级毛片av免费| 欧美日本视频| 黄色女人牲交| 日韩有码中文字幕| 搞女人的毛片| 99精品欧美一区二区三区四区| 午夜精品久久久久久毛片777| 亚洲五月天丁香| 欧美成人免费av一区二区三区| 国产乱人伦免费视频| 亚洲自拍偷在线| 日本a在线网址| 国产亚洲欧美98| 9色porny在线观看| 亚洲专区中文字幕在线| 亚洲av熟女| 国产人伦9x9x在线观看| 国产精品久久久久久亚洲av鲁大| 人成视频在线观看免费观看| 中文字幕av电影在线播放| 一进一出抽搐gif免费好疼| or卡值多少钱| 高清在线国产一区| 久久婷婷成人综合色麻豆| 视频区欧美日本亚洲| 精品久久蜜臀av无| 亚洲精品国产区一区二| 免费看美女性在线毛片视频| 制服人妻中文乱码| 国产野战对白在线观看| 18禁裸乳无遮挡免费网站照片 | 日日摸夜夜添夜夜添小说| 国产精品影院久久| 日本 欧美在线| 九色国产91popny在线| 女人被躁到高潮嗷嗷叫费观| 久久久久久久精品吃奶| 一级毛片高清免费大全| 国产欧美日韩一区二区三| 成年人黄色毛片网站| 麻豆一二三区av精品| 亚洲成人精品中文字幕电影| 国产精华一区二区三区| 一本大道久久a久久精品| 一a级毛片在线观看| 两性夫妻黄色片| 看片在线看免费视频| 巨乳人妻的诱惑在线观看| 99国产精品一区二区蜜桃av| 黑人欧美特级aaaaaa片| 久久国产乱子伦精品免费另类| 啪啪无遮挡十八禁网站| 丁香六月欧美| 久热这里只有精品99| 久9热在线精品视频| 精品卡一卡二卡四卡免费| 无人区码免费观看不卡| 激情在线观看视频在线高清| 亚洲精品粉嫩美女一区| 国产激情久久老熟女| 国产99白浆流出| 嫩草影院精品99| 亚洲男人的天堂狠狠| 妹子高潮喷水视频| 国产高清有码在线观看视频 | 亚洲熟妇熟女久久| 丰满人妻熟妇乱又伦精品不卡| 午夜福利高清视频| 久久精品国产亚洲av高清一级| 国产精品一区二区免费欧美| 美女午夜性视频免费| 欧美在线一区亚洲| 色综合婷婷激情| 男人舔女人下体高潮全视频| 三级毛片av免费| 国产精品1区2区在线观看.| 亚洲av成人av| 免费久久久久久久精品成人欧美视频| 好男人电影高清在线观看| 久久精品国产亚洲av高清一级| 夜夜躁狠狠躁天天躁| 91成人精品电影| 在线观看免费日韩欧美大片| 超碰成人久久| 亚洲av日韩精品久久久久久密| 久久久久国产一级毛片高清牌| 亚洲精品在线美女| 久久久久久久精品吃奶| 国产99久久九九免费精品| 在线视频色国产色| 在线观看免费午夜福利视频| 亚洲欧美日韩另类电影网站| 搡老妇女老女人老熟妇| 一级毛片精品| 久久中文看片网| 99久久精品国产亚洲精品| 国产精品1区2区在线观看.| 国产成人精品在线电影| 亚洲情色 制服丝袜| 国产三级在线视频| 久久香蕉激情| 日本黄色视频三级网站网址| 日韩av在线大香蕉| 女人爽到高潮嗷嗷叫在线视频| 久久精品国产亚洲av香蕉五月| bbb黄色大片| 国产亚洲av高清不卡| 国产精品自产拍在线观看55亚洲| 脱女人内裤的视频| 黄色女人牲交| 色av中文字幕| 乱人伦中国视频| 久久久久国内视频| 老熟妇乱子伦视频在线观看| av在线天堂中文字幕| 精品久久久久久久久久免费视频| 欧美黑人精品巨大| 91麻豆av在线| 日本五十路高清| 香蕉国产在线看| 欧美精品啪啪一区二区三区| or卡值多少钱| 国产1区2区3区精品| 免费av毛片视频| 亚洲成a人片在线一区二区| 黄网站色视频无遮挡免费观看| 日韩欧美免费精品| 一区二区三区国产精品乱码| 99热只有精品国产| 午夜久久久在线观看| 自线自在国产av| 欧美成人一区二区免费高清观看 | 久久久久久久久久久久大奶| 天天一区二区日本电影三级 | 两性午夜刺激爽爽歪歪视频在线观看 | 午夜久久久在线观看| 国产欧美日韩一区二区三区在线| 欧美成狂野欧美在线观看| 欧美日韩瑟瑟在线播放| 黄色视频,在线免费观看| 久久人妻av系列| 日本欧美视频一区| 操美女的视频在线观看| 国产精品久久久久久亚洲av鲁大| 亚洲三区欧美一区| 91av网站免费观看| 亚洲国产欧美网| 天堂√8在线中文| 多毛熟女@视频| 人人妻,人人澡人人爽秒播| 亚洲人成电影观看| 精品少妇一区二区三区视频日本电影| 免费人成视频x8x8入口观看| 国产免费男女视频| 日韩视频一区二区在线观看| 日日爽夜夜爽网站| 亚洲av成人av| 啦啦啦观看免费观看视频高清 | 制服人妻中文乱码| 国产精品久久久久久精品电影 | 欧美国产精品va在线观看不卡| 日韩三级视频一区二区三区| 久久人人爽av亚洲精品天堂| 久久天堂一区二区三区四区| 亚洲国产精品久久男人天堂| 99re在线观看精品视频| 国产精品亚洲av一区麻豆| 久久久久久人人人人人| 成年人黄色毛片网站| 在线观看66精品国产| 欧美日韩乱码在线| 中文字幕精品免费在线观看视频| 国产一区二区三区在线臀色熟女| 国产成人免费无遮挡视频| 欧美黑人欧美精品刺激| xxx96com| 午夜免费观看网址| 国内久久婷婷六月综合欲色啪| 日韩成人在线观看一区二区三区| 日本撒尿小便嘘嘘汇集6| 老熟妇仑乱视频hdxx| a在线观看视频网站| 女性被躁到高潮视频| 亚洲狠狠婷婷综合久久图片| 亚洲午夜理论影院| 亚洲无线在线观看| 国产1区2区3区精品| 亚洲熟妇中文字幕五十中出| 怎么达到女性高潮| 欧美日本中文国产一区发布| 夜夜躁狠狠躁天天躁| 久久精品国产清高在天天线| 国内久久婷婷六月综合欲色啪| 99re在线观看精品视频| 大码成人一级视频| 成人三级黄色视频| 女人被狂操c到高潮| 久久欧美精品欧美久久欧美| 国产成人av教育| 久久婷婷成人综合色麻豆| 黄片大片在线免费观看| 亚洲国产高清在线一区二区三 | 可以在线观看的亚洲视频| 黄网站色视频无遮挡免费观看| 午夜福利在线观看吧| 又黄又爽又免费观看的视频| 欧美日韩乱码在线| 女性被躁到高潮视频| 性色av乱码一区二区三区2| 午夜日韩欧美国产| 亚洲人成77777在线视频| 窝窝影院91人妻| 十八禁网站免费在线| 91老司机精品| 日本精品一区二区三区蜜桃| 91老司机精品| 国产黄a三级三级三级人| 一级毛片女人18水好多| 久久精品影院6| 人妻丰满熟妇av一区二区三区| 88av欧美| 人妻丰满熟妇av一区二区三区| 深夜精品福利| 高潮久久久久久久久久久不卡| 午夜免费观看网址| 我的亚洲天堂| 国产一区二区三区综合在线观看| 一级毛片女人18水好多| 女性生殖器流出的白浆| 中文字幕高清在线视频| videosex国产| 精品高清国产在线一区| 国产精品九九99| 亚洲欧美日韩高清在线视频| 久久精品影院6| 亚洲 欧美一区二区三区| 变态另类丝袜制服| 国产成人免费无遮挡视频| 美女高潮到喷水免费观看| 欧美最黄视频在线播放免费| 久久久国产精品麻豆| 丁香六月欧美| 成在线人永久免费视频| 不卡av一区二区三区| 欧美日韩乱码在线| 老熟妇乱子伦视频在线观看| 亚洲精品久久国产高清桃花| 亚洲三区欧美一区| 久久香蕉激情| 午夜免费成人在线视频| 性欧美人与动物交配| 国产在线观看jvid| √禁漫天堂资源中文www| 亚洲片人在线观看| 国产av一区在线观看免费| 婷婷六月久久综合丁香| 亚洲情色 制服丝袜| 91精品三级在线观看| 50天的宝宝边吃奶边哭怎么回事| 琪琪午夜伦伦电影理论片6080| 国产激情欧美一区二区| 精品久久久久久久毛片微露脸| 黑人操中国人逼视频| 国产一区二区三区在线臀色熟女| 老司机深夜福利视频在线观看| 欧美日韩亚洲综合一区二区三区_| 国产亚洲精品av在线| 亚洲av电影在线进入| 一区二区三区国产精品乱码| 少妇裸体淫交视频免费看高清 | 精品久久久久久成人av| 色综合亚洲欧美另类图片| 国产日韩一区二区三区精品不卡| 亚洲精品粉嫩美女一区| 美国免费a级毛片| 满18在线观看网站| 亚洲精品一卡2卡三卡4卡5卡| 国产成人影院久久av| 夜夜看夜夜爽夜夜摸| 午夜精品在线福利| 国产精品影院久久| 亚洲av电影不卡..在线观看| 亚洲成人国产一区在线观看| 一级毛片精品| 免费女性裸体啪啪无遮挡网站| 欧美不卡视频在线免费观看 | 狠狠狠狠99中文字幕| 女性被躁到高潮视频| 1024视频免费在线观看| 999久久久精品免费观看国产| 欧美色视频一区免费| 欧美一区二区精品小视频在线| 亚洲人成伊人成综合网2020| 精品国产一区二区三区四区第35| 高清在线国产一区| 亚洲精品粉嫩美女一区| 又黄又粗又硬又大视频| 一级片免费观看大全| 女同久久另类99精品国产91| 欧美色视频一区免费| 波多野结衣高清无吗| 女人精品久久久久毛片| 久久精品国产亚洲av香蕉五月| 国产在线精品亚洲第一网站| 国产三级黄色录像| 91九色精品人成在线观看| 性色av乱码一区二区三区2| av免费在线观看网站| 高清毛片免费观看视频网站| 91字幕亚洲| 国产区一区二久久| 久久亚洲精品不卡| 精品乱码久久久久久99久播| 禁无遮挡网站| 男人舔女人的私密视频| 欧美一级毛片孕妇| 亚洲激情在线av| 啦啦啦观看免费观看视频高清 | av免费在线观看网站| 亚洲成av人片免费观看| www.自偷自拍.com| 精品久久久久久成人av| 十八禁网站免费在线| 欧美日本视频| 一级,二级,三级黄色视频| 久久婷婷成人综合色麻豆| 日韩一卡2卡3卡4卡2021年| 国产在线观看jvid| xxx96com| 极品教师在线免费播放| 侵犯人妻中文字幕一二三四区| 在线观看免费日韩欧美大片| 亚洲一区二区三区色噜噜| 老司机午夜十八禁免费视频| 亚洲国产看品久久| 高潮久久久久久久久久久不卡| 黑丝袜美女国产一区| 亚洲色图av天堂| 大香蕉久久成人网| 老司机靠b影院| 性少妇av在线| 精品国产美女av久久久久小说| 窝窝影院91人妻| 一夜夜www| 亚洲精品一卡2卡三卡4卡5卡| 久9热在线精品视频| 久久久国产欧美日韩av| 国产精品永久免费网站| 久久久久久久午夜电影| 欧美日韩瑟瑟在线播放| 精品欧美国产一区二区三| 日韩欧美国产一区二区入口| 校园春色视频在线观看| 天堂动漫精品| 精品久久久精品久久久| 国产精品 国内视频| 欧美亚洲日本最大视频资源| 一进一出抽搐动态| 国产高清激情床上av| 50天的宝宝边吃奶边哭怎么回事| 制服丝袜大香蕉在线| 黄色成人免费大全| 国产av又大| 最好的美女福利视频网| 亚洲第一电影网av| 岛国视频午夜一区免费看| 免费一级毛片在线播放高清视频 | 色哟哟哟哟哟哟| 首页视频小说图片口味搜索| 欧美午夜高清在线| netflix在线观看网站| 色精品久久人妻99蜜桃| 黑人巨大精品欧美一区二区蜜桃| 久久伊人香网站| 在线天堂中文资源库| www日本在线高清视频| 黄片大片在线免费观看| 国产三级在线视频| xxx96com| 免费女性裸体啪啪无遮挡网站| 亚洲 欧美 日韩 在线 免费| 性少妇av在线| 久久中文看片网| 在线观看舔阴道视频| 最近最新免费中文字幕在线| 黑人巨大精品欧美一区二区蜜桃| 成人18禁在线播放| 国产一区二区三区在线臀色熟女| 亚洲欧美日韩另类电影网站| 99久久精品国产亚洲精品| 91麻豆精品激情在线观看国产| 黑人操中国人逼视频| www.www免费av| 日韩欧美国产一区二区入口| 国产av一区在线观看免费| 精品久久久久久久毛片微露脸| 在线观看66精品国产| 极品人妻少妇av视频| 精品人妻在线不人妻| 成人精品一区二区免费| 一个人观看的视频www高清免费观看 | 91成人精品电影| 午夜久久久久精精品| 俄罗斯特黄特色一大片| 在线观看www视频免费| www国产在线视频色| 亚洲久久久国产精品| 宅男免费午夜| 韩国av一区二区三区四区| 黄片大片在线免费观看| 成人三级黄色视频| 国产99久久九九免费精品| 免费人成视频x8x8入口观看| 97碰自拍视频| 成人18禁高潮啪啪吃奶动态图| 免费高清在线观看日韩| 女同久久另类99精品国产91| 欧美黄色淫秽网站| 岛国视频午夜一区免费看| 亚洲va日本ⅴa欧美va伊人久久| 波多野结衣一区麻豆| 亚洲第一av免费看| 中文字幕久久专区| 国产精品久久久久久人妻精品电影| 亚洲专区中文字幕在线| 正在播放国产对白刺激| 国产精品自产拍在线观看55亚洲| 亚洲电影在线观看av| 久久久国产成人精品二区| 国产成年人精品一区二区| 亚洲自偷自拍图片 自拍| 亚洲一卡2卡3卡4卡5卡精品中文| 久久精品aⅴ一区二区三区四区| 麻豆一二三区av精品| 又大又爽又粗| 最好的美女福利视频网| 午夜免费鲁丝| 久久亚洲真实| 涩涩av久久男人的天堂| 免费在线观看日本一区| 亚洲国产精品成人综合色| 日韩免费av在线播放| 欧洲精品卡2卡3卡4卡5卡区| 成人亚洲精品一区在线观看| 夜夜看夜夜爽夜夜摸| 人妻久久中文字幕网| 美女高潮到喷水免费观看| 精品少妇一区二区三区视频日本电影| 性欧美人与动物交配| 啦啦啦 在线观看视频| 亚洲欧美精品综合一区二区三区| 亚洲人成伊人成综合网2020| 美女高潮喷水抽搐中文字幕| 欧美性长视频在线观看| 在线观看日韩欧美| 午夜福利一区二区在线看| 成人永久免费在线观看视频| tocl精华| 午夜a级毛片| 女人爽到高潮嗷嗷叫在线视频| 一区在线观看完整版| avwww免费| 看黄色毛片网站| 18禁裸乳无遮挡免费网站照片 | 亚洲第一青青草原| 亚洲自偷自拍图片 自拍| 一进一出抽搐动态| 亚洲av美国av| 女性被躁到高潮视频| 国内精品久久久久久久电影| 日韩欧美三级三区| 免费无遮挡裸体视频| 性少妇av在线| 日韩三级视频一区二区三区| 国产精品亚洲一级av第二区|