• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    不同情境下中文文本分類模型的表現(xiàn)及選擇*

    2016-06-01 08:04:08蘭秋軍李衛(wèi)康劉文星
    關(guān)鍵詞:文本分類數(shù)據(jù)挖掘

    蘭秋軍,李衛(wèi)康, 劉文星

    (湖南大學(xué) 工商管理學(xué)院,湖南 長(zhǎng)沙 410082)

    ?

    不同情境下中文文本分類模型的表現(xiàn)及選擇*

    蘭秋軍?,李衛(wèi)康, 劉文星

    (湖南大學(xué) 工商管理學(xué)院,湖南 長(zhǎng)沙410082)

    摘要:針對(duì)中文文本分類任務(wù)中N-Gram,素貝葉斯、K最近鄰和TF-IDF等經(jīng)典而廣泛使用的文本分類模型的選擇困惑問(wèn)題,基于萬(wàn)余篇中文新聞文本語(yǔ)料數(shù)據(jù),設(shè)計(jì)了一系列的對(duì)比實(shí)驗(yàn),考察了各模型在不同參數(shù)、不同訓(xùn)練數(shù)據(jù)規(guī)模、不同訓(xùn)練文本長(zhǎng)度、類別是否偏斜等多種情境下分類性能的表現(xiàn),總結(jié)了各模型的特性,為中文文本分類模型的選擇和應(yīng)用提供了實(shí)踐依據(jù)和參考.

    關(guān)鍵詞:中文文本;文本分類;數(shù)據(jù)挖掘; 情報(bào)分析

    文本挖掘是語(yǔ)言學(xué)、統(tǒng)計(jì)學(xué)以及計(jì)算機(jī)技術(shù)相結(jié)合的產(chǎn)物,是對(duì)海量文本信息進(jìn)行自動(dòng)處理,獲取人們感興趣的、隱含的、有用信息的過(guò)程[1-2],在信息檢索、生物醫(yī)學(xué)、情報(bào)獲取、輿情分析和市場(chǎng)營(yíng)銷等眾多領(lǐng)域備受關(guān)注[3-5].文本分類作為文本挖掘領(lǐng)域中的核心技術(shù),是各種自然語(yǔ)言處理、應(yīng)用的基礎(chǔ).其中分類模型的選擇對(duì)最終結(jié)果具有至關(guān)重要的影響.然而,因所基于的原理、參數(shù)、應(yīng)用場(chǎng)合各不相同,即使相同的模型其性能表現(xiàn)也往往大相徑庭.

    新聞文本是一類常見(jiàn)的文本形式,其蘊(yùn)含的信息量大,是各種情報(bào)分析的重要數(shù)據(jù)源[6-7].盡管現(xiàn)有的各個(gè)新聞網(wǎng)站以欄目形式對(duì)新聞進(jìn)行了人工劃分,然而各網(wǎng)站的分類體系和欄目形式各不相同,因此在具體的新聞挖掘應(yīng)用項(xiàng)目中,常需將采集的新聞數(shù)據(jù)重新進(jìn)行組織和劃分.中文文本分類領(lǐng)域中具有代表性的模型是樸素貝葉斯、N-Gram,K最近鄰和TF-IDF.這些不同的模型各具有怎樣的特性?分別適合哪些場(chǎng)合?在使用時(shí)應(yīng)如何選取合適的參數(shù)?人們往往面臨困惑.由于各方法在處理細(xì)節(jié)上有不少差異,很難從理論分析的角度來(lái)比較各方法的優(yōu)劣.因此,基于典型數(shù)據(jù),采用實(shí)驗(yàn)的方式進(jìn)行比較是比較通行的做法[8-9].本文精心構(gòu)造了多組實(shí)驗(yàn),從模型參數(shù)選取、訓(xùn)練數(shù)據(jù)規(guī)模、訓(xùn)練文本長(zhǎng)度、數(shù)據(jù)是否偏斜等幾個(gè)情境來(lái)考察各模型在不同情境下的性能表現(xiàn),其結(jié)論對(duì)中文文本分類模型的選擇與參數(shù)設(shè)置等具有實(shí)踐指導(dǎo)意義.

    1模型概述

    文本分類就是通過(guò)計(jì)算機(jī)程序自動(dòng)將某個(gè)文檔歸屬到事先給定的類別體系中一個(gè)或多個(gè)類別.現(xiàn)有的文本分類方法大致可歸為兩類:基于規(guī)則的方法和基于機(jī)器學(xué)習(xí)的方法.其中基于規(guī)則的方法早在20世紀(jì)70年代就已出現(xiàn),但因規(guī)則制定的困難,目前普遍采用的是基于機(jī)器學(xué)習(xí)的方法.而機(jī)器學(xué)習(xí)方法中,基于統(tǒng)計(jì)的方法是最具有代表性和使用最為廣泛的[10].其中,N元模型(N-Gram)[11]、樸素貝葉斯(NB),K最近鄰(KNN)和TF-IDF又是其中最經(jīng)典的幾個(gè)模型.

    N-Gram模型基于馬爾科夫假設(shè),即下一詞的出現(xiàn)概率僅依賴于它前面的N個(gè)詞,統(tǒng)計(jì)N元詞串在各類別中出現(xiàn)概率,以此確定文檔歸屬于哪個(gè)類別[11-12].樸素貝葉斯模型基于貝葉斯定理,假設(shè)單詞兩兩獨(dú)立,獲得各文檔類別的后驗(yàn)概率,哪個(gè)類別概率值大,文檔即歸屬于該類別[13].KNN的主要思想是先將文檔內(nèi)容轉(zhuǎn)化為特征空間中的特征向量,計(jì)算待分類文檔與訓(xùn)練文檔中每個(gè)樣本的相似度,找出其中的k個(gè)最近鄰居,據(jù)此判別文檔所屬類別[14].TF-IDF則先將文本內(nèi)容轉(zhuǎn)化為特征向量,然后計(jì)算其與類別特征向量間的余弦相似度,以此作為其所屬類別的判據(jù)[15].分析上述模型,不難發(fā)現(xiàn),N-Gram模型主要是提取了不同類別文檔中字與字之間的順序依賴關(guān)系來(lái)構(gòu)造分類特征,樸素貝葉斯則提取了不同類別文檔中詞與詞之間的概率依賴關(guān)系構(gòu)成分類依據(jù),K近鄰直接利用了空間向量模型,以文檔相似性特征作為分類依據(jù),而TF-IDF則同時(shí)考慮了詞在文檔本身中的出現(xiàn)頻度以及其在不同文檔中的出現(xiàn)頻度信息.幾個(gè)模型所抓取的文檔類別信息特征明顯不同,很難在理論上判別哪個(gè)模型更好,更適合哪些情境.因此,從實(shí)驗(yàn)的角度來(lái)考察是更為切合實(shí)際的方案.

    2基礎(chǔ)與準(zhǔn)備

    2.1算法實(shí)現(xiàn)工具

    LingPipe是基于Java語(yǔ)言的自然語(yǔ)言處理的開(kāi)源軟件包,提供了文本挖掘各階段的基本功能.由于該軟件包的數(shù)據(jù)處理都基于一個(gè)共同框架,采用了相同的基礎(chǔ)源代碼模塊,故本文以其作為算法實(shí)現(xiàn)工具,可盡量減少模型本身之外的因素(如文本預(yù)處理階段的分詞、特征提取、文本表示等)給模型性能帶來(lái)的影響.

    2.2實(shí)驗(yàn)數(shù)據(jù)

    本文實(shí)驗(yàn)數(shù)據(jù)采集來(lái)自新浪、騰訊、鳳凰等主流網(wǎng)站.特地挑選了歷史、軍事、文化、讀書(shū)、社會(huì)幾個(gè)比較近似,甚至人工也容易分錯(cuò)的文本類別.其中,歷史類和軍事類的文章比較相近,而文化類和讀書(shū)類的也常相似.數(shù)據(jù)采集跨時(shí)2個(gè)月,去除了所有Html標(biāo)記和網(wǎng)頁(yè)中的噪聲文本,只包含標(biāo)題、正文內(nèi)容以及標(biāo)點(diǎn)符號(hào).共采集16 000篇,去除了部分重復(fù)和校驗(yàn)過(guò)程中有問(wèn)題的文檔,最終保留14 000篇作為本文研究的語(yǔ)料數(shù)據(jù).其中含歷史1 900篇,軍事1 600篇,文化2 500篇,讀書(shū)4 000篇,社會(huì)4 000篇.每篇文章按類別以txt文件的形式保存.各類別、不同文本長(zhǎng)度的文檔篇數(shù)分布情況如表1所示,所有文檔的長(zhǎng)度介于10 000字節(jié)以內(nèi),涵蓋了網(wǎng)頁(yè)中的絕大多數(shù)新聞文本長(zhǎng)度.

    2.3分詞與特征項(xiàng)

    盡管特征選擇和預(yù)處理措施都是影響文本分類性能的關(guān)鍵因素,但因各模型算法原理相差太大,無(wú)法基于統(tǒng)一的特征項(xiàng)和預(yù)處理進(jìn)行比較[16].因此,各模型的特征項(xiàng)均以詞頻為基礎(chǔ),采取各模型常用的特征形式和預(yù)處理方式.N-Gram模型本身不需分詞,因此未做分詞處理,而其它模型則應(yīng)用中科院分詞系統(tǒng)NLPIR_2014進(jìn)行分詞處理.

    2.4分類評(píng)價(jià)指標(biāo)

    LingPipe提供了一系列指標(biāo)對(duì)模型性能進(jìn)行評(píng)估.本文實(shí)驗(yàn)主要采用宏平均、微平均下的F值進(jìn)行評(píng)價(jià),它綜合考慮了準(zhǔn)確率、召回率兩個(gè)被廣泛認(rèn)可的分類器評(píng)價(jià)指標(biāo).其詳細(xì)定義和含義可參見(jiàn)相關(guān)文獻(xiàn)[17].此外,實(shí)驗(yàn)過(guò)程中,還記錄了各模型的訓(xùn)練和分類運(yùn)行時(shí)間.這也是反映分類模型性能的一個(gè)方面.

    注:1000以下表示1000字節(jié)以下,1000-2000表示1000字節(jié)-2000字節(jié),后同;單元格內(nèi)數(shù)字為文檔數(shù).

    3實(shí)驗(yàn)方案與結(jié)果

    從應(yīng)用角度來(lái)看,分類準(zhǔn)確度和處理效率是用戶最為關(guān)注的兩個(gè)方面.而影響這兩方面的因素?zé)o外乎模型本身和待處理的數(shù)據(jù),如圖1所示.模型本身因素具體包括模型的構(gòu)造機(jī)制和模型參數(shù).其中,模型機(jī)制對(duì)用戶而言是封裝的,要提升分類性能,用戶只能調(diào)整模型參數(shù).而數(shù)據(jù)方面,文本的詞語(yǔ)和語(yǔ)義特點(diǎn)太過(guò)復(fù)雜和精細(xì),用戶難以據(jù)此選擇模型.然而待處理文本的長(zhǎng)度、規(guī)模和偏斜程度等是影響分類性能的重要因素,用戶可以據(jù)此選擇最合適的模型.因此,本文主要設(shè)計(jì)了4組實(shí)驗(yàn)考察不同情境下中文文本分類模型的表現(xiàn).下面具體闡述各組實(shí)驗(yàn)的具體方案及結(jié)果.

    圖1 模型分類性能影響因素

    3.1模型參數(shù)與模型性能

    所述的4個(gè)分類模型中,NB模型和TF-IDF模型沒(méi)有參數(shù),而N-Gram和KNN模型則分別有一個(gè)關(guān)鍵參數(shù)N和K.先對(duì)這兩個(gè)模型進(jìn)行不同參數(shù)取值下的實(shí)驗(yàn).所采用的數(shù)據(jù)集文檔篇數(shù)情況如表2所示.

    表2 不同模型參數(shù)下的實(shí)驗(yàn)數(shù)據(jù)分布情況

    3.1.1關(guān)于N-Gram模型參數(shù)N的實(shí)驗(yàn)

    根據(jù)N-Gram模型中參數(shù)N的含義,字與字之間的概率依賴關(guān)系主要由詞組造成,漢語(yǔ)超過(guò)6個(gè)字的詞組已經(jīng)相當(dāng)稀少.本組實(shí)驗(yàn)考察了N取值為1,2,4,6,7的情形,獲得結(jié)果如表3所示.可見(jiàn),隨著N取值的加大,該分類器的分類性能也越高,但在N超過(guò)4以后,分類性能改善幅度已相當(dāng)小,而訓(xùn)練時(shí)間和測(cè)試時(shí)間卻成倍增長(zhǎng),為此,后述實(shí)驗(yàn)均取N=4,不再贅述.

    表3 N-Gram模型N值大小與性能關(guān)系

    3.1.2關(guān)于KNN模型參數(shù)K的實(shí)驗(yàn)

    參數(shù)K為經(jīng)驗(yàn)參數(shù),表示選取的近鄰個(gè)數(shù),其值的大小對(duì)于模型的分類性能有顯著的影響.實(shí)驗(yàn)中,為確定K最佳值,將K分別取值 1,3,5,10,20,獲得如表4所示結(jié)果.顯見(jiàn),隨著K值的增加,分類性能有緩慢下降趨勢(shì),表明并非選取的近鄰數(shù)越多越好.原因在于KNN基于向量空間模型,維數(shù)較高,數(shù)據(jù)比較稀疏,K值越大,反而可能帶來(lái)更多的誤判信息.本實(shí)驗(yàn)中,K取值為1時(shí)分類性能最優(yōu),因此在后述實(shí)驗(yàn)中均取該最優(yōu)值.

    表4 KNN模型K值大小與性能關(guān)系

    3.2訓(xùn)練集規(guī)模與模型性能

    為了考察各模型在不同訓(xùn)練集規(guī)模情境下的性能表現(xiàn),分8次小實(shí)驗(yàn),每次從實(shí)驗(yàn)語(yǔ)料中抽取1 000,2 000,3 000,4 000,5 000,6 000,7 000,8 000篇文檔構(gòu)成訓(xùn)練集,抽取1 000篇文檔構(gòu)成測(cè)試集.抽樣過(guò)程中,為了消除各類別新聞分布不一致、文本長(zhǎng)度不一致所帶來(lái)的影響,進(jìn)行了適度控制,即確保8次實(shí)驗(yàn)中,各類別新聞的比例保持一致,各文本長(zhǎng)度所占比例也保持一致.在此控制下,隨機(jī)抽取樣本,每次實(shí)驗(yàn)進(jìn)行3次,以其平均值作為最后結(jié)果.實(shí)驗(yàn)結(jié)果如表5所示,圖2展示了不同訓(xùn)練集規(guī)模情境下,模型性能(微平均下F值)的情況;圖3和圖4則分別展示了分類訓(xùn)練時(shí)間和測(cè)試時(shí)間與訓(xùn)練集規(guī)模的關(guān)系.

    由表5以及圖2~圖4可知,在各類別數(shù)據(jù)相近的情況下,隨著訓(xùn)練集規(guī)模的增大,各模型的分類性能也均得到提升并漸趨于平穩(wěn),與文獻(xiàn)[9]結(jié)論相同.KNN改善效果最為明顯.就運(yùn)行時(shí)間而言,各分類模型隨著訓(xùn)練集規(guī)模的增大,訓(xùn)練時(shí)間明顯增加,而測(cè)試時(shí)間僅KNN分類模型顯著增加,其它則變化微小.通過(guò)逐漸加大訓(xùn)練集規(guī)模,實(shí)驗(yàn)還發(fā)現(xiàn),在測(cè)試集不變的情況下,訓(xùn)練集達(dá)到一定規(guī)模后(例如7 000篇),即使再顯著增大訓(xùn)練集規(guī)模,分類性能的改善也非常微弱.

    表5 模型性能與訓(xùn)練集規(guī)模間關(guān)系

    訓(xùn)練集規(guī)模

    訓(xùn)練集規(guī)模

    訓(xùn)練集規(guī)模

    3.3文本長(zhǎng)度與性能

    為了考察各模型在不同文本長(zhǎng)度情境下性能的表現(xiàn),將訓(xùn)練數(shù)據(jù)的每個(gè)類別都按文檔大小進(jìn)行劃分,抽取5個(gè)子集,分別為1 000字節(jié)以下,1 000- 2 000字節(jié),2 000-3 000字節(jié),3 000-5 000字節(jié),5 000字節(jié)以上.在保證5個(gè)子集的類別分布和規(guī)模分布一致的前提下,隨機(jī)抽取樣本構(gòu)成訓(xùn)練數(shù)據(jù),實(shí)驗(yàn)數(shù)據(jù)如表6所示.該實(shí)驗(yàn)共進(jìn)行3次,取3次實(shí)驗(yàn)結(jié)果的平均值作為最終結(jié)果,如表7所示.圖5展示了不同文本長(zhǎng)度情境下,模型性能(微平均下F值)的情況;圖6和圖7則展示了分類訓(xùn)練時(shí)間和測(cè)試時(shí)間與文本長(zhǎng)度的關(guān)系.

    表6 文本長(zhǎng)度實(shí)驗(yàn)數(shù)據(jù)集示例

    表7 各模型性能與訓(xùn)練集文本長(zhǎng)度關(guān)系

    對(duì)文本長(zhǎng)度情境而言,從表7以及圖5~圖7可以看出,隨著文本長(zhǎng)度的增加,除KNN模型外,其它3個(gè)分類模型的準(zhǔn)確性能在初期快速提升,其后趨緩而漸趨平穩(wěn),但KNN快速提升后卻逐漸下降.實(shí)驗(yàn)還發(fā)現(xiàn),在文本長(zhǎng)度短時(shí)(小于1 000字節(jié)),TF-IDF模型要好于其它3個(gè)模型.從時(shí)間性能來(lái)看,各模型都隨文本長(zhǎng)度增加而近似呈線性增長(zhǎng)趨勢(shì).其中NB和TF-IDF相對(duì)較遜一籌.

    文本長(zhǎng)度

    文本長(zhǎng)度

    文本長(zhǎng)度

    3.4類別偏斜與模型性能

    為了考察各模型在類別是否偏斜情境下性能的表現(xiàn),我們?cè)O(shè)計(jì)了類別均衡和非均衡兩組實(shí)驗(yàn),實(shí)驗(yàn)數(shù)據(jù)集如表8所示,訓(xùn)練集和測(cè)試集規(guī)模相同,非均衡訓(xùn)練集中讀書(shū)和社會(huì)兩個(gè)類別遠(yuǎn)高于其它類別數(shù)據(jù),而均衡訓(xùn)練集中各類別文本數(shù)相同.每組實(shí)驗(yàn)共進(jìn)行3次,隨機(jī)抽取樣本構(gòu)成訓(xùn)練數(shù)據(jù).取3次實(shí)驗(yàn)結(jié)果的平均值作為最終結(jié)果,如表9所示.

    表8 文本類別偏斜實(shí)驗(yàn)數(shù)據(jù)集示例

    對(duì)類別偏斜情境而言,觀察可知,各模型整體性能及各類別分類性能在均衡訓(xùn)練集情境下的表現(xiàn)均優(yōu)于在非均衡訓(xùn)練集下的性能表現(xiàn).在非均衡訓(xùn)練集情境下,對(duì)各小類而言,包含文本數(shù)較多的讀書(shū)和社會(huì)兩個(gè)類別的分類性能要優(yōu)于其它類別,與文獻(xiàn)[18]對(duì)訓(xùn)練集類別分布對(duì)文本分類影響的研究結(jié)果類似.4個(gè)分類模型中,對(duì)于類別均衡數(shù)據(jù)而言,TF-IDF表現(xiàn)最佳,對(duì)于類別非均衡數(shù)據(jù)而言,NB表現(xiàn)最佳.

    表9 文本類別偏斜實(shí)驗(yàn)各小類分類情況(F1值)

    4結(jié)論

    本文所考察的幾個(gè)模型是當(dāng)前文本分類領(lǐng)域應(yīng)用最為廣泛、最為經(jīng)典的.在實(shí)踐當(dāng)中,各模型的表現(xiàn)各異,而在理論上又很難分析和評(píng)價(jià)其優(yōu)劣.為此本文構(gòu)建了多組實(shí)驗(yàn)來(lái)考察不同情境下各模型的表現(xiàn),形成的結(jié)論及模型選擇建議如下:

    1)幾個(gè)模型在運(yùn)行效率方面沒(méi)有明顯的區(qū)別,訓(xùn)練和測(cè)試時(shí)間都與數(shù)據(jù)集的規(guī)模和文本長(zhǎng)度呈線性關(guān)系.實(shí)驗(yàn)結(jié)果看,NB模型和TF-IDF雖然稍遜,但實(shí)際應(yīng)用中,此差別并不明顯,可以忽略.

    2)不管在何種情境下,KNN的表現(xiàn)都最差,因此不推薦采用此模型.

    3)從訓(xùn)練集規(guī)模來(lái)看,幾種模型都是隨著規(guī)模增大而分類精確性穩(wěn)步增加,訓(xùn)練集的大小不構(gòu)成模型選擇的關(guān)鍵依據(jù).

    4)N-Gram、TF-IDF、NB三個(gè)模型的分類精度受文本長(zhǎng)度的影響差別不大.都隨文本長(zhǎng)度的增加而精度得到提升,且都在長(zhǎng)度低于1 kb(約400漢字)時(shí)提升較明顯,而此后提升速度放緩.KNN則未能因文本長(zhǎng)度的增加而提升其精確度.

    5)對(duì)類別分布是否偏斜的情況,NB模型表現(xiàn)出良好的穩(wěn)定性,比N-Gram和TF-IDF都要好.因此,在類別偏斜嚴(yán)重的情況下,推薦采用NB模型.

    參考文獻(xiàn)

    [1]NASSIRTOUSSI A K, AGHABOZORGI S, WAH T Y,etal. Text mining for market prediction: A systematic review[J]. Expert Systems with Applications, 2014, 41(16): 7653-7670.

    [2]袁軍鵬, 朱東華, 李毅, 等. 文本挖掘技術(shù)研究進(jìn)展[J]. 計(jì)算機(jī)應(yīng)用研究, 2006,23(2):1-4.

    YUAN J P, ZHU D H, LI Y,etal. Survey of text mining technology[J]. Application Research of Computers, 2006,23(2):1-4. (In Chinese)

    [3]譚文堂, 王楨文, 殷風(fēng)景, 等. 一種面向多文本集的部分比較性混合模型[J]. 湖南大學(xué)學(xué)報(bào): 自然科學(xué)版, 2013, 40(11): 101-107.

    TAN W T, WANG Z W, YIN F J,etal. A partial comparative mixture model for multi-collections documents[J]. Journal of Hunan University: Natural Sciences Edition, 2013, 40(11): 101-107. (In Chinese)

    [4]ZHU F, PATUMCHAROENPOL P, ZHANG C,etal. Biomedical text mining and its applications in cancer research[J]. Journal of Biomedical Informatics, 2013, 46(2): 200-211.

    [5]XU X, CHENG X, TAN S,etal. Aspect-level opinion mining of online customer reviews[J]. Communications, China, 2013, 10(3): 25-41.

    [6]胡凌云,胡桂蘭,徐勇,等.基于Web的新聞文本分類技術(shù)研究[J].安徽大學(xué)學(xué)報(bào):自然科學(xué)版,2010,34(6):66-70.

    HU L Y, HU G L, XU Y,etal. Research of text classification technology based on Web news pages[J]. Journal of Anhui University: Natural Sciences Edition, 2010,34(6):66-70.(In Chinese)

    [7]蔡華麗,劉魯,王理. 突發(fā)事件Web新聞多層次自動(dòng)分類方法[J]. 北京工業(yè)大學(xué)學(xué)報(bào):自然科學(xué)版, 2011,37(6): 947-954.

    CAI H L, LIU L, WANG L. Automated multiple hierarchical classification of web news of unexpected events[J]. Journal of Beijing University of Technology, 2011,37(6): 947-954. (In Chinese)

    [8]蘇金樹(shù), 張博鋒, 徐昕. 基于機(jī)器學(xué)習(xí)的文本分類技術(shù)研究進(jìn)展[J]. 軟件學(xué)報(bào), 2006, 17(9): 1848-1859.

    SU J S, ZHANG B F, XU X.Advances in machine learning based text categorization[J].Journal of Software,2006, 17(9): 1848-1859. (In Chinese)

    [9]盧葦, 彭雅. 幾種常用文本分類算法性能比較與分析[J]. 湖南大學(xué)學(xué)報(bào):自然科學(xué)版, 2007, 34(6): 67-69.

    LU W, PENG Y. Performance comparison and analysis of several general text classification algorithms[J].Journal of Hunan University: Natural Sciences Edition, 2007, 34(6): 67-69. (In Chinese)

    [10]SEBASTIANI F. Machine learning in automated text categorization[J]. ACM Computing Surveys (CSUR), 2002, 34(1): 1-47.

    [11]BROWN P F, DESOUZA P V, MERCER R L,etal. Class based N-gram models of natural language[J]. Computational Linguistics, 1992, 18(4): 467-479.

    [12]楊健, 汪海航. 基于隱馬爾可夫模型的文本分類算法[J]. 計(jì)算機(jī)應(yīng)用, 2010, 30(9): 2348-2350.

    YANG J, WANG H H. Text classification algorithm based on hidden Markov model[J]. Journal of Computer Applications, 2010, 30(9): 2348-2350. (In Chinese)

    [13]熊志斌, 劉冬. 樸素貝葉斯在文本分類中的應(yīng)用[J]. 軟件導(dǎo)刊, 2013, 12(2):49-51.

    XIONG Z B, LIU D. Application of naive Bayes in documents[J]. Software Guide,2013, 12(2):49-51. (In Chinese)

    [14]張寧, 賈自艷, 史忠植. 使用 KNN 算法的文本分類[J]. 計(jì)算機(jī)工程, 2005, 31(8).

    ZHANG N, JIA Z Y, SHI Z Z. Text categorization with KNN algorithm [J]. Computer Engineering, 2005, 31(8). (In Chinese)

    [15]張玉芳, 彭時(shí)名, 呂佳. 基于文本分類 TFIDF 方法的改進(jìn)與應(yīng)用[J]. 計(jì)算機(jī)工程, 2006, 32(19): 76-78.

    ZHANG Y F, PENG S M, LV J. Improvement and application of TFIDF method based on text classification [J]. Computer Engineering, 2006, 32(19): 76-78. (In Chinese)

    [16]李明江.結(jié)合類詞頻的文本特征選擇方法的研究[J].計(jì)算機(jī)應(yīng)用研究,2014,31(7): 2024-2026.

    LI M J. Research on method of feature selection in text combined with word frequency in class[J]. Application Research of Computers, 2014,31(7): 2024-2026. (In Chinese)

    [17]陳建華. 中文文本分類特征選擇方法研究[D]. 西北師范大學(xué),2012.

    CHEN J H. Research of feature selection method for Chinese text classification[D]. Northwest Normal University, 2012. (In Chinese)

    [18]張啟蕊, 張凌, 董守斌, 等. 訓(xùn)練集類別分布對(duì)文本分類的影響[J]. 清華大學(xué)學(xué)報(bào): 自然科學(xué)版, 2005,45(S1).

    ZHANG Q R,ZHANG L,DONG S B,etal. Effects of category distribution in a training set on text categorization[J]. Journal of Tsinghua University: Science and Technology, 2005,45(S1). (In Chinese)

    Performance and Choice of Chinese Text Classification Models in Different Situations

    LAN Qiu-jun?, LI Wei-kang, LIU Wen-xing

    (Business School, Hunan Univ, Changsha, Hunan410082,China )

    Abstract:N-Gram, Na?ve Bayes, K nearest neighbors and TF-IDF are classical text classification models with a wide range of applications. People are often puzzled about which classification model should be used in a certain Chinese text classification task. This paper collected more than ten thousand Chinese news texts, and designed a series of experiments to analyze the performance of these models in varied situations from classification parameters, training data scale, text length and skewed data sets. The characteristics of these models were summarized, which provides a practical guide for the model selection in Chinese text classification tasks.

    Key words:Chinese text; text classification; data mining; information analysis

    中圖分類號(hào):TP274;TP302

    文獻(xiàn)標(biāo)識(shí)碼:A

    作者簡(jiǎn)介:蘭秋軍(1972-),男,湖南婁底人,湖南大學(xué)副教授,博士?通訊聯(lián)系人,E-mail:lanqiujun@hnu.edu.cn

    收稿日期:2014-11-08基金項(xiàng)目:國(guó)家自然科學(xué)基金資助項(xiàng)目(71171076),National Natural Science Foundation of China(71171076)

    文章編號(hào):1674-2974(2016)04-0141-06

    猜你喜歡
    文本分類數(shù)據(jù)挖掘
    探討人工智能與數(shù)據(jù)挖掘發(fā)展趨勢(shì)
    基于并行計(jì)算的大數(shù)據(jù)挖掘在電網(wǎng)中的應(yīng)用
    電力與能源(2017年6期)2017-05-14 06:19:37
    基于組合分類算法的源代碼注釋質(zhì)量評(píng)估方法
    基于貝葉斯分類器的中文文本分類
    數(shù)據(jù)挖掘技術(shù)在中醫(yī)診療數(shù)據(jù)分析中的應(yīng)用
    基于蟻群智能算法的研究文本分類
    基于樸素貝葉斯分類的Java課程網(wǎng)絡(luò)答疑反饋系統(tǒng)
    基于K—means算法的文本分類技術(shù)研究
    文本分類算法在山東女子學(xué)院檔案管理的應(yīng)用
    科技視界(2016年24期)2016-10-11 09:36:57
    一種基于Hadoop的大數(shù)據(jù)挖掘云服務(wù)及應(yīng)用
    悠悠久久av| 99国产极品粉嫩在线观看| 欧美+亚洲+日韩+国产| 男人舔奶头视频| 麻豆国产97在线/欧美| 免费av毛片视频| 五月玫瑰六月丁香| 国产三级黄色录像| 黄片大片在线免费观看| 在线观看免费午夜福利视频| 久久草成人影院| 欧美极品一区二区三区四区| 色综合欧美亚洲国产小说| 久久久久国产一级毛片高清牌| 精品国内亚洲2022精品成人| 欧美绝顶高潮抽搐喷水| 三级男女做爰猛烈吃奶摸视频| 日韩精品青青久久久久久| 中文字幕人成人乱码亚洲影| 久久99热这里只有精品18| АⅤ资源中文在线天堂| 成人午夜高清在线视频| 国产高清有码在线观看视频| 久久中文字幕一级| 亚洲aⅴ乱码一区二区在线播放| 给我免费播放毛片高清在线观看| 一本一本综合久久| 欧美成人一区二区免费高清观看 | 国产97色在线日韩免费| 欧美日韩亚洲国产一区二区在线观看| 亚洲欧美激情综合另类| 国产真实乱freesex| 亚洲五月婷婷丁香| 国产美女午夜福利| 国产淫片久久久久久久久 | 美女被艹到高潮喷水动态| 亚洲无线观看免费| 网址你懂的国产日韩在线| 999久久久精品免费观看国产| 日本黄大片高清| 亚洲真实伦在线观看| 亚洲片人在线观看| 亚洲国产欧美人成| 最近最新免费中文字幕在线| 亚洲国产精品久久男人天堂| 一个人看的www免费观看视频| 午夜福利欧美成人| 夜夜爽天天搞| 久久久精品大字幕| 日韩欧美 国产精品| 亚洲精品美女久久久久99蜜臀| 18禁裸乳无遮挡免费网站照片| 国产高清videossex| 一二三四在线观看免费中文在| 国产蜜桃级精品一区二区三区| 亚洲五月天丁香| 日韩欧美在线二视频| 曰老女人黄片| 亚洲,欧美精品.| 日本一二三区视频观看| 中文字幕久久专区| 婷婷精品国产亚洲av在线| 欧美性猛交黑人性爽| 黄色片一级片一级黄色片| 天堂av国产一区二区熟女人妻| 久久久久久九九精品二区国产| 国产亚洲欧美在线一区二区| 一进一出抽搐动态| 亚洲自偷自拍图片 自拍| 少妇人妻一区二区三区视频| 国产精品久久久久久人妻精品电影| 国产精品亚洲av一区麻豆| 国产精品亚洲美女久久久| 白带黄色成豆腐渣| 国产又色又爽无遮挡免费看| 久久精品综合一区二区三区| 真人一进一出gif抽搐免费| 日韩大尺度精品在线看网址| 亚洲真实伦在线观看| 免费观看人在逋| 久久久国产成人精品二区| 欧美绝顶高潮抽搐喷水| 精品国产美女av久久久久小说| 性色avwww在线观看| xxx96com| 日韩欧美国产一区二区入口| 岛国在线免费视频观看| 午夜久久久久精精品| 亚洲中文字幕日韩| 久久久久久国产a免费观看| x7x7x7水蜜桃| 白带黄色成豆腐渣| 88av欧美| av片东京热男人的天堂| 日韩精品中文字幕看吧| 免费电影在线观看免费观看| 中文字幕精品亚洲无线码一区| 亚洲成av人片在线播放无| 亚洲美女黄片视频| 男女视频在线观看网站免费| 午夜精品一区二区三区免费看| 国产高潮美女av| 欧美一区二区国产精品久久精品| 国产v大片淫在线免费观看| 亚洲午夜精品一区,二区,三区| 国产精品久久久久久精品电影| 国产成人影院久久av| 精品国产乱子伦一区二区三区| 日韩欧美 国产精品| 中文字幕熟女人妻在线| 精品午夜福利视频在线观看一区| 欧美日韩综合久久久久久 | www.熟女人妻精品国产| 三级国产精品欧美在线观看 | 无限看片的www在线观看| 一a级毛片在线观看| 18美女黄网站色大片免费观看| 久久人妻av系列| 1000部很黄的大片| 18禁美女被吸乳视频| 亚洲第一欧美日韩一区二区三区| 亚洲熟女毛片儿| 十八禁网站免费在线| 男人和女人高潮做爰伦理| 欧美中文日本在线观看视频| 久久人人精品亚洲av| 国产精品99久久99久久久不卡| 在线观看66精品国产| 一区二区三区高清视频在线| 久久99热这里只有精品18| 90打野战视频偷拍视频| 最近最新免费中文字幕在线| 成人鲁丝片一二三区免费| 久久久久久久久免费视频了| 中文资源天堂在线| 99视频精品全部免费 在线 | 69av精品久久久久久| 午夜激情福利司机影院| 久久国产精品人妻蜜桃| 免费看光身美女| 亚洲 国产 在线| 亚洲精品色激情综合| 免费搜索国产男女视频| xxxwww97欧美| 精品国内亚洲2022精品成人| 女同久久另类99精品国产91| 99久久精品热视频| 久久久久性生活片| 婷婷精品国产亚洲av| 中文字幕人妻丝袜一区二区| 中出人妻视频一区二区| 成人特级黄色片久久久久久久| 视频区欧美日本亚洲| 成年女人毛片免费观看观看9| 黄色成人免费大全| 90打野战视频偷拍视频| 人妻久久中文字幕网| 全区人妻精品视频| 制服丝袜大香蕉在线| 欧洲精品卡2卡3卡4卡5卡区| 999久久久国产精品视频| 偷拍熟女少妇极品色| 成年女人毛片免费观看观看9| 亚洲人成网站在线播放欧美日韩| av在线天堂中文字幕| 欧美中文综合在线视频| 日本免费一区二区三区高清不卡| 亚洲欧美日韩卡通动漫| 天堂网av新在线| 婷婷精品国产亚洲av在线| 免费搜索国产男女视频| 天堂av国产一区二区熟女人妻| 美女免费视频网站| 精品一区二区三区视频在线 | 精品人妻1区二区| 日本a在线网址| 一本精品99久久精品77| 少妇人妻一区二区三区视频| 欧美日韩福利视频一区二区| 亚洲专区国产一区二区| 午夜福利免费观看在线| 欧美中文综合在线视频| www.自偷自拍.com| 高清毛片免费观看视频网站| 国产精品99久久久久久久久| 久久香蕉国产精品| 国产av一区在线观看免费| 国产极品精品免费视频能看的| 国产私拍福利视频在线观看| 色老头精品视频在线观看| 一级黄色大片毛片| 日韩成人在线观看一区二区三区| 国产精品九九99| 国产成人av教育| 久久久久久久久中文| 国产男靠女视频免费网站| 久久中文字幕人妻熟女| 国产成人一区二区三区免费视频网站| 国产亚洲精品综合一区在线观看| 97碰自拍视频| 天天添夜夜摸| 久久精品国产99精品国产亚洲性色| 国产午夜精品论理片| 天天躁狠狠躁夜夜躁狠狠躁| 极品教师在线免费播放| 久久久久性生活片| 亚洲午夜理论影院| 亚洲 国产 在线| 亚洲熟妇熟女久久| 久久九九热精品免费| 黄色丝袜av网址大全| 成人高潮视频无遮挡免费网站| 欧美又色又爽又黄视频| 国产一区二区激情短视频| 麻豆国产av国片精品| 观看免费一级毛片| av福利片在线观看| 久久精品夜夜夜夜夜久久蜜豆| 国产黄色小视频在线观看| 在线看三级毛片| 99国产精品一区二区三区| 午夜福利欧美成人| 狠狠狠狠99中文字幕| 国产成人啪精品午夜网站| 欧美午夜高清在线| 狠狠狠狠99中文字幕| 久久久国产成人精品二区| 精品久久久久久久人妻蜜臀av| 久久久久久人人人人人| 变态另类丝袜制服| 久99久视频精品免费| 国产激情欧美一区二区| 好男人电影高清在线观看| 久久久久久久午夜电影| x7x7x7水蜜桃| 国产伦一二天堂av在线观看| 精品久久久久久,| 性色av乱码一区二区三区2| 精品日产1卡2卡| 色老头精品视频在线观看| 日本 av在线| 十八禁人妻一区二区| 一本综合久久免费| 丁香欧美五月| 在线观看午夜福利视频| 国产又黄又爽又无遮挡在线| 岛国在线观看网站| 国语自产精品视频在线第100页| 伊人久久大香线蕉亚洲五| 久久精品aⅴ一区二区三区四区| 亚洲精品色激情综合| 国模一区二区三区四区视频 | 欧美最黄视频在线播放免费| 亚洲人成网站在线播放欧美日韩| 欧美午夜高清在线| 国产美女午夜福利| 在线十欧美十亚洲十日本专区| 婷婷精品国产亚洲av在线| 18禁美女被吸乳视频| 一卡2卡三卡四卡精品乱码亚洲| 激情在线观看视频在线高清| 国产主播在线观看一区二区| 听说在线观看完整版免费高清| 女人被狂操c到高潮| 亚洲中文日韩欧美视频| 美女大奶头视频| 欧美成人性av电影在线观看| 成人亚洲精品av一区二区| 午夜福利在线观看免费完整高清在 | 精品久久久久久,| 啪啪无遮挡十八禁网站| 国内精品久久久久精免费| 日本五十路高清| 日本 欧美在线| 麻豆一二三区av精品| 啦啦啦免费观看视频1| 麻豆成人午夜福利视频| 国产亚洲精品综合一区在线观看| 亚洲乱码一区二区免费版| 18美女黄网站色大片免费观看| 午夜日韩欧美国产| 久久精品国产清高在天天线| 欧美xxxx黑人xx丫x性爽| 欧美一级a爱片免费观看看| 日本与韩国留学比较| cao死你这个sao货| 天堂av国产一区二区熟女人妻| www日本黄色视频网| 在线观看日韩欧美| 欧美精品啪啪一区二区三区| 热99在线观看视频| 母亲3免费完整高清在线观看| 色av中文字幕| 韩国av一区二区三区四区| 无遮挡黄片免费观看| 69av精品久久久久久| 日本一本二区三区精品| 日本五十路高清| 男女视频在线观看网站免费| 久久久久久久久免费视频了| ponron亚洲| 久久中文字幕一级| 高清在线国产一区| 日韩免费av在线播放| 亚洲精品中文字幕一二三四区| 一本精品99久久精品77| 久久精品人妻少妇| 狠狠狠狠99中文字幕| 亚洲av成人精品一区久久| 亚洲av成人不卡在线观看播放网| 91久久精品国产一区二区成人 | 噜噜噜噜噜久久久久久91| 国产成人一区二区三区免费视频网站| 久久精品国产综合久久久| 最好的美女福利视频网| 狠狠狠狠99中文字幕| 久久午夜综合久久蜜桃| 久久久久久九九精品二区国产| 精品国产乱码久久久久久男人| 国产精品久久电影中文字幕| 三级国产精品欧美在线观看 | 91九色精品人成在线观看| 国产又色又爽无遮挡免费看| 久久午夜亚洲精品久久| 国产成+人综合+亚洲专区| 国产伦精品一区二区三区视频9 | 男女之事视频高清在线观看| 九色国产91popny在线| 99re在线观看精品视频| 日韩有码中文字幕| 99久久99久久久精品蜜桃| 亚洲av成人av| 日本在线视频免费播放| 精品国产美女av久久久久小说| 成年免费大片在线观看| 国产视频一区二区在线看| 免费看美女性在线毛片视频| 欧美高清成人免费视频www| 国产一区二区在线观看日韩 | 午夜福利成人在线免费观看| 亚洲国产看品久久| 国产久久久一区二区三区| 无遮挡黄片免费观看| 性色avwww在线观看| 级片在线观看| 男女床上黄色一级片免费看| 亚洲成a人片在线一区二区| 一二三四在线观看免费中文在| 香蕉丝袜av| 国产伦精品一区二区三区四那| 国产伦精品一区二区三区视频9 | 狠狠狠狠99中文字幕| 波多野结衣巨乳人妻| 美女黄网站色视频| 亚洲人成伊人成综合网2020| 亚洲av五月六月丁香网| 九色成人免费人妻av| 精品日产1卡2卡| 99久久久亚洲精品蜜臀av| 成人午夜高清在线视频| 国产精品电影一区二区三区| 色噜噜av男人的天堂激情| 亚洲成人久久爱视频| 国产精品99久久99久久久不卡| 久久精品综合一区二区三区| 日本在线视频免费播放| 婷婷精品国产亚洲av在线| 嫁个100分男人电影在线观看| 特级一级黄色大片| 天堂√8在线中文| 蜜桃久久精品国产亚洲av| 午夜福利在线在线| 麻豆av在线久日| 老司机在亚洲福利影院| 免费搜索国产男女视频| 精品不卡国产一区二区三区| 国产亚洲精品久久久com| 欧美成人性av电影在线观看| 欧美乱码精品一区二区三区| 亚洲av第一区精品v没综合| 在线十欧美十亚洲十日本专区| 岛国在线免费视频观看| 亚洲专区国产一区二区| 成年人黄色毛片网站| 人妻夜夜爽99麻豆av| 成人av在线播放网站| ponron亚洲| bbb黄色大片| www.自偷自拍.com| 首页视频小说图片口味搜索| 99re在线观看精品视频| 国产高清videossex| 黄片小视频在线播放| 久久久精品大字幕| 午夜福利免费观看在线| 一个人看视频在线观看www免费 | 欧美中文综合在线视频| 亚洲,欧美精品.| 精品国产乱子伦一区二区三区| 老汉色av国产亚洲站长工具| 亚洲av成人一区二区三| 日日干狠狠操夜夜爽| 老司机在亚洲福利影院| 午夜福利视频1000在线观看| 精品电影一区二区在线| xxxwww97欧美| 午夜a级毛片| 级片在线观看| 国产黄a三级三级三级人| 国产1区2区3区精品| 久久久国产精品麻豆| 91九色精品人成在线观看| 搡老妇女老女人老熟妇| 国产精品1区2区在线观看.| 高清毛片免费观看视频网站| 久久久久久九九精品二区国产| 非洲黑人性xxxx精品又粗又长| 村上凉子中文字幕在线| 日本三级黄在线观看| 国产91精品成人一区二区三区| 黑人欧美特级aaaaaa片| 国产精品九九99| 久久精品国产综合久久久| 51午夜福利影视在线观看| 老熟妇乱子伦视频在线观看| a在线观看视频网站| 麻豆久久精品国产亚洲av| 国产成人一区二区三区免费视频网站| 搡老岳熟女国产| svipshipincom国产片| 欧美黄色片欧美黄色片| 久久久久久久久中文| 午夜福利免费观看在线| 99国产精品99久久久久| 亚洲熟妇中文字幕五十中出| 九色国产91popny在线| 中文字幕高清在线视频| 亚洲美女视频黄频| 国产成人啪精品午夜网站| 热99在线观看视频| 老鸭窝网址在线观看| 色综合婷婷激情| 国产成人福利小说| 国产aⅴ精品一区二区三区波| 18禁黄网站禁片免费观看直播| 黄色丝袜av网址大全| 搞女人的毛片| 色综合站精品国产| 脱女人内裤的视频| 99热精品在线国产| 国产主播在线观看一区二区| 老司机福利观看| 亚洲精品在线观看二区| 亚洲欧美日韩高清专用| 精品不卡国产一区二区三区| а√天堂www在线а√下载| 亚洲中文日韩欧美视频| 国产高清视频在线观看网站| 久久午夜综合久久蜜桃| 色综合亚洲欧美另类图片| 久久久久性生活片| 国产99白浆流出| 欧美成人一区二区免费高清观看 | 男女下面进入的视频免费午夜| 99久久国产精品久久久| 国产午夜福利久久久久久| 国产高清有码在线观看视频| 欧美高清成人免费视频www| 亚洲熟妇熟女久久| 国产高清videossex| 成人三级黄色视频| 亚洲成人久久爱视频| 精品一区二区三区视频在线观看免费| 夜夜爽天天搞| 日韩国内少妇激情av| 视频区欧美日本亚洲| 久久久久久久久免费视频了| 久久亚洲精品不卡| 免费看日本二区| av天堂在线播放| 国产成人av教育| ponron亚洲| 男人和女人高潮做爰伦理| 在线a可以看的网站| 亚洲七黄色美女视频| 熟妇人妻久久中文字幕3abv| 久久久国产精品麻豆| 一级毛片高清免费大全| 日韩中文字幕欧美一区二区| 他把我摸到了高潮在线观看| 欧美一级毛片孕妇| 久久人人精品亚洲av| 真人一进一出gif抽搐免费| 亚洲精品在线美女| 成年人黄色毛片网站| 国内精品美女久久久久久| 嫁个100分男人电影在线观看| 日韩中文字幕欧美一区二区| 亚洲五月天丁香| 成年版毛片免费区| 国产成人精品无人区| 免费看光身美女| 黄片大片在线免费观看| 人人妻人人澡欧美一区二区| 99久久成人亚洲精品观看| 成人特级av手机在线观看| 亚洲色图av天堂| 一边摸一边抽搐一进一小说| 麻豆成人av在线观看| 久久久久国内视频| 中文在线观看免费www的网站| 啦啦啦免费观看视频1| 成年女人毛片免费观看观看9| 国产不卡一卡二| 婷婷丁香在线五月| 精品人妻1区二区| 18禁黄网站禁片午夜丰满| 每晚都被弄得嗷嗷叫到高潮| 最近在线观看免费完整版| 一区二区三区激情视频| 一本久久中文字幕| 熟女电影av网| 18禁裸乳无遮挡免费网站照片| 欧美日韩综合久久久久久 | 91av网站免费观看| 久久久久免费精品人妻一区二区| 亚洲av电影在线进入| 国产成人精品久久二区二区免费| 午夜福利免费观看在线| 9191精品国产免费久久| 亚洲狠狠婷婷综合久久图片| 在线观看舔阴道视频| 制服丝袜大香蕉在线| 又黄又爽又免费观看的视频| 免费搜索国产男女视频| 午夜两性在线视频| 在线看三级毛片| 18禁国产床啪视频网站| 亚洲无线观看免费| 青草久久国产| 日韩成人在线观看一区二区三区| 亚洲在线观看片| 亚洲七黄色美女视频| 悠悠久久av| 99热这里只有精品一区 | 真实男女啪啪啪动态图| 国产精品女同一区二区软件 | 亚洲欧美激情综合另类| 久久中文看片网| 欧美乱色亚洲激情| 午夜精品在线福利| 中文字幕人成人乱码亚洲影| 国产伦精品一区二区三区四那| 一个人观看的视频www高清免费观看 | 亚洲国产精品999在线| 人妻久久中文字幕网| 麻豆一二三区av精品| 日韩欧美一区二区三区在线观看| 亚洲在线自拍视频| 九色成人免费人妻av| 可以在线观看毛片的网站| 亚洲精品美女久久av网站| 精品国内亚洲2022精品成人| 成人特级av手机在线观看| 搡老熟女国产l中国老女人| 51午夜福利影视在线观看| 网址你懂的国产日韩在线| 日本一二三区视频观看| 国产爱豆传媒在线观看| 免费在线观看亚洲国产| 国产真人三级小视频在线观看| 国产精品永久免费网站| 久久中文看片网| 麻豆一二三区av精品| 日韩欧美免费精品| 亚洲av五月六月丁香网| 国产亚洲av嫩草精品影院| 91字幕亚洲| 亚洲一区高清亚洲精品| 国产伦精品一区二区三区视频9 | 精品欧美国产一区二区三| 久久欧美精品欧美久久欧美| 久久久久国产一级毛片高清牌| 一区福利在线观看| 成人一区二区视频在线观看| 久久精品91无色码中文字幕| 村上凉子中文字幕在线| 国产激情欧美一区二区| 又大又爽又粗| 18禁黄网站禁片免费观看直播| 99久久精品一区二区三区| 性色avwww在线观看| 亚洲成人中文字幕在线播放| 成人精品一区二区免费| 美女cb高潮喷水在线观看 | 夜夜躁狠狠躁天天躁| 夜夜爽天天搞| 午夜影院日韩av| 国产激情欧美一区二区| 性色avwww在线观看| 巨乳人妻的诱惑在线观看| 一区二区三区国产精品乱码| 俺也久久电影网| 一a级毛片在线观看| 国产亚洲精品av在线| 后天国语完整版免费观看| 九九久久精品国产亚洲av麻豆 | 成年女人永久免费观看视频| 国产亚洲精品久久久久久毛片| 婷婷丁香在线五月| 国产一区二区三区在线臀色熟女| 欧美日韩黄片免| 日本在线视频免费播放| 一个人免费在线观看电影 | 精品久久久久久成人av|