• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于主題模型的垃圾郵件過濾系統(tǒng)的設(shè)計與實現(xiàn)

    2017-12-04 02:42:54寇曉淮程華
    電信科學(xué) 2017年11期
    關(guān)鍵詞:垃圾郵件貝葉斯郵件

    寇曉淮,程華

    (華東理工大學(xué)信息科學(xué)與工程學(xué)院,上海200237)

    基于主題模型的垃圾郵件過濾系統(tǒng)的設(shè)計與實現(xiàn)

    寇曉淮,程華

    (華東理工大學(xué)信息科學(xué)與工程學(xué)院,上海200237)

    垃圾郵件過濾技術(shù)在保證信息安全、提高資源利用、分揀信息數(shù)據(jù)等方面都發(fā)揮著重要作用。然而,垃圾郵件的出現(xiàn)影響了用戶的體驗,并且會造成不必要的經(jīng)濟(jì)與時間損失。針對現(xiàn)有的垃圾郵件過濾技術(shù)的不足,基于多個主題詞理論,構(gòu)建了基于樸素貝葉斯的垃圾郵件分類方法。在郵件主題獲取中,采用主題模型LDA得到郵件的相關(guān)主題及主題詞;并進(jìn)一步采用Word2Vec尋找主題詞的同義詞和關(guān)聯(lián)詞,擴(kuò)展主題詞集合。在郵件分類中,對訓(xùn)練數(shù)據(jù)集進(jìn)行統(tǒng)計學(xué)習(xí)得到詞語的先驗概率;基于擴(kuò)展的主題詞集合及其概率,通過貝葉斯公式推導(dǎo)得到某個主題和某封郵件的聯(lián)合概率,以此作為垃圾郵件判定的依據(jù)。同時,基于主題模型的垃圾郵件過濾系統(tǒng)具有簡潔易應(yīng)用的特點。通過與其他典型垃圾郵件過濾方法的對比實驗,證明基于主題模型的垃圾郵件分類方法及基于Word2Vec的改進(jìn)方法均能有效提高垃圾郵件過濾的準(zhǔn)確度。

    文本分類;垃圾郵件;主題模型;貝葉斯原理

    1 引言

    伴隨著互聯(lián)網(wǎng)的發(fā)展和普及,電子郵件已經(jīng)成為人們?nèi)粘9ぷ鳌⑸钪型ㄐ?、交流的重要手段。但由于早期的SMTP缺乏發(fā)件人認(rèn)證、大量開放式郵件中轉(zhuǎn)服務(wù)器以及互聯(lián)網(wǎng)分布式管理性質(zhì)等原因,垃圾郵件已經(jīng)成為亟待解決的問題。從電子郵件出現(xiàn)以來,研究者就在垃圾郵件攔截方面做出了大量的研究工作。然而,垃圾郵件制造者總會找到更加隱蔽且混淆的手段來躲避相關(guān)算法的檢測。對于此類研究工作,目前仍然存在兩個重要的問題:郵件是一種快速且便捷的通信方式,而大面積的廣告推廣動機(jī)促成了大量為非正當(dāng)利益而開發(fā)的反過濾技術(shù);中文詞語的豐富性和特殊性導(dǎo)致垃圾郵件與正常郵件區(qū)分難度較大,很多國外的優(yōu)秀算法在移植過程中將遭遇新的挑戰(zhàn)。

    針對以上問題,本文深入分析和比較傳統(tǒng)垃圾郵件處理方法,指出了現(xiàn)有垃圾郵件過濾方法的不足,對主題模型算法及其在自然語言處理中的應(yīng)用進(jìn)行了研究,指出了主題模型算法應(yīng)用于垃圾郵件過濾的可行性與能夠解決的問題;提出了基于主題模型的垃圾郵件過濾算法;設(shè)計并實現(xiàn)了一種基于主題模型的垃圾郵件過濾模型,通過與其他方法的對比實驗,證明本文基于主題模型的垃圾郵件過濾方法及基于Word2Vec[1]的改進(jìn)方法均明顯提升了過濾準(zhǔn)確度,具有較高的應(yīng)用價值。

    2 基于郵件過濾的相關(guān)技術(shù)

    2.1 面向內(nèi)容的電子郵件過濾技術(shù)

    常見的郵箱對于垃圾郵件的過濾策略中,基于內(nèi)容對郵件過濾的方法有黑白名單、手工建立過濾規(guī)則等。手工建立規(guī)則的方法通過用戶建立一系列規(guī)則來判定垃圾郵件。顯然,這些方法的主觀性會造成大量合法郵件的誤判和垃圾郵件的漏判,并且很難做到實時的手工維護(hù),對郵件服務(wù)商的人力及經(jīng)濟(jì)造成很大壓力。因此,垃圾郵件工具逐漸傾向于引入基于內(nèi)容的機(jī)器學(xué)習(xí)判別方法[2,3]。

    基于內(nèi)容垃圾郵件判別的機(jī)器學(xué)習(xí)方法,一般步驟如下。

    步驟1獲取訓(xùn)練數(shù)據(jù)集合,通過多種手段渠道獲取各類電子郵件,并備注該電子郵件是否是垃圾郵件。

    步驟2建立模型,使用訓(xùn)練集合訓(xùn)練模型,更新模型中的參數(shù)。

    步驟3使用訓(xùn)練好的模型,對新的電子郵件進(jìn)行過濾。

    總結(jié)起來就是通過已有的訓(xùn)練集合(正例、反例)訓(xùn)練出相應(yīng)的垃圾郵件規(guī)則(包括顯式規(guī)則或隱式規(guī)則),然后將規(guī)則應(yīng)用到新的郵件判別中。

    最近幾年,國內(nèi)外研究者在此領(lǐng)域已經(jīng)取得了大量的研究成果。Sheu等人[4]利用決策樹模型構(gòu)建了三步法垃圾郵件過濾模式。Feng等人[5]提出了基于樸素貝葉斯分類器的訓(xùn)練集分類方法,提升了數(shù)據(jù)處理的頑健性,提出的SVM-NB方法能夠達(dá)到較高的垃圾郵件檢測精度。而Bansal等人[6]構(gòu)建了基于穿梭判定算法的垃圾詞語檢測方法,并且在谷歌郵件系統(tǒng)中做了初步的應(yīng)用。另外,廣告產(chǎn)業(yè)的發(fā)展為垃圾郵件攔截與過濾提出了新的要求,Chan等人[7]在此方向上做了針對性研究,推出了廣告環(huán)境下的垃圾郵件過濾方法。除此之外,一些其他的研究成果也引起了學(xué)術(shù)界和 IT產(chǎn)業(yè)界的廣泛關(guān)注[8-10]。曹玉東等人[11]基于改進(jìn)的局部敏感散列算法實現(xiàn)了圖像型垃圾郵件過濾,將垃圾郵件過濾方法的應(yīng)用范圍擴(kuò)大。

    2.2 垃圾郵件常用文本分類方法

    (1)Decision Tree方法

    決策樹利用熵的概念對每次決策產(chǎn)生的結(jié)果進(jìn)行分類[4]。決策樹使用樹狀結(jié)構(gòu)對目標(biāo)分類,樹中每個節(jié)點表示某個對象,每個分叉路徑代表某個可能的屬性值,而每個葉節(jié)點則對應(yīng)從根節(jié)點到該葉節(jié)點所經(jīng)歷的路徑所表示的對象的值。

    決策樹也可以被稱為分類樹,它是非常常用的分類方法。從另一個角度來說,決策樹是一種監(jiān)督學(xué)習(xí)方法。在給定樣本機(jī)器類別屬性后,決策樹通過學(xué)習(xí)能夠得到一個固定的分類器,從而給出新進(jìn)數(shù)據(jù)的具體類別。

    (2)AdaBoost方法

    自適應(yīng)增強(qiáng)(adaptive boosting,AdaBoost)是加權(quán)組合多個弱分類器分類結(jié)果,進(jìn)而得到更好的分類器的方法。Carreras和 Nicholas[12,13]將AdaBoost引入垃圾郵件過濾,獲得了很高的性能。AdaBoost方法的自適應(yīng)在于:后面的分類器會在那些被之前分類器分錯的樣本上訓(xùn)練。AdaBoost方法對于噪聲數(shù)據(jù)和異常數(shù)據(jù)很敏感。但在一些問題中,相比于大多數(shù)學(xué)習(xí)算法,AdaBoost方法對于過擬合問題不夠敏感。AdaBoost方法中使用的分類器可能很弱(比如出現(xiàn)很大錯誤率),但其分類效果只要比隨機(jī)好一點(比如它的二分類錯誤率略小于 0.5),就能夠改善最終模型。

    (3)Rough Sets方法

    Rough Sets算法是一種比較新穎的算法,粗糙集理論對于數(shù)據(jù)的挖掘提供了一個新的概念和

    2.3 用于垃圾郵件過濾的貝葉斯方法

    研究方法。將Rough Sets引入垃圾郵件過濾,采用11種非文本屬性(包括收信人數(shù)、中繼個數(shù)等)來進(jìn)行郵件分類(正常、廣告和反動)。

    具體來說,所有屬性分為2種屬性:1類為條件屬性,1類為決策屬性。本文姑且把決策屬性設(shè)置在數(shù)據(jù)列的最后一列,算法的步驟依次判斷條件屬性是否能被約簡,如果能被約簡,此輸出約簡屬性后的規(guī)則,規(guī)則的形式大體類似于IF-THEN的規(guī)則。

    (4)kNN方法

    k-近鄰方法(k-nearest neighbour,kNN)在線性模型中是最常見的方法,通過選擇特征與數(shù)據(jù)集合中所有特征對比最近的幾個樣本的標(biāo)簽平均值表示。

    對于郵件的垃圾分類,一方面郵件就是文本,屬于文本分類領(lǐng)域。另一方面,由郵件中的某些關(guān)鍵詞來推斷是否是垃圾郵件,就是一種貝葉斯條件概率方法的應(yīng)用。數(shù)據(jù)挖掘領(lǐng)域主要使用兩種貝葉斯方法,即樸素貝葉斯方法和貝葉斯網(wǎng)絡(luò)方法。貝葉斯方法的一個顯著特點,就是在知道結(jié)果的情況下了解假設(shè)的情況,也就是說,當(dāng)對某些知識知之甚少,或者毫不知情的時候,貝葉斯方法具有獨特優(yōu)勢。

    在垃圾郵件檢測過程中,其主要依據(jù)正常郵件與垃圾郵件的先驗概率。而貝葉斯分類模型能夠通過適當(dāng)?shù)莫毩⑿约僭O(shè)來簡化分布,也就是樸素貝葉斯假設(shè)。在這樣的假設(shè)條件下,能夠形成樸素貝葉斯網(wǎng)絡(luò)。

    貝葉斯分類算法是基于概率統(tǒng)計原理的一種分類方法,它具有運(yùn)算速度快、方法簡單、分類精度高等優(yōu)點,因而被廣泛應(yīng)用在文本分類領(lǐng)域,并表現(xiàn)出非常好的效果。

    目前,貝葉斯過濾算法被廣泛使用于智能和概率系統(tǒng)中,它具有單詞學(xué)習(xí)的模式和頻率,而不需要提前預(yù)設(shè)任何規(guī)則。具體來說,貝葉斯過濾技術(shù)能夠根據(jù)垃圾郵件與正常郵件的聯(lián)系與特點進(jìn)行判斷。與傳統(tǒng)的關(guān)鍵詞檢測過濾技術(shù)相比,貝葉斯過濾算法更加復(fù)雜且智能,而反過濾方法不能破解過濾器內(nèi)部的配置,從而提升了安全性與頑健性。

    2.4 基于樸素貝葉斯的文本分類及流程

    樸素貝葉斯分類器是垃圾郵件內(nèi)容過濾中智能應(yīng)用的分類方法。利用這種方法,可以根據(jù)訓(xùn)練集自動訓(xùn)練,訓(xùn)練的結(jié)果反映了訓(xùn)練集的性質(zhì)。因此訓(xùn)練者可以利用一定數(shù)量的垃圾郵件和非垃圾郵件,訓(xùn)練郵件過濾器,從而達(dá)到高效、準(zhǔn)確過濾垃圾郵件的目的。

    樸素貝葉斯分類的流程如圖1表示。

    圖1 樸素貝葉斯分類流程

    然而,樸素貝葉斯分類也有缺陷,它的假設(shè)是基于“各特征項相互條件獨立”。在很多的實際問題中,如果此下設(shè)表現(xiàn)不夠明顯,甚至出現(xiàn)不成立時,錯誤的分類將會出現(xiàn),從而影響算法的最終表現(xiàn)。在本文中,貝葉斯模型的使用將會被改善,而具體的內(nèi)容將會在第3節(jié)中被介紹。

    3 主題模型在垃圾郵件過濾中的研究

    3.1 基于關(guān)鍵詞的垃圾郵件過濾

    3.1.1 算法思想

    主要算法思想是基于關(guān)鍵詞技術(shù),采用樸素貝葉斯分類方法得到關(guān)鍵詞,分析郵件內(nèi)容分類到垃圾郵件的置信概率,進(jìn)而產(chǎn)生分類結(jié)果。這種方法的優(yōu)勢在于復(fù)雜度低,且應(yīng)用范圍較廣。3.1.2 基于關(guān)鍵詞的郵件過濾算法流程

    從內(nèi)容上看,郵件過濾可以看成一個二值分類問題,即把郵件分為垃圾郵件類和合法郵件類?;陉P(guān)鍵詞的郵件過濾算法流程簡單來講是樸素貝葉斯方法,貝葉斯過濾算法大致由以下基本步驟組成。

    步驟 1收集大量的垃圾郵件和合法郵件,建立垃圾郵件集和合法郵件集。

    步驟 2提取郵件主題和郵件體中的獨立字符串,例如sale、cash等作為token串并統(tǒng)計提取出的token串出現(xiàn)的次數(shù)即字頻。按照上述的方法分別處理垃圾郵件集和合法郵件集中的所有郵件。采用貝葉斯文本分類法對訓(xùn)練樣本學(xué)習(xí),得到P(S|W)。

    步驟 3每一個郵件集對應(yīng)一個散列表,合法郵件集對應(yīng)表 hashtable_good,垃圾郵件集對應(yīng)表hashtable_bad,表中存儲token串到字頻的映射關(guān)系。

    步驟 4計算每個散列表中 token串出現(xiàn)的概率,可以得到 P1(ti)和 P2(ti), P1(ti)表示 ti在hashtable_good中的值(也就是token串ti在合法郵件中的概率);P2(ti)表示ti在hashtable_bad中的值(也就是token串ti在垃圾郵件中的概率):

    步驟 5由步驟 2中貝葉斯文本分類法得到的 P(S|W),綜合考慮散列表 hashtable_good和hashtable_bad,推斷出當(dāng)新來的郵件中出現(xiàn)某個token串時,該新郵件為垃圾郵件的概率。計算式為:

    其中,A事件表示郵件為垃圾郵件;t1,t2,…,tn代表token串;P(A|ti)表示當(dāng)token串ti出現(xiàn)在所收到的郵件中時,該郵件為垃圾郵件的概率。

    假設(shè)該郵件共得到N個 token串t1,t2,…,tn,hashtable_probability中對應(yīng)的值為 P1,P2,…,Pn,P(A|t1,t2,…,tn)表示在郵件中同時出現(xiàn)多個token串t1,t2,…,tn時,該郵件為垃圾郵件的概率。

    由聯(lián)合概率公式可得:

    當(dāng) P(A|t1,t2,…,tn)超過預(yù)定閾值(例如 0.95)時,就可以判斷郵件為垃圾郵件。

    3.2 LDA主題模型

    LDA(latent Dirichlet allocation)的產(chǎn)生和發(fā)展歷經(jīng)TF-IDF、LSA、pLSA等多種主題模型方法,由于LDA模型的良好的數(shù)學(xué)基礎(chǔ)和靈活的擴(kuò)展性,一經(jīng)提出即得到了來自各個領(lǐng)域研究者的關(guān)注,被廣泛應(yīng)用在文本挖掘及信息處理的研究中[14]。

    LDA模型最初是作為一種文本分類和主題聚類方法被提出,它將文檔集中每篇文檔的主題以概率分布形式給出,從而通過分析便能夠得到聚類結(jié)果。與此同時,它是一種典型的詞袋模型。也就是說,每篇文檔將會被分解為一組詞,而不用考慮先后順序。

    LDA是一個三層的貝葉斯概率生成模型,由“主題—詞語”和“文檔—主題”構(gòu)成。在LDA模型中需要求解“詞語—主題”和“主題—文檔”兩個模型參數(shù)。LDA假設(shè)文本集D中各文本w有如下生成過程,如圖2所示,T表示主題的個數(shù),D表示文檔的個數(shù),Nd表示第d篇文檔中詞語的個數(shù)。

    圖2 LDA模型

    步驟1 確定文檔中的詞語數(shù)N,使之服從參數(shù)為ξ的泊松分布。

    步驟3對于文本中N個詞中的每一個wn:確定一個主題 zn,使之服從參數(shù)為θ的多項式分布;依照概率 p( wn|zn,β)選擇每一個詞語wn。

    3.3 基于主題模型的垃圾郵件過濾方法

    基于主題模型抽取垃圾郵件的主題,對已知的垃圾郵件樣本進(jìn)行訓(xùn)練,提取垃圾郵件的特征,采用貝葉斯估計分類算法,構(gòu)造垃圾郵件的過濾器。利用得到的垃圾郵件過濾器,對新的郵件進(jìn)行分析、判斷,區(qū)分垃圾郵件和合法郵件,實現(xiàn)垃圾郵件的過濾。

    具體實現(xiàn)步驟如下。

    步驟 1采集一定數(shù)量的垃圾郵件與合法郵件,建立相應(yīng)的垃圾郵件集和合法郵件集,計算詞頻得到每個詞語出現(xiàn)的情況下該郵件是垃圾郵件的概率P(S|W)。

    步驟 2利用 LDA主題模型對郵件進(jìn)行主題抽取,分類算法對已知的垃圾郵件樣本進(jìn)行訓(xùn)練,對垃圾郵件集和合法郵件集中的郵件進(jìn)行解析,并提取郵件的特征,統(tǒng)計相應(yīng)數(shù)據(jù)。LDA是一種文檔主體生成模型,也成為一個三層貝葉斯概率模型,包含詞、主體、文檔這三層結(jié)構(gòu)。生成模型,即一篇文章的每個詞都是通過以一定的概率選擇了一個主題,并從這個主題中以一定的概率選擇這個詞語的過程得到的。

    步驟 3由聯(lián)合概率公式計算每個主題中所有詞語的聯(lián)合概率;得到每個主題出現(xiàn)的情況下該郵件是垃圾郵件的概率;構(gòu)造郵件分類器。

    步驟 4采用貝葉斯分類器。選取一個判斷垃圾郵件適當(dāng)?shù)拈撝?,利用所建立的郵件分類器實現(xiàn)對郵件的分類。

    預(yù)應(yīng)力鋼絲繩的一端直接穿入端部錨具的開口,另一端通過張拉器進(jìn)行張拉。采用對稱張拉的原則,以防結(jié)構(gòu)產(chǎn)生扭轉(zhuǎn)、側(cè)彎。張拉時從兩側(cè)向中間對稱前進(jìn),鋼絲繩布置如圖5所示。

    3.4 模型的改進(jìn)

    傳統(tǒng)判斷兩個文檔相似性的辦法是查看兩個文檔共同出現(xiàn)的單詞的多少,如TF-IDF等,但這種辦法沒有考慮到文字背后的語義關(guān)聯(lián),有可能兩個文檔說的是相似的內(nèi)容但并沒有詞語上的交集。LDA提取出來的郵件主題關(guān)鍵詞能夠表達(dá)郵件較高級別的主題內(nèi)容,能夠消除主題關(guān)鍵詞之間的歧義。但是此時每個主題關(guān)鍵詞并不是使用向量表達(dá),此時本文使用Word2Vec方法,將詞語轉(zhuǎn)化為向量空間,有利于計算詞語之間的相似程度。同時使用主題詞向量距離計算方式計算距離主題最近的詞語,即用Word2Vec生成每個主題中詞語的關(guān)聯(lián)詞,作為主題詞語的擴(kuò)容,在此基礎(chǔ)上再進(jìn)行垃圾郵件判斷。

    4 垃圾郵件過濾器的設(shè)計及實驗分析

    4.1 郵件樣本集的選取

    4.1.1 垃圾郵件過濾的語料庫

    本文采用的垃圾郵件語料庫從網(wǎng)上采集,包含正常郵件和垃圾郵件各8 000封。圖3為比較典型的用于廣告的垃圾郵件案例。

    用這兩類郵件建立垃圾郵件過濾器中詞的先驗概率。過程如下。

    首先,解析所有郵件,提取每一個詞。然后,計算每個詞語在正常郵件和垃圾郵件中的出現(xiàn)頻率。例如,假定“發(fā)票”這個詞,在8 000封垃圾郵件中,有200封包含這個詞,那么它的出現(xiàn)頻率就是2.5%;而在8 000封正常郵件中,只有2封包含這個詞,那么出現(xiàn)頻率就是0.025%。有可能某個詞在已有的某一類郵件語料中未出現(xiàn),為了避免該詞的先驗概率出現(xiàn)為0的情況,設(shè)定該詞的出現(xiàn)頻次為 1。假設(shè)某個詞只出現(xiàn)在垃圾郵件中,正常郵件中沒有,就設(shè)定它在正常郵件的出現(xiàn)頻率是0.012 5%(1/8 000),反之亦然。隨著郵件數(shù)量的增加,詞的先驗概率計算結(jié)果會更接近于真實情況。

    4.1.2 垃圾郵件評價指標(biāo)

    為了對垃圾郵件過濾系統(tǒng)的效果做分析,需要一個評價體系來進(jìn)行評估,即一個系統(tǒng)可以判定未知文檔是否屬于某類。假定有N個郵件文檔通過分類器分別分類,可以用表1來表示人工與系統(tǒng)對郵件的評判情況。A為人工與系統(tǒng)都評判為垃圾的郵件數(shù);B為人工評判為正常,而系統(tǒng)評判為垃圾的郵件數(shù);C為系統(tǒng)評判為正常,而人工評判為垃圾的郵件數(shù);D為人工與系統(tǒng)都評判為正常的郵件數(shù)。

    表1 垃圾郵件測評

    定義如下幾個指標(biāo)來檢測算法對垃圾郵件的過濾效果。

    (1)召回率(recall)

    描述收到一封垃圾郵件時,分類器判定為垃圾郵件的概率,召回率越高,表示分類器對郵件分類效果越顯著,計算式為:

    (2)正確率(precision)

    描述分類器對正常郵件和垃圾郵件都能正確分辨的概率,將垃圾郵件判為垃圾郵件和將非垃圾郵件判為合法郵件的概率,正確率越高表示分類器的效果越理想,計算式為:

    (3)誤判率(misjudge)

    圖3 垃圾郵件案例

    描述正常郵件的誤判率,將非垃圾郵件判為垃圾郵件的概率,這是描述一個分類器是否有效的關(guān)鍵指標(biāo),如果誤判率很高,則說明分類器沒有起到很好的分類效果,誤判率越低表示正常郵件被判為垃圾郵件的概率越小,計算式為:

    (4)精確率(accuracy)

    分類器對正常郵件分類的正確性,精確率越高表示郵件對正常郵件的判別越正確,計算式為:

    在對實驗結(jié)果的評估中將會比較以上數(shù)值。準(zhǔn)確率 P 是郵件被正確分類的概率,召回率是指實驗方法將郵件正確分類的概率,F(xiàn)1值則是指β=1時的F值,是最常用的F值之一,可以看作模型準(zhǔn)確率和召回率的一種加權(quán)平均。這3個值都是數(shù)值越高所代表的分類效果越優(yōu)秀。

    4.2 實驗結(jié)果與分析

    4.2.1 LDA主題抽取

    步驟 1首先用 jieba分詞算法分詞后得到300個分詞文件,名稱如1-seg.txt、2-seg.txt等。例如,“合金”“批發(fā)”“朋友”“爸媽”等詞語。

    步驟2再用LDA主題模型算法解析300封郵件,得到20個主題詞組,如:“0.090*‘交涉’+0.090*‘小白臉’+0.090*‘力阻’+ 0.090*‘撕破臉’+ 0.090*‘私事’”。

    步驟3最后得到300×20維的權(quán)值矩陣,300表示300封郵件,20表示20個主題,即每封郵件和20個主題之間的相關(guān)度。

    采用 LDA主題模型算法,從測試集中選取300封郵件進(jìn)行主題抽取20個主題,主題詞確定為10個,選取兩個具有代表性的主題,結(jié)果見表2。4.2.2 LDA反垃圾郵件過濾實驗結(jié)果與分析

    為了有效地驗證該方法的可行性,選用正常郵件和垃圾郵件各8 000封,共16 000封作為訓(xùn)練集;另取正常郵件和垃圾郵件各150封,共300封作為測試集。用本文基于LDA的垃圾郵件過濾方法進(jìn)行實驗,其中主題數(shù)確定為20個,主題詞為10個,共完成5組實驗,結(jié)果見表3。

    表2 主題模型結(jié)果

    表3 基于LDA的垃圾郵件過濾方法測試結(jié)果

    在實驗中,把垃圾郵件的概率跟合法郵件的概率做比較,需要選擇判定垃圾郵件概率的閾值。閾值的控制比較重要,如果太大則會漏掉大量垃圾郵件,通過實驗確定最佳閾值為0.43左右。

    (1)與其他方法比較

    為了更好地說明本文設(shè)計算法的有效性,本文選取了積累典型的垃圾郵件過濾方法進(jìn)行比較,包括基于Na?ve Bayes的郵件過濾方法[15,16]、基于SVM的郵件過濾方法[17]、基于kNN的郵件過濾方法[18]、基于MTM(message topic model)的郵件過濾方法[3]、基于決策樹的三步郵件過濾方法[4]、基于SVM-NB的郵件過濾方法[5]。其中,前3種方法是以簡單機(jī)器學(xué)習(xí)為基礎(chǔ)的郵件過濾方法,MTM方法建立了一種有效的方式,用來檢測郵件主題詞,三步郵件過濾法是以決策樹為基礎(chǔ)的,而SVM-NB方法是基于樸素貝葉斯分類分類的方式,對比見表4。

    表4 各種不同方法郵件測試結(jié)果

    由表4可知,本文基于LDA的垃圾郵件過濾方法使垃圾郵件的召回率相比Na?ve Bayes方法、SVM方法、kNN方法、MTM方法、決策樹方法有很大提升,分別上升了17%、2%、10%、3%、4%;識別正確率和Na?ve Bayes相同,而相比SVM方法、kNN方法則分別提高了2%、10%;F1值相比Na?ve Bayes方法、SVM方法、kNN方法、MTM方法、決策樹方法以及SVM-NB方法分別提高了10%、2%、10%、3%、4%、2%。

    在基于決策樹三步郵件過濾方法中,它利用決策樹模型構(gòu)建了三步法垃圾郵件過濾模式。對于SVM-NB算法,它提出了基于樸素貝葉斯分類器的訓(xùn)練集分類方法,提升了數(shù)據(jù)處理的頑健性,此方法能夠達(dá)到較高的垃圾郵件檢測精度。相比于這兩種方法,本文推出的LDA算法能夠更好地提取文本特征,從而達(dá)到更高的分類精度?;贚DA的垃圾郵件過濾方法在垃圾郵件正確率方面和 Na?ve Bayes方法相同,在垃圾郵件的召回率方面高于這3種方法,并且具有較高的F1測試值。這說明該方法在性能上要優(yōu)于Na?ve Bayes、SVM、kNN方法。

    (2)采用不同主題數(shù)的結(jié)果比較

    在實驗(1)中,選擇主題數(shù)為20個,主題詞為10個,共完成了5組實驗,并且與另外3種郵件過濾方法進(jìn)行了比較。在本實驗中選擇主題詞仍為10個,分別選擇主題數(shù)為10、15、20、25個進(jìn)行實驗,結(jié)果見表5。

    表5 不同主題數(shù)下的測試結(jié)果

    分析實驗結(jié)果如圖4、圖5所示,在選取合適閾值的條件下,系統(tǒng)的召回率和正確率隨著主題數(shù)的增加而提高。其原因是,隨著主題數(shù)的增加,對測試集郵件的語義劃分更明確,進(jìn)而使得系統(tǒng)的召回率和正確率明顯提升?;谶@樣的原理,本方法可以取得較好的垃圾郵件過濾結(jié)果。4.2.3 基于改進(jìn)的主題垃圾郵件過濾方法實驗結(jié)果與分析

    圖4 不同主題數(shù)下的召回率和正確率

    圖5 不同主題數(shù)下的閾值

    改進(jìn)的方法主要將獲得的主題進(jìn)行擴(kuò)展,用Word2Vec方法得到每個主題中詞的幾個相關(guān)的詞,將獲得的詞重新構(gòu)建主題組。

    下面列舉幾個主題詞經(jīng)過 Word2Vec計算后得到的結(jié)果,如圖6所示。

    圖6 主題詞經(jīng)過Word2Vec計算后得到的結(jié)果

    以其中一個主題為例,通過Word2Vec擴(kuò)展原主題詞為12個詞,見表6。

    表6 原主題與擴(kuò)展主題

    這里實驗過程分兩個步驟。

    步驟1 將重建的主題組再次經(jīng)LDA算法獲得權(quán)值矩陣。

    步驟2 再用測試集進(jìn)行測試,得到最終的實驗結(jié)果。

    在本實驗中選擇主題數(shù)為 20個,主題詞由10個擴(kuò)展為12個,共完成了5組實驗。

    測試結(jié)果見表7。

    表7 基于Word2Vec改進(jìn)的垃圾郵件過濾方法測試結(jié)果

    分析表7,改進(jìn)方法在增加2個關(guān)聯(lián)主題詞的情況下,在F1值上比原方法改進(jìn)明顯,在5次實驗中有3次獲得了較大的提高,證明了改進(jìn)方法的有效性。

    5 結(jié)束語

    本文對基于主題模型的垃圾郵件過濾系統(tǒng)的設(shè)計與實現(xiàn)進(jìn)行了分析和驗證,與傳統(tǒng)的關(guān)鍵詞檢測過濾技術(shù)相比,貝葉斯過濾算法更加有效且智能,從而提升了系統(tǒng)的安全性與頑健性。通過與其他典型垃圾郵件過濾方法的對比及驗證,證明基于主題模型的垃圾郵件分類方法及基于Word2Vec的改進(jìn)方法均能有效提高垃圾郵件過濾的準(zhǔn)確度。

    在未來的研究中,基于語義的文本分類具有非常大的潛力。針對自然語言的具體層次結(jié)構(gòu),機(jī)器學(xué)習(xí)與深度學(xué)習(xí)的方式已經(jīng)在其他領(lǐng)域表現(xiàn)出非常強(qiáng)大的處理能力。在這種背景下,郵件攔截方法的設(shè)計可以參考相關(guān)研究成果進(jìn)行深入探索??傊?,未來的郵件攔截系統(tǒng)將會具有非常大的改進(jìn)空間,因此相關(guān)的研究需要被重點關(guān)注。

    [1] MIKOLOV T, CHEN K, CORRADO G, et al. Efficient estimation of word representations in vector space[J]. arXiv preprint arXiv:1301.3781, 2013.

    [2] 祝毅鳴, 張波. 實時黑名單在垃圾郵件過濾系統(tǒng)中的應(yīng)用[J].科技資訊,2012(12):33.ZHU Y M, ZHANG B. Application of real time blacklist in spam filtering system[J]. Science & Technology Information,2012(12):33.

    [3] MA J, ZHANG Y, WANG Z, et al. A message topic model for multi-grain SMS spam filtering[J]. International Journal of Technology & Human Interaction, 2016, 12(2):83-95.

    [4] SHEN J J, CHEN Y K, CHU K T, et al. An intelligent three-phase spam filtering method based on decision tree data mining[J]. Security & Communication Networks, 2016, 9(17):4013-4026.

    [5] FENG W, SUN J, ZHANG L, et al. A support vector machine based naive Bayes algorithm for spam filtering[C]// 2016 Performance Computing and Communications Conference, Dec 9-11, 2016, Las Vegas, NV, USA. New Jersey: IEEE Press,2017:1-8.

    [6] BANSAL R P, HAMILTON I R A. O'CONNELL B M, et al.System and method to control email whitelists: US, US 8676903 B2[P]. 2014.

    [7] CHAN P P K, YANG C, YEUNG D S, et al. Spam filtering for short messages in adversarial environment[J]. Neurocomputing,2015, 155(C):167-176.

    [8] DEVI K S, RAVI R. A new feature selection algorithm for Efficient Spam Filtering using Adaboost and Hashing techniques[J].Indian Journal of Science & Technology, 2015, 8(13).

    [9] AFZAL H, MEHMOOD K. Spam filtering of bi-lingual tweets using machine learning[C]// International Conference on Advanced Communication Technology, Jan 31-Feb 3, 2016,Pyeongchang, South Korea. New Jersey: IEEE Press, 2016.

    [10] DAS M, BHOMICK A, SINGH Y J, et al. A modular approach towards image spam filtering using multiple classifiers[C]//2014 IEEE International Conference on Computational Intelligence and Computing Research. Dec 20, 2014, Coimbatore, India. New Jersey: IEEE Press, 2015:1-8.

    [11] 曹玉東, 劉艷洋, 賈旭, 等. 基于改進(jìn)的局部敏感散列算法實現(xiàn)圖像型垃圾郵件過濾[J]. 計算機(jī)應(yīng)用研究, 2016,33(6):1693-1696.CAO Y D, LIU Y Y, JIA X, et al. Image spam filtering with improved LSH algorithm[J]. Application Research of Computers,2016, 33(6):1693-1696.

    [12] 徐凱, 陳平華, 劉雙印. 基于 Adaboost-Bayes算法的中文文本分類系統(tǒng)[J]. 微電子學(xué)與計算機(jī), 2016, 33(6):63-67.XU K, CHEN P H, LIU S Y. A Chinese text classification system based on Adaboost-Bayes algorithm[J]. Microelectronics & Computer, 2016, 33(6):63-67.

    [13] 周慶良. 一種基于 Adaboost和分類回歸樹的垃圾郵件過濾算法[D]. 武漢: 華中科技大學(xué), 2016.ZHOU Q L. A spam filtering algorithm based on Adaboost and classification regression tree[D]. Wuhan: Huazhong University of Science and Technology, 2016.

    [14] SMITH D A, MCMANIS C. Classification of text to subject using LDA[C]//2015 IEEE International Conference on Semantic Computing (ICSC), Feb 7- Feb 9, 2015, Anaheim, CA, USA.New Jersey: IEEE Press, 2015: 131-135.

    [15] 趙治國, 譚敏生, 李志敏. 基于改進(jìn)貝葉斯的垃圾郵件過濾算法綜述[J]. 南華大學(xué)學(xué)報: 自然科學(xué)版, 2006, 20(1): 33-38.ZHAO Z G, TAN M S, LI Z M. Review of spam filter algorithms based on improved Bayes[J]. Journal of Nanhua University(Science and Technology), 2006, 20(1): 33-38.

    [16] 林巧民, 許建真, 許棣華, 等. 基于貝葉斯算法的垃圾郵件過濾技術(shù)[J]. 南京師范大學(xué)學(xué)報: 工程技術(shù)版, 2005, 5(4):61-64.LIN Q M, XU J Z, XU D H, et al. Research on Bayes-based spam filtering[J]. Journal of Nanjing Normal University(Engineering and Technology), 2005, 5(4): 61-64.

    [17] LI L, MAO T, HUANG D. Extracting location names from Chinese texts based on SVM and KNN[C]// 2005 IEEE International Conference on Natural Language Processing and Knowledge Engineering(IEEE NLP-KE'05), Oct 30-Nov 1, Wuhan,China. New Jersey: IEEE Press, 2005: 371-375.

    [18] 林文香. 改進(jìn)的KNN算法在過濾垃圾郵件中的應(yīng)用研究[D].長沙: 湖南大學(xué), 2010.LIN W X. Application of improved KNN algorithm in spam e-mail filtering[D]. Changsha: Hunan University, 2010.

    Design and implementation of spam filtering system based on topic model

    KOU Xiaohuai, CHENG Hua
    College of Information Science and Engineering, East China University of Science and Technology, Shanghai 200237, China

    Spam filtering technology plays a key role in many areas including information security, transmission efficiency, and automatic information classification. However, the emergence of spam affects the user's sense of experience, and can cause unnecessary economic and time loss. The deficiency of spam filtering technology was researched, and a method of spam classification based on naive Bayesian was put forward based on multiple keywords.In the subject of mail, the theme model was used by LDA to get the related subject and keyword of the message, and Word2Vec was further used to search keyword synonyms and related words, extending the keyword collection. In the classification of mails, the transcendental probability of the words in the training dataset was obtained by statistical learning. Based on the extended keyword collection and its probability, the joint probability of a subject and a message was deduced by the Bayesian formula as a basis for the spam judgment. At the same time, the spam filtering system based on topic model was simple and easy to apply. By comparing experiments with other typical spam filtering method, it is proved that the method of spam classification based on theme model and the improved method based on Word2Vec can effectively improve the accuracy of spam filtering.

    text classification, spam, topic model, Bayesian theory

    TP393

    A

    10.11959/j.issn.1000?0801.2017313

    2017?05?12;

    2017?09?16

    寇曉淮(1989?),男,華東理工大學(xué)信息科學(xué)與工程學(xué)院碩士生,主要研究方向為信息分析與處理、智能信號處理和網(wǎng)絡(luò)與信息安全。

    程華(1975?),男,博士,華東理工大學(xué)信息科學(xué)與工程學(xué)院副教授,主要研究方向為信息安全、信號處理、網(wǎng)絡(luò)行為學(xué)和流量工程。

    猜你喜歡
    垃圾郵件貝葉斯郵件
    基于James的院內(nèi)郵件管理系統(tǒng)的實現(xiàn)
    從“scientist(科學(xué)家)”到“spam(垃圾郵件)”,英語單詞的起源出人意料地有趣 精讀
    英語文摘(2021年10期)2021-11-22 08:02:36
    一種基于SMOTE和隨機(jī)森林的垃圾郵件檢測算法
    一封郵件引發(fā)的梅賽德斯反彈
    車迷(2018年12期)2018-07-26 00:42:32
    貝葉斯公式及其應(yīng)用
    基于貝葉斯估計的軌道占用識別方法
    基于支持向量機(jī)與人工免疫系統(tǒng)的垃圾郵件過濾模型
    一種基于貝葉斯壓縮感知的說話人識別方法
    電子器件(2015年5期)2015-12-29 08:43:15
    IIRCT下負(fù)二項分布參數(shù)多變點的貝葉斯估計
    石器部落
    a级毛片免费高清观看在线播放| 国产激情偷乱视频一区二区| 看黄色毛片网站| 看免费成人av毛片| 日韩av不卡免费在线播放| 一区福利在线观看| 国产一区二区激情短视频| 深爱激情五月婷婷| 高清毛片免费观看视频网站| 综合色丁香网| 夜夜爽天天搞| 在线免费十八禁| 校园春色视频在线观看| 最近最新中文字幕大全电影3| 亚洲天堂国产精品一区在线| 99热这里只有是精品在线观看| 欧美成人一区二区免费高清观看| 亚洲人与动物交配视频| 99在线视频只有这里精品首页| 亚洲国产精品成人久久小说 | 久久久精品欧美日韩精品| 国产成人福利小说| 麻豆国产97在线/欧美| 精品久久久久久久久av| 日本-黄色视频高清免费观看| 99久国产av精品| 在线观看美女被高潮喷水网站| 波多野结衣高清作品| 一个人看视频在线观看www免费| 一个人看的www免费观看视频| 中文字幕av在线有码专区| 日韩在线高清观看一区二区三区| 小蜜桃在线观看免费完整版高清| 日韩欧美在线乱码| 18+在线观看网站| 97超碰精品成人国产| 欧美变态另类bdsm刘玥| 亚洲人成网站高清观看| 成人美女网站在线观看视频| 国产精品麻豆人妻色哟哟久久 | 少妇的逼水好多| 晚上一个人看的免费电影| 99在线视频只有这里精品首页| 国产成人影院久久av| 一边摸一边抽搐一进一小说| 成人鲁丝片一二三区免费| 成人综合一区亚洲| 国内精品一区二区在线观看| 免费观看a级毛片全部| 精品久久久久久久久av| 精品一区二区三区视频在线| 一卡2卡三卡四卡精品乱码亚洲| 在线国产一区二区在线| 人妻夜夜爽99麻豆av| 欧美日韩精品成人综合77777| 亚洲欧洲日产国产| 亚洲欧美中文字幕日韩二区| 国产精品永久免费网站| 国产精品一区二区三区四区免费观看| 亚洲成人精品中文字幕电影| 美女国产视频在线观看| 精品欧美国产一区二区三| 成年av动漫网址| 日韩在线高清观看一区二区三区| 又粗又爽又猛毛片免费看| 久久精品国产亚洲av香蕉五月| 国产成人a∨麻豆精品| 青春草国产在线视频 | 国内精品一区二区在线观看| 97人妻精品一区二区三区麻豆| 搡老妇女老女人老熟妇| 99久国产av精品| 18+在线观看网站| 99久久久亚洲精品蜜臀av| 婷婷六月久久综合丁香| 91在线精品国自产拍蜜月| 亚洲成人久久爱视频| 亚洲人成网站高清观看| 国产老妇女一区| 午夜a级毛片| 99九九线精品视频在线观看视频| 啦啦啦啦在线视频资源| 欧美日韩国产亚洲二区| 日产精品乱码卡一卡2卡三| 国产一区二区三区在线臀色熟女| 久久99热6这里只有精品| a级一级毛片免费在线观看| 国产精品久久久久久久电影| 搡女人真爽免费视频火全软件| 亚洲五月天丁香| 久久精品国产99精品国产亚洲性色| 久久这里有精品视频免费| 全区人妻精品视频| 亚州av有码| 久久6这里有精品| 亚洲一区高清亚洲精品| 亚洲,欧美,日韩| 此物有八面人人有两片| 淫秽高清视频在线观看| 男人的好看免费观看在线视频| 亚洲av成人精品一区久久| 亚洲av二区三区四区| 成人三级黄色视频| 亚洲欧美日韩卡通动漫| 亚洲在线观看片| 国产女主播在线喷水免费视频网站 | 亚洲自偷自拍三级| 春色校园在线视频观看| 十八禁国产超污无遮挡网站| 国产伦在线观看视频一区| 美女大奶头视频| or卡值多少钱| 中文字幕精品亚洲无线码一区| 亚洲三级黄色毛片| 一区二区三区高清视频在线| 26uuu在线亚洲综合色| 一级毛片久久久久久久久女| 成人二区视频| av黄色大香蕉| 麻豆一二三区av精品| 亚洲精品国产成人久久av| 听说在线观看完整版免费高清| 免费看美女性在线毛片视频| 国产成人a区在线观看| 又爽又黄无遮挡网站| 国产日本99.免费观看| 哪个播放器可以免费观看大片| 日本五十路高清| 亚洲精品亚洲一区二区| 91精品一卡2卡3卡4卡| 精品国内亚洲2022精品成人| 成人美女网站在线观看视频| 成人午夜精彩视频在线观看| 欧美激情国产日韩精品一区| 国产精品.久久久| 国产亚洲精品久久久久久毛片| av免费观看日本| 日本一本二区三区精品| 97超碰精品成人国产| 不卡一级毛片| 91午夜精品亚洲一区二区三区| 国产一区二区三区av在线 | a级毛片免费高清观看在线播放| 高清毛片免费观看视频网站| 久久久久免费精品人妻一区二区| 亚洲美女视频黄频| a级毛片a级免费在线| 99热全是精品| 久久久久久久久久成人| 久久精品国产亚洲av香蕉五月| 天天躁日日操中文字幕| 99久久成人亚洲精品观看| 国产极品精品免费视频能看的| 婷婷六月久久综合丁香| 久久久色成人| 国产精品国产高清国产av| 免费看a级黄色片| 日韩强制内射视频| 久久人妻av系列| 夫妻性生交免费视频一级片| 亚洲精品色激情综合| 亚洲人与动物交配视频| 日韩一区二区视频免费看| 22中文网久久字幕| av卡一久久| 亚洲精品乱码久久久v下载方式| 熟妇人妻久久中文字幕3abv| 免费看a级黄色片| 亚洲五月天丁香| 99久久人妻综合| 亚洲经典国产精华液单| 亚洲国产欧洲综合997久久,| 我要搜黄色片| 亚洲av电影不卡..在线观看| 国产精品久久久久久久电影| a级毛片免费高清观看在线播放| 欧美成人精品欧美一级黄| 欧美日韩国产亚洲二区| 丰满的人妻完整版| 午夜精品在线福利| 校园春色视频在线观看| 日韩精品青青久久久久久| 少妇的逼好多水| 成人性生交大片免费视频hd| 少妇的逼水好多| 看非洲黑人一级黄片| 久久6这里有精品| 蜜桃久久精品国产亚洲av| 亚洲色图av天堂| 亚洲精品乱码久久久久久按摩| 激情 狠狠 欧美| 久久精品国产亚洲网站| 久久久久久久久中文| 日韩av不卡免费在线播放| 国产一区二区亚洲精品在线观看| 青春草国产在线视频 | 国产国拍精品亚洲av在线观看| 在现免费观看毛片| 国产激情偷乱视频一区二区| 久久99精品国语久久久| 老司机影院成人| 赤兔流量卡办理| 国产精品福利在线免费观看| 欧美在线一区亚洲| 一级毛片aaaaaa免费看小| 日产精品乱码卡一卡2卡三| 国产黄色小视频在线观看| 女的被弄到高潮叫床怎么办| 九九在线视频观看精品| 有码 亚洲区| 午夜激情福利司机影院| www.av在线官网国产| 久久亚洲精品不卡| av女优亚洲男人天堂| 亚洲av中文字字幕乱码综合| avwww免费| 欧美成人a在线观看| 可以在线观看毛片的网站| 日本五十路高清| 最近中文字幕高清免费大全6| 精品久久久久久成人av| 欧美又色又爽又黄视频| 岛国在线免费视频观看| 国产成人精品一,二区 | 狂野欧美白嫩少妇大欣赏| 国产精品一区二区三区四区免费观看| 国产亚洲91精品色在线| 女的被弄到高潮叫床怎么办| 色哟哟哟哟哟哟| 亚洲国产欧洲综合997久久,| 免费看日本二区| 亚洲中文字幕一区二区三区有码在线看| 久久久久久久午夜电影| 亚洲国产精品久久男人天堂| 国产亚洲5aaaaa淫片| а√天堂www在线а√下载| 在线播放国产精品三级| 精品不卡国产一区二区三区| 99九九线精品视频在线观看视频| 老女人水多毛片| 国产精品麻豆人妻色哟哟久久 | 女人被狂操c到高潮| 午夜精品一区二区三区免费看| 日日啪夜夜撸| 99九九线精品视频在线观看视频| 99久国产av精品| 边亲边吃奶的免费视频| 色噜噜av男人的天堂激情| 少妇裸体淫交视频免费看高清| 国产成人aa在线观看| 18禁在线无遮挡免费观看视频| 国产精品综合久久久久久久免费| 天天一区二区日本电影三级| 亚洲人成网站在线观看播放| 国内精品一区二区在线观看| 一个人看视频在线观看www免费| 亚洲精品日韩在线中文字幕 | 成人国产麻豆网| 偷拍熟女少妇极品色| 国产精品久久久久久精品电影小说 | 婷婷色综合大香蕉| 欧美三级亚洲精品| 久久欧美精品欧美久久欧美| 日韩在线高清观看一区二区三区| h日本视频在线播放| 亚洲乱码一区二区免费版| 久久久久久大精品| 亚洲欧美中文字幕日韩二区| 亚洲久久久久久中文字幕| 久久人妻av系列| 大又大粗又爽又黄少妇毛片口| 日韩国内少妇激情av| 高清毛片免费看| 日韩一区二区视频免费看| 欧美日韩一区二区视频在线观看视频在线 | 一级毛片我不卡| 亚洲欧美中文字幕日韩二区| 一卡2卡三卡四卡精品乱码亚洲| 中文字幕免费在线视频6| 亚洲欧美日韩东京热| 一级黄色大片毛片| 国产白丝娇喘喷水9色精品| 18禁在线无遮挡免费观看视频| 免费黄网站久久成人精品| 亚洲在线自拍视频| 国产精品.久久久| 亚洲精品日韩在线中文字幕 | 男女视频在线观看网站免费| 久久人人爽人人片av| 大又大粗又爽又黄少妇毛片口| 内射极品少妇av片p| 男女啪啪激烈高潮av片| 亚洲18禁久久av| 一区二区三区免费毛片| 午夜激情欧美在线| 免费黄网站久久成人精品| 长腿黑丝高跟| 一进一出抽搐gif免费好疼| 国产av不卡久久| 亚洲av一区综合| 国产精品美女特级片免费视频播放器| 中出人妻视频一区二区| 久久久欧美国产精品| 人妻夜夜爽99麻豆av| av又黄又爽大尺度在线免费看 | 国产精品一及| 久久久精品欧美日韩精品| 人妻少妇偷人精品九色| 国产在视频线在精品| 久久精品国产亚洲av涩爱 | 夜夜爽天天搞| 日韩欧美国产在线观看| 久久久久免费精品人妻一区二区| 在线观看免费视频日本深夜| 99热只有精品国产| 国产精品嫩草影院av在线观看| 亚洲一区高清亚洲精品| 中文资源天堂在线| 国产精品无大码| 麻豆国产av国片精品| 国产午夜精品论理片| 久久国产乱子免费精品| 国模一区二区三区四区视频| 啦啦啦韩国在线观看视频| 神马国产精品三级电影在线观看| 18禁在线播放成人免费| 一进一出抽搐动态| 伊人久久精品亚洲午夜| 久久久久久久久久黄片| 成人av在线播放网站| 欧美日本视频| eeuss影院久久| 性色avwww在线观看| 欧美最黄视频在线播放免费| 99国产极品粉嫩在线观看| 亚洲七黄色美女视频| 久久久久性生活片| 听说在线观看完整版免费高清| 免费在线观看成人毛片| 91精品一卡2卡3卡4卡| 在线观看免费视频日本深夜| 国产 一区精品| 国产一区二区激情短视频| 老司机影院成人| 欧美一级a爱片免费观看看| 国产精品乱码一区二三区的特点| av在线观看视频网站免费| 丰满的人妻完整版| 在线观看美女被高潮喷水网站| 国产精品一二三区在线看| 麻豆一二三区av精品| 日韩av不卡免费在线播放| 麻豆国产97在线/欧美| 99在线视频只有这里精品首页| 亚洲在线观看片| 亚洲av二区三区四区| 亚洲av男天堂| 亚洲欧美日韩高清专用| 日本在线视频免费播放| 网址你懂的国产日韩在线| 久久婷婷人人爽人人干人人爱| 99久久无色码亚洲精品果冻| 好男人在线观看高清免费视频| 国产在视频线在精品| 精品不卡国产一区二区三区| 日韩制服骚丝袜av| 男女视频在线观看网站免费| 直男gayav资源| 成人二区视频| 国产成人精品久久久久久| 亚洲欧美日韩卡通动漫| 国产激情偷乱视频一区二区| 男人舔奶头视频| 最后的刺客免费高清国语| 91精品一卡2卡3卡4卡| 草草在线视频免费看| 午夜爱爱视频在线播放| 日本黄色视频三级网站网址| 国产成人精品婷婷| 女的被弄到高潮叫床怎么办| 欧美又色又爽又黄视频| 在现免费观看毛片| 国产成人freesex在线| av又黄又爽大尺度在线免费看 | 日本黄大片高清| 一级二级三级毛片免费看| 欧美成人精品欧美一级黄| 色5月婷婷丁香| 国产精品无大码| 午夜福利视频1000在线观看| 欧美人与善性xxx| 草草在线视频免费看| 国产片特级美女逼逼视频| 久久久久久久久中文| 国产白丝娇喘喷水9色精品| 成人三级黄色视频| 亚洲五月天丁香| 亚洲丝袜综合中文字幕| 亚洲第一区二区三区不卡| 久久中文看片网| 午夜老司机福利剧场| 天堂网av新在线| 亚洲自拍偷在线| 99在线人妻在线中文字幕| 少妇人妻精品综合一区二区 | 欧美不卡视频在线免费观看| 又粗又爽又猛毛片免费看| АⅤ资源中文在线天堂| 国内精品宾馆在线| 国产亚洲精品av在线| 蜜臀久久99精品久久宅男| 亚洲av一区综合| 国产久久久一区二区三区| 国产极品精品免费视频能看的| 有码 亚洲区| 狂野欧美白嫩少妇大欣赏| 精品国内亚洲2022精品成人| 国产精品综合久久久久久久免费| 少妇裸体淫交视频免费看高清| 老女人水多毛片| 亚洲激情五月婷婷啪啪| 欧美一区二区国产精品久久精品| 国产视频内射| 一级黄色大片毛片| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 波野结衣二区三区在线| 少妇的逼好多水| 亚洲一区高清亚洲精品| 亚洲国产精品合色在线| 中文精品一卡2卡3卡4更新| 亚洲婷婷狠狠爱综合网| 日韩大尺度精品在线看网址| 成人综合一区亚洲| 亚洲一区二区三区色噜噜| 欧美一区二区亚洲| 亚洲国产精品国产精品| 一进一出抽搐gif免费好疼| 亚洲七黄色美女视频| 精品久久久久久久久久久久久| 男的添女的下面高潮视频| 18禁在线播放成人免费| 久久精品国产鲁丝片午夜精品| 大型黄色视频在线免费观看| 日日干狠狠操夜夜爽| 国产色婷婷99| 亚洲欧美日韩无卡精品| 国产成年人精品一区二区| 亚洲va在线va天堂va国产| 97超碰精品成人国产| 色哟哟·www| 最后的刺客免费高清国语| 久久久久免费精品人妻一区二区| 久久久久久久久大av| 夜夜爽天天搞| 网址你懂的国产日韩在线| 精品国产三级普通话版| 女人十人毛片免费观看3o分钟| 精品久久久久久久末码| 国产成人freesex在线| 成人午夜高清在线视频| 午夜精品一区二区三区免费看| 91久久精品电影网| 一级二级三级毛片免费看| 日韩大尺度精品在线看网址| 国产乱人视频| 久久久色成人| 熟妇人妻久久中文字幕3abv| 国产精品av视频在线免费观看| 插阴视频在线观看视频| 尤物成人国产欧美一区二区三区| 欧美潮喷喷水| 国产不卡一卡二| 99久国产av精品国产电影| 日韩在线高清观看一区二区三区| 久久热精品热| 波多野结衣高清作品| 亚洲av不卡在线观看| 免费观看在线日韩| 国产精品av视频在线免费观看| 精品久久久久久久末码| 成人永久免费在线观看视频| 久久精品国产自在天天线| 国产黄色视频一区二区在线观看 | 国产又黄又爽又无遮挡在线| 26uuu在线亚洲综合色| 欧美成人精品欧美一级黄| 男人舔奶头视频| 亚洲成人久久爱视频| 我的老师免费观看完整版| 99久久精品国产国产毛片| 国产女主播在线喷水免费视频网站 | 精品人妻视频免费看| 亚洲国产精品国产精品| 丰满乱子伦码专区| 白带黄色成豆腐渣| 好男人在线观看高清免费视频| 国产极品精品免费视频能看的| 欧美激情在线99| 久久国内精品自在自线图片| 男女视频在线观看网站免费| 久久精品国产亚洲av天美| 波多野结衣高清无吗| 久久国内精品自在自线图片| 色5月婷婷丁香| 一边亲一边摸免费视频| 精品人妻一区二区三区麻豆| 日本色播在线视频| 中文字幕精品亚洲无线码一区| 欧美日韩综合久久久久久| 成人漫画全彩无遮挡| 99热这里只有是精品在线观看| 国产精品人妻久久久久久| 97超视频在线观看视频| 国产视频内射| 成人毛片a级毛片在线播放| 国产老妇伦熟女老妇高清| 中文亚洲av片在线观看爽| 国产成人a∨麻豆精品| 免费看光身美女| 校园人妻丝袜中文字幕| 搞女人的毛片| 免费大片18禁| 国产探花极品一区二区| 一夜夜www| 国产精品一区二区三区四区免费观看| 久久6这里有精品| 国产精品一区二区三区四区免费观看| 舔av片在线| 免费人成在线观看视频色| 久久久久久伊人网av| 国产日本99.免费观看| 国产三级在线视频| 国产精品一区www在线观看| 日本黄色视频三级网站网址| 色播亚洲综合网| 久久久久免费精品人妻一区二区| 一边亲一边摸免费视频| 国产大屁股一区二区在线视频| 少妇被粗大猛烈的视频| 久久久久性生活片| 国产午夜精品久久久久久一区二区三区| 晚上一个人看的免费电影| 久久精品国产亚洲av香蕉五月| 直男gayav资源| 高清日韩中文字幕在线| 中文资源天堂在线| 91在线精品国自产拍蜜月| 人人妻人人澡人人爽人人夜夜 | 波多野结衣巨乳人妻| 一级二级三级毛片免费看| 国产亚洲精品av在线| 国产精品久久久久久av不卡| 高清午夜精品一区二区三区 | 亚洲,欧美,日韩| 黄色视频,在线免费观看| 成人亚洲欧美一区二区av| 久久九九热精品免费| 永久网站在线| 干丝袜人妻中文字幕| 欧美日韩精品成人综合77777| 欧美成人精品欧美一级黄| 变态另类丝袜制服| 国产伦一二天堂av在线观看| 性色avwww在线观看| 91午夜精品亚洲一区二区三区| 成人二区视频| 少妇的逼好多水| 国产成人一区二区在线| 亚洲四区av| 午夜福利在线在线| 久久久a久久爽久久v久久| 久久精品影院6| 欧美激情久久久久久爽电影| 一本久久中文字幕| 久久精品人妻少妇| 午夜福利成人在线免费观看| 色综合亚洲欧美另类图片| 亚洲无线观看免费| 美女内射精品一级片tv| av在线观看视频网站免费| 国产精品久久电影中文字幕| 淫秽高清视频在线观看| 国产精品一区二区三区四区免费观看| 一级毛片我不卡| 久久国产乱子免费精品| 亚洲国产精品国产精品| 我要搜黄色片| av天堂中文字幕网| 欧美丝袜亚洲另类| 免费观看a级毛片全部| 国产伦精品一区二区三区四那| 观看美女的网站| 白带黄色成豆腐渣| 99在线视频只有这里精品首页| 国产午夜精品久久久久久一区二区三区| 天堂网av新在线| 欧美一区二区亚洲| 1000部很黄的大片| 久久精品国产99精品国产亚洲性色| 久久婷婷人人爽人人干人人爱| 国产伦在线观看视频一区| av卡一久久| 国产午夜福利久久久久久| 人妻系列 视频| 只有这里有精品99| 男人狂女人下面高潮的视频| 中文欧美无线码| 国产精品久久久久久精品电影小说 | 老司机福利观看| 国产 一区精品| 久久精品国产99精品国产亚洲性色| 国产三级在线视频| 麻豆精品久久久久久蜜桃| 91久久精品电影网| 精品无人区乱码1区二区|