• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于主題模型的垃圾郵件過濾系統(tǒng)的設(shè)計與實現(xiàn)

    2017-12-04 02:42:54寇曉淮程華
    電信科學(xué) 2017年11期
    關(guān)鍵詞:垃圾郵件貝葉斯郵件

    寇曉淮,程華

    (華東理工大學(xué)信息科學(xué)與工程學(xué)院,上海200237)

    基于主題模型的垃圾郵件過濾系統(tǒng)的設(shè)計與實現(xiàn)

    寇曉淮,程華

    (華東理工大學(xué)信息科學(xué)與工程學(xué)院,上海200237)

    垃圾郵件過濾技術(shù)在保證信息安全、提高資源利用、分揀信息數(shù)據(jù)等方面都發(fā)揮著重要作用。然而,垃圾郵件的出現(xiàn)影響了用戶的體驗,并且會造成不必要的經(jīng)濟(jì)與時間損失。針對現(xiàn)有的垃圾郵件過濾技術(shù)的不足,基于多個主題詞理論,構(gòu)建了基于樸素貝葉斯的垃圾郵件分類方法。在郵件主題獲取中,采用主題模型LDA得到郵件的相關(guān)主題及主題詞;并進(jìn)一步采用Word2Vec尋找主題詞的同義詞和關(guān)聯(lián)詞,擴(kuò)展主題詞集合。在郵件分類中,對訓(xùn)練數(shù)據(jù)集進(jìn)行統(tǒng)計學(xué)習(xí)得到詞語的先驗概率;基于擴(kuò)展的主題詞集合及其概率,通過貝葉斯公式推導(dǎo)得到某個主題和某封郵件的聯(lián)合概率,以此作為垃圾郵件判定的依據(jù)。同時,基于主題模型的垃圾郵件過濾系統(tǒng)具有簡潔易應(yīng)用的特點。通過與其他典型垃圾郵件過濾方法的對比實驗,證明基于主題模型的垃圾郵件分類方法及基于Word2Vec的改進(jìn)方法均能有效提高垃圾郵件過濾的準(zhǔn)確度。

    文本分類;垃圾郵件;主題模型;貝葉斯原理

    1 引言

    伴隨著互聯(lián)網(wǎng)的發(fā)展和普及,電子郵件已經(jīng)成為人們?nèi)粘9ぷ鳌⑸钪型ㄐ?、交流的重要手段。但由于早期的SMTP缺乏發(fā)件人認(rèn)證、大量開放式郵件中轉(zhuǎn)服務(wù)器以及互聯(lián)網(wǎng)分布式管理性質(zhì)等原因,垃圾郵件已經(jīng)成為亟待解決的問題。從電子郵件出現(xiàn)以來,研究者就在垃圾郵件攔截方面做出了大量的研究工作。然而,垃圾郵件制造者總會找到更加隱蔽且混淆的手段來躲避相關(guān)算法的檢測。對于此類研究工作,目前仍然存在兩個重要的問題:郵件是一種快速且便捷的通信方式,而大面積的廣告推廣動機(jī)促成了大量為非正當(dāng)利益而開發(fā)的反過濾技術(shù);中文詞語的豐富性和特殊性導(dǎo)致垃圾郵件與正常郵件區(qū)分難度較大,很多國外的優(yōu)秀算法在移植過程中將遭遇新的挑戰(zhàn)。

    針對以上問題,本文深入分析和比較傳統(tǒng)垃圾郵件處理方法,指出了現(xiàn)有垃圾郵件過濾方法的不足,對主題模型算法及其在自然語言處理中的應(yīng)用進(jìn)行了研究,指出了主題模型算法應(yīng)用于垃圾郵件過濾的可行性與能夠解決的問題;提出了基于主題模型的垃圾郵件過濾算法;設(shè)計并實現(xiàn)了一種基于主題模型的垃圾郵件過濾模型,通過與其他方法的對比實驗,證明本文基于主題模型的垃圾郵件過濾方法及基于Word2Vec[1]的改進(jìn)方法均明顯提升了過濾準(zhǔn)確度,具有較高的應(yīng)用價值。

    2 基于郵件過濾的相關(guān)技術(shù)

    2.1 面向內(nèi)容的電子郵件過濾技術(shù)

    常見的郵箱對于垃圾郵件的過濾策略中,基于內(nèi)容對郵件過濾的方法有黑白名單、手工建立過濾規(guī)則等。手工建立規(guī)則的方法通過用戶建立一系列規(guī)則來判定垃圾郵件。顯然,這些方法的主觀性會造成大量合法郵件的誤判和垃圾郵件的漏判,并且很難做到實時的手工維護(hù),對郵件服務(wù)商的人力及經(jīng)濟(jì)造成很大壓力。因此,垃圾郵件工具逐漸傾向于引入基于內(nèi)容的機(jī)器學(xué)習(xí)判別方法[2,3]。

    基于內(nèi)容垃圾郵件判別的機(jī)器學(xué)習(xí)方法,一般步驟如下。

    步驟1獲取訓(xùn)練數(shù)據(jù)集合,通過多種手段渠道獲取各類電子郵件,并備注該電子郵件是否是垃圾郵件。

    步驟2建立模型,使用訓(xùn)練集合訓(xùn)練模型,更新模型中的參數(shù)。

    步驟3使用訓(xùn)練好的模型,對新的電子郵件進(jìn)行過濾。

    總結(jié)起來就是通過已有的訓(xùn)練集合(正例、反例)訓(xùn)練出相應(yīng)的垃圾郵件規(guī)則(包括顯式規(guī)則或隱式規(guī)則),然后將規(guī)則應(yīng)用到新的郵件判別中。

    最近幾年,國內(nèi)外研究者在此領(lǐng)域已經(jīng)取得了大量的研究成果。Sheu等人[4]利用決策樹模型構(gòu)建了三步法垃圾郵件過濾模式。Feng等人[5]提出了基于樸素貝葉斯分類器的訓(xùn)練集分類方法,提升了數(shù)據(jù)處理的頑健性,提出的SVM-NB方法能夠達(dá)到較高的垃圾郵件檢測精度。而Bansal等人[6]構(gòu)建了基于穿梭判定算法的垃圾詞語檢測方法,并且在谷歌郵件系統(tǒng)中做了初步的應(yīng)用。另外,廣告產(chǎn)業(yè)的發(fā)展為垃圾郵件攔截與過濾提出了新的要求,Chan等人[7]在此方向上做了針對性研究,推出了廣告環(huán)境下的垃圾郵件過濾方法。除此之外,一些其他的研究成果也引起了學(xué)術(shù)界和 IT產(chǎn)業(yè)界的廣泛關(guān)注[8-10]。曹玉東等人[11]基于改進(jìn)的局部敏感散列算法實現(xiàn)了圖像型垃圾郵件過濾,將垃圾郵件過濾方法的應(yīng)用范圍擴(kuò)大。

    2.2 垃圾郵件常用文本分類方法

    (1)Decision Tree方法

    決策樹利用熵的概念對每次決策產(chǎn)生的結(jié)果進(jìn)行分類[4]。決策樹使用樹狀結(jié)構(gòu)對目標(biāo)分類,樹中每個節(jié)點表示某個對象,每個分叉路徑代表某個可能的屬性值,而每個葉節(jié)點則對應(yīng)從根節(jié)點到該葉節(jié)點所經(jīng)歷的路徑所表示的對象的值。

    決策樹也可以被稱為分類樹,它是非常常用的分類方法。從另一個角度來說,決策樹是一種監(jiān)督學(xué)習(xí)方法。在給定樣本機(jī)器類別屬性后,決策樹通過學(xué)習(xí)能夠得到一個固定的分類器,從而給出新進(jìn)數(shù)據(jù)的具體類別。

    (2)AdaBoost方法

    自適應(yīng)增強(qiáng)(adaptive boosting,AdaBoost)是加權(quán)組合多個弱分類器分類結(jié)果,進(jìn)而得到更好的分類器的方法。Carreras和 Nicholas[12,13]將AdaBoost引入垃圾郵件過濾,獲得了很高的性能。AdaBoost方法的自適應(yīng)在于:后面的分類器會在那些被之前分類器分錯的樣本上訓(xùn)練。AdaBoost方法對于噪聲數(shù)據(jù)和異常數(shù)據(jù)很敏感。但在一些問題中,相比于大多數(shù)學(xué)習(xí)算法,AdaBoost方法對于過擬合問題不夠敏感。AdaBoost方法中使用的分類器可能很弱(比如出現(xiàn)很大錯誤率),但其分類效果只要比隨機(jī)好一點(比如它的二分類錯誤率略小于 0.5),就能夠改善最終模型。

    (3)Rough Sets方法

    Rough Sets算法是一種比較新穎的算法,粗糙集理論對于數(shù)據(jù)的挖掘提供了一個新的概念和

    2.3 用于垃圾郵件過濾的貝葉斯方法

    研究方法。將Rough Sets引入垃圾郵件過濾,采用11種非文本屬性(包括收信人數(shù)、中繼個數(shù)等)來進(jìn)行郵件分類(正常、廣告和反動)。

    具體來說,所有屬性分為2種屬性:1類為條件屬性,1類為決策屬性。本文姑且把決策屬性設(shè)置在數(shù)據(jù)列的最后一列,算法的步驟依次判斷條件屬性是否能被約簡,如果能被約簡,此輸出約簡屬性后的規(guī)則,規(guī)則的形式大體類似于IF-THEN的規(guī)則。

    (4)kNN方法

    k-近鄰方法(k-nearest neighbour,kNN)在線性模型中是最常見的方法,通過選擇特征與數(shù)據(jù)集合中所有特征對比最近的幾個樣本的標(biāo)簽平均值表示。

    對于郵件的垃圾分類,一方面郵件就是文本,屬于文本分類領(lǐng)域。另一方面,由郵件中的某些關(guān)鍵詞來推斷是否是垃圾郵件,就是一種貝葉斯條件概率方法的應(yīng)用。數(shù)據(jù)挖掘領(lǐng)域主要使用兩種貝葉斯方法,即樸素貝葉斯方法和貝葉斯網(wǎng)絡(luò)方法。貝葉斯方法的一個顯著特點,就是在知道結(jié)果的情況下了解假設(shè)的情況,也就是說,當(dāng)對某些知識知之甚少,或者毫不知情的時候,貝葉斯方法具有獨特優(yōu)勢。

    在垃圾郵件檢測過程中,其主要依據(jù)正常郵件與垃圾郵件的先驗概率。而貝葉斯分類模型能夠通過適當(dāng)?shù)莫毩⑿约僭O(shè)來簡化分布,也就是樸素貝葉斯假設(shè)。在這樣的假設(shè)條件下,能夠形成樸素貝葉斯網(wǎng)絡(luò)。

    貝葉斯分類算法是基于概率統(tǒng)計原理的一種分類方法,它具有運(yùn)算速度快、方法簡單、分類精度高等優(yōu)點,因而被廣泛應(yīng)用在文本分類領(lǐng)域,并表現(xiàn)出非常好的效果。

    目前,貝葉斯過濾算法被廣泛使用于智能和概率系統(tǒng)中,它具有單詞學(xué)習(xí)的模式和頻率,而不需要提前預(yù)設(shè)任何規(guī)則。具體來說,貝葉斯過濾技術(shù)能夠根據(jù)垃圾郵件與正常郵件的聯(lián)系與特點進(jìn)行判斷。與傳統(tǒng)的關(guān)鍵詞檢測過濾技術(shù)相比,貝葉斯過濾算法更加復(fù)雜且智能,而反過濾方法不能破解過濾器內(nèi)部的配置,從而提升了安全性與頑健性。

    2.4 基于樸素貝葉斯的文本分類及流程

    樸素貝葉斯分類器是垃圾郵件內(nèi)容過濾中智能應(yīng)用的分類方法。利用這種方法,可以根據(jù)訓(xùn)練集自動訓(xùn)練,訓(xùn)練的結(jié)果反映了訓(xùn)練集的性質(zhì)。因此訓(xùn)練者可以利用一定數(shù)量的垃圾郵件和非垃圾郵件,訓(xùn)練郵件過濾器,從而達(dá)到高效、準(zhǔn)確過濾垃圾郵件的目的。

    樸素貝葉斯分類的流程如圖1表示。

    圖1 樸素貝葉斯分類流程

    然而,樸素貝葉斯分類也有缺陷,它的假設(shè)是基于“各特征項相互條件獨立”。在很多的實際問題中,如果此下設(shè)表現(xiàn)不夠明顯,甚至出現(xiàn)不成立時,錯誤的分類將會出現(xiàn),從而影響算法的最終表現(xiàn)。在本文中,貝葉斯模型的使用將會被改善,而具體的內(nèi)容將會在第3節(jié)中被介紹。

    3 主題模型在垃圾郵件過濾中的研究

    3.1 基于關(guān)鍵詞的垃圾郵件過濾

    3.1.1 算法思想

    主要算法思想是基于關(guān)鍵詞技術(shù),采用樸素貝葉斯分類方法得到關(guān)鍵詞,分析郵件內(nèi)容分類到垃圾郵件的置信概率,進(jìn)而產(chǎn)生分類結(jié)果。這種方法的優(yōu)勢在于復(fù)雜度低,且應(yīng)用范圍較廣。3.1.2 基于關(guān)鍵詞的郵件過濾算法流程

    從內(nèi)容上看,郵件過濾可以看成一個二值分類問題,即把郵件分為垃圾郵件類和合法郵件類?;陉P(guān)鍵詞的郵件過濾算法流程簡單來講是樸素貝葉斯方法,貝葉斯過濾算法大致由以下基本步驟組成。

    步驟 1收集大量的垃圾郵件和合法郵件,建立垃圾郵件集和合法郵件集。

    步驟 2提取郵件主題和郵件體中的獨立字符串,例如sale、cash等作為token串并統(tǒng)計提取出的token串出現(xiàn)的次數(shù)即字頻。按照上述的方法分別處理垃圾郵件集和合法郵件集中的所有郵件。采用貝葉斯文本分類法對訓(xùn)練樣本學(xué)習(xí),得到P(S|W)。

    步驟 3每一個郵件集對應(yīng)一個散列表,合法郵件集對應(yīng)表 hashtable_good,垃圾郵件集對應(yīng)表hashtable_bad,表中存儲token串到字頻的映射關(guān)系。

    步驟 4計算每個散列表中 token串出現(xiàn)的概率,可以得到 P1(ti)和 P2(ti), P1(ti)表示 ti在hashtable_good中的值(也就是token串ti在合法郵件中的概率);P2(ti)表示ti在hashtable_bad中的值(也就是token串ti在垃圾郵件中的概率):

    步驟 5由步驟 2中貝葉斯文本分類法得到的 P(S|W),綜合考慮散列表 hashtable_good和hashtable_bad,推斷出當(dāng)新來的郵件中出現(xiàn)某個token串時,該新郵件為垃圾郵件的概率。計算式為:

    其中,A事件表示郵件為垃圾郵件;t1,t2,…,tn代表token串;P(A|ti)表示當(dāng)token串ti出現(xiàn)在所收到的郵件中時,該郵件為垃圾郵件的概率。

    假設(shè)該郵件共得到N個 token串t1,t2,…,tn,hashtable_probability中對應(yīng)的值為 P1,P2,…,Pn,P(A|t1,t2,…,tn)表示在郵件中同時出現(xiàn)多個token串t1,t2,…,tn時,該郵件為垃圾郵件的概率。

    由聯(lián)合概率公式可得:

    當(dāng) P(A|t1,t2,…,tn)超過預(yù)定閾值(例如 0.95)時,就可以判斷郵件為垃圾郵件。

    3.2 LDA主題模型

    LDA(latent Dirichlet allocation)的產(chǎn)生和發(fā)展歷經(jīng)TF-IDF、LSA、pLSA等多種主題模型方法,由于LDA模型的良好的數(shù)學(xué)基礎(chǔ)和靈活的擴(kuò)展性,一經(jīng)提出即得到了來自各個領(lǐng)域研究者的關(guān)注,被廣泛應(yīng)用在文本挖掘及信息處理的研究中[14]。

    LDA模型最初是作為一種文本分類和主題聚類方法被提出,它將文檔集中每篇文檔的主題以概率分布形式給出,從而通過分析便能夠得到聚類結(jié)果。與此同時,它是一種典型的詞袋模型。也就是說,每篇文檔將會被分解為一組詞,而不用考慮先后順序。

    LDA是一個三層的貝葉斯概率生成模型,由“主題—詞語”和“文檔—主題”構(gòu)成。在LDA模型中需要求解“詞語—主題”和“主題—文檔”兩個模型參數(shù)。LDA假設(shè)文本集D中各文本w有如下生成過程,如圖2所示,T表示主題的個數(shù),D表示文檔的個數(shù),Nd表示第d篇文檔中詞語的個數(shù)。

    圖2 LDA模型

    步驟1 確定文檔中的詞語數(shù)N,使之服從參數(shù)為ξ的泊松分布。

    步驟3對于文本中N個詞中的每一個wn:確定一個主題 zn,使之服從參數(shù)為θ的多項式分布;依照概率 p( wn|zn,β)選擇每一個詞語wn。

    3.3 基于主題模型的垃圾郵件過濾方法

    基于主題模型抽取垃圾郵件的主題,對已知的垃圾郵件樣本進(jìn)行訓(xùn)練,提取垃圾郵件的特征,采用貝葉斯估計分類算法,構(gòu)造垃圾郵件的過濾器。利用得到的垃圾郵件過濾器,對新的郵件進(jìn)行分析、判斷,區(qū)分垃圾郵件和合法郵件,實現(xiàn)垃圾郵件的過濾。

    具體實現(xiàn)步驟如下。

    步驟 1采集一定數(shù)量的垃圾郵件與合法郵件,建立相應(yīng)的垃圾郵件集和合法郵件集,計算詞頻得到每個詞語出現(xiàn)的情況下該郵件是垃圾郵件的概率P(S|W)。

    步驟 2利用 LDA主題模型對郵件進(jìn)行主題抽取,分類算法對已知的垃圾郵件樣本進(jìn)行訓(xùn)練,對垃圾郵件集和合法郵件集中的郵件進(jìn)行解析,并提取郵件的特征,統(tǒng)計相應(yīng)數(shù)據(jù)。LDA是一種文檔主體生成模型,也成為一個三層貝葉斯概率模型,包含詞、主體、文檔這三層結(jié)構(gòu)。生成模型,即一篇文章的每個詞都是通過以一定的概率選擇了一個主題,并從這個主題中以一定的概率選擇這個詞語的過程得到的。

    步驟 3由聯(lián)合概率公式計算每個主題中所有詞語的聯(lián)合概率;得到每個主題出現(xiàn)的情況下該郵件是垃圾郵件的概率;構(gòu)造郵件分類器。

    步驟 4采用貝葉斯分類器。選取一個判斷垃圾郵件適當(dāng)?shù)拈撝?,利用所建立的郵件分類器實現(xiàn)對郵件的分類。

    預(yù)應(yīng)力鋼絲繩的一端直接穿入端部錨具的開口,另一端通過張拉器進(jìn)行張拉。采用對稱張拉的原則,以防結(jié)構(gòu)產(chǎn)生扭轉(zhuǎn)、側(cè)彎。張拉時從兩側(cè)向中間對稱前進(jìn),鋼絲繩布置如圖5所示。

    3.4 模型的改進(jìn)

    傳統(tǒng)判斷兩個文檔相似性的辦法是查看兩個文檔共同出現(xiàn)的單詞的多少,如TF-IDF等,但這種辦法沒有考慮到文字背后的語義關(guān)聯(lián),有可能兩個文檔說的是相似的內(nèi)容但并沒有詞語上的交集。LDA提取出來的郵件主題關(guān)鍵詞能夠表達(dá)郵件較高級別的主題內(nèi)容,能夠消除主題關(guān)鍵詞之間的歧義。但是此時每個主題關(guān)鍵詞并不是使用向量表達(dá),此時本文使用Word2Vec方法,將詞語轉(zhuǎn)化為向量空間,有利于計算詞語之間的相似程度。同時使用主題詞向量距離計算方式計算距離主題最近的詞語,即用Word2Vec生成每個主題中詞語的關(guān)聯(lián)詞,作為主題詞語的擴(kuò)容,在此基礎(chǔ)上再進(jìn)行垃圾郵件判斷。

    4 垃圾郵件過濾器的設(shè)計及實驗分析

    4.1 郵件樣本集的選取

    4.1.1 垃圾郵件過濾的語料庫

    本文采用的垃圾郵件語料庫從網(wǎng)上采集,包含正常郵件和垃圾郵件各8 000封。圖3為比較典型的用于廣告的垃圾郵件案例。

    用這兩類郵件建立垃圾郵件過濾器中詞的先驗概率。過程如下。

    首先,解析所有郵件,提取每一個詞。然后,計算每個詞語在正常郵件和垃圾郵件中的出現(xiàn)頻率。例如,假定“發(fā)票”這個詞,在8 000封垃圾郵件中,有200封包含這個詞,那么它的出現(xiàn)頻率就是2.5%;而在8 000封正常郵件中,只有2封包含這個詞,那么出現(xiàn)頻率就是0.025%。有可能某個詞在已有的某一類郵件語料中未出現(xiàn),為了避免該詞的先驗概率出現(xiàn)為0的情況,設(shè)定該詞的出現(xiàn)頻次為 1。假設(shè)某個詞只出現(xiàn)在垃圾郵件中,正常郵件中沒有,就設(shè)定它在正常郵件的出現(xiàn)頻率是0.012 5%(1/8 000),反之亦然。隨著郵件數(shù)量的增加,詞的先驗概率計算結(jié)果會更接近于真實情況。

    4.1.2 垃圾郵件評價指標(biāo)

    為了對垃圾郵件過濾系統(tǒng)的效果做分析,需要一個評價體系來進(jìn)行評估,即一個系統(tǒng)可以判定未知文檔是否屬于某類。假定有N個郵件文檔通過分類器分別分類,可以用表1來表示人工與系統(tǒng)對郵件的評判情況。A為人工與系統(tǒng)都評判為垃圾的郵件數(shù);B為人工評判為正常,而系統(tǒng)評判為垃圾的郵件數(shù);C為系統(tǒng)評判為正常,而人工評判為垃圾的郵件數(shù);D為人工與系統(tǒng)都評判為正常的郵件數(shù)。

    表1 垃圾郵件測評

    定義如下幾個指標(biāo)來檢測算法對垃圾郵件的過濾效果。

    (1)召回率(recall)

    描述收到一封垃圾郵件時,分類器判定為垃圾郵件的概率,召回率越高,表示分類器對郵件分類效果越顯著,計算式為:

    (2)正確率(precision)

    描述分類器對正常郵件和垃圾郵件都能正確分辨的概率,將垃圾郵件判為垃圾郵件和將非垃圾郵件判為合法郵件的概率,正確率越高表示分類器的效果越理想,計算式為:

    (3)誤判率(misjudge)

    圖3 垃圾郵件案例

    描述正常郵件的誤判率,將非垃圾郵件判為垃圾郵件的概率,這是描述一個分類器是否有效的關(guān)鍵指標(biāo),如果誤判率很高,則說明分類器沒有起到很好的分類效果,誤判率越低表示正常郵件被判為垃圾郵件的概率越小,計算式為:

    (4)精確率(accuracy)

    分類器對正常郵件分類的正確性,精確率越高表示郵件對正常郵件的判別越正確,計算式為:

    在對實驗結(jié)果的評估中將會比較以上數(shù)值。準(zhǔn)確率 P 是郵件被正確分類的概率,召回率是指實驗方法將郵件正確分類的概率,F(xiàn)1值則是指β=1時的F值,是最常用的F值之一,可以看作模型準(zhǔn)確率和召回率的一種加權(quán)平均。這3個值都是數(shù)值越高所代表的分類效果越優(yōu)秀。

    4.2 實驗結(jié)果與分析

    4.2.1 LDA主題抽取

    步驟 1首先用 jieba分詞算法分詞后得到300個分詞文件,名稱如1-seg.txt、2-seg.txt等。例如,“合金”“批發(fā)”“朋友”“爸媽”等詞語。

    步驟2再用LDA主題模型算法解析300封郵件,得到20個主題詞組,如:“0.090*‘交涉’+0.090*‘小白臉’+0.090*‘力阻’+ 0.090*‘撕破臉’+ 0.090*‘私事’”。

    步驟3最后得到300×20維的權(quán)值矩陣,300表示300封郵件,20表示20個主題,即每封郵件和20個主題之間的相關(guān)度。

    采用 LDA主題模型算法,從測試集中選取300封郵件進(jìn)行主題抽取20個主題,主題詞確定為10個,選取兩個具有代表性的主題,結(jié)果見表2。4.2.2 LDA反垃圾郵件過濾實驗結(jié)果與分析

    為了有效地驗證該方法的可行性,選用正常郵件和垃圾郵件各8 000封,共16 000封作為訓(xùn)練集;另取正常郵件和垃圾郵件各150封,共300封作為測試集。用本文基于LDA的垃圾郵件過濾方法進(jìn)行實驗,其中主題數(shù)確定為20個,主題詞為10個,共完成5組實驗,結(jié)果見表3。

    表2 主題模型結(jié)果

    表3 基于LDA的垃圾郵件過濾方法測試結(jié)果

    在實驗中,把垃圾郵件的概率跟合法郵件的概率做比較,需要選擇判定垃圾郵件概率的閾值。閾值的控制比較重要,如果太大則會漏掉大量垃圾郵件,通過實驗確定最佳閾值為0.43左右。

    (1)與其他方法比較

    為了更好地說明本文設(shè)計算法的有效性,本文選取了積累典型的垃圾郵件過濾方法進(jìn)行比較,包括基于Na?ve Bayes的郵件過濾方法[15,16]、基于SVM的郵件過濾方法[17]、基于kNN的郵件過濾方法[18]、基于MTM(message topic model)的郵件過濾方法[3]、基于決策樹的三步郵件過濾方法[4]、基于SVM-NB的郵件過濾方法[5]。其中,前3種方法是以簡單機(jī)器學(xué)習(xí)為基礎(chǔ)的郵件過濾方法,MTM方法建立了一種有效的方式,用來檢測郵件主題詞,三步郵件過濾法是以決策樹為基礎(chǔ)的,而SVM-NB方法是基于樸素貝葉斯分類分類的方式,對比見表4。

    表4 各種不同方法郵件測試結(jié)果

    由表4可知,本文基于LDA的垃圾郵件過濾方法使垃圾郵件的召回率相比Na?ve Bayes方法、SVM方法、kNN方法、MTM方法、決策樹方法有很大提升,分別上升了17%、2%、10%、3%、4%;識別正確率和Na?ve Bayes相同,而相比SVM方法、kNN方法則分別提高了2%、10%;F1值相比Na?ve Bayes方法、SVM方法、kNN方法、MTM方法、決策樹方法以及SVM-NB方法分別提高了10%、2%、10%、3%、4%、2%。

    在基于決策樹三步郵件過濾方法中,它利用決策樹模型構(gòu)建了三步法垃圾郵件過濾模式。對于SVM-NB算法,它提出了基于樸素貝葉斯分類器的訓(xùn)練集分類方法,提升了數(shù)據(jù)處理的頑健性,此方法能夠達(dá)到較高的垃圾郵件檢測精度。相比于這兩種方法,本文推出的LDA算法能夠更好地提取文本特征,從而達(dá)到更高的分類精度?;贚DA的垃圾郵件過濾方法在垃圾郵件正確率方面和 Na?ve Bayes方法相同,在垃圾郵件的召回率方面高于這3種方法,并且具有較高的F1測試值。這說明該方法在性能上要優(yōu)于Na?ve Bayes、SVM、kNN方法。

    (2)采用不同主題數(shù)的結(jié)果比較

    在實驗(1)中,選擇主題數(shù)為20個,主題詞為10個,共完成了5組實驗,并且與另外3種郵件過濾方法進(jìn)行了比較。在本實驗中選擇主題詞仍為10個,分別選擇主題數(shù)為10、15、20、25個進(jìn)行實驗,結(jié)果見表5。

    表5 不同主題數(shù)下的測試結(jié)果

    分析實驗結(jié)果如圖4、圖5所示,在選取合適閾值的條件下,系統(tǒng)的召回率和正確率隨著主題數(shù)的增加而提高。其原因是,隨著主題數(shù)的增加,對測試集郵件的語義劃分更明確,進(jìn)而使得系統(tǒng)的召回率和正確率明顯提升?;谶@樣的原理,本方法可以取得較好的垃圾郵件過濾結(jié)果。4.2.3 基于改進(jìn)的主題垃圾郵件過濾方法實驗結(jié)果與分析

    圖4 不同主題數(shù)下的召回率和正確率

    圖5 不同主題數(shù)下的閾值

    改進(jìn)的方法主要將獲得的主題進(jìn)行擴(kuò)展,用Word2Vec方法得到每個主題中詞的幾個相關(guān)的詞,將獲得的詞重新構(gòu)建主題組。

    下面列舉幾個主題詞經(jīng)過 Word2Vec計算后得到的結(jié)果,如圖6所示。

    圖6 主題詞經(jīng)過Word2Vec計算后得到的結(jié)果

    以其中一個主題為例,通過Word2Vec擴(kuò)展原主題詞為12個詞,見表6。

    表6 原主題與擴(kuò)展主題

    這里實驗過程分兩個步驟。

    步驟1 將重建的主題組再次經(jīng)LDA算法獲得權(quán)值矩陣。

    步驟2 再用測試集進(jìn)行測試,得到最終的實驗結(jié)果。

    在本實驗中選擇主題數(shù)為 20個,主題詞由10個擴(kuò)展為12個,共完成了5組實驗。

    測試結(jié)果見表7。

    表7 基于Word2Vec改進(jìn)的垃圾郵件過濾方法測試結(jié)果

    分析表7,改進(jìn)方法在增加2個關(guān)聯(lián)主題詞的情況下,在F1值上比原方法改進(jìn)明顯,在5次實驗中有3次獲得了較大的提高,證明了改進(jìn)方法的有效性。

    5 結(jié)束語

    本文對基于主題模型的垃圾郵件過濾系統(tǒng)的設(shè)計與實現(xiàn)進(jìn)行了分析和驗證,與傳統(tǒng)的關(guān)鍵詞檢測過濾技術(shù)相比,貝葉斯過濾算法更加有效且智能,從而提升了系統(tǒng)的安全性與頑健性。通過與其他典型垃圾郵件過濾方法的對比及驗證,證明基于主題模型的垃圾郵件分類方法及基于Word2Vec的改進(jìn)方法均能有效提高垃圾郵件過濾的準(zhǔn)確度。

    在未來的研究中,基于語義的文本分類具有非常大的潛力。針對自然語言的具體層次結(jié)構(gòu),機(jī)器學(xué)習(xí)與深度學(xué)習(xí)的方式已經(jīng)在其他領(lǐng)域表現(xiàn)出非常強(qiáng)大的處理能力。在這種背景下,郵件攔截方法的設(shè)計可以參考相關(guān)研究成果進(jìn)行深入探索??傊?,未來的郵件攔截系統(tǒng)將會具有非常大的改進(jìn)空間,因此相關(guān)的研究需要被重點關(guān)注。

    [1] MIKOLOV T, CHEN K, CORRADO G, et al. Efficient estimation of word representations in vector space[J]. arXiv preprint arXiv:1301.3781, 2013.

    [2] 祝毅鳴, 張波. 實時黑名單在垃圾郵件過濾系統(tǒng)中的應(yīng)用[J].科技資訊,2012(12):33.ZHU Y M, ZHANG B. Application of real time blacklist in spam filtering system[J]. Science & Technology Information,2012(12):33.

    [3] MA J, ZHANG Y, WANG Z, et al. A message topic model for multi-grain SMS spam filtering[J]. International Journal of Technology & Human Interaction, 2016, 12(2):83-95.

    [4] SHEN J J, CHEN Y K, CHU K T, et al. An intelligent three-phase spam filtering method based on decision tree data mining[J]. Security & Communication Networks, 2016, 9(17):4013-4026.

    [5] FENG W, SUN J, ZHANG L, et al. A support vector machine based naive Bayes algorithm for spam filtering[C]// 2016 Performance Computing and Communications Conference, Dec 9-11, 2016, Las Vegas, NV, USA. New Jersey: IEEE Press,2017:1-8.

    [6] BANSAL R P, HAMILTON I R A. O'CONNELL B M, et al.System and method to control email whitelists: US, US 8676903 B2[P]. 2014.

    [7] CHAN P P K, YANG C, YEUNG D S, et al. Spam filtering for short messages in adversarial environment[J]. Neurocomputing,2015, 155(C):167-176.

    [8] DEVI K S, RAVI R. A new feature selection algorithm for Efficient Spam Filtering using Adaboost and Hashing techniques[J].Indian Journal of Science & Technology, 2015, 8(13).

    [9] AFZAL H, MEHMOOD K. Spam filtering of bi-lingual tweets using machine learning[C]// International Conference on Advanced Communication Technology, Jan 31-Feb 3, 2016,Pyeongchang, South Korea. New Jersey: IEEE Press, 2016.

    [10] DAS M, BHOMICK A, SINGH Y J, et al. A modular approach towards image spam filtering using multiple classifiers[C]//2014 IEEE International Conference on Computational Intelligence and Computing Research. Dec 20, 2014, Coimbatore, India. New Jersey: IEEE Press, 2015:1-8.

    [11] 曹玉東, 劉艷洋, 賈旭, 等. 基于改進(jìn)的局部敏感散列算法實現(xiàn)圖像型垃圾郵件過濾[J]. 計算機(jī)應(yīng)用研究, 2016,33(6):1693-1696.CAO Y D, LIU Y Y, JIA X, et al. Image spam filtering with improved LSH algorithm[J]. Application Research of Computers,2016, 33(6):1693-1696.

    [12] 徐凱, 陳平華, 劉雙印. 基于 Adaboost-Bayes算法的中文文本分類系統(tǒng)[J]. 微電子學(xué)與計算機(jī), 2016, 33(6):63-67.XU K, CHEN P H, LIU S Y. A Chinese text classification system based on Adaboost-Bayes algorithm[J]. Microelectronics & Computer, 2016, 33(6):63-67.

    [13] 周慶良. 一種基于 Adaboost和分類回歸樹的垃圾郵件過濾算法[D]. 武漢: 華中科技大學(xué), 2016.ZHOU Q L. A spam filtering algorithm based on Adaboost and classification regression tree[D]. Wuhan: Huazhong University of Science and Technology, 2016.

    [14] SMITH D A, MCMANIS C. Classification of text to subject using LDA[C]//2015 IEEE International Conference on Semantic Computing (ICSC), Feb 7- Feb 9, 2015, Anaheim, CA, USA.New Jersey: IEEE Press, 2015: 131-135.

    [15] 趙治國, 譚敏生, 李志敏. 基于改進(jìn)貝葉斯的垃圾郵件過濾算法綜述[J]. 南華大學(xué)學(xué)報: 自然科學(xué)版, 2006, 20(1): 33-38.ZHAO Z G, TAN M S, LI Z M. Review of spam filter algorithms based on improved Bayes[J]. Journal of Nanhua University(Science and Technology), 2006, 20(1): 33-38.

    [16] 林巧民, 許建真, 許棣華, 等. 基于貝葉斯算法的垃圾郵件過濾技術(shù)[J]. 南京師范大學(xué)學(xué)報: 工程技術(shù)版, 2005, 5(4):61-64.LIN Q M, XU J Z, XU D H, et al. Research on Bayes-based spam filtering[J]. Journal of Nanjing Normal University(Engineering and Technology), 2005, 5(4): 61-64.

    [17] LI L, MAO T, HUANG D. Extracting location names from Chinese texts based on SVM and KNN[C]// 2005 IEEE International Conference on Natural Language Processing and Knowledge Engineering(IEEE NLP-KE'05), Oct 30-Nov 1, Wuhan,China. New Jersey: IEEE Press, 2005: 371-375.

    [18] 林文香. 改進(jìn)的KNN算法在過濾垃圾郵件中的應(yīng)用研究[D].長沙: 湖南大學(xué), 2010.LIN W X. Application of improved KNN algorithm in spam e-mail filtering[D]. Changsha: Hunan University, 2010.

    Design and implementation of spam filtering system based on topic model

    KOU Xiaohuai, CHENG Hua
    College of Information Science and Engineering, East China University of Science and Technology, Shanghai 200237, China

    Spam filtering technology plays a key role in many areas including information security, transmission efficiency, and automatic information classification. However, the emergence of spam affects the user's sense of experience, and can cause unnecessary economic and time loss. The deficiency of spam filtering technology was researched, and a method of spam classification based on naive Bayesian was put forward based on multiple keywords.In the subject of mail, the theme model was used by LDA to get the related subject and keyword of the message, and Word2Vec was further used to search keyword synonyms and related words, extending the keyword collection. In the classification of mails, the transcendental probability of the words in the training dataset was obtained by statistical learning. Based on the extended keyword collection and its probability, the joint probability of a subject and a message was deduced by the Bayesian formula as a basis for the spam judgment. At the same time, the spam filtering system based on topic model was simple and easy to apply. By comparing experiments with other typical spam filtering method, it is proved that the method of spam classification based on theme model and the improved method based on Word2Vec can effectively improve the accuracy of spam filtering.

    text classification, spam, topic model, Bayesian theory

    TP393

    A

    10.11959/j.issn.1000?0801.2017313

    2017?05?12;

    2017?09?16

    寇曉淮(1989?),男,華東理工大學(xué)信息科學(xué)與工程學(xué)院碩士生,主要研究方向為信息分析與處理、智能信號處理和網(wǎng)絡(luò)與信息安全。

    程華(1975?),男,博士,華東理工大學(xué)信息科學(xué)與工程學(xué)院副教授,主要研究方向為信息安全、信號處理、網(wǎng)絡(luò)行為學(xué)和流量工程。

    猜你喜歡
    垃圾郵件貝葉斯郵件
    基于James的院內(nèi)郵件管理系統(tǒng)的實現(xiàn)
    從“scientist(科學(xué)家)”到“spam(垃圾郵件)”,英語單詞的起源出人意料地有趣 精讀
    英語文摘(2021年10期)2021-11-22 08:02:36
    一種基于SMOTE和隨機(jī)森林的垃圾郵件檢測算法
    一封郵件引發(fā)的梅賽德斯反彈
    車迷(2018年12期)2018-07-26 00:42:32
    貝葉斯公式及其應(yīng)用
    基于貝葉斯估計的軌道占用識別方法
    基于支持向量機(jī)與人工免疫系統(tǒng)的垃圾郵件過濾模型
    一種基于貝葉斯壓縮感知的說話人識別方法
    電子器件(2015年5期)2015-12-29 08:43:15
    IIRCT下負(fù)二項分布參數(shù)多變點的貝葉斯估計
    石器部落
    岛国在线免费视频观看| 午夜福利视频1000在线观看| 欧美成人精品欧美一级黄| 免费人成在线观看视频色| 99视频精品全部免费 在线| 人人妻人人澡欧美一区二区| 国产av不卡久久| 一个人免费在线观看电影| 国产人妻一区二区三区在| 亚洲图色成人| 国产黄片美女视频| 日韩中字成人| 美女xxoo啪啪120秒动态图| 亚洲国产精品成人久久小说 | 国产高清不卡午夜福利| 夜夜看夜夜爽夜夜摸| 国语自产精品视频在线第100页| 免费av观看视频| 赤兔流量卡办理| 亚洲丝袜综合中文字幕| 97超碰精品成人国产| 小说图片视频综合网站| 村上凉子中文字幕在线| 欧美日本亚洲视频在线播放| 精品人妻视频免费看| 精品人妻视频免费看| 热99在线观看视频| 国产成人91sexporn| 国产伦精品一区二区三区视频9| 国产精品,欧美在线| 九色成人免费人妻av| 最近视频中文字幕2019在线8| 日韩一本色道免费dvd| 国产蜜桃级精品一区二区三区| 一区二区三区四区激情视频 | 亚洲欧美成人综合另类久久久 | 女的被弄到高潮叫床怎么办| 91狼人影院| 精品人妻偷拍中文字幕| 九九热线精品视视频播放| 国产精品久久久久久精品电影小说 | 特大巨黑吊av在线直播| 亚洲国产精品合色在线| 亚洲自拍偷在线| 狂野欧美激情性xxxx在线观看| 国产真实乱freesex| 午夜精品一区二区三区免费看| 九九在线视频观看精品| www.色视频.com| 中国美女看黄片| 亚洲精品乱码久久久v下载方式| 亚洲色图av天堂| 欧美日韩精品成人综合77777| а√天堂www在线а√下载| 国产亚洲欧美98| 18+在线观看网站| 久久精品人妻少妇| 欧美一区二区亚洲| 色视频www国产| 亚洲成av人片在线播放无| 欧美精品一区二区大全| 嫩草影院精品99| 少妇人妻精品综合一区二区 | 热99在线观看视频| 天天躁日日操中文字幕| av黄色大香蕉| 不卡一级毛片| 亚洲欧洲日产国产| 久99久视频精品免费| 亚洲av成人精品一区久久| 精品不卡国产一区二区三区| 国产精品人妻久久久影院| 毛片女人毛片| 欧美潮喷喷水| 日本五十路高清| 国产一区二区三区在线臀色熟女| 久久99热6这里只有精品| 国产亚洲精品av在线| 亚洲精品久久久久久婷婷小说 | 一个人观看的视频www高清免费观看| 国产精品蜜桃在线观看 | 最近视频中文字幕2019在线8| 麻豆乱淫一区二区| 成人永久免费在线观看视频| 欧美bdsm另类| 插阴视频在线观看视频| 青春草视频在线免费观看| 亚洲中文字幕一区二区三区有码在线看| 亚洲av成人av| 欧美3d第一页| 国产精品一区二区在线观看99 | 国产精品久久久久久久电影| 国产一区亚洲一区在线观看| 欧美色视频一区免费| 日韩大尺度精品在线看网址| 日韩精品青青久久久久久| or卡值多少钱| 亚洲欧美精品综合久久99| 黄色一级大片看看| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 亚洲欧美日韩东京热| 五月伊人婷婷丁香| 好男人在线观看高清免费视频| 黄色欧美视频在线观看| 亚洲精品日韩在线中文字幕 | 精品不卡国产一区二区三区| 久久久精品94久久精品| 女人被狂操c到高潮| 国产精品乱码一区二三区的特点| 久久久久久久久大av| 男人的好看免费观看在线视频| 国产 一区 欧美 日韩| 国内精品美女久久久久久| 一边亲一边摸免费视频| 人妻系列 视频| 欧美+日韩+精品| 亚洲欧洲国产日韩| 久久久久网色| 国产精品99久久久久久久久| 日日撸夜夜添| 日本欧美国产在线视频| 免费av观看视频| 哪个播放器可以免费观看大片| 欧美激情在线99| 99久久人妻综合| 九九在线视频观看精品| 国产视频首页在线观看| 久久精品国产99精品国产亚洲性色| 人妻制服诱惑在线中文字幕| 精品一区二区免费观看| 国产美女午夜福利| 欧美+日韩+精品| 国产精品av视频在线免费观看| 春色校园在线视频观看| 精品久久久久久久久久免费视频| 国产毛片a区久久久久| 两性午夜刺激爽爽歪歪视频在线观看| 日本成人三级电影网站| 男人舔女人下体高潮全视频| 18禁在线播放成人免费| 麻豆精品久久久久久蜜桃| 波多野结衣巨乳人妻| 国内少妇人妻偷人精品xxx网站| 丰满人妻一区二区三区视频av| 淫秽高清视频在线观看| АⅤ资源中文在线天堂| 欧美成人a在线观看| 欧美成人免费av一区二区三区| 欧美高清成人免费视频www| 国产精品1区2区在线观看.| 人人妻人人澡欧美一区二区| 亚洲国产精品sss在线观看| 人人妻人人澡欧美一区二区| 日韩三级伦理在线观看| 久久久精品欧美日韩精品| 成人无遮挡网站| 国产精品永久免费网站| 中文资源天堂在线| 婷婷精品国产亚洲av| 国产极品天堂在线| 久久久久久久久久黄片| 免费搜索国产男女视频| 久久午夜亚洲精品久久| 狂野欧美白嫩少妇大欣赏| 中文资源天堂在线| 亚洲国产欧洲综合997久久,| 校园春色视频在线观看| 两个人的视频大全免费| 亚洲aⅴ乱码一区二区在线播放| 天堂影院成人在线观看| 日本与韩国留学比较| 成人漫画全彩无遮挡| 精品99又大又爽又粗少妇毛片| 高清午夜精品一区二区三区 | 日日摸夜夜添夜夜添av毛片| 丰满人妻一区二区三区视频av| 久久精品夜色国产| 三级经典国产精品| 日韩欧美一区二区三区在线观看| 乱系列少妇在线播放| 欧美人与善性xxx| 九九久久精品国产亚洲av麻豆| 国产精品嫩草影院av在线观看| 在线国产一区二区在线| 国产一区二区在线观看日韩| 亚洲最大成人手机在线| 国产毛片a区久久久久| 波多野结衣高清作品| a级毛色黄片| 亚洲经典国产精华液单| 国产精品爽爽va在线观看网站| 成熟少妇高潮喷水视频| 成人毛片a级毛片在线播放| 舔av片在线| 亚洲人成网站在线播| 日本-黄色视频高清免费观看| 日韩强制内射视频| 观看免费一级毛片| 国产不卡一卡二| 久久久久网色| 大香蕉久久网| 亚洲欧洲日产国产| 国产色爽女视频免费观看| 日韩精品青青久久久久久| 久久韩国三级中文字幕| a级一级毛片免费在线观看| 精华霜和精华液先用哪个| 最近手机中文字幕大全| 天天一区二区日本电影三级| 亚洲内射少妇av| 校园春色视频在线观看| 人人妻人人澡欧美一区二区| 国产真实乱freesex| 岛国毛片在线播放| 久久久精品94久久精品| 99热这里只有是精品50| 97人妻精品一区二区三区麻豆| 一本久久中文字幕| 人妻制服诱惑在线中文字幕| or卡值多少钱| 国产色爽女视频免费观看| 亚洲成人精品中文字幕电影| 在线免费十八禁| 亚洲欧美日韩东京热| 国产国拍精品亚洲av在线观看| 蜜桃亚洲精品一区二区三区| 日本免费一区二区三区高清不卡| 禁无遮挡网站| 亚洲色图av天堂| 亚洲精品国产成人久久av| 日本在线视频免费播放| 久久99蜜桃精品久久| 久久久久九九精品影院| 一个人看视频在线观看www免费| 亚洲国产欧洲综合997久久,| 性欧美人与动物交配| 日本-黄色视频高清免费观看| 超碰av人人做人人爽久久| 国产亚洲av片在线观看秒播厂 | 青春草视频在线免费观看| 免费观看a级毛片全部| 日日摸夜夜添夜夜爱| av在线老鸭窝| avwww免费| 一进一出抽搐动态| 天堂中文最新版在线下载 | 久久久久久久久中文| 色综合亚洲欧美另类图片| 精品无人区乱码1区二区| 在线天堂最新版资源| 免费看美女性在线毛片视频| 美女被艹到高潮喷水动态| 日韩制服骚丝袜av| 久久草成人影院| 两个人的视频大全免费| 美女cb高潮喷水在线观看| 欧美激情国产日韩精品一区| 日韩强制内射视频| 国产欧美日韩精品一区二区| 在线免费观看的www视频| 国产v大片淫在线免费观看| 国产乱人视频| 午夜精品在线福利| 国产高清不卡午夜福利| 欧美在线一区亚洲| 日日摸夜夜添夜夜添av毛片| 九九热线精品视视频播放| 男女那种视频在线观看| 久久精品国产亚洲av香蕉五月| 人妻系列 视频| 国产成人精品久久久久久| 日日干狠狠操夜夜爽| 中文字幕av在线有码专区| 亚洲av免费在线观看| 晚上一个人看的免费电影| 国产三级中文精品| 国产人妻一区二区三区在| 在线a可以看的网站| 精品免费久久久久久久清纯| 人人妻人人看人人澡| 国产精品久久久久久精品电影| 国产精华一区二区三区| 中文在线观看免费www的网站| 亚洲第一区二区三区不卡| 九色成人免费人妻av| 久久精品夜色国产| 国产激情偷乱视频一区二区| 国产极品天堂在线| 久久午夜亚洲精品久久| 精品熟女少妇av免费看| 一边摸一边抽搐一进一小说| 夫妻性生交免费视频一级片| 99久久无色码亚洲精品果冻| 亚洲av成人精品一区久久| 亚洲色图av天堂| 蜜桃亚洲精品一区二区三区| 日韩一区二区视频免费看| 在线观看av片永久免费下载| 激情 狠狠 欧美| 欧美高清性xxxxhd video| 久久热精品热| 免费看美女性在线毛片视频| 亚洲美女搞黄在线观看| 日本黄色视频三级网站网址| 乱人视频在线观看| 国产91av在线免费观看| 日本黄色视频三级网站网址| 日韩欧美一区二区三区在线观看| 老司机影院成人| 99久久精品一区二区三区| 欧美精品一区二区大全| 舔av片在线| 久久草成人影院| .国产精品久久| 精品国产三级普通话版| 国模一区二区三区四区视频| 人妻系列 视频| 中文字幕av在线有码专区| 亚洲av男天堂| 亚洲第一电影网av| 成人国产麻豆网| 国产成人aa在线观看| 日韩,欧美,国产一区二区三区 | 中文在线观看免费www的网站| 国产成人freesex在线| 插逼视频在线观看| 亚洲av男天堂| 一级毛片我不卡| 欧美变态另类bdsm刘玥| 亚洲av成人av| 可以在线观看毛片的网站| 久久久久久久久大av| 午夜福利成人在线免费观看| 欧美日韩精品成人综合77777| 麻豆av噜噜一区二区三区| 男女啪啪激烈高潮av片| 一进一出抽搐动态| 亚洲av中文av极速乱| 99久久无色码亚洲精品果冻| 最近最新中文字幕大全电影3| 女同久久另类99精品国产91| 男女做爰动态图高潮gif福利片| 国产黄色小视频在线观看| 99热6这里只有精品| 亚洲性久久影院| 你懂的网址亚洲精品在线观看 | 免费av毛片视频| 99久国产av精品国产电影| 天堂网av新在线| 日韩一本色道免费dvd| 一个人免费在线观看电影| 国产一级毛片在线| 日韩国内少妇激情av| 国产精品一及| 国内精品宾馆在线| 午夜免费男女啪啪视频观看| 亚洲精品成人久久久久久| 69av精品久久久久久| 国产色婷婷99| 日韩欧美精品v在线| 99久久无色码亚洲精品果冻| 亚洲在线观看片| 悠悠久久av| 日韩成人av中文字幕在线观看| 嘟嘟电影网在线观看| 美女脱内裤让男人舔精品视频 | 成人特级av手机在线观看| 精品一区二区三区视频在线| 亚洲丝袜综合中文字幕| 2021天堂中文幕一二区在线观| av视频在线观看入口| 欧洲精品卡2卡3卡4卡5卡区| 亚洲色图av天堂| 亚洲国产欧美人成| 啦啦啦啦在线视频资源| 亚洲人成网站在线播放欧美日韩| 91久久精品国产一区二区三区| 欧洲精品卡2卡3卡4卡5卡区| 22中文网久久字幕| 99久久无色码亚洲精品果冻| 国产精品野战在线观看| avwww免费| 国产美女午夜福利| 国内精品一区二区在线观看| 精品久久久久久久久av| 精品日产1卡2卡| 亚洲成人久久性| 日日干狠狠操夜夜爽| 一级毛片aaaaaa免费看小| 3wmmmm亚洲av在线观看| 99久国产av精品国产电影| 色综合色国产| 国产一区二区三区在线臀色熟女| 久久这里有精品视频免费| 成人特级av手机在线观看| 免费av观看视频| 美女xxoo啪啪120秒动态图| 国产免费男女视频| 天天躁日日操中文字幕| av.在线天堂| 1024手机看黄色片| 天天躁夜夜躁狠狠久久av| 99热6这里只有精品| 2021天堂中文幕一二区在线观| 久久久国产成人精品二区| 亚洲成人精品中文字幕电影| 国产精品久久电影中文字幕| 免费不卡的大黄色大毛片视频在线观看 | 69人妻影院| 国产精品.久久久| 久久6这里有精品| 欧美不卡视频在线免费观看| 中国美女看黄片| 亚洲电影在线观看av| 99riav亚洲国产免费| 在线天堂最新版资源| 人妻久久中文字幕网| av国产免费在线观看| 中文字幕制服av| 国产蜜桃级精品一区二区三区| 国产综合懂色| 麻豆国产97在线/欧美| 亚洲精华国产精华液的使用体验 | 麻豆成人av视频| 91在线精品国自产拍蜜月| 国语自产精品视频在线第100页| 插阴视频在线观看视频| 国内少妇人妻偷人精品xxx网站| 一级黄片播放器| 久久99蜜桃精品久久| 人妻久久中文字幕网| 精品一区二区免费观看| 联通29元200g的流量卡| 成人漫画全彩无遮挡| 久久久久国产网址| 一边摸一边抽搐一进一小说| 91久久精品电影网| 欧美3d第一页| 久久久成人免费电影| 国产又黄又爽又无遮挡在线| 国产精品日韩av在线免费观看| 日日摸夜夜添夜夜添av毛片| 国产成人a∨麻豆精品| 国产老妇女一区| 精品一区二区三区视频在线| 男女啪啪激烈高潮av片| 极品教师在线视频| 99热网站在线观看| 老司机福利观看| 欧美+亚洲+日韩+国产| 男人舔女人下体高潮全视频| 亚洲精品成人久久久久久| 99热这里只有是精品在线观看| 国产午夜精品论理片| 国产精品久久久久久亚洲av鲁大| 欧美xxxx性猛交bbbb| 欧美一区二区精品小视频在线| 亚洲精品国产av成人精品| 亚洲成av人片在线播放无| 成人特级av手机在线观看| 少妇的逼水好多| 97在线视频观看| 成人综合一区亚洲| 深夜精品福利| 大又大粗又爽又黄少妇毛片口| 深夜精品福利| 联通29元200g的流量卡| 亚洲av.av天堂| 别揉我奶头 嗯啊视频| 日韩一本色道免费dvd| 老司机影院成人| 永久网站在线| 国内精品宾馆在线| 亚洲一区二区三区色噜噜| 99riav亚洲国产免费| 国产亚洲精品久久久久久毛片| av卡一久久| 看十八女毛片水多多多| 女人十人毛片免费观看3o分钟| 色5月婷婷丁香| 欧美性猛交黑人性爽| 黄色欧美视频在线观看| 我的女老师完整版在线观看| 精品99又大又爽又粗少妇毛片| av在线观看视频网站免费| 久久久色成人| 在线a可以看的网站| 搡老妇女老女人老熟妇| 国产伦精品一区二区三区四那| 99久久中文字幕三级久久日本| 干丝袜人妻中文字幕| 国产精品久久久久久亚洲av鲁大| 久久久久网色| 你懂的网址亚洲精品在线观看 | 国产成年人精品一区二区| 丝袜喷水一区| 久久这里只有精品中国| 成熟少妇高潮喷水视频| 日韩精品青青久久久久久| 久久久国产成人免费| 亚洲自拍偷在线| 中文在线观看免费www的网站| 久久久久久久午夜电影| 国产精品无大码| 日韩欧美国产在线观看| 国国产精品蜜臀av免费| 少妇熟女aⅴ在线视频| 亚洲最大成人手机在线| 91aial.com中文字幕在线观看| 亚洲天堂国产精品一区在线| 国产一区二区亚洲精品在线观看| 成人一区二区视频在线观看| 九色成人免费人妻av| 91久久精品国产一区二区成人| 亚洲第一电影网av| 九九久久精品国产亚洲av麻豆| 亚洲美女搞黄在线观看| 国内揄拍国产精品人妻在线| 午夜福利成人在线免费观看| 国产不卡一卡二| 亚洲av不卡在线观看| 2022亚洲国产成人精品| 国产淫片久久久久久久久| 国产女主播在线喷水免费视频网站 | 亚洲美女搞黄在线观看| 草草在线视频免费看| 色尼玛亚洲综合影院| 我的女老师完整版在线观看| 黄色欧美视频在线观看| 床上黄色一级片| 看黄色毛片网站| 激情 狠狠 欧美| 国产精品99久久久久久久久| 一区二区三区四区激情视频 | av卡一久久| 九九在线视频观看精品| 久久久久网色| 日韩一本色道免费dvd| 99热6这里只有精品| 中文欧美无线码| 中文字幕精品亚洲无线码一区| 日韩一本色道免费dvd| 日本撒尿小便嘘嘘汇集6| 国产 一区精品| 欧美另类亚洲清纯唯美| 精品一区二区免费观看| 99热这里只有是精品50| 亚洲av成人av| 一级毛片aaaaaa免费看小| 国产精品精品国产色婷婷| 高清午夜精品一区二区三区 | 国产私拍福利视频在线观看| 国产午夜精品论理片| 国产亚洲精品久久久com| 日本与韩国留学比较| 国产在线精品亚洲第一网站| 免费大片18禁| 日本黄色视频三级网站网址| 蜜桃亚洲精品一区二区三区| 精品久久久久久久久av| 欧美最新免费一区二区三区| 51国产日韩欧美| 久久久久久久久大av| 国产伦一二天堂av在线观看| 日本一二三区视频观看| 欧美日韩精品成人综合77777| 成人欧美大片| 一区二区三区免费毛片| 国产极品天堂在线| 久久久久久久亚洲中文字幕| 午夜亚洲福利在线播放| 你懂的网址亚洲精品在线观看 | 老熟妇乱子伦视频在线观看| 热99re8久久精品国产| 久久久久久伊人网av| 亚洲国产日韩欧美精品在线观看| 国产亚洲精品久久久com| 黄片wwwwww| 中文字幕av在线有码专区| 久久久久九九精品影院| av免费观看日本| 亚洲av中文字字幕乱码综合| 18禁裸乳无遮挡免费网站照片| 国产真实伦视频高清在线观看| 啦啦啦韩国在线观看视频| 69av精品久久久久久| 此物有八面人人有两片| 国产高清三级在线| 69av精品久久久久久| 2022亚洲国产成人精品| 成人美女网站在线观看视频| 色播亚洲综合网| 午夜福利在线在线| 真实男女啪啪啪动态图| 国产黄色小视频在线观看| 国内少妇人妻偷人精品xxx网站| 高清在线视频一区二区三区 | 国产精华一区二区三区| 欧美bdsm另类| 91精品一卡2卡3卡4卡| 好男人在线观看高清免费视频| 搡女人真爽免费视频火全软件| 国产伦理片在线播放av一区 | 免费av不卡在线播放| 中文字幕精品亚洲无线码一区| 亚洲精品色激情综合| 人妻制服诱惑在线中文字幕| 少妇人妻精品综合一区二区 | 日本在线视频免费播放| 青青草视频在线视频观看| 国内精品美女久久久久久| 99久久人妻综合| 日本免费a在线| 三级国产精品欧美在线观看| 久久久久久久久久久丰满|