機器學(xué)習(xí)在垃圾郵件過濾中的實現(xiàn)

馮軍軍 李力

摘要：隨著通信技術(shù)的發(fā)展，垃圾郵件越來越多，對個人和中小企業(yè)危害也越來越大。該文介紹垃圾郵件識別使用的數(shù)據(jù)集以及特征提取方法，包括詞袋模型和詞匯表模型，然后介紹樸素貝葉斯、支持向量機、多層感知機、卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)在垃圾郵件過濾的實現(xiàn)，經(jīng)過對比發(fā)現(xiàn)多層感知機和卷積神經(jīng)網(wǎng)絡(luò)效果最好。

關(guān)鍵詞：垃圾郵件;特征提取;NB;SVM;MLP;CNN;RNN

中圖分類號：TP393? ? ? ? 文獻標(biāo)識碼：A

文章編號：1009-3044（2021）08-0154-02

1 引言

垃圾郵件是指收件人拒絕接收或者不同意接收但是仍然收到的郵件[1]，主要包含商業(yè)類、廣告類、培訓(xùn)類、推廣類、報價類等郵件。如2020年護網(wǎng)爆出的案例，就是攻擊方通過信息收集獲取防守方用戶的郵箱，通過群發(fā)郵件，引誘用戶更新釣魚flash，從而實現(xiàn)權(quán)限獲取進而內(nèi)網(wǎng)滲透獲取關(guān)鍵信息。為避免垃圾郵件影響人們的正常工作和生活，垃圾郵件檢測技術(shù)隨之產(chǎn)生。傳統(tǒng)的垃圾郵件檢測方法有關(guān)鍵詞、黑白名單、校驗碼法等[2]。這些傳統(tǒng)的垃圾郵件檢測方法通常存在檢測效果差、易被逃避等缺陷，為此本文引入機器學(xué)習(xí)方法解決這一問題。

垃圾郵件檢測的關(guān)鍵在于識別哪些郵件是垃圾郵件，可以將該問題歸結(jié)于機器學(xué)習(xí)中的文本分類任務(wù)。關(guān)于此類任務(wù)的數(shù)據(jù)通常是高維數(shù)據(jù)，本文選擇常見的機器學(xué)習(xí)算法來進行垃圾郵件過濾的實現(xiàn)。

2 數(shù)據(jù)集和工具介紹

數(shù)據(jù)集采用開源的Enron-Spam[3]數(shù)據(jù)集，實現(xiàn)過程中，采用python語言。主要采用的模塊為TFLearn，該模塊可以直接在GitHub上面進行下載。它可以快速搭建實驗環(huán)境，容易實現(xiàn)深度神經(jīng)網(wǎng)絡(luò)，內(nèi)置神經(jīng)網(wǎng)絡(luò)層、正則化器、優(yōu)化器等，支持多輸入、多輸出等模式。

3 特征提取

垃圾郵件的特征提取，樸素貝葉斯算法、支持向量機算法和多層感知機算法，采用的詞袋模型，該模型利用單詞構(gòu)成的集合，如果一個單詞在文檔中出現(xiàn)不止一次，統(tǒng)計其出現(xiàn)的頻數(shù)。郵件的特征提取，采用的sklearn.feature_extraction.text模塊的CountVectorizer函數(shù)。利用該函數(shù)，將文本進行詞袋處理，獲取對應(yīng)的特征名稱，從而獲取詞袋數(shù)據(jù)，完成詞袋化。該數(shù)據(jù)集在實現(xiàn)過程中，把郵件當(dāng)成一個字符串處理。然后在字符串處理過程中，過濾掉空白符，例如回車符、換行符等。最后遍歷全部郵件文件，加載數(shù)據(jù)。在詞袋模型中，把郵件數(shù)據(jù)進行向量化，將正常郵件標(biāo)記為0，垃圾郵件標(biāo)記為1。

垃圾郵件的特征提取，卷積神經(jīng)網(wǎng)絡(luò)算法和循環(huán)神經(jīng)網(wǎng)絡(luò)算法采用的是詞匯表模型。詞匯表模型是在詞袋模型的基礎(chǔ)上，根據(jù)郵件內(nèi)容生產(chǎn)的詞匯表對原有句子按照單詞逐個進行編碼。通過VocabularyProcessor（）函數(shù)，定義文本的最大長度、詞頻的最小值、分詞函數(shù)等。在文本的最大長度初始化時，如果文本的長度大于最大長度，那么會截斷文本，反之則用0填充。在詞頻最小值初始化時，如果出現(xiàn)次數(shù)小于最小詞頻則不會被收錄到詞表中。本文中，通過VocabularyProcessor函數(shù)對獲取的ham和spam數(shù)據(jù)，進行處理，獲取詞匯表。

4 深度學(xué)習(xí)實現(xiàn)

本課題采用樸素貝葉斯算法、支持向量機算法、多層感知機算法、卷積神經(jīng)網(wǎng)絡(luò)算法和循環(huán)神經(jīng)網(wǎng)絡(luò)算法五種機器學(xué)習(xí)的算法，對郵件數(shù)據(jù)集進行識別。實現(xiàn)處理流程，如圖1所示。如圖1所示，在實現(xiàn)過程中，首先將數(shù)據(jù)樣本根據(jù)算法要求進行特征提?。闼刎惾~斯算法、支持向量機算法、多層感知機算法實現(xiàn)用的詞袋模型，卷積神經(jīng)網(wǎng)絡(luò)算法和循環(huán)神經(jīng)網(wǎng)絡(luò)算法實現(xiàn)用的詞匯表模型）;特征提取后把數(shù)據(jù)集隨機劃分為訓(xùn)練集和測試集，測試集的比例為40%;接著根據(jù)機器學(xué)習(xí)算法在訓(xùn)練集上進行訓(xùn)練，獲取模型數(shù)據(jù);最后根據(jù)模型數(shù)據(jù)，在訓(xùn)練集上進行預(yù)測，從而驗證算法的預(yù)測效果。

4.1 樸素貝葉斯算法[4]

樸素貝葉斯算法（NB），該算法實現(xiàn)垃圾郵件分類的過程中，將數(shù)據(jù)集合隨機分配訓(xùn)練集合和測試集合，實例化樸素貝葉斯算法后，針對訓(xùn)練集進行訓(xùn)練，并針對測試集進行預(yù)測，最后輸出評估結(jié)果的準(zhǔn)確度和TP、FP、TN、FN（FN：False Negative，真實郵件判定為垃圾郵件，F(xiàn)P：False Positive，垃圾郵件判定為正常郵件，TN：True Negative，垃圾郵件判定為垃圾郵件，TP：True Positive，正常郵件判定為正常郵件）4個值。該方法中，由于最大特征數(shù)對結(jié)果有影響，把最大特征數(shù)，從1000到20000對評估準(zhǔn)確度進行測試。發(fā)現(xiàn)最大特征數(shù)在13000左右的時候，系統(tǒng)準(zhǔn)確率最大。但是隨著特征數(shù)越大，耗時越大。根據(jù)結(jié)果，最終選擇最大特征數(shù)為5000的情況下，整個系統(tǒng)準(zhǔn)確度為94.33%，結(jié)果如表1所示。

測試關(guān)鍵代碼如下：

gnb = GaussianNB（）

gnb.fit（x_train，y_train）

y_pred=gnb.predict（x_test）

最后調(diào)用metrics.accuracy_score函數(shù)和metrics.confusion_matrix函數(shù)，輸出TP、FP、TN、FN。

4.2 支持向量機算法[5]

支持向量機算法（SVM），該算法實現(xiàn)垃圾郵件分類過程中，數(shù)據(jù)特征提取、訓(xùn)練集獲取數(shù)據(jù)模型、測試方法與樸素貝葉斯算法一致。最終在詞袋最大特征數(shù)為5000的情況下，整個系統(tǒng)準(zhǔn)確度為90.61%，其驗證結(jié)果如表2所示。

測試代碼如下：

clf = svm.SVC（）

clf.fit（x_train， y_train）

y_pred = clf.predict（x_test）

最后調(diào)用metrics.accuracy_score函數(shù)和metrics.confusion_matrix函數(shù)，輸出TP、FP、TN、FN。

4.3 多層感知機算法[6]

多層感知機算法（MLP），該算法實現(xiàn)過程中，構(gòu)造兩層隱藏層，每層節(jié)點數(shù)分別為5和2。根據(jù)詞袋模型，將數(shù)據(jù)集進行特征提取，按照分配的訓(xùn)練集和測試集，對于訓(xùn)練集進行多層感知機算法進行實例化，然后根據(jù)數(shù)據(jù)模型，對測試集進行預(yù)測，最后輸出評估結(jié)果的準(zhǔn)確度和TP、FP、TN、FN4個值。在詞袋最大特征數(shù)為5000的情況下，整個系統(tǒng)準(zhǔn)確度為98.01%，其驗證結(jié)果如表3所示。代碼實現(xiàn)，調(diào)用clf.fit（），傳入訓(xùn)練集數(shù)據(jù)，然后調(diào)用clf.predict（），獲取測試集的結(jié)果。最后調(diào)用metrics.accuracy_score函數(shù)和metrics.confusion_matrix函數(shù)，輸出TP、FP、TN、FN。

4.4 卷積神經(jīng)網(wǎng)絡(luò)算法[7]

卷積神經(jīng)網(wǎng)絡(luò)算法（CNN），該算法實現(xiàn)過程中，特征提取采用詞匯表模型，將數(shù)據(jù)集合隨機分配訓(xùn)練集合和測試集合。實例化過程中，其中卷積神經(jīng)網(wǎng)絡(luò)模型，使用3個數(shù)量為128核，長度分別為3、4、5的一維卷積函數(shù)處理數(shù)據(jù)。使用卷積神經(jīng)網(wǎng)絡(luò)算法在訓(xùn)練集上訓(xùn)練，通過對訓(xùn)練數(shù)據(jù)進行了5輪訓(xùn)練，獲取數(shù)據(jù)模型，使用模型數(shù)據(jù)在測試集上進行預(yù)測，最終實現(xiàn)對測試數(shù)據(jù)集的準(zhǔn)確度為98.30%。代碼實現(xiàn)中，調(diào)用tflearn.DNN（），根據(jù)網(wǎng)絡(luò)，生成model對象。然后調(diào)用fit（），設(shè)置n_epoch為5，表示5輪訓(xùn)練，設(shè)置batch_size為100，表示一次用100個數(shù)據(jù)計算參數(shù)的更新。

4.5 循環(huán)神經(jīng)網(wǎng)絡(luò)算法[8]

循環(huán)神經(jīng)網(wǎng)絡(luò)算法（RNN），該算法實現(xiàn)過程中，特征提取及數(shù)據(jù)處理與循環(huán)神經(jīng)網(wǎng)絡(luò)算法一樣。在訓(xùn)練集實例化循環(huán)神經(jīng)網(wǎng)絡(luò)算法過程中，定義循環(huán)神經(jīng)網(wǎng)絡(luò)模型，使用最簡單的單層LSTM結(jié)構(gòu)。使用循環(huán)神經(jīng)網(wǎng)絡(luò)算法在訓(xùn)練集上訓(xùn)練，通過對訓(xùn)練數(shù)據(jù)進行了5輪訓(xùn)練，獲取數(shù)據(jù)模型，使用模型數(shù)據(jù)在測試集上進行預(yù)測，最終實現(xiàn)對測試數(shù)據(jù)集的準(zhǔn)確度為94.88%。代碼實現(xiàn)中，調(diào)用lstm（）函數(shù)，實現(xiàn)單層LSTM結(jié)構(gòu)。調(diào)用tflearn.DNN（），根據(jù)網(wǎng)絡(luò)，生成model對象。然后調(diào)用fit（），設(shè)置n_epoch為5，表示5輪訓(xùn)練，設(shè)置batch_size為10，表示一次用10個數(shù)據(jù)計算參數(shù)的更新。

5 結(jié)束語

以Enron-Spam數(shù)據(jù)集為訓(xùn)練和測試數(shù)據(jù)集，本文通過詞袋模型和詞匯表模型對數(shù)據(jù)集進行特征提取，通過NB、SVM、MLP、CNN和RNN，五種機器學(xué)習(xí)算法實現(xiàn)了垃圾郵件識別。通過比較發(fā)現(xiàn)，MLP和CNN的識別率很好，達到了98%以上。同樣，在樸素貝葉斯算法實現(xiàn)的過程中，發(fā)現(xiàn)并非是詞袋抽取的單詞個數(shù)越多，垃圾郵件的識別率最高，而是有個中間點可以達到最大效果?？傊?，隨著機器學(xué)習(xí)算法的發(fā)展，在垃圾郵件識別過程中，機器學(xué)習(xí)算法的應(yīng)用會越來越多。

參考文獻：

[1] 羅婧雯.垃圾郵件過濾技術(shù)綜述[J].電腦知識與技術(shù)，2016，12（14）：13-14.

[2] 李敬瑤.反垃圾郵件過濾技術(shù)方法的研究[J].福建電腦，2016，32（10）：61-62.

[3] Enron-Spam數(shù)據(jù)集http：//www2.aueb.gr/ users/ion/data/enron-spam/（DB/OL）.

[4] 彭革.基于樸素貝葉斯算法在垃圾郵件過濾中的研究綜述[J].電腦知識與技術(shù)，2020，16（14）：244-245，247.

[5] 徐娟，卞良.基于SVM的中文垃圾郵件預(yù)測系統(tǒng)研究[J].數(shù)字技術(shù)與應(yīng)用，2020，38（1）：38-39.

[6] 趙俊生，候圣，王鑫宇，等.基于集成學(xué)習(xí)的圖像垃圾郵件過濾方法[J].計算機工程與科學(xué)，2020，42（6）：1049-1059.

[7] 馬義超.基于卷積神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識別算法研究與應(yīng)用[D].焦作：河南理工大學(xué)，2019.

[8] 伍逸凡，朱龍嬌，石俊萍.人工神經(jīng)網(wǎng)絡(luò)在信息過濾中的應(yīng)用[J].吉首大學(xué)學(xué)報（自然科學(xué)版），2019，40（3）：17-22.

【通聯(lián)編輯：代影】