基于深度學習的惡意風險網(wǎng)站過濾系統(tǒng)

朱書林 李松州

【摘 要】本文基于輕檢測、重檢測與深度學習目標識別算法，利用嵌入式設(shè)備開發(fā)平臺開發(fā)，以設(shè)計一個惡意風險網(wǎng)站過濾系統(tǒng)為目標進行了一個研究，并進行了測試。實驗結(jié)果表明該系統(tǒng)滿足上述要求并有較好的穩(wěn)定性。

【關(guān)鍵詞】層次化檢測方法;目標識別;深度學習;網(wǎng)站過濾系統(tǒng)

Abstract： Based on the algorithm of light detection， heavy detection and deep learning target identification， this paper USES the embedded device development platform to design a malicious risk website filtering system as the target to carry out a study， and carried out a test. The experimental results show that the system satisfies the above requirements and has good stability.

Keywords： Hierarchical detection method， target recognition， deep learning， website filtering system

一、層次化檢測方法簡介

輕檢測

輕檢測算法需要輕便、快速、盡量準確，并達到最少數(shù)量的漏報，以達到對巨大輸入進行預(yù)處理和數(shù)據(jù)篩選的作用。針對 A 的每一個 URL，若符合以下任意一個條件，則進入到重檢測，否則丟棄。

（1）IP 地址曾經(jīng)被惡意網(wǎng)站使用根據(jù)實踐經(jīng)驗，一個曾經(jīng)被用于惡意網(wǎng)站的 IP地址再次被利用做惡意的可能性較大。

（2）域名注冊信息曾經(jīng)用于注冊過惡意網(wǎng)站同 IP 地址一樣，同樣的域名注冊信息可以用來注冊多個惡意網(wǎng)站。

（3）域名曾被惡意網(wǎng)站使用過如果域名之前被惡意網(wǎng)站使用過，那么其再次被利用的可能性也比較大。

（4）與 B 中任意 URL 含有相同的資源鏈接惡意網(wǎng)站在設(shè)計時，為了簡單，其中的圖片等元素經(jīng)常會使用合法網(wǎng)站中的資源鏈接。

（5）與 B 中任意 URL 的標題一致惡意網(wǎng)站為了達到仿冒的目的，一般都會和合法網(wǎng)站具有相同的標題。

（6）含有 B 中某些重要的關(guān)鍵字

因為惡意網(wǎng)站是仿冒正常的合法網(wǎng)站，所以頁面內(nèi)容一般具有和合法網(wǎng)站一樣的文字內(nèi)容。

二、黑白名單技術(shù)

黑白名單的主要作用是，讓GMSC有權(quán)限允許或禁止由特定源點發(fā)起，或到特定目的地的電話。簡單地說，黑名單英語禁止呼叫，白名單允許呼叫。GMSC的判斷標準是預(yù)先在WEM傷配置好的Trunk Group，號馬前綴或?qū)傩缘忍匦浴?/p>

黑白名單有三個工作模式，黑名單，白名單

在黑名單模式下，只有設(shè)置為黑名單的配置生效，白名單同理。需要特別說明的是，在黑白模式下，黑名單和白名單的配置都生效，但是白名單的優(yōu)先級高于黑名單，如果在同一個呼叫中，主叫或被叫有一方是白名單，呼叫允許。

三、深度學習模型設(shè)計

深度學習的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究。含多隱層的多層感知器就是一種深度學習結(jié)構(gòu)。深度學習通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。

深度學習的概念由Hinton等人于2006年提出?；谏钚哦染W(wǎng)（DBN）提出非監(jiān)督貪心逐層訓練算法，為解決深層結(jié)構(gòu)相關(guān)的優(yōu)化難題帶來希望，隨后提出多層自動編碼器深層結(jié)構(gòu)。此外Lecun等人提出的卷積神經(jīng)網(wǎng)絡(luò)是第一個真正多層結(jié)構(gòu)學習算法，它利用空間相對關(guān)系減少參數(shù)數(shù)目以提高訓練性能。

深度學習是機器學習研究中的一個新的領(lǐng)域，其動機在于建立、模擬人腦進行分析學習的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機制來解釋數(shù)據(jù)，例如圖像，聲音和文本。

四、實驗過程

（一）實驗環(huán)境

1.基于深度學習中的深度信念網(wǎng)絡(luò)采用一種無監(jiān)督訓練方式使得整個網(wǎng)絡(luò)能以最大概率來生成訓練數(shù)據(jù)，我們可以使用它來進行數(shù)據(jù)分類。如下：圖一為網(wǎng)絡(luò)結(jié)構(gòu)圖

通過對比分歧算法逐層訓練每個RBM，最終每一層的RBM的參數(shù)集w、o6構(gòu)成DBN網(wǎng)絡(luò)中的所有參數(shù)集，并用來初始化整個深度信念網(wǎng)絡(luò)。預(yù)訓練之后，通過在深度信念網(wǎng)絡(luò)頂層疊加分類器，例如反向傳播算法、支持向量機等，使用帶標簽的數(shù)據(jù)來對網(wǎng)絡(luò)中參數(shù)進行微調(diào)，調(diào)整DBN的判別性能。

2.使用欠采樣常常會導致丟失一些有用的多數(shù)類樣本信息，而使用過采樣則會增大過分擬合的可能性，充分考慮算法的復(fù)雜性和在整個惡意網(wǎng)站檢測系統(tǒng)的應(yīng)用場景，我們最終選擇使用Borderline-Smote過采樣方法[49]Borderline-Smote是基于Smote算法（Sybthetyc Minority Over-samplingTechnique），此算法是使用過采樣小類樣本來生成合成小類實例。不同于己經(jīng)存在的過采樣方法，Borderline-Smote過采樣方法只富化邊界小類實例（Borderline MinorityExample）。首先我們找到邊界小類實例，然后從邊界小類中生成合成小類實例，并添加到原始訓練集中?；贐orderline-Smote DBN的分析模型，通過混合釆用Borderline-Smote1和Borderline-Smote2兩種方法，對數(shù)據(jù)進行采樣生成合成樣本時，先后使用這兩種方法。也即可以生成2s個合成樣本。

3.惡意網(wǎng)站檢測的基礎(chǔ)也是最重要的一個環(huán)節(jié)就是特征值的提取，特征值的提取將很大程度上決定了惡意網(wǎng)站檢測模型的準確度。網(wǎng)站頁面在惡意網(wǎng)站識別中的關(guān)鍵特征包括URL（Uniform Resource Locator，統(tǒng)一資源定位符）特征、頁面內(nèi)容特征以及圖像特征，綜合考慮特征的重要程度以及提取效率等因素。

4.而特征提取則主要分為URL特征提取、HTML特征提取、以及特征向量的預(yù)處理

1）.URL特征提?。?/p>

URL是網(wǎng)站的唯一定位符，通過在瀏覽器輸入網(wǎng)站URL，用戶可以進入訪問該網(wǎng)站。其擁有統(tǒng)一的傳輸協(xié)議、數(shù)據(jù)格式、資源類型以及語法等?；ヂ?lián)網(wǎng)上所有訪問的圖片、視頻、文章都稱為數(shù)據(jù)資源，每個資源都有唯一的一個URL地址，用戶可以通過對應(yīng)的URL地址找到需要訪問的資源。攻擊者通過在對應(yīng)正規(guī)網(wǎng)站域名上進行操作，構(gòu)造出與正規(guī)網(wǎng)站相似的域名或利用漏洞直接在正常網(wǎng)站地址后添加自己的惡意鏈接，從而誘導網(wǎng)民落入惡意網(wǎng)站。因此我們可以從URL路徑級數(shù)、URL長度、域名是否為IP形式、域名級數(shù)、URL是否使用長詞、URL中是否含有敏感詞、URL中頂級域名出現(xiàn)在異常位置、URL中是否含有端口、URL中是否有“@”符、域名存活時間等方面來進行URL特征提取。

2）HTML特征提取

通過深入分析網(wǎng)頁HTML文檔特征、結(jié)構(gòu)特征可以更加精確判斷惡意網(wǎng)站。惡意網(wǎng)站為了更逼真仿冒真實網(wǎng)站，常常會加上真實網(wǎng)站的版權(quán)信息。而網(wǎng)站的版權(quán)所有者和網(wǎng)站是一一對應(yīng)的，通過比對當前訪問網(wǎng)站的版權(quán)信息可以判斷是否為惡意網(wǎng)站。如：空鏈接的數(shù)目、外部鏈接數(shù)目、內(nèi)部鏈接數(shù)目、表單數(shù)量、注冊時間、版權(quán)所有者。

（二）實驗過程

步驟 1：獲取網(wǎng)站的多維屬性，利用集合對多

維屬性進行表示。

①提取網(wǎng)站首頁超文本標記語言 HTML 標題、HTML 正文和層疊樣式表 CSS 主題色彩;

②對所述 HTML 標題和 HTML 正文進行分詞處理，得到單詞向量集合 B={w1，w2…wn}，n 為正整數(shù);'

③對每一個向量 B 的單詞 wi，統(tǒng)計其在網(wǎng)頁HTML 的 標 簽 <a>、<h1>-<h6><title>、<em>、<strong> 中出現(xiàn)的次數(shù)。按出現(xiàn)的次數(shù)加權(quán)后排名，得到排名后新單詞向量集合 B'={w1，w'2…w'm}，其中i=0，1…n，m 為正整數(shù)，且 m ≤ n;

④統(tǒng)計所述 CSS 主題色彩中使用最多的 3 種顏色類別，得到色彩向量描述集合 C，C={c1，c2，c3};

⑤獲取屬性值，建立屬性描述集合 S，其中屬性值包括下述中的一項或多項：網(wǎng)站務(wù)器類型、Poweredby 信息（驅(qū)動信息）、腳本語言類型、返回狀態(tài)碼、跳轉(zhuǎn)次數(shù)、網(wǎng)處、外域個數(shù)、內(nèi)域個數(shù)和頁面大小;

⑥根據(jù)集合 B'、C 和 S，建立網(wǎng)站多維屬性樣本集合 V，V=B'∪ C ∪ S，其中∪表示并集。

步驟 2：針對表示多維屬性的集合，進行自編碼特征學習。

①構(gòu)建三層神經(jīng)網(wǎng)絡(luò) N，其輸入特征數(shù)量等于輸出數(shù)量，且輸入特征數(shù)量等于網(wǎng)站多維屬性集合V 的特征數(shù)量;

②用網(wǎng)站多維屬性集合 V 作為三層神經(jīng)網(wǎng)絡(luò) N的輸入值 Input，計算當前三層神經(jīng)網(wǎng)絡(luò)環(huán)境下的輸出值 Output;

③比較輸入值 Input 與輸出值 Output，計算二者之差是否達到目標閾值;如果達到目標閾值，則完成學習，中間隱層節(jié)點向量 V '即為自編碼學習結(jié)果;如果沒有達到目閾值，則根據(jù)梯度下降法調(diào)整三層神經(jīng)網(wǎng)絡(luò) N 的參數(shù)，重新計算。

步驟 3：利用自編碼學習結(jié)果進行網(wǎng)站聚類學習，得到用于進行網(wǎng)站分類的支持向量 SVM 構(gòu)建支持向量機 SVM，這里使用向量 V '作為輸入。1014388653驟 1 和步驟 2，得到與該網(wǎng)站對應(yīng)的自編碼學習結(jié)果;然后，將與該網(wǎng)站對應(yīng)的自編碼學習結(jié)果輸入到步驟 3，得到用于進行網(wǎng)站分類的支持向量機SVM進行網(wǎng)站分類，從而得到網(wǎng)站類別。本方法對于具有惡意特征的惡意網(wǎng)頁，能快速偵測;采用多維屬性描述方式，增加了系統(tǒng)的便利性與通用性;采用機器學習的方法且采樣樣本較為廣泛，因此系統(tǒng)具有極強的穩(wěn)定性。

（三）實驗結(jié)果

最后我們可以通過層次化檢測方法保證檢測的準確性，以及極大地提升系統(tǒng)的運行效率。成功用深度學習實現(xiàn)了惡意風險網(wǎng)站過濾。