• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    小樣本下基于度量學(xué)習(xí)的僵尸網(wǎng)絡(luò)檢測(cè)方法

    2023-11-28 02:31:10林宏剛朱竣菁陳麟
    關(guān)鍵詞:實(shí)驗(yàn)檢測(cè)方法

    林宏剛,朱竣菁,陳麟

    小樣本下基于度量學(xué)習(xí)的僵尸網(wǎng)絡(luò)檢測(cè)方法

    林宏剛1,2,朱竣菁1,2,陳麟3

    (1. 成都信息工程大學(xué)網(wǎng)絡(luò)空間安全學(xué)院,四川 成都 610225;2. 先進(jìn)密碼技術(shù)與系統(tǒng)安全四川省重點(diǎn)實(shí)驗(yàn)室,四川 成都 610225;3. 網(wǎng)絡(luò)空間安全態(tài)勢(shì)感知與評(píng)估安徽省重點(diǎn)實(shí)驗(yàn)室,安徽 合肥 230037)

    僵尸網(wǎng)絡(luò)給互聯(lián)網(wǎng)帶來(lái)了極大的威脅,盡早有效地檢測(cè)出僵尸網(wǎng)絡(luò)對(duì)于維護(hù)網(wǎng)絡(luò)空間安全具有重要的實(shí)踐意義。然而在僵尸網(wǎng)絡(luò)發(fā)現(xiàn)初期,可獲得帶標(biāo)記樣本數(shù)量較少,這使得目前大部分基于深度學(xué)習(xí)的檢測(cè)方法無(wú)法得到充分訓(xùn)練,導(dǎo)致檢測(cè)結(jié)果不佳。因此,提出了一種用于小樣本下的基于度量學(xué)習(xí)的僵尸網(wǎng)絡(luò)檢測(cè)方法BT-RN,利用基于任務(wù)的元學(xué)習(xí)訓(xùn)練策略優(yōu)化模型,在任務(wù)中引入驗(yàn)證集并通過(guò)度量驗(yàn)證樣本和訓(xùn)練樣本特征表示之間的相似度來(lái)快速累積經(jīng)驗(yàn),從而降低模型對(duì)標(biāo)記樣本空間的依賴;引入了特征級(jí)注意力機(jī)制,通過(guò)計(jì)算特征中各維度的注意力系數(shù),重新整合特征表示并分配重要度關(guān)注來(lái)優(yōu)化特征表示,從而減少深度神經(jīng)網(wǎng)絡(luò)在小樣本中的特征稀疏問(wèn)題;引入了殘差網(wǎng)絡(luò)設(shè)計(jì)模式,利用跳躍鏈接來(lái)規(guī)避增加特征級(jí)注意力機(jī)制模塊后,較深的網(wǎng)絡(luò)所帶來(lái)的模型退化和梯度消失風(fēng)險(xiǎn)。實(shí)驗(yàn)結(jié)果表明,在小樣本背景下,所提僵尸網(wǎng)絡(luò)檢測(cè)方法的正確率和模型泛化能力優(yōu)于其他小樣本檢測(cè)方法和深度學(xué)習(xí)檢測(cè)方法。

    僵尸網(wǎng)絡(luò);流量檢測(cè);小樣本檢測(cè);度量學(xué)習(xí)

    0 引言

    國(guó)家互聯(lián)網(wǎng)應(yīng)急中心發(fā)布的互聯(lián)網(wǎng)安全報(bào)告[1-2]顯示,截至2022年5月,各僵尸網(wǎng)絡(luò)家族的控制規(guī)模和實(shí)施攻擊的活躍度依舊維持在較高水平,網(wǎng)絡(luò)空間持續(xù)遭受著巨大的僵尸網(wǎng)絡(luò)攻擊威脅,有效檢測(cè)僵尸網(wǎng)絡(luò)對(duì)于維護(hù)網(wǎng)絡(luò)空間安全具有實(shí)際意義。僵尸網(wǎng)絡(luò)是由一群被攻擊者惡意控制的僵尸主機(jī)所組成的網(wǎng)絡(luò),攻擊者可以利用命令與控制(C&C,command and control)信道遠(yuǎn)程操控受控主機(jī),并發(fā)起一系列的非法活動(dòng)。大部分基于深度學(xué)習(xí)的僵尸網(wǎng)絡(luò)檢測(cè)模型需要足夠多的已標(biāo)記訓(xùn)練數(shù)據(jù),當(dāng)已標(biāo)記樣本數(shù)量較少時(shí),模型容易學(xué)習(xí)到單個(gè)樣本特點(diǎn)并認(rèn)定為一般性規(guī)律,導(dǎo)致模型過(guò)擬合和泛化能力下降,進(jìn)而檢測(cè)準(zhǔn)確率下降。

    小樣本下的僵尸網(wǎng)絡(luò)檢測(cè)方法主要存在以下問(wèn)題。①擬合問(wèn)題。當(dāng)新型僵尸網(wǎng)絡(luò)攻擊剛被發(fā)現(xiàn)時(shí),往往很難在短時(shí)間內(nèi)獲得足夠多的、分布良好的優(yōu)質(zhì)樣本。在小樣本背景下,避免產(chǎn)生擬合問(wèn)題并且得到高檢測(cè)準(zhǔn)確率是挑戰(zhàn)之一。②特征提取問(wèn)題。對(duì)于不同類型的僵尸網(wǎng)絡(luò),其流量特征往往是具有共性和差異的,如何在小樣本背景下使特征提取模型保留共性、弱化差異、提高檢測(cè)準(zhǔn)確率的檢測(cè)能力是挑戰(zhàn)之一。

    因此在樣本數(shù)量較少背景下,有效訓(xùn)練模型并檢測(cè)識(shí)別出僵尸網(wǎng)絡(luò)攻擊流量是值得研究的問(wèn)題。為有效應(yīng)對(duì)上述挑戰(zhàn),本文提出了基于度量學(xué)習(xí)的小樣本僵尸網(wǎng)絡(luò)檢測(cè)方法—— BT-RN(botnet relation network)方法。為避免傳統(tǒng)訓(xùn)練策略在小樣本下產(chǎn)生嚴(yán)重的訓(xùn)練偏差導(dǎo)致擬合問(wèn)題,本文使用了元學(xué)習(xí)思想訓(xùn)練模型,解決樣本空間依賴以及泛化能力差的問(wèn)題;為了提升特征提取模塊的特征提取能力,盡可能為下游分類器提供優(yōu)質(zhì)的特征表示,本文改進(jìn)了混合注意力機(jī)制,并提出適用于僵尸網(wǎng)絡(luò)的卷積塊注意力機(jī)制(BT-CBAM,botnet convolutional block attention module)。為了避免BT-CBAM的引入造成網(wǎng)絡(luò)加深,引發(fā)梯度消失問(wèn)題,特征提取模塊采用殘差網(wǎng)絡(luò)的設(shè)計(jì)模式。

    綜上所述,本文的主要貢獻(xiàn)和創(chuàng)新如下。

    1) 采用基于任務(wù)的元學(xué)習(xí)訓(xùn)練策略。每輪任務(wù)隨機(jī)學(xué)習(xí)不同的僵尸網(wǎng)絡(luò)類型,在每輪任務(wù)中通過(guò)對(duì)比驗(yàn)證集和訓(xùn)練集樣本的特征表示,利用少量樣本快速積累經(jīng)驗(yàn),提升模型的學(xué)習(xí)能力,快速優(yōu)化模型的擬合能力和泛化能力。

    2) 提出一種用于優(yōu)化僵尸網(wǎng)絡(luò)流量特征圖的特征級(jí)注意力機(jī)制,提升模型的特征提取能力。BT-CBAM從空間和通道兩個(gè)角度出發(fā),通過(guò)計(jì)算不同維度上特征的注意力分?jǐn)?shù),優(yōu)化特征表示,使模型更加關(guān)注與正常流量相比具有區(qū)分性的重要維度的特征信息,得到具有高共性的僵尸網(wǎng)絡(luò)特征圖表示。

    1 相關(guān)工作

    1.1 僵尸網(wǎng)絡(luò)檢測(cè)

    基于異常分析檢測(cè)[3]僵尸網(wǎng)絡(luò)的大部分解決方案是以海量已標(biāo)記樣本為檢測(cè)背景的,如統(tǒng)計(jì)分析法[4-5]、分布式方法[6]、機(jī)器學(xué)習(xí)法[7-10]、深度學(xué)習(xí)法[11-16]等。

    文獻(xiàn)[4-5]提出了基于統(tǒng)計(jì)分析的檢測(cè)方案,對(duì)攻擊行為的統(tǒng)計(jì)屬性進(jìn)行建模,以檢測(cè)僵尸網(wǎng)絡(luò)異常流量。Spathoulas等[6]提出了一種基于分布式方法的檢測(cè)方案,即設(shè)計(jì)和部署多個(gè)檢測(cè)器來(lái)處理多維的大數(shù)據(jù)集,以提高檢測(cè)的靈活性。Wang等[7-9]提出了基于支持向量機(jī)、隨機(jī)森林和聚類算法的檢測(cè)方案,通過(guò)預(yù)先收集專業(yè)的先驗(yàn)知識(shí),建立檢測(cè)僵尸網(wǎng)絡(luò)的模型。

    Jung等[11]改進(jìn)了LeNet-5,提出了一種8層卷積神經(jīng)網(wǎng)絡(luò)(CNN,convolutional neural network)深度學(xué)習(xí)模型,用于自動(dòng)檢測(cè)數(shù)據(jù)中的功耗差異,識(shí)別僵尸網(wǎng)絡(luò)攻擊。但大數(shù)據(jù)集下的檢測(cè)準(zhǔn)確率為84%,該模型特征提取能力尚有提升空間。Wang等[12]提出了將原始流量轉(zhuǎn)為二維灰度圖后,再結(jié)合CNN進(jìn)行惡意流量分類工作,實(shí)驗(yàn)結(jié)果表明二維灰度化原始流量可有效利用CNN視覺(jué)識(shí)別優(yōu)勢(shì),但識(shí)別未知類型流量的能力尚不足。尹傳龍等[13]將具備長(zhǎng)期信息記憶能力的長(zhǎng)短期記憶(LSTM,long short-term memory)網(wǎng)絡(luò)應(yīng)用于僵尸網(wǎng)絡(luò)檢測(cè),解決了標(biāo)準(zhǔn)循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN,recurrent neural network)存在的長(zhǎng)序依賴問(wèn)題。羅扶華等[14]結(jié)合CNN的視覺(jué)識(shí)別優(yōu)勢(shì)和LSTM的記憶優(yōu)勢(shì),進(jìn)一步提升了模型特征提取能力,在5.3 GB的ISCX2014數(shù)據(jù)集上實(shí)驗(yàn)誤報(bào)率為1.2%,但離開(kāi)大樣本環(huán)境,檢測(cè)能力未知。譚越等[15]將雙向長(zhǎng)短期記憶(BiLSTM,bi-directional long short-term memory)網(wǎng)絡(luò)和殘差機(jī)制引入模型中,從時(shí)間和空間維度訓(xùn)練分類器,通過(guò)解決LSTM向后編碼問(wèn)題,有效提高了對(duì)已知僵尸網(wǎng)絡(luò)的準(zhǔn)確率,但對(duì)未知僵尸網(wǎng)絡(luò)檢測(cè)精確度不足80%。Yerima等[16]串行堆積了100個(gè)隱藏層,建立了深度神經(jīng)網(wǎng)絡(luò)(DNN,deep neural network)檢測(cè)模型,特征提取能力得到了提升,但模型忽略了深度網(wǎng)絡(luò)存在梯度消失的風(fēng)險(xiǎn)。

    1.2 元學(xué)習(xí)

    元學(xué)習(xí)的提出是為了讓模型從相關(guān)的任務(wù)上學(xué)習(xí)到經(jīng)驗(yàn),并應(yīng)用到新的任務(wù)中。在小樣本入侵檢測(cè)方面,元學(xué)習(xí)思想發(fā)揮了重要的作用。

    Olasehinde等[17]在2020年首次將元學(xué)習(xí)思想與入侵檢測(cè)問(wèn)題相結(jié)合,提出了一種基于三元級(jí)算法的入侵檢測(cè)方法,在小樣本檢測(cè)中得到了高于原有檢測(cè)方案的最高準(zhǔn)確率。Xu等[18]將成熟的元學(xué)習(xí)框架應(yīng)用在入侵檢測(cè)的小樣本檢測(cè)中,提出了FC-Net。該網(wǎng)絡(luò)從成對(duì)的流量樣本中計(jì)算得出相應(yīng)的特征圖,然后度量樣本相似度得出分類結(jié)果。這種深度神經(jīng)網(wǎng)絡(luò)和元學(xué)習(xí)思想的結(jié)合,很好地解決了樣本缺失問(wèn)題,并且該網(wǎng)絡(luò)具有高泛化性。Tang等[19]將基于度量的原型網(wǎng)絡(luò)應(yīng)用在物聯(lián)網(wǎng)入侵檢測(cè)系統(tǒng)中,設(shè)計(jì)了ConvProtoNet模型,實(shí)驗(yàn)證明模型在小樣本背景下通過(guò)元學(xué)習(xí)思想可獲得好的學(xué)習(xí)能力,且取得比機(jī)器學(xué)習(xí)更高的檢測(cè)準(zhǔn)確率。Pan等[20]將卷積LSTM網(wǎng)絡(luò)和一種時(shí)間序列原型網(wǎng)絡(luò)相結(jié)合,解決了物聯(lián)網(wǎng)在惡意網(wǎng)絡(luò)行為方面的指紋推斷問(wèn)題。Hindy等[21]將基于度量的孿生網(wǎng)絡(luò)應(yīng)用在入侵檢測(cè)系統(tǒng)中,上游并聯(lián)兩個(gè)深度網(wǎng)絡(luò),下游使用非固定的度量函數(shù)計(jì)算待測(cè)樣本與支持集數(shù)據(jù)的相似度,以分類正常流量和攻擊流量。在1-shot檢測(cè)中,獲得了74.55%的檢測(cè)準(zhǔn)確率,檢測(cè)效果良好。

    2 本文方法

    本文提出了一種基于度量學(xué)習(xí)的檢測(cè)方法BT-RN用于小樣本僵尸網(wǎng)絡(luò)檢測(cè)。訓(xùn)練策略上,本文采用基于任務(wù)的元學(xué)習(xí)思想訓(xùn)練模型,元學(xué)習(xí)中驗(yàn)證集的概念使得模型能夠在少量訓(xùn)練樣本背景下快速積累經(jīng)驗(yàn),并迅速推廣到新的任務(wù)中且繼續(xù)提升模型學(xué)習(xí)能力。網(wǎng)絡(luò)結(jié)構(gòu)上,本文采用基于度量的思想設(shè)計(jì)模型。首先,本文在特征提取模塊引入了用于僵尸網(wǎng)絡(luò)流量特征優(yōu)化的混合注意力機(jī)制BT-CBAM,重點(diǎn)關(guān)注特征圖中具有辨識(shí)性的部分(注意力分?jǐn)?shù)較高的部分)及平衡樣本中攜帶的共性和差異特征,以提取不同類型僵尸網(wǎng)絡(luò)中更具共性、更高表達(dá)能力的特征,盡可能為下游分類器提供優(yōu)質(zhì)的特征表示。然后,特征提取模塊設(shè)計(jì)上使用殘差網(wǎng)絡(luò)的設(shè)計(jì)模式,避免BT-CBAM的引入造成網(wǎng)絡(luò)加深,引發(fā)梯度消失問(wèn)題。最后,根據(jù)特征提取模塊得到的特征表示,利用可學(xué)習(xí)度量模塊計(jì)算并得出分類結(jié)果。BT-RN檢測(cè)流程如圖1所示。將流量轉(zhuǎn)為二維灰度圖像作為特征提取模塊的輸入,通過(guò)特征級(jí)注意力機(jī)制BT-CBAM優(yōu)化特征表示;利用可學(xué)習(xí)度量模塊計(jì)算驗(yàn)證樣本與訓(xùn)練樣本的相似度分?jǐn)?shù),得出分類預(yù)測(cè)結(jié)果。

    圖1 BT-RN檢測(cè)流程

    Figure 1 BT-RN detection process

    2.1 元學(xué)習(xí)訓(xùn)練策略

    盡管深度學(xué)習(xí)模型的迭代訓(xùn)練模式在大規(guī)模已標(biāo)記樣本下效果良好,但當(dāng)極少量帶標(biāo)簽訓(xùn)練樣本時(shí),會(huì)出現(xiàn)嚴(yán)重的擬合問(wèn)題。這種小樣本下的僵尸網(wǎng)絡(luò)流量檢測(cè)是一種小樣本學(xué)習(xí)[18](FSL,few-shot learning)問(wèn)題的現(xiàn)實(shí)應(yīng)用。研究者使用了遷移學(xué)習(xí)思想微調(diào)預(yù)訓(xùn)練模型[22],用于FSL檢測(cè),但在新任務(wù)上仍依賴大量帶標(biāo)簽數(shù)據(jù)[23]。而人類卻能從少量示例中學(xué)習(xí)到具有高泛化性的知識(shí)表示。元學(xué)習(xí)提供了一種與人類學(xué)習(xí)方式類似的新的學(xué)習(xí)模式,即模型可以通過(guò)少量多次學(xué)習(xí)來(lái)獲得經(jīng)驗(yàn),并利用這些經(jīng)驗(yàn)來(lái)改進(jìn)自身算法[24]。因此,本文選擇了在元任務(wù)空間上進(jìn)行快速訓(xùn)練,避免模型過(guò)度依賴實(shí)例空間,通過(guò)基于任務(wù)的度量學(xué)習(xí)更快地應(yīng)對(duì)一些未見(jiàn)過(guò)的僵尸網(wǎng)絡(luò)樣本或類型。

    圖2 任務(wù)集與數(shù)據(jù)集的關(guān)系

    Figure 2 The relationship between tasksets and datasets

    圖3 “2-way 1-shot B=3”問(wèn)題下的任務(wù)集和數(shù)據(jù)集分配

    Figure 3 Tasksets and datasets allocation for “ 2-way 1-shot=3” problem

    2.2 基于特征級(jí)注意力機(jī)制和殘差網(wǎng)絡(luò)的特征提取模塊

    2.2.1 特征級(jí)注意力機(jī)制BT-CBAM

    FSL因各類流量樣本量少,且CNN以局部出發(fā),利用卷積核有限的感受視野去感受上一層的局部特征,這種計(jì)算模式忽略了各個(gè)局部特征的整體相關(guān)性,生成了稀疏的特征表示。這很容易受到小噪聲的影響[22]。事實(shí)上,并非驗(yàn)證樣本特征空間的所有維度就足以做出明確的分類,并且?guī)в性肼暤奶崛〗Y(jié)果可能會(huì)導(dǎo)致下游分類結(jié)果的巨大偏差。針對(duì)這些問(wèn)題,本文在文獻(xiàn)[22]的基礎(chǔ)上,設(shè)計(jì)了一種用于僵尸網(wǎng)絡(luò)流量特征優(yōu)化的特征級(jí)注意力機(jī)制BT-CBAM,以緩解稀疏和小噪聲的問(wèn)題。通過(guò)計(jì)算特征空間中各維度的注意力系數(shù),對(duì)各維度特征進(jìn)行整合并分配重要度關(guān)注,使CNN能夠注意到一系列的局部信息,將注意力集中在注意力系數(shù)高的重要部分,從而緩解特征稀疏問(wèn)題,增強(qiáng)模型特征提取的魯棒性和有效性,進(jìn)而提高模型檢測(cè)的準(zhǔn)確性。

    圖4 BT-CBAM的結(jié)構(gòu)

    Figure 4 BT-CBAM structure

    圖5 BT-CBAM的通道注意力模塊AttC

    Figure 5 Channel attention module AttforBT-CBAM

    圖6 BT-CBAM的空間注意力模塊AttS

    Figure 6 Spatial attention module Attfor BT-CBAM

    2.2.2 殘差網(wǎng)絡(luò)

    為得到更強(qiáng)的特征表示,使用3個(gè)相似的FeatureAttResNet殘差塊提取樣本流量的特征,具體設(shè)置如下。殘差塊Ⅰ:卷積層使用64個(gè)3×3卷積核;殘差塊Ⅱ:使用128個(gè)3×3卷積核;殘差塊Ⅲ:使用256個(gè)3×3卷積核。輸入樣本經(jīng)過(guò)3個(gè)基本殘差塊的維度變換如圖8所示。

    圖7 FeatureAttResNet結(jié)構(gòu)示意

    Figure 7 Schematic of FeatureAttResNet structure

    圖8 經(jīng)FeatureAttResNet的維度變換

    Figure 8 The dimensional transformation via FeatureAttResNet

    2.3 可學(xué)習(xí)的度量模塊

    由于度量函數(shù)的選擇會(huì)對(duì)模型分類結(jié)果產(chǎn)生重大影響[22],為了提高模型對(duì)不同僵尸網(wǎng)絡(luò)流量的分類能力,本文使用了關(guān)系網(wǎng)絡(luò)[30]的度量概念:可學(xué)習(xí)的深度度量網(wǎng)絡(luò)。相較于匹配網(wǎng)絡(luò)[31]和原型網(wǎng)絡(luò)[32]的固定度量方式,這種深度度量網(wǎng)絡(luò)可以隨訓(xùn)練任務(wù)數(shù)量的增加,優(yōu)化調(diào)整其參數(shù),以達(dá)到更好的分類效果。優(yōu)化后的特征表示被輸入度量網(wǎng)絡(luò)中,先與驗(yàn)證樣本進(jìn)行依次拼接組合,再利用深度度量網(wǎng)絡(luò)計(jì)算出相似度分?jǐn)?shù),進(jìn)而做出分類預(yù)測(cè)。

    圖9 “2-way 1-shot B=1”問(wèn)題下的預(yù)處理

    Figure 9 Pre-processing under "2-way 1-shot B=1" problem

    3 實(shí)驗(yàn)評(píng)估

    3.1 數(shù)據(jù)集

    本文實(shí)驗(yàn)使用了ISOT、CTU-13和USTC-TFC2016這3個(gè)數(shù)據(jù)集。表1列出了3種數(shù)據(jù)集的基本情況及抽樣情況。

    ISOT數(shù)據(jù)集是由維多利大學(xué)的ISOT組織在虛擬機(jī)中收集的一組惡意流量數(shù)據(jù),屬于仿真數(shù)據(jù)集。本文選擇了5類僵尸網(wǎng)絡(luò)流量,再?gòu)拿款愔懈麟S機(jī)抽樣400個(gè)樣本作為訓(xùn)練集,隨機(jī)抽樣900個(gè)樣本作為測(cè)試集。

    CTU-13數(shù)據(jù)集是捷克理工大學(xué)在內(nèi)部實(shí)驗(yàn)室捕獲的一組僵尸網(wǎng)絡(luò)流量數(shù)據(jù),屬于真實(shí)流量數(shù)據(jù)。本文選取了4類僵尸網(wǎng)絡(luò)流量,再?gòu)拿款愔懈麟S機(jī)抽取500個(gè)樣本作為訓(xùn)練集,隨機(jī)抽取500個(gè)樣本作為測(cè)試集。

    圖10 深度度量網(wǎng)絡(luò)結(jié)構(gòu)

    Figure 10 Deep metric network structure

    表1 數(shù)據(jù)集的基本情況及抽樣

    USTC-TFC2016數(shù)據(jù)集是由Wang等[12]整理的正常通信流量數(shù)據(jù)。本文從中選擇了9種應(yīng)用流量作為陰性數(shù)據(jù)樣本,并從每類中各隨機(jī)抽取300個(gè)樣本作為訓(xùn)練集,隨機(jī)抽取300個(gè)樣本作為測(cè)試集。

    3.2 預(yù)處理

    為便于模型統(tǒng)一化處理,本文選擇了尺寸為32×32的二維灰度圖作為模型輸入格式。整個(gè)預(yù)處理包含3個(gè)部分:流量篩選、數(shù)據(jù)清洗、格式轉(zhuǎn)換。

    第一步:流量篩選。本文選擇了含有更多交互數(shù)據(jù)和標(biāo)記信息的“會(huì)話+所有層”流量數(shù)據(jù)。第二步:數(shù)據(jù)清洗。考慮原流量樣本集可能存在受污染數(shù)據(jù),先對(duì)截取后數(shù)據(jù)進(jìn)行重復(fù)或相似文件清洗,再隨機(jī)化處理IP和MAC信息。第三步:格式轉(zhuǎn)換。首先將所有數(shù)據(jù)處理為1 024 byte,文件過(guò)小則末尾填充0,文件過(guò)大則末尾舍棄。預(yù)處理后的流量二維灰度圖示意如圖11所示。

    圖11 預(yù)處理后的流量二維灰度圖示意

    Figure 11 Illustrative two-dimensional grey scale diagram of the pre-processed flow

    3.3 實(shí)驗(yàn)設(shè)置

    3.3.1 實(shí)驗(yàn)環(huán)境

    本文針對(duì)小樣本背景下的僵尸網(wǎng)絡(luò)流量檢測(cè),對(duì)計(jì)算資源沒(méi)有較高要求。本文配置如下:硬件處理器使用Intel Core i7-8550U CPU @ 1.80 GHz,內(nèi)存16 GB,顯卡為NVIDIA GTX 940MX,Windows10家庭版64位操作系統(tǒng)。

    3.3.2 實(shí)驗(yàn)方法

    為了驗(yàn)證本文方法可用于小樣本僵尸網(wǎng)絡(luò)檢測(cè),將BT-RN與以下3種小樣本方法進(jìn)行了對(duì)比:基于FC-Net的方法[18]、基于原型網(wǎng)絡(luò)的方法[20]、基于孿生網(wǎng)絡(luò)的方法[21]。為增強(qiáng)可信度,小樣本方法的度量模塊與本文保持一致。

    為了驗(yàn)證基于任務(wù)的元學(xué)習(xí)訓(xùn)練策略優(yōu)于傳統(tǒng)的深度學(xué)習(xí)訓(xùn)練策略,將BT-RN與以下基于深度神經(jīng)網(wǎng)絡(luò)的方法進(jìn)行了對(duì)比:基于CNN的方法[12]、基于LSTM的方法[13]、基于LSTM_CNN的方法[14]、基于BiLSTM_CNN的方法[15]、基于ViT的方法[33]、基于CoAtNet的方法[34]。為增強(qiáng)可信度,基于深度神經(jīng)網(wǎng)絡(luò)的方法在卷積層設(shè)置上與本文方法保持一致。

    為了證實(shí)本文方法具有良好的魯棒性和泛化能力,本文在未知類型僵尸網(wǎng)絡(luò)上進(jìn)行了驗(yàn)證:同源實(shí)驗(yàn)和異源實(shí)驗(yàn)。同源實(shí)驗(yàn)是指實(shí)驗(yàn)中所有的數(shù)據(jù)均來(lái)自同一數(shù)據(jù)集,異源實(shí)驗(yàn)是指實(shí)驗(yàn)中訓(xùn)練階段和測(cè)試階段使用的數(shù)據(jù)來(lái)自不同數(shù)據(jù)集。

    實(shí)驗(yàn)設(shè)置如表2所示。

    3.3.3 參數(shù)設(shè)置

    本文方法主要針對(duì)僵尸網(wǎng)絡(luò)檢測(cè)中的二元分類問(wèn)題,故設(shè)置=2,即將網(wǎng)絡(luò)流量分為正常流量和僵尸網(wǎng)絡(luò)流量?jī)蓚€(gè)類別。為模擬小樣本場(chǎng)景,本文設(shè)置了=1和=5兩種場(chǎng)景,兩種場(chǎng)景中查詢樣本每類均為15個(gè)。其中,=1場(chǎng)景中,每次學(xué)習(xí)任務(wù)的正常和僵尸網(wǎng)絡(luò)樣本分別為1個(gè);=5場(chǎng)景中,每個(gè)學(xué)習(xí)任務(wù)的正常和僵尸網(wǎng)絡(luò)樣本分別為5個(gè)。考慮到僵尸網(wǎng)絡(luò)的類型多樣,故訓(xùn)練時(shí)每個(gè)episode(episode為一次選擇訓(xùn)練集和驗(yàn)證集類型的過(guò)程)選取1種僵尸網(wǎng)絡(luò)類型和1種正常流量類型進(jìn)行學(xué)習(xí)。episode設(shè)置為400。此外,還引入數(shù)據(jù)擴(kuò)增避免過(guò)擬合,對(duì)輸入樣本隨機(jī)進(jìn)行旋轉(zhuǎn),如旋轉(zhuǎn)90°、180°、270°。

    表2 實(shí)驗(yàn)設(shè)置

    3.3.4 評(píng)估指標(biāo)

    其中,TP表示樣本的預(yù)測(cè)結(jié)果且實(shí)際標(biāo)簽同為僵尸網(wǎng)絡(luò)流量,TN表示樣本的預(yù)測(cè)結(jié)果且實(shí)際標(biāo)簽為正常流量,F(xiàn)N表示樣本的預(yù)測(cè)結(jié)果為正常流量但實(shí)際標(biāo)簽為僵尸網(wǎng)絡(luò)流量,F(xiàn)P表示樣本的預(yù)測(cè)結(jié)果為僵尸網(wǎng)絡(luò)流量但實(shí)際標(biāo)簽為正常流量。

    為減少小樣本背景下一次實(shí)驗(yàn)結(jié)果的偶然性影響,本文引入了MACC指標(biāo),對(duì)所有實(shí)驗(yàn)做次重復(fù)實(shí)驗(yàn)并計(jì)算其平均準(zhǔn)確率,計(jì)算公式如下。

    3.4 實(shí)驗(yàn)結(jié)果及分析

    根據(jù)3.3節(jié)中的實(shí)驗(yàn)設(shè)置,所有使用元學(xué)習(xí)訓(xùn)練策略方法的實(shí)驗(yàn)均在1-shot和5-shot的設(shè)定下學(xué)習(xí)400輪任務(wù)。為避免小樣本學(xué)習(xí)的偶然性因素影響評(píng)估準(zhǔn)確性,所有實(shí)驗(yàn)均進(jìn)行20次獨(dú)立實(shí)驗(yàn)。

    3.4.1 小樣本方法對(duì)比實(shí)驗(yàn)

    對(duì)比實(shí)驗(yàn)選擇了3種基于度量學(xué)習(xí)的小樣本方法(基于FC-Net的方法[18]、基于原型網(wǎng)絡(luò)的方法[20]、基于孿生網(wǎng)絡(luò)的方法[21]),這些方法都通過(guò)度量訓(xùn)練樣本和驗(yàn)證樣本間的相似度對(duì)異常和正常流量進(jìn)行分類,以實(shí)現(xiàn)小樣本下僵尸網(wǎng)絡(luò)的檢測(cè)。實(shí)驗(yàn)中,每次獨(dú)立實(shí)驗(yàn)隨機(jī)選取3類僵尸網(wǎng)絡(luò)作為學(xué)習(xí)任務(wù)集,學(xué)習(xí)結(jié)束后對(duì)每類進(jìn)行單獨(dú)檢測(cè)并評(píng)估準(zhǔn)確率。本文通過(guò)僵尸網(wǎng)絡(luò)檢測(cè)并計(jì)算MACC值來(lái)評(píng)估實(shí)驗(yàn)結(jié)果。小樣本方法對(duì)比實(shí)驗(yàn)結(jié)果如表3所示。

    由表3中數(shù)據(jù)可以得出以下結(jié)論。① BT-RN適用于小樣本僵尸網(wǎng)絡(luò)檢測(cè),并且優(yōu)于其他小樣本方法。這種通過(guò)度量查詢樣本和訓(xùn)練樣本之間距離對(duì)查詢樣本進(jìn)行預(yù)測(cè)分類的學(xué)習(xí)模式,使得模型在少量訓(xùn)練樣本下得到良好的學(xué)習(xí)。即使在400個(gè)訓(xùn)練樣本的極限環(huán)境下,BT-RN和其他3 種基于度量學(xué)習(xí)的小樣本方法在兩種數(shù)據(jù)集上都取得了較好的MACC,均高于80%的檢測(cè)準(zhǔn)確率,BT-RN的大部分準(zhǔn)確率在90%以上。② BT-RN的特征提取模塊優(yōu)于其他小樣本方法的特征提取模塊。根據(jù)3.3節(jié)的實(shí)驗(yàn)方法設(shè)置,其他小樣本方法僅特征提取模塊設(shè)置與BT-RN不同,這可以有效驗(yàn)證BT-RN的特征提取模塊是否具有更強(qiáng)的特征提取能力。實(shí)驗(yàn)結(jié)果顯示,BT-RN的MACC均高于其他小樣本方法,在2-way 1-shot檢測(cè)中,基于孿生網(wǎng)絡(luò)的方法相較于BT-RN平均準(zhǔn)確率落后了8.82%。在實(shí)驗(yàn)結(jié)果中,BT-RN檢測(cè)Storm僵尸網(wǎng)絡(luò)的MACC較低,可能是在ISOT數(shù)據(jù)集中選擇的僵尸網(wǎng)絡(luò)協(xié)議類型不均衡以及任務(wù)抽樣的隨機(jī)偶然性因素,但數(shù)據(jù)顯示BT-RN對(duì)Storm的檢測(cè)MACC均高于其他小樣本學(xué)習(xí)方法的檢測(cè)結(jié)果,這表明BT-RN的表現(xiàn)依舊良好。

    3.4.2 深度學(xué)習(xí)方法對(duì)比實(shí)驗(yàn)

    為證明本文方法優(yōu)于采用傳統(tǒng)訓(xùn)練策略的深度學(xué)習(xí)方法,對(duì)比實(shí)驗(yàn)選擇了目前已用于僵尸網(wǎng)絡(luò)檢測(cè)的CNN[12]、LSTM[13]、LSTM_CNN[14]、BiLSTM[15]和目前在圖像分類領(lǐng)域更加先進(jìn)的ViT[33]、CoAtNet[34]兩種模型,將基于這些模型的檢測(cè)方法與BT-RN進(jìn)行對(duì)比。在以往基于深度學(xué)習(xí)模型提出的檢測(cè)方法中,通常是需要利用海量標(biāo)記樣本訓(xùn)練模型,再用于僵尸網(wǎng)絡(luò)檢測(cè)。這種端對(duì)端的訓(xùn)練策略與基于任務(wù)的元訓(xùn)練策略不一致。因此在本文實(shí)驗(yàn)中,將基于任務(wù)訓(xùn)練策略的2-way 1-shot和2-way 5-shot下的400輪學(xué)習(xí)轉(zhuǎn)換為隨機(jī)抽樣400個(gè)僵尸網(wǎng)絡(luò)樣本和2 000個(gè)僵尸網(wǎng)絡(luò)樣本作為訓(xùn)練樣本用于基于深度學(xué)習(xí)的檢測(cè)方法,并分別在ISOT數(shù)據(jù)集和CTU數(shù)據(jù)集上進(jìn)行了20次獨(dú)立的已知類型檢測(cè)。類型分配上,每次實(shí)驗(yàn)都分別對(duì)ISOT數(shù)據(jù)集和CTU數(shù)據(jù)集中所有類型的帶標(biāo)記樣本進(jìn)行訓(xùn)練,然后使用測(cè)試樣本對(duì)方法進(jìn)行檢測(cè)評(píng)估,實(shí)驗(yàn)結(jié)果如表4所示。

    表4 深度學(xué)習(xí)模型在小樣本下的對(duì)比實(shí)驗(yàn)結(jié)果

    由表4中數(shù)據(jù)可以得出以下結(jié)論。① BT-RN能夠通過(guò)學(xué)習(xí)少量樣本獲得很強(qiáng)的學(xué)習(xí)能力。當(dāng)訓(xùn)練階段只有400個(gè)樣本時(shí),BT-RN可以達(dá)到93.20%的平均準(zhǔn)確率,而原有基于深度學(xué)習(xí)的僵尸網(wǎng)絡(luò)檢測(cè)方法在同樣條件下,檢測(cè)平均準(zhǔn)確率低于80%。在可用于灰度圖分類的最新模型中,ViT和CoAtNet模型應(yīng)用在小樣本僵尸網(wǎng)絡(luò)檢測(cè)上準(zhǔn)確率更是低于65%,可以看出基于深度學(xué)習(xí)的檢測(cè)方法在樣本量極少的情況下無(wú)法得到充分學(xué)習(xí)。BT-RN受到了2.1節(jié)基于任務(wù)的元訓(xùn)練策略的影響,使得模型盡管在訓(xùn)練階段使用了極少的訓(xùn)練樣本(400輪1-shot下僅400個(gè)),但也可以充分利用到驗(yàn)證集中的樣本,及時(shí)利用未知樣本評(píng)估衡量網(wǎng)絡(luò)的元泛化能力和分類能力,并對(duì)自身算法的超參數(shù)進(jìn)行反饋調(diào)整,提升自身學(xué)習(xí)能力[35],加速模型分辨數(shù)據(jù)類別的能力。這種元訓(xùn)練策略下,驗(yàn)證集的設(shè)定在一定程度上彌補(bǔ)了訓(xùn)練樣本量不足,并加快了BT-RN的學(xué)習(xí)。② BT-RN解決了深度神經(jīng)網(wǎng)絡(luò)模型在小樣本背景下的擬合問(wèn)題。表4中數(shù)據(jù)顯示:基于LSTM的方法在樣本量較小時(shí)(400個(gè)訓(xùn)練樣本)平均準(zhǔn)確率更高,反而在樣本量大時(shí)(2 000個(gè)訓(xùn)練樣本)表現(xiàn)很差,表明基于LSTM的方法對(duì)小樣本的擬合程度過(guò)強(qiáng),而B(niǎo)T-RN可隨樣本增多正向提高準(zhǔn)確率,這是BT-RN優(yōu)于這些基于深度學(xué)習(xí)方法的原因;大多數(shù)基于深度學(xué)習(xí)方法在面對(duì)少量樣本時(shí)檢測(cè)準(zhǔn)確率低于70%,說(shuō)明了深度學(xué)習(xí)模型與大量的訓(xùn)練樣本脫鉤后,模型訓(xùn)練不足導(dǎo)致檢測(cè)效果不佳。

    3.4.3 泛化能力檢測(cè)

    為進(jìn)一步檢測(cè)BT-RN的性能,在未知類型僵尸網(wǎng)絡(luò)上進(jìn)行了實(shí)驗(yàn)以驗(yàn)證本文方法的泛化能力,具體設(shè)置詳見(jiàn)3.3節(jié),有同源檢測(cè)(同數(shù)據(jù)集未知類測(cè)試)和異源檢測(cè)(跨數(shù)據(jù)集未知類測(cè)試)兩類。

    (1)同源檢測(cè)實(shí)驗(yàn)

    在同源實(shí)驗(yàn)(a)中,訓(xùn)練和測(cè)試樣本均來(lái)自仿真數(shù)據(jù)集ISOT,即優(yōu)越的實(shí)驗(yàn)結(jié)果可能會(huì)受到仿真數(shù)據(jù)影響。數(shù)據(jù)分配上,從ISOT中隨機(jī)抽樣3類作為元訓(xùn)練的陽(yáng)性樣本,余下2類作為元測(cè)試的陽(yáng)性樣本。其他設(shè)置與3.3節(jié)保持一致。

    表5 泛化能力檢測(cè)實(shí)驗(yàn)中在ISOT數(shù)據(jù)集上進(jìn)行未知類型檢測(cè)的結(jié)果

    泛化能力檢測(cè)實(shí)驗(yàn)中在ISOT數(shù)據(jù)集上進(jìn)行未知類型檢測(cè)的結(jié)果如表5顯示。① BT-RN對(duì)仿真數(shù)據(jù)集中未知類型檢測(cè)效果良好。模型在元任務(wù)空間進(jìn)行學(xué)習(xí)的策略,以及訓(xùn)練集驗(yàn)證集內(nèi)外合作優(yōu)化自身超參的方式[35],使得模型在不斷優(yōu)化自身經(jīng)驗(yàn)的同時(shí),快速獲得了更強(qiáng)的元泛化能力。在小樣本的環(huán)境下,BT-RN對(duì)未知類型僵尸網(wǎng)絡(luò)的檢測(cè)結(jié)果準(zhǔn)確率較高,2-way 1-shot條件下準(zhǔn)確率可達(dá)95.79%,2-way 5-shot條件下準(zhǔn)確率可達(dá)99.02%,這得益于基于任務(wù)的學(xué)習(xí)方式和大量驗(yàn)證樣本的反饋。②泛化能力強(qiáng)。盡管本文實(shí)驗(yàn)的測(cè)試集使用了在訓(xùn)練階段未見(jiàn)過(guò)的僵尸網(wǎng)絡(luò)類型,但本文實(shí)驗(yàn)結(jié)果與已知類型檢測(cè)結(jié)果相近,這表明訓(xùn)練好的模型對(duì)未知類型樣本無(wú)須重新訓(xùn)練或進(jìn)行微調(diào),可直接將訓(xùn)練好的模型用于未知樣本檢測(cè),其檢測(cè)準(zhǔn)確率基本一致,具有很好的泛化能力。對(duì)于Storm的較低檢測(cè)結(jié)果,考慮是訓(xùn)練過(guò)程中P2P協(xié)議類的僵尸網(wǎng)絡(luò)樣本量低于HTTP類的樣本量,但90.97%檢測(cè)效果在小樣本檢測(cè)來(lái)看,依舊良好。③學(xué)習(xí)速度快。由圖12 ISOT數(shù)據(jù)集上的訓(xùn)練損失曲線可以看出,盡管僵尸網(wǎng)絡(luò)類型不同,但在180輪左右模型基本完成了學(xué)習(xí),后期損失基本持平。這種效果在深度神經(jīng)網(wǎng)絡(luò)中基本不能實(shí)現(xiàn)。

    圖12 ISOT數(shù)據(jù)集上的訓(xùn)練損失曲線

    Figure 12 Training loss curve on the ISOT dataset

    在同源實(shí)驗(yàn)(b)中,數(shù)據(jù)使用了真實(shí)捕獲的流量數(shù)據(jù)集CTU,即實(shí)驗(yàn)結(jié)果更為真實(shí)。數(shù)據(jù)分配上,從CTU中隨機(jī)抽取3類作為訓(xùn)練陽(yáng)性樣本,余下1類作為測(cè)試樣本。結(jié)合CTU數(shù)據(jù)的分布,元訓(xùn)練階段共使用400個(gè)episode進(jìn)行學(xué)習(xí),2-way 1-shot和2-way 5-shot設(shè)置下的元測(cè)試均使用600個(gè)episode進(jìn)行測(cè)試。其他設(shè)置與3.3節(jié)保持一致。泛化能力檢測(cè)實(shí)驗(yàn)中在CTU數(shù)據(jù)集上進(jìn)行未知類型檢測(cè)的結(jié)果如表6所示,CTU數(shù)據(jù)集上的訓(xùn)練損失曲線如圖13所示。①該實(shí)驗(yàn)結(jié)果與在ISOT數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果一致,模型在未知僵尸網(wǎng)絡(luò)的檢測(cè)效果良好,具有很強(qiáng)的泛化能力、學(xué)習(xí)能力。Zeus作為一種在訓(xùn)練階段未見(jiàn)過(guò)的P2P協(xié)議類型僵尸網(wǎng)絡(luò),在實(shí)驗(yàn)結(jié)果上檢測(cè)準(zhǔn)確率較低于其他類型流量,但其結(jié)果對(duì)于小樣本檢測(cè)來(lái)說(shuō),依舊良好。②真實(shí)數(shù)據(jù)集上的測(cè)試結(jié)果與仿真數(shù)據(jù)集測(cè)試結(jié)果基本一致,表明在小樣本背景下,可以對(duì)僵尸網(wǎng)絡(luò)流量有效檢測(cè)。

    (2)異源檢測(cè)實(shí)驗(yàn)

    異源檢測(cè)實(shí)驗(yàn)是在不重復(fù)訓(xùn)練或微調(diào)的情況下,直接將訓(xùn)練好的模型應(yīng)用于其他數(shù)據(jù)集的未知僵尸網(wǎng)絡(luò)樣本上進(jìn)行檢測(cè),利用其檢測(cè)結(jié)果驗(yàn)證模型是否具有更高的泛化性。

    表6 泛化能力檢測(cè)實(shí)驗(yàn)中在CTU數(shù)據(jù)集上進(jìn)行未知類型檢測(cè)的結(jié)果

    圖13 CTU數(shù)據(jù)集上的訓(xùn)練損失曲線

    Figure 13 Training loss curve on the CTU dataset

    異源實(shí)驗(yàn)(a)中,使用仿真數(shù)據(jù)集ISOT進(jìn)行模型訓(xùn)練,使用真實(shí)捕獲數(shù)據(jù)集CTU進(jìn)行模型評(píng)估。不同于之前實(shí)驗(yàn)設(shè)置的是,元訓(xùn)練訓(xùn)練了700輪。泛化能力檢測(cè)實(shí)驗(yàn)中在ISOT數(shù)據(jù)集和CTU數(shù)據(jù)集上進(jìn)行跨數(shù)據(jù)的未知類型檢測(cè)結(jié)果如表7所示。①BT-RN對(duì)跨數(shù)據(jù)集的未知僵尸網(wǎng)絡(luò)檢測(cè)效果良好。結(jié)果顯示,BT-RN在1-shot設(shè)置下準(zhǔn)確率為90.85%,5-shot設(shè)置下準(zhǔn)確率為94.73%。盡管實(shí)驗(yàn)中訓(xùn)練集與測(cè)試集的數(shù)據(jù)樣本來(lái)源不同,但檢測(cè)效果良好。②BT- RN在跨數(shù)據(jù)集測(cè)試上也具有很強(qiáng)的泛化能力。在訓(xùn)練階段,訓(xùn)練集中未含有基于P2P協(xié)議的Zeus僵尸網(wǎng)絡(luò)流量樣本,但在測(cè)試階段引入了另一數(shù)據(jù)集中的P2P協(xié)議Zeus僵尸網(wǎng)絡(luò)流量樣本,其MACC值較高,2-way 1-shot設(shè)置下的準(zhǔn)確率高達(dá)86.40%,2-way 5-shot設(shè)置下的準(zhǔn)確率高達(dá)96.62%,表明模型在未知協(xié)議類型的僵尸網(wǎng)絡(luò)檢測(cè)上具有很高的泛化能力。

    異源實(shí)驗(yàn)(b)中,訓(xùn)練和測(cè)試樣本來(lái)自不同數(shù)據(jù)集。元訓(xùn)練的陽(yáng)性樣本來(lái)自CTU中的4種僵尸網(wǎng)絡(luò)流量,元測(cè)試的陽(yáng)性樣本來(lái)自ISOT中的5種僵尸網(wǎng)絡(luò)流量。元訓(xùn)練階段使用700個(gè)episode進(jìn)行學(xué)習(xí),元測(cè)試使用140個(gè)episode進(jìn)行測(cè)試評(píng)估模型。泛化能力檢測(cè)實(shí)驗(yàn)中在CTU數(shù)據(jù)集和ISOT數(shù)據(jù)集上進(jìn)行跨數(shù)據(jù)的未知類型檢測(cè)結(jié)果如表8所示,該實(shí)驗(yàn)的評(píng)估結(jié)果與前一實(shí)驗(yàn)結(jié)論相似:①BT-RN對(duì)未知僵尸網(wǎng)絡(luò)檢測(cè)效果良好;②BT- RN具有良好的泛化能力。

    表7 泛化能力檢測(cè)實(shí)驗(yàn)中在ISOT數(shù)據(jù)集和CTU數(shù)據(jù)集上進(jìn)行跨數(shù)據(jù)的未知類型檢測(cè)結(jié)果

    表8 泛化能力檢測(cè)實(shí)驗(yàn)中在CTU數(shù)據(jù)集和ISOT數(shù)據(jù)集上進(jìn)行跨數(shù)據(jù)的未知類型檢測(cè)結(jié)果

    4 結(jié)束語(yǔ)

    本文提出了一種將深度神經(jīng)網(wǎng)絡(luò)與元學(xué)習(xí)理論相結(jié)合的小樣本檢測(cè)方法BT-RN,為僵尸網(wǎng)絡(luò)的發(fā)現(xiàn)初期高效利用少量樣本識(shí)別檢測(cè)僵尸網(wǎng)絡(luò)而設(shè)計(jì),并能有效檢測(cè)未知僵尸網(wǎng)絡(luò)。BT-RN由特征提取模塊和相似性度量模塊等構(gòu)成;引入了特征級(jí)混合注意力機(jī)制BT-CBAM和殘差網(wǎng)絡(luò)增強(qiáng)模型提取能力;使用下游的深度可學(xué)習(xí)度量網(wǎng)絡(luò)提升模型分類準(zhǔn)確率;基于任務(wù)的元學(xué)習(xí)訓(xùn)練策略利用少量樣本快速積累優(yōu)化經(jīng)驗(yàn)提升學(xué)習(xí)能力和檢測(cè)能力。實(shí)驗(yàn)結(jié)果表明,本文方法在小樣本環(huán)境下,通過(guò)元學(xué)習(xí)思想能夠得到更高的檢測(cè)準(zhǔn)確率,并且具有較好的泛化能力,同時(shí)可用于檢測(cè)未知僵尸網(wǎng)絡(luò)。

    [1] 國(guó)家計(jì)算機(jī)網(wǎng)絡(luò)應(yīng)急技術(shù)處理協(xié)調(diào)中心(CNCERT/CC). CNCERT互聯(lián)網(wǎng)安全威脅報(bào)告[R]. 2021-8. National Computer Network Emergency Response Technology Processing Coordination Center (CNCERT/CC). CNCERT Internet security threat report[R]. 2021-8.

    [2] 國(guó)家計(jì)算機(jī)網(wǎng)絡(luò)應(yīng)急技術(shù)處理協(xié)調(diào)中心(CNCERT/CC). 2020年中國(guó)互聯(lián)網(wǎng)網(wǎng)絡(luò)安全報(bào)告[R]. 2021-7. National Computer Network Emergency Response Technology Processing Coordination Center (CNCERT/CC). 2020 China Internet network security report[R]. 2021-7.

    [3] XING Y, SHU H, ZHAO H, et al. Survey on botnet detection techniques: classification, methods, and evaluation[J]. Mathematical Problems in Engineering, 2021, 2021: 1-24.

    [4] GARG S, GUIZANI M, GUO S, et al. Guest editorial: special section on ai-driven developments in 5g-envisioned industrial automation: big data perspective[J]. IEEE Transactions on Industrial Informatics, 2019, PP (99): 1.

    [5] WANG X, YANG Q, JIN X. Periodic communication detection algorithm of botnet based on quantum computing[J]. Chinese Journal of Quantum Electronics, 2016, 33 (2): 182-187.

    [6] SPATHOULAS G, GIACHOUDIS N, DAMIRIS G-P, et al. Collaborative blockchain-based detection of distributed denial of service attacks based on internet of things botnets[J]. Future Internet, 2019, 11 (11): 226.

    [7] LASHKARI A H, GIL G D, KEENAN J E, et al. A survey leading to a new evaluation framework for network-based botnet detection[C]//International Conference. 2017: 59-66.

    [8] WANG J, CHEN Y. Botnet detection method based on permutation entropy and clustering variance[C]//The 2017 3rd International Symposium on Mechatronics and Industrial Informatics(ISMII 2017). 2017: 161-166.

    [9] BILGE L, BALZAROTTI D, ROBERTSON W, et al. Disclosure: detecting botnet command and control servers through large-scale NetFlow analysis[C]//Proceedings of the 28th Annual Computer Security Applications Conference. 2012: 129-138.

    [10] 金渝筌, 謝彬, 朱毅. 基于通信相似度的僵尸網(wǎng)絡(luò)節(jié)點(diǎn)檢測(cè)方法[J].網(wǎng)絡(luò)與信息安全學(xué)報(bào), 2018, 4 (10): 31-38. JIN Y Q, XIE B, ZHU Y. Method of botnet network nodes detection base on communication similarity[J]. Chinese Journal of Network and Information Security, 2018, 4(10): 31-38.

    [11] JUNG W, ZHAO H, SUN M, et al. IoT botnet detection via power consumption modeling[J]. Smart Health, 2020, 15: 100103.

    [12] WANG W, ZHU M, ZENG X, et al. Malware traffic classification using convolutional neural network for representation learning[C]//2017 International Conference on Information Networking (ICOIN). 2017: 712-717.

    [13] 尹傳龍, 祝躍飛, 張鶴童. 基于LSTM深度學(xué)習(xí)的僵尸網(wǎng)絡(luò)檢測(cè)模型[J]. 信息工程大學(xué)學(xué)報(bào), 2018, 19(94): 76-82.YIN C L, ZHU Y F, ZHANG H T.Deep learning approach for botnet detection using LSTM[J]. Journal of Information Engineering University, 2018, 19(94): 76-82.

    [14] 羅扶華, 張愛(ài)新. 基于深度學(xué)習(xí)的僵尸網(wǎng)絡(luò)檢測(cè)技術(shù)研究[J]. 通信技術(shù), 2020, 53 (1): 174-179. LUO F H, ZHANG A X. Botnet detection technology based on deep learning[J]. Communications Technology, 2020, 53 (1): 174-179.

    [15] 譚越, 鄒福泰. 基于ResNet和BiLSTM的僵尸網(wǎng)絡(luò)檢測(cè)方法[J]. 通信技術(shù), 2019, 52 (12): 7. TAN Y, ZOU F T. Botnet detection method based on BiLSTM and ResNet[J]. Communications Technology, 2019, 52 (12): 7.

    [16] YERIMA S Y, ALZAYLAEE M K, SHAJAN A. Deep learning techniques for android botnet detection[J]. Electronics, 2021, 10(4): 519.

    [17] OLASEHINDE O, JOHNSON O V, CATHERINE O O. Evaluation of selected meta learning algorithms for the prediction improvement of network intrusion detection system[C]//2020 International Conference in Mathematics, Computer Engineering and Computer Science (ICMCECS). 2020.

    [18] XU C, SHEN J, DU X. A method of few-shot network intrusion detection based on meta-learning framework[J]. IEEE Transactions on Information Forensics and Security, 2020, (99): 1.

    [19] TANG Z, WANG P, WANG J. ConvProtoNet: deep prototype induction towards better class representation for few-shot malware classification[J]. Applied Sciences, 2020, 10 (8): 2847.

    [20] PAN J. Iot network behavioral fingerprint inference with limited network traces for cyber investigation[C]//2021 International Conference on Artificial Intelligence in Information and Communication (ICAIIC). 2021: 263-268.

    [21] HINDY H, TACHTATZIS C, ATKINSON R, et al. Developing a siamese network for intrusion detection systems[C]//Proceedings of the 1st Workshop on Machine Learning and Systems. 2021: 120-126.

    [22] TIANYU G, ZHIYUAN L, MAOSONG S, et al. Hybrid attention-based prototypical networks for noisy few-shot relation classification[C]//The AAAI Conference on Artificial Intelligence, 2019: 6407-6414.

    [23] AMIR E, DAVID E, MASSOUD P, et al. A meta-learning approach for custom model training[C]//The AAAI Conference on Artificial Intelligence. 2019: 9937-9938.

    [24] YANG A, LU C, LI J, et al. Application of meta-learning in cyberspace security: a survey[J]. Digital Communications and Networks, 2022, 9 (1): 67-78.

    [25] HOSPEDALES T M, ANTONIOU A, MICAELLI P, et al. Meta-learning in neural networks: a survey[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 44(9): 5149-5169.

    [26] WOO S, PARK J, LEE J Y, et al. Cbam: convolutional block attention module[C]//Proceedings of the European Conference on Computer vision (ECCV). 2018: 3-19.

    [27] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 770-778.

    [28] SZEGEDY C, LIU W, JIA Y, et al. Going deeper with Convolutions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015: 1-9.

    [29] ZOU Y, ZHANG L, LIU C, et al. Super-resolution reconstruction of infrared images based on a convolutional neural network with skip connections[J]. Optics and Lasers in Engineering, 2021, 146: 106717.

    [30] SUNG F, YANG Y, ZHANG L, et al. Learning to compare: Relation network for few-shot learning[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 1199-1208.

    [31] VINYALS O, BLUNDELL C, LILLICRAP T, et al. Matching networks for one shot learning[J]. Advances in Neural Information Processing Systems, 2016: 3637-3645.

    [32] SNELL J, SWERSKY K, ZEMEL R. Prototypical networks for few-shot learning[C]//Proceedings of the 31st International Conference on Neural Information Processing Systems. 2017: 4080-4090.

    [33] DOSOVITSKIY A, BEYER L, KOLESNIKOV A, et al. An image is worth 16×16 words: transformers for image recognition at scale[C]//International Conference on Learning Representations. 2021.

    [34] DAI Z, LIU H, LE Q V, et al. CoAtNet: marrying convolution and attention for all data sizes[J]. 2021: arXiv.2016.04803.

    [35] HUISMAN M, VAN RIJN J N, PLAAT A. A survey of deep meta-learning[J]. 2020: arXiv: 2010. 03522.

    Metric-based learning approach to botnet detection with small samples

    LIN Honggang1,2,ZHU Junjing1,2, CHEN Lin3

    1.School of Cyberspace Security, Chengdu University of Information Technology, Chengdu 610225, China 2.Sichuan Key Laboratory of Advanced Cryptography and System Security, Chengdu 610225, China 3.Anhui Key Laboratory of Cyberspace Security Situational Awareness and Assessment, Hefei 230037, China

    Botnets pose a great threat to the Internet, and early detection is crucial for maintaining cybersecurity. However, in the early stages of botnet discovery, obtaining a small number of labeled samples restricts the training of current detection models based on deep learning, leading to poor detection results. To address this issue, a botnet detection method called BT-RN, based on metric learning, was proposed for small sample backgrounds. The task-based meta-learning training strategy was used to optimize the model. The verification set was introduced into the task and the similarity between the verification sample and the training sample feature representation was measured to quickly accumulate experience, thereby reducing the model’s dependence on the labeled sample space. The feature-level attention mechanism was introduced. By calculating the attention coefficients of each dimension in the feature, the feature representation was re-integrated and the importance attention was assigned to optimize the feature representation, thereby reducing the feature sparseness of the deep neural network in small samples. The residual network design pattern was introduced, and the skip link was used to avoid the risk of model degradation and gradient disappearance caused by the deeper network after increasing the feature-level attention mechanism module.

    botnet, traffic detection, few-shot detection, metric learning

    The National 242 Information Security Plan(2021-037), Anhui Province Key Laboratory of Cyberspace Security Situation Awareness and Evaluation Open Project (CSSAE-2021-002)

    林宏剛, 朱竣菁, 陳麟. 小樣本下基于度量學(xué)習(xí)的僵尸網(wǎng)絡(luò)檢測(cè)方法[J]. 網(wǎng)絡(luò)與信息安全學(xué)報(bào), 2023, 9(5): 33-47.

    TP309.5

    A

    10.11959/j.issn.2096?109x.2023076

    林宏剛(1976?),男,四川資陽(yáng)人,成都信息工程大學(xué)教授,主要研究方向?yàn)槲锫?lián)網(wǎng)安全、網(wǎng)絡(luò)與系統(tǒng)安全。

    朱竣菁(1998?),女,四川達(dá)州人,成都信息工程大學(xué)碩士生,主要研究方向?yàn)榫W(wǎng)絡(luò)空間安全。

    陳麟(1973?),男,重慶忠縣人,網(wǎng)絡(luò)空間安全態(tài)勢(shì)感知與評(píng)估安徽省重點(diǎn)實(shí)驗(yàn)室教授,主要研究方向?yàn)榫W(wǎng)絡(luò)空間安全。

    2022?11?21;

    2023?04?28

    陳麟,linhg@cuit.edu.cn

    國(guó)家242信息安全計(jì)劃(2021-037);網(wǎng)絡(luò)空間安全態(tài)勢(shì)感知與評(píng)估安徽省重點(diǎn)實(shí)驗(yàn)室開(kāi)放課題(CSSAE-2021-002)

    LIN H G, ZHU J Q, CHEN L. Metric-based learning approach to botnet detection with small samples[J]. Chinese Journal of Network and Information Security, 2023, 9(5): 33-47.

    猜你喜歡
    實(shí)驗(yàn)檢測(cè)方法
    記一次有趣的實(shí)驗(yàn)
    “不等式”檢測(cè)題
    “一元一次不等式”檢測(cè)題
    “一元一次不等式組”檢測(cè)題
    做個(gè)怪怪長(zhǎng)實(shí)驗(yàn)
    可能是方法不對(duì)
    NO與NO2相互轉(zhuǎn)化實(shí)驗(yàn)的改進(jìn)
    實(shí)踐十號(hào)上的19項(xiàng)實(shí)驗(yàn)
    太空探索(2016年5期)2016-07-12 15:17:55
    小波變換在PCB缺陷檢測(cè)中的應(yīng)用
    用對(duì)方法才能瘦
    Coco薇(2016年2期)2016-03-22 02:42:52
    欧美性猛交╳xxx乱大交人| 国产黄色免费在线视频| 亚洲性久久影院| 九九爱精品视频在线观看| 久久久久国产精品人妻一区二区| 一级片'在线观看视频| 亚洲怡红院男人天堂| 亚洲欧美精品专区久久| 日本黄大片高清| kizo精华| 亚洲丝袜综合中文字幕| 99久久人妻综合| 性色av一级| 男插女下体视频免费在线播放| 国产国拍精品亚洲av在线观看| 久久久久久久久久人人人人人人| 精品人妻一区二区三区麻豆| 午夜爱爱视频在线播放| 我的老师免费观看完整版| 一个人看视频在线观看www免费| 嘟嘟电影网在线观看| 亚洲精品日本国产第一区| 狂野欧美激情性xxxx在线观看| 最新中文字幕久久久久| 国产永久视频网站| 网址你懂的国产日韩在线| 99re6热这里在线精品视频| 美女被艹到高潮喷水动态| 日本一本二区三区精品| 欧美成人午夜免费资源| 亚洲成人一二三区av| 在线免费观看不下载黄p国产| 毛片一级片免费看久久久久| 综合色丁香网| 一级a做视频免费观看| 久久鲁丝午夜福利片| 久久午夜福利片| 免费av不卡在线播放| 国产老妇伦熟女老妇高清| 精品人妻视频免费看| 亚洲av日韩在线播放| 特级一级黄色大片| 赤兔流量卡办理| 丝袜喷水一区| 中文在线观看免费www的网站| 狂野欧美激情性bbbbbb| 亚洲va在线va天堂va国产| 久久99热这里只频精品6学生| 中文精品一卡2卡3卡4更新| 日本wwww免费看| 国产精品成人在线| 日韩av在线免费看完整版不卡| 一个人看的www免费观看视频| 亚洲欧美成人精品一区二区| 国产日韩欧美亚洲二区| 狠狠精品人妻久久久久久综合| 99热6这里只有精品| 亚洲国产最新在线播放| 国产高清有码在线观看视频| a级毛片免费高清观看在线播放| 日韩大片免费观看网站| 亚洲精品日韩av片在线观看| 久久99蜜桃精品久久| 日日啪夜夜撸| 亚洲精品亚洲一区二区| 亚洲精品视频女| 边亲边吃奶的免费视频| 国产成人精品久久久久久| 看十八女毛片水多多多| 欧美激情久久久久久爽电影| 国产精品人妻久久久久久| 国产探花在线观看一区二区| 欧美一级a爱片免费观看看| 又爽又黄a免费视频| 干丝袜人妻中文字幕| 美女视频免费永久观看网站| 美女视频免费永久观看网站| 九九爱精品视频在线观看| 精品亚洲乱码少妇综合久久| 亚洲图色成人| 亚洲久久久久久中文字幕| 成人二区视频| 亚洲精品国产av蜜桃| 亚洲不卡免费看| 亚洲精品一区蜜桃| 别揉我奶头 嗯啊视频| videos熟女内射| 精品久久久噜噜| 联通29元200g的流量卡| 国产精品人妻久久久久久| 亚洲av中文av极速乱| 看十八女毛片水多多多| .国产精品久久| 欧美三级亚洲精品| 日本-黄色视频高清免费观看| 白带黄色成豆腐渣| 久久久久久久久久人人人人人人| 看十八女毛片水多多多| 五月开心婷婷网| 国产黄片美女视频| 国产精品一区二区在线观看99| 久久久久久久久久成人| 日韩,欧美,国产一区二区三区| 尾随美女入室| 国产探花极品一区二区| 伦理电影大哥的女人| av天堂中文字幕网| 你懂的网址亚洲精品在线观看| 麻豆成人午夜福利视频| 国产视频内射| 久久精品国产鲁丝片午夜精品| 狠狠精品人妻久久久久久综合| 丝瓜视频免费看黄片| 欧美一级a爱片免费观看看| 高清视频免费观看一区二区| 国产老妇女一区| 只有这里有精品99| 亚洲美女视频黄频| 日韩av免费高清视频| 久久综合国产亚洲精品| 婷婷色综合www| 免费看日本二区| 秋霞伦理黄片| 大香蕉久久网| 欧美亚洲 丝袜 人妻 在线| 搡女人真爽免费视频火全软件| 18禁裸乳无遮挡动漫免费视频 | 在线播放无遮挡| 黄片无遮挡物在线观看| 久久午夜福利片| 国产色婷婷99| 97人妻精品一区二区三区麻豆| 久久久久久久精品精品| 日本一本二区三区精品| 欧美日韩在线观看h| 少妇猛男粗大的猛烈进出视频 | 国产国拍精品亚洲av在线观看| 中文乱码字字幕精品一区二区三区| 成人一区二区视频在线观看| 久久精品久久久久久噜噜老黄| 欧美zozozo另类| 别揉我奶头 嗯啊视频| 亚洲欧美一区二区三区黑人 | 99久久精品热视频| 在线免费十八禁| 亚洲精品一二三| 免费观看a级毛片全部| 性插视频无遮挡在线免费观看| 久久精品国产a三级三级三级| 国产av码专区亚洲av| 一级a做视频免费观看| 成人鲁丝片一二三区免费| 国产精品.久久久| 亚洲自偷自拍三级| 欧美成人精品欧美一级黄| 国产有黄有色有爽视频| 激情 狠狠 欧美| 国产91av在线免费观看| 久久久亚洲精品成人影院| 免费大片18禁| 亚洲人成网站高清观看| 中文欧美无线码| 国模一区二区三区四区视频| 亚洲国产精品999| 一区二区av电影网| 国产 精品1| 日韩,欧美,国产一区二区三区| 久久99热这里只有精品18| 国内精品宾馆在线| 日韩国内少妇激情av| 国产成人91sexporn| 老司机影院成人| 熟女av电影| 亚洲美女视频黄频| 久久精品国产亚洲网站| 最近中文字幕2019免费版| 国产男女内射视频| 欧美成人午夜免费资源| 亚洲真实伦在线观看| 国产成人a∨麻豆精品| 成人一区二区视频在线观看| 欧美日韩精品成人综合77777| 国模一区二区三区四区视频| 国产成人一区二区在线| 2018国产大陆天天弄谢| 别揉我奶头 嗯啊视频| 精品人妻偷拍中文字幕| 大片免费播放器 马上看| 男人添女人高潮全过程视频| 国产伦精品一区二区三区视频9| 久久久久九九精品影院| 免费大片黄手机在线观看| 最近最新中文字幕免费大全7| 老司机影院成人| 内射极品少妇av片p| 成人国产av品久久久| 日韩中字成人| av女优亚洲男人天堂| 在线精品无人区一区二区三 | 男男h啪啪无遮挡| 黄色欧美视频在线观看| 最新中文字幕久久久久| 午夜爱爱视频在线播放| 一级毛片黄色毛片免费观看视频| 深爱激情五月婷婷| 欧美一级a爱片免费观看看| 街头女战士在线观看网站| 丰满少妇做爰视频| 日韩国内少妇激情av| 亚洲av福利一区| 国产一级毛片在线| 男女边摸边吃奶| 国产成人a∨麻豆精品| 国产欧美日韩精品一区二区| 精品久久久久久久久亚洲| 中文乱码字字幕精品一区二区三区| 亚洲无线观看免费| 久久久国产一区二区| 久久久久久久大尺度免费视频| 美女脱内裤让男人舔精品视频| 一边亲一边摸免费视频| 中文在线观看免费www的网站| 国产乱人视频| 亚洲国产精品成人综合色| 日韩视频在线欧美| 一级毛片 在线播放| 久久99热6这里只有精品| 熟女电影av网| av国产精品久久久久影院| 欧美潮喷喷水| 菩萨蛮人人尽说江南好唐韦庄| 亚洲欧美中文字幕日韩二区| 夫妻性生交免费视频一级片| 91在线精品国自产拍蜜月| 男女无遮挡免费网站观看| 精品久久久久久久久亚洲| 简卡轻食公司| 熟女电影av网| 亚洲av一区综合| 一级爰片在线观看| 国产精品av视频在线免费观看| 在线 av 中文字幕| 国产伦理片在线播放av一区| 黄色配什么色好看| 五月伊人婷婷丁香| 国产精品一二三区在线看| 亚洲电影在线观看av| 午夜免费鲁丝| 人人妻人人看人人澡| 少妇人妻久久综合中文| 99热这里只有精品一区| 91午夜精品亚洲一区二区三区| 国精品久久久久久国模美| 国产欧美日韩精品一区二区| 爱豆传媒免费全集在线观看| 97在线人人人人妻| 国产一区二区在线观看日韩| 亚洲成人一二三区av| 国产高潮美女av| 色播亚洲综合网| 精品久久久久久久人妻蜜臀av| 又大又黄又爽视频免费| 成年免费大片在线观看| 日韩av在线免费看完整版不卡| 亚洲高清免费不卡视频| 黄色配什么色好看| 嫩草影院精品99| 黄色欧美视频在线观看| 免费不卡的大黄色大毛片视频在线观看| 国产视频内射| 国内精品美女久久久久久| 性插视频无遮挡在线免费观看| 另类亚洲欧美激情| 精品久久国产蜜桃| 精品久久久噜噜| 国产伦精品一区二区三区视频9| 免费黄色在线免费观看| 欧美精品人与动牲交sv欧美| 麻豆成人午夜福利视频| 国产成人精品久久久久久| 欧美成人a在线观看| 18+在线观看网站| 国产亚洲91精品色在线| 观看免费一级毛片| 九九久久精品国产亚洲av麻豆| 在线免费观看不下载黄p国产| 老司机影院毛片| 国产黄片视频在线免费观看| 搞女人的毛片| 超碰av人人做人人爽久久| 成人一区二区视频在线观看| 大片电影免费在线观看免费| 男女那种视频在线观看| 国产精品久久久久久精品电影| 一级黄片播放器| 大话2 男鬼变身卡| 国产在视频线精品| 亚洲成人av在线免费| 观看美女的网站| 看黄色毛片网站| 啦啦啦在线观看免费高清www| 中文字幕免费在线视频6| 国产精品福利在线免费观看| 建设人人有责人人尽责人人享有的 | 晚上一个人看的免费电影| 亚洲精品日韩在线中文字幕| 国产精品久久久久久精品电影小说 | 全区人妻精品视频| 毛片一级片免费看久久久久| 国产黄片美女视频| 国产精品久久久久久av不卡| 人妻制服诱惑在线中文字幕| 啦啦啦中文免费视频观看日本| 免费人成在线观看视频色| 18禁裸乳无遮挡动漫免费视频 | 精品午夜福利在线看| 久久精品国产a三级三级三级| 国产亚洲5aaaaa淫片| 国产美女午夜福利| 亚洲精品aⅴ在线观看| 高清欧美精品videossex| .国产精品久久| 日日摸夜夜添夜夜爱| 一个人看视频在线观看www免费| 精品久久国产蜜桃| 日韩欧美一区视频在线观看 | 在线观看一区二区三区| 中文字幕免费在线视频6| 哪个播放器可以免费观看大片| 国产黄色视频一区二区在线观看| 免费观看av网站的网址| 亚洲高清免费不卡视频| 色网站视频免费| 天天躁日日操中文字幕| 黄色日韩在线| 大片免费播放器 马上看| 岛国毛片在线播放| 国产精品久久久久久av不卡| 国产男女超爽视频在线观看| 亚洲va在线va天堂va国产| av天堂中文字幕网| 卡戴珊不雅视频在线播放| 日韩电影二区| 五月伊人婷婷丁香| 久久久久久久久久久免费av| 看非洲黑人一级黄片| 久久久色成人| 免费人成在线观看视频色| 日本黄大片高清| 国产视频首页在线观看| 亚洲国产成人一精品久久久| 久久99精品国语久久久| 成年人午夜在线观看视频| 最近中文字幕2019免费版| 久久99热这里只频精品6学生| 熟妇人妻不卡中文字幕| 亚洲精品亚洲一区二区| 亚洲四区av| 看免费成人av毛片| 国产国拍精品亚洲av在线观看| 在线观看免费高清a一片| 中文字幕人妻熟人妻熟丝袜美| av天堂中文字幕网| 一级毛片电影观看| 亚洲不卡免费看| 好男人在线观看高清免费视频| 99热这里只有是精品在线观看| 亚洲丝袜综合中文字幕| 亚洲精品自拍成人| 嫩草影院新地址| 欧美3d第一页| 成人免费观看视频高清| 国产男女内射视频| 韩国高清视频一区二区三区| 亚洲经典国产精华液单| 午夜激情久久久久久久| 男人和女人高潮做爰伦理| 亚洲性久久影院| 日韩制服骚丝袜av| 国产 精品1| 精品酒店卫生间| 国产成人精品婷婷| 特大巨黑吊av在线直播| 成年女人看的毛片在线观看| 观看美女的网站| 国产探花在线观看一区二区| 久久久久精品久久久久真实原创| 欧美日韩国产mv在线观看视频 | 另类亚洲欧美激情| 久久久精品欧美日韩精品| 欧美老熟妇乱子伦牲交| 一级毛片久久久久久久久女| 免费大片黄手机在线观看| 亚洲国产精品成人综合色| 白带黄色成豆腐渣| 亚洲综合精品二区| 国产女主播在线喷水免费视频网站| 禁无遮挡网站| 国产爱豆传媒在线观看| 成年免费大片在线观看| 最新中文字幕久久久久| 观看免费一级毛片| 国产精品三级大全| 亚洲无线观看免费| 卡戴珊不雅视频在线播放| 免费av不卡在线播放| 超碰av人人做人人爽久久| 大又大粗又爽又黄少妇毛片口| 少妇猛男粗大的猛烈进出视频 | 精品人妻视频免费看| 精品人妻熟女av久视频| 全区人妻精品视频| 99久久中文字幕三级久久日本| 久久久色成人| 欧美最新免费一区二区三区| 黄色怎么调成土黄色| 99热这里只有是精品50| 精品人妻偷拍中文字幕| 国产男女内射视频| 欧美成人午夜免费资源| 免费看a级黄色片| 最近手机中文字幕大全| 联通29元200g的流量卡| 欧美精品人与动牲交sv欧美| 男插女下体视频免费在线播放| 看黄色毛片网站| 亚洲国产av新网站| 天堂俺去俺来也www色官网| 在线天堂最新版资源| a级毛片免费高清观看在线播放| 久久久久久久大尺度免费视频| 久久久午夜欧美精品| 色视频www国产| 欧美日韩精品成人综合77777| 在线亚洲精品国产二区图片欧美 | 亚洲在线观看片| 精品久久国产蜜桃| 欧美+日韩+精品| 91久久精品国产一区二区成人| 九草在线视频观看| 丰满少妇做爰视频| 精品人妻偷拍中文字幕| 嘟嘟电影网在线观看| 菩萨蛮人人尽说江南好唐韦庄| 97在线人人人人妻| 精品久久久久久久久av| 在线精品无人区一区二区三 | 狠狠精品人妻久久久久久综合| 免费播放大片免费观看视频在线观看| 直男gayav资源| 日韩三级伦理在线观看| 国产精品国产三级国产专区5o| 国内少妇人妻偷人精品xxx网站| 一级毛片 在线播放| 新久久久久国产一级毛片| 自拍欧美九色日韩亚洲蝌蚪91 | 99久久人妻综合| 国产精品人妻久久久影院| 精品久久久久久久人妻蜜臀av| 久久久精品94久久精品| www.av在线官网国产| 国语对白做爰xxxⅹ性视频网站| 插逼视频在线观看| 久久精品夜色国产| 日韩伦理黄色片| av在线老鸭窝| 丰满乱子伦码专区| 黄色配什么色好看| 亚洲四区av| 午夜福利在线在线| 亚洲美女搞黄在线观看| 亚洲内射少妇av| 欧美+日韩+精品| 欧美成人一区二区免费高清观看| 国内精品美女久久久久久| 亚洲精品成人av观看孕妇| 欧美bdsm另类| 青春草视频在线免费观看| 久久影院123| 网址你懂的国产日韩在线| 国产精品嫩草影院av在线观看| 精品人妻偷拍中文字幕| 亚洲av不卡在线观看| 久久久久久伊人网av| 日韩欧美一区视频在线观看 | 2018国产大陆天天弄谢| 亚洲性久久影院| 97热精品久久久久久| 国产永久视频网站| 欧美极品一区二区三区四区| 在线观看三级黄色| 欧美激情国产日韩精品一区| 最近手机中文字幕大全| av在线观看视频网站免费| 亚洲精品乱码久久久v下载方式| 18禁裸乳无遮挡动漫免费视频 | 一区二区三区四区激情视频| 欧美日韩一区二区视频在线观看视频在线 | 欧美高清性xxxxhd video| 亚洲av福利一区| 高清视频免费观看一区二区| 最近手机中文字幕大全| 亚洲精品,欧美精品| 亚洲国产精品国产精品| 91久久精品国产一区二区三区| 欧美人与善性xxx| 国语对白做爰xxxⅹ性视频网站| 午夜福利网站1000一区二区三区| 国产精品一二三区在线看| www.色视频.com| 小蜜桃在线观看免费完整版高清| 最近中文字幕高清免费大全6| 国产高清不卡午夜福利| 少妇人妻精品综合一区二区| 亚洲国产av新网站| 国产又色又爽无遮挡免| 一个人观看的视频www高清免费观看| 肉色欧美久久久久久久蜜桃 | 国产精品福利在线免费观看| 久久精品国产鲁丝片午夜精品| 七月丁香在线播放| 中国美白少妇内射xxxbb| 最后的刺客免费高清国语| 日日啪夜夜撸| 中文字幕人妻熟人妻熟丝袜美| 亚洲内射少妇av| 岛国毛片在线播放| 国产 精品1| 国内揄拍国产精品人妻在线| 国产成人a区在线观看| 亚洲av电影在线观看一区二区三区 | 亚洲精品色激情综合| 国产成人午夜福利电影在线观看| 亚洲国产精品成人综合色| 午夜福利网站1000一区二区三区| 免费看av在线观看网站| 97超视频在线观看视频| 国产精品99久久久久久久久| 亚洲四区av| av国产免费在线观看| 国产探花在线观看一区二区| 91久久精品国产一区二区成人| 大话2 男鬼变身卡| 女的被弄到高潮叫床怎么办| 欧美精品国产亚洲| 岛国毛片在线播放| 国产成人aa在线观看| 少妇被粗大猛烈的视频| 亚洲av中文字字幕乱码综合| 精品久久久久久久末码| 婷婷色麻豆天堂久久| 亚洲精品一区蜜桃| 欧美性猛交╳xxx乱大交人| 一级毛片黄色毛片免费观看视频| 日韩一区二区三区影片| 亚洲一级一片aⅴ在线观看| 欧美激情国产日韩精品一区| 久久久久网色| 日韩不卡一区二区三区视频在线| 国产淫语在线视频| 欧美激情在线99| 国产乱人视频| 亚洲天堂国产精品一区在线| 久久人人爽av亚洲精品天堂 | 国产精品人妻久久久影院| 国产成人freesex在线| 成年人午夜在线观看视频| 视频区图区小说| 久久久精品免费免费高清| 午夜亚洲福利在线播放| av.在线天堂| 一级av片app| 各种免费的搞黄视频| 尾随美女入室| av卡一久久| 国内精品美女久久久久久| 啦啦啦啦在线视频资源| 日韩大片免费观看网站| 波多野结衣巨乳人妻| 精品少妇久久久久久888优播| 夫妻性生交免费视频一级片| 久久精品国产亚洲网站| 国内揄拍国产精品人妻在线| 国产探花在线观看一区二区| 一二三四中文在线观看免费高清| 麻豆久久精品国产亚洲av| 如何舔出高潮| 久久人人爽人人爽人人片va| 十八禁网站网址无遮挡 | 只有这里有精品99| 精品亚洲乱码少妇综合久久| 国产黄a三级三级三级人| 久久久久久久久久久免费av| 麻豆成人午夜福利视频| 五月伊人婷婷丁香| 夜夜爽夜夜爽视频| 在线观看美女被高潮喷水网站| 国产毛片a区久久久久| 中文乱码字字幕精品一区二区三区| 国产成人精品一,二区| 国产黄片视频在线免费观看| 91午夜精品亚洲一区二区三区| 一级av片app| 欧美精品国产亚洲| 国产欧美亚洲国产| 99久久精品国产国产毛片| 亚洲欧美精品专区久久| tube8黄色片| 听说在线观看完整版免费高清| 欧美激情久久久久久爽电影| 国产精品久久久久久精品电影小说 | 伦精品一区二区三区| 2021少妇久久久久久久久久久| 免费高清在线观看视频在线观看| 18禁动态无遮挡网站|