• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于Venn-Abers預(yù)測器的系統(tǒng)日志異常檢測方法

    2023-11-02 12:37:16顧兆軍潘蘭蘭劉春波
    關(guān)鍵詞:預(yù)測器日志標(biāo)簽

    顧兆軍 潘蘭蘭,2 劉春波 王 志

    1(中國民航大學(xué)信息安全測評(píng)中心 天津 300300)

    2(中國民航大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 天津 300300)

    3(南開大學(xué)網(wǎng)絡(luò)空間安全學(xué)院 天津 300350)

    0 引 言

    系統(tǒng)異常檢測是一個(gè)計(jì)算機(jī)系統(tǒng)穩(wěn)定運(yùn)行的必要條件?,F(xiàn)代計(jì)算系統(tǒng)正面臨著由大型服務(wù)器集群支持的爆炸式增長,云計(jì)算、分布式計(jì)算平臺(tái)的出現(xiàn)使大型數(shù)據(jù)中心的部署成為一種趨勢(shì)。這些系統(tǒng)的規(guī)模和復(fù)雜性不斷增加,遭受錯(cuò)誤和故障的概率就會(huì)越來越大,使異常檢測變得更具有挑戰(zhàn)性。系統(tǒng)日志詳細(xì)記錄系統(tǒng)運(yùn)行期間的系統(tǒng)狀態(tài)和重要事件,幾乎所有的計(jì)算機(jī)系統(tǒng)中都有相應(yīng)的日志系統(tǒng)。

    利用系統(tǒng)日志數(shù)據(jù)進(jìn)行異常檢測的方法大致分為以下幾類:(1) 基于數(shù)據(jù)分布的統(tǒng)計(jì)學(xué)異常檢測模型[1],根據(jù)總體數(shù)據(jù)分布識(shí)別突出或不符合分布的數(shù)據(jù)為異常點(diǎn),但是該方法只適用于點(diǎn)異常的檢測;(2) 最近鄰方法[2]和基于聚類的異常檢測方法[3],假設(shè)正常數(shù)據(jù)位于密集的區(qū)域,異常則遠(yuǎn)離該區(qū)域,這兩種方法對(duì)于數(shù)據(jù)分布稀疏和密集區(qū)域具有未知分布的數(shù)據(jù)集不可用;(3) 基于長短期記憶網(wǎng)絡(luò)的深度神經(jīng)網(wǎng)絡(luò)模型Deeplog[4],將系統(tǒng)日志建模為自然語言序列,可以通過日志模式檢測是否偏離正常行為從而檢測異常;(4) 基于深度學(xué)習(xí)[5-6]的異常檢測方法。這些算法只能給出一個(gè)預(yù)測(對(duì)于分類,它是預(yù)測標(biāo)簽;對(duì)于回歸,它是預(yù)測值),并未對(duì)預(yù)測結(jié)果進(jìn)行可靠性評(píng)估,即對(duì)預(yù)測結(jié)果的可信程度的評(píng)估以及對(duì)該評(píng)估有效性的保障。目前較為流行的概率預(yù)測的算法有一致性預(yù)測器和Venn-Abers預(yù)測器,一致性預(yù)測器在置信度下給出p值作為預(yù)測可靠性的估計(jì)[7],但這不是直接概率。本文將引入一種將常規(guī)預(yù)測器的結(jié)果轉(zhuǎn)換為概率的算法,給出預(yù)測結(jié)果的概率估計(jì)值,使結(jié)果更加直觀。

    引入統(tǒng)計(jì)學(xué)習(xí)算法Venn-Abers預(yù)測器是具有有效性保證的,該方法可以對(duì)日志異常檢測結(jié)果進(jìn)行可靠性評(píng)估,也就是對(duì)預(yù)測結(jié)果的正確性進(jìn)行有效的概率預(yù)測。它是基于概率對(duì)數(shù)據(jù)進(jìn)行分類的機(jī)器學(xué)習(xí)框架,任何機(jī)器學(xué)習(xí)算法都可以作為它的底層算法。Venn-Abers預(yù)測器唯一需要的假設(shè)條件是數(shù)據(jù)服從可交換性假設(shè)[8],可以通過日志數(shù)據(jù)輕松滿足,并且不需要日志數(shù)據(jù)服從特定分布,就可以保證預(yù)測概率的有效性。研究表明,Venn-Abers預(yù)測器在很多領(lǐng)域可以取得有效的概率預(yù)測結(jié)果[9-11]。將Venn-Abers預(yù)測器引入日志異常檢測領(lǐng)域中可以有效地檢測系統(tǒng)日志異常。

    本文采用真實(shí)系統(tǒng)的HDFS日志數(shù)據(jù)集評(píng)估本文方法,Venn-Abers預(yù)測器已被證明可以完美校準(zhǔn)[12],根據(jù)三種基礎(chǔ)算法分別開發(fā)三種Venn-Abers預(yù)測器[13]用來檢測系統(tǒng)日志異常。從系統(tǒng)日志異常預(yù)測結(jié)果的有效性和準(zhǔn)確性兩個(gè)方面比較基礎(chǔ)算法和Venn-Abers預(yù)測器的性能。同時(shí)提出對(duì)Venn-Abers預(yù)測器處理數(shù)據(jù)的計(jì)算方法,并減少計(jì)算多概率預(yù)測值的時(shí)間。實(shí)驗(yàn)結(jié)果表明,引入Venn-Abers預(yù)測器進(jìn)行系統(tǒng)日志異常檢測正確性的評(píng)估是有效和準(zhǔn)確的。

    1 基于Venn-Abers 預(yù)測器的日志異常檢測模型

    圖1給出了基于日志異常檢測的總體框架。日志異常檢測框架總體包含兩個(gè)部分:日志預(yù)處理和日志異常檢測。日志預(yù)處理包括收集日志信息、日志解析和日志的特征化提取三部分。在日志異常檢測過程中,選擇三種基礎(chǔ)算法LR、SVM和RF,基于基礎(chǔ)算法預(yù)測得分構(gòu)建對(duì)應(yīng)的Venn-Abers預(yù)測器,Venn-Abers預(yù)測器得到的是測試對(duì)象對(duì)應(yīng)標(biāo)簽為1的多概率區(qū)間。為了和基于靜態(tài)閾值的方法進(jìn)行比較,將多概率區(qū)間擬合為單個(gè)概率值,通過概率值和標(biāo)簽的分布關(guān)系確定動(dòng)態(tài)閾值并實(shí)現(xiàn)最終的分類預(yù)測。

    圖1 基于日志異常檢測的總體框架

    1.1 日志預(yù)處理

    系統(tǒng)日志異常檢測的第一個(gè)階段是日志預(yù)處理,包括收集日志信息、日志解析和日志的特征化提取三部分?,F(xiàn)代大型系統(tǒng)通過生成日志來記錄系統(tǒng)運(yùn)行時(shí)信息,每條日志都包含時(shí)間戳、日志優(yōu)先級(jí)、系統(tǒng)組件和日志條目本身等信息的非結(jié)構(gòu)化數(shù)據(jù)。通常,日志消息使用一組字段記錄特定的系統(tǒng)事件,圖1中Logs部分展示了從Amazon EC2平臺(tái)上收集的HDFS日志中提取的1個(gè)日志行[14],為了便于呈現(xiàn),省略了部分字段。

    日志解析的目標(biāo)在于提取一組日志事件模板Event,即從日志數(shù)據(jù)內(nèi)容中區(qū)分出常量部分(固定的純文本)和變量部分(例如圖1中的blk_id)[15]。日志事件模板Event主要包括常量部分和通配符,其中常量部分是指構(gòu)成固定的純文本,它對(duì)于每個(gè)事件發(fā)生都保持不變,并且可以顯示日志消息的事件類型;通配符是指攜帶運(yùn)行時(shí)信息的狀態(tài)和參數(shù)的值(例如,IP地址和端口:10.251.31.5:50010),它們?cè)诓煌录l(fā)生之間可能有所不同,使用一個(gè)形如<*>的字符串替代。本文為每個(gè)不同的日志事件模板編號(hào)為Event_id,每個(gè)日志事件模板對(duì)應(yīng)一個(gè)標(biāo)識(shí)符block_id,如圖1中的Parsing部分。

    上一步解析的結(jié)果可以用于生成事件計(jì)數(shù)矩陣X,事件計(jì)數(shù)矩陣將被送到日志異常檢測模型中。在事件計(jì)數(shù)矩陣中,將具有相同block的事件模板放在一行,即每一行代表一個(gè)塊block,將每一行的事件模板統(tǒng)計(jì)出次數(shù),即每一列代表一種事件類型。Xi,j單元格中的值記錄事件j在塊i上發(fā)生的次數(shù)。為了避免直接在矩陣X上檢測異常,引入TF-IDF[16]為該矩陣進(jìn)行預(yù)處理。TF-IDF是信息檢索中一種公認(rèn)的啟發(fā)式方法,它通常用作信息檢索和文本挖掘中文檔的特征表示。

    1.2 日志異常檢測

    1.2.1基于Venn-Abers預(yù)測器的日志異常檢測

    本節(jié)將介紹基于Venn-Abers預(yù)測器來評(píng)估基礎(chǔ)算法對(duì)日志異常檢測結(jié)果預(yù)測正確的可能性。Venn-Abers預(yù)測器是一種將預(yù)測結(jié)果轉(zhuǎn)換為概率的算法[8],通過應(yīng)用保序回歸將其他分類器的輸出轉(zhuǎn)換為概率。假設(shè)本文得到了一個(gè)標(biāo)準(zhǔn)的二分類問題:一組訓(xùn)練示例(z1,z2,…,zn-1)。每個(gè)zi由一對(duì)對(duì)象xi和標(biāo)簽yi組成,可能的標(biāo)簽有兩種,即y∈Y={0,1}。給出一個(gè)新的對(duì)象xn,任務(wù)是預(yù)測新對(duì)象xn的標(biāo)簽yn,并對(duì)預(yù)測正確的可能性進(jìn)行估計(jì)。

    為了構(gòu)造Venn-Abers預(yù)測器,首先用觀察的訓(xùn)練集訓(xùn)練分類器并使用分類器為新對(duì)象xn輸出預(yù)測分?jǐn)?shù)s(xn),在帶有標(biāo)簽0和1的二分類問題中,通過將預(yù)測分?jǐn)?shù)與固定閾值c進(jìn)行比較,并在s(xn)>c時(shí)將xn的標(biāo)簽預(yù)測為1,從而獲得實(shí)際的預(yù)測類別,因此s(·)在此稱為評(píng)分函數(shù)。許多用于分類的機(jī)器學(xué)習(xí)算法都可作為分類器的評(píng)分函數(shù),在本文中,采用SVM和LR的決策函數(shù)(Decision function)作為評(píng)分函數(shù),RF采用類概率預(yù)測函數(shù)作為評(píng)分函數(shù)。Venn-Abers預(yù)測器將遞增函數(shù)f(·)應(yīng)用于s(x);試圖“校準(zhǔn)”分?jǐn)?shù)[17],以便將f(s(x))用作x的標(biāo)簽為1的預(yù)測概率。

    本文使用“成對(duì)相鄰違反者算法”找到的單調(diào)非遞減的保序回歸函數(shù)f(·),給定得分分類器對(duì)應(yīng)的Venn-Abers預(yù)測器是定義如下的多概率預(yù)測變量。嘗試將兩個(gè)不同的標(biāo)簽0和1用于測試對(duì)象xn。令s0為 (z1,z2,…,zn-1,(xn,0))的評(píng)分函數(shù),s1為(z1,z2,…,zn-1,(xn,1))的評(píng)分函數(shù)。

    f0對(duì)應(yīng)的保序回歸為:

    ((s0(x1),y1),(s0(x2),y2),…,(s0(xn-1),yn-1),

    (s0(xn),0))

    (1)

    f1對(duì)應(yīng)的保序回歸為:

    ((s1(x1),y1),(s1(x2),y2),…,(s1(xn-1),yn-1),

    (s1(xn),1))

    (2)

    這樣Venn-Abers預(yù)測器輸出的多概率預(yù)測為(p0,p1),其中p0=f0(s0(x))和p1=f1(s1(x))。

    1.2.2Venn-Abers預(yù)測器運(yùn)行效率優(yōu)化方法

    Venn預(yù)測器會(huì)為每個(gè)測試對(duì)象嘗試所有可能的標(biāo)簽,需要針對(duì)每個(gè)測試對(duì)象的可能標(biāo)簽訓(xùn)練一個(gè)基礎(chǔ)算法模型,由于計(jì)算效率低下,故只適用于小數(shù)據(jù)集。隨后提出Venn-Abers預(yù)測器,對(duì)每個(gè)測試對(duì)象的所有可能標(biāo)簽只需要訓(xùn)練一個(gè)模型,也就是本文采用的方法可以對(duì)日志異常檢測結(jié)果進(jìn)行有效性的預(yù)測。但是在實(shí)驗(yàn)過程中,發(fā)現(xiàn)由訓(xùn)練集標(biāo)簽和訓(xùn)練集對(duì)象得到的保序回歸序列分布過于密集,不符合預(yù)期。

    分析原因發(fā)現(xiàn)采用HDFS日志數(shù)據(jù)提取出29個(gè)事件模板從而形成29維的特征向量,但由于HDFS記錄的日志行為單一[18]使不同特征向量之間的差異較小,特征向量高度相似或重復(fù)。這種情況下,模型得分也會(huì)大量重復(fù)或相似,因此設(shè)計(jì)了如下算法。

    步驟1得到特征向量的得分s(xi)。

    步驟2將得分s(xi)和對(duì)應(yīng)的標(biāo)簽yi打包成具有兩個(gè)元素的元組(s(xi),yi)。

    步驟3并對(duì)元組(s(xi),yi)進(jìn)行升序處理。

    步驟4對(duì)于重復(fù)的得分,將其標(biāo)簽yi累積求和并取平均值作為該得分新的標(biāo)簽Newy。

    這樣有益于保序回歸序列f0和f1的離散化分布同時(shí)降低后續(xù)實(shí)驗(yàn)測試對(duì)象多概率p0和p1的計(jì)算時(shí)間并提高計(jì)算效率。

    2 評(píng)估方法

    本文將使用標(biāo)準(zhǔn)損失函數(shù)將Venn-Abers預(yù)測器與已知的概率預(yù)測器進(jìn)行比較。由于Venn-Abers預(yù)測器輸出的是概率對(duì)(p0,p1)而不是點(diǎn)概率,因此需要將它們擬合到標(biāo)準(zhǔn)框架中,以便從p0和p1中提取一個(gè)概率p。

    2.1 算法有效性評(píng)估指標(biāo)

    概率預(yù)測可以提供對(duì)預(yù)測的可靠性估計(jì),同時(shí)估計(jì)的概率是有效的。有效性意味著對(duì)預(yù)測標(biāo)簽的估計(jì)概率是無偏的,這意味著該估計(jì)概率等于或接近預(yù)測正確的觀察頻率。本文使用平方損失函數(shù)來檢驗(yàn)概率預(yù)測的有效性。

    假設(shè)p是測試對(duì)象x預(yù)測標(biāo)簽的概率值,如果該對(duì)象對(duì)應(yīng)的標(biāo)簽預(yù)測是正確的,y=1,反之y=0。該預(yù)測的平方損失函數(shù)為:

    λsq(p,y)=(y-p)2

    (3)

    該損失函數(shù)的特點(diǎn)是:當(dāng)預(yù)測正確時(shí),預(yù)測的概率值越大,則損失函數(shù)越小;預(yù)測錯(cuò)誤時(shí),預(yù)測的概率值越小,則損失函數(shù)越大。

    使用平方損失函數(shù)時(shí),Venn-Abers預(yù)測輸出一個(gè)概率區(qū)間[p0,p1],現(xiàn)階段的任務(wù)是找到最優(yōu)的概率值p[19]。如果預(yù)測錯(cuò)誤,y=0,則使用p0作為預(yù)測概率值可以使損失函數(shù)達(dá)到最小。因此,由于本文使用p而沒有使用p0造成損失p2-p02;同理如果預(yù)測正確,y=1則由于使用p而沒有使用p1造成損失(1-p)2- (1-p1)2。p2-p02在p=[0,1]嚴(yán)格增函數(shù),(1-p)2-(1-p1)2在p=[0,1]區(qū)間是嚴(yán)格減函數(shù)(1-p)2-(1-p1)2。因此,當(dāng)p滿足如下方程時(shí)平方損失函數(shù)取得最小值:

    (4)

    因而,得到:

    (5)

    在計(jì)算Venn-Abers的預(yù)測結(jié)果的損失函數(shù)時(shí),將式(5)分別代入λsq中計(jì)算損失函數(shù),損失函數(shù)越小,預(yù)測的有效性越高。因此,基于損失函數(shù)的概率預(yù)測或多概率預(yù)測的有效性的指標(biāo)定義為,對(duì)N個(gè)測試樣本的概率預(yù)測結(jié)果中,平均的損失函數(shù)值:

    (6)

    2.2 算法評(píng)估指標(biāo)

    實(shí)驗(yàn)中使用精確率(Precision)、召回率(Recall)、F1值(F1-measure)和準(zhǔn)確率(Accuracy)作為每次預(yù)測結(jié)果的評(píng)價(jià)指標(biāo)。假設(shè)0代表正常,1代表異常,則統(tǒng)計(jì)模型分類結(jié)果得到:

    1)TP:預(yù)測結(jié)果為異常,實(shí)際也是異常的個(gè)數(shù)。

    2)FP:預(yù)測結(jié)果為異常,實(shí)際是正常的個(gè)數(shù)。

    3)TN:預(yù)測結(jié)果為正常,實(shí)際也是正常的個(gè)數(shù)。

    4)FN:預(yù)測結(jié)果為正常,實(shí)際是異常的個(gè)數(shù)。

    精確率公式為式(7),它表示模型預(yù)測到的異常中真異常的比例,同時(shí)可以衡量模型降低誤報(bào)率的能力。

    (7)

    召回率公式見式(8),它表示模型預(yù)測到的異常占數(shù)據(jù)集中總異常的百分比,同時(shí)可以描述模型識(shí)別正例覆蓋范圍的大小。

    (8)

    準(zhǔn)確率公式為式(9),它表示模型判斷正常的日志和異常日志占總?cè)罩镜陌俜直取?/p>

    (9)

    F1值公式為式(10),它指精確率和召回率的調(diào)和平均數(shù),用于綜合衡量模型的精確率和召回率。

    (10)

    3 實(shí)驗(yàn)與結(jié)果分析

    實(shí)驗(yàn)環(huán)境為: Intel?CoreTM i5-4200U CPU @ 1.60 GHz,8 GB RAM和Windows操作系統(tǒng)。數(shù)據(jù)集[16]來自亞馬遜在EC2節(jié)點(diǎn)上部署的Hadoop集群,運(yùn)行樣本Hadoop map-reduce作業(yè)近39個(gè)小時(shí),生成的HDFS日志數(shù)據(jù)是由相應(yīng)領(lǐng)域?qū)<沂謩?dòng)標(biāo)記的。HDFS 數(shù)據(jù)集中每個(gè)標(biāo)簽標(biāo)注的是一個(gè)會(huì)話是否正常。一個(gè)會(huì)話是一個(gè)塊ID相關(guān)的若干條日志,可以認(rèn)為是系統(tǒng)對(duì)一個(gè)塊執(zhí)行的一系列操作。一個(gè)會(huì)話中只要出現(xiàn)一個(gè)異常事件就認(rèn)為該會(huì)話是異常的。具體來說,有11 175 629條原始數(shù)據(jù)記錄,形成575 061個(gè)操作會(huì)話,在575 061個(gè)會(huì)話中,16 838個(gè)被標(biāo)記為異常,在實(shí)驗(yàn)過程中將其作為基本事實(shí)。

    該數(shù)據(jù)集僅包含添加、移動(dòng)和刪除等事件的日志及其異常情況。HDFS是以一系列的文件塊為存儲(chǔ)單位的,每個(gè)文件塊都有獨(dú)自的ID[20]。實(shí)驗(yàn)過程按照8∶2劃分測試集和訓(xùn)練集。首先將原始數(shù)據(jù)處理為事件模板,共29種不同的事件模板。具有相同塊ID的事件模板組合在一起并形成一個(gè)向量。每個(gè)向量的維度對(duì)應(yīng)著不同的事件模板,維度的值表示該模板的事件出現(xiàn)的次數(shù),因此事件計(jì)數(shù)矩陣具有575 062×29的維度。但是真正實(shí)驗(yàn)過程中卻發(fā)現(xiàn)許多向量是完全相同的。事實(shí)上,只有580個(gè)不同的向量,即大多數(shù)文件塊都經(jīng)歷共同的執(zhí)行動(dòng)作。圖2和圖3展示了用Venn-Abers繪制出全部向量和根據(jù)1.2.2節(jié)改進(jìn)后的向量對(duì)應(yīng)的f0和f1。在全部向量的圖2中,因?yàn)榇嬖诖罅恐貜?fù)的向量,使f值的離散程度很差,而改進(jìn)后的圖3中,f0和f1值的分布是明顯的。所以在以下實(shí)驗(yàn)結(jié)果中采用580個(gè)特征向量的數(shù)據(jù)集。

    圖2 全部向量作圖結(jié)果

    3.1 算法有效性比較

    采用損失函數(shù)對(duì)算法有效性進(jìn)行比較。平均損失函數(shù)值是在所有情況下真實(shí)類別與預(yù)測結(jié)果概率之間的差異的平均平方和。真實(shí)類別必須為正常(0)或者異常(1),而預(yù)測結(jié)果概率可以是0到1之間的值。對(duì)于一組預(yù)測值,平均損失函數(shù)值越低,預(yù)測校準(zhǔn)越好。將數(shù)據(jù)按照特征向量的不同分為大小不同的四份數(shù)據(jù)集,用于損失值的測試,具體運(yùn)行結(jié)果見表1?;赟VM開發(fā)的Venn-Abers預(yù)測器簡稱為SVM-VA、基于LR開發(fā)的Venn-Abers預(yù)測器簡稱為LR-VA和基于RF開發(fā)的Venn-Abers預(yù)測器簡稱為RF-VA。得到的損失值都產(chǎn)生了不同程度的下降,表明了Venn-Abers預(yù)測器具有改善分類性能的能力。

    表1 不同大小數(shù)據(jù)集下LR-VA、SVM-VA、RF-VA、LR、SVM和RF算法的平均損失函數(shù)值結(jié)果對(duì)比

    箱型圖主要用于顯示數(shù)據(jù)統(tǒng)計(jì)分布,圖像生成方式是通過排序,提取一組數(shù)據(jù)的上邊緣、下邊緣、中位數(shù)和兩個(gè)四分位數(shù),連接兩個(gè)四分位數(shù)形成箱體,再連接中位數(shù)和上下邊緣。圖4為LR、SVM、RF、LR-VA、SVM-VA、RF-VA在全部數(shù)據(jù)集下?lián)p失值的箱型圖。從損失值的中位數(shù)可以看出,LR-VA模型相對(duì)于LR模型降低了3.6%, SVM-VA模型相對(duì)于SVM模型降低了6%, RF-VA模型相對(duì)于RF模型降低了4%。從整體分布來看,LR-VA、LR、SVM-VA、SVM、RF-VA和RF的四分位差分別為0.085、0.088、0.035、0.06、0.04和0.12,可以很容易看出RF-VA和SVM-VA模型主要分布在較低的區(qū)域并且跨度很小。綜合評(píng)價(jià)具有最低的損失值的模型是RF-VA和SVM-VA模型;其次是LR-VA模型;表現(xiàn)最差的是RF模型,損失值數(shù)據(jù)比較發(fā)散。Venn-Abers預(yù)測器的有效性評(píng)估標(biāo)準(zhǔn)均小于相應(yīng)的基礎(chǔ)方法的評(píng)估標(biāo)準(zhǔn),這表明Venn-Abers預(yù)測器進(jìn)行的概率預(yù)測比相應(yīng)的基礎(chǔ)預(yù)測方法更有效。

    圖4 數(shù)據(jù)集的平均損失函數(shù)值結(jié)果箱型圖

    3.2 算法性能比較

    在第2節(jié)將Venn-Abers預(yù)測器輸出的概率對(duì)(p0,p1)擬合為一個(gè)概率值p,從而和基于靜態(tài)閾值的基礎(chǔ)算法方法進(jìn)行比較。由于概率值p代表預(yù)測標(biāo)簽為0的概率,p值越大則預(yù)測標(biāo)簽為0的可能性越高,p值越小則預(yù)測標(biāo)簽為0的可能性越低,即標(biāo)簽為1的可能性越高。在本文的日志異常檢測過程中,標(biāo)簽為0代表預(yù)測日志是正常的,標(biāo)簽為1代表預(yù)測日志是異常的。本文展示出預(yù)測標(biāo)簽(0和1)和概率值p之間的分布散點(diǎn)圖,若Venn-Abers預(yù)測器得到的p值結(jié)果在[0, 1]區(qū)間呈現(xiàn)兩極分化,說明Venn-Abers預(yù)測器的質(zhì)量很好,如圖5(d)、圖6(d)和圖7(d)所示。但是在實(shí)驗(yàn)過程中發(fā)現(xiàn)p值的分布并不僅僅局限于0和1的附近,存在處于中間的p值。那么根據(jù)p值在[0, 1]區(qū)間的分布情況對(duì)測試對(duì)象的標(biāo)簽進(jìn)行再次預(yù)測。具體可以通過設(shè)置閾值c,來對(duì)2.1節(jié)的準(zhǔn)確性評(píng)價(jià)指標(biāo)進(jìn)行一定程度的控制,若p>c則說明該測試對(duì)象對(duì)應(yīng)的標(biāo)簽為異常。在實(shí)驗(yàn)過程中,通過調(diào)整閾值c的大小[21],以使預(yù)測準(zhǔn)確性盡可能接近1。

    圖5 不同閾值下LR模型預(yù)測概率值p和標(biāo)簽分布關(guān)系

    圖7 不同閾值下RF模型預(yù)測概率值p和標(biāo)簽分布關(guān)系

    在圖5(a)LR模型中,會(huì)發(fā)現(xiàn)p處于[0.6, 0.8]之間比較密集,這部分p值對(duì)應(yīng)什么樣的標(biāo)簽對(duì)實(shí)驗(yàn)結(jié)果有很大的影響。故設(shè)置三個(gè)閾值c取值分別為0.6、0.72和0.8來檢測密集區(qū)間內(nèi)的日志異常的變化情況,p值和測試標(biāo)簽的分布情況如圖5所示。當(dāng)c取0.6時(shí)對(duì)應(yīng)圖5(b),此時(shí)處于[0.6, 0.8]區(qū)間內(nèi)的p值對(duì)應(yīng)的標(biāo)簽均為異常。當(dāng)c取0.8時(shí)對(duì)應(yīng)圖5(c),此時(shí)處于[0.6, 0.8]區(qū)間內(nèi)的p值對(duì)應(yīng)的標(biāo)簽均為正常。

    取中間值0.72時(shí),使[0.6, 0.8]區(qū)間內(nèi)對(duì)應(yīng)的p值對(duì)應(yīng)的標(biāo)簽既有正常又有異常,如圖5(a)所示。這樣可以通過評(píng)價(jià)指標(biāo)得出使異常檢測結(jié)果更加準(zhǔn)確的閾值。通過這種方式可以把概率值轉(zhuǎn)化為預(yù)測結(jié)果,進(jìn)而得到三組基于Venn-Abers的實(shí)驗(yàn)結(jié)果,簡稱VA_0.6、VA_0.72和VA_0.8,與基于靜態(tài)閾值的基礎(chǔ)算法通過柱狀圖進(jìn)行實(shí)驗(yàn)對(duì)比。實(shí)驗(yàn)結(jié)果顯示與基于靜態(tài)閾值分類的方式相比,基于Venn-Abers的分類方式不僅能夠成功檢測異常,而且其Accuracy、Recall、Precision和F1值均有不同程度的提高。圖8為LR和Venn-Abers實(shí)驗(yàn)結(jié)果對(duì)比柱狀圖,當(dāng)c=0.72時(shí),通過Venn-Abers分類器得到的實(shí)驗(yàn)結(jié)果最好,其中Accuracy和Recall提高了0.02和0.03,Precision和F1值提高0.01。在c=0.8和0.6時(shí)其結(jié)果不如基于靜態(tài)閾值的基礎(chǔ)算法,因?yàn)榇藭r(shí)Venn-Abers分類器得到的實(shí)驗(yàn)結(jié)果出現(xiàn)較多的FP和FN。

    圖6中顯示了在SVM算法中當(dāng)閾值c=0.6、0.72和0.8時(shí),p值和標(biāo)簽的分布情況。圖9為基于靜態(tài)閾值的基礎(chǔ)算法SVM和基于Venn-Abers預(yù)測器的實(shí)驗(yàn)結(jié)果,可以看出c=0.72時(shí)基于Venn-Abers預(yù)測器的Accuracy和F1值提高了近0.07,Recall提高了0.13,誤報(bào)率從0.12降低到0.03;c=0.8時(shí),由于FP數(shù)量增多導(dǎo)致Accuracy、Precision和F1值降低;c=0.6時(shí),FP數(shù)量減少但是效果沒有c=0.72好。補(bǔ)充在RF算法中的情況,在圖7中展示了RF算法中當(dāng)閾值c=0.6、0.72和0.8時(shí),p值和標(biāo)簽的分布情況。會(huì)發(fā)現(xiàn)RF算法中p值和標(biāo)簽的分布會(huì)更加趨于兩極,中間的離散點(diǎn)相對(duì)較少,說明RF算法相對(duì)適合這種日志異常檢測問題的分類。從圖10可以看出基礎(chǔ)算法RF的實(shí)驗(yàn)結(jié)果是三種算法中最好的,當(dāng)c=0.72時(shí),Accuracy和Recall提高了0.03和0.05, F1值提高0.02,但是Precision降低0.02。從圖10可以看出,基于Venn-Abers算法的Precision均低于基礎(chǔ)算法RF,說明基礎(chǔ)算法RF對(duì)日志異常中的漏報(bào)檢測效果很好。實(shí)驗(yàn)結(jié)果表明,與三種基于靜態(tài)閾值的基礎(chǔ)算法相比,開發(fā)的三種Venn-Abers預(yù)測器的方法會(huì)動(dòng)態(tài)改變c值以適應(yīng)數(shù)據(jù)的變化,大多數(shù)情況下能作出更好的判斷。

    圖9 SVM和Venn-Abers實(shí)驗(yàn)結(jié)果柱狀圖

    圖10 RF和Venn-Abers實(shí)驗(yàn)結(jié)果柱狀圖

    對(duì)于概率值p在[0, 1]區(qū)間的分布進(jìn)行分析,如果概率值p分布在[0, 1]區(qū)間的兩極,那么檢測效果會(huì)是最好的。分析LR模型中概率值p的分布會(huì)發(fā)現(xiàn)p=0.487 805出現(xiàn)91次,p=0.689 441出現(xiàn)3 190次,p=0.765 957出現(xiàn)12 665次。追溯概率值p對(duì)應(yīng)的特征向量會(huì)發(fā)現(xiàn),同一個(gè)概率值p對(duì)應(yīng)的特征向量相似度很高,只有某一個(gè)維度不同。比如p=0.689 441對(duì)應(yīng)的特征向量只有事件11出現(xiàn)6次和事件12出現(xiàn)2次的不同。同樣的情況出現(xiàn)在SVM模型和RF模型中,p=0.738 409出現(xiàn)13 258次,概率p值對(duì)應(yīng)的特征向量要么重復(fù),要么高度相似。單個(gè)模型的檢測不能對(duì)高度相似的特征向量作出很好的判斷,如果能使用模型融合取不同算法的優(yōu)勢(shì),則可以進(jìn)一步細(xì)致地對(duì)日志數(shù)據(jù)進(jìn)行判斷,從而得到更好的檢測結(jié)果,這也是下一個(gè)階段的研究內(nèi)容。

    4 結(jié) 語

    在這項(xiàng)工作中,采用HDFS真實(shí)數(shù)據(jù)集來對(duì)系統(tǒng)日志異常進(jìn)行檢測。本文引入靈活的機(jī)器學(xué)習(xí)框架Venn-Abers預(yù)測器,可以對(duì)日志數(shù)據(jù)進(jìn)行精確有效的概率預(yù)測。代替?zhèn)鹘y(tǒng)分類器僅預(yù)測未知對(duì)象的單個(gè)標(biāo)簽,這種預(yù)測器在一定程度上補(bǔ)充了預(yù)測標(biāo)簽正確的可能性。在概率預(yù)測有效性方面,開發(fā)了三種Venn-Abers預(yù)測器與三種基礎(chǔ)算法進(jìn)行比較。損失函數(shù)的實(shí)驗(yàn)結(jié)果表明,盡管采用相同的基礎(chǔ)分類方法,但隨著樣本數(shù)量的增加,Venn-Abers預(yù)測器的有效性保持不變。在概率預(yù)測準(zhǔn)確性方面,Venn-Abers預(yù)測器計(jì)算出預(yù)測標(biāo)簽的概率值,通過統(tǒng)計(jì)概率值和預(yù)測標(biāo)簽的分布情況,動(dòng)態(tài)設(shè)置最佳閾值,能更加準(zhǔn)確地檢測日志異常情況。同時(shí),對(duì)Venn-Abers預(yù)測器計(jì)算概率值方法的改進(jìn),使算法運(yùn)行效率得到提高。實(shí)驗(yàn)結(jié)果表明Venn-Abers 預(yù)測器不僅對(duì)機(jī)器學(xué)習(xí)預(yù)測日志數(shù)據(jù)結(jié)果的正確性進(jìn)行有效性評(píng)估,而且對(duì)日志數(shù)據(jù)進(jìn)行了更高效、準(zhǔn)確的分類。

    在下一個(gè)階段的研究中,將研究更多不同的評(píng)分分類器集成到該原型平臺(tái),以檢測系統(tǒng)日志的異常。不同的模型有各自的長處,性能具有差異性,將引入模型融合使各個(gè)模型發(fā)揮出優(yōu)勢(shì),來進(jìn)一步提高日志異常檢測的準(zhǔn)確性。

    猜你喜歡
    預(yù)測器日志標(biāo)簽
    輸入延遲系統(tǒng)的切換偽預(yù)測鎮(zhèn)定控制器
    一名老黨員的工作日志
    扶貧日志
    心聲歌刊(2020年4期)2020-09-07 06:37:14
    一種改進(jìn)型TAGE分支預(yù)測器的實(shí)現(xiàn)
    無懼標(biāo)簽 Alfa Romeo Giulia 200HP
    車迷(2018年11期)2018-08-30 03:20:32
    不害怕撕掉標(biāo)簽的人,都活出了真正的漂亮
    海峽姐妹(2018年3期)2018-05-09 08:21:02
    游學(xué)日志
    標(biāo)簽化傷害了誰
    基于多進(jìn)制查詢樹的多標(biāo)簽識(shí)別方法
    一種基于粗集和SVM的Web日志挖掘模型
    看十八女毛片水多多多| 国产综合精华液| 伊人亚洲综合成人网| 热99久久久久精品小说推荐| 国产精品久久久久久精品电影小说| 色吧在线观看| 蜜桃在线观看..| 美女视频免费永久观看网站| 日日摸夜夜添夜夜爱| 可以免费在线观看a视频的电影网站 | 纵有疾风起免费观看全集完整版| 另类亚洲欧美激情| 如何舔出高潮| 色婷婷久久久亚洲欧美| 两个人看的免费小视频| 成人国产麻豆网| 日韩一卡2卡3卡4卡2021年| 大香蕉久久网| 日本欧美视频一区| 老司机影院成人| 亚洲欧洲精品一区二区精品久久久 | 中文字幕人妻熟女乱码| 精品人妻偷拍中文字幕| 国产精品一区二区在线观看99| 国产伦理片在线播放av一区| 国产精品久久久久久久久免| 少妇猛男粗大的猛烈进出视频| 七月丁香在线播放| 1024视频免费在线观看| 亚洲国产日韩一区二区| 欧美成人午夜免费资源| 99久国产av精品国产电影| 在线观看国产h片| 久久久久精品久久久久真实原创| 欧美日韩一区二区视频在线观看视频在线| 久热这里只有精品99| 18禁观看日本| 日本欧美国产在线视频| 9色porny在线观看| 香蕉国产在线看| 99国产精品免费福利视频| 天天躁夜夜躁狠狠躁躁| 在线 av 中文字幕| 免费观看性生交大片5| 国产成人免费观看mmmm| 欧美日韩成人在线一区二区| 大陆偷拍与自拍| av视频免费观看在线观看| 中文字幕亚洲精品专区| 一边摸一边做爽爽视频免费| 亚洲婷婷狠狠爱综合网| 欧美国产精品一级二级三级| 观看av在线不卡| 满18在线观看网站| 在线天堂中文资源库| 成年动漫av网址| 日本欧美视频一区| 美女视频免费永久观看网站| 婷婷色综合www| 男女边吃奶边做爰视频| 国产极品粉嫩免费观看在线| 91午夜精品亚洲一区二区三区| 免费大片黄手机在线观看| 丁香六月天网| 亚洲精品在线美女| 又黄又粗又硬又大视频| 国产视频首页在线观看| 日韩制服骚丝袜av| 一级片免费观看大全| 久久鲁丝午夜福利片| 欧美日韩精品网址| 日韩一卡2卡3卡4卡2021年| 亚洲一码二码三码区别大吗| 欧美激情极品国产一区二区三区| 精品一品国产午夜福利视频| 免费在线观看影片大全网站| 免费日韩欧美在线观看| 国产精品一区二区免费欧美| 国产单亲对白刺激| 真人一进一出gif抽搐免费| 国产精品 国内视频| 午夜福利免费观看在线| 美女午夜性视频免费| 久久久久久人人人人人| 人人妻人人澡人人看| 久久久久久久精品吃奶| 19禁男女啪啪无遮挡网站| 免费少妇av软件| 欧美日韩亚洲高清精品| 欧美精品亚洲一区二区| 高清欧美精品videossex| 免费在线观看日本一区| 国产精品 欧美亚洲| aaaaa片日本免费| 99riav亚洲国产免费| 午夜福利在线免费观看网站| 1024香蕉在线观看| 成人三级黄色视频| 日韩精品青青久久久久久| 在线观看66精品国产| 欧美日韩国产mv在线观看视频| 久久热在线av| 熟女少妇亚洲综合色aaa.| 欧美日韩福利视频一区二区| 日韩大码丰满熟妇| 桃红色精品国产亚洲av| 午夜福利在线免费观看网站| 午夜福利一区二区在线看| 女人高潮潮喷娇喘18禁视频| 午夜视频精品福利| www日本在线高清视频| 免费观看精品视频网站| 国产精品一区二区在线不卡| 夫妻午夜视频| 法律面前人人平等表现在哪些方面| 久久久久国产一级毛片高清牌| 亚洲avbb在线观看| 欧美一级毛片孕妇| 中文字幕色久视频| 最新在线观看一区二区三区| 亚洲成a人片在线一区二区| 日本一区二区免费在线视频| 免费在线观看黄色视频的| 两性夫妻黄色片| 日韩大码丰满熟妇| 久久精品亚洲av国产电影网| 日韩欧美在线二视频| 中文字幕av电影在线播放| 麻豆成人av在线观看| 精品国产亚洲在线| 大型黄色视频在线免费观看| 精品久久久久久,| 岛国视频午夜一区免费看| 久久久久久大精品| 国产午夜精品久久久久久| 精品国产美女av久久久久小说| 欧美日本亚洲视频在线播放| 国产深夜福利视频在线观看| 久久国产亚洲av麻豆专区| 欧美大码av| 国产精品永久免费网站| 精品欧美一区二区三区在线| 亚洲成a人片在线一区二区| 一边摸一边抽搐一进一小说| tocl精华| 欧美日韩视频精品一区| 久久性视频一级片| 欧美黄色片欧美黄色片| 亚洲精品久久成人aⅴ小说| 国产av在哪里看| 日韩精品青青久久久久久| 免费在线观看影片大全网站| 动漫黄色视频在线观看| 欧美日韩瑟瑟在线播放| 美国免费a级毛片| 欧美乱码精品一区二区三区| 久久国产亚洲av麻豆专区| 搡老乐熟女国产| 国产av一区在线观看免费| 美女 人体艺术 gogo| 男人操女人黄网站| 18美女黄网站色大片免费观看| 亚洲国产精品一区二区三区在线| 国产精品av久久久久免费| 欧美日韩乱码在线| 免费搜索国产男女视频| 色综合站精品国产| 国产午夜精品久久久久久| 亚洲熟妇熟女久久| www.999成人在线观看| 99国产精品免费福利视频| 少妇被粗大的猛进出69影院| 日本 av在线| 99re在线观看精品视频| 亚洲欧美激情在线| 亚洲五月色婷婷综合| 欧美国产精品va在线观看不卡| 香蕉久久夜色| av国产精品久久久久影院| 国产在线精品亚洲第一网站| 又黄又爽又免费观看的视频| 日韩免费高清中文字幕av| 午夜福利影视在线免费观看| 一本综合久久免费| 一区二区三区国产精品乱码| 久久热在线av| 精品国内亚洲2022精品成人| a级毛片黄视频| 欧美乱色亚洲激情| 啦啦啦在线免费观看视频4| 人人澡人人妻人| 亚洲精品国产色婷婷电影| 自拍欧美九色日韩亚洲蝌蚪91| 国产精华一区二区三区| 国产av又大| 99精品久久久久人妻精品| 99riav亚洲国产免费| 交换朋友夫妻互换小说| 母亲3免费完整高清在线观看| 欧美成人性av电影在线观看| 天堂中文最新版在线下载| 亚洲欧美一区二区三区黑人| 宅男免费午夜| 日韩欧美三级三区| 天堂√8在线中文| 少妇粗大呻吟视频| 每晚都被弄得嗷嗷叫到高潮| 日韩欧美国产一区二区入口| 欧美日本亚洲视频在线播放| 一区福利在线观看| 欧美av亚洲av综合av国产av| 久久国产乱子伦精品免费另类| 国产又爽黄色视频| 在线免费观看的www视频| 日本欧美视频一区| 精品一区二区三卡| 一区二区日韩欧美中文字幕| 精品一区二区三卡| 亚洲成人免费av在线播放| 精品久久久久久,| 免费在线观看影片大全网站| 久久久久亚洲av毛片大全| 波多野结衣av一区二区av| 精品电影一区二区在线| 国产男靠女视频免费网站| 亚洲美女黄片视频| 久久狼人影院| 1024香蕉在线观看| 午夜福利一区二区在线看| 男人舔女人下体高潮全视频| 天天影视国产精品| 丰满的人妻完整版| 国产精品一区二区三区四区久久 | 亚洲欧洲精品一区二区精品久久久| a级毛片在线看网站| 日韩人妻精品一区2区三区| 青草久久国产| 男人的好看免费观看在线视频 | 另类亚洲欧美激情| 波多野结衣高清无吗| 日本 av在线| 国产又色又爽无遮挡免费看| 他把我摸到了高潮在线观看| 91精品三级在线观看| 亚洲男人天堂网一区| 久久久水蜜桃国产精品网| 国产精品自产拍在线观看55亚洲| 亚洲av第一区精品v没综合| 一边摸一边抽搐一进一小说| 欧美乱妇无乱码| 99热国产这里只有精品6| 国产成人欧美在线观看| 久久久久国产一级毛片高清牌| 美女 人体艺术 gogo| www国产在线视频色| bbb黄色大片| 国产亚洲欧美98| 成人三级做爰电影| 夫妻午夜视频| 最新美女视频免费是黄的| 国产99久久九九免费精品| 精品卡一卡二卡四卡免费| 757午夜福利合集在线观看| 9热在线视频观看99| 黄网站色视频无遮挡免费观看| 亚洲伊人色综图| 波多野结衣av一区二区av| 国产一区在线观看成人免费| 久久人人精品亚洲av| 美女大奶头视频| 午夜免费观看网址| 天堂动漫精品| 亚洲欧美一区二区三区黑人| 涩涩av久久男人的天堂| 亚洲欧美日韩无卡精品| 80岁老熟妇乱子伦牲交| 亚洲中文av在线| 视频区欧美日本亚洲| 免费观看人在逋| 精品福利永久在线观看| 亚洲一卡2卡3卡4卡5卡精品中文| 亚洲一区高清亚洲精品| 国产精品 欧美亚洲| xxxhd国产人妻xxx| 热re99久久国产66热| 又黄又爽又免费观看的视频| 久久婷婷成人综合色麻豆| 大型黄色视频在线免费观看| 国产av一区二区精品久久| 国产一区二区在线av高清观看| 人成视频在线观看免费观看| 欧美日韩一级在线毛片| 亚洲人成伊人成综合网2020| 成人三级做爰电影| 黄色怎么调成土黄色| 99精品在免费线老司机午夜| 黑人巨大精品欧美一区二区mp4| 国产精品综合久久久久久久免费 | 18禁美女被吸乳视频| 成人手机av| av网站在线播放免费| 亚洲欧美日韩高清在线视频| 真人做人爱边吃奶动态| 中文字幕精品免费在线观看视频| 色播在线永久视频| 亚洲精品国产区一区二| 国产又色又爽无遮挡免费看| 欧美老熟妇乱子伦牲交| 天堂√8在线中文| 国产伦人伦偷精品视频| 国产欧美日韩一区二区精品| 中出人妻视频一区二区| 精品日产1卡2卡| 国产成人av激情在线播放| 午夜91福利影院| 少妇 在线观看| 亚洲精品一区av在线观看| 另类亚洲欧美激情| 精品免费久久久久久久清纯| 亚洲一卡2卡3卡4卡5卡精品中文| 久久久国产成人精品二区 | 国产成人欧美| 精品人妻1区二区| a级片在线免费高清观看视频| 国产午夜精品久久久久久| 亚洲七黄色美女视频| 成年人黄色毛片网站| 欧美一级毛片孕妇| 大码成人一级视频| 亚洲中文日韩欧美视频| 亚洲成人免费电影在线观看| 国产亚洲精品第一综合不卡| 久久狼人影院| 国产亚洲精品久久久久5区| 国产成人一区二区三区免费视频网站| 成人18禁在线播放| 午夜91福利影院| 999精品在线视频| 欧美老熟妇乱子伦牲交| 国产一区二区激情短视频| 如日韩欧美国产精品一区二区三区| www.熟女人妻精品国产| 色综合婷婷激情| 黑人巨大精品欧美一区二区mp4| 国产亚洲精品第一综合不卡| 亚洲精品美女久久久久99蜜臀| 日韩av在线大香蕉| 成人亚洲精品av一区二区 | 亚洲一区中文字幕在线| 国产欧美日韩一区二区三区在线| 18禁国产床啪视频网站| 国产精品久久久久久人妻精品电影| 三级毛片av免费| 久久热在线av| 9热在线视频观看99| 波多野结衣av一区二区av| 亚洲av成人av| 欧美成人性av电影在线观看| 性少妇av在线| 真人做人爱边吃奶动态| 丰满饥渴人妻一区二区三| 午夜a级毛片| 亚洲七黄色美女视频| 亚洲人成伊人成综合网2020| 久久午夜综合久久蜜桃| 国产精品国产高清国产av| 村上凉子中文字幕在线| 亚洲成人国产一区在线观看| 亚洲黑人精品在线| 很黄的视频免费| 亚洲色图综合在线观看| 久久香蕉精品热| 一区福利在线观看| 精品一品国产午夜福利视频| 色综合站精品国产| 两性夫妻黄色片| 操美女的视频在线观看| 国产精品久久电影中文字幕| 久久伊人香网站| 免费在线观看日本一区| 麻豆久久精品国产亚洲av | 成在线人永久免费视频| 极品教师在线免费播放| a在线观看视频网站| 亚洲情色 制服丝袜| 激情视频va一区二区三区| 亚洲视频免费观看视频| 最近最新中文字幕大全免费视频| 日韩一卡2卡3卡4卡2021年| 一级毛片精品| 免费在线观看影片大全网站| a级片在线免费高清观看视频| cao死你这个sao货| 女人被狂操c到高潮| 91精品国产国语对白视频| 岛国在线观看网站| 久久久国产欧美日韩av| 午夜免费观看网址| 亚洲aⅴ乱码一区二区在线播放 | 激情视频va一区二区三区| 一a级毛片在线观看| 一夜夜www| bbb黄色大片| 在线国产一区二区在线| 神马国产精品三级电影在线观看 | 亚洲五月天丁香| 国产成人啪精品午夜网站| 搡老熟女国产l中国老女人| 男女午夜视频在线观看| 亚洲人成77777在线视频| 国产欧美日韩一区二区精品| 久久国产精品人妻蜜桃| 成人特级黄色片久久久久久久| 新久久久久国产一级毛片| 国产一区二区在线av高清观看| 在线观看午夜福利视频| 天堂影院成人在线观看| 欧美成人午夜精品| 亚洲少妇的诱惑av| 亚洲av日韩精品久久久久久密| 久久精品亚洲av国产电影网| 久久人人爽av亚洲精品天堂| 999久久久精品免费观看国产| 天堂√8在线中文| 亚洲一卡2卡3卡4卡5卡精品中文| 99精品在免费线老司机午夜| 国产欧美日韩一区二区三区在线| videosex国产| 色婷婷av一区二区三区视频| 91老司机精品| 午夜视频精品福利| 五月开心婷婷网| av片东京热男人的天堂| 亚洲国产欧美网| 亚洲欧美激情在线| 久久国产精品男人的天堂亚洲| 国产精品日韩av在线免费观看 | 日本 av在线| 在线看a的网站| 高清av免费在线| 欧美性长视频在线观看| 精品国产一区二区三区四区第35| 日本a在线网址| 精品日产1卡2卡| 国产乱人伦免费视频| av天堂在线播放| 欧美激情高清一区二区三区| 亚洲成a人片在线一区二区| 久久精品国产综合久久久| 悠悠久久av| 亚洲精品一二三| 久99久视频精品免费| 日韩免费高清中文字幕av| 黄色女人牲交| 视频在线观看一区二区三区| 亚洲欧洲精品一区二区精品久久久| 国产视频一区二区在线看| 国产一区二区在线av高清观看| 亚洲男人天堂网一区| 欧美色视频一区免费| 超碰成人久久| 天堂动漫精品| 性欧美人与动物交配| 色综合婷婷激情| 亚洲欧美日韩无卡精品| 久久久久九九精品影院| 在线观看舔阴道视频| 黄片小视频在线播放| 欧美中文日本在线观看视频| 欧美亚洲日本最大视频资源| 亚洲国产精品一区二区三区在线| 国产日韩一区二区三区精品不卡| 国产野战对白在线观看| 欧美日韩视频精品一区| 两性午夜刺激爽爽歪歪视频在线观看 | 制服人妻中文乱码| 久久人人97超碰香蕉20202| 国产成人影院久久av| a级毛片黄视频| 成在线人永久免费视频| 人人澡人人妻人| 巨乳人妻的诱惑在线观看| 欧美色视频一区免费| www日本在线高清视频| 亚洲熟妇中文字幕五十中出 | 亚洲国产欧美网| 99久久综合精品五月天人人| 在线观看免费视频日本深夜| 免费高清视频大片| 免费看十八禁软件| 熟女少妇亚洲综合色aaa.| 一级黄色大片毛片| 深夜精品福利| 国产欧美日韩一区二区精品| 国产1区2区3区精品| 国产深夜福利视频在线观看| 欧美日韩乱码在线| 中出人妻视频一区二区| 在线观看www视频免费| 亚洲人成77777在线视频| 中文字幕色久视频| 一二三四在线观看免费中文在| 99精品欧美一区二区三区四区| 久99久视频精品免费| 韩国av一区二区三区四区| 亚洲国产精品999在线| 最近最新免费中文字幕在线| 国产精品一区二区免费欧美| 悠悠久久av| 欧美日本中文国产一区发布| bbb黄色大片| 欧美乱码精品一区二区三区| 18禁观看日本| 性色av乱码一区二区三区2| 多毛熟女@视频| 999久久久精品免费观看国产| 国产黄a三级三级三级人| 桃色一区二区三区在线观看| 成人永久免费在线观看视频| 久久国产精品男人的天堂亚洲| av网站免费在线观看视频| 人人澡人人妻人| 国产一区二区三区视频了| 国产成人精品在线电影| 欧美黄色淫秽网站| 两性午夜刺激爽爽歪歪视频在线观看 | 国产视频一区二区在线看| 亚洲av美国av| 免费在线观看黄色视频的| 美国免费a级毛片| 国产在线观看jvid| 如日韩欧美国产精品一区二区三区| netflix在线观看网站| 在线观看一区二区三区| 欧美乱妇无乱码| 黑人操中国人逼视频| 午夜a级毛片| 午夜精品在线福利| 91精品国产国语对白视频| 99re在线观看精品视频| 亚洲色图 男人天堂 中文字幕| 久久精品国产综合久久久| 国产xxxxx性猛交| 欧美日韩视频精品一区| xxxhd国产人妻xxx| av中文乱码字幕在线| 91国产中文字幕| 99国产精品一区二区三区| 日韩精品免费视频一区二区三区| 波多野结衣一区麻豆| 丁香六月欧美| 亚洲精品久久成人aⅴ小说| 欧美日韩福利视频一区二区| 国产免费男女视频| 宅男免费午夜| 成人国语在线视频| 中文亚洲av片在线观看爽| 国产精品自产拍在线观看55亚洲| 国产精品 欧美亚洲| 久久精品91蜜桃| 日日干狠狠操夜夜爽| 亚洲 欧美一区二区三区| 12—13女人毛片做爰片一| 亚洲aⅴ乱码一区二区在线播放 | 黄色毛片三级朝国网站| 亚洲成人免费av在线播放| www.www免费av| 一级毛片精品| 久久亚洲精品不卡| 精品久久久久久电影网| 12—13女人毛片做爰片一| 黄频高清免费视频| 多毛熟女@视频| 男女午夜视频在线观看| 18禁裸乳无遮挡免费网站照片 | 久久中文字幕人妻熟女| 日本三级黄在线观看| 99久久人妻综合| 欧美乱妇无乱码| 手机成人av网站| 啦啦啦 在线观看视频| 多毛熟女@视频| 亚洲 欧美 日韩 在线 免费| 久久久久久大精品| 国产日韩一区二区三区精品不卡| 国产成人欧美| 老鸭窝网址在线观看| 精品第一国产精品| 人人妻人人添人人爽欧美一区卜| 久久国产乱子伦精品免费另类| 女人被狂操c到高潮| 亚洲国产毛片av蜜桃av| 可以免费在线观看a视频的电影网站| 日韩成人在线观看一区二区三区| 女人精品久久久久毛片| 日韩成人在线观看一区二区三区| 精品久久蜜臀av无| 久久狼人影院| 久久伊人香网站| 久久天堂一区二区三区四区| 国产高清国产精品国产三级| 美女高潮喷水抽搐中文字幕| 日韩大尺度精品在线看网址 | 日韩精品免费视频一区二区三区| 欧美成人免费av一区二区三区| 欧美在线黄色| www.精华液| 精品国产美女av久久久久小说| 国产高清国产精品国产三级| a级片在线免费高清观看视频| xxx96com| 日本黄色日本黄色录像| 国产精品电影一区二区三区| 五月开心婷婷网| 91在线观看av|