• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于Venn-Abers預(yù)測器的系統(tǒng)日志異常檢測方法

    2023-11-02 12:37:16顧兆軍潘蘭蘭劉春波
    關(guān)鍵詞:預(yù)測器日志標(biāo)簽

    顧兆軍 潘蘭蘭,2 劉春波 王 志

    1(中國民航大學(xué)信息安全測評(píng)中心 天津 300300)

    2(中國民航大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 天津 300300)

    3(南開大學(xué)網(wǎng)絡(luò)空間安全學(xué)院 天津 300350)

    0 引 言

    系統(tǒng)異常檢測是一個(gè)計(jì)算機(jī)系統(tǒng)穩(wěn)定運(yùn)行的必要條件?,F(xiàn)代計(jì)算系統(tǒng)正面臨著由大型服務(wù)器集群支持的爆炸式增長,云計(jì)算、分布式計(jì)算平臺(tái)的出現(xiàn)使大型數(shù)據(jù)中心的部署成為一種趨勢(shì)。這些系統(tǒng)的規(guī)模和復(fù)雜性不斷增加,遭受錯(cuò)誤和故障的概率就會(huì)越來越大,使異常檢測變得更具有挑戰(zhàn)性。系統(tǒng)日志詳細(xì)記錄系統(tǒng)運(yùn)行期間的系統(tǒng)狀態(tài)和重要事件,幾乎所有的計(jì)算機(jī)系統(tǒng)中都有相應(yīng)的日志系統(tǒng)。

    利用系統(tǒng)日志數(shù)據(jù)進(jìn)行異常檢測的方法大致分為以下幾類:(1) 基于數(shù)據(jù)分布的統(tǒng)計(jì)學(xué)異常檢測模型[1],根據(jù)總體數(shù)據(jù)分布識(shí)別突出或不符合分布的數(shù)據(jù)為異常點(diǎn),但是該方法只適用于點(diǎn)異常的檢測;(2) 最近鄰方法[2]和基于聚類的異常檢測方法[3],假設(shè)正常數(shù)據(jù)位于密集的區(qū)域,異常則遠(yuǎn)離該區(qū)域,這兩種方法對(duì)于數(shù)據(jù)分布稀疏和密集區(qū)域具有未知分布的數(shù)據(jù)集不可用;(3) 基于長短期記憶網(wǎng)絡(luò)的深度神經(jīng)網(wǎng)絡(luò)模型Deeplog[4],將系統(tǒng)日志建模為自然語言序列,可以通過日志模式檢測是否偏離正常行為從而檢測異常;(4) 基于深度學(xué)習(xí)[5-6]的異常檢測方法。這些算法只能給出一個(gè)預(yù)測(對(duì)于分類,它是預(yù)測標(biāo)簽;對(duì)于回歸,它是預(yù)測值),并未對(duì)預(yù)測結(jié)果進(jìn)行可靠性評(píng)估,即對(duì)預(yù)測結(jié)果的可信程度的評(píng)估以及對(duì)該評(píng)估有效性的保障。目前較為流行的概率預(yù)測的算法有一致性預(yù)測器和Venn-Abers預(yù)測器,一致性預(yù)測器在置信度下給出p值作為預(yù)測可靠性的估計(jì)[7],但這不是直接概率。本文將引入一種將常規(guī)預(yù)測器的結(jié)果轉(zhuǎn)換為概率的算法,給出預(yù)測結(jié)果的概率估計(jì)值,使結(jié)果更加直觀。

    引入統(tǒng)計(jì)學(xué)習(xí)算法Venn-Abers預(yù)測器是具有有效性保證的,該方法可以對(duì)日志異常檢測結(jié)果進(jìn)行可靠性評(píng)估,也就是對(duì)預(yù)測結(jié)果的正確性進(jìn)行有效的概率預(yù)測。它是基于概率對(duì)數(shù)據(jù)進(jìn)行分類的機(jī)器學(xué)習(xí)框架,任何機(jī)器學(xué)習(xí)算法都可以作為它的底層算法。Venn-Abers預(yù)測器唯一需要的假設(shè)條件是數(shù)據(jù)服從可交換性假設(shè)[8],可以通過日志數(shù)據(jù)輕松滿足,并且不需要日志數(shù)據(jù)服從特定分布,就可以保證預(yù)測概率的有效性。研究表明,Venn-Abers預(yù)測器在很多領(lǐng)域可以取得有效的概率預(yù)測結(jié)果[9-11]。將Venn-Abers預(yù)測器引入日志異常檢測領(lǐng)域中可以有效地檢測系統(tǒng)日志異常。

    本文采用真實(shí)系統(tǒng)的HDFS日志數(shù)據(jù)集評(píng)估本文方法,Venn-Abers預(yù)測器已被證明可以完美校準(zhǔn)[12],根據(jù)三種基礎(chǔ)算法分別開發(fā)三種Venn-Abers預(yù)測器[13]用來檢測系統(tǒng)日志異常。從系統(tǒng)日志異常預(yù)測結(jié)果的有效性和準(zhǔn)確性兩個(gè)方面比較基礎(chǔ)算法和Venn-Abers預(yù)測器的性能。同時(shí)提出對(duì)Venn-Abers預(yù)測器處理數(shù)據(jù)的計(jì)算方法,并減少計(jì)算多概率預(yù)測值的時(shí)間。實(shí)驗(yàn)結(jié)果表明,引入Venn-Abers預(yù)測器進(jìn)行系統(tǒng)日志異常檢測正確性的評(píng)估是有效和準(zhǔn)確的。

    1 基于Venn-Abers 預(yù)測器的日志異常檢測模型

    圖1給出了基于日志異常檢測的總體框架。日志異常檢測框架總體包含兩個(gè)部分:日志預(yù)處理和日志異常檢測。日志預(yù)處理包括收集日志信息、日志解析和日志的特征化提取三部分。在日志異常檢測過程中,選擇三種基礎(chǔ)算法LR、SVM和RF,基于基礎(chǔ)算法預(yù)測得分構(gòu)建對(duì)應(yīng)的Venn-Abers預(yù)測器,Venn-Abers預(yù)測器得到的是測試對(duì)象對(duì)應(yīng)標(biāo)簽為1的多概率區(qū)間。為了和基于靜態(tài)閾值的方法進(jìn)行比較,將多概率區(qū)間擬合為單個(gè)概率值,通過概率值和標(biāo)簽的分布關(guān)系確定動(dòng)態(tài)閾值并實(shí)現(xiàn)最終的分類預(yù)測。

    圖1 基于日志異常檢測的總體框架

    1.1 日志預(yù)處理

    系統(tǒng)日志異常檢測的第一個(gè)階段是日志預(yù)處理,包括收集日志信息、日志解析和日志的特征化提取三部分?,F(xiàn)代大型系統(tǒng)通過生成日志來記錄系統(tǒng)運(yùn)行時(shí)信息,每條日志都包含時(shí)間戳、日志優(yōu)先級(jí)、系統(tǒng)組件和日志條目本身等信息的非結(jié)構(gòu)化數(shù)據(jù)。通常,日志消息使用一組字段記錄特定的系統(tǒng)事件,圖1中Logs部分展示了從Amazon EC2平臺(tái)上收集的HDFS日志中提取的1個(gè)日志行[14],為了便于呈現(xiàn),省略了部分字段。

    日志解析的目標(biāo)在于提取一組日志事件模板Event,即從日志數(shù)據(jù)內(nèi)容中區(qū)分出常量部分(固定的純文本)和變量部分(例如圖1中的blk_id)[15]。日志事件模板Event主要包括常量部分和通配符,其中常量部分是指構(gòu)成固定的純文本,它對(duì)于每個(gè)事件發(fā)生都保持不變,并且可以顯示日志消息的事件類型;通配符是指攜帶運(yùn)行時(shí)信息的狀態(tài)和參數(shù)的值(例如,IP地址和端口:10.251.31.5:50010),它們?cè)诓煌录l(fā)生之間可能有所不同,使用一個(gè)形如<*>的字符串替代。本文為每個(gè)不同的日志事件模板編號(hào)為Event_id,每個(gè)日志事件模板對(duì)應(yīng)一個(gè)標(biāo)識(shí)符block_id,如圖1中的Parsing部分。

    上一步解析的結(jié)果可以用于生成事件計(jì)數(shù)矩陣X,事件計(jì)數(shù)矩陣將被送到日志異常檢測模型中。在事件計(jì)數(shù)矩陣中,將具有相同block的事件模板放在一行,即每一行代表一個(gè)塊block,將每一行的事件模板統(tǒng)計(jì)出次數(shù),即每一列代表一種事件類型。Xi,j單元格中的值記錄事件j在塊i上發(fā)生的次數(shù)。為了避免直接在矩陣X上檢測異常,引入TF-IDF[16]為該矩陣進(jìn)行預(yù)處理。TF-IDF是信息檢索中一種公認(rèn)的啟發(fā)式方法,它通常用作信息檢索和文本挖掘中文檔的特征表示。

    1.2 日志異常檢測

    1.2.1基于Venn-Abers預(yù)測器的日志異常檢測

    本節(jié)將介紹基于Venn-Abers預(yù)測器來評(píng)估基礎(chǔ)算法對(duì)日志異常檢測結(jié)果預(yù)測正確的可能性。Venn-Abers預(yù)測器是一種將預(yù)測結(jié)果轉(zhuǎn)換為概率的算法[8],通過應(yīng)用保序回歸將其他分類器的輸出轉(zhuǎn)換為概率。假設(shè)本文得到了一個(gè)標(biāo)準(zhǔn)的二分類問題:一組訓(xùn)練示例(z1,z2,…,zn-1)。每個(gè)zi由一對(duì)對(duì)象xi和標(biāo)簽yi組成,可能的標(biāo)簽有兩種,即y∈Y={0,1}。給出一個(gè)新的對(duì)象xn,任務(wù)是預(yù)測新對(duì)象xn的標(biāo)簽yn,并對(duì)預(yù)測正確的可能性進(jìn)行估計(jì)。

    為了構(gòu)造Venn-Abers預(yù)測器,首先用觀察的訓(xùn)練集訓(xùn)練分類器并使用分類器為新對(duì)象xn輸出預(yù)測分?jǐn)?shù)s(xn),在帶有標(biāo)簽0和1的二分類問題中,通過將預(yù)測分?jǐn)?shù)與固定閾值c進(jìn)行比較,并在s(xn)>c時(shí)將xn的標(biāo)簽預(yù)測為1,從而獲得實(shí)際的預(yù)測類別,因此s(·)在此稱為評(píng)分函數(shù)。許多用于分類的機(jī)器學(xué)習(xí)算法都可作為分類器的評(píng)分函數(shù),在本文中,采用SVM和LR的決策函數(shù)(Decision function)作為評(píng)分函數(shù),RF采用類概率預(yù)測函數(shù)作為評(píng)分函數(shù)。Venn-Abers預(yù)測器將遞增函數(shù)f(·)應(yīng)用于s(x);試圖“校準(zhǔn)”分?jǐn)?shù)[17],以便將f(s(x))用作x的標(biāo)簽為1的預(yù)測概率。

    本文使用“成對(duì)相鄰違反者算法”找到的單調(diào)非遞減的保序回歸函數(shù)f(·),給定得分分類器對(duì)應(yīng)的Venn-Abers預(yù)測器是定義如下的多概率預(yù)測變量。嘗試將兩個(gè)不同的標(biāo)簽0和1用于測試對(duì)象xn。令s0為 (z1,z2,…,zn-1,(xn,0))的評(píng)分函數(shù),s1為(z1,z2,…,zn-1,(xn,1))的評(píng)分函數(shù)。

    f0對(duì)應(yīng)的保序回歸為:

    ((s0(x1),y1),(s0(x2),y2),…,(s0(xn-1),yn-1),

    (s0(xn),0))

    (1)

    f1對(duì)應(yīng)的保序回歸為:

    ((s1(x1),y1),(s1(x2),y2),…,(s1(xn-1),yn-1),

    (s1(xn),1))

    (2)

    這樣Venn-Abers預(yù)測器輸出的多概率預(yù)測為(p0,p1),其中p0=f0(s0(x))和p1=f1(s1(x))。

    1.2.2Venn-Abers預(yù)測器運(yùn)行效率優(yōu)化方法

    Venn預(yù)測器會(huì)為每個(gè)測試對(duì)象嘗試所有可能的標(biāo)簽,需要針對(duì)每個(gè)測試對(duì)象的可能標(biāo)簽訓(xùn)練一個(gè)基礎(chǔ)算法模型,由于計(jì)算效率低下,故只適用于小數(shù)據(jù)集。隨后提出Venn-Abers預(yù)測器,對(duì)每個(gè)測試對(duì)象的所有可能標(biāo)簽只需要訓(xùn)練一個(gè)模型,也就是本文采用的方法可以對(duì)日志異常檢測結(jié)果進(jìn)行有效性的預(yù)測。但是在實(shí)驗(yàn)過程中,發(fā)現(xiàn)由訓(xùn)練集標(biāo)簽和訓(xùn)練集對(duì)象得到的保序回歸序列分布過于密集,不符合預(yù)期。

    分析原因發(fā)現(xiàn)采用HDFS日志數(shù)據(jù)提取出29個(gè)事件模板從而形成29維的特征向量,但由于HDFS記錄的日志行為單一[18]使不同特征向量之間的差異較小,特征向量高度相似或重復(fù)。這種情況下,模型得分也會(huì)大量重復(fù)或相似,因此設(shè)計(jì)了如下算法。

    步驟1得到特征向量的得分s(xi)。

    步驟2將得分s(xi)和對(duì)應(yīng)的標(biāo)簽yi打包成具有兩個(gè)元素的元組(s(xi),yi)。

    步驟3并對(duì)元組(s(xi),yi)進(jìn)行升序處理。

    步驟4對(duì)于重復(fù)的得分,將其標(biāo)簽yi累積求和并取平均值作為該得分新的標(biāo)簽Newy。

    這樣有益于保序回歸序列f0和f1的離散化分布同時(shí)降低后續(xù)實(shí)驗(yàn)測試對(duì)象多概率p0和p1的計(jì)算時(shí)間并提高計(jì)算效率。

    2 評(píng)估方法

    本文將使用標(biāo)準(zhǔn)損失函數(shù)將Venn-Abers預(yù)測器與已知的概率預(yù)測器進(jìn)行比較。由于Venn-Abers預(yù)測器輸出的是概率對(duì)(p0,p1)而不是點(diǎn)概率,因此需要將它們擬合到標(biāo)準(zhǔn)框架中,以便從p0和p1中提取一個(gè)概率p。

    2.1 算法有效性評(píng)估指標(biāo)

    概率預(yù)測可以提供對(duì)預(yù)測的可靠性估計(jì),同時(shí)估計(jì)的概率是有效的。有效性意味著對(duì)預(yù)測標(biāo)簽的估計(jì)概率是無偏的,這意味著該估計(jì)概率等于或接近預(yù)測正確的觀察頻率。本文使用平方損失函數(shù)來檢驗(yàn)概率預(yù)測的有效性。

    假設(shè)p是測試對(duì)象x預(yù)測標(biāo)簽的概率值,如果該對(duì)象對(duì)應(yīng)的標(biāo)簽預(yù)測是正確的,y=1,反之y=0。該預(yù)測的平方損失函數(shù)為:

    λsq(p,y)=(y-p)2

    (3)

    該損失函數(shù)的特點(diǎn)是:當(dāng)預(yù)測正確時(shí),預(yù)測的概率值越大,則損失函數(shù)越小;預(yù)測錯(cuò)誤時(shí),預(yù)測的概率值越小,則損失函數(shù)越大。

    使用平方損失函數(shù)時(shí),Venn-Abers預(yù)測輸出一個(gè)概率區(qū)間[p0,p1],現(xiàn)階段的任務(wù)是找到最優(yōu)的概率值p[19]。如果預(yù)測錯(cuò)誤,y=0,則使用p0作為預(yù)測概率值可以使損失函數(shù)達(dá)到最小。因此,由于本文使用p而沒有使用p0造成損失p2-p02;同理如果預(yù)測正確,y=1則由于使用p而沒有使用p1造成損失(1-p)2- (1-p1)2。p2-p02在p=[0,1]嚴(yán)格增函數(shù),(1-p)2-(1-p1)2在p=[0,1]區(qū)間是嚴(yán)格減函數(shù)(1-p)2-(1-p1)2。因此,當(dāng)p滿足如下方程時(shí)平方損失函數(shù)取得最小值:

    (4)

    因而,得到:

    (5)

    在計(jì)算Venn-Abers的預(yù)測結(jié)果的損失函數(shù)時(shí),將式(5)分別代入λsq中計(jì)算損失函數(shù),損失函數(shù)越小,預(yù)測的有效性越高。因此,基于損失函數(shù)的概率預(yù)測或多概率預(yù)測的有效性的指標(biāo)定義為,對(duì)N個(gè)測試樣本的概率預(yù)測結(jié)果中,平均的損失函數(shù)值:

    (6)

    2.2 算法評(píng)估指標(biāo)

    實(shí)驗(yàn)中使用精確率(Precision)、召回率(Recall)、F1值(F1-measure)和準(zhǔn)確率(Accuracy)作為每次預(yù)測結(jié)果的評(píng)價(jià)指標(biāo)。假設(shè)0代表正常,1代表異常,則統(tǒng)計(jì)模型分類結(jié)果得到:

    1)TP:預(yù)測結(jié)果為異常,實(shí)際也是異常的個(gè)數(shù)。

    2)FP:預(yù)測結(jié)果為異常,實(shí)際是正常的個(gè)數(shù)。

    3)TN:預(yù)測結(jié)果為正常,實(shí)際也是正常的個(gè)數(shù)。

    4)FN:預(yù)測結(jié)果為正常,實(shí)際是異常的個(gè)數(shù)。

    精確率公式為式(7),它表示模型預(yù)測到的異常中真異常的比例,同時(shí)可以衡量模型降低誤報(bào)率的能力。

    (7)

    召回率公式見式(8),它表示模型預(yù)測到的異常占數(shù)據(jù)集中總異常的百分比,同時(shí)可以描述模型識(shí)別正例覆蓋范圍的大小。

    (8)

    準(zhǔn)確率公式為式(9),它表示模型判斷正常的日志和異常日志占總?cè)罩镜陌俜直取?/p>

    (9)

    F1值公式為式(10),它指精確率和召回率的調(diào)和平均數(shù),用于綜合衡量模型的精確率和召回率。

    (10)

    3 實(shí)驗(yàn)與結(jié)果分析

    實(shí)驗(yàn)環(huán)境為: Intel?CoreTM i5-4200U CPU @ 1.60 GHz,8 GB RAM和Windows操作系統(tǒng)。數(shù)據(jù)集[16]來自亞馬遜在EC2節(jié)點(diǎn)上部署的Hadoop集群,運(yùn)行樣本Hadoop map-reduce作業(yè)近39個(gè)小時(shí),生成的HDFS日志數(shù)據(jù)是由相應(yīng)領(lǐng)域?qū)<沂謩?dòng)標(biāo)記的。HDFS 數(shù)據(jù)集中每個(gè)標(biāo)簽標(biāo)注的是一個(gè)會(huì)話是否正常。一個(gè)會(huì)話是一個(gè)塊ID相關(guān)的若干條日志,可以認(rèn)為是系統(tǒng)對(duì)一個(gè)塊執(zhí)行的一系列操作。一個(gè)會(huì)話中只要出現(xiàn)一個(gè)異常事件就認(rèn)為該會(huì)話是異常的。具體來說,有11 175 629條原始數(shù)據(jù)記錄,形成575 061個(gè)操作會(huì)話,在575 061個(gè)會(huì)話中,16 838個(gè)被標(biāo)記為異常,在實(shí)驗(yàn)過程中將其作為基本事實(shí)。

    該數(shù)據(jù)集僅包含添加、移動(dòng)和刪除等事件的日志及其異常情況。HDFS是以一系列的文件塊為存儲(chǔ)單位的,每個(gè)文件塊都有獨(dú)自的ID[20]。實(shí)驗(yàn)過程按照8∶2劃分測試集和訓(xùn)練集。首先將原始數(shù)據(jù)處理為事件模板,共29種不同的事件模板。具有相同塊ID的事件模板組合在一起并形成一個(gè)向量。每個(gè)向量的維度對(duì)應(yīng)著不同的事件模板,維度的值表示該模板的事件出現(xiàn)的次數(shù),因此事件計(jì)數(shù)矩陣具有575 062×29的維度。但是真正實(shí)驗(yàn)過程中卻發(fā)現(xiàn)許多向量是完全相同的。事實(shí)上,只有580個(gè)不同的向量,即大多數(shù)文件塊都經(jīng)歷共同的執(zhí)行動(dòng)作。圖2和圖3展示了用Venn-Abers繪制出全部向量和根據(jù)1.2.2節(jié)改進(jìn)后的向量對(duì)應(yīng)的f0和f1。在全部向量的圖2中,因?yàn)榇嬖诖罅恐貜?fù)的向量,使f值的離散程度很差,而改進(jìn)后的圖3中,f0和f1值的分布是明顯的。所以在以下實(shí)驗(yàn)結(jié)果中采用580個(gè)特征向量的數(shù)據(jù)集。

    圖2 全部向量作圖結(jié)果

    3.1 算法有效性比較

    采用損失函數(shù)對(duì)算法有效性進(jìn)行比較。平均損失函數(shù)值是在所有情況下真實(shí)類別與預(yù)測結(jié)果概率之間的差異的平均平方和。真實(shí)類別必須為正常(0)或者異常(1),而預(yù)測結(jié)果概率可以是0到1之間的值。對(duì)于一組預(yù)測值,平均損失函數(shù)值越低,預(yù)測校準(zhǔn)越好。將數(shù)據(jù)按照特征向量的不同分為大小不同的四份數(shù)據(jù)集,用于損失值的測試,具體運(yùn)行結(jié)果見表1?;赟VM開發(fā)的Venn-Abers預(yù)測器簡稱為SVM-VA、基于LR開發(fā)的Venn-Abers預(yù)測器簡稱為LR-VA和基于RF開發(fā)的Venn-Abers預(yù)測器簡稱為RF-VA。得到的損失值都產(chǎn)生了不同程度的下降,表明了Venn-Abers預(yù)測器具有改善分類性能的能力。

    表1 不同大小數(shù)據(jù)集下LR-VA、SVM-VA、RF-VA、LR、SVM和RF算法的平均損失函數(shù)值結(jié)果對(duì)比

    箱型圖主要用于顯示數(shù)據(jù)統(tǒng)計(jì)分布,圖像生成方式是通過排序,提取一組數(shù)據(jù)的上邊緣、下邊緣、中位數(shù)和兩個(gè)四分位數(shù),連接兩個(gè)四分位數(shù)形成箱體,再連接中位數(shù)和上下邊緣。圖4為LR、SVM、RF、LR-VA、SVM-VA、RF-VA在全部數(shù)據(jù)集下?lián)p失值的箱型圖。從損失值的中位數(shù)可以看出,LR-VA模型相對(duì)于LR模型降低了3.6%, SVM-VA模型相對(duì)于SVM模型降低了6%, RF-VA模型相對(duì)于RF模型降低了4%。從整體分布來看,LR-VA、LR、SVM-VA、SVM、RF-VA和RF的四分位差分別為0.085、0.088、0.035、0.06、0.04和0.12,可以很容易看出RF-VA和SVM-VA模型主要分布在較低的區(qū)域并且跨度很小。綜合評(píng)價(jià)具有最低的損失值的模型是RF-VA和SVM-VA模型;其次是LR-VA模型;表現(xiàn)最差的是RF模型,損失值數(shù)據(jù)比較發(fā)散。Venn-Abers預(yù)測器的有效性評(píng)估標(biāo)準(zhǔn)均小于相應(yīng)的基礎(chǔ)方法的評(píng)估標(biāo)準(zhǔn),這表明Venn-Abers預(yù)測器進(jìn)行的概率預(yù)測比相應(yīng)的基礎(chǔ)預(yù)測方法更有效。

    圖4 數(shù)據(jù)集的平均損失函數(shù)值結(jié)果箱型圖

    3.2 算法性能比較

    在第2節(jié)將Venn-Abers預(yù)測器輸出的概率對(duì)(p0,p1)擬合為一個(gè)概率值p,從而和基于靜態(tài)閾值的基礎(chǔ)算法方法進(jìn)行比較。由于概率值p代表預(yù)測標(biāo)簽為0的概率,p值越大則預(yù)測標(biāo)簽為0的可能性越高,p值越小則預(yù)測標(biāo)簽為0的可能性越低,即標(biāo)簽為1的可能性越高。在本文的日志異常檢測過程中,標(biāo)簽為0代表預(yù)測日志是正常的,標(biāo)簽為1代表預(yù)測日志是異常的。本文展示出預(yù)測標(biāo)簽(0和1)和概率值p之間的分布散點(diǎn)圖,若Venn-Abers預(yù)測器得到的p值結(jié)果在[0, 1]區(qū)間呈現(xiàn)兩極分化,說明Venn-Abers預(yù)測器的質(zhì)量很好,如圖5(d)、圖6(d)和圖7(d)所示。但是在實(shí)驗(yàn)過程中發(fā)現(xiàn)p值的分布并不僅僅局限于0和1的附近,存在處于中間的p值。那么根據(jù)p值在[0, 1]區(qū)間的分布情況對(duì)測試對(duì)象的標(biāo)簽進(jìn)行再次預(yù)測。具體可以通過設(shè)置閾值c,來對(duì)2.1節(jié)的準(zhǔn)確性評(píng)價(jià)指標(biāo)進(jìn)行一定程度的控制,若p>c則說明該測試對(duì)象對(duì)應(yīng)的標(biāo)簽為異常。在實(shí)驗(yàn)過程中,通過調(diào)整閾值c的大小[21],以使預(yù)測準(zhǔn)確性盡可能接近1。

    圖5 不同閾值下LR模型預(yù)測概率值p和標(biāo)簽分布關(guān)系

    圖7 不同閾值下RF模型預(yù)測概率值p和標(biāo)簽分布關(guān)系

    在圖5(a)LR模型中,會(huì)發(fā)現(xiàn)p處于[0.6, 0.8]之間比較密集,這部分p值對(duì)應(yīng)什么樣的標(biāo)簽對(duì)實(shí)驗(yàn)結(jié)果有很大的影響。故設(shè)置三個(gè)閾值c取值分別為0.6、0.72和0.8來檢測密集區(qū)間內(nèi)的日志異常的變化情況,p值和測試標(biāo)簽的分布情況如圖5所示。當(dāng)c取0.6時(shí)對(duì)應(yīng)圖5(b),此時(shí)處于[0.6, 0.8]區(qū)間內(nèi)的p值對(duì)應(yīng)的標(biāo)簽均為異常。當(dāng)c取0.8時(shí)對(duì)應(yīng)圖5(c),此時(shí)處于[0.6, 0.8]區(qū)間內(nèi)的p值對(duì)應(yīng)的標(biāo)簽均為正常。

    取中間值0.72時(shí),使[0.6, 0.8]區(qū)間內(nèi)對(duì)應(yīng)的p值對(duì)應(yīng)的標(biāo)簽既有正常又有異常,如圖5(a)所示。這樣可以通過評(píng)價(jià)指標(biāo)得出使異常檢測結(jié)果更加準(zhǔn)確的閾值。通過這種方式可以把概率值轉(zhuǎn)化為預(yù)測結(jié)果,進(jìn)而得到三組基于Venn-Abers的實(shí)驗(yàn)結(jié)果,簡稱VA_0.6、VA_0.72和VA_0.8,與基于靜態(tài)閾值的基礎(chǔ)算法通過柱狀圖進(jìn)行實(shí)驗(yàn)對(duì)比。實(shí)驗(yàn)結(jié)果顯示與基于靜態(tài)閾值分類的方式相比,基于Venn-Abers的分類方式不僅能夠成功檢測異常,而且其Accuracy、Recall、Precision和F1值均有不同程度的提高。圖8為LR和Venn-Abers實(shí)驗(yàn)結(jié)果對(duì)比柱狀圖,當(dāng)c=0.72時(shí),通過Venn-Abers分類器得到的實(shí)驗(yàn)結(jié)果最好,其中Accuracy和Recall提高了0.02和0.03,Precision和F1值提高0.01。在c=0.8和0.6時(shí)其結(jié)果不如基于靜態(tài)閾值的基礎(chǔ)算法,因?yàn)榇藭r(shí)Venn-Abers分類器得到的實(shí)驗(yàn)結(jié)果出現(xiàn)較多的FP和FN。

    圖6中顯示了在SVM算法中當(dāng)閾值c=0.6、0.72和0.8時(shí),p值和標(biāo)簽的分布情況。圖9為基于靜態(tài)閾值的基礎(chǔ)算法SVM和基于Venn-Abers預(yù)測器的實(shí)驗(yàn)結(jié)果,可以看出c=0.72時(shí)基于Venn-Abers預(yù)測器的Accuracy和F1值提高了近0.07,Recall提高了0.13,誤報(bào)率從0.12降低到0.03;c=0.8時(shí),由于FP數(shù)量增多導(dǎo)致Accuracy、Precision和F1值降低;c=0.6時(shí),FP數(shù)量減少但是效果沒有c=0.72好。補(bǔ)充在RF算法中的情況,在圖7中展示了RF算法中當(dāng)閾值c=0.6、0.72和0.8時(shí),p值和標(biāo)簽的分布情況。會(huì)發(fā)現(xiàn)RF算法中p值和標(biāo)簽的分布會(huì)更加趨于兩極,中間的離散點(diǎn)相對(duì)較少,說明RF算法相對(duì)適合這種日志異常檢測問題的分類。從圖10可以看出基礎(chǔ)算法RF的實(shí)驗(yàn)結(jié)果是三種算法中最好的,當(dāng)c=0.72時(shí),Accuracy和Recall提高了0.03和0.05, F1值提高0.02,但是Precision降低0.02。從圖10可以看出,基于Venn-Abers算法的Precision均低于基礎(chǔ)算法RF,說明基礎(chǔ)算法RF對(duì)日志異常中的漏報(bào)檢測效果很好。實(shí)驗(yàn)結(jié)果表明,與三種基于靜態(tài)閾值的基礎(chǔ)算法相比,開發(fā)的三種Venn-Abers預(yù)測器的方法會(huì)動(dòng)態(tài)改變c值以適應(yīng)數(shù)據(jù)的變化,大多數(shù)情況下能作出更好的判斷。

    圖9 SVM和Venn-Abers實(shí)驗(yàn)結(jié)果柱狀圖

    圖10 RF和Venn-Abers實(shí)驗(yàn)結(jié)果柱狀圖

    對(duì)于概率值p在[0, 1]區(qū)間的分布進(jìn)行分析,如果概率值p分布在[0, 1]區(qū)間的兩極,那么檢測效果會(huì)是最好的。分析LR模型中概率值p的分布會(huì)發(fā)現(xiàn)p=0.487 805出現(xiàn)91次,p=0.689 441出現(xiàn)3 190次,p=0.765 957出現(xiàn)12 665次。追溯概率值p對(duì)應(yīng)的特征向量會(huì)發(fā)現(xiàn),同一個(gè)概率值p對(duì)應(yīng)的特征向量相似度很高,只有某一個(gè)維度不同。比如p=0.689 441對(duì)應(yīng)的特征向量只有事件11出現(xiàn)6次和事件12出現(xiàn)2次的不同。同樣的情況出現(xiàn)在SVM模型和RF模型中,p=0.738 409出現(xiàn)13 258次,概率p值對(duì)應(yīng)的特征向量要么重復(fù),要么高度相似。單個(gè)模型的檢測不能對(duì)高度相似的特征向量作出很好的判斷,如果能使用模型融合取不同算法的優(yōu)勢(shì),則可以進(jìn)一步細(xì)致地對(duì)日志數(shù)據(jù)進(jìn)行判斷,從而得到更好的檢測結(jié)果,這也是下一個(gè)階段的研究內(nèi)容。

    4 結(jié) 語

    在這項(xiàng)工作中,采用HDFS真實(shí)數(shù)據(jù)集來對(duì)系統(tǒng)日志異常進(jìn)行檢測。本文引入靈活的機(jī)器學(xué)習(xí)框架Venn-Abers預(yù)測器,可以對(duì)日志數(shù)據(jù)進(jìn)行精確有效的概率預(yù)測。代替?zhèn)鹘y(tǒng)分類器僅預(yù)測未知對(duì)象的單個(gè)標(biāo)簽,這種預(yù)測器在一定程度上補(bǔ)充了預(yù)測標(biāo)簽正確的可能性。在概率預(yù)測有效性方面,開發(fā)了三種Venn-Abers預(yù)測器與三種基礎(chǔ)算法進(jìn)行比較。損失函數(shù)的實(shí)驗(yàn)結(jié)果表明,盡管采用相同的基礎(chǔ)分類方法,但隨著樣本數(shù)量的增加,Venn-Abers預(yù)測器的有效性保持不變。在概率預(yù)測準(zhǔn)確性方面,Venn-Abers預(yù)測器計(jì)算出預(yù)測標(biāo)簽的概率值,通過統(tǒng)計(jì)概率值和預(yù)測標(biāo)簽的分布情況,動(dòng)態(tài)設(shè)置最佳閾值,能更加準(zhǔn)確地檢測日志異常情況。同時(shí),對(duì)Venn-Abers預(yù)測器計(jì)算概率值方法的改進(jìn),使算法運(yùn)行效率得到提高。實(shí)驗(yàn)結(jié)果表明Venn-Abers 預(yù)測器不僅對(duì)機(jī)器學(xué)習(xí)預(yù)測日志數(shù)據(jù)結(jié)果的正確性進(jìn)行有效性評(píng)估,而且對(duì)日志數(shù)據(jù)進(jìn)行了更高效、準(zhǔn)確的分類。

    在下一個(gè)階段的研究中,將研究更多不同的評(píng)分分類器集成到該原型平臺(tái),以檢測系統(tǒng)日志的異常。不同的模型有各自的長處,性能具有差異性,將引入模型融合使各個(gè)模型發(fā)揮出優(yōu)勢(shì),來進(jìn)一步提高日志異常檢測的準(zhǔn)確性。

    猜你喜歡
    預(yù)測器日志標(biāo)簽
    輸入延遲系統(tǒng)的切換偽預(yù)測鎮(zhèn)定控制器
    一名老黨員的工作日志
    扶貧日志
    心聲歌刊(2020年4期)2020-09-07 06:37:14
    一種改進(jìn)型TAGE分支預(yù)測器的實(shí)現(xiàn)
    無懼標(biāo)簽 Alfa Romeo Giulia 200HP
    車迷(2018年11期)2018-08-30 03:20:32
    不害怕撕掉標(biāo)簽的人,都活出了真正的漂亮
    海峽姐妹(2018年3期)2018-05-09 08:21:02
    游學(xué)日志
    標(biāo)簽化傷害了誰
    基于多進(jìn)制查詢樹的多標(biāo)簽識(shí)別方法
    一種基于粗集和SVM的Web日志挖掘模型
    狠狠狠狠99中文字幕| 久久亚洲真实| 欧美成人性av电影在线观看| 欧美中文日本在线观看视频| 亚洲一区二区三区不卡视频| 18禁观看日本| 亚洲熟妇中文字幕五十中出| 免费看十八禁软件| 少妇的丰满在线观看| 亚洲午夜理论影院| 精品国产超薄肉色丝袜足j| 一区二区日韩欧美中文字幕| 久久久久久久久久久久大奶| 国内久久婷婷六月综合欲色啪| 少妇熟女aⅴ在线视频| 99国产极品粉嫩在线观看| 国产午夜精品久久久久久| 制服诱惑二区| 亚洲精品av麻豆狂野| 日韩中文字幕欧美一区二区| av视频免费观看在线观看| 大型av网站在线播放| www国产在线视频色| 女人爽到高潮嗷嗷叫在线视频| 亚洲 国产 在线| 老汉色av国产亚洲站长工具| 国产成人av教育| 亚洲 欧美一区二区三区| 久久久久久免费高清国产稀缺| 日本免费一区二区三区高清不卡 | 午夜亚洲福利在线播放| 欧美黄色淫秽网站| 色综合婷婷激情| 一本综合久久免费| 日韩成人在线观看一区二区三区| 国产真人三级小视频在线观看| 91成年电影在线观看| 在线观看免费午夜福利视频| 在线国产一区二区在线| 色在线成人网| 国产成人精品无人区| 久久精品国产99精品国产亚洲性色 | 国产三级黄色录像| 啦啦啦韩国在线观看视频| 啪啪无遮挡十八禁网站| а√天堂www在线а√下载| 黄色片一级片一级黄色片| 亚洲色图综合在线观看| 伊人久久大香线蕉亚洲五| 日韩欧美三级三区| 露出奶头的视频| 两个人看的免费小视频| 国产精品永久免费网站| 日韩一卡2卡3卡4卡2021年| 国产精品秋霞免费鲁丝片| 欧美日韩一级在线毛片| e午夜精品久久久久久久| 国产精品久久电影中文字幕| 日本免费a在线| 午夜精品久久久久久毛片777| 亚洲国产中文字幕在线视频| 又紧又爽又黄一区二区| 亚洲视频免费观看视频| 久久久国产成人免费| 怎么达到女性高潮| 91字幕亚洲| 女性生殖器流出的白浆| 99久久精品国产亚洲精品| 亚洲av成人一区二区三| 免费少妇av软件| av视频在线观看入口| 精品日产1卡2卡| 国产精品乱码一区二三区的特点 | 18禁裸乳无遮挡免费网站照片 | 一级毛片精品| 女人高潮潮喷娇喘18禁视频| 国产成人精品久久二区二区91| 中文字幕色久视频| www日本在线高清视频| 美女大奶头视频| 两个人视频免费观看高清| 一卡2卡三卡四卡精品乱码亚洲| 少妇熟女aⅴ在线视频| 美女午夜性视频免费| 亚洲九九香蕉| 熟女少妇亚洲综合色aaa.| 一边摸一边抽搐一进一出视频| 久久狼人影院| 亚洲人成电影观看| 国产精品一区二区免费欧美| 日本免费一区二区三区高清不卡 | 一边摸一边抽搐一进一出视频| 天天躁夜夜躁狠狠躁躁| 岛国视频午夜一区免费看| 午夜精品在线福利| 精品国内亚洲2022精品成人| 欧美+亚洲+日韩+国产| 亚洲美女黄片视频| 男女之事视频高清在线观看| 免费不卡黄色视频| 夜夜躁狠狠躁天天躁| 亚洲精品中文字幕在线视频| 久久久久久大精品| 亚洲欧美精品综合久久99| 欧美国产精品va在线观看不卡| 国产在线观看jvid| 1024视频免费在线观看| 精品第一国产精品| 黄色 视频免费看| 亚洲熟妇熟女久久| 最新在线观看一区二区三区| 免费无遮挡裸体视频| 婷婷六月久久综合丁香| 久久香蕉激情| 欧美绝顶高潮抽搐喷水| 他把我摸到了高潮在线观看| 精品熟女少妇八av免费久了| 免费观看精品视频网站| 国产精品99久久99久久久不卡| 精品电影一区二区在线| 丝袜在线中文字幕| 国产三级在线视频| 久久精品国产亚洲av香蕉五月| 婷婷六月久久综合丁香| 久久中文字幕人妻熟女| 男女下面插进去视频免费观看| 一本久久中文字幕| 精品午夜福利视频在线观看一区| 亚洲 欧美一区二区三区| 变态另类成人亚洲欧美熟女 | 可以在线观看的亚洲视频| 正在播放国产对白刺激| 日韩国内少妇激情av| 成人国产一区最新在线观看| 深夜精品福利| 人成视频在线观看免费观看| 亚洲精华国产精华精| bbb黄色大片| 成人18禁高潮啪啪吃奶动态图| 99久久久亚洲精品蜜臀av| 亚洲av日韩精品久久久久久密| 女人精品久久久久毛片| 欧美激情久久久久久爽电影 | 日日爽夜夜爽网站| 中文字幕人成人乱码亚洲影| 欧美成狂野欧美在线观看| 日日夜夜操网爽| 日本免费一区二区三区高清不卡 | 老司机午夜福利在线观看视频| 亚洲av电影不卡..在线观看| 9191精品国产免费久久| 日韩国内少妇激情av| 成人特级黄色片久久久久久久| 亚洲人成电影免费在线| 午夜免费激情av| 99久久精品国产亚洲精品| 久久国产精品人妻蜜桃| 九色亚洲精品在线播放| 亚洲精品一区av在线观看| 欧美日本中文国产一区发布| 亚洲精品久久国产高清桃花| 成年女人毛片免费观看观看9| 一区二区三区国产精品乱码| 成人特级黄色片久久久久久久| 国产主播在线观看一区二区| 中文字幕另类日韩欧美亚洲嫩草| 黄色片一级片一级黄色片| 50天的宝宝边吃奶边哭怎么回事| 一边摸一边做爽爽视频免费| 巨乳人妻的诱惑在线观看| 日韩大码丰满熟妇| 国产伦一二天堂av在线观看| 男女床上黄色一级片免费看| 91麻豆av在线| 午夜视频精品福利| 亚洲黑人精品在线| 亚洲av片天天在线观看| 国产不卡一卡二| 禁无遮挡网站| 熟妇人妻久久中文字幕3abv| 国产免费av片在线观看野外av| 后天国语完整版免费观看| 国产熟女xx| 精品人妻在线不人妻| 制服诱惑二区| 亚洲色图av天堂| 亚洲男人天堂网一区| 极品人妻少妇av视频| 亚洲午夜精品一区,二区,三区| 亚洲男人天堂网一区| 日韩一卡2卡3卡4卡2021年| 老熟妇乱子伦视频在线观看| 女性生殖器流出的白浆| 午夜福利成人在线免费观看| 亚洲 国产 在线| 亚洲av熟女| 精品第一国产精品| 一a级毛片在线观看| 黄片大片在线免费观看| 欧美国产精品va在线观看不卡| 岛国视频午夜一区免费看| 免费不卡黄色视频| 精品少妇一区二区三区视频日本电影| 黄色视频,在线免费观看| 亚洲第一电影网av| 亚洲美女黄片视频| 亚洲人成电影免费在线| 亚洲欧美激情在线| 国产一区二区三区在线臀色熟女| 久久国产精品人妻蜜桃| 一a级毛片在线观看| 亚洲一卡2卡3卡4卡5卡精品中文| 欧美乱码精品一区二区三区| 国产亚洲精品第一综合不卡| 久久人妻福利社区极品人妻图片| 一级片免费观看大全| 一进一出抽搐动态| 最新美女视频免费是黄的| 日韩精品中文字幕看吧| 一a级毛片在线观看| 国产成人精品久久二区二区91| 成年女人毛片免费观看观看9| av电影中文网址| 久久人人精品亚洲av| 久久中文字幕人妻熟女| 久久久久久亚洲精品国产蜜桃av| 国产亚洲精品一区二区www| av天堂在线播放| 丝袜人妻中文字幕| 色老头精品视频在线观看| АⅤ资源中文在线天堂| 国内久久婷婷六月综合欲色啪| 大型黄色视频在线免费观看| 久久久久久久久久久久大奶| 久久精品亚洲精品国产色婷小说| 免费高清视频大片| 欧美一级毛片孕妇| 99国产极品粉嫩在线观看| www.www免费av| 女人爽到高潮嗷嗷叫在线视频| 国产私拍福利视频在线观看| 婷婷丁香在线五月| av天堂在线播放| 久久久久九九精品影院| 一边摸一边抽搐一进一出视频| 久久香蕉国产精品| 黄片播放在线免费| 午夜福利一区二区在线看| x7x7x7水蜜桃| 精品国产超薄肉色丝袜足j| 久久久久久大精品| 首页视频小说图片口味搜索| 搞女人的毛片| 美女免费视频网站| 18禁美女被吸乳视频| 亚洲免费av在线视频| 啦啦啦观看免费观看视频高清 | 国产精品,欧美在线| 麻豆av在线久日| 九色国产91popny在线| 色哟哟哟哟哟哟| 美女高潮到喷水免费观看| 国产极品粉嫩免费观看在线| 国产成人精品久久二区二区免费| 成人国产一区最新在线观看| 99国产综合亚洲精品| 久久久久国产一级毛片高清牌| 又黄又粗又硬又大视频| 美女免费视频网站| 日本 欧美在线| 九色国产91popny在线| 一区二区三区高清视频在线| 女性生殖器流出的白浆| 久久草成人影院| 欧美日韩精品网址| 国产精品av久久久久免费| 人妻丰满熟妇av一区二区三区| 99re在线观看精品视频| 欧美丝袜亚洲另类 | 久久性视频一级片| 老司机深夜福利视频在线观看| 亚洲精品美女久久久久99蜜臀| 亚洲一区高清亚洲精品| 日本免费一区二区三区高清不卡 | 亚洲国产欧美日韩在线播放| 午夜福利在线观看吧| 成人永久免费在线观看视频| 国产精品自产拍在线观看55亚洲| 夜夜躁狠狠躁天天躁| 18禁观看日本| 老鸭窝网址在线观看| 91九色精品人成在线观看| 中文字幕人妻丝袜一区二区| 国产片内射在线| 日韩成人在线观看一区二区三区| 久久这里只有精品19| 身体一侧抽搐| 亚洲 欧美 日韩 在线 免费| 一级片免费观看大全| 中文字幕精品免费在线观看视频| 91成年电影在线观看| 欧美一级a爱片免费观看看 | 色在线成人网| 夜夜夜夜夜久久久久| 成人av一区二区三区在线看| 好男人在线观看高清免费视频 | 亚洲,欧美精品.| 亚洲精品国产一区二区精华液| 国产男靠女视频免费网站| 69精品国产乱码久久久| 亚洲精品中文字幕在线视频| 制服诱惑二区| 欧美亚洲日本最大视频资源| 久久久久国内视频| 在线观看66精品国产| 国产高清有码在线观看视频 | 久久这里只有精品19| 悠悠久久av| 桃红色精品国产亚洲av| 久久精品91蜜桃| 18美女黄网站色大片免费观看| 岛国在线观看网站| 亚洲一码二码三码区别大吗| www日本在线高清视频| av在线天堂中文字幕| 真人做人爱边吃奶动态| 成人亚洲精品一区在线观看| 99国产精品99久久久久| 日韩欧美一区二区三区在线观看| 亚洲一卡2卡3卡4卡5卡精品中文| 窝窝影院91人妻| 日韩免费av在线播放| av在线天堂中文字幕| 99久久综合精品五月天人人| 在线观看免费视频日本深夜| 国产欧美日韩精品亚洲av| 亚洲成a人片在线一区二区| 亚洲欧美精品综合一区二区三区| АⅤ资源中文在线天堂| 中文字幕色久视频| 在线观看www视频免费| 大陆偷拍与自拍| 欧美大码av| 久久久久亚洲av毛片大全| 夜夜爽天天搞| 日日爽夜夜爽网站| 精品一品国产午夜福利视频| 亚洲一卡2卡3卡4卡5卡精品中文| 搞女人的毛片| 日本精品一区二区三区蜜桃| 最新在线观看一区二区三区| 动漫黄色视频在线观看| 黄频高清免费视频| 日日摸夜夜添夜夜添小说| 国产精品香港三级国产av潘金莲| 一级作爱视频免费观看| 纯流量卡能插随身wifi吗| 久久香蕉激情| 黑人巨大精品欧美一区二区蜜桃| 可以在线观看的亚洲视频| 老熟妇仑乱视频hdxx| 亚洲五月天丁香| 国产精品电影一区二区三区| 国产一区在线观看成人免费| 国产国语露脸激情在线看| 一区二区三区高清视频在线| 热99re8久久精品国产| 精品电影一区二区在线| 日韩一卡2卡3卡4卡2021年| 老熟妇乱子伦视频在线观看| 久久人人精品亚洲av| 人成视频在线观看免费观看| 人妻久久中文字幕网| 国产精品98久久久久久宅男小说| 亚洲全国av大片| 成在线人永久免费视频| 在线观看日韩欧美| 午夜久久久在线观看| 中文亚洲av片在线观看爽| 精品免费久久久久久久清纯| 国产成人av激情在线播放| 国产xxxxx性猛交| 1024视频免费在线观看| 免费在线观看日本一区| 久久久久亚洲av毛片大全| 大型av网站在线播放| 人人澡人人妻人| 亚洲av成人不卡在线观看播放网| 免费女性裸体啪啪无遮挡网站| 国产av一区在线观看免费| 纯流量卡能插随身wifi吗| 最近最新免费中文字幕在线| 亚洲国产欧美网| 国产91精品成人一区二区三区| 最新在线观看一区二区三区| 亚洲精品中文字幕在线视频| 狠狠狠狠99中文字幕| 丁香六月欧美| 在线永久观看黄色视频| 国产区一区二久久| 少妇粗大呻吟视频| 欧美在线一区亚洲| 99久久99久久久精品蜜桃| 黄片小视频在线播放| 亚洲欧美精品综合久久99| 日韩免费av在线播放| 丝袜人妻中文字幕| 在线十欧美十亚洲十日本专区| 变态另类丝袜制服| 亚洲国产精品久久男人天堂| 国产亚洲精品第一综合不卡| 中文字幕人妻熟女乱码| av免费在线观看网站| 国产精品日韩av在线免费观看 | 男人舔女人的私密视频| 欧美成人一区二区免费高清观看 | 久久亚洲真实| 少妇 在线观看| 久久久久九九精品影院| 国产精品综合久久久久久久免费 | 妹子高潮喷水视频| 亚洲人成电影免费在线| 村上凉子中文字幕在线| 成人三级做爰电影| 国产精品久久久久久精品电影 | 久久精品91蜜桃| 后天国语完整版免费观看| ponron亚洲| 日韩一卡2卡3卡4卡2021年| 国产高清视频在线播放一区| a在线观看视频网站| 亚洲中文字幕一区二区三区有码在线看 | 嫁个100分男人电影在线观看| 欧美绝顶高潮抽搐喷水| 久久久水蜜桃国产精品网| 欧美中文综合在线视频| 日韩精品青青久久久久久| 视频区欧美日本亚洲| 色综合欧美亚洲国产小说| 亚洲av成人不卡在线观看播放网| 禁无遮挡网站| 国产精品98久久久久久宅男小说| 国产精品精品国产色婷婷| 黄色a级毛片大全视频| 美女午夜性视频免费| 女警被强在线播放| 妹子高潮喷水视频| 中亚洲国语对白在线视频| 超碰成人久久| 欧美日本中文国产一区发布| 丰满人妻熟妇乱又伦精品不卡| 欧美av亚洲av综合av国产av| 欧美人与性动交α欧美精品济南到| 侵犯人妻中文字幕一二三四区| 丝袜美腿诱惑在线| 中文字幕av电影在线播放| 午夜福利,免费看| 亚洲avbb在线观看| 村上凉子中文字幕在线| 一进一出抽搐动态| 亚洲中文字幕一区二区三区有码在线看 | 国产精品久久久久久人妻精品电影| 精品不卡国产一区二区三区| av福利片在线| 精品久久久久久,| 亚洲精品国产一区二区精华液| 国产精品,欧美在线| 亚洲精品av麻豆狂野| 精品国产乱码久久久久久男人| 免费无遮挡裸体视频| 给我免费播放毛片高清在线观看| 伊人久久大香线蕉亚洲五| 可以免费在线观看a视频的电影网站| 国产又爽黄色视频| 中出人妻视频一区二区| 色在线成人网| 国产成人av教育| 亚洲一区二区三区色噜噜| 午夜福利在线观看吧| 亚洲色图av天堂| 性色av乱码一区二区三区2| 国产激情欧美一区二区| 午夜a级毛片| 99久久精品国产亚洲精品| 亚洲成人久久性| 亚洲五月婷婷丁香| 午夜激情av网站| 欧美日韩亚洲综合一区二区三区_| 亚洲第一电影网av| 国产又色又爽无遮挡免费看| 亚洲成a人片在线一区二区| 久久欧美精品欧美久久欧美| 麻豆国产av国片精品| 少妇 在线观看| 叶爱在线成人免费视频播放| 午夜久久久在线观看| 久久久久亚洲av毛片大全| 久久精品成人免费网站| 亚洲午夜精品一区,二区,三区| 女生性感内裤真人,穿戴方法视频| 精品国产乱子伦一区二区三区| 亚洲,欧美精品.| 最新美女视频免费是黄的| 亚洲视频免费观看视频| 高清在线国产一区| 国产精品久久久久久精品电影 | 91大片在线观看| 欧美黑人欧美精品刺激| 亚洲欧美日韩高清在线视频| 人人妻人人爽人人添夜夜欢视频| 99久久精品国产亚洲精品| 久久久久久人人人人人| 纯流量卡能插随身wifi吗| 真人一进一出gif抽搐免费| 国产片内射在线| 中文字幕人妻丝袜一区二区| 国产成人啪精品午夜网站| 色综合亚洲欧美另类图片| 天堂影院成人在线观看| 宅男免费午夜| 级片在线观看| 欧美午夜高清在线| 精品一区二区三区av网在线观看| 国产精品二区激情视频| 日韩大尺度精品在线看网址 | 免费在线观看黄色视频的| 成人av一区二区三区在线看| 嫁个100分男人电影在线观看| 亚洲色图av天堂| 久久中文字幕人妻熟女| 韩国av一区二区三区四区| 免费看美女性在线毛片视频| 韩国av一区二区三区四区| 国产精品av久久久久免费| 亚洲av片天天在线观看| 久久久国产精品麻豆| 亚洲中文日韩欧美视频| 免费高清在线观看日韩| 99久久99久久久精品蜜桃| 1024香蕉在线观看| 成人18禁高潮啪啪吃奶动态图| 免费在线观看完整版高清| xxx96com| 国产黄a三级三级三级人| 日日爽夜夜爽网站| 亚洲av日韩精品久久久久久密| 91在线观看av| 18禁美女被吸乳视频| 欧美绝顶高潮抽搐喷水| 亚洲精华国产精华精| 悠悠久久av| 在线av久久热| 日韩欧美一区二区三区在线观看| 日韩大尺度精品在线看网址 | 亚洲精品av麻豆狂野| 午夜福利免费观看在线| av电影中文网址| 久久久久久久精品吃奶| 超碰成人久久| av网站免费在线观看视频| 自线自在国产av| 国内久久婷婷六月综合欲色啪| 免费高清在线观看日韩| 亚洲国产高清在线一区二区三 | 色尼玛亚洲综合影院| 精品久久久久久久毛片微露脸| 97人妻天天添夜夜摸| 国产成人av教育| 亚洲激情在线av| 亚洲专区字幕在线| 免费人成视频x8x8入口观看| 国产精品1区2区在线观看.| 高清毛片免费观看视频网站| 国产一区二区三区视频了| 亚洲一卡2卡3卡4卡5卡精品中文| 日韩中文字幕欧美一区二区| 在线观看免费日韩欧美大片| 亚洲中文字幕一区二区三区有码在线看 | 在线免费观看的www视频| 久久人人爽av亚洲精品天堂| 亚洲精品国产精品久久久不卡| 丝袜美足系列| 免费观看人在逋| 亚洲色图综合在线观看| 亚洲狠狠婷婷综合久久图片| 啦啦啦观看免费观看视频高清 | 丁香六月欧美| 久久久久久大精品| 国产成人av激情在线播放| 丰满的人妻完整版| 婷婷丁香在线五月| 色在线成人网| 桃色一区二区三区在线观看| 亚洲 国产 在线| 久久久国产成人免费| 国产午夜福利久久久久久| 这个男人来自地球电影免费观看| 色老头精品视频在线观看| 日本免费a在线| av电影中文网址| 俄罗斯特黄特色一大片| 久久久久久久久中文| 久久久久久久午夜电影| 男男h啪啪无遮挡| 黄色视频不卡| 中文字幕久久专区| 免费看美女性在线毛片视频| 亚洲精品一卡2卡三卡4卡5卡| 精品欧美国产一区二区三| 午夜免费成人在线视频| 日本在线视频免费播放| 国产一区二区激情短视频| 在线十欧美十亚洲十日本专区| 色播亚洲综合网| 亚洲午夜精品一区,二区,三区|