• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于時序分解的微服務(wù)調(diào)用鏈根因定位*

    2022-03-01 08:27:36韋強申董昭陽葉曉舟歐陽曄
    通信技術(shù) 2022年12期
    關(guān)鍵詞:根因調(diào)用時延

    宋 勇,韋強申,董昭陽,葉曉舟,歐陽曄,3

    (1.北京大學(xué),北京 100080;2.亞信科技(中國)有限公司,北京 100193;3.廣州亞信技術(shù)有限公司,廣東 廣州 511400)

    0 引言

    如今,越來越多的應(yīng)用程序使用微服務(wù)架構(gòu)[1]。微服務(wù)架構(gòu)將單體應(yīng)用切分成多個獨立的微服務(wù),這些微服務(wù)具有獨立開發(fā)、獨立部署、責(zé)任單一等優(yōu)點,使得整個系統(tǒng)更可靠、可擴展、更具彈性[2]。

    然而,微服務(wù)的規(guī)模數(shù)量巨大,且依賴關(guān)系復(fù)雜,例如,騰訊微信系統(tǒng)有超過3 000個微服務(wù)[3];Netflix有大約500個微服務(wù),日均處理20億應(yīng)用請求[4]。因此,當(dāng)一個微服務(wù)出現(xiàn)故障的時候,故障會沿著微服務(wù)的依賴關(guān)系傳播,從而引起大規(guī)模服務(wù)異常,使得微服務(wù)系統(tǒng)性能大大降低。此外,容器實例可以按照需求動態(tài)地創(chuàng)建和銷毀,使得系統(tǒng)具有高度的動態(tài)性和復(fù)雜性。因此,為保證系統(tǒng)運行的性能,快速檢測故障和定位根因仍然是一項艱巨的任務(wù)。

    通過分析現(xiàn)有文獻(xiàn)發(fā)現(xiàn),目前已經(jīng)有大量關(guān)于故障檢測和根因定位的方法,包括基于非結(jié)構(gòu)化日志的故障檢測方法[5-6]、基于系統(tǒng)關(guān)鍵性能指標(biāo)的故障檢測方法[7-8]、基于調(diào)用鏈日志的異常服務(wù)檢測方法并做根因分析[9-11],以及比較流行的通過構(gòu)造故障傳播圖實現(xiàn)的根因定位方法[12]。由于有些故障并不會嚴(yán)格按照節(jié)點調(diào)用的某一個方向傳播,且并不一定會體現(xiàn)在前端節(jié)點上,或者由于其他因素影響,有些統(tǒng)計相關(guān)性高的指標(biāo)實際并不一定具有很大的相關(guān)性;因此,使用以上方法不一定能夠?qū)崿F(xiàn)較好的根因定位效果。

    本文提出了一種基于調(diào)用鏈時序分解的微服務(wù)根因定位方法StudRank,該方法的前提是,需要對前端性能指標(biāo)做異常檢測,一旦發(fā)現(xiàn)異常,才會啟動StudRank的根因分析。具體而言,首先對調(diào)用鏈數(shù)據(jù)做預(yù)處理,計算節(jié)點的調(diào)用耗時,并且解析成含有調(diào)用關(guān)系的時序數(shù)據(jù);其次對調(diào)用關(guān)系的指標(biāo)做時序的異常檢測,如果為異常,則把節(jié)點標(biāo)記為異常;再次在動態(tài)構(gòu)建的拓?fù)鋱D中,萃取含有異常節(jié)點的異常子圖;最后構(gòu)造異常傳播的概率轉(zhuǎn)移矩陣,應(yīng)用隨機游走算法PageRank對異常節(jié)點打分排序。使用2020AIOps挑戰(zhàn)賽公開數(shù)據(jù)集[13]對本文所提方法進(jìn)行實驗與測試。實驗結(jié)果表明,所提方法在top1的精確度達(dá)到了84%,并與微服務(wù)根因分析經(jīng)典方法進(jìn)行了對比,較其中效果最好的MicroRCA準(zhǔn)確度提升了97.6%。

    本文的其余部分安排為:第1節(jié)討論相關(guān)工作,第2節(jié)詳細(xì)介紹StudRank方法,第3節(jié)描述實驗評估,第4節(jié)總結(jié)全文。

    1 相關(guān)工作

    目前已經(jīng)有許多關(guān)于微服務(wù)分布式系統(tǒng)的故障檢測和根因定位研究??偟膩碚f,這些研究提出的方法分為基于非結(jié)構(gòu)化日志分析的方法、基于系統(tǒng)關(guān)鍵性能指標(biāo)的方法、基于調(diào)用鏈日志的方法以及構(gòu)建故障傳播圖的方法。

    1.1 基于非結(jié)構(gòu)化日志的方法

    非結(jié)構(gòu)化日志分析的方法是一種常用的系統(tǒng)異常檢測方法。LogDC[5]是一種基于日志模型的問題診斷工具,其使用非結(jié)構(gòu)化日志分析方法對Kubernetes的云應(yīng)用程序進(jìn)行異常檢測。Jia等人[6]提出了一種基于日志的自動異常檢測方法,構(gòu)建了一個能夠捕獲服務(wù)間和服務(wù)內(nèi)的正常執(zhí)行流程的混合模型,如果觀察到的與模型存在偏差,則發(fā)出異常告警。然而這種非結(jié)構(gòu)化文本日志分析方法,很難進(jìn)行因果關(guān)系推導(dǎo),因此不太適用于故障根因定位。

    1.2 基于系統(tǒng)關(guān)鍵性能指標(biāo)的方法

    系統(tǒng)關(guān)鍵性能指標(biāo),指的是系統(tǒng)節(jié)點(物理機、虛擬機、應(yīng)用等)的CPU、內(nèi)存、磁盤等相關(guān)的性能指標(biāo)。很多方法通過分析性能指標(biāo)來定位根因,例如,Sieve方法[7]首先過濾掉不重要的指標(biāo)來降低指標(biāo)的維度,其次基于格蘭杰因果關(guān)系檢驗,分析組件之間的度量依賴關(guān)系,得到異常的根因;MicroRCA方法[8]通過將應(yīng)用程序性能癥狀與相應(yīng)的系統(tǒng)資源利用率相關(guān)聯(lián)來實時推斷根本原因,這種根因定位方法基于一個屬性圖,該圖對跨服務(wù)和機器的異常傳播進(jìn)行建模。然而,這些方法僅通過分析指標(biāo)的相關(guān)性來推斷服務(wù)是否異常,并不能準(zhǔn)確地判定根因結(jié)果。

    1.3 基于調(diào)用鏈日志的方法

    當(dāng)前已經(jīng)有很多記錄調(diào)用鏈日志的跟蹤工具和系統(tǒng)[14-17],如TraceAnomaly模型[10]基于調(diào)用鏈數(shù)據(jù)構(gòu)造服務(wù)的跟蹤向量,然后通過深度貝葉斯網(wǎng)絡(luò)學(xué)習(xí)跟蹤向量分布,如果檢測的跟蹤向量不符合分布,則會被認(rèn)為是異常;Seer模型[9]通過神經(jīng)網(wǎng)絡(luò)來分析調(diào)用鏈日志,并基于卷積神經(jīng)網(wǎng)絡(luò)模型過濾掉不影響性能的調(diào)用鏈節(jié)點,然后使用長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)學(xué)習(xí)時間和空間模式,來分析服務(wù)質(zhì)量;TraceRank模型[11]利用調(diào)用鏈數(shù)據(jù)的信息構(gòu)造異常傳播圖,并引入頻譜分析和基于PageRank的隨機游走方法來檢測異常服務(wù)。但是深度學(xué)習(xí)方法需要消耗大量的計算資源,并需要對不同的調(diào)用鏈模式建模,當(dāng)系統(tǒng)發(fā)生改變的時候,會導(dǎo)致模型效果大大降低,且構(gòu)造圖的方法需要遍歷所有的服務(wù)節(jié)點,因此,對于一個超大型的微服務(wù)系統(tǒng)來說,基于調(diào)用鏈日志的方法是低效的。

    1.4 構(gòu)建故障傳播圖的方法

    軟件架構(gòu)經(jīng)歷了從單體架構(gòu)到微服務(wù)的轉(zhuǎn)變,以實現(xiàn)軟件開發(fā)的彈性、敏捷性和可擴展性,進(jìn)而構(gòu)建故障傳播圖來定位故障根因。MicroHECL根因定位方法[12]基于動態(tài)構(gòu)建的服務(wù)調(diào)用圖分析可能的異常傳播鏈,并基于相關(guān)性分析對候選根本原因進(jìn)行排序。但是由于有些故障并不會嚴(yán)格按照節(jié)點調(diào)用的某一個方向傳播,且并不一定會體現(xiàn)在前端節(jié)點上,或者由于其他因素影響,有些統(tǒng)計相關(guān)性高的指標(biāo)實際并不一定具有很大的相關(guān)性;因此,使用這些方法不一定能夠?qū)崿F(xiàn)較好的根因定位效果。

    2 StudRank概述

    如圖1所示,StudRank總體方案分為3個部分:數(shù)據(jù)預(yù)處理、指標(biāo)異常檢測和根因定位。

    圖1 StudRank流程

    2.1 數(shù)據(jù)預(yù)處理

    數(shù)據(jù)預(yù)處理需要把調(diào)用鏈數(shù)據(jù)轉(zhuǎn)化為時序數(shù)據(jù),并把調(diào)用鏈中節(jié)點的調(diào)用關(guān)系(父子節(jié)點對)挖掘出來組成時序數(shù)據(jù)序列。本節(jié)內(nèi)容將詳細(xì)介紹數(shù)據(jù)預(yù)處理的流程。

    2.1.1 調(diào)用鏈數(shù)據(jù)的結(jié)構(gòu)

    調(diào)用鏈數(shù)據(jù)描述的是請求執(zhí)行過程中,調(diào)用微服務(wù)記錄的信息,其結(jié)構(gòu)如圖2所示。

    圖2 某一次請求調(diào)用微服務(wù)的拓?fù)浣Y(jié)構(gòu)

    每一次調(diào)用微服務(wù)一般會記錄時間戳、微服務(wù)名稱、響應(yīng)時延、該次調(diào)用的唯一標(biāo)識ID、上游節(jié)點ID,以及標(biāo)識每一次用戶請求的ID等信息。表1是某系統(tǒng)調(diào)用鏈數(shù)據(jù)的主要屬性。

    表1 某系統(tǒng)調(diào)用鏈數(shù)據(jù)的主要屬性

    2.1.2 計算節(jié)點的時延性能

    圖3展示的是某一次請求調(diào)用鏈的結(jié)構(gòu)和日志信息,長方形代表調(diào)用鏈訪問的微服務(wù)節(jié)點,記錄了時間戳、節(jié)點名稱和時延。

    圖3 某一個調(diào)用鏈路

    定義t(N)代表節(jié)點N的時間損耗,t0(N)代表N調(diào)用子節(jié)點的時間損耗,即節(jié)點N的時延性能,t0(N)表達(dá)式為:

    式中:Ni是N的下游節(jié)點。

    計算節(jié)點的時延性能,是因為它能消除時延在有依賴關(guān)系節(jié)點的異常傳播。如圖3,節(jié)點A和B明顯時延過大,有異常的癥狀。計算兩個節(jié)點的時延性能t0(A)=250 ms。顯然,B節(jié)點的異常癥狀沒有傳播到A節(jié)點。

    2.1.3 構(gòu)建結(jié)構(gòu)向量

    使用父節(jié)點時間戳、父節(jié)點、子節(jié)點、父節(jié)點時延性能構(gòu)造1個4元組向量。定義向量為:

    式中:t為調(diào)用鏈訪問N節(jié)點的時間戳;N為調(diào)用鏈的某個節(jié)點;N1,N2,…,Nm為N的下游子節(jié)點。如圖3,可以構(gòu)建兩個向量:(t1,A,[B],250),(t2,B,[C,D],1 930)。

    2.1.4 構(gòu)造時序數(shù)據(jù)

    將向量轉(zhuǎn)化為時序指標(biāo),父節(jié)點和任意一個子節(jié)點組成一個二元指標(biāo),式(2)可以轉(zhuǎn)化為m個指標(biāo),分別為(N,N2),(N,N2)…,(N,Nm),t0(N)轉(zhuǎn)化為指標(biāo)在時間t的值。

    對指標(biāo)按照分鐘平均采樣?;谟^察,如果一個節(jié)點出現(xiàn)故障,那么任意一個訪問該節(jié)點的調(diào)用鏈或者包含該節(jié)點的指標(biāo)對應(yīng)的時延或時延性能值都會過大,即這樣過大的值是占大多數(shù)的。對指標(biāo)按照分鐘采樣取平均,節(jié)點的故障特征不會被消除。如果該節(jié)點沒有故障,僅僅是同級節(jié)點故障造成的包含該節(jié)點的指標(biāo)值過大,這樣的點是少數(shù),可以通過平均采樣消除這些噪點的影響。

    2.2 指標(biāo)異常檢測

    對于待檢測的時間點或者時間段,檢測每一個指標(biāo)在該檢測時間下的值是否異常。采用核密度估計方法和差值法檢測,具體如下文所述。

    2.2.1 核密度估計方法

    對于某個指標(biāo),取一段正常的歷史數(shù)據(jù),根據(jù)該數(shù)據(jù),估計一個概率密度函數(shù)。如圖4所示,直方圖外面包裹的實線就是概率密度函數(shù)。

    圖4 單指標(biāo)密度函數(shù)

    對于待檢測數(shù)據(jù),計算檢測值的累積概率,定義如下:

    式中:x為連續(xù)型隨機變量,為檢測時間點指標(biāo)對應(yīng)的值,或者檢測時間段指標(biāo)對應(yīng)的平均值;f(x)為概率密度;α為可調(diào)閾值。Pr值越小,表明越可能是異常。

    2.2.2 差值法

    定義x-是指標(biāo)歷史正常值的均值,σ是指標(biāo)歷史正常值的標(biāo)準(zhǔn)差,θ是大于0的調(diào)節(jié)因子。α是檢測時間點指標(biāo)對應(yīng)的值,或者檢測時間段指標(biāo)對應(yīng)的平均值,如滿足式(4),則認(rèn)為該指標(biāo)是異常。

    2.2.3 其他情況

    如果時序指標(biāo)在某一個時間點是空值,那么,所有的調(diào)用鏈訪問這兩個父子節(jié)點對都沒有數(shù)據(jù),據(jù)筆者觀察,這是由被調(diào)用節(jié)點的故障導(dǎo)致的。

    基于集成的方法中,如果核密度估計方法和差值法的結(jié)果都是異常,或者在檢測窗口存在空值,那么指標(biāo)就是異常。

    異常檢測算法的部分流程如下:

    2.3 利用隨機游走算法定位根因

    通過2.1節(jié)和2.2節(jié)檢測出了可疑的異常節(jié)點,但是,無法確定哪個節(jié)點更可能是根因。受文獻(xiàn)[11]和文獻(xiàn)[18-21]的啟發(fā),筆者考慮使用隨機游走算法,即個性化的PageRank[22],對節(jié)點根因進(jìn)行定位。

    2.3.1 PageRank算法

    PageRank算法最初是谷歌公司用于網(wǎng)頁鏈接分析的算法,它可以對搜索引擎搜索的網(wǎng)頁鏈接進(jìn)行排序。其原理是根據(jù)網(wǎng)頁鏈接的數(shù)量,對網(wǎng)頁的重要性進(jìn)行排名。該算法通過概率轉(zhuǎn)移矩陣描述網(wǎng)頁之間的鏈接,為了防止有些網(wǎng)站鏈接不出去,又設(shè)計了偏好向量。PageRank算法描述如下:

    式中:π為節(jié)點(網(wǎng)頁)重要性得分向量;P為概率轉(zhuǎn)移矩陣;u為偏好向量;α∈[0,1],為阻尼因子。α越接近0,隨機游走越以偏好向量訪問節(jié)點;α越接近1,隨機游走越以概率轉(zhuǎn)移矩陣(圖結(jié)構(gòu))訪問節(jié)點。PageRank算法不僅可以用于網(wǎng)頁重要性排名,也可以用于系統(tǒng)的故障根因定位,其中,作為節(jié)點的異常得分越大,則節(jié)點故障的可能性越大。

    2.3.2 圖的構(gòu)造

    在定位根因之前,需要構(gòu)造異常傳播圖。由于觀察到異常在調(diào)用路徑上傳播,可以根據(jù)調(diào)用鏈數(shù)據(jù)的動態(tài)構(gòu)建異常傳播圖。構(gòu)建過程如下:

    (1)截取故障前一批調(diào)用鏈數(shù)據(jù)。數(shù)據(jù)包含了很多調(diào)用鏈,例如圖5中的調(diào)用鏈1、調(diào)用鏈2、調(diào)用鏈3。

    (2)確定圖的節(jié)點。把調(diào)用鏈數(shù)據(jù)中包含的節(jié)點作為圖節(jié)點,如圖5所示的調(diào)用鏈數(shù)據(jù)中的節(jié)點A、B、C、D、E、F、G。

    (3)確定圖的邊。如果調(diào)用鏈數(shù)據(jù)中,存在A節(jié)點調(diào)用B節(jié)點,那么在圖中,可以賦予圖節(jié)點A到B的有向邊,表示節(jié)點A出現(xiàn)故障的原因是節(jié)點B出現(xiàn)了故障,例如圖5中的A→B、A→C、B→D、B→E、B→F、C→G。

    圖5 異常傳播圖構(gòu)造過程

    總的來說,定義圖G=<V,E>,V是微服務(wù)節(jié)點(調(diào)用節(jié)點)的集合,定義E代表有向邊的集合,如果eij∈E,代表節(jié)點vi調(diào)用節(jié)點vj,即為vi到vj的有向邊。

    2.3.3 子圖的萃取

    如圖6(a)所示,得到異常傳播圖后,還需要萃取異常子圖,異常子圖記為G'=<V',E'>。在2.1節(jié)數(shù)據(jù)預(yù)處理中,把調(diào)用鏈轉(zhuǎn)化為多個時序指標(biāo)數(shù)據(jù),即父節(jié)點調(diào)用子節(jié)點的時序數(shù)據(jù),而時序指標(biāo)正好對應(yīng)了故障傳播圖的邊。把異常節(jié)點定義為異常時序指標(biāo)對應(yīng)邊起始的兩個節(jié)點。如圖6(b)所示,檢測到時序指標(biāo)(A,B)、(B,E)、(B,F(xiàn))是異常,則對應(yīng)的虛線邊就是異常,虛線邊兩邊的節(jié)點A、B、E、F是異常節(jié)點。那么,提取異常節(jié)點和異常邊作為子圖,如圖6(c)所示。

    圖6 子圖萃取過程

    2.3.4 子圖邊權(quán)重

    得到異常子圖G'=<V',E'>后,對于邊ei'j∈E'的權(quán)重計算如下:

    式中:x為2.2節(jié)中式(4)的差值;α和a為調(diào)節(jié)參數(shù)。使用該方法計算邊的權(quán)重的原因是,節(jié)點的調(diào)用時延越大越可能是異常,而x是時延指標(biāo)的偏移量,x越大,對應(yīng)的Sij越大,就代表調(diào)用vj產(chǎn)生異常的概率也越大。

    2.3.5 概率轉(zhuǎn)移矩陣

    隨機游走算法將按照子圖G'=<V',E'>游走,并且以Sij的概率前向游走。但是,由于環(huán)境的復(fù)雜性,子圖并不足以描述異常的傳播關(guān)系,例如,節(jié)點vi調(diào)用節(jié)點vj,對應(yīng)檢測出的時延性能值異常,既可能是vi故障的癥狀表現(xiàn),也可能是vj故障的癥狀表現(xiàn)。因此,為了使結(jié)果具有魯棒性,需要進(jìn)一步定義隨機游走算法的概率轉(zhuǎn)移矩陣P。

    (1)前向游走。如果eij∈E',那么vi調(diào)用vj產(chǎn)生的時延性能異常,很可能vj是異常的因,即故障由vj傳播到vi,且權(quán)重Sij越大,傳播的可能性也越大。由式(6)可知Sij∈[0,1],所以可以定義P的轉(zhuǎn)移概率pij等于Sij,即:

    (2)后向游走。對于eij∈E',且eji?E',如果vi是異常的因,隨機游走從vi以概率pij游走到vj,那么就再也無法游走到真正的根因了。因此,前向游走需要允許以一定的概率返回,則后向概率定義為:

    式中:δ∈[0,1],為可調(diào)參數(shù)。

    (3)其他游走。對于eij?E',且eji?E',考慮到系統(tǒng)的復(fù)雜性,可以賦予一個低的概率值,則定義:

    結(jié)合前向游走、后向游走和其他游走,隨機游走算法在子圖G'=<V',E'>的概率矩陣定義為:

    再對概率矩陣標(biāo)準(zhǔn)化,就可以得到概率轉(zhuǎn)移矩陣P:

    2.3.6 偏好向量

    偏好向量代表的是節(jié)點的異常概率。從2.1節(jié)的式(1)可以看出,節(jié)點調(diào)用的時延性能消除了時延異常的傳播依賴,因此如果節(jié)點出現(xiàn)故障,那么該節(jié)點調(diào)用或者被調(diào)用時出現(xiàn)時延性能異常癥狀的概率越大。在提取的異常子圖中,節(jié)點的中心度越大,則越有可能是故障。因此,通過計算子圖節(jié)點的中心度來代表節(jié)點的異常程度,節(jié)點vi的異常表示如下:

    對節(jié)點的中心度歸一化,就可以得到偏好向量為:

    2.3.7 節(jié)點排名

    綜上,通過計算概率轉(zhuǎn)移矩陣和偏好向量u,基于PageRank式(5),對節(jié)點異常得分向量π進(jìn)行迭代,直到π趨于平穩(wěn),就是各個節(jié)點的最終得分,根據(jù)得分就可以判斷故障根因。

    3 實驗評估

    在這一部分,將使用2020國際AIOps挑戰(zhàn)賽公開數(shù)據(jù)集評估的方法,將本文所提方法與硬編碼、MircoRCA、MicroHECL 3種常用方法進(jìn)行對比,最后將討論所提方法的特征。

    3.1 實驗準(zhǔn)備

    3.1.1 數(shù)據(jù)

    測試StudRank方法使用的數(shù)據(jù)是2020國際AIOps挑戰(zhàn)賽公開的數(shù)據(jù),該數(shù)據(jù)來源于某運營商真實生產(chǎn)環(huán)境。通過統(tǒng)計甄別公開的15天的數(shù)據(jù),得到3種故障類型,分別為網(wǎng)絡(luò)故障、CPU故障和數(shù)據(jù)庫故障。本文實驗只使用其中的調(diào)用鏈數(shù)據(jù),并且實驗方法只定位到調(diào)用鏈訪問的節(jié)點,不考慮資源依賴的宿主機。

    3.1.2 對比方法說明

    本文采用的對比方法為硬編碼、MircoRCA、MicroHECL,這3種方法的具體介紹如下文所述。

    (1)硬編碼

    硬編碼是將規(guī)則或數(shù)據(jù)直接嵌入到程序中的方法。設(shè)置指標(biāo)的靜態(tài)閾值,并根據(jù)設(shè)置的靜態(tài)閾值產(chǎn)生的告警分析根因。使用該方法進(jìn)行實驗時,模擬靜態(tài)閾值的方法,設(shè)置微服務(wù)調(diào)用時延的閾值為1 000 ms。超過閾值,則微服務(wù)為異常。再利用已知的拓?fù)潢P(guān)系定位根因。

    (2)MircoRCA

    該方法基于已知拓?fù)鋱D關(guān)系,利用BIRCH算法計算服務(wù)的時延調(diào)用異常,并基于異常檢測構(gòu)建異常子圖以及時延和性能指標(biāo)的相關(guān)性計算子圖邊的權(quán)重,再利用個性化PageRank算法,對異常節(jié)點評分。本文使用該方法進(jìn)行實驗時,不考慮與調(diào)用無關(guān)的宿主機節(jié)點,在計算相關(guān)性的時候,不考慮容器或主機的網(wǎng)絡(luò)指標(biāo)。

    (3)MicroHECL

    該方法分為3個部分:首先根據(jù)待分析的時間窗口動態(tài)構(gòu)建服務(wù)依賴圖,其次采用剪枝策略分析異常傳播鏈,最后基于皮爾森相關(guān)系數(shù)對候選根因排序??紤]到本文實驗數(shù)據(jù)的特性,只分析服務(wù)的響應(yīng)時間。在使用該方法進(jìn)行實驗時,使用和StudRank一樣的方法做異常檢測。

    3.1.3 度量標(biāo)準(zhǔn)

    為了度量算法在數(shù)據(jù)集的性能,將使用以下度量指標(biāo):

    (1)排名前的精度,記為PR@K,指的是算法推斷出的根因排名在前面的概率。定義:

    式中:R為故障根因集合;r為某一個故障的根因集;f(i,r)的值為1或0,如果算法推理出的根因排名中的第i個在r里,為1;若不在r里,則為0。

    (2)平均精度,記為AP,指PR@K的平均值,其表達(dá)式為:

    式中:N為微服務(wù)的數(shù)量。

    3.2 實驗結(jié)果分析

    表2、表3、表4和表5對比了StudRank與硬編碼、MircoRCA、MicroHECL這3種方法對所有故障和各個類型故障的根因定位表現(xiàn),并進(jìn)行了具體的分析,其中,inf表示對比對象的值為0,提升幅度極大。

    表2 StudRank與硬編碼、MircoRCA、MicroHECL在故障集根因定位的效果對比

    表3 StudRank與硬編碼、MircoRCA、MicroHECL在網(wǎng)絡(luò)故障根因定位的效果對比

    表4 StudRank與硬編碼、MircoRCA、MicroHECL在CPU故障根因定位的效果對比

    表5 StudRank與硬編碼、MircoRCA、MicroHECL在DB故障檢測根因定位的效果對比

    3.2.1 StudRank效果

    算法StudRank在整個故障集R的評測指標(biāo)中,PR@1達(dá) 到84%,PR@3,PR@5和AP都超過了92%。這在一定程度上體現(xiàn)了StudRank算法在調(diào)用鏈根因定位的優(yōu)越性。在各種故障類型中,所提算法對CPU故障進(jìn)行根因定位的效果最好,所有評測指標(biāo)都達(dá)到100%。這是因為CPU故障會對服務(wù)的調(diào)用時延和被調(diào)用時延都產(chǎn)生影響,癥狀比較明顯,根因很容易被檢測到。對網(wǎng)絡(luò)故障的根因定位效果僅次于對CPU故障進(jìn)行根因定位的效果,除了PR@1外,其他指標(biāo)都超過了90%。網(wǎng)絡(luò)故障比CPU故障效果差,是因為某些根因沒有在調(diào)用鏈節(jié)點上,比如os_001和os_009,數(shù)據(jù)中也沒有微服務(wù)與這些宿主機節(jié)點的映射信息;因此,這類根因是無法推斷出來的。表現(xiàn)最差的是針對DB故障的根因定位,這是因為有些故障不會體現(xiàn)在服務(wù)的調(diào)用時延上,這種基于調(diào)用時延的根因定位方法是無法檢測出來的。

    3.2.2 方法對比

    在整個故障集R上進(jìn)行實驗的結(jié)果表明,StudRank相對于表現(xiàn)其次的MicroRCA,指標(biāo)PR@1提升了97.6%,指標(biāo)PR@3提升了21.2%,指標(biāo)PR@5提升了16.4%,AP提升了13.8%。硬編碼的效果最差,因為靜態(tài)的閾值不能有效地捕獲到異常。

    在對網(wǎng)絡(luò)故障數(shù)據(jù)進(jìn)行根因定位的實驗中,StudRank在所有的指標(biāo)都表現(xiàn)得最好,指標(biāo)值都在90%左右,相對于MicroRCA,StudRank的PR@1提升了69.30%,AP提升了6.5%。硬編碼和MicroHECL的效果最差。

    在對CPU故障數(shù)據(jù)進(jìn)行根因定位的實驗中,StudRank表現(xiàn)最好,所有指標(biāo)都達(dá)到了100%,原因正如3.2.1節(jié)分析的那樣。相對而言,MicroRCA除在PR@1指標(biāo)上差了一些,其他指標(biāo)都與StudRank接近。排除硬編碼方法,MicroHECL表現(xiàn)得最差,PR@1和PR@3均低于14%。這是因為CPU故障的根因有些并不在拓?fù)滏湕l的最下游或者最上游,這與MicroHECL的假設(shè)相違背了。

    在對DB故障數(shù)據(jù)進(jìn)行根因定位的實驗中,如3.2.1節(jié)分析的那樣,有些故障不會體現(xiàn)在服務(wù)的調(diào)用時延上,或者時延性能的癥狀并不明顯。因此,基于相關(guān)性分析的MicroRCA和MicroHECL,很難捕捉到異常癥狀,其PR@1和PR@3不足8%。而StudRank不涉及相關(guān)性分析,基于核密度估計和差值統(tǒng)計量能夠捕捉到微弱的異常癥狀,因此,StudRank方法的表現(xiàn)最好,PR@1達(dá)到了40%,PR@3達(dá)到了73.3%。

    3.3 進(jìn)一步討論

    StudRank是基于指標(biāo)異常檢測進(jìn)行根因分析,那么,指標(biāo)異常檢測的質(zhì)量在一定程度上影響了根因分析的結(jié)果。本節(jié)將進(jìn)一步討論核密度估計方法超參數(shù)和差值法超參數(shù)對結(jié)果的影響。

    核密度估計方法檢測質(zhì)量受控于式(3)中的閾值α,即顯著水平,如圖7所示,其中,橫坐標(biāo)代表閾值取值,縱坐標(biāo)代表PR@K值的水平。在實驗的時候,把原來異常檢測模塊的差值法去掉,調(diào)整核密度的超參數(shù)。已知閾值取值在[0,1]范圍,值越大,則對異常越靈敏,檢測的異常越多。對于PR@1,橫坐標(biāo)閾值越大,對應(yīng)的縱坐標(biāo)性能值有逐漸減小的趨勢。這是因為隨著異常檢測越來越靈敏,出現(xiàn)假陽性的概率也越大,從而會影響最后異常評分的排名。對于PR@3,雖然閾值變大,異常檢測越來越靈敏,但性能值不會有多大的變化。這是因為真正的異常指標(biāo)不會被漏檢,在構(gòu)造異常子圖權(quán)重和偏好向量時不會有太大的改變,因此,最后評分的排名也不會有過大的變動。

    圖7 核密度估計方法調(diào)節(jié)閾值后,PR@K值的表現(xiàn)

    差值法受控于式(4)中的調(diào)節(jié)因子。調(diào)節(jié)因子是一個大于0的正數(shù),值越小則對異常越靈敏。圖8給出了在調(diào)節(jié)因子分別為1,2,3,4,5的條件下性能的情況。如圖8所示,調(diào)節(jié)因子對結(jié)果無影響。這是因為該異常檢測方法能檢測到所有由根因故障引起的異常指標(biāo),當(dāng)調(diào)節(jié)因子變大時,雖然異常指標(biāo)變少了,但是基于PageRank的隨機游走算法還是能夠正常推斷出根因。

    圖8 差值法調(diào)節(jié)因子后,PR@K值的表現(xiàn)

    4 結(jié)語

    本文提出了一種基于調(diào)用鏈時序分解的微服務(wù)根因定位方法StudRank。該方法首先通過計算調(diào)用節(jié)點的時延性能,把調(diào)用鏈數(shù)據(jù)轉(zhuǎn)化為多個時序數(shù)據(jù);其次基于指標(biāo)異常檢測,構(gòu)造異常子圖;最后基于PageRank的隨機游走算法,對節(jié)點根因定位?;诠_數(shù)據(jù)集對所提方法進(jìn)行實驗,結(jié)果表明,所提方法的PR@1指標(biāo)達(dá)到了84%,并與微服務(wù)根因分析經(jīng)典方法進(jìn)行了對比,較其中效果最好的MicroRCA指標(biāo)提升了97.6%。然而,如果存在某一種類型的調(diào)用鏈,其歷史數(shù)據(jù)比較少,或者訪問的頻次小,出現(xiàn)故障時,很可能這類故障會被漏檢。此時,如果分析每個調(diào)用鏈,又會造成計算效率低下的問題。因此,如何高效且細(xì)粒度地分析調(diào)用鏈,是未來需要進(jìn)一步研究的方向。

    猜你喜歡
    根因調(diào)用時延
    根因分析法提高藥品不良反應(yīng)報告合格率
    核電項目物項調(diào)用管理的應(yīng)用研究
    基于GCC-nearest時延估計的室內(nèi)聲源定位
    電子制作(2019年23期)2019-02-23 13:21:12
    LabWindows/CVI下基于ActiveX技術(shù)的Excel調(diào)用
    基于改進(jìn)二次相關(guān)算法的TDOA時延估計
    基于矩陣編碼的自動路測根因定位方法
    根因分析法在提高科室備用藥品質(zhì)量管理中的應(yīng)用
    基于系統(tǒng)調(diào)用的惡意軟件檢測技術(shù)研究
    FRFT在水聲信道時延頻移聯(lián)合估計中的應(yīng)用
    基于分段CEEMD降噪的時延估計研究
    精品一区二区三区视频在线| 国产一区二区在线观看日韩| 黄色一级大片看看| 午夜精品一区二区三区免费看| av一本久久久久| 日本免费在线观看一区| 大香蕉久久网| 天天一区二区日本电影三级| 亚洲最大成人手机在线| 日韩精品有码人妻一区| 赤兔流量卡办理| 91精品国产九色| 青春草国产在线视频| videossex国产| av免费观看日本| 亚洲经典国产精华液单| 男女那种视频在线观看| 国产片特级美女逼逼视频| 狂野欧美激情性xxxx在线观看| 深夜a级毛片| 老司机影院毛片| 免费黄频网站在线观看国产| 亚洲国产色片| 天美传媒精品一区二区| 亚洲国产精品专区欧美| 日韩欧美 国产精品| 欧美日韩一区二区视频在线观看视频在线 | 精品国产露脸久久av麻豆| 免费黄频网站在线观看国产| 少妇人妻精品综合一区二区| 亚洲色图综合在线观看| 高清日韩中文字幕在线| 午夜福利高清视频| 搞女人的毛片| 日日啪夜夜爽| 国产 精品1| a级毛片免费高清观看在线播放| 亚洲精品亚洲一区二区| 18+在线观看网站| 国产免费又黄又爽又色| 国产色爽女视频免费观看| 亚洲人成网站在线播| 亚洲精品中文字幕在线视频 | 国模一区二区三区四区视频| 中文欧美无线码| 欧美日韩一区二区视频在线观看视频在线 | 国产精品一区www在线观看| 亚洲国产欧美人成| 亚洲精品乱码久久久久久按摩| 岛国毛片在线播放| 欧美日本视频| 久久久久国产精品人妻一区二区| 少妇裸体淫交视频免费看高清| 亚州av有码| 欧美日韩在线观看h| 最近中文字幕2019免费版| 久久久精品免费免费高清| 久热久热在线精品观看| 美女主播在线视频| 免费观看在线日韩| 一个人看视频在线观看www免费| 国产成人午夜福利电影在线观看| 天堂网av新在线| 日韩欧美精品免费久久| 在线观看三级黄色| 日韩大片免费观看网站| 在线观看一区二区三区| 亚洲电影在线观看av| 国产免费又黄又爽又色| 免费黄色在线免费观看| 日本爱情动作片www.在线观看| 少妇的逼好多水| 精品久久国产蜜桃| 亚洲av欧美aⅴ国产| 亚洲性久久影院| 一级爰片在线观看| 性色av一级| 在线 av 中文字幕| 国精品久久久久久国模美| 色哟哟·www| 亚洲怡红院男人天堂| 亚洲激情五月婷婷啪啪| 亚洲经典国产精华液单| 亚洲精品一二三| av在线老鸭窝| 成人亚洲精品av一区二区| 国产 精品1| 欧美xxxx黑人xx丫x性爽| 听说在线观看完整版免费高清| 亚洲综合色惰| 91aial.com中文字幕在线观看| 人体艺术视频欧美日本| 欧美激情国产日韩精品一区| 中文字幕久久专区| 国产乱人偷精品视频| 黄色视频在线播放观看不卡| 男女边吃奶边做爰视频| 亚洲av男天堂| 亚洲av男天堂| 最近最新中文字幕免费大全7| 菩萨蛮人人尽说江南好唐韦庄| 五月伊人婷婷丁香| 大话2 男鬼变身卡| 国产又色又爽无遮挡免| 国产 一区 欧美 日韩| 在线观看一区二区三区激情| 能在线免费看毛片的网站| 久久久久久久精品精品| 亚洲伊人久久精品综合| 精华霜和精华液先用哪个| 成年女人看的毛片在线观看| 国产午夜福利久久久久久| 人人妻人人澡人人爽人人夜夜| 国产高清不卡午夜福利| 亚洲最大成人中文| 成人美女网站在线观看视频| 成人亚洲精品av一区二区| 久久99热6这里只有精品| 一本一本综合久久| 亚洲精品影视一区二区三区av| 嫩草影院精品99| 2018国产大陆天天弄谢| 观看免费一级毛片| 亚洲精品国产av成人精品| 国产成人免费无遮挡视频| 99九九线精品视频在线观看视频| 夫妻午夜视频| xxx大片免费视频| 大码成人一级视频| 精华霜和精华液先用哪个| 你懂的网址亚洲精品在线观看| 毛片一级片免费看久久久久| 国产成人免费无遮挡视频| 一二三四中文在线观看免费高清| 99久国产av精品国产电影| 王馨瑶露胸无遮挡在线观看| 国产成人免费无遮挡视频| 超碰av人人做人人爽久久| 久久6这里有精品| 午夜老司机福利剧场| 夫妻午夜视频| 色吧在线观看| 精品人妻视频免费看| 精品一区二区免费观看| 在线观看一区二区三区| 精品国产乱码久久久久久小说| 精品一区二区免费观看| 日本免费在线观看一区| 久久久久久久久久久免费av| 九草在线视频观看| 欧美人与善性xxx| 亚洲国产精品999| 波多野结衣巨乳人妻| 大又大粗又爽又黄少妇毛片口| 成人美女网站在线观看视频| 国产精品麻豆人妻色哟哟久久| 国产乱人偷精品视频| 久久久久久久国产电影| 亚洲精品国产av蜜桃| 香蕉精品网在线| 日本黄色片子视频| 青春草国产在线视频| 久久精品久久久久久久性| 99热这里只有是精品在线观看| 久久精品国产亚洲网站| 麻豆精品久久久久久蜜桃| 三级国产精品片| 日本黄色片子视频| 国产乱来视频区| 一级黄片播放器| 听说在线观看完整版免费高清| 高清日韩中文字幕在线| 日日啪夜夜撸| 久久99热这里只有精品18| 久久久精品94久久精品| 69av精品久久久久久| 免费观看的影片在线观看| 在线免费观看不下载黄p国产| 欧美日韩国产mv在线观看视频 | 国产一区二区在线观看日韩| 爱豆传媒免费全集在线观看| 久久久久精品久久久久真实原创| 亚洲av欧美aⅴ国产| 91久久精品电影网| 亚洲成色77777| 久久久久久久久久人人人人人人| 国产精品一区二区性色av| 亚洲av国产av综合av卡| 看免费成人av毛片| 不卡视频在线观看欧美| 久久鲁丝午夜福利片| 国产毛片a区久久久久| 女人久久www免费人成看片| 黄色配什么色好看| 伦理电影大哥的女人| 人人妻人人澡人人爽人人夜夜| 欧美区成人在线视频| 永久网站在线| 中文字幕av成人在线电影| 国产亚洲5aaaaa淫片| 日本与韩国留学比较| 亚洲成人中文字幕在线播放| 亚洲怡红院男人天堂| av免费在线看不卡| 国产成人精品婷婷| 最近中文字幕高清免费大全6| 国内精品宾馆在线| 美女高潮的动态| 国产精品伦人一区二区| 熟妇人妻不卡中文字幕| 真实男女啪啪啪动态图| 人妻 亚洲 视频| 国产伦理片在线播放av一区| 十八禁网站网址无遮挡 | 一边亲一边摸免费视频| 97在线视频观看| 一级二级三级毛片免费看| 亚洲aⅴ乱码一区二区在线播放| 国模一区二区三区四区视频| 亚洲va在线va天堂va国产| 日韩欧美精品免费久久| 亚洲欧美中文字幕日韩二区| 午夜激情福利司机影院| 又爽又黄a免费视频| 国产成人午夜福利电影在线观看| 精品国产露脸久久av麻豆| av播播在线观看一区| 久久久久久九九精品二区国产| 欧美亚洲 丝袜 人妻 在线| freevideosex欧美| 人人妻人人澡人人爽人人夜夜| av福利片在线观看| 午夜福利网站1000一区二区三区| 国产成人福利小说| 中文乱码字字幕精品一区二区三区| 真实男女啪啪啪动态图| 人人妻人人澡人人爽人人夜夜| 亚洲成人av在线免费| 亚洲av日韩在线播放| 国产极品天堂在线| 日韩伦理黄色片| 18禁裸乳无遮挡动漫免费视频 | 男人狂女人下面高潮的视频| 精品亚洲乱码少妇综合久久| 精品视频人人做人人爽| 十八禁网站网址无遮挡 | 色视频www国产| 熟妇人妻不卡中文字幕| 国产探花在线观看一区二区| 日韩欧美 国产精品| 精品久久国产蜜桃| 在现免费观看毛片| 精品久久久久久久人妻蜜臀av| 神马国产精品三级电影在线观看| 亚洲av免费在线观看| 下体分泌物呈黄色| 夜夜爽夜夜爽视频| 久久久亚洲精品成人影院| 舔av片在线| 五月天丁香电影| 最近最新中文字幕大全电影3| www.av在线官网国产| 亚洲av.av天堂| 熟女人妻精品中文字幕| 国产免费又黄又爽又色| 久久久久久久久久人人人人人人| 国产国拍精品亚洲av在线观看| 日韩一区二区三区影片| 人人妻人人爽人人添夜夜欢视频 | 一区二区三区四区激情视频| av在线老鸭窝| 夜夜看夜夜爽夜夜摸| 色吧在线观看| 国模一区二区三区四区视频| 中文字幕久久专区| 欧美日韩综合久久久久久| 精品国产三级普通话版| 亚洲av电影在线观看一区二区三区 | 国产视频内射| 人人妻人人看人人澡| 国内少妇人妻偷人精品xxx网站| 国产一区二区亚洲精品在线观看| 成人二区视频| 波野结衣二区三区在线| 国产成人精品婷婷| 婷婷色综合www| 日本一本二区三区精品| 国产精品.久久久| 91aial.com中文字幕在线观看| 激情五月婷婷亚洲| 美女内射精品一级片tv| 免费看日本二区| 日韩欧美一区视频在线观看 | 天天躁日日操中文字幕| 男人狂女人下面高潮的视频| 亚洲人成网站高清观看| 高清视频免费观看一区二区| 亚洲欧美精品自产自拍| eeuss影院久久| 夫妻午夜视频| 日韩免费高清中文字幕av| 嘟嘟电影网在线观看| 秋霞伦理黄片| 99精国产麻豆久久婷婷| 日韩欧美精品v在线| 国产av不卡久久| 美女cb高潮喷水在线观看| 成人午夜精彩视频在线观看| 久久国产乱子免费精品| av卡一久久| 国产乱来视频区| 高清在线视频一区二区三区| 欧美激情国产日韩精品一区| 午夜福利高清视频| 国产视频首页在线观看| 国产老妇伦熟女老妇高清| 新久久久久国产一级毛片| 大香蕉久久网| 亚洲天堂av无毛| 亚洲国产欧美人成| 在线 av 中文字幕| 欧美97在线视频| 日本黄大片高清| 啦啦啦在线观看免费高清www| 麻豆成人午夜福利视频| 日韩欧美一区视频在线观看 | 亚洲,一卡二卡三卡| av国产久精品久网站免费入址| 99热6这里只有精品| 一级毛片aaaaaa免费看小| 在线看a的网站| 自拍欧美九色日韩亚洲蝌蚪91 | 精品视频人人做人人爽| 免费看日本二区| 日韩,欧美,国产一区二区三区| 又大又黄又爽视频免费| 久久久久九九精品影院| 免费人成在线观看视频色| 少妇人妻一区二区三区视频| 午夜激情久久久久久久| 热99国产精品久久久久久7| 18禁动态无遮挡网站| 久久精品国产亚洲av涩爱| 2022亚洲国产成人精品| 亚洲国产欧美在线一区| 久久97久久精品| a级毛色黄片| av专区在线播放| 日本黄大片高清| 97超视频在线观看视频| videossex国产| 狠狠精品人妻久久久久久综合| 亚洲欧美日韩东京热| 欧美日韩在线观看h| 成人特级av手机在线观看| 下体分泌物呈黄色| 日韩一区二区视频免费看| 大话2 男鬼变身卡| 欧美少妇被猛烈插入视频| 男人爽女人下面视频在线观看| 成人欧美大片| 亚洲精品,欧美精品| 色播亚洲综合网| 国产成人a区在线观看| 国产爱豆传媒在线观看| 亚洲欧洲日产国产| 最近的中文字幕免费完整| 国产大屁股一区二区在线视频| 成人亚洲精品一区在线观看 | 久久久久久久久久久丰满| 另类亚洲欧美激情| 22中文网久久字幕| 久久99热这里只有精品18| 天美传媒精品一区二区| 中文乱码字字幕精品一区二区三区| 亚洲三级黄色毛片| av网站免费在线观看视频| 一边亲一边摸免费视频| 免费观看无遮挡的男女| 国产91av在线免费观看| 白带黄色成豆腐渣| eeuss影院久久| 少妇猛男粗大的猛烈进出视频 | 国产乱人视频| 男女国产视频网站| 少妇 在线观看| 亚洲欧美成人精品一区二区| 蜜臀久久99精品久久宅男| 激情 狠狠 欧美| 青春草国产在线视频| 国产精品不卡视频一区二区| 国产极品天堂在线| 偷拍熟女少妇极品色| 亚洲精品中文字幕在线视频 | 国产亚洲5aaaaa淫片| 成人漫画全彩无遮挡| 亚洲成人一二三区av| 日韩,欧美,国产一区二区三区| 亚洲精品成人久久久久久| 一二三四中文在线观看免费高清| 精品99又大又爽又粗少妇毛片| 看免费成人av毛片| 日韩不卡一区二区三区视频在线| 美女内射精品一级片tv| 新久久久久国产一级毛片| 免费观看av网站的网址| 国产亚洲91精品色在线| 亚洲成人久久爱视频| 午夜视频国产福利| av在线观看视频网站免费| 夫妻午夜视频| 国产精品久久久久久精品电影小说 | 观看美女的网站| 伊人久久国产一区二区| 91久久精品电影网| 国产黄片视频在线免费观看| 亚洲av在线观看美女高潮| 欧美精品人与动牲交sv欧美| 一区二区三区四区激情视频| 直男gayav资源| 插逼视频在线观看| av免费在线看不卡| 久久久久精品性色| 九草在线视频观看| 国产成人精品婷婷| 亚洲精品456在线播放app| 欧美区成人在线视频| 亚洲伊人久久精品综合| 春色校园在线视频观看| 在线播放无遮挡| 国产成年人精品一区二区| 成人二区视频| 久久99蜜桃精品久久| 国产人妻一区二区三区在| 在线a可以看的网站| 精品一区在线观看国产| 久久精品国产鲁丝片午夜精品| 中文字幕av成人在线电影| 国产亚洲最大av| 干丝袜人妻中文字幕| 国产毛片a区久久久久| 一本色道久久久久久精品综合| 亚洲精品第二区| av福利片在线观看| 久久久国产一区二区| 国产亚洲精品久久久com| 国产伦精品一区二区三区四那| 深夜a级毛片| 欧美日韩国产mv在线观看视频 | 亚洲精品456在线播放app| 在线a可以看的网站| 国产黄a三级三级三级人| 女人被狂操c到高潮| 成人鲁丝片一二三区免费| 大又大粗又爽又黄少妇毛片口| 亚洲精品,欧美精品| 大片免费播放器 马上看| 大又大粗又爽又黄少妇毛片口| 久久99精品国语久久久| 午夜福利视频精品| 男人添女人高潮全过程视频| 国产黄频视频在线观看| 久久午夜福利片| 人妻 亚洲 视频| 99热国产这里只有精品6| 一本一本综合久久| 人人妻人人爽人人添夜夜欢视频 | 亚洲,一卡二卡三卡| 在线观看一区二区三区激情| 国产精品偷伦视频观看了| 亚洲婷婷狠狠爱综合网| 免费看不卡的av| 亚洲自偷自拍三级| 成人鲁丝片一二三区免费| 制服丝袜香蕉在线| 午夜福利视频精品| 少妇的逼水好多| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 久久久久久久国产电影| 久久久亚洲精品成人影院| 亚洲国产最新在线播放| 特级一级黄色大片| 激情五月婷婷亚洲| 免费少妇av软件| 亚洲欧美成人综合另类久久久| 在线免费十八禁| 网址你懂的国产日韩在线| 噜噜噜噜噜久久久久久91| 99热这里只有是精品50| 最新中文字幕久久久久| 国产精品一二三区在线看| 永久网站在线| 久久6这里有精品| 国产伦精品一区二区三区四那| 九九久久精品国产亚洲av麻豆| 韩国av在线不卡| 欧美xxⅹ黑人| 久久精品久久精品一区二区三区| 国产免费又黄又爽又色| 国内揄拍国产精品人妻在线| 少妇 在线观看| 精品熟女少妇av免费看| 国精品久久久久久国模美| 18+在线观看网站| 中国三级夫妇交换| 久久99热6这里只有精品| 国产av码专区亚洲av| 视频中文字幕在线观看| 国产探花在线观看一区二区| 26uuu在线亚洲综合色| 水蜜桃什么品种好| 国产男女超爽视频在线观看| 我要看日韩黄色一级片| 男女那种视频在线观看| 欧美日韩精品成人综合77777| 午夜爱爱视频在线播放| 三级男女做爰猛烈吃奶摸视频| 中国国产av一级| 日韩视频在线欧美| 草草在线视频免费看| 韩国高清视频一区二区三区| 国产午夜福利久久久久久| 毛片一级片免费看久久久久| 精品少妇黑人巨大在线播放| 欧美少妇被猛烈插入视频| 最近最新中文字幕大全电影3| 搡女人真爽免费视频火全软件| 干丝袜人妻中文字幕| 亚洲av国产av综合av卡| 亚洲av免费高清在线观看| 欧美最新免费一区二区三区| 久久99热这里只频精品6学生| 亚洲精华国产精华液的使用体验| 麻豆国产97在线/欧美| 免费少妇av软件| 国产欧美另类精品又又久久亚洲欧美| 99久久人妻综合| 亚洲自拍偷在线| 麻豆精品久久久久久蜜桃| 国内少妇人妻偷人精品xxx网站| 国产亚洲av嫩草精品影院| 看十八女毛片水多多多| 黄色怎么调成土黄色| 免费av观看视频| 精品久久久久久久久av| 国产免费又黄又爽又色| 国产成人免费观看mmmm| 熟妇人妻不卡中文字幕| 久久国产乱子免费精品| 韩国高清视频一区二区三区| 纵有疾风起免费观看全集完整版| 亚洲综合精品二区| 波野结衣二区三区在线| 丝袜美腿在线中文| 日韩,欧美,国产一区二区三区| 久久影院123| 波多野结衣巨乳人妻| av又黄又爽大尺度在线免费看| 又爽又黄a免费视频| 99热国产这里只有精品6| 成人鲁丝片一二三区免费| 亚洲精品自拍成人| 久久久久网色| 免费观看av网站的网址| av国产久精品久网站免费入址| 国产成人精品福利久久| 日本av手机在线免费观看| 日日摸夜夜添夜夜添av毛片| 欧美另类一区| 成人一区二区视频在线观看| 亚洲av免费在线观看| 又爽又黄a免费视频| 草草在线视频免费看| 成年av动漫网址| 久久精品国产自在天天线| 91精品国产九色| 又大又黄又爽视频免费| 尤物成人国产欧美一区二区三区| 日韩三级伦理在线观看| 黄色欧美视频在线观看| 免费不卡的大黄色大毛片视频在线观看| 国产91av在线免费观看| 精华霜和精华液先用哪个| 超碰97精品在线观看| av播播在线观看一区| 天堂俺去俺来也www色官网| 久久久午夜欧美精品| 99热6这里只有精品| 午夜福利在线在线| 少妇熟女欧美另类| 黄片无遮挡物在线观看| 亚洲精品中文字幕在线视频 | 日本猛色少妇xxxxx猛交久久| 可以在线观看毛片的网站| 一级毛片电影观看| 免费看不卡的av| 久久影院123| 久久鲁丝午夜福利片| 免费观看无遮挡的男女| 免费av不卡在线播放| 久久久久九九精品影院| 午夜福利在线观看免费完整高清在| 在线 av 中文字幕| 午夜日本视频在线| 免费看av在线观看网站| 亚洲av男天堂| 日本一本二区三区精品| av又黄又爽大尺度在线免费看| 国产成人精品一,二区| 一级片'在线观看视频| 久久久精品免费免费高清| 国产精品爽爽va在线观看网站| 色5月婷婷丁香| 一区二区三区四区激情视频| 黄色日韩在线|