• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于指標(biāo)相關(guān)性的網(wǎng)絡(luò)運維質(zhì)量評估模型

    2018-10-16 08:23:50吳沐陽
    計算機應(yīng)用 2018年9期
    關(guān)鍵詞:運維權(quán)重節(jié)點

    吳沐陽,劉 崢,王 洋,李 云,李 濤

    (1.南京郵電大學(xué) 計算機學(xué)院,南京 210046; 2.中國移動通信集團山西有限公司 網(wǎng)絡(luò)部,太原 030009)

    0 引言

    近年來,隨著移動設(shè)備的不斷普及、通信網(wǎng)絡(luò)的日益完善,移動用戶數(shù)量激增,各大運營商的競爭也越來越激烈。為了持續(xù)提供高質(zhì)量的網(wǎng)絡(luò)服務(wù)以及改善用戶體驗,網(wǎng)絡(luò)的運行和維護質(zhì)量管理成為運營商關(guān)注的重點,如何評估網(wǎng)絡(luò)運維質(zhì)量一直是通信服務(wù)領(lǐng)域的一個難題。

    網(wǎng)絡(luò)運維質(zhì)量包含網(wǎng)絡(luò)服務(wù)質(zhì)量、維護質(zhì)量等多個維度的評估目標(biāo),涉及到基站性能數(shù)據(jù)、維護工單數(shù)據(jù)、告警數(shù)據(jù)等多種異構(gòu)數(shù)據(jù)?,F(xiàn)代通信網(wǎng)絡(luò)范圍越來越廣泛,使用的設(shè)備越來越多樣化,各種監(jiān)控數(shù)據(jù)持續(xù)增長,而傳統(tǒng)專家經(jīng)驗的評估方式過于依賴人工分析,需要消耗大量人力資源和時間資源,并且難以應(yīng)對海量的異構(gòu)數(shù)據(jù)和設(shè)備線路優(yōu)化等網(wǎng)絡(luò)環(huán)境變化,最重要的是專家經(jīng)驗法包含太多主觀意見,很難合理運用這些數(shù)據(jù),建立客觀可靠的網(wǎng)絡(luò)運維質(zhì)量評估模型,達到全面準(zhǔn)確評估各維度質(zhì)量的目的。國際電信聯(lián)盟(International Telecommunication Union, ITU)[1]或是電信管理論壇(Telecom Management Forum, TMF)[2]等國際互聯(lián)網(wǎng)標(biāo)準(zhǔn)化組織只對于網(wǎng)絡(luò)質(zhì)量相關(guān)參數(shù)進行了定義和分類,給出了概念性的模型,但沒有對評估方法進行描述,也沒有給出具體的評估指標(biāo)體系,因此網(wǎng)絡(luò)運維質(zhì)量評估標(biāo)準(zhǔn)化在實踐中的應(yīng)用比較困難。

    本文關(guān)注構(gòu)建網(wǎng)絡(luò)運維質(zhì)量評估模型過程中的指標(biāo)體系建立問題,旨在通過數(shù)據(jù)驅(qū)動的無監(jiān)督方式來選擇評估指標(biāo),減少其中人工干預(yù)的部分,最終確定全面客觀的網(wǎng)絡(luò)運維質(zhì)量指標(biāo)體系。本文提出一種指標(biāo)分類方法,通過分析指標(biāo)間的互相關(guān)性,將指標(biāo)劃分為多個簇,每個簇中的指標(biāo)具有相似的信息量,從每個簇中選出一些指標(biāo)來代表這個類包含的信息,以此來達到全面而不重復(fù)地涵蓋原數(shù)據(jù)信息量的效果。這種方法尤其適用于含有過多指標(biāo)的監(jiān)控數(shù)據(jù),可以減少人力消耗,簡化質(zhì)量評估中權(quán)重指定等步驟,防止評估結(jié)果受到重復(fù)信息的影響。

    1 相關(guān)工作

    網(wǎng)絡(luò)運維質(zhì)量評估始終是運營商關(guān)注的重點,有很多研究者提出了自己的質(zhì)量評估模型或是改進了其中的關(guān)鍵技術(shù)。對于選定評價指標(biāo)步驟,運營商使用的傳統(tǒng)方法是依靠領(lǐng)域?qū)<医?jīng)驗選取評價指標(biāo),客觀方法主要有條件廣義方差極小法和主成分分析法。文獻[3]使用了條件廣義方差極小法,該方法在確定一個指標(biāo)集的值后,另一個指標(biāo)集的值如果變化幅度很小則表示兩個指標(biāo)集相似,可以刪除其中一個指標(biāo)集。文獻[4]介紹了主成分分析法,將原指標(biāo)數(shù)據(jù)線性變換為另一組不相關(guān)的變量,并且保持總方差不變,然后對新變量的方差按從大到小排序得到指標(biāo)的重要程度排序。主成分分析法可以同時完成指標(biāo)選取和權(quán)重確定步驟,但是因為經(jīng)過變換后的變量不再具有物理意義,所以很難解釋評估結(jié)果。上述兩種方法都可以精簡指標(biāo)集合,但是計算復(fù)雜不適用于海量異構(gòu)數(shù)據(jù)情況。文獻[5]提出一種關(guān)鍵績效指標(biāo)(Key Performance Indicator, KPI)指標(biāo)分類方法,計算指標(biāo)在不同數(shù)據(jù)集中的相關(guān)關(guān)系,統(tǒng)計出現(xiàn)多次相關(guān)關(guān)系的指標(biāo)確定為相似指標(biāo)來減少指標(biāo)維度。

    對于指標(biāo)數(shù)據(jù)的量化與處理,文獻[6]采用了模糊數(shù)學(xué)理論進行定性指標(biāo)的量化處理。文獻[7]總結(jié)了數(shù)據(jù)的標(biāo)準(zhǔn)化處理方法,包括Z-score標(biāo)準(zhǔn)化法和0-1標(biāo)準(zhǔn)化法等。還有一些文獻[8-11]研究了客觀的指標(biāo)權(quán)重確定方法:文獻[8]提出了一種基于標(biāo)準(zhǔn)方差系數(shù)的權(quán)重確定方法;文獻[9]提出基于指標(biāo)信息熵的熵權(quán)法,通過衡量指標(biāo)值的變異程度來決定權(quán)重;文獻[10]比較了離差最大法、熵權(quán)法、標(biāo)準(zhǔn)差法和CRITIC(CRiteria Importance Through Inter-criteria Correlation)法等多種客觀權(quán)重確定方法;文獻[11]引入沖突性的概念,對上述方法進行了改進和比較,其中引入沖突性的標(biāo)準(zhǔn)差法效果最好。網(wǎng)絡(luò)參數(shù)指標(biāo)權(quán)重的分析對于網(wǎng)絡(luò)設(shè)備的管理、事件挖掘和故障溯源都能起到輔助作用[12]。

    也有一些文獻[13-16]構(gòu)建了完整的質(zhì)量評估模型:文獻[13]使用模糊層次分析法建立了面向網(wǎng)絡(luò)業(yè)務(wù)性能的綜合評價模型;文獻[14]使用灰色關(guān)聯(lián)分析得到選定指標(biāo)的權(quán)重集,并構(gòu)建了指標(biāo)集到評價的模糊關(guān)系矩陣來完成網(wǎng)絡(luò)性能質(zhì)量的評估;文獻[15]利用相關(guān)向量機對灰色模糊綜合評估方法得到的網(wǎng)絡(luò)質(zhì)量評估模型進行訓(xùn)練,解決了基于支持向量機的評估模型所存在的過擬合等問題;文獻[16]基于TMF的服務(wù)水平協(xié)議(Service Level Agreement, SLA)建立了網(wǎng)絡(luò)服務(wù)質(zhì)量評估體系模型,但是這些質(zhì)量評估模型都采用人工分析方法選擇評估指標(biāo),缺乏客觀性。

    各標(biāo)準(zhǔn)組織也提出了一些通用模型和給出了相關(guān)術(shù)語的定義,對構(gòu)建網(wǎng)絡(luò)運維質(zhì)量評估模型具有啟發(fā)作用。TMF在GB923標(biāo)準(zhǔn)[17]中提出了與KPI指標(biāo)相應(yīng)的關(guān)鍵質(zhì)量指標(biāo)(Key Quality Indicator, KQI)的概念以及兩者的映射模型,關(guān)鍵指標(biāo)層級結(jié)構(gòu)。KQI是用于衡量網(wǎng)絡(luò)服務(wù)業(yè)務(wù)質(zhì)量的一系列指標(biāo),是面向業(yè)務(wù)的評估指標(biāo),是對KPI指標(biāo)的集成和補充。相比而言,KPI是以網(wǎng)絡(luò)性能為中心的衡量指標(biāo),而KQI則直接反映了網(wǎng)絡(luò)所承載的端到端的業(yè)務(wù)服務(wù)性能水平。關(guān)鍵指標(biāo)層級結(jié)構(gòu)只是一種通用思想,并沒有給出具體的評估指標(biāo)。

    ITU定義將服務(wù)質(zhì)量[18](Quality of Service, QoS)定義為一種電信業(yè)務(wù)的特性總和,表明其滿足明示和暗示業(yè)務(wù)用戶需求的能力;而網(wǎng)絡(luò)性能(Network Performance, NP)指的是網(wǎng)絡(luò)或部分網(wǎng)絡(luò)提供用戶之間通信功能的能力。這兩個概念容易混淆,在評價服務(wù)質(zhì)量的過程中只考慮網(wǎng)絡(luò)性能指標(biāo)是不全面的,服務(wù)質(zhì)量的評估應(yīng)該包含網(wǎng)絡(luò)性能和非網(wǎng)絡(luò)性能兩個方面。網(wǎng)絡(luò)性能包括誤碼率、延遲等,而非網(wǎng)絡(luò)性能包括提供時間、修復(fù)時間、資費范圍及投訴解決時間等。

    根據(jù)ITU給出的官方定義,與服務(wù)質(zhì)量相關(guān)的術(shù)語分為服務(wù)、網(wǎng)絡(luò)和管理三大類[18]。服務(wù)類術(shù)語包括了呼叫建立時間、業(yè)務(wù)可接入性性能、平均服務(wù)接入延遲、服務(wù)恢復(fù)手段及時間、語音質(zhì)量以及意見評分等;網(wǎng)絡(luò)類術(shù)語主要包括了可接入性、錯誤及故障概率和誤碼率等類別的指標(biāo),這類指標(biāo)側(cè)重于所提供的網(wǎng)絡(luò)服務(wù)的可用性和可靠性;管理類的術(shù)語涉及服務(wù)提供的速度和準(zhǔn)確率,因此包含很多時延類的指標(biāo),也涉及探究故障原因的指標(biāo),如中斷時長、平均恢復(fù)時間等。除了以上對服務(wù)質(zhì)量相關(guān)術(shù)語的分類,ITU在E.803建議書[19]中還提出了支持業(yè)務(wù)方面的服務(wù)質(zhì)量參數(shù)[20],一種88個,分為12類,涉及服務(wù)供應(yīng)、服務(wù)變更、技術(shù)升級、服務(wù)文檔、技術(shù)支持、商業(yè)支持、計費和收費等多個方面。ITU在G.1020建議書[21]也給出了與用戶相關(guān)的服務(wù)質(zhì)量與性能的定義。另外,ITU還在E.802建議書[22]中提出了一些概念性的通用模型、性能模型和市場模型。

    2 質(zhì)量評估模型構(gòu)建的一般化流程

    質(zhì)量評估有助于尋找評估對象存在的問題,幫助改善產(chǎn)品和服務(wù)質(zhì)量,因此近年來受到各業(yè)界的廣泛關(guān)注。質(zhì)量評估模型及其相關(guān)思想技術(shù)已成功運用于教育、管理、工程、計算機與通信網(wǎng)絡(luò)等多個領(lǐng)域[23-25]。雖然各領(lǐng)域的評估對象和評估目的都不相同,但是構(gòu)建模型的流程是相似的。本章總結(jié)并提出了構(gòu)建運維質(zhì)量評估模型的一般化流程,一共分為4步。

    1)選定評價指標(biāo):選取參與評估的指標(biāo);

    2)指標(biāo)量化與數(shù)據(jù)標(biāo)準(zhǔn)化處理:對定性數(shù)據(jù)進行量化,對所有數(shù)據(jù)進行標(biāo)準(zhǔn)化處理;

    3)確定指標(biāo)權(quán)重:質(zhì)量評估的關(guān)鍵步驟,根據(jù)指標(biāo)的重要性程度確定權(quán)重;

    4)建立評價模型:綜合標(biāo)準(zhǔn)化后的數(shù)據(jù)和對應(yīng)權(quán)重,建立評價模型,得到評估結(jié)果。

    本章還以網(wǎng)絡(luò)運維質(zhì)量評估模型為例,介紹各個步驟中的常用技術(shù)和關(guān)鍵方法

    2.1 選定評價指標(biāo)

    評價指標(biāo)是評價內(nèi)容的載體,評價結(jié)果由對評價指標(biāo)進行統(tǒng)計分析獲得,因此,選定的合適的評價指標(biāo)對構(gòu)建評估模型至關(guān)重要。在評估網(wǎng)絡(luò)運維質(zhì)量的過程中通常涉及到大量的參數(shù),全部分析會給計算帶來一定的困難,需要進一步地篩選指標(biāo)得到一個更小的而又不丟失原來指標(biāo)信息的指標(biāo)集。選擇指標(biāo)主要遵循3個原則[5,13]。

    1)精簡性:指標(biāo)過多會使計算變得復(fù)雜,而且會使分析結(jié)果沒有側(cè)重點,缺乏參考性;

    2)代表性:指標(biāo)需要盡量全面覆蓋待評估對象的屬性,避免信息丟失;

    3)不重疊性:指標(biāo)間應(yīng)該盡量不重疊,相關(guān)性越小越好,防止重復(fù)評估給結(jié)果帶來偏差。

    網(wǎng)絡(luò)運維質(zhì)量評估指標(biāo)的選取通常由運營商的專家憑主觀經(jīng)驗完成。隨著業(yè)務(wù)類型和網(wǎng)絡(luò)設(shè)備的增加,網(wǎng)絡(luò)性能數(shù)據(jù)的參數(shù)數(shù)量劇增,例如本文實驗所使用的某運營商公司的無線網(wǎng)絡(luò)優(yōu)化數(shù)據(jù)的參數(shù)就多達590多個,其中包括“切換成功率”“無線掉線率”和“切換成2G平均時長”等,涉及網(wǎng)絡(luò)的呼叫建立、移動性管理、資源利用和時延等多個維度的內(nèi)容。憑借人為定義的方式可以達到簡化評估指標(biāo)的效果,但是難以避免信息丟失和信息重復(fù)的問題。通信網(wǎng)絡(luò)也存在設(shè)備和線路更新、數(shù)據(jù)參數(shù)變化的情況,耗費大量資源建立的指標(biāo)體系很可能無法重復(fù)使用。

    本文提出一種基于相關(guān)性分類的指標(biāo)選取策略,挖掘指標(biāo)間相互關(guān)聯(lián)關(guān)系,將具有相似信息量的指標(biāo)劃分為一簇,選取簇中關(guān)鍵指標(biāo)來代表整個簇的指標(biāo),達到覆蓋盡可能多的信息量和減少重疊指標(biāo)的效果;并且在構(gòu)建質(zhì)量評估模型的第一步驟縮小待評估的指標(biāo)集合,減少后續(xù)步驟的計算量。具體方法將在后續(xù)的章節(jié)中詳細(xì)敘述。

    2.2 指標(biāo)量化與數(shù)據(jù)標(biāo)準(zhǔn)化處理

    按照指標(biāo)的數(shù)據(jù)類型指標(biāo),通常被分為定性指標(biāo)和定量指標(biāo)。按照ITU給出的定義,定量指標(biāo)是指可以(利用工具或觀察)衡量的參數(shù)以及量化確定的性能值[18],如“時延”“接通率”等。這些指標(biāo)的數(shù)據(jù)通常表示為數(shù)值形式,不需要進過量化處理就可以使用。而定性指標(biāo)是主觀參數(shù),是可利用人工評判和理解來表示的參數(shù)[18],例如“是否預(yù)處理”“是否延期”等。定性指標(biāo)的數(shù)據(jù)表現(xiàn)為如是否、優(yōu)良中差等文字形式。只有對定性指標(biāo)進行量化以后才能和其他定量指標(biāo)一起用于綜合評價的計算。

    定性指標(biāo)又可以分為非順序指標(biāo)和順序指標(biāo)[26]。順序指標(biāo)指的是指標(biāo)之間存在明確的程度大小關(guān)系,可以將指標(biāo)進行排序的指標(biāo)[27]。例如:簡單的“是”“否”可以量化為“1”“0”;而復(fù)雜一點的如通話質(zhì)量參數(shù)數(shù)據(jù)優(yōu)良中差等,影響程度由差到好排序為G1

    gi=i/n;i=1,2,…,n

    (1)

    也可以采取文獻[27]提出的取中位數(shù)的方法。非順序指標(biāo)的數(shù)據(jù)不存在明顯大小關(guān)系,很難用客觀方法進行量化,只能依靠領(lǐng)域?qū)<医?jīng)驗進行粗略估算。

    完成定性指標(biāo)的量化工作后,指標(biāo)之間還存在單位和度量不一樣的問題,必須將數(shù)據(jù)進行標(biāo)準(zhǔn)化處理后才能用于評估網(wǎng)絡(luò)運維質(zhì)量。數(shù)據(jù)標(biāo)準(zhǔn)化處理又稱無量綱化處理[8,11,13-14,27],是指消除指標(biāo)間不同單位和度量的影響,使其數(shù)據(jù)分布在同一個區(qū)間內(nèi),用來解決指標(biāo)的可綜合性問題。在數(shù)據(jù)標(biāo)準(zhǔn)化時,需要將指標(biāo)分為成本型指標(biāo)和效益型指標(biāo)。簡單地說,成本型指標(biāo)指的是數(shù)值越大越會對評估對象產(chǎn)生負(fù)面影響的指標(biāo),效益型指標(biāo)是數(shù)值越大越會給評估對象帶來積極影響的指標(biāo)。假設(shè)某指標(biāo)I有數(shù)據(jù)序列d1,d2,…,dn,其中最大值為dmax,最小值為dmin,使用基于歷史數(shù)據(jù)的0-1標(biāo)準(zhǔn)化方法,可以把數(shù)據(jù)處理為位于[0,1]區(qū)間內(nèi)的標(biāo)準(zhǔn)數(shù)據(jù)d1,d2,…,dn。如果指標(biāo)數(shù)據(jù)全部相同時,將成本型指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)化為0,將效益型指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)化為1;dmax和dmin不相等時,0-1標(biāo)準(zhǔn)化法計算方法如式(2)所示。

    (2)

    2.3 確定指標(biāo)權(quán)重

    指標(biāo)權(quán)重的確定是構(gòu)建網(wǎng)絡(luò)運維質(zhì)量評估模型的關(guān)鍵問題之一,權(quán)重會對評價結(jié)果產(chǎn)生巨大的影響。給指標(biāo)賦予不同的權(quán)重后,就能進一步聚合成綜合指標(biāo),運營商就可以不用關(guān)注繁多的原始指標(biāo)數(shù)據(jù),而是通過分析綜合指標(biāo)得到一段時間內(nèi)網(wǎng)絡(luò)運維質(zhì)量某個方面的波動情況,并以此來判定某個時刻網(wǎng)絡(luò)運維質(zhì)量的狀態(tài)?,F(xiàn)代通信網(wǎng)絡(luò)覆蓋范圍廣、涉及設(shè)備多樣帶來了兩個問題:一是網(wǎng)絡(luò)性能數(shù)據(jù)指標(biāo)過多;二是指標(biāo)間存在復(fù)雜的關(guān)聯(lián)關(guān)系。這兩個問題貫穿網(wǎng)絡(luò)運維質(zhì)量評估模型構(gòu)建的整個流程,尤其給指標(biāo)確定帶來難度。

    傳統(tǒng)方法憑借領(lǐng)域?qū)<医?jīng)驗來確定權(quán)重,這種方法雖然可以突出運營商關(guān)注的重點,體現(xiàn)經(jīng)濟效益規(guī)律,但是缺點也有很多:一是無法客觀地呈現(xiàn)指標(biāo)的重要性差異;二是無法顧及到指標(biāo)間的關(guān)聯(lián)關(guān)系,無法剔除信息重復(fù)的指標(biāo)帶來的影響;另外分析過程還需要耗費大量時間和人力資源。目前很多研究工作[8,11,27-28]提出了一些客觀確定指標(biāo)權(quán)重的方法來減少人工的參與。這些方法希望只通過確定權(quán)重這一步驟來解決上述兩個問題,勢必會增加權(quán)重確定步驟的計算量。本文將考慮指標(biāo)間關(guān)聯(lián)關(guān)系的問題放到指標(biāo)選取步驟,而在確定指標(biāo)權(quán)重時只需要考慮體現(xiàn)指標(biāo)數(shù)據(jù)間的重要程度差異。

    通過標(biāo)準(zhǔn)差法來客觀確定指標(biāo)的權(quán)重。標(biāo)準(zhǔn)差又稱均方差,反映了數(shù)據(jù)集中的數(shù)據(jù)偏離均值的程度。對于某個指標(biāo)I,如果不同評估對象的該指標(biāo)的標(biāo)準(zhǔn)差越大,就說明指標(biāo)I對于不同評估對象的數(shù)據(jù)差異性越大,也就能提供更多的信息量,在評估質(zhì)量時將會起到更大的作用,所以權(quán)重也應(yīng)該越大;反之,權(quán)重應(yīng)該越小[11]。具體的計算方法如下:假設(shè)選定n個指標(biāo)構(gòu)成指標(biāo)集K={I1,I2,…,In},其中某個指標(biāo)Ii的全部評估對象在某段時間內(nèi)的數(shù)據(jù)序列為Di={d1,d2,…,dm},其均值為Avgi,則指標(biāo)Ii的標(biāo)準(zhǔn)差可以根據(jù)式(3)計算:

    (3)

    則指標(biāo)Ii的權(quán)重wi為:

    (4)

    2.4 建立評價模型

    完成上述工作后需要確定評價公式將權(quán)重和指標(biāo)數(shù)據(jù)結(jié)合起來,得到定量的評估結(jié)果,結(jié)合適當(dāng)?shù)目梢暬故?,可以輔助相關(guān)人員分析評估對象的質(zhì)量變化情況。常用的評價公式有線性加權(quán)和、對數(shù)線性加權(quán)和以及混合加權(quán)和等方法。本文采用線性加權(quán)和的方法來計算網(wǎng)絡(luò)運維質(zhì)量評估結(jié)果。假設(shè)選定指標(biāo)集合K={I1,I2,…,In},運用標(biāo)準(zhǔn)差法算得權(quán)重集合為W={w1,w2,…,wn},該指標(biāo)集在某一時刻經(jīng)過量化和標(biāo)準(zhǔn)化處理的數(shù)據(jù)為D={d1,d2,…,dn},則這個時刻的評估結(jié)果為:

    score=d1·w1+d2·w2+…+dn·wn

    (5)

    該結(jié)果為[0,1]區(qū)間的一個數(shù)值,按同樣方法計算出各個時刻的評估結(jié)果后可以得到網(wǎng)絡(luò)運維質(zhì)量結(jié)果序列,可以將其可視化展示為網(wǎng)絡(luò)運維質(zhì)量變化曲線,再進一步進行分析。

    3 基于相關(guān)性分類的指標(biāo)選取策略

    3.1 算法思想

    指標(biāo)選取是構(gòu)建網(wǎng)絡(luò)運維質(zhì)量評估模型的第一步,指標(biāo)選取是否合理將會影響后續(xù)步驟的計算復(fù)雜程度和最終的評估效果。如上文提到的,指標(biāo)選取需要遵循三個原則:精簡性、代表性和不重疊性。這三個原則指的是在選擇指標(biāo)時,需要用盡量少的指標(biāo),盡量全面而又不重疊地覆蓋原數(shù)據(jù)的信息量。

    而在現(xiàn)有的指標(biāo)選取方法中,人工選取依賴專家經(jīng)驗,只能體現(xiàn)運營商關(guān)注的重點卻無法保障這三個原則,同時需要耗費大量人力資源;常用的主成分分析法運用降維的思想,將多指標(biāo)轉(zhuǎn)化為少數(shù)幾個主成分指標(biāo),但存在信息丟失的問題。本文提出的基于相關(guān)性分類的指標(biāo)選取策略旨在通過分析指標(biāo)數(shù)據(jù)序列之間的相關(guān)性,挖掘指標(biāo)之間的關(guān)聯(lián)關(guān)系以此來減少評估指標(biāo)信息間的重疊,最終形成全面客觀的指標(biāo)體系。

    相關(guān)性又稱相關(guān)系數(shù),是用來反映變量之間相關(guān)程度的統(tǒng)計指標(biāo)。相關(guān)系數(shù)不只有一種,常見的有皮爾遜相關(guān)系數(shù)等。自然科學(xué)界存在著廣泛的相關(guān)關(guān)系,如植物的生長與光照時長、電壓相同的情況下電流與電阻等。利用相關(guān)性來判斷變量間關(guān)系的相關(guān)分析法已經(jīng)在社會學(xué)、生物學(xué)、經(jīng)濟學(xué)等多個領(lǐng)域得到應(yīng)用并取得了一定成效。通信網(wǎng)絡(luò)的性能指標(biāo)之間也存在著相關(guān)性,比如無線數(shù)據(jù)中“上行物理資源模塊(Physical Resource Block, PRB)平均利用率”和“下行PRB平均利用率”。物理資源模塊(PRB)是指是頻域上12個連續(xù)的載波的資源,“上行PRB平均利用率”和“下行PRB平均利用率”指的是分別在上載和下載時物理資源模塊的平均利用率,這兩個指標(biāo)是評價無線性能的常用指標(biāo)。圖1統(tǒng)計了一個月內(nèi)這兩個指標(biāo)的數(shù)據(jù)序列波動情況,橫坐標(biāo)為時間,縱坐標(biāo)為數(shù)據(jù)值。其中虛線為上行PRB平均利用率,實線為下行PRB平均利用率。兩者的波動趨勢基本相同,而且在后期計算過程中發(fā)現(xiàn)兩者之間的確具有相關(guān)性,而這兩個指標(biāo)卻都在人工選取的指標(biāo)體系中,這勢必會對評價結(jié)果產(chǎn)生影響。通過指標(biāo)間相關(guān)性比較,把具有高度相關(guān)性的指標(biāo)歸為一簇,將原始指標(biāo)集合劃分為多個簇,在每個簇中選取具有代表性的指標(biāo),以此來達到降維的效果。

    圖1 上/下行PRB平均利用率統(tǒng)計

    3.2 方法描述

    為了計算指標(biāo)間的相關(guān)性,需要引入互相關(guān)函數(shù)的概念?;ハ嚓P(guān)在統(tǒng)計學(xué)中表示為兩個隨機矢量間的協(xié)方差,而互相關(guān)函數(shù)用于信號分析領(lǐng)域時,描述的是兩個隨機信號或是兩個時間序列之間的相關(guān)程度。網(wǎng)絡(luò)性能、維護等數(shù)據(jù)都帶有時間標(biāo)簽,因此指標(biāo)數(shù)據(jù)也是一種離散的時間序列數(shù)據(jù)。

    (6)

    在實際操作時也可以使用Matlab自帶的corrcoef函數(shù)來完成計算,使用這個函數(shù)計算得到的結(jié)果是一個2×2的矩陣,其主對角線是序列的自相關(guān)系數(shù),恒為1。需要的互相關(guān)系數(shù)位于副對角線。

    rij是處于[-1,1]區(qū)間的一個數(shù)值,它只能代表指標(biāo)的線性相關(guān)性,正負(fù)號只表示相關(guān)的方向,只需要使用它的絕對值來代表相關(guān)性的程度。對于相關(guān)系數(shù)的大小所表示的相關(guān)程度,在業(yè)界還沒有統(tǒng)一的說法。文獻[5]提出當(dāng)|rij|處于[0.4,0.7)區(qū)間時表示顯著相關(guān),|rij|處于[0.7,1]區(qū)間時表示高度相關(guān)。也有說法表示相關(guān)系數(shù)|rij|處于[0.3,0.5)區(qū)間表示實相關(guān),處于[0.5,0.8)區(qū)間表示顯著相關(guān),處于[0.8,1]區(qū)間表示高度相關(guān)等。

    接下來,將指標(biāo)間存在相關(guān)性的描述抽象成指標(biāo)相關(guān)性圖來說明指標(biāo)選取策略。每個指標(biāo)Ii對應(yīng)一個圖中的一個節(jié)點Ni,如果兩個指標(biāo)Ii和Ij之間存在相關(guān)性,則存在連接它們對應(yīng)節(jié)點Ni和Nj的邊E(i,j)=1,否則E(i,j)=0。另設(shè)Vij=1/|rij|,用于表示節(jié)點Ni和Nj之間的距離,Vij越大,節(jié)點間的距離就越大。整個指標(biāo)相關(guān)性圖成為一個無向圖,設(shè)置閾值T來對無向圖進行剪邊,公式為:

    (7)

    剪邊是將低于閾值T的|rij|所對應(yīng)的E(i,j)設(shè)為0,表示認(rèn)為指標(biāo)Ii和Ij間相關(guān)性微弱,默認(rèn)為不相關(guān)。剪邊將原本的無向圖劃分為數(shù)個不連通的子圖。利用某運營商公司2017年5月某小區(qū)的無線網(wǎng)絡(luò)優(yōu)化數(shù)據(jù),分析兩兩指標(biāo)間的相關(guān)性,如果定義閾值T為0.5進行剪邊,可以得到如圖2的剪邊結(jié)果示意圖,其中每個標(biāo)有數(shù)字的節(jié)點都代表一個指標(biāo),連線代表兩個指標(biāo)之間具有相關(guān)關(guān)系。在圖2中,有的子圖只有單個節(jié)點,它們不與其他任何節(jié)點相連,也就是和其他指標(biāo)都沒有相似性,稱這些單個節(jié)點的指標(biāo)為孤立指標(biāo);而另外一些子圖,它們由數(shù)個節(jié)點和邊相連構(gòu)成了連通圖,表示這些相連節(jié)點的指標(biāo)存在信息量上的相似性。

    圖2 剪邊后的指標(biāo)相關(guān)性圖

    需要注意的是,閾值T的選擇需要根據(jù)具體的情況選擇:T過小會導(dǎo)致丟失信息,過大會導(dǎo)致出現(xiàn)大量的孤立指標(biāo)。雖然孤立指標(biāo)反映了和其他指標(biāo)都不重疊的信息,但是將所有孤立指標(biāo)都納入指標(biāo)集會帶來評估指標(biāo)集不精簡、評估結(jié)果沒有針對性等問題。如何在孤立指標(biāo)中選擇合適的評估指標(biāo)仍然是業(yè)界的一個難題??梢允褂蒙衔奶岬降闹笜?biāo)權(quán)重確定方法來對孤立指標(biāo)進行排序,選擇重要性高的指標(biāo)加入評估指標(biāo)體系,或者參考領(lǐng)域?qū)<医?jīng)驗選取運營商普遍關(guān)注的指標(biāo)。

    除去孤立指標(biāo)外,需要在那些被劃分為一簇的指標(biāo)中選取一個或多個指標(biāo)來代表這一類指標(biāo)的信息量。選取的原則是盡量選取位于中心的指標(biāo)。使用圖論和網(wǎng)絡(luò)分析中代表節(jié)點重要性的中心性屬性來衡量一個點在類中的重要程度。根據(jù)對節(jié)點重要性的解釋不同,中心性的度量方法也有所不同。最常用的幾種方法有度中心性、接近中心性和中介中心性等。度中心性比較節(jié)點間的度,即與節(jié)點相關(guān)聯(lián)的邊數(shù),節(jié)點的度越大,其度中心性越高,表示它在圖中連接的其他節(jié)點越多,也就越重要。節(jié)點Ni的度中心性DCi的計算公式為:

    (8)

    接近中心性度量節(jié)點到其他節(jié)點的加權(quán)路徑,到其他節(jié)點的平均最短加權(quán)路徑越小的節(jié)點,它的接近中心度越大,表示它距離其他節(jié)點越近。計算接近中心性時需要先計算出節(jié)點間的最短路徑,可以使用迪杰斯特拉算法來計算最短路徑。假設(shè)節(jié)點Ni和Nj間的最短路徑為集合Pathij={p1,p2,…,pl},最短路徑對應(yīng)的權(quán)重集合PaWij={v1,v2,…,vl}。在同一個類中的節(jié)點Ni和Nj間必存在路徑,因為類中的指標(biāo)相關(guān)性圖是一個連通圖,任何一個節(jié)點經(jīng)過有限條邊必定能到達另外一個節(jié)點,即Pathij中必定含有一條起始于Ni的邊和一條以Nj為終點的邊,最短路徑集合的長度l大于等于1;而不在同一個集合內(nèi)的節(jié)點間不存在路徑,最短路徑集合為空集,長度為0,那么,接近中心度CCi的計算公式為:

    (9)

    中介中心性指一個節(jié)點作為其他節(jié)點間最短路徑的中間節(jié)點的次數(shù),作為中間節(jié)點的次數(shù)越多,中介中心性就越高。文獻[29]詳細(xì)介紹了計算某點Nv的中介中心性的方法,可以概括為2步:首先需要找出所有節(jié)點對間的最短路徑,然后找出經(jīng)過Nv的最短路徑的數(shù)量。如果一個節(jié)點Nv在節(jié)點Ns和Nt的最短路徑上,那么Ns到Nv和Nv到Nt都需要是最短路徑。節(jié)點Nv對于一對節(jié)點Ns和Nt的中介中心性BCst為:

    (10)

    假設(shè)所有節(jié)點的集合為N,那么節(jié)點Nv的總中介中心性為:

    (11)

    文獻[29]對計算中介中心性的算法作出了改進,這里不展開敘述。

    得到所有節(jié)點的中心性后,選擇簇中代表指標(biāo)的問題可以抽象為頂點覆蓋(Vertex Cover)問題。頂點覆蓋問題是指在組成無向圖的點集中選擇一個最小的子集,并且使得無向圖的所有邊都至少有一個端點在這個子集中。本文的目的是,希望在簇中選出的指標(biāo)能夠覆蓋到盡可能多的相關(guān)關(guān)系,以保證指標(biāo)的代表性而且能精簡掉更多的指標(biāo)。也就是說,如果假設(shè)每個指標(biāo)Ii對應(yīng)連通圖中的一個節(jié)點Ni,兩個指標(biāo)Ii和Ij相似則對應(yīng)節(jié)點Ni和Nj間存在的邊E(i,j)=1的話,本文的目標(biāo)和解決Vertex Cover問題相似,對于任意的邊E(i,j)=1,選擇出的點集N*盡可能小,且其中必存在節(jié)點Ni或Nj。

    另設(shè)構(gòu)成剪邊后的子圖G的是含有n個點的點集N={N1,N2,…,Nn}(n≥1),以及邊的集合E={E(i,j)|i≤n,j≤n,i

    算法1 簇中代表指標(biāo)選取。

    輸入:子圖G;

    輸出:點集N*。

    1)

    計算子圖G中所有點Ni的中心度Ci;

    2)

    選擇具有最大中心度的點Nmax加入點集N*;

    3)

    從子圖G中刪除點Nmax以及和點Nmax相連的邊和點;

    4)

    重復(fù)第2)步直到子圖G的點被全部刪除;

    5)

    返回點集N*。

    4 實驗

    實驗使用的數(shù)據(jù)為某地區(qū)2016年11月份和2017年5月份的無線網(wǎng)絡(luò)優(yōu)化數(shù)據(jù),共記錄4 034個基站的無線網(wǎng)絡(luò)性能信息。每條數(shù)據(jù)的最前面4個字段分別是“時間戳”“小區(qū)標(biāo)識碼ECI”“基站標(biāo)識碼DN”和“小區(qū)名稱”,通過這4個字段可以定位到覆蓋某小區(qū)的基站在某一時刻的無線網(wǎng)絡(luò)信息。另外,數(shù)據(jù)還記錄了“RRC連接重建成功次數(shù)”“小區(qū)最大發(fā)射功率”“無線接通率”“無線掉線率”等共596個指標(biāo)字段。

    在選取指標(biāo)的步驟中,為了選擇更加適合實際數(shù)據(jù)的閾值T,使用某運營商2017年5月數(shù)據(jù)中的264 584條作為測試數(shù)據(jù)。首先,統(tǒng)計了兩兩指標(biāo)間的相關(guān)性分布,如圖3所示。其中橫坐標(biāo)是指標(biāo)間的相關(guān)性,分布在[0,1]區(qū)間,縱坐標(biāo)是位于對應(yīng)區(qū)間的相關(guān)性的個數(shù)。文獻[5]中提到業(yè)界常用的相關(guān)性系數(shù)對應(yīng)相關(guān)程度的區(qū)間分布,主要有兩種說法:一種是認(rèn)為相關(guān)性處于[0.4,0.7)區(qū)間時表示顯著相關(guān),處于[0.7,1]區(qū)間時表示高度相關(guān);另一種說法表示相關(guān)性處于[0.3,0.5)區(qū)間表示實相關(guān),處于[0.5,0.8)區(qū)間表示顯著相關(guān),處于[0.8,1]區(qū)間表示高度相關(guān)。這兩種方法都是統(tǒng)計學(xué)中常用的相關(guān)性閾值的經(jīng)驗法則。為了使參數(shù)更加適合網(wǎng)絡(luò)運維質(zhì)量的評估,選擇兩種經(jīng)驗法則中閾值的端點0.3、0.4、0.5、0.7和0.8這5個值,比較不同閾值得到的指標(biāo)集合對人工選取的指標(biāo)的覆蓋度。

    圖3 指標(biāo)間相關(guān)性統(tǒng)計

    以閾值T等于0.4為例,利用基于相關(guān)性的指標(biāo)選取算法得到38個指標(biāo)簇和196個孤立指標(biāo)。剔除領(lǐng)域?qū)<冶硎静粫褂玫姆?wù)質(zhì)量類別識別符(Quality of service Class Identifier, QCI)指標(biāo),即一組為了減少接口上的控制信令數(shù)據(jù)傳輸量并且使設(shè)備或系統(tǒng)間的互連更加容易的度量值指標(biāo)后,得到包含77個指標(biāo)的關(guān)鍵指標(biāo)集合。領(lǐng)域?qū)<疫x取的指標(biāo)共有36個,該集合與專家選取的指標(biāo)共有18個相同指標(biāo),覆蓋度為50%。利用同樣的方法,得到使用其他閾值對專家選取指標(biāo)的覆蓋率,如表1所示。

    表1 使用不同閾值對人工指標(biāo)的覆蓋率對比

    根據(jù)統(tǒng)計結(jié)果,當(dāng)選擇0.7作為閾值時,關(guān)鍵指標(biāo)集合對于人工指標(biāo)的覆蓋度最高,也符合經(jīng)驗法則中相關(guān)性處于[0.7,1]時表示高度相關(guān)的說法。因此,使用0.7作為剪邊的閾值T,去掉QCI指標(biāo)后可以得到19個指標(biāo)簇和76個孤立指標(biāo)。

    從覆蓋率上可以看出,利用本文方法選擇的指標(biāo)和領(lǐng)域?qū)<疫x擇的指標(biāo)很大部分是重疊的,這也印證了本文方法的正確性和實用性。為了能在同等條件下進一步比較本文構(gòu)建的指標(biāo)集與專家構(gòu)建的指標(biāo)集的質(zhì)量,除了簇中代表指標(biāo)外,規(guī)定選擇的孤立指標(biāo)的個數(shù),使得到的關(guān)鍵指標(biāo)個數(shù)與人工選取的相同,都為36個。根據(jù)指標(biāo)選取的原則,指標(biāo)集應(yīng)該盡可能覆蓋攜帶不同信息量的信息,也就是評估指標(biāo)集中的指標(biāo)相關(guān)性應(yīng)該越小越好。因此,為了評估基于相關(guān)性的指標(biāo)選取策略的效果,使用指標(biāo)集合內(nèi)部的相關(guān)性平均數(shù)AC來衡量待評估指標(biāo)集的信息的不重疊程度。計算公式如下:

    (12)

    進行比較的兩個指標(biāo)集都使用某運營商2017年5月份數(shù)據(jù)中的24 702條,根據(jù)式(12)計算得到人工指標(biāo)集的相關(guān)性平均數(shù)ACh為0.085 8,而基于相關(guān)性的指標(biāo)選取算法所得的關(guān)鍵指標(biāo)集的相關(guān)性平均數(shù)ACm為0.059 1,低于前者31%。可以看出在兩個指標(biāo)集的指標(biāo)個數(shù)相同、相似性較高的情況下,基于相關(guān)性的指標(biāo)選取算法得到的指標(biāo)集合的指標(biāo)相關(guān)性更低、結(jié)構(gòu)更加稀疏,信息更加全面。

    然后,將基于相關(guān)性選擇的36個關(guān)鍵指標(biāo)代入到網(wǎng)絡(luò)運維質(zhì)量評估模型中,可以得到如圖4的某小區(qū)基站在2016年11月份的網(wǎng)絡(luò)質(zhì)量分?jǐn)?shù)變化曲線,其中橫坐標(biāo)是時間節(jié)點,縱坐標(biāo)是某個時間節(jié)點的性能評分,分?jǐn)?shù)在[0,1]區(qū)間內(nèi)。定位到某個時刻可以看到該基站此時的網(wǎng)絡(luò)質(zhì)量評分,一段時間的評分結(jié)果可以反映該基站的網(wǎng)絡(luò)質(zhì)量波動,可以協(xié)助運維人員排除故障原因,挖掘故障規(guī)律。

    通過咨詢領(lǐng)域?qū)<遥私獾交镜男阅苜|(zhì)量低下可以關(guān)聯(lián)到告警數(shù)據(jù)中“EnodeB”類型告警;因此推測,評分曲線中凹點對應(yīng)的時間前后或者評分的下降幅度超過一定比例時將會會出現(xiàn)“EnodeB”類型的告警。為了驗證評估模型的準(zhǔn)確性,將基站的評分、評分導(dǎo)數(shù)和該基站產(chǎn)生的告警結(jié)合起來,得到了如圖5的某基站的告警-評分對應(yīng)圖。在圖5中,橫坐標(biāo)是時間,單位為h,縱坐標(biāo)是評分結(jié)果。其中,縱坐標(biāo)值在0.8上下波動的線條是分?jǐn)?shù)變化曲線,縱坐標(biāo)值在0上下波動線條是評分的一階導(dǎo)數(shù),豎直線條對應(yīng)的橫坐標(biāo)值代表在該時刻發(fā)生了告警??梢钥闯霭l(fā)生告警的時刻都是分?jǐn)?shù)的凹點或一階導(dǎo)數(shù)的凹點,證明了質(zhì)量評估模型的正確性,但是,在圖中還存在一些凹點并沒有發(fā)生告警,說明模型存在誤報的問題。探究其原因,可能的是指標(biāo)中包含一些不足以產(chǎn)生“EnodeB”型告警的指標(biāo),比如“切換成功率”“無線利用率”等。這類指標(biāo)數(shù)值的低下無疑反映了一段時間內(nèi)網(wǎng)絡(luò)性能質(zhì)量存在問題,但這類問題會自然恢復(fù),不會產(chǎn)生需要相關(guān)人員處理的告警。

    圖4 性能分?jǐn)?shù)變化曲線

    圖5 基站告警-評分對應(yīng)圖

    5 結(jié)語

    本文總結(jié)了構(gòu)建網(wǎng)絡(luò)運維質(zhì)量評估模型的一般化流程,并提出了一種基于指標(biāo)間互相關(guān)性的指標(biāo)選取方法。該方法基于指標(biāo)間的互相關(guān)性對原始指標(biāo)集進行分類,并利用中心度的概念來選擇最具有代表性的指標(biāo),完成關(guān)鍵指標(biāo)集合的構(gòu)建。實驗證明該指標(biāo)集對人工選取的評估指標(biāo)集有較高的覆蓋度,能夠?qū)δ壳斑\營商使用的評估指標(biāo)作出補充和修正。本文還整合了0-1數(shù)據(jù)標(biāo)準(zhǔn)化法和標(biāo)準(zhǔn)差權(quán)重確定方法建立了網(wǎng)絡(luò)運維評估模型,該模型可以輔助運維人員監(jiān)控網(wǎng)絡(luò)質(zhì)量,挖掘網(wǎng)絡(luò)故障規(guī)律。本文利用實際數(shù)據(jù)驗證評分結(jié)果對告警具有較高的預(yù)測準(zhǔn)確度,但是存在很多誤報。為了進一步完善模型,接下來將通過廣泛的實驗,利用歷史告警發(fā)生前后的評分情況、評分波動程度等作為特征,制定告警判定標(biāo)準(zhǔn),減少誤報,提高預(yù)測準(zhǔn)確率。

    猜你喜歡
    運維權(quán)重節(jié)點
    CM節(jié)點控制在船舶上的應(yīng)用
    Analysis of the characteristics of electronic equipment usage distance for common users
    基于AutoCAD的門窗節(jié)點圖快速構(gòu)建
    權(quán)重常思“浮名輕”
    運維技術(shù)研發(fā)決策中ITSS運維成熟度模型應(yīng)用初探
    風(fēng)電運維困局
    能源(2018年8期)2018-09-21 07:57:24
    為黨督政勤履職 代民行權(quán)重?fù)?dān)當(dāng)
    雜亂無章的光伏運維 百億市場如何成長
    能源(2017年11期)2017-12-13 08:12:25
    基于公約式權(quán)重的截短線性分組碼盲識別方法
    基于ITIL的運維管理創(chuàng)新實踐淺析
    亚洲第一区二区三区不卡| 丰满人妻一区二区三区视频av| 欧美另类一区| 色婷婷久久久亚洲欧美| 亚洲国产毛片av蜜桃av| 美女脱内裤让男人舔精品视频| 在线观看av片永久免费下载| 日韩中文字幕视频在线看片| 一本久久精品| 久久精品国产鲁丝片午夜精品| 在线精品无人区一区二区三| 国产黄频视频在线观看| 少妇裸体淫交视频免费看高清| 中文乱码字字幕精品一区二区三区| 伊人久久国产一区二区| 亚洲成人av在线免费| 69精品国产乱码久久久| 久久国产亚洲av麻豆专区| 亚洲精品中文字幕在线视频 | 九草在线视频观看| 只有这里有精品99| 狂野欧美激情性xxxx在线观看| 99久国产av精品国产电影| 又爽又黄a免费视频| av有码第一页| 99热国产这里只有精品6| 天堂8中文在线网| 久久精品国产亚洲网站| 亚洲,欧美,日韩| 91午夜精品亚洲一区二区三区| 在线观看三级黄色| 国产精品一区www在线观看| 国产日韩欧美在线精品| 纵有疾风起免费观看全集完整版| 国产精品三级大全| 国产淫片久久久久久久久| 国产高清三级在线| 边亲边吃奶的免费视频| av一本久久久久| 最近2019中文字幕mv第一页| 国产伦精品一区二区三区四那| 寂寞人妻少妇视频99o| 99久久中文字幕三级久久日本| 99久久综合免费| 99热这里只有精品一区| 99精国产麻豆久久婷婷| 国产男人的电影天堂91| 欧美xxxx性猛交bbbb| 国产欧美日韩精品一区二区| 欧美亚洲 丝袜 人妻 在线| 丰满乱子伦码专区| 青春草国产在线视频| 亚洲精华国产精华液的使用体验| 国产黄色免费在线视频| 少妇裸体淫交视频免费看高清| 欧美3d第一页| 大香蕉久久网| 国产成人免费观看mmmm| 老司机影院成人| 大又大粗又爽又黄少妇毛片口| 制服丝袜香蕉在线| 一级a做视频免费观看| 在线 av 中文字幕| 午夜视频国产福利| 欧美日韩在线观看h| 在线观看美女被高潮喷水网站| 建设人人有责人人尽责人人享有的| 两个人免费观看高清视频 | 国产黄片视频在线免费观看| 免费观看av网站的网址| 国产无遮挡羞羞视频在线观看| 亚洲高清免费不卡视频| 亚洲国产精品成人久久小说| 午夜精品国产一区二区电影| 欧美97在线视频| 在线精品无人区一区二区三| a级毛片在线看网站| 国产精品偷伦视频观看了| 免费播放大片免费观看视频在线观看| 大片电影免费在线观看免费| 日日摸夜夜添夜夜爱| 亚洲欧美一区二区三区国产| 国产精品蜜桃在线观看| 欧美变态另类bdsm刘玥| 午夜福利在线观看免费完整高清在| 最新中文字幕久久久久| 国产成人a∨麻豆精品| 蜜桃久久精品国产亚洲av| 国产探花极品一区二区| 菩萨蛮人人尽说江南好唐韦庄| 亚洲成人手机| 99热这里只有是精品50| 免费观看在线日韩| 2018国产大陆天天弄谢| 亚洲人与动物交配视频| 一个人看视频在线观看www免费| 免费观看a级毛片全部| 国精品久久久久久国模美| 特大巨黑吊av在线直播| 亚洲电影在线观看av| 亚洲国产欧美在线一区| a级毛色黄片| 精品人妻熟女毛片av久久网站| 美女主播在线视频| 插阴视频在线观看视频| av专区在线播放| 国产免费一级a男人的天堂| 一级毛片黄色毛片免费观看视频| 欧美一级a爱片免费观看看| 国产毛片在线视频| 天堂中文最新版在线下载| 日韩中字成人| 久久久久久久久大av| 一级二级三级毛片免费看| 亚洲四区av| 婷婷色av中文字幕| 亚洲三级黄色毛片| 亚洲av二区三区四区| 2022亚洲国产成人精品| 欧美日韩亚洲高清精品| 亚洲av成人精品一区久久| 特大巨黑吊av在线直播| 久久精品国产a三级三级三级| 国产日韩欧美视频二区| 少妇高潮的动态图| xxx大片免费视频| 亚洲人与动物交配视频| 国产精品一区二区三区四区免费观看| 精品午夜福利在线看| 国产黄色视频一区二区在线观看| 中国美白少妇内射xxxbb| 69精品国产乱码久久久| 精品一区二区三区视频在线| 麻豆成人av视频| 久久久久精品久久久久真实原创| 亚洲综合精品二区| 在线播放无遮挡| 3wmmmm亚洲av在线观看| 最近手机中文字幕大全| 亚洲性久久影院| 成人国产麻豆网| 国内精品宾馆在线| 国产探花极品一区二区| 久久人人爽人人爽人人片va| 久久99热6这里只有精品| 免费大片黄手机在线观看| 九九久久精品国产亚洲av麻豆| av国产久精品久网站免费入址| 亚洲国产欧美日韩在线播放 | 亚洲精品亚洲一区二区| 亚洲精品色激情综合| 大片免费播放器 马上看| 亚洲国产成人一精品久久久| 久久毛片免费看一区二区三区| 大话2 男鬼变身卡| 99热国产这里只有精品6| 欧美日韩视频高清一区二区三区二| 插阴视频在线观看视频| 成年av动漫网址| 午夜福利,免费看| 中文天堂在线官网| 久久久精品94久久精品| 99久久综合免费| 成年av动漫网址| 久久精品国产亚洲av涩爱| 欧美精品一区二区免费开放| 久久精品久久精品一区二区三区| a级毛色黄片| kizo精华| 如日韩欧美国产精品一区二区三区 | 美女脱内裤让男人舔精品视频| 欧美+日韩+精品| 日本免费在线观看一区| 草草在线视频免费看| 一级毛片电影观看| 三上悠亚av全集在线观看 | 欧美精品亚洲一区二区| 国产成人精品福利久久| 伦理电影免费视频| 中文字幕人妻熟人妻熟丝袜美| 国产永久视频网站| 午夜91福利影院| 午夜免费观看性视频| 如日韩欧美国产精品一区二区三区 | 精品久久久久久电影网| 丰满饥渴人妻一区二区三| 久久国产精品大桥未久av | 国产在线视频一区二区| 国国产精品蜜臀av免费| videos熟女内射| 国产极品天堂在线| 嫩草影院入口| 人妻一区二区av| 菩萨蛮人人尽说江南好唐韦庄| 黄色视频在线播放观看不卡| 人人妻人人澡人人爽人人夜夜| 国产亚洲欧美精品永久| 亚洲美女搞黄在线观看| 只有这里有精品99| 国产精品久久久久久精品电影小说| 一个人看视频在线观看www免费| 97超视频在线观看视频| 成人二区视频| 久久人妻熟女aⅴ| 亚洲情色 制服丝袜| 中文在线观看免费www的网站| 亚洲精品日韩在线中文字幕| 丰满少妇做爰视频| 国产成人freesex在线| 亚洲精品乱久久久久久| 自线自在国产av| 伊人亚洲综合成人网| 日日摸夜夜添夜夜爱| av专区在线播放| 亚洲欧美成人综合另类久久久| 水蜜桃什么品种好| 免费观看在线日韩| 六月丁香七月| 不卡视频在线观看欧美| 九色成人免费人妻av| 久久久久久久国产电影| 国产精品国产三级专区第一集| 一区二区三区免费毛片| 在线精品无人区一区二区三| 久久久精品94久久精品| 涩涩av久久男人的天堂| av在线观看视频网站免费| 日韩欧美精品免费久久| 看免费成人av毛片| 美女xxoo啪啪120秒动态图| 观看免费一级毛片| 搡女人真爽免费视频火全软件| 国产成人aa在线观看| 国产精品一区二区在线观看99| 久久久精品94久久精品| 中文在线观看免费www的网站| 街头女战士在线观看网站| 久久国内精品自在自线图片| av天堂中文字幕网| 黄色毛片三级朝国网站 | 91久久精品国产一区二区成人| 日韩精品免费视频一区二区三区 | 最近中文字幕2019免费版| 成人漫画全彩无遮挡| 国产一区有黄有色的免费视频| 91aial.com中文字幕在线观看| 在线 av 中文字幕| 中文字幕人妻丝袜制服| 日日摸夜夜添夜夜爱| 少妇被粗大的猛进出69影院 | 国产av码专区亚洲av| 国产精品女同一区二区软件| 国产av一区二区精品久久| 美女国产视频在线观看| 亚洲不卡免费看| 日日啪夜夜撸| 简卡轻食公司| 中国三级夫妇交换| 美女视频免费永久观看网站| 亚洲精品,欧美精品| 国产精品熟女久久久久浪| 女人久久www免费人成看片| 97在线视频观看| av黄色大香蕉| 搡女人真爽免费视频火全软件| 青春草国产在线视频| 久久99一区二区三区| 91精品国产国语对白视频| 人人妻人人看人人澡| 亚州av有码| 亚洲av不卡在线观看| 亚洲精品自拍成人| 精品一区二区三区视频在线| 久久久久久久久久人人人人人人| 一二三四中文在线观看免费高清| 人人妻人人爽人人添夜夜欢视频 | 日日啪夜夜爽| 视频区图区小说| 建设人人有责人人尽责人人享有的| 制服丝袜香蕉在线| 精品国产国语对白av| 十八禁网站网址无遮挡 | 麻豆成人av视频| 一级a做视频免费观看| 涩涩av久久男人的天堂| 亚洲国产精品专区欧美| 欧美成人午夜免费资源| 五月伊人婷婷丁香| 香蕉精品网在线| 久久久午夜欧美精品| 国产精品嫩草影院av在线观看| 女性生殖器流出的白浆| 黄色毛片三级朝国网站 | 国语对白做爰xxxⅹ性视频网站| 日韩,欧美,国产一区二区三区| a级毛片免费高清观看在线播放| 亚洲第一av免费看| 中国三级夫妇交换| 国产亚洲av片在线观看秒播厂| 99热国产这里只有精品6| 丰满饥渴人妻一区二区三| 日韩人妻高清精品专区| 亚洲人与动物交配视频| 91午夜精品亚洲一区二区三区| 久久国内精品自在自线图片| 免费观看在线日韩| 亚洲国产最新在线播放| 亚洲经典国产精华液单| 六月丁香七月| 波野结衣二区三区在线| 大片免费播放器 马上看| 免费看光身美女| 偷拍熟女少妇极品色| 人妻 亚洲 视频| 大码成人一级视频| 夜夜爽夜夜爽视频| 一级片'在线观看视频| 精品亚洲成a人片在线观看| 成人国产麻豆网| 极品教师在线视频| av福利片在线| 亚洲av不卡在线观看| 黄片无遮挡物在线观看| 欧美3d第一页| 一区在线观看完整版| 久久精品国产亚洲网站| 免费人妻精品一区二区三区视频| 国产亚洲一区二区精品| 国产精品福利在线免费观看| 欧美丝袜亚洲另类| 国产真实伦视频高清在线观看| 麻豆精品久久久久久蜜桃| 在线观看av片永久免费下载| 97精品久久久久久久久久精品| 高清黄色对白视频在线免费看 | 国产亚洲5aaaaa淫片| 简卡轻食公司| 男女边摸边吃奶| 黄色视频在线播放观看不卡| 日韩av在线免费看完整版不卡| 老司机影院成人| 免费观看在线日韩| 国产老妇伦熟女老妇高清| 午夜福利在线观看免费完整高清在| 能在线免费看毛片的网站| www.av在线官网国产| 在线观看美女被高潮喷水网站| 中国美白少妇内射xxxbb| 亚洲欧洲精品一区二区精品久久久 | 国产男女内射视频| 婷婷色av中文字幕| 成人亚洲欧美一区二区av| 91久久精品国产一区二区三区| 久久久久久人妻| 22中文网久久字幕| 一二三四中文在线观看免费高清| 中文字幕久久专区| 成人黄色视频免费在线看| 国产精品嫩草影院av在线观看| 不卡视频在线观看欧美| 亚洲国产欧美在线一区| 美女视频免费永久观看网站| 国产成人精品久久久久久| 欧美日韩视频高清一区二区三区二| 一个人免费看片子| 五月伊人婷婷丁香| 超碰97精品在线观看| av在线观看视频网站免费| a级毛色黄片| 免费人妻精品一区二区三区视频| 男人狂女人下面高潮的视频| 26uuu在线亚洲综合色| 极品教师在线视频| 国产精品秋霞免费鲁丝片| 久久精品国产亚洲av天美| 少妇人妻 视频| 乱人伦中国视频| 搡女人真爽免费视频火全软件| 黑人巨大精品欧美一区二区蜜桃 | 少妇人妻一区二区三区视频| 中文字幕亚洲精品专区| 日本vs欧美在线观看视频 | 亚洲伊人久久精品综合| 免费在线观看成人毛片| 亚洲无线观看免费| 色5月婷婷丁香| 亚洲精品色激情综合| 中文在线观看免费www的网站| 久久人妻熟女aⅴ| 成人无遮挡网站| 亚洲无线观看免费| 国产男人的电影天堂91| 特大巨黑吊av在线直播| 中文天堂在线官网| 嫩草影院入口| 亚洲国产最新在线播放| 亚洲中文av在线| 青青草视频在线视频观看| 日本欧美视频一区| 3wmmmm亚洲av在线观看| 三级国产精品片| 一级毛片黄色毛片免费观看视频| 久久影院123| videos熟女内射| 久久热精品热| 精品卡一卡二卡四卡免费| 久久久欧美国产精品| 97超视频在线观看视频| 亚洲av不卡在线观看| 午夜日本视频在线| 高清欧美精品videossex| 女人久久www免费人成看片| a级毛片免费高清观看在线播放| 丝袜喷水一区| 久久精品久久久久久噜噜老黄| 狂野欧美白嫩少妇大欣赏| 国产av码专区亚洲av| 啦啦啦中文免费视频观看日本| 少妇被粗大的猛进出69影院 | 涩涩av久久男人的天堂| 少妇的逼好多水| 日韩欧美一区视频在线观看 | 新久久久久国产一级毛片| 七月丁香在线播放| 成年美女黄网站色视频大全免费 | 国产伦精品一区二区三区四那| 久久ye,这里只有精品| 99re6热这里在线精品视频| 一区二区三区四区激情视频| 久久精品久久久久久久性| 久久狼人影院| 亚洲欧洲精品一区二区精品久久久 | 国产 精品1| 日韩av在线免费看完整版不卡| 少妇熟女欧美另类| 久久精品熟女亚洲av麻豆精品| 国产男人的电影天堂91| 97超碰精品成人国产| 一级毛片久久久久久久久女| 五月开心婷婷网| 日韩免费高清中文字幕av| 天天操日日干夜夜撸| 少妇熟女欧美另类| 国产欧美日韩综合在线一区二区 | 深夜a级毛片| 蜜桃久久精品国产亚洲av| 一本—道久久a久久精品蜜桃钙片| 成年女人在线观看亚洲视频| 欧美性感艳星| 国产精品一区二区在线观看99| 2021少妇久久久久久久久久久| 久久热精品热| 晚上一个人看的免费电影| 国产一区二区在线观看av| 免费少妇av软件| 91久久精品国产一区二区三区| 伊人久久精品亚洲午夜| 午夜福利影视在线免费观看| 亚洲精品乱码久久久久久按摩| 婷婷色av中文字幕| 久久久久久伊人网av| 精品一区二区三卡| 天堂8中文在线网| 九草在线视频观看| 99久国产av精品国产电影| 国产黄色免费在线视频| 在线亚洲精品国产二区图片欧美 | 99久久精品国产国产毛片| 22中文网久久字幕| 特大巨黑吊av在线直播| 日韩中文字幕视频在线看片| 熟女av电影| 日日摸夜夜添夜夜爱| 精品熟女少妇av免费看| 青春草国产在线视频| 人人妻人人澡人人看| 日本欧美视频一区| 人人澡人人妻人| 亚洲av二区三区四区| 国产片特级美女逼逼视频| av在线观看视频网站免费| 内地一区二区视频在线| 一边亲一边摸免费视频| 不卡视频在线观看欧美| 久久国内精品自在自线图片| 自拍偷自拍亚洲精品老妇| 亚洲图色成人| 国国产精品蜜臀av免费| 大香蕉久久网| 亚洲国产色片| 欧美日韩精品成人综合77777| 一个人免费看片子| 成人漫画全彩无遮挡| 国产精品一区二区在线观看99| 亚洲国产色片| 日韩中字成人| 男人添女人高潮全过程视频| 色视频在线一区二区三区| 插逼视频在线观看| 人妻系列 视频| 亚洲国产av新网站| 日韩一区二区视频免费看| 国产高清有码在线观看视频| 欧美三级亚洲精品| 日本黄色片子视频| 精品久久久久久电影网| 国产午夜精品一二区理论片| 嫩草影院入口| 男人舔奶头视频| 成年av动漫网址| 国产男女内射视频| 国产在线免费精品| 中文乱码字字幕精品一区二区三区| av播播在线观看一区| 涩涩av久久男人的天堂| 久久影院123| 亚洲成人av在线免费| 午夜激情福利司机影院| 日韩制服骚丝袜av| 国产精品人妻久久久久久| 亚洲高清免费不卡视频| 男人舔奶头视频| 老熟女久久久| 狂野欧美激情性xxxx在线观看| 亚洲av二区三区四区| 最近2019中文字幕mv第一页| 一区二区av电影网| 午夜免费男女啪啪视频观看| 99久久综合免费| 久久免费观看电影| 亚洲图色成人| 国产高清国产精品国产三级| 欧美日韩综合久久久久久| 在线免费观看不下载黄p国产| 草草在线视频免费看| 亚洲人成网站在线观看播放| 精品卡一卡二卡四卡免费| 亚洲精品亚洲一区二区| 又爽又黄a免费视频| 国产高清国产精品国产三级| 精品国产露脸久久av麻豆| 日韩一区二区三区影片| 亚洲一级一片aⅴ在线观看| 国产毛片在线视频| 欧美 亚洲 国产 日韩一| 欧美日韩在线观看h| 国产成人精品一,二区| 人人澡人人妻人| 亚洲欧美精品自产自拍| 免费看日本二区| 日韩中文字幕视频在线看片| 日本黄色日本黄色录像| 成年人午夜在线观看视频| 少妇丰满av| 国产欧美日韩精品一区二区| 大片免费播放器 马上看| 亚洲精品日韩在线中文字幕| 乱码一卡2卡4卡精品| 一级二级三级毛片免费看| 免费观看av网站的网址| 欧美成人精品欧美一级黄| 国产男女内射视频| 波野结衣二区三区在线| 麻豆精品久久久久久蜜桃| 各种免费的搞黄视频| 不卡视频在线观看欧美| 下体分泌物呈黄色| 成人国产麻豆网| kizo精华| av不卡在线播放| 精品久久久久久久久亚洲| av专区在线播放| videossex国产| 亚洲欧美精品专区久久| 欧美97在线视频| 美女福利国产在线| 免费高清在线观看视频在线观看| 亚洲国产毛片av蜜桃av| 国精品久久久久久国模美| 一级,二级,三级黄色视频| 中文字幕人妻熟人妻熟丝袜美| 免费大片18禁| 欧美精品一区二区大全| 国产深夜福利视频在线观看| 99九九线精品视频在线观看视频| 大话2 男鬼变身卡| 亚洲美女搞黄在线观看| 成人漫画全彩无遮挡| 亚洲国产精品一区二区三区在线| 99热这里只有精品一区| 我要看日韩黄色一级片| 在线看a的网站| 亚洲精品国产av蜜桃| 国产高清国产精品国产三级| 午夜福利在线观看免费完整高清在| 国产欧美日韩一区二区三区在线 | 国产亚洲一区二区精品| 久久人人爽人人爽人人片va| 亚洲成色77777| 啦啦啦啦在线视频资源| 免费久久久久久久精品成人欧美视频 | 天美传媒精品一区二区| 交换朋友夫妻互换小说| 高清在线视频一区二区三区| 久久影院123| av天堂中文字幕网| 欧美精品亚洲一区二区| 日本午夜av视频| 91精品国产九色| 欧美激情极品国产一区二区三区 | 天天躁夜夜躁狠狠久久av| 晚上一个人看的免费电影| 自拍欧美九色日韩亚洲蝌蚪91 | 九色成人免费人妻av| 成年人免费黄色播放视频 |