• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    支撐電力業(yè)務(wù)規(guī)劃的軟件定義網(wǎng)絡(luò)控制器時(shí)延性能分析

    2017-11-13 01:56:21李炳林黃紅兵
    電力系統(tǒng)自動(dòng)化 2017年17期
    關(guān)鍵詞:流表交換機(jī)數(shù)據(jù)包

    劉 川, 李炳林, 婁 征, 陳 雷, 黃紅兵

    (1. 全球能源互聯(lián)網(wǎng)研究院, 江蘇省南京市 210003; 2. 國(guó)家電網(wǎng)公司電力通信網(wǎng)絡(luò)技術(shù)實(shí)驗(yàn)室, 江蘇省南京市 210003; 3. 國(guó)網(wǎng)江蘇省電力公司南京供電公司, 江蘇省南京市 210000; 4. 中國(guó)信息通信研究院, 北京市 100191;5. 國(guó)網(wǎng)浙江省電力公司, 浙江省杭州市 310007)

    支撐電力業(yè)務(wù)規(guī)劃的軟件定義網(wǎng)絡(luò)控制器時(shí)延性能分析

    劉 川1,2, 李炳林1,2, 婁 征3, 陳 雷4, 黃紅兵5

    (1. 全球能源互聯(lián)網(wǎng)研究院, 江蘇省南京市 210003; 2. 國(guó)家電網(wǎng)公司電力通信網(wǎng)絡(luò)技術(shù)實(shí)驗(yàn)室, 江蘇省南京市 210003; 3. 國(guó)網(wǎng)江蘇省電力公司南京供電公司, 江蘇省南京市 210000; 4. 中國(guó)信息通信研究院, 北京市 100191;5. 國(guó)網(wǎng)浙江省電力公司, 浙江省杭州市 310007)

    引入集中控制理念的軟件定義網(wǎng)絡(luò)(SDN)技術(shù)為網(wǎng)絡(luò)的智能化提供了新的思路,但也同時(shí)在業(yè)務(wù)的端到端傳輸時(shí)延中引入了控制時(shí)延。詳細(xì)闡述了SDN架構(gòu)下,硬件資源和流表下發(fā)模式對(duì)控制時(shí)延的影響,在仿真環(huán)境和實(shí)際測(cè)試中,開展了兩種流表下發(fā)模式下端到端時(shí)延對(duì)比和應(yīng)用系統(tǒng)控制時(shí)延對(duì)比。從數(shù)據(jù)分析中可以得出Reactive模式擁有較高的自動(dòng)化程度與靈活性,但會(huì)引入高控制時(shí)延,Proactive模式的控制時(shí)延很低,但需要人工干預(yù)和預(yù)配置?;趯?duì)比結(jié)論,結(jié)合現(xiàn)網(wǎng)業(yè)務(wù)承載方式,建議電力通信網(wǎng)中涉及路由的承載方式可采用SDN技術(shù)進(jìn)行優(yōu)化,通過預(yù)配置業(yè)務(wù)路徑,以Proactive模式保障實(shí)時(shí)性,同時(shí)支持Reactive模式,應(yīng)對(duì)復(fù)雜網(wǎng)絡(luò)的靈活性需求。

    電力通信網(wǎng); 軟件定義網(wǎng)絡(luò); 時(shí)延; 流表下發(fā)模式

    0 引言

    一次設(shè)備智能化后,電網(wǎng)狀態(tài)信息的實(shí)時(shí)交換、網(wǎng)絡(luò)化的視頻監(jiān)控和多媒體交互信息管理等業(yè)務(wù)將更多的數(shù)據(jù)匯聚到集控中心、調(diào)度中心和數(shù)據(jù)容災(zāi)中心,數(shù)據(jù)類業(yè)務(wù)成為電力通信網(wǎng)帶寬的主要消耗業(yè)務(wù)[1]。

    傳統(tǒng)電力通信網(wǎng)由于老舊設(shè)備攀升、受制于一次線路切改等原因,呈現(xiàn)出網(wǎng)絡(luò)結(jié)構(gòu)薄弱、智能化程度不高等不適應(yīng)性。因此,迫切需要引入全新的網(wǎng)絡(luò)技術(shù),以提高網(wǎng)絡(luò)資源控制的靈活性和帶寬的利用率,而軟件定義網(wǎng)絡(luò)(software defined networking,SDN)正是這樣一種技術(shù)。

    SDN最初是由美國(guó)斯坦福大學(xué)Clean Slate研究組提出的一種新型網(wǎng)絡(luò)架構(gòu),其設(shè)計(jì)初衷是解決無法利用現(xiàn)有網(wǎng)絡(luò)中的大規(guī)模真實(shí)流量和豐富應(yīng)用進(jìn)行試驗(yàn)的問題,同時(shí)研究如何提高網(wǎng)絡(luò)的速度、可靠性、能效性和安全性等問題。隨著研究的深入,SDN逐漸得到了學(xué)術(shù)界和工業(yè)界的廣泛認(rèn)可,成為未來互聯(lián)網(wǎng)的主流發(fā)展方向[2]。

    由于電力業(yè)務(wù)在實(shí)時(shí)性與可靠性方面的極高要求,在將SDN技術(shù)引入電力系統(tǒng)的過程中,時(shí)延敏感業(yè)務(wù)[3-5]對(duì)SDN網(wǎng)絡(luò)的適應(yīng)性,成為論證SDN技術(shù)在電力通信網(wǎng)中應(yīng)用可行性的重要因素之一,也是軟件定義電網(wǎng)[6]概念下的重要研究方向。由于實(shí)時(shí)性并不是SDN技術(shù)本身所關(guān)注的問題,因此,業(yè)界對(duì)于SDN時(shí)延的研究仍以設(shè)備的轉(zhuǎn)發(fā)時(shí)延為主。

    本文研究了SDN控制器的時(shí)延性能,通過測(cè)試與仿真,確定硬件資源對(duì)時(shí)延性能的影響,詳細(xì)闡述了SDN流表下發(fā)模式中業(yè)務(wù)控制及傳輸時(shí)延的組成,并基于時(shí)延性能與電力業(yè)務(wù)需求,提出規(guī)劃建議,提高SDN技術(shù)與電力業(yè)務(wù)的適配性。

    1 業(yè)務(wù)時(shí)延需求分析

    繼電保護(hù)、電量數(shù)據(jù)采集、變電站視頻監(jiān)控等[7]電力業(yè)務(wù)對(duì)丟包和時(shí)延極為敏感,即使很小的響應(yīng)時(shí)間增加,都會(huì)對(duì)業(yè)務(wù)性能造成影響。以系統(tǒng)保護(hù)通信網(wǎng)的需求為例,考慮區(qū)域之間的通信需求,以區(qū)域內(nèi)最大傳輸距離3 000 km,區(qū)域間最大傳輸距離5 000 km估算,要求系統(tǒng)在60 ms內(nèi)實(shí)現(xiàn)電網(wǎng)發(fā)、輸、配及直流全景狀態(tài)監(jiān)測(cè),300 ms內(nèi)實(shí)現(xiàn)重要擾動(dòng)故障防御控制,而采集和控制通信時(shí)延均應(yīng)控制在50 ms以內(nèi)。

    精準(zhǔn)負(fù)荷控制系統(tǒng)(下文簡(jiǎn)稱精控系統(tǒng))作為系統(tǒng)保護(hù)的重要部分,在業(yè)務(wù)時(shí)延方面有著更加明確的需求,精控系統(tǒng)的時(shí)延需求如表1所示。

    表1 精控系統(tǒng)時(shí)延需求Table 1 Time delay demand of precise load control system

    2 SDN控制器時(shí)延性能

    SDN控制器的流表下發(fā)性能受到諸多因素的影響。在硬件層面,控制器流表下發(fā)的性能與硬件配置直接相關(guān)。在軟件層面,根據(jù)不同的流表下發(fā)模式,會(huì)涉及多個(gè)處理模塊與軟件接口。

    2.1 硬件資源對(duì)控制器時(shí)延性能的影響

    SDN控制器是安裝在通用硬件平臺(tái)上的一組軟件程序,硬件資源的各種配置直接影響軟件的運(yùn)行性能。服務(wù)器主要的硬件資源包括計(jì)算資源(CPU主頻)、存儲(chǔ)資源(內(nèi)存和硬盤)和網(wǎng)絡(luò)資源(網(wǎng)卡接口和速率)。因流表的下發(fā)一般不會(huì)涉及硬盤存儲(chǔ),故硬盤不作為流表下發(fā)時(shí)延產(chǎn)生的因素。

    2.1.1 網(wǎng)絡(luò)資源對(duì)流表下發(fā)性能的影響

    如果控制器和交換機(jī)分屬于不同的物理位置,南向接口的流表下發(fā)需要通過物理網(wǎng)卡,且本文考察流表下發(fā)成功以物理交換機(jī)接收到流表為考察點(diǎn),網(wǎng)絡(luò)資源對(duì)于流表下發(fā)性能的影響應(yīng)該考慮進(jìn)去。對(duì)于網(wǎng)卡接口速率對(duì)下發(fā)速度的影響,以通用服務(wù)器網(wǎng)卡線速1 000 Mbit/s,OpenFlow下發(fā)流表的Flow_MOD消息為例,以實(shí)際應(yīng)用中發(fā)送流表的Flow_MOD消息為200 B計(jì)算,則千兆網(wǎng)卡流表下發(fā)速度理論上可以達(dá)到655條/s。

    因此,如果使用Proactive模式(動(dòng)態(tài)模式)大規(guī)模部署流表,或者在小數(shù)據(jù)包大數(shù)據(jù)流量背景下的Reactive模式(靜態(tài)模式)下發(fā)流表,網(wǎng)卡速率有可能成為流表下發(fā)的瓶頸。

    同時(shí),考慮到整個(gè)網(wǎng)絡(luò)傳輸?shù)馁|(zhì)量,如線纜的質(zhì)量和網(wǎng)絡(luò)所通過連接設(shè)備的線速與轉(zhuǎn)發(fā)性能等各種綜合因素,以目前千兆網(wǎng)絡(luò)為主流的背景下,不建議流表下發(fā)速率規(guī)劃在500條/s之上。以現(xiàn)有網(wǎng)絡(luò)的狀況,更高的流表下發(fā)速率將難以保障網(wǎng)絡(luò)的可靠性與實(shí)時(shí)性[7]。

    2.1.2 內(nèi)存資源對(duì)流表下發(fā)性能的影響

    為了探討服務(wù)器內(nèi)存資源對(duì)流表下發(fā)的影響,本文使用VMWare虛擬機(jī)安裝開放式網(wǎng)絡(luò)操作系統(tǒng)(open network operating system,ONOS)控制器,每次測(cè)試重新分配虛擬機(jī)內(nèi)存,在其他條件不變的情況下,通過調(diào)整ONOS所在虛擬機(jī)的內(nèi)存大小,來觀察內(nèi)存大小變化對(duì)流表下發(fā)的影響。除內(nèi)存因素之外,其他不變因素見附錄A表A1。流表下發(fā)采用控制器的北向接口,通過表述性狀態(tài)轉(zhuǎn)移(representational state transfer,RESTful)在遠(yuǎn)端調(diào)用下發(fā)的方式轉(zhuǎn)換為控制器原語(yǔ),再經(jīng)由南向接口下發(fā)至交換設(shè)備進(jìn)行。測(cè)試結(jié)果如圖1所示。

    圖1 內(nèi)存資源對(duì)時(shí)延特性影響的測(cè)試結(jié)果Fig.1 Test result of impact of time delay characteristics on memory resource

    通過圖1可以看出,在10萬條流表下發(fā)的情況下,內(nèi)存資源在0~13 GB的變化區(qū)間內(nèi),時(shí)延的浮動(dòng)在7 s左右,這種時(shí)延的波動(dòng)是由于某一測(cè)試時(shí)間點(diǎn),控制器內(nèi)部運(yùn)行模塊調(diào)度等因素造成了運(yùn)行背景環(huán)境的差異而導(dǎo)致的,考慮到此種誤差因素,結(jié)合實(shí)際測(cè)試數(shù)據(jù),可以得出單條流表承載單個(gè)業(yè)務(wù)的控制邏輯時(shí),內(nèi)存對(duì)于流表下發(fā)性能的影響不大于0.07 ms,且該時(shí)延與內(nèi)存資源不存在線性比例關(guān)系。因此,在保證控制器正常運(yùn)轉(zhuǎn)的條件下,控制器的流表下發(fā)速率與內(nèi)存變化的關(guān)系不明顯,可以認(rèn)為內(nèi)存的大小與流表下發(fā)時(shí)延性能基本無關(guān)。

    2.1.3 CPU資源對(duì)流表下發(fā)性能的影響

    為了探討CPU資源對(duì)流表下發(fā)的影響,本文同樣使用VMWare虛擬機(jī)安裝ONOS控制器,在其他條件不變的情況下,每次測(cè)試調(diào)整CPU主頻與核數(shù),來觀察CPU資源對(duì)流表下發(fā)性能的影響。流表下發(fā)通過控制器的北向接口,通過使用RESTful在遠(yuǎn)端調(diào)用下發(fā)的方式轉(zhuǎn)換為控制器原語(yǔ),再經(jīng)由南向接口下發(fā)至交換設(shè)備進(jìn)行。

    分別測(cè)試流表下發(fā)性能在2 394 MHz(單核)、4 788 MHz(雙核)和7 183 MHz(三核)的主頻下的數(shù)據(jù),與內(nèi)存資源數(shù)據(jù)擬合,結(jié)果如圖2所示。除CPU因素之外,其他不變因素見附錄A表A2。

    圖2 CPU資源與內(nèi)存資源時(shí)延特性的數(shù)據(jù)擬合Fig.2 Data fitting of time delay characteristics of CPU resource and memory resource

    從圖2中可以看出,CPU的性能對(duì)控制器流表下發(fā)性能的影響較大,在提高CPU性能的條件下,流表下發(fā)時(shí)延明顯縮短,而這種提升存在一個(gè)CPU主頻的最優(yōu)值,即無法通過無限提高CPU主頻和核數(shù)來無限減少時(shí)延。

    2.2 控制器流表下發(fā)模式對(duì)時(shí)延性能的影響

    2.2.1 Proactive模式流表下發(fā)時(shí)延分析

    SDN控制器與交換機(jī)之間的OpenFlow通道建立后,由控制器向OpenFlow交換機(jī)預(yù)先發(fā)送流表項(xiàng)設(shè)定的設(shè)置稱為Proactive模式,也即動(dòng)態(tài)模式。Proactive模式是在大量數(shù)據(jù)包進(jìn)入交換機(jī)需要轉(zhuǎn)發(fā)之前,用控制器將流表預(yù)先下發(fā)給交換機(jī),這樣交換機(jī)在收到數(shù)據(jù)包時(shí),就能根據(jù)相關(guān)的流表進(jìn)行轉(zhuǎn)發(fā)。通過預(yù)先定義好所有流表的規(guī)則,并通過控制器下發(fā),在交換機(jī)中生效,該模式能夠避免交換機(jī)生成Packet-in消息所產(chǎn)生的時(shí)延,所有進(jìn)入交換機(jī)的數(shù)據(jù)包都可以按照線速轉(zhuǎn)發(fā)。

    SDN控制器流表的主動(dòng)下發(fā)過程,可以在控制器的北向接口使用RESTful風(fēng)格的Web調(diào)用,或使用超文本傳輸協(xié)議(HTTP)在遠(yuǎn)端進(jìn)行,也可以在控制器內(nèi)部通過內(nèi)嵌應(yīng)用(APP),利用嵌入式的應(yīng)用程序編程接口(application programming interface,API)直接下發(fā)流表[8]。一些支持如地址解析協(xié)議(address resolution protocol,ARP)解析等現(xiàn)有基本業(yè)務(wù)的流表下發(fā),就是通過內(nèi)嵌APP模塊的Proactive模式實(shí)現(xiàn)的。兩種Proactive模式下流表下發(fā)的過程見附錄B圖B1。

    對(duì)于Proactive模式的流表下發(fā),當(dāng)采用北向接口RESTful調(diào)用的方式時(shí),從控制器北向接口看,流表下發(fā)過程的時(shí)延TPRestful滿足:

    (1)

    式中:TN為SDN控制器北向接口處理RESTful HTTP請(qǐng)求的時(shí)延,該部分時(shí)延主要包括SDN控制器北向接口(可能是物理接口)的處理時(shí)延TNp和控制器北向接口對(duì)HTTP請(qǐng)求進(jìn)行協(xié)議處理,并將該請(qǐng)求轉(zhuǎn)化為控制器系統(tǒng)原語(yǔ)的時(shí)延TNh;TS為控制器南向接口流表下發(fā)時(shí)延,該部分時(shí)延主要包括控制器南向接口的OpenFlow協(xié)議棧生成OpenFlow流表下發(fā)消息的時(shí)延TSp和將流表下發(fā)的Flow Mod消息通過南向接口(可能是物理接口)轉(zhuǎn)發(fā)出去的時(shí)延TSh。

    當(dāng)Proactive模式的流表下發(fā)采用控制器內(nèi)嵌APP模塊方式實(shí)現(xiàn)時(shí),流表下發(fā)過程的時(shí)延TPAPP滿足:

    TPAPP=TC+TS

    (2)

    式中:TC為SDN控制器內(nèi)部業(yè)務(wù)邏輯處理時(shí)延。

    由于北向接口對(duì)HTTP請(qǐng)求進(jìn)行協(xié)議處理可能會(huì)經(jīng)歷復(fù)雜的迭代過程,且北向接口的實(shí)現(xiàn)方式與算法的不同都會(huì)影響到TNh這部分的時(shí)延,因此北向接口調(diào)用的處理時(shí)延TN要遠(yuǎn)大于控制器內(nèi)部業(yè)務(wù)邏輯的處理時(shí)延TC。因此,對(duì)于時(shí)延敏感業(yè)務(wù)的主動(dòng)流表下發(fā)處理,使用控制器內(nèi)嵌APP方式處理,比通過RESTful進(jìn)行遠(yuǎn)端調(diào)用實(shí)時(shí)性更高。

    2.2.2 Reactive模式流表下發(fā)時(shí)延分析

    Reactive模式,也即靜態(tài)模式,是當(dāng)一個(gè)新的數(shù)據(jù)包進(jìn)入交換機(jī)時(shí),交換機(jī)首先在流表中查找匹配規(guī)則,如果沒有發(fā)現(xiàn)匹配的流表,交換機(jī)根據(jù)不匹配數(shù)據(jù)包規(guī)則或者丟棄數(shù)據(jù)包或者使用OpenFlow的Packet_in消息將該數(shù)據(jù)包上送到控制器,控制器根據(jù)數(shù)據(jù)包的各種信息和預(yù)配置的相關(guān)規(guī)則計(jì)算創(chuàng)建一個(gè)流表項(xiàng),使用OpenFlow的Flow Mod消息通過南向接口發(fā)送給交換機(jī)[9-10]。交換機(jī)下一次收到類似的數(shù)據(jù)包時(shí)就可以直接轉(zhuǎn)發(fā)。

    Reactive模式的流表下發(fā)速率主要和控制器收到Packet-in消息并生成相關(guān)流表規(guī)則并下發(fā)的響應(yīng)時(shí)間有關(guān)。使用Reactive模式的流表下發(fā),控制器可根據(jù)上報(bào)的數(shù)據(jù)包,按照策略實(shí)時(shí)改變特定粒度業(yè)務(wù)的路徑,可能涉及流量或者業(yè)務(wù)的動(dòng)態(tài)調(diào)整,因此,該模式流表下發(fā)的各部分處理時(shí)延就顯得尤其重要。Reactive模式下流表下發(fā)過程見附錄B圖B2。對(duì)于Reactive模式的流表下發(fā),時(shí)延TR滿足:

    (3)

    式中:TF為SDN控制器收到Packet_in數(shù)據(jù)包,根據(jù)數(shù)據(jù)包內(nèi)容和應(yīng)用處理邏輯生成流表的時(shí)延,該部分時(shí)延主要包括控制器通過接口(可能是物理接口)收到Packet_in并做協(xié)議處理的時(shí)延TP和控制器根據(jù)內(nèi)部應(yīng)用處理邏輯產(chǎn)生流表項(xiàng)的時(shí)延TFL。

    2.3 SDN架構(gòu)下端到端業(yè)務(wù)傳輸時(shí)延分析

    在基于OpenFlow的SDN控制器與交換機(jī)環(huán)境下,端到端數(shù)據(jù)發(fā)送時(shí)延涉及的因素較多,除了鏈路傳送時(shí)延和交換機(jī)轉(zhuǎn)發(fā)時(shí)延以外,還要考慮OpenFlow流表處理機(jī)制對(duì)端到端數(shù)據(jù)包傳送的影響。如果端到端的數(shù)據(jù)包轉(zhuǎn)發(fā)之前,數(shù)據(jù)包經(jīng)過路徑的全部交換機(jī)都已通過控制器使用Proactive模式將流表下發(fā)好且流表生效,則端到端的數(shù)據(jù)包時(shí)延只需要考慮數(shù)據(jù)包經(jīng)過每個(gè)OpenFlow交換機(jī)流表匹配和轉(zhuǎn)發(fā)的時(shí)延,此種情況下,控制器流表下發(fā)的時(shí)間將不會(huì)對(duì)業(yè)務(wù)的端到端時(shí)延造成影響。

    如果該數(shù)據(jù)包在首個(gè)OpenFlow交換機(jī)中流表匹配未命中,而交換機(jī)的Table-Miss表規(guī)則是將未匹配的數(shù)據(jù)包轉(zhuǎn)發(fā)到控制器,就會(huì)觸發(fā)Reactive模式的流表下發(fā),如圖3所示。

    圖3 未知數(shù)據(jù)包在SDN網(wǎng)絡(luò)中的匹配過程Fig.3 Matching process of unknown packet in SDN network

    如圖3所示,當(dāng)觸發(fā)Reactive模式的流表下發(fā),端到端的數(shù)據(jù)傳輸時(shí)延TEnd-to-End除了數(shù)據(jù)在物理鏈路上的傳送時(shí)延以外,還滿足:

    TEnd-to-End=TPacket_in+TP_send+TF_send+TF_act+TR

    (4)

    TPacket_in=Tpim+Tpic+Tpis

    (5)

    TF_act=TFMc+Tset

    (6)

    式中:TPacket_in為交換機(jī)收到收據(jù)包后產(chǎn)生Packet_in報(bào)文的時(shí)延,該部分時(shí)延包括數(shù)據(jù)包在交換機(jī)內(nèi)部查找流表匹配的時(shí)延Tpim、交換機(jī)生成Packet_in消息的協(xié)議處理時(shí)延Tpic,以及Packet_in消息通過網(wǎng)絡(luò)接口的發(fā)送時(shí)延Tpis;TP_send為Packet_in報(bào)文通過OpenFlow通道的傳送時(shí)延;TF_send為流表通過OpenFlow通道的傳送時(shí)延;TF_act為流表在交換機(jī)中生效的時(shí)延,該時(shí)延包括了Flow Mod進(jìn)入交換機(jī)接口的處理時(shí)延TFMc和流表的安裝時(shí)延Tset。

    通過上述分析可以發(fā)現(xiàn),在Reactive模式下,所引入的端到端轉(zhuǎn)發(fā)時(shí)延因素要遠(yuǎn)多于Proactive模式下的數(shù)據(jù)包轉(zhuǎn)發(fā)。

    為了考察Proactive和Reactive兩種模式下端到端的時(shí)延情況,本文首先通過ONOS控制器和Mininet軟件交換機(jī)仿真環(huán)境進(jìn)行了以下實(shí)驗(yàn):使用Mininet創(chuàng)建7臺(tái)交換機(jī)的線形拓?fù)浜蜆湫瓮負(fù)?見附錄C圖C1、圖C2),分別模擬電力通信網(wǎng)絡(luò)中兩種典型的數(shù)據(jù)流向。線形拓?fù)淠M縱向交互的業(yè)務(wù)流向,如精控系統(tǒng)中,業(yè)務(wù)流僅在控制終端、控制子站、控制主站與控制中心站之間縱向交互,同一層級(jí)之間無數(shù)據(jù)交互;樹形拓?fù)淠M橫向交互的業(yè)務(wù)流向,如電力數(shù)據(jù)中心業(yè)務(wù)服務(wù)器之間的數(shù)據(jù)交互?;赟DN分層分域的控制架構(gòu),在同一個(gè)域間交互的業(yè)務(wù)一般不大于7跳。

    兩個(gè)主機(jī)分別下掛在路徑最遠(yuǎn)的兩個(gè)交換機(jī)下,考察端到端的數(shù)據(jù)傳送時(shí)延,結(jié)果見附錄C表C1。此次測(cè)試的轉(zhuǎn)發(fā)平面是基于服務(wù)器內(nèi)部采用軟件環(huán)境生成的OpenFlow交換機(jī),雖然沒有經(jīng)過實(shí)際的網(wǎng)卡和物理線路傳送,但對(duì)于兩種模式時(shí)延的比較結(jié)果沒有影響。從數(shù)據(jù)中可以得出,Proactive模式的端到端平均時(shí)延要遠(yuǎn)小于Reactive模式,并且可以滿足電力系統(tǒng)正常通信狀態(tài)和應(yīng)急通信狀態(tài)下的時(shí)延要求。

    在控制器上層通過北向接口加入應(yīng)用系統(tǒng)后,本文在并發(fā)數(shù)50,100,150三種情況下,對(duì)Reactive和Proactive兩種模式下業(yè)務(wù)的端到端控制時(shí)延進(jìn)行了實(shí)際測(cè)試,測(cè)試結(jié)果如表2所示。

    從測(cè)試結(jié)果中可以得出,Reactive模式在加入應(yīng)用系統(tǒng)后的控制時(shí)延較高,而Proactive模式的控制時(shí)延可以達(dá)到毫秒級(jí)。

    3 支撐電力業(yè)務(wù)時(shí)延需求的SDN應(yīng)用規(guī)劃模式建議

    3.1 硬件資源的選擇建議

    根據(jù)上文硬件資源對(duì)SDN控制器時(shí)延性能的研究結(jié)論發(fā)現(xiàn),在硬件資源的選擇上,如果考慮流表下發(fā)時(shí)延和下發(fā)速率等性能因素,應(yīng)首先保證服務(wù)器計(jì)算資源(CPU)的充足配置。

    表2 兩種流表下發(fā)模式下控制時(shí)延的測(cè)試結(jié)果Table 2 Test results of control time delay under two flow table release modes

    在流表下發(fā)性能規(guī)劃的考慮上,應(yīng)該考慮控制通道的網(wǎng)絡(luò)接口瓶頸,合理規(guī)劃和配置網(wǎng)絡(luò)的硬件配置(網(wǎng)卡接口極限和物理網(wǎng)絡(luò)極限),盡量保證控制通道的網(wǎng)絡(luò)帶寬不會(huì)成為瓶頸,減少控制器南向接口流表消息下發(fā)的pending狀態(tài)[9],以減少時(shí)延。

    3.2 流表下發(fā)模式選擇建議

    電力通信網(wǎng)組網(wǎng)中涉及路由的承載方式可以采用SDN的技術(shù)體制實(shí)現(xiàn)業(yè)務(wù)的統(tǒng)一管控與靈活調(diào)度。例如:精控系統(tǒng)中的秒級(jí)及分鐘級(jí)控制模式,由于其采集和控制指令通過營(yíng)銷控制大區(qū)的網(wǎng)絡(luò)傳送,涉及路由調(diào)度,因此適合用SDN的方式承載,而毫秒級(jí)控制模式的業(yè)務(wù)通道采用基于SDH的2 Mbit/s專線方式,利用骨干傳輸網(wǎng)分層傳輸,不具備靈活調(diào)度的條件,因此,不建議采用SDN方式承載。流表下發(fā)模式選擇建議如表3所示。

    表3 流表下發(fā)模式選擇建議Table 3 Suggestions on flow table release mode

    SDN技術(shù)最大的特色在于其靈活性與開放性,從某種意義上來說,SDN在某些場(chǎng)合反而會(huì)犧牲掉一定的實(shí)時(shí)性,正因如此,SDN在公網(wǎng)應(yīng)用中的優(yōu)勢(shì)一般體現(xiàn)在資源利用率的提升和運(yùn)維管理的智能化上。然而,電力業(yè)務(wù)與公網(wǎng)業(yè)務(wù)卻也有著不同特點(diǎn),首先,電力通信網(wǎng)作為輔助電力一次設(shè)備的基礎(chǔ)設(shè)施,其網(wǎng)絡(luò)相對(duì)固定,也即很少出現(xiàn)拓?fù)漕l繁變化的狀況;其次,電力業(yè)務(wù)數(shù)據(jù)流相對(duì)固定,業(yè)務(wù)流向與公網(wǎng)相反,一般以上行數(shù)據(jù)為主,也即電力業(yè)務(wù)一般不會(huì)伴隨高隨機(jī)性與高突發(fā)性?;谏鲜鲭娏I(yè)務(wù)特點(diǎn),SDN技術(shù)在電力通信網(wǎng)中的應(yīng)用可以采用策略預(yù)先配置的方式,以Proactive模式的流表下發(fā)來保障業(yè)務(wù)傳輸?shù)膶?shí)時(shí)性,同時(shí)輔以Reactive模式的流表下發(fā),來應(yīng)對(duì)大規(guī)模網(wǎng)絡(luò)或復(fù)雜網(wǎng)絡(luò)的靈活性需求。針對(duì)不同業(yè)務(wù)的時(shí)延需求和控制需求,引入Hybrid模式(混合模式)的流表下發(fā)機(jī)制,在業(yè)務(wù)傳輸時(shí)延可容忍的前提下,達(dá)到實(shí)時(shí)性與靈活性的平衡[11-12]。

    4 結(jié)論

    本文開展的面向電力業(yè)務(wù)規(guī)劃的SDN控制器時(shí)延性能分析,通過實(shí)際測(cè)試與仿真,從硬件資源和流表下發(fā)模式的角度詳細(xì)分析了各種情況下,網(wǎng)絡(luò)SDN化對(duì)承載業(yè)務(wù)時(shí)延造成的影響,并以系統(tǒng)保護(hù)精控系統(tǒng)的業(yè)務(wù)時(shí)延需求出發(fā),提出SDN技術(shù)引入及流表下發(fā)模式選擇的方案,可以得到如下結(jié)論。

    1)對(duì)于硬件資源,內(nèi)存和硬盤基本不會(huì)影響流表下發(fā)的時(shí)延,網(wǎng)卡會(huì)成為流表下發(fā)時(shí)延的瓶頸,CPU資源會(huì)明顯影響流表下發(fā)時(shí)延,但存在一個(gè)閾值。

    2)Proactive流表下發(fā)模式比Reactive流表下發(fā)模式擁有更低的時(shí)延,但Reactive模式的自動(dòng)化程度更高。

    3)考慮Hybrid模式理論上可以實(shí)現(xiàn)實(shí)時(shí)性與靈活性的平衡,但在實(shí)際網(wǎng)絡(luò)部署中,引入的環(huán)境因素將會(huì)更多,混合流表下發(fā)模式是否比單一流表下發(fā)模式更適用于實(shí)際部署還需要進(jìn)一步驗(yàn)證。

    在后續(xù)工作中,將進(jìn)一步優(yōu)化SDN技術(shù)在實(shí)時(shí)性與靈活性方面的平衡點(diǎn),引入更多環(huán)境變量進(jìn)行仿真和測(cè)試,使其更加適用于實(shí)際部署。

    附錄見本刊網(wǎng)絡(luò)版(http://www.aeps-info.com/aeps/ch/index.aspx)。

    [1] 劉川,黃輝,喻強(qiáng),等.基于SDN的電力通信集中控制高可靠性業(yè)務(wù)支撐機(jī)制研究[J].電力信息與通信技術(shù),2015,13(12):1-5.

    LIU Chuan, HUANG Hui, YU Qiang, et al. Research of high reliability business support mechanism for power communication system centralized control based on SDN[J]. Electric Power Information and Communication Technology, 2015, 13(12): 1-5.

    [2] 張朝昆,崔勇,唐翯祎,等.軟件定義網(wǎng)絡(luò)(SDN)研究進(jìn)展[J].軟件學(xué)報(bào),2015,26(1):62-81.

    ZHANG Chaokun, CUI Yong, TANG Heyi, et al. State-of-the-art survey on software defined networking (SDN)[J]. Journal of Software, 2015, 26(1): 62-81.

    [3] 張蕾,占震濱,魏路平,等.廣域測(cè)量系統(tǒng)分段時(shí)延測(cè)量及分析[J].電力系統(tǒng)自動(dòng)化,2016,40(6):101-106.DOI:10.7500/AEPS20150427008.

    ZHANG Lei, ZHAN Zhenbin, WEI Luping, et al. Test and analysis of piecewise delay in wide area measurement system[J]. Automation of Electric Power Systems, 2016, 40(6): 101-106. DOI: 10.7500/AEPS20150427008.

    [4] 劉文霞,羅紅,陳錦山.考慮網(wǎng)絡(luò)保護(hù)的廣域測(cè)量系統(tǒng)通信時(shí)延分析[J].電力系統(tǒng)自動(dòng)化,2011,35(21):68-73.

    LIU Wenxia, LUO Hong, CHEN Jinshan. Communication delay analysis of WAMS considering network protection mechanisms[J]. Automation of Electric Power Systems, 2011, 35(21): 68-73.

    [5] 陸子剛,衛(wèi)志農(nóng),孫國(guó)強(qiáng),等.相關(guān)量測(cè)下處理時(shí)延的電力系統(tǒng)動(dòng)態(tài)狀態(tài)更新法[J].電力系統(tǒng)自動(dòng)化,2015,39(11):132-138.DOI:10.7500/AEPS20140505003.

    LU Zigang, WEI Zhinong, SUN Guoqiang, et al. Power system dynamic state updating method in processing time delay with correlated measurement[J]. Automation of Electric Power Systems, 2015, 39(11): 132-138. DOI: 10.7500/AEPS20140505003.

    [6] 曹袖,黃瀚,王雪平,等.軟件定義電網(wǎng):概念、結(jié)構(gòu)與示例[J].電力系統(tǒng)自動(dòng)化,2016,40(6):1-9.DOI:10.7500/AEPS20150907009.

    CAO Xiu, HUANG Han, WANG Xueping, et al. Software defined grid: concept, architecture and samples[J]. Automation of Electric Power Systems, 2016, 40(6): 1-9. DOI: 10.7500/AEPS20150907009.

    [7] KREUTZ D, RAMOS F M V, ESTEVES VERISSIMO P, et al. Software-defined networking: a comprehensive survey[J]. Proceedings of the IEEE, 2015, 103(1): 10-13.

    [8] MCKEOWN N. Software-defined networking[C]// Proceedings of IEEE INFOCOM, April 19-25, 2009, Rio De Janeiro, Brazil.

    [9] MCKEOWN N, ANDERSON T, BALAKRISHNAN H,et al. OpenFlow: enabling innovation in campus networks[J]. ACM SIGCOMM Computer Communication Review, 2008, 38(2): 69-74.

    [10] MIT Technology Review. 10 breakthrough technologies,TR10: software-defined networking[EB/OL]. [2015-12-30]. http://www.technologyreview.com/article/412194/tr10-software-defined-networking/.

    [11] 王繼業(yè),劉川,吳軍民,等.軟件定義電力廣域網(wǎng)通信業(yè)務(wù)資源公平分配技術(shù)[J].電網(wǎng)技術(shù),2015,39(1):1425-1431.

    WANG Jiye, LIU Chuan, WU Junmin, et al. Research of software defined service resource equitable allocation technology of power WAN[J]. Power System Technology, 2015, 39(1): 1425-1431.

    [12] 左青云,陳鳴,趙廣松,等.基于OpenFlow的SDN技術(shù)研究[J].軟件學(xué)報(bào),2013,24(5):1078-1097.

    ZUO Qingyun, CHEN Ming, ZHAO Guangsong, et al. Research on OpenFlow-based SDN technologies[J]. Journal of Software, 2013, 24(5): 1078-1097.

    Analysis on Time Delay Performance of Software Defined Networking Controller in Support of Power Service Planning

    LIUChuan1,2,LIBinglin1,2,LOUZheng3,CHENLei4,HUANGHongbing5

    (1. Global Energy Interconnection Research Institute, Nanjing 210003, China; 2. State Grid Laboratory of Electric Power Communication Network Technology, Nanjing 210003, China; 3. Nanjing Power Supply Company, State Grid Jiangsu Electric Power Company, Nanjing 210000, China; 4. China Institute of Information and Communication, Beijing 100191, China; 5. State Grid Zhejiang Electric Power Company, Hangzhou 310007, China)

    The technology of software defined networking (SDN) has provided the intelligent network with a new line of thought. But at the same time, control delay is introduced into the end-to-end transmission delay of transaction. The influence of hardware resources and flow table release mode on control delay is described in detail under the SDN architecture. In the simulation environment and actual test, comparisons of end-to-end time delay and control time delay with application systems are made. From the data analysis, it can be seen that the Reactive mode has a high degree of automation and flexibility, but introduces high control delay. However, the Proactive mode has a low control delay, but requires manual intervention and pre-configuration. Based on the comparison conclusions and combined with business bearer of current network, it is suggested that the bearer mode involved in routing in the power communication network be optimized by SDN technology. Proactive mode guarantees real-time performance by pre-configuring service paths, while supporting Reactive mode to meet the flexibility requirements of complicated networks.

    This work is supported by State Grid Corporation of China.

    power communication network; software defined networking (SDN); time delay; flow table release mode

    2017-03-02;

    2017-06-12。

    上網(wǎng)日期: 2017-07-21。

    國(guó)家電網(wǎng)公司科技項(xiàng)目“面向電力通信多域交互的軟件定義光網(wǎng)絡(luò)關(guān)鍵技術(shù)研究”。

    劉 川(1986—),男,通信作者,碩士,高級(jí)工程師,主要研究方向:電力通信網(wǎng)絡(luò)與傳感、未來網(wǎng)絡(luò)技術(shù)。E-mail:liuchuan@geiri.sgcc.com.cn

    李炳林(1970—),男,碩士,研究員級(jí)高級(jí)工程師,主要研究方向:電力通信網(wǎng)絡(luò)與傳感。

    婁 征(1978—),男,碩士,高級(jí)工程師,主要研究方向:電力信息安全及計(jì)算機(jī)體系結(jié)構(gòu)。

    (編輯 章黎)

    猜你喜歡
    流表交換機(jī)數(shù)據(jù)包
    基于時(shí)序與集合的SDN流表更新策略
    SmartSniff
    基于緩存策略的OpenFlow流表存儲(chǔ)優(yōu)化方案研究
    修復(fù)損壞的交換機(jī)NOS
    簡(jiǎn)析yangUI流表控制
    軟件定義網(wǎng)絡(luò)中一種兩步式多級(jí)流表構(gòu)建算法
    使用鏈路聚合進(jìn)行交換機(jī)互聯(lián)
    PoE交換機(jī)雷擊浪涌防護(hù)設(shè)計(jì)
    基于Libpcap的網(wǎng)絡(luò)數(shù)據(jù)包捕獲器的設(shè)計(jì)與實(shí)現(xiàn)
    羅克韋爾自動(dòng)化交換機(jī)Allen-Bradley ArmorStratix 5700
    中文字幕人妻熟女乱码| 亚洲国产欧美在线一区| 亚洲国产欧美网| 国产亚洲一区二区精品| 人妻一区二区av| 国产成人精品久久二区二区91 | 亚洲国产中文字幕在线视频| 欧美精品亚洲一区二区| 高清黄色对白视频在线免费看| 国产欧美日韩综合在线一区二区| 国产av国产精品国产| 韩国高清视频一区二区三区| 久久精品久久精品一区二区三区| 亚洲欧美中文字幕日韩二区| 午夜福利一区二区在线看| 夫妻性生交免费视频一级片| 桃花免费在线播放| 欧美人与性动交α欧美软件| 欧美精品高潮呻吟av久久| 日韩一卡2卡3卡4卡2021年| 色综合欧美亚洲国产小说| 亚洲精品av麻豆狂野| 激情视频va一区二区三区| 亚洲av在线观看美女高潮| 久久亚洲国产成人精品v| 满18在线观看网站| 夫妻午夜视频| 亚洲欧美激情在线| 国产成人午夜福利电影在线观看| av在线观看视频网站免费| 一级毛片电影观看| 777久久人妻少妇嫩草av网站| 国产一区有黄有色的免费视频| 最近中文字幕2019免费版| 亚洲美女视频黄频| 日韩免费高清中文字幕av| 乱人伦中国视频| 国产一区二区激情短视频 | 亚洲国产精品一区二区三区在线| 2018国产大陆天天弄谢| 国产老妇伦熟女老妇高清| 午夜福利视频在线观看免费| 成人毛片60女人毛片免费| 日韩中文字幕视频在线看片| 日韩 亚洲 欧美在线| 国产精品香港三级国产av潘金莲 | 国产精品人妻久久久影院| 国产成人a∨麻豆精品| 亚洲精品国产av蜜桃| 99re6热这里在线精品视频| 欧美日韩成人在线一区二区| 高清不卡的av网站| 日日啪夜夜爽| 最近最新中文字幕大全免费视频 | 老司机影院成人| tube8黄色片| 中文字幕另类日韩欧美亚洲嫩草| 少妇的丰满在线观看| 一二三四中文在线观看免费高清| 天天躁夜夜躁狠狠躁躁| 色94色欧美一区二区| 国产极品粉嫩免费观看在线| 午夜福利影视在线免费观看| 少妇精品久久久久久久| a级毛片在线看网站| 亚洲国产中文字幕在线视频| 超碰97精品在线观看| 亚洲国产精品999| 欧美亚洲 丝袜 人妻 在线| 欧美精品av麻豆av| 飞空精品影院首页| 国产男女超爽视频在线观看| 自拍欧美九色日韩亚洲蝌蚪91| 日本欧美国产在线视频| 热99久久久久精品小说推荐| 青草久久国产| 啦啦啦在线免费观看视频4| 女的被弄到高潮叫床怎么办| 性高湖久久久久久久久免费观看| 一本—道久久a久久精品蜜桃钙片| 亚洲精品国产av成人精品| 一级爰片在线观看| 日韩av不卡免费在线播放| 男女高潮啪啪啪动态图| 另类精品久久| 欧美最新免费一区二区三区| 熟女少妇亚洲综合色aaa.| 男人爽女人下面视频在线观看| 日韩精品免费视频一区二区三区| 天天躁夜夜躁狠狠久久av| 国产精品欧美亚洲77777| 水蜜桃什么品种好| 一本一本久久a久久精品综合妖精| 欧美精品一区二区免费开放| 国产1区2区3区精品| 嫩草影视91久久| 黑丝袜美女国产一区| 亚洲av男天堂| 五月天丁香电影| 久久婷婷青草| 欧美日韩一级在线毛片| 一本大道久久a久久精品| 亚洲第一av免费看| 最新的欧美精品一区二区| 国产成人av激情在线播放| 如何舔出高潮| 免费女性裸体啪啪无遮挡网站| 大片电影免费在线观看免费| 啦啦啦啦在线视频资源| 免费高清在线观看日韩| 最近最新中文字幕免费大全7| 久久久久网色| 久久亚洲国产成人精品v| 国产熟女午夜一区二区三区| 亚洲自偷自拍图片 自拍| 精品国产一区二区三区四区第35| 国产一区二区三区av在线| 啦啦啦在线免费观看视频4| 韩国精品一区二区三区| 交换朋友夫妻互换小说| 精品一区二区三区av网在线观看 | 国产极品天堂在线| 国产免费视频播放在线视频| 日本欧美视频一区| 超色免费av| xxxhd国产人妻xxx| 十八禁高潮呻吟视频| 最近最新中文字幕大全免费视频 | 麻豆精品久久久久久蜜桃| 高清视频免费观看一区二区| 亚洲免费av在线视频| 老司机亚洲免费影院| 久久久精品免费免费高清| 国产黄频视频在线观看| 天天躁日日躁夜夜躁夜夜| 男人添女人高潮全过程视频| 一区在线观看完整版| netflix在线观看网站| 国产色婷婷99| 亚洲美女黄色视频免费看| 麻豆精品久久久久久蜜桃| 在线精品无人区一区二区三| 中文字幕色久视频| 天堂俺去俺来也www色官网| 黄色一级大片看看| 大片电影免费在线观看免费| 中文字幕制服av| 叶爱在线成人免费视频播放| 青春草亚洲视频在线观看| 飞空精品影院首页| 亚洲精品aⅴ在线观看| 制服人妻中文乱码| 十八禁高潮呻吟视频| 欧美精品人与动牲交sv欧美| 日日摸夜夜添夜夜爱| 无遮挡黄片免费观看| a级毛片在线看网站| 2018国产大陆天天弄谢| 热99国产精品久久久久久7| 亚洲成人免费av在线播放| 一本久久精品| 丰满迷人的少妇在线观看| 黄色毛片三级朝国网站| 亚洲精品在线美女| 精品视频人人做人人爽| 美女脱内裤让男人舔精品视频| 日韩av在线免费看完整版不卡| av不卡在线播放| 美女视频免费永久观看网站| 国产一区二区三区综合在线观看| 两性夫妻黄色片| 观看美女的网站| 欧美日韩精品网址| 91成人精品电影| 欧美在线一区亚洲| av一本久久久久| 校园人妻丝袜中文字幕| 久久久久久久久免费视频了| 亚洲三区欧美一区| 午夜激情久久久久久久| 女人爽到高潮嗷嗷叫在线视频| 丰满饥渴人妻一区二区三| 国产色婷婷99| 伦理电影大哥的女人| 日韩制服骚丝袜av| 在现免费观看毛片| 国产av一区二区精品久久| 亚洲成色77777| 亚洲国产欧美在线一区| 日日摸夜夜添夜夜爱| 极品少妇高潮喷水抽搐| 最近最新中文字幕大全免费视频 | av又黄又爽大尺度在线免费看| 亚洲一区中文字幕在线| 午夜免费观看性视频| 亚洲av中文av极速乱| 国产亚洲最大av| 又黄又粗又硬又大视频| 美女午夜性视频免费| 欧美在线一区亚洲| 多毛熟女@视频| 免费黄色在线免费观看| 在线精品无人区一区二区三| 国产一区二区三区av在线| 国精品久久久久久国模美| 欧美日韩av久久| tube8黄色片| 精品国产乱码久久久久久男人| 中国三级夫妇交换| 国产精品熟女久久久久浪| 日日啪夜夜爽| 大话2 男鬼变身卡| 国产精品欧美亚洲77777| 热re99久久精品国产66热6| 日韩,欧美,国产一区二区三区| 观看av在线不卡| 亚洲国产最新在线播放| 国产精品麻豆人妻色哟哟久久| 亚洲精品aⅴ在线观看| svipshipincom国产片| 欧美亚洲日本最大视频资源| 久久久国产精品麻豆| 日韩制服骚丝袜av| 午夜日韩欧美国产| 丝袜喷水一区| 亚洲激情五月婷婷啪啪| 国产激情久久老熟女| 亚洲欧美日韩另类电影网站| 久久亚洲国产成人精品v| 午夜av观看不卡| 搡老乐熟女国产| 九色亚洲精品在线播放| 亚洲国产精品999| 麻豆av在线久日| 欧美少妇被猛烈插入视频| 国产日韩欧美视频二区| 男女床上黄色一级片免费看| 亚洲欧美成人综合另类久久久| 人人妻人人添人人爽欧美一区卜| 亚洲成人一二三区av| 看免费成人av毛片| 看非洲黑人一级黄片| 国产成人a∨麻豆精品| 亚洲美女搞黄在线观看| 90打野战视频偷拍视频| 亚洲美女视频黄频| 日韩免费高清中文字幕av| 涩涩av久久男人的天堂| 国产一区二区激情短视频 | 精品一区二区三区av网在线观看 | 久久韩国三级中文字幕| 亚洲精品成人av观看孕妇| 亚洲,欧美,日韩| 只有这里有精品99| 国产一区亚洲一区在线观看| 观看美女的网站| 日韩中文字幕欧美一区二区 | 日韩 亚洲 欧美在线| 精品一品国产午夜福利视频| 高清黄色对白视频在线免费看| 亚洲国产中文字幕在线视频| 综合色丁香网| 国产无遮挡羞羞视频在线观看| 亚洲欧美成人精品一区二区| 久久精品亚洲av国产电影网| 欧美久久黑人一区二区| 在线观看www视频免费| 久久婷婷青草| 国产黄频视频在线观看| 中国国产av一级| 免费日韩欧美在线观看| 国产一区有黄有色的免费视频| 久久久亚洲精品成人影院| 色视频在线一区二区三区| 丝袜在线中文字幕| 国产成人精品在线电影| 人人妻人人澡人人看| 黑人猛操日本美女一级片| 9热在线视频观看99| 涩涩av久久男人的天堂| 美女高潮到喷水免费观看| 交换朋友夫妻互换小说| xxx大片免费视频| 午夜激情av网站| 一个人免费看片子| 高清视频免费观看一区二区| 视频在线观看一区二区三区| 日韩大码丰满熟妇| 婷婷色综合www| 欧美日韩亚洲国产一区二区在线观看 | 欧美精品一区二区大全| 成人国产av品久久久| 两个人看的免费小视频| 丝袜脚勾引网站| 赤兔流量卡办理| 青草久久国产| 两个人看的免费小视频| 亚洲熟女毛片儿| 久久久久精品人妻al黑| 国产熟女午夜一区二区三区| 精品一区二区三区av网在线观看 | 成人漫画全彩无遮挡| 久久久久网色| 天天影视国产精品| 男女免费视频国产| 2018国产大陆天天弄谢| 国产免费视频播放在线视频| 国产乱人偷精品视频| 日本黄色日本黄色录像| 久久精品久久久久久噜噜老黄| 亚洲欧美清纯卡通| 在线亚洲精品国产二区图片欧美| 蜜桃在线观看..| 女人久久www免费人成看片| 一区二区三区精品91| 日本av手机在线免费观看| 如何舔出高潮| 在线天堂中文资源库| 午夜av观看不卡| 一区二区三区四区激情视频| 亚洲专区中文字幕在线 | av天堂久久9| 嫩草影视91久久| 制服丝袜香蕉在线| 搡老乐熟女国产| 成年av动漫网址| 中文天堂在线官网| 校园人妻丝袜中文字幕| 日日啪夜夜爽| 亚洲精品aⅴ在线观看| 亚洲国产中文字幕在线视频| 美女福利国产在线| 高清在线视频一区二区三区| 最近中文字幕2019免费版| e午夜精品久久久久久久| 久久久久精品性色| 国产色婷婷99| 欧美亚洲 丝袜 人妻 在线| 99久久综合免费| 国产成人午夜福利电影在线观看| 精品一区在线观看国产| 国产不卡av网站在线观看| 欧美日韩亚洲国产一区二区在线观看 | 精品卡一卡二卡四卡免费| 在线天堂中文资源库| 精品一区二区三区av网在线观看 | 日韩大片免费观看网站| 亚洲美女搞黄在线观看| 99香蕉大伊视频| 国产精品熟女久久久久浪| 日韩熟女老妇一区二区性免费视频| 亚洲 欧美一区二区三区| 高清视频免费观看一区二区| 日本爱情动作片www.在线观看| 欧美黄色片欧美黄色片| 9色porny在线观看| 不卡视频在线观看欧美| 国产av国产精品国产| 亚洲精品美女久久av网站| 日韩成人av中文字幕在线观看| 宅男免费午夜| 黄色怎么调成土黄色| 尾随美女入室| av在线播放精品| 十八禁网站网址无遮挡| 看免费av毛片| 日韩,欧美,国产一区二区三区| 免费观看性生交大片5| 欧美黑人欧美精品刺激| 黑人欧美特级aaaaaa片| 成年人免费黄色播放视频| 成人漫画全彩无遮挡| 熟女av电影| 精品第一国产精品| 国产一区二区三区综合在线观看| 在线观看免费高清a一片| 精品少妇黑人巨大在线播放| 亚洲 欧美一区二区三区| 在线天堂中文资源库| 久久97久久精品| 国产在线免费精品| av国产久精品久网站免费入址| 国产成人精品福利久久| 久久 成人 亚洲| 国产一区二区三区综合在线观看| 精品少妇内射三级| 精品国产一区二区三区久久久樱花| 女人爽到高潮嗷嗷叫在线视频| 中文字幕另类日韩欧美亚洲嫩草| 夜夜骑夜夜射夜夜干| 香蕉丝袜av| 天天躁日日躁夜夜躁夜夜| 在线天堂最新版资源| 亚洲 欧美一区二区三区| 看免费成人av毛片| 好男人视频免费观看在线| 黑丝袜美女国产一区| 国产在视频线精品| 亚洲精品aⅴ在线观看| 狂野欧美激情性bbbbbb| 久久精品亚洲av国产电影网| 国产日韩欧美亚洲二区| 狂野欧美激情性xxxx| av在线老鸭窝| 免费av中文字幕在线| 亚洲精品久久成人aⅴ小说| 久久久国产一区二区| 日韩欧美一区视频在线观看| 搡老乐熟女国产| 欧美黑人欧美精品刺激| 男男h啪啪无遮挡| 国产男女超爽视频在线观看| 婷婷色综合www| 一级毛片黄色毛片免费观看视频| 欧美 亚洲 国产 日韩一| 亚洲精品aⅴ在线观看| 久热爱精品视频在线9| 免费人妻精品一区二区三区视频| 纯流量卡能插随身wifi吗| 精品国产一区二区久久| 亚洲成人免费av在线播放| 色综合欧美亚洲国产小说| 日韩一区二区视频免费看| 国产片内射在线| 亚洲,欧美,日韩| 国产免费视频播放在线视频| 久久人妻熟女aⅴ| 欧美日韩精品网址| 欧美亚洲 丝袜 人妻 在线| 久久久精品区二区三区| 一区在线观看完整版| 国产深夜福利视频在线观看| 色综合欧美亚洲国产小说| 赤兔流量卡办理| 久久人人爽av亚洲精品天堂| 美女高潮到喷水免费观看| 久久精品国产综合久久久| 肉色欧美久久久久久久蜜桃| 少妇人妻精品综合一区二区| 免费观看a级毛片全部| 亚洲精品一区蜜桃| 国产男女内射视频| 久久亚洲国产成人精品v| 啦啦啦中文免费视频观看日本| 午夜福利在线免费观看网站| 国产乱人偷精品视频| 叶爱在线成人免费视频播放| 久久精品久久精品一区二区三区| 亚洲av电影在线观看一区二区三区| 亚洲精品自拍成人| av女优亚洲男人天堂| 国产免费福利视频在线观看| 好男人视频免费观看在线| 高清视频免费观看一区二区| av天堂久久9| 久久天堂一区二区三区四区| 国产精品免费大片| 午夜福利视频在线观看免费| 午夜老司机福利片| 女人被躁到高潮嗷嗷叫费观| 天天操日日干夜夜撸| 久久精品国产综合久久久| 岛国毛片在线播放| 日韩成人av中文字幕在线观看| 亚洲欧美成人精品一区二区| 欧美少妇被猛烈插入视频| 精品视频人人做人人爽| 大码成人一级视频| videos熟女内射| 欧美日韩福利视频一区二区| 国产无遮挡羞羞视频在线观看| 免费高清在线观看视频在线观看| 侵犯人妻中文字幕一二三四区| av网站免费在线观看视频| 亚洲精品日本国产第一区| 丝袜美腿诱惑在线| 99九九在线精品视频| 伦理电影大哥的女人| av国产精品久久久久影院| 亚洲精品美女久久久久99蜜臀 | 亚洲av男天堂| 日日啪夜夜爽| av片东京热男人的天堂| 少妇精品久久久久久久| 亚洲av电影在线观看一区二区三区| 国产一区二区激情短视频 | 91精品伊人久久大香线蕉| 男女之事视频高清在线观看 | 国产乱人偷精品视频| 午夜久久久在线观看| 久久久久精品人妻al黑| 免费在线观看视频国产中文字幕亚洲 | 日韩电影二区| 久久综合国产亚洲精品| 精品国产露脸久久av麻豆| 免费黄色在线免费观看| 久久久精品国产亚洲av高清涩受| 日韩 欧美 亚洲 中文字幕| 91老司机精品| 人体艺术视频欧美日本| 精品少妇一区二区三区视频日本电影 | 免费观看性生交大片5| 你懂的网址亚洲精品在线观看| 亚洲五月色婷婷综合| 中文字幕人妻熟女乱码| 日韩 欧美 亚洲 中文字幕| 观看美女的网站| 在线天堂最新版资源| 一边摸一边做爽爽视频免费| 亚洲国产av影院在线观看| 久久精品aⅴ一区二区三区四区| 久久97久久精品| 在线看a的网站| 蜜桃国产av成人99| 一本—道久久a久久精品蜜桃钙片| 亚洲精品一二三| 中文字幕高清在线视频| 电影成人av| 天天躁夜夜躁狠狠躁躁| 国产亚洲欧美精品永久| 日本黄色日本黄色录像| 亚洲精品日本国产第一区| 哪个播放器可以免费观看大片| 国产一区有黄有色的免费视频| 黑人欧美特级aaaaaa片| av.在线天堂| 妹子高潮喷水视频| 亚洲成国产人片在线观看| 国产一卡二卡三卡精品 | 亚洲在久久综合| 精品久久久精品久久久| 又大又爽又粗| 极品少妇高潮喷水抽搐| 亚洲国产精品一区三区| 国产熟女欧美一区二区| 国产亚洲一区二区精品| 中文字幕色久视频| 精品人妻熟女毛片av久久网站| 婷婷色综合www| 91aial.com中文字幕在线观看| 免费黄频网站在线观看国产| 欧美日韩视频高清一区二区三区二| 久久人妻熟女aⅴ| 亚洲精品中文字幕在线视频| 亚洲综合色网址| 亚洲精品美女久久久久99蜜臀 | 秋霞伦理黄片| 在线观看免费高清a一片| 一级,二级,三级黄色视频| 亚洲伊人色综图| 欧美少妇被猛烈插入视频| 国产男女超爽视频在线观看| 国产精品一二三区在线看| 亚洲一级一片aⅴ在线观看| 亚洲,欧美,日韩| 国产精品嫩草影院av在线观看| 国产 一区精品| 国产免费又黄又爽又色| 国产99久久九九免费精品| 亚洲av日韩在线播放| 中文字幕制服av| 欧美少妇被猛烈插入视频| 亚洲成人av在线免费| 久久精品久久久久久久性| 18禁裸乳无遮挡动漫免费视频| 一本一本久久a久久精品综合妖精| 久久精品亚洲熟妇少妇任你| 婷婷色综合大香蕉| 日韩精品免费视频一区二区三区| 毛片一级片免费看久久久久| 亚洲av国产av综合av卡| 制服人妻中文乱码| 90打野战视频偷拍视频| 日韩中文字幕欧美一区二区 | av女优亚洲男人天堂| 亚洲熟女精品中文字幕| 美女午夜性视频免费| 91精品伊人久久大香线蕉| 免费av中文字幕在线| 91精品三级在线观看| 亚洲国产欧美网| 欧美精品一区二区大全| 国产视频首页在线观看| 熟妇人妻不卡中文字幕| 涩涩av久久男人的天堂| 777米奇影视久久| 91精品三级在线观看| 婷婷色综合www| 欧美亚洲 丝袜 人妻 在线| 狠狠精品人妻久久久久久综合| 一本色道久久久久久精品综合| 免费少妇av软件| 黑人猛操日本美女一级片| 在线精品无人区一区二区三| 咕卡用的链子| 欧美精品人与动牲交sv欧美| 国产亚洲一区二区精品| 国产成人91sexporn| 午夜福利乱码中文字幕| 一区二区三区四区激情视频| videosex国产| 色婷婷久久久亚洲欧美| 婷婷色麻豆天堂久久| 女人被躁到高潮嗷嗷叫费观| 大片电影免费在线观看免费| 久久精品亚洲av国产电影网| 色网站视频免费| 99re6热这里在线精品视频| 制服诱惑二区| 日韩免费高清中文字幕av| 搡老岳熟女国产| 日本wwww免费看| 国产欧美日韩一区二区三区在线| 免费人妻精品一区二区三区视频| av国产久精品久网站免费入址|