• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    一種基于流聚合與擁塞避免的SDN快速故障恢復(fù)方案

    2023-11-14 13:16:46姜厚海曹子寧
    計(jì)算機(jī)與現(xiàn)代化 2023年10期
    關(guān)鍵詞:備份交換機(jī)鏈路

    姜厚海,莊 毅,曹子寧

    (南京航空航天大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,江蘇 南京 211106)

    0 引 言

    軟件定義網(wǎng)絡(luò)(Software Defined Network,SDN)是一種新的網(wǎng)絡(luò)架構(gòu)[1],它將傳統(tǒng)交換機(jī)的控制邏輯與數(shù)據(jù)轉(zhuǎn)發(fā)操作分離,運(yùn)營商可以通過控制平面的集中控制器輕松部署網(wǎng)絡(luò)應(yīng)用。在SDN 中,邏輯集中的控制器直接決定交換機(jī)的轉(zhuǎn)發(fā)行為,并通過一些標(biāo)準(zhǔn)化協(xié)議(如OpenFlow[2]等)監(jiān)控網(wǎng)絡(luò)狀態(tài)。這種架構(gòu)通過對網(wǎng)絡(luò)的集中控制,降低了網(wǎng)絡(luò)管理的復(fù)雜度,實(shí)現(xiàn)了更靈活的網(wǎng)絡(luò)控制并有利于網(wǎng)絡(luò)創(chuàng)新[3-5]。

    盡管SDN 控制與轉(zhuǎn)發(fā)分離的思想在當(dāng)下取得了迅速的發(fā)展,但由于關(guān)鍵鏈路擁塞、鏈路帶寬利用不均衡、鏈路或節(jié)點(diǎn)故障等原因,SDN 提供的可靠數(shù)據(jù)傳輸受到了巨大挑戰(zhàn)。其中,單鏈路故障是一個(gè)必須解決的主要問題,因?yàn)閱捂溌饭收鲜蔷W(wǎng)絡(luò)中最常見的問題[6],其發(fā)生概率高于其他故障幾個(gè)數(shù)量級。

    針對單鏈路故障,目前的故障恢復(fù)方案可以分為2 類:反應(yīng)式故障恢復(fù)方案和主動(dòng)式故障恢復(fù)方案[7-8]。這2 種策略的主要區(qū)別在于是否提前設(shè)置了受保護(hù)的路徑以及故障恢復(fù)過程是否需要控制器參與。反應(yīng)式故障恢復(fù)方案中,在鏈路發(fā)生故障之后,集中控制器會收到鏈路中斷的通知,然后根據(jù)當(dāng)前拓?fù)湫畔浞萋窂竭M(jìn)行動(dòng)態(tài)計(jì)算,并將計(jì)算得到的備份路徑流表規(guī)則下發(fā)到相關(guān)的交換機(jī)上,以轉(zhuǎn)移中斷的流量[9-10]。主動(dòng)式故障恢復(fù)方案中,集中控制器會在出現(xiàn)任何故障鏈路之前,預(yù)先將備份路徑的轉(zhuǎn)發(fā)規(guī)則下發(fā)到相應(yīng)交換機(jī)上。當(dāng)交換機(jī)之間的鏈路發(fā)生故障而無法傳輸數(shù)據(jù)時(shí),數(shù)據(jù)平面的交換機(jī)可以自動(dòng)將中斷的流量轉(zhuǎn)發(fā)到備份路徑,無需控制器參與[11-12]。

    這2 種故障恢復(fù)方案各有優(yōu)缺點(diǎn)。對于主動(dòng)式恢復(fù)方案來講,提前安裝備份路徑轉(zhuǎn)發(fā)規(guī)則可以在發(fā)現(xiàn)故障后快速恢復(fù),但是會消耗珍貴的三態(tài)內(nèi)容尋址存儲器(Ternary Content Addressable Memory,TCAM)資源,大大增加了網(wǎng)絡(luò)成本[13]。TCAM是一種昂貴且存儲受限的高能耗硬件[14],根據(jù)文獻(xiàn)[15]顯示TCAM 比基于ARM的存儲硬件貴400倍。另外,提前安裝備份路徑難以保證故障發(fā)生后備份路徑的性能,可能會在故障恢復(fù)后發(fā)生鏈路擁塞,造成網(wǎng)絡(luò)服務(wù)質(zhì)量(QoS)的下降[16]。而反應(yīng)式故障恢復(fù)方案需要在發(fā)生故障后重新計(jì)算中斷流量的備份路徑,會增加集中控制器的負(fù)載,并且有較高的恢復(fù)時(shí)延,難以在電信級別要求的50 ms[17]內(nèi)完成整個(gè)鏈路故障的恢復(fù)過程。

    從2 種故障恢復(fù)方案的優(yōu)缺點(diǎn)來看,有必要去設(shè)計(jì)一種新的故障恢復(fù)方案來平衡SDN 中的故障恢復(fù)時(shí)間和存儲成本。針對主動(dòng)式恢復(fù)方案中流表規(guī)則消耗太多存儲資源的缺陷,人們提出了一種基于流聚合的方案來解決這個(gè)問題。該方案將所有受到故障影響的流量聚合為一個(gè)帶有新標(biāo)簽的大流量,控制器只需要為聚合流提前計(jì)算備份路徑并安裝流表規(guī)則即可。然而,一個(gè)包含所有中斷流的聚合流在重路由的過程中,很可能會導(dǎo)致恢復(fù)后網(wǎng)絡(luò)中的潛在擁塞。因此,本文提出一種基于流聚合與擁塞避免的SDN快速故障恢復(fù)方案FACAR。該方案支持從單鏈路故障中進(jìn)行本地故障轉(zhuǎn)移,并且可以將流經(jīng)同一鏈路的流量備份到不同的備份鏈路,從而避免故障恢復(fù)后網(wǎng)絡(luò)中的潛在擁塞。

    本文主要工作如下:

    1)為SDN提供一種有效的快速故障恢復(fù)方案,可以在SDN 交換機(jī)上以低存儲開銷實(shí)現(xiàn)本地快速故障恢復(fù),同時(shí),可以避免故障恢復(fù)后網(wǎng)絡(luò)中的潛在擁塞。

    2)將故障恢復(fù)方案表示為一個(gè)整數(shù)線性規(guī)劃問題,并提出一種基于貪心的啟發(fā)式算法去選擇最合適的備份路徑。

    3)進(jìn)行廣泛的仿真來評估性能,結(jié)果表明,與現(xiàn)有的SDN 故障恢復(fù)方法相比,可以在滿足快速故障恢復(fù)的基礎(chǔ)上實(shí)現(xiàn)低TCAM 存儲開銷和故障恢復(fù)后的負(fù)載均衡。

    1 相關(guān)工作

    在主動(dòng)式故障恢復(fù)和反應(yīng)式故障恢復(fù)方案方面,國內(nèi)外學(xué)者已經(jīng)有了許多的研究成果。

    Sharma 等人[9]詳細(xì)介紹了反應(yīng)式故障恢復(fù)的過程,在檢測到故障后,控制器更新拓?fù)洳槊總€(gè)受到故障影響的流計(jì)算工作路徑,通過刪除舊的流表規(guī)則和下發(fā)新的流表規(guī)則來完成流的重定向。他們還比較了主動(dòng)式恢復(fù)和反應(yīng)式恢復(fù)方法的恢復(fù)延遲性能[10],實(shí)驗(yàn)結(jié)果表明反應(yīng)式故障恢復(fù)策略恢復(fù)延遲在75~130 ms 左右,難以滿足電信級別要求,而主動(dòng)式故障恢復(fù)策略恢復(fù)延遲可以控制在45 ms 以內(nèi)。Kim 等人[18]提出了一種采用反應(yīng)式策略從多鏈路故障中恢復(fù)的系統(tǒng),其中控制器使用全局網(wǎng)絡(luò)的拓?fù)湫畔碛?jì)算多條路由路徑以處理多鏈路故障。在文獻(xiàn)[19]中,作者提出一種稱為本地快速重路由的方法,該方法通過將所有受到故障影響的流聚合為一個(gè)流,并在鏈路故障之后通過控制器計(jì)算路徑,使得聚合流可以轉(zhuǎn)發(fā)到故障鏈路的下游交換機(jī),完成流的重定向。顯然,由于反應(yīng)式故障恢復(fù)策略在發(fā)生故障之后,需要控制器重新計(jì)算工作路徑,使得反應(yīng)式故障恢復(fù)策略在恢復(fù)時(shí)延方面表現(xiàn)不佳,不適用于運(yùn)營商級網(wǎng)絡(luò)。但是,它可以處理多組件故障的情況,并且不需要存儲額外的轉(zhuǎn)發(fā)規(guī)則,節(jié)省了存儲空間。

    主動(dòng)式故障恢復(fù)方案采用故障保護(hù)策略,控制器可以預(yù)先將受保護(hù)的路徑轉(zhuǎn)發(fā)規(guī)則配置到數(shù)據(jù)平面的交換機(jī)中,以便上游鄰居交換機(jī)可以將受故障影響的流從工作路徑切換到受保護(hù)路徑。在這種情況下,故障恢復(fù)時(shí)延幾乎等同于故障檢測時(shí)間。在文獻(xiàn)[20]中,工作路徑和備份路徑的流表規(guī)則被分配了不同的優(yōu)先級,如果沒有發(fā)生故障,則優(yōu)先級較高的工作路徑流表規(guī)則將發(fā)揮作用,否則,工作路徑的流表規(guī)則會被刪除,優(yōu)先級較低的備份路徑流表規(guī)則將用于流的重定向。文獻(xiàn)[11]提出一種1:1 保護(hù)機(jī)制,控制器為工作路徑計(jì)算一條不相交的備份路徑,并結(jié)合使用Fast Failover 故障切換功能,如果鏈路發(fā)生故障,交換機(jī)將進(jìn)行切換操作,將受影響的數(shù)據(jù)流重定向到備份路徑,而不需要控制器的參與。上述研究通過預(yù)先配置流的備份路徑實(shí)現(xiàn)快速轉(zhuǎn)移,當(dāng)流的數(shù)量增加時(shí),無疑會加大交換機(jī)內(nèi)部存儲空間的消耗。針對該問題,Zhang 等人[12]提出了一種以更少的備份資源實(shí)現(xiàn)故障恢復(fù)的方法,根據(jù)鏈路重要性將鏈路分為3個(gè)級別,為最高級別的鏈路配置2條備份路徑,為中等級別的鏈路配置1 條備份路徑,最低級別的鏈路采用反應(yīng)式故障恢復(fù)策略。這種方法雖然減少了備份資源的消耗,但是其覆蓋的保護(hù)范圍并不全面,僅可以滿足重要鏈路上數(shù)據(jù)流的恢復(fù)時(shí)延和傳輸質(zhì)量。Chen等人[21]提出了一種使用流標(biāo)記機(jī)制的主動(dòng)恢復(fù)方案,以較少的備份資源恢復(fù)單鏈路故障。如果發(fā)生鏈路故障,受故障影響的數(shù)據(jù)包將被標(biāo)記VLAN 標(biāo)簽并重定向到故障鏈路的另一端。然而,包含所有中斷數(shù)據(jù)流量的聚合流的重定向可能會導(dǎo)致恢復(fù)后網(wǎng)絡(luò)中的鏈路擁塞問題。

    通過對已有工作內(nèi)容的總結(jié)與分析,可以發(fā)現(xiàn)之前的鏈路故障恢復(fù)方案的側(cè)重點(diǎn)都有所不同,整體包含3 個(gè)方面:1)鏈路發(fā)生故障后網(wǎng)絡(luò)恢復(fù)需要的時(shí)間長短;2)對TCAM 存儲資源消耗的多少;3)鏈路故障恢復(fù)后網(wǎng)絡(luò)是否會發(fā)生鏈路擁塞。綜合考慮這3 個(gè)方面,本文提出一種基于流聚合與擁塞避免的快速故障恢復(fù)方案(Flow Aggregation and Congestion Avoidance for Fast Failure Recovery in SDN,F(xiàn)ACAR),其主要特性如下:

    1)快速恢復(fù):FACAR 預(yù)先安裝備份路徑,并在故障鏈路的鄰居交換機(jī)上結(jié)合使用Fast Failover 故障切換功能進(jìn)行流的重定向,縮短故障恢復(fù)時(shí)間。

    2)低存儲開銷:FACAR通過將同一鏈路上的所有流視為一個(gè)或幾個(gè)聚合流,然后僅為聚合流構(gòu)造受保護(hù)的路徑,大大減少備份流表規(guī)則對存儲資源的占用。

    3)擁塞避免:對于重路由可能會導(dǎo)致的網(wǎng)絡(luò)擁塞問題,F(xiàn)ACAR 通過綜合考慮網(wǎng)絡(luò)拓?fù)?、故障狀態(tài)以及鏈路負(fù)載來進(jìn)行不同保護(hù)路徑的安裝,以確保重路由后不會出現(xiàn)網(wǎng)絡(luò)擁塞問題。

    2 SDN網(wǎng)絡(luò)模型和故障恢復(fù)策略

    2.1 網(wǎng)絡(luò)模型

    本文中的SDN網(wǎng)絡(luò)拓?fù)淠P突硎緸镚=(V,E),其中V表示交換機(jī)集合,E表示鏈路集合。在本文提出的方案中,采用了OpenFlow 協(xié)議提供的虛擬局域網(wǎng)(VLAN)標(biāo)記功能,將網(wǎng)絡(luò)中的每條鏈路用一個(gè)唯一的標(biāo)識符標(biāo)記,當(dāng)鏈路出現(xiàn)故障后,為所有流經(jīng)故障鏈路的數(shù)據(jù)流打上唯一鏈路標(biāo)識符,然后利用Fast Failover 組表功能將流量傳輸切換到備份路徑,為了避免故障恢復(fù)后潛在的擁塞問題,可能會提前配置多條備份路徑,在備份路徑上,通過唯一鏈路標(biāo)識符對流進(jìn)行聚合,可以大大減少備份路徑對流表存儲資源的消耗。本文所用完整的符號列表如表1所示。

    表1 符號列表

    2.2 基于流聚合與擁塞避免的故障恢復(fù)策略

    在SDN 網(wǎng)絡(luò)架構(gòu)中,控制器會利用鏈路層發(fā)現(xiàn)協(xié)議(Link Layer Discovery Protocol,LLDP)獲取網(wǎng)絡(luò)整體的拓?fù)浣Y(jié)構(gòu)并維護(hù)可用的備份路徑信息。基于這些信息,控制器可以在流的工作路徑上預(yù)先配置備份路徑,以預(yù)防可能發(fā)生的單鏈路故障。當(dāng)數(shù)據(jù)流的首個(gè)數(shù)據(jù)包進(jìn)入網(wǎng)絡(luò)后,源交換機(jī)會向控制器發(fā)送Packet_in 消息,控制器收到請求后,利用全局的拓?fù)湟晥D為源、目的主機(jī)計(jì)算工作路徑以及每條工作鏈路的備份路徑,將對應(yīng)鏈路的VLAN ID 作為故障上游交換機(jī)備份路徑的匹配規(guī)則,最后下發(fā)流表安裝指令到所有相關(guān)的交換機(jī)中。在數(shù)據(jù)流正常傳輸過程中,交換機(jī)將數(shù)據(jù)包轉(zhuǎn)發(fā)到Fast Failover 組表中,之后將數(shù)據(jù)包轉(zhuǎn)發(fā)到工作路徑的下一跳交換機(jī)。當(dāng)鏈路出現(xiàn)故障之后,故障上游交換機(jī)會將原來通過故障鏈路的數(shù)據(jù)包都打上唯一VLAN ID 標(biāo)簽,然后轉(zhuǎn)發(fā)到備份路徑的下一跳交換機(jī),備份路徑通過匹配VLAN ID 進(jìn)行數(shù)據(jù)包的轉(zhuǎn)發(fā),最后在數(shù)據(jù)包轉(zhuǎn)發(fā)到故障下游交換機(jī)之前去除VLAN ID 標(biāo)簽,由故障下游交換機(jī)繼續(xù)完成正常工作路徑的數(shù)據(jù)包轉(zhuǎn)發(fā)。

    下面通過一個(gè)例子來說明本文的故障恢復(fù)策略。在網(wǎng)絡(luò)拓?fù)渲邪? 臺交換機(jī)(S1、S2、S3、S4、S5)以及6 臺主機(jī)(H1、H2、H3、H4、H5、H6),網(wǎng)絡(luò)中部署了3 個(gè)數(shù)據(jù)流,分別為H1→H4、H2→H5、H3→H6,每條鏈路附近的2 個(gè)數(shù)據(jù)表示流量負(fù)載和鏈路總帶寬。各鏈路對應(yīng)的VLAN ID如表2所示。

    表2 鏈路對應(yīng)的VLAN ID表

    圖1顯示了鏈路故障前的3個(gè)流量的路由情況。

    圖1 正常路由

    圖2 顯示了典型的主動(dòng)故障恢復(fù)策略,鏈路S1-S5 的備份路徑為S1-S2-S5。當(dāng)S1-S5 鏈路發(fā)生故障之后,3 條流量會同時(shí)經(jīng)過備份路徑S1-S2-S5,使鏈路S1-S2 和S2-S5 出現(xiàn)鏈路擁塞問題,承載的流量帶寬超過了鏈路的帶寬。

    圖2 典型主動(dòng)故障恢復(fù)

    圖3 顯示了本文提出的故障恢復(fù)策略,對于鏈路S1-S5,部署了2 條備份路徑,其中S1-S2-S5 作為流H1→H4 的備份路徑,S1-S3-S4-S5 作為流H2→H5和H3→H6的備份路徑。通過使用2條備份路徑將故障鏈路S1-S5 上的3 個(gè)流進(jìn)行重路由,并利用流聚合的特性減少了S3、S4 交換機(jī)中的備份轉(zhuǎn)發(fā)規(guī)則的數(shù)目,即只需要為流H2→H5 和流H3→H6 形成的聚合流配置2 個(gè)VLAN ID=3 的匹配轉(zhuǎn)發(fā)規(guī)則。在這種情況下,與為每個(gè)流的鏈路都進(jìn)行備份轉(zhuǎn)發(fā)規(guī)則的典型主動(dòng)故障恢復(fù)方法相比,大大減少了預(yù)置備份轉(zhuǎn)發(fā)規(guī)則的數(shù)目,同時(shí),避免了故障恢復(fù)后網(wǎng)絡(luò)中的潛在擁塞問題。

    圖3 基于流聚合與擁塞避免的故障恢復(fù)

    2.3 問題定義

    FACAR 方案使用提前安裝備份路徑的方式來實(shí)現(xiàn)鏈路故障快速恢復(fù),為了避免恢復(fù)后鏈路擁塞,F(xiàn)ACAR 允許將故障鏈路的恢復(fù)流量分流到多個(gè)預(yù)置的備份路徑。在預(yù)先配置備份路徑時(shí),本文的目標(biāo)是在鏈路故障前最小化配置備份轉(zhuǎn)發(fā)規(guī)則的數(shù)量。對該問題的正式描述如式(1)所示:

    其中,P表示鏈路l上游交換機(jī)sl到鏈路l下游交換機(jī)dl的k條最短的路徑集合,hi表示路徑pi是否被選為備份路徑,m表示鏈路l上流的數(shù)量,xij表示流fj的備份路徑是否為pi,ni表示路徑pi上的交換機(jī)數(shù)量,需要滿足約束條件如下:

    式(2)表示集合P中所有備份路徑都必須不包含待保護(hù)鏈路l,其中表示路徑pi是否包含鏈路(sl,dl)。

    式(3)表示流量守恒定律,即流入交換機(jī)u的流量會從u完全流出,以確保流在路徑中的連續(xù)性。

    式(4)表示循環(huán)避免約束,即備份路徑pi不包含環(huán)路,以確保流在傳輸路徑中的性能。

    式(5)表示分配給備份路徑pi的流的帶寬總和不能超過pi的可用帶寬,以確保鏈路故障恢復(fù)后沒有潛在的擁塞問題,其中bj表示流fj的帶寬,λ表示鏈路利用率上限表示鏈路的帶寬,表示鏈路的負(fù)載。

    式(6)表示每個(gè)被中斷的流都會被分配到一個(gè)唯一的備份路徑上,以確保被中斷的流可以正常恢復(fù)。

    通過求解這個(gè)整數(shù)線性優(yōu)化問題ILP,可以獲得所有備份路徑以及備份流表規(guī)則的數(shù)量。然而,從整數(shù)多商品流問題[22]的推導(dǎo)中可知,這個(gè)優(yōu)化問題是NP完全的,對于大型網(wǎng)絡(luò),計(jì)算可能無法在多項(xiàng)式時(shí)間內(nèi)完成。因此,為了在多項(xiàng)式時(shí)間內(nèi)解決該優(yōu)化問題,本文設(shè)計(jì)一個(gè)多項(xiàng)式時(shí)間復(fù)雜度為O(kv(n+vlog2v) +k(n+m+v))的啟發(fā)式算法,如下文的算法1所示。

    3 ILP-FACAR算法設(shè)計(jì)

    3.1 備份路徑計(jì)算

    為了解決上文提出的優(yōu)化問題,本文提出一種基于貪心的啟發(fā)式算法,該算法計(jì)算待保護(hù)鏈路的上下游交換機(jī)節(jié)點(diǎn)之間的前k條最短路徑,然后再計(jì)算每條路徑的可用帶寬并按照可用帶寬對路徑進(jìn)行降序排序,最后選擇滿足條件的路徑對流進(jìn)行備份。

    在FACAR 中,為了實(shí)現(xiàn)故障快速恢復(fù),利用OpenFlow 協(xié)議的組表功能實(shí)現(xiàn)快速故障轉(zhuǎn)移功能,在檢測到故障發(fā)生后,故障上游交換機(jī)可以自動(dòng)將中斷的數(shù)據(jù)流繞開故障鏈路轉(zhuǎn)發(fā)到預(yù)先配置的備份路徑上,無需控制器參與,從而可減少故障恢復(fù)時(shí)間。同時(shí),為了避免故障恢復(fù)后的擁塞,控制器給每個(gè)中斷的流預(yù)先配置備份路徑,并且將分配給相同備份路徑的流匯聚成具有唯一VLAN ID 標(biāo)簽的聚合流。FACAR 采用靈活的流聚合策略,實(shí)現(xiàn)SDN 單鏈路故障的快速恢復(fù)和擁塞避免。

    算法1 的輸入為網(wǎng)絡(luò)拓?fù)?、待保護(hù)鏈路和待保護(hù)鏈路上的流集合,輸出為待保護(hù)鏈路提前配置的備份轉(zhuǎn)發(fā)規(guī)則的數(shù)量。

    算法1ILP-FACAR算法。

    輸入:網(wǎng)絡(luò)拓?fù)銰=(V,E),待保護(hù)鏈路l,l上的流集合F。

    輸出:鏈路l的備份轉(zhuǎn)發(fā)規(guī)則的數(shù)量。

    算法1流程描述如下:

    1)流排序和拓?fù)涓隆ΥWo(hù)鏈路上的流按照帶寬大小進(jìn)行降序排序,并將待保護(hù)鏈路從拓?fù)渲腥コ缓蟾戮W(wǎng)絡(luò)拓?fù)洹?/p>

    2)最短K 路徑計(jì)算。采用Yen[23]提出的KShortestPaths算法計(jì)算待保護(hù)鏈路上下游交換機(jī)節(jié)點(diǎn)之間的前k條最短路徑,將它們作為備份路徑的候選路徑,最后按照路徑的跳數(shù)對這些候選路徑進(jìn)行升序排序。

    3)路徑可用帶寬計(jì)算。為每條候選路徑創(chuàng)建一個(gè)空集合,用于存儲當(dāng)候選路徑被選為備份路徑時(shí)被路徑備份的流,并計(jì)算路徑的可用帶寬。

    4)備份路徑選擇。迭代每條待保護(hù)鏈路上的流,選擇最短的候選路徑,如果候選路徑可用帶寬滿足流的需求,就選擇當(dāng)前候選路徑作為流的備份路徑,然后將流添加到候選路徑的備份流集合中,并更新該路徑的可用帶寬,否則,選擇下一條最短的候選路徑。

    5)配置備份路徑轉(zhuǎn)發(fā)規(guī)則。迭代每條候選路徑,如果候選路徑的備份流集合不為空,表明該候選路徑被選為一條或幾條流的備份路徑,采用下文的算法2進(jìn)行備份路徑上轉(zhuǎn)發(fā)規(guī)則的配置,最后輸出提前配置的備份轉(zhuǎn)發(fā)規(guī)則的數(shù)量。

    3.2 備份路徑流規(guī)則安裝

    當(dāng)控制器完成待保護(hù)路徑的備份路徑計(jì)算后,采用算法2進(jìn)行備份路徑流規(guī)則的安裝。

    算法2備份路徑流規(guī)則配置算法。

    輸入:備份路徑pi,pi備份的流集合Ui。

    輸出:對應(yīng)交換機(jī)的流規(guī)則配置。

    算法2主要操作描述如下:

    1)待保護(hù)鏈路的上游交換機(jī)。針對待保護(hù)鏈路的上游交換機(jī),配置一個(gè)組表規(guī)則和一個(gè)流表規(guī)則。設(shè)置一個(gè)唯一的組表ID,并在組表規(guī)則第1個(gè)動(dòng)作桶中配置轉(zhuǎn)發(fā)端口為正常的工作轉(zhuǎn)發(fā)端口,發(fā)生故障之前,數(shù)據(jù)都從該端口轉(zhuǎn)發(fā);在第2 個(gè)動(dòng)作桶中配置轉(zhuǎn)發(fā)端口為備份路徑的轉(zhuǎn)發(fā)端口,故障發(fā)生之后,交換機(jī)進(jìn)行端口切換,為流經(jīng)故障鏈路的數(shù)據(jù)包進(jìn)行VLAN ID 標(biāo)記,然后數(shù)據(jù)從備用端口轉(zhuǎn)發(fā)。另外,對于流表規(guī)則的配置,其匹配域?yàn)榱鞯脑春湍康闹鳈C(jī)的IP地址,轉(zhuǎn)發(fā)動(dòng)作為轉(zhuǎn)發(fā)到提前配置的組表中。

    2)備份路徑上的交換機(jī)。針對備份路徑上的交換機(jī),除了2 個(gè)首尾交換機(jī)以外,只需要給其他的交換機(jī)下發(fā)一條流表規(guī)則即可,匹配域?yàn)榇Wo(hù)路徑的VLAN ID以及輸入端口號,轉(zhuǎn)發(fā)動(dòng)作為備份路徑的下一跳交換機(jī)。另外,對于備份路徑上的最后一個(gè)交換機(jī)(不包括目的交換機(jī)),需要在數(shù)據(jù)轉(zhuǎn)發(fā)之前剝除數(shù)據(jù)包中的VLAN ID,最后將數(shù)據(jù)轉(zhuǎn)發(fā)到目的交換機(jī)。

    3.3 算法時(shí)間復(fù)雜度分析

    本文用變量k表示需要計(jì)算的最短路徑數(shù)量,m表示被中斷的流的數(shù)量,v表示網(wǎng)絡(luò)拓?fù)渲薪粨Q機(jī)節(jié)點(diǎn)的數(shù)量,n表示網(wǎng)絡(luò)拓?fù)渲羞叺臄?shù)量。在算法1中,KShortestPaths算法的時(shí)間復(fù)雜度為O(kv(n+vlog2v))[24],路徑可用帶寬計(jì)算時(shí)間復(fù)雜度為O(kn),備份路徑選擇時(shí)間復(fù)雜度為O(km),配置備份路徑轉(zhuǎn)發(fā)規(guī)則時(shí)間復(fù)雜度為O(kv)。綜上所述,ILP-FACAR 算法時(shí)間復(fù)雜度為O(kv(n+vlog2v) +k(n+m+v))。

    4 實(shí)驗(yàn)與分析

    4.1 實(shí)驗(yàn)環(huán)境設(shè)置

    為了評估所提出的FACAR 方案,本文使用支持OpenFlow1.3 的RYU[25]控制器,并使用Mininet[26]來仿真測試網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu),通過使用3 種不同的拓?fù)鋪碓u估所提出的基于擁塞感知的方案FACAR:圖4中的例子拓?fù)?、真?shí)的網(wǎng)絡(luò)拓?fù)銾SNET[27]和挪威骨干網(wǎng)拓?fù)銷orway[28]。

    圖4 例子拓?fù)?/p>

    網(wǎng)絡(luò)拓?fù)渲兄边B主機(jī)的交換機(jī)稱為邊緣交換機(jī),在仿真實(shí)驗(yàn)中,每個(gè)邊緣交換機(jī)連接2~3 臺主機(jī),鏈路的帶寬統(tǒng)一設(shè)置為50 Mbit/s,利用Iperf 在主機(jī)之間隨機(jī)產(chǎn)生流量,流量帶寬在[4,6]Mbit/s 范圍內(nèi)均勻分布。實(shí)驗(yàn)運(yùn)行環(huán)境為Ubuntu 18.04.6 LTS,Intel Core i7-10700 CPU,2.90 GHz,8 GB內(nèi)存。

    4.2 實(shí)驗(yàn)與結(jié)果分析

    本節(jié)通過實(shí)驗(yàn)對本文提出的FACAR 方案進(jìn)行有效性驗(yàn)證,主要包括以下3 個(gè)方面:故障恢復(fù)時(shí)間、負(fù)載平衡性能、備份流表TCAM 資源消耗,并將FACAR與已有的故障恢復(fù)方法進(jìn)行分析對比。

    1)故障恢復(fù)時(shí)間。

    首先,評估FACAR 方案的故障恢復(fù)時(shí)間,將FACAR與目前流行的反應(yīng)式恢復(fù)方案(RRM)[10]和基于路徑保護(hù)的主動(dòng)式恢復(fù)方案(PRM)[11]進(jìn)行比較。為了獲得故障恢復(fù)時(shí)間,隨機(jī)選擇一條鏈路,使用Iperf隨機(jī)生成流經(jīng)該鏈路的流量,然后斷開該鏈路的連接,在目的主機(jī)使用Wireshark[29]工具來進(jìn)行數(shù)據(jù)包的監(jiān)控。故障恢復(fù)時(shí)間使用在鏈路故障之前接收到最后一個(gè)數(shù)據(jù)分組和鏈路故障之后接收到第一個(gè)數(shù)據(jù)分組之間的時(shí)間差。通過改變選擇的鏈路和流的數(shù)量,進(jìn)行20次實(shí)驗(yàn)?zāi)M,最后結(jié)果如圖5所示。

    圖5 3個(gè)拓?fù)渲械钠骄收匣謴?fù)時(shí)間

    可以看到,隨著網(wǎng)絡(luò)規(guī)模的增大,3 種方法的平均故障恢復(fù)時(shí)間均有所增加,其中,RRM 消耗的時(shí)間最多,是因?yàn)樗欠磻?yīng)式故障恢復(fù)方案,在發(fā)生故障之后,控制器需要重新計(jì)算流的工作路徑,并且網(wǎng)絡(luò)規(guī)模越大,平均故障恢復(fù)時(shí)間就越長。而2 種主動(dòng)式故障恢復(fù)方案FACAR 和PRM 受到網(wǎng)絡(luò)規(guī)模的影響較小,并且故障恢復(fù)時(shí)間遠(yuǎn)遠(yuǎn)小于反應(yīng)式恢復(fù)方案,因?yàn)樗鼈冊诎l(fā)生故障之后,不需要控制器參與備份路徑的計(jì)算,故障上游交換機(jī)可以直接將受到故障影響的數(shù)據(jù)流切換到備份路徑上。本文提出的FACAR 方案相比PRM 方案平均故障恢復(fù)時(shí)間增加了11.5%、14.3%和13.8%,這是因?yàn)镕ACAR 方案采用擁塞感知的流聚合方法,將故障鏈路上的流量配置到了不同的備份路徑上,因此在交換機(jī)進(jìn)行端口切換時(shí),所需時(shí)間略微增加,但仍滿足50 ms 內(nèi)的故障恢復(fù)時(shí)間,可以實(shí)現(xiàn)單鏈路故障的快速恢復(fù)。

    2)負(fù)載平衡性能。

    進(jìn)一步,本文對FACAR 方案故障恢復(fù)后的負(fù)載平衡性能進(jìn)行評估。通過2 種主動(dòng)式故障恢復(fù)方案PRM 和Van Adrichem 等人[30]提出的方案(命名為BG)與本文提出的FACAR 進(jìn)行對比,在網(wǎng)絡(luò)拓?fù)渲胁渴鹆髁?,并選擇負(fù)載最大的鏈路斷開,然后通過比較3 種方案恢復(fù)后的最大鏈路帶寬利用率來評估負(fù)載平衡性能。

    圖6 ~圖8 分別顯示了例子拓?fù)?、USNET 和Norway 這3 個(gè)網(wǎng)絡(luò)拓?fù)渲泄收匣謴?fù)后的最大鏈路利用率??梢钥闯觯S著流的數(shù)量增加,PRM 和BG 方法的最大鏈路利用率隨之增加,當(dāng)達(dá)到一定數(shù)量后,恢復(fù)后的網(wǎng)絡(luò)出現(xiàn)了網(wǎng)絡(luò)擁塞。本文中最大鏈路利用率閾值λ設(shè)置為0.8,當(dāng)鏈路利用率大于0.8 時(shí),就認(rèn)為該鏈路是擁塞的。整體來看,BG 方法的負(fù)載均衡性能優(yōu)于PRM 方法,這是因?yàn)锽G 方法的備份路徑是從故障節(jié)點(diǎn)上游交換機(jī)到目的交換機(jī),而PRM 方法的備份路徑是一條與原工作路徑不相交的路徑,后者在故障恢復(fù)時(shí),通常會影響更多鏈路上的鏈路利用率,而本文提出的FACAR 方案始終保持一個(gè)更優(yōu)的負(fù)載均衡效果。這是因?yàn)镻RM 和BG 只關(guān)心在故障后進(jìn)行中斷流的快速恢復(fù),而沒有考慮恢復(fù)后網(wǎng)絡(luò)中的潛在擁塞問題,而FACAR 在安裝備份路徑時(shí),會將不同的流備份到不同的路徑上,以避免鏈路故障后,通過故障鏈路的流僅能在一條備份路徑上進(jìn)行恢復(fù)。

    圖6 例子拓?fù)渲凶畲箧溌防寐?/p>

    圖7 USNET中最大鏈路利用率

    圖8 Norway中最大鏈路利用率

    3)TCAM存儲開銷。

    最后,對FACAR 方案的備份流表TCAM 資源消耗進(jìn)行評估。在網(wǎng)絡(luò)拓?fù)渲胁渴鹆髁?,并利? 種主動(dòng)式故障恢復(fù)方法PRM、BG和FACAR 提前為鏈路配置備份路徑,然后計(jì)算備份流規(guī)則的數(shù)量。

    圖9~圖11 分別顯示了例子拓?fù)?、USNET 和Norway 這3 個(gè)網(wǎng)絡(luò)拓?fù)渲刑崆芭渲玫膫浞萘饕?guī)則的數(shù)量??梢钥闯觯S著流的數(shù)量增加,3 種方法所需要配置的流規(guī)則的數(shù)量都在增加,其中增長最快的為BG 方法,因?yàn)槠鋫浞萋窂娇紤]的是從每個(gè)工作節(jié)點(diǎn)到目的節(jié)點(diǎn),因此相比于PRM 的不相交備份路徑和FACAR 的鏈路保護(hù),BG 方法所需流規(guī)則數(shù)量是最多的。在流的數(shù)量比較少時(shí),PRM 和FACAR 擁有十分相近的備份流規(guī)則數(shù)量,這是因?yàn)榇藭r(shí)網(wǎng)絡(luò)拓?fù)渲惺艿紽ACAR 保護(hù)的鏈路數(shù)量比較少,需要配置的備份流規(guī)則比較多。當(dāng)FACAR 為更多的鏈路配置了備份路徑之后,只需要給新的流量配置很少的備份流規(guī)則,而PRM 還是需要為每個(gè)流去配置備份路徑,因此隨著流的數(shù)量增加,F(xiàn)ACAR 方案可以更好地節(jié)省TCAM 資源消耗。在流的數(shù)量達(dá)到20 時(shí),相比于PRM 和BG方案,F(xiàn)ACAR 的備份流規(guī)則數(shù)量平均減少了46.7%和75%。

    圖9 例子拓?fù)渲袀浞萘饕?guī)則數(shù)量

    圖10 USNET中備份流規(guī)則數(shù)量

    圖11 Norway中備份流規(guī)則數(shù)量

    5 結(jié)束語

    針對鏈路故障恢復(fù)后可能發(fā)生的擁塞問題和備份路徑TCAM 資源消耗高的問題,本文提出了一種基于流聚合與擁塞避免的SDN 快速故障恢復(fù)方案FACAR。FACAR 方案基于VLAN ID 的流聚合,通過將同一鏈路上的所有流視為一個(gè)或幾個(gè)聚合流,然后為聚合流構(gòu)造受保護(hù)的路徑,這大大減少了備份流表規(guī)則對存儲資源的占用并確保網(wǎng)絡(luò)鏈路在故障恢復(fù)后不會發(fā)生擁塞。本文將FACAR 方案形式化表述為一個(gè)整數(shù)線性規(guī)劃問題,以求解最少配置備份轉(zhuǎn)發(fā)規(guī)則的數(shù)量。為此,本文提出了一種基于貪心的啟發(fā)式算法來配置備份轉(zhuǎn)發(fā)規(guī)則。實(shí)驗(yàn)結(jié)果表明,本文提出的FACAR 方案可以實(shí)現(xiàn)電信級別要求50 ms 內(nèi)的快速恢復(fù),而且相比于PRM 和BG 方法,F(xiàn)ACAR 方法可以始終保持很好的負(fù)載均衡。在備份流表TCAM 資源消耗上,F(xiàn)ACAR 方法相比于PRM 和BG 方法,備份流規(guī)則數(shù)量平均減少了46.7%和75%。綜上所述,F(xiàn)ACAR 是一種負(fù)載均衡、低存儲開銷的快速故障恢復(fù)方案。

    猜你喜歡
    備份交換機(jī)鏈路
    家紡“全鏈路”升級
    “備份”25年:鄧清明圓夢
    天空地一體化網(wǎng)絡(luò)多中繼鏈路自適應(yīng)調(diào)度技術(shù)
    修復(fù)損壞的交換機(jī)NOS
    使用鏈路聚合進(jìn)行交換機(jī)互聯(lián)
    淺析數(shù)據(jù)的備份策略
    科技視界(2015年6期)2015-08-15 00:54:11
    PoE交換機(jī)雷擊浪涌防護(hù)設(shè)計(jì)
    基于3G的VPDN技術(shù)在高速公路備份鏈路中的應(yīng)用
    羅克韋爾自動(dòng)化交換機(jī)Allen-Bradley ArmorStratix 5700
    出版原圖數(shù)據(jù)庫遷移與備份恢復(fù)
    一区福利在线观看| videosex国产| 99久国产av精品国产电影| 日韩不卡一区二区三区视频在线| 亚洲精品国产av蜜桃| 我的亚洲天堂| 国产精品偷伦视频观看了| 亚洲欧美成人精品一区二区| 女人被躁到高潮嗷嗷叫费观| 天美传媒精品一区二区| 99香蕉大伊视频| 不卡视频在线观看欧美| 亚洲欧美精品综合一区二区三区 | 天堂中文最新版在线下载| 久久久久久人人人人人| 久久国产亚洲av麻豆专区| 久久久久精品久久久久真实原创| 亚洲男人天堂网一区| 日韩一区二区三区影片| 国产视频首页在线观看| 欧美精品一区二区免费开放| 亚洲精品美女久久久久99蜜臀 | 久久久欧美国产精品| 亚洲欧美一区二区三区久久| 视频区图区小说| 99精国产麻豆久久婷婷| 韩国精品一区二区三区| 丰满少妇做爰视频| 亚洲综合色惰| 亚洲av欧美aⅴ国产| 黄片小视频在线播放| 欧美 日韩 精品 国产| 啦啦啦中文免费视频观看日本| 国产 一区精品| 人人妻人人爽人人添夜夜欢视频| 丰满饥渴人妻一区二区三| 亚洲精品乱久久久久久| 亚洲一码二码三码区别大吗| 青春草视频在线免费观看| 国产精品熟女久久久久浪| 日本猛色少妇xxxxx猛交久久| 亚洲精品aⅴ在线观看| 亚洲国产看品久久| 午夜激情av网站| 欧美少妇被猛烈插入视频| 日韩av不卡免费在线播放| 国产色婷婷99| 97人妻天天添夜夜摸| 国产高清国产精品国产三级| 91国产中文字幕| 老汉色av国产亚洲站长工具| 精品亚洲成a人片在线观看| 亚洲精品日本国产第一区| 大码成人一级视频| 18在线观看网站| 熟女av电影| 久久久久久久大尺度免费视频| 嫩草影院入口| 亚洲伊人久久精品综合| 亚洲国产精品一区二区三区在线| 另类亚洲欧美激情| 一区二区三区激情视频| av卡一久久| 久久这里只有精品19| 成人亚洲欧美一区二区av| 在线观看人妻少妇| 麻豆乱淫一区二区| 99九九在线精品视频| 亚洲精品av麻豆狂野| 中文字幕精品免费在线观看视频| 搡老乐熟女国产| 美女国产视频在线观看| 精品一区二区免费观看| 在线观看美女被高潮喷水网站| 一级片免费观看大全| 久久久国产欧美日韩av| 丝袜脚勾引网站| 国产高清国产精品国产三级| 99香蕉大伊视频| 中文天堂在线官网| 欧美日本中文国产一区发布| 丝袜喷水一区| 国产亚洲一区二区精品| 啦啦啦中文免费视频观看日本| 国产欧美日韩综合在线一区二区| 国产av精品麻豆| 国产av一区二区精品久久| 三上悠亚av全集在线观看| 国产精品熟女久久久久浪| 一级毛片电影观看| 亚洲熟女精品中文字幕| 中文字幕人妻丝袜制服| 精品人妻在线不人妻| 亚洲美女搞黄在线观看| 久久国内精品自在自线图片| 综合色丁香网| 在线观看国产h片| 日韩大片免费观看网站| 高清黄色对白视频在线免费看| 精品人妻在线不人妻| 国产精品久久久久久精品古装| 国产精品熟女久久久久浪| 中文字幕av电影在线播放| 一级毛片电影观看| 在线观看三级黄色| 婷婷色综合大香蕉| 一级,二级,三级黄色视频| 久久久久久久久久人人人人人人| 秋霞伦理黄片| tube8黄色片| 三上悠亚av全集在线观看| 亚洲欧美精品综合一区二区三区 | 大片免费播放器 马上看| 亚洲内射少妇av| 日韩伦理黄色片| 国产黄色免费在线视频| 欧美xxⅹ黑人| 中文字幕人妻丝袜制服| 亚洲国产日韩一区二区| 久热这里只有精品99| 韩国精品一区二区三区| 国产精品一二三区在线看| 亚洲精品日本国产第一区| 久久精品久久精品一区二区三区| 欧美中文综合在线视频| 日韩制服骚丝袜av| 如日韩欧美国产精品一区二区三区| 美女大奶头黄色视频| 精品国产一区二区三区久久久樱花| 国产毛片在线视频| 亚洲精品国产av蜜桃| 我要看黄色一级片免费的| 在线观看免费高清a一片| 好男人视频免费观看在线| 免费观看无遮挡的男女| 看免费av毛片| 多毛熟女@视频| 日韩大片免费观看网站| 中文精品一卡2卡3卡4更新| 亚洲天堂av无毛| 成人黄色视频免费在线看| 一区二区三区精品91| 寂寞人妻少妇视频99o| 香蕉丝袜av| 伦理电影大哥的女人| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 黑人巨大精品欧美一区二区蜜桃| 人妻系列 视频| 少妇 在线观看| 久久精品国产鲁丝片午夜精品| 高清在线视频一区二区三区| 欧美日韩亚洲高清精品| 国产亚洲一区二区精品| 少妇熟女欧美另类| 欧美日韩精品网址| 国产一区二区三区av在线| 国产日韩欧美亚洲二区| 久久久久久久亚洲中文字幕| 91精品三级在线观看| 午夜福利在线观看免费完整高清在| 国产毛片在线视频| 欧美黄色片欧美黄色片| 国产av一区二区精品久久| 精品人妻在线不人妻| 一区二区日韩欧美中文字幕| 精品国产一区二区三区四区第35| 波多野结衣av一区二区av| 日本91视频免费播放| 国产在线一区二区三区精| 丝瓜视频免费看黄片| 成年av动漫网址| 亚洲精品国产av蜜桃| 午夜精品国产一区二区电影| 自线自在国产av| 久久精品国产鲁丝片午夜精品| 伊人久久国产一区二区| 午夜精品国产一区二区电影| 日日啪夜夜爽| 国产xxxxx性猛交| 欧美在线黄色| 亚洲三级黄色毛片| 日韩欧美一区视频在线观看| 精品视频人人做人人爽| 久久这里有精品视频免费| 18禁国产床啪视频网站| 国产探花极品一区二区| 国产毛片在线视频| 欧美激情极品国产一区二区三区| 久久久久国产网址| 看十八女毛片水多多多| 久久久久久久久久人人人人人人| 丝袜美腿诱惑在线| 肉色欧美久久久久久久蜜桃| 国产免费福利视频在线观看| 在线看a的网站| 天天操日日干夜夜撸| 成年美女黄网站色视频大全免费| 亚洲第一区二区三区不卡| 麻豆av在线久日| 亚洲人成电影观看| 亚洲精品自拍成人| 免费高清在线观看视频在线观看| 国产黄频视频在线观看| 哪个播放器可以免费观看大片| 波多野结衣一区麻豆| 桃花免费在线播放| 亚洲精品久久午夜乱码| 妹子高潮喷水视频| 午夜福利乱码中文字幕| 五月开心婷婷网| 久久99蜜桃精品久久| 欧美少妇被猛烈插入视频| 日日摸夜夜添夜夜爱| 狂野欧美激情性bbbbbb| 亚洲三级黄色毛片| 久久99一区二区三区| 国产成人免费观看mmmm| 观看美女的网站| 又黄又粗又硬又大视频| 国产精品免费视频内射| 晚上一个人看的免费电影| 老汉色∧v一级毛片| 黑人巨大精品欧美一区二区蜜桃| 精品一品国产午夜福利视频| 久久久久精品人妻al黑| 黄色一级大片看看| 天天躁夜夜躁狠狠久久av| 亚洲美女黄色视频免费看| 搡女人真爽免费视频火全软件| xxx大片免费视频| 99久久综合免费| 久久精品夜色国产| 欧美亚洲日本最大视频资源| 日日啪夜夜爽| 午夜福利一区二区在线看| 免费大片黄手机在线观看| 午夜福利在线观看免费完整高清在| 国产高清不卡午夜福利| 亚洲精品自拍成人| 亚洲精品,欧美精品| 久久久精品国产亚洲av高清涩受| 亚洲精品国产一区二区精华液| 国产一区二区 视频在线| 国产免费视频播放在线视频| 国产老妇伦熟女老妇高清| 涩涩av久久男人的天堂| 宅男免费午夜| 欧美最新免费一区二区三区| 一级片免费观看大全| 波多野结衣一区麻豆| 欧美国产精品一级二级三级| 久久人人爽av亚洲精品天堂| 美女国产高潮福利片在线看| 欧美 日韩 精品 国产| 日韩电影二区| 亚洲精华国产精华液的使用体验| 天堂中文最新版在线下载| 看非洲黑人一级黄片| 97在线视频观看| 超碰成人久久| 性色av一级| 久久久a久久爽久久v久久| 欧美变态另类bdsm刘玥| 亚洲中文av在线| 1024视频免费在线观看| 日本色播在线视频| 丰满乱子伦码专区| 超碰成人久久| 国产精品久久久久久av不卡| 秋霞在线观看毛片| 国产免费又黄又爽又色| 叶爱在线成人免费视频播放| 国产97色在线日韩免费| 日日爽夜夜爽网站| 少妇人妻精品综合一区二区| 少妇精品久久久久久久| 亚洲中文av在线| 69精品国产乱码久久久| 有码 亚洲区| 国产视频首页在线观看| 亚洲国产精品成人久久小说| 欧美在线黄色| av.在线天堂| 五月伊人婷婷丁香| 国产精品人妻久久久影院| 91在线精品国自产拍蜜月| 一级毛片 在线播放| 久久午夜综合久久蜜桃| 国产成人免费无遮挡视频| 最近手机中文字幕大全| 777久久人妻少妇嫩草av网站| 久久久久久免费高清国产稀缺| 999精品在线视频| 亚洲精品久久成人aⅴ小说| 国产探花极品一区二区| 男女免费视频国产| 国产欧美日韩综合在线一区二区| 欧美中文综合在线视频| 一区二区三区乱码不卡18| 麻豆精品久久久久久蜜桃| 国产成人精品一,二区| 免费大片黄手机在线观看| 日韩一本色道免费dvd| 免费观看a级毛片全部| 中文精品一卡2卡3卡4更新| 王馨瑶露胸无遮挡在线观看| 国产精品嫩草影院av在线观看| 成年av动漫网址| 久久鲁丝午夜福利片| 99香蕉大伊视频| 啦啦啦中文免费视频观看日本| 国产无遮挡羞羞视频在线观看| 黄片小视频在线播放| 五月伊人婷婷丁香| 91精品伊人久久大香线蕉| 成人二区视频| 久久毛片免费看一区二区三区| 母亲3免费完整高清在线观看 | 成人黄色视频免费在线看| 国产亚洲午夜精品一区二区久久| 亚洲欧美一区二区三区久久| 香蕉精品网在线| 热99久久久久精品小说推荐| 寂寞人妻少妇视频99o| 极品人妻少妇av视频| 青青草视频在线视频观看| 日韩中文字幕欧美一区二区 | 一区二区av电影网| 国产成人av激情在线播放| 妹子高潮喷水视频| 国产成人午夜福利电影在线观看| 精品人妻偷拍中文字幕| 中文精品一卡2卡3卡4更新| 国产成人a∨麻豆精品| 狂野欧美激情性bbbbbb| 在线观看一区二区三区激情| 亚洲中文av在线| 国产黄色免费在线视频| 又粗又硬又长又爽又黄的视频| 91精品伊人久久大香线蕉| 国产亚洲一区二区精品| 一级爰片在线观看| 女人久久www免费人成看片| 日韩一本色道免费dvd| 午夜激情久久久久久久| 久久97久久精品| 亚洲精品第二区| 久久精品国产a三级三级三级| a级片在线免费高清观看视频| 中文字幕另类日韩欧美亚洲嫩草| 国产精品偷伦视频观看了| 精品一区二区三区四区五区乱码 | 五月开心婷婷网| 国产av码专区亚洲av| 欧美日韩视频精品一区| 有码 亚洲区| 亚洲欧美一区二区三区久久| 9热在线视频观看99| 日韩欧美精品免费久久| 91在线精品国自产拍蜜月| 国产av国产精品国产| 超碰成人久久| 欧美 日韩 精品 国产| 精品99又大又爽又粗少妇毛片| 青春草视频在线免费观看| 女人久久www免费人成看片| 最近最新中文字幕大全免费视频 | 国产男女超爽视频在线观看| 国产成人精品无人区| 国产欧美日韩综合在线一区二区| 又粗又硬又长又爽又黄的视频| 中文字幕av电影在线播放| 人妻系列 视频| 一区福利在线观看| av在线观看视频网站免费| 91精品伊人久久大香线蕉| 日韩欧美精品免费久久| 精品少妇一区二区三区视频日本电影 | 亚洲av在线观看美女高潮| 99re6热这里在线精品视频| 91aial.com中文字幕在线观看| 人人澡人人妻人| 青春草国产在线视频| 国产精品麻豆人妻色哟哟久久| 性高湖久久久久久久久免费观看| 国产精品 国内视频| 国产97色在线日韩免费| 嫩草影院入口| 免费黄网站久久成人精品| 尾随美女入室| 日韩av不卡免费在线播放| 伦理电影免费视频| 亚洲一区中文字幕在线| 新久久久久国产一级毛片| 99re6热这里在线精品视频| 国产精品国产三级专区第一集| 久久久精品94久久精品| 99久国产av精品国产电影| 国产亚洲精品第一综合不卡| 看十八女毛片水多多多| 少妇人妻 视频| 久久韩国三级中文字幕| 亚洲国产欧美日韩在线播放| 久久久久久久久久久免费av| 视频区图区小说| 91精品伊人久久大香线蕉| 亚洲精品国产av蜜桃| videosex国产| 久久久久精品久久久久真实原创| 亚洲 欧美一区二区三区| 欧美 日韩 精品 国产| 看免费成人av毛片| 又大又黄又爽视频免费| 午夜福利视频精品| 久久久久国产精品人妻一区二区| 伊人久久大香线蕉亚洲五| 伦精品一区二区三区| 人成视频在线观看免费观看| √禁漫天堂资源中文www| 免费黄色在线免费观看| 赤兔流量卡办理| 免费观看a级毛片全部| av国产精品久久久久影院| 女的被弄到高潮叫床怎么办| 精品酒店卫生间| 性少妇av在线| 热99国产精品久久久久久7| 久久国产精品男人的天堂亚洲| 寂寞人妻少妇视频99o| 自拍欧美九色日韩亚洲蝌蚪91| 亚洲四区av| 国产亚洲精品第一综合不卡| 制服丝袜香蕉在线| 国产激情久久老熟女| 久热久热在线精品观看| 香蕉丝袜av| 丰满乱子伦码专区| 久久人人爽人人片av| 亚洲男人天堂网一区| 日韩伦理黄色片| 精品少妇内射三级| 免费黄频网站在线观看国产| 欧美日韩综合久久久久久| 亚洲av男天堂| 狂野欧美激情性bbbbbb| 欧美老熟妇乱子伦牲交| 制服诱惑二区| 大片免费播放器 马上看| 日本爱情动作片www.在线观看| 亚洲欧美精品综合一区二区三区 | 欧美在线黄色| 中文天堂在线官网| 男女边吃奶边做爰视频| 亚洲五月色婷婷综合| 美女中出高潮动态图| 中文天堂在线官网| 成人18禁高潮啪啪吃奶动态图| 亚洲精品中文字幕在线视频| 蜜桃国产av成人99| 少妇人妻精品综合一区二区| 99re6热这里在线精品视频| 26uuu在线亚洲综合色| 亚洲国产最新在线播放| 亚洲欧美色中文字幕在线| 国产成人精品久久二区二区91 | 欧美老熟妇乱子伦牲交| 国产一区二区三区av在线| 久久97久久精品| 男人添女人高潮全过程视频| 国产欧美日韩综合在线一区二区| 国产精品一二三区在线看| 纵有疾风起免费观看全集完整版| 在线观看免费高清a一片| 国产精品国产av在线观看| 日韩中文字幕视频在线看片| 建设人人有责人人尽责人人享有的| 大陆偷拍与自拍| 一级片'在线观看视频| 97精品久久久久久久久久精品| 精品少妇黑人巨大在线播放| 精品一区二区免费观看| 欧美日韩av久久| 黄色配什么色好看| 大片电影免费在线观看免费| 亚洲五月色婷婷综合| 欧美日韩综合久久久久久| 卡戴珊不雅视频在线播放| 在线看a的网站| 亚洲国产精品一区三区| 久久精品国产鲁丝片午夜精品| 男女边摸边吃奶| 亚洲国产欧美网| 国产精品不卡视频一区二区| 一区二区av电影网| 国产 精品1| 国产一区二区激情短视频 | 男女边摸边吃奶| xxxhd国产人妻xxx| 天天影视国产精品| 国产 一区精品| av不卡在线播放| 久久久精品免费免费高清| 69精品国产乱码久久久| 老司机影院成人| 亚洲男人天堂网一区| av片东京热男人的天堂| 97精品久久久久久久久久精品| 性高湖久久久久久久久免费观看| 在线观看三级黄色| 国产成人欧美| 高清黄色对白视频在线免费看| 啦啦啦视频在线资源免费观看| 亚洲精品久久成人aⅴ小说| 少妇人妻久久综合中文| 老汉色∧v一级毛片| 边亲边吃奶的免费视频| 国产精品久久久久久av不卡| 深夜精品福利| 亚洲av福利一区| 亚洲美女搞黄在线观看| a级毛片在线看网站| av卡一久久| 欧美老熟妇乱子伦牲交| 欧美精品国产亚洲| 韩国精品一区二区三区| 欧美亚洲 丝袜 人妻 在线| 亚洲欧美清纯卡通| 捣出白浆h1v1| 男女边吃奶边做爰视频| 精品人妻一区二区三区麻豆| 欧美亚洲 丝袜 人妻 在线| 2021少妇久久久久久久久久久| 欧美日本中文国产一区发布| 国产亚洲欧美精品永久| 成年av动漫网址| 亚洲av中文av极速乱| 一区二区三区乱码不卡18| 亚洲成av片中文字幕在线观看 | 国产精品一区二区在线不卡| 男女午夜视频在线观看| 中文欧美无线码| 亚洲国产精品成人久久小说| 久久女婷五月综合色啪小说| 久久热在线av| 免费少妇av软件| 亚洲欧美成人综合另类久久久| 侵犯人妻中文字幕一二三四区| 在线天堂最新版资源| xxxhd国产人妻xxx| 人妻 亚洲 视频| 国产97色在线日韩免费| 黄色 视频免费看| 亚洲美女黄色视频免费看| 日韩一区二区三区影片| 视频在线观看一区二区三区| 狂野欧美激情性bbbbbb| 男女免费视频国产| 亚洲精品国产av成人精品| 成人免费观看视频高清| 亚洲国产精品一区三区| 午夜福利乱码中文字幕| 亚洲成国产人片在线观看| 伊人久久国产一区二区| 久久久精品国产亚洲av高清涩受| 国产欧美日韩一区二区三区在线| 日本av免费视频播放| 人妻系列 视频| 天天躁夜夜躁狠狠久久av| 国产精品熟女久久久久浪| 国产熟女欧美一区二区| 好男人视频免费观看在线| 日韩熟女老妇一区二区性免费视频| 高清不卡的av网站| 女人久久www免费人成看片| 少妇猛男粗大的猛烈进出视频| 人妻一区二区av| 在线观看国产h片| 一区二区日韩欧美中文字幕| 一本—道久久a久久精品蜜桃钙片| 亚洲国产精品国产精品| 亚洲国产av影院在线观看| 熟妇人妻不卡中文字幕| 亚洲伊人久久精品综合| 欧美av亚洲av综合av国产av | 美女国产视频在线观看| 国产又爽黄色视频| 男女国产视频网站| 久久鲁丝午夜福利片| 大片免费播放器 马上看| 成人亚洲精品一区在线观看| 精品少妇久久久久久888优播| 国产不卡av网站在线观看| 国产精品免费大片| 男女无遮挡免费网站观看| 少妇的丰满在线观看| 新久久久久国产一级毛片| 亚洲欧洲国产日韩| 午夜精品国产一区二区电影| 波多野结衣一区麻豆| 妹子高潮喷水视频| 国产黄频视频在线观看| 少妇熟女欧美另类| 亚洲av国产av综合av卡| 少妇人妻精品综合一区二区| 男的添女的下面高潮视频| 在现免费观看毛片| 天堂中文最新版在线下载| 99久久精品国产国产毛片| 丝袜美腿诱惑在线| 午夜老司机福利剧场| 熟女电影av网| 亚洲精品国产av成人精品| 美女脱内裤让男人舔精品视频| 久久精品国产综合久久久| 香蕉丝袜av|