• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    面向SDN的數(shù)據(jù)中心網(wǎng)絡(luò)更新研究綜述*

    2017-10-23 03:06:37程克非a高江明田瑞林
    電訊技術(shù) 2017年10期
    關(guān)鍵詞:表項(xiàng)網(wǎng)絡(luò)拓?fù)?/a>交換機(jī)

    程克非a,高江明,段 潔**,田瑞林

    (重慶郵電大學(xué) a.計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院;b.通信與信息工程學(xué)院,重慶 400065)

    面向SDN的數(shù)據(jù)中心網(wǎng)絡(luò)更新研究綜述*

    程克非a,高江明b,段 潔**b,田瑞林b

    (重慶郵電大學(xué) a.計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院;b.通信與信息工程學(xué)院,重慶 400065)

    近年來,由于軟件定義網(wǎng)絡(luò)(SDN)的控制平面與數(shù)據(jù)平面分離、集中式控制的特點(diǎn),被廣泛應(yīng)用于數(shù)據(jù)中心網(wǎng)絡(luò)(DCN)。分四個(gè)部分對(duì)DCN更新的相關(guān)研究進(jìn)行了綜述。首先,介紹了DCN和SDN的基本概念及研究現(xiàn)狀;隨后,詳細(xì)說明了傳統(tǒng)DCN在更新方面遇到的缺陷;其次,重點(diǎn)討論了基于SDN的數(shù)據(jù)中心網(wǎng)絡(luò)(SD-DCN)更新場景的研究現(xiàn)狀與存在的不足,同時(shí)指出了一些方案存在的缺點(diǎn);最后,對(duì)基于SDN的數(shù)據(jù)中心網(wǎng)絡(luò)未來研究方向進(jìn)行了展望,以期為SD-DCN的研究與應(yīng)用提供一定的參考。

    數(shù)據(jù)中心網(wǎng)絡(luò);軟件定義網(wǎng)絡(luò);網(wǎng)絡(luò)更新;控制平面;數(shù)據(jù)平面

    1 引 言

    最近幾年,隨著互聯(lián)網(wǎng)和信息技術(shù)的迅猛發(fā)展,數(shù)據(jù)中心的數(shù)量以及數(shù)據(jù)中心的節(jié)點(diǎn)數(shù)目都成倍增長[1],由于數(shù)據(jù)中心的規(guī)模呈現(xiàn)爆炸式的急速發(fā)展,許多公司都開始擴(kuò)建屬于自己的數(shù)據(jù)中心網(wǎng)絡(luò)。云計(jì)算技術(shù)[2]的出現(xiàn)對(duì)數(shù)據(jù)中心網(wǎng)絡(luò)的發(fā)展提出了新的挑戰(zhàn),例如網(wǎng)絡(luò)安全、虛擬機(jī)遷移、負(fù)載均衡等。傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)面對(duì)爆炸式的流量增長表現(xiàn)出了諸多方面的缺陷。首先,是帶寬使用率的問題。由于現(xiàn)有網(wǎng)絡(luò)帶寬資源相對(duì)匱乏,當(dāng)前可以利用設(shè)備到設(shè)備(Device-to-Device,D2D)技術(shù)來解決這一問題[3-5]。同時(shí),也降低了功率分配,減少了設(shè)備的電池消耗等。其次,是鏈路擁塞、數(shù)據(jù)包丟失等問題。因此,如何利用新技術(shù)解決數(shù)據(jù)中心網(wǎng)絡(luò)出現(xiàn)的問題成為了當(dāng)前研究的重點(diǎn)。

    數(shù)據(jù)中心網(wǎng)絡(luò)(Data Center Network,DCN)是指數(shù)據(jù)中心內(nèi)部通過高速鏈路和交換機(jī)連接大量服務(wù)器的網(wǎng)絡(luò)[6],形成具有高帶寬、高可用性、高可靠性以及負(fù)載均衡的服務(wù)器網(wǎng)絡(luò),對(duì)外提供計(jì)算、存儲(chǔ)等服務(wù)。傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)主要采用層次結(jié)構(gòu)實(shí)現(xiàn),且承載的主要是客戶機(jī)/服務(wù)器模式應(yīng)用[7]。

    軟件定義網(wǎng)絡(luò)(Software Defined Networking,SDN)作為一種新型的網(wǎng)絡(luò)架構(gòu)[8],其核心思想就是解除網(wǎng)絡(luò)設(shè)備的耦合性,即控制平面與數(shù)據(jù)平面相分離、實(shí)現(xiàn)邏輯上的集中式控制。SDN架構(gòu)分為應(yīng)用層、控制層和數(shù)據(jù)層。應(yīng)用層包括各種不同的業(yè)務(wù)和應(yīng)用,控制層負(fù)責(zé)處理數(shù)據(jù)層資源的編排、維護(hù)網(wǎng)絡(luò)拓?fù)洹顟B(tài)信息等,數(shù)據(jù)層負(fù)責(zé)數(shù)據(jù)處理、轉(zhuǎn)發(fā)和狀態(tài)收集。

    研究者把SDN與DCN相結(jié)合,形成了軟件定義-數(shù)據(jù)中心網(wǎng)絡(luò)(Software Defined Data Center Network,SD-DCN),充分利用SDN控制器實(shí)現(xiàn)全局網(wǎng)絡(luò)的維護(hù)、交換機(jī)狀態(tài)的收集、路由的計(jì)算和流表項(xiàng)的管理。因此,基于SDN的數(shù)據(jù)中心網(wǎng)絡(luò)可以解決傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)的缺陷,簡化網(wǎng)絡(luò)管理,降低運(yùn)維成本,提供更好的負(fù)載均衡。

    軟件定義網(wǎng)絡(luò)在負(fù)載均衡[9-11]和故障維護(hù)[12-13]方面的應(yīng)用越來越普遍,控制器通過改變數(shù)據(jù)平面上交換機(jī)的流表項(xiàng)來調(diào)整受影響的流到冗余路徑上傳輸,從而避免網(wǎng)絡(luò)的擁塞[14-15]和實(shí)現(xiàn)故障恢復(fù)[16-17]。P4[18]開創(chuàng)了數(shù)據(jù)平面的可編程時(shí)代的到來,該項(xiàng)目由許多單獨(dú)的模塊組成,每個(gè)模塊是一個(gè)子項(xiàng)目。如果控制器沒有正確地改變流表項(xiàng)將會(huì)引起網(wǎng)絡(luò)的不一致性屬性或網(wǎng)絡(luò)性能的下降。

    數(shù)據(jù)中心網(wǎng)絡(luò)引入SDN架構(gòu)后的研究仍然處于發(fā)展的初期[19-20],相關(guān)的研究工作仍在進(jìn)行,其中主要的研究熱點(diǎn)是利用SDN控制器在保證一致性屬性和約束的條件下,規(guī)劃網(wǎng)絡(luò)更新順序,提高網(wǎng)絡(luò)性能[21-22]。最近在網(wǎng)絡(luò)更新方面有了大量的研究成果。Dionysus[23]根據(jù)依賴關(guān)系圖對(duì)網(wǎng)絡(luò)更新順序進(jìn)行了仔細(xì)的規(guī)劃,實(shí)現(xiàn)快速性和一致性的網(wǎng)絡(luò)更新。如果依賴關(guān)系圖存在環(huán),將通過流量分發(fā)比率限制來破壞環(huán),然后規(guī)劃網(wǎng)絡(luò)更新順序。Cupid[24]把全局依賴關(guān)系轉(zhuǎn)換為局部約束,通過轉(zhuǎn)換后,可以提高網(wǎng)絡(luò)更新速度和實(shí)現(xiàn)無擁塞的發(fā)生。

    Atomip[25]首先查找網(wǎng)絡(luò)中潛在的擁塞流和潛在的擁塞鏈路,然后據(jù)此信息將大問題劃分為幾個(gè)子問題進(jìn)行處理。Mcup[26]研究的是在網(wǎng)絡(luò)更新期間實(shí)現(xiàn)最小的擁塞損失,且在更新速度和瞬時(shí)擁塞之間進(jìn)行權(quán)衡,找到一個(gè)最合理的網(wǎng)絡(luò)更新順序。zUpdate[27]的目標(biāo)是在DCN的更新過程中消除擁塞。

    本文首先對(duì)數(shù)據(jù)中心網(wǎng)絡(luò)的更新場景和面臨的挑戰(zhàn)進(jìn)行了總結(jié),然后闡述了SD-DCN的各個(gè)更新場景的研究現(xiàn)狀,并對(duì)其存在的問題進(jìn)行了總結(jié),最后對(duì)未來工作進(jìn)行了展望。

    2 數(shù)據(jù)中心網(wǎng)絡(luò)的更新問題

    傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)的更新通常是指數(shù)據(jù)平面更新,更新原因可能是周期性、故障、運(yùn)營商的需求等引起。傳統(tǒng)的更新方法存在一些不可避免的缺陷,比如:網(wǎng)絡(luò)不能全局協(xié)調(diào)、網(wǎng)絡(luò)節(jié)點(diǎn)獨(dú)立的執(zhí)行流量控制策略、不能形成全局最優(yōu)的調(diào)度方案、缺少動(dòng)態(tài)調(diào)度能力。如何解決傳統(tǒng)網(wǎng)絡(luò)的缺陷一直是學(xué)術(shù)界的研究重點(diǎn)。

    網(wǎng)絡(luò)更新期間需要保證一致性和實(shí)現(xiàn)快速性更新。一致性是指不能違背某些屬性,例如:相同流傳輸?shù)穆窂讲荒苄纬森h(huán)(無環(huán))、無數(shù)據(jù)包的丟失(無黑洞)和到達(dá)鏈路的流量不應(yīng)該超過鏈路的容量(無擁塞)??焖傩允侵妇W(wǎng)絡(luò)更新時(shí)間,要在最短的時(shí)間內(nèi)完成更新。網(wǎng)絡(luò)更新方案可以總結(jié)為網(wǎng)絡(luò)拓?fù)渥兞亢土髁烤仃囎兞俊?/p>

    表1是典型的數(shù)據(jù)中心網(wǎng)絡(luò)的數(shù)據(jù)平面更新案例及屬于哪個(gè)更新變量。虛擬機(jī)遷移和負(fù)載均衡器的重新配置屬于流量矩陣改變,其余更新場景屬于網(wǎng)絡(luò)拓?fù)涓淖儭?/p>

    表1 數(shù)據(jù)中心網(wǎng)絡(luò)的更新場景Tab.1 Update scenarios in DCN

    網(wǎng)絡(luò)更新面臨的挑戰(zhàn)是處理全網(wǎng)的流量遷移,即不同交換機(jī)之間的規(guī)則協(xié)作關(guān)系。因此,在網(wǎng)絡(luò)更新期間,如果網(wǎng)絡(luò)中流的轉(zhuǎn)發(fā)規(guī)則需要改變,而改變轉(zhuǎn)發(fā)規(guī)則不同步,將會(huì)對(duì)某些熱點(diǎn)鏈路產(chǎn)生瞬時(shí)負(fù)載峰值或鏈路擁塞。

    用圖1的例子來說明異步改變轉(zhuǎn)發(fā)規(guī)則帶來的后果。圖中給出了最初的網(wǎng)絡(luò)狀態(tài)和最終的網(wǎng)絡(luò)狀態(tài),要實(shí)現(xiàn)兩個(gè)網(wǎng)絡(luò)狀態(tài)之間的轉(zhuǎn)換,需要在交換機(jī)S1和S2的入口處同步改變轉(zhuǎn)發(fā)規(guī)則。如果沒能實(shí)現(xiàn)同步改變轉(zhuǎn)發(fā)規(guī)則,將會(huì)對(duì)熱點(diǎn)鏈路產(chǎn)生瞬時(shí)的負(fù)載峰值或鏈路擁塞。如果流f1在交換機(jī)S1的入口處改變轉(zhuǎn)發(fā)規(guī)則先于流f2在交換機(jī)S2的入口處改變轉(zhuǎn)發(fā)規(guī)則,將會(huì)對(duì)鏈路l2產(chǎn)生瞬時(shí)的負(fù)載峰值或鏈路擁塞。同理,會(huì)對(duì)鏈路l1產(chǎn)生同樣的影響。只有實(shí)現(xiàn)兩個(gè)交換機(jī)同步改變轉(zhuǎn)發(fā)規(guī)則,才可以達(dá)到最終的網(wǎng)絡(luò)狀態(tài)。

    圖1 流量遷移期間瞬時(shí)負(fù)載的增加Fig.1 Transient load increase during traffic migration

    傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)的管理和維護(hù)都很困難,不管是用戶還是運(yùn)營商都難以對(duì)網(wǎng)絡(luò)進(jìn)行實(shí)時(shí)性監(jiān)控,簡單的流量信息及負(fù)載數(shù)據(jù)很難準(zhǔn)確地反應(yīng)網(wǎng)絡(luò)狀態(tài),不能動(dòng)態(tài)地實(shí)現(xiàn)網(wǎng)絡(luò)流量規(guī)劃、鏈路利用率低等問題。為了解決上述問題,在數(shù)據(jù)中心網(wǎng)絡(luò)引入了SDN架構(gòu),利用SDN控制器負(fù)責(zé)整個(gè)網(wǎng)絡(luò)的維護(hù)、交換機(jī)狀態(tài)的收集、路徑的計(jì)算、網(wǎng)絡(luò)流動(dòng)態(tài)調(diào)度和流表項(xiàng)的管理等,從而解決傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)帶寬利用率低、鏈路擁塞、數(shù)據(jù)包丟失等問題。

    3 基于SDN的數(shù)據(jù)中心網(wǎng)絡(luò)更新

    軟件定義網(wǎng)絡(luò)的主要設(shè)備是SDN控制器和OpenFlow交換機(jī)。SDN控制器實(shí)現(xiàn)集中控制,掌握整個(gè)網(wǎng)絡(luò)拓?fù)湫畔?交換機(jī)流條目數(shù)量、鏈路可用帶寬、交換機(jī)故障等)。圖2是控制器對(duì)交換機(jī)實(shí)現(xiàn)控制的簡單拓?fù)鋱D。

    圖2 簡單網(wǎng)絡(luò)拓?fù)鋱DFig.2 Simple network topology

    表2是數(shù)據(jù)中心網(wǎng)絡(luò)引入軟件定義網(wǎng)絡(luò)后的一些更新場景,總結(jié)了更新場景的不同可能會(huì)對(duì)SDN控制器和OpenFlow交換機(jī)產(chǎn)生的影響。

    表2 SD-DCN的更新場景Tab.2 Update scenarios in SD-DCN

    傳統(tǒng)DCN更新場景與SD-DCN更新場景具有相似之處。在SDN網(wǎng)絡(luò)中,由于SDN控制器需要對(duì)網(wǎng)絡(luò)拓?fù)溥M(jìn)行集中控制,可以掌握本地局域網(wǎng)內(nèi)所有OpenFlow交換機(jī)的狀態(tài)信息,如OpenFlow交換機(jī)流條目數(shù)量、可用鏈路帶寬、網(wǎng)絡(luò)的拓?fù)湫畔⒌?。SDN控制器根據(jù)這些信息利用已有算法主動(dòng)或被動(dòng)的生成流條目,然后下發(fā)給OpenFlow交換機(jī),從而規(guī)劃網(wǎng)絡(luò)流傳輸路徑。

    3.1交換機(jī)固件升級(jí)、故障維護(hù)、鏈路故障

    數(shù)據(jù)中心網(wǎng)絡(luò)隨時(shí)會(huì)出現(xiàn)交換機(jī)固件升級(jí)、交換機(jī)故障維護(hù)、鏈路故障的情況。面對(duì)這些突發(fā)的事件,需要根據(jù)網(wǎng)絡(luò)拓?fù)湫畔⒄{(diào)整受影響的流到冗余路徑上進(jìn)行傳輸,從而避免鏈路發(fā)生擁塞、出現(xiàn)數(shù)據(jù)包的丟失、縮短故障恢復(fù)的時(shí)間等。

    網(wǎng)絡(luò)出現(xiàn)交換機(jī)故障或鏈路故障,已有的解決辦法有兩種。第一種是故障保護(hù),提前計(jì)算備份路徑和分配備份規(guī)則,從而繞過故障交換機(jī)或故障鏈路。這種方案是可行的,但是會(huì)消耗大量交換機(jī)內(nèi)存,尤其是對(duì)交換機(jī)的三態(tài)內(nèi)容尋址存儲(chǔ)器(Ternary Content Addressable Memory,TCAM)的容量,但為了故障恢復(fù)時(shí)間最短,這樣的犧牲在某種情況下是可行。第二種是故障恢復(fù),依靠的是動(dòng)態(tài)重新路由,從而繞過故障交換機(jī)或故障鏈路。動(dòng)態(tài)重計(jì)算會(huì)加重控制器與交換機(jī)之間的通信壓力,會(huì)消耗一定的時(shí)間。因此,利用SDN架構(gòu)的思想和設(shè)計(jì)合適的算法,實(shí)現(xiàn)故障恢復(fù)成為了當(dāng)前的研究重點(diǎn)。

    文獻(xiàn)[14]提出快速故障轉(zhuǎn)移和快速切換機(jī)制來處理鏈路故障和擁塞問題??刂破髟贠penFlow交換機(jī)上提前為源、目的節(jié)點(diǎn)對(duì)估計(jì)多個(gè)路徑,如果故障發(fā)生,則用備份路徑進(jìn)行傳輸,但缺點(diǎn)是犧牲交換機(jī)內(nèi)存來實(shí)現(xiàn)故障的快速恢復(fù),不能應(yīng)用到大規(guī)模的網(wǎng)絡(luò)中。文獻(xiàn)[28]提出了Dfrs方法克服故障保護(hù)和故障恢復(fù)的障礙,實(shí)現(xiàn)運(yùn)營商可制定他們的網(wǎng)絡(luò)故障恢復(fù)目標(biāo),但沒有考慮鏈路容量和數(shù)據(jù)包丟失等約束條件,未來研究工作需要考慮這些因素做綜合性的研究。

    目前有關(guān)SDN故障恢復(fù)方面的研究也加入了負(fù)載均衡的功能。文獻(xiàn)[29]提出了基于負(fù)載均衡的SDN數(shù)據(jù)平面故障恢復(fù)方法。首先,將數(shù)據(jù)流根據(jù)對(duì)時(shí)延的要求進(jìn)行分類;然后,確定具有負(fù)載均衡調(diào)節(jié)功能的備份路徑選取策略。本文沒有考慮鏈路帶寬碎片化和交換機(jī)內(nèi)存的限制。文獻(xiàn)[30]提出最大概率路徑流量調(diào)度算法。首先,計(jì)算滿足待調(diào)度流帶寬需求的所有路徑;然后,計(jì)算流帶寬與路徑最小鏈路帶寬之間的帶寬比,結(jié)合所有路徑的帶寬比為每一條路徑計(jì)算路徑概率;最后,利用概率機(jī)制選擇路徑。該文分別為大象流和老鼠流設(shè)計(jì)了算法,充分考慮到了帶寬碎片化和流量負(fù)載等問題。

    最近研究的熱點(diǎn)是如何讓網(wǎng)絡(luò)中的鏈路不發(fā)生擁塞。比如:文獻(xiàn)[27]通過引入一些中間網(wǎng)絡(luò)配置狀態(tài),然后從初始網(wǎng)絡(luò)配置狀態(tài)與中間網(wǎng)絡(luò)配置狀態(tài)之間進(jìn)行逐步切換,其中任意兩種狀態(tài)之間的切換都是無擁塞;文獻(xiàn)[31]提出了一種主動(dòng)處理數(shù)據(jù)平面和控制平面故障的方法,提前為k個(gè)故障預(yù)留足夠的鏈路帶寬,只要故障數(shù)不大于k就會(huì)保證無擁塞的發(fā)生;文獻(xiàn)[32]通過把更新問題轉(zhuǎn)換成線性規(guī)劃來找到傳輸順序,實(shí)現(xiàn)把流切換到新的路徑上進(jìn)行傳輸,而不引起任何鏈路發(fā)生擁塞或瞬時(shí)擁塞。這些方法都是關(guān)注鏈路不發(fā)生擁塞,都沒有考慮網(wǎng)絡(luò)更新時(shí)延、帶寬碎片化等問題。

    如圖3所示,(a)是初始網(wǎng)絡(luò)拓?fù)鋱D傳輸流的狀態(tài),當(dāng)網(wǎng)絡(luò)拓?fù)渲械慕粨Q機(jī)出現(xiàn)故障,需要調(diào)整經(jīng)過故障交換機(jī)傳輸?shù)牧鞯饺哂嗦窂竭M(jìn)行傳輸;(b)是一種調(diào)整故障流的例子。

    圖3 交換機(jī)故障Fig.3 Switch failure

    交換機(jī)故障或鏈路故障的研究主要集中在控制交換機(jī)的流條目消耗和避免鏈路擁塞,同時(shí)要滿足故障恢復(fù)的時(shí)間要求。zUpdate考慮的是流表的消耗和避免擁塞,F(xiàn)FC考慮的是避免擁塞,Dfrs考慮的是實(shí)現(xiàn)最少的流表策略,目前缺少綜合考慮這些約束的研究。未來的研究重點(diǎn)是依靠SDN的集中控制能力,在交換機(jī)或鏈路出現(xiàn)故障時(shí),首先,SDN控制器根據(jù)實(shí)時(shí)的網(wǎng)絡(luò)拓?fù)湫畔⒁?guī)劃出終止網(wǎng)絡(luò)狀態(tài);然后,設(shè)計(jì)算法實(shí)現(xiàn)網(wǎng)絡(luò)狀態(tài)之間的切換。網(wǎng)絡(luò)狀態(tài)的切換除了滿足約束條件,還要提高網(wǎng)絡(luò)性能指標(biāo),比如縮短故障恢復(fù)時(shí)間、沒有數(shù)據(jù)包的丟失或最少的數(shù)據(jù)包的丟失等。

    3.2安裝新的交換機(jī)

    在實(shí)際應(yīng)用中,已有的網(wǎng)絡(luò)配置不能滿足日常工作和生活的需求,需要改善網(wǎng)絡(luò)現(xiàn)有的缺陷,通常有兩種方法:一是在業(yè)務(wù)量需求較大的鏈路附近增加新的鏈路,二是對(duì)已有的鏈路進(jìn)行擴(kuò)容。安裝新的交換機(jī)屬于添加多條新的鏈路,在業(yè)務(wù)量需求較大的網(wǎng)絡(luò)中添加新的交換機(jī),可以避免鏈路發(fā)生擁塞、數(shù)據(jù)包丟失等情況的發(fā)生。

    研究安裝新的交換機(jī)的文獻(xiàn)幾乎沒有,都是作為技術(shù)方面的說明。在SDN的網(wǎng)絡(luò)拓?fù)渲邪惭b新的交換機(jī),首先,需要交換機(jī)與控制器之間建立連接,連接建立好之后,控制器就可以對(duì)交換機(jī)實(shí)現(xiàn)集中式的控制;然后,交換機(jī)之間通過控制器的指令進(jìn)行連接。交換機(jī)與控制器之間連接的建立,主要分為主動(dòng)(proactive)和被動(dòng)(reactive)兩種模式。

    主動(dòng)的流條目下發(fā)是指在數(shù)據(jù)包到達(dá)交換機(jī)之前就進(jìn)行流條目設(shè)置,因此當(dāng)?shù)谝粋€(gè)數(shù)據(jù)包到達(dá)交換機(jī)后,交換機(jī)就知道如何處理數(shù)據(jù)包,這種主動(dòng)方式有效地消除了數(shù)據(jù)包傳輸過程中的流條目設(shè)置延遲,減少了交換機(jī)對(duì)數(shù)據(jù)包的處理時(shí)延。

    被動(dòng)的流條目下發(fā)是指當(dāng)交換機(jī)接收到一個(gè)數(shù)據(jù)包并且沒有發(fā)現(xiàn)與之匹配的流條目時(shí),交換機(jī)就會(huì)發(fā)送一個(gè)Packet_in消息給控制器處理??刂破鞲鶕?jù)一定的路由算法決策,生成對(duì)應(yīng)的流條目,然后下發(fā)給交換機(jī)進(jìn)行緩存。

    圖4是在網(wǎng)絡(luò)拓?fù)渲屑尤胄碌慕粨Q機(jī),(a)是一個(gè)由控制器與交換機(jī)組成的網(wǎng)絡(luò)拓?fù)?,由于鏈路容量的限制或業(yè)務(wù)量的增加,需要添加新的交換機(jī)來解決出現(xiàn)的問題;(b)是在網(wǎng)絡(luò)拓?fù)渲邪惭b新的交換機(jī),控制器與交換機(jī)之間是主動(dòng)建立連接的過程;(c)是控制器與交換機(jī)之間被動(dòng)建立連接的過程。

    圖4 網(wǎng)絡(luò)拓?fù)渲刑砑有碌慕粨Q機(jī)Fig.4 Adding switch to the network topology

    安裝新的交換機(jī)是為了擴(kuò)容、降低鏈路壓力和數(shù)據(jù)包的傳輸時(shí)延。在SDN架構(gòu)的網(wǎng)絡(luò)拓?fù)渲邪惭b交換機(jī)時(shí),會(huì)加重控制器的計(jì)算壓力,當(dāng)交換機(jī)與控制器之間建立了連接,可以明顯緩解鏈路的擁塞,提高數(shù)據(jù)包的轉(zhuǎn)發(fā)速度等。然而,沒有文獻(xiàn)對(duì)安裝交換機(jī)進(jìn)行研究,都是一些應(yīng)用方面的工程實(shí)施,未來的研究工作可以是,如何安裝新的交換機(jī)實(shí)現(xiàn)成本最低、緩解鏈路擁塞的效益最佳。

    3.3虛擬機(jī)遷移、負(fù)載均衡器重新配置

    數(shù)據(jù)中心網(wǎng)絡(luò)常常被虛擬化,因此虛擬機(jī)遷移就變成了一個(gè)不可缺少的管理工具。虛擬機(jī)遷移分兩步進(jìn)行:第一步是選擇哪個(gè)虛擬機(jī)被遷移,第二步是選擇哪個(gè)主機(jī)接收虛擬機(jī)的遷移。虛擬機(jī)遷移是為了維護(hù)規(guī)劃、優(yōu)化資源使用、提高吞吐量、降低能源消耗等。針對(duì)虛擬機(jī)遷移的研究已經(jīng)有了很多的成果。

    文獻(xiàn)[33]提出了有效遷移虛擬機(jī)或遷移虛擬交換機(jī)的集合,Live是暫時(shí)在多個(gè)物理交換機(jī)上運(yùn)行所有或部分虛擬交換機(jī),在多個(gè)物理交換機(jī)上運(yùn)行需要仔細(xì)規(guī)劃,避免影響到應(yīng)用程序的正確性和在遷移期間實(shí)現(xiàn)最小性能的中斷。文獻(xiàn)[34]研究的是基于SDN的云數(shù)據(jù)中心流和虛擬機(jī)遷移,提出了能源感知VM遷移和拓?fù)涓兄猇M遷移,從而提高吞吐量。以前虛擬機(jī)遷移關(guān)注的重點(diǎn)是如何有效地放置VM,沒有考慮到成本。文獻(xiàn)[35]提出了流量感知VM遷移實(shí)現(xiàn)更低的遷移成本和通信成本,同時(shí)吞吐量和流的完成時(shí)間也是在合理的范圍內(nèi)。

    負(fù)載均衡是一種把網(wǎng)絡(luò)請(qǐng)求分散到一個(gè)服務(wù)器集群中可用服務(wù)器上,通過管理進(jìn)入的Web數(shù)據(jù)流量和增加有效的網(wǎng)絡(luò)帶寬的硬件設(shè)備。Dionysus[23]是仔細(xì)規(guī)劃更新順序,而沒有引入額外的更新階段,實(shí)現(xiàn)沒有鏈路發(fā)生過載。但是這個(gè)更新順序方法不是萬能的,因?yàn)樵谟行┣闆r下,更新順序并不存在。zUpdate[27]為解決負(fù)載均衡器重新配置可能帶來的鏈路擁塞、數(shù)據(jù)包的丟失提出的解決辦法是,找到合理的流分發(fā)比率,打破等價(jià)多路徑(Equal-cost Multi-path,ECMP)的傳輸模式,實(shí)現(xiàn)加權(quán)成本多路徑(Weighted Cost Multipath,WCMP)的模式傳輸。圖5是網(wǎng)絡(luò)拓?fù)渲辛鱾鬏斅窂礁淖儯?a)是初始網(wǎng)絡(luò)拓?fù)渲辛鱾鬏敔顟B(tài),而(b)是終止網(wǎng)絡(luò)拓?fù)渲辛鱾鬏敔顟B(tài)。在滿足一致性和快速性的條件下,如何從(a)切換到(b),一直以來都是學(xué)術(shù)界研究的重點(diǎn)。圖5的一個(gè)有效更新順序是[F1→F4→F2],如果先更新F2,F(xiàn)1和F4將不能移動(dòng);如果先更新F4,將產(chǎn)生鏈路的過載。

    圖5 網(wǎng)絡(luò)拓?fù)渲辛鱾鬏斅窂礁淖僃ig.5 Stream propagation path change in network topology

    對(duì)虛擬機(jī)遷移的研究關(guān)注焦點(diǎn)是優(yōu)化資源使用、提高吞吐量和降低能源消耗等。但是Live是提前在多個(gè)物理交換機(jī)上運(yùn)行虛擬機(jī),占用交換機(jī)的資源,缺少對(duì)吞吐量的研究。已有的研究工作很少關(guān)注虛擬機(jī)遷移完成的時(shí)間,未來的研究工作在考慮以上三點(diǎn)時(shí),也要研究如何快速完成虛擬機(jī)遷移,對(duì)應(yīng)用程序的影響實(shí)現(xiàn)最小化。

    對(duì)網(wǎng)絡(luò)拓?fù)涓淖兊难芯恐攸c(diǎn)是,在實(shí)現(xiàn)切換的期間要保證沒有數(shù)據(jù)包的丟失,避免鏈路擁塞,降低對(duì)應(yīng)用程序中斷的影響。Dionysus實(shí)現(xiàn)了一致性和快速性的切換,但缺少對(duì)網(wǎng)絡(luò)更新順序不存在時(shí)的研究。未來的研究工作要結(jié)合負(fù)載均衡技術(shù),綜合考慮目的主機(jī)端的系統(tǒng)資源開銷、遷移虛擬機(jī)開銷以及遷移后的網(wǎng)絡(luò)通信開銷,加快虛擬機(jī)遷移速度,使鏈路利用率實(shí)現(xiàn)最大化和減少對(duì)應(yīng)用程序的中斷。

    3.4安排新的流到網(wǎng)絡(luò)拓?fù)渲?/p>

    網(wǎng)絡(luò)拓?fù)渲辛鞯拇笮『蛿?shù)量是隨時(shí)都在保持更新,所以對(duì)每條鏈路都會(huì)預(yù)留一定的帶寬,防止鏈路擁塞。很多情況下,新的流到達(dá)網(wǎng)絡(luò)拓?fù)鋾r(shí),控制器需要調(diào)整已有流傳輸方向來容納新到達(dá)的流,實(shí)現(xiàn)無擁塞的傳輸??刂破髟谡{(diào)整流傳輸方向時(shí),需要考慮鏈路的有效容量、交換機(jī)可用流條目數(shù)量、調(diào)整時(shí)延、帶寬碎片化等約束。在滿足一致性和約束的條件下,實(shí)現(xiàn)鏈路利用率的最大化、更新時(shí)間最短等網(wǎng)絡(luò)性能指標(biāo)。

    網(wǎng)絡(luò)拓?fù)渲刑砑有碌牧?,控制器?guī)劃出來的新網(wǎng)絡(luò)拓?fù)湓跐M足約束的條件下,可能會(huì)有多個(gè)有效網(wǎng)絡(luò)拓?fù)涞拇嬖凇R虼?,可以設(shè)置優(yōu)化目標(biāo)挑選出需要的網(wǎng)絡(luò)拓?fù)?,比如交換機(jī)增加的流條目數(shù)量最少、遷移的流數(shù)目最少等。絕大多數(shù)的研究關(guān)注的是遷移過程,而沒有關(guān)注目標(biāo)狀態(tài)是否是最優(yōu)網(wǎng)絡(luò)狀態(tài)。為了解決這個(gè)問題,文獻(xiàn)[36]研究在已有網(wǎng)絡(luò)拓?fù)渲刑砑有碌牧?,用cUpdate方法通過設(shè)置優(yōu)化目標(biāo)選出更新過程中遷移流量最少的目標(biāo)狀態(tài),但沒有考慮帶寬碎片化、鏈路利用率、調(diào)整網(wǎng)絡(luò)拓?fù)渌枰臅r(shí)延問題。

    如圖6所示,鏈路的容量是10個(gè)單位,每個(gè)流的大小如圖所示。F6是新加入的流且大小是4個(gè)單位,控制器需要改變網(wǎng)絡(luò)拓?fù)渲辛鱂5的傳輸方向來容納新流。改變的網(wǎng)絡(luò)狀態(tài)如圖6(a)和圖6(b)所示,圖6(b)只是其中的一種目標(biāo)狀態(tài)。

    圖6 網(wǎng)絡(luò)拓?fù)渲刑砑有碌牧鱂ig.6 Adding new stream to the network topology

    網(wǎng)絡(luò)拓?fù)渲杏行碌牧鞯竭_(dá)后,控制器需要根據(jù)拓?fù)湫畔碚{(diào)整部分或所有流的傳輸路徑。調(diào)整期間,需要保證沒有數(shù)據(jù)包的丟失、避免鏈路擁塞等約束。cUpdate只是在保證基本約束的情況下,選擇了遷移流量最少的網(wǎng)絡(luò)拓?fù)渥鳛槟繕?biāo)狀態(tài)。設(shè)置的優(yōu)化目標(biāo)也可以是調(diào)整時(shí)間最短的目標(biāo)狀態(tài)、改變交換機(jī)流條目數(shù)量最少的目標(biāo)狀態(tài)等。學(xué)術(shù)界對(duì)網(wǎng)絡(luò)拓?fù)渲刑砑恿鞯难芯抗ぷ鬟€比較少,因此,未來的研究工作可以在這方面做相應(yīng)的研究,同時(shí)要研究如何規(guī)劃調(diào)度更新順序?qū)崿F(xiàn)快速性的流調(diào)整。

    3.5交換機(jī)流表的限制

    交換機(jī)采用三態(tài)內(nèi)容尋址存儲(chǔ)器存儲(chǔ)流表,TCAM的優(yōu)點(diǎn)是支持并行訪問TCAM中的條目、查詢速度快且?guī)缀醪皇艽鎯?chǔ)條目數(shù)量的影響,但缺點(diǎn)是TCAM的單位容量成本約為隨機(jī)存取存儲(chǔ)器(Random Access Memory,RAM)的400倍,耗能約為RAM的100倍。因此,在普通商用交換機(jī)上就已經(jīng)限制了流表的大小。

    國內(nèi)外研究者對(duì)網(wǎng)絡(luò)流更新時(shí)涉及到的交換機(jī)流表限制也做了大量研究,即在滿足約束的情況下,盡量減少交換機(jī)流表項(xiàng)的消耗。Cupid[24]是把網(wǎng)絡(luò)拓?fù)涞娜忠蕾囮P(guān)系轉(zhuǎn)換為局部約束后,通過把相鄰片段之間可以合并的轉(zhuǎn)發(fā)規(guī)則組合在一個(gè)流表項(xiàng)中,從而減少了改變交換機(jī)的流表項(xiàng)總數(shù)。zUpdate[27]首先計(jì)算出網(wǎng)絡(luò)拓?fù)渲械年P(guān)鍵流,然后分別為每個(gè)關(guān)鍵流分配一個(gè)條目。而那些源地址、目標(biāo)地址和分發(fā)權(quán)重相同的流表項(xiàng)就合并為一個(gè)流表項(xiàng),這樣可以減少交換機(jī)上很多不必要的流表項(xiàng),實(shí)現(xiàn)交換機(jī)上流表項(xiàng)的約束。文獻(xiàn)[37]提出用段式路由(Segment Routing,SR)的技術(shù)來控制OpenFlow交換機(jī)上流表項(xiàng)的消耗,這種技術(shù)是需要流更新時(shí),立即改變更新段式路由中交換機(jī)的流表項(xiàng),最終實(shí)現(xiàn)對(duì)OpenFlow交換機(jī)上流表項(xiàng)開銷的控制。

    圖7是流表項(xiàng)合并的例子。首先根據(jù)源地址、目標(biāo)地址和分發(fā)權(quán)重把流表項(xiàng)進(jìn)行劃分,如果這三項(xiàng)都相同,則分配一個(gè)通配符流表項(xiàng),指明目標(biāo)地址和組號(hào);如果這三項(xiàng)有其中一項(xiàng)不同,則分配一個(gè)流表項(xiàng)。

    圖7 流表項(xiàng)的合并Fig.7 Merge of flow items

    交換機(jī)流表約束對(duì)網(wǎng)絡(luò)流的更新是至關(guān)重要,如果交換機(jī)上沒有多余的流表空間,SDN控制器將不會(huì)對(duì)通過此交換機(jī)的流進(jìn)行更新操作,導(dǎo)致的結(jié)果可能會(huì)讓鏈路擁塞,增大數(shù)據(jù)包傳輸時(shí)延。已有的眾多研究論文都考慮到了交換機(jī)流表的約束條件,比如Cupid和zUpdate等,具體研究情況如表3所示。因此,未來研究網(wǎng)絡(luò)更新時(shí)需要重點(diǎn)關(guān)注交換機(jī)流表的約束條件,考慮合適的方法控制交換機(jī)流表項(xiàng)的開銷。

    表3 研究流表項(xiàng)論文總結(jié)Tab.3 Summary of flow table papers

    4 未來工作展望

    隨著云計(jì)算、大數(shù)據(jù)、虛擬化技術(shù)普遍應(yīng)用發(fā)展趨勢和“互聯(lián)網(wǎng)+”時(shí)代背景下,研究人員應(yīng)在更好地把握現(xiàn)代數(shù)據(jù)中心網(wǎng)絡(luò)發(fā)展趨勢前提下,通過理論、技術(shù)和設(shè)計(jì)方案的創(chuàng)新,實(shí)現(xiàn)現(xiàn)代數(shù)據(jù)中心網(wǎng)絡(luò)可擴(kuò)展、高效和靈活管理的目標(biāo),最終實(shí)現(xiàn)數(shù)據(jù)中心網(wǎng)絡(luò)的經(jīng)濟(jì)發(fā)展。

    SDN作為一種新興的網(wǎng)絡(luò)架構(gòu),是當(dāng)前學(xué)術(shù)界和工業(yè)界最為關(guān)注的技術(shù)之一?;赟DN的數(shù)據(jù)中心網(wǎng)絡(luò)實(shí)現(xiàn)了控制平面與數(shù)據(jù)平面的分離、邏輯集中控制的特點(diǎn)解決了當(dāng)前數(shù)據(jù)中心網(wǎng)絡(luò)自動(dòng)化管理、多路徑轉(zhuǎn)發(fā)、綠色節(jié)能的問題,SDN網(wǎng)絡(luò)的開放化和虛擬化能夠有效實(shí)現(xiàn)數(shù)據(jù)中心的開放、VM的智能部署和遷移、海量虛擬用戶的需求。

    目前SDN的應(yīng)用場景之一是數(shù)據(jù)中心網(wǎng)絡(luò),如Google開展的B4[9]、Microsoft提出的SWAN架構(gòu)[32]以及華為技術(shù)有限公司提出的ADMCF-SNOS系統(tǒng)[38]等。以B4為例,SDN被用來改造Google數(shù)據(jù)中心之間互聯(lián)的G-Scale網(wǎng)絡(luò)。該網(wǎng)絡(luò)的鏈路成本非常昂貴,但鏈路利用率卻只能達(dá)到30%左右,浪費(fèi)了絕大多數(shù)的鏈路資源。B4采用有效流量管理方法實(shí)現(xiàn)鏈路的負(fù)載均衡,增強(qiáng)網(wǎng)絡(luò)穩(wěn)定性和加強(qiáng)網(wǎng)絡(luò)智能化管理,被改造后的數(shù)據(jù)中心網(wǎng)絡(luò)的絕大多數(shù)鏈路利用率幾乎可以達(dá)到100%。

    未來對(duì)基于SDN的數(shù)據(jù)中心網(wǎng)絡(luò)的研究工作主要集中在以下幾點(diǎn)。

    (1)快速且資源節(jié)約的故障恢復(fù)

    在針對(duì)數(shù)據(jù)層的可靠性維護(hù)機(jī)制中,采用備份路徑方法進(jìn)行故障恢復(fù)可以保證低時(shí)延和SDN控制器與交換機(jī)之間通信的低開銷。將備份路徑轉(zhuǎn)發(fā)規(guī)則下發(fā)給相應(yīng)的交換機(jī),會(huì)增加交換機(jī)的流表項(xiàng)開銷,這樣的靜態(tài)方法不適用于動(dòng)態(tài)網(wǎng)絡(luò)狀態(tài)的改變。因此,如何進(jìn)一步優(yōu)化故障恢復(fù)方法,以保證在快速故障恢復(fù)的前提下有效利用交換機(jī)的存儲(chǔ)資源,并引入盡可能少的控制層與數(shù)據(jù)層之間的交互開銷,值得深入研究。

    (2)鏈路利用率

    網(wǎng)絡(luò)流調(diào)度時(shí),由于80%的流屬于大象流,20%的流屬于老鼠流,且多數(shù)研究方法都沒有考慮帶寬碎片化問題,因此會(huì)降低鏈路利用率。應(yīng)設(shè)計(jì)一種合適的流調(diào)度方法,在考慮帶寬碎片化、流特征等約束條件下,提高鏈路利用率。

    (3)網(wǎng)絡(luò)更新時(shí)間

    轉(zhuǎn)發(fā)規(guī)則需要頻繁的改變來適應(yīng)網(wǎng)絡(luò)動(dòng)態(tài)變化。引起轉(zhuǎn)發(fā)規(guī)則改變的原因有交換機(jī)/鏈路故障、增加新的流、運(yùn)營商要求更改流傳輸路徑等。故障恢復(fù)時(shí)間的研究在第一點(diǎn)已有說明,對(duì)于網(wǎng)絡(luò)流更新研究也需要考慮時(shí)間的約束,要在滿足基本約束的情況下,考慮一種方法實(shí)現(xiàn)流的快速性更新完成。

    (4)交換機(jī)流表項(xiàng)

    網(wǎng)絡(luò)更新會(huì)涉及到交換機(jī)流表項(xiàng)的改變,不合理的網(wǎng)絡(luò)更新會(huì)消耗掉不必要的交換機(jī)流表項(xiàng)數(shù)量。同時(shí),交換機(jī)流表項(xiàng)數(shù)量也會(huì)成為網(wǎng)絡(luò)更新約束條件,即如果某個(gè)交換機(jī)流表項(xiàng)容量消耗完,將不會(huì)對(duì)此交換機(jī)上的流進(jìn)行更新。因此,可能會(huì)延長網(wǎng)絡(luò)更新時(shí)間。未來研究工作應(yīng)考慮一種可以減少消耗交換機(jī)流表項(xiàng)的方法來節(jié)約資源。

    5 結(jié)束語

    傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)在更新方面表現(xiàn)出了諸多的缺陷,幾乎不能滿足現(xiàn)有技術(shù)的要求,而SDN的出現(xiàn)彌補(bǔ)了現(xiàn)有網(wǎng)絡(luò)架構(gòu)在網(wǎng)絡(luò)更新方面的缺點(diǎn)。SD-DCN可以利用SDN的控制平面與轉(zhuǎn)發(fā)平面分離特性,對(duì)網(wǎng)絡(luò)設(shè)備實(shí)行集中式控制。SD-DCN網(wǎng)絡(luò)架構(gòu)可以對(duì)網(wǎng)絡(luò)的鏈路和流量分發(fā)實(shí)行全局監(jiān)控、維護(hù)和管理,為動(dòng)態(tài)的網(wǎng)絡(luò)更新調(diào)度提供可靠的參考信息。因此,可以將SDN在數(shù)據(jù)中心網(wǎng)絡(luò)的應(yīng)用推向一個(gè)新的高度。

    [1] MAO J,HAN B,LYU G,et al. Topology-independent software-defined edge control for scalable ethernet DCN[C]//Proceedings of International Conference on High performance Computing and Communications.New York,USA:IEEE,2015:1645-1650.

    [2] 許靜,苗炬,許崢. 云計(jì)算環(huán)境下應(yīng)用資源訪問控制架構(gòu)研究[J]. 無線電工程,2017,47(4):7-11.

    XU Jing,MIAO Ju,XU Zheng. Research on the access control architecture of application resources in cloud computing environment [J]. Radio Engineering,2017,47(4):7-11.(in Chinese)

    [3] XU L,WANG J,ZHANG H,et al. Performance analysis of IAF relaying mobile D2D cooperative networks[J]. Journal of the Franklin Institute,2017,354(2):902-916.

    [4] 董作霖.基于信干噪比的D2D通信功率控制與資源分配[J].電訊技術(shù),2017,57(5):568-574.

    DONG Zuolin. D2D communication power control and resource allocation based on SINR[J]. Telecommunication Engineering,2017,57(5):568-574. (in Chinese)

    [5] XU L,GULLIVER T A. Performance analysis for M2M video transmission cooperative networks using transmit antenna selection[J]. Multimedia Tools & Applications,2016,37(3):1-12.

    [6] 國艷群,韓敏,孫林夫. 一種基于SDN的開放SaaS平臺(tái)網(wǎng)絡(luò)安全體系設(shè)計(jì)[J].電訊技術(shù),2015,55(7):718-724.

    GUO Yanqun,HAN Min,SUN Linfu. Design of a network security architecture for open SaaS platform based on SDN[J]. Telecommunication Engineering,2015,55(7):718-724. (in Chinese)

    [7] GUO C,LU G,WANG H J,et al. SecondNet:a data center network virtualization architecture with bandwidth guara- ntees[C]// Proceedings of ACM Conference on Emerging Networking Experiments and Technology. Philadelphia,USA:IEEE,2010:15-22.

    [8] HASAN S F. Software-defined networking[J].Computer Networks-the International Journal of Computer and Telecommunications Networking, 2014, 75(1):453-471.

    [9] JAIN S,KUMAR A,MANDAl S,et al. B4:experience with a globally-deployed software defined wan[C]// Proceedings of ACM Conference on SIGCOMM. Hong Kong:IEEE,2013:3-14.

    [10] AGARWAL S,KODIALAM M,LAKSHMAN T V. Traffic engineering in software defined networks[C]// Proceedings of The 32nd IEEE International Conference on Computer Communications. Turin,Italy:IEEE,2013:2211-2219.

    [11] ADAMI D,GIORDANO S,PAGANO M,et al. Class-based traffic recovery with load balancing in software-defined networks[C]// Proceedings of ACM Conference on GLOBECOM Workshops. Austin,USA:IEEE,2014:161-165.

    [12] CHU C Y,XI K,LUO M,et al. Congestion-aware single link failure recovery in hybrid SDN networks [C]// Proceedings of ACM Conference on Computer Communications (INFOCOM). Hong Kong:IEEE,2015:1086-1094.

    [13] YANG B,LIU J,SHENKER S,et al. Keep forwarding:towards k-link failure resilient routing[C]//Proceedings of 2014 IEEE INFOCOM.Toronto,Canada:IEEE,2014:1617-1625.

    [14] LIN Y D,TENG H Y,HSU C R,et al. Fast failover and switchover for link failures and congestion in software defined networks[C]// Proceedings of International Conference on Communications. Kuala Lumpur,Malaysia:IEEE,2016:1-6.

    [15] BELLAGAMBA E,KEMPF J,SKOLDSTROM P. Link failure detection and traffic redirection in an OpenFlow network[C]// Proceedings of Communication Systems. Seattle,USA:IEEE,2014:1-7.

    [16] ADRICHEM N L M V,ASTEN B J V,KUIPERS F A. Fast recovery in software-defined networks[C]// Proceedings of Third European Workshop on Software Defined Networks. London,UK:IEEE,2014:61-66.

    [17] SHARMA S,STAESSENS D,COLLE D,et al. OpenFlow:meeting carrier-grade recovery requirements [J]. Computer Communications,2013,36(6):656-665.

    [18] BOSSHART P,DALY D,GIBB G,et al. P4:programming protocol-independent packet processors[J]. ACM Sigcomm Computer Communication Review,2014,44(3):87-95.

    [19] AL-FARES M,RADHAKRISHNAN S,RAGHAVAN B,et al. Hedera:dynamic flow scheduling for data center networks[C]// Proceedings of the 7th USENIX Conference on Networked Systems Design and Implementation. San Jose,California :IEEE,2010:281-296.

    [20] CURTIS A R,MOGUL J C,TOURRILHES J,et al. DevoFlow:scaling flow management for high-performance networks [C]// Proceedings of ACM Sigcomm Conference on Applications. Toronto,Ontario,Canada:IEEE,2011:254-265.

    [21] HALPERIN D,KANDULA S,PADHYE J,et al. Augmenting data center networks with multi-gigabit wireless links[C] // Proceedings of ACM SIGCOMM Conference on Computer Communication Review. Toronto,Ontario,Canada:IEEE,2011:38-49.

    [22] BENSON T,ANAND A,AKELLA A,et al. MicroTE:fine grained traffic engineering for data centers[C]//Proceedings of Seventh Conference on Emerging Networking Experiments and Technologies. Tokyo,Japan:IEEE,2011:1-8.

    [23] JIN X,LIU H H,GANDHI R,et al. Dynamic scheduling of network updates[J].ACM Sigcomm Computer Communication Review,2014,44(4):539-550.

    [24] WANG W,HE W,SU J,et al. Cupid:congestion-free consistent data plane update in software defined networks[C]// Proceedings of International Conference on Computer Communications. San Francisco,USA:IEEE,2016:1-9.

    [25] LUO L,YU H,LUO S,et al. Fast lossless traffic migration for SDN updates[C]/ Proceedings of International Conference on Communications. London,UK:IEEE,2015:5803-5808.

    [26] ZHENG J,XU H,CHEN G,et al. Minimizing transient congestion during network update in data centers[C]// Proceedings of CONEXT on Student Workshop. Sydney,Australia:IEEE,2015:4-6.

    [27] LIU H H,WU X,ZHANG M,et al. zUpdate:updating data center networks with zero loss[J].ACM Sigcomm Computer Communication Review,2013,43(4):411-422.

    [28] LI H,LI Q,JIANG Y,et al. A declarative failure recovery system in software defined networks[C]// Proceedings of International Conference on Communications. Kuala Lumpur,Malaysia :IEEE,2016:1-6.

    [29] 盧雪林,程望東. 高階統(tǒng)計(jì)量在傳動(dòng)系統(tǒng)故障診斷中的應(yīng)用[J]. 現(xiàn)代雷達(dá),2008,30(7):88-90+94.

    LU Xuelin,CHENG Wangdong. Application of higher-order statistic to servo drive system fault diagnosis[J]. Modern Radar,2008,30(7):88-90,94.(in Chinese)

    [30] 陳琳,張富強(qiáng).面向SDN 數(shù)據(jù)中心網(wǎng)絡(luò)最大概率路徑流量調(diào)度算法[J].軟件學(xué)報(bào),2016,27(2):254-260.

    CHEN Lin,ZHANG Fuqiang. Maximum probability path scheduling algorithm for elephant flow in data center networks based on SDN[J].Journal of Software,2016,27(2):254- 260. (in Chinese)

    [31] LIU H H,KANDULA S,MAHAJAN R,et al. Traffic engineering with forward fault correction[C]// Proceedings of ACM Conference on SIGCOMM. Chicago,Illinois:IEEE,2014:527-538.

    [32] HONG C Y,KANDULA S,MAHAJAN R,et al. Achieving high utilization with software-driven WAN[J].Computer Communication Review,2013,43(4):15-26.

    [33] GHORBANI S,SCHLESINGER C,MONACO M,et al. Transparent,live migration of a software-defined network[C]// Proceedings of ACM Symposium on Cloud Computing. Seattle,USA:IEEE,2014:1-14.

    [34] LIN W C,LIAO C H,KUO K T,et al. Flow-and-VM migration for optimizing throughput and energy in SDN- based cloud datacenter[C]// Proceedings of 5th International Conference on Cloud Computing Technology and Science. Bristol:IEEE,2013:206-211.

    [35] XIAO S,CUI Y,WANG X,et al. Traffic-aware virtual machine migration in topology-adaptive DCN[C]// Proceedings of 24th International Conference on Network Protocols. Singapore:IEEE,2016:1-10.

    [36] QU T,LUO L,HU Z,et al. cUpdate:Updating software-defined networks with the least traffic migr-ation[C]// Proceedings of Fifth International Conference on Big Data and Cloud Computing. Washington DC,USA:IEEE,2015:87-92.

    [37] LUO L,YU H,LUO S,et al. Achieving fast and lightweight SDN updates with segment routing[C] // Proceedings of Global Communications Conference (GLOBECOM). Washington DC,USA:IEEE,2016:1-6.

    [38] LUO M,ZENG Y,LI J,et al. An adaptive multi-path computation framework for centrally controlled networks[J].Computer Networks-the International Journal of Computer and Telecommunications Networking,2015,83(C):30-44.

    [39] LUO S,YU H,LUO L,et al. Arrange your network updates as you wish[C]// Proceedings of IFIP Networking Conference(IFIP Networking) and Workshops. Vienna,Austria:IEEE,2016:10-18.

    程克非(1974—),男,重慶人,2005年獲博士學(xué)位,現(xiàn)為教授,主要研究方向?yàn)榫W(wǎng)絡(luò)安全、網(wǎng)絡(luò)管理與嵌入式系統(tǒng);

    高江明(1990—),男,重慶云陽人,碩士研究生,主要研究方向?yàn)檐浖x網(wǎng)絡(luò)、數(shù)據(jù)中心網(wǎng)絡(luò);

    段潔(1982—),女,四川內(nèi)江人,博士,講師,主要研究方向?yàn)槲磥砭W(wǎng)絡(luò)架構(gòu)設(shè)計(jì)、網(wǎng)絡(luò)優(yōu)化設(shè)計(jì);

    田瑞林(1993—),男,內(nèi)蒙古呼和浩特人,碩士研究生,主要研究方向?yàn)樾畔⒅行木W(wǎng)絡(luò)。

    SurveyofResearchonDataCenterNetworkUpdateBasedonSDN

    CHENG Kefeia,GAO Jiangmingb,DUAN Jieb,TIAN Ruilinb
    (a.School of Computer Science and Technology;b.School of Communication and Information Engineering,Chongqing University of Posts and Telecommunications,Chongqing 400065,China)

    In recent years,Software Defined Networking (SDN) has been widely used in data center network (DCN) due to its separation of control plane and data plane and centralized control features. The researches on DCN update are summarized from four parts. Firstly,the basic concepts and research status of DSN and SDN are introduced. Secondly,the defects of traditional DCN are described in detail. Thirdly,the research status and shortcomings of SDN-based DCN (SD-DCN) update scenarios are focused,at the same time,the disadvantages of some scenarios are pointed out. Finally,developing trends of SDN-based DCN researches are prospected,in hope of providing some reference for SD-DCN researches and applications.

    data center network(DCN);software defined networking(SDN);network update;control plane;data plane

    date:2017-04-07;Revised date:2017-07-14

    國家自然科學(xué)基金資助項(xiàng)目 (61701058,61501075,61402065);重慶市基礎(chǔ)與前沿研究計(jì)劃項(xiàng)目(cstc2016jcyjA0560)

    **通信作者:duanjie@cqupt.edu.cn Corresponding author:duanjie@cqupt.edu.cn

    Email:943838742@qq.com

    Email:duanjie@cqupt.edu.cn

    TN915

    A

    1001-893X(2017)10-1224-09

    10.3969/j.issn.1001-893x.2017.10.020

    程克非,高江明,段潔,等.面向SDN的數(shù)據(jù)中心網(wǎng)絡(luò)更新研究綜述[J].電訊技術(shù),2017,57(10):1224-1232.[CHENG Kefei,GAO Jiangming,DUAN Jie,et al.Survey of research on data center network update based on SDN [J].Telecommunication Engineering,2017,57(10):1224-1232.]

    2017-04-07;

    2017-07-14

    猜你喜歡
    表項(xiàng)網(wǎng)絡(luò)拓?fù)?/a>交換機(jī)
    一種改進(jìn)的TCAM路由表項(xiàng)管理算法及實(shí)現(xiàn)
    基于通聯(lián)關(guān)系的通信網(wǎng)絡(luò)拓?fù)浒l(fā)現(xiàn)方法
    基于ARMA模型預(yù)測的交換機(jī)流表更新算法
    電子制作(2018年23期)2018-12-26 01:01:16
    修復(fù)損壞的交換機(jī)NOS
    使用鏈路聚合進(jìn)行交換機(jī)互聯(lián)
    SDN數(shù)據(jù)中心網(wǎng)絡(luò)基于流表項(xiàng)轉(zhuǎn)換的流表調(diào)度優(yōu)化
    勞斯萊斯古斯特與魅影網(wǎng)絡(luò)拓?fù)鋱D
    電測與儀表(2016年5期)2016-04-22 01:13:46
    PoE交換機(jī)雷擊浪涌防護(hù)設(shè)計(jì)
    视频区欧美日本亚洲| 日日摸夜夜添夜夜添小说| 精品国产乱码久久久久久男人| 欧美亚洲日本最大视频资源| 99精品在免费线老司机午夜| 日本vs欧美在线观看视频| 免费女性裸体啪啪无遮挡网站| 日韩 欧美 亚洲 中文字幕| 午夜激情av网站| 精品久久久久久久久久免费视频 | 国产成人一区二区三区免费视频网站| 国产精品自产拍在线观看55亚洲| 国产在线观看jvid| 亚洲欧美激情在线| 中文字幕高清在线视频| 中出人妻视频一区二区| 国产精品偷伦视频观看了| 婷婷六月久久综合丁香| 国产精品免费视频内射| 久久精品国产综合久久久| 中文字幕av电影在线播放| 三级毛片av免费| 亚洲欧美一区二区三区黑人| 免费少妇av软件| 亚洲成人久久性| 天堂俺去俺来也www色官网| 欧美乱码精品一区二区三区| 91大片在线观看| 国产成人欧美在线观看| av福利片在线| 国产av精品麻豆| 亚洲熟女毛片儿| 中文字幕高清在线视频| 亚洲第一欧美日韩一区二区三区| 女警被强在线播放| 国产成人精品无人区| 亚洲精品粉嫩美女一区| 另类亚洲欧美激情| 久久欧美精品欧美久久欧美| 成人特级黄色片久久久久久久| 欧美人与性动交α欧美软件| 99精品在免费线老司机午夜| 热99re8久久精品国产| 黄色视频,在线免费观看| 久久精品国产清高在天天线| 国产欧美日韩一区二区三区在线| 黑人巨大精品欧美一区二区mp4| 777久久人妻少妇嫩草av网站| aaaaa片日本免费| 男女下面插进去视频免费观看| 亚洲av电影在线进入| 国产精品免费一区二区三区在线| 国产在线观看jvid| 日韩欧美国产一区二区入口| 成人av一区二区三区在线看| 9191精品国产免费久久| 久久久久久久久中文| 性欧美人与动物交配| 亚洲一区二区三区欧美精品| 成人亚洲精品一区在线观看| 日韩欧美一区二区三区在线观看| 嫩草影视91久久| 中文亚洲av片在线观看爽| 好看av亚洲va欧美ⅴa在| 成人18禁高潮啪啪吃奶动态图| 操美女的视频在线观看| 一区二区三区精品91| 18禁美女被吸乳视频| 99在线人妻在线中文字幕| 精品一区二区三卡| 伊人久久大香线蕉亚洲五| 亚洲五月色婷婷综合| 在线国产一区二区在线| 久久午夜综合久久蜜桃| 成年女人毛片免费观看观看9| 91国产中文字幕| 天堂动漫精品| 国产高清激情床上av| 免费少妇av软件| 亚洲国产精品合色在线| 50天的宝宝边吃奶边哭怎么回事| 国产欧美日韩一区二区精品| 成人手机av| 久久性视频一级片| 精品久久久久久久毛片微露脸| 国产成年人精品一区二区 | 国产熟女午夜一区二区三区| 香蕉久久夜色| 99久久精品国产亚洲精品| 一进一出抽搐动态| 国产色视频综合| 一区在线观看完整版| 女警被强在线播放| 国产精品久久视频播放| 男女下面插进去视频免费观看| 一夜夜www| 精品国产乱码久久久久久男人| 男女之事视频高清在线观看| 午夜福利在线免费观看网站| 中文字幕人妻丝袜制服| 19禁男女啪啪无遮挡网站| 亚洲成人久久性| 亚洲熟女毛片儿| 亚洲 欧美 日韩 在线 免费| 男男h啪啪无遮挡| av片东京热男人的天堂| 国产极品粉嫩免费观看在线| www.www免费av| 1024视频免费在线观看| 男女下面插进去视频免费观看| 久久中文字幕一级| 午夜福利在线免费观看网站| 久久精品国产清高在天天线| 一区福利在线观看| 中文亚洲av片在线观看爽| 欧美日韩精品网址| 国产精品乱码一区二三区的特点 | 欧美一级毛片孕妇| 99久久精品国产亚洲精品| 精品无人区乱码1区二区| 成年人免费黄色播放视频| 免费在线观看完整版高清| 99国产精品免费福利视频| 巨乳人妻的诱惑在线观看| 亚洲中文字幕日韩| 国产精品乱码一区二三区的特点 | 久久国产精品人妻蜜桃| 免费av中文字幕在线| svipshipincom国产片| 黑人猛操日本美女一级片| 成人三级做爰电影| 国产高清国产精品国产三级| 国产日韩一区二区三区精品不卡| 黄片播放在线免费| 夜夜躁狠狠躁天天躁| 首页视频小说图片口味搜索| 精品一区二区三区四区五区乱码| 久99久视频精品免费| 日韩一卡2卡3卡4卡2021年| 成熟少妇高潮喷水视频| 自拍欧美九色日韩亚洲蝌蚪91| 亚洲一区高清亚洲精品| 国产人伦9x9x在线观看| 婷婷丁香在线五月| 成人影院久久| 一级毛片女人18水好多| 女人爽到高潮嗷嗷叫在线视频| 色老头精品视频在线观看| 日日爽夜夜爽网站| 色尼玛亚洲综合影院| e午夜精品久久久久久久| av网站在线播放免费| 免费在线观看黄色视频的| 又大又爽又粗| a级毛片在线看网站| 久久久久九九精品影院| 成人手机av| 女警被强在线播放| 国产麻豆69| 69精品国产乱码久久久| 欧美日韩视频精品一区| 男人操女人黄网站| 亚洲精品中文字幕一二三四区| 久久精品国产亚洲av高清一级| 在线看a的网站| 69av精品久久久久久| 亚洲av熟女| 最近最新中文字幕大全免费视频| 亚洲国产精品一区二区三区在线| 免费观看人在逋| 最近最新中文字幕大全免费视频| 99国产精品一区二区蜜桃av| 大型av网站在线播放| cao死你这个sao货| 中国美女看黄片| 99riav亚洲国产免费| 成年人黄色毛片网站| 欧美日韩一级在线毛片| 在线观看日韩欧美| 久久久久久亚洲精品国产蜜桃av| 99riav亚洲国产免费| 啦啦啦 在线观看视频| 99re在线观看精品视频| 成人特级黄色片久久久久久久| 香蕉久久夜色| 国产成人一区二区三区免费视频网站| 两人在一起打扑克的视频| 伦理电影免费视频| 国产亚洲精品一区二区www| 欧美性长视频在线观看| 99国产精品一区二区三区| 老汉色∧v一级毛片| 男女午夜视频在线观看| 波多野结衣av一区二区av| av欧美777| 欧美日韩av久久| 少妇 在线观看| 国产无遮挡羞羞视频在线观看| av天堂在线播放| 岛国视频午夜一区免费看| 淫秽高清视频在线观看| 91av网站免费观看| 十八禁人妻一区二区| 18禁黄网站禁片午夜丰满| 国产精品秋霞免费鲁丝片| av片东京热男人的天堂| 日韩欧美在线二视频| 成人亚洲精品av一区二区 | 国产精品永久免费网站| 一进一出抽搐动态| 欧美成人免费av一区二区三区| bbb黄色大片| 中国美女看黄片| 中文欧美无线码| 亚洲免费av在线视频| 国产人伦9x9x在线观看| 成人精品一区二区免费| 在线十欧美十亚洲十日本专区| 午夜两性在线视频| 欧美一区二区精品小视频在线| 亚洲国产精品999在线| 国产一卡二卡三卡精品| 国产精品爽爽va在线观看网站 | 又大又爽又粗| 久久九九热精品免费| 麻豆国产av国片精品| 精品日产1卡2卡| 一级毛片精品| 亚洲欧美日韩高清在线视频| 成人国语在线视频| 久久午夜综合久久蜜桃| 在线十欧美十亚洲十日本专区| 国产精品免费视频内射| 国产99白浆流出| 亚洲视频免费观看视频| 久久久久久久精品吃奶| 久久这里只有精品19| 国产高清国产精品国产三级| 香蕉久久夜色| 国产一区二区三区视频了| 亚洲欧美日韩无卡精品| 亚洲精品国产精品久久久不卡| av网站免费在线观看视频| 国产成人精品在线电影| 中文字幕人妻丝袜制服| 电影成人av| 性少妇av在线| 国产激情欧美一区二区| 亚洲熟女毛片儿| 精品久久久久久,| 美女高潮喷水抽搐中文字幕| 大型av网站在线播放| 中文字幕人妻熟女乱码| 久久久国产一区二区| 欧美日韩国产mv在线观看视频| 91字幕亚洲| 亚洲视频免费观看视频| 大陆偷拍与自拍| 美女高潮到喷水免费观看| 在线看a的网站| 日本wwww免费看| 国产日韩一区二区三区精品不卡| av国产精品久久久久影院| 久久久久久久久中文| 一二三四在线观看免费中文在| 免费看a级黄色片| 老汉色av国产亚洲站长工具| 亚洲精华国产精华精| 亚洲一区高清亚洲精品| 脱女人内裤的视频| 欧美不卡视频在线免费观看 | 精品国产乱子伦一区二区三区| 国产精品一区二区免费欧美| 咕卡用的链子| 动漫黄色视频在线观看| 久久国产乱子伦精品免费另类| a级片在线免费高清观看视频| 久久久精品欧美日韩精品| 这个男人来自地球电影免费观看| 久久这里只有精品19| 91大片在线观看| 亚洲自偷自拍图片 自拍| 久久精品91蜜桃| 女人高潮潮喷娇喘18禁视频| 久久天堂一区二区三区四区| 亚洲av第一区精品v没综合| 老鸭窝网址在线观看| 亚洲人成伊人成综合网2020| 欧美大码av| 老司机亚洲免费影院| 精品电影一区二区在线| 少妇被粗大的猛进出69影院| 嫩草影院精品99| 如日韩欧美国产精品一区二区三区| 中出人妻视频一区二区| 亚洲国产欧美网| 国产99白浆流出| 在线观看免费视频网站a站| 亚洲av电影在线进入| 久久九九热精品免费| 亚洲国产中文字幕在线视频| 亚洲专区字幕在线| 精品久久久久久,| 欧美激情高清一区二区三区| 国产亚洲欧美98| 极品人妻少妇av视频| 欧美久久黑人一区二区| 麻豆成人av在线观看| 久久人人精品亚洲av| 少妇裸体淫交视频免费看高清 | 亚洲激情在线av| 极品教师在线免费播放| e午夜精品久久久久久久| 咕卡用的链子| 神马国产精品三级电影在线观看 | 婷婷精品国产亚洲av在线| 精品国产一区二区三区四区第35| av在线天堂中文字幕 | 免费av中文字幕在线| 咕卡用的链子| 伊人久久大香线蕉亚洲五| 一个人免费在线观看的高清视频| 在线观看免费日韩欧美大片| 丰满人妻熟妇乱又伦精品不卡| 少妇 在线观看| 国产精品免费一区二区三区在线| 久久久久国内视频| 国产精品一区二区在线不卡| 757午夜福利合集在线观看| 亚洲欧美精品综合一区二区三区| 999久久久国产精品视频| 亚洲熟妇中文字幕五十中出 | 亚洲自偷自拍图片 自拍| 亚洲五月色婷婷综合| 免费少妇av软件| 午夜亚洲福利在线播放| 桃色一区二区三区在线观看| 亚洲国产欧美网| 国产xxxxx性猛交| 超色免费av| 99精品在免费线老司机午夜| 亚洲 欧美 日韩 在线 免费| 亚洲成人国产一区在线观看| 18禁裸乳无遮挡免费网站照片 | 精品国产国语对白av| 伊人久久大香线蕉亚洲五| 啦啦啦 在线观看视频| 制服诱惑二区| 精品久久久久久久久久免费视频 | 欧美在线黄色| 性色av乱码一区二区三区2| 夜夜夜夜夜久久久久| 亚洲av成人一区二区三| 成人国产一区最新在线观看| 国产一区二区在线av高清观看| 成人黄色视频免费在线看| 久久人人爽av亚洲精品天堂| 亚洲欧美激情在线| 91麻豆精品激情在线观看国产 | 欧美性长视频在线观看| 亚洲国产精品sss在线观看 | 国产成人av教育| 免费一级毛片在线播放高清视频 | 黄网站色视频无遮挡免费观看| 他把我摸到了高潮在线观看| 亚洲一区二区三区欧美精品| 黄色丝袜av网址大全| 久热爱精品视频在线9| 在线永久观看黄色视频| 十八禁人妻一区二区| 免费不卡黄色视频| 国产成人精品久久二区二区免费| 神马国产精品三级电影在线观看 | 国产91精品成人一区二区三区| 日韩欧美免费精品| 中出人妻视频一区二区| 一边摸一边抽搐一进一出视频| 亚洲视频免费观看视频| 久久久国产成人免费| 91九色精品人成在线观看| 日本欧美视频一区| 亚洲av熟女| 免费久久久久久久精品成人欧美视频| 国产视频一区二区在线看| 19禁男女啪啪无遮挡网站| 久久精品国产99精品国产亚洲性色 | 老司机在亚洲福利影院| 亚洲片人在线观看| 久久精品成人免费网站| 久久影院123| 亚洲成人久久性| 91av网站免费观看| 级片在线观看| 国产成人欧美| 黄色视频,在线免费观看| 丝袜人妻中文字幕| 人人澡人人妻人| www.自偷自拍.com| а√天堂www在线а√下载| 久久草成人影院| 中文亚洲av片在线观看爽| 午夜福利在线免费观看网站| 老司机福利观看| 欧美成人午夜精品| 国产91精品成人一区二区三区| 嫁个100分男人电影在线观看| 久久 成人 亚洲| 免费少妇av软件| 大香蕉久久成人网| 91九色精品人成在线观看| 亚洲国产毛片av蜜桃av| 51午夜福利影视在线观看| 欧美成人免费av一区二区三区| 欧美日韩精品网址| 男女床上黄色一级片免费看| 热99re8久久精品国产| 国产精品乱码一区二三区的特点 | 色在线成人网| 午夜福利在线观看吧| 一级毛片女人18水好多| 成人三级黄色视频| 少妇裸体淫交视频免费看高清 | 黑丝袜美女国产一区| 老司机午夜福利在线观看视频| 欧美日韩精品网址| 亚洲男人天堂网一区| 无人区码免费观看不卡| 又黄又粗又硬又大视频| 一区二区日韩欧美中文字幕| 久久性视频一级片| 久久久久久久久中文| 天天影视国产精品| 日韩大码丰满熟妇| 麻豆一二三区av精品| 国产在线观看jvid| 又大又爽又粗| 麻豆一二三区av精品| 久久国产精品男人的天堂亚洲| av超薄肉色丝袜交足视频| 亚洲精品久久午夜乱码| 亚洲自拍偷在线| 十八禁人妻一区二区| 精品久久久精品久久久| 午夜福利一区二区在线看| 三级毛片av免费| 麻豆成人av在线观看| 极品教师在线免费播放| 成人三级做爰电影| 天堂俺去俺来也www色官网| 色综合站精品国产| 法律面前人人平等表现在哪些方面| 欧美一区二区精品小视频在线| 久久亚洲真实| 久久久久久久久中文| 国产99白浆流出| 欧美黑人欧美精品刺激| 国产精品秋霞免费鲁丝片| 欧美不卡视频在线免费观看 | 国产一区在线观看成人免费| 亚洲久久久国产精品| 精品午夜福利视频在线观看一区| 每晚都被弄得嗷嗷叫到高潮| 久久久久久久久久久久大奶| 丝袜美足系列| 午夜福利一区二区在线看| 国产欧美日韩一区二区精品| 欧美性长视频在线观看| 深夜精品福利| 国产激情久久老熟女| 欧美亚洲日本最大视频资源| 午夜亚洲福利在线播放| 人人妻人人添人人爽欧美一区卜| 欧美在线黄色| 美女 人体艺术 gogo| 亚洲欧美激情在线| 欧美激情高清一区二区三区| 成人18禁高潮啪啪吃奶动态图| 黑人巨大精品欧美一区二区蜜桃| 啪啪无遮挡十八禁网站| 亚洲欧美日韩高清在线视频| 久久国产乱子伦精品免费另类| 欧美乱妇无乱码| 两性午夜刺激爽爽歪歪视频在线观看 | 精品卡一卡二卡四卡免费| 国产欧美日韩一区二区三| 夜夜夜夜夜久久久久| 久久久久久免费高清国产稀缺| 亚洲精品中文字幕一二三四区| 精品国内亚洲2022精品成人| 在线观看免费视频网站a站| 视频区图区小说| 中文亚洲av片在线观看爽| 午夜亚洲福利在线播放| 一级毛片精品| 国产免费av片在线观看野外av| 人人妻人人澡人人看| 在线观看www视频免费| 一个人观看的视频www高清免费观看 | 熟女少妇亚洲综合色aaa.| 国产欧美日韩一区二区三区在线| 啪啪无遮挡十八禁网站| 亚洲国产欧美网| 欧美黄色片欧美黄色片| 91麻豆av在线| 成人国产一区最新在线观看| 久久久久国内视频| 一本大道久久a久久精品| 天堂√8在线中文| 国产成人啪精品午夜网站| 国产av在哪里看| 亚洲色图 男人天堂 中文字幕| 亚洲午夜精品一区,二区,三区| 91成年电影在线观看| 国产精品一区二区在线不卡| 亚洲成人精品中文字幕电影 | xxx96com| 久久亚洲精品不卡| 精品久久蜜臀av无| 亚洲全国av大片| 亚洲五月天丁香| ponron亚洲| 午夜福利在线观看吧| 日韩精品中文字幕看吧| 嫩草影院精品99| 一级毛片高清免费大全| 国产欧美日韩精品亚洲av| 久久国产精品人妻蜜桃| 男女做爰动态图高潮gif福利片 | 国产精品九九99| 国产日韩一区二区三区精品不卡| 精品国产一区二区三区四区第35| 中文字幕人妻熟女乱码| 一区二区三区激情视频| 中国美女看黄片| www日本在线高清视频| av在线天堂中文字幕 | 欧美国产精品va在线观看不卡| 女生性感内裤真人,穿戴方法视频| www.熟女人妻精品国产| 久久国产乱子伦精品免费另类| 99久久国产精品久久久| 久久久久久人人人人人| 麻豆国产av国片精品| 亚洲一区二区三区色噜噜 | 国产97色在线日韩免费| 少妇粗大呻吟视频| 制服诱惑二区| 午夜两性在线视频| 亚洲五月天丁香| a级毛片黄视频| 日日干狠狠操夜夜爽| 美女福利国产在线| 欧美日本中文国产一区发布| 欧美久久黑人一区二区| 日韩欧美一区二区三区在线观看| 人妻久久中文字幕网| 欧美日本亚洲视频在线播放| 欧美精品一区二区免费开放| 国产精品亚洲一级av第二区| 91av网站免费观看| 丁香六月欧美| 久久精品国产清高在天天线| 国内久久婷婷六月综合欲色啪| 国产又爽黄色视频| www国产在线视频色| 色在线成人网| 在线观看免费午夜福利视频| 成人特级黄色片久久久久久久| 亚洲一区二区三区欧美精品| 777久久人妻少妇嫩草av网站| 亚洲aⅴ乱码一区二区在线播放 | 高清欧美精品videossex| 国产有黄有色有爽视频| 国产亚洲精品一区二区www| 久久中文字幕人妻熟女| 在线观看舔阴道视频| 午夜福利免费观看在线| 窝窝影院91人妻| 中文字幕人妻丝袜一区二区| 成人18禁高潮啪啪吃奶动态图| 深夜精品福利| 黄色a级毛片大全视频| 国产蜜桃级精品一区二区三区| 久久久国产一区二区| 精品国产一区二区三区四区第35| 精品久久蜜臀av无| 在线视频色国产色| 免费不卡黄色视频| 涩涩av久久男人的天堂| aaaaa片日本免费| av中文乱码字幕在线| 色婷婷av一区二区三区视频| 午夜免费成人在线视频| 亚洲欧美激情综合另类| 女人高潮潮喷娇喘18禁视频| 97超级碰碰碰精品色视频在线观看| 99久久人妻综合| 操美女的视频在线观看| 国产野战对白在线观看| 成人国语在线视频| 美女大奶头视频| 国产亚洲欧美精品永久| 在线观看免费视频网站a站| 国产aⅴ精品一区二区三区波| 国产三级黄色录像| 国产免费男女视频| 精品福利永久在线观看| 一二三四在线观看免费中文在| 1024视频免费在线观看| 黑人巨大精品欧美一区二区mp4| 这个男人来自地球电影免费观看| 亚洲欧美激情在线| 成年人黄色毛片网站| 成人av一区二区三区在线看| 日本一区二区免费在线视频|