• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    面向SDN的數(shù)據(jù)中心網(wǎng)絡(luò)更新研究綜述*

    2017-10-23 03:06:37程克非a高江明田瑞林
    電訊技術(shù) 2017年10期
    關(guān)鍵詞:表項(xiàng)網(wǎng)絡(luò)拓?fù)?/a>交換機(jī)

    程克非a,高江明,段 潔**,田瑞林

    (重慶郵電大學(xué) a.計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院;b.通信與信息工程學(xué)院,重慶 400065)

    面向SDN的數(shù)據(jù)中心網(wǎng)絡(luò)更新研究綜述*

    程克非a,高江明b,段 潔**b,田瑞林b

    (重慶郵電大學(xué) a.計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院;b.通信與信息工程學(xué)院,重慶 400065)

    近年來,由于軟件定義網(wǎng)絡(luò)(SDN)的控制平面與數(shù)據(jù)平面分離、集中式控制的特點(diǎn),被廣泛應(yīng)用于數(shù)據(jù)中心網(wǎng)絡(luò)(DCN)。分四個(gè)部分對(duì)DCN更新的相關(guān)研究進(jìn)行了綜述。首先,介紹了DCN和SDN的基本概念及研究現(xiàn)狀;隨后,詳細(xì)說明了傳統(tǒng)DCN在更新方面遇到的缺陷;其次,重點(diǎn)討論了基于SDN的數(shù)據(jù)中心網(wǎng)絡(luò)(SD-DCN)更新場景的研究現(xiàn)狀與存在的不足,同時(shí)指出了一些方案存在的缺點(diǎn);最后,對(duì)基于SDN的數(shù)據(jù)中心網(wǎng)絡(luò)未來研究方向進(jìn)行了展望,以期為SD-DCN的研究與應(yīng)用提供一定的參考。

    數(shù)據(jù)中心網(wǎng)絡(luò);軟件定義網(wǎng)絡(luò);網(wǎng)絡(luò)更新;控制平面;數(shù)據(jù)平面

    1 引 言

    最近幾年,隨著互聯(lián)網(wǎng)和信息技術(shù)的迅猛發(fā)展,數(shù)據(jù)中心的數(shù)量以及數(shù)據(jù)中心的節(jié)點(diǎn)數(shù)目都成倍增長[1],由于數(shù)據(jù)中心的規(guī)模呈現(xiàn)爆炸式的急速發(fā)展,許多公司都開始擴(kuò)建屬于自己的數(shù)據(jù)中心網(wǎng)絡(luò)。云計(jì)算技術(shù)[2]的出現(xiàn)對(duì)數(shù)據(jù)中心網(wǎng)絡(luò)的發(fā)展提出了新的挑戰(zhàn),例如網(wǎng)絡(luò)安全、虛擬機(jī)遷移、負(fù)載均衡等。傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)面對(duì)爆炸式的流量增長表現(xiàn)出了諸多方面的缺陷。首先,是帶寬使用率的問題。由于現(xiàn)有網(wǎng)絡(luò)帶寬資源相對(duì)匱乏,當(dāng)前可以利用設(shè)備到設(shè)備(Device-to-Device,D2D)技術(shù)來解決這一問題[3-5]。同時(shí),也降低了功率分配,減少了設(shè)備的電池消耗等。其次,是鏈路擁塞、數(shù)據(jù)包丟失等問題。因此,如何利用新技術(shù)解決數(shù)據(jù)中心網(wǎng)絡(luò)出現(xiàn)的問題成為了當(dāng)前研究的重點(diǎn)。

    數(shù)據(jù)中心網(wǎng)絡(luò)(Data Center Network,DCN)是指數(shù)據(jù)中心內(nèi)部通過高速鏈路和交換機(jī)連接大量服務(wù)器的網(wǎng)絡(luò)[6],形成具有高帶寬、高可用性、高可靠性以及負(fù)載均衡的服務(wù)器網(wǎng)絡(luò),對(duì)外提供計(jì)算、存儲(chǔ)等服務(wù)。傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)主要采用層次結(jié)構(gòu)實(shí)現(xiàn),且承載的主要是客戶機(jī)/服務(wù)器模式應(yīng)用[7]。

    軟件定義網(wǎng)絡(luò)(Software Defined Networking,SDN)作為一種新型的網(wǎng)絡(luò)架構(gòu)[8],其核心思想就是解除網(wǎng)絡(luò)設(shè)備的耦合性,即控制平面與數(shù)據(jù)平面相分離、實(shí)現(xiàn)邏輯上的集中式控制。SDN架構(gòu)分為應(yīng)用層、控制層和數(shù)據(jù)層。應(yīng)用層包括各種不同的業(yè)務(wù)和應(yīng)用,控制層負(fù)責(zé)處理數(shù)據(jù)層資源的編排、維護(hù)網(wǎng)絡(luò)拓?fù)洹顟B(tài)信息等,數(shù)據(jù)層負(fù)責(zé)數(shù)據(jù)處理、轉(zhuǎn)發(fā)和狀態(tài)收集。

    研究者把SDN與DCN相結(jié)合,形成了軟件定義-數(shù)據(jù)中心網(wǎng)絡(luò)(Software Defined Data Center Network,SD-DCN),充分利用SDN控制器實(shí)現(xiàn)全局網(wǎng)絡(luò)的維護(hù)、交換機(jī)狀態(tài)的收集、路由的計(jì)算和流表項(xiàng)的管理。因此,基于SDN的數(shù)據(jù)中心網(wǎng)絡(luò)可以解決傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)的缺陷,簡化網(wǎng)絡(luò)管理,降低運(yùn)維成本,提供更好的負(fù)載均衡。

    軟件定義網(wǎng)絡(luò)在負(fù)載均衡[9-11]和故障維護(hù)[12-13]方面的應(yīng)用越來越普遍,控制器通過改變數(shù)據(jù)平面上交換機(jī)的流表項(xiàng)來調(diào)整受影響的流到冗余路徑上傳輸,從而避免網(wǎng)絡(luò)的擁塞[14-15]和實(shí)現(xiàn)故障恢復(fù)[16-17]。P4[18]開創(chuàng)了數(shù)據(jù)平面的可編程時(shí)代的到來,該項(xiàng)目由許多單獨(dú)的模塊組成,每個(gè)模塊是一個(gè)子項(xiàng)目。如果控制器沒有正確地改變流表項(xiàng)將會(huì)引起網(wǎng)絡(luò)的不一致性屬性或網(wǎng)絡(luò)性能的下降。

    數(shù)據(jù)中心網(wǎng)絡(luò)引入SDN架構(gòu)后的研究仍然處于發(fā)展的初期[19-20],相關(guān)的研究工作仍在進(jìn)行,其中主要的研究熱點(diǎn)是利用SDN控制器在保證一致性屬性和約束的條件下,規(guī)劃網(wǎng)絡(luò)更新順序,提高網(wǎng)絡(luò)性能[21-22]。最近在網(wǎng)絡(luò)更新方面有了大量的研究成果。Dionysus[23]根據(jù)依賴關(guān)系圖對(duì)網(wǎng)絡(luò)更新順序進(jìn)行了仔細(xì)的規(guī)劃,實(shí)現(xiàn)快速性和一致性的網(wǎng)絡(luò)更新。如果依賴關(guān)系圖存在環(huán),將通過流量分發(fā)比率限制來破壞環(huán),然后規(guī)劃網(wǎng)絡(luò)更新順序。Cupid[24]把全局依賴關(guān)系轉(zhuǎn)換為局部約束,通過轉(zhuǎn)換后,可以提高網(wǎng)絡(luò)更新速度和實(shí)現(xiàn)無擁塞的發(fā)生。

    Atomip[25]首先查找網(wǎng)絡(luò)中潛在的擁塞流和潛在的擁塞鏈路,然后據(jù)此信息將大問題劃分為幾個(gè)子問題進(jìn)行處理。Mcup[26]研究的是在網(wǎng)絡(luò)更新期間實(shí)現(xiàn)最小的擁塞損失,且在更新速度和瞬時(shí)擁塞之間進(jìn)行權(quán)衡,找到一個(gè)最合理的網(wǎng)絡(luò)更新順序。zUpdate[27]的目標(biāo)是在DCN的更新過程中消除擁塞。

    本文首先對(duì)數(shù)據(jù)中心網(wǎng)絡(luò)的更新場景和面臨的挑戰(zhàn)進(jìn)行了總結(jié),然后闡述了SD-DCN的各個(gè)更新場景的研究現(xiàn)狀,并對(duì)其存在的問題進(jìn)行了總結(jié),最后對(duì)未來工作進(jìn)行了展望。

    2 數(shù)據(jù)中心網(wǎng)絡(luò)的更新問題

    傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)的更新通常是指數(shù)據(jù)平面更新,更新原因可能是周期性、故障、運(yùn)營商的需求等引起。傳統(tǒng)的更新方法存在一些不可避免的缺陷,比如:網(wǎng)絡(luò)不能全局協(xié)調(diào)、網(wǎng)絡(luò)節(jié)點(diǎn)獨(dú)立的執(zhí)行流量控制策略、不能形成全局最優(yōu)的調(diào)度方案、缺少動(dòng)態(tài)調(diào)度能力。如何解決傳統(tǒng)網(wǎng)絡(luò)的缺陷一直是學(xué)術(shù)界的研究重點(diǎn)。

    網(wǎng)絡(luò)更新期間需要保證一致性和實(shí)現(xiàn)快速性更新。一致性是指不能違背某些屬性,例如:相同流傳輸?shù)穆窂讲荒苄纬森h(huán)(無環(huán))、無數(shù)據(jù)包的丟失(無黑洞)和到達(dá)鏈路的流量不應(yīng)該超過鏈路的容量(無擁塞)??焖傩允侵妇W(wǎng)絡(luò)更新時(shí)間,要在最短的時(shí)間內(nèi)完成更新。網(wǎng)絡(luò)更新方案可以總結(jié)為網(wǎng)絡(luò)拓?fù)渥兞亢土髁烤仃囎兞俊?/p>

    表1是典型的數(shù)據(jù)中心網(wǎng)絡(luò)的數(shù)據(jù)平面更新案例及屬于哪個(gè)更新變量。虛擬機(jī)遷移和負(fù)載均衡器的重新配置屬于流量矩陣改變,其余更新場景屬于網(wǎng)絡(luò)拓?fù)涓淖儭?/p>

    表1 數(shù)據(jù)中心網(wǎng)絡(luò)的更新場景Tab.1 Update scenarios in DCN

    網(wǎng)絡(luò)更新面臨的挑戰(zhàn)是處理全網(wǎng)的流量遷移,即不同交換機(jī)之間的規(guī)則協(xié)作關(guān)系。因此,在網(wǎng)絡(luò)更新期間,如果網(wǎng)絡(luò)中流的轉(zhuǎn)發(fā)規(guī)則需要改變,而改變轉(zhuǎn)發(fā)規(guī)則不同步,將會(huì)對(duì)某些熱點(diǎn)鏈路產(chǎn)生瞬時(shí)負(fù)載峰值或鏈路擁塞。

    用圖1的例子來說明異步改變轉(zhuǎn)發(fā)規(guī)則帶來的后果。圖中給出了最初的網(wǎng)絡(luò)狀態(tài)和最終的網(wǎng)絡(luò)狀態(tài),要實(shí)現(xiàn)兩個(gè)網(wǎng)絡(luò)狀態(tài)之間的轉(zhuǎn)換,需要在交換機(jī)S1和S2的入口處同步改變轉(zhuǎn)發(fā)規(guī)則。如果沒能實(shí)現(xiàn)同步改變轉(zhuǎn)發(fā)規(guī)則,將會(huì)對(duì)熱點(diǎn)鏈路產(chǎn)生瞬時(shí)的負(fù)載峰值或鏈路擁塞。如果流f1在交換機(jī)S1的入口處改變轉(zhuǎn)發(fā)規(guī)則先于流f2在交換機(jī)S2的入口處改變轉(zhuǎn)發(fā)規(guī)則,將會(huì)對(duì)鏈路l2產(chǎn)生瞬時(shí)的負(fù)載峰值或鏈路擁塞。同理,會(huì)對(duì)鏈路l1產(chǎn)生同樣的影響。只有實(shí)現(xiàn)兩個(gè)交換機(jī)同步改變轉(zhuǎn)發(fā)規(guī)則,才可以達(dá)到最終的網(wǎng)絡(luò)狀態(tài)。

    圖1 流量遷移期間瞬時(shí)負(fù)載的增加Fig.1 Transient load increase during traffic migration

    傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)的管理和維護(hù)都很困難,不管是用戶還是運(yùn)營商都難以對(duì)網(wǎng)絡(luò)進(jìn)行實(shí)時(shí)性監(jiān)控,簡單的流量信息及負(fù)載數(shù)據(jù)很難準(zhǔn)確地反應(yīng)網(wǎng)絡(luò)狀態(tài),不能動(dòng)態(tài)地實(shí)現(xiàn)網(wǎng)絡(luò)流量規(guī)劃、鏈路利用率低等問題。為了解決上述問題,在數(shù)據(jù)中心網(wǎng)絡(luò)引入了SDN架構(gòu),利用SDN控制器負(fù)責(zé)整個(gè)網(wǎng)絡(luò)的維護(hù)、交換機(jī)狀態(tài)的收集、路徑的計(jì)算、網(wǎng)絡(luò)流動(dòng)態(tài)調(diào)度和流表項(xiàng)的管理等,從而解決傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)帶寬利用率低、鏈路擁塞、數(shù)據(jù)包丟失等問題。

    3 基于SDN的數(shù)據(jù)中心網(wǎng)絡(luò)更新

    軟件定義網(wǎng)絡(luò)的主要設(shè)備是SDN控制器和OpenFlow交換機(jī)。SDN控制器實(shí)現(xiàn)集中控制,掌握整個(gè)網(wǎng)絡(luò)拓?fù)湫畔?交換機(jī)流條目數(shù)量、鏈路可用帶寬、交換機(jī)故障等)。圖2是控制器對(duì)交換機(jī)實(shí)現(xiàn)控制的簡單拓?fù)鋱D。

    圖2 簡單網(wǎng)絡(luò)拓?fù)鋱DFig.2 Simple network topology

    表2是數(shù)據(jù)中心網(wǎng)絡(luò)引入軟件定義網(wǎng)絡(luò)后的一些更新場景,總結(jié)了更新場景的不同可能會(huì)對(duì)SDN控制器和OpenFlow交換機(jī)產(chǎn)生的影響。

    表2 SD-DCN的更新場景Tab.2 Update scenarios in SD-DCN

    傳統(tǒng)DCN更新場景與SD-DCN更新場景具有相似之處。在SDN網(wǎng)絡(luò)中,由于SDN控制器需要對(duì)網(wǎng)絡(luò)拓?fù)溥M(jìn)行集中控制,可以掌握本地局域網(wǎng)內(nèi)所有OpenFlow交換機(jī)的狀態(tài)信息,如OpenFlow交換機(jī)流條目數(shù)量、可用鏈路帶寬、網(wǎng)絡(luò)的拓?fù)湫畔⒌?。SDN控制器根據(jù)這些信息利用已有算法主動(dòng)或被動(dòng)的生成流條目,然后下發(fā)給OpenFlow交換機(jī),從而規(guī)劃網(wǎng)絡(luò)流傳輸路徑。

    3.1交換機(jī)固件升級(jí)、故障維護(hù)、鏈路故障

    數(shù)據(jù)中心網(wǎng)絡(luò)隨時(shí)會(huì)出現(xiàn)交換機(jī)固件升級(jí)、交換機(jī)故障維護(hù)、鏈路故障的情況。面對(duì)這些突發(fā)的事件,需要根據(jù)網(wǎng)絡(luò)拓?fù)湫畔⒄{(diào)整受影響的流到冗余路徑上進(jìn)行傳輸,從而避免鏈路發(fā)生擁塞、出現(xiàn)數(shù)據(jù)包的丟失、縮短故障恢復(fù)的時(shí)間等。

    網(wǎng)絡(luò)出現(xiàn)交換機(jī)故障或鏈路故障,已有的解決辦法有兩種。第一種是故障保護(hù),提前計(jì)算備份路徑和分配備份規(guī)則,從而繞過故障交換機(jī)或故障鏈路。這種方案是可行的,但是會(huì)消耗大量交換機(jī)內(nèi)存,尤其是對(duì)交換機(jī)的三態(tài)內(nèi)容尋址存儲(chǔ)器(Ternary Content Addressable Memory,TCAM)的容量,但為了故障恢復(fù)時(shí)間最短,這樣的犧牲在某種情況下是可行。第二種是故障恢復(fù),依靠的是動(dòng)態(tài)重新路由,從而繞過故障交換機(jī)或故障鏈路。動(dòng)態(tài)重計(jì)算會(huì)加重控制器與交換機(jī)之間的通信壓力,會(huì)消耗一定的時(shí)間。因此,利用SDN架構(gòu)的思想和設(shè)計(jì)合適的算法,實(shí)現(xiàn)故障恢復(fù)成為了當(dāng)前的研究重點(diǎn)。

    文獻(xiàn)[14]提出快速故障轉(zhuǎn)移和快速切換機(jī)制來處理鏈路故障和擁塞問題??刂破髟贠penFlow交換機(jī)上提前為源、目的節(jié)點(diǎn)對(duì)估計(jì)多個(gè)路徑,如果故障發(fā)生,則用備份路徑進(jìn)行傳輸,但缺點(diǎn)是犧牲交換機(jī)內(nèi)存來實(shí)現(xiàn)故障的快速恢復(fù),不能應(yīng)用到大規(guī)模的網(wǎng)絡(luò)中。文獻(xiàn)[28]提出了Dfrs方法克服故障保護(hù)和故障恢復(fù)的障礙,實(shí)現(xiàn)運(yùn)營商可制定他們的網(wǎng)絡(luò)故障恢復(fù)目標(biāo),但沒有考慮鏈路容量和數(shù)據(jù)包丟失等約束條件,未來研究工作需要考慮這些因素做綜合性的研究。

    目前有關(guān)SDN故障恢復(fù)方面的研究也加入了負(fù)載均衡的功能。文獻(xiàn)[29]提出了基于負(fù)載均衡的SDN數(shù)據(jù)平面故障恢復(fù)方法。首先,將數(shù)據(jù)流根據(jù)對(duì)時(shí)延的要求進(jìn)行分類;然后,確定具有負(fù)載均衡調(diào)節(jié)功能的備份路徑選取策略。本文沒有考慮鏈路帶寬碎片化和交換機(jī)內(nèi)存的限制。文獻(xiàn)[30]提出最大概率路徑流量調(diào)度算法。首先,計(jì)算滿足待調(diào)度流帶寬需求的所有路徑;然后,計(jì)算流帶寬與路徑最小鏈路帶寬之間的帶寬比,結(jié)合所有路徑的帶寬比為每一條路徑計(jì)算路徑概率;最后,利用概率機(jī)制選擇路徑。該文分別為大象流和老鼠流設(shè)計(jì)了算法,充分考慮到了帶寬碎片化和流量負(fù)載等問題。

    最近研究的熱點(diǎn)是如何讓網(wǎng)絡(luò)中的鏈路不發(fā)生擁塞。比如:文獻(xiàn)[27]通過引入一些中間網(wǎng)絡(luò)配置狀態(tài),然后從初始網(wǎng)絡(luò)配置狀態(tài)與中間網(wǎng)絡(luò)配置狀態(tài)之間進(jìn)行逐步切換,其中任意兩種狀態(tài)之間的切換都是無擁塞;文獻(xiàn)[31]提出了一種主動(dòng)處理數(shù)據(jù)平面和控制平面故障的方法,提前為k個(gè)故障預(yù)留足夠的鏈路帶寬,只要故障數(shù)不大于k就會(huì)保證無擁塞的發(fā)生;文獻(xiàn)[32]通過把更新問題轉(zhuǎn)換成線性規(guī)劃來找到傳輸順序,實(shí)現(xiàn)把流切換到新的路徑上進(jìn)行傳輸,而不引起任何鏈路發(fā)生擁塞或瞬時(shí)擁塞。這些方法都是關(guān)注鏈路不發(fā)生擁塞,都沒有考慮網(wǎng)絡(luò)更新時(shí)延、帶寬碎片化等問題。

    如圖3所示,(a)是初始網(wǎng)絡(luò)拓?fù)鋱D傳輸流的狀態(tài),當(dāng)網(wǎng)絡(luò)拓?fù)渲械慕粨Q機(jī)出現(xiàn)故障,需要調(diào)整經(jīng)過故障交換機(jī)傳輸?shù)牧鞯饺哂嗦窂竭M(jìn)行傳輸;(b)是一種調(diào)整故障流的例子。

    圖3 交換機(jī)故障Fig.3 Switch failure

    交換機(jī)故障或鏈路故障的研究主要集中在控制交換機(jī)的流條目消耗和避免鏈路擁塞,同時(shí)要滿足故障恢復(fù)的時(shí)間要求。zUpdate考慮的是流表的消耗和避免擁塞,F(xiàn)FC考慮的是避免擁塞,Dfrs考慮的是實(shí)現(xiàn)最少的流表策略,目前缺少綜合考慮這些約束的研究。未來的研究重點(diǎn)是依靠SDN的集中控制能力,在交換機(jī)或鏈路出現(xiàn)故障時(shí),首先,SDN控制器根據(jù)實(shí)時(shí)的網(wǎng)絡(luò)拓?fù)湫畔⒁?guī)劃出終止網(wǎng)絡(luò)狀態(tài);然后,設(shè)計(jì)算法實(shí)現(xiàn)網(wǎng)絡(luò)狀態(tài)之間的切換。網(wǎng)絡(luò)狀態(tài)的切換除了滿足約束條件,還要提高網(wǎng)絡(luò)性能指標(biāo),比如縮短故障恢復(fù)時(shí)間、沒有數(shù)據(jù)包的丟失或最少的數(shù)據(jù)包的丟失等。

    3.2安裝新的交換機(jī)

    在實(shí)際應(yīng)用中,已有的網(wǎng)絡(luò)配置不能滿足日常工作和生活的需求,需要改善網(wǎng)絡(luò)現(xiàn)有的缺陷,通常有兩種方法:一是在業(yè)務(wù)量需求較大的鏈路附近增加新的鏈路,二是對(duì)已有的鏈路進(jìn)行擴(kuò)容。安裝新的交換機(jī)屬于添加多條新的鏈路,在業(yè)務(wù)量需求較大的網(wǎng)絡(luò)中添加新的交換機(jī),可以避免鏈路發(fā)生擁塞、數(shù)據(jù)包丟失等情況的發(fā)生。

    研究安裝新的交換機(jī)的文獻(xiàn)幾乎沒有,都是作為技術(shù)方面的說明。在SDN的網(wǎng)絡(luò)拓?fù)渲邪惭b新的交換機(jī),首先,需要交換機(jī)與控制器之間建立連接,連接建立好之后,控制器就可以對(duì)交換機(jī)實(shí)現(xiàn)集中式的控制;然后,交換機(jī)之間通過控制器的指令進(jìn)行連接。交換機(jī)與控制器之間連接的建立,主要分為主動(dòng)(proactive)和被動(dòng)(reactive)兩種模式。

    主動(dòng)的流條目下發(fā)是指在數(shù)據(jù)包到達(dá)交換機(jī)之前就進(jìn)行流條目設(shè)置,因此當(dāng)?shù)谝粋€(gè)數(shù)據(jù)包到達(dá)交換機(jī)后,交換機(jī)就知道如何處理數(shù)據(jù)包,這種主動(dòng)方式有效地消除了數(shù)據(jù)包傳輸過程中的流條目設(shè)置延遲,減少了交換機(jī)對(duì)數(shù)據(jù)包的處理時(shí)延。

    被動(dòng)的流條目下發(fā)是指當(dāng)交換機(jī)接收到一個(gè)數(shù)據(jù)包并且沒有發(fā)現(xiàn)與之匹配的流條目時(shí),交換機(jī)就會(huì)發(fā)送一個(gè)Packet_in消息給控制器處理??刂破鞲鶕?jù)一定的路由算法決策,生成對(duì)應(yīng)的流條目,然后下發(fā)給交換機(jī)進(jìn)行緩存。

    圖4是在網(wǎng)絡(luò)拓?fù)渲屑尤胄碌慕粨Q機(jī),(a)是一個(gè)由控制器與交換機(jī)組成的網(wǎng)絡(luò)拓?fù)?,由于鏈路容量的限制或業(yè)務(wù)量的增加,需要添加新的交換機(jī)來解決出現(xiàn)的問題;(b)是在網(wǎng)絡(luò)拓?fù)渲邪惭b新的交換機(jī),控制器與交換機(jī)之間是主動(dòng)建立連接的過程;(c)是控制器與交換機(jī)之間被動(dòng)建立連接的過程。

    圖4 網(wǎng)絡(luò)拓?fù)渲刑砑有碌慕粨Q機(jī)Fig.4 Adding switch to the network topology

    安裝新的交換機(jī)是為了擴(kuò)容、降低鏈路壓力和數(shù)據(jù)包的傳輸時(shí)延。在SDN架構(gòu)的網(wǎng)絡(luò)拓?fù)渲邪惭b交換機(jī)時(shí),會(huì)加重控制器的計(jì)算壓力,當(dāng)交換機(jī)與控制器之間建立了連接,可以明顯緩解鏈路的擁塞,提高數(shù)據(jù)包的轉(zhuǎn)發(fā)速度等。然而,沒有文獻(xiàn)對(duì)安裝交換機(jī)進(jìn)行研究,都是一些應(yīng)用方面的工程實(shí)施,未來的研究工作可以是,如何安裝新的交換機(jī)實(shí)現(xiàn)成本最低、緩解鏈路擁塞的效益最佳。

    3.3虛擬機(jī)遷移、負(fù)載均衡器重新配置

    數(shù)據(jù)中心網(wǎng)絡(luò)常常被虛擬化,因此虛擬機(jī)遷移就變成了一個(gè)不可缺少的管理工具。虛擬機(jī)遷移分兩步進(jìn)行:第一步是選擇哪個(gè)虛擬機(jī)被遷移,第二步是選擇哪個(gè)主機(jī)接收虛擬機(jī)的遷移。虛擬機(jī)遷移是為了維護(hù)規(guī)劃、優(yōu)化資源使用、提高吞吐量、降低能源消耗等。針對(duì)虛擬機(jī)遷移的研究已經(jīng)有了很多的成果。

    文獻(xiàn)[33]提出了有效遷移虛擬機(jī)或遷移虛擬交換機(jī)的集合,Live是暫時(shí)在多個(gè)物理交換機(jī)上運(yùn)行所有或部分虛擬交換機(jī),在多個(gè)物理交換機(jī)上運(yùn)行需要仔細(xì)規(guī)劃,避免影響到應(yīng)用程序的正確性和在遷移期間實(shí)現(xiàn)最小性能的中斷。文獻(xiàn)[34]研究的是基于SDN的云數(shù)據(jù)中心流和虛擬機(jī)遷移,提出了能源感知VM遷移和拓?fù)涓兄猇M遷移,從而提高吞吐量。以前虛擬機(jī)遷移關(guān)注的重點(diǎn)是如何有效地放置VM,沒有考慮到成本。文獻(xiàn)[35]提出了流量感知VM遷移實(shí)現(xiàn)更低的遷移成本和通信成本,同時(shí)吞吐量和流的完成時(shí)間也是在合理的范圍內(nèi)。

    負(fù)載均衡是一種把網(wǎng)絡(luò)請(qǐng)求分散到一個(gè)服務(wù)器集群中可用服務(wù)器上,通過管理進(jìn)入的Web數(shù)據(jù)流量和增加有效的網(wǎng)絡(luò)帶寬的硬件設(shè)備。Dionysus[23]是仔細(xì)規(guī)劃更新順序,而沒有引入額外的更新階段,實(shí)現(xiàn)沒有鏈路發(fā)生過載。但是這個(gè)更新順序方法不是萬能的,因?yàn)樵谟行┣闆r下,更新順序并不存在。zUpdate[27]為解決負(fù)載均衡器重新配置可能帶來的鏈路擁塞、數(shù)據(jù)包的丟失提出的解決辦法是,找到合理的流分發(fā)比率,打破等價(jià)多路徑(Equal-cost Multi-path,ECMP)的傳輸模式,實(shí)現(xiàn)加權(quán)成本多路徑(Weighted Cost Multipath,WCMP)的模式傳輸。圖5是網(wǎng)絡(luò)拓?fù)渲辛鱾鬏斅窂礁淖儯?a)是初始網(wǎng)絡(luò)拓?fù)渲辛鱾鬏敔顟B(tài),而(b)是終止網(wǎng)絡(luò)拓?fù)渲辛鱾鬏敔顟B(tài)。在滿足一致性和快速性的條件下,如何從(a)切換到(b),一直以來都是學(xué)術(shù)界研究的重點(diǎn)。圖5的一個(gè)有效更新順序是[F1→F4→F2],如果先更新F2,F(xiàn)1和F4將不能移動(dòng);如果先更新F4,將產(chǎn)生鏈路的過載。

    圖5 網(wǎng)絡(luò)拓?fù)渲辛鱾鬏斅窂礁淖僃ig.5 Stream propagation path change in network topology

    對(duì)虛擬機(jī)遷移的研究關(guān)注焦點(diǎn)是優(yōu)化資源使用、提高吞吐量和降低能源消耗等。但是Live是提前在多個(gè)物理交換機(jī)上運(yùn)行虛擬機(jī),占用交換機(jī)的資源,缺少對(duì)吞吐量的研究。已有的研究工作很少關(guān)注虛擬機(jī)遷移完成的時(shí)間,未來的研究工作在考慮以上三點(diǎn)時(shí),也要研究如何快速完成虛擬機(jī)遷移,對(duì)應(yīng)用程序的影響實(shí)現(xiàn)最小化。

    對(duì)網(wǎng)絡(luò)拓?fù)涓淖兊难芯恐攸c(diǎn)是,在實(shí)現(xiàn)切換的期間要保證沒有數(shù)據(jù)包的丟失,避免鏈路擁塞,降低對(duì)應(yīng)用程序中斷的影響。Dionysus實(shí)現(xiàn)了一致性和快速性的切換,但缺少對(duì)網(wǎng)絡(luò)更新順序不存在時(shí)的研究。未來的研究工作要結(jié)合負(fù)載均衡技術(shù),綜合考慮目的主機(jī)端的系統(tǒng)資源開銷、遷移虛擬機(jī)開銷以及遷移后的網(wǎng)絡(luò)通信開銷,加快虛擬機(jī)遷移速度,使鏈路利用率實(shí)現(xiàn)最大化和減少對(duì)應(yīng)用程序的中斷。

    3.4安排新的流到網(wǎng)絡(luò)拓?fù)渲?/p>

    網(wǎng)絡(luò)拓?fù)渲辛鞯拇笮『蛿?shù)量是隨時(shí)都在保持更新,所以對(duì)每條鏈路都會(huì)預(yù)留一定的帶寬,防止鏈路擁塞。很多情況下,新的流到達(dá)網(wǎng)絡(luò)拓?fù)鋾r(shí),控制器需要調(diào)整已有流傳輸方向來容納新到達(dá)的流,實(shí)現(xiàn)無擁塞的傳輸??刂破髟谡{(diào)整流傳輸方向時(shí),需要考慮鏈路的有效容量、交換機(jī)可用流條目數(shù)量、調(diào)整時(shí)延、帶寬碎片化等約束。在滿足一致性和約束的條件下,實(shí)現(xiàn)鏈路利用率的最大化、更新時(shí)間最短等網(wǎng)絡(luò)性能指標(biāo)。

    網(wǎng)絡(luò)拓?fù)渲刑砑有碌牧?,控制器?guī)劃出來的新網(wǎng)絡(luò)拓?fù)湓跐M足約束的條件下,可能會(huì)有多個(gè)有效網(wǎng)絡(luò)拓?fù)涞拇嬖凇R虼?,可以設(shè)置優(yōu)化目標(biāo)挑選出需要的網(wǎng)絡(luò)拓?fù)?,比如交換機(jī)增加的流條目數(shù)量最少、遷移的流數(shù)目最少等。絕大多數(shù)的研究關(guān)注的是遷移過程,而沒有關(guān)注目標(biāo)狀態(tài)是否是最優(yōu)網(wǎng)絡(luò)狀態(tài)。為了解決這個(gè)問題,文獻(xiàn)[36]研究在已有網(wǎng)絡(luò)拓?fù)渲刑砑有碌牧?,用cUpdate方法通過設(shè)置優(yōu)化目標(biāo)選出更新過程中遷移流量最少的目標(biāo)狀態(tài),但沒有考慮帶寬碎片化、鏈路利用率、調(diào)整網(wǎng)絡(luò)拓?fù)渌枰臅r(shí)延問題。

    如圖6所示,鏈路的容量是10個(gè)單位,每個(gè)流的大小如圖所示。F6是新加入的流且大小是4個(gè)單位,控制器需要改變網(wǎng)絡(luò)拓?fù)渲辛鱂5的傳輸方向來容納新流。改變的網(wǎng)絡(luò)狀態(tài)如圖6(a)和圖6(b)所示,圖6(b)只是其中的一種目標(biāo)狀態(tài)。

    圖6 網(wǎng)絡(luò)拓?fù)渲刑砑有碌牧鱂ig.6 Adding new stream to the network topology

    網(wǎng)絡(luò)拓?fù)渲杏行碌牧鞯竭_(dá)后,控制器需要根據(jù)拓?fù)湫畔碚{(diào)整部分或所有流的傳輸路徑。調(diào)整期間,需要保證沒有數(shù)據(jù)包的丟失、避免鏈路擁塞等約束。cUpdate只是在保證基本約束的情況下,選擇了遷移流量最少的網(wǎng)絡(luò)拓?fù)渥鳛槟繕?biāo)狀態(tài)。設(shè)置的優(yōu)化目標(biāo)也可以是調(diào)整時(shí)間最短的目標(biāo)狀態(tài)、改變交換機(jī)流條目數(shù)量最少的目標(biāo)狀態(tài)等。學(xué)術(shù)界對(duì)網(wǎng)絡(luò)拓?fù)渲刑砑恿鞯难芯抗ぷ鬟€比較少,因此,未來的研究工作可以在這方面做相應(yīng)的研究,同時(shí)要研究如何規(guī)劃調(diào)度更新順序?qū)崿F(xiàn)快速性的流調(diào)整。

    3.5交換機(jī)流表的限制

    交換機(jī)采用三態(tài)內(nèi)容尋址存儲(chǔ)器存儲(chǔ)流表,TCAM的優(yōu)點(diǎn)是支持并行訪問TCAM中的條目、查詢速度快且?guī)缀醪皇艽鎯?chǔ)條目數(shù)量的影響,但缺點(diǎn)是TCAM的單位容量成本約為隨機(jī)存取存儲(chǔ)器(Random Access Memory,RAM)的400倍,耗能約為RAM的100倍。因此,在普通商用交換機(jī)上就已經(jīng)限制了流表的大小。

    國內(nèi)外研究者對(duì)網(wǎng)絡(luò)流更新時(shí)涉及到的交換機(jī)流表限制也做了大量研究,即在滿足約束的情況下,盡量減少交換機(jī)流表項(xiàng)的消耗。Cupid[24]是把網(wǎng)絡(luò)拓?fù)涞娜忠蕾囮P(guān)系轉(zhuǎn)換為局部約束后,通過把相鄰片段之間可以合并的轉(zhuǎn)發(fā)規(guī)則組合在一個(gè)流表項(xiàng)中,從而減少了改變交換機(jī)的流表項(xiàng)總數(shù)。zUpdate[27]首先計(jì)算出網(wǎng)絡(luò)拓?fù)渲械年P(guān)鍵流,然后分別為每個(gè)關(guān)鍵流分配一個(gè)條目。而那些源地址、目標(biāo)地址和分發(fā)權(quán)重相同的流表項(xiàng)就合并為一個(gè)流表項(xiàng),這樣可以減少交換機(jī)上很多不必要的流表項(xiàng),實(shí)現(xiàn)交換機(jī)上流表項(xiàng)的約束。文獻(xiàn)[37]提出用段式路由(Segment Routing,SR)的技術(shù)來控制OpenFlow交換機(jī)上流表項(xiàng)的消耗,這種技術(shù)是需要流更新時(shí),立即改變更新段式路由中交換機(jī)的流表項(xiàng),最終實(shí)現(xiàn)對(duì)OpenFlow交換機(jī)上流表項(xiàng)開銷的控制。

    圖7是流表項(xiàng)合并的例子。首先根據(jù)源地址、目標(biāo)地址和分發(fā)權(quán)重把流表項(xiàng)進(jìn)行劃分,如果這三項(xiàng)都相同,則分配一個(gè)通配符流表項(xiàng),指明目標(biāo)地址和組號(hào);如果這三項(xiàng)有其中一項(xiàng)不同,則分配一個(gè)流表項(xiàng)。

    圖7 流表項(xiàng)的合并Fig.7 Merge of flow items

    交換機(jī)流表約束對(duì)網(wǎng)絡(luò)流的更新是至關(guān)重要,如果交換機(jī)上沒有多余的流表空間,SDN控制器將不會(huì)對(duì)通過此交換機(jī)的流進(jìn)行更新操作,導(dǎo)致的結(jié)果可能會(huì)讓鏈路擁塞,增大數(shù)據(jù)包傳輸時(shí)延。已有的眾多研究論文都考慮到了交換機(jī)流表的約束條件,比如Cupid和zUpdate等,具體研究情況如表3所示。因此,未來研究網(wǎng)絡(luò)更新時(shí)需要重點(diǎn)關(guān)注交換機(jī)流表的約束條件,考慮合適的方法控制交換機(jī)流表項(xiàng)的開銷。

    表3 研究流表項(xiàng)論文總結(jié)Tab.3 Summary of flow table papers

    4 未來工作展望

    隨著云計(jì)算、大數(shù)據(jù)、虛擬化技術(shù)普遍應(yīng)用發(fā)展趨勢和“互聯(lián)網(wǎng)+”時(shí)代背景下,研究人員應(yīng)在更好地把握現(xiàn)代數(shù)據(jù)中心網(wǎng)絡(luò)發(fā)展趨勢前提下,通過理論、技術(shù)和設(shè)計(jì)方案的創(chuàng)新,實(shí)現(xiàn)現(xiàn)代數(shù)據(jù)中心網(wǎng)絡(luò)可擴(kuò)展、高效和靈活管理的目標(biāo),最終實(shí)現(xiàn)數(shù)據(jù)中心網(wǎng)絡(luò)的經(jīng)濟(jì)發(fā)展。

    SDN作為一種新興的網(wǎng)絡(luò)架構(gòu),是當(dāng)前學(xué)術(shù)界和工業(yè)界最為關(guān)注的技術(shù)之一?;赟DN的數(shù)據(jù)中心網(wǎng)絡(luò)實(shí)現(xiàn)了控制平面與數(shù)據(jù)平面的分離、邏輯集中控制的特點(diǎn)解決了當(dāng)前數(shù)據(jù)中心網(wǎng)絡(luò)自動(dòng)化管理、多路徑轉(zhuǎn)發(fā)、綠色節(jié)能的問題,SDN網(wǎng)絡(luò)的開放化和虛擬化能夠有效實(shí)現(xiàn)數(shù)據(jù)中心的開放、VM的智能部署和遷移、海量虛擬用戶的需求。

    目前SDN的應(yīng)用場景之一是數(shù)據(jù)中心網(wǎng)絡(luò),如Google開展的B4[9]、Microsoft提出的SWAN架構(gòu)[32]以及華為技術(shù)有限公司提出的ADMCF-SNOS系統(tǒng)[38]等。以B4為例,SDN被用來改造Google數(shù)據(jù)中心之間互聯(lián)的G-Scale網(wǎng)絡(luò)。該網(wǎng)絡(luò)的鏈路成本非常昂貴,但鏈路利用率卻只能達(dá)到30%左右,浪費(fèi)了絕大多數(shù)的鏈路資源。B4采用有效流量管理方法實(shí)現(xiàn)鏈路的負(fù)載均衡,增強(qiáng)網(wǎng)絡(luò)穩(wěn)定性和加強(qiáng)網(wǎng)絡(luò)智能化管理,被改造后的數(shù)據(jù)中心網(wǎng)絡(luò)的絕大多數(shù)鏈路利用率幾乎可以達(dá)到100%。

    未來對(duì)基于SDN的數(shù)據(jù)中心網(wǎng)絡(luò)的研究工作主要集中在以下幾點(diǎn)。

    (1)快速且資源節(jié)約的故障恢復(fù)

    在針對(duì)數(shù)據(jù)層的可靠性維護(hù)機(jī)制中,采用備份路徑方法進(jìn)行故障恢復(fù)可以保證低時(shí)延和SDN控制器與交換機(jī)之間通信的低開銷。將備份路徑轉(zhuǎn)發(fā)規(guī)則下發(fā)給相應(yīng)的交換機(jī),會(huì)增加交換機(jī)的流表項(xiàng)開銷,這樣的靜態(tài)方法不適用于動(dòng)態(tài)網(wǎng)絡(luò)狀態(tài)的改變。因此,如何進(jìn)一步優(yōu)化故障恢復(fù)方法,以保證在快速故障恢復(fù)的前提下有效利用交換機(jī)的存儲(chǔ)資源,并引入盡可能少的控制層與數(shù)據(jù)層之間的交互開銷,值得深入研究。

    (2)鏈路利用率

    網(wǎng)絡(luò)流調(diào)度時(shí),由于80%的流屬于大象流,20%的流屬于老鼠流,且多數(shù)研究方法都沒有考慮帶寬碎片化問題,因此會(huì)降低鏈路利用率。應(yīng)設(shè)計(jì)一種合適的流調(diào)度方法,在考慮帶寬碎片化、流特征等約束條件下,提高鏈路利用率。

    (3)網(wǎng)絡(luò)更新時(shí)間

    轉(zhuǎn)發(fā)規(guī)則需要頻繁的改變來適應(yīng)網(wǎng)絡(luò)動(dòng)態(tài)變化。引起轉(zhuǎn)發(fā)規(guī)則改變的原因有交換機(jī)/鏈路故障、增加新的流、運(yùn)營商要求更改流傳輸路徑等。故障恢復(fù)時(shí)間的研究在第一點(diǎn)已有說明,對(duì)于網(wǎng)絡(luò)流更新研究也需要考慮時(shí)間的約束,要在滿足基本約束的情況下,考慮一種方法實(shí)現(xiàn)流的快速性更新完成。

    (4)交換機(jī)流表項(xiàng)

    網(wǎng)絡(luò)更新會(huì)涉及到交換機(jī)流表項(xiàng)的改變,不合理的網(wǎng)絡(luò)更新會(huì)消耗掉不必要的交換機(jī)流表項(xiàng)數(shù)量。同時(shí),交換機(jī)流表項(xiàng)數(shù)量也會(huì)成為網(wǎng)絡(luò)更新約束條件,即如果某個(gè)交換機(jī)流表項(xiàng)容量消耗完,將不會(huì)對(duì)此交換機(jī)上的流進(jìn)行更新。因此,可能會(huì)延長網(wǎng)絡(luò)更新時(shí)間。未來研究工作應(yīng)考慮一種可以減少消耗交換機(jī)流表項(xiàng)的方法來節(jié)約資源。

    5 結(jié)束語

    傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)在更新方面表現(xiàn)出了諸多的缺陷,幾乎不能滿足現(xiàn)有技術(shù)的要求,而SDN的出現(xiàn)彌補(bǔ)了現(xiàn)有網(wǎng)絡(luò)架構(gòu)在網(wǎng)絡(luò)更新方面的缺點(diǎn)。SD-DCN可以利用SDN的控制平面與轉(zhuǎn)發(fā)平面分離特性,對(duì)網(wǎng)絡(luò)設(shè)備實(shí)行集中式控制。SD-DCN網(wǎng)絡(luò)架構(gòu)可以對(duì)網(wǎng)絡(luò)的鏈路和流量分發(fā)實(shí)行全局監(jiān)控、維護(hù)和管理,為動(dòng)態(tài)的網(wǎng)絡(luò)更新調(diào)度提供可靠的參考信息。因此,可以將SDN在數(shù)據(jù)中心網(wǎng)絡(luò)的應(yīng)用推向一個(gè)新的高度。

    [1] MAO J,HAN B,LYU G,et al. Topology-independent software-defined edge control for scalable ethernet DCN[C]//Proceedings of International Conference on High performance Computing and Communications.New York,USA:IEEE,2015:1645-1650.

    [2] 許靜,苗炬,許崢. 云計(jì)算環(huán)境下應(yīng)用資源訪問控制架構(gòu)研究[J]. 無線電工程,2017,47(4):7-11.

    XU Jing,MIAO Ju,XU Zheng. Research on the access control architecture of application resources in cloud computing environment [J]. Radio Engineering,2017,47(4):7-11.(in Chinese)

    [3] XU L,WANG J,ZHANG H,et al. Performance analysis of IAF relaying mobile D2D cooperative networks[J]. Journal of the Franklin Institute,2017,354(2):902-916.

    [4] 董作霖.基于信干噪比的D2D通信功率控制與資源分配[J].電訊技術(shù),2017,57(5):568-574.

    DONG Zuolin. D2D communication power control and resource allocation based on SINR[J]. Telecommunication Engineering,2017,57(5):568-574. (in Chinese)

    [5] XU L,GULLIVER T A. Performance analysis for M2M video transmission cooperative networks using transmit antenna selection[J]. Multimedia Tools & Applications,2016,37(3):1-12.

    [6] 國艷群,韓敏,孫林夫. 一種基于SDN的開放SaaS平臺(tái)網(wǎng)絡(luò)安全體系設(shè)計(jì)[J].電訊技術(shù),2015,55(7):718-724.

    GUO Yanqun,HAN Min,SUN Linfu. Design of a network security architecture for open SaaS platform based on SDN[J]. Telecommunication Engineering,2015,55(7):718-724. (in Chinese)

    [7] GUO C,LU G,WANG H J,et al. SecondNet:a data center network virtualization architecture with bandwidth guara- ntees[C]// Proceedings of ACM Conference on Emerging Networking Experiments and Technology. Philadelphia,USA:IEEE,2010:15-22.

    [8] HASAN S F. Software-defined networking[J].Computer Networks-the International Journal of Computer and Telecommunications Networking, 2014, 75(1):453-471.

    [9] JAIN S,KUMAR A,MANDAl S,et al. B4:experience with a globally-deployed software defined wan[C]// Proceedings of ACM Conference on SIGCOMM. Hong Kong:IEEE,2013:3-14.

    [10] AGARWAL S,KODIALAM M,LAKSHMAN T V. Traffic engineering in software defined networks[C]// Proceedings of The 32nd IEEE International Conference on Computer Communications. Turin,Italy:IEEE,2013:2211-2219.

    [11] ADAMI D,GIORDANO S,PAGANO M,et al. Class-based traffic recovery with load balancing in software-defined networks[C]// Proceedings of ACM Conference on GLOBECOM Workshops. Austin,USA:IEEE,2014:161-165.

    [12] CHU C Y,XI K,LUO M,et al. Congestion-aware single link failure recovery in hybrid SDN networks [C]// Proceedings of ACM Conference on Computer Communications (INFOCOM). Hong Kong:IEEE,2015:1086-1094.

    [13] YANG B,LIU J,SHENKER S,et al. Keep forwarding:towards k-link failure resilient routing[C]//Proceedings of 2014 IEEE INFOCOM.Toronto,Canada:IEEE,2014:1617-1625.

    [14] LIN Y D,TENG H Y,HSU C R,et al. Fast failover and switchover for link failures and congestion in software defined networks[C]// Proceedings of International Conference on Communications. Kuala Lumpur,Malaysia:IEEE,2016:1-6.

    [15] BELLAGAMBA E,KEMPF J,SKOLDSTROM P. Link failure detection and traffic redirection in an OpenFlow network[C]// Proceedings of Communication Systems. Seattle,USA:IEEE,2014:1-7.

    [16] ADRICHEM N L M V,ASTEN B J V,KUIPERS F A. Fast recovery in software-defined networks[C]// Proceedings of Third European Workshop on Software Defined Networks. London,UK:IEEE,2014:61-66.

    [17] SHARMA S,STAESSENS D,COLLE D,et al. OpenFlow:meeting carrier-grade recovery requirements [J]. Computer Communications,2013,36(6):656-665.

    [18] BOSSHART P,DALY D,GIBB G,et al. P4:programming protocol-independent packet processors[J]. ACM Sigcomm Computer Communication Review,2014,44(3):87-95.

    [19] AL-FARES M,RADHAKRISHNAN S,RAGHAVAN B,et al. Hedera:dynamic flow scheduling for data center networks[C]// Proceedings of the 7th USENIX Conference on Networked Systems Design and Implementation. San Jose,California :IEEE,2010:281-296.

    [20] CURTIS A R,MOGUL J C,TOURRILHES J,et al. DevoFlow:scaling flow management for high-performance networks [C]// Proceedings of ACM Sigcomm Conference on Applications. Toronto,Ontario,Canada:IEEE,2011:254-265.

    [21] HALPERIN D,KANDULA S,PADHYE J,et al. Augmenting data center networks with multi-gigabit wireless links[C] // Proceedings of ACM SIGCOMM Conference on Computer Communication Review. Toronto,Ontario,Canada:IEEE,2011:38-49.

    [22] BENSON T,ANAND A,AKELLA A,et al. MicroTE:fine grained traffic engineering for data centers[C]//Proceedings of Seventh Conference on Emerging Networking Experiments and Technologies. Tokyo,Japan:IEEE,2011:1-8.

    [23] JIN X,LIU H H,GANDHI R,et al. Dynamic scheduling of network updates[J].ACM Sigcomm Computer Communication Review,2014,44(4):539-550.

    [24] WANG W,HE W,SU J,et al. Cupid:congestion-free consistent data plane update in software defined networks[C]// Proceedings of International Conference on Computer Communications. San Francisco,USA:IEEE,2016:1-9.

    [25] LUO L,YU H,LUO S,et al. Fast lossless traffic migration for SDN updates[C]/ Proceedings of International Conference on Communications. London,UK:IEEE,2015:5803-5808.

    [26] ZHENG J,XU H,CHEN G,et al. Minimizing transient congestion during network update in data centers[C]// Proceedings of CONEXT on Student Workshop. Sydney,Australia:IEEE,2015:4-6.

    [27] LIU H H,WU X,ZHANG M,et al. zUpdate:updating data center networks with zero loss[J].ACM Sigcomm Computer Communication Review,2013,43(4):411-422.

    [28] LI H,LI Q,JIANG Y,et al. A declarative failure recovery system in software defined networks[C]// Proceedings of International Conference on Communications. Kuala Lumpur,Malaysia :IEEE,2016:1-6.

    [29] 盧雪林,程望東. 高階統(tǒng)計(jì)量在傳動(dòng)系統(tǒng)故障診斷中的應(yīng)用[J]. 現(xiàn)代雷達(dá),2008,30(7):88-90+94.

    LU Xuelin,CHENG Wangdong. Application of higher-order statistic to servo drive system fault diagnosis[J]. Modern Radar,2008,30(7):88-90,94.(in Chinese)

    [30] 陳琳,張富強(qiáng).面向SDN 數(shù)據(jù)中心網(wǎng)絡(luò)最大概率路徑流量調(diào)度算法[J].軟件學(xué)報(bào),2016,27(2):254-260.

    CHEN Lin,ZHANG Fuqiang. Maximum probability path scheduling algorithm for elephant flow in data center networks based on SDN[J].Journal of Software,2016,27(2):254- 260. (in Chinese)

    [31] LIU H H,KANDULA S,MAHAJAN R,et al. Traffic engineering with forward fault correction[C]// Proceedings of ACM Conference on SIGCOMM. Chicago,Illinois:IEEE,2014:527-538.

    [32] HONG C Y,KANDULA S,MAHAJAN R,et al. Achieving high utilization with software-driven WAN[J].Computer Communication Review,2013,43(4):15-26.

    [33] GHORBANI S,SCHLESINGER C,MONACO M,et al. Transparent,live migration of a software-defined network[C]// Proceedings of ACM Symposium on Cloud Computing. Seattle,USA:IEEE,2014:1-14.

    [34] LIN W C,LIAO C H,KUO K T,et al. Flow-and-VM migration for optimizing throughput and energy in SDN- based cloud datacenter[C]// Proceedings of 5th International Conference on Cloud Computing Technology and Science. Bristol:IEEE,2013:206-211.

    [35] XIAO S,CUI Y,WANG X,et al. Traffic-aware virtual machine migration in topology-adaptive DCN[C]// Proceedings of 24th International Conference on Network Protocols. Singapore:IEEE,2016:1-10.

    [36] QU T,LUO L,HU Z,et al. cUpdate:Updating software-defined networks with the least traffic migr-ation[C]// Proceedings of Fifth International Conference on Big Data and Cloud Computing. Washington DC,USA:IEEE,2015:87-92.

    [37] LUO L,YU H,LUO S,et al. Achieving fast and lightweight SDN updates with segment routing[C] // Proceedings of Global Communications Conference (GLOBECOM). Washington DC,USA:IEEE,2016:1-6.

    [38] LUO M,ZENG Y,LI J,et al. An adaptive multi-path computation framework for centrally controlled networks[J].Computer Networks-the International Journal of Computer and Telecommunications Networking,2015,83(C):30-44.

    [39] LUO S,YU H,LUO L,et al. Arrange your network updates as you wish[C]// Proceedings of IFIP Networking Conference(IFIP Networking) and Workshops. Vienna,Austria:IEEE,2016:10-18.

    程克非(1974—),男,重慶人,2005年獲博士學(xué)位,現(xiàn)為教授,主要研究方向?yàn)榫W(wǎng)絡(luò)安全、網(wǎng)絡(luò)管理與嵌入式系統(tǒng);

    高江明(1990—),男,重慶云陽人,碩士研究生,主要研究方向?yàn)檐浖x網(wǎng)絡(luò)、數(shù)據(jù)中心網(wǎng)絡(luò);

    段潔(1982—),女,四川內(nèi)江人,博士,講師,主要研究方向?yàn)槲磥砭W(wǎng)絡(luò)架構(gòu)設(shè)計(jì)、網(wǎng)絡(luò)優(yōu)化設(shè)計(jì);

    田瑞林(1993—),男,內(nèi)蒙古呼和浩特人,碩士研究生,主要研究方向?yàn)樾畔⒅行木W(wǎng)絡(luò)。

    SurveyofResearchonDataCenterNetworkUpdateBasedonSDN

    CHENG Kefeia,GAO Jiangmingb,DUAN Jieb,TIAN Ruilinb
    (a.School of Computer Science and Technology;b.School of Communication and Information Engineering,Chongqing University of Posts and Telecommunications,Chongqing 400065,China)

    In recent years,Software Defined Networking (SDN) has been widely used in data center network (DCN) due to its separation of control plane and data plane and centralized control features. The researches on DCN update are summarized from four parts. Firstly,the basic concepts and research status of DSN and SDN are introduced. Secondly,the defects of traditional DCN are described in detail. Thirdly,the research status and shortcomings of SDN-based DCN (SD-DCN) update scenarios are focused,at the same time,the disadvantages of some scenarios are pointed out. Finally,developing trends of SDN-based DCN researches are prospected,in hope of providing some reference for SD-DCN researches and applications.

    data center network(DCN);software defined networking(SDN);network update;control plane;data plane

    date:2017-04-07;Revised date:2017-07-14

    國家自然科學(xué)基金資助項(xiàng)目 (61701058,61501075,61402065);重慶市基礎(chǔ)與前沿研究計(jì)劃項(xiàng)目(cstc2016jcyjA0560)

    **通信作者:duanjie@cqupt.edu.cn Corresponding author:duanjie@cqupt.edu.cn

    Email:943838742@qq.com

    Email:duanjie@cqupt.edu.cn

    TN915

    A

    1001-893X(2017)10-1224-09

    10.3969/j.issn.1001-893x.2017.10.020

    程克非,高江明,段潔,等.面向SDN的數(shù)據(jù)中心網(wǎng)絡(luò)更新研究綜述[J].電訊技術(shù),2017,57(10):1224-1232.[CHENG Kefei,GAO Jiangming,DUAN Jie,et al.Survey of research on data center network update based on SDN [J].Telecommunication Engineering,2017,57(10):1224-1232.]

    2017-04-07;

    2017-07-14

    猜你喜歡
    表項(xiàng)網(wǎng)絡(luò)拓?fù)?/a>交換機(jī)
    一種改進(jìn)的TCAM路由表項(xiàng)管理算法及實(shí)現(xiàn)
    基于通聯(lián)關(guān)系的通信網(wǎng)絡(luò)拓?fù)浒l(fā)現(xiàn)方法
    基于ARMA模型預(yù)測的交換機(jī)流表更新算法
    電子制作(2018年23期)2018-12-26 01:01:16
    修復(fù)損壞的交換機(jī)NOS
    使用鏈路聚合進(jìn)行交換機(jī)互聯(lián)
    SDN數(shù)據(jù)中心網(wǎng)絡(luò)基于流表項(xiàng)轉(zhuǎn)換的流表調(diào)度優(yōu)化
    勞斯萊斯古斯特與魅影網(wǎng)絡(luò)拓?fù)鋱D
    電測與儀表(2016年5期)2016-04-22 01:13:46
    PoE交換機(jī)雷擊浪涌防護(hù)設(shè)計(jì)
    女人被狂操c到高潮| 永久网站在线| 国产av麻豆久久久久久久| 欧美潮喷喷水| 亚洲最大成人中文| 亚洲国产高清在线一区二区三| 亚洲精品亚洲一区二区| 黄片wwwwww| 国产成人精品婷婷| 神马国产精品三级电影在线观看| 又粗又硬又长又爽又黄的视频 | 国产成年人精品一区二区| 成人漫画全彩无遮挡| 成人无遮挡网站| 非洲黑人性xxxx精品又粗又长| 99久久人妻综合| 国产激情偷乱视频一区二区| 国语自产精品视频在线第100页| 自拍偷自拍亚洲精品老妇| 亚洲精品乱码久久久久久按摩| 国产精品乱码一区二三区的特点| 日日撸夜夜添| 日本黄色视频三级网站网址| 日韩国内少妇激情av| 国产激情偷乱视频一区二区| 可以在线观看的亚洲视频| 久久热精品热| 免费av观看视频| av福利片在线观看| 国产乱人视频| 美女国产视频在线观看| 青春草亚洲视频在线观看| 97热精品久久久久久| 美女cb高潮喷水在线观看| 少妇猛男粗大的猛烈进出视频 | 日本在线视频免费播放| 国产一区二区三区在线臀色熟女| 一区二区av电影网| 欧美xxⅹ黑人| 国产精品.久久久| 亚洲欧美成人精品一区二区| 精品人妻熟女av久视频| 18禁在线无遮挡免费观看视频| 国产精品三级大全| 国产精品一国产av| 国产免费现黄频在线看| 久热这里只有精品99| 精品亚洲乱码少妇综合久久| 亚洲美女搞黄在线观看| 丁香六月天网| 国产成人一区二区在线| 亚洲色图 男人天堂 中文字幕 | 欧美bdsm另类| 久久ye,这里只有精品| 人妻人人澡人人爽人人| 纯流量卡能插随身wifi吗| a级片在线免费高清观看视频| 一级毛片黄色毛片免费观看视频| 26uuu在线亚洲综合色| 久久ye,这里只有精品| 国内精品宾馆在线| 蜜桃国产av成人99| 国产又色又爽无遮挡免| 国产不卡av网站在线观看| 国产精品久久久久久久电影| 国产 一区精品| 午夜激情久久久久久久| 男男h啪啪无遮挡| av女优亚洲男人天堂| 中文字幕久久专区| 熟女电影av网| 亚洲美女视频黄频| 青青草视频在线视频观看| 丝袜脚勾引网站| a 毛片基地| 99久久中文字幕三级久久日本| 久久精品国产亚洲网站| 视频中文字幕在线观看| 久久久国产一区二区| 搡女人真爽免费视频火全软件| 国产精品偷伦视频观看了| 国产熟女午夜一区二区三区 | 蜜桃国产av成人99| 欧美老熟妇乱子伦牲交| 我的老师免费观看完整版| 五月伊人婷婷丁香| 亚洲成人手机| 丝瓜视频免费看黄片| 亚洲国产精品999| 中文天堂在线官网| 亚洲国产欧美在线一区| 亚洲高清免费不卡视频| 一个人免费看片子| 老司机影院毛片| 亚洲第一区二区三区不卡| 亚洲国产精品国产精品| 日韩,欧美,国产一区二区三区| 香蕉精品网在线| 免费黄网站久久成人精品| 99久久人妻综合| 夜夜爽夜夜爽视频| 亚洲精品一二三| 国产成人精品福利久久| 国产精品成人在线| av卡一久久| 精品99又大又爽又粗少妇毛片| 伦精品一区二区三区| 亚洲av欧美aⅴ国产| 欧美另类一区| 久久精品夜色国产| 一级毛片aaaaaa免费看小| 国产av码专区亚洲av| 我的女老师完整版在线观看| 卡戴珊不雅视频在线播放| 超碰97精品在线观看| 少妇的逼水好多| 国产免费一级a男人的天堂| 久久久久精品久久久久真实原创| 一区在线观看完整版| 久久亚洲国产成人精品v| 18在线观看网站| 黑丝袜美女国产一区| 国产女主播在线喷水免费视频网站| 国产成人精品无人区| 男的添女的下面高潮视频| 久久99蜜桃精品久久| 最黄视频免费看| 菩萨蛮人人尽说江南好唐韦庄| 啦啦啦中文免费视频观看日本| 午夜激情福利司机影院| 黑人巨大精品欧美一区二区蜜桃 | 黄片播放在线免费| 嫩草影院入口| 少妇人妻 视频| 黑人高潮一二区| 亚洲精品日韩在线中文字幕| 亚洲美女黄色视频免费看| 欧美人与性动交α欧美精品济南到 | 日日爽夜夜爽网站| 老女人水多毛片| 日韩亚洲欧美综合| 人妻人人澡人人爽人人| 亚洲欧美一区二区三区国产| 一级黄片播放器| av卡一久久| 亚洲高清免费不卡视频| 国产精品免费大片| 一级片'在线观看视频| av又黄又爽大尺度在线免费看| 一边亲一边摸免费视频| 国产精品女同一区二区软件| 精品卡一卡二卡四卡免费| 在现免费观看毛片| 午夜激情av网站| 蜜桃国产av成人99| 日本黄色片子视频| 日韩大片免费观看网站| xxxhd国产人妻xxx| 久久国产亚洲av麻豆专区| 曰老女人黄片| 久久这里有精品视频免费| 亚洲国产毛片av蜜桃av| 欧美丝袜亚洲另类| 久久毛片免费看一区二区三区| 亚洲国产精品一区二区三区在线| 美女xxoo啪啪120秒动态图| 久久人人爽人人片av| 精品人妻在线不人妻| 成年美女黄网站色视频大全免费 | 亚洲国产精品国产精品| 亚洲精品日韩av片在线观看| 最黄视频免费看| 777米奇影视久久| 国产精品女同一区二区软件| 我要看黄色一级片免费的| 人妻系列 视频| 精品亚洲乱码少妇综合久久| 免费大片黄手机在线观看| 日本免费在线观看一区| 永久网站在线| 日产精品乱码卡一卡2卡三| 国产成人免费观看mmmm| 久久久久久久精品精品| 欧美xxxx性猛交bbbb| 久久久久精品久久久久真实原创| 国产伦精品一区二区三区视频9| 国产精品人妻久久久影院| 久久ye,这里只有精品| 色哟哟·www| 嫩草影院入口| 久久人人爽人人片av| 精品一品国产午夜福利视频| 18在线观看网站| 97在线视频观看| 激情五月婷婷亚洲| 欧美bdsm另类| 日本午夜av视频| 欧美bdsm另类| xxx大片免费视频| 国国产精品蜜臀av免费| 男人操女人黄网站| 精品人妻偷拍中文字幕| 母亲3免费完整高清在线观看 | 特大巨黑吊av在线直播| 涩涩av久久男人的天堂| 欧美变态另类bdsm刘玥| 五月开心婷婷网| 制服丝袜香蕉在线| 国产精品一国产av| 色哟哟·www| 午夜91福利影院| 九色亚洲精品在线播放| 女性被躁到高潮视频| 一级毛片aaaaaa免费看小| 十八禁高潮呻吟视频| 99久久精品一区二区三区| 免费大片黄手机在线观看| 成年人免费黄色播放视频| a级片在线免费高清观看视频| a级片在线免费高清观看视频| 亚洲综合色网址| 又大又黄又爽视频免费| 欧美国产精品一级二级三级| 视频中文字幕在线观看| 欧美 亚洲 国产 日韩一| 欧美成人精品欧美一级黄| 99久久人妻综合| 免费观看av网站的网址| 欧美另类一区| 国产一级毛片在线| 国产成人精品在线电影| 2018国产大陆天天弄谢| 成人二区视频| 男的添女的下面高潮视频| 日本av手机在线免费观看| 纯流量卡能插随身wifi吗| 人妻夜夜爽99麻豆av| 国产高清有码在线观看视频| 午夜视频国产福利| 色吧在线观看| 飞空精品影院首页| 亚洲精品久久久久久婷婷小说| 午夜91福利影院| 亚洲性久久影院| 五月玫瑰六月丁香| 黑人巨大精品欧美一区二区蜜桃 | 欧美日韩精品成人综合77777| 亚洲国产精品成人久久小说| 国产精品99久久久久久久久| 少妇被粗大猛烈的视频| 欧美xxxx性猛交bbbb| 国产在线视频一区二区| 女人精品久久久久毛片| 午夜激情av网站| 国产精品99久久久久久久久| 成人国产av品久久久| 亚洲美女视频黄频| 男人爽女人下面视频在线观看| 日韩视频在线欧美| 国产免费现黄频在线看| 九九久久精品国产亚洲av麻豆| 在现免费观看毛片| 亚洲国产精品999| 一区二区av电影网| 最近的中文字幕免费完整| 欧美+日韩+精品| 少妇人妻久久综合中文| 在线免费观看不下载黄p国产| 不卡视频在线观看欧美| 日韩大片免费观看网站| 狂野欧美激情性bbbbbb| 肉色欧美久久久久久久蜜桃| 久久久久精品久久久久真实原创| 在线看a的网站| 91精品一卡2卡3卡4卡| 久久久久久久久久人人人人人人| 亚洲精品乱码久久久久久按摩| 在线观看国产h片| 美女内射精品一级片tv| 中文字幕亚洲精品专区| 久久精品人人爽人人爽视色| 中文欧美无线码| 成人18禁高潮啪啪吃奶动态图 | 97在线视频观看| 亚洲精品国产av成人精品| 亚洲人成网站在线播| 亚洲久久久国产精品| av播播在线观看一区| 欧美另类一区| 丰满饥渴人妻一区二区三| 国产精品人妻久久久久久| 一区二区三区精品91| 黄片播放在线免费| 久热久热在线精品观看| 国产成人freesex在线| 18在线观看网站| 欧美国产精品一级二级三级| 国产精品一区www在线观看| 久热久热在线精品观看| 欧美激情国产日韩精品一区| 街头女战士在线观看网站| 免费大片18禁| 99热这里只有是精品在线观看| 新久久久久国产一级毛片| 亚洲经典国产精华液单| 母亲3免费完整高清在线观看 | 亚洲在久久综合| 日本av免费视频播放| a级毛片免费高清观看在线播放| 国产欧美日韩一区二区三区在线 | 中文字幕精品免费在线观看视频 | 国产精品不卡视频一区二区| 色婷婷av一区二区三区视频| 国产精品久久久久久精品古装| 人人妻人人澡人人爽人人夜夜| 成人影院久久| 高清在线视频一区二区三区| 成人国产麻豆网| 水蜜桃什么品种好| 国产男女超爽视频在线观看| 十分钟在线观看高清视频www| 99热6这里只有精品| 久久女婷五月综合色啪小说| 一边亲一边摸免费视频| 亚洲国产精品国产精品| av在线观看视频网站免费| 国产片特级美女逼逼视频| 日本黄色日本黄色录像| 草草在线视频免费看| 2021少妇久久久久久久久久久| 老司机影院成人| 日韩在线高清观看一区二区三区| videosex国产| 国产亚洲精品久久久com| 国产深夜福利视频在线观看| 久久这里有精品视频免费| 肉色欧美久久久久久久蜜桃| 人人妻人人澡人人看| 男女国产视频网站| 国产免费一区二区三区四区乱码| 老司机影院成人| 亚洲国产欧美日韩在线播放| 国产免费又黄又爽又色| 大香蕉久久成人网| 男女高潮啪啪啪动态图| 能在线免费看毛片的网站| 国产爽快片一区二区三区| 色5月婷婷丁香| a级毛片在线看网站| 91在线精品国自产拍蜜月| 国语对白做爰xxxⅹ性视频网站| 国产高清三级在线| 高清午夜精品一区二区三区| 97在线视频观看| 国产亚洲一区二区精品| 亚洲,欧美,日韩| 亚洲激情五月婷婷啪啪| 3wmmmm亚洲av在线观看| 国产成人a∨麻豆精品| 亚洲欧美一区二区三区国产| 中文字幕久久专区| 久久国产精品大桥未久av| 我的女老师完整版在线观看| 能在线免费看毛片的网站| 亚洲美女搞黄在线观看| 全区人妻精品视频| av又黄又爽大尺度在线免费看| 欧美 亚洲 国产 日韩一| 另类亚洲欧美激情| 国产 一区精品| 亚洲欧美日韩卡通动漫| 国产精品一二三区在线看| 国产精品不卡视频一区二区| 边亲边吃奶的免费视频| 国产男女内射视频| 亚洲国产色片| 国产又色又爽无遮挡免| 亚洲一区二区三区欧美精品| 国产片内射在线| 国产爽快片一区二区三区| av福利片在线| xxxhd国产人妻xxx| 人妻 亚洲 视频| 免费久久久久久久精品成人欧美视频 | 亚洲欧美成人精品一区二区| 美女主播在线视频| 好男人视频免费观看在线| 亚洲丝袜综合中文字幕| 男人操女人黄网站| 国产精品久久久久久精品电影小说| 国产欧美亚洲国产| 男女国产视频网站| 国产日韩欧美亚洲二区| 国产精品一国产av| 黄色视频在线播放观看不卡| 精品酒店卫生间| 草草在线视频免费看| 2022亚洲国产成人精品| av国产精品久久久久影院| 极品少妇高潮喷水抽搐| freevideosex欧美| 91久久精品国产一区二区成人| 秋霞伦理黄片| 亚洲美女视频黄频| 国产亚洲一区二区精品| 日本-黄色视频高清免费观看| 搡老乐熟女国产| 亚洲av在线观看美女高潮| 街头女战士在线观看网站| av女优亚洲男人天堂| 成人亚洲欧美一区二区av| 欧美性感艳星| 亚洲国产毛片av蜜桃av| 久久久久精品久久久久真实原创| 亚洲欧美日韩另类电影网站| 中文天堂在线官网| 久久99热6这里只有精品| 国产一区二区三区av在线| 999精品在线视频| 久久久久精品久久久久真实原创| 日本91视频免费播放| av又黄又爽大尺度在线免费看| 国产淫语在线视频| 制服人妻中文乱码| 亚洲中文av在线| 一区二区三区乱码不卡18| 午夜福利在线观看免费完整高清在| 国产精品嫩草影院av在线观看| 伊人亚洲综合成人网| 国产精品国产三级国产专区5o| 国产精品无大码| 飞空精品影院首页| 女人精品久久久久毛片| 秋霞伦理黄片| 色视频在线一区二区三区| 久久久久国产网址| 亚洲综合精品二区| 一级,二级,三级黄色视频| 最近的中文字幕免费完整| 中文天堂在线官网| 国产精品熟女久久久久浪| av黄色大香蕉| 人妻一区二区av| av天堂久久9| 一区二区日韩欧美中文字幕 | 亚洲av欧美aⅴ国产| 亚洲精品日本国产第一区| 亚洲经典国产精华液单| 9色porny在线观看| 一个人免费看片子| 欧美精品一区二区免费开放| 国产亚洲精品久久久com| 性高湖久久久久久久久免费观看| 精品人妻一区二区三区麻豆| 视频区图区小说| 狠狠精品人妻久久久久久综合| 五月伊人婷婷丁香| 久久久久久久大尺度免费视频| 亚洲人成77777在线视频| 国产精品女同一区二区软件| 日韩电影二区| 九九久久精品国产亚洲av麻豆| freevideosex欧美| 99九九在线精品视频| 久久精品人人爽人人爽视色| 久久精品久久精品一区二区三区| 亚洲精品一二三| 男女高潮啪啪啪动态图| 亚洲人成网站在线观看播放| 国产精品三级大全| 夜夜爽夜夜爽视频| 亚州av有码| 国产高清三级在线| 极品人妻少妇av视频| av线在线观看网站| 亚洲美女视频黄频| 乱人伦中国视频| 国产极品粉嫩免费观看在线 | 少妇的逼水好多| 多毛熟女@视频| 丝袜喷水一区| 26uuu在线亚洲综合色| 99热6这里只有精品| 亚洲国产精品一区二区三区在线| av卡一久久| 少妇高潮的动态图| 久久久久人妻精品一区果冻| 久久久久久久亚洲中文字幕| 亚洲怡红院男人天堂| 久热久热在线精品观看| 日韩伦理黄色片| 亚洲人成网站在线播| 人人妻人人澡人人看| 国产欧美日韩一区二区三区在线 | 丝袜在线中文字幕| 91aial.com中文字幕在线观看| 麻豆乱淫一区二区| 欧美精品一区二区免费开放| 亚洲精品456在线播放app| 亚洲天堂av无毛| 亚洲av综合色区一区| 五月伊人婷婷丁香| 纯流量卡能插随身wifi吗| 国产精品秋霞免费鲁丝片| 久久久国产欧美日韩av| 黑人高潮一二区| 日韩欧美一区视频在线观看| 国产精品一区二区在线不卡| 欧美人与善性xxx| 国产黄片视频在线免费观看| 看免费成人av毛片| 在线观看免费高清a一片| 成人免费观看视频高清| 午夜91福利影院| 狠狠婷婷综合久久久久久88av| 在线 av 中文字幕| 亚洲精品乱码久久久久久按摩| 妹子高潮喷水视频| 看非洲黑人一级黄片| 欧美亚洲日本最大视频资源| 在线观看免费日韩欧美大片 | 欧美激情极品国产一区二区三区 | 日韩成人av中文字幕在线观看| 日韩一区二区视频免费看| 亚洲伊人久久精品综合| 亚洲精品456在线播放app| 国产午夜精品久久久久久一区二区三区| 久久久久国产精品人妻一区二区| 国产极品天堂在线| 看十八女毛片水多多多| 一区二区日韩欧美中文字幕 | 亚洲精品久久成人aⅴ小说 | 黄色视频在线播放观看不卡| 午夜日本视频在线| 欧美亚洲日本最大视频资源| 亚洲怡红院男人天堂| 亚洲第一av免费看| 男女高潮啪啪啪动态图| 国产探花极品一区二区| 18禁在线无遮挡免费观看视频| 日本黄大片高清| 精品国产国语对白av| 国产成人精品无人区| 水蜜桃什么品种好| 日本-黄色视频高清免费观看| 下体分泌物呈黄色| 亚洲激情五月婷婷啪啪| 麻豆乱淫一区二区| 69精品国产乱码久久久| 国产老妇伦熟女老妇高清| 国产在线视频一区二区| 久久人人爽av亚洲精品天堂| 午夜视频国产福利| 免费av中文字幕在线| 免费少妇av软件| 啦啦啦在线观看免费高清www| 两个人免费观看高清视频| 黑人欧美特级aaaaaa片| 国产精品.久久久| 欧美 亚洲 国产 日韩一| 成人毛片a级毛片在线播放| 在线免费观看不下载黄p国产| 欧美日韩在线观看h| 亚洲人成网站在线播| 国产成人91sexporn| 精品一区二区三卡| 在线观看国产h片| 精品少妇黑人巨大在线播放| 激情五月婷婷亚洲| 久久久久久久亚洲中文字幕| 九色成人免费人妻av| 91精品一卡2卡3卡4卡| 亚洲综合色网址| 少妇的逼水好多| 人人澡人人妻人| 黑丝袜美女国产一区| 亚洲欧美中文字幕日韩二区| 人妻夜夜爽99麻豆av| 精品一区二区三区视频在线| 亚洲av日韩在线播放| 亚洲四区av| 国产免费福利视频在线观看| av女优亚洲男人天堂| 男女啪啪激烈高潮av片| 另类精品久久| 少妇被粗大猛烈的视频| 欧美精品高潮呻吟av久久| 亚洲综合色网址| 成人午夜精彩视频在线观看| 黑人猛操日本美女一级片| 亚洲精华国产精华液的使用体验| 丰满迷人的少妇在线观看| 日本91视频免费播放| av又黄又爽大尺度在线免费看| 欧美97在线视频| 男女边吃奶边做爰视频| 久久久欧美国产精品| 9色porny在线观看| 国产在线视频一区二区| 国产成人免费无遮挡视频| 亚洲av二区三区四区| 欧美日韩国产mv在线观看视频| 国产熟女欧美一区二区| 亚洲精品日本国产第一区| 纵有疾风起免费观看全集完整版| 51国产日韩欧美| 只有这里有精品99| 91精品国产九色| 草草在线视频免费看| 乱码一卡2卡4卡精品| 色吧在线观看| 国产淫语在线视频| 亚洲精品国产色婷婷电影| 在线精品无人区一区二区三| 啦啦啦中文免费视频观看日本|