• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    面向服務(wù)定制的未來網(wǎng)絡(luò)架構(gòu)

    2018-03-03 07:35:09劉韻潔
    關(guān)鍵詞:架構(gòu)平面控制器

    劉韻潔,張 嬌,黃 韜,潘 恬

    (北京郵電大學(xué) 網(wǎng)絡(luò)與交換國家重點(diǎn)實(shí)驗(yàn)室,北京 100876)

    0 引 言

    近年來,網(wǎng)絡(luò)的飛速發(fā)展以及網(wǎng)絡(luò)中業(yè)務(wù)形式的多樣化使得現(xiàn)有的網(wǎng)絡(luò)架構(gòu)呈現(xiàn)出各種問題。4K/8K高清視頻、增強(qiáng)現(xiàn)實(shí)、自動(dòng)駕駛等新型業(yè)務(wù)均對(duì)網(wǎng)絡(luò)提出了更高的性能需求。傳統(tǒng)網(wǎng)絡(luò)體系架構(gòu)不能很好地去支撐這些業(yè)務(wù),會(huì)阻礙這些技術(shù)的發(fā)展進(jìn)程。因此,需要針對(duì)現(xiàn)有網(wǎng)絡(luò)中的問題,提出新型網(wǎng)絡(luò)體系架構(gòu)。

    當(dāng)前網(wǎng)絡(luò)中存在如下3個(gè)關(guān)鍵問題。

    1)缺乏對(duì)業(yè)務(wù)提供差異化服務(wù)的能力。近年來,視頻直播、高清視頻等OTT(over the top)業(yè)務(wù)蓬勃發(fā)展,用戶數(shù)量和數(shù)據(jù)流量快速增長(zhǎng)。截至2017年,微信活躍用戶數(shù)量已經(jīng)達(dá)到了8.89億,F(xiàn)acebook月活躍用戶數(shù)量超過20億[1]。OTT業(yè)務(wù)的蓬勃發(fā)展雖然促進(jìn)了網(wǎng)絡(luò)技術(shù)的變革,但是在目前盡力而為的網(wǎng)絡(luò)中,OTT業(yè)務(wù)占用大量帶寬,導(dǎo)致了一些對(duì)時(shí)延敏感的業(yè)務(wù)體驗(yàn)質(zhì)量嚴(yán)重下降。而且,由于運(yùn)營商在其中只是單純的扮演管道提供商的角色,因此,運(yùn)營商缺乏足夠的動(dòng)力對(duì)網(wǎng)絡(luò)進(jìn)行擴(kuò)容,網(wǎng)絡(luò)的擁塞情況日益嚴(yán)重,嚴(yán)重影響網(wǎng)絡(luò)的可持續(xù)發(fā)展。若允許運(yùn)營商針對(duì)OTT業(yè)務(wù)按流量收費(fèi),這一方法雖然能減輕OTT業(yè)務(wù)對(duì)網(wǎng)絡(luò)的壓力,但是將會(huì)制約互聯(lián)網(wǎng)業(yè)務(wù)的蓬勃發(fā)展,阻礙技術(shù)和業(yè)務(wù)的創(chuàng)新之路。

    解決OTT業(yè)務(wù)對(duì)網(wǎng)絡(luò)帶來的沖擊,一種可行的方式就是針對(duì)目前的網(wǎng)絡(luò)架構(gòu),對(duì)網(wǎng)絡(luò)進(jìn)行改造。我們從交通系統(tǒng)中得到啟示:普通公路、高速公路、鐵路運(yùn)輸、航空運(yùn)輸?shù)葮I(yè)務(wù)具有不同的運(yùn)輸能力和運(yùn)輸速度,采取差異化的收費(fèi)機(jī)制,選擇普通公路運(yùn)輸?shù)挠脩舨皇召M(fèi),但是服務(wù)質(zhì)量得不到保障,選擇航空運(yùn)輸?shù)挠脩羰杖「哌\(yùn)輸費(fèi),在運(yùn)輸速度上得到保障。這樣一來,一方面對(duì)網(wǎng)絡(luò)有服務(wù)質(zhì)量需求的內(nèi)容提供商可以得到服務(wù)保障,而普通用戶和小型創(chuàng)業(yè)公司等可以繼續(xù)免費(fèi)使用互聯(lián)網(wǎng),促進(jìn)互聯(lián)網(wǎng)的蓬勃發(fā)展。另一方面,基礎(chǔ)網(wǎng)絡(luò)提供者會(huì)有更高的動(dòng)力去建設(shè)基礎(chǔ)網(wǎng)絡(luò)設(shè)施,以便更好地滿足不同用戶對(duì)基礎(chǔ)網(wǎng)絡(luò)的需求。根據(jù)調(diào)查顯示,當(dāng)前互聯(lián)網(wǎng)應(yīng)用提供商對(duì)于網(wǎng)絡(luò)差異性服務(wù)能力的需求非常強(qiáng)烈,例如,亞馬遜指出網(wǎng)絡(luò)延遲每增加0.1 s,每年銷售將減少1%[2],谷歌指出用戶搜索延遲每增加0.5 s,則搜索量將會(huì)減少20%[3]。據(jù)調(diào)查,85%內(nèi)容提供商為了提高用戶的業(yè)務(wù)體驗(yàn),愿意為更好的網(wǎng)絡(luò)服務(wù)質(zhì)量支付最高25%溢價(jià)。我們希望通過一種新的網(wǎng)絡(luò)架構(gòu),來為用戶提供差異化的服務(wù),一方面既能保障普通用戶的需求,另一方面對(duì)有特殊需求的用戶提供服務(wù)質(zhì)量保障。

    2)網(wǎng)絡(luò)中存在大量的冗余傳輸。當(dāng)前互聯(lián)網(wǎng)中的大部分內(nèi)容分發(fā)型應(yīng)用存在大量重復(fù)傳輸問題,尤其是視頻流量,例如優(yōu)酷2011年播放量過億次的電視劇超過30部。而當(dāng)前互聯(lián)網(wǎng)中視頻流量占據(jù)了大部分,Cisco預(yù)計(jì)未來在線視頻流量將會(huì)占據(jù)互聯(lián)網(wǎng)流量的90%以上。這些冗余流量會(huì)浪費(fèi)大量網(wǎng)絡(luò)帶寬,因此,消除信息冗余需求十分迫切。當(dāng)前網(wǎng)絡(luò)中主要是利用內(nèi)容分發(fā)網(wǎng)絡(luò)(content delivery network, CDN)技術(shù)來減少信息冗余。但是,傳統(tǒng)CDN的解決方案存在諸多不足,一方面,其采用覆蓋網(wǎng)(overlay network)的方式進(jìn)行設(shè)計(jì),增加了成本,造成了基礎(chǔ)設(shè)施資源的浪費(fèi)。另外一方面,通常只有較成熟的公司才有能力去購買CDN服務(wù),因此CDN技術(shù)只是減小了購買其服務(wù)的內(nèi)容提供商的數(shù)據(jù)流量,并不是一個(gè)整體解決方案。對(duì)于基礎(chǔ)網(wǎng)絡(luò)來說,由于缺乏對(duì)內(nèi)容資源的智能調(diào)度能力,信息冗余仍然大量存在,因此,基礎(chǔ)網(wǎng)絡(luò)具備信息冗余消除能力十分必要。同時(shí)調(diào)查指出,存儲(chǔ)容量比帶寬增長(zhǎng)速度更快,而且存儲(chǔ)成本價(jià)格比帶寬價(jià)格下降更快,按照目前數(shù)據(jù),存儲(chǔ)容量平均每1.7年翻倍,而帶寬平均每2.4年翻倍;存儲(chǔ)成本每年下降40%,而帶寬成本每年只下降26%[4]。因此,從發(fā)展趨勢(shì)來看,未來在基礎(chǔ)網(wǎng)絡(luò)中部署緩存來減小信息冗余也是一個(gè)大的方向。

    3)缺乏對(duì)網(wǎng)絡(luò)數(shù)據(jù)的感知和應(yīng)用能力。知名咨詢公司麥肯錫在其報(bào)告中[5]指出,數(shù)據(jù)已經(jīng)滲透到當(dāng)今每個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域,成為重要的生產(chǎn)要素。網(wǎng)絡(luò)中同樣存在海量的數(shù)據(jù),然而目前網(wǎng)絡(luò)對(duì)于這些海量數(shù)據(jù)的應(yīng)用能力非常局限,主要由于2個(gè)原因:首先網(wǎng)絡(luò)缺乏對(duì)各類數(shù)據(jù)的測(cè)量能力。網(wǎng)絡(luò)測(cè)量是一項(xiàng)具有挑戰(zhàn)的工作,需要對(duì)網(wǎng)絡(luò)中的硬件設(shè)備和協(xié)議進(jìn)行改造,同時(shí)需要應(yīng)對(duì)高速鏈路中線速數(shù)據(jù)包處理的挑戰(zhàn)。其次因?yàn)榫W(wǎng)絡(luò)缺乏對(duì)數(shù)據(jù)的收集和處理能力,單純的數(shù)據(jù)測(cè)量并不能產(chǎn)生很大的價(jià)值,在數(shù)據(jù)時(shí)代,數(shù)據(jù)的分析處理才是重點(diǎn)。進(jìn)一步地,如何將分析得到的結(jié)果閉環(huán)地對(duì)網(wǎng)絡(luò)進(jìn)行反饋控制也存在較大的技術(shù)挑戰(zhàn),目前的網(wǎng)絡(luò)架構(gòu)中缺乏一個(gè)層面來實(shí)現(xiàn)對(duì)于海量數(shù)據(jù)的收集、分析處理和網(wǎng)絡(luò)反饋控制。

    針對(duì)以上3個(gè)問題,本文提出一種新網(wǎng)絡(luò)體系架構(gòu),服務(wù)定制網(wǎng)絡(luò)(service customized networking,SCN),試圖構(gòu)建一種開放可擴(kuò)展、基于大數(shù)據(jù)分析實(shí)現(xiàn)高效靈活的網(wǎng)絡(luò)管理,并提供差異化服務(wù)能力的網(wǎng)絡(luò)體系架構(gòu)。網(wǎng)絡(luò)的底層通過融合計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)資源形成資源池,網(wǎng)絡(luò)中增加的計(jì)算和存儲(chǔ)能大幅度提升網(wǎng)絡(luò)的能力,在降低業(yè)務(wù)時(shí)延和減少網(wǎng)絡(luò)中冗余傳輸?shù)耐瑫r(shí),拓展了網(wǎng)絡(luò)的業(yè)務(wù)維度,增強(qiáng)了網(wǎng)絡(luò)的可創(chuàng)新性?;谠萍軜?gòu)實(shí)現(xiàn),并借助SDN/NFV(software defined network/ network function virtualizatio)技術(shù)在控制平面實(shí)現(xiàn)對(duì)資源的統(tǒng)一管理。同時(shí),在網(wǎng)絡(luò)中增加基于大數(shù)據(jù)的網(wǎng)絡(luò)測(cè)量與感知平面,充分利用網(wǎng)絡(luò)中的數(shù)據(jù)來指導(dǎo)網(wǎng)絡(luò)管控策略的制定。

    1 相關(guān)工作

    當(dāng)前的網(wǎng)絡(luò)架構(gòu)存在諸多問題,本節(jié)簡(jiǎn)要介紹目前學(xué)術(shù)界和產(chǎn)業(yè)界針對(duì)網(wǎng)絡(luò)缺乏差異化服務(wù)能力、網(wǎng)絡(luò)中的冗余傳輸、網(wǎng)絡(luò)測(cè)量這3類問題所進(jìn)行的一些相關(guān)工作。

    1.1 網(wǎng)絡(luò)切片

    網(wǎng)絡(luò)切片的目的在于根據(jù)用戶的不同需求,對(duì)網(wǎng)絡(luò)中的資源進(jìn)行劃分。對(duì)網(wǎng)絡(luò)進(jìn)行切分的思想廣泛存在于網(wǎng)絡(luò)中,例如VLAN(virtual local area network)技術(shù)通過標(biāo)簽來劃分網(wǎng)絡(luò)的廣播域,VPN(virtual private network)技術(shù)通過端到端的隧道,實(shí)現(xiàn)網(wǎng)絡(luò)端到端的切分。近幾年,隨著SDN和NFV技術(shù)的提出,使得網(wǎng)絡(luò)變得更加的靈活可控,增強(qiáng)了網(wǎng)絡(luò)的可定制性。第五代移動(dòng)通信(5G)也提出,該網(wǎng)絡(luò)需要支持不同類型的服務(wù),例如工業(yè)制造互聯(lián)網(wǎng),自動(dòng)駕駛,遠(yuǎn)程醫(yī)療,增強(qiáng)現(xiàn)實(shí)等[6]。目前的網(wǎng)絡(luò)架構(gòu)對(duì)于業(yè)務(wù)不同的時(shí)延、帶寬需求,明顯是不能滿足的。因此,基于SDN/NFV技術(shù),實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)中資源的切片,實(shí)現(xiàn)業(yè)務(wù)端到端的可定制化。ONF(open networking foundation)組織在文獻(xiàn)[7]中,站在廣義SDN的角度,提出了網(wǎng)絡(luò)切片的架構(gòu),將計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源都變成了SDN控制器可以管理的資源。

    1.2 冗余傳輸

    傳統(tǒng)的消除網(wǎng)絡(luò)中冗余傳輸?shù)姆椒ㄊ遣捎肅DN技術(shù)[8],但是只有一部分公司會(huì)選擇購買CDN服務(wù),因此,CDN服務(wù)只能消除網(wǎng)絡(luò)中部分的冗余傳輸,并不是全網(wǎng)的解決方案。針對(duì)這個(gè)問題,施樂帕洛阿爾托研究中心的Van Jacobson于2006年分析認(rèn)為網(wǎng)絡(luò)的應(yīng)用呈現(xiàn)以信息為中心的特點(diǎn),提出了信息中心網(wǎng)絡(luò)的架構(gòu)。其核心思想是采用類似URL(uniform resoure locator)的層次化命名方式對(duì)信息命名,從而方便用戶進(jìn)行信息搜索和信息獲取。這種架構(gòu)將以IP地址為中心過渡到以信息為中心,網(wǎng)絡(luò)節(jié)點(diǎn)通過緩存數(shù)據(jù)可以有效降低信息冗余,加快對(duì)終端用戶的響應(yīng)速度。近幾年,出現(xiàn)了一種新興的減少冗余傳輸?shù)募夹g(shù):移動(dòng)邊緣計(jì)算,最初于2013年在IBM和Nokia Siemens共同推出的一款計(jì)算平臺(tái)上出現(xiàn)。之后,各大電信標(biāo)準(zhǔn)組織開始推動(dòng)移動(dòng)邊緣計(jì)算的規(guī)范化工作。根據(jù)歐洲電信標(biāo)準(zhǔn)協(xié)會(huì)(European telecommunications standards institute,ETSI)的定義[9],移動(dòng)邊緣計(jì)算側(cè)重在移動(dòng)網(wǎng)邊緣提供IT服務(wù)環(huán)境和云計(jì)算能力,強(qiáng)調(diào)靠近移動(dòng)用戶以減少網(wǎng)絡(luò)操作和服務(wù)交付的時(shí)延。

    1.3 網(wǎng)絡(luò)測(cè)量

    在SDN發(fā)展初期,網(wǎng)絡(luò)測(cè)量主要以控制平面主導(dǎo)的測(cè)量方法為主。著名的開源SDN網(wǎng)絡(luò)控制器ONOS(open network operating system)的網(wǎng)絡(luò)監(jiān)測(cè)模塊就是直接通過OpenFlow等南向協(xié)議讀取網(wǎng)絡(luò)設(shè)備的流表信息,然后進(jìn)行路由環(huán)路、黑洞等網(wǎng)絡(luò)檢錯(cuò)分析。但這種方案過多依賴于控制平面,面臨額外開銷過高、無法做出更加精細(xì)的網(wǎng)絡(luò)測(cè)量等問題。

    在P4[10]編程語言提出后,極大擴(kuò)展了數(shù)據(jù)平面的靈活性,測(cè)量方法也開始轉(zhuǎn)向數(shù)據(jù)平面主導(dǎo)。FlowRadar[11]就是一種基于P4語言的流粒度網(wǎng)絡(luò)監(jiān)控系統(tǒng),它通過在數(shù)據(jù)平面對(duì)流的編碼及各跳間編碼的對(duì)比得到丟包率等信息。在后續(xù)的工作中,F(xiàn)lowRader將系統(tǒng)的監(jiān)控粒度進(jìn)一步細(xì)化到包級(jí)別,可以得到數(shù)據(jù)包時(shí)間戳、TTL(time to live)值等很難被傳統(tǒng)網(wǎng)絡(luò)設(shè)備收集的信息。P4聯(lián)盟也提出了帶內(nèi)網(wǎng)絡(luò)遙測(cè)(in-band network telemetry,INT)框架[12]用于收集和匯報(bào)網(wǎng)絡(luò)狀態(tài)信息??梢栽诓恍枰刂破矫娓深A(yù)的情況下,通過添加在真實(shí)數(shù)據(jù)包頭部中的遙測(cè)命令和遙測(cè)信息完成對(duì)網(wǎng)絡(luò)實(shí)時(shí)狀態(tài)的監(jiān)控。通過INT框架,控制器可以直接實(shí)時(shí)收集數(shù)據(jù)平面上在數(shù)據(jù)包轉(zhuǎn)發(fā)過程中真實(shí)經(jīng)歷的時(shí)延、抖動(dòng)、誤碼率、信號(hào)強(qiáng)度、隊(duì)列長(zhǎng)度、丟包率等網(wǎng)絡(luò)信息,而不需要發(fā)送其他特殊的探測(cè)包。

    2 面向服務(wù)定制的未來網(wǎng)絡(luò)架構(gòu)

    第1節(jié)中提到的新的未來網(wǎng)絡(luò)體系架構(gòu)都有各自的特點(diǎn)和優(yōu)勢(shì),然而,它們不能或者只能部分解決當(dāng)前基礎(chǔ)網(wǎng)絡(luò)建設(shè)者面臨的OTT業(yè)務(wù)飛速發(fā)展以及信息存在大量冗余等挑戰(zhàn)。本節(jié)將會(huì)具體介紹為解決基礎(chǔ)網(wǎng)絡(luò)建設(shè)者當(dāng)前面臨的挑戰(zhàn)而提出的服務(wù)定制網(wǎng)絡(luò)。

    2.1 設(shè)計(jì)思路

    1)提供差異化服務(wù)質(zhì)量。

    從交通系統(tǒng)中得到啟示,不同的交通方式運(yùn)載能力不同,速度不同,收費(fèi)也不同。SCN網(wǎng)絡(luò)中希望可以為內(nèi)容提供商等用戶提供差異化服務(wù),構(gòu)建差異化的網(wǎng)絡(luò)切片,用戶可以根據(jù)特定的需求以及經(jīng)濟(jì)承受能力選擇適合的服務(wù)等級(jí),從而構(gòu)建良好健康的互聯(lián)網(wǎng)經(jīng)濟(jì)模式。OTT業(yè)務(wù)在該模式下也得到限制,對(duì)網(wǎng)絡(luò)的沖擊也可以迎刃而解。

    2)細(xì)粒度網(wǎng)絡(luò)測(cè)量與分析。

    隨著網(wǎng)絡(luò)的規(guī)模越來越大,其中的資源種類越來越豐富,對(duì)于網(wǎng)絡(luò)中資源的管理變得越來越復(fù)雜,大數(shù)據(jù)技術(shù)和人工智能技術(shù)的產(chǎn)生為網(wǎng)絡(luò)的管理提供了一種新的思路,然而讓網(wǎng)絡(luò)管理的控制主體產(chǎn)生智能的前提是讓網(wǎng)絡(luò)底層能夠產(chǎn)生足夠的實(shí)時(shí)訓(xùn)練數(shù)據(jù),因此,如何獲取這些數(shù)據(jù)成了關(guān)鍵點(diǎn)。SCN網(wǎng)絡(luò)中需要對(duì)網(wǎng)絡(luò)中的參數(shù)實(shí)現(xiàn)實(shí)時(shí)的細(xì)粒度測(cè)量,并借助大數(shù)據(jù)和人工智能技術(shù)對(duì)網(wǎng)絡(luò)的狀態(tài)進(jìn)行分析,實(shí)現(xiàn)網(wǎng)絡(luò)的可視化,為網(wǎng)絡(luò)的集中式管理提供數(shù)據(jù)支撐。

    3)減少信息冗余。

    對(duì)于信息冗余帶來的帶寬浪費(fèi)問題,CDN也可以部分解決,但它是一種覆蓋網(wǎng)的方案。而SCN試圖讓網(wǎng)絡(luò)架構(gòu)本身具備避免信息冗余的能力,網(wǎng)絡(luò)具有感知內(nèi)容、網(wǎng)絡(luò)狀態(tài)的功能,然后基于大數(shù)據(jù)的智能數(shù)據(jù)挖掘與分析,實(shí)現(xiàn)全網(wǎng)內(nèi)容資源和網(wǎng)絡(luò)資源的智能調(diào)度,從而實(shí)現(xiàn)有效消減信息冗余,充分利用網(wǎng)絡(luò)基礎(chǔ)設(shè)施的能力。

    4)支持現(xiàn)網(wǎng)平滑演進(jìn)。

    目前的網(wǎng)絡(luò)還是采用了以IP為細(xì)腰的準(zhǔn)則,雖然存在各種問題,但也通過各種彌補(bǔ)手段承受住了各種考驗(yàn),SCN作為一種革命性質(zhì)的網(wǎng)絡(luò)架構(gòu),直接取代現(xiàn)網(wǎng)架構(gòu)是不現(xiàn)實(shí)的。對(duì)現(xiàn)網(wǎng)的改革一定是一個(gè)漫長(zhǎng)的過程,也面臨著來自運(yùn)營商和設(shè)備廠商的壓力。因此,為了漸進(jìn)式部署,使SCN有可能被運(yùn)營商等基礎(chǔ)網(wǎng)絡(luò)建設(shè)者采納,以較低的成本逐步部署到現(xiàn)網(wǎng)中,SCN當(dāng)前設(shè)計(jì)方案仍然遵循傳統(tǒng)互聯(lián)網(wǎng)中以IP為細(xì)腰的準(zhǔn)則,數(shù)據(jù)包格式保持不變。然而,對(duì)于未來出現(xiàn)的更優(yōu)的網(wǎng)絡(luò)方案,SCN架構(gòu)也需要能夠支持。因此,SCN的設(shè)計(jì)思路之一是立足于解決現(xiàn)有的互聯(lián)網(wǎng)問題,同時(shí)符合未來的發(fā)展方向,具有可演進(jìn)性。

    2.2 設(shè)計(jì)框架

    SCN的體系架構(gòu)共包括5個(gè)平面,如圖1所示。

    圖1 SCN體系架構(gòu)Fig.1 Architecture of SCN

    1)最底層為基礎(chǔ)設(shè)施平面,主要由計(jì)算資源、存儲(chǔ)資源和網(wǎng)絡(luò)資源組成。部署的計(jì)算資源能夠支持網(wǎng)絡(luò)功能虛擬化,邊緣計(jì)算等。部署的存儲(chǔ)資源主要作為分布式緩存來存儲(chǔ)網(wǎng)絡(luò)中所傳輸?shù)男畔?,從而解決網(wǎng)絡(luò)中冗余傳輸?shù)膯栴}。

    2)架構(gòu)的中間部分為控制平面,該平面的主要作用是為不同的用戶構(gòu)建不同服務(wù)質(zhì)量等級(jí)的網(wǎng)絡(luò)切片,從而為不同的用戶提供差異化的服務(wù),控制平面主要由3部分組成,分別為SDN控制器、NFV管理模塊和緩存資源管理器。

    3)架構(gòu)的兩側(cè)分別為分發(fā)平面和感知平面。分發(fā)平面基于云架構(gòu)實(shí)現(xiàn),負(fù)責(zé)對(duì)網(wǎng)內(nèi)的信息資源進(jìn)行智能地控制、調(diào)度和分發(fā),分發(fā)平面只負(fù)責(zé)制定策略,通過向控制平面下發(fā)指令來完成具體的操作,例如通過將應(yīng)用貼近用戶部署來降低業(yè)務(wù)的延時(shí),通過在網(wǎng)內(nèi)優(yōu)化部署緩存來解決海量信息重復(fù)傳輸?shù)膯栴}。感知平面的主要功能是完成對(duì)網(wǎng)絡(luò)中各類參數(shù)的采集,并基于大數(shù)據(jù)技術(shù)對(duì)這些數(shù)據(jù)進(jìn)行分析,分析的結(jié)果會(huì)反饋給分發(fā)和控制平面,使其能更好地管理網(wǎng)絡(luò)。

    4)最后在架構(gòu)的最上層是應(yīng)用層,網(wǎng)絡(luò)管理者可以調(diào)用控制平面、分發(fā)平面和感知平面所開放的北向接口來自定義開發(fā)應(yīng)用。目前,在實(shí)現(xiàn)SCN體系架構(gòu)時(shí),主要的挑戰(zhàn)集中在控制平面、感知平面和分發(fā)平面,針對(duì)這3個(gè)平面中的關(guān)鍵問題,下面將詳細(xì)闡述。

    2.3 控制平面

    SCN網(wǎng)絡(luò)中除了具備傳統(tǒng)網(wǎng)絡(luò)中基本的數(shù)據(jù)轉(zhuǎn)發(fā)功能外,還能面向差異化的用戶需求提供不同等級(jí)的QoS保障,解決OTT業(yè)務(wù)對(duì)網(wǎng)絡(luò)的沖擊,保證關(guān)鍵業(yè)務(wù)的服務(wù)質(zhì)量。SCN網(wǎng)絡(luò)主要通過網(wǎng)絡(luò)切片技術(shù)來提供差異化的服務(wù),在網(wǎng)絡(luò)切片中,具體有2項(xiàng)關(guān)鍵技術(shù),分別是流量識(shí)別和流量端到端的QoS保障。

    流量識(shí)別技術(shù)主要是在流量入口處根據(jù)數(shù)據(jù)流量的包頭信息對(duì)流量進(jìn)行識(shí)別,然后打上分類的標(biāo)簽。標(biāo)簽分為2個(gè),其一是流量的路徑標(biāo)簽用來標(biāo)識(shí)流量的轉(zhuǎn)發(fā)路徑,另一個(gè)是流量的QoS標(biāo)簽用來標(biāo)識(shí)流量的QoS等級(jí)。

    流量QoS保障技術(shù)具體分為3個(gè)方面。第一方面是基于SDN的SR(segment routing)方案來實(shí)現(xiàn)動(dòng)態(tài)路徑規(guī)劃,集中式的SDN控制器負(fù)責(zé)收集底層鏈路的拓?fù)湫畔⒑蛯?shí)時(shí)的帶寬占用信息,然后為不同的業(yè)務(wù)流量分配不同的路徑,路徑信息通過MPLS(multi-protocol label switching)路徑標(biāo)簽實(shí)現(xiàn),并通過SDN的方式對(duì)路徑進(jìn)行控制。

    基于SDN的SR機(jī)制只是通過控制轉(zhuǎn)發(fā)路徑來實(shí)現(xiàn)負(fù)載均衡和流量調(diào)度,第二方面,我們還加入了基于隊(duì)列控制粒度的QoS保障機(jī)制實(shí)現(xiàn)對(duì)流量更進(jìn)一步的精細(xì)控制,在交換設(shè)備的每個(gè)端口實(shí)現(xiàn)隊(duì)列優(yōu)先級(jí)調(diào)度算法,根據(jù)流量的QoS標(biāo)簽進(jìn)行調(diào)度,該QoS標(biāo)簽可以是MPLS中的EXP字段,也可以是IP中的TOS字段,圖2詳細(xì)說明了端到端精細(xì)的QoS保障機(jī)制。具體地,使用交換機(jī)中內(nèi)置的隊(duì)列,來使不同優(yōu)先級(jí)的流量進(jìn)入不同的隊(duì)列進(jìn)行處理,交換機(jī)端口上的隊(duì)列創(chuàng)建是通過SDN控制器實(shí)現(xiàn),同時(shí),控制器還需要通過南向協(xié)議來指定流量進(jìn)入的隊(duì)列。此外,在每個(gè)端口還可以使用隊(duì)列來預(yù)留一部分帶寬,保障突發(fā)的關(guān)鍵性業(yè)務(wù)。

    圖2 端到端精細(xì)化QoS保障Fig.2 End-to-end fine-grained QoS guarantee

    最后一方面是切片內(nèi)預(yù)防突發(fā)流量的技術(shù),在網(wǎng)絡(luò)已為切片預(yù)留資源的情況下,切片內(nèi)仍可能發(fā)生流量突發(fā),進(jìn)而影響切片內(nèi)的業(yè)務(wù)QoS。SDN網(wǎng)絡(luò)控制器集中決策限制了反應(yīng)時(shí)間。因此,在SCN架構(gòu)中,設(shè)計(jì)了提前由控制平面提前下發(fā)備用路由策略,并且設(shè)置相應(yīng)的突發(fā)門限。數(shù)據(jù)平面構(gòu)建處理邏輯,在網(wǎng)絡(luò)中流量突發(fā)時(shí),擁塞節(jié)點(diǎn)能快速判斷反應(yīng),通知上游節(jié)點(diǎn)啟動(dòng)備用路由,減少擁塞節(jié)點(diǎn)流量壓力。

    2.4 感知平面

    SCN中的感知平面主要通過在高速網(wǎng)絡(luò)設(shè)備上采集底層網(wǎng)絡(luò)狀態(tài)(包括鏈路層、網(wǎng)絡(luò)層、傳輸層和應(yīng)用層),然后對(duì)收集的信息進(jìn)行大數(shù)據(jù)處理分析,根據(jù)分析結(jié)果對(duì)網(wǎng)絡(luò)進(jìn)行自動(dòng)化的運(yùn)維管理(包括故障檢測(cè)預(yù)警、內(nèi)容貼近用戶部署、流量自適應(yīng)調(diào)度等),從而提高網(wǎng)絡(luò)用戶的服務(wù)質(zhì)量。SCN的感知平面主要包含如下4個(gè)方面的能力。

    1)多維信息采集能力。目前通常在應(yīng)用層基于DPI(deep packet inspection)等技術(shù)以流為單位對(duì)網(wǎng)絡(luò)流量中蘊(yùn)含的信息進(jìn)行采集挖掘,并向訪問控制或流量調(diào)度等模塊提供處理依據(jù)。相比傳統(tǒng)較少維度的信息采集手段,SCN中的感知平面強(qiáng)調(diào)多維網(wǎng)絡(luò)信息的采集能力。除了通過DPI等手段挖掘應(yīng)用層流量蘊(yùn)含的信息,感知平面還將對(duì)鏈路層的信號(hào)強(qiáng)弱、誤碼率等信息,網(wǎng)絡(luò)層的丟包率、排隊(duì)時(shí)延、傳輸路徑等信息,傳輸層的滑動(dòng)窗口大小、重傳率等信息進(jìn)行識(shí)別和采集,從而完成整個(gè)協(xié)議棧自頂向下的全棧多維信息采集。相比單一的應(yīng)用層網(wǎng)絡(luò)信息采集,感知平面的多維信息采集能力將給集中式控制器提供大量的數(shù)據(jù)分析支撐,提供控制器從鏈路層到應(yīng)用層跨層的網(wǎng)絡(luò)優(yōu)化能力。

    2)高速鏈路帶內(nèi)測(cè)量感知能力。在高速鏈路上進(jìn)行多維的網(wǎng)絡(luò)信息采集將會(huì)遇到較大的性能挑戰(zhàn)。由于路由器或交換機(jī)進(jìn)行數(shù)據(jù)包轉(zhuǎn)發(fā)的速率非常高,且數(shù)據(jù)包本身在網(wǎng)絡(luò)設(shè)備中需要經(jīng)歷多個(gè)流水段的快速處理,并沒有太多的時(shí)間空隙可以用來完成多維信息的提取和處理。如果采用傳統(tǒng)方法,從網(wǎng)絡(luò)設(shè)備的控制平面或管理平面通過協(xié)議詢問數(shù)據(jù)平面的狀態(tài),那么顯然會(huì)引入大量的時(shí)延,進(jìn)而無法匹配高速鏈路線速轉(zhuǎn)發(fā)的需求。目前,文獻(xiàn)[12]提出使用INT技術(shù),由網(wǎng)絡(luò)設(shè)備自身在數(shù)據(jù)平面直接采集底層的鏈路狀態(tài),并裝填在數(shù)據(jù)包的包頭上,通過數(shù)據(jù)包自身攜帶出網(wǎng)絡(luò),最終轉(zhuǎn)發(fā)到集中式控制器上。對(duì)數(shù)據(jù)包頭的任意修改需要用到協(xié)議無關(guān)轉(zhuǎn)發(fā)技術(shù)。基于INT的網(wǎng)絡(luò)狀態(tài)感知方法能夠盡可能地降低控制器對(duì)網(wǎng)絡(luò)設(shè)備底層鏈路狀態(tài)的主動(dòng)詢問開銷?;贗NT這樣的技術(shù),SCN的感知平面還將研究如何進(jìn)一步壓縮底層鏈路狀態(tài)采集的開銷,從而減少路由器的處理負(fù)擔(dān)和上報(bào)給控制器的數(shù)據(jù)包數(shù)量及鏈路帶寬消耗。

    3)控制器大數(shù)據(jù)分析處理能力。集中式控制器面臨著在線實(shí)時(shí)分析底層傳遞來的大量網(wǎng)絡(luò)鏈路狀態(tài)數(shù)據(jù)的挑戰(zhàn)。這里的挑戰(zhàn)有2個(gè)方面:①底層網(wǎng)絡(luò)上傳而來的數(shù)據(jù)具有多維的屬性,甚至某些數(shù)據(jù)是非結(jié)構(gòu)化的,需要使用更強(qiáng)的語義對(duì)其進(jìn)行描述;②高速鏈路上傳而來的數(shù)據(jù)量非常大,且處理的實(shí)時(shí)性要求很高,如何設(shè)計(jì)感知平面面向高速網(wǎng)絡(luò)的硬件架構(gòu)及大數(shù)據(jù)分析處理算法具有較大的挑戰(zhàn)。在這里,SCN的感知平面通過使用分布式的服務(wù)器集群對(duì)底層鏈路狀態(tài)進(jìn)行處理。同時(shí)也會(huì)使用一些采樣算法或者按需狀態(tài)上報(bào)的機(jī)制降低數(shù)據(jù)分析的復(fù)雜度,即不是每個(gè)包或每個(gè)流都進(jìn)行采樣和控制器上報(bào),而是在數(shù)據(jù)平面檢測(cè)到異常之后再按需進(jìn)行異常狀態(tài)或異常網(wǎng)絡(luò)行為上報(bào)。

    4)自動(dòng)化的網(wǎng)絡(luò)管理能力。當(dāng)?shù)讓泳W(wǎng)絡(luò)狀態(tài)出現(xiàn)異常時(shí),感知平面通過基于機(jī)器學(xué)習(xí)的大數(shù)據(jù)分析檢測(cè)算法可以自動(dòng)識(shí)別出相應(yīng)的異常,從而觸發(fā)對(duì)應(yīng)的異常處理流程。例如,當(dāng)鏈路上的網(wǎng)絡(luò)設(shè)備的排隊(duì)時(shí)延明顯增高時(shí),控制器能夠通過上面提到的帶內(nèi)遙測(cè)機(jī)制發(fā)現(xiàn)這種情況,并通過歷史經(jīng)驗(yàn)猜測(cè)可能是由于上游交換機(jī)發(fā)生故障而導(dǎo)致鏈路擁塞,然后將這種猜測(cè)上報(bào)給上層的管理人員。也可以通過深度學(xué)習(xí)[13]等統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法利用歷史的流量數(shù)據(jù)對(duì)集中式控制器進(jìn)行長(zhǎng)時(shí)間訓(xùn)練,使其具備一定的自動(dòng)化事件處理能力。如果控制器的智能足夠高時(shí),甚至可以由控制器自身主動(dòng)發(fā)送故障修復(fù)指令,降低運(yùn)維人員的工作量。除了網(wǎng)絡(luò)故障檢測(cè)及溯源分析,類似的基于大數(shù)據(jù)的網(wǎng)絡(luò)自動(dòng)化管理能力還可以輔助運(yùn)維人員進(jìn)行網(wǎng)絡(luò)流量自適應(yīng)調(diào)度、內(nèi)容自動(dòng)按需部署、網(wǎng)絡(luò)設(shè)備自適應(yīng)開關(guān)省電等工作。

    2.5 分發(fā)平面

    SCN的分發(fā)平面通過將網(wǎng)絡(luò)和計(jì)算融合,網(wǎng)絡(luò)和存儲(chǔ)融合,基于云架構(gòu)實(shí)現(xiàn)信息資源的智能控制和調(diào)度。

    目前新型的網(wǎng)絡(luò)應(yīng)用及服務(wù)對(duì)計(jì)算資源的需求日益增加,網(wǎng)絡(luò)功能虛擬化、邊緣計(jì)算等技術(shù)也得到了學(xué)術(shù)界和產(chǎn)業(yè)界的廣泛認(rèn)可。在SCN的分發(fā)平面設(shè)計(jì)中,將網(wǎng)絡(luò)與計(jì)算融合,這樣做主要有如下2點(diǎn)好處:結(jié)合邊緣計(jì)算技術(shù),將網(wǎng)絡(luò)應(yīng)用部署到用戶側(cè),降低業(yè)務(wù)的時(shí)延,同時(shí)減輕了核心網(wǎng)的負(fù)載;結(jié)合網(wǎng)絡(luò)功能虛擬化技術(shù),將網(wǎng)絡(luò)功能部署在通用的服務(wù)器上,為網(wǎng)絡(luò)功能的部署和管理提供了更加靈活的方式。

    如之前所述,目前網(wǎng)絡(luò)中存在著嚴(yán)重的冗余傳輸問題,因此,在SCN架構(gòu)中,我們將網(wǎng)絡(luò)和存儲(chǔ)融合,在網(wǎng)絡(luò)中的不同位置部署緩存,這方面的研究近幾年在信息中心網(wǎng)絡(luò)架構(gòu)中已經(jīng)受到了極大的關(guān)注,以命名數(shù)據(jù)網(wǎng)絡(luò)(named data networking, NDN)為例,它保留了IP協(xié)議棧的沙漏模型設(shè)計(jì),但是用類似URL的分層內(nèi)容命名代替了原來的IP細(xì)腰層。同時(shí),路由和轉(zhuǎn)發(fā)也是基于內(nèi)容名字,并使用最長(zhǎng)前綴匹配的方法。另外,內(nèi)容可以在內(nèi)容源服務(wù)器獲取,也可以在路由器節(jié)點(diǎn)命中??梢钥闯?,網(wǎng)內(nèi)緩存的能力不僅可以節(jié)省有限的帶寬資源,還能夠提高網(wǎng)絡(luò)的性能。

    目前SCN架構(gòu)中將計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)融合的思想得到了學(xué)術(shù)界和產(chǎn)業(yè)界的肯定,但是,SCN架構(gòu)在落地的過程中,主要面臨兩方面的問題:①如何選擇一種新型的架構(gòu),將網(wǎng)絡(luò)、計(jì)算、存儲(chǔ)資源進(jìn)行整合,支持分發(fā)平面進(jìn)行統(tǒng)一的管理和調(diào)度,同時(shí),該架構(gòu)需要在現(xiàn)有的IP架構(gòu)上實(shí)現(xiàn)平滑演進(jìn);②如何針對(duì)業(yè)務(wù)的差異化需求在網(wǎng)內(nèi)部署存儲(chǔ)資源,實(shí)現(xiàn)業(yè)務(wù)的低延時(shí)傳輸。針對(duì)第一方面的問題,本團(tuán)隊(duì)提出了SDNCC[14]方案,整體架構(gòu)如圖3所示。該架構(gòu)提出了網(wǎng)絡(luò)元素的概念,將各種資源都看做網(wǎng)絡(luò)中的元素,并在控制層面設(shè)計(jì)了針對(duì)不同資源的管理模塊。針對(duì)第二方面問題,本團(tuán)隊(duì)提出了基于內(nèi)容差異化的信息中心網(wǎng)絡(luò)緩存資源自動(dòng)分配和管理機(jī)制[15],實(shí)現(xiàn)對(duì)不同內(nèi)容請(qǐng)求者提供差異化的內(nèi)容服務(wù)。

    圖3 SDNCC架構(gòu)Fig.3 Architecture of SDNCC

    3 總結(jié)展望

    本文提出了一種面向服務(wù)定制的未來網(wǎng)絡(luò)架構(gòu),對(duì)網(wǎng)絡(luò)進(jìn)行切片,利用優(yōu)化路由選路和端到端的QoS保障,為業(yè)務(wù)提供差異化的服務(wù)。通過將計(jì)算和存儲(chǔ)資源融合,可以有效解決網(wǎng)絡(luò)中冗余傳輸?shù)膯栴}。同時(shí),在網(wǎng)絡(luò)中創(chuàng)新性地增加了一層感知平面,充分利用網(wǎng)絡(luò)中的數(shù)據(jù)來幫助控制平面對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化管理。在未來的工作中,依然存在著各類問題和挑戰(zhàn)需要解決,例如網(wǎng)絡(luò)功能模型的抽象、定義與建模;面向確定性時(shí)延的網(wǎng)絡(luò)QoS保障方案與機(jī)理;網(wǎng)絡(luò)、計(jì)算、存儲(chǔ)一體化融合技術(shù)的細(xì)化等。

    [1] 中國互聯(lián)網(wǎng)絡(luò)信息中心.中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告[EB/OL].[2017-09-12].http://www.cnnic.cn/hlwfzyj/hlwxzbg/hlwtjbg/201407/P020140721507223212132.pdf.

    [2] Amazon found every 100ms of latency cost them 1% in sales[EB/OL].(2008-08-02)[2017-09-12]. http://blog.gigaspaces.com/amazon-found-every-100ms-of-latency-costthem-1-in-sales.

    [3] Google VP Marissa Mayer Talk at web[EB/OL].[2017-11-01].http://glinden.blogspot.com/2006/11/marissa-mayer-at-web-20.html.

    [4] MALIK Om. The Storage vs bandwidth debate[EB/OL].[2017-09-12].http://gigaom.com/2011/06/24/the-storage-vs-bandwidth-debate/.

    [5] MANYIKA J, CHUI M, BROWN B, et al. Big data: The next frontier for innovation, competition, and productivity[R]. [S.l.]: McKinsey Global Institute, 2011.

    [6] 5G-PPP, ERTICO, EFFRA, EUTC, NEM, CONTINUA and Networld2020 ETP, 5G empowering vertical industries: White Paper[S].[S.l.]:5G PPP, 2016.

    [7] ONF TR-526. Applying SDN Architecture to 5G Slicing[S]. [S.l.]: 5G PPP, 2016.

    [8] CHOI J, HAN J, CHO E, et al. A survey on content-oriented networking for efficient content delivery[J]. IEEE Communications Magazine,2011,49(3):121-127.

    [9] HU Y C, PATEL M, SABELLA D, et al. Mobile edge computing—A key technology towards 5G[J]. ETSI White Paper, 2015, 11(11): 1-16.

    [10] BOSSHART P, DALY D, GIBB G, et al. P4: Programming protocol-independent packet processors[J]. ACM SIGCOMM Computer Communication Review, 2014, 44(3): 87-95.

    [11] LI Y, MIAO R, KIM C, et al. FlowRadar: A Better NetFlow for Data Centers[C]// Proceeding NSDI'16 Proceedings of the 13th Usenix Conference on Networked Systems Design and Implementation(NSDI). Berkeley, CA, USA:ACM, 2016: 311-324.

    [12] KIM C, SIVARAMAN A, KATTA N, et al. In-band network telemetry via programmable dataplanes[EB/OL].[2017-09-10]. http://web.mit.edu/anirudh/www/int-demo.pdf.

    [13] SILVER, D, HUANG A, MADDISION C J, et al. Mastering the game of Go with deep neural networks and tree search[J]. Nature, 2016,529 (1): 484-489.

    [14] HUO R, YU F R, HUANG T, et al. Software defined networking, caching, and computing for green wireless networks[J]. IEEE Communications Magazine, 2016, 54(11): 185-193.

    [15] HUO R, XIE R, ZHANG H, et al. What to cache: differentiated caching resource allocation and management in information-centric networking[J]. China Communications, 2016, 13(12): 261-276.

    (編輯:魏琴芳)

    猜你喜歡
    架構(gòu)平面控制器
    基于FPGA的RNN硬件加速架構(gòu)
    功能架構(gòu)在電子電氣架構(gòu)開發(fā)中的應(yīng)用和實(shí)踐
    汽車工程(2021年12期)2021-03-08 02:34:30
    LSN DCI EVPN VxLAN組網(wǎng)架構(gòu)研究及實(shí)現(xiàn)
    參考答案
    關(guān)于有限域上的平面映射
    一種基于FPGA+ARM架構(gòu)的μPMU實(shí)現(xiàn)
    參考答案
    模糊PID控制器設(shè)計(jì)及MATLAB仿真
    MOXA RTU控制器ioPAC 5542系列
    倍福 CX8091嵌入式控制器
    丝袜美腿诱惑在线| 自线自在国产av| 99九九在线精品视频| 精品国内亚洲2022精品成人 | 一区福利在线观看| 国产欧美日韩一区二区三区在线| 老司机在亚洲福利影院| 看免费av毛片| 男女高潮啪啪啪动态图| 十分钟在线观看高清视频www| 热99re8久久精品国产| 亚洲人成电影观看| 国产有黄有色有爽视频| 19禁男女啪啪无遮挡网站| 欧美激情 高清一区二区三区| h视频一区二区三区| avwww免费| 国产av一区二区精品久久| 国产精品国产av在线观看| 国产又色又爽无遮挡免费看| www.自偷自拍.com| 纯流量卡能插随身wifi吗| 午夜视频精品福利| 午夜激情av网站| 亚洲一区中文字幕在线| 老司机亚洲免费影院| 999久久久精品免费观看国产| 老司机亚洲免费影院| 国产精品久久久久久精品电影小说| 中文字幕精品免费在线观看视频| 久久精品亚洲精品国产色婷小说| 精品久久久精品久久久| 中文字幕av电影在线播放| 久久国产亚洲av麻豆专区| 一级毛片女人18水好多| 久久国产精品人妻蜜桃| 色尼玛亚洲综合影院| 欧美大码av| 99精品在免费线老司机午夜| 日日爽夜夜爽网站| 亚洲 欧美一区二区三区| 国产精品欧美亚洲77777| www.精华液| 黑人猛操日本美女一级片| 美女扒开内裤让男人捅视频| 亚洲成国产人片在线观看| 亚洲成国产人片在线观看| 91麻豆av在线| √禁漫天堂资源中文www| √禁漫天堂资源中文www| 黑人猛操日本美女一级片| 正在播放国产对白刺激| 制服人妻中文乱码| 免费在线观看日本一区| 久久国产精品人妻蜜桃| 黑人欧美特级aaaaaa片| 国产免费视频播放在线视频| 国产成人精品久久二区二区免费| 一级毛片女人18水好多| 99久久99久久久精品蜜桃| 99国产精品一区二区三区| 色婷婷久久久亚洲欧美| 国产精品一区二区精品视频观看| 亚洲精品中文字幕在线视频| 国产成人欧美| 中文字幕制服av| 伊人久久大香线蕉亚洲五| 18禁观看日本| 国产在线观看jvid| 男女无遮挡免费网站观看| 亚洲精品一二三| 天堂动漫精品| 中文字幕另类日韩欧美亚洲嫩草| 男女之事视频高清在线观看| 电影成人av| 桃红色精品国产亚洲av| 免费在线观看黄色视频的| 久久这里只有精品19| aaaaa片日本免费| 成人三级做爰电影| 脱女人内裤的视频| 精品福利观看| 国产一区二区三区视频了| 国产淫语在线视频| a级片在线免费高清观看视频| 热99久久久久精品小说推荐| 另类亚洲欧美激情| 国产精品二区激情视频| 丝袜美腿诱惑在线| 91国产中文字幕| 性少妇av在线| 国产精品免费大片| 久久 成人 亚洲| 美女福利国产在线| 亚洲自偷自拍图片 自拍| 久久久久网色| 欧美成人午夜精品| 韩国精品一区二区三区| 久久亚洲精品不卡| 亚洲久久久国产精品| 久久国产精品大桥未久av| 久久久久久久精品吃奶| 欧美日韩成人在线一区二区| 视频区图区小说| 熟女少妇亚洲综合色aaa.| 男女高潮啪啪啪动态图| 黄色怎么调成土黄色| 精品久久久精品久久久| 国产精品亚洲一级av第二区| 成人av一区二区三区在线看| 99久久人妻综合| 两个人免费观看高清视频| 日本精品一区二区三区蜜桃| 老司机影院毛片| 在线看a的网站| 国产精品成人在线| 亚洲人成伊人成综合网2020| 可以免费在线观看a视频的电影网站| 亚洲精品国产色婷婷电影| 久久99热这里只频精品6学生| 超碰成人久久| 日韩欧美国产一区二区入口| 久久国产精品男人的天堂亚洲| 午夜福利,免费看| 老司机影院毛片| 色精品久久人妻99蜜桃| 国产av又大| 熟女少妇亚洲综合色aaa.| 日日爽夜夜爽网站| 高清欧美精品videossex| 黄色成人免费大全| 亚洲免费av在线视频| 国产片内射在线| 精品卡一卡二卡四卡免费| 成年人午夜在线观看视频| 国产日韩欧美视频二区| 午夜免费成人在线视频| 中文字幕人妻丝袜一区二区| 亚洲av国产av综合av卡| 久久久久久亚洲精品国产蜜桃av| 男女高潮啪啪啪动态图| 精品少妇久久久久久888优播| 免费日韩欧美在线观看| 亚洲精品成人av观看孕妇| 午夜精品国产一区二区电影| 少妇精品久久久久久久| 99国产精品免费福利视频| 久久中文字幕人妻熟女| 嫁个100分男人电影在线观看| 在线观看免费日韩欧美大片| 一本色道久久久久久精品综合| 亚洲情色 制服丝袜| 午夜免费鲁丝| 国产在视频线精品| 动漫黄色视频在线观看| 免费黄频网站在线观看国产| 国产高清激情床上av| 亚洲精品国产精品久久久不卡| 男女下面插进去视频免费观看| 波多野结衣一区麻豆| 一级片'在线观看视频| 国产精品欧美亚洲77777| 美女福利国产在线| 一边摸一边做爽爽视频免费| 国产一区有黄有色的免费视频| 日韩欧美三级三区| 香蕉丝袜av| 亚洲天堂av无毛| 午夜激情久久久久久久| 丰满迷人的少妇在线观看| 无限看片的www在线观看| 一区二区三区激情视频| 丁香六月天网| 国产在线视频一区二区| 麻豆av在线久日| 久久这里只有精品19| 黄色怎么调成土黄色| 亚洲专区国产一区二区| 精品亚洲成a人片在线观看| 精品人妻熟女毛片av久久网站| 又大又爽又粗| 夜夜夜夜夜久久久久| 久久人妻av系列| 色老头精品视频在线观看| 久久久久久人人人人人| 午夜福利乱码中文字幕| 在线天堂中文资源库| a级毛片在线看网站| 亚洲伊人久久精品综合| 正在播放国产对白刺激| 曰老女人黄片| 亚洲av成人不卡在线观看播放网| 欧美黑人欧美精品刺激| 久久精品国产亚洲av香蕉五月 | √禁漫天堂资源中文www| 老汉色av国产亚洲站长工具| 色婷婷久久久亚洲欧美| 18在线观看网站| 亚洲熟女毛片儿| 欧美性长视频在线观看| 超碰97精品在线观看| 国产精品免费一区二区三区在线 | 久久毛片免费看一区二区三区| 丝袜美腿诱惑在线| 女警被强在线播放| 精品第一国产精品| 午夜激情av网站| 丝袜喷水一区| 国产精品自产拍在线观看55亚洲 | 国产成人av教育| 男男h啪啪无遮挡| 亚洲中文字幕日韩| 久久久精品免费免费高清| 日本a在线网址| 成人国产av品久久久| 日本黄色视频三级网站网址 | 亚洲熟妇熟女久久| 国产精品成人在线| 最新美女视频免费是黄的| 热99国产精品久久久久久7| 色在线成人网| 99国产综合亚洲精品| 菩萨蛮人人尽说江南好唐韦庄| 日本av手机在线免费观看| 欧美日韩黄片免| 在线天堂中文资源库| 欧美乱妇无乱码| 国产一区二区 视频在线| 亚洲精品成人av观看孕妇| av视频免费观看在线观看| 亚洲av日韩在线播放| 狂野欧美激情性xxxx| 欧美乱码精品一区二区三区| 国产深夜福利视频在线观看| 99re6热这里在线精品视频| 免费人妻精品一区二区三区视频| 午夜激情久久久久久久| 久久精品亚洲熟妇少妇任你| 亚洲美女黄片视频| 午夜福利免费观看在线| 无人区码免费观看不卡 | 欧美黑人欧美精品刺激| 亚洲国产毛片av蜜桃av| 免费观看av网站的网址| 99久久精品国产亚洲精品| 一本大道久久a久久精品| 成人国产一区最新在线观看| 精品人妻熟女毛片av久久网站| 香蕉国产在线看| 久久人人爽av亚洲精品天堂| 999久久久精品免费观看国产| 在线永久观看黄色视频| 中国美女看黄片| av天堂久久9| 热re99久久精品国产66热6| 91麻豆精品激情在线观看国产 | 一区二区三区激情视频| 亚洲精品国产精品久久久不卡| 成人国产av品久久久| 国产精品久久久av美女十八| 亚洲精品中文字幕一二三四区 | 在线观看一区二区三区激情| 久久人妻福利社区极品人妻图片| 亚洲免费av在线视频| 国产精品久久久久成人av| 波多野结衣av一区二区av| 肉色欧美久久久久久久蜜桃| 精品久久蜜臀av无| 免费日韩欧美在线观看| 午夜福利视频在线观看免费| 国产男女超爽视频在线观看| 如日韩欧美国产精品一区二区三区| 制服人妻中文乱码| 精品国产超薄肉色丝袜足j| 十八禁网站免费在线| 国产极品粉嫩免费观看在线| 国产aⅴ精品一区二区三区波| 国产1区2区3区精品| 999精品在线视频| 国产精品九九99| 国产av又大| 一进一出抽搐动态| av国产精品久久久久影院| 不卡av一区二区三区| 999久久久精品免费观看国产| 精品国产一区二区三区四区第35| 精品国产乱码久久久久久男人| 视频区图区小说| 99久久99久久久精品蜜桃| tube8黄色片| 久久久久久久久久久久大奶| 亚洲免费av在线视频| 一本大道久久a久久精品| 波多野结衣av一区二区av| 性色av乱码一区二区三区2| 国产精品欧美亚洲77777| 国产日韩欧美视频二区| 午夜福利一区二区在线看| 在线观看免费日韩欧美大片| 国产av国产精品国产| 中文字幕制服av| 久久久国产精品麻豆| 在线av久久热| 777久久人妻少妇嫩草av网站| 国产欧美日韩一区二区三| 制服诱惑二区| 免费一级毛片在线播放高清视频 | 另类亚洲欧美激情| 在线观看66精品国产| 亚洲伊人色综图| 成在线人永久免费视频| 两人在一起打扑克的视频| 亚洲自偷自拍图片 自拍| 国产精品香港三级国产av潘金莲| 纵有疾风起免费观看全集完整版| 丰满人妻熟妇乱又伦精品不卡| 一区二区三区激情视频| 捣出白浆h1v1| 久久香蕉激情| 中文字幕高清在线视频| 丝瓜视频免费看黄片| 91av网站免费观看| 日韩中文字幕视频在线看片| 国产精品熟女久久久久浪| 久久久精品免费免费高清| 亚洲色图 男人天堂 中文字幕| 一区二区三区国产精品乱码| 波多野结衣av一区二区av| 国产福利在线免费观看视频| 色尼玛亚洲综合影院| 亚洲中文字幕日韩| 成年人免费黄色播放视频| 日本撒尿小便嘘嘘汇集6| 岛国在线观看网站| 99re在线观看精品视频| 欧美精品一区二区大全| 久久久久精品国产欧美久久久| 欧美亚洲日本最大视频资源| 国产在线免费精品| 一本色道久久久久久精品综合| 亚洲色图av天堂| 91麻豆精品激情在线观看国产 | 自拍欧美九色日韩亚洲蝌蚪91| 亚洲欧美激情在线| 捣出白浆h1v1| 国产精品亚洲av一区麻豆| 老司机在亚洲福利影院| 久久久欧美国产精品| 99久久国产精品久久久| 国产在视频线精品| av视频免费观看在线观看| 久久久国产成人免费| 黑人操中国人逼视频| 日韩精品免费视频一区二区三区| 亚洲一区二区三区欧美精品| 日本av手机在线免费观看| tube8黄色片| 免费看十八禁软件| 窝窝影院91人妻| 国产xxxxx性猛交| 国产黄频视频在线观看| 亚洲成人手机| 精品一品国产午夜福利视频| 香蕉国产在线看| 国产成人免费无遮挡视频| videos熟女内射| 亚洲精华国产精华精| 日日爽夜夜爽网站| 丝袜喷水一区| 久久精品91无色码中文字幕| 亚洲色图综合在线观看| 日韩制服丝袜自拍偷拍| 亚洲av第一区精品v没综合| 最近最新中文字幕大全电影3 | 欧美日韩视频精品一区| 王馨瑶露胸无遮挡在线观看| 欧美黑人精品巨大| 久9热在线精品视频| 一本大道久久a久久精品| 十八禁网站免费在线| 91麻豆av在线| 国产精品久久久久久精品古装| 叶爱在线成人免费视频播放| 亚洲精品国产色婷婷电影| 男人舔女人的私密视频| 男女床上黄色一级片免费看| 日韩人妻精品一区2区三区| 久久青草综合色| 男女无遮挡免费网站观看| 欧美人与性动交α欧美精品济南到| 久久精品亚洲精品国产色婷小说| 他把我摸到了高潮在线观看 | 国产精品免费视频内射| 国产一区二区激情短视频| 国产高清videossex| 亚洲伊人色综图| 日韩大码丰满熟妇| 亚洲精品久久午夜乱码| 亚洲欧美色中文字幕在线| 99香蕉大伊视频| 侵犯人妻中文字幕一二三四区| 免费高清在线观看日韩| 欧美大码av| 亚洲 国产 在线| 亚洲七黄色美女视频| 丰满迷人的少妇在线观看| 色在线成人网| 别揉我奶头~嗯~啊~动态视频| 国产精品99久久99久久久不卡| 亚洲成av片中文字幕在线观看| 亚洲avbb在线观看| 欧美激情极品国产一区二区三区| 欧美黄色淫秽网站| 丰满饥渴人妻一区二区三| 99精国产麻豆久久婷婷| 一级毛片电影观看| 黑人巨大精品欧美一区二区蜜桃| 亚洲性夜色夜夜综合| 黄片播放在线免费| 日本欧美视频一区| 男人操女人黄网站| 国产亚洲精品一区二区www | 日本黄色日本黄色录像| 久久久国产精品麻豆| 午夜成年电影在线免费观看| 国产在线一区二区三区精| 成年人黄色毛片网站| 黄色成人免费大全| 男女免费视频国产| 亚洲av成人一区二区三| 宅男免费午夜| 亚洲国产欧美在线一区| 91字幕亚洲| tocl精华| 侵犯人妻中文字幕一二三四区| 国产有黄有色有爽视频| 青青草视频在线视频观看| 天天影视国产精品| 久久久精品国产亚洲av高清涩受| 国产精品久久久久久精品古装| 午夜福利在线观看吧| 我要看黄色一级片免费的| 国产免费现黄频在线看| 久久ye,这里只有精品| 91成人精品电影| 亚洲色图 男人天堂 中文字幕| 水蜜桃什么品种好| 久久人妻福利社区极品人妻图片| 免费在线观看日本一区| 一进一出好大好爽视频| 久久久久国产一级毛片高清牌| 日韩制服丝袜自拍偷拍| 黄片大片在线免费观看| 下体分泌物呈黄色| 极品教师在线免费播放| 日日夜夜操网爽| 18禁国产床啪视频网站| 国产精品久久电影中文字幕 | 国产精品熟女久久久久浪| 亚洲av电影在线进入| 久久99热这里只频精品6学生| 日本一区二区免费在线视频| 欧美大码av| 精品一品国产午夜福利视频| 国产97色在线日韩免费| 亚洲精品中文字幕在线视频| 久久久久国内视频| 国产精品久久久久久精品电影小说| 精品久久久久久久毛片微露脸| 日本av手机在线免费观看| 国产免费av片在线观看野外av| 婷婷丁香在线五月| 亚洲成人免费av在线播放| 日韩大码丰满熟妇| 亚洲午夜精品一区,二区,三区| 国产精品av久久久久免费| 91精品国产国语对白视频| 黄片小视频在线播放| 法律面前人人平等表现在哪些方面| 国产日韩欧美亚洲二区| 最黄视频免费看| 国产精品99久久99久久久不卡| 性色av乱码一区二区三区2| 9191精品国产免费久久| 久久久水蜜桃国产精品网| 午夜免费鲁丝| 亚洲av美国av| 亚洲第一欧美日韩一区二区三区 | 大陆偷拍与自拍| 真人做人爱边吃奶动态| 美女高潮到喷水免费观看| 国产成人免费观看mmmm| 亚洲精品中文字幕在线视频| 最新的欧美精品一区二区| a级毛片黄视频| 亚洲精品中文字幕一二三四区 | 黑丝袜美女国产一区| 99国产精品99久久久久| 国产欧美日韩精品亚洲av| 最新美女视频免费是黄的| 他把我摸到了高潮在线观看 | 精品人妻在线不人妻| 狂野欧美激情性xxxx| 日本五十路高清| 日本一区二区免费在线视频| 在线亚洲精品国产二区图片欧美| 国产色视频综合| 五月天丁香电影| 亚洲,欧美精品.| 亚洲国产中文字幕在线视频| 国产成人系列免费观看| 性少妇av在线| 男女午夜视频在线观看| 中文字幕人妻熟女乱码| 免费在线观看视频国产中文字幕亚洲| 91麻豆精品激情在线观看国产 | 国产无遮挡羞羞视频在线观看| 99riav亚洲国产免费| 亚洲五月色婷婷综合| 一级片免费观看大全| 欧美日韩精品网址| 久久亚洲真实| 久热爱精品视频在线9| 汤姆久久久久久久影院中文字幕| 国产日韩欧美视频二区| 日韩大码丰满熟妇| 国产视频一区二区在线看| 国产成人影院久久av| 麻豆乱淫一区二区| 亚洲av国产av综合av卡| 麻豆乱淫一区二区| 一区二区三区精品91| 动漫黄色视频在线观看| 在线观看免费日韩欧美大片| 在线观看www视频免费| 制服诱惑二区| 国产高清视频在线播放一区| 欧美日韩一级在线毛片| 男人舔女人的私密视频| 人人妻人人澡人人看| 大型黄色视频在线免费观看| 国产麻豆69| 欧美av亚洲av综合av国产av| 狂野欧美激情性xxxx| 男女无遮挡免费网站观看| 国产精品一区二区在线不卡| 美女高潮喷水抽搐中文字幕| 黄色a级毛片大全视频| 99在线人妻在线中文字幕 | 久久 成人 亚洲| 色94色欧美一区二区| 国产成人精品久久二区二区免费| 成人亚洲精品一区在线观看| 久久精品国产综合久久久| 国产精品.久久久| 成人精品一区二区免费| 国产男女超爽视频在线观看| 亚洲专区字幕在线| 亚洲七黄色美女视频| 97人妻天天添夜夜摸| 十八禁人妻一区二区| 欧美成人午夜精品| 麻豆国产av国片精品| 女人被躁到高潮嗷嗷叫费观| 亚洲一卡2卡3卡4卡5卡精品中文| 午夜精品国产一区二区电影| 老司机午夜十八禁免费视频| 日韩成人在线观看一区二区三区| 亚洲第一欧美日韩一区二区三区 | 一级,二级,三级黄色视频| 新久久久久国产一级毛片| 在线av久久热| 日韩视频在线欧美| 色尼玛亚洲综合影院| 亚洲男人天堂网一区| xxxhd国产人妻xxx| 午夜福利免费观看在线| 欧美人与性动交α欧美软件| 亚洲av欧美aⅴ国产| 黑人巨大精品欧美一区二区mp4| 国产色视频综合| 狠狠精品人妻久久久久久综合| 色婷婷av一区二区三区视频| 在线观看人妻少妇| 亚洲精品国产一区二区精华液| 国产免费av片在线观看野外av| 国产日韩一区二区三区精品不卡| 99国产精品免费福利视频| 少妇猛男粗大的猛烈进出视频| 久久国产精品大桥未久av| 两性午夜刺激爽爽歪歪视频在线观看 | 免费黄频网站在线观看国产| 2018国产大陆天天弄谢| 91麻豆精品激情在线观看国产 | 亚洲国产精品一区二区三区在线| 成年版毛片免费区| 汤姆久久久久久久影院中文字幕| 欧美 日韩 精品 国产| e午夜精品久久久久久久| av欧美777| 国产一区二区 视频在线| 女人久久www免费人成看片| 高清欧美精品videossex| 国产精品 国内视频| 美女视频免费永久观看网站| aaaaa片日本免费| 精品一区二区三卡| 夫妻午夜视频| 一本一本久久a久久精品综合妖精| 丝袜美足系列| 国产成人精品久久二区二区91| 亚洲色图av天堂| 欧美人与性动交α欧美精品济南到| 亚洲美女黄片视频| 欧美国产精品一级二级三级|