• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于SDN的金融云試驗(yàn)平臺(tái)虛擬網(wǎng)絡(luò)研究

    2017-07-10 10:27:27祖立軍杜學(xué)凱周雍愷劉國(guó)寶吳承榮
    關(guān)鍵詞:租戶網(wǎng)關(guān)交換機(jī)

    祖立軍 杜學(xué)凱 周雍愷 劉國(guó)寶 楊 陽 吳 杰 吳承榮

    1(中國(guó)銀聯(lián)電子支付研究院電子商務(wù)與電子支付國(guó)家工程實(shí)驗(yàn)室 上海 201201)2(復(fù)旦大學(xué) 上海 200433)

    基于SDN的金融云試驗(yàn)平臺(tái)虛擬網(wǎng)絡(luò)研究

    祖立軍1杜學(xué)凱2周雍愷1劉國(guó)寶1楊 陽1吳 杰2吳承榮2

    1(中國(guó)銀聯(lián)電子支付研究院電子商務(wù)與電子支付國(guó)家工程實(shí)驗(yàn)室 上海 201201)2(復(fù)旦大學(xué) 上海 200433)

    當(dāng)前SDN網(wǎng)絡(luò)正在被很多研究機(jī)構(gòu)研究或者被很多企業(yè)試驗(yàn)。SDN網(wǎng)絡(luò)將傳統(tǒng)網(wǎng)絡(luò)架構(gòu)中的控制層面與數(shù)據(jù)層面分離開來,使得網(wǎng)絡(luò)架構(gòu)變得非常簡(jiǎn)潔,并且更多的應(yīng)用可以利用控制層面提供的北向接口實(shí)現(xiàn),簡(jiǎn)化了網(wǎng)絡(luò)的管理。數(shù)據(jù)層面則只是根據(jù)控制層面制定的規(guī)則進(jìn)行數(shù)據(jù)的處理。論述了SDN的發(fā)展和未來趨勢(shì),且簡(jiǎn)要介紹中國(guó)銀聯(lián)電子支付研究院基于SDN的金融云試驗(yàn)平臺(tái),同時(shí)對(duì)此試驗(yàn)型虛擬網(wǎng)絡(luò)進(jìn)行分析與探討。

    Software-Defined Network 控制層面 數(shù)據(jù)層面 金融云 中國(guó)銀聯(lián)

    0 引 言

    軟件定義網(wǎng)絡(luò)技術(shù)的發(fā)展給很多網(wǎng)絡(luò)技術(shù)提供了支持,在網(wǎng)絡(luò)虛擬化方面,云服務(wù)提供商能將物理網(wǎng)絡(luò)設(shè)備抽象成虛擬的網(wǎng)絡(luò)設(shè)備,提供給租戶,并允許每個(gè)租戶創(chuàng)建自己的虛擬網(wǎng)絡(luò),結(jié)合租戶申請(qǐng)的虛擬機(jī)資源定義網(wǎng)絡(luò)拓?fù)?,通過SDN技術(shù)對(duì)虛擬網(wǎng)絡(luò)進(jìn)行管理[3,6]。

    在金融云平臺(tái)下,虛擬網(wǎng)絡(luò)有著一系列的基本需求,比如,虛擬網(wǎng)絡(luò)中多租戶間網(wǎng)絡(luò)訪問的隔離、管理員對(duì)租戶網(wǎng)絡(luò)資源的管理、金融業(yè)務(wù)的擴(kuò)展等等。而從租戶的角度來看,需要自己的業(yè)務(wù)數(shù)據(jù)以及網(wǎng)絡(luò)資源不能夠被其他租戶訪問與竊取,并且能夠在這些隔離與安全性被滿足的條件下不影響自身的業(yè)務(wù)運(yùn)行[1]傳統(tǒng)物理網(wǎng)絡(luò)中不同網(wǎng)絡(luò)之間的隔離通常由部署在網(wǎng)絡(luò)邊界處的路由器和防火墻完成。同理,虛擬網(wǎng)絡(luò)的隔離是在虛擬網(wǎng)絡(luò)的邊界處實(shí)現(xiàn)。但相比之下,虛擬網(wǎng)絡(luò)環(huán)境中的網(wǎng)絡(luò)邊界更加模糊,也更加復(fù)雜,從而為租戶虛擬網(wǎng)絡(luò)提供路由服務(wù)及防火墻服務(wù)也更為復(fù)雜。不僅如此,在實(shí)際的業(yè)務(wù)運(yùn)行云平臺(tái)下,不同租戶分配到的資源很有可能是物理上相互分散的,不同主機(jī)上的資源可能會(huì)被分配給不同的租戶,這樣的話對(duì)于租戶之間的隔離與租戶自身內(nèi)部資源的隔離需要被更細(xì)粒度的劃分,而且各個(gè)隔離區(qū)域之間的隔離邊界需要更加明確。從銀聯(lián)的業(yè)務(wù)運(yùn)行的試驗(yàn)性環(huán)境來看,虛擬網(wǎng)絡(luò)中的隔離可分為以下幾類:不同租戶的虛擬網(wǎng)絡(luò)之間的隔離;同一租戶虛擬網(wǎng)絡(luò)下,不同虛擬子網(wǎng)之間的隔離;租戶虛擬網(wǎng)絡(luò)與外網(wǎng)之間的隔離。

    隨著互聯(lián)網(wǎng)應(yīng)用的普及和各個(gè)企業(yè)數(shù)據(jù)業(yè)務(wù)的增長(zhǎng),網(wǎng)絡(luò)性能與安全性的提高已經(jīng)成為很多大型數(shù)據(jù)中心急需解決的問題。雖然在很多開源云平臺(tái)下已經(jīng)存在一些針對(duì)于虛擬網(wǎng)絡(luò)安全隔離的解決方案,但是很多方案中數(shù)據(jù)處理比較大的工作都集中在單個(gè)設(shè)備上,容易造成故障,影響業(yè)務(wù)的運(yùn)行,也造成了一些數(shù)據(jù)處理的延時(shí)。

    隨著SDN技術(shù)的到來,一些傳統(tǒng)網(wǎng)絡(luò)架構(gòu)下比較難以處理的問題能夠在SDN的網(wǎng)絡(luò)架構(gòu)下得到很好的解決或者緩解,所以在我們的研究中,我們?cè)噲D將金融云平臺(tái)虛擬網(wǎng)絡(luò)中遇到的一些與業(yè)務(wù)相關(guān)的問題移入SDN的網(wǎng)絡(luò)架構(gòu)之下,并且對(duì)其加以解決。

    1 SDN架構(gòu)下的虛擬網(wǎng)絡(luò)

    一般來說,一個(gè)功能完善的虛擬網(wǎng)絡(luò)系統(tǒng)一般應(yīng)包含以下功能:虛擬機(jī)能夠與外網(wǎng)、物理機(jī)、其他虛擬機(jī)正常通信;網(wǎng)絡(luò)的虛擬化對(duì)用戶來說是透明的;虛擬機(jī)的IP地址可以動(dòng)態(tài)分配,與其所在物理機(jī)的位置無關(guān);虛擬機(jī)在遷移過程中網(wǎng)絡(luò)配置不變,主要是IP/MAC地址不變;虛擬網(wǎng)絡(luò)配置和管理方便;虛擬網(wǎng)絡(luò)要能夠方便擴(kuò)展;網(wǎng)絡(luò)性能要達(dá)到一定要求;滿足安全需求,能夠?qū)崿F(xiàn)不同用戶在網(wǎng)絡(luò)上的相互隔離。所以隨著虛擬網(wǎng)絡(luò)的擴(kuò)展,其網(wǎng)絡(luò)系統(tǒng)的管理也越來越復(fù)雜,對(duì)于許多對(duì)網(wǎng)絡(luò)管理要求更高的系統(tǒng)來講更是如此,比如金融云平臺(tái)的虛擬網(wǎng)絡(luò)的管理。SDN技術(shù)的發(fā)展能夠很好地解決虛擬網(wǎng)絡(luò)擴(kuò)展中所遇到的問題。

    SDN網(wǎng)絡(luò)中網(wǎng)絡(luò)設(shè)備具有良好的可編程性,網(wǎng)絡(luò)管理人員和網(wǎng)絡(luò)研究人員可以非常容易地控制網(wǎng)絡(luò)設(shè)備、部署新型網(wǎng)絡(luò)協(xié)議。在SDN網(wǎng)絡(luò)中控制平面與數(shù)據(jù)平面相互分離,支持用戶定義自己的虛擬網(wǎng)絡(luò),定義自己的網(wǎng)絡(luò)規(guī)則和控制策略,網(wǎng)絡(luò)服務(wù)提供者能夠?yàn)橛脩籼峁┒说蕉丝煽氐木W(wǎng)絡(luò)服務(wù),甚至可以在硬件設(shè)備上直接添加新的應(yīng)用。這都使得SDN網(wǎng)絡(luò)非常適合于虛擬網(wǎng)絡(luò)系統(tǒng)的管理。這種可編程的網(wǎng)絡(luò)平臺(tái)不僅能解開網(wǎng)絡(luò)軟件與特定硬件之間的掛鉤,還能將網(wǎng)絡(luò)軟件的智能性和硬件的高速性充分結(jié)合在一起,使得網(wǎng)絡(luò)變得更加智能與靈活。目前在SDN中網(wǎng)絡(luò)虛擬化技術(shù)研究項(xiàng)目和產(chǎn)品主要有Stanford大學(xué)的FlowVisor項(xiàng)目、匈牙利愛立信研究院的IVOF、瑞典皇家理工學(xué)院的OVN(OpenFlow Virtualization Network)項(xiàng)目和Nicira公司提出的NVP(Network Virtualization Platform)網(wǎng)絡(luò)虛擬化平臺(tái)。

    2 SDN的發(fā)展

    2.1 控制層面與數(shù)據(jù)層面研究

    控制層面的研究越來越多地集中在控制器的集群化方面。網(wǎng)絡(luò)界頂級(jí)學(xué)術(shù)會(huì)議SIGCOMM近年來關(guān)于控制層面的討論很多都是關(guān)于控制器集群發(fā)展的。從開始的基于故障災(zāi)備處理機(jī)制的雙控制器模型到基于控制信息備份冗余、大數(shù)據(jù)量處理的控制器集群模型,還包括國(guó)內(nèi)外企業(yè)級(jí)的控制器集群模型。

    在控制層面方向上,軟件控制器OpenDaylight、Floodlight得到廣泛使用,OpenDayLight控制器是目前為止使用最為廣泛的開源控制器。同時(shí),也有一些其他的控制器如Beacon,也漸漸走入商用的行列并且取得了很好的評(píng)價(jià)。SIGCOMM會(huì)議曾經(jīng)有關(guān)于Beacon控制器[8]的學(xué)術(shù)探討,在介紹時(shí)主要提出了當(dāng)時(shí)做Beacon控制器時(shí)所進(jìn)行的設(shè)計(jì)思路的探討:首先,是否一個(gè)控制器能夠像一個(gè)網(wǎng)絡(luò)操作系統(tǒng)那樣在運(yùn)行時(shí)開啟或停止應(yīng)用程序。最終Beacon控制器應(yīng)用了OSGI框架實(shí)現(xiàn)應(yīng)用模塊的熱插拔。第二,編寫控制器的語言選擇,對(duì)C、C++、Java、C#等幾種語言進(jìn)行對(duì)比,通過易于編寫和維護(hù),能夠跨平臺(tái)等幾方面的考慮,最終選擇了Java語言。第三,對(duì)控制器讀取OpenFlow[7]消息時(shí)算法的改進(jìn),使用了一種Run-to-completion算法進(jìn)行控制器的設(shè)計(jì)。第四,對(duì)控制器寫OpenFlow消息時(shí)算法的改進(jìn),使用了改進(jìn)的Revised Switch Flush Method和Revised I/O Loop算法設(shè)計(jì),增加了控制器的性能。第五,與其他類型控制器(沒有使用優(yōu)化算法的Beacon、Floodlight、NOX、Maestro)在吞吐量和處理時(shí)延等方面進(jìn)行實(shí)驗(yàn)比較。

    在控制層面上控制器設(shè)備的狀態(tài)遷移也是一個(gè)研究熱點(diǎn),比如有些研究提出了一些控制器狀態(tài)熱遷移的解決方案,使得能夠在SDN控制器程序運(yùn)行狀態(tài)下對(duì)控制器進(jìn)行升級(jí),而不至于SDN網(wǎng)絡(luò)的工作中斷。Princeton大學(xué)的HotSwap[9]工作就是這樣的一種解決方案,這篇文章提出在控制器熱升級(jí)過程中的幾個(gè)工作狀態(tài):record階段、replay階段、compare階段、replace階段。各個(gè)階段具體處理一些熱遷移過程中的一些必要操作。這些工作階段的目的是使得old控制器與new控制器之間能夠處于HotSwap這樣一種容器中進(jìn)行狀態(tài)的轉(zhuǎn)移或者應(yīng)用程序的升級(jí)。

    也有一些其他的研究角度,比如SIGCOMM 2013會(huì)議中《Exploiting Locality in Distributed SDN Control》[10]從算法層面對(duì)SDN控制器的部署進(jìn)行研究,以求達(dá)到SDN控制器的高性能。本文的研究主要是從Locality算法與SDN控制器架構(gòu)的部署關(guān)系開始的。

    隨著控制層面研究的深入,控制器集群的概念開始出現(xiàn),為了保證網(wǎng)絡(luò)服務(wù)質(zhì)量與性能,以及避免主控制器故障帶來的影響,越來越多的學(xué)術(shù)文章以及工業(yè)界研究開始轉(zhuǎn)向控制層面的集群化發(fā)展??刂破骷夯陌l(fā)展也帶來了一些控制層面其他的問題,比如控制器集群的主控制器選舉機(jī)制,主控制器切換機(jī)制以及控制層面北向接口服務(wù)與南向接口服務(wù)分離的問題。在這些問題研究的過程中,很多學(xué)者以及工業(yè)界研究人員提出了自己的解決方案,對(duì)其中可能存在的一些問題進(jìn)行了很好的解決。

    在SDN學(xué)術(shù)界研究的過程中,控制層面的學(xué)術(shù)研究多于數(shù)據(jù)層面的研究[12-13]。因?yàn)楦鶕?jù)SDN的架構(gòu)定義,數(shù)據(jù)層面只是擁有執(zhí)行控制層面命令或者轉(zhuǎn)發(fā)其他數(shù)據(jù)層面設(shè)備數(shù)據(jù)的功能。但是近些年來一些學(xué)者進(jìn)行的部分研究開始轉(zhuǎn)向數(shù)據(jù)層面,賦予數(shù)據(jù)層面一些新的機(jī)制[15]。

    2.2 集成的平臺(tái)化發(fā)展

    隨著SDN架構(gòu)的完善,越來越多的SDN北向應(yīng)用開始部署,很多通用的北向應(yīng)用開始集成,從而發(fā)展成為通用的SDN應(yīng)用平臺(tái),比如ONOS。ONOS是一種開放的分布式的SDN操作系統(tǒng)[14],這一控制層面是通過對(duì)FloodLight控制器進(jìn)行改進(jìn)得到的。ONOS平臺(tái)提供了對(duì)應(yīng)用程序的北向接口服務(wù),并且ONOS作為一個(gè)控制器的容器平臺(tái),能夠容納很多OpenFlow控制器進(jìn)行網(wǎng)絡(luò)控制層面的操作,并且實(shí)現(xiàn)了對(duì)于FloodLight控制器的支持。ONOS運(yùn)行在多臺(tái)服務(wù)器上,每一臺(tái)服務(wù)器都獨(dú)立代表一個(gè)交換機(jī)子集的主控制器。在服務(wù)過程中,如其中一個(gè)服務(wù)器發(fā)生故障,則再分配給其數(shù)據(jù)層面一個(gè)主控制器,在發(fā)生故障后,可以通過相應(yīng)檢測(cè)來發(fā)現(xiàn)現(xiàn)有的主控制器是否發(fā)生了故障,并且在確信發(fā)生故障后,可以在運(yùn)行時(shí)通過選舉機(jī)制進(jìn)行主控制器的選舉。

    《Towards an Elastic Distributed SDN Controller》[11]也是通過平臺(tái)化的方法來對(duì)控制器進(jìn)行操作。不過主要是針對(duì)研究控制器狀態(tài)遷移過程中應(yīng)該需要處理的問題或者防止發(fā)生的問題來進(jìn)行討論的,同時(shí)也提出了一些關(guān)于控制器遷移的協(xié)議來規(guī)范狀態(tài)遷移操作,并且規(guī)范了控制器的狀態(tài)來進(jìn)行協(xié)議的準(zhǔn)備工作。

    2.3 SDN安全性發(fā)展研究

    SDN技術(shù)的安全性需求通常集中和變現(xiàn)在對(duì)控制層面的安全性需求。SDN的安全性研究伴隨這SDN的發(fā)展與完善。學(xué)術(shù)界關(guān)于控制層面安全性的思考與討論一直是比較多的。

    由于SDN的研究近些年才開始,所以SDN架構(gòu)下很多安全問題還是比較突出的,從網(wǎng)絡(luò)安全的需求上,還是在SDN環(huán)境下的安全問題的很多方面比如DDos攻擊、攻擊易受攻擊的交換機(jī)、攻擊控制層面的通信、攻擊網(wǎng)絡(luò)中的控制器、控制器和管理應(yīng)用之間的認(rèn)證、攻擊SDN網(wǎng)絡(luò)管理者的站點(diǎn)、SDN網(wǎng)絡(luò)受到攻擊后補(bǔ)救方案等等還是需要及時(shí)在試驗(yàn)環(huán)境下解決的。有些方面可以通過傳統(tǒng)的網(wǎng)絡(luò)安全保障方法進(jìn)行解決,有的方面在SDN網(wǎng)絡(luò)架構(gòu)下問題相對(duì)更加突出,需要運(yùn)用新的思路或者新的方式進(jìn)行解決。

    3 金融云虛擬網(wǎng)絡(luò)需求分析

    通過多年來對(duì)于中國(guó)銀聯(lián)電子支付研究院的金融云平臺(tái)的分析和改進(jìn),我們將總結(jié)出的構(gòu)建安全、穩(wěn)定、可靠的金融云平臺(tái)的需求主要分為四大類,分別為多層次安全性需求、面向公眾的需求、合規(guī)性檢查需求和異地云平臺(tái)互聯(lián)的需求。本節(jié)我們分別對(duì)這幾類需求進(jìn)行探討。

    3.1 多層次安全性需求

    1) 統(tǒng)一、全面的安全策略。計(jì)算資源集中管理使得邊界防護(hù)更易于部署??梢葬槍?duì)計(jì)算資源提供全面的安全策略、統(tǒng)一數(shù)據(jù)管理、安全補(bǔ)丁管理、以及突發(fā)事件管理等安全管理措施。對(duì)用戶而言,也意味著能夠有專業(yè)的安全專家團(tuán)隊(duì)對(duì)其資源和數(shù)據(jù)進(jìn)行安全保護(hù)。

    2) 低安全措施成本。多個(gè)用戶共享云計(jì)算系統(tǒng)的計(jì)算資源,在集中的資源上統(tǒng)一應(yīng)用安全措施,可以降低各用戶的安全措施平均成本,即更低的投資會(huì)給用戶帶來同樣安全的保護(hù)措施。

    3) 按需提供安全防護(hù)。利用快速、彈性分配資源的優(yōu)勢(shì),云計(jì)算系統(tǒng)可以為過濾、流量整形、加密、認(rèn)證等提供安全防護(hù)措施,動(dòng)態(tài)調(diào)配計(jì)算資源,提高安全措施處理效率。

    3.2 面向公眾的需求

    金融云的本質(zhì)是服務(wù)于金融業(yè)務(wù)。金融領(lǐng)域業(yè)務(wù)進(jìn)入云平臺(tái)是當(dāng)前的一大趨勢(shì),基于云的業(yè)務(wù)能夠更好地為公眾提供服務(wù)的便利。傳統(tǒng)金融機(jī)構(gòu)需要的是一套合理的適合自己業(yè)務(wù)特點(diǎn)的金融云架構(gòu)。構(gòu)建金融云,將各項(xiàng)金融業(yè)務(wù)引入云平臺(tái),不是為了迎合概念,而是真正的業(yè)務(wù)需求。對(duì)于中小銀行而言,單獨(dú)構(gòu)建機(jī)房(網(wǎng)絡(luò)、帶寬、服務(wù)器、存儲(chǔ)、軟件)并設(shè)置維護(hù)團(tuán)隊(duì)都是不小的開支,如果遷往云,不僅人力物力以及成本的節(jié)省非??捎^,而且在安全性上也會(huì)有更多保障。如果能把業(yè)務(wù)接入云,則可動(dòng)態(tài)調(diào)配資源,平時(shí)業(yè)務(wù)仍以自建平臺(tái)為主,高峰時(shí)候借用云的資源彈性擴(kuò)容。

    金融企業(yè)往往把SDN技術(shù)應(yīng)用與原有的云戰(zhàn)略緊密結(jié)合,希望借助SDN實(shí)現(xiàn)私有云的網(wǎng)絡(luò)虛擬化和自動(dòng)配置,以適應(yīng)其擴(kuò)展性和多租戶需求,并降低設(shè)備采購成本。銀聯(lián)建設(shè)金融云平臺(tái),其中的一個(gè)計(jì)劃是將來能夠?yàn)橹行°y行提供入口,將虛擬網(wǎng)絡(luò)資源提供給中小銀行使用,中小銀行用戶作為云平臺(tái)的租戶,可享受虛擬機(jī)、虛擬網(wǎng)絡(luò)等資源。

    3.3 金融云合規(guī)性檢查需求

    不管是傳統(tǒng)業(yè)務(wù)的遷移還是新業(yè)務(wù)的開發(fā),一旦這些業(yè)務(wù)系統(tǒng)在云計(jì)算平臺(tái)上開始運(yùn)行,它們所處的信息系統(tǒng)環(huán)境和之前傳統(tǒng)的信息系統(tǒng)環(huán)境相比有了很大的區(qū)別,加之云業(yè)務(wù)系統(tǒng)的特殊性(這些業(yè)務(wù)大多涉及敏感信息),這樣一來,原本合規(guī)的業(yè)務(wù)就存在不再合規(guī)的風(fēng)險(xiǎn)。所以,有必要對(duì)這些云計(jì)算業(yè)務(wù)重新進(jìn)行合規(guī)性審核,檢查這些業(yè)務(wù)是否符合相關(guān)行業(yè)的安全標(biāo)準(zhǔn)和法律法規(guī)的要求。

    由于已發(fā)布的《信息系統(tǒng)安全等級(jí)保護(hù)》并還沒考慮云計(jì)算的模式,所以,當(dāng)金融業(yè)務(wù)遷往云平臺(tái)之后,原有的業(yè)務(wù)合規(guī)性就會(huì)受到?jīng)_擊。為此,我們有必要在《信息系統(tǒng)安全等級(jí)保護(hù)》的基礎(chǔ)之上,針對(duì)云計(jì)算的特點(diǎn)對(duì)移動(dòng)支付服務(wù)業(yè)務(wù)重新進(jìn)行合規(guī)性審核。

    在云平臺(tái)事后審計(jì)方面,銀聯(lián)也做了大量工作。包括自研了云審計(jì)系統(tǒng),通過其完善的計(jì)算、網(wǎng)絡(luò)審計(jì)功能可以發(fā)現(xiàn)云平臺(tái)的各類不合規(guī)的操作。重點(diǎn)需要關(guān)注以下幾個(gè)方面:

    1) 系統(tǒng)隔離

    云計(jì)算中廣泛使用了虛擬化技術(shù),各業(yè)務(wù)系統(tǒng)之間共享資源。如果虛擬化系統(tǒng)之間沒有采取有效的隔離措施,那么隱私數(shù)據(jù)泄漏的風(fēng)險(xiǎn)就會(huì)大大增加。要仔細(xì)分析整個(gè)業(yè)務(wù)系統(tǒng)所處的環(huán)境,確保該系統(tǒng)和其他業(yè)務(wù)系統(tǒng)之間實(shí)施了很好的物理隔離或邏輯隔離;檢查Hypervisor的配置是否符合相關(guān)的安全規(guī)范,是否采取必要的措施來加固Hypervisor自身的安全性(例如:安全補(bǔ)丁、訪問控制、用戶認(rèn)證、關(guān)閉不必要服務(wù)、通信加密、限制對(duì)Hypervisor的遠(yuǎn)程訪問等)。

    2) 網(wǎng)絡(luò)隔離

    傳統(tǒng)的信息系統(tǒng)通常采用防火墻來實(shí)現(xiàn)網(wǎng)絡(luò)隔離,而在云計(jì)算中,虛擬防火墻和虛擬交換機(jī)等技術(shù)被用來實(shí)現(xiàn)虛擬機(jī)之間的訪問控制,要確保它們按照產(chǎn)品安全配置規(guī)范進(jìn)行了正確的配置和部署,以達(dá)到和物理防火墻相當(dāng)?shù)谋Wo(hù)級(jí)別。

    3) 業(yè)務(wù)流量審計(jì)

    通過截取分析業(yè)務(wù)流量審查業(yè)務(wù)的操作流程是否合規(guī)、業(yè)務(wù)流量是否純凈、數(shù)據(jù)包是否符合設(shè)計(jì)規(guī)范等。可以通過在Domain0中安裝虛擬交換機(jī)(vSwitch),配置端口鏡像,來監(jiān)聽虛擬機(jī)之間的通信流量。

    3.4 異地云平臺(tái)互聯(lián)需求

    對(duì)于擁有多個(gè)數(shù)據(jù)中心的大型金融機(jī)構(gòu),利用金融云計(jì)算解決方案中的軟件定義網(wǎng)絡(luò)架構(gòu),實(shí)現(xiàn)多個(gè)數(shù)據(jù)中心建的互聯(lián)互通,并可實(shí)現(xiàn)網(wǎng)絡(luò)設(shè)備與配置的統(tǒng)一自動(dòng)化管理??梢允菇鹑谠凭W(wǎng)絡(luò)管理效率大幅提升。

    可使用VXLAN技術(shù),對(duì)云平臺(tái)中的虛擬機(jī)通信數(shù)據(jù)包進(jìn)行封裝,支持位于異地的多數(shù)據(jù)中心之間的網(wǎng)絡(luò)連接。該技術(shù)允許同一子網(wǎng)(具有相同的VXLAN標(biāo)識(shí))內(nèi)的虛擬機(jī)分布在不同數(shù)據(jù)中心,且能夠互相訪問[5]。

    4 金融云平臺(tái)的SDN設(shè)計(jì)

    4.1 網(wǎng)絡(luò)架構(gòu)模型及其功能

    銀聯(lián)網(wǎng)絡(luò)虛擬化的總體功能分為以下幾個(gè)層次:應(yīng)用平臺(tái)功能、增值業(yè)務(wù)功能、增值管理功能、組網(wǎng)功能和資源管理功能。系統(tǒng)的角色分為以下幾類:超級(jí)管理員、租戶網(wǎng)絡(luò)管理員以及VPC租戶。

    1) 應(yīng)用平臺(tái)功能

    (1) 計(jì)算資源(VM)管理:租戶在所屬VPC內(nèi)創(chuàng)建并管理虛擬機(jī),接入租戶虛擬網(wǎng)絡(luò);

    (2) 浮動(dòng)IP管理:租戶申請(qǐng)為虛擬機(jī)綁定外網(wǎng)IP,使得外網(wǎng)能直接通過浮動(dòng)IP訪問該虛擬機(jī);

    (3) VPC網(wǎng)絡(luò)管理:租戶網(wǎng)絡(luò)管理員對(duì)VPC網(wǎng)絡(luò)的虛擬路由、安全組進(jìn)行配置管理,并處理租戶對(duì)虛擬機(jī)浮動(dòng)IP地址的申請(qǐng)。

    2) 增值業(yè)務(wù)功能

    (1) 防火墻服務(wù)(Fwaas):租戶網(wǎng)絡(luò)管理員為VPC創(chuàng)建虛擬防火墻,并管理防火墻規(guī)則;

    (2) 負(fù)載均衡服務(wù)(LBaaS):租戶網(wǎng)絡(luò)管理員為VPC創(chuàng)建虛擬負(fù)載均衡器,并配置規(guī)則;

    (3) VPN服務(wù)(VPNaaS):租戶網(wǎng)絡(luò)管理員為VPC配置虛擬網(wǎng)絡(luò)VPN服務(wù)。

    3) 增值運(yùn)營(yíng)功能

    (1) 訪問控制:租戶網(wǎng)絡(luò)管理員在子網(wǎng)內(nèi)和子網(wǎng)間配置訪問控制策略,阻止虛擬機(jī)資源被非法訪問的功能;

    (2) 流量監(jiān)控:租戶網(wǎng)絡(luò)管理員利用端口鏡像技術(shù)將網(wǎng)絡(luò)中虛擬機(jī)和物理機(jī)的網(wǎng)絡(luò)數(shù)據(jù)包鏡像到專用設(shè)備,并進(jìn)行監(jiān)控的功能;

    (3) QoS管理:租戶網(wǎng)絡(luò)管理員按照一定的QoS管理策略,對(duì)網(wǎng)絡(luò)中的虛擬端口和物理端口進(jìn)行帶寬限制的功能;

    (4) 資源配額管理:租戶網(wǎng)絡(luò)管理員查看VPC租戶的虛擬網(wǎng)絡(luò)資源分配及使用情況,對(duì)租戶的虛擬網(wǎng)絡(luò)資源進(jìn)行分配。

    4) 組網(wǎng)功能

    (1) 虛擬網(wǎng)絡(luò):二層/三層數(shù)據(jù)交換,利用V(X)LAN技術(shù)對(duì)虛擬網(wǎng)絡(luò)進(jìn)行邏輯劃分和隔離,通過VTEP(VXLAN Tunnel Endpoint)將隧道通信數(shù)據(jù)包組播/廣播到虛擬網(wǎng)絡(luò)中的功能;

    (2) 網(wǎng)絡(luò)虛鏈路轉(zhuǎn)發(fā):將虛擬網(wǎng)絡(luò)隧道通信鏈路映射到物理網(wǎng)絡(luò)設(shè)備中,并轉(zhuǎn)發(fā)的功能。

    5) 資源管理功能

    (1) 網(wǎng)絡(luò)資源池管理:超級(jí)管理員對(duì)網(wǎng)絡(luò)資源池的資源進(jìn)行管理,包括外部網(wǎng)絡(luò)管理和IP地址段管理等;

    (2) 計(jì)算資源池管理:超級(jí)管理員對(duì)計(jì)算資源池中的資源進(jìn)行管理,包括計(jì)算節(jié)點(diǎn)(物理服務(wù)器)的管理等;

    (3) 鏡像管理:超級(jí)管理員對(duì)虛擬網(wǎng)絡(luò)可使用的虛擬機(jī)鏡像進(jìn)行管理;

    (4) 網(wǎng)絡(luò)設(shè)備管理:超級(jí)管理員對(duì)硬件網(wǎng)絡(luò)設(shè)備進(jìn)行管理,分配到各網(wǎng)絡(luò)資源池中,為網(wǎng)絡(luò)資源池的資源虛擬化提供設(shè)備硬件支持。

    圖1為銀聯(lián)網(wǎng)絡(luò)架構(gòu)模型圖,如圖1所示,管理平面組件運(yùn)行于云管理平臺(tái)、控制平面組件運(yùn)行于控制器,分別單獨(dú)部署。而數(shù)據(jù)平面組件則包含虛擬交換機(jī)、物理交換機(jī)與邊緣設(shè)備等,其中邊緣設(shè)備又包括網(wǎng)關(guān)、防火墻、負(fù)載均衡器等等。

    該架構(gòu)采用了VXLAN技術(shù),對(duì)物理網(wǎng)絡(luò)架構(gòu)并沒有特別要求,物理交換機(jī)可以按傳統(tǒng)網(wǎng)絡(luò)的方式進(jìn)行部署,中間原有網(wǎng)絡(luò)設(shè)備啟用三層協(xié)議作為VXLAN的基礎(chǔ)網(wǎng)絡(luò)。

    圖1 網(wǎng)絡(luò)架構(gòu)模型圖

    VTEP(VXLAN)作為VXLAN隧道的端點(diǎn),用來創(chuàng)建、終結(jié)VXLAN隧道鏈路,OpenvSwitch和VXLAN網(wǎng)關(guān)都具備對(duì)其的實(shí)現(xiàn)。

    VXLAN網(wǎng)關(guān)部署于VXLAN網(wǎng)絡(luò)的邊緣,用于終結(jié)VXLAN網(wǎng)絡(luò),實(shí)現(xiàn)VXLAN網(wǎng)絡(luò)之間以及VXLAN與非VXLAN網(wǎng)絡(luò)的互連。應(yīng)當(dāng)使用專用硬件交換設(shè)備來實(shí)現(xiàn)VXLAN網(wǎng)關(guān)的功能。

    防火墻專用設(shè)備旁掛部署于VXLAN網(wǎng)關(guān),部署雙機(jī)熱備保護(hù)。為每個(gè)虛擬路由配置一個(gè)虛擬防火墻,通過子接口互聯(lián)??刂破髟诰W(wǎng)關(guān)上配置策略,將租戶業(yè)務(wù)流量(三層流量)引至防火墻處理;同時(shí)在防火墻上配置策略,實(shí)現(xiàn)業(yè)務(wù)安全互訪控制;此外在防火墻出接口配置默認(rèn)路由,將流量回引至虛擬路由。

    負(fù)載均衡專用設(shè)備旁掛部署于VXLAN網(wǎng)關(guān),部署雙機(jī)熱備保護(hù)。為每個(gè)虛擬路由配置一個(gè)虛擬負(fù)載均衡器,通過子接口互聯(lián)。

    4.2 虛擬網(wǎng)絡(luò)控制平面分析

    在銀聯(lián)云平臺(tái)虛擬網(wǎng)絡(luò)中,控制平面扮演著非常重要的角色,具體是由控制器集群構(gòu)成的,包含OpenDaylight等為代表的開源控制器,或者硬件控制器設(shè)備。它首先能通過OpenFLow協(xié)議與底層的虛擬交換機(jī)(或支持OpenFlow的物理交換機(jī))通信,定義并控制底層網(wǎng)絡(luò)數(shù)據(jù)流,實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)設(shè)備的控制和管理;其次,控制層需要為上層的應(yīng)用層提供API,能與云平臺(tái)集成,兼容主流的云管理平臺(tái),幫助云平臺(tái)輕松實(shí)現(xiàn)網(wǎng)絡(luò)策略下發(fā)及調(diào)整。在銀聯(lián)云環(huán)境中主要需要兼容OpenStack[4],使得OpenStack能夠獲取虛擬網(wǎng)絡(luò)中的各類虛擬設(shè)備(控制器、路由器、交換機(jī))信息。此外,還可以基于業(yè)務(wù)特點(diǎn)對(duì)網(wǎng)絡(luò)進(jìn)行定制,實(shí)現(xiàn)網(wǎng)絡(luò)和業(yè)務(wù)的無縫融合。

    當(dāng)前,云平臺(tái)系統(tǒng)已通過虛擬化和自動(dòng)化技術(shù)大幅提升了部署效率,但是云業(yè)務(wù)不僅需要計(jì)算和存儲(chǔ)資源,也包括網(wǎng)絡(luò)資源;物理網(wǎng)絡(luò)部署的低效率,以及其與虛擬網(wǎng)絡(luò)系統(tǒng)的割裂,日益成為云數(shù)據(jù)中心的核心矛盾。如果數(shù)據(jù)中心的虛擬網(wǎng)絡(luò)和物理網(wǎng)絡(luò)相互割裂,將在資源統(tǒng)一發(fā)放、故障聯(lián)動(dòng)診斷等方面會(huì)產(chǎn)生一系列問題,成為云業(yè)務(wù)部署效率的最大障礙。

    因此,在虛擬網(wǎng)絡(luò)與硬件網(wǎng)絡(luò)集成后,需要實(shí)現(xiàn)虛擬網(wǎng)絡(luò)和物理網(wǎng)絡(luò)相互感知,統(tǒng)一視圖,端到端統(tǒng)一管理??刂破矫婺芡瑫r(shí)獲取虛擬網(wǎng)絡(luò)和物理網(wǎng)絡(luò)的信息,以全網(wǎng)絡(luò)視角統(tǒng)一管理虛擬和物理網(wǎng)絡(luò)。當(dāng)網(wǎng)絡(luò)發(fā)生故障時(shí),不但可以及時(shí)準(zhǔn)確呈現(xiàn)出故障節(jié)點(diǎn),還能實(shí)現(xiàn)虛擬和物理網(wǎng)絡(luò)的故障聯(lián)動(dòng)運(yùn)維。

    虛擬網(wǎng)絡(luò)控制平面主要由流表和控制器構(gòu)成。在銀聯(lián)虛擬網(wǎng)絡(luò)環(huán)境中,所有虛擬網(wǎng)絡(luò)流量的轉(zhuǎn)發(fā)操作均由虛擬交換機(jī)Open vSwitch查詢流表之后完成,流表在用戶對(duì)網(wǎng)絡(luò)進(jìn)行基本配置后由控制器生成并下發(fā)保存在Open vSwitch上。

    控制器連接所有被控制交換機(jī),所有在云管理平臺(tái)對(duì)網(wǎng)絡(luò)進(jìn)行的配置操作,如創(chuàng)建網(wǎng)絡(luò)和子網(wǎng)、發(fā)放虛擬路由、虛擬防火墻與負(fù)載均衡器等,均通過控制器來最終實(shí)現(xiàn)對(duì)被控制交換機(jī)的配置。

    控制器北向通過API同OpenStack平臺(tái)相鏈接。并提供REST APIs供使用者開發(fā)兼容于虛擬網(wǎng)絡(luò)的應(yīng)用程序,來更好和個(gè)性化地控制虛擬網(wǎng)絡(luò),提供諸如安全檢測(cè)、QoS保障、訪問控制等功能??刂破鞯谋毕蜻€自帶GUI,方便用戶管理和控制虛擬網(wǎng)絡(luò)。

    控制器的南向同所有的被控制交換機(jī)相連接,包括虛擬交換機(jī)Open vSwitch和用作VXLAN網(wǎng)關(guān)的硬件交換機(jī),所有被控制交換機(jī)在連入虛擬網(wǎng)絡(luò)時(shí)通過LLDP協(xié)議在控制器上注冊(cè)。

    在進(jìn)行虛擬網(wǎng)絡(luò)控制平面設(shè)計(jì)的時(shí)候,我們主要根據(jù)控制層面需求的控制器高可用性、網(wǎng)關(guān)與接入高可用性、Neutron及OVS高可用性、防火墻與負(fù)載均衡高可用性進(jìn)行設(shè)計(jì)。

    根據(jù)圖2中控制器架構(gòu),實(shí)現(xiàn)網(wǎng)絡(luò)中控制器組件的高可用性。

    (1) 架構(gòu)中控制器為集群部署,采用浮動(dòng)IP,并且集群中的每個(gè)控制器都有一個(gè)自己的編號(hào)ID。數(shù)據(jù)層面的網(wǎng)絡(luò)設(shè)備只與控制器集群的主控制器保持一條連接。當(dāng)網(wǎng)絡(luò)中控制器集群的主節(jié)點(diǎn)出現(xiàn)故障時(shí),控制器集群檢測(cè)到主節(jié)點(diǎn)連接斷開后,向其他節(jié)點(diǎn)廣播主節(jié)點(diǎn)故障消息,集群中的ID編號(hào)最小的控制器自動(dòng)升為主控制器。

    圖2 控制器高可用性架構(gòu)

    (2) 架構(gòu)中數(shù)據(jù)層面設(shè)備與控制器之間存在主備鏈路。當(dāng)設(shè)備與控制器連接發(fā)送鏈路故障時(shí),設(shè)備與控制器之間的鏈路發(fā)送切換,重新建立連接。重新建立連接過程中,數(shù)據(jù)層面設(shè)備的流表不變,原有轉(zhuǎn)發(fā)不中斷。在新連接建立后,重新刷新數(shù)據(jù)層面設(shè)備的流表。

    根據(jù)圖2中架構(gòu)圖所示,可實(shí)現(xiàn)網(wǎng)絡(luò)中網(wǎng)關(guān)組件的高可用性。在此架構(gòu)中,兩臺(tái)VXLAN網(wǎng)關(guān)設(shè)備主備,并且兩臺(tái)設(shè)備的配置一致。網(wǎng)絡(luò)中ARP請(qǐng)求由控制器代答,無泛洪學(xué)習(xí)過程。接入設(shè)備與網(wǎng)關(guān)設(shè)備鏈路形成等價(jià)路徑,實(shí)現(xiàn)備份及負(fù)載分擔(dān)。

    根據(jù)圖2中所示,接入交換機(jī)堆疊,形成主備,實(shí)現(xiàn)接入的高可用性。接入交換機(jī)之間互連鏈路設(shè)置鏈路聚合實(shí)現(xiàn)備份和負(fù)載分擔(dān)。

    在針對(duì)Neutron及OVS高可用性需求的設(shè)計(jì)方面,我們的設(shè)計(jì)方法為:

    1) OVS及Neutron L2代理的高可用

    Open vSwitch分布在各計(jì)算節(jié)點(diǎn)上,而Neutron二層代理同樣分布在每個(gè)計(jì)算節(jié)點(diǎn)上,用以配置Open vSwitch接口,保證虛擬網(wǎng)絡(luò)的連通性;Open vSwitch及Neutron二層代理本身已經(jīng)是分布式部署,很難實(shí)現(xiàn)高可用。事實(shí)上,當(dāng)某一Open vSwitch或Neutron二層代理發(fā)生故障時(shí),會(huì)影響所在計(jì)算節(jié)點(diǎn)上虛擬機(jī)的網(wǎng)絡(luò)連通性,并不會(huì)對(duì)系統(tǒng)中其他位置的網(wǎng)絡(luò)造成影響。

    2) Neutron組件高可用

    除了二層代理,Neutron組件還包括DHCP代理、L3代理和LBaaS(負(fù)載均衡)代理,根據(jù)OpenStack官方文檔,以上代理的高可用性可通過主備方式實(shí)現(xiàn),使用Pacemaker工具作為Neutron高可用組件。

    在針對(duì)防火墻與負(fù)載均衡高可用性需求設(shè)計(jì)方面,我們的方式如下:

    1) 防火墻高可用性設(shè)計(jì)

    防火墻旁掛于VXLAN網(wǎng)關(guān),通過部署雙機(jī)熱備份進(jìn)行保護(hù)。防火墻通過虛擬化,每個(gè)虛擬路由器配置一個(gè)虛擬防火墻,并通過子接口進(jìn)行互聯(lián)。VXLAN網(wǎng)關(guān)作為業(yè)務(wù)網(wǎng)關(guān),終結(jié)VXLAN網(wǎng)絡(luò)中數(shù)據(jù)包向外傳輸,并通過控制器在網(wǎng)關(guān)上的配置策略將用戶的業(yè)務(wù)流量引至防火墻處理。控制器通過在防火墻上配置策略,用來實(shí)現(xiàn)業(yè)務(wù)的安全互訪控制。控制器通過在防火墻出接口配置默認(rèn)路由,將流量回引至虛擬路由器并處理。

    圖3 防火墻與負(fù)載均衡高可用性架構(gòu)

    2) 負(fù)載均衡高可用性設(shè)計(jì)

    負(fù)載均衡旁掛部署于VXLAN網(wǎng)關(guān)(與防火墻部署類似),也是通過部署雙機(jī)熱備份進(jìn)行保護(hù)。負(fù)載均衡通過虛擬化,每個(gè)虛擬路由器配置一個(gè)虛擬負(fù)載均衡,并且通過子接口互聯(lián)。如果業(yè)務(wù)流量有負(fù)載均衡需求,可以在虛擬負(fù)載均衡中定義負(fù)載均衡模式,將流量引入虛擬負(fù)載均衡,對(duì)流量進(jìn)行處理之后通過虛擬負(fù)載均衡配置的默認(rèn)路由將流量引至虛擬路由器。

    4.3 虛擬網(wǎng)絡(luò)數(shù)據(jù)平面分析

    數(shù)據(jù)平面實(shí)現(xiàn)邏輯視圖中的資源層部分,即虛擬交換機(jī)、物理交換機(jī)以及邊緣設(shè)備等。在銀聯(lián)虛擬網(wǎng)絡(luò)中,虛擬交換機(jī)由Open vSwitch實(shí)現(xiàn),物理交換機(jī)由傳統(tǒng)物理交換機(jī)實(shí)現(xiàn),邊緣設(shè)備由支持VXLAN與OpenFlow的網(wǎng)關(guān)設(shè)備以及旁掛的防火墻設(shè)備和負(fù)載均衡器等實(shí)現(xiàn),數(shù)據(jù)中心虛擬網(wǎng)絡(luò)使用VXLAN技術(shù)構(gòu)建。

    同一物理主機(jī)上虛擬機(jī)之間的通信不需要使用VXLAN,依然可以使用VLAN技術(shù);不同物理主機(jī)上的虛擬機(jī)通信時(shí)(同一VXLAN網(wǎng)絡(luò)),虛擬機(jī)產(chǎn)生的流會(huì)通過虛擬網(wǎng)橋br1上的VXALN接口進(jìn)行封裝,最終以UDP數(shù)據(jù)包的形式進(jìn)入物理網(wǎng)絡(luò),這里的VXLAN接口起到了VTEP的作用。

    如圖4(圖中各網(wǎng)絡(luò)元素關(guān)系見表1)所示,其通信流程為:

    (1) VM1發(fā)送ARP請(qǐng)求。

    (2) NVE1更新本地MAC轉(zhuǎn)發(fā)表。

    (3) NVE1通過流表匹配,將ARP請(qǐng)求上送AC。

    (4) AC根據(jù)目的IP,查找到VM3對(duì)應(yīng)的MAC3及NVE2,通過NVE1發(fā)送ARP相應(yīng)報(bào)文給VM1。

    (5) AC同時(shí)向NVE1下發(fā)目的地址MAC3的轉(zhuǎn)發(fā)流表,出接口為VXLAN tunnel NVE2。

    (6) VM1向VM3發(fā)送業(yè)務(wù)報(bào)文。

    (7) 報(bào)文到達(dá)NVE1后,查找MAC轉(zhuǎn)發(fā)表,找到出接口VXLAN tunnel NVE2,進(jìn)行VXLAN封裝,外層目的地址為NVE2,源地址為NVE1。

    (8) 報(bào)文根據(jù)外層IP地址進(jìn)行路由轉(zhuǎn)發(fā)到NVE2,NVE2接收?qǐng)?bào)文后,執(zhí)行VXLAN解封裝,然后本地轉(zhuǎn)發(fā)/廣播到VM3。

    圖4 同子網(wǎng)二層互訪流程

    表1 同子網(wǎng)通信網(wǎng)絡(luò)元素對(duì)應(yīng)表

    當(dāng)接入VXLAN網(wǎng)絡(luò)的虛擬機(jī)與接入非VXLAN網(wǎng)絡(luò)的虛擬機(jī)需要進(jìn)行通信時(shí),需要VXLAN網(wǎng)關(guān)的支持,所有VXLAN網(wǎng)絡(luò)上的流均能通過VXLAN網(wǎng)關(guān)進(jìn)入非VXLAN網(wǎng)絡(luò)。其訪問流程大致如下(參見圖5,圖5中各網(wǎng)絡(luò)元素關(guān)系見表2):

    (1) VM1發(fā)送ARP請(qǐng)求。

    (2) NVE1更新本地MAC轉(zhuǎn)發(fā)表。

    (3) NVE1通過流表匹配,將ARP請(qǐng)求向AC上送。

    (4) AC根據(jù)目的IP,查找到對(duì)應(yīng)的MAC5及NVE3,通過NVE1發(fā)送ARP相應(yīng)報(bào)文給VM1。

    (5) AC同時(shí)向NVE1下發(fā)目的地址MAC5的轉(zhuǎn)發(fā)流表,其出接口為VXLAN Tunnel NVE3。

    (6) VM1向VM4發(fā)送業(yè)務(wù)報(bào)文。

    (7) 報(bào)文到達(dá)NVE1后,查找MAC轉(zhuǎn)發(fā)表,找到出接口NVE3,進(jìn)行VXLAN封裝,外層目的地址為NVE3,源地址為NVE1。

    (8) 報(bào)文依據(jù)外層IP路由轉(zhuǎn)發(fā)到NVE3,NVE3收到報(bào)文后進(jìn)行VXLAN解封裝,查找路由,轉(zhuǎn)發(fā)報(bào)文至目的IP所在的網(wǎng)關(guān)NVE4;NV4查找MAC轉(zhuǎn)發(fā)表,找到出接口NVE2,進(jìn)行VXLAN封裝,外層目的地址為NVE2,源地址為NVE4。

    (9) 報(bào)文根據(jù)外層IP路由轉(zhuǎn)發(fā)到NVE2,NVE2接收?qǐng)?bào)文后,執(zhí)行VXLAN解封裝,然后本地轉(zhuǎn)發(fā)/廣播到VM4。

    圖5 跨子網(wǎng)三層互訪流程

    表2 跨子網(wǎng)通信網(wǎng)絡(luò)元素對(duì)應(yīng)表

    4.4 整體方案分析

    我們?cè)O(shè)計(jì)銀聯(lián)虛擬網(wǎng)絡(luò)架構(gòu)的原則,是根據(jù)銀聯(lián)之前虛擬網(wǎng)絡(luò)的需求進(jìn)行的。從具體的技術(shù)層面分析,我們認(rèn)為一個(gè)功能完善的虛擬網(wǎng)絡(luò)系統(tǒng)一般應(yīng)包含以下功能:

    (1) 虛擬機(jī)能夠與外網(wǎng)、物理機(jī)、其他虛擬機(jī)正常通信;

    (2) 網(wǎng)絡(luò)的虛擬化對(duì)用戶來說是透明的;

    (3) 虛擬機(jī)的IP地址可以動(dòng)態(tài)分配,與其所在物理機(jī)的位置無關(guān);

    (4) 虛擬機(jī)在遷移過程中網(wǎng)絡(luò)配置不變,主要是IP/MAC地址不變;

    (5) 虛擬網(wǎng)絡(luò)配置和管理方便;

    (6) 虛擬網(wǎng)絡(luò)要能夠方便的擴(kuò)展;

    (7) 網(wǎng)絡(luò)性能要達(dá)到一定要求;

    (8) 滿足安全需求,能夠?qū)崿F(xiàn)不同用戶在網(wǎng)絡(luò)上的相互隔離。

    根據(jù)以上的原則出發(fā),在我們完成設(shè)計(jì)任務(wù)的時(shí)候,我們認(rèn)為整體設(shè)計(jì)方案基本達(dá)到了以下目的:

    (1) 能夠自定義虛擬機(jī)之間的訪問規(guī)則,控制虛擬機(jī)之間通信;

    (2) 整個(gè)系統(tǒng)的各個(gè)功能模塊有清晰的職責(zé)界限;

    (3) 能夠通過使用VLAN tag或VXLAN來隔離多租戶子網(wǎng)。

    4.5 總 結(jié)

    銀聯(lián)的云網(wǎng)絡(luò)服務(wù)構(gòu)建了一個(gè)安全的云平臺(tái)網(wǎng)絡(luò)環(huán)境,通過云平臺(tái)管理系統(tǒng)可以完全掌握銀聯(lián)金融私有云平臺(tái)網(wǎng)絡(luò)資源,包括選擇自有IP地址范圍、劃分網(wǎng)段等。此外也可以通過互聯(lián)網(wǎng)/專線/VPN等連接方式連接至銀聯(lián)私有云平臺(tái)[2]。

    通過創(chuàng)新性的云計(jì)算組織溝通機(jī)制,將大量計(jì)算資源組織起來,協(xié)同工作,資源個(gè)體可進(jìn)可出,收縮自如,減少組織內(nèi)的溝通損耗;當(dāng)組織內(nèi)個(gè)體情況發(fā)生變化時(shí),可以及時(shí)查知信息,確保資源額變化實(shí)時(shí)反映在系統(tǒng)性能上,做到動(dòng)態(tài)感知;并同時(shí)平衡各節(jié)點(diǎn)的壓力,做到動(dòng)態(tài)負(fù)載均衡。同時(shí),用戶無需關(guān)心底層的實(shí)現(xiàn)方式,只需要專注于上層的業(yè)務(wù)邏輯。

    通過基于SDN的虛擬網(wǎng)絡(luò)架構(gòu)來構(gòu)建新的虛擬網(wǎng)絡(luò)相對(duì)于之前的金融云平臺(tái)的虛擬網(wǎng)絡(luò)架構(gòu)來具有以下幾個(gè)方面的優(yōu)勢(shì):

    ? 網(wǎng)絡(luò)虛擬化能大幅度節(jié)省企業(yè)的開銷,一般只需要一個(gè)物理網(wǎng)絡(luò)即可滿足服務(wù)要求。而基于SDN的網(wǎng)絡(luò)架構(gòu)進(jìn)一步節(jié)省了企業(yè)的開銷。

    ? 相對(duì)于之前的網(wǎng)絡(luò)架構(gòu),新的網(wǎng)絡(luò)架構(gòu)簡(jiǎn)化了企業(yè)網(wǎng)絡(luò)的運(yùn)維和管理。

    ? 提高了網(wǎng)絡(luò)的安全性。之前的虛擬網(wǎng)絡(luò)架構(gòu)很難做到安全策略的統(tǒng)一和協(xié)調(diào)。在新的網(wǎng)絡(luò)架構(gòu)下,通過控制層面的統(tǒng)一管理,整個(gè)網(wǎng)絡(luò)的安全策略得到了很好的統(tǒng)一與協(xié)調(diào)。

    ? 提升了網(wǎng)絡(luò)和業(yè)務(wù)的可靠性。由于新的網(wǎng)絡(luò)架構(gòu)中對(duì)高可用性的設(shè)計(jì),當(dāng)集群中的一些小的設(shè)備出現(xiàn)故障時(shí),整體的業(yè)務(wù)系統(tǒng)不會(huì)有任何的影響。

    通過以上對(duì)基于SDN的金融云試驗(yàn)平臺(tái)虛擬網(wǎng)絡(luò)架構(gòu)的敘述,我們認(rèn)為我們?cè)O(shè)計(jì)的網(wǎng)絡(luò)架構(gòu)模型滿足了新的需求,并且對(duì)整體的業(yè)務(wù)和網(wǎng)絡(luò)的性能、功能都有了很大的提升,是一種比較好的解決方案。

    5 結(jié) 語

    以上為銀聯(lián)電子商務(wù)與電子支付國(guó)家工程實(shí)驗(yàn)室在金融云平臺(tái)虛擬網(wǎng)絡(luò)領(lǐng)域的初步研究與設(shè)計(jì),未來我們正計(jì)劃基于現(xiàn)有研究成果,在銀聯(lián)環(huán)境內(nèi)搭建基于軟件定義網(wǎng)絡(luò)的下一代金融云平臺(tái)。該環(huán)境目標(biāo)是對(duì)外向銀行、證券、保險(xiǎn)以及第三方金融機(jī)構(gòu)就未來金融領(lǐng)域聯(lián)合創(chuàng)新提供開放的、共享的服務(wù)平臺(tái),對(duì)內(nèi)向總/分/子公司提供技術(shù)先進(jìn)、響應(yīng)迅速的業(yè)務(wù)創(chuàng)新試驗(yàn)場(chǎng)。

    在該環(huán)境中,我們將重點(diǎn)解決現(xiàn)有軟件定義網(wǎng)絡(luò)技術(shù)綁定單一廠商的問題,同時(shí)可有效利用現(xiàn)有非SDN的網(wǎng)絡(luò)設(shè)備,兼容軟硬件、開源商業(yè)形態(tài)的解決方案并存共融,利用X86容錯(cuò)機(jī)、DBDK等技術(shù)提升SDN網(wǎng)絡(luò)可用性與性能,研發(fā)出多種符合金融特色網(wǎng)絡(luò)應(yīng)用功能模型。并探索出一套符合金融行業(yè)SDN網(wǎng)絡(luò)的測(cè)試評(píng)估方案,在對(duì)銀聯(lián)金融云環(huán)境進(jìn)行實(shí)踐評(píng)測(cè)優(yōu)化后,功能性、可用性、安全性、擴(kuò)展性、管理性依據(jù)金融行業(yè)標(biāo)準(zhǔn)得到有效驗(yàn)證后,向銀聯(lián)生產(chǎn)云進(jìn)行推廣應(yīng)用。

    [1] Koponen T, Amidon K, Balland P, et al. Network virtualization in multi-tenant datacenters[C]// Usenix Conference on Networked Systems Design and Implementation. USENIX Association, 2014:203-216.

    [2] 銀聯(lián)基于OpenStack的金融私有云建設(shè)實(shí)踐[EB/OL].[2015].http://www.csdn.net/article/2015-10-06/2825 848.

    [3] Jain R, Paul S. Network virtualization and software defined networking for cloud computing: a survey[J]. Communications Magazine, IEEE, 2013, 51(11): 24-31.

    [4] OpenStack[EB/OL].[2015]. http://docs.openstack.org.

    [5] Mahalingam M, Dutt D, Duda K, et al. Virtual extensible local area network (VXLAN): A framework for overlaying virtualized layer 2 networks over layer 3 networks[J]. Internet Req. Comments, 2014.

    [6] Mckeown N, Anderson T, Balakrishnan H, et al. OpenFlow: enabling innovation in campus networks[J]. Acm Sigcomm Computer Communication Review, 2008, 38(2):69-74.

    [7] OpenFlow[EB/OL].[2015]. http://www.openflow.org/.

    [8] Erickson D. The beacon openflow controller[C]// ACM SIGCOMM Workshop on Hot Topics in Software Defined NETWORKING. ACM, 2013:13-18.

    [9] Vanbever L, Reich J, Benson T, et al. HotSwap: correct and efficient controller upgrades for software-defined networks[C]// Proceedings of the Second Acm Sigcomm Workshop on Hot Topics in Software Defined Networking, 2013:133-138.

    [10] Schmid S, Suomela J. Exploiting locality in distributed SDN control[C]// ACM SIGCOMM Workshop on Hot Topics in Software Defined NETWORKING. ACM, 2013:121-126.

    [11] Dixit A, Hao F, Mukherjee S, et al. Towards an elastic distributed SDN controller[J]. Acm Sigcomm Computer Communication Review, 2013, 43(4):7-12.

    [12] Mekky H, Hao F, Mukherjee S, et al. Application-aware data plane processing in SDN[C]// The Workshop on Hot Topics in Software Defined NETWORKING. ACM, 2014:13-18.

    [13] Fayaz S K, Sekar V. Testing stateful and dynamic data planes with FlowTest[C]// The Workshop on Hot Topics in Software Defined NETWORKING. ACM, 2014:79-84.

    [14] Berde P, Gerola M, Hart J, et al. ONOS: towards an open, distributed SDN OS[C]// The Workshop on Hot Topics in Software Defined NETWORKING. ACM, 2014:1-6.

    [15] Al-Shabibi A, De Leenheer M, Gerola M, et al. OpenVirteX: make your virtual SDNs programmable[C]// The Workshop on Hot Topics in Software Defined NETWORKING. ACM, 2014:25-30.

    RESEARCH ON VIRTUAL NETWORK OF FINANCIAL CLOUD TEST PLATFORM BASED ON SDN

    Zu Lijun1Du Xuekai2Zhou Yongkai1Liu Guobao1Yang Yang1Wu Jie2Wu Chengrong2

    1(NationalEngineeringLaboratoryforElectronicCommerceandElectronicPayment,ChinaUnionPayElectronicPaymentResearchInstitute,Shanghai201201,China)2(FudanUniversity,Shanghai200433,China)

    The current SDN network is being studied by many research institutions and tested by many companies to test. The SDN network separates the control layer and the data layer in the traditional network architecture, making the network architecture become very simple, and more applications can be realized by using the north interface provided by the control layer, which simplifies the network management. This paper discussed the development and future trend of SDN, briefly introduced the SDN-based financial cloud test platform of China UnionPay Electronic Payment Research Institute, also analyzed and discussed this experimental virtual network.

    Software-defined network Control layer Data layer Financial cloud China UnionPay

    2016-02-05。國(guó)家云計(jì)算示范工程項(xiàng)目(C73623989020220110006)。祖立軍,工程師,主研領(lǐng)域:云計(jì)算與電子支付技術(shù)。杜學(xué)凱,碩士。周雍愷,碩士。劉國(guó)寶,碩士。楊陽,碩士。吳杰,博士。吳承榮,博士。

    TP3

    A

    10.3969/j.issn.1000-386x.2017.06.026

    猜你喜歡
    租戶網(wǎng)關(guān)交換機(jī)
    基于改進(jìn)RPS技術(shù)的IPSEC VPN網(wǎng)關(guān)設(shè)計(jì)
    修復(fù)損壞的交換機(jī)NOS
    使用鏈路聚合進(jìn)行交換機(jī)互聯(lián)
    基于MVC模式的多租戶portlet應(yīng)用研究*
    LTE Small Cell網(wǎng)關(guān)及虛擬網(wǎng)關(guān)技術(shù)研究
    應(yīng)對(duì)氣候變化需要打通“網(wǎng)關(guān)”
    太陽能(2015年7期)2015-04-12 06:49:50
    PoE交換機(jī)雷擊浪涌防護(hù)設(shè)計(jì)
    租戶是大爺
    特別文摘(2014年17期)2014-09-18 01:31:21
    一種實(shí)時(shí)高效的伺服控制網(wǎng)關(guān)設(shè)計(jì)
    羅克韋爾自動(dòng)化交換機(jī)Allen-Bradley ArmorStratix 5700
    91久久精品电影网| 国产伦精品一区二区三区四那| 久久久久久久大尺度免费视频| 在线观看www视频免费| 久久99热这里只频精品6学生| 免费av中文字幕在线| 色婷婷av一区二区三区视频| 看非洲黑人一级黄片| 波野结衣二区三区在线| 伦精品一区二区三区| a级片在线免费高清观看视频| 国产成人午夜福利电影在线观看| 亚洲精华国产精华液的使用体验| 内地一区二区视频在线| 晚上一个人看的免费电影| 美女福利国产在线| 国产熟女午夜一区二区三区 | 嘟嘟电影网在线观看| 91在线精品国自产拍蜜月| 少妇人妻 视频| 你懂的网址亚洲精品在线观看| 欧美一级a爱片免费观看看| 国产精品一区www在线观看| 久久ye,这里只有精品| 欧美日韩在线观看h| 五月开心婷婷网| 一个人免费看片子| 国产黄色视频一区二区在线观看| 97在线视频观看| 黑人高潮一二区| 国产一区二区三区综合在线观看 | 如日韩欧美国产精品一区二区三区 | 久久人妻熟女aⅴ| 日韩在线高清观看一区二区三区| 极品教师在线视频| 丰满少妇做爰视频| 夫妻午夜视频| 美女主播在线视频| 国产精品久久久久久久电影| 亚洲丝袜综合中文字幕| 一级av片app| 一级毛片我不卡| 国产一区亚洲一区在线观看| 欧美亚洲 丝袜 人妻 在线| 亚洲精品亚洲一区二区| 国产无遮挡羞羞视频在线观看| 99久久中文字幕三级久久日本| 成人毛片a级毛片在线播放| a级片在线免费高清观看视频| 久久精品国产亚洲av天美| 热99国产精品久久久久久7| 国产视频首页在线观看| 欧美bdsm另类| 国产精品久久久久久久电影| 97超碰精品成人国产| 久久久久久人妻| 麻豆成人午夜福利视频| 黄色怎么调成土黄色| 成人国产av品久久久| 国产一区二区三区av在线| 精品酒店卫生间| 青春草视频在线免费观看| 久热久热在线精品观看| 亚洲精品国产av成人精品| 精品一区在线观看国产| 日本色播在线视频| 国产精品不卡视频一区二区| 99热全是精品| 精品少妇内射三级| 国内少妇人妻偷人精品xxx网站| 国产成人精品一,二区| 国模一区二区三区四区视频| 激情五月婷婷亚洲| 视频区图区小说| 美女大奶头黄色视频| 久久久久国产网址| 精品久久久噜噜| 丝袜在线中文字幕| 亚洲人成网站在线播| 精品国产国语对白av| av天堂久久9| 亚洲av男天堂| 国产极品天堂在线| 欧美区成人在线视频| 中国美白少妇内射xxxbb| 中文字幕人妻熟人妻熟丝袜美| 久久精品国产亚洲网站| 成人无遮挡网站| 久久综合国产亚洲精品| 亚洲精品乱久久久久久| av播播在线观看一区| 精品国产露脸久久av麻豆| a级片在线免费高清观看视频| 国产色爽女视频免费观看| 麻豆乱淫一区二区| 亚洲综合精品二区| 青青草视频在线视频观看| 午夜久久久在线观看| 少妇人妻 视频| 免费高清在线观看视频在线观看| 国产高清不卡午夜福利| 欧美老熟妇乱子伦牲交| 观看免费一级毛片| 国产无遮挡羞羞视频在线观看| 日韩亚洲欧美综合| 亚洲,一卡二卡三卡| av一本久久久久| 日韩大片免费观看网站| 午夜av观看不卡| av网站免费在线观看视频| 色94色欧美一区二区| 人妻一区二区av| 久久国产精品男人的天堂亚洲 | 日产精品乱码卡一卡2卡三| 欧美最新免费一区二区三区| 亚洲国产精品999| 午夜免费男女啪啪视频观看| 国产亚洲av片在线观看秒播厂| 久久99热6这里只有精品| 国产精品嫩草影院av在线观看| 久久国产亚洲av麻豆专区| 男女国产视频网站| 亚洲av福利一区| 日本wwww免费看| 街头女战士在线观看网站| 我的老师免费观看完整版| 黑丝袜美女国产一区| 亚洲,欧美,日韩| 少妇的逼水好多| 日本与韩国留学比较| 大香蕉久久网| 欧美老熟妇乱子伦牲交| 免费人成在线观看视频色| 亚洲美女搞黄在线观看| 男人狂女人下面高潮的视频| 国产69精品久久久久777片| 日韩 亚洲 欧美在线| 人妻人人澡人人爽人人| 亚洲,一卡二卡三卡| 在线观看美女被高潮喷水网站| 国国产精品蜜臀av免费| 亚洲av福利一区| 日韩大片免费观看网站| 日本wwww免费看| 少妇丰满av| 汤姆久久久久久久影院中文字幕| 在线天堂最新版资源| 在线观看人妻少妇| 伊人久久国产一区二区| 99热这里只有精品一区| 妹子高潮喷水视频| 国产乱来视频区| 99热6这里只有精品| 国产黄色视频一区二区在线观看| 中文乱码字字幕精品一区二区三区| 人妻人人澡人人爽人人| 久久精品国产亚洲网站| 国产精品99久久99久久久不卡 | 熟女电影av网| av.在线天堂| 国产av精品麻豆| 夫妻性生交免费视频一级片| 国产白丝娇喘喷水9色精品| 夫妻性生交免费视频一级片| 亚洲av二区三区四区| 久久久久久久久久久免费av| av有码第一页| 性高湖久久久久久久久免费观看| 国产在线视频一区二区| 高清视频免费观看一区二区| 色5月婷婷丁香| 久久av网站| 亚洲欧美日韩东京热| 免费看光身美女| 内射极品少妇av片p| 大话2 男鬼变身卡| 日韩av不卡免费在线播放| 午夜福利在线观看免费完整高清在| 人体艺术视频欧美日本| 黑丝袜美女国产一区| 99视频精品全部免费 在线| 九九在线视频观看精品| 国产av码专区亚洲av| 欧美区成人在线视频| av.在线天堂| 人妻夜夜爽99麻豆av| 国产免费一级a男人的天堂| 午夜福利网站1000一区二区三区| 亚洲av日韩在线播放| av网站免费在线观看视频| 22中文网久久字幕| 男女边摸边吃奶| 这个男人来自地球电影免费观看 | 麻豆精品久久久久久蜜桃| 在线观看www视频免费| 国产爽快片一区二区三区| 99久久人妻综合| 国产日韩欧美亚洲二区| 丝袜喷水一区| 精品亚洲成国产av| 久久国产精品男人的天堂亚洲 | 五月玫瑰六月丁香| 一级片'在线观看视频| 多毛熟女@视频| 亚洲国产精品一区三区| 天美传媒精品一区二区| 啦啦啦视频在线资源免费观看| 美女内射精品一级片tv| 免费观看的影片在线观看| 久久久久网色| 在线免费观看不下载黄p国产| 久久99热6这里只有精品| 嘟嘟电影网在线观看| 九九爱精品视频在线观看| 中文字幕人妻熟人妻熟丝袜美| 久久鲁丝午夜福利片| 美女大奶头黄色视频| 亚洲精品,欧美精品| 日韩伦理黄色片| 亚洲国产精品专区欧美| 在线观看三级黄色| 九色成人免费人妻av| av一本久久久久| 亚洲欧洲精品一区二区精品久久久 | 亚洲精品国产av成人精品| 亚洲国产色片| 日本黄色片子视频| 在线亚洲精品国产二区图片欧美 | 女的被弄到高潮叫床怎么办| 免费黄网站久久成人精品| 国产色爽女视频免费观看| 成人午夜精彩视频在线观看| 久久久欧美国产精品| 99精国产麻豆久久婷婷| av在线观看视频网站免费| 看非洲黑人一级黄片| 日韩大片免费观看网站| √禁漫天堂资源中文www| 少妇裸体淫交视频免费看高清| 免费av中文字幕在线| 亚洲伊人久久精品综合| 五月玫瑰六月丁香| 夫妻午夜视频| 最新中文字幕久久久久| 日韩不卡一区二区三区视频在线| 纵有疾风起免费观看全集完整版| 亚洲精品,欧美精品| 亚洲av成人精品一二三区| 亚洲国产欧美在线一区| 亚洲av电影在线观看一区二区三区| 高清不卡的av网站| 我要看黄色一级片免费的| 亚洲精品成人av观看孕妇| 亚洲人成网站在线播| 国产免费又黄又爽又色| 亚洲精品一二三| 黄色日韩在线| 精品国产乱码久久久久久小说| 菩萨蛮人人尽说江南好唐韦庄| 中文精品一卡2卡3卡4更新| 99九九线精品视频在线观看视频| 热re99久久国产66热| 丝袜脚勾引网站| 特大巨黑吊av在线直播| 国产一区有黄有色的免费视频| 18+在线观看网站| 亚洲经典国产精华液单| 久久国产精品大桥未久av | 国语对白做爰xxxⅹ性视频网站| 欧美xxxx性猛交bbbb| 中文字幕亚洲精品专区| 夜夜爽夜夜爽视频| 久久精品国产亚洲av涩爱| 免费观看av网站的网址| 国产黄频视频在线观看| 国产成人免费观看mmmm| 国产亚洲午夜精品一区二区久久| 亚洲精品久久午夜乱码| 在现免费观看毛片| 热re99久久精品国产66热6| 亚洲国产日韩一区二区| 久久人妻熟女aⅴ| 91aial.com中文字幕在线观看| 国产精品国产三级国产av玫瑰| av天堂久久9| 一级毛片我不卡| 色视频www国产| videos熟女内射| 欧美激情国产日韩精品一区| 亚洲欧美精品自产自拍| 少妇人妻一区二区三区视频| 黑人高潮一二区| av国产精品久久久久影院| 国产淫片久久久久久久久| 国产精品蜜桃在线观看| 久久国产精品男人的天堂亚洲 | 美女xxoo啪啪120秒动态图| 国产在视频线精品| 日本黄色片子视频| 成人美女网站在线观看视频| 内射极品少妇av片p| 国产女主播在线喷水免费视频网站| 欧美日韩精品成人综合77777| 91久久精品国产一区二区成人| 简卡轻食公司| 亚洲国产成人一精品久久久| 精品亚洲成a人片在线观看| 欧美激情国产日韩精品一区| 久久99一区二区三区| 视频区图区小说| 久久午夜综合久久蜜桃| 国产精品久久久久成人av| 亚洲成人一二三区av| 中文字幕久久专区| 性高湖久久久久久久久免费观看| 亚洲精品乱码久久久久久按摩| 草草在线视频免费看| 久久午夜综合久久蜜桃| 色婷婷久久久亚洲欧美| 特大巨黑吊av在线直播| 免费看不卡的av| 亚洲欧美精品自产自拍| 日韩精品有码人妻一区| 国产日韩一区二区三区精品不卡 | 少妇人妻久久综合中文| 观看美女的网站| 国产美女午夜福利| 成人美女网站在线观看视频| 国产亚洲精品久久久com| 晚上一个人看的免费电影| 午夜免费男女啪啪视频观看| 日本-黄色视频高清免费观看| 69精品国产乱码久久久| 日韩强制内射视频| 女性被躁到高潮视频| 精品亚洲乱码少妇综合久久| 亚洲久久久国产精品| 一级,二级,三级黄色视频| 色吧在线观看| 毛片一级片免费看久久久久| 秋霞在线观看毛片| 男人添女人高潮全过程视频| 老司机影院毛片| 26uuu在线亚洲综合色| 亚洲av电影在线观看一区二区三区| av女优亚洲男人天堂| 久久久国产欧美日韩av| h日本视频在线播放| 观看av在线不卡| 美女xxoo啪啪120秒动态图| 免费黄色在线免费观看| 亚洲av成人精品一区久久| www.av在线官网国产| 黄片无遮挡物在线观看| 久久国产亚洲av麻豆专区| 热re99久久精品国产66热6| 国产欧美日韩精品一区二区| 免费观看在线日韩| 极品人妻少妇av视频| 黄色毛片三级朝国网站 | 久久久久久久久久久久大奶| 女人精品久久久久毛片| 精品少妇内射三级| 中文字幕亚洲精品专区| 一个人看视频在线观看www免费| 一级,二级,三级黄色视频| 国产一区亚洲一区在线观看| 一级毛片我不卡| 亚洲av在线观看美女高潮| 五月开心婷婷网| 国产欧美日韩综合在线一区二区 | 97精品久久久久久久久久精品| 亚洲国产毛片av蜜桃av| 国产精品.久久久| 看非洲黑人一级黄片| 啦啦啦中文免费视频观看日本| 亚洲欧美中文字幕日韩二区| 成人美女网站在线观看视频| 伊人久久精品亚洲午夜| 国产成人精品婷婷| 国产 精品1| 精品一品国产午夜福利视频| 两个人的视频大全免费| 国产成人精品婷婷| 女性被躁到高潮视频| 夜夜爽夜夜爽视频| 高清黄色对白视频在线免费看 | 乱人伦中国视频| av天堂中文字幕网| www.色视频.com| 一本久久精品| 新久久久久国产一级毛片| 成人亚洲欧美一区二区av| 国产成人91sexporn| 亚洲国产最新在线播放| 涩涩av久久男人的天堂| 夜夜看夜夜爽夜夜摸| 97超视频在线观看视频| 最近手机中文字幕大全| 午夜影院在线不卡| 国产免费一级a男人的天堂| 国产男女内射视频| 国产黄色视频一区二区在线观看| 国产淫语在线视频| 久久热精品热| 久久影院123| 国产精品伦人一区二区| 黄色日韩在线| 各种免费的搞黄视频| 国产精品嫩草影院av在线观看| 夜夜爽夜夜爽视频| 欧美精品人与动牲交sv欧美| 一级毛片电影观看| 久久精品夜色国产| 国产毛片在线视频| 午夜日本视频在线| 偷拍熟女少妇极品色| 晚上一个人看的免费电影| 看十八女毛片水多多多| 日日撸夜夜添| 人妻人人澡人人爽人人| 欧美一级a爱片免费观看看| 中文天堂在线官网| 久久久久人妻精品一区果冻| 亚洲av综合色区一区| 国产精品.久久久| 女人精品久久久久毛片| 一本一本综合久久| av视频免费观看在线观看| 免费人妻精品一区二区三区视频| 日本爱情动作片www.在线观看| 午夜精品国产一区二区电影| 国产av码专区亚洲av| 大片电影免费在线观看免费| 亚洲欧美一区二区三区国产| 日日摸夜夜添夜夜添av毛片| 日韩中字成人| a 毛片基地| 国产精品一区二区在线观看99| 中国三级夫妇交换| 欧美日韩av久久| 中文资源天堂在线| 99热国产这里只有精品6| 一区二区三区乱码不卡18| 男女无遮挡免费网站观看| 亚洲精品久久久久久婷婷小说| 啦啦啦中文免费视频观看日本| 久久精品国产鲁丝片午夜精品| 国产免费福利视频在线观看| 狂野欧美激情性xxxx在线观看| 久热久热在线精品观看| 成人亚洲欧美一区二区av| 日韩av免费高清视频| 建设人人有责人人尽责人人享有的| 看免费成人av毛片| 最近最新中文字幕免费大全7| 丝袜脚勾引网站| 99re6热这里在线精品视频| 精品一区二区免费观看| 国产淫片久久久久久久久| 久久狼人影院| 男女免费视频国产| 97在线视频观看| 欧美日韩亚洲高清精品| 亚洲成人av在线免费| 97在线视频观看| 国产欧美日韩一区二区三区在线 | 成年人免费黄色播放视频 | 在线观看免费高清a一片| 国产乱来视频区| 国产午夜精品一二区理论片| 深夜a级毛片| 噜噜噜噜噜久久久久久91| 麻豆精品久久久久久蜜桃| 国产黄片美女视频| 国产男女内射视频| 久久久久久久大尺度免费视频| 日本-黄色视频高清免费观看| 亚洲欧洲精品一区二区精品久久久 | 亚洲精品一区蜜桃| 91久久精品电影网| av在线播放精品| 成人综合一区亚洲| 国产 一区精品| 大香蕉97超碰在线| 亚洲,欧美,日韩| 亚洲一级一片aⅴ在线观看| 麻豆乱淫一区二区| 99精国产麻豆久久婷婷| 国产高清国产精品国产三级| 99久久人妻综合| 午夜日本视频在线| av国产久精品久网站免费入址| 国产午夜精品一二区理论片| 亚洲欧美成人综合另类久久久| 乱系列少妇在线播放| 女人久久www免费人成看片| 九色成人免费人妻av| 中文字幕制服av| 22中文网久久字幕| 精品少妇内射三级| kizo精华| 亚洲一级一片aⅴ在线观看| 日本黄色片子视频| 国产免费福利视频在线观看| 黄色怎么调成土黄色| 精品一区二区三卡| 久久久久精品久久久久真实原创| 黄色视频在线播放观看不卡| 色94色欧美一区二区| a级毛片免费高清观看在线播放| 亚洲精品乱码久久久v下载方式| 亚洲精品自拍成人| 一本久久精品| 一个人看视频在线观看www免费| 各种免费的搞黄视频| 如何舔出高潮| 久久免费观看电影| 王馨瑶露胸无遮挡在线观看| 国产伦理片在线播放av一区| 亚洲自偷自拍三级| 狠狠精品人妻久久久久久综合| 日韩av不卡免费在线播放| 最后的刺客免费高清国语| 亚洲在久久综合| 国产亚洲午夜精品一区二区久久| 精品亚洲乱码少妇综合久久| 91aial.com中文字幕在线观看| 亚洲精品日本国产第一区| h日本视频在线播放| 99九九线精品视频在线观看视频| 日本欧美视频一区| 草草在线视频免费看| 久久99热6这里只有精品| 大话2 男鬼变身卡| 好男人视频免费观看在线| 国产毛片在线视频| 一级a做视频免费观看| av在线app专区| 精品久久久久久久久亚洲| 少妇 在线观看| 亚洲欧美精品自产自拍| 精品少妇内射三级| 在线精品无人区一区二区三| 多毛熟女@视频| 又黄又爽又刺激的免费视频.| 精品国产乱码久久久久久小说| 国产乱来视频区| 男的添女的下面高潮视频| 日韩 亚洲 欧美在线| 日本免费在线观看一区| 国产高清有码在线观看视频| 国产成人午夜福利电影在线观看| 大码成人一级视频| 久久精品国产a三级三级三级| 少妇人妻一区二区三区视频| 在线免费观看不下载黄p国产| 国产成人精品久久久久久| 久久午夜福利片| 五月开心婷婷网| 人人妻人人添人人爽欧美一区卜| 少妇被粗大的猛进出69影院 | 亚洲综合精品二区| h日本视频在线播放| 黄色怎么调成土黄色| 熟女av电影| 久久久精品94久久精品| 日韩电影二区| 18禁裸乳无遮挡动漫免费视频| 久久久久久久久久久丰满| 精品国产乱码久久久久久小说| 另类精品久久| 蜜臀久久99精品久久宅男| 最近2019中文字幕mv第一页| 国产免费一级a男人的天堂| 国产亚洲精品久久久com| 国产av码专区亚洲av| 亚洲高清免费不卡视频| 亚洲中文av在线| 中文字幕av电影在线播放| 精品少妇黑人巨大在线播放| 美女xxoo啪啪120秒动态图| 另类亚洲欧美激情| 免费av中文字幕在线| 午夜免费观看性视频| 在线观看美女被高潮喷水网站| 国产又色又爽无遮挡免| 丰满乱子伦码专区| 99久久精品一区二区三区| 一边亲一边摸免费视频| 夜夜爽夜夜爽视频| 亚洲自偷自拍三级| 午夜影院在线不卡| 国产一区亚洲一区在线观看| 免费黄频网站在线观看国产| 亚洲怡红院男人天堂| 亚洲图色成人| 亚洲伊人久久精品综合| 久久精品国产鲁丝片午夜精品| 草草在线视频免费看| av线在线观看网站| 精品久久久久久电影网| 亚洲av在线观看美女高潮| 国产一区二区在线观看av| 亚洲精品一区蜜桃| 女人精品久久久久毛片| 免费观看性生交大片5| 美女脱内裤让男人舔精品视频| 丰满少妇做爰视频| 国产av码专区亚洲av| 一本大道久久a久久精品| 天堂中文最新版在线下载| 免费观看的影片在线观看| 在线看a的网站| 成年人午夜在线观看视频|