• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    從NFV概念驗證邁向部署
    ——不犧牲可預(yù)測性的同時實現(xiàn)敏捷性

    2016-09-06 01:20:26思博倫通信
    信息通信技術(shù)與政策 2016年2期
    關(guān)鍵詞:網(wǎng)絡(luò)服務(wù)測試方法實例

    思博倫通信

    思博倫技術(shù)專欄

    從NFV概念驗證邁向部署
    ——不犧牲可預(yù)測性的同時實現(xiàn)敏捷性

    思博倫通信

    編者按:要想與市場的速度保持同步,服務(wù)商需要實現(xiàn)其設(shè)備的標準化,使這些設(shè)備能夠以遠程和/或自動的方式將軟件鏡像加載到設(shè)備上,從而為任何需要的網(wǎng)絡(luò)功能(NF)提供服務(wù)。同時,為了保持贏利能力,設(shè)備應(yīng)當能夠在虛擬機(VM)中運行所需網(wǎng)絡(luò)功能的多個實例景。這一概念便是所謂的網(wǎng)絡(luò)功能虛擬化(NFV)。思博倫通信的《從NFV概念驗證邁向部署》一文從NFV概念驗證邁向部署進行了詳細地分析和研究,并給出思博倫虛擬化測試解決方案。無論是虛擬網(wǎng)絡(luò)還是物理網(wǎng)絡(luò),思博倫都是驗證網(wǎng)絡(luò)性能、可用性、擴展能力和安全性方面的全球領(lǐng)導(dǎo)者。SDN/NFV測試和部署挑戰(zhàn)所示,思博倫的解決方案能夠解決人們所關(guān)心的所有領(lǐng)域,包括移動性數(shù)據(jù)中心和接入邊緣等。

    1 網(wǎng)絡(luò)是真正的障礙

    對于網(wǎng)絡(luò)運營商而言,當前的市場推動力量主要體現(xiàn)在永遠在線、永遠連接的一代消費者對網(wǎng)絡(luò)的期望之中。今天的用戶期待的是不受阻礙的移動性、無縫的可用性、無需等待的快速響應(yīng)以及無限的應(yīng)用和內(nèi)容選擇權(quán)。

    到2018年,固定寬帶的連接速率可望達到42Mbit/s,比2013年的速率提高2.6倍;到2019年時,全球?qū)⒂?2億移動用戶和114億臺移動設(shè)備。

    在這樣的環(huán)境下,服務(wù)商必須敏銳維持贏利能力,需要迅速推出各種服務(wù)來滿足市場的需求,同時還要通過供應(yīng)、監(jiān)測和維護方面的自動化來壓低運營支出。

    好消息是,每位用戶的成本正在下降;壞消息是,從每位用戶獲得的年收入下降得更快。據(jù)一些分析師稱,如果服務(wù)商無法找到改變上述某一條或兩條下滑軌跡曲線的辦法,這個行業(yè)到2017年時將無利潤可言(見圖1)。

    傳統(tǒng)的網(wǎng)絡(luò)會限制服務(wù)商通過新服務(wù)產(chǎn)品對市場需求迅速做出反應(yīng)的能力,這樣的網(wǎng)絡(luò)中包含數(shù)以千計的專用私有硬件設(shè)備,如路由器、會話邊界控制器、寬帶遠程訪問服務(wù)器、防火墻、深層包檢測設(shè)備、廣域網(wǎng)加速器、無線電接入網(wǎng)絡(luò)節(jié)點等。在多數(shù)情況下,每當發(fā)布新的服務(wù)時都必須投入大量的資本去添置更多的私有硬件設(shè)備,而且在供應(yīng)和維護新服務(wù)的運營中也需要投入同樣巨大的資金。

    當現(xiàn)有網(wǎng)絡(luò)中的投資還沒有以按期分攤的方式完全收回時,在新基礎(chǔ)設(shè)施中進一步投資便很難成為可行的商業(yè)做法,這種優(yōu)柔寡斷造成的困局會阻礙服務(wù)商對市場做出快速響應(yīng)的能力,延緩新服務(wù)和特性的開發(fā)和部署。

    圖1 行業(yè)下滑軌跡曲線示意圖

    2 NFV和SDN帶來的希望

    要想與市場的速度保持同步,服務(wù)商需要實現(xiàn)其設(shè)備的標準化,使這些設(shè)備能夠以遠程和/或自動的方式將軟件鏡像加載到設(shè)備上,從而為任何需要的網(wǎng)絡(luò)功能(NF)提供服務(wù)。同時,為了保持贏利能力,設(shè)備應(yīng)當能夠在虛擬機(VM)中運行所需網(wǎng)絡(luò)功能的多個實例。

    這一概念便是所謂的網(wǎng)絡(luò)功能虛擬化(NFV)。作為在IT世界中廣泛使用的成熟技術(shù),虛擬化將使網(wǎng)絡(luò)超越那種在不靈活、私有、專用硬件上搭建起來的傳統(tǒng)黑盒子基礎(chǔ)設(shè)施,是一項改變贏利能力的偉大創(chuàng)新。

    相比之下,虛擬化存在于適用性極高且敏捷靈活的軟件世界中,并且運行在多處理器核心的強大CPU上。在聯(lián)網(wǎng)的世界中,虛擬化的目標是將一系列的傳統(tǒng)網(wǎng)絡(luò)組件,合并到數(shù)據(jù)中心、網(wǎng)絡(luò)節(jié)點和終端用戶等場所內(nèi)符合行業(yè)標準的高容量服務(wù)器、交換機和存儲設(shè)備上。這些網(wǎng)絡(luò)功能可以根據(jù)需要在網(wǎng)絡(luò)中的多個位置實現(xiàn)實例化,且不需要安裝新的設(shè)備,因此提供改變贏利能力所需的極具彈性的規(guī)模。

    NFV為服務(wù)商提供了創(chuàng)建敏捷開發(fā)和部署環(huán)境所需的巨大靈活性,而這些都是滿足市場期望所必不可少的。此外,支持虛擬化網(wǎng)絡(luò)的硬件也是相對比較廉價的標準化白盒子平臺,為實現(xiàn)更高的互操作性奠定了基礎(chǔ),并將多廠商解決方案的可能性推向了一個新的高度。

    2012年底,有12家運營商聯(lián)合發(fā)布了一份關(guān)于NFV需求的基礎(chǔ)白皮書,并且組建了ETSINFV行業(yè)規(guī)格小組(ISG)。在此后兩年多的時間里,該組織的成員擴大到了超過37家運營商和230個獨立企業(yè),這足以證明該行業(yè)在傳統(tǒng)網(wǎng)絡(luò)問題上面臨著多么大的挑戰(zhàn)。

    NFV/SDN的優(yōu)勢:更高的敏捷性(隨需的網(wǎng)絡(luò)和服務(wù));網(wǎng)絡(luò)策略的自我供應(yīng)(自動化);更短的交付時間;充分發(fā)揮服務(wù)鏈優(yōu)勢的創(chuàng)新產(chǎn)品;基于需求的彈性規(guī)模擴展;全局性的網(wǎng)絡(luò)可視性;優(yōu)化的流量引導(dǎo)。

    NFV的起點是商品硬件——一種標準的高容量平臺(交換機、服務(wù)器或存儲設(shè)備)以及一個虛擬化層(監(jiān)視程序或容器),這種平臺與虛擬化層的組合被稱為NFV基礎(chǔ)設(shè)施(NFVI),并且接受OpenStack等虛擬基礎(chǔ)設(shè)施管理器(VIM)的管理。虛擬網(wǎng)絡(luò)功能(VNF)運行在這個NFVI之上,并且由VNF管理器來管理,后者負責(zé)VNF生命周期的管理。這樣,各類應(yīng)用便能夠以透明的方式訪問VNF。NFV協(xié)調(diào)器(NFVO)負責(zé)加載網(wǎng)絡(luò)服務(wù)和VNF、服務(wù)生命周期管理以及其它全局性資源管理任務(wù)。

    軟件定義聯(lián)網(wǎng)(SDN)在目的上與NFV有許多共同點,主要優(yōu)勢就是將電信和云運營商從昂貴且不靈活的私有硬件中解放出來。SDN側(cè)重于分離數(shù)據(jù)和控制層功能,以及對應(yīng)用和網(wǎng)絡(luò)服務(wù)的下層基礎(chǔ)設(shè)施加以抽象化。

    根據(jù)ONF的“SDN架構(gòu)概覽”所述,企業(yè)和運營商能夠獲得前所未有的可編程性、自動化和網(wǎng)絡(luò)控制能力,使他們能夠搭建出擴展能力和靈活性極強的網(wǎng)絡(luò),適應(yīng)不斷變化的商業(yè)需求和網(wǎng)絡(luò)條件。因此,兩種技術(shù)是可以相互補充的。SDN可以發(fā)揮NFV虛擬化各類功能的優(yōu)勢,例如監(jiān)測、管理、流量分析和負載均衡等。圖2為網(wǎng)絡(luò)功能虛擬化架構(gòu)示意圖。

    圖2 網(wǎng)絡(luò)功能虛擬化架構(gòu)

    不出意料的是,在一項最近進行的服務(wù)商調(diào)查中,有97%的受訪企業(yè)計劃部署SDN,有93%的受訪企業(yè)計劃部署NFV。采用SDN的最主要動力是支持云服務(wù)和商業(yè)訪問。采用NFV的最主要動力是在COTS服務(wù)器上運行基于軟件解決方案的服務(wù)擴展能力和贏利能力。圖3為網(wǎng)絡(luò)和云服務(wù)商正在深入?yún)⑴cNFV和SDN的演化進程。

    3 從概念驗證邁向部署過程中面臨的挑戰(zhàn)

    考慮到在敏捷性、經(jīng)濟可承受性和運營簡潔性方面的潛在提升,各家服務(wù)商都在積極地對NFV和SDN進行調(diào)研也就不足為奇了。一些運營商已經(jīng)完成了概念驗證(PoC)試驗,目的是在未來的2~5年中在其生產(chǎn)網(wǎng)絡(luò)中部署NFV。

    近期的一些試驗包括:

    (1)ETSI NFV概念驗證

    12家運營商牽頭的概念驗證工作已經(jīng)成功完成,而另外21項概念驗證正在進行中。思博倫參與了Brocade、Intel、AT&T和Telefonica組織的第9項概念驗證——“包含DDoS功能的VNF路由器性能”。

    圖3 網(wǎng)絡(luò)和云服務(wù)商正在深入?yún)⑴cNFV和SDN的演化過程

    (2)2014年11月

    Telefonica成功完成了多廠商SDN概念驗證試驗(ADVAOpticalNetworking、Ciena、華為和Infinera)。

    (3)2014年10月

    DoCoMo完成了多廠商概念驗證NFV試驗(Alcatel-Lucent、Cisco、Ericsson、華為、NEC和Nokia Networks)。

    (4)2014年6月:TM實況論壇

    ●適用于NFV和SON的數(shù)據(jù)驅(qū)動網(wǎng)絡(luò)性能優(yōu)化(M ycom、TEOCO和Wipro)。

    ●動態(tài)、數(shù)據(jù)驅(qū)動管理和運營(EnterpriseWEb、華為和Qosmos)。

    ●在實施SDN和NFV的同時加強廣域網(wǎng)上的SLA(AT&T、意 大 利 電 信 、Netronome、Intel、ServiceMesh、PLUMgrid、CiscoSystems)。

    ●B2B2X市場中的服務(wù)捆綁(Cisco Systems、DGIT和Liberated Cloud)。

    (5)2014年5月:網(wǎng)絡(luò)虛擬化和SDN世界大會

    ●多廠商NFVI環(huán)境中的端對端vEPC協(xié)調(diào)(Intel、Cyan、RedHat、Dell和Connectem)。

    ●多廠商分布式NFV(Cyan、RAD、Fortinet和Certes)。

    ●統(tǒng)一SDN和云服務(wù)(Cyan、Accedian、Arista、Boundary、Canonical和RYU)。

    盡管運營商自2014年初以來一直在開展概念驗證試驗,但出于多種原因,從過去的試驗過渡到實際部署的成功案例寥寥無幾。

    為什么DPDK和SR-IOV至關(guān)重要?由于DPDK等軟件方面的進步,包處理性能在基于Intel的平臺上已經(jīng)得到了巨大的提高。DPDK是一整套經(jīng)過優(yōu)化的軟件庫和驅(qū)動,可消除內(nèi)核和監(jiān)視程序方面的瓶頸,實現(xiàn)高性能的數(shù)據(jù)層性能。SR-IOV使網(wǎng)絡(luò)流量能夠繞過虛擬交換機,從而消除監(jiān)視程序和虛擬交換機帶來的性能瓶頸。

    ●復(fù)雜性

    如網(wǎng)絡(luò)功能虛擬化機構(gòu)示意圖所示,ETSI的GS NFV 0013中所定義的NFV架構(gòu)是一個共享式的NFV架構(gòu),其中包含虛擬機管理程序、虛擬交換機和COTS硬件,并由NFV管理和協(xié)調(diào)(MANO)功能,通過VNF、 NFVI、VIM和協(xié)調(diào)器之間復(fù)雜的互動實現(xiàn)協(xié)調(diào)。由此產(chǎn)生的新故障點可能對網(wǎng)絡(luò)服務(wù)的體驗質(zhì)量(QoE)、可靠性和可用性產(chǎn)生影響。

    ●硬件與軟件

    為了實現(xiàn)所有的經(jīng)濟可承受性和市場敏捷性優(yōu)勢,NFV和SDN要在一個運行在COTS平臺上的共享環(huán)境中運行,這就需要使用DPDK和SR-IOV等加速技術(shù)才能接近傳統(tǒng)網(wǎng)絡(luò)中基于FPGA和ASIC私有硬件設(shè)備的性能、可預(yù)測性和擴展能力水平。

    ●多廠商

    很多服務(wù)商都希望利用NFV和SDN來擺脫傳統(tǒng)網(wǎng)絡(luò)中單廠商鎖定帶來的恐慌。但多廠商環(huán)境的開放性又會提高復(fù)雜性,以及互用性測試和廠商集成的成本。

    ●多租戶

    NFV幫助服務(wù)商提高效率并降低成本的方法之一就是允許多租戶的離散VNF或服務(wù)鏈,這與IT世界中所使用虛擬化的方式如出一轍。然而,在一個共享環(huán)境中,每個租戶的數(shù)量和流量必須受到保護,使之免受其它租戶有意(惡意)或無意的干擾。要實現(xiàn)這一目標,必須導(dǎo)致復(fù)雜性的提高并且可能對性能產(chǎn)生影響。

    ●策略驅(qū)動的動態(tài)供應(yīng)

    在NFV和SDN為服務(wù)鏈、基于需求的自動擴展以及動態(tài)交換機/路由器編程提供靈活性的同時,都要付出復(fù)雜性提高的代價,并且可能對故障查找工作帶來挑戰(zhàn)。例如,如果服務(wù)鏈中的某項功能被自動擴展,它可能會在另外一臺服務(wù)器上實例化,導(dǎo)致進入服務(wù)器A的用戶流量被重定向至服務(wù)器B,然后再返回服務(wù)器A才能貫穿服務(wù)鏈的剩余部分。

    因此,在考慮到這些因素后,盡管公共和私有試驗已經(jīng)大量開展,但服務(wù)商在期望和實施之間的空白問題上仍有所保留。在最近的一項調(diào)查中,服務(wù)商最擔心的3個問題就是跨域的端對端供應(yīng)、部署的商業(yè)案例以及當前解決方案不夠成熟的問題,其它的問題包括從概念驗證到完全部署的安全戰(zhàn)略問題等。部署NFV遇到的問題參見表1。

    NFV必須同時在多個層級上實現(xiàn),這些試驗已經(jīng)證明,它可以實現(xiàn)最基本的要求,即功能性。但在服務(wù)商從評價轉(zhuǎn)向部署之前,概念驗證試驗還必須證明NFV能夠支持生產(chǎn)網(wǎng)絡(luò)中運營商級的性能。

    表1 部署NFV遇到的問題

    目前的主要問題在于缺乏可預(yù)測性,即預(yù)測具備NFV能力的網(wǎng)絡(luò)在實時、真實條件下會有怎樣的響應(yīng)。虛擬化的網(wǎng)絡(luò)可能允許服務(wù)商以敏捷的姿態(tài)對市場做出響應(yīng),但如果無法確定對應(yīng)的服務(wù)是否能夠提供確保贏利能力所需的性能、可用性、擴展能力和安全性,即使有了這種敏捷性也無濟于事。

    缺乏可預(yù)測性的敏感網(wǎng)絡(luò)只會帶來一團混亂。測試是實現(xiàn)可預(yù)測性的關(guān)鍵。虛擬化具有轉(zhuǎn)化傳統(tǒng)網(wǎng)絡(luò)的潛力,可以滿足21世紀的各種需求,但基于物理測試端點的測試方法并不足以提供可用于行動的信息。每個測試系統(tǒng)端點的位置都至關(guān)重要。想要深入了解這一問題,可以考慮使用物理測試端點的測試方法拓撲結(jié)構(gòu)。

    傳統(tǒng)的網(wǎng)絡(luò)包含眾多實施在專用私有硬件設(shè)備上的功能,例如路由器、交換機、防火墻、入侵探測系統(tǒng),或其它具備特定網(wǎng)絡(luò)功能的設(shè)備。因此,被測設(shè)備(DUT)或被測系統(tǒng)(SUT)只能發(fā)揮一個黑盒子的作用。盒子內(nèi)部發(fā)生的事情完全是不透明的,但這并不是測試或服務(wù)商擔心的。最重要的是被測系統(tǒng)能夠以數(shù)據(jù)和控制層流量、命令和網(wǎng)絡(luò)條件的形式,適當且有效地對刺激做出響應(yīng)。

    在此類環(huán)境中,物理測試平臺會影射傳統(tǒng)網(wǎng)絡(luò)的組件——專用的物理設(shè)備。它會復(fù)制出端對端網(wǎng)絡(luò)所有其它組件的功能并對被測系統(tǒng)進行測試,按照與測試例匹配的適當規(guī)模向其提供用戶層和控制層流量,對被測系統(tǒng)的性能、可用性、擴展能力和安全性加以評估。

    使用物理測試端點的測試方法:為了說明傳統(tǒng)的測試拓撲結(jié)構(gòu)和方法,可以考慮驗證物理設(shè)備所用的這些典型測試例——數(shù)據(jù)層驗證、控制層一致性驗證以及管理層驗證。

    ●數(shù)據(jù)層驗證

    幾十年前,網(wǎng)絡(luò)設(shè)計師曾遇到了與今天的NFV類似的難題。如何才能評價某種設(shè)備的性能呢?為此,IETF開發(fā)了一系列用于驗證數(shù)據(jù)性能的基準測試方法,其中包括RFC 2544、RFC 2889、RFC 3918和RFC 5180。

    在這項測試中,一個測試端口會以不同的幀尺寸和幀速率向被測系統(tǒng)發(fā)送流量,被測系統(tǒng)會對其進行處理并轉(zhuǎn)發(fā)至另一個測試端口,由后者采集關(guān)鍵的性能指標(KPI),包括吞吐量(bit/s)、時延(微秒)和幀丟失(每秒幀數(shù))。圖4為數(shù)據(jù)層測試拓撲結(jié)構(gòu)示意圖。

    ●控制層一致性和擴展能力測試

    控制層比數(shù)據(jù)層更復(fù)雜。在該案例中,物理測試系統(tǒng)會仿真運行控制層協(xié)議的網(wǎng)絡(luò)節(jié)點,建立會話、交換路由,并且生成模擬真實用戶行為的流量流。被測系統(tǒng)會處理控制層消息并將流量轉(zhuǎn)發(fā)至終結(jié)測試端口。測試端口能夠驗證被測系統(tǒng)在大規(guī)模條件下支持控制層會話的能力,并確認從被測系統(tǒng)接收到的控制層流量是否與協(xié)議標準相一致。

    ●管理層驗證

    圖4 數(shù)據(jù)層測試拓撲結(jié)構(gòu)

    對于運營商級的網(wǎng)絡(luò)而言,即時的缺陷探測、恢復(fù)和融合能力是必不可少的。在本案例中,測試系統(tǒng)會仿真出兩個目的地相同的路由,并且生成流量。測試系統(tǒng)接下來會在主路由或節(jié)點上引發(fā)故障,測量網(wǎng)絡(luò)恢復(fù)并引導(dǎo)流量至備用路由或節(jié)點所需的時間。

    4 NFV/SDN測試方法

    當考慮傳統(tǒng)測試方法的實例時,有幾件事情是非常明顯的。首先,要想生成控制和數(shù)據(jù)層流量并捕捉驗證解決方案所需的結(jié)果,測試系統(tǒng)必須完全包圍被測設(shè)備或被測系統(tǒng),充當被評價的解決方案或功能的端點。其次,在傳統(tǒng)設(shè)備和網(wǎng)絡(luò)中,測試拓撲結(jié)構(gòu)的端點是被測設(shè)備的入向和出向端口。測試系統(tǒng)與被測設(shè)備之間的連接介質(zhì)通常都是電纜(或者用戶設(shè)備/ eNodeB測試中的空中RF信號)。

    但當查看網(wǎng)絡(luò)功能虛擬化架構(gòu)時,發(fā)現(xiàn)傳統(tǒng)測試例中所顯示的被測設(shè)備在虛擬化網(wǎng)絡(luò)中被當作VNF實例化并執(zhí)行。此外,在虛擬化環(huán)境中,還有一些新的組件,如NFVI和NFVMANO,以及一些新的接口,如VNF、NFVI和NFVMANO組件之間的接口。

    (1)何時需要虛擬化測試解決方案

    在虛擬化網(wǎng)絡(luò)中,標準開發(fā)機構(gòu)(如ETSI NFV ISG)是主要的牽頭力量,不僅負責(zé)定義NFV架構(gòu)和要求,還負責(zé)定義涉及測試內(nèi)容和測試形式的整套測試方法。NFV架構(gòu)的新組件引入了一些傳統(tǒng)網(wǎng)絡(luò)中不存在的新故障點,因此必須對它們的功能、性能、可用性、擴展能力和安全性進行測試。但不可能將電纜從一個測試點拉到一個特定的VNF,并對其性能進行測量。相反,測試中的一個或多個測試端點都將是VNF。

    虛擬化測試解決方案(測試VNF)是一種運行在基于x86商用市售服務(wù)器上的純軟件產(chǎn)品。這些測試VNF可在基于監(jiān)視程序或容器的NFVI上執(zhí)行,并用于驗證其它的VNF、NFVI組件、NFVMANO和E2E網(wǎng)絡(luò)服務(wù)。與對應(yīng)的物理組件一樣,測試VNF可包圍被測VNF或NFVI,發(fā)起用戶層和控制層流量,并驗證接收到的流量是否與協(xié)議標準和預(yù)期的服務(wù)水平協(xié)議(SLA)保持一致。如圖5中DCI廣域網(wǎng)實例所示,虛擬和物理測試解決方案的組合是驗證NFV和SDN環(huán)境時必不可少的。

    如果重新編輯網(wǎng)絡(luò)功能虛擬化,并使之適用于虛擬化測試端點,將得到如圖6虛擬化測試平臺所示的新布局。NFV環(huán)境需要在多個層面上接受測試:

    圖5 用于驗證服務(wù)商廣域網(wǎng)上DCI的物理和虛擬測試解決方案

    圖6 虛擬化測試平臺

    ●驗證NFV基礎(chǔ)設(shè)施。

    ●驗證VNF的功能和規(guī)模。

    ●驗證SDN控制器的功能和南向協(xié)議。

    ●驗證服務(wù)鏈、自動擴展和策略驅(qū)動的使用案例。

    有些測試例會涉及全部駐留在NFVI中的虛擬測試功能,而其它的案例將涉及虛擬和物理測試功能。要具體選擇物理還是虛擬測試點,取決于被虛擬化的服務(wù)性質(zhì),具體內(nèi)容參見表2。

    表2 物理和虛擬測試解決的選擇

    每個端對端網(wǎng)絡(luò)域,例如數(shù)據(jù)中心、移動性網(wǎng)關(guān),或接入/邊緣網(wǎng)絡(luò),都面臨著獨特的挑戰(zhàn),但在虛擬化網(wǎng)絡(luò)中,有些使用案例是該行業(yè)所有細分市場中共同具備的,因此會帶來共同的測試挑戰(zhàn)(見圖7)。移動、云和接入/邊緣電信運營商關(guān)注的都是NFV數(shù)據(jù)和控制層性能、NFVI驗證,以及涉及服務(wù)鏈形成、多租用和自動擴展的網(wǎng)絡(luò)服務(wù)測試。

    (2)測試內(nèi)容

    在討論測試方法之前,應(yīng)明確要測試什么、不測試什么。NFV使服務(wù)商能夠?qū)Χ喾N網(wǎng)絡(luò)加以虛擬化,例如路由、負載均衡或廣域網(wǎng)加速。幾十年來,廠商和運營商一直在使用物理測試設(shè)備來驗證協(xié)議狀態(tài)機和消息,但這些都不是本文的重點。

    重點是驗證VNF、NFVI和服務(wù)的性能,并且減輕虛擬化帶來的不確定性所產(chǎn)生的負擔焦慮。思博倫正在ETSINFV ISG中牽頭定義驗證NFV環(huán)境的部署前測試方法。表3中所討論的使用案例在側(cè)重于與VNF基準測試和服務(wù)鏈/自動擴展驗證有關(guān)的使用案例方面。

    在對VNF或網(wǎng)絡(luò)服務(wù)進行基準測試時有兩個目的:一個目的是找出具體資源的最高性能;另一個目的是找到實現(xiàn)目標性能水平所需的資源。

    ●目的1:最高性能基準測試。找出具體NFVI配置下VNF的最高性能

    圖7 SDN/NFV測試和部署挑戰(zhàn)

    表3 驗證最重要NFV使用案例的測試方案

    在該測試中,VNF和虛擬交換機在可能的情況下會被分配給一個系列固定的資源。當數(shù)據(jù)層流量增加對VNF的壓力時,測試會捕捉各項性能指標,發(fā)現(xiàn)VNF在不發(fā)生錯誤的情況下可以實現(xiàn)的最高性能水平。

    這項測試可用于測量VNF在固定條件下的最高性能,或驗證VNF是否能夠?qū)崿F(xiàn)已公布的性能指標。

    ●目的2:資源分配基準測試。找到實現(xiàn)特定性能水平所需的資源量

    這項測試規(guī)定了一系列性能值,與服務(wù)水平協(xié)議(SLA)非常相似。當數(shù)據(jù)層流量增加對VNF的壓力時,VNFO會分配額外的資源,例如處理器核心或內(nèi)存,這樣就可以找出保持這些性能要求所需的資源組合。

    除規(guī)定的SLA外,還可以在測試前定義預(yù)期的資源分配水平。例如,如果測試的目的是找出實現(xiàn)10bit/s轉(zhuǎn)發(fā)性能的SLA時必須分配給VNF的CPU核心和內(nèi)存的數(shù)量,那么目標最大的CPU核心占用率可能是80%。

    ●最佳慣例

    在每次重復(fù)之前只修改一個變量。例如,每次重復(fù)的測試運行時可以改變處理器核心的數(shù)量,而保持所有其它資源不變。第二次測試運行時可以改變內(nèi)存的分配,而處理器核心的數(shù)量保持不變。

    5 VNF基準測試

    通過VNF的流量需要符合可靠性、QoE和可預(yù)測性方面的要求。這些數(shù)值在VNF描述(VNFD)的各類信息組成部分中均有詳細的定義,并且在SLA中也針對NFV消費方有明確的規(guī)定。數(shù)據(jù)層基準測試將對VNF的這些品質(zhì)進行評價。

    測試VNF會向被測VNF(VNFUT)發(fā)起全網(wǎng)格流量,并通過分析從VNFUT接收到的幀,對VNFUT正確轉(zhuǎn)發(fā)流量的能力做出評價?;镜脑u價指標包括短期、長期和平均包延遲及包延遲變化、序列錯誤數(shù)量以及所提供帶寬和測得帶寬的對比。這些先進的分析會使用能夠代表真實服務(wù)的第7層工作流程。分析指標包括服務(wù)可靠性、服務(wù)渲染時延、服務(wù)錯誤以及服務(wù)可用性。

    (1)基本的流量掃描式測試方法(見圖8)

    圖8 VNF流量掃描測試

    ●目的:對VNFUT的轉(zhuǎn)發(fā)層性能執(zhí)行基準測試

    測試運行重復(fù):這項測試會重復(fù)運行多次,且每次重復(fù)時均采用不同的幀尺寸或幀速率。尺寸和速率的值可能根據(jù)被測網(wǎng)絡(luò)功能而發(fā)生變化。虛擬路由器的典型第2/3層測試將使用下列值:幀速率(fps):10、100、1000、10000、100000…直至VNF的轉(zhuǎn)發(fā)性能目標;幀尺寸(字節(jié)):64、65、128、256、578、1024、1280、1518、9022。

    測試會在120s的時間里在所有連接至VNF的端口之間運行全網(wǎng)格流量。其幀速率起始于10fps,每次重復(fù)時幀速率均不斷攀升,然后測試使用下一個幀尺寸重復(fù)執(zhí)行,直至幀尺寸集全部用盡。為了匹配VNFUT的性能能力,還可對結(jié)果采樣速率或測試時長進行調(diào)整。

    ●結(jié)果:按照每秒一次的采樣速率,這些指標會被記錄下來,其中包括:

    ——在測試VNF端口上接收到的帶寬。

    ——總序列錯誤(幀丟失、重復(fù)幀、亂序幀、重新排序幀、遲到幀)。

    ——最大和平均幀延遲和幀延遲變化。

    ——分配給VNF的資源占用率(處理器核心和內(nèi)存塊)。

    要實現(xiàn)可以測試間對比的有用結(jié)果,這些結(jié)果必須考慮到下層監(jiān)視程序和資源的效率,例如VNFUT所使用的處理器核心和內(nèi)存塊。

    在每次測試重復(fù)時,目的地測試端口接收到的中間帶寬都會被報告,并且以所提供帶寬的百分比和按處理器核心的方式報告。

    (2)長期流量測試方法

    ●目的

    確定VNF在較長時間內(nèi)的穩(wěn)定性和可靠性。

    ●時長

    實現(xiàn)可預(yù)測的性能對于共享式NFV環(huán)境至關(guān)重要。從產(chǎn)生零幀丟失的基本流量掃描測試中選擇一個特定的幀尺寸和幀速率組合,并運行全網(wǎng)格流量測試,所選的時間長度應(yīng)與部署的需求和VNFUT的能力相匹配。通常情況下,測試的時長為6h或更長。

    ●結(jié)果

    審查報告的指標,確定VNFUT的性能是否在整個測試運行期間保持連貫。在整個時長內(nèi)性能出現(xiàn)1%~2%的變化是可以接受的。

    (3)iM IX掃描測試方法

    ●目的:驗證預(yù)期流量條件下的最高性能。

    ●流量組合:該測試使用的是與基本流量掃瞄測試相同的方法,但采用了一個幀尺寸和順序的組合,用以反映多數(shù)公共網(wǎng)絡(luò)上出現(xiàn)的匯聚流量。圖9為iM IX包分布示意圖。

    (4)控制層基準測試方法(見圖10)

    圖9 iMIX包分布

    ●目的:對VNFUT控制層的規(guī)模和性能執(zhí)行基準測試

    圖10 控制層基準測試

    在VNF和物理網(wǎng)絡(luò)功能中,基于標準的實施(如BGP、OSPF、ISIS、LDP、RSVP)都是相同的。因此,VNF的控制層基準測試方法與物理網(wǎng)絡(luò)功能中的方法也是相同的。傳統(tǒng)的基準測試方法可以確定每個端口支持的最大規(guī)模(并發(fā)控制層會話的數(shù)量)和性能(會話的啟動速率)。

    物理設(shè)備中大部分的數(shù)據(jù)層處理均被分流至FPGA、ASIC和板外處理器。與物理設(shè)備不同的是,NFV環(huán)境中的計算核心要負責(zé)快速路徑包處理和控制會話和消息的處理。因此,在任何特定的時候,控制層的擴展能力都可能受到數(shù)據(jù)層負載(快速路徑包)的影響。與那些在處理功能時共享核心的VNF相比,在不同核心之間分別執(zhí)行控制和數(shù)據(jù)層處理的VNF很可能具有更高的性能。

    ●性能和擴展能力目標

    VNF廠商會對其VNF的最高控制層規(guī)模和性能,以及實現(xiàn)此類性能水平所需的NFVI資源執(zhí)行基準測試。部署VNF的網(wǎng)絡(luò)運營商也有自己希望實現(xiàn)的具體性能目標。例如,運營商可能針對vPE制定具體的目標,例如支持x個BGP會話、y個PPPoE會話,以及每個會話z個BGP路由器,同時支持n個Gbit/s的數(shù)據(jù)轉(zhuǎn)發(fā)。此類目標尋求機制將幫助運營商確定廠商VNF的數(shù)量,以及滿足此類目標所需的NFVI資源量。

    ●測試設(shè)置

    使用VNF廠商已公布的控制層基準測試,運營商可以將實現(xiàn)性能目標所需的適當數(shù)量的VNF組件(VNFC)實例化。在本例中,Spirent TestCenter虛擬機仿真了運行BGP和PPPoE的CE和核心路由器,并且使用被測vPE建立了所需數(shù)量的BGP和PPPoE會話。這些虛擬機還以所需的轉(zhuǎn)發(fā)速率發(fā)起了雙向用戶層流量。

    ●通過/未通過

    如果控制層會話成功建立,且用戶層轉(zhuǎn)發(fā)流量在無錯誤或丟失的情況下達到預(yù)期的速率,則說明廠商提供的VNF滿足了運營商的需求;如果不滿足,則測試將轉(zhuǎn)向目標尋求進程。

    ●目標尋求

    在測試的每次重復(fù)中,都應(yīng)以按部就班的方式對NFVI資源進行修改,即在允許的限度內(nèi),每次改變一個變量,而保持其它NFVI參數(shù)不變,并重復(fù)執(zhí)行測試,直至達到預(yù)期的性能。利用這種分步增加VNF或NFVI資源的方法可以實現(xiàn)最高的性能水平。

    遞增式配置修改:

    ——修改VNF的VNFC(虛擬機)數(shù)量。

    ——修改分配給每個VNFC的核心。

    ——修改分配給每個VNFC的內(nèi)存。

    ——如果可能且需要,可在VNFC的控制層和數(shù)據(jù)層處理之間修改核心的分配。

    ——適當時可啟用或禁用加速技術(shù),例如DPDK或SR-IOV。

    ●結(jié)果

    當VNFUT實現(xiàn)預(yù)期的性能水平后,應(yīng)記錄所用的VNF配置及VNFC的數(shù)量、每個VNFC的核心數(shù)量、分配給控制層和數(shù)據(jù)層處理的核心數(shù)量、分配給每個VNFC的內(nèi)存量以及核心的占用率。

    6 網(wǎng)絡(luò)服務(wù)測試方法

    網(wǎng)絡(luò)服務(wù)(NS)中包含一個完整的服務(wù)功能鏈(虛擬或物理網(wǎng)絡(luò)功能的轉(zhuǎn)發(fā)圖)。在與VNF管理器、VIM和OSS/BSS協(xié)作的情況下,NFVO可以管理一個或多個NS的生命周期。具備資源分配的端對端視圖,并且充當OSS發(fā)出所有請求的單一訪問點。NFVO負責(zé)處理網(wǎng)絡(luò)服務(wù)和VNF轉(zhuǎn)發(fā)圖的生命周期。VNF管理器則負責(zé)從應(yīng)用的角度處理VNF生命周期。

    在一個共享的NFV環(huán)境中,多項網(wǎng)絡(luò)服務(wù)會在同一臺服務(wù)器上執(zhí)行,而且每個網(wǎng)絡(luò)服務(wù)都處于各自不同的生命周期階段中。有些服務(wù)正在實例化、擴展或終結(jié),而其它一些服務(wù)則處于穩(wěn)定的執(zhí)行狀態(tài)下。要想確定某項網(wǎng)絡(luò)服務(wù)是否會對其它的網(wǎng)絡(luò)產(chǎn)生影響,生命周期測試必不可少。

    網(wǎng)絡(luò)服務(wù)測試方法可以驗證網(wǎng)絡(luò)服務(wù)的成功實例化和終結(jié),并測量實例化網(wǎng)絡(luò)時間所需要的時間,同時還可確保自動擴展的成功完成。網(wǎng)絡(luò)服務(wù)測試方法將假定被測網(wǎng)絡(luò)服務(wù)(NSUT)所包含的VNF已經(jīng)在網(wǎng)絡(luò)服務(wù)測試執(zhí)行之前得到了充分驗證。

    (1)網(wǎng)絡(luò)服務(wù)生命周期的各個階段

    ●網(wǎng)絡(luò)服務(wù)的載入

    向NFVO提交網(wǎng)絡(luò)服務(wù)描述(NSD),以便將其包含在類目中。驗證NSD的完整性和真實性,以及強制組件和所需的外部接口是否齊備。

    ●網(wǎng)絡(luò)服務(wù)的實例化

    執(zhí)行實例化之前的驗證和可行性檢查,識別并保留資源,對VNF加以實例化。必要時還可對所需的連接網(wǎng)絡(luò)加以實例化;將所需的VDU連接至連接網(wǎng)絡(luò)。

    ●網(wǎng)絡(luò)服務(wù)的擴展/升級

    驗證請求,檢查可行性,確定擴展行動(增加/減少資源,實例化/終結(jié)VNF),分配/取消分配資源和連接。

    ●網(wǎng)絡(luò)服務(wù)的終結(jié)

    驗證請求,必要時終結(jié)VNF,刪除資源,刪除內(nèi)部連接網(wǎng)絡(luò),從類目中清除。

    (2)網(wǎng)絡(luò)服務(wù):功能測試和實例化時間方法(見圖11)

    ●目的

    執(zhí)行網(wǎng)絡(luò)服務(wù)的功能驗證并測量激活服務(wù)所需的時間。該指標在測量客戶的體驗質(zhì)量(QoE)非常重要。NFVO負責(zé)管理網(wǎng)絡(luò)服務(wù)的動態(tài)實例化和激活。

    在本測試中,發(fā)起方的測試VNF會向剛剛實例化的NSUT發(fā)送流量,并確保NSUT將流量正確轉(zhuǎn)發(fā)至作為終結(jié)方的測試VNF。

    ●測試設(shè)置

    可將一個NFV服務(wù)器上的3個VNF組成一個服務(wù)鏈,形成一個包含vCE、vFW和vWAN加速器的轉(zhuǎn)發(fā)圖。這種測試方法假定在測試執(zhí)行之前所包含的VNF已經(jīng)被實例化。

    圖11 網(wǎng)絡(luò)服務(wù)實例功能測試

    使用 Spirent TestCenter物理測試端口包圍NSUT。需要同步和微秒級的精度,此外應(yīng)使用物理測試設(shè)備。

    ●測試程序

    測試控制器指示NFVO在時間T=t1完成網(wǎng)絡(luò)服務(wù)的實例化。NFVO在完成NS實例化為通知測試控制器(網(wǎng)絡(luò)服務(wù)實例化流程的詳情見GS NFV-MAN 001的附錄C.3)。

    SpirentTestCenter端口會以匹配NSUT性能目標的幀速率,生成指向NSUT的適合的雙向第2~7層流量。例如,對于一個包含虛擬防火墻、虛擬ADC和虛擬WOC的服務(wù)功能鏈,接收到的是應(yīng)用流量。而包含虛擬CPE和虛擬BNG的服務(wù)功能鏈,接收到的是第2~3層流量。建議以不同的幀尺寸運行多次測試。具體的幀尺寸設(shè)置取決于針對的是哪種NSUT。

    這些測試設(shè)備應(yīng)繼續(xù)執(zhí)行每項測試,直至?xí)r間T=t2,即在終結(jié)測試設(shè)備上探測到經(jīng)過NSUT成功處理的服務(wù)幀。

    ●通過/未通過

    如果測試的結(jié)果未報告任何錯誤,例如重新排序幀、數(shù)據(jù)完整性錯誤或CRC錯誤,則表明功能實例化測試已經(jīng)通過;如不滿足這些條件,則說明該測試未通過。

    ●測試結(jié)果

    測試設(shè)備會記錄網(wǎng)絡(luò)服務(wù)描述的監(jiān)視參數(shù)域中定義的體驗質(zhì)量(QoE)指標,并計算出每種幀速率和幀尺寸組合下完成網(wǎng)絡(luò)服務(wù)激活所需的時間,即[t2-t1]所表示的值。

    (3)網(wǎng)絡(luò)服務(wù)實例化:自動擴展驗證測試方法(見圖12)

    NFV最重要的驅(qū)動力之一就是為網(wǎng)絡(luò)運營商提供在需要時分配資源,并在不需要時收縮資源的能力。通過擴大或向外擴展,網(wǎng)絡(luò)服務(wù)可以對持續(xù)一定時間的客戶流量高峰做出急劇的反應(yīng)。同樣,在客戶流量減少的時間段里,它又可以縮小規(guī)模或向內(nèi)擴展。這種極具彈性的擴展能力能夠防止網(wǎng)絡(luò)資源的過度供應(yīng)。

    ——擴大:構(gòu)成網(wǎng)絡(luò)服務(wù)的一個或多個VNF分配到了額外的NFVI資源,例如計算、內(nèi)在和存儲。

    ——向外擴展:在同一服務(wù)器或其它服務(wù)器上實例化額外的VNF,應(yīng)對負載的增加。

    ——縮?。簶?gòu)成網(wǎng)絡(luò)服務(wù)的一個或多個VNF分配到了更少的NFVI資源,例如計算、內(nèi)在和存儲。

    ——向內(nèi)擴展:構(gòu)成網(wǎng)絡(luò)服務(wù)的一些VNF被終結(jié),從而對負載的減少做出反應(yīng)。

    ●目的:驗證自動擴展的成功完成,以及自動擴展完成期間和之后客戶SLA的保持情況。

    圖12 網(wǎng)絡(luò)服務(wù)擴展——驗證自動擴展

    ●測試設(shè)置:在該測試案例示例中,要設(shè)置一個帶VNF轉(zhuǎn)發(fā)圖的網(wǎng)絡(luò)服務(wù),其中包括在相同服務(wù)器上的虛擬CE和虛擬路由器。網(wǎng)絡(luò)服務(wù)將向端對端線路提供有保障SLA。該測試方法假定網(wǎng)絡(luò)服務(wù)已經(jīng)成功實例化,并且在測試執(zhí)行之前達到了性能目標。

    使用 Spirent Test Center物理測試端口包圍NSUT。由于測量SLA的一致性時需要同步和微秒級的精度,此外應(yīng)使用物理測試設(shè)備。

    ●測試程序:在時間T=t1,測試設(shè)備會啟動流量負載的提高進程(穩(wěn)定提高或流量突發(fā))且足以在時間t1+Δt觸發(fā)自動擴展機制(測試設(shè)備了解這些信息的具體方法不在本文檔的討論范圍內(nèi))作為響應(yīng),VNF、VNF管理器和/或NFVO會啟動并執(zhí)行自動擴展。

    從時間T=t1開始,測試設(shè)備還會監(jiān)視網(wǎng)絡(luò)服務(wù)保持SLA的性能。采樣期因網(wǎng)絡(luò)服務(wù)而異。在本示例中,建議每100ms執(zhí)行一次采樣。

    當網(wǎng)絡(luò)服務(wù)能夠支持更大的規(guī)模且不會導(dǎo)致SLA惡化時,測試設(shè)備將記錄時間T=t2。

    ●測試結(jié)果:測試結(jié)果包括多項參數(shù),其中包括構(gòu)成網(wǎng)絡(luò)服務(wù)的VNF、導(dǎo)致自動擴展的觸發(fā)器、自動擴展前的流量負載,以及自動擴展后的流量負載。這些測試設(shè)備還會定期記錄網(wǎng)絡(luò)服務(wù)在t1和t2之間的性能指標和NFVI占用率指標,并且報告自動擴展進程的時長,即[t2-t1]所表示的值。

    7 思博倫:虛擬化測試領(lǐng)域的領(lǐng)導(dǎo)者

    無論是虛擬網(wǎng)絡(luò)還是物理網(wǎng)絡(luò),思博倫都是驗證網(wǎng)絡(luò)性能、可用性、擴展能力和安全性方面的全球領(lǐng)導(dǎo)者。SDN/NFV測試和部署挑戰(zhàn)所示,思博倫的解決方案能夠解決人們所關(guān)心的所有領(lǐng)域,包括移動性數(shù)據(jù)中心和接入邊緣等。

    (1)思博倫在標準制訂機構(gòu)中發(fā)揮的領(lǐng)導(dǎo)作用

    思博倫在ETSINFV ISG中發(fā)揮著至關(guān)重要的作用,領(lǐng)導(dǎo)著部署前和部署后NFV環(huán)境驗證指導(dǎo)原則的制訂工作。思博倫還在ONF測試理事會中發(fā)揮著領(lǐng)導(dǎo)作用,為OpenFlow控制器和交換機驗證工作做出了巨大的貢獻。

    (2)易用性和可遷移性

    思博倫的虛擬和物理測試平臺擁有完全相同的形象和感覺,并且支持無縫的互用性。測試配置和腳本也可以在兩種平臺間遷移。測試流量可以起始并終止于純物理測試設(shè)備、純虛擬測試設(shè)備,或者虛擬和物理測試設(shè)備的任意組合。Spirent Test Center Virtual可在多種監(jiān)視程序上執(zhí)行,包括VMWare ESXi和KVM/ QEMU。它還可以兼容OpenStack等開源云管理系統(tǒng)。

    (3)VNF與網(wǎng)絡(luò)服務(wù)的性能和擴展能力驗證

    思博倫的解決方案能夠簡化對數(shù)百種不同類型和風(fēng)格的VNF執(zhí)行基準測試的可畏任務(wù),為第2~7層數(shù)據(jù)層和控制層測試提供無微不至的支持。

    思博倫的虛擬解決方案已經(jīng)過了DPDK的優(yōu)化,使用戶能夠在數(shù)據(jù)轉(zhuǎn)發(fā)性能方面實現(xiàn)巨大的突破,同時還可減少生成測試流量所需的計算核心數(shù)量。

    思博倫的測試方法產(chǎn)品還使用戶能夠?qū)ο铝袑ο筝p松執(zhí)行基準測試:虛擬交換機、虛擬路由反射器、虛擬PE路由器、虛擬BNG、虛擬CPE路由器、虛擬防火墻、虛擬廣域網(wǎng)加速器、虛擬IDS、虛擬IPS,以及虛擬EPC的每個組件。

    表4 思博倫虛擬解決方案

    思博倫與Oasis建立合作關(guān)系

    領(lǐng)先的設(shè)備智能解決方案供應(yīng)商思博倫通信與全球通用用戶識別模塊(USIM)聯(lián)網(wǎng)及管理供應(yīng)商OasisSmartSIM日前宣布,兩家公司將建立戰(zhàn)略伙伴關(guān)系,共同消除相機、智能車輛、物流和生產(chǎn)物料等聯(lián)網(wǎng)產(chǎn)品和設(shè)備快速發(fā)展過程中遇到的連接性和網(wǎng)絡(luò)供應(yīng)障礙。這項伙伴關(guān)系標志著兩家企業(yè)將正式進軍物聯(lián)網(wǎng)(IoT)業(yè)務(wù),而據(jù)分析企業(yè)Gartner公司預(yù)測,2016年全世界聯(lián)網(wǎng)設(shè)備的數(shù)量將高達64億部,而到2020年時將增至208億部。

    思博倫通信物聯(lián)網(wǎng)連接與訂用管理業(yè)務(wù)總經(jīng)理Dennis JuulPoulsen指出:“思博倫與Oasis已開始攜手,幫助制造商為聯(lián)網(wǎng)世界構(gòu)建更好且更具智能的產(chǎn)品。無論是聯(lián)網(wǎng)的卡車,還是智能跑鞋,任何垂直市場的OEM廠商都將能夠為其客戶提供無縫的即時連接能力,以及隨意選擇蜂窩網(wǎng)絡(luò)服務(wù)商的自由?!?/p>

    猜你喜歡
    網(wǎng)絡(luò)服務(wù)測試方法實例
    《壓縮機技術(shù)》網(wǎng)絡(luò)服務(wù)
    《壓縮機技術(shù)》網(wǎng)絡(luò)服務(wù)
    基于泊松對相關(guān)的偽隨機數(shù)發(fā)生器的統(tǒng)計測試方法
    網(wǎng)絡(luò)服務(wù)合同的法律問題研究
    法制博覽(2021年18期)2021-11-24 20:45:30
    基于云計算的軟件自動化測試方法
    電子制作(2019年16期)2019-09-27 09:34:56
    DLD-100C型雷達測試方法和應(yīng)用
    電子制作(2019年15期)2019-08-27 01:12:02
    對改良的三種最小抑菌濃度測試方法的探討
    完形填空Ⅱ
    完形填空Ⅰ
    云計算趨勢下的藍汛內(nèi)容感知網(wǎng)絡(luò)服務(wù)
    国产成人精品久久久久久| 搡老妇女老女人老熟妇| 国产黄a三级三级三级人| 亚洲性久久影院| 国产单亲对白刺激| 中文字幕av在线有码专区| 日本熟妇午夜| 亚洲第一区二区三区不卡| 黄色配什么色好看| 三级国产精品片| 中文乱码字字幕精品一区二区三区 | 亚洲国产日韩欧美精品在线观看| 看免费成人av毛片| 日本黄色视频三级网站网址| 国产高潮美女av| av国产免费在线观看| 九九热线精品视视频播放| 欧美zozozo另类| 能在线免费观看的黄片| 一卡2卡三卡四卡精品乱码亚洲| 中文字幕av在线有码专区| 人体艺术视频欧美日本| 亚洲成人精品中文字幕电影| 国产亚洲91精品色在线| 六月丁香七月| 久久久色成人| 免费看av在线观看网站| 丝袜喷水一区| 亚洲成av人片在线播放无| 精品国产露脸久久av麻豆 | 国产免费男女视频| 亚洲欧美精品自产自拍| 少妇丰满av| 偷拍熟女少妇极品色| 日韩亚洲欧美综合| 色尼玛亚洲综合影院| 搞女人的毛片| 身体一侧抽搐| 亚洲av男天堂| 国产黄色小视频在线观看| 亚洲国产精品成人久久小说| 国产在视频线在精品| 尾随美女入室| 成年女人看的毛片在线观看| 亚洲国产精品sss在线观看| 国产黄a三级三级三级人| 春色校园在线视频观看| 一卡2卡三卡四卡精品乱码亚洲| 一级爰片在线观看| 欧美人与善性xxx| 日韩欧美 国产精品| 亚洲欧美精品专区久久| 高清av免费在线| 插阴视频在线观看视频| 如何舔出高潮| 看黄色毛片网站| 永久网站在线| 国产精品,欧美在线| 欧美一区二区亚洲| 国产黄色视频一区二区在线观看 | 男女下面进入的视频免费午夜| 亚洲av成人av| 国产精品精品国产色婷婷| 成人av在线播放网站| 午夜久久久久精精品| 黄色一级大片看看| 亚洲精品自拍成人| av免费在线看不卡| 久久 成人 亚洲| 欧美3d第一页| 久久精品aⅴ一区二区三区四区 | 成年女人在线观看亚洲视频| 99国产精品免费福利视频| 天天操日日干夜夜撸| 日本色播在线视频| 男女国产视频网站| 99九九在线精品视频| 久久精品夜色国产| 亚洲av在线观看美女高潮| 18禁观看日本| 十八禁高潮呻吟视频| 日韩在线高清观看一区二区三区| videosex国产| 亚洲激情五月婷婷啪啪| 桃花免费在线播放| 成人18禁高潮啪啪吃奶动态图| 精品卡一卡二卡四卡免费| 在线免费观看不下载黄p国产| 精品人妻一区二区三区麻豆| 人妻一区二区av| 国产成人精品久久久久久| 国产欧美日韩综合在线一区二区| 多毛熟女@视频| 亚洲国产最新在线播放| 亚洲精品456在线播放app| 免费人成在线观看视频色| 国产成人精品在线电影| 成人黄色视频免费在线看| 精品一区在线观看国产| 高清欧美精品videossex| 男人舔女人的私密视频| 免费大片黄手机在线观看| 免费高清在线观看视频在线观看| 国产一区亚洲一区在线观看| 国产精品久久久久久av不卡| 国产无遮挡羞羞视频在线观看| 18禁国产床啪视频网站| 国产精品久久久久久久电影| 成人毛片a级毛片在线播放| xxx大片免费视频| 国语对白做爰xxxⅹ性视频网站| videos熟女内射| 黄色一级大片看看| 国产一区二区在线观看日韩| 国产日韩一区二区三区精品不卡| 国产在视频线精品| 妹子高潮喷水视频| 在线观看一区二区三区激情| 精品人妻熟女毛片av久久网站| 亚洲一码二码三码区别大吗| 亚洲av成人精品一二三区| 久久人人爽av亚洲精品天堂| 亚洲欧美精品自产自拍| 99香蕉大伊视频| 国产片内射在线| 色婷婷久久久亚洲欧美| 国产亚洲精品第一综合不卡 | 国产成人a∨麻豆精品| 国产爽快片一区二区三区| 深夜精品福利| av.在线天堂| 成人手机av| 日韩中文字幕视频在线看片| xxxhd国产人妻xxx| 另类精品久久| 精品一品国产午夜福利视频| 亚洲,欧美,日韩| 亚洲欧美精品自产自拍| 草草在线视频免费看| 视频中文字幕在线观看| a 毛片基地| 国产又爽黄色视频| 99视频精品全部免费 在线| 中文天堂在线官网| 高清视频免费观看一区二区| 波野结衣二区三区在线| 久久久久久伊人网av| av天堂久久9| a 毛片基地| 又黄又爽又刺激的免费视频.| 国产精品不卡视频一区二区| 国产av精品麻豆| 久久99蜜桃精品久久| 午夜久久久在线观看| 最近手机中文字幕大全| 久久精品国产亚洲av天美| 亚洲久久久国产精品| 1024视频免费在线观看| 精品午夜福利在线看| 美国免费a级毛片| 久久精品国产鲁丝片午夜精品| 捣出白浆h1v1| 国产精品偷伦视频观看了| 久久ye,这里只有精品| 黄色视频在线播放观看不卡| h视频一区二区三区| 午夜日本视频在线| 狂野欧美激情性xxxx在线观看| 我要看黄色一级片免费的| 国产淫语在线视频| 国产精品一国产av| 美女国产高潮福利片在线看| 成人亚洲精品一区在线观看| 久久午夜综合久久蜜桃| 亚洲第一av免费看| 欧美日韩精品成人综合77777| 大香蕉97超碰在线| 看免费成人av毛片| 九色成人免费人妻av| 人妻系列 视频| 亚洲av电影在线进入| 国产精品三级大全| 丁香六月天网| 大香蕉久久成人网| 成人无遮挡网站| av视频免费观看在线观看| 在线观看免费日韩欧美大片| 国精品久久久久久国模美| 成人二区视频| av视频免费观看在线观看| 性高湖久久久久久久久免费观看| 只有这里有精品99| 免费观看性生交大片5| 亚洲国产成人一精品久久久| 女人久久www免费人成看片| 最近最新中文字幕免费大全7| 99久国产av精品国产电影| 久久精品aⅴ一区二区三区四区 | 国产精品久久久久久精品古装| 国产精品.久久久| 极品人妻少妇av视频| 国产亚洲精品久久久com| 午夜福利视频在线观看免费| 国产av码专区亚洲av| 中文精品一卡2卡3卡4更新| 欧美人与性动交α欧美软件 | 中文字幕人妻熟女乱码| 男的添女的下面高潮视频| 亚洲国产精品一区二区三区在线| 亚洲国产精品专区欧美| 美女内射精品一级片tv| 天天躁夜夜躁狠狠躁躁| 国产精品.久久久| 少妇人妻 视频| 99久久综合免费| 久久精品国产鲁丝片午夜精品| 大陆偷拍与自拍| 亚洲av成人精品一二三区| 嫩草影院入口| 高清在线视频一区二区三区| 九九在线视频观看精品| 十分钟在线观看高清视频www| 亚洲综合精品二区| 国产一区有黄有色的免费视频| 国产成人精品久久久久久| 精品久久国产蜜桃| 久久国内精品自在自线图片| 韩国高清视频一区二区三区| 各种免费的搞黄视频| 免费日韩欧美在线观看| 青春草视频在线免费观看| 超色免费av| 亚洲色图综合在线观看| tube8黄色片| 中文字幕人妻丝袜制服| 一边亲一边摸免费视频| 国内精品宾馆在线| 两个人免费观看高清视频| 一二三四在线观看免费中文在 | 国产男女超爽视频在线观看| 免费av中文字幕在线| 性色avwww在线观看| 蜜桃在线观看..| 欧美bdsm另类| 欧美国产精品va在线观看不卡| 免费看不卡的av| www.色视频.com| 久久精品夜色国产| 久久精品国产综合久久久 | 只有这里有精品99| 美女福利国产在线| 在线观看人妻少妇| 亚洲精品自拍成人| 久久综合国产亚洲精品| 国产日韩欧美视频二区| 欧美+日韩+精品| 少妇人妻 视频| 欧美日韩国产mv在线观看视频| 日韩视频在线欧美| 在线观看免费日韩欧美大片| 大片免费播放器 马上看| 久久久久久久亚洲中文字幕| 欧美亚洲 丝袜 人妻 在线| 久久国产亚洲av麻豆专区| 天天躁夜夜躁狠狠躁躁| 大陆偷拍与自拍| 高清av免费在线| 国产乱来视频区| 女人久久www免费人成看片| 99香蕉大伊视频| 青春草亚洲视频在线观看| 2021少妇久久久久久久久久久| 一级黄片播放器| 熟妇人妻不卡中文字幕| 男人添女人高潮全过程视频| 久久婷婷青草| 九草在线视频观看| 男女下面插进去视频免费观看 | 侵犯人妻中文字幕一二三四区| 内地一区二区视频在线| 亚洲丝袜综合中文字幕| 国产精品.久久久| 肉色欧美久久久久久久蜜桃| 哪个播放器可以免费观看大片| 中文精品一卡2卡3卡4更新| 麻豆乱淫一区二区| 久热这里只有精品99| 日韩人妻精品一区2区三区| 欧美性感艳星| 中文字幕免费在线视频6| 亚洲国产日韩一区二区| 日韩精品有码人妻一区| 9191精品国产免费久久| 国产日韩欧美亚洲二区| 久久人妻熟女aⅴ| 成人影院久久| 99香蕉大伊视频| av片东京热男人的天堂| 久久午夜福利片| 久久人人97超碰香蕉20202| 在线天堂中文资源库| 国产黄色免费在线视频| 久久这里只有精品19| xxxhd国产人妻xxx| 在线免费观看不下载黄p国产| 免费少妇av软件| 大陆偷拍与自拍| 日本vs欧美在线观看视频| 黄色毛片三级朝国网站| 成人二区视频| 欧美老熟妇乱子伦牲交| 1024视频免费在线观看| 伦理电影免费视频| 日本欧美国产在线视频| av黄色大香蕉| 亚洲人成77777在线视频| 国产欧美日韩综合在线一区二区| 久久久久人妻精品一区果冻| 99久久精品国产国产毛片| 黑人巨大精品欧美一区二区蜜桃 | 国产极品粉嫩免费观看在线| 狂野欧美激情性xxxx在线观看| 狂野欧美激情性bbbbbb| 美女中出高潮动态图| 亚洲第一区二区三区不卡| 搡女人真爽免费视频火全软件| 日韩成人av中文字幕在线观看| 飞空精品影院首页| 国产欧美亚洲国产| 亚洲成国产人片在线观看| 九色亚洲精品在线播放| 国产在线视频一区二区| 极品人妻少妇av视频| 黄色怎么调成土黄色| 久久国产亚洲av麻豆专区| 蜜桃在线观看..| 国产亚洲欧美精品永久| 午夜精品国产一区二区电影| 中文天堂在线官网| 一二三四中文在线观看免费高清| 日韩一区二区视频免费看| 最新中文字幕久久久久| 一二三四在线观看免费中文在 | 国产女主播在线喷水免费视频网站| 视频中文字幕在线观看| 久久久久久久亚洲中文字幕| 成年动漫av网址| 美女大奶头黄色视频| 亚洲,一卡二卡三卡| 日韩一区二区视频免费看| 亚洲精品日韩在线中文字幕| 春色校园在线视频观看| 欧美日本中文国产一区发布| 人人妻人人澡人人看| 欧美日韩av久久| 尾随美女入室| 久久99一区二区三区| 亚洲欧美精品自产自拍| 啦啦啦在线观看免费高清www| 亚洲av电影在线观看一区二区三区| 99热6这里只有精品| 国产成人午夜福利电影在线观看| 国产永久视频网站| 夫妻午夜视频| 成年人午夜在线观看视频| 一级爰片在线观看| 免费观看av网站的网址| 国产一区亚洲一区在线观看| 欧美 亚洲 国产 日韩一| 免费少妇av软件| 久久99一区二区三区| 久久久精品94久久精品| 欧美3d第一页| 色94色欧美一区二区| 一本—道久久a久久精品蜜桃钙片| 春色校园在线视频观看| 亚洲丝袜综合中文字幕| 婷婷色麻豆天堂久久| 国产精品女同一区二区软件| 黑人巨大精品欧美一区二区蜜桃 | 2018国产大陆天天弄谢| 亚洲欧美日韩另类电影网站| 亚洲精品美女久久久久99蜜臀 | 桃花免费在线播放| 好男人视频免费观看在线| 欧美成人午夜免费资源| 成人亚洲欧美一区二区av| 黑人高潮一二区| 美女国产高潮福利片在线看| 日韩一区二区视频免费看| 亚洲一区二区三区欧美精品| 在线观看美女被高潮喷水网站| 飞空精品影院首页| av.在线天堂| 亚洲综合色网址| 建设人人有责人人尽责人人享有的| 免费看光身美女| 人人妻人人澡人人看| 夜夜骑夜夜射夜夜干| 久久精品aⅴ一区二区三区四区 | 成年动漫av网址| 亚洲av中文av极速乱| 黄片播放在线免费| 中文字幕免费在线视频6| 香蕉丝袜av| 免费久久久久久久精品成人欧美视频 | 亚洲av福利一区| 亚洲欧美清纯卡通| 日韩精品免费视频一区二区三区 | 少妇人妻久久综合中文| 咕卡用的链子| h视频一区二区三区| 只有这里有精品99| 亚洲色图综合在线观看| 亚洲国产精品国产精品| 欧美日韩一区二区视频在线观看视频在线| 亚洲一级一片aⅴ在线观看| 国内精品宾馆在线| 久热这里只有精品99| 中文欧美无线码| 精品一区二区三区视频在线| 伦理电影大哥的女人| 国产片内射在线| 免费看av在线观看网站| 久久女婷五月综合色啪小说| 精品久久蜜臀av无| 曰老女人黄片| 欧美+日韩+精品| 国产麻豆69| 国产精品久久久久成人av| 成人午夜精彩视频在线观看| 亚洲一码二码三码区别大吗| 波多野结衣一区麻豆| 亚洲精品久久午夜乱码| 成年人午夜在线观看视频| 亚洲三级黄色毛片| 国产黄频视频在线观看| 亚洲,一卡二卡三卡| 国产日韩欧美亚洲二区| 天天躁夜夜躁狠狠久久av| 观看美女的网站| 亚洲少妇的诱惑av| 国产精品 国内视频| 青青草视频在线视频观看| 久久人人97超碰香蕉20202| 成年美女黄网站色视频大全免费| 丰满乱子伦码专区| 热re99久久精品国产66热6| 免费高清在线观看日韩| 少妇的逼好多水| 飞空精品影院首页| 日本免费在线观看一区| 成人影院久久| 久久精品国产a三级三级三级| 久久鲁丝午夜福利片| 菩萨蛮人人尽说江南好唐韦庄| 在现免费观看毛片| 久久av网站| 极品人妻少妇av视频| 九色亚洲精品在线播放| 伦理电影大哥的女人| 又粗又硬又长又爽又黄的视频| 久久人人爽人人片av| 美女大奶头黄色视频| 一本—道久久a久久精品蜜桃钙片| 丰满迷人的少妇在线观看| a级毛片在线看网站| av免费在线看不卡| 亚洲欧美清纯卡通| 久久久国产欧美日韩av| 精品国产一区二区三区久久久樱花| 国产亚洲最大av| 久久ye,这里只有精品| 亚洲精品456在线播放app| 国产精品一区二区在线观看99| 久久久国产一区二区| 国产精品久久久久久精品古装| 免费女性裸体啪啪无遮挡网站| 男女边吃奶边做爰视频| 自线自在国产av| 大话2 男鬼变身卡| 日日爽夜夜爽网站| 少妇被粗大的猛进出69影院 | 极品人妻少妇av视频| 青春草国产在线视频| 欧美xxⅹ黑人| 久久综合国产亚洲精品| 在线观看人妻少妇| 91aial.com中文字幕在线观看| 夜夜骑夜夜射夜夜干| 亚洲久久久国产精品| 久久久久视频综合| 18禁动态无遮挡网站| 久久久久久久久久久久大奶| av国产久精品久网站免费入址| 日韩成人伦理影院| 日韩大片免费观看网站| 999精品在线视频| 成人亚洲欧美一区二区av| 观看美女的网站| 青春草视频在线免费观看| 七月丁香在线播放| 在线亚洲精品国产二区图片欧美| 91午夜精品亚洲一区二区三区| 亚洲四区av| 在线天堂最新版资源| 校园人妻丝袜中文字幕| 免费少妇av软件| 超色免费av| 国产片特级美女逼逼视频| www.av在线官网国产| √禁漫天堂资源中文www| 欧美成人午夜免费资源| 18在线观看网站| 99久久精品国产国产毛片| 国产一区二区三区综合在线观看 | 亚洲图色成人| 免费人妻精品一区二区三区视频| 亚洲国产精品成人久久小说| 日本黄色日本黄色录像| 欧美国产精品一级二级三级| 久久久久久久亚洲中文字幕| 欧美xxⅹ黑人| 在线观看国产h片| av在线老鸭窝| av网站免费在线观看视频| 两个人看的免费小视频| 久久狼人影院| av免费在线看不卡| 成年av动漫网址| 国产 一区精品| 亚洲五月色婷婷综合| 熟女电影av网| 黄片播放在线免费| 国产色婷婷99| 中国三级夫妇交换| 亚洲国产成人一精品久久久| 日韩av不卡免费在线播放| 男人爽女人下面视频在线观看| 最近中文字幕2019免费版| 美女福利国产在线| 伦精品一区二区三区| 久久久精品94久久精品| 成年动漫av网址| 精品久久蜜臀av无| 日本91视频免费播放| 制服诱惑二区| 久久人人爽人人片av| 国产女主播在线喷水免费视频网站| 午夜老司机福利剧场| 久久久国产精品麻豆| av在线播放精品| 不卡视频在线观看欧美| 人人妻人人添人人爽欧美一区卜| kizo精华| 免费av中文字幕在线| 午夜福利乱码中文字幕| 五月玫瑰六月丁香| 国产乱人偷精品视频| 亚洲欧洲国产日韩| 三上悠亚av全集在线观看| 99香蕉大伊视频| 黄色 视频免费看| 国产一区二区三区av在线| 麻豆精品久久久久久蜜桃| 如日韩欧美国产精品一区二区三区| 亚洲精品第二区| 伊人亚洲综合成人网| 我要看黄色一级片免费的| 免费av不卡在线播放| 高清不卡的av网站| 看十八女毛片水多多多| 国产亚洲午夜精品一区二区久久| 青春草视频在线免费观看| 自拍欧美九色日韩亚洲蝌蚪91| 国产亚洲精品第一综合不卡 | 激情视频va一区二区三区| 大香蕉久久成人网| a级毛色黄片| 亚洲美女黄色视频免费看| 久久久精品区二区三区| 观看av在线不卡| 韩国精品一区二区三区 | 日韩人妻精品一区2区三区| 国产成人aa在线观看| 男女边摸边吃奶| 一级黄片播放器| 中文欧美无线码| 欧美亚洲日本最大视频资源| 欧美人与性动交α欧美精品济南到 | 亚洲精品久久成人aⅴ小说| 日本猛色少妇xxxxx猛交久久| 国产av一区二区精品久久| 97在线视频观看| 蜜桃在线观看..| 在线观看美女被高潮喷水网站| 国产伦理片在线播放av一区| 天堂8中文在线网| 性高湖久久久久久久久免费观看| 热re99久久国产66热| 国产精品一区二区在线观看99| 热re99久久国产66热| 狠狠婷婷综合久久久久久88av| 最近的中文字幕免费完整| 蜜臀久久99精品久久宅男| 性色av一级| 又大又黄又爽视频免费| 亚洲少妇的诱惑av| 亚洲av福利一区| 亚洲丝袜综合中文字幕| 丰满乱子伦码专区| 亚洲精品一二三| 久久99热这里只频精品6学生| 看十八女毛片水多多多| 中文字幕精品免费在线观看视频 |