SDN/NFV測試方法的研究

穆博+馬軍鋒+徐驍麟

摘要：構(gòu)建了系統(tǒng)性評估軟件定義網(wǎng)絡(luò)（SDN）/網(wǎng)絡(luò)功能虛擬化（NFV）技術(shù)能力的三級測試方法體系：接口級別的測試方法、網(wǎng)元級別的測試方法和平臺級別的測試方法。結(jié)合技術(shù)發(fā)展的具體特點，該體系分級別抽象了測試工作需要開展的測試方向，首次形成了相應(yīng)的測試評估指標(biāo)。該測試方法體系將為進(jìn)一步的測試研究工作提供重要的參考。

關(guān)鍵詞： 通信技術(shù)（CT）；信息技術(shù)（IT）；SDN；NFV

當(dāng)前，軟件定義網(wǎng)絡(luò)（SDN）/網(wǎng)絡(luò)功能虛擬化（NFV）技術(shù)已經(jīng)進(jìn)入到商業(yè)化部署的發(fā)展階段。其中，平臺化集成發(fā)展、場景化差異發(fā)展和開源化創(chuàng)新發(fā)展成為現(xiàn)階段技術(shù)發(fā)展的主要特征。

隨著商業(yè)化發(fā)展的不斷深入，技術(shù)發(fā)展前期相對缺失的規(guī)范化和標(biāo)準(zhǔn)化測試工作越來越成為制約業(yè)界發(fā)展的重要瓶頸。當(dāng)前，SDN/NFV技術(shù)依據(jù)不同的社區(qū)生態(tài)初步形成了相對孤立的“事實標(biāo)準(zhǔn)體系”，這對于開展測試方法的研究形成了障礙。

1 測試方法體系的總體設(shè)計

1.1 兩大測試維度

從重構(gòu)網(wǎng)絡(luò)架構(gòu)的角度出發(fā)（如圖1[1]所示），當(dāng)前軟件定義網(wǎng)絡(luò)（SDN）/網(wǎng)絡(luò)功能虛擬化（NFV）基礎(chǔ)技術(shù)架構(gòu)大體上可以抽象為3個功能層級：基礎(chǔ)設(shè)施層、業(yè)務(wù)控制層和管理編排層?；A(chǔ)設(shè)施層要求轉(zhuǎn)發(fā)面網(wǎng)元設(shè)備具備網(wǎng)絡(luò)可編程能力，通過業(yè)務(wù)控制層的南向接口開放網(wǎng)絡(luò)設(shè)備的控制功能；業(yè)務(wù)控制層要求能夠管控基礎(chǔ)設(shè)施，形成全局視角，借助業(yè)務(wù)控制層的北向接口向管理編配層提供網(wǎng)絡(luò)服務(wù)能力；管理編排層需要按照具體的網(wǎng)絡(luò)業(yè)務(wù)需求調(diào)度網(wǎng)絡(luò)資源，落實應(yīng)用部署的要求[1]。作為首要測試對象，測試三層基礎(chǔ)技術(shù)架構(gòu)的功能/性能能力是開展SDN/NFV測試工作的重要內(nèi)容。

除基礎(chǔ)技術(shù)架構(gòu)之外，與信息技術(shù)（IT）手段相融合的統(tǒng)一系統(tǒng)平臺能力（如圖2所示）也是開展SDN/NFV測試工作需要考慮的另一個重要維度。隨著虛擬化技術(shù)的不斷成熟，SDN/NFV技術(shù)越來越多的與分布式存儲技術(shù)、并行計算技術(shù)等IT技術(shù)交織協(xié)作，催生出融合型技術(shù)平臺。面對這樣的被測對象，傳統(tǒng)單一的網(wǎng)絡(luò)能力測試方法已經(jīng)難以滿足系統(tǒng)評估和分析的需要，開展SDN/NFV的測試工作亟需建立新的系統(tǒng)級測試方法。

1.2 測試視角與測試思路

從測試視角出發(fā)，SDN/NFV的測試工作可以分為開發(fā)測試和驗收測試兩大方向：開發(fā)測試是項目研發(fā)的重要組成部分，通常借助白盒測試的方法測試內(nèi)部結(jié)構(gòu)；驗收測試專注于具體的技術(shù)性能指標(biāo)能否適配外部應(yīng)用需求，大多數(shù)采用黑盒測試的方法測試性能。對比緊耦合于項目研發(fā)方法的開發(fā)測試，驗收測試專注于系統(tǒng)接口能力和整體功能/性能指標(biāo)，抽象化了不同的技術(shù)實現(xiàn)架構(gòu)和研發(fā)細(xì)節(jié)，更容易形成統(tǒng)一的測試方法體系，這對于指導(dǎo)產(chǎn)業(yè)發(fā)展，推動商業(yè)化進(jìn)程有著更加重大的意義。

在SDN/NFV基礎(chǔ)技術(shù)架構(gòu)下開展驗收測試，首先應(yīng)當(dāng)從接口能力入手，這些網(wǎng)絡(luò)接口的功能/性能參數(shù)是評測網(wǎng)絡(luò)能力最基本的技術(shù)指標(biāo)；在此基礎(chǔ)上擴(kuò)展測試范圍，應(yīng)當(dāng)圍繞網(wǎng)絡(luò)接口連接的網(wǎng)元設(shè)備，特別是位于不同功能層級的網(wǎng)元實體展開測試，這些網(wǎng)元實體是完整實現(xiàn)具體網(wǎng)絡(luò)能力的最小單元。考慮到不同應(yīng)用場景下SDN/NFV技術(shù)體系存在的差異化和平臺化特點，有必要結(jié)合場景部署的技術(shù)要求形成系統(tǒng)/平臺級別的評測方法。整體上看：按照從聚焦局部到擴(kuò)展全局的測試思路，應(yīng)當(dāng)建立接口級別、網(wǎng)元級別和平臺級別的三級評測方法體系（如圖3所示），有針對性地開展測試評估工作。

2 接口級別的測試方法分析

接口能力主要體現(xiàn)了系統(tǒng)與系統(tǒng)之間或系統(tǒng)內(nèi)部子系統(tǒng)之間的交互性，其測試的重點在于檢查數(shù)據(jù)的交互、傳遞和控制，以及系統(tǒng)間的邏輯關(guān)系。在SDN/NFV基礎(chǔ)技術(shù)架構(gòu)下，業(yè)務(wù)控制層的南北向接口分別連接了基礎(chǔ)設(shè)施層和管理編排層，功能上“屏蔽了網(wǎng)絡(luò)技術(shù)細(xì)節(jié)，提供了網(wǎng)絡(luò)抽象能力”，是整體網(wǎng)絡(luò)架構(gòu)中最重要的技術(shù)耦合點。對南北向接口開展測試工作，需要結(jié)合具體接口的技術(shù)發(fā)展特點，重點關(guān)注3個方面的性能指標(biāo)：協(xié)議/功能一致性、互操作性和高性能。

2.1 南向接口能力測試

南向接口連通了基礎(chǔ)設(shè)施層和業(yè)務(wù)控制層，是實現(xiàn)控制與轉(zhuǎn)發(fā)相分離，軟硬件解耦的重要接口。自SDN/NFV技術(shù)提出以來，南向接口得到了開放網(wǎng)絡(luò)基金（ONF）、國際互聯(lián)網(wǎng)工程任務(wù)組（IETF）等開源社區(qū)和技術(shù)標(biāo)準(zhǔn)組織的大力支持，形成了以O(shè)penFlow、Netconf、路徑計算元件通信協(xié)議（PCEP）、邊界網(wǎng)關(guān)協(xié)議傳遞域內(nèi)鏈路狀態(tài)（BGP-LS）等協(xié)議為代表的技術(shù)標(biāo)準(zhǔn)體系?？紤]到不同設(shè)備廠商在基礎(chǔ)設(shè)施層的設(shè)計和實現(xiàn)方面存在較大的差異。

（1）協(xié)議一致性。

協(xié)議一致性測試檢驗?zāi)舷蚪涌谀芰εc標(biāo)準(zhǔn)文檔之間的一致性程度，是保障網(wǎng)元設(shè)備互聯(lián)互通的基礎(chǔ)型測試工作，具體的測試內(nèi)容涉及3個方面：信道建立/斷開、協(xié)議報文交互、健壯性。

·信道建立/斷開：測試能否按照標(biāo)準(zhǔn)指定的傳輸控制協(xié)議（TCP）/用戶數(shù)據(jù)報協(xié)議（UDP）端口號，完成報文交互，建立/斷開通信信道。

·協(xié)議報文交互：測試能否按照標(biāo)準(zhǔn)定義的報文格式，完成相應(yīng)的報文交互，實現(xiàn)協(xié)議設(shè)定的網(wǎng)絡(luò)功能。

·健壯性：測試能否按照標(biāo)準(zhǔn)預(yù)設(shè)的錯誤處理方法，完成相應(yīng)的報文交互，正確應(yīng)答/處理錯誤信息。

（2）高性能。

高性能測試檢驗?zāi)舷蚪涌谠诟邩I(yè)務(wù)負(fù)載條件下的網(wǎng)絡(luò)接口能力，主要的測試指標(biāo)有：業(yè)務(wù)處理能力、緩存能力。

·業(yè)務(wù)處理能力：測試按照標(biāo)準(zhǔn)指定的業(yè)務(wù)處理方法，南向接口能夠完成的最大業(yè)務(wù)吞吐量。

·緩存能力：測試按照標(biāo)準(zhǔn)指定的業(yè)務(wù)報文格式，南向接口設(shè)置的最大緩存長度。

2.2 北向接口能力測試

北向接口連通了業(yè)務(wù)控制層和管理編排層，功能上實現(xiàn)了業(yè)務(wù)編排需求和全局化網(wǎng)絡(luò)能力之間的映射。接口能力的主要表現(xiàn)方式為RESTful 應(yīng)用程序編程接口（API），技術(shù)上實現(xiàn)了協(xié)議交互報文與HTTP方法之間的解耦，提高了接口訪問的可用性和執(zhí)行效率?？紤]到主流設(shè)備廠商在業(yè)務(wù)控制層尚未形成統(tǒng)一的網(wǎng)絡(luò)信息模型，當(dāng)前，在測試方面，業(yè)界主要關(guān)注北向接口的功能一致性、互操作性和高性能3方面指標(biāo)。

（1）功能一致性。

功能一致性測試檢驗北向接口能力與業(yè)務(wù)編排需求之間的一致性程度。在尚未形成統(tǒng)一的網(wǎng)絡(luò)信息模型之前，功能一致性測試是開展互操作性測試工作的唯一前提，具體的測試內(nèi)容涉及兩個方面：資源管理能力和業(yè)務(wù)編排能力。

·資源管理能力：測試能否全局化管理網(wǎng)絡(luò)資源，搜集網(wǎng)元、帶寬、鏈路、拓?fù)涞染W(wǎng)絡(luò)信息，并通過HTTP報文交互完成信息傳遞。

·業(yè)務(wù)編排能力：測試能否實現(xiàn)業(yè)務(wù)編排需求與全局化網(wǎng)絡(luò)能力之間的映射，通過HTTP報文交互調(diào)度網(wǎng)絡(luò)資源，落實業(yè)務(wù)編排指令。

（2）互操作性。

互操作性測試檢驗不同網(wǎng)元設(shè)備之間的互操作能力，是解除廠商鎖定，建設(shè)良性市場的關(guān)鍵性測試工作。以功能一致性測試為基礎(chǔ)的互操作性測試，具體測試內(nèi)容涉及：信道建立/斷開、功能一致性、健壯性。

·信道建立/斷開：測試能否建立異廠商設(shè)備的HTTP連接，完成相應(yīng)的報文交互，建立/斷開通信信道。

·功能一致性：測試能否在異廠商設(shè)備互聯(lián)的條件下，進(jìn)行資源管理能力測試和業(yè)務(wù)編排能力測試。

·健壯性：測試能否在異廠商設(shè)備互聯(lián)的條件下，完成基本的錯誤識別、告警和日志記錄能力。

（3）高性能。

高性能測試檢驗北向接口在高業(yè)務(wù)負(fù)載條件下的網(wǎng)絡(luò)接口能力，主要測試指標(biāo)有：HTTP信道事務(wù)吞吐量、業(yè)務(wù)處理能力。

·HTTP信道事務(wù)吞吐量：測試HTTP信道在進(jìn)行GET、PUT、POST、DELETE操作時的事務(wù)吞吐量。

·業(yè)務(wù)處理能力：測試不同業(yè)務(wù)負(fù)載的最大吞吐量，包括資源管理類報文負(fù)載和業(yè)務(wù)編排類報文負(fù)載。

3 網(wǎng)元級別的測試方法分析

3.1 基礎(chǔ)設(shè)施層能力測試

基礎(chǔ)設(shè)施層主要負(fù)責(zé)形成網(wǎng)絡(luò)轉(zhuǎn)發(fā)面，搜集網(wǎng)元節(jié)點的狀態(tài)信息，通過南向接口上傳給業(yè)務(wù)控制層。典型的基礎(chǔ)設(shè)施層設(shè)備是交換機(jī)。按照SDN/NFV技術(shù)關(guān)于“控制與轉(zhuǎn)發(fā)相分離”和“軟件與硬件相解耦”的技術(shù)要求，白盒化和軟件化是SDN/NFV交換機(jī)發(fā)展的重要特點。考慮到主流廠商的交換設(shè)備在能力開放方面存在差異，在測試方面，規(guī)格指標(biāo)和性能指標(biāo)是當(dāng)前交換機(jī)測試的主要關(guān)注點。

（1）規(guī)格指標(biāo)。

規(guī)格指標(biāo)測試檢驗交換機(jī)的功能能力能否達(dá)到設(shè)備提供商的規(guī)格指標(biāo)，是交換機(jī)質(zhì)量保證的傳統(tǒng)測試方法。對于SDN/NFV交換設(shè)備，具體的測試內(nèi)容涉及兩個方面：可編程能力和表容量能力。

·可編程能力：測試交換機(jī)通過南向接口處理控制指令流（如OpenFlow流表報文）的能力規(guī)格，重點關(guān)注交換機(jī)最大表項寬度（如OpenFlowL2/L3流表位寬和訪問控制列表（ACL）位寬）。

·表容量能力：測試交換機(jī)能夠存儲的最大流表數(shù)目（如OpenFlow L2流表容量和L3流表容量）。

（2）性能指標(biāo)。

性能指標(biāo)測試檢驗交換機(jī)能夠達(dá)到的最大業(yè)務(wù)處理能力，是另一種交換機(jī)質(zhì)量比較的傳統(tǒng)測試方法。對于SDN/NFV交換設(shè)備，具體的測試內(nèi)容涉及兩個方面：可編程性能和數(shù)據(jù)轉(zhuǎn)發(fā)能力。

·可編程性能：測試交換機(jī)通過南向接口處理控制指令流（如OpenFlow流表報文、Netconf配置參數(shù)）的性能參數(shù)，重點關(guān)注交換機(jī)的流表/配置建立速度。

·數(shù)據(jù)轉(zhuǎn)發(fā)能力：測試交換機(jī)的數(shù)據(jù)通道能否按照RFC 2544的規(guī)范要求，進(jìn)行線性轉(zhuǎn)發(fā)，同時，測試交換機(jī)在數(shù)據(jù)通道的緩存長度。

3.2 業(yè)務(wù)控制層能力測試

業(yè)務(wù)控制層是SDN/NFV基礎(chǔ)技術(shù)架構(gòu)中最重要的一層。通過綜合處理南向接口接收到的網(wǎng)絡(luò)狀態(tài)信息，業(yè)務(wù)控制層形成全局性的網(wǎng)絡(luò)能力視圖，向管理編排層提供系統(tǒng)化的網(wǎng)絡(luò)服務(wù)。典型的業(yè)務(wù)控制層設(shè)備是控制器?？紤]到實際組網(wǎng)環(huán)境中控制器需要管理不同規(guī)模的基礎(chǔ)設(shè)施層，在測試方面，單實例能力和集群能力是當(dāng)前控制器測試的兩大主要關(guān)注點。

（1）單實例能力。

單實例控制器負(fù)責(zé)管控小范圍內(nèi)的基礎(chǔ)設(shè)施資源，其功能能力是業(yè)務(wù)控制層最小的功能集合。單實例控制器主要包括三大通用模塊（如圖4所示）：網(wǎng)絡(luò)資源管理模塊、流編程模塊和第三方集成模塊，具體的測試內(nèi)容圍繞這三大功能模塊展開。

·網(wǎng)絡(luò)資源管理：測試單實例控制器管理基礎(chǔ)設(shè)施資源的能力，具體包括網(wǎng)元、帶寬、鏈路、拓?fù)涞染W(wǎng)絡(luò)資源的管理上限、南向接口的信道連接數(shù)量等資源管理能力。

·流編程：測試單實例控制器的網(wǎng)絡(luò)編程能力，重點關(guān)注流表（OpenFlow協(xié)議為例）或者配置（Netconf協(xié)議為例）的編程能力。

·第三方集成：測試單實例控制器能否集成到第三方平臺，重點關(guān)注單實例控制器能力能否整合到平臺能力當(dāng)中。

（2）集群能力。

控制器集群負(fù)責(zé)管控更大范圍的基礎(chǔ)設(shè)施資源，聚焦于不同集群規(guī)模條件下的控制器能力，具體的測試內(nèi)容包括：集群初始化能力測試和單實例能力測試指標(biāo)的集群正交。

·集群初始化能力：測試控制器集群在初始化階段的處理能力，重點關(guān)注控制器集群的主被選舉時延和角色宣告時延。

·單實例能力測試指標(biāo)的集群正交：在不同的集群規(guī)模條件下（如拓?fù)浣Y(jié)構(gòu)和拓?fù)湟?guī)模），測試控制器集群在網(wǎng)絡(luò)資源管理、流編程和第三方集成方面的功能/性能能力。

3.3 編排管理層能力測試

編排管理層是SDN/NFV基礎(chǔ)技術(shù)架構(gòu)中最高層。通過匹配系統(tǒng)化的網(wǎng)絡(luò)服務(wù)能力與具體的業(yè)務(wù)部署需求，編排管理層負(fù)責(zé)形成網(wǎng)絡(luò)資源的全局化模板，并向業(yè)務(wù)控制層下發(fā)模板調(diào)用請求。典型的編排管理層設(shè)備是編排器。作為最接近業(yè)務(wù)應(yīng)用的SDN/NFV基礎(chǔ)技術(shù)能力，在測試方面，業(yè)務(wù)能力測試是當(dāng)前業(yè)界的主要關(guān)注點。

業(yè)務(wù)能力測試檢驗編排器能否滿足業(yè)務(wù)/應(yīng)用部署的需求。按照典型的SDN/NFV業(yè)務(wù)特點進(jìn)行劃分，具體的測試內(nèi)容涉及3個方面：L2虛擬專用網(wǎng)絡(luò)（VPN）/L3VPN能力、服務(wù)功能鏈（SFC）能力、虛擬防火墻（vFW）/虛擬負(fù)載均衡（vLB）/虛擬網(wǎng)關(guān)（vGW）能力。

·L2VPN/L3VPN能力：測試編排器配置部署L2VPN/L3VPN的能力，重點關(guān)注形成模板的處理能力和下發(fā)模板的能力。

·SFC能力：測試編排器配置部署SFC的能力，重點關(guān)注形成模板的處理能力和下發(fā)模板的能力。

·vFW/vLB/vGW能力：測試編排器配置部署vFW/vLB/vGW的能力，重點關(guān)注形成模板的處理能力和下發(fā)模板的能力。

4 平臺級別的測試方法分析

ICT統(tǒng)一平臺是SDN/NFV技術(shù)與IT技術(shù)（分布式存儲技術(shù)、并行計算技術(shù)）協(xié)同發(fā)展的融合型技術(shù)平臺。按照歐洲電信標(biāo)準(zhǔn)化協(xié)會（ETSI）在2014年發(fā)布的NFV體系架構(gòu)標(biāo)準(zhǔn)，ICT技術(shù)統(tǒng)一平臺實現(xiàn)了“網(wǎng)絡(luò)功能虛擬化基礎(chǔ)設(shè)施（NFVI）+虛擬基礎(chǔ)設(shè)施管理（VIM）”兩大主要功能，具備了承載以VNF為代表的業(yè)務(wù)負(fù)載的能力（如圖5[2]所示）。ICT技術(shù)統(tǒng)一平臺設(shè)計了多種NFV特色（如錯誤管理、IPv6、L3VPN等），能夠?qū)τ诓煌呢?fù)載場景需求進(jìn)行有針對性的差異化匹配部署，體現(xiàn)了良好的功能彈性。對ICT技術(shù)統(tǒng)一平臺開展測試評估工作，需要綜合ICT測試方法，以平臺和負(fù)載的關(guān)系為主要測試對象，重點關(guān)注兩個方面的能力指標(biāo)：功能一致性和互操作性。

4.1 功能一致性

功能一致性測試關(guān)注平臺能力與負(fù)載需求之間的匹配程度，是實現(xiàn)業(yè)務(wù)負(fù)載部署和互操作性測試的重要前提，具體的測試內(nèi)容圍繞平臺能力的3個方面展開：計算一致性、存儲一致性和網(wǎng)絡(luò)一致性。

（1）計算一致性。

計算一致性測試檢驗平臺的計算能力能否滿足業(yè)務(wù)負(fù)載（如L3VPN/L2VPN、SFC、vFW等）的計算需求，重點關(guān)注高性能、規(guī)格指標(biāo)、可靠性3個方面。

·高性能：測試平臺的中央處理器（CPU）/內(nèi)存處理能力能否滿足業(yè)務(wù)負(fù)載的需求，重點關(guān)注CPU和內(nèi)存的處理時延和吞吐量。

·規(guī)格指標(biāo)：測試平臺的CPU/內(nèi)存規(guī)格指標(biāo)能否滿足業(yè)務(wù)負(fù)載的需求，重點關(guān)注CPU和內(nèi)存的核數(shù)和平均利用率。

·可靠性：測試平臺CPU/內(nèi)存的可靠性能否滿足業(yè)務(wù)負(fù)載的需求，重點關(guān)注CPU/內(nèi)存的平均無錯誤時間等可靠性指標(biāo)。

（2）存儲一致性。

存儲一致性測試檢驗平臺的存儲能力能否滿足業(yè)務(wù)負(fù)載（如L3VPN/L2VPN、SFC、vFW等）的存儲需求，重點關(guān)注高性能、規(guī)格指標(biāo)、可靠性3個方面。

·高性能：測試平臺的存儲處理能力能否滿足業(yè)務(wù)負(fù)載的需求，重點關(guān)注串行/隨機(jī)讀寫操作的處理時延和吞吐量。

·規(guī)格指標(biāo)：測試平臺的存儲規(guī)格指標(biāo)能否滿足業(yè)務(wù)負(fù)載的需求，重點關(guān)注塊存儲/對象存儲的規(guī)格大小和平均利用率。

·可靠性：測試平臺存儲的可靠性能否滿足業(yè)務(wù)負(fù)載的需求，重點關(guān)注塊存儲/對象存儲的平均無錯誤時間等可靠性指標(biāo)。

（3）網(wǎng)絡(luò)一致性

網(wǎng)絡(luò)一致性測試檢驗平臺的網(wǎng)絡(luò)能力能否滿足業(yè)務(wù)負(fù)載（如L3VPN/L2VPN、SFC、vFW等）的網(wǎng)絡(luò)需求，重點關(guān)注高性能、規(guī)格指標(biāo)、可靠性3個方面。

·高性能：測試平臺的網(wǎng)絡(luò)處理能力能否滿足業(yè)務(wù)負(fù)載的需求，重點關(guān)注NFVI結(jié)點和虛擬機(jī)（VM）的處理時延和吞吐量。

·規(guī)格指標(biāo)：測試平臺的網(wǎng)絡(luò)規(guī)格指標(biāo)能否滿足業(yè)務(wù)負(fù)載的需求，重點關(guān)注平臺能夠承載的最大連接數(shù)、網(wǎng)絡(luò)吞吐量、網(wǎng)絡(luò)利用率。

·可靠性：測試平臺網(wǎng)絡(luò)的可靠性能否滿足業(yè)務(wù)負(fù)載的需求，重點關(guān)注平臺所用網(wǎng)卡的平均無錯誤時間等可靠性指標(biāo)。

4.2 互操作性

互操作性測試檢驗平臺與負(fù)載之間的互操作能力，是一種解除廠商鎖定，建設(shè)良性市場的關(guān)鍵性測試工作，具體的測試內(nèi)容主要圍繞負(fù)載部署能力的相關(guān)指標(biāo)展開。

負(fù)載部署能力測試檢驗業(yè)務(wù)負(fù)載能否在異廠商平臺上實現(xiàn)部署和管理，重點關(guān)注負(fù)載生命周期管理、負(fù)載配置管理、負(fù)載健壯性管理和負(fù)載性能能力。

·負(fù)載生命周期管理：測試能否在異廠商平臺上完成完整的負(fù)載生命周期，即負(fù)載部署、負(fù)載運(yùn)行和負(fù)載卸載。

·負(fù)載配置管理：測試能否在異廠商平臺上配置負(fù)載參數(shù)。

·負(fù)載健壯性管理：測試能否在異廠商平臺上監(jiān)測、記錄負(fù)載錯誤信息，并按照設(shè)計要求進(jìn)行錯誤處理。

·負(fù)載性能能力：測試在異廠商平臺上負(fù)載運(yùn)行時的性能參數(shù)指標(biāo)，如吞吐量、時延等。

5 測試實踐與問題分析

5.1 典型測試實踐

在標(biāo)準(zhǔn)化組織和開源社區(qū)的支持下，到2016年底，業(yè)界主要在兩個方向開展了SDN/NFV的測試實踐：OpenFlow協(xié)議一致性測試和開源控制器能力測試。

（1）OpenFlow接口一致性測試。

在ONF的主導(dǎo)下，發(fā)布于2014年的OpenFlow 1.3v協(xié)議獲得了業(yè)界的認(rèn)可，全球主流設(shè)備制造商紛紛基于該協(xié)議設(shè)計出自己的OpenFlow-enable設(shè)備。隨著商業(yè)化部署的不斷發(fā)展，OpenFlow接口能力成為業(yè)界關(guān)注的重點。在這樣的技術(shù)背景下，ONF提出了OpenFlow 1.3v一致性測試規(guī)范[3]：通過394項測試?yán)?，分別驗證了OpenFlow接口能否在信道建立/斷開、協(xié)議報文交互和健壯性3個方面與OpenFlow 1.3v規(guī)范保持一致。

（2）開源控制器能力測試。

OpenDayLight社區(qū)于2016年5月發(fā)布了開源控制器OpenDaylight的單實例測試白皮書[4]，測試內(nèi)容覆蓋了OpenDayLight控制器在網(wǎng)絡(luò)資源管理和流編程兩大功能方面的處理能力，其中，白皮書在流編程能力（OpenFlow流表配置）方面實現(xiàn)了OpenFlow-Beryllium、ONOS-1.5.1v和Floodlight-1.2v的單實例對比測試。

ONOS社區(qū)在2015年4月，發(fā)布了開源控制器ONOS-1.2.0v（Blackbird版本）的集群性能測試白皮書[5]，測試內(nèi)容覆蓋了ONOS集群在網(wǎng)絡(luò)資源管理和流編程功能方面的處理能力。

5.2 測試工作中的問題探討

（1）測試思路局限性。

從測試思路上看：目前已經(jīng)開展的測試工作仍然聚焦于以O(shè)penFlow協(xié)議為代表的南向接口能力和以控制器為代表的網(wǎng)元設(shè)備能力，對于以ICT技術(shù)統(tǒng)一平臺為對象的平臺級測試工作，目前尚處于研究階段。

（2）測試方法滯后性。

從測試方法上看：系統(tǒng)性和規(guī)范性測試方法體系的缺失已經(jīng)成為制約測試工作進(jìn)一步發(fā)展的重要瓶頸。標(biāo)準(zhǔn)化組織的相對滯后和開源組織的快速發(fā)展，形成了當(dāng)前依據(jù)社區(qū)生態(tài)為劃分的“事實標(biāo)準(zhǔn)體系”，進(jìn)一步增加了建設(shè)標(biāo)準(zhǔn)化測試方法體系的難度。

（3）測試工具不成熟。

在測試工具方面，傳統(tǒng)的測試儀表提供商面臨著技術(shù)轉(zhuǎn)型的巨大壓力，其測試解決方案難以滿足評估的需求，特別是圍繞ICT技術(shù)統(tǒng)一平臺開展的測試評估活動。當(dāng)前以開源項目為主體的開源工具集合成為測試工作的主要依賴。然而，開源項目自身在可靠性和穩(wěn)定性方面存在缺陷，開源社區(qū)在技術(shù)支持等服務(wù)質(zhì)量方面存在重大短板，整體上看，缺少可靠的測試工具成為制約進(jìn)一步開展測試工作的另一個重要因素。

6 結(jié)束語

當(dāng)前，SDN/NFV相關(guān)的測試工作還處于比較初級的發(fā)展階段，從測試思路到測試工具，業(yè)界還沒有形成行之有效的系統(tǒng)級解決方案。未來，伴隨著商業(yè)化進(jìn)程的不斷深入，SDN/NFV相關(guān)的測試工作也將逐步得到業(yè)界的重視，吸引越來越多的技術(shù)專家參與其中，完善測試方法討論，研發(fā)系統(tǒng)級評測工具，全面提升SDN/NFV技術(shù)評測水平。

參考文獻(xiàn)

[1] 中國電信.中國電信CTNet2025網(wǎng)絡(luò)架構(gòu)白皮書[EB/OL].[2016-07-11]（2017-01-24）.http：//wenku.baidu.com/link？url=VFlm_4wmV7gTbrV0m3uv4Ce4PgR5n9MnWFjTvDC8CMYvzK7hVuR7T6rYasMjGijyU_0pCVOogjtb2NUYXaK5ywvA8NzxiSQu9imf-_SiLYG

[2] ETSI. Network Functions Virtualisation （NFV） Architectural Framework.[EB/OL].[2014-12-21]（2017-01-22）. http：//www.etsi.org/deliver/etsi_gs/NFV/001_099/002/01.02.01_60/gs_NFV002v010201p.pdf

[3] ONF.OpenFlow Switch Specification[EB/OL].[2014-03-27]（2017-02-24）.https：//www.opennetworking.org/images/stories/downloads/sdn-resources/onf-specifications/openflow/openflow-switch-v1.3.4.pdf

[4] OpenDaylight. OpenDaylight性能測試白皮書[EB/OL].[2016-05-20]（2017-01-23）.https：//www.opendaylight.org/sites/www.opendaylight.org/files/odl_performancetechnicalreport_1-1_052716.pdf

[5] ONOS. ONOS性能測試白皮書[EB/OL].[2015-04-12]（2017-01-19）.https：//wiki.onosproject.org/display/ONOS/Blackbird+Performance+Evaluation