5G 電信云全局流量調度新方法

張學良 王 穎

（1、南京中興軟件有限責任公司，江蘇 南京210000 2、南京理工大學紫金學院，江蘇 南京210000）

隨著NFV 技術不斷發(fā)展，建網成本快速下降，國內外運營商逐漸使用NFV 架構來替換傳統(tǒng)設備部署在電信云數據中心上。國內三大運營商在國家新基建的號召下，加快將5G 和4G相關的核心網部署在電信云上。電信云上承載的是電信基礎設施的網元。隨著5G、數字化和智能化的深入，工業(yè)物聯網的蓬勃發(fā)展，在電信云中會產生海量數據。不僅對通信基礎設施網元的可靠性和穩(wěn)定性要求更高；同時在網元中會突發(fā)產生超大的流量，巨大流量產生具有隨機性。為了面對這些挑戰(zhàn)，大型電信云數據中心不僅要有穩(wěn)定的網絡結構，還要能基于端到端鏈路的擁塞情況來調度主機，從而提升電信云中網絡設備效率和可靠性。本文提出一種電信云全局流量自動調度新方法，嘗試解決電信云數據中心基于傳統(tǒng)VLAN 組網下突發(fā)的流量擁塞問題。

1 系統(tǒng)架構設計

NFV 虛擬化后，電信云中硬件、云平臺和VNF 完全解耦，VNF 充分利用云平臺的快速遷移和重生等云化重要功能。在電信云中部署處理媒體流、信令和網管的NFV 網元流量具有隨機性。同時數據中心的南北向和東西向流量中，鏈路上的中間節(jié)點多，在鏈路上的某個節(jié)點當吞吐量超過帶寬時就會引起報文傳輸的較大時延，甚至是丟棄。如果能夠從全局角度出發(fā)感知到端到端鏈路的流量過大，自動遷移虛機到其它計算節(jié)點上，從而解決VNF 網元鏈路擁塞問題。

參考ETSI 的NFV 架構[1]，云平臺和MANO 中增加組件來感知網絡鏈路以及執(zhí)行VNF 虛機調度組件（圖1）。

網絡設備：電信云數據中心的交換機與路由器設備，具有典型的三層網絡架構，TOR、EOR 和Core 三層架構。TOR 交換機與服務器相連，負責實現將服務器上的流量進行二層交換以及鏈路綁定功能；EOR 負責匯聚TOR 轉發(fā)過來的流量，將流量發(fā)送到Core 角色上。Core 角色采用路由器，與VNF 網元建立三層連接，還與數據中心外部的CE 建立通信，保證運營商的核心網網元互相連通，為用戶提供網絡服務。

服務器：高性能的硬件服務器，具有高速和穩(wěn)定的網卡。作為計算型服務器，具有3 對網卡，分別接入到管理、存儲和業(yè)務交換機。作為存儲型服務器，通常配置2 對網卡，分別接入到管理和存儲交換機中。服務器與網絡設備之間采用Co-Ne 接口通信。

云平臺：在硬件服務器上安裝云平臺系統(tǒng)，為VNF 網元提供虛擬的計算，存儲和網絡資源。VNF 網元部署在云平臺上。在電信云中，國內常用的有中興、華為和愛立信云計算平臺。這些云平臺都采用開源的OpenStack 為架構開發(fā)而來，系統(tǒng)穩(wěn)定和可靠，滿足電信級的高可靠性和高穩(wěn)定性。

網絡感知控制器：作為新引入的組件，它與云平臺集成在一起，主要作用是構建電信云中端到端全局的網絡拓撲以及鏈路的關系，同時感知每條鏈路上的擁塞，對超出閥值的鏈路上報給決策器。

決策器：MANO 中新增一個組件，決策感知器上報的鏈路擁塞閥值是否執(zhí)行VNF 虛機調度。決策器根據VNF 續(xù)集當前業(yè)務狀態(tài)以及云平臺資源以及全局流量狀態(tài)來作為決策的依據。當決策器決定遷移主機時可以將主機前往鏈路空閑的計算節(jié)點。決策器借用Nf-Vi 接口與云平臺進行通信。

VNF：虛擬化網元，在5G 核心網中可以為AMF、SMF、UDM以及PCF 等網元。在4G 網元中，包含PGW 和SGW 等網元。VNF 通過Vn-Fm 接口與MANO 的決策器通信，讓決策器能夠感知到VNF 當前業(yè)務狀態(tài)。業(yè)務運行狀態(tài)以及指標能夠及時傳送到MANO 的決策器中。

2 網絡感知器設計

網絡感知器是整個全局流量調度的核心組件之一，通過采用不同的技術與方法，構建出全局所有網元虛機中每個網卡的端到端鏈路流量。監(jiān)測每個網卡的東西向流量或者南北向流量，通過對每條鏈路的流量進行特征分析，及時發(fā)現有較大增加的鏈路。接下來詳細描述感知器的重要業(yè)務軟件流程。

2.1 構造網絡拓撲

自動構造網元虛機到匯聚層交換機EOR 之間端到端全局鏈路拓撲集，該拓撲接口包含三個層次，如圖2 所示。

虛機到計算節(jié)點層：每個VNF 網元通過MANO 的編排和部署功能，在計算節(jié)點上創(chuàng)建不同類型的虛機，在虛機里面運行不同的軟件包，實現VNF 的業(yè)務功能。在計算節(jié)點上有虛擬的端口與每個VNF 虛機的虛擬網卡相連接。通常在計算節(jié)點上有OVS、OVS+DPDK 以及SRIOV 類型的虛擬端口與虛機的網卡互相通信。不管采用哪種方式，計算節(jié)點都有對應的方法來查看每個虛機的網卡與計算節(jié)點連接關系。通過Openstack 云平臺提供的命令以及OVS 組件的CLI 就能確認虛機與OVS 的拓撲信息。感知器及時收集各個計算節(jié)點上的虛擬端口狀態(tài)和流量，清晰構造出VNF 網元所有虛擬網卡流量以及連接信息。

計算節(jié)點到接入層：計算節(jié)點上安裝Linux 操作系統(tǒng)，在Linux 操作系統(tǒng)上安裝LLDP 軟件包，從而實現通過LLDP 協議構造計算節(jié)點與接入層交換機的拓撲，確定計算節(jié)點與TOR 端口之間的連接信息。到此能夠夠構建出VNF 虛機網卡、OVS 以及TOR 的鏈路結構信息。

接入層到匯聚層：接口層與匯聚層都屬于交換機，LLDP 作為交換機的基礎功能，默認都是打開的。通過命令確認打開LLDP 功能后，TOR 和EOR 的端口連接關系通過查看LLDP 拓撲信息提取出連接關系。

最后將三個層次的端口拓撲信息連接起來就能構造出整個電信云DC 的全局鏈路拓撲集合。

2.2 拓撲節(jié)點流量測量

虛機網卡測量：VNF 網元虛擬化后，虛機內部采用linux 系統(tǒng)，通過Linux 查看網卡的流量統(tǒng)計，就能收集到網卡的流量數值。網卡的帶寬由業(yè)務能力的特性來估算一個數值。

計算節(jié)點測量：在計算節(jié)點上通過OVS 命令可以查詢到每個虛機網卡與計算節(jié)點上的OVS 的流量。在計算節(jié)點上直接采用開源的OVS 組件，性能很差，不能夠滿足電信級別高可靠和高穩(wěn)定性要求。業(yè)界主流的虛擬化加速技術在OVS 上增加DPDK 組件來加快報文的轉發(fā)，從而使得虛擬機的流量集合能夠達到物理網卡的性能。另外，有的運營商會采用SRIOV 技術來加速報文的轉發(fā)。這些虛擬化加速技術也都有命令可以采集中流量信息。

TOR 和EOR 測量：TOR 和EOR 屬于傳統(tǒng)的交換機，有命令可以查詢到每個端口的流量。既可以采用SSH 登入、SNMP 協議或者NETCONF 協議來實現端口的流量統(tǒng)計。本文建議采用SNMPv3 和SSH 相結合方式來獲取交換機端口流量。兩者能夠更加安全進行報文交互以及能夠獲取設備的運行狀態(tài)以及流量統(tǒng)計。

測量標定：通過設置紅色、黃色和綠色閥值與當前節(jié)點端口流量比較，標記鏈路狀態(tài)為紅色，黃色和綠色。超過帶寬80%定位紅色閥值，超過帶寬60%標記為黃色閥值，小于帶寬60%的流量標記為綠色閥值。

圖2 電信云全局鏈路拓撲集

2.3 篩選算法

當VNF 虛機流通鏈路上各個節(jié)點綠色時，保持鏈路拓撲不變。

當某個節(jié)點出現黃色或紅色，選擇上游節(jié)點綠色端口以及相關的綠色下聯節(jié)點鏈路。

當前某個節(jié)點上級節(jié)點沒有綠色端口，保留與上級節(jié)點的鏈路，再次篩選同節(jié)點的是否存在綠色端口。存在的話，選擇綠色端口。如果不存在綠色端口，此時整個DC 處于過負荷運轉，強行調度為可能引起網絡崩潰，不做處理。

最后，如果篩選算法計算出調度目標的計算節(jié)點以及當前鏈路擁塞的VNF 虛機名稱，將這些信息上報到MANO 中。MANO 收到這些信息后，及時將信息傳遞到決策器。決策器通過Vn-Fm 接口向流量擁塞的VNF 虛機發(fā)起業(yè)務感知，收集VNF虛機當前的業(yè)務性能統(tǒng)計。決策器優(yōu)先將VNF 網元擴容到新的空閑計算節(jié)點上，并將流量及時分擔到新的計算節(jié)點上。如果業(yè)務不支持動態(tài)擴容業(yè)務虛機數量，還能通過業(yè)務虛機熱遷移將流量主機遷移到新的空閑計算節(jié)點上，從而能夠充分利用NFV 虛擬化特性來自主調度虛機里面的流量。

3 結論

本文創(chuàng)新提出5G 虛擬核心網電信云中鏈路擁塞自動快速調度主機的解決方案。在關鍵技術中能自動構造NFV 電信云中VNF 虛機與EOR 之間的全局拓撲鏈路，自動測量鏈路流量，當出現擁塞，MANO 能夠快速對VNF 做出調度，有效避免電信云中核心網業(yè)務的過載與中斷。