SDN規(guī)模部署關鍵問題分析

李晨+程偉強+王金柱

摘要：SDN是中國移動未來網絡項目NovoNet的核心技術之一。指出中國移動的SDN實踐，重點包括數(shù)據(jù)中心、軟件定義的分組傳送網（SPTN）、廣域網、集客網、移動核心網五大應用場景。通過對SDN發(fā)展的關鍵技術問題的介紹和分析，認為SDN把軟件和網絡結合在一起，給網絡帶來靈活性和開放性，同時也對網絡固有的穩(wěn)定性有所沖擊。對于SDN引入來說，應該全局考慮業(yè)務系統(tǒng)對穩(wěn)定性和靈活性的需求和平衡。

關鍵詞： SDN；NovoNet；數(shù)據(jù)中心；SPTN

1 未來網絡發(fā)展目標

通信網絡經歷了1.0模擬通信、2.0數(shù)字通信、3.0 IP化通信，正式進入通信4.0 時代。通信4.0 需要信息技術（IT）和計算機技術（CT）融合。其核心特征包括敏捷化、開放化、軟件化、虛擬化。為實現(xiàn)快速響應市場發(fā)展，滿足客戶對通信網絡深層次需求的目標，亟須開展網絡轉型工作。中國移動于2015年初提出了發(fā)展下一代創(chuàng)新網絡NovoNet的理念，深度融合IT新技術，構建“資源可全局調度，能力可全面開放，容量可彈性伸縮，架構可靈活調整”的新一代運營商網絡。

1.1 新型數(shù)據(jù)中心和新型網絡

通信4.0時代的網絡在物理設計上應具備兩大基礎特征：

（1）網絡功能軟件化形成電信云，構成新型數(shù)據(jù)中心。

（2）軟件定義網絡（SDN），實現(xiàn)靈活調度，構成新型網絡。

傳統(tǒng)電信網絡采用專用設備，這些設備的電源、功耗、尺寸要求各不相同，導致大量專用電信機房出現(xiàn)。未來的新型數(shù)據(jù)中心目標是統(tǒng)一規(guī)劃，采用通用服務器，形成統(tǒng)一的資源池，電信設備將采用網絡功能虛擬化（NFV）技術實現(xiàn)軟硬件分離，電信網元功能以軟件形式承載在統(tǒng)一資源池上形成電信云，實現(xiàn)網絡快速部署，網元快速升級以及容量的彈性調度。新型數(shù)據(jù)中心的核心技術是NFV和SDN。

傳統(tǒng)IP網絡自組織轉發(fā)方式無法準確調度路由和開放路由；輕載建設的傳統(tǒng)模式在大帶寬時代無法長久持續(xù)。新型網絡采用SDN技術，通過將路由設備控制和轉發(fā)功能分離，實現(xiàn)網絡路由的集中計算，向轉發(fā)設備下達路由，從而實現(xiàn)網絡的靈活、智能調度，以及網絡能力的開放和可編程[1]。

1.2 中國移動NovoNet計劃

中國移動推出NovoNet新一代網絡計劃，旨在融合IT、CT技術，構建一張“資源可全局調度，能力可全面開放，容量可彈性伸縮，架構可靈活調整”的新一代網絡。NovoNet中Novo是拉丁語創(chuàng)新的詞根，Net包括了移動和固定網絡、IP網絡、傳輸網絡以及數(shù)據(jù)中心網絡。NovoNet的核心技術是SDN和NFV，核心思想是“新架構、新運營、新服務”。NovoNet將以新型數(shù)據(jù)中心為單元形成電信云，通過新型網絡實現(xiàn)高效承載，最終實現(xiàn)網絡功能軟件化、資源共享化、網絡可編程。

2 中國移動SDN部署實踐

2.1 SDN部署應用場景

中國移動SDN網絡主要包括5個應用場景：

（1）NovoDC，是NovoNet在數(shù)據(jù)中心的實現(xiàn)方案，旨在為公有云、私有云提供多租戶/多業(yè)務的虛擬網絡，滿足用戶自助開通虛擬私有云網絡的需求。

（2）軟件定義的分組傳送網（SPTN），是NovoNet在傳送網的主要場景之一，旨在為集團客戶、長期演進（LTE）回傳網絡提供快速開通和質量保證。

（3）NovoWAN，是NovoNet在廣域網的實現(xiàn)方案，通過實時感知網絡流量，全局集中調度流量，提升IP網絡帶寬利用率，并且能夠保證關鍵業(yè)務質量。

（4）NovoVPN，是NovoNet在集客多協(xié)議標簽交換（MPLS）虛擬專用網絡（VPN）的實現(xiàn)方案，該方案基于Overlay VPN技術，實現(xiàn)集客VPN用戶的快速接入，自動上線。

（5）移動核心網、固網應用SDN，實現(xiàn)靈活業(yè)務鏈的編排。

2.2 數(shù)據(jù)中心SDN商用部署

2015年中國移動公眾服務云商用部署SDN網絡，主要提供私有網絡（VPC）、虛擬防火墻、虛擬負載均衡、VPN等網絡服務。該方案基于中國移動自研的OpenStack大云平臺，采用Plug-in方式和SDN對接。

該方案中SDN轉發(fā)節(jié)點數(shù)百個，控制器采用集群方式實現(xiàn)可靠保護和負載分擔，如圖1所示。

2.3 SPTN部署

2.3.1 SPTN架構、北向接口和南向接口

SPTN是業(yè)界率先提出面向超大規(guī)模網絡的層次化控制架構，并付諸實現(xiàn)。SPTN作為下一代城域傳送網解決方案，要能夠覆蓋全國所有縣市，實現(xiàn)多廠家，百萬節(jié)點組網。為了在大規(guī)模網絡上，同時實現(xiàn)區(qū)域內靈活管控和跨區(qū)域端到端調度，SPTN引入了分層分域管理的層次化控制器模型，如圖2所示[2]。

直接管理轉發(fā)設備的控制器成為域控制器，一個管理域對應一個域控制器來管控；在域控制器之上，可以繼續(xù)構建超級控制器，用于管理下層的多個域控制器；若需要跨域管理多個超級控制器的域，還可以繼續(xù)在此基礎上構建更高層次的超級控制器。通過構建金字塔式的層次化控制器架構，頂層控制器能對全網的集中控制中心，實現(xiàn)大規(guī)模、多域、多廠家組網。同時，各層控制器獨立管控自己域內的資源，能夠實現(xiàn)本地運維和管理。

各層控制器采用統(tǒng)一的拓撲、資源、業(yè)務抽象模型，上層控制器可通過下層控制器的北向接口的調用來完成自底向頂?shù)募?。如果提升控制器的管理能力，控制器支持管理更多的轉發(fā)設備的情況下，可以避免控制器的層次過多，這樣更加有助于網絡的集成和管理。

中國移動率先制訂了SPTN標準信息模型及接口協(xié)議，實現(xiàn)現(xiàn)網多廠家互聯(lián)及智能化升級。北向接口指控制器之間以及控制器與應用程序（APP）之間的接口，主要接口功能需包括拓撲管理、業(yè)務控制、告警、性能監(jiān)測控制以及安全管理等功能。APP與控制器之間的接口以及控制器之間接口的大部分功能相同，為了減少接口標準的復雜度，兩個接口采用相同的標準協(xié)議。在SPTN系統(tǒng)中，采用了業(yè)界主流的RESTCONF接口，針對SPTN功能設計了統(tǒng)一的YANG數(shù)據(jù)模型，描述接口的交互信息，主要的模型如表1所示。

制訂SPTN 南向接口（OpenFlow 表轉發(fā)模型（TTP））， 通過標準轉發(fā)設備和南向接口實現(xiàn)跨廠家設備的直接管控。原生的OpenFlow無法滿足SPTN電信級網絡的要求。SPTN針對OpenFlow做了如下方面的擴展：

（1）轉發(fā)pipeline擴展。該擴展支持網絡側接口（NNI）到用戶網絡接口（UNI）側的處理，以及UNI 到NNI 的處理。這個處理過程能夠使得SPTN 系統(tǒng)能夠插入或者提取合適的操作管理維護（OAM）報文或者保護報文。

（2）對OAM 的擴展。該擴展需滿足層次化的OAM 要求，支持段層、偽線（PW）層、分層服務提供商（LSP）層以及業(yè)務層的各種OAM 處理，以及不同廠家設備之間的互聯(lián)互通。對OAM 的擴展模塊應置于傳送設備，以硬件實現(xiàn)，以保證實時性。

（3）對線性保護倒換的擴展 。線性保護需要運行較復雜的狀態(tài)機，如果都運行在控制平面，50 ms以內的快速保護倒換很難實現(xiàn)。在SPTN中建議將倒換狀態(tài)機的運行作為黑盒放置于傳送設備，該處理模塊與OAM模塊及OpenFlow pipeline對接，同時，控制器運行協(xié)同機制，保證保護倒換狀態(tài)的一致性。

2.3.2 SPTN測試和試點

SPTN構建了包括軟件系統(tǒng)（APP、超級控制器、域控制器）、硬件設備（SPTN設備及芯片），測試儀表等的端到端生態(tài)系統(tǒng)，如圖3所示。

目前，中國移動已經完成現(xiàn)網7廠家的實驗室互通測試，在廣東、浙江、福建、北京等省份或地區(qū)進行了在現(xiàn)網商用試點。試點結果表明，SPTN網絡讓PTN專線開通時間從“周”級別縮短到“分鐘”級，實現(xiàn)了跨廠家端到端業(yè)務開通。

2.4 自研SDN控制器

自2014年起，中國移動基于開源OpenDaylight平臺，自主研發(fā)了面向數(shù)據(jù)中心的SDN控制器，為公有云、私有云提供虛擬網絡解決方案。自研SDN控制器一方面借助OpenDaylight平臺實現(xiàn)多種南向協(xié)議（包括OpenFlow、NETCONF等）以及網絡基本功能（拓撲、狀態(tài)管理，主機追蹤等）；另一方面自主研發(fā)新功能，滿足中國移動數(shù)據(jù)中心的定制需求。自研新功能主要包括以下幾部分，如圖4所示。

（1）虛擬網絡轉發(fā)、策略控制。基于開放虛擬交換機（OVS），通過OpenFlow流表的方式實現(xiàn)功能包括L2轉發(fā)、L3分布式路由、安全組、虛擬端口限速、動態(tài)主機配置協(xié)議（DHCP） 服務、元數(shù)據(jù)服務。

（2）與第三方網元開放接口互通。利用多廠家商業(yè)VXLAN網關、防火墻、負載均衡器為虛擬網絡提供服務。自研SDN控制器按照《中國移動SDN控制器接口規(guī)范》進行開發(fā)，控制商用設備。

（3）多層、可視化運維。提供Underlay物理層、Overlay虛擬網絡層以及用戶視圖層3個層面的可視化運維功能。

（4）OpenStack集成。能夠與主流OpenStac發(fā)布版I、K等集成。

中國移動自研SDN控制器不僅能夠滿足數(shù)據(jù)中心的定制化功能需求，在性能方面也可以滿足中型數(shù)據(jù)中心上千臺虛擬機（VM）并發(fā)上線的能力。

3 SDN規(guī)模部署關鍵問題

通過以上一定規(guī)模的商用部署和運營，以及真實環(huán)境下的壓力測試，我們發(fā)現(xiàn)SDN網絡在實際使用中還存在著一些問題亟待解決：

（1）軟件定義網絡，除了把軟件的優(yōu)勢帶給了網絡，也把軟件的問題擴展到網絡，影響到了網絡的穩(wěn)定性。數(shù)據(jù)庫、消息隊列以及異常處理是大型軟件運行中影響穩(wěn)定性的主要因素。傳統(tǒng)網絡設備采用專用轉發(fā)芯片實現(xiàn)，操作系統(tǒng)運行的軟件以及協(xié)議相對簡單，穩(wěn)定性較高。SDN網絡中通過控制器集中處理消息，引入了消息隊列、數(shù)據(jù)庫等軟件組件，在大壓力下這些軟件組件本身的問題將直接影響網絡系統(tǒng)的穩(wěn)定性。在使用中，我們發(fā)現(xiàn)了幾個實際應用中的案例：

·數(shù)據(jù)庫不同步。OpenStack Neutron和控制器都維護各自數(shù)據(jù)庫。當一個虛擬交換機（VSM）故障，馬上新建VM時，Neutron數(shù)據(jù)庫來不及更新而控制器已經感知，后續(xù)對這個VM的處理將出現(xiàn)異常。

·消息隊列滿?？刂破飨㈥犃袧M了，將造成后續(xù)VM端口啟動消息丟失，進而導致后續(xù)VM無法執(zhí)行DHCP流程并獲取IP地址。

·異常處理不完善。為了避免并發(fā)寫數(shù)據(jù)時候的沖突問題，軟件系統(tǒng)的操作方式有兩種，一種是單數(shù)據(jù)庫操作且寫數(shù)據(jù)加鎖，但這種方式效率有限；另一種方式是采用分布式數(shù)據(jù)庫采用負載分擔方式，不過容易出現(xiàn)并發(fā)寫的時候鎖不住，造成兩邊數(shù)據(jù)沖突，所以在鎖不住的情況下往往采用回滾方式處理。由于控制器異常情況下回滾處理不完善，回滾失敗，導致重新申請失敗。

在大數(shù)據(jù)量并發(fā)配置的情況下，上述問題很容易發(fā)生，且直接影響網絡的穩(wěn)定性。關于軟件給網絡穩(wěn)定性帶來風險的問題，需要重點研究和優(yōu)化。

（2）目前的SDN產品不是開放，而是更封閉。傳統(tǒng)網絡中，基礎網絡基于以太網、IP路由協(xié)議搭建，主要采用多廠家數(shù)據(jù)中心交換機產品混合組網。對于安全、負載均衡等增值網絡服務方面，可以通過IP技術兼容第三方廠家產品實現(xiàn)。從目前SDN產品看，包括控制器、虛擬交換機、SDN TOR交換機、SDN網關、防火墻、負載均衡、VPN設備等，都必須采用單廠家一攬子方案，最多強綁定指定第三方產品。這種格局并不利于SDN的長遠發(fā)展。

該問題表現(xiàn)為2個層面的綁定：第1個層面是SDN和功能網元的綁定；第2個層面是SDN控制面和轉發(fā)面的綁定。對于第1個層面，其本質在于目前缺少標準的業(yè)務鏈實現(xiàn)機制，所以廠家在SDN轉發(fā)設備和防火墻、負載均衡等網絡功能設備之間導流時，采用了SDN廠家私有技術和接口。另外，功能網元的配置定義不完善（如單臂雙臂、子接口虛擬局域網配置等），需要相應的擴展。對于第2個層面，一方面從商業(yè)上講，控制器和轉發(fā)設備之間想打開是一種新的商業(yè)模式，還需要產業(yè)鏈自己去演進，也許未來會形成控制器廠家和轉發(fā)設備廠家，而現(xiàn)階段，每個廠家都同時有控制器和轉發(fā)設備，想互相管理對方的設備難度很大；另一方面，單從技術上講，即使不同SDN方案提供商宣稱控制器和轉發(fā)設備之間都支持OpenFlow1.3，但是在這些flow mod消息中到底相同功能的一條流表映射成為幾級設備上的轉發(fā)表，每級轉發(fā)表匹配的內容和動作是什么，都是千差萬別的，特別是控制器去配置硬件交換機時，還和芯片有關，難度更大。

中國移動自主開發(fā)SDN控制器的最主要需求就是為了解決上述兩個問題。一方面通過定義標準的控制器與多廠家轉發(fā)設備之間的接口和模型，實現(xiàn)SDN和NFV的解耦；另一方面通過制訂標準的OpenFlow流TTP，實現(xiàn)控制器與轉發(fā)設備之間標準的南向接口，解耦SDN控制面和轉發(fā)面。

（3）多域協(xié)同的架構選擇問題。廣域網部署SDN面臨很多實際的挑戰(zhàn)。電信級的網絡中，網元數(shù)量眾多，以PTN設備為例，每個省有幾萬端設備，全國近100萬端設備，單一甚至集群控制器無法管理這么大規(guī)模的網絡。另外，廣域網的轉發(fā)設備分布很廣，覆蓋全國31個省份，且網絡拓撲復雜，省內分為接入、匯聚、核心3層，跨省還有單獨的承載平面，如果控制器全國集中部署，光控制器和轉發(fā)設備之間的傳輸時延就有幾十毫秒，對控制面的可靠性和穩(wěn)定性影響大。最后，由于長期網絡的運維分工，廣域網的運維、管控團隊部門很多，較難實現(xiàn)理想的SDN集中控制和管理。

分域控制器是廣域網引入SDN新技術，解決上述運營和維護問題的有效手段。分域控制器本身的方案選擇也分為單層控制器+東西向接口、多層控制器+南北向接口兩種方式。如圖5所示，通過優(yōu)劣勢對比，多層控制器平衡了復雜性，是有效的多域協(xié)同網絡架構。

（4）缺少大規(guī)模復雜網絡中控制器功能及性能測試方案?？刂破鞯墓δ芎托阅軠y試是SDN方案的重中之重。在SDN產品快速發(fā)展的過程中，測試儀表和方案一直相對落后，沒有專門的、通用的測試產品。為此，中國移動牽頭梳理了SPTN場景下的測試需求，并聯(lián)合儀表廠家、分組傳送網（PTN）廠家聯(lián)合開發(fā)SPTN測試儀表，填補了產業(yè)鏈在SPTN測試領域的空白。當前控制器測試的主要問題包括3點：

·控制器是面向十萬節(jié)點量級網絡設計的，如何衡量控制器的性能指標并進行定量測試。

·測試環(huán)境包括多層次化控制器及轉發(fā)設備，如何進行全系統(tǒng)端到端精細測試。

·各種接口是適配實際網絡設計的，如何采用通用測試儀表進行相關測試。

測試儀表主要實現(xiàn)以下套件，完成接口、功能和性能測試。

·接口一致性測試套件。分別模擬APP、各層控制器、轉發(fā)設備，驗證被測設備接口對象樹構型、屬性間關系和取值正確性。

·控制器功能和性能測試套件。模擬控制器或大量網元，對業(yè)務功能管理、拓撲管理、通知告警和性能管理等功能性能進行測試，并給出問題原因。

4 展望

SDN被視為下一代網絡的核心技術已經廣泛達成共識，不管是AT&T的Domain2.0，中國移動的NovoNet，還是中國聯(lián)通的CUBE-NET2.0和中國電信的CTNet2025，不同運營商應用SDN主要的場景也基本一致。

中國移動一直以來作為新技術的引領者，積極探索和實踐SDN架構和技術給網絡帶來的價值，同時也在實際應用中發(fā)現(xiàn)了一些問題，歸結為一個詞就是“跨界”。SDN把軟件和網絡結合在一起，給網絡帶來靈活性和開放性的同時，也對網絡固有的穩(wěn)定性有所沖擊，需要持續(xù)完善和優(yōu)化。對于SDN引入來說，應該全局考慮業(yè)務系統(tǒng)對穩(wěn)定性和靈活性的需求和平衡，具體問題具體分析。

跨界的SDN對網絡行業(yè)的影響是深遠的，從廠家、設備、產品，到網絡設計人員、維護人員，再到公司的體制都面臨著挑戰(zhàn)。隨著更多的SDN商用案例推出，這些挑戰(zhàn)將更加顯現(xiàn)，從業(yè)人員和公司除SDN技術本身之外，還應更多地考慮知識跨界和轉型。

參考文獻

[1] 李正茂. 通信4.0：重新發(fā)明通信網[M]. 北京： 中信出版集團， 2016

[2] 李晨，段曉東，陳煒，等. SDN和NFV的思考與實踐[J]. 電信科學， 2014， （8）： 23-27. DOI： 10.3969/j.issn.1000-0801.2014.08.004