IP網(wǎng)絡(luò)控制器架構(gòu)與關(guān)鍵技術(shù)

盧泉 梁筱斌 尹遠(yuǎn)陽

【摘? 要】為滿足主流運(yùn)營商新的IP網(wǎng)絡(luò)運(yùn)營要求，實(shí)現(xiàn)網(wǎng)絡(luò)運(yùn)營流程端到端自動(dòng)化閉環(huán)，本文基于新時(shí)期IP網(wǎng)絡(luò)的業(yè)務(wù)需求，研究了引入IP網(wǎng)絡(luò)控制器的必要性、目標(biāo)架構(gòu)和關(guān)鍵技術(shù)，在此基礎(chǔ)上研究了這些關(guān)鍵技術(shù)的應(yīng)用場景，并基于實(shí)驗(yàn)室環(huán)境驗(yàn)證其有效性。為電信運(yùn)營商在未來的IP網(wǎng)絡(luò)管控中提升業(yè)務(wù)發(fā)放和運(yùn)維效率、降低運(yùn)維成本提供重要參考。

【關(guān)鍵詞】IP網(wǎng)絡(luò);控制器;架構(gòu);關(guān)鍵技術(shù)

doi：10.3969/j.issn.1006-1010.2020.07.000? ? ? ? 中圖分類號(hào)：TN919.21

文獻(xiàn)標(biāo)志碼：A? ? ? ? 文章編號(hào)：1006-1010（2020）07-0000-00

引用格式：盧泉，梁筱斌，尹遠(yuǎn)陽. IP網(wǎng)絡(luò)控制器架構(gòu)與關(guān)鍵技術(shù)[J]. 移動(dòng)通信， 2020，44（7）： 00-00.

0? ?引言

2019年6月工信部向國內(nèi)運(yùn)營商頒發(fā)了5G牌照，我國提前一年進(jìn)入5G時(shí)代，云業(yè)務(wù)的發(fā)展，也驅(qū)動(dòng)運(yùn)營商部署了大量的云專線業(yè)務(wù)。主流運(yùn)營商普遍采用IP網(wǎng)絡(luò)統(tǒng)一承載4G/5G、云專線業(yè)務(wù)和已有政企專線業(yè)務(wù)，這給IP網(wǎng)絡(luò)管控帶來了新的需求和挑戰(zhàn)。具體包括：

（1）超海量業(yè)務(wù)智能管控。5G基站密度是LTE的10倍，導(dǎo)致投資和電費(fèi)成本激增。此外還有大量的云專線和政企業(yè)務(wù)需要維護(hù)。因此，必須確保在不增加運(yùn)維成本的情況下，實(shí)現(xiàn)對(duì)超海量業(yè)務(wù)的集中智能化管理，以保證業(yè)務(wù)的可持續(xù)發(fā)展。

（2）解決誤配置問題。在超海量業(yè)務(wù)場景下，工單量激增，更容易出現(xiàn)向設(shè)備下發(fā)誤配置進(jìn)而引發(fā)全網(wǎng)故障的情況。這就要求管控系統(tǒng)具備配置下發(fā)預(yù)驗(yàn)證和事務(wù)處理能力。

（3）需求多樣化。不同的業(yè)務(wù)有不同的SLA，要求管控系統(tǒng)具備實(shí)時(shí)調(diào)整流量轉(zhuǎn)發(fā)路徑以滿足SLA的能力。

目前業(yè)界已普遍達(dá)成共識(shí)，集中式的IP網(wǎng)絡(luò)SDN控制器，可很好地解決上述不足，滿足上述需求[1]。在控制器技術(shù)成熟后，還將納入生產(chǎn)網(wǎng)絡(luò)的管控系統(tǒng)中，實(shí)現(xiàn)IP網(wǎng)絡(luò)集中自動(dòng)化管控，使能端到端網(wǎng)絡(luò)運(yùn)營流程自動(dòng)化閉環(huán)。本文將對(duì)IP網(wǎng)絡(luò)控制器的架構(gòu)、關(guān)鍵技術(shù)和應(yīng)用進(jìn)行探討。

1? ? IP網(wǎng)絡(luò)控制器總體架構(gòu)

IP網(wǎng)絡(luò)控制器包含控制服務(wù)和數(shù)據(jù)采集兩個(gè)子系統(tǒng)。其總體架構(gòu)如圖1所示。

控制服務(wù)子系統(tǒng)包含了集中化的IP網(wǎng)絡(luò)控制功能模塊，其關(guān)鍵技術(shù)包括NETCONF、YANG模型解析與映射、拓?fù)涫占?、路徑?jì)算和下發(fā)。

數(shù)據(jù)采集子系統(tǒng)包含了IP網(wǎng)絡(luò)的數(shù)據(jù)采集模塊，可供控制器的路徑計(jì)算模塊調(diào)用，作為路徑計(jì)算的約束條件。

這些關(guān)鍵技術(shù)解決了傳統(tǒng)IP網(wǎng)管缺乏集中式的控制平面的不足，下文將進(jìn)行展開討論。

2? ? IP網(wǎng)絡(luò)控制器關(guān)鍵技術(shù)

2.1? NETCONF協(xié)議和YANG模型[2-3]

網(wǎng)絡(luò)配置協(xié)議（NETCONF， Network Configuration Protocol）是一種高度標(biāo)準(zhǔn)化、可編程、對(duì)網(wǎng)絡(luò)設(shè)備進(jìn)行配置和管理的協(xié)議?？刂破骺赏ㄟ^NETCONF實(shí)現(xiàn)配置的讀取、下發(fā)和設(shè)備狀態(tài)采集。

NETCONF協(xié)議包含傳輸層、消息層、操作層和內(nèi)容層。下一代數(shù)據(jù)模型（YANG， Yet Another Next Generation）是一種建模語言，工作在NETCONF協(xié)議的內(nèi)容層，是NETCONF的重要組件，用于描述配置和狀態(tài)等數(shù)據(jù)，其描述的業(yè)務(wù)模型稱為YANG模型。

與基于命令行的配置下發(fā)、SNMP協(xié)議和MIB相比，NETCONF協(xié)議和YANG模型具備以下前者不具備的特性：

（1）良好的建模能力和擴(kuò)展性。

（2）事務(wù)管理能力。

（3）數(shù)據(jù)一致性：用戶可獨(dú)占配置數(shù)據(jù)的修改權(quán)，防止多用戶操作沖突。

（4）標(biāo)準(zhǔn)化和兼容性：NETCONF協(xié)議和YANG模型遵循IETF標(biāo)準(zhǔn)。如圖2所示，運(yùn)營商根據(jù)自身需求在控制器中定義業(yè)務(wù)YANG模型，控制器根據(jù)編排器的資源編排結(jié)果，基于業(yè)務(wù)YANG模型，通過適配插件更新相應(yīng)設(shè)備的YANG實(shí)例，通過NETCONF完成配置下發(fā)實(shí)現(xiàn)配置更新的自動(dòng)化閉環(huán)。

綜上所述，NETCONF協(xié)議和YANG模型更能滿足當(dāng)前和未來IP網(wǎng)絡(luò)業(yè)務(wù)發(fā)展需求。

2.2? 分段路由[4-5]

控制器要具備集中式路徑計(jì)算能力，首先要求路由器支持分段路由（SR， Segment Routing）。SR包括域內(nèi)SR和跨域SR兩類，可用于SR流量工程（SR-TE， Segment Routing Traffic Engineering）和SR盡力而為轉(zhuǎn)發(fā)（SR-BE， Segment Routing Best Effort）[4]。限于篇幅，不再詳細(xì)介紹。

基于SR-TE，可在頭端路由器實(shí)現(xiàn)源路由，為客戶業(yè)務(wù)流量提供精準(zhǔn)的全局路徑調(diào)度，保障業(yè)務(wù)體驗(yàn)。

2.3? BGP-LS協(xié)議[6]

全局化的路徑優(yōu)化，必須基于集中式的路徑計(jì)算。因此，必須具備將完整的域內(nèi)或跨域拓?fù)湫畔⑼降揭粋€(gè)集中式路徑計(jì)算實(shí)體（PCE， Path Computation Element）的機(jī)制。PCE部署在控制器中，控制器和路由器通過攜帶鏈路狀態(tài)的邊界網(wǎng)關(guān)協(xié)議（BGP-LS， Border Gateway Protocol with Link State）建立會(huì)話，同步拓?fù)湫畔ⅰ?/p>

與傳統(tǒng)路由協(xié)議相比，BGP-LS具備以下特性：

（1）強(qiáng)大的可擴(kuò)展能力：BGP-LS基于BGP TLV擴(kuò)展而得。

（2）跨IGP域的拓?fù)涫占芰Γ嚎刂破骺赏ㄟ^BGP-LS收集多IGP拓?fù)洌箍刂破骺赏瑫r(shí)支持單域和跨域流量調(diào)度。

在實(shí)際部署中，控制器只需與少數(shù)幾臺(tái)維護(hù)全網(wǎng)拓?fù)湫畔⒌脑O(shè)備建立BGP-LS會(huì)話，即可同步全網(wǎng)拓?fù)湫畔ⅰ?/p>

2.4? PCEP協(xié)議[7]

在控制器獲取網(wǎng)絡(luò)完整的鏈路狀態(tài)信息后，由PCE完成集中式路徑（LSP）計(jì)算，通過PCE協(xié)議（PCEP， PCE Protocol）將計(jì)算好的LSP下發(fā)給頭端（PCC， Path Computation Client），即支持PCEP的路由器。

PCE主要有兩種工作方式，包括：

（1）無狀態(tài)方式，PCE只響應(yīng)PCC發(fā)起的路徑計(jì)算請(qǐng)求，不維護(hù)LSP狀態(tài)。

（2）有狀態(tài)方式，PCE在完成LSP計(jì)算后，在本地維護(hù)LSP狀態(tài)，具體還可分為兩種模式：

（3）被動(dòng)模式，PCE只保存LSP狀態(tài)，不主動(dòng)發(fā)起LSP的建立和對(duì)其狀態(tài)進(jìn)行變更。

（4）主動(dòng)模式，PCE保存LSP狀態(tài)，可主動(dòng)發(fā)起LSP的建立，根據(jù)網(wǎng)絡(luò)運(yùn)行情況對(duì)其狀態(tài)進(jìn)行變更。

在實(shí)際部署中，要求控制器具備對(duì)LSP的統(tǒng)一集中計(jì)算和實(shí)時(shí)狀態(tài)優(yōu)化能力，因此建議將PCE部署為有狀態(tài)的主動(dòng)模式。

3? ?IP網(wǎng)絡(luò)控制器關(guān)鍵技術(shù)的應(yīng)用

在實(shí)驗(yàn)室中搭建編排器、控制器和網(wǎng)絡(luò)環(huán)境，模擬現(xiàn)網(wǎng)移動(dòng)承載的場景。其中編排器和控制器功能架構(gòu)如圖1，實(shí)驗(yàn)場景如圖3所示。

預(yù)置條件：

（1）被測設(shè)備由3個(gè)不同廠家提供，實(shí)驗(yàn)環(huán)境為跨廠家混合組網(wǎng)。接入網(wǎng)關(guān)和匯聚網(wǎng)關(guān)間的接入環(huán)為50 GE鏈路，匯聚網(wǎng)關(guān)、二級(jí)核心、一級(jí)核心和云網(wǎng)關(guān)間互聯(lián)采用100 GE鏈路;測試儀采用2條10 GE鏈路分別連接2臺(tái)接入網(wǎng)關(guān)，采用2條100 GE鏈路分別連接2臺(tái)云網(wǎng)關(guān)。

（2）編排器與控制器對(duì)接妥當(dāng)，已定義好4G/5G基站業(yè)務(wù)的YANG模型，編排器中已存儲(chǔ)模擬的基站業(yè)務(wù)CRM訂單數(shù)據(jù)和資源管理數(shù)據(jù)。

（3）控制器中已存儲(chǔ)基礎(chǔ)網(wǎng)絡(luò)協(xié)議配置數(shù)據(jù)。

（4）所有被測設(shè)備均支持NETCONF協(xié)議、YANG模型、BGP-LS和PCEP協(xié)議。

（5）每個(gè)路由器廠家均在控制器中提供YANG模型適配插件，用于適配和屏蔽運(yùn)營商業(yè)務(wù)YANG模型與不同設(shè)備YANG模型間的差異。

（6）控制器與所有被測設(shè)備間均已通過帶外建立NETCONF會(huì)話。

（7）匯聚網(wǎng)關(guān)、二級(jí)核心、一級(jí)核心和云網(wǎng)關(guān)均支持SR。

實(shí)驗(yàn)內(nèi)容包括以下5個(gè)方面：

（1）具備SR功能基礎(chǔ)網(wǎng)絡(luò)協(xié)議配置下發(fā)驗(yàn)證

1）如圖3所示，在接入環(huán)配置OSPF和LDP，在匯聚網(wǎng)關(guān)到云網(wǎng)關(guān)間配置支持SR的ISIS協(xié)議，其中每臺(tái)設(shè)備的節(jié)點(diǎn)SID范圍配置為16000～23999，鄰接SID范圍配置為15000～15999。

2）鄰接SID由每臺(tái)設(shè)備在本地獨(dú)立分配;節(jié)點(diǎn)SID由控制器統(tǒng)一全局分配并下發(fā)給設(shè)備，其在控制器上規(guī)劃如表1所示：

3）通過NETCONF協(xié)議將上述配置下發(fā)到對(duì)應(yīng)設(shè)備。

4）在每臺(tái)接入網(wǎng)關(guān)和匯聚網(wǎng)關(guān)查看OSPF鄰居和LDP鄰居狀態(tài)，均正常，與期望結(jié)果一致。

5）在每臺(tái)匯聚網(wǎng)關(guān)、二級(jí)核心、一級(jí)核心和云網(wǎng)關(guān)查看ISIS鄰居狀態(tài)，均正常;查看節(jié)點(diǎn)SID，與表1規(guī)劃值一致。

6）在每臺(tái)匯聚網(wǎng)關(guān)、二級(jí)核心、一級(jí)核心和云網(wǎng)關(guān)查看每個(gè)使能ISIS的端口的鄰接SID分配情況，記錄結(jié)果如表2所示：

7）具備SR功能基礎(chǔ)網(wǎng)絡(luò)協(xié)議配置均成功下發(fā)并生效。

（2）基站業(yè)務(wù)開通功能驗(yàn)證

1）在接入網(wǎng)關(guān)和匯聚網(wǎng)關(guān)間部署TLDP和PW，在匯聚網(wǎng)關(guān)和云網(wǎng)關(guān)間部署MP-BGP、L3VPN和VPN ECMP，一級(jí)核心兼作VRR，用于基站業(yè)務(wù)承載.

2）相關(guān)的承載通道和QoS配置數(shù)據(jù)由編排器根據(jù)模擬的CRM訂單數(shù)據(jù)自動(dòng)生成，下發(fā)控制器。

3）控制器根據(jù)編排器下發(fā)的數(shù)據(jù)，自動(dòng)為每臺(tái)相關(guān)設(shè)備生成相應(yīng)的設(shè)備級(jí)配置數(shù)據(jù)，并通過NETCONF下發(fā)到相應(yīng)設(shè)備。

4）在每臺(tái)設(shè)備上觀察相應(yīng)的承載通道狀態(tài)（如PW、L3VPN、BGP狀態(tài)等），狀態(tài)均正常。

5）在測試儀上構(gòu)造并發(fā)送雙向流量，每條鏈路包含10條流，總流量6 Gbps。

6）在匯聚網(wǎng)關(guān)、二級(jí)核心、一級(jí)核心和云網(wǎng)關(guān)上觀察每條縱向連接鏈路的利用率，各條鏈路利用率基本相同。

7）在測試儀上觀察1小時(shí)內(nèi)的統(tǒng)計(jì)數(shù)據(jù)，測試數(shù)據(jù)報(bào)文均可正常收發(fā)，無丟包。

8）基于NETCONF和YANG模型，可實(shí)現(xiàn)基于模型驅(qū)動(dòng)的業(yè)務(wù)開通，即業(yè)務(wù)模型一次定義、重復(fù)調(diào)用，由編排器自動(dòng)編排網(wǎng)絡(luò)資源，控制器自動(dòng)生成設(shè)備配置，并基于設(shè)備的配置驗(yàn)證功能保證配置的有效性，有效避免了超海量業(yè)務(wù)場景下業(yè)務(wù)開通誤配置的出現(xiàn)。同時(shí)可實(shí)現(xiàn)從業(yè)務(wù)訂單到業(yè)務(wù)開通的端到端秒級(jí)自動(dòng)化閉環(huán)，相比原有的分鐘級(jí)業(yè)務(wù)開通方式（基于業(yè)務(wù)訂單手動(dòng)編排網(wǎng)絡(luò)資源，再經(jīng)網(wǎng)管完成配置下發(fā)），效率提高了10倍以上，可有效縮短5G網(wǎng)絡(luò)的建設(shè)交付周期。

（3）網(wǎng)絡(luò)拓?fù)渑cSID信息統(tǒng)一收集功能驗(yàn)證

1）控制器與匯聚網(wǎng)關(guān)和VRR建立BGP-LS會(huì)話，集中收集IGP拓?fù)洹?/p>

2）在控制器上查看拓?fù)?，與實(shí)驗(yàn)拓?fù)湟恢?，同時(shí)查看SID信息，與表1和表2一致。

3）控制器可正確收集網(wǎng)絡(luò)拓?fù)浜蚐ID信息。

（4）控制器下發(fā)隧道功能驗(yàn)證

1）在控制器上將PCE配置為有狀態(tài)的主動(dòng)模式。

2）在控制器上手動(dòng)規(guī)劃隧道路徑，指定進(jìn)入設(shè)備A的上行流量路徑為A→B→D→E→F→H→G，均指定節(jié)點(diǎn)SID，通過PCEP將隧道信息下發(fā)給設(shè)備A;指定進(jìn)入設(shè)備G的下行流量路徑為G→H→F→E→D→B→A，均指定節(jié)點(diǎn)SID，通過PCEP將隧道信息下發(fā)給設(shè)備G;不指定進(jìn)入設(shè)備B的上行流量和進(jìn)入設(shè)備H的下行流量路徑，其流量仍經(jīng)IGP最短路徑轉(zhuǎn)發(fā)。

3）在設(shè)備A上查看下發(fā)的隧道，狀態(tài)正常。

4）在設(shè)備A上tracert隧道，同時(shí)在設(shè)備A上去往設(shè)備B鏈路的出方向抓取報(bào)文，觀察到的標(biāo)簽棧信息如表3所示：

5）在設(shè)備G上查看下發(fā)的隧道，狀態(tài)正常;

6）在設(shè)備G上tracert隧道，同時(shí)在設(shè)備G上去往設(shè)備H鏈路的出方向抓取報(bào)文，觀察到的標(biāo)簽棧信息如表4所示：

7）經(jīng)驗(yàn)證，通過PCEP下發(fā)到PCC的隧道與手動(dòng)規(guī)劃結(jié)果一致。

（5）控制器路徑計(jì)算功能驗(yàn)證

1）在匯聚網(wǎng)關(guān)至云網(wǎng)關(guān)間的各鏈路配置時(shí)延屬性，通過NETCONF更新到設(shè)備，具體配置值如表5所示：

2）通過BGP-LS更新拓?fù)湫畔?，在控制器上查看，各鏈路時(shí)延信息與表5一致。

3）在控制器上觸發(fā)隧道計(jì)算，隧道端點(diǎn)分別為設(shè)備A和設(shè)備H，約束條件為路徑總時(shí)延最小。

4）控制器通過PCEP將隧道分別下發(fā)給設(shè)備A和設(shè)備H。

5）分別在設(shè)備A和設(shè)備H上tracert時(shí)延最小隧道，結(jié)果如表6所示：

6）控制器向匯聚網(wǎng)關(guān)和云網(wǎng)關(guān)更新策略，DSCP值為EF的流量經(jīng)最低時(shí)延隧道轉(zhuǎn)發(fā)，其他流量經(jīng)IGP最短路徑轉(zhuǎn)發(fā)。

7）測試儀向設(shè)備1灌注6 Gbps流量，其中DSCP值為EF的流量為2 Gbps，DSCP值為0的流量為4 Gbps;向設(shè)備H灌注2 Gbps DSCP值為EF的流量，向設(shè)備G灌注4 Gbps DSCP值為0的流量。

8）在隧道各途徑鏈路上分別抓取上下行EF流量報(bào)文，觀察其標(biāo)簽棧信息，結(jié)果如表7所示：

9）在測試儀上觀察流量統(tǒng)計(jì)信息，從設(shè)備G接收到4 Gbps DSCP值為0的上行流量，從設(shè)備H接收到2 Gbps DSCP值為EF的上行流量;從設(shè)備1接收到4 Gbps DSCP值為0的下行流量和2 Gbps DSCP值為EF的下行流量。

10）EF流量路徑符合預(yù)期，流量出口和收發(fā)符合預(yù)期。

綜上所述，實(shí)驗(yàn)內(nèi)容的5個(gè)方面均取得預(yù)期結(jié)果，符合期望。

4? ? 結(jié)束語

本文從運(yùn)營商業(yè)務(wù)發(fā)展的需求出發(fā)，分析了運(yùn)營商重構(gòu)原有網(wǎng)絡(luò)管控系統(tǒng)的需求，基于這些需求介紹了其中的關(guān)鍵技術(shù)，最后基于實(shí)驗(yàn)室環(huán)境對(duì)這些關(guān)鍵技術(shù)的協(xié)同部署進(jìn)行了驗(yàn)證，初步具備超海量業(yè)務(wù)高效開通、避免誤配置、集中式網(wǎng)絡(luò)信息收集和路徑計(jì)算的能力，為下一步現(xiàn)網(wǎng)試點(diǎn)和大規(guī)模推廣提供了技術(shù)儲(chǔ)備和實(shí)施參考。

參考文獻(xiàn)：

[1]? ? ?尹遠(yuǎn)陽，盧泉，孫嘉琪，等. 基于OpenDayLight的IP RAN網(wǎng)絡(luò)資源編排系統(tǒng)設(shè)計(jì)及實(shí)現(xiàn)[J]. 電信技術(shù)， 2017（6）： 75-79.

[2]? ? R E， M B， J S， et al. RFC 6241-Network Configuration Protocol （NETCONF）[S/OL]. （2011-06）[2019-08-29]. https：//tools.ietf.org/html/rfc6241.

[3]? ? M B. RFC 6020-YANG-A Data Modeling Language for the Network Configuration Protocol （NETCONF）[S/OL]. （2010-10）[2019-08-29]. https：//tools.ietf.org/html/rfc6020.

[4]? ? ? IETF. IETF RFC 8402： Segment Routing Architecture[S]. 2018.

[5]? ? ?何曉明，盧泉，邢亮. 分段路由網(wǎng)絡(luò)研究及其在流量工程中的應(yīng)用[J]. 電信科學(xué)， 2016（6）： 186-194.

[6]? ? H G， J M， A F. RFC 7752-North-Bound Distribution of Link-State and Traffic Engineering （TE） Information Using BGP[S/OL]. （2016-03）[2019-08-29]. https：//tools.ietf.org/html/rfc7752.

[7]? ? ?J P V， J L L R. RFC 5440 - Path Computation Element （PCE） Communication Protocol （PCEP）[S/OL]. （2009-03）[2019-08-29]. https：//tools.ietf.org/html/rfc5440.

作者簡介

盧泉（orcid.org/0000-0002-6991-8640）：高級(jí)工程師，碩士畢業(yè)于哈爾濱船舶工業(yè)學(xué)院（現(xiàn)哈爾濱工程大學(xué)），現(xiàn)任職于中國電信股份有限公司研究院，主要研究方向?yàn)閿?shù)據(jù)網(wǎng)絡(luò)技術(shù)研究及電信IP網(wǎng)絡(luò)規(guī)劃。

梁筱斌（orcid.org/0000-0002-2409-6954）：工程師，碩士畢業(yè)于華南理工大學(xué)，現(xiàn)任中國電信股份有限公司研究院，主要研究方向?yàn)閿?shù)據(jù)網(wǎng)絡(luò)架構(gòu)、關(guān)鍵技術(shù)和SDN架構(gòu)、關(guān)鍵技術(shù)。

尹遠(yuǎn)陽：工程師，碩士畢業(yè)于重慶郵電大學(xué)，現(xiàn)任職于中國電信股份有限公司研究院，主要研究方向?yàn)閿?shù)據(jù)網(wǎng)絡(luò)技術(shù)研究、電信IP網(wǎng)絡(luò)規(guī)劃和SDN管控系統(tǒng)架構(gòu)與實(shí)現(xiàn)。

收稿日期：2019-08-29