運營商級SD-WAN組網(wǎng)NTP時鐘同步方案

趙乾艮，王羽，湯凌，顏永明

（中國電信股份有限公司上海分公司，上海 200085）

0 引言

軟件定義廣域網(wǎng)（software defined wide area network，SD-WAN）作為軟件定義網(wǎng)絡(luò)（software defined network，SDN）技術(shù)在廣域網(wǎng)中的應(yīng)用，越來越受到廣大企業(yè)用戶的青睞，它在兼具企業(yè)用戶對網(wǎng)絡(luò)可靠性與安全性剛需的同時，又為企業(yè)用戶提供了成本低、網(wǎng)絡(luò)靈活變更的新選擇。

SD-WAN是包括完整運營生命周期的網(wǎng)絡(luò)產(chǎn)品。在業(yè)務(wù)功能實現(xiàn)、平臺運營維護、用戶體驗感知等場景都需要整個網(wǎng)絡(luò)維系同步的時間。時間的不匹配可能帶來業(yè)務(wù)的紊亂和用戶感知的下降。對互聯(lián)網(wǎng)廠商，由于自身沒有基礎(chǔ)資源（包括時鐘源資源），他們設(shè)計的方案都需要依賴互聯(lián)網(wǎng)。電信運營商如果有效利用自身基礎(chǔ)資源，就可以為用戶提供更安全、更穩(wěn)定的時間同步方案。

1 時鐘同步對SD-WAN的重要性

1.1 技術(shù)實現(xiàn)的必要性

SD-WAN的轉(zhuǎn)發(fā)平面以加密隧道作為網(wǎng)絡(luò)組成的主體。對SD-WAN行業(yè)中主流廠商進行了研究，其普遍采用了IPSec（internet protocol security）或以 IPSec為基礎(chǔ)組成的隧道。IPSec通過 IKE（internet key exchange）確定加密算法及密鑰維護IP數(shù)據(jù)包收發(fā)兩端之間的共享狀態(tài)，為IP數(shù)據(jù)包提供機密性、數(shù)據(jù)完整性、訪問控制和數(shù)據(jù)源身份驗證。IPSec支持使用電子證書、公鑰和預(yù)共享密鑰3種身份認證方式。在采用電子證書的情況下，證書在生成時都帶有效期。如果IPSec任意一端的時間偏移超出了證書的有效期（過早或過晚），則證書將會失效，隧道無法建立。

1.2 業(yè)務(wù)運行的必要性

SD-WAN控制平臺具有用戶友好的界面，并且可根據(jù)需求開發(fā)各種可交互性模塊，包括實時展示、資源管理、命令下發(fā)等功能。但這些功能都基于最基本的數(shù)據(jù)采集，業(yè)務(wù)運行的必要性體現(xiàn)在以下兩個方面。

第一，用戶側(cè)設(shè)備時間與平臺側(cè)時間不匹配會體現(xiàn)在用戶展示界面上。如果兩者時間有漂移，那么流量顯示就會出現(xiàn)漂移，如果兩者的步進有快慢區(qū)別，那么統(tǒng)計周期的長度也會出現(xiàn)錯誤使流量大小失真，從而使用戶在流量分析時接收錯誤信息，對以此錯誤作為基礎(chǔ)進行的組網(wǎng)擴展規(guī)劃產(chǎn)生誤判，影響用戶的業(yè)務(wù)使用。

第二，運營商作為負責(zé)運營維護的一方，需要日常巡檢，遇到故障需要及時判斷故障找到問題。如果用戶側(cè)設(shè)備時間與平臺側(cè)時間不匹配，會對維護人員的問題定位和事件分析形成干擾。

2 SD-WAN時鐘同步現(xiàn)有方案

SD-WAN行業(yè)中主流廠商全都使用了互聯(lián)網(wǎng)公共NTP（network time protocol）服務(wù)，且為扁平化排布，即平臺控制器和網(wǎng)管網(wǎng)元、POP（point of presence）點網(wǎng)元、用戶側(cè) CPE（customer premises equipment）網(wǎng)關(guān)設(shè)備單獨向互聯(lián)網(wǎng)公共NTP服務(wù)器同步，SD-WAN互聯(lián)網(wǎng)公共NTP服務(wù)時鐘同步方案如圖1所示。

圖1 SD-WAN互聯(lián)網(wǎng)公共NTP服務(wù)時鐘同步方案

2.1 廠商普遍采納的原因

NTP通過私有網(wǎng)絡(luò)或公共互聯(lián)網(wǎng)將計時信息從主服務(wù)器傳送到輔助時間服務(wù)器和客戶機。NTP同步一般的設(shè)計思路是封閉系統(tǒng)中采用系統(tǒng)自建主服務(wù)器，而在連接互聯(lián)網(wǎng)的系統(tǒng)中，客戶機直接向公共 NTP服務(wù)器發(fā)起同步請求。作為SDN在廣域網(wǎng)的應(yīng)用，SD-WAN網(wǎng)絡(luò)underlay層面更多依托于互聯(lián)網(wǎng)，廠商方案依賴互聯(lián)網(wǎng)公共NTP服務(wù)，平臺自身不用提供時鐘服務(wù)，在功能實現(xiàn)上更便捷。更重要的是，方案廠商都是互聯(lián)網(wǎng)企業(yè)，不具備基礎(chǔ)時鐘源資源，無法依靠自身提供標(biāo)準(zhǔn)源時間，只能將互聯(lián)網(wǎng)上可以獲取的資源整合利用，這一點是互聯(lián)網(wǎng)廠商的天然短板。并且廠商對外服務(wù)通常只需保障業(yè)務(wù)的實現(xiàn)，維護職責(zé)歸屬用戶，廠商的設(shè)計容易忽略對安全防護要求的考量。

2.2 現(xiàn)有方案缺點

SD-WAN互聯(lián)網(wǎng)公共NTP服務(wù)時鐘同步方案雖然體現(xiàn)便捷的特點，但該方案存在 3個方面隱患。

第一，面向公網(wǎng)同步意味著將NTP端口暴露在公網(wǎng)上。NTP軟件本身存在漏洞被利用的風(fēng)險，為防止該風(fēng)險需要投入對軟件的更新補丁的持續(xù)關(guān)注。

第二，NTP公共服務(wù)需要為互聯(lián)網(wǎng)全網(wǎng)用戶提供服務(wù)，關(guān)閉了authentication功能以保證服務(wù)兼容性，用戶側(cè)減少了一種身份校驗的安全保障方法。

第三，依賴于第三方公共服務(wù)，對于一個獨立系統(tǒng)而言相當(dāng)于引入了新的不確定因素，雖然可以配置不同的 NTP公共服務(wù)器作為主備提高容災(zāi)性，但由第三方維護的可靠性無法掌握，不確定可靠性的容災(zāi)也無法保證。

3 平臺自建NTP服務(wù)時鐘同步方案設(shè)計

為了應(yīng)對使用公共 NTP服務(wù)帶來的可靠性不確定問題，本文在SD-WAN平臺中搭建平臺自用的NTP主服務(wù)器。NTP同步可多級分層，分層結(jié)構(gòu)跟隨SD-WAN。方案分為扁平化同步方案與分級同步方案，分場景適應(yīng)SD-WAN組網(wǎng)中的點對點組網(wǎng)和POP點組網(wǎng)兩種方式。

3.1 扁平化方案

在扁平化方案中，平臺控制器和網(wǎng)管網(wǎng)元、POP點網(wǎng)元、用戶側(cè)CPE網(wǎng)關(guān)設(shè)備都向自建NTP服務(wù)器發(fā)起同步請求，適用于所有用戶組網(wǎng)場景，SD-WAN平臺自建 NTP服務(wù)扁平化時鐘同步方案如圖2所示。

圖2 SD-WAN平臺自建NTP服務(wù)扁平化時鐘同步方案

扁平化同步方案由平臺承擔(dān)全部 NTP同步請求，對平臺NTP服務(wù)的壓力較大。若平臺宕機或失聯(lián)，分點將失去時鐘同步源。平臺對外提供NTP服務(wù)，運營商需要在平臺側(cè)對所有 CPE和POP做地址白名單，復(fù)雜度與CPE設(shè)備數(shù)量成正比。扁平化同步方案最大的優(yōu)點在于應(yīng)用面廣，所有組網(wǎng)方式如全互聯(lián)、部分互聯(lián)的直連方式，以及hub-spoke組網(wǎng)方式與POP點組網(wǎng)方式，都可以采用該方案。

3.2 分級方案一——hub-spoke分級

在hub-spoke方案中，用戶分點CPE向總頭CPE同步，總頭再向平臺同步，總頭同時扮演服務(wù)器（server）和客戶端（client）的角色，如圖3所示。

圖3 SD-WAN平臺自建NTP服務(wù)hub-spoke分級時鐘同步方案

該方案適用于分點數(shù)量較多且地理位置密集的連鎖商店等商業(yè)模式場景，用戶建立hub-spoke模式組網(wǎng)的情況。hub-spoke分級同步方案將數(shù)量龐大的用戶 NTP同步請求分散到用戶各自的總頭設(shè)備上，對平臺NTP服務(wù)的壓力較小。分點與總頭保持同步，即使平臺出現(xiàn)故障失聯(lián)，也能保證用戶封閉網(wǎng)絡(luò)內(nèi)的時間高度一致性。運營商只需要在平臺側(cè)對總頭CPE設(shè)備做地址白名單，復(fù)雜度較小。

3.3 分級方案二——POP點分級

在POP點方案中，用戶點CPE向POP點同步，POP點各自向平臺同步，SD-WAN平臺自建NTP服務(wù)POP點分級時鐘同步方案如圖4所示。

圖4 SD-WAN平臺自建NTP服務(wù)POP點分級時鐘同步方案

該方案適用于用戶分點分布區(qū)域分散，距離跨度較大的全國生產(chǎn)/辦公模式場景，用戶采用POP點組網(wǎng)的情況。POP點分級同步方案將數(shù)量龐大的用戶NTP同步請求分散到POP點上，對平臺NTP服務(wù)的壓力較小。運營商需要在平臺側(cè)與POP點處做地址白名單，復(fù)雜度與CPE數(shù)量成正比。并且POP點均部署在天翼云上，白名單有數(shù)量限制，這將成為該方案實施的瓶頸。

3種平臺自建NTP服務(wù)方案比較見表1。

表1 3種平臺自建NTP服務(wù)時鐘同步方案比較

平臺自建 NTP服務(wù)可以規(guī)避第三方公共服務(wù)帶來的不確定性，也可以通過主備方案增加容災(zāi)可靠性。同時只有系統(tǒng)內(nèi)的設(shè)備需要同步，主服務(wù)端可以啟用authentication功能獲得同步過程的排他性。但用戶側(cè)設(shè)備向平臺同步的需求決定了NTP主服務(wù)器監(jiān)聽端口暴露在互聯(lián)網(wǎng)上，這將使主服務(wù)器在保持了公共方案的服務(wù)漏洞隱患外，還會引入暴露面安全防護要求，為應(yīng)對此問題進行的地址白名單的防護工作會有很大難度。

4 基于平臺自建 NTP服務(wù)利用管理隧道加密傳輸NTP數(shù)據(jù)的時鐘同步方案

為解決平臺自建 NTP服務(wù)時鐘同步方案暴露面的問題，在平臺自建NTP服務(wù)的基礎(chǔ)上，設(shè)計利用SD-WAN平臺與CPE設(shè)備間的管理隧道加密傳輸NTP數(shù)據(jù)。SD-WAN的組成架構(gòu)中用戶側(cè)CPE之間建立傳輸信道使用業(yè)務(wù)隧道，而平臺管控側(cè)向用戶側(cè)CPE進行配置下發(fā)、用戶側(cè)CPE向平臺管控側(cè)上報統(tǒng)計數(shù)據(jù)時使用的是管理隧道。因不需要向業(yè)務(wù)隧道一樣參與流量轉(zhuǎn)發(fā)，管理隧道采用的隧道技術(shù)與業(yè)務(wù)隧道不盡相同，SD-WAN行業(yè)主流廠商采用的管理隧道有IPSec、SSL/TLS和DTLS等?？梢岳靡呀⒌钠脚_與用戶側(cè)CPE的管理隧道，將NTP同步信息在該隧道中傳輸，而平臺仍然維護自建的具有高可用的NTP主服務(wù)器，基于自建NTP服務(wù)SD-WAN管理隧道加密傳輸 NTP數(shù)據(jù)的時鐘同步方案如圖5所示。

圖5 基于自建NTP服務(wù)SD-WAN管理隧道加密傳輸NTP數(shù)據(jù)的時鐘同步方案

方案兼具了自建 NTP主服務(wù)器的可靠性與容災(zāi)性，規(guī)避第三方公共服務(wù)帶來的不確定性，同時啟用authentication功能獲得同步過程的排他性。設(shè)備與平臺同步，即使與外部時鐘失聯(lián)，平臺作為一個整體在內(nèi)部仍然是同步的。方案采取隧道傳輸能避免將提供NTP同步服務(wù)的端口暴露在互聯(lián)網(wǎng)，規(guī)避暴露面安全防護要求，同步過程加密封裝，進一步提升了其安全性。

采用管理隧道而非業(yè)務(wù)隧道出于三方面考慮：平臺與CPE之間不存在業(yè)務(wù)隧道，采用業(yè)務(wù)隧道只能使組網(wǎng)中的CPE獲得時間統(tǒng)一而與平臺隔離，只有管理隧道可以建立平臺與CPE的聯(lián)系；采用管理隧道不會擠占業(yè)務(wù)隧道的帶寬導(dǎo)致業(yè)務(wù)有效帶寬降低；SD-WAN的一大特點是組網(wǎng)靈活，用戶可以通過下發(fā)配置隨時變更組網(wǎng)情況，這將造成終端的NTP角色和配置相應(yīng)變化，對講求穩(wěn)定的時間同步而言管理隧道更有利。

5 管理隧道內(nèi)NTP時鐘同步實現(xiàn)驗證

主流廠商 SD-WAN平臺使用的管理隧道有IPSec、SSL/TLS和DTLS，其中SSL隧道是TCP隧道，IPSec、DTLS隧道是UDP隧道。NTP傳送UDP報文，更適合通過UDP隧道進行傳遞。本文通過部署虛擬環(huán)境對IPSec與DTLS兩種適合NTP報文傳輸?shù)腢DP隧道進行實現(xiàn)，并驗證時間同步。

5.1 IPSec方式

IPSec作為管理隧道僅需傳遞平臺與設(shè)備之間的交互信息，不需要與業(yè)務(wù)隧道一樣，將CPE作為站點隱藏子網(wǎng)，因此采用傳輸模式用ESP加密，采用strongswan作為IPSec的實現(xiàn)，配置為傳輸模式，采用PSK預(yù)配置密鑰方式建立加密隧道，兩端地址分別為192.168.26.30、192.168.26.31。將兩臺虛擬服務(wù)器的 NTP服務(wù)開啟，其中192.168.26.30配置為NTP客戶端，192.168.26.31作為NTP服務(wù)器。開啟NTP authentication。服務(wù)開啟后，NTP客戶端成功向 NTP服務(wù)器同步時間，NTP同步成功如圖6所示。

圖6 NTP同步成功

鏈路抓包，使用解密文件將加密部分解密，可以看到ESP載荷部分由ESP頭、ESP校驗位和一個被加密的UDP包組成，且目標(biāo)端口為123，表明上層協(xié)議為NTP。

5.2 DTLS方式

DTLS被設(shè)計為盡可能類似 TLS，既可以最小化新的安全性發(fā)明，又可以最大限度地提高代碼量和基礎(chǔ)設(shè)施重用。采用 openconnect作為DTLS的實現(xiàn)，兩端地址分別為 192.168.26.32、192.168.26.33，openconnect建立TLS隧道以進行身份認證和維持連接狀態(tài)并作為備用隧道，認證完成后建立DTLS隧道用于數(shù)據(jù)傳輸。將兩臺虛擬服務(wù)器的NTP服務(wù)開啟，其中，192.168.26.33的配置為 NTP客戶端，192.168.26.32作為NTP服務(wù)器，openconnect的客戶端登錄后會被分配到192.168.100.0/24內(nèi)地址（本例中為 192.168.100.149），流量都經(jīng)過隧道。同時開啟 NTP authentication。由于 openconnect服務(wù)器的192.168.26.32被用作隧道出口，將 LAN側(cè)192.168.100.1作為NTP服務(wù)器地址，NTP服務(wù)開啟后，NTP客戶端成功向NTP服務(wù)器同步時間，NTP同步成功如圖7所示。

圖7 NTP同步成功

鏈路抓包后，可以看到篩選的 DTLSv1.2報文，源目地址分別為兩側(cè)服務(wù)器地址，服務(wù)器側(cè)端口為預(yù)設(shè)的11443端口，用戶側(cè)信息被加密外界無法查看。

實驗驗證了可以通過IPSec與DTLS隧道傳送NTP同步數(shù)據(jù)使NTP客戶端向服務(wù)端同步成功。

5.3 與互聯(lián)網(wǎng)公共NTP服務(wù)時鐘同步方案對比

SD-WAN管理隧道內(nèi) NTP時鐘同步方案相比較于互聯(lián)網(wǎng)公共 NTP服務(wù)時鐘同步方案由于建立了隧道，在原始報文外層嵌套了新的報頭，提升了開銷。互聯(lián)網(wǎng)公共NTP服務(wù)時鐘同步報文為90 byte。IPSec管理隧道方案報文需要150 byte，而DTLS管理隧道方案報文則需要180 byte。

提升開銷換來的是規(guī)避第三方公共服務(wù)的不確定性，獲得authentication功能，解決了電信作為運營商面臨暴露面安全防護要求，加密封裝進一步提升了安全性。

試驗驗證的IPSec與DTLS兩種隧道覆蓋了廠商使用的UDP隧道，而DTLS與作為TCP隧道的TLS同源，在開發(fā)上有許多可重復(fù)利用的部分，并且不少開源庫（如openssl、gnutls等）已提供對DTLS的支持，對采用SSL作為管理隧道的廠商來說，向DTLS過渡十分便捷。運用基于改進無證書公鑰密碼的輕量級DTLS協(xié)議，還能避免證書管理的復(fù)雜性并降低額外的網(wǎng)絡(luò)開銷。

6 結(jié)束語

本文通過分析NTP時鐘同步在不同SD-WAN的應(yīng)用場景，說明了時鐘同步對SD-WAN技術(shù)實現(xiàn)和業(yè)務(wù)運行的重要性。受制于廠商作為互聯(lián)網(wǎng)企業(yè)的角色定位，在各SD-WAN實踐中廣泛采用的第三方公共服務(wù)時鐘同步方式，在安全性上存在提升空間。依托于電信基礎(chǔ)資源搭建SD-WAN管理平臺的優(yōu)勢，在不同場景下可實現(xiàn)多種組網(wǎng)方式的自建NTP服務(wù)時鐘同步方案，進一步衍生一種基于自建NTP服務(wù)利用IPSec與DTLS兩種管理隧道加密傳輸 NTP同步數(shù)據(jù)的時鐘同步方法并進行了實現(xiàn)驗證，可以使SD-WAN平臺和設(shè)備在同步時獲得更高的安全性與穩(wěn)定性。未來電信將視管理隧道內(nèi)NTP時鐘同步的方案為推薦的NTP同步方案，力爭為用戶提供運營商獨有高安全高可用的SD-WAN業(yè)務(wù)。