面向通信云的存儲容災(zāi)方案及部署策略研究

申 佳，童俊杰，韓振東，胡 祎（.中訊郵電咨詢設(shè)計院有限公司鄭州分公司，河南鄭州 450007；.中國聯(lián)合網(wǎng)絡(luò)通信集團有限公司，北京 00033）

1 概述

5G作為重要的信息基礎(chǔ)設(shè)施，在全球得到了廣泛的發(fā)展。據(jù)GSA 統(tǒng)計，截至2021 年4 月，全球已有68個國家的162 個運營商推出5G 服務(wù)。5G 商用部署速度超過以往任何一代移動通信技術(shù)。隨著5G 的快速商用部署，通信云作為全面支撐4G∕5G核心網(wǎng)、創(chuàng)新型業(yè)務(wù)平臺、管理平臺等網(wǎng)絡(luò)云化部署需求的基礎(chǔ)設(shè)施，如何在保證網(wǎng)絡(luò)及數(shù)據(jù)的安全可靠性的同時又能靈活部署，是當(dāng)前運營商的重大課題之一。

研究通信云存儲容災(zāi)技術(shù)是為了平衡網(wǎng)絡(luò)運營成本和網(wǎng)絡(luò)服務(wù)質(zhì)量，同時也是在核心網(wǎng)虛擬化后，對新型網(wǎng)絡(luò)安全可靠性的探索。與此同時，對運營商網(wǎng)絡(luò)安全和健壯性的考量也不能僅局限于網(wǎng)元是否具備相應(yīng)容災(zāi)功能，而應(yīng)該對網(wǎng)絡(luò)整體進行綜合能力評估，其中可能包括對網(wǎng)絡(luò)整體短板的判斷、對網(wǎng)絡(luò)沖擊的防御機制、對虛擬化網(wǎng)絡(luò)硬件層和虛擬層的容災(zāi)能力評估以及對其他異常場景的模擬和預(yù)判等［1］。

由于業(yè)務(wù)種類比較多，虛擬化的通信網(wǎng)元部署復(fù)雜，存儲數(shù)據(jù)類型不同，本文將從運營商的業(yè)務(wù)分類入手，分析通信云的存儲容災(zāi)部署方案。

2 通信云存儲設(shè)備的容災(zāi)手段

2.1 存儲設(shè)備形態(tài)

根據(jù)硬件部署形態(tài)，存儲設(shè)備可以劃分為集中式存儲與分布式存儲2類。

2.1.1 集中式存儲

以磁盤陣列設(shè)備作為資源池中集中式的存儲設(shè)備，通過存儲網(wǎng)絡(luò)（SAN）向主機提供存儲容量，其主要組件如下。

a）控制器：包含CPU、內(nèi)存、接口卡、前后端接口（前端接口和交換機連接，后端接口和盤框連接）。

b）盤框（硬盤）：主要存儲設(shè)備，磁盤陣列設(shè)備提供機械硬盤（HDD）或固態(tài)硬盤（SSD）槽位，盤框通過NL-SAS、SAS等接口類型與控制器連接。

集中式存儲組網(wǎng)形態(tài)如圖1所示。

圖1 集中式存儲組網(wǎng)形態(tài)

2.1.2 分布式存儲

分布式存儲基于服務(wù)器集群構(gòu)建，存儲服務(wù)器節(jié)點之間通過網(wǎng)絡(luò)連接形成存儲資源池，其組網(wǎng)形態(tài)如圖2所示。

圖2 分布式存儲組網(wǎng)形態(tài)

2.2 存儲設(shè)備容災(zāi)手段

2.2.1 集中式存儲

集中式存儲的可靠性機制如下。

a）端到端冗余：在前端接口、控制器、電源、內(nèi)部鏈接上通過多路徑實現(xiàn)冗余，確保任意部件發(fā)生故障業(yè)務(wù)不中斷。

b）數(shù)據(jù)保護：獨立磁盤冗余陣列（Redundant Array of Independent Disks，RAID）通過條帶（RAID 0）、鏡像（RAID 1）、校驗計算（RAID 5∕RAID 6∕RAID TP）等多種技術(shù)，把多塊獨立的硬盤（物理硬盤）按不同的方式組合起來形成一個硬盤組（邏輯硬盤），從而提供比單個硬盤更高的存儲性能和數(shù)據(jù)備份技術(shù)。

2.2.2 分布式存儲

分布式存儲硬件由通用服務(wù)器和通用網(wǎng)絡(luò)設(shè)備構(gòu)成，其可靠性保障機制如下。

a）設(shè)備冗余：多網(wǎng)絡(luò)設(shè)備、多鏈路、多存儲節(jié)點冗余，確保任意部件發(fā)生故障業(yè)務(wù)不中斷，數(shù)據(jù)在系統(tǒng)內(nèi)不同存儲節(jié)點上均衡分布從而保障節(jié)點間負(fù)載均衡。

b）數(shù)據(jù)保護：通過多副本技術(shù)或校驗碼技術(shù)進行數(shù)據(jù)的冗余備份。

2.2.3 多存儲系統(tǒng)間容災(zāi)手段

存儲雙活方案包括2 套存儲系統(tǒng)，提供實時數(shù)據(jù)備份。1臺主機可同時訪問2個副本，任意副本故障不影響業(yè)務(wù)。2 套存儲可獨立部署存儲層雙活方案，也可以結(jié)合上層應(yīng)用（包括網(wǎng)絡(luò)層）的雙活設(shè)計，形成數(shù)據(jù)中心雙活解決方案。

存儲雙活方案關(guān)鍵技術(shù)指標(biāo)如下。

a）數(shù)據(jù)恢復(fù)點目標(biāo)（Recovery point objective，RPO）：主要指的是業(yè)務(wù)系統(tǒng)所能容忍的數(shù)據(jù)丟失量。

b）恢復(fù)時間目標(biāo)（Recovery time objective，RTO），是指通信云業(yè)務(wù)網(wǎng)元所能容忍的業(yè)務(wù)系統(tǒng)停止服務(wù)的最長時間，也就是災(zāi)難發(fā)生到業(yè)務(wù)系統(tǒng)恢復(fù)服務(wù)功能所需要的最短時間。

運營商根據(jù)不同技術(shù)指標(biāo)要求，可制定不同容災(zāi)方案。技術(shù)指標(biāo)及相應(yīng)方案如表1 所示，不同容災(zāi)手段組網(wǎng)方式如圖3所示。

圖3 多存儲系統(tǒng)間容災(zāi)手段

表1 通信云業(yè)務(wù)網(wǎng)元分類

3 通信云業(yè)務(wù)網(wǎng)元與外部存儲關(guān)系

3.1 業(yè)務(wù)網(wǎng)元與外部存儲配合關(guān)系

傳統(tǒng)的電信設(shè)備以專用的硬件為主，在專有平臺架構(gòu)下，各硬件設(shè)備彼此獨立，近年來，軟件化、云化部署的產(chǎn)品逐步商用，運營商逐步進行了業(yè)務(wù)系統(tǒng)的云化，將云化范圍從平臺類應(yīng)用擴展到通信網(wǎng)元，如UDM、AMF、SMF 等，以某廠商網(wǎng)元配置情況為例，各網(wǎng)元與外部存儲關(guān)系分析如下。

a）5GC計費單元：CG話單使用外部存儲，且跨DC有業(yè)務(wù)主備容災(zāi)，當(dāng)外部存儲斷鏈，CG 會拒絕接收話單，從而使話單可以在前端網(wǎng)元存儲一段時間。SMF∕GW 會嘗試接入備份CG（網(wǎng)元級容災(zāi)），若備份CG 與外部存儲一樣斷鏈，且SMF∕GW 與外部存儲鏈接正常，則可以將話單緩存在外部存儲一段時間，若SMF∕GW與外部存儲同時斷掉，則只能存在計算節(jié)點本地內(nèi)存（空間很小，僅能存儲分鐘級），超過內(nèi)存空間后只能丟棄。

b）EMS∕MANO：操作系統(tǒng)和運行數(shù)據(jù)都保存在本地硬盤，當(dāng)外部存儲斷鏈后，只要VNF 的虛機不重啟，業(yè)務(wù)不會中斷，但是寫硬盤的操作會失?。òㄈ罩?、性能統(tǒng)計、配置、告警等）。

c）核心網(wǎng)控制面VNF（AMF、SMF、NRF 等）：數(shù)據(jù)庫和操作系統(tǒng)都是保存在內(nèi)存中的，當(dāng)外部存儲斷鏈后，只要VNF 的虛機不重啟，業(yè)務(wù)不會中斷，但是寫硬盤的操作會失敗（主要是日志）。

d）核心網(wǎng)數(shù)據(jù)面VNF（UDM、PCF 等）：具備DC 內(nèi)和跨DC 容災(zāi)，單臺存儲設(shè)備故障，啟動DC 內(nèi)容災(zāi)，單DC內(nèi)存儲全部故障，啟用跨DC容災(zāi)。

e）5G 消息：如果Guest OS 使用的外部存儲失效，會影響虛機正常運行。如果APP 的數(shù)據(jù)盤失效，可以按3 種不同模塊場景進行分析：核心業(yè)務(wù)模塊如AS 的業(yè)務(wù)處理模塊等，其數(shù)據(jù)盤故障可以不中斷當(dāng)前業(yè)務(wù)，但會造成計費、日志等數(shù)據(jù)丟失；核心數(shù)據(jù)模塊如FS 的業(yè)務(wù)處理模塊、計費服務(wù)器等，數(shù)據(jù)盤失效會影響當(dāng)前業(yè)務(wù)；業(yè)務(wù)日志模塊與上述核心數(shù)據(jù)模塊類似，只是數(shù)據(jù)盤失效時，對實時業(yè)務(wù)和數(shù)據(jù)影響較小。

f）炫鈴平臺：具體模塊不同，受到的影響也不同，例如數(shù)據(jù)庫或鈴音服務(wù)器所用云盤異常時，呼叫接續(xù)不受影響，只是個性化設(shè)置的鈴音無法播放，但是炫鈴系統(tǒng)的保護音會正常播放；SCP∕SIPPROXY 模塊部分異常時，在SCP∕SIPPROXY 設(shè)置的流控范圍內(nèi)的呼叫可正常處理，超出范圍的呼叫會被拒絕，返回503錯誤，讓核心網(wǎng)放通，保證不影響呼叫接續(xù)。

3.2 通信云業(yè)務(wù)網(wǎng)元分類

根據(jù)網(wǎng)元對外部存儲的依賴關(guān)系，可以將通信云業(yè)務(wù)網(wǎng)元分為以下2 類（2 類網(wǎng)元均可能有告警、日志等數(shù)據(jù)需要外部存儲）。

a）有狀態(tài)網(wǎng)元：業(yè)務(wù)數(shù)據(jù)需要保存到外部存儲上，主要存儲數(shù)據(jù)為用戶靜態(tài)數(shù)據(jù)，數(shù)據(jù)不能丟失。

b）無狀態(tài)網(wǎng)元：業(yè)務(wù)數(shù)據(jù)不需要保存到外部存儲上，或保存在外部存儲上的數(shù)據(jù)主要為業(yè)務(wù)動態(tài)數(shù)據(jù)，在外部存儲失效時，無狀態(tài)網(wǎng)元可通過存儲旁路功能保障業(yè)務(wù)不中斷。

根據(jù)業(yè)務(wù)應(yīng)用重要程度可以將容災(zāi)情況分為DC內(nèi)和DC 間容災(zāi)2種。通信云網(wǎng)元據(jù)此進行分類，如表2所示。

表2 通信云業(yè)務(wù)網(wǎng)元分類

4 通信云存儲容災(zāi)方案

4.1 通信云資源池存儲容災(zāi)方案原則

運營商可以根據(jù)不同網(wǎng)元對存儲的依賴關(guān)系以及網(wǎng)元自身應(yīng)用層雙活部署情況，與應(yīng)用層容災(zāi)協(xié)同，對不同的網(wǎng)元采用不同的存儲層容災(zāi)手段，為通信云提供網(wǎng)絡(luò)運營成本與網(wǎng)絡(luò)安全可靠性相對平衡的容災(zāi)解決方案。

4.2 技術(shù)方案

具體技術(shù)方案如下。

a）業(yè)務(wù)網(wǎng)元無任何DC 內(nèi)∕間容災(zāi)（單DC 單節(jié)點部署）：部署單DC 內(nèi)存儲雙活，應(yīng)用側(cè)數(shù)據(jù)雙寫在不同存儲設(shè)備上，單臺故障時，應(yīng)用側(cè)自行切換。存儲啟用主備∕雙活。故障時存儲自動切換及恢復(fù)過程如圖4所示。

圖4 單DC內(nèi)單節(jié)點雙活示意圖

b）業(yè)務(wù)網(wǎng)元單DC 內(nèi)有容災(zāi)（單DC 雙節(jié)點部署）：雙節(jié)點掛載不同存儲設(shè)備，形成A∕B 雙平面，主要通過應(yīng)用側(cè)容災(zāi)進行業(yè)務(wù)切換，存儲故障進行DC 內(nèi)雙節(jié)點業(yè)務(wù)切換，可避免單存儲失效導(dǎo)致整個業(yè)務(wù)宕機。故障時存儲自動切換及恢復(fù)過程如圖5所示。

圖5 單DC內(nèi)雙節(jié)點部署示意圖

c）業(yè)務(wù)網(wǎng)元跨DC 部署且應(yīng)用層有容災(zāi)手段（雙DC 雙節(jié)點部署）：建議主要依靠上層應(yīng)用做相應(yīng)數(shù)據(jù)同步及容災(zāi)切換，跨DC 的存儲雙活對于鏈路延遲要求較高，如時延允許（雙DC 距離＜100 km）可以考慮雙活或遠程復(fù)制。

5 結(jié)束語

通信云資源池存儲容災(zāi)與網(wǎng)絡(luò)部署架構(gòu)以及不同網(wǎng)元特性密切相關(guān)，不同組網(wǎng)不同網(wǎng)元對應(yīng)有不同的容災(zāi)方案。國際標(biāo)準(zhǔn)對網(wǎng)元容災(zāi)方案及實現(xiàn)流程沒有詳細(xì)規(guī)定，各個廠家實現(xiàn)方式、機制及流程有較多不同，這就給運營商部署帶來很大挑戰(zhàn)。如何既能滿足5G商用部署要求及策略，又能滿足各種異廠家組合場景下的存儲容災(zāi)備份需求，是網(wǎng)絡(luò)部署中的難題之一。

另一方面，5G 網(wǎng)絡(luò)引入了服務(wù)化架構(gòu)、計算與存儲分離、控制面和用戶面分離等新技術(shù)架構(gòu)，運營商需要綜合考慮并利用新技術(shù)實現(xiàn)容災(zāi)，而不僅僅依靠某一層設(shè)備或者某一種技術(shù)。

總之，通信云存儲容災(zāi)技術(shù)面臨的困難與問題比想象的要多，運營商在后期的部署與運營階段還會遇到各種問題，這也是后續(xù)研究的重點。