信息通信網(wǎng)絡(luò)運行事故分析與對策

馬凝芳高級工程師 蔣 皓高級工程師 張玉濤 魯陳立

(中國信息通信研究院，北京 100191)

0 引言

歐盟網(wǎng)絡(luò)安全局發(fā)布《2021年電信安全事件》年度報告，顯示2021年來自26個歐盟成員國和2個歐洲自由貿(mào)易聯(lián)盟(European Free Trade Association，EFTA)國家的168起電信事故總損失為51.06億用戶小時數(shù)，相較2020年的8.41億用戶小時大幅增加[1]。2022年7月日本KDDI株式會社(KDDI Corporation，KDDI)、加拿大羅杰斯通信公司(Rogers Communications Inc.，Rogers)、美國谷歌公司(Google Inc.，Google)3家公司相繼出現(xiàn)波及全國、歷時數(shù)日的特大型信息通信網(wǎng)絡(luò)運行事故，引起了全世界的高度關(guān)注[2]。其帶來的災(zāi)難性后果充分表明人類社會對信息通信網(wǎng)絡(luò)的依賴程度非常高。

羅丹、張治兵[3]分析國內(nèi)外通信網(wǎng)絡(luò)運行風險管理現(xiàn)狀，并從加強頂層管理體系建設(shè)、提升監(jiān)督管理要求、提升風險防范能力等方面提出風險管理的改進建議；趙松柏[4]從我國網(wǎng)絡(luò)運行維護管理制度的演變過程出發(fā)，分析網(wǎng)絡(luò)運行維護管理現(xiàn)狀、管理重點與目標、影響網(wǎng)絡(luò)穩(wěn)定的因素、運維管理工作存在的不足等問題，提出優(yōu)化資源、落實集約化管理，落實網(wǎng)絡(luò)線路的優(yōu)化、調(diào)整工作，研發(fā)新型保障技術(shù)，發(fā)揮政府協(xié)同管理的作用等建議；在具體技術(shù)方面，農(nóng)毅杰[5]提出一種以Web為基礎(chǔ)的網(wǎng)絡(luò)化運營與維護信息管理體系，逐級進行深層次的故障定位，查找根源并進行處理；美國國家標準與技術(shù)研究院(National Institute of Standards and Technology，NIST)開發(fā)了一種風險管理框架，提供靈活、動態(tài)的方法用于管理高度多樣化的信息系統(tǒng)安全風險，為信息通信網(wǎng)絡(luò)運行安全風險管理提供參考[6]。目前國內(nèi)外針對網(wǎng)絡(luò)運行安全事故發(fā)生規(guī)律、事故原因、事故后果開展的研究較少，同時也缺少涵蓋網(wǎng)絡(luò)運維、監(jiān)管、系統(tǒng)設(shè)計等的事故預(yù)防體系。本文從國內(nèi)外網(wǎng)絡(luò)運行安全事故出發(fā)，分析事故原因、總結(jié)事故規(guī)律，在此基礎(chǔ)上提出預(yù)防措施和建議，提高網(wǎng)絡(luò)運行安全水平。

1 事故分析

為了全面掌握網(wǎng)絡(luò)運行事故的基本特征，總結(jié)事故發(fā)生的規(guī)律，對國內(nèi)外2020年11月-2022年9月發(fā)生的29起網(wǎng)絡(luò)運行事故信息進行統(tǒng)計分析。

1.1 總體情況

由于我國目前無公開的官方網(wǎng)絡(luò)運行安全事故統(tǒng)計數(shù)據(jù)，本文的數(shù)據(jù)來源于媒體報道。為揭示事故規(guī)律，提出針對性的預(yù)防措施，統(tǒng)計的信息主要包括：事故發(fā)生的時間、事故過程、事故原因、事故影響持續(xù)時間等。國內(nèi)外網(wǎng)絡(luò)運行事故，見表1、2。

表1 國內(nèi)網(wǎng)絡(luò)運行事故

從持續(xù)時間方面分析顯示，影響24h及以上的事故數(shù)量占事故總數(shù)的14%，3～24h的占比38%，1～3h的占比14%，20min～1h的占比27%，小于20min的占比7%，如圖1。

圖1 事故影響時間分布情況

表2 國外網(wǎng)絡(luò)運行事故

近3年，每年事故平均影響時長(事故影響總時長/事故起數(shù))呈增長趨勢。其中2022年事故平均影響時長較2021年增長了149.8%，如圖2。特別需要關(guān)注的是超過3h的事故已經(jīng)超過50%。

圖2 近3年事故平均影響時長變化趨勢

圖2顯示，網(wǎng)絡(luò)運行事故持續(xù)時長增加趨勢明顯，主要原因在于隨著網(wǎng)絡(luò)云化的不斷發(fā)展，網(wǎng)絡(luò)運行事故原因定位和溯源難度加大，網(wǎng)絡(luò)運維管理復雜度提高。網(wǎng)絡(luò)脆弱性增加的趨勢與后疫情時代生產(chǎn)、生活和學習在線上開展不斷增加的實際情況產(chǎn)生矛盾，如果放任矛盾發(fā)展必然給社會經(jīng)濟發(fā)展帶來不可估量的損失。

以2022年7月日本KDDI網(wǎng)絡(luò)運行事故為例，事故由核心路由器割接過程中突發(fā)通信中斷事故導致全日本范圍內(nèi)手機用戶無法正常撥打電話、收發(fā)短信。約3 915萬用戶受影響，相當于日本人口的1/3左右；事故還波及了固網(wǎng)用戶、大批政企互聯(lián)網(wǎng)/物聯(lián)網(wǎng)業(yè)務(wù)和基礎(chǔ)設(shè)施；還致日本204處氣象觀測系統(tǒng)無法傳送資訊；部分銀行的自動取款機、公交系統(tǒng)乘車卡、豐田等車企的部分車聯(lián)網(wǎng)服務(wù)無法使用；鐵路貨運的物流信息系統(tǒng)也受到影響，引發(fā)物流遲滯，郵件和包裹投遞延誤。事故持續(xù)超過3天，嚴重影響了日本國內(nèi)正常的社會生活秩序。

1.2 事故原因分析

造成信息通信網(wǎng)絡(luò)運行安全事故的原因可以分為3大類，即環(huán)境因素、系統(tǒng)(網(wǎng)絡(luò))因素和人為因素，其中環(huán)境因素包含極端天氣、外部施工挖斷光纜、火災(zāi)等；系統(tǒng)(網(wǎng)絡(luò))因素包含網(wǎng)絡(luò)架構(gòu)冗余失效、網(wǎng)絡(luò)設(shè)備硬件故障、網(wǎng)絡(luò)設(shè)備軟件故障、動環(huán)設(shè)備故障、線路設(shè)施故障等；人為因素包含割接升級操作不當、配置錯誤等。

通過對29起網(wǎng)絡(luò)運行事故進行分析，發(fā)現(xiàn)系統(tǒng)(網(wǎng)絡(luò))因素是導致網(wǎng)絡(luò)運行事故的主要原因，占比為61%，而人為因素占比為32%，環(huán)境因素占比為7%，如圖3。

圖3 事故原因占比情況

實踐中，網(wǎng)絡(luò)運行事故通常是多因素共同引發(fā)的，如長時間降雨可能導致供電基礎(chǔ)設(shè)施損壞、用電設(shè)備短路或通信電纜被洪水沖斷等，造成設(shè)備斷電或傳輸中斷，最終引發(fā)網(wǎng)絡(luò)運行事故。

圖4顯示，割接升級、動力系統(tǒng)故障及網(wǎng)絡(luò)設(shè)備軟件故障為引發(fā)事故的主要因素，可占事故總數(shù)的66%。因此在系統(tǒng)設(shè)計、日常維護等工作中應(yīng)重點關(guān)注動環(huán)系統(tǒng)和網(wǎng)絡(luò)設(shè)備軟件的運行情況，必要時部署自動化的監(jiān)測設(shè)備，實時監(jiān)控設(shè)備運行狀況，預(yù)防事故發(fā)生。

圖4 事故因素占比情況

在影響時長方面，根據(jù)事故因素分類計算事故總數(shù)和總影響時長，得到事故因素平均影響時長，如圖5。在統(tǒng)計范圍內(nèi)，割接升級平均影響時長最大，達到了1 336min；其次為自然災(zāi)害因素，平均影響時長為1 213min；網(wǎng)絡(luò)設(shè)備軟件故障因素為897min；網(wǎng)絡(luò)設(shè)備硬件故障的平均影響時長最小為87min。

圖5 事故因素平均影響時長

割接升級是系統(tǒng)的變更升級環(huán)節(jié)，操作復雜、風險較大，在實際操作中建議各網(wǎng)絡(luò)運營者制定嚴格的操作流程、經(jīng)過多次測試驗證，并制定詳盡的應(yīng)急預(yù)案后再進行正式操作。操作中應(yīng)嚴格監(jiān)測系統(tǒng)各參數(shù)變化情況，發(fā)現(xiàn)異常及時應(yīng)對，適時啟動應(yīng)急預(yù)案嚴防事故進一步擴大。

2 事故特征分析

信息通信網(wǎng)絡(luò)作為經(jīng)濟社會發(fā)展的重要基礎(chǔ)設(shè)施，其重要性與日俱增。目前隨著傳統(tǒng)通信技術(shù)(Communication Technology，CT)與信息技術(shù)(Information Technology，IT)融合發(fā)展，信息通信網(wǎng)絡(luò)運行安全面臨新的挑戰(zhàn)，通信網(wǎng)絡(luò)運行安全事故也出現(xiàn)了新的特征。

(1)網(wǎng)絡(luò)結(jié)構(gòu)變化導致網(wǎng)絡(luò)運行風險增加。當前通信網(wǎng)絡(luò)廣泛應(yīng)用網(wǎng)絡(luò)功能虛擬化(Network Functions Virtualization，NFV)、網(wǎng)絡(luò)服務(wù)化結(jié)構(gòu)(Service-based Architecture，SBA)等新技術(shù)，通過分層解耦實現(xiàn)網(wǎng)絡(luò)功能服務(wù)自動化管理，增強網(wǎng)絡(luò)的靈活性和可擴展性；但是由于涉及廠家、平臺眾多，跨層關(guān)聯(lián)緊密，發(fā)生故障極易由點及面，網(wǎng)絡(luò)容災(zāi)保護方式由傳統(tǒng)的網(wǎng)元級上升到機房(Data Center，DC)級、大區(qū)級，甚至各張網(wǎng)之間、網(wǎng)絡(luò)與云資源之間，保證容災(zāi)生效的同時還要考慮信令沖擊、業(yè)務(wù)均衡等諸多問題，單一故障極有可能帶來嚴重并發(fā)癥。日本KDDI事故成因與甘肅5G事故類似，因出現(xiàn)局部單點故障，用戶注冊失敗導致服務(wù)器資源消耗增加，網(wǎng)絡(luò)性能下降進一步引發(fā)注冊用戶數(shù)的激增，造成數(shù)據(jù)庫同步失敗，最終發(fā)生網(wǎng)絡(luò)整體癱瘓。與傳統(tǒng)的CT網(wǎng)絡(luò)不同，IT提供的是“盡力而為”的服務(wù)，其基礎(chǔ)資源復用率更高，導致發(fā)生網(wǎng)絡(luò)故障時更容易從點擴散到面，形成連鎖反應(yīng)，造成大規(guī)模的網(wǎng)絡(luò)運行事故。

(2)故障原因日益復雜化、隱蔽化，導致故障排除所需時間增加。網(wǎng)絡(luò)云化的技術(shù)特征決定了網(wǎng)絡(luò)運行事故原因定位和溯源難度加大，網(wǎng)絡(luò)運維管理復雜度提高[7]。日本KDDI事故處理經(jīng)歷了倒回、處理信令擁塞、應(yīng)對高負荷沖擊、網(wǎng)元不同步等多個環(huán)節(jié)。運營商在如此復雜的環(huán)境中進行大量變更操作，很難做到在制定方案時遍歷所有的業(yè)務(wù)和服務(wù)場景。一旦發(fā)生事故，經(jīng)常由于預(yù)案不充分，經(jīng)驗不豐富，錯失遏制事態(tài)發(fā)展的機會，導致事故影響面不斷擴大。

(3)既有運維方式逐漸不能滿足信息技術(shù)網(wǎng)絡(luò)的發(fā)展要求。隨著網(wǎng)絡(luò)發(fā)展和演進，傳統(tǒng)以人工為主的運維方式已經(jīng)無法適應(yīng)網(wǎng)絡(luò)不斷增加導致的運維復雜性、參數(shù)配置更加靈活等新型挑戰(zhàn)[8]。網(wǎng)絡(luò)系統(tǒng)中存在多個廠家專業(yè)設(shè)備，網(wǎng)絡(luò)調(diào)整密集，對維護人員綜合技能要求不斷提高。加之核心網(wǎng)網(wǎng)元大多部署在省級或大區(qū)級，網(wǎng)絡(luò)集中管理需要跨專業(yè)、跨部門、跨地域、跨廠家協(xié)同，應(yīng)急處置和指揮調(diào)度難度倍增。

3 事故預(yù)防建議

(1)完善制度標準，提升網(wǎng)絡(luò)健壯性。預(yù)防信息通信網(wǎng)絡(luò)運行安全事故關(guān)鍵是從本質(zhì)安全的角度出發(fā)，優(yōu)化系統(tǒng)設(shè)計提升網(wǎng)絡(luò)健壯性。通過網(wǎng)絡(luò)架構(gòu)保護、冗余設(shè)計等手段，預(yù)防環(huán)境因素、系統(tǒng)(網(wǎng)絡(luò))因素和人為因素引發(fā)事故。要進一步完善網(wǎng)絡(luò)架構(gòu)保護的相關(guān)技術(shù)標準，從冗余要求、運維管理和運行環(huán)境支撐3個方面完善相關(guān)標準體系。

(2)強化技術(shù)手段，預(yù)防信令風暴。針對易引起網(wǎng)絡(luò)癱瘓的信令風暴，事故預(yù)防工作一是優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，控制大區(qū)/網(wǎng)元規(guī)模，降低信令風暴影響范圍；二是提升網(wǎng)絡(luò)設(shè)備抗沖擊的能力，完善過載保護機制；三是做好無線網(wǎng)、核心網(wǎng)中信令處理網(wǎng)元的數(shù)據(jù)備份，避免因容災(zāi)倒換引發(fā)信令風暴；四是建立多維度流量分析和監(jiān)控體系，在接入類、信令類網(wǎng)元中分級部署流量控制系統(tǒng)，提高流量精細化管理能力。

(3)落實風險評估，提升網(wǎng)絡(luò)運行安全水平。風險是事故的根本原因，未遂事故是事故的前兆，控制風險、重視未遂事故對事故預(yù)防具有舉足輕重的作用[9]。因此，應(yīng)落實風險分級管控和隱患排查治理雙重預(yù)防控制機制，加強信息通信設(shè)施風險評估管理，識別和控制網(wǎng)絡(luò)設(shè)備軟件、網(wǎng)絡(luò)設(shè)備硬件、動力系統(tǒng)中存在的風險，防止風險轉(zhuǎn)化為隱患，將隱患排除在事故發(fā)生之前。

主要工作內(nèi)容包括：明確風險評估的組織形式、評估內(nèi)容、評估結(jié)果的使用等關(guān)鍵要求；落實風險評估制度，建立風險和隱患清單；定期組織評估，識別分析系統(tǒng)中存在的風險(如數(shù)據(jù)庫服務(wù)能力風險、應(yīng)急策略風險、系統(tǒng)升級風險等)，在此基礎(chǔ)上制定風險控制措施(如倒換演練、應(yīng)急演練的實施要求)等。

(4)加強人員培訓，提高運維人員工作技能。高水平的運維人員是通信網(wǎng)絡(luò)安全運行的重要保障，提升運維人員能力，預(yù)防參數(shù)配置錯誤等人為操作引發(fā)的事故，也有利于及時發(fā)現(xiàn)系統(tǒng)中的風險和隱患。因此應(yīng)加強運維人員培訓，定期組織知識技能比賽等，使運維人員熟練掌握各項操作技能，提升知識水平，完善運維能力。

(5)構(gòu)建應(yīng)急體系，強化事故處置能力。為降低網(wǎng)絡(luò)運行事故影響，建議各相關(guān)企業(yè)制定信令風暴等故障的監(jiān)測制度、完善監(jiān)測方法，盡早預(yù)警，人員提前介入，迅速排除故障；其次，制定多項流量控制應(yīng)急預(yù)案，在事故發(fā)展的不同階段都能有效介入，控制影響范圍，逐步排除故障。各項專項應(yīng)急預(yù)案應(yīng)明確應(yīng)急組織形式、人員構(gòu)成、應(yīng)急處置流程等內(nèi)容，保障各項應(yīng)急資源配備。定期組織人員進行應(yīng)急演練，使工作人員熟悉應(yīng)急處置流程和在應(yīng)急活動中的任務(wù)分工。做到在事故發(fā)生后第一時間進行處置，防止事故后果擴大。

(6)推進技術(shù)研發(fā)，完善事故溯源機制。我國擁有世界上規(guī)模最大的信息通信網(wǎng)絡(luò)，且網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)復雜，相應(yīng)的事故隱患存在的可能性較大，事故發(fā)生后，發(fā)展演化過程復雜，為事故原因排查和事故調(diào)查帶來挑戰(zhàn)。建議加強技術(shù)研究，完善事故監(jiān)測和記錄的手段，準確完整地記錄事故發(fā)生、發(fā)展、排除全過程，提升事故溯源分析能力。將事故發(fā)生、處置的經(jīng)驗做法梳理轉(zhuǎn)化為事故預(yù)防的經(jīng)驗，促進行業(yè)技術(shù)水平提升。

4 結(jié)論

當前，信息通信網(wǎng)絡(luò)逐漸成為一項重要的社會基礎(chǔ)設(shè)施，為其他各行業(yè)的發(fā)展提供支撐，起到“一業(yè)帶百業(yè)”的作用。本文通過分析近3年國內(nèi)外發(fā)生的網(wǎng)絡(luò)運行安全事故，并總結(jié)事故規(guī)律，得到以下結(jié)論：

(1)網(wǎng)絡(luò)技術(shù)躍遷給網(wǎng)絡(luò)運行安全帶來新的挑戰(zhàn)，事故影響時長出現(xiàn)逐年增長的趨勢。建議從網(wǎng)絡(luò)架構(gòu)保護、網(wǎng)絡(luò)運行維護、運行環(huán)境防護3方面采取措施予以應(yīng)對。

(2)網(wǎng)絡(luò)運行事故具有定位難、處置難、持續(xù)時間長的特點，建議構(gòu)建高效的應(yīng)急管理體系，推進故障記錄、事故溯源等技術(shù)手段，降低事故影響。

(3)系統(tǒng)割接升級引發(fā)的事故平均影響時長最大。建議充分發(fā)揮主觀能動性，提升一線操作人員的工作技能，提供多場景模擬實操環(huán)境，強化人員工作能力，同時優(yōu)化系統(tǒng)設(shè)計提升網(wǎng)絡(luò)健壯性，預(yù)防事故發(fā)生。