運(yùn)營(yíng)商級(jí)DDoS安全防護(hù)系統(tǒng)建設(shè)實(shí)踐

馮曉冬，田龍平，馬 晉，劉長(zhǎng)波，田金英

（天翼安全科技有限公司，北京 100010）

0 引言

分布式拒絕攻擊（DDoS，Distributed Denial of Service），是一種常見(jiàn)的破壞性大而又難以防范的網(wǎng)絡(luò)攻擊方式。通常，DDoS攻擊利用分布在網(wǎng)絡(luò)中的大量受控主機(jī)發(fā)起請(qǐng)求，導(dǎo)致指定目標(biāo)無(wú)法提供正常服務(wù)[1]。分布式拒絕服務(wù)攻擊DDoS事件頻發(fā)，攻擊規(guī)模和趨勢(shì)成倍增長(zhǎng)，勢(shì)必嚴(yán)重影響互聯(lián)網(wǎng)業(yè)務(wù)的可用性和廣大用戶的感知。

中國(guó)電信公眾互聯(lián)網(wǎng)絡(luò)ChinaNet面向廣大人民群眾提供安全可靠的日常網(wǎng)絡(luò)服務(wù)。中國(guó)電信集團(tuán)從2006年開(kāi)始針對(duì)ChinaNet的DDoS攻擊開(kāi)展監(jiān)控和防護(hù)工作。得益于國(guó)家主管部門的監(jiān)管和專項(xiàng)治理，近年來(lái)DDoS攻擊總流量快速增長(zhǎng)的勢(shì)頭在一定程度上被有效扼制[2]。自2019年起，我們所監(jiān)控到的DDoS攻擊次數(shù)和總量都有所下降。以2021年上半年為例，DDoS攻擊總流量196 607 TB，攻擊次數(shù)達(dá)到6.69萬(wàn)次。與去年同期相比，分別下降了9.90%和25.17%。另一方面，DDoS攻擊持續(xù)向組織化、規(guī)模化、商業(yè)化的方向演進(jìn)，其整體攻擊態(tài)勢(shì)呈現(xiàn)出攻擊量級(jí)普遍提升、更具有針對(duì)性等特性。不同于以往攻擊峰值向1-5 Gb/s單側(cè)分化，最新監(jiān)控?cái)?shù)據(jù)顯示：在大流量攻擊次數(shù)持續(xù)增加的同時(shí)，DDoS的攻擊峰值分布越來(lái)越集中在20-50 Gb/s區(qū)間內(nèi)。2021年上半年的平均攻擊峰值接近50 Gb/s，較2016年增加了一倍多。

因此，在DDoS攻防持續(xù)對(duì)抗和升級(jí)的背景下，如何充分保障互聯(lián)網(wǎng)絡(luò)的安全穩(wěn)定，助力經(jīng)濟(jì)持續(xù)穩(wěn)定的增長(zhǎng)，是擺在中國(guó)電信面前的重要課題。

1 現(xiàn)行方案

1.1 分布式DDoS攻擊防護(hù)方案

依據(jù)ChinaNet的網(wǎng)絡(luò)基本架構(gòu)和網(wǎng)絡(luò)資源優(yōu)勢(shì)，本文提出了一種面向全網(wǎng)的分布式DDoS防護(hù)方案，包括近源清洗、近目的清洗、流量壓制等多種技術(shù)方法。如圖1所示，防護(hù)架構(gòu)在ChinaNet骨干網(wǎng)互聯(lián)互通路由器、國(guó)際邊緣路由器上分別部署壓制策略，并通過(guò)BGP協(xié)議實(shí)現(xiàn)秒級(jí)的分方向壓制，達(dá)到阻斷國(guó)內(nèi)運(yùn)營(yíng)商攻擊流量、國(guó)際側(cè)攻擊流量甚至全網(wǎng)攻擊流量的防護(hù)目的。同時(shí)，通過(guò)全局重構(gòu)主要IDC/城域網(wǎng)的壓制能力，支持任選顆粒度的精細(xì)城域網(wǎng)壓制方向自由組合，實(shí)現(xiàn)了以全網(wǎng)視角來(lái)實(shí)施部署云網(wǎng)協(xié)同的分布式近源網(wǎng)絡(luò)安全防護(hù)能力。

圖1 云網(wǎng)協(xié)同的分布式近源網(wǎng)絡(luò)安全防護(hù)方案

1.2 主要功能

1.2.1 近源清洗

流量清洗是針對(duì)DDoS攻擊的常用安全手段。一般來(lái)說(shuō)，流量清洗過(guò)程可分為三步：牽引、清洗和回注[3]。在保證正常業(yè)務(wù)可用的情況下，流量首先被送至DDoS清洗中心，區(qū)分出正常流量和異常流量，最后將正常流量送回給客戶?？梢?jiàn)，流量清洗的各環(huán)節(jié)都可能引發(fā)的時(shí)延，影響客戶業(yè)務(wù)的連續(xù)性，進(jìn)而降低用戶感知。

近源清洗方法是指在靠近攻擊源的位置對(duì)流量進(jìn)行清洗操作?；谶\(yùn)營(yíng)商骨干網(wǎng)絡(luò)資源和網(wǎng)絡(luò)調(diào)度能力的優(yōu)勢(shì)，以全局視角智能調(diào)度流量、并協(xié)同使用分布在全網(wǎng)各地的清洗設(shè)備，實(shí)現(xiàn)在幾乎不增加時(shí)延的前提下完成近攻擊源的流量清洗。對(duì)于越大規(guī)模的攻擊防御效果越明顯，設(shè)備復(fù)用程度較高，成本優(yōu)勢(shì)明顯。

較之其他清洗方案，近源清洗方案優(yōu)勢(shì)顯著?；ヂ?lián)網(wǎng)企業(yè)的云清洗方案通常都依賴DNS調(diào)度，本質(zhì)上是一種代理模式，存在企業(yè)信息泄漏的風(fēng)險(xiǎn)。而自建清洗中心往往會(huì)受限網(wǎng)絡(luò)帶寬限制、建設(shè)成本、專業(yè)操作人員等因素，需要客戶準(zhǔn)備極大的流量帶寬，且清洗能力難以復(fù)用。

1.2.2 近目的清洗

近目的清洗是指?jìng)鹘y(tǒng)靠近業(yè)務(wù)主機(jī)位置部署DDoS流量清洗設(shè)備，通常部署在城域網(wǎng)或IDC等靠近客戶業(yè)務(wù)主機(jī)位置。任何的攻擊防御都存在一定的漏過(guò)率。在分布式的近源清洗過(guò)程中，流量被分擔(dān)到各個(gè)清洗節(jié)點(diǎn)，相當(dāng)于各防御閾值被提高了，攻擊流量的漏過(guò)情況會(huì)被放大，如果客戶自有計(jì)算能力較弱，可能仍會(huì)對(duì)其造成一定影響。因此，在應(yīng)對(duì)部分難以避免漏過(guò)問(wèn)題的攻擊時(shí)，近目的清洗作為近源清洗的二次防護(hù)輔助手段配合使用。

特別是應(yīng)對(duì)UDP類或應(yīng)用層的攻擊時(shí)，攻擊防御難度較大，容易發(fā)生漏過(guò)情況。多個(gè)節(jié)點(diǎn)的漏過(guò)攻擊流量匯聚后極有可能依然會(huì)造成一定業(yè)務(wù)影響。因此，通過(guò)對(duì)近源清洗流量匯聚后再進(jìn)行近目的清洗，這樣可最大程度保證回注流量的清潔程度。

1.2.3 流量壓制

流量壓制通過(guò)在網(wǎng)絡(luò)設(shè)備上配置黑洞策略，實(shí)現(xiàn)對(duì)某部分網(wǎng)絡(luò)流量進(jìn)行拋棄操作。Null0是路由系統(tǒng)保留的邏輯接口，發(fā)送到該接口的流量會(huì)被直接丟棄，不再轉(zhuǎn)發(fā)[4]。因此，利用這一路由器的特性，可在非常小的系統(tǒng)負(fù)載影響下，快速實(shí)現(xiàn)流量拋棄操作。例如，國(guó)內(nèi)大部分互聯(lián)網(wǎng)企業(yè)服務(wù)客戶為國(guó)內(nèi)客戶，而DDoS攻擊流量中源自境外流量通常占比較高，尤其是反射式攻擊，隨著近年對(duì)境內(nèi)反射式攻擊源的各類治理，絕大部分反射式攻擊90%流量源自境外，若在攻擊過(guò)程中將境外流量丟棄，可在保證客戶業(yè)務(wù)流量前提下，最大程度拋棄攻擊流量。同時(shí)，對(duì)于大部分互聯(lián)網(wǎng)業(yè)務(wù)服務(wù)對(duì)象為普通客戶，通常位于城域網(wǎng)內(nèi)，若在攻擊過(guò)程中將原本無(wú)需訪問(wèn)的IDC流量屏蔽，可進(jìn)一步緩解攻擊影響。

由于實(shí)現(xiàn)原理相對(duì)簡(jiǎn)單，流量壓制的響應(yīng)速度通常可達(dá)到秒級(jí)，甚至可做到秒內(nèi)，這對(duì)需要快速響應(yīng)的攻擊防御效果明顯，對(duì)于超大型流量攻擊也可以作為流量清洗的輔助手段。但是這種方法存在缺點(diǎn)，它并不區(qū)分流量的類別，在丟棄處置攻擊流量的同時(shí)，正常流量也被丟棄，客戶業(yè)務(wù)將會(huì)受到中斷。

2 現(xiàn)網(wǎng)實(shí)踐和效果

結(jié)合多年來(lái) 積 累的網(wǎng)絡(luò)安全防護(hù)經(jīng)驗(yàn)，我們分階段、有步驟地在現(xiàn)網(wǎng)部署實(shí)施上述的分布式DDoS攻擊防護(hù)方案，并將相應(yīng)的能力封裝成中國(guó)電信云堤產(chǎn)品。

目前，系統(tǒng)已經(jīng)覆蓋了全部的骨干網(wǎng)和上百個(gè)城域網(wǎng)和IDC節(jié)點(diǎn)。清洗設(shè)備的能力超過(guò)10T級(jí)，形成了一套具備全網(wǎng)資源統(tǒng)一調(diào)度能力的兩級(jí)防護(hù)架構(gòu)。系統(tǒng)實(shí)現(xiàn)了我國(guó)骨干網(wǎng)絡(luò)安全能力的云化部署，標(biāo)準(zhǔn)封裝及對(duì)外開(kāi)放，包括了流量檢測(cè)、流量控制、流量清洗、路由安全等關(guān)鍵技術(shù)能力，不僅實(shí)現(xiàn)了對(duì)網(wǎng)絡(luò)側(cè)流量的快速響應(yīng)和處理能力，而且應(yīng)對(duì)不同安全場(chǎng)景和客戶需求，提供了自助式高效服務(wù)。

自2015年落地實(shí)施以來(lái)，云堤抗D產(chǎn)品收到了良好的社會(huì)效益和經(jīng)濟(jì)效益。產(chǎn)品已覆蓋政府、金融、教育等十余個(gè)行業(yè)，有效促進(jìn)了中國(guó)電信寬帶業(yè)務(wù)和用戶規(guī)模發(fā)展，增強(qiáng)了用戶黏性。在社會(huì)效益方面，為APEC峰會(huì)、抗日戰(zhàn)爭(zhēng)勝利70周年閱兵、G20杭州峰會(huì)、十九大、一帶一路峰會(huì)等歷次黨和國(guó)家重大活動(dòng)提供了網(wǎng)絡(luò)安全保障，多次受到國(guó)家各級(jí)政府部門、行業(yè)主管部門以及相關(guān)重要機(jī)構(gòu)和重點(diǎn)保障對(duì)象的表彰和感謝。在經(jīng)濟(jì)效益方面，本項(xiàng)目成果推出上線以來(lái)，已簽約政企專線、IDC客戶數(shù)千家，2015年至2020年為企業(yè)直接創(chuàng)造業(yè)務(wù)收入累計(jì)超25億元，并帶動(dòng)傳統(tǒng)專線等間接業(yè)務(wù)收入超60億元。 3 DDoS防護(hù)方案的持續(xù)演進(jìn)

3.1 BGP Flow Spec

Flow Spec技術(shù)（Flow Specification）產(chǎn)生于2009年，定義了BGP路由中的五元組、三層報(bào)文長(zhǎng)度，DSCP優(yōu)先級(jí)和分片報(bào)文在內(nèi)的多種屬性，支持對(duì)這些屬性的靈活集中配置和管理匹配規(guī)則，以及限速、重定向、丟棄、重定義和重標(biāo)記DSCP優(yōu)先級(jí)等多種流量執(zhí)行動(dòng)作。因此，F(xiàn)low Spec技術(shù)可實(shí)現(xiàn)在多種場(chǎng)景下對(duì)流量的細(xì)粒度控制和處理[5-6]。

Flow Spec的運(yùn)行機(jī)制可分為創(chuàng)建激活和發(fā)布更新兩部分。第一步：創(chuàng)建并激活路由，指在Flow Spec控制器上創(chuàng)建激活包括具體匹配規(guī)則和流量執(zhí)行動(dòng)作的路由信息；第二步：發(fā)布路由，利用BGP路由更新報(bào)文向Flow Spec邊界路由器發(fā)布信息，繼而Flow Spec路由在轉(zhuǎn)發(fā)平面上生效，達(dá)到快速動(dòng)態(tài)操作Flow的效果。這樣，當(dāng)符合匹配規(guī)則的流量進(jìn)入BGP路由器時(shí)，路由器會(huì)執(zhí)行對(duì)應(yīng)的流量動(dòng)作[7]。

基于BGP Flow Spec流量調(diào)度技術(shù)的研究，我們?cè)诂F(xiàn)有DDoS攻擊防護(hù)技術(shù)基礎(chǔ)上進(jìn)行了能力擴(kuò)展，以支持更精細(xì)的流量操作。具體來(lái)說(shuō)，可以靈活根據(jù)IP五元組和TCP控制字段等17個(gè)屬性信息牽引流量，同時(shí)還提供靈活的下一跳動(dòng)作，可實(shí)現(xiàn)流量黑洞、限速、重定向下一跳、重定向VPN等。因此，客戶不僅可以從更細(xì)的顆粒度上拆分流量，還可以分方向、分地域的靈活執(zhí)行流量動(dòng)作，從而確保業(yè)務(wù)流量的通行。

3.2 Segment Routing over IPv6

SRv6（基于IPv6的段路由）是新一代IP承載協(xié)議，簡(jiǎn)化并統(tǒng)一了傳統(tǒng)的復(fù)雜網(wǎng)絡(luò)協(xié)議，是5G和云時(shí)代構(gòu)建智能IP網(wǎng)絡(luò)的基礎(chǔ)。

SRv6結(jié)合了Segment Routing的源路由優(yōu)勢(shì)和IPv6的簡(jiǎn)潔易擴(kuò)展特質(zhì)，而且具有多重編程空間，隨著5G和云業(yè)務(wù)的發(fā)展，IPv6擴(kuò)展報(bào)文頭蘊(yùn)藏的創(chuàng)新空間正在快速釋放。在隧道層面，IPv6報(bào)文的擴(kuò)展替代了隧道功能，從而取消了原有的LDP和RSVP-TE等MPLS隧道技術(shù)。SRv6只需要通過(guò)IGP和BGP擴(kuò)展就可以完成Underlay功能和隧道功能，簡(jiǎn)化了信令協(xié)議；在業(yè)務(wù)層面，通過(guò)EVPN整合了原來(lái)網(wǎng)絡(luò)中L2VPN VPWS（基于LDP或MP-BGP）、L2VPN VPLS（基 于LDP或MP-BGP）以及L3VPN（基于MP-BGP）技術(shù)。業(yè)務(wù)層面可以通過(guò)SRv6 SID來(lái)標(biāo)識(shí)各種各樣的業(yè)務(wù)，也降低了技術(shù)復(fù)雜度[8]。

圖2 基于SRv6的Overlay安全專網(wǎng)組網(wǎng)方案

通過(guò)充分探索、利用SRv6技術(shù)，組建Overlay安全專網(wǎng)，構(gòu)建跨城域網(wǎng)、骨干網(wǎng)的SRV6承載通道，實(shí)現(xiàn)端到端的流量調(diào)度和處置能力，進(jìn)一步釋放中國(guó)電信云網(wǎng)協(xié)同的分布式近源網(wǎng)絡(luò)安全能力，提升我國(guó)基礎(chǔ)通信運(yùn)營(yíng)商整體的網(wǎng)絡(luò)安全防護(hù)能力。

此外，在持續(xù)擴(kuò)建城域網(wǎng)/IDC節(jié)點(diǎn)的同時(shí)，城域網(wǎng)、IDC專屬CE與安全能力池合設(shè)，形成安全CE，進(jìn)一步增強(qiáng)端到端的流量調(diào)度監(jiān)控處理能力，全面覆蓋經(jīng)濟(jì)發(fā)達(dá)省份城市，滿足城域網(wǎng)、IDC、天翼云客戶業(yè)務(wù)需求。

4 結(jié)束語(yǔ)

作為最早的國(guó)內(nèi)運(yùn)營(yíng)商級(jí)網(wǎng)絡(luò)安全防護(hù)系統(tǒng)與服務(wù)品牌，本方案成果已成為國(guó)內(nèi)網(wǎng)絡(luò)安全產(chǎn)品與服務(wù)領(lǐng)域的一面旗幟。后續(xù)，將圍繞運(yùn)營(yíng)商的核心網(wǎng)絡(luò)安全能力，運(yùn)用先進(jìn)技術(shù)手段來(lái)持續(xù)進(jìn)行底層資源的聚集和建設(shè)，最終實(shí)現(xiàn)云網(wǎng)邊端安全協(xié)同的一體化立體防護(hù)。