煤礦企業(yè)數(shù)據(jù)中心網(wǎng)絡(luò)安全服務(wù)鏈技術(shù)研究

孫磊， 孫淑昕， 王博文， 任賀賀， 彭輝

（1. 中國礦業(yè)大學(xué) 信息化建設(shè)與管理處，江蘇 徐州 221116；2. 中國礦業(yè)大學(xué) 信息與控制工程學(xué)院，江蘇 徐州 221116；3. 兗州煤業(yè)股份有限公司 濟(jì)南煤炭科技研究院分公司，山東 濟(jì)南 272100；4. 中國銀行股份有限公司徐州分行，江蘇 徐州 221116）

0 引言

第四次工業(yè)革命促使礦業(yè)生產(chǎn)向安全、智能、生態(tài)轉(zhuǎn)型，5G、大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)、遙感探測等新技術(shù)為礦山數(shù)字化、智能化運(yùn)行提供了技術(shù)支撐。王國法等[1]針對我國煤礦智能化發(fā)展現(xiàn)狀，提出了“一朵云＋一張融合網(wǎng)＋三級平臺＋N個(gè)應(yīng)用模塊”的智能化煤礦建設(shè)總體技術(shù)架構(gòu)，通常在大型煤礦集團(tuán)建設(shè)綜合數(shù)據(jù)交互中心，各礦業(yè)公司建設(shè)二級數(shù)據(jù)交互中心，生產(chǎn)煤礦則建設(shè)三級數(shù)據(jù)中心。當(dāng)前煤礦智能化建設(shè)大多關(guān)注智能掘進(jìn)、智能采煤、智能主輔運(yùn)輸、智能通風(fēng)、智能排水與供電、智能安全監(jiān)控等業(yè)務(wù)模塊，對智能化相關(guān)軟件開發(fā)、大數(shù)據(jù)中心建設(shè)、智能化綜合管控平臺建設(shè)等[1]，特別是工業(yè)生產(chǎn)網(wǎng)絡(luò)及數(shù)據(jù)中心的網(wǎng)絡(luò)安全問題重視不夠。

震網(wǎng)病毒能破壞礦業(yè)、化工、發(fā)電等企業(yè)的核心生產(chǎn)控制軟件，通過病毒、分布式拒絕服務(wù)（Distributed Denial of Service，DDOS）方式攻擊服務(wù)器，竊取商業(yè)機(jī)密、生產(chǎn)信息等，對企業(yè)造成網(wǎng)絡(luò)安全事故和經(jīng)濟(jì)損失，如2019年3月，委內(nèi)瑞拉電力系統(tǒng)遭受網(wǎng)絡(luò)攻擊，陷入癱瘓。煤炭產(chǎn)業(yè)作為我國能源安全的關(guān)鍵基礎(chǔ)保障，煤礦企業(yè)能否正常生產(chǎn)運(yùn)行直接關(guān)系到國計(jì)民生，因此保障煤礦企業(yè)數(shù)據(jù)中心的網(wǎng)絡(luò)安全成為當(dāng)前亟需解決的問題。

煤礦企業(yè)數(shù)據(jù)中心網(wǎng)絡(luò)安全設(shè)備目前大多采用串行部署方式，存在單點(diǎn)故障、鏈路瓶頸、運(yùn)維耦合等問題。針對上述問題，本文采用軟件定義網(wǎng)絡(luò)（Software Defined Network，SDN）安全服務(wù)鏈技術(shù)，設(shè)計(jì)了安全設(shè)備并行部署方式，以解決煤礦生產(chǎn)過程中安全設(shè)備單點(diǎn)故障問題，實(shí)現(xiàn)網(wǎng)絡(luò)資源靈活調(diào)度、設(shè)備升級迭代優(yōu)化等。

1 煤礦企業(yè)數(shù)據(jù)中心網(wǎng)絡(luò)安全設(shè)備部署方式

隨著煤礦智能化升級，在云-邊-端協(xié)同體系框架下，各類安全監(jiān)測系統(tǒng)、生產(chǎn)遠(yuǎn)控系統(tǒng)和APP管控平臺等上線，其穩(wěn)定性均依賴于“煤礦大腦”-數(shù)據(jù)中心的穩(wěn)定運(yùn)行和數(shù)據(jù)安全。為防范網(wǎng)絡(luò)攻擊，保證數(shù)據(jù)中心安全，煤礦企業(yè)通常在數(shù)據(jù)中心出口以串行方式部署相關(guān)的網(wǎng)絡(luò)安全設(shè)備，如防火墻（Firewall）、入侵防御系統(tǒng)（Intrusion Prevention System，IPS） 、Web應(yīng)用防護(hù)系統(tǒng)（Web Application Firewall，WAF）等，如圖1所示。

圖1 煤礦企業(yè)數(shù)據(jù)中心網(wǎng)絡(luò)安全設(shè)備串行部署方式Fig. 1 Serial deployment mode of network security equipment of data center in coal mine enterprise

煤礦企業(yè)數(shù)據(jù)中心的安全設(shè)備串行部署方式存在以下問題：① 當(dāng)數(shù)據(jù)中心受到網(wǎng)絡(luò)攻擊或安全設(shè)備發(fā)生單點(diǎn)故障時(shí)，會影響整個(gè)網(wǎng)絡(luò)通信。② 在網(wǎng)絡(luò)運(yùn)行過程中，所有流量需經(jīng)過每臺安全設(shè)備，處理能力不足的設(shè)備會成為整個(gè)鏈路的瓶頸。③ 網(wǎng)絡(luò)設(shè)備之間耦合大，擴(kuò)展設(shè)備或更改服務(wù)時(shí)，需手動調(diào)整網(wǎng)絡(luò)安全設(shè)備的策略，無法進(jìn)行快速服務(wù)調(diào)整，至少需中斷2 h才能排除故障。實(shí)際上，由于煤礦企業(yè)現(xiàn)場信息安全和網(wǎng)絡(luò)安全方面的專業(yè)人員不足，可能需要更長的運(yùn)行恢復(fù)時(shí)間，影響了煤礦正常運(yùn)行。針對上述問題，本文采用SDN安全服務(wù)鏈技術(shù)予以解決。

2 煤礦企業(yè)數(shù)據(jù)中心網(wǎng)絡(luò)安全服務(wù)鏈設(shè)計(jì)

2.1 SDN安全服務(wù)鏈

傳統(tǒng)的安全服務(wù)鏈?zhǔn)侵妇W(wǎng)絡(luò)流量按照業(yè)務(wù)邏輯要求的既定順序經(jīng)過安全設(shè)備的路徑，與網(wǎng)絡(luò)結(jié)構(gòu)緊密耦合，遇到問題很難快速定位。SDN是一種數(shù)據(jù)轉(zhuǎn)發(fā)與控制平面分離、集中控制、開放接口的新型網(wǎng)絡(luò)架構(gòu)，可與網(wǎng)絡(luò)功能虛擬化（Network Function Virtualization，NFV）緊密結(jié)合，實(shí)現(xiàn)網(wǎng)絡(luò)設(shè)備的高效管理和編排。SDN主要特點(diǎn)：① 可編程，為用戶提供全體系的應(yīng)用程序接口（Application Program Interface，API），使用戶在控制器上編程即可實(shí)現(xiàn)對網(wǎng)絡(luò)的配置、控制和管理。② 數(shù)據(jù)轉(zhuǎn)發(fā)與控制平面分離，二者通過OpenFlow協(xié)議接口相互通信。③ 邏輯上集中控制，控制器收集和管理所有網(wǎng)絡(luò)狀態(tài)信息，并根據(jù)業(yè)務(wù)需求進(jìn)行資源全局調(diào)配和優(yōu)化，為網(wǎng)絡(luò)自動化管理提供可能性[2-3]。

SDN安全服務(wù)鏈將SDN和NFV緊密結(jié)合，為安全服務(wù)部署提供了新的模式。NFV將服務(wù)功能從專用硬件設(shè)備中解耦，網(wǎng)絡(luò)服務(wù)由虛擬網(wǎng)絡(luò)功能完成，通過定制所需的服務(wù)鏈，實(shí)現(xiàn)動態(tài)、靈活的安全服務(wù)功能按需組合。根據(jù)安全需求管理和控制安全服務(wù)功能的行為，將服務(wù)功能鏈（Service Function Chaining，SFC）集成到網(wǎng)絡(luò)安全功能接口（Interface to Network Security Functions，I2NSF）架構(gòu)中，指定所需的安全服務(wù)類型組合，最終形成并行結(jié)構(gòu)的SDN安全服務(wù)鏈。

2.2 煤礦企業(yè)數(shù)據(jù)中心SDN安全服務(wù)鏈

采用SDN安全服務(wù)鏈后，煤礦企業(yè)數(shù)據(jù)中心網(wǎng)絡(luò)安全設(shè)備旁路部署在安全服務(wù)鏈上，所有的安全設(shè)備仍是服務(wù)節(jié)點(diǎn)，部署方式由原有的串行結(jié)構(gòu)變成并行結(jié)構(gòu)，如圖2所示。物理拓?fù)渖洗?臺SFC交換機(jī)，其他服務(wù)節(jié)點(diǎn)接入SFC交換機(jī)。SDN 控制器作為集中控制設(shè)備，對所有接入SFC交換機(jī)的設(shè)備及經(jīng)過SFC交換機(jī)的流量進(jìn)行控制，通過配置實(shí)現(xiàn)與拓?fù)錈o關(guān)、靈活的SDN安全服務(wù)鏈。

圖2 煤礦企業(yè)數(shù)據(jù)中心網(wǎng)絡(luò)安全設(shè)備并行部署方式Fig. 2 Parallel deployment mode of network security equipment of data center in coal mine enterprise

在網(wǎng)絡(luò)安全設(shè)備并行部署方式下，SDN安全服務(wù)鏈可根據(jù)安全設(shè)備的健康狀況，靈活地調(diào)整服務(wù)路徑。當(dāng)單個(gè)或多個(gè)安全設(shè)備出現(xiàn)故障或無法正常提供服務(wù)時(shí)，SDN安全服務(wù)鏈自動更新一條無故障設(shè)備作為服務(wù)節(jié)點(diǎn)的新安全服務(wù)路徑，并發(fā)出告警，極大地提高了鏈路的穩(wěn)定性及可靠性。當(dāng)安全設(shè)備需要升級時(shí)，僅需將待升級設(shè)備移出服務(wù)路徑，完成升級后再納入服務(wù)路徑，升級過程中無需改動任何線路。當(dāng)需要增加新的安全設(shè)備時(shí)，只需通過SDN控制器下發(fā)新的服務(wù)鏈策略，即可將新設(shè)備加入網(wǎng)絡(luò)中?？傮w來說，網(wǎng)絡(luò)安全設(shè)備的上下線對用戶來說完全無感知，大大降低了用戶訪問煤礦企業(yè)數(shù)據(jù)中心資源時(shí)出現(xiàn)中斷的概率[4-6]。

3 SDN安全服務(wù)鏈測試

3.1 測試環(huán)境

針對大型煤礦集團(tuán)典型應(yīng)用場景，搭建了數(shù)據(jù)中心SDN安全服務(wù)鏈測試環(huán)境，在企業(yè)園區(qū)數(shù)據(jù)中心出口部署Firewall，WAF等安全設(shè)備，如圖3所示。在不改變數(shù)據(jù)中心和園區(qū)網(wǎng)之間雙鏈路部署方式的情況下，考慮到單臺SFC交換機(jī)可能會引起單點(diǎn)故障等因素，部署2臺SFC交換機(jī)、1臺SDN控制器，其中SDN控制器用于管理、控制SDN安全服務(wù)鏈，F(xiàn)irewall和WAF并行部署在2臺SFC交換機(jī)之間。

圖3 SDN安全服務(wù)鏈測試環(huán)境Fig. 3 Test environment for software defined network（SDN）security service chain

數(shù)據(jù)中心出口的所有流量均經(jīng)過SDN安全服務(wù)鏈進(jìn)行流量調(diào)度，雖然Firewall，WAF分別只有1臺物理設(shè)備，但為了防止發(fā)生各種單點(diǎn)故障，通過SDN安全服務(wù)鏈將Firewall，WAF分別虛擬為2臺物理設(shè)備，實(shí)現(xiàn)SDN安全服務(wù)鏈負(fù)載均衡，保證在任何設(shè)備或端口出現(xiàn)故障時(shí)，園區(qū)網(wǎng)訪問數(shù)據(jù)中心的流量保持暢通[7-9]。

3.2 SDN控制器配置

將2臺SFC交換機(jī)定義為左右安全服務(wù)鏈，左右安全服務(wù)鏈各自通過eth-0-1接口與園區(qū)網(wǎng)核心交換機(jī)連接，通過eth-0-9接口與數(shù)據(jù)中心核心交換機(jī)連接；2臺虛擬Firewall分別定義為FW[1]，F(xiàn)W[2]，其中FW[1]連接左安全服務(wù)鏈的eth-0-3和eth-0-4，F(xiàn)W[2]連接右安全服務(wù)鏈的eth-0-3和eth-0-4；2臺虛擬WAF分別定義為WAF[1]，WAF[2]，其中WAF[1]連接左安全服務(wù)鏈的eth-0-7和eth-0-8，WAF[2]連接右安全服務(wù)鏈的eth-0-7和eth-0-8，如圖4所示。

圖4 SFC交換機(jī)定義及設(shè)備連線Fig. 4 Definition of service function chaining（SFC） switch and equipment connection

在邏輯上建立2條安全服務(wù)鏈策略：① 優(yōu)先級為6（優(yōu)先級越高，則越優(yōu)先）的SFC聚合策略，使流量正常通過FW[1]，F(xiàn)W[2]，WAF[1]，WAF[2]。② 優(yōu)先級為1的SFC-1NO，SFC-2NO逃生策略，當(dāng)FW[1]，F(xiàn)W[2]，WAF[1]，WAF[2]同時(shí)出現(xiàn)問題時(shí)，停用SFC聚合策略，啟用逃生策略（所有進(jìn)出數(shù)據(jù)中心的流量不再經(jīng)過安全設(shè)備，直接通過左右安全服務(wù)鏈的eth-0-1，eth-0-9轉(zhuǎn)發(fā)）。

安全設(shè)備健康檢測配置如圖5所示。SFC交換機(jī)通過互聯(lián)端口每2 s向FW[1]，F(xiàn)W[2]，WAF[1]，WAF[2]發(fā)送健康檢測報(bào)文，對其進(jìn)行狀態(tài)檢測，如連續(xù)發(fā)送5次未獲得某安全設(shè)備的回復(fù)報(bào)文，則判定該安全設(shè)備故障、端口故障或線路故障，直接跳過該安全設(shè)備，流量從正?；貜?fù)健康檢測報(bào)文的安全設(shè)備轉(zhuǎn)發(fā)[10-12]。

圖5 安全設(shè)備健康檢測配置Fig. 5 Health inspection disposition of safety equipment

3.3 安全服務(wù)鏈策略測試

園區(qū)網(wǎng)核心交換機(jī)去往數(shù)據(jù)中心的流量隨機(jī)到達(dá)左右安全服務(wù)鏈，SFC聚合策略下測試流量走向，結(jié)果如圖6所示。以左安全服務(wù)鏈為例，其先通過eth-0-3接口將流量送至FW[1]的1號接口，經(jīng)FW[1]檢測后，通過FW[1]的2號接口送至左安全服務(wù)鏈的eth-0-4接口；左安全服務(wù)鏈再通過eth-0-7接口將流量送至WAF[1]的1號接口，經(jīng)WAF[1]檢測后，通過WAF[1]的2號接口送至左安全服務(wù)鏈的eth-0-8接口；左安全服務(wù)鏈最終通過eth-0-9接口把流量送至數(shù)據(jù)中心核心交換機(jī)。右安全服務(wù)鏈流量走向與此類似。

圖6 SFC聚合策略測試結(jié)果Fig. 6 Test results of SFC polymerization strategy

當(dāng)SFC聚合策略停用時(shí)，自動切換至逃生策略。逃生策略測試結(jié)果如圖7所示。此時(shí)流量不再經(jīng)過FW[1]，F(xiàn)W[2]，WAF[1]，WAF[2]，直接經(jīng)2臺SFC交換機(jī)轉(zhuǎn)發(fā)去數(shù)據(jù)中心。同時(shí)，去往數(shù)據(jù)中心的測試ping包無丟包現(xiàn)象，實(shí)現(xiàn)了用戶無感知切換。

圖7 逃生策略測試結(jié)果Fig. 7 Test results of aggregation strategy

當(dāng)SFC聚合策略再次被人工啟用后，安全服務(wù)鏈策略自動切換至SFC聚合策略，該過程中測試無丟包，流量恢復(fù)從FW[1]，F(xiàn)W[2]，WAF[1]，WAF[2]轉(zhuǎn)發(fā)。

3.4 安全設(shè)備異常測試

為驗(yàn)證SDN安全服務(wù)鏈極限異常處理能力，人工關(guān)閉左安全服務(wù)鏈的eth-0-3接口來模擬FW[1]異常，人工關(guān)閉右安全服務(wù)鏈的eth-0-7接口來模擬WAF[2]異常，如圖8所示。

圖8 FW[1]，WAF[2]異常模擬Fig. 8 Simulated FW[1], WAF[2] abnormalities

FW[1]異常時(shí)左安全服務(wù)鏈流量處理過程（①-⑨）如圖9所示?？煽闯鰪膱@區(qū)網(wǎng)核心交換機(jī)到達(dá)左安全服務(wù)鏈的流量先通過左安全服務(wù)鏈eth-0-23接口的生命線到達(dá)右安全服務(wù)鏈的FW[2]進(jìn)行分析處理，之后由右安全服務(wù)鏈通過eth-0-23接口的生命線返回左安全服務(wù)鏈的WAF[1]進(jìn)行分析處理，最后轉(zhuǎn)發(fā)至數(shù)據(jù)中心。

圖9 FW[1]異常時(shí)左安全服務(wù)鏈流量處理過程Fig. 9 Traffic processing process of left security service chain when FW[1] is abnormal

WAF[2]異常時(shí)右安全服務(wù)鏈流量處理過程（①-⑧）如圖10所示?？煽闯鰪膱@區(qū)網(wǎng)核心交換機(jī)到達(dá)右安全服務(wù)鏈的流量先由右安全服務(wù)鏈正常轉(zhuǎn)發(fā)到FW[2]進(jìn)行分析處理；因右安全服務(wù)鏈上的WAF[2]異常，流量經(jīng)FW[2]處理后，通過右安全服務(wù)鏈eth-0-23接口的生命線到達(dá)左安全服務(wù)鏈上的WAF[1]進(jìn)行分析處理；之后通過左安全服務(wù)鏈的生命線返回右安全服務(wù)鏈，最后轉(zhuǎn)發(fā)至數(shù)據(jù)中心。

圖10 WAF[2]異常時(shí)右安全服務(wù)鏈流量處理過程Fig. 10 Traffic processing process of right security service chain when WAF[2] is abnormal

因FW[1]，WAF[2]異常，園區(qū)網(wǎng)去往數(shù)據(jù)中心的流量只經(jīng)過FW[2]，WAF[1]，如圖11所示。在整個(gè)測試過程中，F(xiàn)W[2]，WAF[1]轉(zhuǎn)發(fā)流量時(shí)無丟包，這對用戶體驗(yàn)來講，實(shí)現(xiàn)了無感知切換。

圖11 FW[1]，WAF[2]異常時(shí)FW[2]，WAF[1]轉(zhuǎn)發(fā)流量情況Fig. 11 Forwarding traffic by FW[2] and WAF[1] when FW[1]and WAF[2] are abnormal

4 結(jié)論

（1） 針對煤礦企業(yè)數(shù)據(jù)中心網(wǎng)絡(luò)安全運(yùn)行維護(hù)方面的實(shí)際問題，采用SDN安全服務(wù)鏈技術(shù)，將生產(chǎn)網(wǎng)絡(luò)和數(shù)據(jù)中心之間的安全設(shè)備部署方式由串行轉(zhuǎn)變?yōu)椴⑿?，由SFC交換機(jī)定期向安全設(shè)備發(fā)送檢測報(bào)文，探測安全設(shè)備健康狀況，根據(jù)配置自動跳過故障服務(wù)，在保障業(yè)務(wù)正常運(yùn)行的同時(shí)發(fā)出告警信息，避免單點(diǎn)故障帶來的問題，實(shí)現(xiàn)安全設(shè)備無感知上下線。

（2） 通過場景平臺運(yùn)行測試，驗(yàn)證了煤礦企業(yè)數(shù)據(jù)中心網(wǎng)絡(luò)安全服務(wù)鏈技術(shù)支持可視化靈活調(diào)度安全服務(wù)資源，可按需啟用/停用服務(wù)鏈上安全服務(wù)或配置不同優(yōu)先級的服務(wù)鏈，為煤礦企業(yè)數(shù)據(jù)中心安全防護(hù)提供可靠保障。

（3） 隨著煤礦企業(yè)數(shù)據(jù)中心規(guī)?；ㄔO(shè)推進(jìn)和各類APP應(yīng)用上線，煤礦生產(chǎn)、管控各環(huán)節(jié)的智能化系統(tǒng)和應(yīng)用將面臨更多的網(wǎng)絡(luò)威脅和攻擊。因此，煤礦企業(yè)應(yīng)加大網(wǎng)絡(luò)安全設(shè)備投入和人員技能培訓(xùn)，以保障煤礦生產(chǎn)網(wǎng)絡(luò)安全。