山西電力骨干數(shù)據(jù)通信網(wǎng)優(yōu)化方案研究

段 敬，張淑娟

（山西省電力公司電力通信中心，江西 南昌 330200）

0 引言

2009年國家電網(wǎng)公司提出了建設(shè)堅強智能電網(wǎng)的目標(biāo)，可以預(yù)見，電力信息化將會飛速發(fā)展，山西電力數(shù)據(jù)通信網(wǎng)承載業(yè)務(wù)種類和數(shù)據(jù)量將會不斷增加，業(yè)務(wù)數(shù)據(jù)敏感性、安全性也會不斷提高，這就對網(wǎng)絡(luò)提出了更高的要求。為了適應(yīng)發(fā)展的要求，針對山西電力數(shù)據(jù)通信網(wǎng)的實際情況，提出了相應(yīng)的優(yōu)化建議。

1 網(wǎng)絡(luò)拓?fù)浼熬W(wǎng)絡(luò)帶寬優(yōu)化

針對山西電力數(shù)據(jù)通信網(wǎng)核心層網(wǎng)絡(luò)拓?fù)浜凸歉蓪泳W(wǎng)絡(luò)拓?fù)湟约熬W(wǎng)絡(luò)帶寬進行了分析，并提出了優(yōu)化建議。

1.1 核心層網(wǎng)絡(luò)拓?fù)鋬?yōu)化

1.1.1 優(yōu)化前核心層網(wǎng)絡(luò)拓?fù)?/p>

山西電力數(shù)據(jù)通信網(wǎng)優(yōu)化前核心層拓?fù)湟妶D1。

1.1.2 核心層網(wǎng)絡(luò)拓?fù)浞治?/p>

目前，山西電力數(shù)據(jù)通信網(wǎng)核心層由2臺思科12016和1臺思科7609路由器組成，其中2臺12016路由器既作為整個數(shù)據(jù)通信網(wǎng)核心路由器PR（Provider Router），又做為供應(yīng)商邊緣路由器PE（Provider Edge Router）用于省調(diào)信息網(wǎng)業(yè)務(wù)接入。2臺12016路由器做為PE路由器有如下問題。

圖1 優(yōu)化前核心層網(wǎng)絡(luò)拓?fù)?/p>

a）12016路由器既做為整個數(shù)據(jù)通信網(wǎng)的核心路由器又做業(yè)務(wù)接入路由器，運行壓力大，數(shù)據(jù)轉(zhuǎn)發(fā)效率低。

b）12016路由器是山西電力數(shù)據(jù)通信網(wǎng)全省骨干路由器的第一匯聚點，如果其同時作為PE路由器，配置的頻率增高，如果配置出現(xiàn)問題，會影響數(shù)據(jù)通信網(wǎng)的穩(wěn)定。

c）12016路由器板卡集成度低且都是廣域網(wǎng)接口，如果用于本地業(yè)務(wù)接入，成本高。

1.1.3 核心層網(wǎng)絡(luò)拓?fù)鋬?yōu)化建議

a）目前，山西省電力公司有1臺冷備份思科7609路由器，建議將省公司端冷備份7609路由器和目前在用的7609路由器作為省公司端的PE路由器，互為冗余。

b）將2臺12016路由器所接的數(shù)據(jù)通信網(wǎng)業(yè)務(wù)平移至2臺7609路由器上，將2臺12016做為P路由器。

c）省調(diào)7609路由器與省調(diào)12016路由器成口字型結(jié)構(gòu)，兩兩之間采用端口綁定（Port-channel）技術(shù)綁定兩條線芯千兆以太網(wǎng)GE（Gigabit Ethernet）通道，提高鏈路冗余性。

d）將省調(diào)互為冗余的2臺7609路由器和2臺12016路由器分別部署至不同樓層的機房，提高設(shè)備的冗余性。

1.1.4 優(yōu)化后核心層網(wǎng)絡(luò)拓?fù)?/p>

山西電力數(shù)據(jù)通信網(wǎng)優(yōu)化后核心層拓?fù)湟妶D2。

圖2 優(yōu)化后核心層網(wǎng)絡(luò)拓?fù)?/p>

1.1.5 優(yōu)化后的優(yōu)勢

a）優(yōu)化后省調(diào)2臺12016路由器做為P路由器，2臺7609路由器做為省調(diào)PE路由器，層次清晰、分工明確、便于管理，加快了核心12016路由器的轉(zhuǎn)發(fā)效率。因為P路由器是不需要進行IP路由轉(zhuǎn)發(fā)的，它只需要根據(jù)邊界網(wǎng)關(guān)協(xié)議BGP（Border Gateway Protocol）路由的下一跳進行標(biāo)簽轉(zhuǎn)發(fā)。

b）優(yōu)化后省調(diào)2臺12016路由器和2臺7609路由器之間的鏈路冗余性和設(shè)備冗余性都有很大的提高。

1.2 骨干層網(wǎng)絡(luò)拓?fù)浼熬W(wǎng)絡(luò)帶寬優(yōu)化

1.2.1 優(yōu)化前骨干層網(wǎng)絡(luò)拓?fù)?/p>

優(yōu)化前骨干層網(wǎng)絡(luò)拓?fù)湟妶D3。

1.2.2 骨干層網(wǎng)絡(luò)拓?fù)浼熬W(wǎng)絡(luò)帶寬分析

數(shù)據(jù)通信網(wǎng)的骨干路由器7609匯聚至核心層時，除了太原地區(qū)2臺7609路由器與省公司端核心層12016路由器組成口字形環(huán)網(wǎng)，其余地區(qū)都是兩兩串聯(lián)與省公司端核心層2臺12016路由器組成環(huán)網(wǎng)。

圖3 優(yōu)化前骨干層網(wǎng)絡(luò)拓?fù)?/p>

這種連接拓?fù)涞膬?yōu)勢是以最小的鏈路資源，將骨干層7609匯聚至核心層12016，并實現(xiàn)了鏈路冗余。但是從網(wǎng)絡(luò)發(fā)展的長遠(yuǎn)角度看，環(huán)形雙歸結(jié)構(gòu)有如下不足。

a）地區(qū)2臺7609無法做到流量負(fù)載均衡。根據(jù)OSPF路由算法，每個地區(qū)的所有網(wǎng)絡(luò)流量都只會通過7609-1與核心12016互聯(lián)的155 M通道上下行。地區(qū)間互聯(lián)的155 M通道不會有任何流量，除非7609-1與核心12016的155 M通道出現(xiàn)問題。也就是說每個地區(qū)的實際上聯(lián)帶寬是155 M，地區(qū)之間的155 M鏈路沒有被充分利用，7609-2的性能也沒有被充分發(fā)揮，轉(zhuǎn)發(fā)效率降低一半。

b）大大增加了在骨干層7609路由器上作服務(wù)質(zhì)量保證QoS（Quality of Service） 的難度。隨著山西電力信息化建設(shè)步伐不斷加快，數(shù)據(jù)網(wǎng)不再只是承載數(shù)據(jù)業(yè)務(wù)，也需要為實時性要求高的業(yè)務(wù)（如網(wǎng)真、NGN）提供高質(zhì)量的服務(wù)保障，只有這樣在網(wǎng)絡(luò)出現(xiàn)擁塞、鏈路異常等情況時仍能保證這類實時性業(yè)務(wù)的服務(wù)質(zhì)量。在環(huán)形雙歸結(jié)構(gòu)中部署QoS面臨兩個問題：首先QoS配置涉及環(huán)網(wǎng)上兩個地區(qū)的流量，需要在兩個地區(qū)的設(shè)備上相互做配置，配置相當(dāng)復(fù)雜；第二，如果在一個地區(qū)做QoS配置時，一旦出現(xiàn)問題會同時影響環(huán)網(wǎng)上兩個地區(qū)的業(yè)務(wù)。

c）隨著國家電網(wǎng)公司建設(shè)堅強智能電網(wǎng)目標(biāo)的提出，可以預(yù)見，山西電力數(shù)據(jù)通信網(wǎng)承載的數(shù)據(jù)流量將會快速增長，為了適應(yīng)發(fā)展的需求山西電力數(shù)據(jù)通信網(wǎng)需要進行帶寬擴容。

1.2.3 骨干層網(wǎng)絡(luò)拓?fù)鋬?yōu)化建議

a）利用已建成的密集波分系統(tǒng)DWDM（Dense Wavelength Division Multiplexing） 為每個地區(qū)至省公司提供兩條GE鏈路替換現(xiàn)有的155 M鏈路，用于地區(qū)的2臺7609骨干路由器和省公司兩臺12016核心路由器互聯(lián)；同時，將原骨干網(wǎng)中除太原地區(qū)外其他地區(qū)的環(huán)形雙歸結(jié)構(gòu)改為雙歸口型結(jié)構(gòu)。

b）2010年山西省電力公司在長治建立備用調(diào)度中心做為第二信息匯聚點，為了加強數(shù)據(jù)通信網(wǎng)的通道冗余性，利用原有的2.5 G傳輸網(wǎng)為每個地區(qū)骨干路由器至長治備調(diào)核心路由器提供155 M通道，作為備份電路。

c）分別用DWDM傳輸網(wǎng)和同步數(shù)字體系SDH（Synchronous Digital Hierarchy） 為長治備調(diào)至省公司2臺核心路由器提供622 M通道，保證通道的冗余性。

1.2.4 優(yōu)化后骨干層網(wǎng)絡(luò)拓?fù)?/p>

優(yōu)化后骨干層網(wǎng)絡(luò)拓?fù)湟妶D4。

圖4 優(yōu)化后骨干層網(wǎng)絡(luò)拓?fù)?/p>

1.2.5 優(yōu)化后的優(yōu)勢

a）優(yōu)化后各地調(diào)2臺骨干路由器與省調(diào)2臺核心路由器單獨成環(huán)，結(jié)構(gòu)簡潔，各地調(diào)上下行流量可以充分利用兩條GE通道的帶寬做到流量負(fù)載均衡且地調(diào)間流量不會相互影響，便于部署QoS。

b）增加備調(diào)作為全省第二匯聚點，大大增加了網(wǎng)絡(luò)的冗余性。省調(diào)各系統(tǒng)將在備調(diào)建設(shè)災(zāi)備中心，當(dāng)省調(diào)不能正常運轉(zhuǎn)時，數(shù)據(jù)通信網(wǎng)路由可瞬間切換至備調(diào)核心路由器，不影響地調(diào)與備調(diào)以及地調(diào)間的通信。

c）優(yōu)化后省到地主用通道帶寬由155 M升級為2 G，備用通道帶寬由2 M升級為155 M，為今后智能電網(wǎng)建設(shè)打下了良好的網(wǎng)絡(luò)承載平臺。

2 網(wǎng)絡(luò)路由優(yōu)化

2.1 骨干網(wǎng)絡(luò)BGP路由分析

山西電力骨干數(shù)據(jù)通信網(wǎng)BGP路由設(shè)計為2臺核心12016路由器作為各地調(diào)骨干7609路由器的路由反射器RR（Route Reflector）。全省變電站、電廠路由器與地調(diào)骨干7609路由器建立內(nèi)部邊界網(wǎng)關(guān)路由協(xié)議IBGP（Internal Border GatewayProtocol）會話。

這種設(shè)計是一種非標(biāo)設(shè)計，因為IBGP具有一種水平分割的防環(huán)機制，即從一個IBGP鄰居學(xué)來的路由，默認(rèn)情況下不能轉(zhuǎn)發(fā)給另外一個IBGP鄰居。這種機制在本網(wǎng)中體現(xiàn)為地調(diào)7609路由器不會將從省核心12016路由器學(xué)習(xí)到的路由轉(zhuǎn)發(fā)給地區(qū)變電站路由器，同理也不會將從地區(qū)變電站路由器學(xué)到的路由轉(zhuǎn)發(fā)給省核心12016路由器。造成了省核心路由器與變電站路由器路由轉(zhuǎn)發(fā)的斷裂。目前在骨干數(shù)據(jù)通信網(wǎng)中為了使省核心12016路由器和變電站路由器路由互通，在地調(diào)骨干7609路由器上，每個業(yè)務(wù)分別指兩條靜態(tài)匯總路由到null 0，并將靜態(tài)路由重分布進IBGP分別送給核心12016路由器和變電站路由器。核心12016路由器和變電站路由器靠靜態(tài)路由達到互通的目的。這樣做的缺點是每增加一個虛擬專用網(wǎng)業(yè)務(wù)VPN（Virtual Private Network），地調(diào)骨干7609路由器上就必須多指兩條靜態(tài)路由，一方面增加了配置量，另一方面降低了省骨干網(wǎng)的可管理性，更重要的是造成了標(biāo)簽轉(zhuǎn)發(fā)路徑LSP（Label Switch Path） 的斷裂。

為了解釋LSP斷裂問題，以太原地區(qū)為例說明，見圖5、表1。

圖5 標(biāo)簽轉(zhuǎn)發(fā)路徑示意圖

表1 假設(shè)圖5中設(shè)備地址分配

在理想情況下，省調(diào)7609和變電站路由器通過IBGP路由協(xié)議能夠?qū)W習(xí)到對方的明細(xì)路由。當(dāng)省調(diào)7609-1向變電站遞送VPN A的數(shù)據(jù)包時，數(shù)據(jù)包會被壓入兩層標(biāo)簽，底層標(biāo)簽是變電站路由器為VPN A業(yè)務(wù)路由10.1.1.0/29分配的標(biāo)簽，頂層標(biāo)簽是省調(diào)7609-1的真實下一條省調(diào)12016-1為變電站路由器環(huán)回口1.1.3.1分配的標(biāo)簽。當(dāng)路由傳遞到省調(diào)12016路由器后，頂層標(biāo)簽會被交換為BGP的下一條地調(diào)7609-1為變電站路由器環(huán)回口1.1.3.1分配的標(biāo)簽，繼續(xù)傳遞。當(dāng)數(shù)據(jù)包遞送到地調(diào)7609-1，會彈出頂層標(biāo)簽，將數(shù)據(jù)包繼續(xù)遞送到變電站路由器，數(shù)據(jù)包到達變電站路由器后會彈出底層標(biāo)簽，進行IP路由查找，進而遞送到VPN A業(yè)務(wù)交換機3。這是一條完整的標(biāo)簽轉(zhuǎn)發(fā)路徑，見圖5，LSP1。

目前，骨干數(shù)據(jù)通信網(wǎng)的實際情況是由于IBGP RR設(shè)計問題，省調(diào)7609-1和變電站路由器互相學(xué)不到對方的明細(xì)業(yè)務(wù)路由。之所以業(yè)務(wù)能夠被正常路由，是因為在地調(diào)7609上指了兩條靜態(tài)路由，并將靜態(tài)路由重分布進BGP中，以圖5中VPN A業(yè)務(wù)為例兩條路由分別為

ip route vrfMIS10.0.0.0 255.0.0.0 null 0

ip route vrfMIS10.1.1.0 255.255.255.248 null 0

省調(diào)7609-1學(xué)到去往變電站VPN A交換機3的路由是靜態(tài)路由10.1.1.0/29 null 0，下一跳是地調(diào)7609。變電站學(xué)到去往VPN A交換機1的路由是靜態(tài)路由10.0.0.0/8 null 0，下一跳也是地調(diào)7609。當(dāng)省調(diào)7609向A站遞送VPN A業(yè)務(wù)數(shù)據(jù)包時，只會壓入一層標(biāo)簽即地調(diào)7609為10.1.1.0 255.255.255.248 null 0這條靜態(tài)路由分配的標(biāo)簽，當(dāng)數(shù)據(jù)包到達地調(diào)7609后，標(biāo)簽會提前彈出并進行IP路由查找。由于地調(diào)7609和變電站路由器相互能學(xué)習(xí)到對方的明細(xì)業(yè)務(wù)路由，地調(diào)7609經(jīng)過IP路由查找后，可知去往10.1.1.0/29的下一條是變電站路由器，數(shù)據(jù)包會再次被壓入一層標(biāo)簽，即變電站路由器為業(yè)務(wù)路由10.1.1.0/29分配的標(biāo)簽。數(shù)據(jù)包遞送到變電站路由器后，彈出標(biāo)簽進行IP路由查找，進而將數(shù)據(jù)包遞送到VPNA業(yè)務(wù)交換機3上。

通過以上分析可以看出，一條完整的標(biāo)簽轉(zhuǎn)發(fā)路徑被斷裂成兩條路徑，如圖5，LSP2、LSP3。造成的后果是業(yè)務(wù)數(shù)據(jù)包從省調(diào)遞送至變電站需多增加一次路由查找、多增加一次標(biāo)簽壓入，大大降低了轉(zhuǎn)發(fā)效率。

2.2 網(wǎng)絡(luò)路由優(yōu)化建議

將每個地調(diào)的2臺7609路由器做為二級RR。

2.3 優(yōu)化后的優(yōu)勢

優(yōu)化后IBGP承載的業(yè)務(wù)路由全網(wǎng)互通，不必在每個地調(diào)的7609上指靜態(tài)匯總路由，以達到業(yè)務(wù)路由互通的目的。業(yè)務(wù)路由轉(zhuǎn)發(fā)過程中標(biāo)簽轉(zhuǎn)發(fā)路徑完整，轉(zhuǎn)發(fā)效率高，真正體現(xiàn)了多協(xié)議標(biāo)簽交換MPLS（Multiple Protocol Label Switch） 技術(shù)的優(yōu)勢。網(wǎng)絡(luò)更加規(guī)范，便于管理。

3 網(wǎng)絡(luò)安全優(yōu)化

目前，山西電力數(shù)據(jù)通信網(wǎng)在廣域網(wǎng)層面缺乏有效的安全監(jiān)控手段，而所承載業(yè)務(wù)的信息量不斷增加，數(shù)據(jù)敏感性不斷提高，網(wǎng)絡(luò)安全顯得越來越重要，需要加強廣域網(wǎng)安全建設(shè)。

3.1 網(wǎng)絡(luò)安全問題分析

據(jù)統(tǒng)計，絕大部分網(wǎng)絡(luò)攻擊來自于網(wǎng)絡(luò)內(nèi)部，攻擊者通常是通過探測攻擊發(fā)現(xiàn)網(wǎng)絡(luò)中的漏洞進而進行進一步攻擊。探測攻擊的攻擊手段有：抓包、端口掃描、Ping掃描等。另一種常見的攻擊方式是訪問攻擊，攻擊者通過攻擊獲得網(wǎng)絡(luò)系統(tǒng)的操作權(quán)限，進入網(wǎng)絡(luò)后可以對數(shù)據(jù)或配置任意修改，一旦攻擊者得逞后果不堪設(shè)想。

3.2 網(wǎng)絡(luò)安全優(yōu)化建議

a）在網(wǎng)絡(luò)中部署入侵檢測系統(tǒng)IDS(Intrusion Detection System)，用于檢測端口掃描、Ping掃描等攻擊手段。

b）在省調(diào)增加1臺動態(tài)密碼服務(wù)器，配合原有訪問控制系統(tǒng)ACS（Access Control System） 進行身份認(rèn)證。

c）禁止在數(shù)據(jù)通信網(wǎng)中使用Telnet協(xié)議，利用SSH等密文協(xié)議進行登錄。

3.3 優(yōu)化后的優(yōu)勢

a）部署IDS后，可以對數(shù)據(jù)通信網(wǎng)中的端口掃描、Ping掃描等探測攻擊進行監(jiān)控，能夠及時發(fā)現(xiàn)一些內(nèi)網(wǎng)的網(wǎng)絡(luò)病毒、系統(tǒng)漏洞、異常攻擊等高風(fēng)險事件并進行有效預(yù)防和處置。

b）在網(wǎng)絡(luò)中部署動態(tài)密碼服務(wù)器后，每個網(wǎng)管人員同時會配備一個口令卡，口令卡的密碼與密碼服務(wù)器中RSA加密算法同步，每隔兩分鐘變換一次。網(wǎng)管人員登錄數(shù)據(jù)通信網(wǎng)中任何一臺路由器進行操作時，會被要求輸入ACS靜態(tài)認(rèn)證用戶名和密碼以及口令卡密碼，如果多次輸入錯誤，改口令卡會被鎖定，提高了身份認(rèn)證的安全性。

c）Telnet是明文協(xié)議，如果在網(wǎng)絡(luò)中使用Telnet協(xié)議，那么攻擊者可以利用抓包工具抓獲用戶名和密碼，使用SSH等密文登錄協(xié)議配合動態(tài)密碼訪問控制系統(tǒng)可以很好地抵御訪問攻擊，防止攻擊者或非授權(quán)人員對網(wǎng)絡(luò)數(shù)據(jù)進行篡改。

4 結(jié)束語

山西電力骨干數(shù)據(jù)通信網(wǎng)經(jīng)過優(yōu)化后，網(wǎng)絡(luò)拓?fù)浜啙崱⒑侠?，骨干層網(wǎng)絡(luò)帶寬擴展了13倍，網(wǎng)絡(luò)路由更加規(guī)范，便于維護與管理，網(wǎng)絡(luò)安全防護能力大大提高。為省公司的生產(chǎn)、經(jīng)營、管理及信息化和智能電網(wǎng)建設(shè)搭建了堅強的網(wǎng)絡(luò)承載平臺。

［1］ Randy Zhang Micah Bartell.BGP設(shè)計與實現(xiàn)［M］.人民郵電出版社，2008：196-205.

［2］ Luc De Ghein.MPLS技術(shù)架構(gòu)［M］.人民郵電出版社，2008：151-152.