合寧客專電力遠(yuǎn)動網(wǎng)絡(luò)中斷分析

沈先義

合寧客專電力遠(yuǎn)動網(wǎng)絡(luò)中斷分析

沈先義

摘 要：合寧客專電力遠(yuǎn)動系統(tǒng)自開通以來，經(jīng)常出現(xiàn)網(wǎng)絡(luò)中斷，主控站無法與各被控站聯(lián)系，為此利用網(wǎng)絡(luò)監(jiān)控工具分析故障產(chǎn)生原因，并協(xié)調(diào)電力遠(yuǎn)動系統(tǒng)RTU廠商解決設(shè)備缺陷，解決了電力遠(yuǎn)動系統(tǒng)的隱患。

關(guān)鍵詞：電力遠(yuǎn)動系統(tǒng);通信;網(wǎng)絡(luò)

合寧客運(yùn)專線自2008年4月18日正式開通以來，每年都有幾次電力遠(yuǎn)動網(wǎng)絡(luò)中斷的故障。原合寧公司也曾組織集成商及相關(guān)廠商進(jìn)行故障查找和定位，一直沒有找出故障原因，每次網(wǎng)絡(luò)中斷只得重啟各匯聚交換機(jī)。為此利用網(wǎng)管網(wǎng)絡(luò)監(jiān)控工具對沿線匯聚交換機(jī)及各箱變RTU地址進(jìn)行監(jiān)控，研究端口流量、帶寬占用率等指標(biāo)，試圖找到中斷的原因。

圖1 合寧電力遠(yuǎn)動網(wǎng)絡(luò)結(jié)構(gòu)示意圖

1 網(wǎng)絡(luò)結(jié)構(gòu)

合寧客運(yùn)專線電力遠(yuǎn)動系統(tǒng)，在上海鐵路局調(diào)度所電調(diào)樓內(nèi)設(shè)置主控站，通過1個2 Mb/s通道接南京通信樓S3100匯聚交換機(jī)，南京匯聚交換機(jī)通過傳輸FE端口 (2 Mb/s)接合寧線4個車站的S3100匯聚交換機(jī)，通過網(wǎng)線或傳輸FE端口(2 Mb/s)接入沿線各個車站、中繼站、基站的電力箱房或箱變RTU設(shè)備。圖1為合寧電力遠(yuǎn)動網(wǎng)絡(luò)結(jié)構(gòu)示意圖，省略了連接各交換機(jī)之間的傳輸電路和各交換機(jī)端口下聯(lián)的業(yè)務(wù)端口。

為監(jiān)控合寧電力遠(yuǎn)動網(wǎng)絡(luò)，也為障礙定位查找提供手段，2011年11月，上海通信段合肥高鐵通信車間從三十里鋪站電力遠(yuǎn)動匯聚交換機(jī)開通了一條監(jiān)控通道，在合肥高鐵通信車間內(nèi)接入一臺PC終端，將PC終端地址配置在合寧電力遠(yuǎn)動IP地址段，確保PC監(jiān)控終端與上海主控站及被控站正常通信，同時在網(wǎng)管監(jiān)控終端上安裝SolarWinds公司的SolarWinds Engineers Edition軟件。

三十里鋪站電力遠(yuǎn)動匯聚交換機(jī)的端口1上聯(lián)南京匯聚交換機(jī)，端口2接羅崗站箱變RTU，端口3接肥東站箱變RTU，端口4接三十里鋪1基站箱變RTU，端口5通過網(wǎng)線接入三十里鋪站箱變RTU，端口23接電力監(jiān)控PC終端，各端口業(yè)務(wù)運(yùn)用情況見圖2。

2 流量監(jiān)控

利用網(wǎng)管網(wǎng)絡(luò)監(jiān)控 (Network Monitor)工具對合寧電力遠(yuǎn)動5臺匯聚交換機(jī)及合寧客專沿線各箱變RTU地址監(jiān)控，監(jiān)測各箱變綜自設(shè)備地址的通暢及時延、丟包率等指標(biāo);利用Network Performance Monitor工具監(jiān)測合寧線電力遠(yuǎn)動各匯聚交換機(jī)端口流量、帶寬占用率等指標(biāo)。

網(wǎng)絡(luò)正常時，電力監(jiān)控PC上各監(jiān)測IP地址通暢，各交換機(jī)業(yè)務(wù)端口流量平穩(wěn)，流量均為0.5～2 kb/s，上海調(diào)度所電調(diào)主控站顯示正常。

圖2 三十里鋪站電力遠(yuǎn)動匯聚交換機(jī)各端口業(yè)務(wù)運(yùn)用情況

2012年3月12日至18日合寧線電力遠(yuǎn)動出現(xiàn)全網(wǎng)阻塞障礙時，端口流量監(jiān)測工具可以看出，南京匯聚交換機(jī)及其他4個匯聚交換機(jī)下各個業(yè)務(wù)端口均出現(xiàn)了異常流量，超出了正常流量的數(shù)倍。選取三十里鋪匯聚交換機(jī)上聯(lián)南京的端口1為例，見圖3，正常情況下收發(fā)流量均在幾百kb/s并且較穩(wěn)定，收發(fā)流量出現(xiàn)5次峰值，這對于傳輸帶寬2 Mb/s的通道必然會出現(xiàn)阻塞，且與全網(wǎng)阻斷時間一致，電力監(jiān)控PC終端監(jiān)控的箱變RTU地址也全部中斷。

圖3 三十里鋪匯聚交換機(jī)上聯(lián)南京的端口1業(yè)務(wù)端口流量

3 故障分析

利用抓包軟件進(jìn)行分析，初步判斷為某一箱變RTU設(shè)備地址中斷后，上海調(diào)度所電調(diào)樓內(nèi)的2臺通信前置機(jī)X.X.X.10或X.X.X.20頻繁向網(wǎng)絡(luò)中廣播此地址，是造成異常流量的主要原因。為判斷故障原因是否成立，通過模擬來再現(xiàn)故障。

2012年4月1日10：20，在電力監(jiān)控PC終端遠(yuǎn)程登錄全椒匯聚交換機(jī)，關(guān)閉全椒匯聚交換機(jī)上聯(lián)南京交換機(jī)端口;10：27電力監(jiān)控PC上監(jiān)測箱變RTU設(shè)備地址丟包嚴(yán)重，基本處于不通;10：50將全椒匯聚交換機(jī)上行端口打開，10：55監(jiān)控網(wǎng)管上測試地址基本恢復(fù)通暢;12：20在電力監(jiān)控PC終端，遠(yuǎn)程登錄三十里鋪匯聚交換機(jī)，關(guān)閉匯聚交換機(jī)接箱變RTU端口;12：23電力監(jiān)控PC上監(jiān)測箱變RTU設(shè)備地址丟包嚴(yán)重，基本處于不通;12：30將匯聚交換機(jī)關(guān)閉的端口打開，很快監(jiān)控網(wǎng)管上箱變地址基本恢復(fù)通暢。故障模擬時間段內(nèi)，監(jiān)測三十里鋪電力遠(yuǎn)動匯聚交換機(jī)各業(yè)務(wù)端口流量均出現(xiàn)異常，流量峰值約1 Mb/s，與3月12日至18日出現(xiàn)全網(wǎng)阻斷時一致。

從端口流量采集圖可以看出，當(dāng)關(guān)閉全椒匯聚交換機(jī)上行端口，相當(dāng)于全椒下掛的箱變地址全部不通，異常流量產(chǎn)生，在三十里鋪匯聚交換機(jī)下每個業(yè)務(wù)端口都有異常流量;當(dāng)關(guān)閉三十里鋪車站箱變RTU端口時，三十里鋪匯聚交換機(jī)除三十里鋪站端口無異常流量，其余業(yè)務(wù)端口均出現(xiàn)異常流量。由此說明當(dāng)箱變RTU地址中斷，異常流量就會出現(xiàn)，不斷增加最后阻塞網(wǎng)絡(luò)。

4月1日10：20關(guān)閉全椒匯聚交換機(jī)上聯(lián)端口，在電力監(jiān)控PC終端上打開ethereal抓包軟件，抓取三十里鋪E1/0/23電力監(jiān)控端口收發(fā)報文，10：30抓包軟件顯示端口收到了大量的TCP報文，增長速度迅速。停止抓包后，打開收到的報文，看到源地址為X.X.X.10，目的地址為全椒匯聚交換機(jī)下的各箱變RTU地址，相同的TCP報文每秒鐘有上萬條。

從每條報文的分析可以看出，報文為正常的TCP連接報文，源地址為上海服務(wù)器地址，目的地址為中斷的箱變RTU設(shè)備地址。仔細(xì)分析報文詳細(xì)內(nèi)容發(fā)現(xiàn)，雖然每條報文的源地址是一致的，但源地址的MAC地址不完全相同，隨意調(diào)看報文，第一條報文源MAC地址為08013e342326，第二條報文的源MAC地址為08013e6d3130，第三條報文的源MAC地址08013e6d324d，源MAC地址雖然不同，但前6位均為08013e，從全椒、巢北、三十里鋪交換機(jī)上查看MAC地址表，發(fā)現(xiàn)這些報文的源MAC地址均為基站箱變RTU設(shè)備的MAC地址?？梢钥闯霎?dāng)合寧電力遠(yuǎn)動網(wǎng)絡(luò)內(nèi)某個箱變RTU設(shè)備地址中斷后，上海的主控站定時向網(wǎng)絡(luò)內(nèi)發(fā)TCP連接包，尋找中斷的箱變RTU地址，基站箱變RTU收到這個TCP連接包后，沒有采取丟棄處理，而是將報文中 源MAC更換為自己的MAC地址后轉(zhuǎn)發(fā)出去，這就解釋了在交換機(jī)業(yè)務(wù)端口流量圖中，接基站類箱變RTU設(shè)備的端口既有接收流量，也有發(fā)送流量，而接車站和中繼站類箱變RTU設(shè)備的端口只有發(fā)送流量 (對于箱變RTU設(shè)備端為接收)。

4 改進(jìn)措施

合寧電力遠(yuǎn)動系統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)簡單，為范圍較廣的星型結(jié)構(gòu)局域網(wǎng)，業(yè)務(wù)端為點(diǎn)對點(diǎn)連接，網(wǎng)絡(luò)中不存在環(huán)路，出現(xiàn)異常流量導(dǎo)致全網(wǎng)阻斷的原因在應(yīng)用層。根據(jù)故障分析，原因在合寧線基站類箱變的RTU設(shè)備上，此類箱變RTU設(shè)備系統(tǒng)存在漏洞，當(dāng)合寧電力遠(yuǎn)動網(wǎng)絡(luò)內(nèi)單點(diǎn)RTU設(shè)備IP地址中斷后，上海的主控站定時向網(wǎng)絡(luò)內(nèi)發(fā)TCP連接包，廣播中斷的箱變RTU地址，基站類箱變的RTU設(shè)備收到報文后，向網(wǎng)絡(luò)內(nèi)轉(zhuǎn)發(fā)此TCP報文，當(dāng)基站類所有箱變的RTU設(shè)備都不斷將收到的TCP報文向網(wǎng)絡(luò)內(nèi)轉(zhuǎn)發(fā)時，就使網(wǎng)絡(luò)內(nèi)的TCP報文在網(wǎng)絡(luò)內(nèi)不斷增加，流量增長迅速，最后將網(wǎng)絡(luò)阻塞，造成全網(wǎng)中斷。而TCP連接包又是正常的通信報文，在網(wǎng)絡(luò)內(nèi)無法采取限制手段，因此需要基站類箱變RTU廠商解決報文轉(zhuǎn)發(fā)問題。

目前，可在RTU設(shè)備前端增加通信前置機(jī)，用通信前置機(jī)將收到的非本站點(diǎn)TCP連接報文進(jìn)行丟棄處理，不進(jìn)行轉(zhuǎn)發(fā)，確保被控站與主控站正常的業(yè)務(wù)通信不受影響。此方案已在合寧線上選點(diǎn)試驗(yàn)成功，待合寧全線基站類箱變RTU全部設(shè)置通信前置機(jī)后，將徹底排除合寧線電力遠(yuǎn)動全網(wǎng)阻塞障礙。

［1］SolarWinds Engineers Edition．SolarWinds公司網(wǎng)絡(luò)工具集使用手冊．

［2］任泰明．TCP/IP協(xié)議與網(wǎng)絡(luò)編程［M］．西安：西安電子科技大學(xué)出版社，2004．

［3］滿昌勇．計算機(jī)網(wǎng)絡(luò)基礎(chǔ)［M］．北京：清華大學(xué)出版社，2010．

Abstract:Since the power remote operating system of Hefei-Nanjing passenger dedicated line has been open，its network often failed so that the master station could not contact controlled stations，The author analyzed fault causes by using network monitoring tool and coordinated the manufacturer of power remote operating systems，Remote Terminal Unit，to settle equipment failures．Finally，hidden problems in power remote operating system were eliminated．

Key words:Power remote operation systems;Communications;Network

沈先義：上海通信段合肥高鐵通信車間 助理工程師 230031合肥

2012-07-17

(責(zé)任編輯：諸 紅)