地縣調(diào)控一體化系統(tǒng)網(wǎng)絡(luò)瓶頸故障的分析

余知真 鄭洪波 潘偉 唐曉玲

摘 要：“大運(yùn)行”背景下，廣域分布式地縣調(diào)控一體化系統(tǒng)能很好地適應(yīng)地縣級(jí)智能電網(wǎng)調(diào)度自動(dòng)化建設(shè)的需要，但同時(shí)存在故障點(diǎn)增多及運(yùn)行可靠性降低等風(fēng)險(xiǎn)。該文通過對(duì)某地縣調(diào)控一體化系統(tǒng)網(wǎng)絡(luò)故障進(jìn)行分析，發(fā)現(xiàn)了網(wǎng)絡(luò)構(gòu)架的薄弱點(diǎn)和系統(tǒng)消息進(jìn)程的缺陷，并通過徹查并加固通訊鏈路、優(yōu)化配線連接方式、修改縣調(diào)交換機(jī)的路由選路原則、改進(jìn)SCADA服務(wù)器與各主機(jī)間的詢問應(yīng)答機(jī)制等手段，實(shí)施了針對(duì)性的改進(jìn)措施，取得了顯著的效果，有效地抑制了網(wǎng)絡(luò)風(fēng)暴現(xiàn)象。

關(guān)鍵詞：地縣調(diào)控一體 廣域分布 網(wǎng)絡(luò)瓶頸 路由選路 應(yīng)答機(jī)制

中圖分類號(hào)：TP393.08 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1674-098X（2015）10（a）-0070-02

根據(jù)國(guó)網(wǎng)公司“大運(yùn)行”體系[1]建設(shè)的要求，各地區(qū)積極推進(jìn)地縣調(diào)控一體化的工作[2]。廣域分布式地縣調(diào)控一體化系統(tǒng)能很好地適應(yīng)地縣智能電網(wǎng)調(diào)度自動(dòng)化的需求，但是數(shù)據(jù)采集、應(yīng)用、計(jì)算機(jī)節(jié)點(diǎn)的廣域分布必然帶來故障點(diǎn)增多及運(yùn)行可靠性降低等風(fēng)險(xiǎn)[3]。該文分析了溫州地縣調(diào)控一體化系統(tǒng)一起網(wǎng)絡(luò)瓶頸故障，發(fā)現(xiàn)原有網(wǎng)絡(luò)構(gòu)架的薄弱點(diǎn)和主站系統(tǒng)消息進(jìn)程的缺陷，并從網(wǎng)絡(luò)配置和主站消息應(yīng)答機(jī)制上實(shí)施了改進(jìn)措施，消除了存在的運(yùn)行風(fēng)險(xiǎn)。

1 網(wǎng)絡(luò)現(xiàn)狀

溫州地縣調(diào)控一體化系統(tǒng)采用南瑞OPEN3000系統(tǒng)，由地調(diào)主系統(tǒng)、8個(gè)縣調(diào)分布式子系統(tǒng)（樂清、瑞安、平陽、蒼南、永嘉、泰順、文成、洞頭）和備用系統(tǒng)組成，采用廣域分布式采集，基于通訊網(wǎng)絡(luò)架構(gòu)遠(yuǎn)程互聯(lián)，后臺(tái)網(wǎng)絡(luò)結(jié)構(gòu)采用三環(huán)網(wǎng)星形匯聚模式。溫州地調(diào)主系統(tǒng)實(shí)現(xiàn)主網(wǎng)調(diào)控一體化的各項(xiàng)功能，各縣調(diào)保留數(shù)據(jù)采集能力和應(yīng)急系統(tǒng)獨(dú)立運(yùn)行能力[4]。地縣調(diào)控一體化系統(tǒng)實(shí)現(xiàn)了地縣資源的優(yōu)化配置，但隨之而來的故障點(diǎn)增多、缺陷定位難運(yùn)行風(fēng)險(xiǎn)大等問題也日益突顯。

2 故障描述及原因分析

2015年5月，地縣調(diào)控一體化系統(tǒng)出現(xiàn)頻繁的應(yīng)答緩慢現(xiàn)象，圖庫調(diào)取出現(xiàn)嚴(yán)重時(shí)滯，部分系統(tǒng)節(jié)點(diǎn)甚至發(fā)生系統(tǒng)卡死。自動(dòng)化人員進(jìn)行排查如下。

（1）查看系統(tǒng)管理文件，地調(diào)主系統(tǒng)各服務(wù)器未發(fā)現(xiàn)異常現(xiàn)象。

（2）查看系統(tǒng)進(jìn)程資源占用情況，終止部分資源占用率高的進(jìn)程，缺陷仍未消除。

（3）查看消息日志文件，發(fā)現(xiàn)瑞安縣局的#2維護(hù)工作站和洞頭縣局的#1維護(hù)工作站不斷向地調(diào)主系統(tǒng)發(fā)送大量的數(shù)據(jù)申請(qǐng)的異?，F(xiàn)象。

（4）對(duì)瑞安、洞頭兩個(gè)縣局的網(wǎng)絡(luò)狀態(tài)進(jìn)行測(cè)試，發(fā)現(xiàn)瑞安縣局的網(wǎng)絡(luò)速度為1609字節(jié)/秒，洞頭縣局為1357字節(jié)/秒，均遠(yuǎn)遠(yuǎn)未達(dá)到系統(tǒng)帶寬。

（5）通過查看交換機(jī)上的各個(gè)互聯(lián)端口的在生成樹協(xié)議狀態(tài)，得出瑞安縣局和洞頭縣局出現(xiàn)數(shù)據(jù)申請(qǐng)堆積時(shí)的系統(tǒng)網(wǎng)絡(luò)拓?fù)錉顩r（圖1）。系統(tǒng)出現(xiàn)卡死現(xiàn)象時(shí)，系統(tǒng)的實(shí)際拓?fù)渎窂揭呀?jīng)發(fā)生改變，如圖所示：原拓?fù)滏溌分?條鏈路出現(xiàn)假死狀態(tài)，實(shí)際通訊已中斷，導(dǎo)致瑞安縣圖1故障時(shí)溫州地縣調(diào)控系統(tǒng)網(wǎng)絡(luò)拓?fù)渚峙c洞頭縣局所有數(shù)據(jù)都通過DTSW1上送，DTSW1上出現(xiàn)通訊瓶頸，導(dǎo)致SCADA服務(wù)器與各服務(wù)器、工作站之間的指令堆積、通訊不暢。最直接的表象即為全系統(tǒng)圖庫調(diào)用、修改、保存等操作緩慢甚至無法執(zhí)行，命令無法下發(fā)等。

3 整改措施

3.1 徹查并加固通訊鏈路

協(xié)同通信部門檢查通訊問題鏈路，并且全面測(cè)試通訊所有鏈路的聯(lián)通狀況，對(duì)于存在隱患的交換機(jī)和通訊板卡予以重啟甚至更換。

3.2 優(yōu)化配線架間的連線方式，拆除冗余接線

原走線經(jīng)過中間配線架跳轉(zhuǎn)，再與OPEN3000網(wǎng)絡(luò)屏上連地調(diào)主網(wǎng)的備調(diào)#1、#2交換機(jī)相連。此接線方式中間配線架的跳轉(zhuǎn)線路增加了網(wǎng)絡(luò)連通的故障點(diǎn)，加大了各接線端子間連接不可靠的風(fēng)險(xiǎn)，并且給網(wǎng)絡(luò)故障的排除增加了難度，延長(zhǎng)了排查時(shí)間。優(yōu)化配線架間的連線方式，去除經(jīng)過中間配線架跳轉(zhuǎn)環(huán)節(jié)，將洞頭縣調(diào)直接連至地調(diào)主網(wǎng)的備調(diào)#1、#2交換機(jī)。

3.3 變更瑞安縣調(diào)交換機(jī)的路由選路

溫州調(diào)度自動(dòng)化系統(tǒng)后臺(tái)網(wǎng)采用MSTP協(xié)議，通過計(jì)算將整個(gè)網(wǎng)絡(luò)修剪成無環(huán)的樹形結(jié)構(gòu)。MSTP協(xié)議在計(jì)算生成樹時(shí)使用的算法中引入了域和內(nèi)部路徑開銷等參數(shù)。8個(gè)縣調(diào)同屬一個(gè)域，因此在設(shè)計(jì)時(shí)主要依靠?jī)?nèi)部路徑開銷進(jìn)行網(wǎng)絡(luò)選路。本次網(wǎng)絡(luò)故障事件中，引起網(wǎng)絡(luò)堵塞的縣調(diào)之一的瑞安縣調(diào)通過洞頭縣調(diào)上送數(shù)據(jù)，而不是通過與溫州局直接互聯(lián)的鏈路（最優(yōu)路徑）上送，原因是未優(yōu)化瑞安縣調(diào)交換機(jī)互聯(lián)端口的開銷，造成選擇次優(yōu)路徑。瑞安縣調(diào)務(wù)業(yè)務(wù)量和數(shù)據(jù)流較大，未優(yōu)化線路造成其處于網(wǎng)絡(luò)拓?fù)錁湫谓Y(jié)構(gòu)的最末端，不利于網(wǎng)絡(luò)的穩(wěn)定和通訊效率。因此變更瑞安縣局兩臺(tái)路由選路原則，使其直接連至溫州地調(diào)18F-SW1、18F-SW1交換機(jī)，變更后最終穩(wěn)定收斂的拓?fù)淙缦拢ㄒ妶D2）。

3.4 改進(jìn)SCADA服務(wù)器與各主機(jī)間的詢問應(yīng)答機(jī)制

OPEN3000系統(tǒng)SCADA服務(wù)器與各主機(jī)間的詢問應(yīng)答機(jī)制是輪詢制，即SCADA服務(wù)器在判斷網(wǎng)絡(luò)通暢的前提下與A機(jī)通訊時(shí)，未收到A機(jī)的應(yīng)答，則一直等待，不再繼續(xù)與其他主機(jī)發(fā)生通訊。此機(jī)制在此次網(wǎng)絡(luò)出現(xiàn)假死狀況后，引起了全系統(tǒng)運(yùn)行停滯的狀態(tài)。為避免再次發(fā)生類似故障，對(duì)OPEN3000系統(tǒng)的消息進(jìn)程進(jìn)行改進(jìn)，修改message_send進(jìn)程，增加message_backend進(jìn)程。改進(jìn)后，當(dāng)系統(tǒng)運(yùn)行message_send進(jìn)程，同時(shí)會(huì)拉起數(shù)個(gè)message_backend進(jìn)程，message_backend進(jìn)程的數(shù)量決定于系統(tǒng)中的主機(jī)數(shù)量，一個(gè)message_backend進(jìn)程負(fù)責(zé)與一臺(tái)主機(jī)進(jìn)行通訊。這樣，若SCADA服務(wù)器與一臺(tái)主機(jī)發(fā)生通訊受阻時(shí)，不會(huì)影響全系統(tǒng)的通訊。

4 結(jié)語

通過對(duì)調(diào)度自動(dòng)化主站網(wǎng)絡(luò)故障進(jìn)行分析，找出了網(wǎng)絡(luò)構(gòu)架的薄弱點(diǎn)和系統(tǒng)消息進(jìn)程的缺陷，并實(shí)施了改進(jìn)措施。通過徹查并加固通訊鏈路、對(duì)配線架間的連線方式的修改、對(duì)交換機(jī)的路由選路的修改和對(duì)SCADA服務(wù)器與各主機(jī)間的詢問應(yīng)答機(jī)制程序的改進(jìn)，調(diào)度自動(dòng)化主站網(wǎng)絡(luò)再未發(fā)生過類似全系統(tǒng)運(yùn)行停滯的狀況，有效地抑制了網(wǎng)絡(luò)風(fēng)暴現(xiàn)象，穩(wěn)固了系統(tǒng)運(yùn)行。

參考文獻(xiàn)

[1] 周巍，胡蕓，陳秋紅.“大運(yùn)行”體系建設(shè)對(duì)地區(qū)電網(wǎng)調(diào)度的影響[J].中國(guó)電力教育，2011（18）：104-108.

[2] 黃邵遠(yuǎn).地縣級(jí)調(diào)度自動(dòng)化一體化主站系統(tǒng)建設(shè)思路[J].電力系統(tǒng)自動(dòng)化，2009，33（20）：100-103.

[3] 彭暉，葛以踴，吳慶曦，等.地縣調(diào)控一體化系統(tǒng)分區(qū)解并列機(jī)制的設(shè)計(jì)與實(shí)現(xiàn)[J].電力系統(tǒng)自動(dòng)化，2014，38（6）：76-79.

[4] 陳寧，徐春雷，莊衛(wèi)金，等.地縣一體化調(diào)度自動(dòng)化系統(tǒng)分布式數(shù)據(jù)采集方法[J].電力系統(tǒng)自動(dòng)化，2011，35（24）：89-92.