基于OPEN-3000系統(tǒng)前置網(wǎng)絡(luò)問(wèn)題的排查與處理

鄧 萍，蘇勝皓，胡澤文，桂新凱，鄭洪積

(國(guó)網(wǎng)四川省電力公司涼山供電公司，四川 西昌 615000)

0 引 言

隨著電力系統(tǒng)電網(wǎng)建設(shè)步伐的加快以及智能綜合自動(dòng)化無(wú)人值班變電站的不斷增加，對(duì)電網(wǎng)的安全、穩(wěn)定、優(yōu)質(zhì)、經(jīng)濟(jì)運(yùn)行提出了越來(lái)越高的要求，地區(qū)調(diào)度自動(dòng)化系統(tǒng)的功能也日趨復(fù)雜化、多樣化[1]。前置系統(tǒng)作為調(diào)度自動(dòng)化系統(tǒng)中實(shí)時(shí)輸入、輸出的中心，主要承擔(dān)了調(diào)度中心與各所屬?gòu)S站、各上下級(jí)調(diào)度中心、其他系統(tǒng)之間以及與調(diào)度中心內(nèi)的后臺(tái)系統(tǒng)之間的實(shí)時(shí)數(shù)據(jù)通信處理任務(wù)，是這些不同系統(tǒng)之間實(shí)時(shí)信息溝通的橋梁。信息交換、命令傳遞、規(guī)約的組織與解釋、通道的編碼與解碼、衛(wèi)星對(duì)時(shí)、采集資源的合理分配，都是前置系統(tǒng)的基本任務(wù)，其他還包括報(bào)文監(jiān)視與保存、站多源數(shù)據(jù)處理以及為站端設(shè)備對(duì)時(shí)等任務(wù)[2]。

由于地縣一體化的要求，調(diào)度自動(dòng)化系統(tǒng)廠站接入數(shù)據(jù)急劇增加，通道數(shù)據(jù)也在增加，前置網(wǎng)絡(luò)、通道的配置更復(fù)雜化，如何快速地處理通道故障，提高故障恢復(fù)能力，是保證廠站數(shù)據(jù)采集實(shí)時(shí)性、可靠性的一個(gè)重要部分[3-4]。

國(guó)網(wǎng)涼山公司地區(qū)調(diào)度自動(dòng)化系統(tǒng)采用國(guó)電南瑞科技公司OPEN-3000系統(tǒng)，于2012年12月投入運(yùn)行；備用調(diào)度自動(dòng)化系統(tǒng)于2015年6月投入使用。系統(tǒng)現(xiàn)接入涼山地區(qū)變電站168座、電廠84座。系統(tǒng)具備數(shù)據(jù)采集監(jiān)視和控制(supervisory control and data acquisition，SCADA)、高級(jí)應(yīng)用(power application software，PAS)、AVC自動(dòng)電壓無(wú)功控制、DTS調(diào)度員培訓(xùn)仿真系統(tǒng)、web瀏覽等主要功能[5]。

SCADA系統(tǒng)中的實(shí)時(shí)數(shù)據(jù)來(lái)自于前置系統(tǒng)，因此前置系統(tǒng)的可靠運(yùn)行是SCADA系統(tǒng)正常工作的前提。為了保證前置系統(tǒng)的可靠性，前置網(wǎng)絡(luò)采用雙網(wǎng)雙冗余的配置模式，即采用兩臺(tái)前置服務(wù)器、兩臺(tái)前置交換機(jī)分別接入一、二平面交換機(jī)，實(shí)現(xiàn)雙平面架構(gòu)。前置服務(wù)器處于雙機(jī)運(yùn)行狀態(tài)，站端RTU需同時(shí)接到兩臺(tái)前置服務(wù)器中相對(duì)應(yīng)的兩個(gè)串行口上，保證網(wǎng)絡(luò)的冗余[6]。

國(guó)網(wǎng)涼山供電公司前置D網(wǎng)交換機(jī)出現(xiàn)風(fēng)扇模塊及電源模塊告警，考慮到前置D網(wǎng)交換機(jī)運(yùn)行環(huán)境及運(yùn)行年限，決定對(duì)其直接進(jìn)行更換。更換過(guò)程中發(fā)現(xiàn)單平面104通道全部退出，經(jīng)過(guò)分析排查，發(fā)現(xiàn)是OPEN-3000系統(tǒng)前置服務(wù)器程序的邏輯判斷存在設(shè)計(jì)缺陷，在單個(gè)平面出現(xiàn)中斷時(shí)，對(duì)應(yīng)前置服務(wù)器判定為不接受任何廠站通道，進(jìn)而導(dǎo)致單個(gè)平面104通道全部無(wú)法正常使用，通過(guò)在前置服務(wù)器增加配置文件解決了該故障。

1 前置網(wǎng)絡(luò)結(jié)構(gòu)

前置網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，調(diào)度數(shù)據(jù)網(wǎng)采用雙平面架構(gòu)，前置網(wǎng)絡(luò)中前置服務(wù)器C和前置服務(wù)器D并列運(yùn)行，經(jīng)過(guò)分析，在前置D網(wǎng)交換機(jī)更換過(guò)程中，前置C網(wǎng)交換機(jī)正常運(yùn)行。前置C網(wǎng)交換機(jī)與前置C、D服務(wù)器之間正常通信，不會(huì)影響101通道及104通道工作。

圖1 前置網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

2 故障現(xiàn)象

在更換前置D網(wǎng)交換機(jī)過(guò)程中，斷開(kāi)D網(wǎng)前置交換機(jī)到前置C服務(wù)器與前置D服務(wù)器的網(wǎng)線后發(fā)現(xiàn)110 kV某甲變電站、110 kV某乙變電站、35 kV某丙變電站等廠站104通道工況中斷，數(shù)據(jù)業(yè)務(wù)未正常上送。于是立即結(jié)束工作，復(fù)原網(wǎng)線后以上變電站業(yè)務(wù)成功恢復(fù)。

3 故障原因排查分析過(guò)程

3.1 通道情況對(duì)比分析

通過(guò)OPEN-3000系統(tǒng)告警查詢發(fā)現(xiàn)，斷開(kāi)D網(wǎng)前置交換機(jī)到前置C服務(wù)器與前置D服務(wù)器的網(wǎng)線后，并不是所有廠站的通道退出，僅部分廠站的104通道退出。經(jīng)排查，僅110 kV某甲變電站、110 kV某乙電站、35 kV某丙變電站等廠站104通道工況退出后無(wú)法恢復(fù)。對(duì)以上中斷的變電站進(jìn)行分析對(duì)比，查找共同點(diǎn)，發(fā)現(xiàn)上述中斷的變電站均只有二平面104通道，暫未滿足雙平面通道的要求。

3.2 網(wǎng)絡(luò)結(jié)構(gòu)排查分析

考慮到工作過(guò)程中環(huán)境變量?jī)H為D網(wǎng)前置交換機(jī)到前置C服務(wù)器與前置D服務(wù)器的網(wǎng)線，如圖2所示，對(duì)前置網(wǎng)絡(luò)拓?fù)溥M(jìn)行分析。

圖2 前置網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)分析

由圖2拓?fù)鋱D可見(jiàn)：前置C網(wǎng)交換機(jī)與一、二平面交換機(jī)、前置C服務(wù)器、前置D服務(wù)器均網(wǎng)絡(luò)可達(dá)，在進(jìn)行更換前置D網(wǎng)交換機(jī)的過(guò)程中，不應(yīng)該影響任何變電站104通道工況。

針對(duì)此種情況，經(jīng)過(guò)分析討論，決定采用以下兩個(gè)方案對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行測(cè)試分析。

3.2.1 網(wǎng)絡(luò)拓?fù)錅y(cè)試方案1

按照測(cè)試方案1，將前置D網(wǎng)交換機(jī)到前置D服務(wù)器的網(wǎng)線斷開(kāi)，如圖3所示，觀察通道投退情況。

圖3 前置網(wǎng)絡(luò)拓?fù)錅y(cè)試1

測(cè)試后，斷開(kāi)前置D網(wǎng)交換機(jī)到前置D服務(wù)器的網(wǎng)線后，廠站有通道工況退出的情況，但在短時(shí)間內(nèi)即恢復(fù)正常。測(cè)試結(jié)果表明前置D網(wǎng)交換機(jī)到前置D服務(wù)器網(wǎng)絡(luò)正常。

3.2.2 網(wǎng)絡(luò)拓?fù)錅y(cè)試方案2

按照測(cè)試方案2，接著把前置D交換機(jī)到前置C服務(wù)器網(wǎng)線斷開(kāi)，如圖4所示，觀察通道投退情況。

圖4 前置網(wǎng)絡(luò)拓?fù)錅y(cè)試2

測(cè)試后發(fā)現(xiàn)，斷開(kāi)前置D交換機(jī)到前置C服務(wù)器網(wǎng)線后，上述110 kV某甲變電站、110 kV某乙變電站、35 kV某丙變電站等廠站的104通道工況退出。同時(shí)，經(jīng)測(cè)試，二平面交換機(jī)到前置C網(wǎng)交換機(jī)再到前置D服務(wù)器網(wǎng)絡(luò)正常。

3.3 關(guān)鍵設(shè)備排查分析

以上排查分析過(guò)程表明，二平面和前置服務(wù)器之間并未實(shí)現(xiàn)有效的數(shù)據(jù)傳輸，二平面交換機(jī)到前置C網(wǎng)交換機(jī)再到前置D服務(wù)器網(wǎng)絡(luò)正常，故而進(jìn)一步將問(wèn)題鎖定到前置服務(wù)器上，對(duì)前置服務(wù)器軟硬件進(jìn)行深入檢查。

3.3.1 設(shè)備硬件檢查

首先，對(duì)前置服務(wù)器的硬件情況進(jìn)行檢查，設(shè)備電源指示燈、硬盤(pán)工作指示燈、系統(tǒng)運(yùn)行指示燈均正常，且巡視記錄并未發(fā)現(xiàn)設(shè)備硬件異?；蛴羞z留缺陷未處理的情況，排除由于設(shè)備硬件引起故障的情況。

3.3.2 設(shè)備軟件檢查

隨即對(duì)前置服務(wù)器的軟件程序進(jìn)行檢查，常規(guī)檢查并未發(fā)現(xiàn)程序有連接異?；蚋婢罩镜刃畔?。結(jié)合通道中斷現(xiàn)象，開(kāi)始對(duì)前置服務(wù)器與104通道之間的程序邏輯進(jìn)行梳理，如圖5所示，最終在前置服務(wù)器的邏輯判斷程序fes_assign上找到原因。

圖5 前置服務(wù)器通道判斷邏輯

通過(guò)分析以上程序可以看出，目前OPEN-3000前置服務(wù)器的網(wǎng)絡(luò)通道判定機(jī)制是：當(dāng)前置C服務(wù)器的C網(wǎng)中斷時(shí)判定其不接管任何廠站通道；當(dāng)前置D服務(wù)器的D網(wǎng)中斷時(shí)判定其不接管任何廠站通道。

即在更換前置D網(wǎng)交換機(jī)過(guò)程中，拔掉前置D網(wǎng)交換機(jī)到前置D服務(wù)器之間的網(wǎng)線后，前置D服務(wù)器判定為不接管任何廠站通道，此時(shí)二平面數(shù)據(jù)仍可以從D網(wǎng)交換機(jī)傳輸至前置C服務(wù)器，所以通道并未有工況退出不再恢復(fù)的情況。當(dāng)繼續(xù)拔掉前置D交換機(jī)到前置C服務(wù)器之間網(wǎng)線后，二平面數(shù)據(jù)按網(wǎng)絡(luò)分析依然可以從前置C交換機(jī)到前置D服務(wù)器；但是由于服務(wù)器本身對(duì)通道的判定機(jī)制影響，前置D服務(wù)器已經(jīng)不接管任何廠站通道，此時(shí)二平面所有104通道均無(wú)法正常使用。

上述中斷的110 kV某甲變電站、110 kV某乙變電站、35 kV某丙變電站等廠站只有二平面通道，在前置D服務(wù)器不接管任何廠站通道、二平面到前置C服務(wù)器網(wǎng)絡(luò)不達(dá)的情況下，出現(xiàn)通道工況中斷情況。

3.4 故障分析結(jié)論

通過(guò)以上分析并與設(shè)備廠家溝通后確認(rèn)，前期建設(shè)OPEN-3000系統(tǒng)時(shí)的網(wǎng)絡(luò)結(jié)構(gòu)較為簡(jiǎn)單，并沒(méi)有考慮到一、二平面并行的需求。故OPEN-3000系統(tǒng)前置服務(wù)器程序的邏輯判斷存在設(shè)計(jì)缺陷(家族性缺陷，D5000系統(tǒng)中該判斷條件已修改)，在單個(gè)平面出現(xiàn)中斷時(shí)，對(duì)應(yīng)前置服務(wù)器判定為不接受任何廠站通道，進(jìn)而導(dǎo)致單個(gè)平面104通道全部無(wú)法正常使用。

4 故障處理措施及結(jié)果

針對(duì)以上分析結(jié)果，經(jīng)研究后，提出如下的處理措施，但考慮到設(shè)備廠家對(duì)前置服務(wù)器程序邏輯修改耗時(shí)較長(zhǎng)，提出了臨時(shí)處理方案。

處理方案：設(shè)備廠家對(duì)OPEN-3000前置服務(wù)器程序的邏輯判斷進(jìn)行修改，使其不再因單平面退出而判斷為不接收任何廠站通道。

臨時(shí)處理方案：為各前置服務(wù)器增加fes_seg.sys配置文件，重啟fes_ping_send、fes_ping_recv、fes_exchange、fes_assign，讓各前置判斷C網(wǎng)中斷時(shí)才不接管廠站通道；當(dāng)更換前置D交換機(jī)時(shí)，前置D服務(wù)器的D網(wǎng)中斷不影響二平面通道的接入，封鎖各二平面廠站通道至前置D服務(wù)器，不會(huì)出現(xiàn)廠站通道退出現(xiàn)象。

臨時(shí)方案實(shí)施后，當(dāng)斷開(kāi)D網(wǎng)前置交換機(jī)到前置C服務(wù)器與前置D服務(wù)器的網(wǎng)線后并未出現(xiàn)任何廠站通道退出不再恢復(fù)的情況，D網(wǎng)前置交換機(jī)順利更換。

5 預(yù)防類似故障的措施

綜上所述，依據(jù)目前OPEN-3000前置服務(wù)器程序的邏輯判斷機(jī)制，當(dāng)一平面或二平面到前置服務(wù)器網(wǎng)絡(luò)出現(xiàn)中斷時(shí)，會(huì)造成單個(gè)平面所有104通道全部不可用。在一、二平面交換機(jī)正常運(yùn)行時(shí)，如果OPEN-3000前置服務(wù)器程序邏輯不判定為不接收任何通道，那么一、二平面依舊正常運(yùn)行，這種邏輯判定機(jī)制更適合冗余要求。

針對(duì)以上分析，提出如下建議措施：

1)其他使用OPEN-3000系統(tǒng)的地市公司，如果使用一樣的前置網(wǎng)絡(luò)結(jié)構(gòu)，在前置交換機(jī)與一、二平面交換機(jī)之間有工作需要斷開(kāi)網(wǎng)絡(luò)連接時(shí)，要考慮單平面出現(xiàn)完全中斷的情況，建議按照本案例的臨時(shí)方案處理；

2)建議設(shè)備廠家對(duì)OPEN-3000前置服務(wù)器的邏輯判定機(jī)制進(jìn)行合理修改，使其不因A、B、C、D網(wǎng)任何網(wǎng)絡(luò)的中斷而判斷不接收任何廠站。

6 結(jié) 論

針對(duì)一起由于OPEN-3000系統(tǒng)前置服務(wù)器程序的邏輯判斷存在設(shè)計(jì)缺陷，導(dǎo)致單平面104通道全部退出的故障處理案例，詳細(xì)分析了排查處理過(guò)程，提出了處理措施，對(duì)調(diào)度自動(dòng)化系統(tǒng)運(yùn)維工作者具有較大的參考借鑒價(jià)值。通過(guò)在實(shí)際工作中采取所建議的處理方案，確保了前置網(wǎng)絡(luò)沒(méi)有再發(fā)生類似的故障，有效地降低了故障發(fā)生率，保障了調(diào)度自動(dòng)化系統(tǒng)的正常運(yùn)行。