調(diào)速器通訊模塊故障造成機(jī)組緊停的分析及處理

四川武都電站有限公司 王騰輝

某水電站位于四川省境內(nèi)， 總裝機(jī)3×50MW，3臺(tái)發(fā)電機(jī)組分別接成發(fā)變組單元接線，各經(jīng)1臺(tái)63000kVA 的主變壓器升壓至220kV，經(jīng)220kV 線路并入省電網(wǎng)。電站內(nèi)3臺(tái)發(fā)電機(jī)調(diào)速器系統(tǒng)采用可編程PCC 作為控制的硬件平臺(tái)，具有“自動(dòng)”、“電手動(dòng)”兩種控制方式；“轉(zhuǎn)速”、“開(kāi)度”和“功率”三種調(diào)節(jié)模式，當(dāng)機(jī)組在正?！鞍l(fā)電”狀態(tài)下時(shí)，分別對(duì)應(yīng)“自動(dòng)”、“開(kāi)度”模式。

1 事故經(jīng)過(guò)、現(xiàn)象及初步分析判斷

1.1 事故現(xiàn)象

2020年10月21日13點(diǎn)，某水電站監(jiān)控系統(tǒng)突然報(bào)警“3號(hào)機(jī)組微機(jī)調(diào)速器電氣故障2動(dòng)作”，“3號(hào)機(jī)組緊急停機(jī)動(dòng)作”，正在運(yùn)行發(fā)電的3號(hào)機(jī)組啟動(dòng)緊急停機(jī)流程。工作人員收到通知立即到達(dá)3號(hào)機(jī)組現(xiàn)場(chǎng)，首先檢查了3號(hào)機(jī)“緊急停機(jī)流程”是否執(zhí)行正確，“緊急停機(jī)流”動(dòng)作后果如下：跳發(fā)電機(jī)出口開(kāi)關(guān)；跳發(fā)電機(jī)滅磁開(kāi)關(guān)；投調(diào)速器緊急停機(jī)電磁閥；投事故配壓閥；關(guān)閉進(jìn)水口快速門；啟動(dòng)機(jī)組正常停機(jī)流程。經(jīng)確認(rèn)，緊急停機(jī)流程執(zhí)行完畢且正確。在此過(guò)程中，電站已開(kāi)啟另一臺(tái)備用機(jī)組并網(wǎng)發(fā)電，以免造成上網(wǎng)發(fā)電量的缺失。

1.2 檢查過(guò)程

在監(jiān)控報(bào)警報(bào)文及事故記錄中查到啟動(dòng)“3號(hào)機(jī)組緊急停機(jī)動(dòng)作”的條件：是因?yàn)?號(hào)機(jī)監(jiān)控單元收到了“3號(hào)機(jī)組調(diào)速器電氣故障2”這一開(kāi)關(guān)量信號(hào)，而該信號(hào)由調(diào)速器電柜內(nèi)“電氣故障2”繼電器一常閉接點(diǎn)控制?，F(xiàn)場(chǎng)檢查調(diào)速器電柜，發(fā)現(xiàn)柜內(nèi)“電氣故障2”繼電器指示燈已熄滅，常閉點(diǎn)已導(dǎo)通，符合實(shí)際。此外，智能觸摸屏界面顯示“PLC NOT RESPONDING”,意為“PLC 無(wú)響應(yīng)”，且觸摸屏無(wú)法讀取控制器任何參數(shù)；檢查柜內(nèi)PLC 發(fā)現(xiàn)通訊模塊IF1030“STATUS”狀態(tài)燈為報(bào)警紅色，說(shuō)明此時(shí)通訊模塊IF1030異常。

1.3 初步分析

初步分析為：調(diào)速器通訊模塊IF1030異常，“電氣故障2”繼電器線圈不帶電（正常情況下常帶電），其常閉接點(diǎn)導(dǎo)通，該信號(hào)發(fā)至3號(hào)機(jī)組監(jiān)控單元后監(jiān)控系統(tǒng)即啟動(dòng)緊急停機(jī)流程，說(shuō)明監(jiān)控系統(tǒng)流程及啟動(dòng)均為正常動(dòng)作。

那么“調(diào)速器電氣故障2”為什么會(huì)動(dòng)作？調(diào)速器系統(tǒng)正常情況下會(huì)對(duì)“電氣故障2”繼電器發(fā)出一常電源信號(hào)，使其永久帶電。當(dāng)調(diào)速器控制器接收到幾項(xiàng)故障信號(hào)之一時(shí)，調(diào)速器自身會(huì)判定“調(diào)速器電氣故障2”。這幾項(xiàng)故障包括：導(dǎo)葉反饋故障、伺服環(huán)故障、主閥信號(hào)故障、比例閥功放故障、PT測(cè)頻信號(hào)和齒盤測(cè)頻信號(hào)同時(shí)消失故障。若調(diào)速器自身會(huì)判定“調(diào)速器電氣故障2”，“調(diào)速器電氣故障2”繼電器失電，則“調(diào)速器電氣故障2”故障信號(hào)發(fā)至監(jiān)控。技術(shù)人員對(duì)這幾項(xiàng)信號(hào)進(jìn)行排查，發(fā)現(xiàn)此次事故期間這幾項(xiàng)故障信號(hào)均未報(bào)警，說(shuō)明“電氣故障2”繼電器失電并非這幾項(xiàng)信號(hào)造成。在此暫時(shí)將“電氣故障2”的問(wèn)題排除，認(rèn)為可能是通訊模塊IF1030異常或其它原因造成了“電氣故障2”繼電器失電。

1.4 初步處理

隨后將調(diào)速器控制柜斷電重啟，發(fā)現(xiàn)通訊模塊IF1030“STATUS”狀態(tài)燈恢復(fù)為綠色（正常狀態(tài)）；觸摸屏“PLC NOT RESPONDING”告警已消失；其余各指示燈均正常；柜內(nèi)“電氣故障2”繼電器指示燈亮（已帶電）。隨后將3號(hào)機(jī)組各部位復(fù)歸，待監(jiān)控顯示3號(hào)機(jī)開(kāi)機(jī)條件都滿足且無(wú)其余故障報(bào)警，開(kāi)啟3號(hào)機(jī)啟勵(lì)建壓觀察正常后執(zhí)行并網(wǎng)運(yùn)行操作，并網(wǎng)運(yùn)行6個(gè)小時(shí)均未發(fā)現(xiàn)異常。于是分析此次事故源頭通訊?？霫F1030異?？赡転榕既滑F(xiàn)象，3號(hào)機(jī)組可以并網(wǎng)運(yùn)行觀察。

2 事故二次發(fā)生及重新梳理分析

經(jīng)上次事故處理后，3號(hào)機(jī)組一直正常發(fā)電運(yùn)行，然而至10月24日21點(diǎn)3號(hào)機(jī)組再次出現(xiàn)“調(diào)速器電氣故障2動(dòng)作、3號(hào)機(jī)組緊急停機(jī)動(dòng)作”的事故緊急停機(jī)情況，檢查監(jiān)控報(bào)警與現(xiàn)地調(diào)速器報(bào)警，發(fā)現(xiàn)所有現(xiàn)象與之前一致，包括“PLC NOT RESPONDING”、通訊模塊IF1030“STATUS”狀態(tài)燈為報(bào)警紅色一系列現(xiàn)象。再次將調(diào)速器電柜斷電重啟后，恢復(fù)正常情況亦與之前一致，3號(hào)機(jī)組再次開(kāi)機(jī)并網(wǎng)，在短時(shí)間內(nèi)觀察無(wú)異常后再將3號(hào)機(jī)組停機(jī)至備用狀態(tài)。技術(shù)人員再次對(duì)該事故做從頭梳理排查，認(rèn)為調(diào)速器通訊模塊IF1030兩次事故中發(fā)生異常并非偶然現(xiàn)象。

從頭梳理此次故障發(fā)生的大致步驟如下：調(diào)速器通訊模塊IF1030異常，觸摸屏無(wú)法讀取任意參數(shù)且無(wú)法進(jìn)行操作；器電柜“調(diào)速器電氣故障2”繼電器失電，其常閉接點(diǎn)導(dǎo)通；3號(hào)機(jī)組監(jiān)控單元后收到“調(diào)速器電氣故障2”中斷開(kāi)關(guān)量；3號(hào)機(jī)組啟動(dòng)緊急停機(jī)流程。

此上四條步驟，除第一條外均已證實(shí)、無(wú)需再次檢查，當(dāng)下需查明原因有兩點(diǎn)：一是調(diào)速器通訊模塊IF1030為何異常？二是如何證實(shí)通訊模塊IF1030異常造成“電氣故障2”繼電器失電？

首先，采取橫向比較方法：技術(shù)人員認(rèn)為3號(hào)機(jī)組發(fā)生此事故，而1、2號(hào)機(jī)組無(wú)此現(xiàn)象且運(yùn)行發(fā)電正常，于是將3號(hào)機(jī)組與1、2號(hào)機(jī)組調(diào)速器PLC 進(jìn)行對(duì)比，以待發(fā)現(xiàn)新的線索。通過(guò)對(duì)比，發(fā)現(xiàn)3號(hào)機(jī)組通訊模塊IF1030“RxD”（意為接收）燈時(shí)亮黃燈時(shí)滅，“TxD”（意為發(fā)送）燈常滅，而1、2號(hào)機(jī)組通訊模模塊IF1030“RxD”“TxD”均常滅。由現(xiàn)象得知，1、2號(hào)機(jī)組通訊模塊IF1030并無(wú)對(duì)外通訊的收發(fā)，而3號(hào)機(jī)組通訊模塊IF1030對(duì)外有著通訊外發(fā)。那是否3號(hào)機(jī)通訊模塊IF1030異常與其對(duì)外通訊有關(guān)？

圖1 正常狀態(tài)下的3號(hào)機(jī)通訊模塊IF1030（最左）

經(jīng)查驗(yàn)設(shè)備相關(guān)圖紙即現(xiàn)場(chǎng)核對(duì)，發(fā)現(xiàn)1、2、3號(hào)機(jī)通訊模塊IF1030在設(shè)計(jì)上均有兩根RS485通訊線對(duì)外接至對(duì)應(yīng)機(jī)組監(jiān)控單元柜內(nèi)的通訊服務(wù)器。然而1、2號(hào)機(jī)的這兩根RS485通訊線在調(diào)速器電柜的2個(gè)對(duì)外中轉(zhuǎn)端子上已經(jīng)將連片分開(kāi)，而3號(hào)機(jī)該中轉(zhuǎn)端子上目測(cè)到連片并未完全分開(kāi)（半接觸狀態(tài)），且1、2、3號(hào)機(jī)的該2個(gè)對(duì)外中轉(zhuǎn)端子均未注明用途，于是懷疑，3號(hào)機(jī)此2個(gè)對(duì)外中轉(zhuǎn)端子本來(lái)應(yīng)該分開(kāi)，可能有人員誤碰、或者機(jī)組的抖動(dòng)下造成了連片移位，以致未完全分開(kāi)。這也解釋了3號(hào)機(jī)組通訊模塊IF1030“RxD”（意為接收）燈時(shí)亮黃燈時(shí)滅的原因。而此現(xiàn)象又是怎樣造成通訊模塊IF1030異常的呢？

由于能在外觀察到的現(xiàn)象已經(jīng)就此了，工作人員隨后聯(lián)系了調(diào)速器廠家。調(diào)速器廠家技術(shù)人員通過(guò)提供后臺(tái)軟件，連接調(diào)速器控制器后獲取了控制器內(nèi)部運(yùn)行日志，顯示有2個(gè)錯(cuò)誤記錄，其時(shí)間間隔與3號(hào)機(jī)調(diào)速器2次故障時(shí)間記錄吻合（見(jiàn)圖2）。兩次相同報(bào)錯(cuò)“Error”描述為“AR-SIOS：I/O cycle time violation.”翻譯為“業(yè)務(wù)中斷,輸入輸出循環(huán)時(shí)間違規(guī)”。

圖2 第71、75條為2次故障記錄日志

就此，通過(guò)查看運(yùn)行日志說(shuō)明了存在通訊連接造成3號(hào)機(jī)調(diào)速器控制器報(bào)錯(cuò)。隨后就1、2號(hào)機(jī)調(diào)速器該2個(gè)對(duì)外中轉(zhuǎn)端子連片已分開(kāi)情況告知調(diào)速器廠家，調(diào)速器廠家解釋該調(diào)速器通訊模塊IF1030并不需要與監(jiān)控進(jìn)行數(shù)據(jù)收發(fā)交換，該通訊回路應(yīng)為最初建站時(shí)的設(shè)計(jì)，但實(shí)際安裝設(shè)備后發(fā)現(xiàn)此設(shè)計(jì)有錯(cuò)，所以通訊對(duì)外中轉(zhuǎn)端子連片必須分開(kāi)。

到此時(shí)，第一個(gè)疑問(wèn)即調(diào)速器通訊模塊IF1030為何異常已經(jīng)查明，原因?yàn)橥ㄓ嵞KIF1030原本不需要與監(jiān)控進(jìn)行數(shù)據(jù)收發(fā)，但因誤接線通訊模塊IF1030一直有數(shù)據(jù)接收（連片處于半連接狀態(tài)），但因該數(shù)據(jù)接收并無(wú)意義，當(dāng)數(shù)據(jù)接收過(guò)多時(shí)即造成通訊模塊IF1030異常。

第二個(gè)疑問(wèn)即如何證實(shí)通訊模塊IF1030異常造成“電氣故障2”繼電器失電？首先可知通訊模塊IF1030與“電氣故障2”是沒(méi)有直接聯(lián)系的，且引起“電氣故障2”的幾項(xiàng)故障條件并未發(fā)生，而與“電氣故障2”存在直接聯(lián)系的只有調(diào)速器控制器的其它部分，由運(yùn)行日志查看到調(diào)速器控制器已經(jīng)存在報(bào)錯(cuò)。

此外，再結(jié)合兩次故障發(fā)生時(shí)現(xiàn)象一致，對(duì)故障特點(diǎn)進(jìn)行總結(jié)：觸摸屏無(wú)法讀取控制器任何參數(shù)且無(wú)法進(jìn)行操作；控制器本體上的通訊模塊IF1030“STATUS”亮紅燈；必須對(duì)控制器進(jìn)行掉電重啟才能恢復(fù)故障，否則無(wú)法進(jìn)行任何操作。

以上特點(diǎn)表明故障時(shí)調(diào)速器控制器已經(jīng)死機(jī)，那么，造成調(diào)速器控制器死機(jī)的其它原因還應(yīng)逐一分析，包括有程序原因與硬件原因如下：調(diào)速器程序原因。由于調(diào)速器剛經(jīng)歷改造升級(jí)完成后已運(yùn)行兩年時(shí)間，期間運(yùn)行穩(wěn)定，且該控制程序已在其它許多電站的不同控制器上得到驗(yàn)證，可以排除程序本身問(wèn)題；控制器硬件原因?？刂破鹘?jīng)重啟后又能正常工作，不符合硬件故障的特點(diǎn)，也可以排除。

以上兩點(diǎn)均排除后，唯一造成控制器死機(jī)的原因已確定為調(diào)速器通訊模塊IF1030異常。調(diào)速器控制器正常運(yùn)行時(shí)，會(huì)對(duì)“電氣故障2”繼電器一直發(fā)送電源信號(hào)，使“電氣故障2”繼電器永久帶電。當(dāng)調(diào)速器控制器死機(jī)（PLC 狀態(tài)異常）時(shí)，將不再對(duì)“電氣故障2”繼電器開(kāi)出電源信號(hào)，而“電氣故障2”繼電器采用常閉點(diǎn)接至監(jiān)控，此時(shí)監(jiān)控收到“電氣故障2”后，即啟動(dòng)機(jī)組緊急停機(jī)流程。這已解釋了通訊模塊IF1030異常是如何間接造成“電氣故障2”繼電器失電。

至此，該故障每一環(huán)節(jié)的疑問(wèn)均已理清，重新梳理，導(dǎo)致事故發(fā)生的先后原因如下：調(diào)速器通訊模塊IF1030存在對(duì)外通訊接線（錯(cuò)誤接線），以致通訊模塊IF1030異常，造成了調(diào)速器控制器死機(jī)；調(diào)速器控制器死機(jī)造成了調(diào)速器電柜“電氣故障2”繼電器失電，其常閉接點(diǎn)導(dǎo)通；3號(hào)機(jī)組監(jiān)控單元后收到“電氣故障2”中斷開(kāi)關(guān)量；3號(hào)機(jī)組啟動(dòng)緊急停機(jī)流程。

3 后續(xù)及整改

事故原因明確后，決定將3號(hào)機(jī)調(diào)速器通訊模塊IF1030對(duì)外通訊接線的中轉(zhuǎn)端子連片完全斷開(kāi)，并取出連片上的金屬片（圖3），此后將3號(hào)機(jī)組開(kāi)機(jī)并網(wǎng)運(yùn)行，至今再無(wú)該事故發(fā)生，查看后臺(tái)運(yùn)行日志亦無(wú)報(bào)錯(cuò)項(xiàng)。

圖3 135、136端子為通訊模塊對(duì)外通訊接線端子

為吸取教訓(xùn)，將1、2號(hào)機(jī)調(diào)速器柜對(duì)外通訊接線的中轉(zhuǎn)端子連片上的金屬片也取出，防止人員誤碰或機(jī)組開(kāi)停機(jī)過(guò)程中的抖動(dòng)導(dǎo)致該連片誤接觸而導(dǎo)致類似事故發(fā)生。隨后電站人員做好設(shè)備相關(guān)臺(tái)賬記錄及事故故障記錄，亦便日后復(fù)盤。

綜上，經(jīng)此事故，我們明白設(shè)備管理工作來(lái)不得半點(diǎn)馬虎，必須以科學(xué)的態(tài)度來(lái)對(duì)待，對(duì)此亦做幾條總結(jié)便于日后的工作規(guī)整如下。

一是設(shè)備的設(shè)計(jì)圖與竣工圖紙存在一定的差別，運(yùn)行管理中應(yīng)核對(duì)實(shí)際接線，并以竣工圖紙為準(zhǔn)，且技術(shù)人員應(yīng)弄清設(shè)計(jì)圖與竣工圖不一致的具體原因。

二是要求相關(guān)工作人員對(duì)設(shè)備的特性與功能進(jìn)行了解，例如調(diào)速器電柜內(nèi)的該通訊RS485接線連片為什么斷開(kāi)、調(diào)速器控制器各指示燈的含義、各模塊的功能等等。

三是對(duì)于電站內(nèi)非正常停機(jī)事故應(yīng)做好相關(guān)記錄，特別是此類并不完全屬于“電氣事故”與“機(jī)械事故”分類的較為罕見(jiàn)情況的非正常停機(jī)，以便于日后總結(jié)參考；四是對(duì)于電站消除設(shè)備故障的技術(shù)人員，要求各方面能力全面發(fā)展電站工作不只應(yīng)該了解“電氣”部分的知識(shí)原理，對(duì)于計(jì)算機(jī)通訊知識(shí)也應(yīng)該有或多或少的了解，電站內(nèi)控制設(shè)備通訊設(shè)備較多，掌握相應(yīng)的知識(shí)對(duì)于日后的工作必將有很大的幫助。