張浩 焦仕立 崔常府 高偉 張勇 王榮 伍玉輝
中海石油(中國(guó))有限公司湛江分公司潿洲作業(yè)公司
羅克韋爾公司的ICS AADvance 系統(tǒng)作為較早取得SIL3 認(rèn)證的控制系統(tǒng),在海上采油平臺(tái)的SIS系統(tǒng)(包括ESD緊急停車系統(tǒng)和FGS火氣系統(tǒng))上有著廣泛應(yīng)用。某海上油田群油氣水中心處理平臺(tái)擁有多套ICS系統(tǒng),處理原油達(dá)數(shù)百萬(wàn)立方米,平臺(tái)一旦發(fā)生關(guān)停,將會(huì)導(dǎo)致整個(gè)油田群關(guān)停。2019年6月14日、7月3日、8月27日,平臺(tái)連續(xù)發(fā)生3次ESD 系統(tǒng)主備CPU(處理器模塊)同時(shí)故障停機(jī),導(dǎo)致油田群生產(chǎn)關(guān)停,對(duì)油田的平穩(wěn)運(yùn)行造成極大的影響。通過(guò)與廠家技術(shù)人員探討,發(fā)現(xiàn)可能存在以下幾個(gè)問(wèn)題影響系統(tǒng)的穩(wěn)定性,導(dǎo)致了系統(tǒng)停機(jī)[1]:偶發(fā)性兩個(gè)CPU 同時(shí)停機(jī)導(dǎo)致平臺(tái)關(guān)停;CPU掃描周期偏長(zhǎng),掃描周期不穩(wěn)定;單CPU機(jī)架滿載48塊卡后背板電流偏高。
AADvance 是一種工業(yè)控制器,是一個(gè)靈活、擴(kuò)展性強(qiáng)的系統(tǒng),其組件可被配置為單重化、雙重化或三重化[2],可以為其配置單重化或容錯(cuò)的控制和安全應(yīng)用程序。其單一處理器模塊(CPU)組合成的系統(tǒng)符合SIL2要求,冗余處理器模塊(2個(gè)或2 個(gè)以上)組合的系統(tǒng)滿足SIL3 的要求[3]。海上采油平臺(tái)為了實(shí)現(xiàn)容錯(cuò)功能滿足SIL3 的要求,通常采用雙重冗余的方式組成SIS 系統(tǒng)中的ESD 系統(tǒng)和FGS系統(tǒng)(圖1)。
圖1 現(xiàn)場(chǎng)ESD系統(tǒng)結(jié)構(gòu)示意圖Fig.1 Schematic diagram of ESD system structure on site
發(fā)生關(guān)停平臺(tái)現(xiàn)場(chǎng)擁有兩套ESD 系統(tǒng)和三套FGS 系統(tǒng),其中ESD1 系統(tǒng)帶載CPU 卡件(處理模塊T9110)2 塊、DI 卡件(數(shù)字量輸入卡T9402)6塊、AI卡件(模擬量輸入卡T9432)8塊、DO卡件(數(shù)字量輸出卡T9451)34 塊;ESD2 系統(tǒng)帶載CPU卡件2 塊、DI 卡件2 塊、AI 卡件10 塊、DO 卡件36塊,F(xiàn)GS1、FGS2系統(tǒng)也都滿載了48塊卡件。其中T9110、T9402、T9432 額定功率4W,電壓范圍直流18~32V;T9451 額定功率3W,電壓范圍直流18~32V。
2019 年6 月14 日16:40,平臺(tái)ESD 系統(tǒng)突然停機(jī),上位機(jī)大部分設(shè)備無(wú)數(shù)據(jù)顯示,現(xiàn)場(chǎng)部分電泵、SDV閥失控導(dǎo)致平臺(tái)全部關(guān)停,同時(shí)造成上游平臺(tái)隨之關(guān)停。初步檢查原因?yàn)镋SD 系統(tǒng)ESD1 的兩塊CPU 同時(shí)故障,安全網(wǎng)交換機(jī)存在故障報(bào)警,F(xiàn)GS系統(tǒng)正常,PCS系統(tǒng)正常?,F(xiàn)場(chǎng)更換安全網(wǎng)交換機(jī)后,斷電復(fù)位ESD系統(tǒng),系統(tǒng)硬件運(yùn)行正常,ESD系統(tǒng)程序運(yùn)行正常。
2019年7月3日00:22,平臺(tái)ESD系統(tǒng)再次突然停機(jī),導(dǎo)致平臺(tái)全部關(guān)停,造成上游平臺(tái)隨之關(guān)停。初步檢查原因也是ESD 系統(tǒng)ESD1 的兩塊CPU同時(shí)故障,此次關(guān)停時(shí)安全網(wǎng)交換機(jī)運(yùn)行正常,F(xiàn)GS系統(tǒng)正常,PCS系統(tǒng)正常,可以排除交換機(jī)故障引起關(guān)停。斷電復(fù)位ESD 系統(tǒng),更換ESD1 系統(tǒng)的兩塊CPU 卡件及背板,重新下載程序,系統(tǒng)硬件運(yùn)行正常,ESD系統(tǒng)程序運(yùn)行正常。
2019 年8 月27 日12:37,平臺(tái)中控ESD 系統(tǒng)又突然停機(jī),導(dǎo)致本平臺(tái)和上游平臺(tái)第三次全部關(guān)停。檢查原因?yàn)镋SD 系統(tǒng)ESD1 兩塊CPU 同時(shí)故障,造成ESD系統(tǒng)崩潰,導(dǎo)致整個(gè)生產(chǎn)關(guān)?!,F(xiàn)場(chǎng)FGS 系統(tǒng)正常,PCS 系統(tǒng)正常,可以初步認(rèn)為ESD系統(tǒng)崩潰與CPU卡件硬件故障關(guān)聯(lián)不大。
對(duì)以下幾方面進(jìn)行了現(xiàn)場(chǎng)研究和考察:系統(tǒng)供電及帶載能力分析;建立現(xiàn)場(chǎng)系統(tǒng)功率評(píng)估模型,評(píng)估系統(tǒng)功率;系統(tǒng)主備CPU 同時(shí)故障的概率與掃描周期的關(guān)系;研究一種油田ESD 系統(tǒng)不停產(chǎn)升級(jí)方法。通過(guò)搭建實(shí)驗(yàn)測(cè)試系統(tǒng),評(píng)估系統(tǒng)功率、調(diào)整程序掃描方式和控制帶載量對(duì)系統(tǒng)進(jìn)行優(yōu)化,并實(shí)際應(yīng)用到現(xiàn)有系統(tǒng),改善了系統(tǒng)的穩(wěn)定性能,避免了故障的再次發(fā)生?,F(xiàn)場(chǎng)實(shí)驗(yàn)系統(tǒng)搭建由2 塊CPU 卡件、10 塊AI 卡件、8 塊DI 卡件、12 塊DO卡件組成。
AADvance 系統(tǒng)所有卡件的工作電壓范圍均為18~32 V,常用電壓為24 V,而系統(tǒng)的最大IO數(shù)量與其使用的環(huán)境溫度存在一定的對(duì)應(yīng)關(guān)系,如圖2中的黃色曲線。
圖2 系統(tǒng)在25 ℃環(huán)境溫度下帶載量與電壓關(guān)系示意圖Fig.2 Schematic diagram of the relationship between load capacity and voltage of the system at an ambient temperature of 25 ℃
平臺(tái)中控室常年溫度在25 ℃左右,圖中藍(lán)色區(qū)域?yàn)槿繋лd4 W 的DI/AI 卡件的危險(xiǎn)區(qū)分界,黃色區(qū)域?yàn)閹лd50%DI/AI 卡,50%DO 卡(平均功率3.5 W的分界)的危險(xiǎn)區(qū)分界,紅色區(qū)域?yàn)槿繋лdDO卡件的危險(xiǎn)區(qū)分界,通過(guò)簡(jiǎn)單的顏色差別即可直觀判斷系統(tǒng)卡件配置是否安全。與廠家確認(rèn)后,目前已經(jīng)逐步把平臺(tái)AADvance 系統(tǒng)背板電壓從24 V 提升到28 V,把系統(tǒng)工作區(qū)域從黃色區(qū)移位到安全區(qū),提升系統(tǒng)的穩(wěn)定性。實(shí)驗(yàn)測(cè)得在不同供電電壓下電壓與功率情況如表1所示,電壓與電流的對(duì)應(yīng)關(guān)系如圖3所示,電壓與功率的對(duì)應(yīng)關(guān)系如圖4所示。
表1 不同供電電壓下電壓和功率統(tǒng)計(jì)Tab.1 Voltageandpowerstatisticsunderdifferentsupply voltages
圖3 系統(tǒng)電壓與電流對(duì)應(yīng)關(guān)系示意圖Fig.3 Schematic diagram of the corresponding relationship between system voltage and current
圖4 系統(tǒng)電壓與功率對(duì)應(yīng)關(guān)系示意圖Fig.4 Schematic diagram of the corresponding relationship between system voltage and power
從此次實(shí)驗(yàn)可以看出,通過(guò)調(diào)整供電電壓從24 V提升到30 V,系統(tǒng)供電電壓提升25%,供電電流降低17%,功率只上升了2.6%,系統(tǒng)帶載能力提升了17%。實(shí)驗(yàn)證明了通過(guò)提高系統(tǒng)電壓、降低工作電流來(lái)提高系統(tǒng)負(fù)載能力的可行性。經(jīng)現(xiàn)場(chǎng)實(shí)際應(yīng)用,把目前的ESD 系統(tǒng)背板電壓從24 V 穩(wěn)步提升到28 V,背板電流降低了13%。
ESD 系統(tǒng)的功率作為系統(tǒng)穩(wěn)定性的重要指標(biāo),可以通過(guò)實(shí)驗(yàn)和模型計(jì)算出其實(shí)際功耗和最大功耗。實(shí)驗(yàn)在28 V 的穩(wěn)定電源供電情況下(在用系統(tǒng)實(shí)際供電28 V),ESD 系統(tǒng)穩(wěn)定在Run 工作模式時(shí),首先去掉備I/O卡,再去掉主備I/O卡,測(cè)量并計(jì)算出每種類型的卡件工作狀態(tài)下的平均功耗。其中AI 卡或DI 卡的A/D 轉(zhuǎn)換功耗不受外接變送器等電流、電壓影響,DO 卡件對(duì)外供電由外部電源引入,不增加背板負(fù)載。實(shí)驗(yàn)?zāi)P椭蠨O卡件通道均未帶載設(shè)備,DO 卡的單個(gè)通道晶閘管的功耗按照陽(yáng)極與門極100 倍放大倍數(shù)計(jì)算,由DO 卡件直接輸出的情況下,單通道最大驅(qū)動(dòng)電流2A,單通道功耗24 V×2 A/100=0.48 W。通道外接繼電器時(shí),單通道最小驅(qū)動(dòng)電流30 mA,正常驅(qū)動(dòng)電流40 mA。單通道驅(qū)動(dòng)正常功耗24 V×0.04 A/100=0.009 6 W,8通道全部輸出為0.08 W。實(shí)驗(yàn)數(shù)據(jù)見表2,DO卡件輸出結(jié)構(gòu)如圖5所示。
表2 卡件功耗試驗(yàn)記錄Tab.2 Power consumption test record of the card
圖5 DO卡件輸出示意圖Fig.5 Schematic diagram of DO card output
平均功耗計(jì)算:
式中:I1為去掉卡件前電流,A;I2為去掉備用卡件后電流,A;I3為主備卡件全去掉后電流,A;P1為單個(gè)備用卡平均功率,W;P2為主備用卡件平均功率,W;P3為卡件平均功率,W;V為供電電壓,V;N1為備用卡數(shù)量;N2為卡件數(shù)量。
通過(guò)表2可得出系統(tǒng)功率評(píng)估模型:
式中:X為CPU卡件數(shù)(T9110型);Y為AI卡件數(shù)(T9432型);Z為DI卡件數(shù)(T9402型);U為DO 卡件數(shù)(T9451 型);W為全部有輸出的通道數(shù);P4為功率模型估算功率,W;P5為系統(tǒng)卡件額定功率,W。
根據(jù)現(xiàn)場(chǎng)實(shí)際安裝卡件類型及數(shù)量(DO 卡件輸出全部為繼電器輸出),假設(shè)DO 通道全部投用,ESD1 系統(tǒng)評(píng)估功率為109.21 瓦特,額定功率為174 瓦特;ESD2 系統(tǒng)評(píng)估功率為110.14 瓦特,額定功率為172 瓦特?,F(xiàn)場(chǎng)實(shí)際測(cè)量ESD1 系統(tǒng)電流3.79 A,電源輸出28 V;ESD2 系統(tǒng)電流3.76 A,電流輸出28 V。具體測(cè)量參數(shù)見表3。
表3 功率模型評(píng)估與實(shí)測(cè)功率Tab.3 Power model evaluation and measured power
通過(guò)對(duì)實(shí)驗(yàn)系統(tǒng)的主備卡件進(jìn)行插拔,測(cè)量在不同情況下的電流值,測(cè)算推導(dǎo)系統(tǒng)的功率評(píng)估模型。經(jīng)過(guò)對(duì)現(xiàn)場(chǎng)系統(tǒng)測(cè)量,證明該模型評(píng)估功率與實(shí)際測(cè)量功率較為接近,此模型評(píng)估有效。系統(tǒng)評(píng)估功率仍有近40%的安全余量,由此可說(shuō)明系統(tǒng)故障停機(jī)與系統(tǒng)是否超過(guò)額定功率無(wú)關(guān)。此功率評(píng)估模型可為其他油田AADvance 系統(tǒng)功率評(píng)估提供參考。
根據(jù)現(xiàn)場(chǎng)設(shè)備實(shí)際應(yīng)用情況,重點(diǎn)研究ESD系統(tǒng)在Trigger cycle 模式下,主備CPU 同時(shí)故障停機(jī)的概率與持續(xù)超過(guò)CPU 的掃描周期設(shè)定值之間的關(guān)系[4]。通過(guò)在實(shí)驗(yàn)系統(tǒng)上復(fù)現(xiàn)停機(jī)故障,統(tǒng)計(jì)停機(jī)概率來(lái)評(píng)估該模式導(dǎo)致CPU 同時(shí)停機(jī)的可能性。系統(tǒng)掃描模式如圖6所示。
圖6 系統(tǒng)掃描模式示意圖Fig.6 Schematic diagram of system scanning mode
本次實(shí)驗(yàn)將ESD 系統(tǒng)置于Trigger cycle 模式,通過(guò)調(diào)整程序大小使CPU 實(shí)際掃描周期穩(wěn)定150 ms,在Trigger cycle 模式中分別把周期設(shè)置為100 ms、160 ms、200 ms的情況下,對(duì)CPU超時(shí)次數(shù)、Healthy報(bào)警和死機(jī)情況進(jìn)行記錄。經(jīng)過(guò)2周運(yùn)轉(zhuǎn),發(fā)生超時(shí)次數(shù)1 021次,在超過(guò)200次后,CPU卡件的狀態(tài)燈Healthy 燈亮紅燈;但是2 周內(nèi)并未發(fā)生主備CPU 同時(shí)故障停機(jī),運(yùn)行1 個(gè)月后發(fā)現(xiàn)1次單CPU 故障的情況,說(shuō)明在該模式下系統(tǒng)存在CPU故障停機(jī)風(fēng)險(xiǎn)。
經(jīng)過(guò)不斷調(diào)整Trigger Cycle 模式的設(shè)定周期,確定在使用該模式時(shí),必須使Trigger Cycle 的設(shè)定時(shí)間是實(shí)際掃描周期的2 倍以上時(shí),也就是負(fù)荷(CPU掃描周期/設(shè)置的掃描周期)低于50%的情況下,才能確保不發(fā)生掃描超時(shí)問(wèn)題。目前ESD1 的CPU 掃描時(shí)間為180~470 ms,最長(zhǎng)時(shí)達(dá)到750 ms,比出廠時(shí)要求的200 ms 偏高。同時(shí)對(duì)ESD2,F(xiàn)GS1及FGS2 控制器日志進(jìn)行了分析檢查,實(shí)際掃描時(shí)間分別為141 ms、152 ms、153 ms,不存在超時(shí)現(xiàn)象。
AADvance 系統(tǒng)廠家開發(fā)了不少標(biāo)準(zhǔn)化模塊,但是在使用過(guò)程中發(fā)現(xiàn),為了實(shí)現(xiàn)標(biāo)準(zhǔn)化,模塊里面70%以上的功能是油田的ESD系統(tǒng)不需要的,這些多余的功能占據(jù)了CPU大量的工作時(shí)間。ESD系統(tǒng)在建造招標(biāo)時(shí),一般的掃描周期要求為300 ms以內(nèi),系統(tǒng)負(fù)荷不超過(guò)50%。但是該要求未考慮到中心平臺(tái)普遍存在的后期新加卡件問(wèn)題,未預(yù)留足夠冗余量。目前平臺(tái)的5 套AADvance 系統(tǒng)CPU 都是400M 主頻,掃描周期普遍在120~160 ms 之間,其主要原因就是程序優(yōu)化程度不夠,未達(dá)到ESD系統(tǒng)快速穩(wěn)定邏輯判斷的要求。
在本次實(shí)驗(yàn)中,通過(guò)不斷調(diào)整Trigger cycle 模式下的掃描周期設(shè)定值,證明了CPU 的掃描周期在持續(xù)超過(guò)設(shè)定值時(shí),系統(tǒng)將存在CPU 故障停機(jī)風(fēng)險(xiǎn)。通過(guò)對(duì)程序的DO、DI 模塊進(jìn)行優(yōu)化,盡量減少子程序的數(shù)量,精簡(jiǎn)模塊的處理功能,用更簡(jiǎn)單和巧妙的方法實(shí)現(xiàn)邏輯的自鎖等操作。最終實(shí)驗(yàn)結(jié)果可以把實(shí)驗(yàn)CPU 的掃描周期從150 ms 減少到120 ms以下,減少20%的CPU負(fù)荷。
ESD 系統(tǒng)作為油田安全生產(chǎn)的重要安全屏障,一般設(shè)置為故障安全型,即CPU 停機(jī)或者離線下載程序,都會(huì)導(dǎo)致整個(gè)油田所有設(shè)備關(guān)停。但是在油氣生產(chǎn)過(guò)程中,ESD系統(tǒng)不可避免地要進(jìn)行增加卡件、調(diào)整程序結(jié)構(gòu)等操作,大多數(shù)情況下這些操作都要求CPU停機(jī)才能進(jìn)行。
在油田不停產(chǎn)進(jìn)行相關(guān)操作時(shí),需要對(duì)現(xiàn)場(chǎng)設(shè)備ESD關(guān)停信號(hào)進(jìn)行旁通處理,包括對(duì)關(guān)斷閥手動(dòng)強(qiáng)制打開,配電柜跳電信號(hào)硬線旁通、上下游油田的連鎖信號(hào)進(jìn)行旁通處理等,這些都需要大量的準(zhǔn)備工作,而且在功能強(qiáng)制到功能恢復(fù)的時(shí)間內(nèi),存在SIS 系統(tǒng)長(zhǎng)時(shí)間失效的風(fēng)險(xiǎn)。本次實(shí)驗(yàn)對(duì)這個(gè)問(wèn)題進(jìn)行了相關(guān)總結(jié),提出了2個(gè)減少停產(chǎn)損失、提高維修效率的關(guān)鍵方法。
2.4.1 DO卡設(shè)置為故障保持
把AADvance 系統(tǒng)DO 卡件通道設(shè)置為故障保持即DO卡件通道的Hold Last State狀態(tài),這樣可以在CPU 故障停機(jī)或DO 卡件故障的過(guò)程中,保證DO 卡件輸出不變,為后續(xù)應(yīng)急處理爭(zhēng)取時(shí)間。而在系統(tǒng)正常工作時(shí),不影響程序運(yùn)行產(chǎn)生的邏輯關(guān)停,DO 卡件通道可以正常輸出[5]?,F(xiàn)場(chǎng)中控為24小時(shí)有人值守,在中控組態(tài)畫面對(duì)卡件進(jìn)行狀態(tài)監(jiān)控,如有DO卡件發(fā)生故障報(bào)警可及時(shí)通知維修人員處理。如果發(fā)生緊急情況,可以采用立即對(duì)ESD機(jī)架電源斷電的方法,實(shí)現(xiàn)平臺(tái)的一級(jí)關(guān)停,也可對(duì)部分卡件的斷電實(shí)現(xiàn)分級(jí)關(guān)停。但是該方法在AAdvance的CPU故障重啟或停機(jī)重啟后DO卡上電過(guò)程中存在閃跳問(wèn)題,需要配合方法2使用。
2.4.2 DO卡件的輸出繼電器選型為可強(qiáng)制型
將ESD 系統(tǒng)所有輸出到現(xiàn)場(chǎng)的DO 點(diǎn)都增加可強(qiáng)制繼電器,在需要離線程序下載前把繼電器打到強(qiáng)制狀態(tài)進(jìn)行旁通,即可短時(shí)間內(nèi)完成ESD信號(hào)的旁通和恢復(fù)[6]。CPU 故障停機(jī)后對(duì)保持住的DO 點(diǎn)進(jìn)行繼電器強(qiáng)制,系統(tǒng)正常啟動(dòng)后再對(duì)繼電器強(qiáng)制功能進(jìn)行釋放,這樣即可實(shí)現(xiàn)不停產(chǎn)離線下載。建議在招標(biāo)階段要求ESD系統(tǒng)輸出使用可強(qiáng)制型繼電器,在油田現(xiàn)場(chǎng)使用信號(hào)旁通體系對(duì)該繼電器的旁通加強(qiáng)管理。
在本次實(shí)驗(yàn)中,通過(guò)對(duì)DO 卡件的故障保持狀態(tài)的設(shè)置與輸出繼電器的功能強(qiáng)制,實(shí)現(xiàn)了實(shí)驗(yàn)系統(tǒng)在不停產(chǎn)情況下離線下載程序。在現(xiàn)場(chǎng)實(shí)際作業(yè)過(guò)程中,通過(guò)加強(qiáng)現(xiàn)場(chǎng)監(jiān)管與安全風(fēng)險(xiǎn)分析等人為控制方式,與本方法配合成功實(shí)現(xiàn)了SIS 系統(tǒng)的不停產(chǎn)升級(jí)。
針對(duì)ESD 系統(tǒng)主備CPU 同時(shí)故障問(wèn)題,提出搭建實(shí)驗(yàn)測(cè)試系統(tǒng)的方法,通過(guò)評(píng)估系統(tǒng)功率、調(diào)整程序掃描方式和評(píng)估帶載量等手段對(duì)系統(tǒng)進(jìn)行優(yōu)化。實(shí)驗(yàn)系統(tǒng)進(jìn)行測(cè)試后運(yùn)用到現(xiàn)場(chǎng)的系統(tǒng),提升了ESD系統(tǒng)工作的穩(wěn)定性,成功避免了ESD系統(tǒng)主備CPU 同時(shí)故障停機(jī)造成的生產(chǎn)關(guān)停,保障了現(xiàn)場(chǎng)的安全生產(chǎn),也節(jié)約了對(duì)SIS 系統(tǒng)更換的時(shí)間成本和資金成本。平臺(tái)ESD系統(tǒng)穩(wěn)定性提升后,2020年初至今未再次發(fā)生主備CPU 同時(shí)故障停機(jī)問(wèn)題。相比2019年,直接提升生產(chǎn)時(shí)效3 h,減少停產(chǎn)原油產(chǎn)量損失1 500 m3,降低直接經(jīng)濟(jì)損失300 萬(wàn)元。此次問(wèn)題的解決也為國(guó)內(nèi)其他油田控制系統(tǒng)類似問(wèn)題的解決提供了一種新的思路。
本文所使用的實(shí)驗(yàn)方法在解決ESD 系統(tǒng)主備CPU同時(shí)故障停機(jī)問(wèn)題上取得了良好的效果,但控制系統(tǒng)穩(wěn)定性還存在提高的空間。下一步需要研究何進(jìn)一步優(yōu)化程序縮短掃描時(shí)間、減少系統(tǒng)故障率,從而達(dá)到安全、穩(wěn)定生產(chǎn)的目的。