基于主從博弈的交直流混聯(lián)系統(tǒng)主動防御策略設(shè)計

張振安，黃少偉，梁易樂，趙 陽

(1．國網(wǎng)河南省電力公司電力科學(xué)研究院，河南鄭州410100; 2．電力系統(tǒng)及發(fā)電設(shè)備控制和仿真國家重點實驗室，清華大學(xué)電機系，北京100084)

基于主從博弈的交直流混聯(lián)系統(tǒng)主動防御策略設(shè)計

張振安1，黃少偉2，梁易樂2，趙 陽1

(1．國網(wǎng)河南省電力公司電力科學(xué)研究院，河南鄭州410100; 2．電力系統(tǒng)及發(fā)電設(shè)備控制和仿真國家重點實驗室，清華大學(xué)電機系，北京100084)

隨著電網(wǎng)規(guī)模的擴大化與系統(tǒng)元件的復(fù)雜化，特別是交直流混聯(lián)輸電格局的逐步形成，系統(tǒng)安全穩(wěn)定問題也日益嚴(yán)重。準(zhǔn)確確定電網(wǎng)脆弱源，并制定相應(yīng)防御策略以預(yù)防大停電事故的發(fā)生變得至關(guān)重要。本文針對交直流混聯(lián)系統(tǒng)提出了主動防御策略制定的主從博弈模型，即D-A-D(防御者-進攻者-防御者)三層規(guī)劃模型。上層模型制定電力系統(tǒng)防御策略，中層模型確定并發(fā)故障元件集合，而下層模型模擬系統(tǒng)故障后的安全調(diào)度過程。上述模型可先轉(zhuǎn)換為下層為混合整數(shù)線性規(guī)劃的雙層模型，后采用枚舉樹算法求解。在IEEE30節(jié)點系統(tǒng)中進行仿真分析，驗證了上述模型的合理性與有效性。

電力系統(tǒng);主動防御;主從博弈;三層規(guī)劃

1 引言

近年來，系統(tǒng)規(guī)模日益擴大以及系統(tǒng)元件復(fù)雜化成為電力系統(tǒng)發(fā)展的兩大主要趨勢，系統(tǒng)的安全穩(wěn)定問題也隨之產(chǎn)生［1-4］。特別是隨著交直流混聯(lián)輸電的格局逐步形成，并聯(lián)運行的交流與直流線路關(guān)聯(lián)緊密，彼此間相互影響，系統(tǒng)運行特性也更為復(fù)雜。由電網(wǎng)局部故障波及整個網(wǎng)絡(luò)造成的大規(guī)模停電事故，在國內(nèi)外偶有發(fā)生，造成了嚴(yán)重的社會影響和經(jīng)濟損失。因此，在不能預(yù)知故障發(fā)生的情況下，準(zhǔn)確地確定電網(wǎng)當(dāng)前的脆弱源，并采取事故前主動防御措施，進而預(yù)防連鎖故障的發(fā)生，是一項非常重要的研究課題。

安全博弈理論為上述問題提供了合適的研究手段。在該理論中，由自然原因或蓄意攻擊導(dǎo)致的電網(wǎng)故障被視為攻擊方，而系統(tǒng)相關(guān)部門被視為防御方。攻擊方試圖使系統(tǒng)元件并發(fā)故障而退出運行，最大化系統(tǒng)損失;而防御方則采取防御策略，增強系統(tǒng)安全裕度，降低系統(tǒng)故障損失。安全博弈及其均衡解可指導(dǎo)系統(tǒng)最優(yōu)防御策略的制定，同時可用于辨識系統(tǒng)薄弱環(huán)節(jié)，合理評估系統(tǒng)運行的可靠性與脆弱性。一般而言，結(jié)合系統(tǒng)實際，攻防雙方先后決策，符合主從博弈的一般過程，相應(yīng)建模方法可分為以下三類:

(1)A-D(進攻者-防御者)模型

即進攻者先于防御者決策，屬于典型的雙層規(guī)劃模型?？赏ㄟ^求解所得進攻者(A)的Stackelberg均衡策略用于辨識系統(tǒng)薄弱環(huán)節(jié)。

(2)D-A(防御者-進攻者)模型

即防御者先于進攻者決策，屬于典型的雙層規(guī)劃模型?？赏ㄟ^求解所得防御者(D)的Stackelberg均衡策略指導(dǎo)系統(tǒng)防御策略的初步制定，但策略的最優(yōu)性往往很難保證［5］。

(3)D-A-D(防御者-進攻者-防御者)模型

防御者、攻擊者、防御者依次決策，屬于典型三層規(guī)劃模型?？赏ㄟ^求解所得防御者(D)的Stackelberg均衡策略解決系統(tǒng)在無法預(yù)料多重擾動的情況下，最優(yōu)防御策略的制定問題。

采用上述主從博弈模型進行系統(tǒng)脆弱性評估以及防御策略制定的相關(guān)研究在國內(nèi)還較為少見。在早期國外的研究中，A-D模型由于求解難度較低，常用于評估系統(tǒng)元件的關(guān)鍵程度，并基于所得結(jié)果進行防御策略的制定［6，7］。然而研究發(fā)現(xiàn)，直接對所得關(guān)鍵元件進行防護，往往并非最優(yōu)防御策略［5，8］。此外，上述模型雖然考慮了相關(guān)部門所采取的調(diào)整措施對元件關(guān)鍵程度的影響，但調(diào)整措施在故障發(fā)生后才被動開展，對并發(fā)故障的抵御效果較差。而D-A-D模型可以彌補其不足，變傳統(tǒng)“被動挨打”的安全防御部署模式為“主動出擊”，有效降低系統(tǒng)損失。

文獻(xiàn)［8-10］均嘗試采用D-A-D模型指導(dǎo)最優(yōu)防御策略的制定，即通過對有限資源的優(yōu)化配置，合理選擇系統(tǒng)中部分元件進行防御，以極小化故障造成的系統(tǒng)損失。然而受限于問題求解的難度，以上研究對于攻防雙方的建模仍較為抽象。

本文在上述工作的基礎(chǔ)上，針對交直流混聯(lián)系統(tǒng)提出了主動防御策略制定的主從博弈模型，即DA-D模型。上層模型負(fù)責(zé)進行電力系統(tǒng)防御策略的制定，中層模型確定并發(fā)故障元件集合，而下層模型則模擬系統(tǒng)故障后的安全調(diào)度過程。同時在上層防御策略的制定過程中，考慮不同元件防護成本差異，使所得結(jié)果更具有參考價值。上述模型可先轉(zhuǎn)換為下層為混合整數(shù)線性規(guī)劃的雙層模型，后采用枚舉樹算法求解。IEEE30節(jié)點系統(tǒng)的仿真結(jié)果驗證了上述模型的合理性。

2 交直流混聯(lián)系統(tǒng)主動防御策略制定的主從博弈模型

2.1 問題背景描述

電力系統(tǒng)相關(guān)部門與系統(tǒng)故障之間的主從博弈過程能夠由D-A-D模型來刻畫。該模型可自然反應(yīng)電力系統(tǒng)相關(guān)部門的真實動作過程，具體分為以下三個階段。

(1)第一階段中，電力系統(tǒng)相關(guān)部門制定防御規(guī)劃策略，對資源進行優(yōu)化配置，選擇系統(tǒng)中的關(guān)鍵元件進行重點防護，以降低故障帶來的系統(tǒng)損失。具體的防御措施可以為備用元件的投入、安全監(jiān)控設(shè)施的部署等。

(2)第二階段中，自然原因或蓄意攻擊導(dǎo)致電網(wǎng)多個元件同時故障。該故障元件集合試圖極大化系統(tǒng)損失。

(3)第三階段中，電力系統(tǒng)相關(guān)部門進行事故后潮流調(diào)整。由于直流線路傳輸功率具有可控性，因此相關(guān)調(diào)整手段可考慮為直流傳輸功率調(diào)節(jié)量ΔPd、發(fā)電機出力調(diào)節(jié)量ΔPg和負(fù)荷切除量ΔPld三種。

在實際電力系統(tǒng)中，上述三個階段相互影響，各決策者間相互博弈滿足自身優(yōu)化目標(biāo)。第一階段的防御措施與第三階段的安全調(diào)度過程均將影響系統(tǒng)元件的脆弱性分布，進而影響并發(fā)故障元件的確定。為了確保第一階段防御措施的魯棒性，應(yīng)在第一階段防御策略制定時考慮后續(xù)兩個階段的影響。

2.2 主從博弈模型

本節(jié)中使用的參數(shù)與變量如表1和表2所示。

表1 模型相關(guān)參數(shù)Tab．1 Parameters

基于2.1節(jié)分析，本文所提出的電力系統(tǒng)相關(guān)部門與系統(tǒng)故障之間的主從博弈過程可由D-A-D三層模型來刻畫。其中，上層模型用于模擬系統(tǒng)主動防御策略的制定，即利用有限資源選擇系統(tǒng)中元件進行防護;中層模型用于確定在當(dāng)前防御策略下，同時退出運行后可對系統(tǒng)造成最大損失的元件集合;下層模型模擬故障后為維持系統(tǒng)正常運行，調(diào)度部門所進行的潮流調(diào)整。相應(yīng)博弈結(jié)構(gòu)圖如圖1所示。

下層模型的安全調(diào)度問題可采用基于直流潮流的OPF模型。由于面向交直流混聯(lián)系統(tǒng)，因此需要在安全調(diào)度過程中考慮直流線路傳輸功率可控性對系統(tǒng)運行的影響。故該模型以直流傳輸功率調(diào)節(jié)量ΔPd、發(fā)電機出力調(diào)節(jié)量ΔPg、負(fù)荷切除量ΔPld作為系統(tǒng)潮流的調(diào)節(jié)手段。由于系統(tǒng)在安全正常運行狀態(tài)下往往具有最小運行成本，并且考慮到直流系統(tǒng)的有功特性，即過高直流傳輸功率將增加系統(tǒng)運行風(fēng)險，而過低直流傳輸功率有違經(jīng)濟性原則，該OPF模型以最小調(diào)整量作為目標(biāo)函數(shù)［11］。通過控制成本系數(shù)wP-dk、wP-gi和wP-ldj的設(shè)置，該目標(biāo)函數(shù)可用以表征故障后的系統(tǒng)損失。具體模型如式(1)～式(8)所示。

表2 模型決策變量集合Tab．2 Decision variables and vectors

圖1 主從博弈模型結(jié)構(gòu)示意圖Fig．1 Structure of Stackelberg game

考慮到元件退出運行后的影響，上式分別對直流線路傳輸功率、發(fā)電機出力以及負(fù)荷切除量的上、下限進行修正。本文僅考慮直流線路、發(fā)電機、交流線路三類元件的停運問題。

上述目標(biāo)函數(shù)中存在絕對值環(huán)節(jié)，此處采用文獻(xiàn)［11］中方法，對目標(biāo)函數(shù)進行線性化，進而得到模型如式(9)～式(23)所示。

其中，各約束表達(dá)式的對偶變量列于相應(yīng)式后。

中層模型通過確定總數(shù)為K的并發(fā)故障元件集合y，模擬電力系統(tǒng)事故，以極大化故障后系統(tǒng)損失。具體模型如式(24)和式(25)、式(9)～式(23)所示。

下層模型如式(9)～式(23)所示。

事實上，中層模型以下層模型為約束條件，二者間的主從博弈構(gòu)成A-D(攻擊者-防御者)雙層優(yōu)化問題。下層優(yōu)化問題的變量為其中，對偶變量將在A-D雙層模型式(24)和式(25)、式(9)～式(23)的等價混合整數(shù)線性規(guī)劃中用到。中層優(yōu)化問題的變量為此外，由于電力系統(tǒng)的安全調(diào)度發(fā)生在N-K校驗之后，在下層模型中，元件停運決策列向量y作為給定參數(shù)處理，因此下層模型為線性規(guī)劃問題。

在上層模型中，電力系統(tǒng)相關(guān)部門通過對有限資源Q的合理優(yōu)化配置，進行主動防御策略的制定，即確定系統(tǒng)防御元件集合x。上層模型以中層模型為約束條件，二者構(gòu)成D-A-D(防御者-攻擊者-防御者)三層模型。具體模型如式(26)～式(30)、式(24)和式(25)、式(9)～式(23)所示。

中層模型如式(24)和式(25)、式(9)～式(23)所示。本文假設(shè)元件被防御后就不再故障停運。

上述模型體現(xiàn)了電力系統(tǒng)相關(guān)部門與系統(tǒng)故障之間的主從博弈過程。

3 模型求解算法

主從博弈是一個三層優(yōu)化問題，求解難度大。根據(jù)各層模型目標(biāo)函數(shù)、約束條件以及變量類型等的不同，模型的求解方法也有所差別。文獻(xiàn)［5］提出采用Benders分解方法對三層模型問題進行求解。文獻(xiàn)［9］將原問題分解為兩個嵌套的雙層問題交替迭代求解。文獻(xiàn)［8，10］均將求解過程分為兩階段，二者均先將中層與下層模型對應(yīng)雙層模型轉(zhuǎn)化為單層，進而將原模型等價為一個下層為混合整數(shù)線性規(guī)劃的雙層優(yōu)化問題;不同的是在后續(xù)雙層問題求解上，文獻(xiàn)［10］借鑒兩階段魯棒優(yōu)化問題的求解思路進行解算。而文獻(xiàn)［8］基于模型變量與目標(biāo)函數(shù)的特殊性采用枚舉方法進行求解。本文基于文獻(xiàn)［8，12］中的方法，對三層優(yōu)化問題進行求解，求解過程同樣可分為兩個階段。

3.1 等價雙層模型轉(zhuǎn)化:KKT最優(yōu)性條件

該階段求解轉(zhuǎn)換過程針對中層與下層模型進行。首先，采用文獻(xiàn)［13，14］中的方法，將下層優(yōu)化問題用其相應(yīng)KKT條件表征。由于下層模型為線性規(guī)劃問題，因此該KKT條件為其達(dá)到全局最優(yōu)性的充分必要條件。

將下層優(yōu)化問題用其KKT條件表征，并根據(jù)文獻(xiàn)［15］中的方法對互補松弛條件進行線性化處理，進而將式(26)～式(30)、式(24)和式(25)、式(9)～式(23)轉(zhuǎn)化為傳統(tǒng)的混合整數(shù)線性規(guī)劃。

3.2 等價雙層模型求解:枚舉樹算法

經(jīng)過3.1節(jié)轉(zhuǎn)換得到的雙層模型，其下層為混合整數(shù)線性規(guī)劃問題。注意到上層模型變量為0－1變量，且兩層目標(biāo)函數(shù)一致、博弈純策略空間相同，可采用枚舉方法進行求解。算法具體過程如下。

(1)生根策略

(2)生長策略

令xj=1，即對元件j進行防御，則求解下層模型，進而確定一系列新的故障元件集合y*(k+1)，同時令x(k+1)=x(k)∪{j}。新生子節(jié)點與父節(jié)點的樹枝長度取決于相應(yīng)選擇元件所需防御資源數(shù)。

令xj=0，即不防御元件j，則從c(k)中重新選擇其他元件i(i≠j)重復(fù)。新生子節(jié)點與父節(jié)點的樹枝長度為0。若此時c(k)為空集，則稱該節(jié)點為空防節(jié)點。

(3)判斷終止策略

若當(dāng)前節(jié)點距離根節(jié)點的樹枝總長度等于限定防御資源總數(shù)，或剩余防御資源不足以展開進一步防御，則認(rèn)為該節(jié)點為葉節(jié)點，不再生枝;否則令k =k+1，并重復(fù)上述生長策略，至所有節(jié)點均為葉節(jié)點或空防節(jié)點為止。

(4)最優(yōu)防御策略確定

在得到的所有葉節(jié)點中，具有最小系統(tǒng)損失者即對應(yīng)系統(tǒng)的最優(yōu)防御策略，即系統(tǒng)的最優(yōu)防御元件集合。

根據(jù)文獻(xiàn)［12］，該算法可在有限步得到最優(yōu)解，并且選擇防御元件的先后順序并不會影響最終結(jié)果，因為該算法會遍歷所有可能的元件防御組合情況。

4 算例及其分析

本節(jié)以IEEE30節(jié)點系統(tǒng)為例進行仿真分析。此處將IEEE30節(jié)點系統(tǒng)中的交流線路4-6替換為直流線路，其中節(jié)點4為整流節(jié)點，節(jié)點6為逆變節(jié)點?？紤]到系統(tǒng)實際情況，此處設(shè)置幾類元件所需防御資源如下:

在安全調(diào)度模型中，設(shè)置控制成本系數(shù)wP-d= 5，wP-g=1，wP-ld=10，通過求解三層模型，可以得到系統(tǒng)在不同并發(fā)故障元件數(shù)下的最優(yōu)防御元件集合，如表3所示。

表3 最優(yōu)防御策略集合及相關(guān)信息Tab．3 Optimal defense strategy and related information

通過表3可以看出，在不同并發(fā)故障數(shù)下，相較于無防御狀態(tài)，在引入防御措施后，系統(tǒng)的失負(fù)荷量大大降低，有效地緩解了系統(tǒng)故障帶來的影響。當(dāng)系統(tǒng)防御總資源較少時，所需防御資源相對偏低的發(fā)電機往往被選擇為防御元件。而隨著系統(tǒng)防御總資源的增加，一些交流線路往往會被選作防御對象，如線路24-25、27-28。上述線路往往為電網(wǎng)末端與主體連接線路，開斷后極易造成系統(tǒng)解列。從系統(tǒng)并發(fā)故障情況來看，發(fā)電機及相應(yīng)出線、直流線路、電網(wǎng)末端與主網(wǎng)連線中，若出現(xiàn)多個并發(fā)故障，極易給系統(tǒng)帶來較嚴(yán)重的損失。這與電力系統(tǒng)實際情況相符合，仿真結(jié)果表明了本文模型的合理性與有效性。

5 結(jié)論

本文針對交直流混聯(lián)系統(tǒng)提出了一種基于主從博弈的主動防御策略制定方法，主要結(jié)論如下。

(1)本文所提模型可以很好地模擬電力系統(tǒng)相關(guān)部門(防御方)與電網(wǎng)元件并發(fā)故障(攻擊方)之間的相互作用關(guān)系。

(2)該模型可先轉(zhuǎn)化為下層為混合整數(shù)線性規(guī)劃的雙層優(yōu)化問題，可采用枚舉樹算法進行求解，最優(yōu)解即對應(yīng)主從博弈的Stackelberg均衡。因此，本文方法所得最優(yōu)防御策略可以充分考慮電網(wǎng)元件并發(fā)故障與后續(xù)安全調(diào)度的影響，足以應(yīng)對可能發(fā)生的最壞故障情況。

(3)不同于以往的防御策略制定，本文提出的方法在未知系統(tǒng)故障的情況下未雨綢繆，變被動挨打為主動出擊，從規(guī)劃的角度對系統(tǒng)進行主動防御，更加有效降低系統(tǒng)故障所造成的損失。

［1］梅生偉，劉鋒，薛安成(Mei Shengwei，Liu Feng，Xue Ancheng)．電力系統(tǒng)暫態(tài)分析中的半張量積方法(Semi-tensor product for power system transient analysis) ［M］．北京:清華大學(xué)出版社(Beijing:Tsinghua University Press)，2010．

［2］梅生偉，薛安成，張雪敏 (Mei Shengwei，Xue Ancheng，Zhang Xuemin)．電力系統(tǒng)自組織臨界特性與大電網(wǎng)安全 (Power system security and self-organized criticality)［M］．北京:清華大學(xué)出版社(Beijing:Tsinghua University Press)，2009．

［3］Mei Shengwei，Zhang Xuemin，Cao Ming．Power grid complexity［M］．Springer Press，2011．

［4］張振安，張雪敏，曲昊源，等 (Zhang Zhen’an，Zhang Xuemin，Qu Haoyuan，et al．)．適用于連鎖故障的交直流電網(wǎng)靜態(tài)等值方法 (Equivalent approach for AC/DC power systems cascading failure analysis)［J］．電工電能新技術(shù) (Advanced Technology of Electrical Engineering and Energy)，2014，33(3):1-6．

［5］Brown G，Carlyle M，Salmeron J，et al．Defending critical infrastructure［J］．Interfaces，2006，36(6):530-544．

［6］Alvarez R E．Interdicting electrical power grids［D］．Monterey:Naval Postgraduate School，2004．

［7］Arroyo J M．Bilevel programming applied to power system vulnerability analysis under multiple contingencies［J］．IET Generation，Transmission＆Distribution，2010，4 (2):178-190．

［8］Natalia Alguacil，Andrés Delgadillob，Arroyo J M．A trilevel programming approach for electric grid defense planning［J］．Computers＆Operations Research，2014，41: 282-290．

［9］Yiming Yao，Thomas Edmunds，Dimitri Papageorgiou，et al．Trilevel optimization in power network defense［J］．IEEE Transactions on Systems，Man，and Cybernetics—Part C:Applications and Reviews，2007，37(4):712-718．

［10］Wei Yuan，Long Zhao，Bo Zeng．Optimal power grid protection through a defender-attacker-defender model［J］．Reliability Engineering and System Safety，2014，121: 83-89．

［11］Liang Yile，Mei Shengwei，Liu Feng，et al．Blackout model for hybrid AC/DC power system［A］．Chinese Control Conference［C］．Nanjing，China，2014.2835-2839．

［12］Scaparra M P，Church R L．A bilevel mixed-integer program for critical infrastructure protection planning［J］．Computers＆ Operations Research，2008，35:1905-1923．

［13］Luis Baringo，Antonio J Conejo．Transmission and wind power investment［J］．IEEE Transactions on Power Systems，2012，27(2):885-893．

［14］S Jalal Kazempour，Antonio J Conejo，Carlos Ruiz．Strategic generation investment using a complementarity approach［J］．IEEE Transactions on Power Systems，2011，26(2):940-948．

［15］Tian Fang，Zhang Xing，Liang Yile，et al．Taxing strategies for carbon emissions based on Stackelberg game ［A］．Chinese Control Conference［C］．Nanjing，China，2014.7607-7611．

Stackelberg game model for active defending strategy in hybrid AC/DC power system

ZHANG Zhen-an1，HUANG Shao-wei2，LIANG Yi-le2，ZHAO Yang1
(1．Henan Province Electric Power Research Institute，SGCC，Zhengzhou 410100，China; 2．State Key Lab of Control and Simulation of Power Systems and Generation Equipment，Department of Electrical Engineering，Tsinghua University，Beijing 100084，China)

With the hybrid AC/DC power system gradually coming into being，the security of the system is increasingly important．It is essential to identify the vulnerable components and to make defending strategies to prevent cascading failures．This paper proposes a Stackelberg game model for active defending strategy in AC/DC power system，i．e．D-A-D tri-level programming model．The upper-level model determines the active defending strategy，the middle decides the multiple contingencies，and the lower represents the security dispatch process．This model can be transformed into a bi-level model whose lower-level is a mixed integer linear programming problem．Thus it can be solved by an enumeration tree algorithm．Simulations and analysis have been conducted in an IEEE 30 bus system to prove its rationality and validity．

power system;active defense;Stackelberg game;tri-level model

TM732

A

1003-3076(2015)10-0010-07

2014-11-08

國家自然科學(xué)基金創(chuàng)新研究群體科學(xué)基金(51321005)、國家自然科學(xué)基金(51377091)資助項目

張振安(1974-)，男，河南籍，高級工程師，碩士，主要從事電力系統(tǒng)穩(wěn)定性分析、大電網(wǎng)仿真分析方面研究;黃少偉(1985-)，男，福建籍，助理研究員，博士，主要研究方向為電力系統(tǒng)建模與仿真、電力系統(tǒng)安全防御(通信作者)。