基于斜回歸樹(shù)及其集成算法的靜態(tài)電壓穩(wěn)定規(guī)則提取

賈宏陽(yáng)，侯慶春，劉羽霄，張 寧，范 越

（1. 電力系統(tǒng)及大型發(fā)電設(shè)備安全控制和仿真國(guó)家重點(diǎn)實(shí)驗(yàn)室，清華大學(xué)，北京市 100084；2. 清華大學(xué)電機(jī)工程與應(yīng)用電子技術(shù)系，北京市 100084；3. 國(guó)網(wǎng)青海省電力有限公司，青海省西寧市 810008）

0 引言

高比例可再生能源并網(wǎng)對(duì)電力系統(tǒng)安全穩(wěn)定運(yùn)行產(chǎn)生巨大挑戰(zhàn)［1-3］?？稍偕茉吹碾S機(jī)性和低慣性導(dǎo)致電力系統(tǒng)運(yùn)行模式增多，各種模式下的電力系統(tǒng)運(yùn)行點(diǎn)越來(lái)越分散，部分運(yùn)行點(diǎn)接近于安全穩(wěn)定臨界點(diǎn)，連鎖故障［4］、電壓失穩(wěn)［5］、功角失穩(wěn)［6］和頻率崩潰［7］等安全穩(wěn)定事故發(fā)生的概率增加［8-10］。風(fēng)光等間歇性可再生能源并網(wǎng)后，電力系統(tǒng)安全穩(wěn)定機(jī)理日趨復(fù)雜，傳統(tǒng)基于同步機(jī)的安全穩(wěn)定分析方法出現(xiàn)局限性。電力系統(tǒng)安全穩(wěn)定問(wèn)題通常需要表達(dá)為高階微分方程或無(wú)法直接解析表達(dá)，例如靜態(tài)電壓穩(wěn)定裕度往往通過(guò)連續(xù)潮流算法多次求解潮流方程得到，難以快速、直接辨識(shí)系統(tǒng)穩(wěn)定裕度，難以給出線性安全穩(wěn)定規(guī)則指導(dǎo)系統(tǒng)優(yōu)化運(yùn)行。

近年來(lái)，隨著人工智能技術(shù)的飛速發(fā)展，在傳統(tǒng)解析分析法與時(shí)域仿真法的基礎(chǔ)上，基于機(jī)器學(xué)習(xí)的電力系統(tǒng)安全穩(wěn)定辨識(shí)及規(guī)則提取方法，有望輔助解決上述難題。已有研究主要利用強(qiáng)化學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)和單變量決策樹(shù)等算法進(jìn)行電力系統(tǒng)安全穩(wěn)定辨識(shí)。文獻(xiàn)［11］利用強(qiáng)化學(xué)習(xí)進(jìn)行電壓穩(wěn)定裕度辨識(shí)。文獻(xiàn)［12-14］使用各類神經(jīng)網(wǎng)絡(luò)對(duì)系統(tǒng)電壓穩(wěn)定與暫態(tài)穩(wěn)定進(jìn)行辨識(shí)。文獻(xiàn)［15-16］使用支持向量進(jìn)行系統(tǒng)暫態(tài)穩(wěn)定評(píng)估。文獻(xiàn)［17-18］使用決策樹(shù)對(duì)系統(tǒng)暫態(tài)穩(wěn)定性進(jìn)行分析。而面向規(guī)則提取的研究則主要基于結(jié)構(gòu)簡(jiǎn)單的機(jī)器學(xué)習(xí)模型。文獻(xiàn)［15］基于支持向量機(jī)構(gòu)造能夠?qū)崟r(shí)求取的穩(wěn)定裕度指標(biāo)，然后利用靈敏度方法獲取切機(jī)靈敏度與切負(fù)荷靈敏度，進(jìn)而構(gòu)建緊急控制決策模型中的穩(wěn)定約束。文獻(xiàn)［19］將支持向量機(jī)的訓(xùn)練結(jié)果轉(zhuǎn)化為單變量決策樹(shù)C4.5，文獻(xiàn)［18］直接通過(guò)單變量決策樹(shù)提取穩(wěn)定規(guī)則，但單變量決策樹(shù)提取的規(guī)則是一維的，不能精準(zhǔn)刻畫(huà)電力系統(tǒng)的復(fù)雜安全邊界。文獻(xiàn)［20-21］嘗試對(duì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練結(jié)果進(jìn)行解釋，但這些方法需要引入專家知識(shí)。

目前，基于機(jī)器學(xué)習(xí)的電力系統(tǒng)安全穩(wěn)定裕度辨識(shí)與規(guī)則提取算法有很多，但是缺少一種兼顧可解釋性與表示性的算法，能夠直接而快速地獲取穩(wěn)定裕度與系統(tǒng)狀態(tài)變量之間的顯式關(guān)系。傳統(tǒng)單變量決策樹(shù)模型學(xué)習(xí)容量有限，難以表示大型電力系統(tǒng)的復(fù)雜安全穩(wěn)定規(guī)則。傳統(tǒng)神經(jīng)網(wǎng)絡(luò)或集成學(xué)習(xí)等黑箱模型提取的規(guī)則過(guò)于復(fù)雜，難以解釋并可靠地應(yīng)用于電力系統(tǒng)在線安全穩(wěn)定辨識(shí)。同時(shí)，非線性模型的擬合結(jié)果難以直接應(yīng)用于緊急控制決策或考慮安全約束的日前優(yōu)化調(diào)度［22-23］。

針對(duì)這一難題，本文提出了內(nèi)嵌安全穩(wěn)定約束的電力系統(tǒng)優(yōu)化運(yùn)行框架和用于電力系統(tǒng)安全穩(wěn)定規(guī)則提取的斜回歸樹(shù)及其集成算法，以靜態(tài)電壓穩(wěn)定問(wèn)題為例驗(yàn)證了算法的有效性。本文工作的創(chuàng)新性主要體現(xiàn)在以下3 個(gè)方面。

1）提出了內(nèi)嵌安全穩(wěn)定約束的電力系統(tǒng)優(yōu)化運(yùn)行框架，通過(guò)數(shù)據(jù)生成、決策樹(shù)學(xué)習(xí)、規(guī)則提取與內(nèi)嵌，實(shí)現(xiàn)在電力系統(tǒng)優(yōu)化運(yùn)行中考慮安全穩(wěn)定約束。

2）針對(duì)靜態(tài)電壓穩(wěn)定問(wèn)題，提出斜回歸樹(shù)算法對(duì)穩(wěn)定裕度進(jìn)行精準(zhǔn)預(yù)測(cè)，該算法的表示能力與泛化性能相對(duì)于單變量回歸樹(shù)有了大幅提升，便于提取可靠的安全穩(wěn)定規(guī)則。

3）提出了斜回歸樹(shù)的集成方法，進(jìn)一步提升算法的學(xué)習(xí)能力，引入Lasso 和Ridge 正則化項(xiàng)，保證安全穩(wěn)定規(guī)則簡(jiǎn)單而有效。

1 內(nèi)嵌安全穩(wěn)定約束的電力系統(tǒng)優(yōu)化運(yùn)行框架

本章針對(duì)電力系統(tǒng)小干擾穩(wěn)定、電壓穩(wěn)定、頻率穩(wěn)定與連鎖故障等安全問(wèn)題給出內(nèi)嵌安全穩(wěn)定約束的電力系統(tǒng)優(yōu)化運(yùn)行一般方法，選用決策樹(shù)提取規(guī)則并將其轉(zhuǎn)化為安全穩(wěn)定約束。為了保證方法的可行性與有效性，決策樹(shù)提取規(guī)則應(yīng)滿足以下要求［24］。

1）準(zhǔn)確:算法從系統(tǒng)中提取的規(guī)則應(yīng)與實(shí)際安全邊界形成精準(zhǔn)映射。為此，決策樹(shù)必須具有強(qiáng)大的泛化性能，必要時(shí)能夠通過(guò)集成提高其學(xué)習(xí)能力。

2）可解釋:算法提取的每條規(guī)則必須易于電力系統(tǒng)調(diào)度人員理解。為此，決策樹(shù)的深度取值不宜太大，每次劃分既要保證刻畫(huà)安全邊界的準(zhǔn)確性，又要保證劃分系數(shù)向量的稀疏性。

3）可嵌入優(yōu)化運(yùn)行:應(yīng)保證內(nèi)嵌安全穩(wěn)定約束的優(yōu)化問(wèn)題能夠快速求解。為此，決策樹(shù)的每次劃分必須為線性劃分，劃分系數(shù)向量應(yīng)盡可能稀疏。

為了滿足上述要求，本文給出內(nèi)嵌安全穩(wěn)定約束的電力系統(tǒng)優(yōu)化運(yùn)行框架，如圖1 所示。

圖1 電力系統(tǒng)安全規(guī)則提取與內(nèi)嵌的算法框架Fig.1 Algorithm framework for extraction and embedding of power system security rules

1）通過(guò)仿真為算法生成大容量數(shù)據(jù)集:仿真能夠獲取實(shí)際電力系統(tǒng)運(yùn)行過(guò)程中較少達(dá)到的運(yùn)行狀態(tài)，使得決策樹(shù)算法能夠從數(shù)據(jù)集中獲取更準(zhǔn)確的安全邊界。電力系統(tǒng)安全穩(wěn)定仿真數(shù)據(jù)集的生成過(guò)程為:給定系統(tǒng)的邊界條件；抽樣得到可再生能源機(jī)組出力與負(fù)荷大??；通過(guò)最優(yōu)潮流求解運(yùn)行狀態(tài)數(shù)據(jù)；通過(guò)時(shí)域仿真或穩(wěn)定性計(jì)算判斷系統(tǒng)是否穩(wěn)定。靜態(tài)電壓穩(wěn)定仿真數(shù)據(jù)集的生成過(guò)程將在第2章中詳述。

2）訓(xùn)練集成稀疏斜決策樹(shù):充分利用稀疏斜決策樹(shù)及其集成算法的可解釋性，提取稀疏且線性的安全穩(wěn)定規(guī)則［24］。本文將以靜態(tài)電壓穩(wěn)定問(wèn)題為例，介紹斜回歸樹(shù)及其集成算法，具體將在第3 章與第4 章中詳述。

3）規(guī)則提取與內(nèi)嵌優(yōu)化:利用遞歸算法提取斜決策樹(shù)各葉節(jié)點(diǎn)的稀疏劃分矩陣，通過(guò)大M 法將其轉(zhuǎn)化為安全穩(wěn)定約束［24］。內(nèi)嵌后的運(yùn)行優(yōu)化問(wèn)題變?yōu)榛旌险麛?shù)線性規(guī)劃（MILP）問(wèn)題，可通過(guò)多種商業(yè)軟件求解。

2 斜回歸樹(shù)及其集成算法框架：以靜態(tài)電壓穩(wěn)定問(wèn)題為例

由于高比例可再生能源電力系統(tǒng)的隨機(jī)性和低慣性，利用斜回歸樹(shù)及其集成算法提取靜態(tài)電壓穩(wěn)定規(guī)則時(shí)，需要解決以下2 個(gè)問(wèn)題。

1）如何通過(guò)簡(jiǎn)單而有效的抽樣方法在高比例可再生能源電力系統(tǒng)廣闊的運(yùn)行狀態(tài)空間中進(jìn)行采樣生成數(shù)據(jù)集？

2）如何將斜回歸樹(shù)進(jìn)行高效集成并防止過(guò)擬合，以提取盡可能簡(jiǎn)單而可靠的安全穩(wěn)定規(guī)則？

為了解決上述問(wèn)題，圖2 給出了斜回歸樹(shù)用于提取靜態(tài)電壓穩(wěn)定規(guī)則的算法框架。

圖2 斜回歸樹(shù)用于提取靜態(tài)電壓穩(wěn)定規(guī)則的算法框架Fig.2 Algorithm framework for extracting static voltage stability rules using oblique regression tree

1）給出系統(tǒng)邊界條件:包括節(jié)點(diǎn)類型信息、負(fù)荷參數(shù)、接地導(dǎo)納、電壓幅值及其變化范圍、線路參數(shù)、機(jī)組所在節(jié)點(diǎn)和有功、無(wú)功出力的上下限等。

2）生成靜態(tài)電壓穩(wěn)定數(shù)據(jù)集:首先，采用改進(jìn)拉丁超立方抽樣（LHS）對(duì)負(fù)荷大小與可再生能源機(jī)組的出力上限進(jìn)行采樣，得到在高比例可再生能源電力系統(tǒng)運(yùn)行狀態(tài)空間中分布均勻的樣本［25］。接著，通過(guò)最優(yōu)潮流計(jì)算得到運(yùn)行狀態(tài)樣本的詳細(xì)信息，記為p，然后通過(guò)連續(xù)潮流計(jì)算得到運(yùn)行狀態(tài)的電壓穩(wěn)定裕度值，記為y。電力系統(tǒng)最優(yōu)潮流和連續(xù)潮流算法較為成熟［26-27］，目前已有PSASP、BPA 等商業(yè)軟件［28］，以及MATPOWER、PSAT 等開(kāi)源軟件能夠進(jìn)行相關(guān)計(jì)算［29-30］，因此具體方法不再贅述。為了體現(xiàn)電力系統(tǒng)運(yùn)行狀態(tài)的關(guān)鍵信息，本文將p定義為:

式中:Pg(1×ng)和Qg(1×ng)分別為各個(gè)機(jī)組有功和無(wú)功出力；Pd(1×nd)和Qd(1×nd)分別為各個(gè)節(jié)點(diǎn)有功和無(wú)功負(fù)荷；Vm(1×nn)和Va(1×nn)分別為各個(gè)節(jié)點(diǎn)的電壓幅值和相角；常數(shù)1 為預(yù)留項(xiàng)，用于學(xué)習(xí)線性劃分的常數(shù)項(xiàng)；ng、nd、nn分別為發(fā)電機(jī)組數(shù)、負(fù)荷節(jié)點(diǎn)數(shù)與系統(tǒng)節(jié)點(diǎn)數(shù)。

最后，將電力系統(tǒng)運(yùn)行狀態(tài){p}及其電壓穩(wěn)定裕度值{y}整合為靜態(tài)電壓穩(wěn)定數(shù)據(jù)集D:

式中:pi為編號(hào)為i的運(yùn)行狀態(tài)；yi為pi的電壓穩(wěn)定裕度值。

3）斜回歸樹(shù)的訓(xùn)練:將靜態(tài)電壓穩(wěn)定數(shù)據(jù)集D輸入斜回歸樹(shù)算法中進(jìn)行訓(xùn)練，按照最大深度等終止條件訓(xùn)練出斜回歸樹(shù)各個(gè)非葉節(jié)點(diǎn)的劃分系數(shù)向量θ與各個(gè)葉節(jié)點(diǎn)的代表值y～。斜回歸樹(shù)的訓(xùn)練方法詳見(jiàn)第3 章。

4）斜回歸樹(shù)的集成:本文利用boosting 的思想集成斜回歸樹(shù)［31］。用新增斜回歸樹(shù)擬合已有集成斜回歸樹(shù)的擬合誤差。為了減小過(guò)擬合的風(fēng)險(xiǎn)，引入Lasso 和Ridge 正則化項(xiàng)［32-33］，提高集成斜回歸樹(shù)泛化性能的同時(shí)，增強(qiáng)其可解釋性。斜回歸樹(shù)的集成方法詳見(jiàn)第4 章。

5）反饋:如果當(dāng)前訓(xùn)練結(jié)果達(dá)不到預(yù)期要求，一方面可以繼續(xù)進(jìn)行樹(shù)的集成，返回步驟3）；另一方面也可以判斷算法在電力系統(tǒng)運(yùn)行狀態(tài)空間中泛化性能較差的位置，于該位置附近進(jìn)一步采樣擴(kuò)充訓(xùn)練集，返回步驟2）。

3 斜回歸樹(shù)算法

本文提出的斜回歸樹(shù)算法具有兩方面的優(yōu)勢(shì)，一方面是較強(qiáng)的表示能力，另一方面是其提取的安全穩(wěn)定規(guī)則具有良好的可解釋性。

斜回歸樹(shù)的表示能力源于采用了線性斜劃分代替?zhèn)鹘y(tǒng)的單變量劃分，不難理解，每次劃分考慮運(yùn)行方式向量p的全部特征顯然要比僅考慮單個(gè)特征承載更多信息。斜回歸樹(shù)通過(guò)線性劃分預(yù)測(cè)電壓穩(wěn)定裕度的機(jī)理為:如果電力系統(tǒng)運(yùn)行狀態(tài)pi滿足線性劃分θTpi＜0，pi被劃分到左側(cè)子節(jié)點(diǎn)，斜回歸樹(shù)就認(rèn)為pi具有左側(cè)子節(jié)點(diǎn)代表值的穩(wěn)定裕度，反之亦然。實(shí)現(xiàn)線性斜劃分的關(guān)鍵在于如何克服指示函數(shù)I(θTpi＜0)的不連續(xù)性［24］，使得最優(yōu)斜劃分的尋找從離散優(yōu)化問(wèn)題轉(zhuǎn)化為連續(xù)優(yōu)化問(wèn)題。本文將sigmoid 函數(shù)σ(z)引入斜回歸樹(shù)訓(xùn)練［34］，引入σ(z)后斜劃分的指示函數(shù)變?yōu)閜i落在左右兩側(cè)子節(jié)點(diǎn)的概率值，本文將其命名為權(quán)重和，計(jì)算式為［34］:

斜回歸樹(shù)的可解釋性表現(xiàn)在其預(yù)測(cè)依據(jù)明確、易于調(diào)度人員理解。提取靜態(tài)電壓穩(wěn)定規(guī)則利用了斜回歸樹(shù)的可解釋性:從樹(shù)的根節(jié)點(diǎn)到葉節(jié)點(diǎn)t中間會(huì)經(jīng)過(guò)若干線性劃分判斷{θTp＜0？}，各線性劃分的劃分系數(shù)列向量逐列排列成該葉節(jié)點(diǎn)的劃分矩陣Θ，此時(shí)存在一條樣本pi滿足這些線性劃分判斷，也即滿足ΘTpi＜0，斜回歸樹(shù)就會(huì)將該葉節(jié)點(diǎn)的代表值作為該樣本的標(biāo)簽預(yù)測(cè)值，各葉節(jié)點(diǎn)的劃分矩陣整合起來(lái)就是斜回歸樹(shù)得到的規(guī)則。

斜回歸樹(shù)的訓(xùn)練目標(biāo)是為了得到葉節(jié)點(diǎn)的代表值y～t與非葉節(jié)點(diǎn)的最優(yōu)劃分系數(shù)向量θ，分別對(duì)應(yīng)斜回歸樹(shù)損失函數(shù)的構(gòu)建與單次劃分得分的構(gòu)建。

斜決策樹(shù)在訓(xùn)練集D={(pi，yi)}上的加權(quán)平方損失函數(shù)為:

忽略僅與訓(xùn)練集有關(guān)的常數(shù)項(xiàng)，不難發(fā)現(xiàn)目標(biāo)函數(shù)對(duì)各個(gè)葉節(jié)點(diǎn)解耦。因此，對(duì)于一個(gè)葉節(jié)點(diǎn)而言，整棵樹(shù)達(dá)到最小損失的代表值即為該葉節(jié)點(diǎn)達(dá)到最小損失的代表值。根據(jù)式（4），y～t可表示為:

式中:Lmin(f)|t為落在t號(hào)葉節(jié)點(diǎn)上的樣本所能達(dá)到的最小損失，整棵樹(shù)的最小損失即為各個(gè)葉節(jié)點(diǎn)最小損失之和。

斜回歸樹(shù)單次劃分的得分Sscore如下:

最大化Sscore就能夠得到單次劃分中父節(jié)點(diǎn)的最優(yōu)劃分系數(shù)θ。根據(jù)式（6），算法將單次劃分后L(f)的減小量作為單次劃分的得分，即單次劃分中父節(jié)點(diǎn)的最小損失減去2 個(gè)子節(jié)點(diǎn)的最小損失之和的差。構(gòu)建單次劃分的得分是為了簡(jiǎn)化問(wèn)題規(guī)模，依次優(yōu)化各節(jié)點(diǎn)的劃分系數(shù)。式（7）中ωi0為pi在父節(jié)點(diǎn)的初始權(quán)重，因?yàn)椴捎酶鞴?jié)點(diǎn)依次優(yōu)化的方法，所以從根節(jié)點(diǎn)到該節(jié)點(diǎn)經(jīng)過(guò)的劃分也已知，從而有ωi0已知。

基于上述推導(dǎo)，斜回歸樹(shù)的訓(xùn)練方法可以總結(jié)為通過(guò)遞歸不斷在當(dāng)前節(jié)點(diǎn)上進(jìn)行劃分，直到達(dá)到最大深度。首先，根據(jù)輸入數(shù)據(jù)集D建立當(dāng)前節(jié)點(diǎn)。然后，通過(guò)最大化Sscore得到最優(yōu)劃分系數(shù)θ，如果Sscore≤0 說(shuō)明本次劃分并不能減小擬合誤差，當(dāng)前節(jié)點(diǎn)可以作為葉節(jié)點(diǎn)通過(guò)式（5）給出其代表值；如果Sscore＞0 說(shuō)明本次劃分仍有價(jià)值，當(dāng)前節(jié)點(diǎn)可由最優(yōu)劃分系數(shù)θ分成2 個(gè)子節(jié)點(diǎn)。最后，通過(guò)硬劃分獲取分入左右2 個(gè)子節(jié)點(diǎn)的數(shù)據(jù)集DL與DR，分別將左右2 個(gè)子節(jié)點(diǎn)作為當(dāng)前節(jié)點(diǎn)繼續(xù)劃分，直到得到一顆完整的樹(shù)。

4 集成斜回歸樹(shù)

斜回歸樹(shù)應(yīng)用于大型電力系統(tǒng)穩(wěn)定裕度分析時(shí)存在兩方面的不足。一方面，運(yùn)行方式向量pi的維度往往很高，劃分系數(shù)向量θ往往比較稠密，不利于挖掘影響安全穩(wěn)定狀態(tài)的關(guān)鍵因素，不利于調(diào)度人員理解并應(yīng)用斜回歸樹(shù)提取的規(guī)則；另一方面，需要進(jìn)一步提升斜回歸樹(shù)的學(xué)習(xí)能力，確保算法能夠精準(zhǔn)辨識(shí)大型電力系統(tǒng)更加復(fù)雜的安全穩(wěn)定邊界。

為了解決上述問(wèn)題，本文提出斜回歸樹(shù)的稀疏技術(shù)與集成方法:在Sscore中引入Lasso 和Ridge 正則化項(xiàng)，一方面避免過(guò)擬合保證規(guī)則的有效性，另一方面保證劃分系數(shù)向量θ盡可能稀疏，使得提取規(guī)則既可靠又僅與少量關(guān)鍵特征強(qiáng)相關(guān)；然后，利用boosting 思想對(duì)稀疏斜回歸樹(shù)進(jìn)行集成，得到集成斜回歸樹(shù)算法。

稀疏斜回歸樹(shù)的核心在于:在Sscore中同時(shí)加入Lasso 和Ridge 正則化項(xiàng)，每次劃分的優(yōu)化目標(biāo)變?yōu)?

式中:α‖θ‖1和β分別為對(duì)單次劃分的Lasso 和Ridge 回歸懲罰項(xiàng)，α與β為懲罰系數(shù)；M為參與當(dāng)前節(jié)點(diǎn)劃分系數(shù)訓(xùn)練的數(shù)據(jù)集大小。加入Lasso 回歸懲罰項(xiàng)的作用是使得θ稀疏，降低算法提取規(guī)則的稠密性，提升算法的可解釋性；加入Ridge 回歸懲罰項(xiàng)的作用是增加目標(biāo)函數(shù)的凸性，防止因Lasso 回歸懲罰項(xiàng)的加入導(dǎo)致單次劃分僅與單個(gè)特征相關(guān)；而M的作用為使得懲罰系數(shù)α與β不必隨M的改變做出調(diào)整。

加入Lasso 回歸懲罰項(xiàng)之后目標(biāo)函數(shù)的一階梯度并不連續(xù)，因而不能直接通過(guò)牛頓法或擬牛頓法求解其最優(yōu)值。但其一階梯度在每一個(gè)象限內(nèi)卻是連續(xù)的，利用這一特性能夠通過(guò)文獻(xiàn)［24］提出的改進(jìn)OWL-QN 算法優(yōu)化求解其最優(yōu)值。該算法只需利用Sscore的一階梯度就可以求解得到當(dāng)前節(jié)點(diǎn)最優(yōu)且稀疏的劃分系數(shù)θ。令Sscore前兩項(xiàng)為lL(θ) 和lR(θ)，則Sscore的一階梯度函數(shù)可以表示為:

而lL(θ)的一階梯度函數(shù)如下:

lR(θ)的一階梯度函數(shù)與lL(θ)類似，不再贅述。

目標(biāo)函數(shù)經(jīng)改進(jìn)OWL-QN 算法優(yōu)化求解的具體過(guò)程參見(jiàn)文獻(xiàn)［24］，結(jié)合第3 章的訓(xùn)練方法即可得到稀疏斜回歸樹(shù)。

本文利用梯度提升的思想對(duì)稀疏斜回歸樹(shù)進(jìn)行集成得到集成斜回歸樹(shù)算法。設(shè)已有集成斜回歸樹(shù)φ(p)集成了K棵稀疏斜回歸樹(shù)，則φ(p)對(duì)pi的安全穩(wěn)定裕度預(yù)測(cè)值可表示為:

如果此時(shí)φ(p)的預(yù)測(cè)精度已達(dá)到所需要求，則不需要繼續(xù)添加稀疏斜回歸樹(shù)。反之則需要將訓(xùn)練集中各條數(shù)據(jù)的擬合誤差yi-y^i作為新增斜回歸樹(shù)訓(xùn)練數(shù)據(jù)的新標(biāo)簽值，然后訓(xùn)練稀疏斜回歸樹(shù)添加到集成斜回歸樹(shù)模型中，直到獲得滿足所需精度的預(yù)測(cè)模型。值得一提的是，集成斜回歸樹(shù)的訓(xùn)練過(guò)程也可以引入學(xué)習(xí)率或者特征抽樣（列采樣）等方法。

5 算例分析

本文選取2 個(gè)高比例可再生能源電力系統(tǒng)（記為IEEE-30 和RTS-GMLC）測(cè)試本算法的性能，所選系統(tǒng)的部分關(guān)鍵參數(shù)見(jiàn)附錄A 表A1。IEEE-30系統(tǒng)改自IEEE-30 節(jié)點(diǎn)標(biāo)準(zhǔn)算例系統(tǒng)，在節(jié)點(diǎn)10、24、28 分別添加一座50 MW 的風(fēng)電場(chǎng)和一座50 MW的光伏發(fā)電站，可再生能源裝機(jī)容量滲透率為47%，關(guān)注可再生能源機(jī)組出力和負(fù)荷變化時(shí)節(jié)點(diǎn)8 的電壓穩(wěn)定情況；RTS-GMLC 系統(tǒng)是美國(guó)國(guó)家可再生能源實(shí)驗(yàn)室（NREL）提出的73 節(jié)點(diǎn)穩(wěn)定測(cè)試系統(tǒng)，可再生能源裝機(jī)容量滲透率為43%，關(guān)注節(jié)點(diǎn)3 的電壓穩(wěn)定情況。本節(jié)通過(guò)仿真計(jì)算在2 個(gè)系統(tǒng)上分別生成了22 000 和55 000 條數(shù)據(jù)，用于訓(xùn)練和測(cè)試數(shù)據(jù)比例為10∶1。為了展示集成斜回歸樹(shù)算法（簡(jiǎn)稱EWORT）的各方面性能，本文將該方法與已有方法中性能表現(xiàn)最佳的XGBoost 算法（簡(jiǎn)稱XGB）進(jìn)行對(duì)比。

圖3 展示了集成斜回歸樹(shù)算法訓(xùn)練誤差和測(cè)試誤差隨樹(shù)集成量的變化情況。

圖3 斜回歸樹(shù)算法的集成效果Fig.3 Ensemble effect of oblique regression tree algorithm

圖3 中，平均相對(duì)誤差定義為算法在單個(gè)數(shù)據(jù)集上預(yù)測(cè)相對(duì)誤差的平均值，橫坐標(biāo)是算法的集成量，1 表示只有單棵樹(shù)。當(dāng)樹(shù)集成量較少時(shí)，EWORT 的誤差就遠(yuǎn)低于XGB 的誤差，隨著樹(shù)集成量的增大，EWORT 收斂到更小的泛化誤差，說(shuō)明它對(duì)電力系統(tǒng)電壓穩(wěn)定信息有更強(qiáng)的識(shí)別和表示能力。從趨勢(shì)上看，雖然XGB 誤差下降的幅度很大，誤差下降速度比EWORT 更快，但這是因?yàn)槠涑跏季容^差，給集成留下了相當(dāng)多的學(xué)習(xí)空間。以IEEE-30 算例結(jié)果為例，EWORT 不僅能在單棵樹(shù)時(shí)給出比XGB 集成20 棵樹(shù)更高的預(yù)測(cè)精度，還能在集成第2 棵樹(shù)時(shí)得到比XGB 集成第20 棵樹(shù)時(shí)更大的誤差下降幅度。

圖4 展示了EWORT、XGB 與人工神經(jīng)網(wǎng)絡(luò)（ANN）在測(cè)試誤差和訓(xùn)練時(shí)間方面的差別，左側(cè)縱坐標(biāo)軸表示測(cè)試誤差，意義與圖3 中平均相對(duì)誤差相同，右側(cè)縱坐標(biāo)軸為訓(xùn)練時(shí)間，采用對(duì)數(shù)刻度。

圖4（a）為IEEE-30 算例的結(jié)果，EWORT 和XGB1 的最大深度為5，集成20 棵樹(shù)，XGB2 和XGB3 的最大深度為3，分別集成20 棵樹(shù)和200 棵樹(shù)，ANN 取三層神經(jīng)網(wǎng)絡(luò)，隱層取200 個(gè)神經(jīng)元。圖4（b）為RTS-GMLC 算例的結(jié)果，EWORT 和XGB1 的最大深度為5，集成4 棵樹(shù)，XGB2 和XGB3的最大深度為4，分別集成4 棵樹(shù)和200 棵樹(shù)，ANN取三層神經(jīng)網(wǎng)絡(luò)，隱層取200 個(gè)神經(jīng)元。在測(cè)試誤差方面，EWORT 的泛化誤差比集成度相同的XGB1 和XGB2 降低約30%；同時(shí)EWORT 能夠達(dá)到與XGB3 和ANN 接近的預(yù)測(cè)精度。在訓(xùn)練時(shí)間方面，EWORT 短于ANN 而長(zhǎng)于XGB。這是因?yàn)镋WORT 引入Lasso 懲罰項(xiàng)導(dǎo)致目標(biāo)函數(shù)的一階梯度不連續(xù)，訓(xùn)練時(shí)間比XGB 更長(zhǎng)；而ANN 需要經(jīng)過(guò)多次反向傳播才能達(dá)到最優(yōu)的擬合效果，所以在2 個(gè)算例中，ANN 的訓(xùn)練時(shí)間都超過(guò)EWORT 的3 倍。這說(shuō)明:在具有強(qiáng)可解釋性的算法中，EWORT 的學(xué)習(xí)能力超越了原本表現(xiàn)最優(yōu)的XGB，EWORT 只需少量集成就能達(dá)到XGB 大量集成的泛化性能，且在更大的系統(tǒng)中，這種效果更加顯著；在具有強(qiáng)學(xué)習(xí)能力的算法中，EWORT 的泛化性能與ANN 相當(dāng)?shù)耐瑫r(shí)，訓(xùn)練時(shí)間更有優(yōu)勢(shì)。此外，ANN 的訓(xùn)練結(jié)果是一個(gè)黑箱，調(diào)度人員難以從中獲取穩(wěn)定裕度的預(yù)測(cè)依據(jù)，其預(yù)測(cè)結(jié)果出現(xiàn)大幅偏差的情況也將無(wú)從預(yù)知。

圖4 模型測(cè)試誤差和訓(xùn)練時(shí)間對(duì)比Fig.4 Comparison of model test error and training time

連續(xù)潮流與機(jī)器學(xué)習(xí)算法計(jì)算靜態(tài)電壓穩(wěn)定裕度所需時(shí)間的對(duì)比結(jié)果見(jiàn)附錄A 表A2。為了避免單次計(jì)算的隨機(jī)性，表中給出的時(shí)間數(shù)據(jù)是算法完成1 000 次靜態(tài)電壓穩(wěn)定裕度計(jì)算所需的總時(shí)間。從IEEE-30 與RTS-GMLC 的算例結(jié)果可以看出，相比于連續(xù)潮流算法，EWORT 等機(jī)器學(xué)習(xí)算法計(jì)算穩(wěn)定裕度所需時(shí)間幾乎可以忽略不計(jì)；相比于其他機(jī)器學(xué)習(xí)算法，EWORT 雖不具備優(yōu)勢(shì)，但是因單次平均計(jì)算時(shí)間過(guò)短，在實(shí)際應(yīng)用時(shí)各種機(jī)器學(xué)習(xí)算法的裕度計(jì)算時(shí)間對(duì)調(diào)度人員而言相差不大。

電壓穩(wěn)定裕度預(yù)測(cè)值與真實(shí)值之間的對(duì)比如圖5 所示。圖5 中藍(lán)點(diǎn)代表數(shù)據(jù)集中的一個(gè)實(shí)例，其橫坐標(biāo)是電壓穩(wěn)定裕度的真實(shí)值，縱坐標(biāo)是模型對(duì)電壓穩(wěn)定裕度的預(yù)測(cè)值，中間橙色的線是理想中的預(yù)測(cè)結(jié)果:預(yù)測(cè)值恰為真實(shí)值。實(shí)例點(diǎn)越靠近橙線，模型預(yù)測(cè)效果越好。觀察IEEE-30 的結(jié)果，容易發(fā)現(xiàn)EWORT 的預(yù)測(cè)結(jié)果更加集中到橙線附近，而XGB 存在多個(gè)遠(yuǎn)離橙線的點(diǎn)。觀察RTS-GMLC 的結(jié)果，上述對(duì)比則更加明顯，且XGB 的樣本點(diǎn)也更加分散。由此可見(jiàn)，EWORT 具有比XGB 更小的預(yù)測(cè)不確定性，隨著系統(tǒng)的增大對(duì)比更加明顯。

圖5 電壓穩(wěn)定裕度預(yù)測(cè)值分布圖Fig.5 Distribution of predicted voltage stability margin

圖6 展示了Lasso 和Ridge 懲罰系數(shù)的大小對(duì)樹(shù)稀疏度和訓(xùn)練時(shí)間的影響。

圖6 懲罰值對(duì)回歸樹(shù)稀疏度和訓(xùn)練時(shí)間的影響Fig.6 Effect of penalty value on sparsity and training time of regression tree

斜決策樹(shù)的稀疏度定義為劃分系數(shù)向量中零元素個(gè)數(shù)的平均占比。因?yàn)闃?shù)稀疏度只跟Lasso 懲罰系數(shù)有關(guān)，這里令Ridge 懲罰系數(shù)等于Lasso 懲罰系數(shù)，作為橫坐標(biāo)，即α值的大小，從大到小排列。圖6中橙色折線的縱坐標(biāo)軸在左側(cè)表示訓(xùn)練時(shí)間，藍(lán)色柱的縱坐標(biāo)軸在右側(cè)表示樹(shù)的稀疏度。從圖6 中可以看出，隨著懲罰系數(shù)的減小，訓(xùn)練時(shí)間先增大后減小，樹(shù)的稀疏度不斷減小，說(shuō)明通過(guò)增大α能夠大幅增加樹(shù)的稀疏度，減小訓(xùn)練時(shí)間；α接近零時(shí)訓(xùn)練時(shí)間大幅增加；α為零時(shí)并不能有效限制樹(shù)的稀疏度，但是訓(xùn)練時(shí)間卻有所減小。由此可見(jiàn)，適當(dāng)增大α能夠使劃分系數(shù)向量變得稀疏，從而使提取規(guī)則更加簡(jiǎn)單可解釋。

單棵斜回歸樹(shù)提取IEEE-30 系統(tǒng)的靜態(tài)電壓穩(wěn)定規(guī)則示例見(jiàn)附錄A 圖A1。該樹(shù)精度達(dá)99.14%，在訓(xùn)練時(shí)選取了較大的α，得出了極度稀疏的斜回歸樹(shù)。即便如此，該樹(shù)仍比同參數(shù)的XGB 泛化誤差降低約17%。算法可解釋性在電壓穩(wěn)定的場(chǎng)景下表現(xiàn)為調(diào)度人員對(duì)穩(wěn)定裕度預(yù)測(cè)依據(jù)的了解程度，斜回歸樹(shù)的預(yù)測(cè)依據(jù)在圖中表現(xiàn)為非葉節(jié)點(diǎn)中的不等式判斷。從圖A1 中可以看到，前兩層的不等式判斷同單變量回歸樹(shù)一樣都只與節(jié)點(diǎn)8 的電壓有關(guān)，斜回歸樹(shù)認(rèn)為首先要根據(jù)節(jié)點(diǎn)8 的電壓判斷節(jié)點(diǎn)8 的電壓穩(wěn)定裕度。整棵樹(shù)與單變量回歸樹(shù)最大的差別在第3 層最左側(cè)的節(jié)點(diǎn)，其預(yù)測(cè)依據(jù)同時(shí)與多個(gè)特征量有關(guān):距離節(jié)點(diǎn)8 較近的節(jié)點(diǎn)27 的電壓在劃分中占主導(dǎo)地位，節(jié)點(diǎn)2 的電壓和此處發(fā)電廠的有功出力起輔助作用。在這個(gè)中間節(jié)點(diǎn)分裂出2 個(gè)電壓穩(wěn)定裕度代表值較小的葉節(jié)點(diǎn)，說(shuō)明斜回歸樹(shù)通過(guò)斜劃分處理好了低穩(wěn)定裕度情況下數(shù)據(jù)集的劃分，從而得到了超過(guò)XGB 的預(yù)測(cè)性能。此外，如果沒(méi)有引入正則化項(xiàng)，尤其是Lasso 懲罰項(xiàng)，非葉節(jié)點(diǎn)的劃分將與所有輸入特征相關(guān)，算法提取的規(guī)則不會(huì)如附錄A 圖A1 那樣簡(jiǎn)單、易于理解。

6 結(jié)語(yǔ)

本文提出了內(nèi)嵌安全穩(wěn)定約束的電力系統(tǒng)優(yōu)化運(yùn)行框架和用于電力系統(tǒng)安全穩(wěn)定規(guī)則提取的斜回歸樹(shù)及其集成算法。該算法具有較強(qiáng)的表示能力與良好的可解釋性。算例分析結(jié)果表明集成斜回歸樹(shù)具有超過(guò)同類算法XGBoost 的學(xué)習(xí)能力與集成效率。

斜回歸樹(shù)及其集成算法能夠用于電力系統(tǒng)安全穩(wěn)定規(guī)則提取，有望成為在電力系統(tǒng)優(yōu)化運(yùn)行中考慮安全穩(wěn)定約束的突破性技術(shù)。后續(xù)將研究所提出的框架如何應(yīng)用于考慮暫態(tài)電壓等穩(wěn)定問(wèn)題的電力系統(tǒng)優(yōu)化運(yùn)行以及所提出的線性規(guī)則如何內(nèi)嵌電力系統(tǒng)優(yōu)化運(yùn)行模型。

附錄見(jiàn)本刊網(wǎng)絡(luò)版（http：//www.aeps-info.com/aeps/ch/index.aspx），掃英文摘要后二維碼可以閱讀網(wǎng)絡(luò)全文。