考慮風(fēng)險(xiǎn)管理的電力市場(chǎng)多時(shí)段均衡分析方法

唐成鵬，張粒子，鄧 暉，肖艷煒

（1. 華北電力大學(xué)電氣與電子工程學(xué)院,北京市 102206；2. 國(guó)網(wǎng)浙江省電力有限公司電力科學(xué)研究院,浙江省杭州市 310014；3. 國(guó)網(wǎng)浙江省電力有限公司電力市場(chǎng)仿真實(shí)驗(yàn)室,浙江省杭州市 310014；4. 國(guó)網(wǎng)浙江省電力有限公司,浙江省杭州市 310000）

0 引言

電力市場(chǎng)均衡分析在市場(chǎng)運(yùn)行模擬及機(jī)制設(shè)計(jì)［1］、市場(chǎng)主體交易決策及市場(chǎng)力分析［2］、電價(jià)預(yù)測(cè)及源網(wǎng)荷投資規(guī)劃［3］等眾多方面都起著至關(guān)重要的作用。雙層優(yōu)化模型是目前主流的電力市場(chǎng)均衡建模方法［4-7］,其求解方法主要有2 類:一類是模型轉(zhuǎn)化法,即通過KKT（Karush-Kuhn-Tucker）最優(yōu)化條件或強(qiáng)對(duì)偶定理［8］將雙層模型轉(zhuǎn)化為單層的帶均衡約束的數(shù)學(xué)規(guī)劃模型（mathematical programming with equilibrium constraint,MPEC）［9］或帶均衡約束的均衡優(yōu)化模型（equilibrium problem with equilibrium constraint,EPEC）［6］進(jìn) 行 求 解；另 一 類 是 迭 代 求 解法,通常采用基于智能體模型（agent-based model）的優(yōu)化算法,如強(qiáng)化學(xué)習(xí)［10-12］和深度強(qiáng)化學(xué)習(xí)［13-15］等。由于模型轉(zhuǎn)化需滿足下層模型為凸優(yōu)化問題的前提條件,因此,不適用于電力市場(chǎng)中的機(jī)組組合出清模型［16］,常用于解決單時(shí)段的市場(chǎng)均衡問題。多時(shí)段的市場(chǎng)均衡問題可采用迭代求解法,其中深度強(qiáng)化學(xué)習(xí)方法避免了強(qiáng)化學(xué)習(xí)對(duì)動(dòng)作空間進(jìn)行離散化而可能導(dǎo)致的“維數(shù)災(zāi)”問題,并有助于對(duì)大規(guī)模系統(tǒng)模型的求解［17］。

然而,當(dāng)前的電力市場(chǎng)多時(shí)段均衡分析方法主要聚焦于風(fēng)險(xiǎn)中立型市場(chǎng)主體參與電能量或輔助服務(wù)市場(chǎng)的情形,暫未考慮實(shí)際市場(chǎng)主體的風(fēng)險(xiǎn)偏好差異,以及其在差價(jià)合同和現(xiàn)貨交易中進(jìn)行風(fēng)險(xiǎn)管理的影響,從而限制了均衡分析方法的實(shí)用性。解決上述考慮風(fēng)險(xiǎn)管理的電力市場(chǎng)多時(shí)段均衡問題將面臨3 個(gè)方面的挑戰(zhàn):一是差價(jià)合同包括市場(chǎng)化差價(jià)合同和政府授權(quán)差價(jià)合同［18］,這2 類差價(jià)合同的建模方式以及對(duì)市場(chǎng)運(yùn)行的影響各不相同,并且在關(guān)注多時(shí)段的均衡問題時(shí),差價(jià)合同曲線的確定方式也將成為一個(gè)關(guān)鍵難點(diǎn)；二是隨著風(fēng)險(xiǎn)特征的引入,模型將會(huì)由確定性向隨機(jī)性轉(zhuǎn)變,大大增加了模型構(gòu)建的復(fù)雜性［19］；三是對(duì)求解方法提出了較高要求,如何確保市場(chǎng)主體能在不確定環(huán)境中具備魯棒的決策能力、求解得到穩(wěn)定的市場(chǎng)均衡結(jié)果是解決該問題的關(guān)鍵。

鑒于此,本文分別設(shè)計(jì)了市場(chǎng)化差價(jià)合同和政府授權(quán)差價(jià)合同的確定方式,并采用條件風(fēng)險(xiǎn)價(jià)值（conditional value at risk,CVaR）［20］評(píng)估市場(chǎng)風(fēng)險(xiǎn),構(gòu)建計(jì)及差價(jià)合同和風(fēng)險(xiǎn)偏好的電力市場(chǎng)均衡模型；在深度強(qiáng)化學(xué)習(xí)基礎(chǔ)上,提出了風(fēng)險(xiǎn)管理的多智能體深度強(qiáng)化學(xué)習(xí)算法,實(shí)現(xiàn)了對(duì)風(fēng)險(xiǎn)敏感型隨機(jī)優(yōu)化模型的高效求解。

1 市場(chǎng)均衡模型

1.1 模型框架

計(jì)及差價(jià)合同和風(fēng)險(xiǎn)偏好的電力市場(chǎng)多時(shí)段均衡模型包括差價(jià)合同的確定、發(fā)電商報(bào)價(jià)決策模型和現(xiàn)貨市場(chǎng)出清模型3 個(gè)部分,如圖1 所示。

圖1 電力市場(chǎng)均衡模型框架圖Fig.1 Framework diagram of equilibrium model for electricity market

第1 部分分別考慮了市場(chǎng)化和政府授權(quán)2 類差價(jià)合同。對(duì)于前者,此階段模擬市場(chǎng)主體簽訂差價(jià)合同,假設(shè)各發(fā)電商根據(jù)預(yù)期的發(fā)電出力和現(xiàn)貨價(jià)格簽訂合同,將預(yù)期出力曲線按某一合同比例Z（0%≤Z≤100%）折算得到各自的差價(jià)合同曲線,合同價(jià)格由預(yù)期現(xiàn)貨價(jià)格及發(fā)電商風(fēng)險(xiǎn)管理傾向共同決定；對(duì)于后者,基于“三公”原則確定各機(jī)組的合同總量,并根據(jù)無差價(jià)合同時(shí)現(xiàn)貨市場(chǎng)均衡出力曲線形狀及某一合同覆蓋率F（0%≤F≤100%）在事前確定差價(jià)合同曲線。第2 部分考慮了各發(fā)電商的風(fēng)險(xiǎn)偏好特征,在規(guī)則允許范圍內(nèi),各發(fā)電商以效用最大化為目標(biāo)進(jìn)行現(xiàn)貨市場(chǎng)的報(bào)價(jià)決策。第3 部分以日為周期進(jìn)行現(xiàn)貨市場(chǎng)出清,采用前瞻性安全約束機(jī)組組合模型決定機(jī)組啟停計(jì)劃,機(jī)組發(fā)電功率的經(jīng)濟(jì)分配和節(jié)點(diǎn)邊際電價(jià)由安全約束經(jīng)濟(jì)調(diào)度模型確定。

在該模型框架中,市場(chǎng)化差價(jià)合同部分的預(yù)期出力曲線及現(xiàn)貨價(jià)格由現(xiàn)貨市場(chǎng)出清結(jié)果確定；政府授權(quán)差價(jià)合同的價(jià)格及曲線均在現(xiàn)貨市場(chǎng)前確定；各發(fā)電商基于差價(jià)合同、自身成本及風(fēng)險(xiǎn)偏好等信息優(yōu)化其報(bào)價(jià)策略；現(xiàn)貨市場(chǎng)綜合所有報(bào)價(jià)信息進(jìn)行多個(gè)新能源預(yù)測(cè)出力或負(fù)荷需求場(chǎng)景的出清計(jì)算,并將出清結(jié)果反饋給各發(fā)電商,確定其在現(xiàn)貨市場(chǎng)和合同市場(chǎng)的結(jié)算收益,以此作為發(fā)電商優(yōu)化決策的依據(jù)。以此循環(huán),直至達(dá)到納什均衡。

其他假設(shè)描述如下:

1）合同結(jié)算點(diǎn)默認(rèn)為機(jī)組所在節(jié)點(diǎn),實(shí)際中可通過購(gòu)售雙方協(xié)商或借助金融輸電權(quán)實(shí)現(xiàn)。

2）文獻(xiàn)［21］論證了實(shí)現(xiàn)確定的現(xiàn)貨市場(chǎng)均衡狀態(tài)的前提是報(bào)價(jià)曲線的斜率和截距只能有一個(gè)是獨(dú)立決策變量；文獻(xiàn)［22］在理論上證明了差價(jià)合同主要影響報(bào)價(jià)曲線截距。鑒于此,本文以截距倍率ki（0≤ki≤Kmax）作為機(jī)組i在現(xiàn)貨市場(chǎng)中報(bào)價(jià)的決策變量,報(bào)價(jià)曲線由ki與邊際成本曲線截距的乘積,以及邊際成本曲線斜率共同形成,其中Kmax為報(bào)價(jià)決策變量的上限值。ki=1 表示機(jī)組i按照實(shí)際的邊際成本報(bào)價(jià)；ki＞1 或ki＜1 表示機(jī)組i按照高于或低于實(shí)際的邊際成本報(bào)價(jià)。

1.2 市場(chǎng)化差價(jià)合同的確定

不失一般性,本文以期望出力曲線與合同比例的乘積結(jié)果作為機(jī)組簽訂的最終差價(jià)合同曲線,即:

對(duì)于合同價(jià)格,根據(jù)“現(xiàn)貨-期貨平價(jià)定理”［23］,當(dāng)市場(chǎng)流動(dòng)性充裕、購(gòu)售主體均為理性且風(fēng)險(xiǎn)中立時(shí),合同價(jià)格將趨近于現(xiàn)貨市場(chǎng)價(jià)格期望值?？紤]到實(shí)際電力差價(jià)合同市場(chǎng)的流動(dòng)性相對(duì)不足,并且市場(chǎng)主體風(fēng)險(xiǎn)偏好會(huì)對(duì)其簽訂的合同價(jià)格造成影響,本文以與合同覆蓋范圍內(nèi)現(xiàn)貨市場(chǎng)價(jià)格期望值的偏差表示合同價(jià)格,即

1.3 政府授權(quán)差價(jià)合同的確定

鑒于此,本文在不考慮差價(jià)合同（F=0）的電力現(xiàn)貨市場(chǎng)均衡結(jié)果基礎(chǔ)上,首先按照裝機(jī)容量比例分配確定各機(jī)組的最大合同電量（F=1）,并考慮各機(jī)組的合同覆蓋率F要求進(jìn)行折算,確定其合同電量；繼而,根據(jù)均衡結(jié)果中對(duì)應(yīng)機(jī)組的出力曲線形狀進(jìn)行電量分解,確定政府授權(quán)合同曲線,表示如下:

1.4 發(fā)電商報(bào)價(jià)決策模型

發(fā)電商可擁有多臺(tái)機(jī)組,對(duì)于任一發(fā)電商j,其通過優(yōu)化現(xiàn)貨市場(chǎng)的報(bào)價(jià)策略,力求實(shí)現(xiàn)總利潤(rùn)最大化和風(fēng)險(xiǎn)最小化的目標(biāo)。以CVaR 衡量發(fā)電商的低利潤(rùn)風(fēng)險(xiǎn),建立各發(fā)電商報(bào)價(jià)決策的隨機(jī)優(yōu)化模型。

1）目標(biāo)函數(shù)

式（5）是發(fā)電商j效用最大化目標(biāo)函數(shù),包含利潤(rùn)期望和風(fēng)險(xiǎn)效用兩部分。利潤(rùn)期望由所屬各機(jī)組的差價(jià)合同收益、現(xiàn)貨市場(chǎng)收益和發(fā)電總成本組成,其中現(xiàn)貨市場(chǎng)中各機(jī)組發(fā)電量按所在節(jié)點(diǎn)電價(jià)進(jìn)行結(jié)算；風(fēng)險(xiǎn)效用部分由風(fēng)險(xiǎn)偏好和在α置信度水平下的CVaR 值組成。

對(duì)于市場(chǎng)化差價(jià)合同,結(jié)合式（1）和式（2）,式（6）可寫為:

合同市場(chǎng)總期望收益可化簡(jiǎn)為:

目標(biāo)函數(shù)式（5）可整理為:

通過式（12）可以看到,在市場(chǎng)流動(dòng)性充裕（χi=1）的理想情況下,當(dāng)發(fā)電商j屬于風(fēng)險(xiǎn)中立（φj=0,ei=0,i∈φj）時(shí),其差價(jià)合同的期望收益為0,總利潤(rùn)不受差價(jià)合同影響；當(dāng)發(fā)電商j屬于風(fēng)險(xiǎn)厭惡（φj＞0,ei＜0,i∈φj）時(shí),差價(jià)合同的期望收益為負(fù),并且隨著其風(fēng)險(xiǎn)厭惡程度和合同比例增大,總期望利潤(rùn)也會(huì)變小。總之,差價(jià)合同在減少發(fā)電商期望收益（付出風(fēng)險(xiǎn)貼水）的同時(shí),也提高了可能的最小收益（減少了可能的最大損失）,對(duì)發(fā)電商而言,起到了風(fēng)險(xiǎn)對(duì)沖的作用。

對(duì)于政府授權(quán)差價(jià)合同,式（6）可整理為:

目標(biāo)函數(shù)式（5）為:

2）約束條件

1.5 現(xiàn)貨市場(chǎng)出清模型

現(xiàn)貨市場(chǎng)以新能源預(yù)測(cè)出力作為邊界條件。為保證出清結(jié)果的最優(yōu)性和合理性,避免出現(xiàn)末時(shí)段大量機(jī)組停機(jī)的不合理結(jié)果,采用前瞻性安全約束機(jī)組組合和經(jīng)濟(jì)調(diào)度的組合模型構(gòu)成下層現(xiàn)貨市場(chǎng)出清模型。

前瞻性安全約束機(jī)組組合模型的目標(biāo)函數(shù)為:

式 中:ηi,t,Ω為 啟 機(jī) 狀 態(tài) 轉(zhuǎn) 換 變 量,當(dāng) 且 僅 當(dāng)ui,t,Ω=1且ui,t-1,Ω=0 時(shí),ηi,t,Ω=1,否則,ηi,t,Ω=0；T2為考慮前瞻性的總時(shí)段集合。

約束條件包括系統(tǒng)功率平衡約束、系統(tǒng)備用約束、負(fù)荷需求約束、發(fā)電機(jī)組運(yùn)行特性約束、網(wǎng)絡(luò)潮流約束等（見附錄A）。

在整個(gè)模型框架中,發(fā)電商報(bào)價(jià)決策模型的變量ki（i∈φj）決定了現(xiàn)貨市場(chǎng)的報(bào)價(jià)信息,市場(chǎng)優(yōu)化出清得到的ui,t,Ω、gi,t,Ω、λi,t,Ω等結(jié)果反饋給各發(fā)電商,以確定其差價(jià)合同和現(xiàn)貨市場(chǎng)的總收益。通過不斷交互迭代,最終實(shí)現(xiàn)均衡。

2 基于風(fēng)險(xiǎn)管理多智能體深度強(qiáng)化學(xué)習(xí)的模型求解

整個(gè)模型框架可基于風(fēng)險(xiǎn)管理的多智能體深度強(qiáng)化學(xué)習(xí)方法進(jìn)行迭代求解。本文在多智能體深度確定性策略梯度（multi-agent deep deterministic policy gradient,MADDPG）［26］算 法 基 礎(chǔ) 上,通 過 改進(jìn)提出了風(fēng)險(xiǎn)管理的多智能體深度確定性策略梯度（risk-managing MADDPG,RM-MADDPG）算法。其中,現(xiàn)貨市場(chǎng)出清模型屬于混合整數(shù)二次規(guī)劃問題,可借助商用求解器Gurobi 進(jìn)行優(yōu)化計(jì)算。

2.1 深度強(qiáng)化學(xué)習(xí)要素設(shè)置

RM-MADDPG 基于馬爾可夫決策過程建立,以各發(fā)電商作為有自主學(xué)習(xí)能力的智能體（agent）,而將與之交互的合同市場(chǎng)和現(xiàn)貨市場(chǎng)作為環(huán)境。其要素包括:

1）狀態(tài)s:以各機(jī)組的差價(jià)合同比例（或覆蓋率）、上一輪交互各機(jī)組加權(quán)平均電價(jià)的期望值λ1,d-1,λ2,d-1,…,λI,d-1, 作 為 狀 態(tài)sd={Z1,Z2,…,ZI,λ1,d-1,λ2,d-1,…,λI,d-1}（或sd={F1,F2,…,FI,λ1,d-1,λ2,d-1,…,λI,d-1}）∈S,其中,I為參與市場(chǎng)競(jìng)爭(zhēng)的機(jī)組總數(shù)；S為狀態(tài)集合；下標(biāo)d為強(qiáng)化學(xué)習(xí)的交互次數(shù)。

2）動(dòng)作a:智能體j的動(dòng)作是所屬機(jī)組報(bào)價(jià)決策變量kj的集合,kj∈A=［0,Kmax］,所有機(jī)組的聯(lián)合動(dòng)作集合表示為O={a1,a2,…,aI}；A為動(dòng)作空間的集合。

3）策略μθ:以狀態(tài)和動(dòng)作間的映射關(guān)系表示μθ:S→A,θ為參數(shù),根據(jù)狀態(tài)s獲得確定的動(dòng)作,即a～μθ（s）。

5）智能體的狀態(tài)轉(zhuǎn)移由市場(chǎng)出清過程決定；狀態(tài)-動(dòng)作值函 數(shù)Q(s,a)=Ea～μθ{rtot,j|(s,a)},定 義為在狀態(tài)s下選擇動(dòng)作a并隨后采用策略μθ所得到的累積回報(bào)的期望值；E{·}為期望函數(shù)。

在MADDPG 基礎(chǔ)上,本文所提RM-MADDPG算法主要從3 個(gè)方面進(jìn)行改進(jìn):一是與隨機(jī)優(yōu)化模型相契合,修改了原算法中經(jīng)驗(yàn)儲(chǔ)存及采樣的信息集,以適應(yīng)從單一場(chǎng)景到多場(chǎng)景的拓展；二是增加了風(fēng)險(xiǎn)參數(shù)估計(jì)模塊,將風(fēng)險(xiǎn)值和智能體偏好反映到策略網(wǎng)絡(luò)和值網(wǎng)絡(luò)的更新學(xué)習(xí)之中,以實(shí)現(xiàn)發(fā)電商報(bào)價(jià)決策的優(yōu)化目標(biāo)；三是結(jié)合風(fēng)險(xiǎn)約束強(qiáng)化學(xué)習(xí)（risk-constrained RL）的理論研究成果［27］,明確了策略網(wǎng)絡(luò)和值網(wǎng)絡(luò)學(xué)習(xí)速率的配合關(guān)系,以保證算法的收斂性。

2.2 RM-MADDPG 框架

RM-MADDPG 框架如圖2 所示。各智能體主要由策略網(wǎng)絡(luò)（Actor）、Q 網(wǎng)絡(luò)（Critic）和風(fēng)險(xiǎn)參數(shù)估計(jì)3 個(gè)部分構(gòu)成。策略網(wǎng)絡(luò)包括參數(shù)為θ的主策略網(wǎng)絡(luò)（actor online network,AON）和參數(shù)為θ′的目標(biāo)策略網(wǎng)絡(luò)（actor target network,ATN）；Q 網(wǎng)絡(luò)包括 參 數(shù) 為ω的 主Q 網(wǎng) 絡(luò)（critic online network,CON）和 參 數(shù) 為ω′的 目 標(biāo)Q 網(wǎng) 絡(luò)（critic target network,CTN）。其中,策略網(wǎng)絡(luò)的功能是根據(jù)狀態(tài)s和確定性策略μθ選擇動(dòng)作a,與環(huán)境進(jìn)行交互；Q網(wǎng)絡(luò)的作用是對(duì)策略網(wǎng)絡(luò)的行為進(jìn)行評(píng)價(jià),并指導(dǎo)其后續(xù)動(dòng)作；風(fēng)險(xiǎn)參數(shù)估計(jì)部分是通過對(duì)風(fēng)險(xiǎn)參數(shù)δj,Ω和νj的估計(jì),評(píng)估相應(yīng)動(dòng)作可能面臨的風(fēng)險(xiǎn),使智能體的決策計(jì)及風(fēng)險(xiǎn)因素的影響。主網(wǎng)絡(luò)（AON、CON）采用梯度方式進(jìn)行訓(xùn)練和更新,目標(biāo)網(wǎng)絡(luò)（ATN、CTN）定期從主網(wǎng)絡(luò)復(fù)制參數(shù),并采用軟更新方式進(jìn)行訓(xùn)練。策略網(wǎng)絡(luò)各層的神經(jīng)元分別以修正線性單元（rectified linear unit,ReLU）和雙曲正切函數(shù)（tanh）作為激活函數(shù)；Q 網(wǎng)絡(luò)各層的神經(jīng)元分別以ReLU 和線性函數(shù)（linear）作為激活函數(shù)。整個(gè)框架采用集中訓(xùn)練和分散執(zhí)行方式進(jìn)行,詳細(xì)過程見附錄B。

圖2 RM-MADDPG 框架圖Fig.2 Framework diagram of RM-MADDPG

式中:ε為衰減率,通常為極小的正數(shù)；MB為儲(chǔ)存器Bj儲(chǔ)存的總次數(shù)；Mtrain為訓(xùn)練總次數(shù)。

2）風(fēng)險(xiǎn)參數(shù)估計(jì)

通常情況下,CVaR 難以直接計(jì)算。為滿足式（15）中的風(fēng)險(xiǎn)約束,可基于樣本數(shù)據(jù)對(duì)CVaR 進(jìn)行估計(jì):

式中:νj,1-α取rj,d,Ω序列的1-α分位數(shù)；rj,n,Ω為場(chǎng)景Ω下智能體j的第n個(gè)樣本的回報(bào)。

3）主Q 網(wǎng)絡(luò)訓(xùn)練

主Q 網(wǎng)絡(luò)的訓(xùn)練目標(biāo)是最小化樣本Q值和目標(biāo)Q值之間的均方差,其誤差函數(shù)L(ωj)為:

根據(jù)自動(dòng)微分技術(shù)［28］可計(jì)算其梯度,ωj按下式更新:

式中:ζ2為主Q 網(wǎng)絡(luò)的學(xué)習(xí)速率。

4）主策略網(wǎng)絡(luò)訓(xùn)練

確定性策略J(μθj)梯度公式為:

根據(jù)蒙特卡洛方法,將采樣數(shù)據(jù)集代入式（23）,可以作為對(duì)該期望的一個(gè)無偏估計(jì)值,將該式改寫為采樣策略梯度:

式中:ζ1為主策略網(wǎng)絡(luò)的學(xué)習(xí)速率。

5）更新目標(biāo)網(wǎng)絡(luò)參數(shù)

式中:τ 為目標(biāo)網(wǎng)絡(luò)的學(xué)習(xí)速率。

為保證算法的收斂性,主網(wǎng)絡(luò)學(xué)習(xí)速率ζ1和ζ2應(yīng)滿足以下約束:

式中:o(·)表示高階無窮小。

整個(gè)算法基于PyTorch 和Gurobi 框架進(jìn)行編程和計(jì)算。

3 算例分析

3.1 算例基礎(chǔ)及參數(shù)設(shè)置

本文采用文獻(xiàn)［29］的算例數(shù)據(jù),共包含30 個(gè)節(jié)點(diǎn)、41 條線路、6 臺(tái)火電機(jī)組和20 個(gè)負(fù)荷,并在節(jié)點(diǎn)29 處增加1 個(gè)新能源場(chǎng)站。火電機(jī)組的其他運(yùn)行參數(shù)及節(jié)點(diǎn)負(fù)荷分布因子分別見附錄C 表C1 和表C2。通過3 個(gè)負(fù)荷需求場(chǎng)景和3 個(gè)新能源典型出力場(chǎng)景組合形成9 個(gè)凈負(fù)荷場(chǎng)景（見附錄C 圖C1）,各負(fù)荷場(chǎng)景下負(fù)荷需求曲線的斜率按照該場(chǎng)景與中負(fù)荷場(chǎng)景的負(fù)荷比例縮放形成。算例考慮相同合同覆蓋率（合同比例）情況,此時(shí)狀態(tài)空間可縮減為7 維。

神經(jīng)網(wǎng)絡(luò)由輸入層、2 個(gè)隱藏層和輸出層構(gòu)成,策略網(wǎng)絡(luò)各層的神經(jīng)元個(gè)數(shù)分別設(shè)置為7、128、64和發(fā)電商所擁有的機(jī)組數(shù),分別以ReLU 和tanh 函數(shù)作為2 個(gè)隱藏層和輸出層的激活函數(shù)；Q 網(wǎng)絡(luò)各層的神經(jīng)元個(gè)數(shù)分別設(shè)置為狀態(tài)s和動(dòng)作集O的總維數(shù)13、128、64、1,分別以ReLU 和linear 函數(shù)作為2 個(gè)隱藏層和輸出層的激活函數(shù)。由于tanh 函數(shù)輸出值a′的取值范圍為［-1,1］,因此,需按a=（a′+1）Kmax/2 縮放到合適的報(bào)價(jià)動(dòng)作區(qū)間［0,Kmax］。主網(wǎng)絡(luò)采用Adam 優(yōu)化器［30］進(jìn)行訓(xùn)練。其他參數(shù)為ζ1=0.001（d-MB）-0.36,ζ2=0.001（d-MB）-0.34,Δt=1 h,Kmax=3,α=0.95,ε=0.001,τ=0.01,γ=0,MB=1 000,Mmax=6 500,Mtrain=6 200,Wbat=80。

下面重點(diǎn)分析合同市場(chǎng)流動(dòng)性充裕（χi=1）、每個(gè)發(fā)電商擁有1 臺(tái)機(jī)組的理想情況。在此基礎(chǔ)上,附錄D 給出發(fā)電商擁有多臺(tái)機(jī)組、合同市場(chǎng)流動(dòng)性不足等案例,進(jìn)一步探討其對(duì)結(jié)果的影響。

3.2 考慮風(fēng)險(xiǎn)偏好的電力現(xiàn)貨市場(chǎng)均衡結(jié)果分析

在不計(jì)及差價(jià)合同時(shí),設(shè)置表1 中4 種不同風(fēng)險(xiǎn)偏好特征的案例,其中Ⅰ和Ⅱ分別是風(fēng)險(xiǎn)愛好型和風(fēng)險(xiǎn)中立型案例,Ⅲ和Ⅳ為風(fēng)險(xiǎn)厭惡型案例。

表1 不同風(fēng)險(xiǎn)偏好特征案例信息Table 1 Case information of different risk-preference features

通過各案例下的電力現(xiàn)貨市場(chǎng)均衡結(jié)果（見圖3）可以看到,風(fēng)險(xiǎn)愛好型發(fā)電商傾向于抬高報(bào)價(jià),在承擔(dān)一定風(fēng)險(xiǎn)的同時(shí)追求可能的更高收益；而隨著風(fēng)險(xiǎn)厭惡程度增加,發(fā)電商報(bào)價(jià)逐步降低,但并不低于實(shí)際邊際成本。特別地,G5 機(jī)組由于具備位置優(yōu)勢(shì),大多數(shù)情況下其節(jié)點(diǎn)價(jià)格由其他機(jī)組決定,且高于發(fā)電側(cè)平均電價(jià),該機(jī)組常采用價(jià)格接受者的策略,通過最大化中標(biāo)電量的方式提高利潤(rùn)。而在案例Ⅲ中G5 機(jī)組風(fēng)險(xiǎn)厭惡程度較高的情況下,為避免極端情況下可能的虧損情況,其報(bào)價(jià)策略轉(zhuǎn)變?yōu)椴捎媒咏趯?shí)際邊際成本的報(bào)價(jià)。

圖3 各案例k 值對(duì)比結(jié)果Fig.3 Comparison results of k values in each case

附錄C 圖C2 展示了各案例下機(jī)組的利潤(rùn)水平和風(fēng)險(xiǎn)情況,案例Ⅰ各場(chǎng)景的市場(chǎng)出清結(jié)果見附錄C 圖C3?？梢钥吹?部分機(jī)組有能力通過調(diào)整自身報(bào)價(jià)策略并影響其他機(jī)組報(bào)價(jià)決策,進(jìn)而在一定程度上改變市場(chǎng)均衡結(jié)果。以案例Ⅱ和Ⅲ為例,隨著G5、G6 機(jī)組風(fēng)險(xiǎn)厭惡程度的增加,其通過調(diào)整報(bào)價(jià)策略明顯抬高了CVaR 值,實(shí)現(xiàn)了風(fēng)險(xiǎn)規(guī)避。

3.3 計(jì)及市場(chǎng)化差價(jià)合同和風(fēng)險(xiǎn)偏好的市場(chǎng)均衡結(jié)果分析

本節(jié)重點(diǎn)分析表1 中Ⅰ至Ⅲ這3 個(gè)案例,其中e取對(duì)應(yīng)φ值的-5%。圖4 展示了不同比例市場(chǎng)化差價(jià)合同下各案例的均衡情況?？梢钥吹?差價(jià)合同比例及發(fā)電商的風(fēng)險(xiǎn)偏好特征會(huì)作用于自身報(bào)價(jià)決策,進(jìn)而影響其他發(fā)電商的報(bào)價(jià)策略,最終達(dá)到新的市場(chǎng)均衡狀態(tài)。

圖4 不同合同比例下k 值對(duì)比結(jié)果Fig.4 Comparison results of k values with different contract ratios

1）不考慮風(fēng)險(xiǎn)偏好時(shí)（案例Ⅱ）,發(fā)電商報(bào)價(jià)決策不受市場(chǎng)化差價(jià)合同影響。因?yàn)楫?dāng)發(fā)電商為風(fēng)險(xiǎn)中立時(shí),合同價(jià)格接近于現(xiàn)貨價(jià)格期望值,不同比例差價(jià)合同并不會(huì)對(duì)發(fā)電商的期望利潤(rùn)造成影響。

2）相同比例合同情況下,隨著發(fā)電商風(fēng)險(xiǎn)厭惡程度逐步提高,其報(bào)價(jià)呈降低趨勢(shì)。

3）隨著合同比例增大,風(fēng)險(xiǎn)愛好型發(fā)電商傾向于抬高報(bào)價(jià),均衡結(jié)果中機(jī)組期望利潤(rùn)也隨之增加；風(fēng)險(xiǎn)厭惡型發(fā)電商會(huì)略微降低報(bào)價(jià),均衡結(jié)果中機(jī)組期望利潤(rùn)也隨之降低。

4）當(dāng)合同比例Z=1 時(shí),市場(chǎng)均衡狀態(tài)并非完全競(jìng)爭(zhēng)水平。這是因?yàn)楹贤瑑r(jià)格與現(xiàn)貨市場(chǎng)價(jià)格聯(lián)動(dòng),若發(fā)電商接近于邊際成本報(bào)價(jià)（k=1）,則將使差價(jià)合同及現(xiàn)貨市場(chǎng)的結(jié)算收益減少,與效用最大化的目標(biāo)背道而馳。

3.4 計(jì)及政府授權(quán)差價(jià)合同和風(fēng)險(xiǎn)偏好的市場(chǎng)均衡結(jié)果分析

基于均衡結(jié)果確定的政府授權(quán)差價(jià)合同曲線如附錄C 圖C4 所示,合同價(jià)格設(shè)定為38 元/（MW·h）。在此邊界下,不同合同覆蓋率的均衡情況如圖5所示。

圖5 不同合同覆蓋率下k 值對(duì)比結(jié)果Fig.5 Comparison results of k values with different contract coverage ratios

可以看到,2 類差價(jià)合同對(duì)發(fā)電商報(bào)價(jià)的影響有一定相似性,而政府授權(quán)差價(jià)合同對(duì)市場(chǎng)均衡的影響更為明顯,主要體現(xiàn)在以下3 個(gè)方面:

1）無論是風(fēng)險(xiǎn)偏好變化的機(jī)組G5 和G6,還是風(fēng)險(xiǎn)偏好不變的G1 至G4,其報(bào)價(jià)均隨合同覆蓋率的增加而降低。相較于考慮市場(chǎng)化差價(jià)合同的結(jié)果,政府授權(quán)差價(jià)合同下機(jī)組報(bào)價(jià)隨合同覆蓋率變化的幅度更大。

2）政府授權(quán)差價(jià)合同會(huì)對(duì)風(fēng)險(xiǎn)中立型發(fā)電商（案例Ⅱ）的報(bào)價(jià)策略產(chǎn)生影響,隨著合同覆蓋率的增加,發(fā)電商報(bào)價(jià)明顯降低。這與政府授權(quán)差價(jià)合同對(duì)風(fēng)險(xiǎn)厭惡型發(fā)電商的影響類似。

3）在F=1 時(shí)的合同覆蓋率下,接近于邊際成本報(bào)價(jià)（k=1,偏差取決于各機(jī)組差價(jià)合同總電量與實(shí)際總發(fā)電量的差異）是發(fā)電商實(shí)現(xiàn)效用最大化的最優(yōu)策略。即表明,當(dāng)合同覆蓋率F=1 時(shí),現(xiàn)貨市場(chǎng)接近于完全競(jìng)爭(zhēng)。

附錄C 圖C5 展示了不同合同價(jià)格情況下案例Ⅲ的市場(chǎng)報(bào)價(jià)變化趨勢(shì),明確了政府授權(quán)差價(jià)合同價(jià)格的設(shè)定并不會(huì)對(duì)市場(chǎng)均衡結(jié)果產(chǎn)生影響。

4 結(jié)語

本文針對(duì)實(shí)際電力市場(chǎng)中差價(jià)合同及市場(chǎng)主體風(fēng)險(xiǎn)偏好問題,完整提出了考慮風(fēng)險(xiǎn)管理的電力市場(chǎng)多時(shí)段均衡分析方法。優(yōu)化結(jié)果表明,本文所提模型和方法可以有效計(jì)及市場(chǎng)主體在差價(jià)合同和現(xiàn)貨市場(chǎng)中進(jìn)行風(fēng)險(xiǎn)管理的影響,模擬多時(shí)段的電力市場(chǎng)均衡情況,為電力市場(chǎng)的機(jī)制設(shè)計(jì)和運(yùn)行分析提供實(shí)用化的數(shù)值分析工具。相關(guān)結(jié)論和建議如下:

1）市場(chǎng)主體風(fēng)險(xiǎn)偏好和電力差價(jià)合同會(huì)對(duì)市場(chǎng)運(yùn)營(yíng)產(chǎn)生較大影響,市場(chǎng)設(shè)計(jì)需統(tǒng)籌考慮。

2）電力差價(jià)合同可以為市場(chǎng)主體提供有效的風(fēng)險(xiǎn)管理手段。市場(chǎng)化合同主要通過縮小各場(chǎng)景的利潤(rùn)偏差,控制市場(chǎng)風(fēng)險(xiǎn)可能給市場(chǎng)主體造成的損失來發(fā)揮風(fēng)險(xiǎn)管理作用,其產(chǎn)品設(shè)計(jì)應(yīng)注重提高合同市場(chǎng)的流動(dòng)性,如設(shè)置標(biāo)準(zhǔn)化產(chǎn)品和樞紐節(jié)點(diǎn)、優(yōu)化交易機(jī)制、擴(kuò)大主體范圍等。

3）政府授權(quán)差價(jià)合同對(duì)市場(chǎng)均衡的影響顯著,對(duì)市場(chǎng)主體行為的約束力較強(qiáng),有利于中國(guó)現(xiàn)貨市場(chǎng)穩(wěn)妥起步。建議采用本文方法在事前確定合同曲線,盡量減少因事后合同電量分解不合理造成的公平性或市場(chǎng)低效問題。

4）設(shè)置合適的差價(jià)合同覆蓋率（或合同比例）要求,無論對(duì)市場(chǎng)主體管理交易風(fēng)險(xiǎn),還是對(duì)監(jiān)管機(jī)構(gòu)管控市場(chǎng)力、促進(jìn)電力市場(chǎng)高效運(yùn)營(yíng)都有積極意義。

本文研究以新能源出力作為市場(chǎng)邊界,暫未考慮新能源主動(dòng)參與市場(chǎng)的影響。為適應(yīng)未來以新能源為主體的新型電力系統(tǒng),市場(chǎng)均衡分析方法還需完善對(duì)新能源參與市場(chǎng)的考慮,在此基礎(chǔ)上探討適用于新型電力系統(tǒng)的市場(chǎng)機(jī)制設(shè)計(jì)方法,這將是后續(xù)的研究重點(diǎn)。