協(xié)同進(jìn)化遺傳算法在電力市場(chǎng)ACE仿真中的應(yīng)用

劉故帥，胡新剛，劉金剛，張 揚(yáng)，王 欣

（國(guó)網(wǎng)山東省電力公司淄博供電公司，山東 淄博 255032）

0 引言

隨著電力增量市場(chǎng)開放程度的進(jìn)一步深化，電能供應(yīng)者將發(fā)生巨大的變化。同時(shí)，更多的電動(dòng)汽車（Electrical Vehicle，EV）參與到電力市場(chǎng)交易中，使得電力市場(chǎng)的交易策略發(fā)生了相應(yīng)的變化［1］。

目前，電能交易合同將在具有簽訂潛力的多個(gè)交易方之間進(jìn)行高頻次（約每天幾次）的談判［2］，該談判是在當(dāng)?shù)氐挠秒娦枨蠛碗娔苡嗔康幕A(chǔ)上進(jìn)行的。實(shí)踐表明基于代理的計(jì)算經(jīng)濟(jì)學(xué) （Agent-based Computational Economics，ACE）可以很好地仿真多個(gè)交易方之間的交易過(guò)程［3］。而市場(chǎng)參與者中的小余量個(gè)體（例如某時(shí)刻單臺(tái)EV的可交易容量）幾乎不會(huì)手動(dòng)處理多代理系統(tǒng) （Multi-agent System，MAS）因其自主性將會(huì)是用戶很好的選擇［4］。關(guān)于EV的研究主要集中在EV充電站優(yōu)化布局［5-6］及EV優(yōu)化調(diào)度［7］和對(duì)電網(wǎng)安全運(yùn)行的方面［8］，關(guān)于 EV 在電力市場(chǎng)中的供用電角色演變的相關(guān)文獻(xiàn)主要停留在研究大規(guī)模EV充放電對(duì)配網(wǎng)的峰谷差的影響層次上，較少涉及EV參與電力市場(chǎng)后的交易策略仿真研究。MAS應(yīng)用方面，文獻(xiàn)［9］將MAS應(yīng)用于主動(dòng)配電網(wǎng)中進(jìn)行分布式電源自治分析，文獻(xiàn)［10］則從主動(dòng)配電網(wǎng)故障診斷角度給出了MAS的應(yīng)用方法。MAS在EV中的應(yīng)用方面，文獻(xiàn)［11］通過(guò)Agent機(jī)構(gòu)實(shí)現(xiàn)了EV的充放電控制，但是沒(méi)有分析EV對(duì)電力市場(chǎng)的影響。目前，基于MAS的EV參與電力市場(chǎng)交易仿真的研究較少。

在V2G模式下，建立電力市場(chǎng)ACE三方交易仿真模型，并通過(guò)協(xié)同進(jìn)化遺傳算法實(shí)現(xiàn)了多個(gè)交易方的市場(chǎng)博弈納什均衡。創(chuàng)新之處在于適應(yīng)了少數(shù)交易方和隨機(jī)博弈對(duì)電力市場(chǎng)交易問(wèn)題的影響，便于對(duì)交易各方的博弈策略進(jìn)行建模，并通過(guò)市場(chǎng)均衡價(jià)格的波動(dòng)來(lái)評(píng)價(jià)交易策略的優(yōu)劣。

1 V2G模式下電力市場(chǎng)特性分析

1.1 MAS基本架構(gòu)

MAS的架構(gòu)體系分為3層，下層是由EV組成的代理 EVA（Electric Vehicle Agent），中層是基于配網(wǎng)線路節(jié)點(diǎn)的代理NA（Node Agent），上層是基于母線的代理BA（Bus Agent）。一定區(qū)域內(nèi)的EV由同一個(gè)EVA代理，同理，幾個(gè)地理相近的、負(fù)荷特性相同的用戶負(fù)荷節(jié)點(diǎn)由同一個(gè)NA代理，同一母線引出的分支線由同一個(gè)BA代理。同一層Agent之間時(shí)刻進(jìn)行信息交互，Agent除收集被代理方的數(shù)據(jù)外，還為各交易方提供在談判輪次中可能采取的行為制定電力策略，各級(jí)Agent將電價(jià)策略上傳至MAS交易中心進(jìn)行博弈，MAS交易中心統(tǒng)籌決策，并及時(shí)將市場(chǎng)交易信息反饋至各級(jí)Agent。MAS基本架構(gòu)如圖1所示。

圖1 MAS的構(gòu)架

兩種不同類型的供電方，即電網(wǎng)公司和EV群，兩者采用不同的價(jià)格策略，前者采用固定但價(jià)格更高的策略，而后者為用戶提供更便宜但是價(jià)格變化的策略。這使得電力市場(chǎng)的價(jià)格場(chǎng)景更加復(fù)雜。通過(guò)簡(jiǎn)化交易方的基本元素建立ACE仿真模型，使得這種復(fù)雜的電力市場(chǎng)環(huán)境與博弈論聯(lián)系起來(lái)。

1.2 電力市場(chǎng)特性分析

電力市場(chǎng)ACE仿真存在大量的多方并行交互博弈行為，而MAS是研究并行交易的有效工具。新電改背景下電力市場(chǎng)呈現(xiàn)出新的競(jìng)爭(zhēng)姿態(tài)，其中EV的并網(wǎng)交易具有電力市場(chǎng)參與者的一般特性［12］。

1）主動(dòng)性：EVA等各級(jí)Agent在電力市場(chǎng)交易過(guò)程中主動(dòng)理性的追求自身效益最大化。

2）社會(huì)能力：EVA等各級(jí)Agent在MAS交易中心的決策調(diào)控引導(dǎo)下互相影響、互相制約，具有一定的社會(huì)屬性。

3）動(dòng)態(tài)學(xué)習(xí)能力：在不同時(shí)間節(jié)點(diǎn)，各級(jí)Agent根據(jù)電力市場(chǎng)實(shí)時(shí)交易信息主動(dòng)修改自身策略以適應(yīng)最優(yōu)效益的約束。

電力市場(chǎng)是高度開放的，社會(huì)資本（包括EV群）在滿足準(zhǔn)入規(guī)則的前提下可以參與電力市場(chǎng)交易?；贏gent的電力市場(chǎng)仿真的基本思想是通過(guò)簡(jiǎn)化市場(chǎng)參與者的基本要素，模擬實(shí)際電力市場(chǎng)的交易過(guò)程，每個(gè)供電Agent的目標(biāo)是經(jīng)濟(jì)效益，用戶Agent則是設(shè)法獲取滿足自身能量需求的最低電價(jià)合同，每個(gè)市場(chǎng)參與者將自己的目標(biāo)下達(dá)給Agent后，MAS能夠自動(dòng)完成交易。

2 電力市場(chǎng)ACE仿真

2.1 ACE仿真模型

ACE是通過(guò)Agent的方式為電力市場(chǎng)各成員實(shí)現(xiàn)自身經(jīng)濟(jì)最優(yōu)，并在計(jì)算機(jī)上仿真以獲取交易決策。

基于博弈論建立ACE仿真模型，博弈的參與者是電網(wǎng)公司、EV群和用戶，交易時(shí)間設(shè)為1天，交易間隔設(shè)為60 min，假設(shè)博弈過(guò)程中各方之間的交易信息公開且互相之間不進(jìn)行商議，即本模型為完全信息的非合作動(dòng)態(tài)模型。各方獨(dú)立參與博弈直至達(dá)到納什均衡狀態(tài)，即任一交易方改變自身電價(jià)策略都將使其收益減少。

智能Agent的談判程序和平衡規(guī)則：第1步，需要通過(guò)收集每個(gè)用戶的負(fù)荷需求信息和EV群的電能余量預(yù)測(cè)值，避免大量無(wú)用的電能生產(chǎn)；第2步，NA按照地理位置的遠(yuǎn)近，優(yōu)先選擇距離近且價(jià)格低的供電方，交易策略選定后EVA仍然剩余的電量上傳至電網(wǎng)公司，若由于上傳剩余電量所產(chǎn)生的收益小于成本時(shí)則算作棄能損耗，并計(jì)入EVA的成本中，棄能損耗成本系數(shù)用表示，其單位是元/kWh，直至遍歷所有供電方；第3步，若此時(shí)NA的用電需求還沒(méi)有被滿足，則由電網(wǎng)公司提供需求缺額［13］。

2.2 電力市場(chǎng)成員仿真

2.2.1 EV群收益模型

模型假設(shè)：1）充電樁均可雙向充放電；2）EV車主為理性人，即所有有電能余量的EV均參與市場(chǎng)交易，并將實(shí)時(shí)電能余量上傳至EVA；3）電網(wǎng)公司實(shí)行階梯電價(jià)，高峰時(shí)段電價(jià)pp和低谷時(shí)段電價(jià)pv均按平時(shí)段電價(jià)pu的60%上下浮動(dòng)，尖峰時(shí)段電價(jià)pa按平時(shí)段電價(jià)上浮 80%［14］。

假設(shè)EV車主在每個(gè)交易日開始時(shí)保證EV充滿電，EV在電力市場(chǎng)交易過(guò)程中通過(guò)放電套利獲得的收入為

EV的放電套利行為需要電網(wǎng)公司提供一定的配套設(shè)施及相應(yīng)服務(wù)，假設(shè)這類費(fèi)用的系數(shù)為α，單位為元/kWh，則EV的支出為

定義EV的收益YEV為收入與支出的差值為

2.2.2 用戶收益模型

用戶在ACE仿真過(guò)程中是價(jià)格的接受者。用戶的用電需求在電力市場(chǎng)交易過(guò)程中能否以最低電價(jià)滿足自身用電需求是用戶唯一關(guān)心的，EV參與電力市場(chǎng)交易后，用戶不僅可以從傳統(tǒng)電網(wǎng)購(gòu)電，還可以通過(guò)EV放電套利行為獲取電能。假設(shè)：1）用戶負(fù)荷節(jié)點(diǎn)可以預(yù)測(cè)他們下一個(gè)時(shí)間間隔的負(fù)荷需求 （可以通過(guò)讀取先前的用電量和目前電器的能量消耗的方法預(yù)測(cè)獲得）；2）假設(shè)用戶負(fù)荷節(jié)點(diǎn)數(shù)量為n，其中從EV群獲取電量的數(shù)量為nE，從電網(wǎng)公司獲取電量的數(shù)量為nG，滿足n=nE+nG；3）根據(jù)博弈規(guī)則，假設(shè)以用戶的用電需求是否得到滿足作為用戶滿意度的重要參考，用 un，t表示。

式中：β為用戶滿意度系數(shù)，當(dāng)用戶用電需求得到滿足時(shí)取1，其余情況取0。則用戶的效用總值為

用戶的支出費(fèi)用為

式中：lG為電網(wǎng)公司的供電范圍集合，配電網(wǎng)運(yùn)行方式一般為開環(huán)運(yùn)行，因此假設(shè)電網(wǎng)公司位于配電線路首端。lk為EV群k的供電范圍集合，假設(shè)EV群隨機(jī)分布在各個(gè)用戶負(fù)荷節(jié)點(diǎn)附近。

定義用戶的收益YNA為用戶效用INA與支出的差值

2.2.3 電網(wǎng)公司收益模型

電網(wǎng)公司在電力市場(chǎng)交易中是電能的供應(yīng)者，對(duì)接入電網(wǎng)的電力用戶收取電費(fèi)。此外，電網(wǎng)公司通過(guò)V2G服務(wù)向EV收入一定的服務(wù)費(fèi)用。電網(wǎng)公司收入為

電網(wǎng)公司運(yùn)營(yíng)過(guò)程中需要承擔(dān)系統(tǒng)運(yùn)行維護(hù)、設(shè)備維修、人員管理費(fèi)用及網(wǎng)絡(luò)損耗等成本，用可微二次函數(shù)uGc表示成本與電量的關(guān)系。此外，電網(wǎng)公司吸納EV群剩余電量產(chǎn)生的一定的支出，國(guó)家對(duì)于分布式能源并網(wǎng)具有一定力度的鼓勵(lì)政策，假設(shè)補(bǔ)助系數(shù)為μ，則電網(wǎng)公司的總支出為

電網(wǎng)公司收益為

3 協(xié)同進(jìn)化遺傳算法在ACE仿真中的應(yīng)用

協(xié)同進(jìn)化遺傳算法與傳統(tǒng)遺傳算法相比不再是單一種群的迭代尋優(yōu)，而是多個(gè)不同種群之間的協(xié)同進(jìn)化。本文有3個(gè)種群（博弈方），如圖2所示，以電網(wǎng)公司種群迭代尋優(yōu)為例說(shuō)明協(xié)同進(jìn)化的物理意義，即當(dāng)選擇電網(wǎng)公司最優(yōu)電價(jià)策略個(gè)體時(shí)，將其與其他種群目前最優(yōu)電價(jià)策略的代表構(gòu)成組合策略，然后計(jì)算組合策略的適應(yīng)度值，從而評(píng)判此電網(wǎng)公司個(gè)體策略的優(yōu)劣，在每次迭代過(guò)程中，每個(gè)種群代表的策略都與其他種群代表的策略共同構(gòu)成組合策略，以該組合策略所對(duì)應(yīng)的適應(yīng)度函數(shù)值為目標(biāo)進(jìn)行不斷迭代。

圖2 協(xié)同進(jìn)化遺傳算法框架

協(xié)同進(jìn)化遺傳算法實(shí)現(xiàn)步驟如下。

1）讀入?yún)?shù)數(shù)據(jù)，信息初始化。

2）編碼，采用實(shí)數(shù)編碼的方法，組合策略用矩陣p表示：

3）對(duì)不同種群獨(dú)立進(jìn)行選擇、交叉、變異等遺傳算子操作，獲得新的交易策略。

4）將上一次迭代產(chǎn)生的最優(yōu)個(gè)體保留，替換掉本次迭代出現(xiàn)的適應(yīng)度最低的個(gè)體，但上次迭代保留的最優(yōu)個(gè)體也參與選擇、交叉、變異的操作，即保證了群體的多樣性，也避免迭代中出現(xiàn)的優(yōu)秀個(gè)體被破壞。

5）獨(dú)立計(jì)算各個(gè)種群的適應(yīng)度值，通過(guò)協(xié)同進(jìn)化的方式獲取自身最優(yōu)策略。

6）判斷是否遍歷所有種群，是則迭代結(jié)束，否則轉(zhuǎn)入步驟3）。

4 算例

假設(shè)某地區(qū)電網(wǎng)面積為10 km×5 km，其中EV群3個(gè)，用戶負(fù)荷節(jié)點(diǎn)4個(gè)（用戶電量需求參考文獻(xiàn)［13］中關(guān)于用戶典型用電量的假設(shè)），電網(wǎng)公司1個(gè)，地理位置如圖3所示。EV日行駛里程取68.49 km［16］。EV可選放電時(shí)段如圖4所示。EV起始SOC正態(tài)分布如圖5所示。

圖3 地理位置

圖4 EV可選放電時(shí)段

4.1 電價(jià)策略響應(yīng)過(guò)程分析

協(xié)同進(jìn)化過(guò)程可以充分體現(xiàn)各個(gè)市場(chǎng)博弈方主動(dòng)追逐利益的特性，并且在各方互相牽制與互利的協(xié)同進(jìn)化過(guò)程中實(shí)現(xiàn)納什均衡。協(xié)同進(jìn)化遺傳算法代理在迭代過(guò)程中的電價(jià)分布如圖6所示。

圖5 EV起始SOC正態(tài)分布

圖6 電價(jià)分布

圖6中可以看出，在單個(gè)交易時(shí)間點(diǎn)內(nèi)各級(jí)Agent根據(jù)電力市場(chǎng)情況不斷調(diào)整自身報(bào)價(jià)策略，經(jīng)過(guò)多輪報(bào)價(jià)撮合，不斷摒棄次優(yōu)點(diǎn)，最終各輪次報(bào)價(jià)集中在最優(yōu)點(diǎn)附近，各交易方的報(bào)價(jià)策略趨于穩(wěn)定，該過(guò)程說(shuō)明，協(xié)同進(jìn)化遺傳算法是有效的，能夠充分體現(xiàn)ACE過(guò)程的主動(dòng)性、社會(huì)性和MAS動(dòng)態(tài)學(xué)習(xí)能力。由圖6中各交易方數(shù)據(jù)之間的差異性可以得出，在EV群參與下的電力市場(chǎng)多方博弈過(guò)程中，各交易方電價(jià)辨識(shí)度較高。

4.2 電價(jià)策略特性分析

在試驗(yàn)條件完全相同的情況下，分別采用協(xié)同進(jìn)化遺傳算法與Q-Learning算法，通過(guò)多次試驗(yàn)得出的平均數(shù)據(jù)如圖7所示。

圖7 不同代理算法的結(jié)果比較

由圖7中數(shù)據(jù)可以看出，協(xié)同進(jìn)化遺傳算法代理模式下的市場(chǎng)均衡電價(jià)的各時(shí)段平均值比QLearning算法代理的高6.10%，說(shuō)明協(xié)同進(jìn)化遺傳算法代理的報(bào)價(jià)策略可以獲取更大的利潤(rùn)，愿意冒風(fēng)險(xiǎn)，相較而言，協(xié)同進(jìn)化遺傳算法的電價(jià)策略特性偏向激進(jìn)型。由圖7中各時(shí)段電價(jià)的變化趨勢(shì)可以得出，各交易方的電價(jià)策略變化較為平穩(wěn)，即在模擬的市場(chǎng)情景下采用協(xié)同進(jìn)化遺傳算法的MAS方式可以使各博弈方獲取穩(wěn)定的且自身利潤(rùn)最佳的電價(jià)策略。

4.3 EV群電價(jià)策略分析

EV群在放電套利時(shí)段具有供電方屬性，在電力市場(chǎng)中作為交易價(jià)格的影響者。電動(dòng)汽車群放電套利時(shí)段各交易方的電價(jià)策略如圖8所示。

圖8 電動(dòng)汽車群的電價(jià)策略

圖8中可以看出，達(dá)到納什均衡時(shí)，交易電價(jià)在0.57～0.95元/kWh之間波動(dòng)，各個(gè)EV群的電價(jià)策略的價(jià)格走勢(shì)具有鮮明的特征且互相之間具有較高的辨識(shí)度，說(shuō)明電動(dòng)汽車群的放電套利可以進(jìn)一步激活市場(chǎng)，在市場(chǎng)利益的引導(dǎo)下，各個(gè)電動(dòng)汽車群互相獨(dú)立地追逐自身利益，起到一定的穩(wěn)定電價(jià)的作用。

5 結(jié)語(yǔ)

V2G模式下，基于協(xié)同進(jìn)化遺傳算法的ACE仿真過(guò)程具有主動(dòng)性、社會(huì)能力和動(dòng)態(tài)學(xué)習(xí)能力等特點(diǎn)。協(xié)同進(jìn)化遺傳算法代理的報(bào)價(jià)策略偏向于激進(jìn)型，可以獲取更大的利潤(rùn)。采用協(xié)同進(jìn)化遺傳算法的MAS可以幫助電力市場(chǎng)各博弈方更好且便捷的獲取最佳交易策略。

本文未考慮MAS的通信方式及網(wǎng)絡(luò)協(xié)議，在進(jìn)一步工作中，可研究各層Agent的信息處理方式和指令控制手段，從而實(shí)現(xiàn)V2G模式下的以網(wǎng)絡(luò)Agent為主環(huán)境的電力市場(chǎng)仿真。此外，后期將進(jìn)一步考慮電網(wǎng)實(shí)際運(yùn)行情況，結(jié)合不同算法進(jìn)行對(duì)比分析。