基于自適應(yīng)動(dòng)態(tài)規(guī)劃的SMES調(diào)頻控制策略研究

郝立超，劉 洋，劉守恒，姜展鵬

(1.沈陽(yáng)工業(yè)大學(xué)電氣工程學(xué)院，遼寧 沈陽(yáng) 110870；2.中電投東北新能源發(fā)展有限公司，遼寧 沈陽(yáng) 110170)

目前，大量分布式新能源接入到配電網(wǎng)，電動(dòng)汽車(electric vehicles,EVs)作為一種靈活、可控的負(fù)荷，可以消耗更多的清潔能源，因而受到廣泛關(guān)注[1]。如果負(fù)荷達(dá)到一定水平，當(dāng)EVs這一類大功率用電設(shè)備切入或切出充電樁時(shí)，配電網(wǎng)的輸出功率將急劇變化[2]。相應(yīng)配電網(wǎng)的頻率波動(dòng)范圍也很容易超過安全區(qū)域[3-4]，這對(duì)電力系統(tǒng)穩(wěn)定性有很大影響。

為了提高配電網(wǎng)的頻率動(dòng)態(tài)穩(wěn)定性，許多研究人員通過引入儲(chǔ)能系統(tǒng)來解決這一問題。文獻(xiàn)[5]提出一種利用超級(jí)電容預(yù)存儲(chǔ)來減輕EVs充電站對(duì)配電網(wǎng)影響的方法。文獻(xiàn)[6]提出使用飛輪儲(chǔ)能系統(tǒng)來降低大功率負(fù)荷快速充電對(duì)配電網(wǎng)的影響，從而滿足負(fù)荷快速充電和配電網(wǎng)的穩(wěn)定性?；谏鲜鲈O(shè)計(jì)思路，可以選用大容量超導(dǎo)磁儲(chǔ)能(superconducting magnetic energy storage,SMES)作為儲(chǔ)能裝置，提升電網(wǎng)穩(wěn)定性。

SMES目前已被廣泛應(yīng)用于提高電網(wǎng)的穩(wěn)定性中。文獻(xiàn)[7]介紹一種改進(jìn)的電流-電壓斬波器組件，并提出一種通過多補(bǔ)償電路共享SMES線圈的線路間的直流動(dòng)態(tài)電壓恢復(fù)方案。目前也有SMES被應(yīng)用于EVs充電的相關(guān)案例，然而這些方案的控制難度較高，并且難以實(shí)現(xiàn)預(yù)定目標(biāo)。由于SMES具有很高的能量釋放速率，可以實(shí)現(xiàn)快速的有功和無功補(bǔ)償。因此，可以采用SMES作為一種儲(chǔ)能裝置接入到配電網(wǎng)中，參與EVs快速充電過程。

在以往的SMES控制方法中，研究人員一般采用PID控制方法，該方法需要系統(tǒng)模型已知，在難以建模的復(fù)雜系統(tǒng)求解中存在局限性。對(duì)于復(fù)雜模型的控制，自適應(yīng)動(dòng)態(tài)規(guī)劃就能夠很好地解決，目前研究人員對(duì)自適應(yīng)動(dòng)態(tài)規(guī)劃的應(yīng)用已有了較深的研究。文獻(xiàn)[8]將自適應(yīng)動(dòng)態(tài)規(guī)劃用于微電網(wǎng)調(diào)度中，不斷在迭代過程中得到最優(yōu)策略，在考慮經(jīng)濟(jì)效益最大化的同時(shí)，有效降低了碳排放量?；谝陨涎芯楷F(xiàn)狀，本文提出了一種基于自適應(yīng)動(dòng)態(tài)規(guī)劃的無模型輔助學(xué)習(xí)控制方法。相比于PID控制，該控制方法不需要系統(tǒng)動(dòng)態(tài)模型，控制動(dòng)作從環(huán)境中學(xué)習(xí)，使用試錯(cuò)方法來獲得初始神經(jīng)網(wǎng)絡(luò)權(quán)值。

本文介紹帶有SMES的EVs快速充電站模型，建立其拓?fù)浣Y(jié)構(gòu)和分析能源管理策略，分析負(fù)載的工頻特性，介紹SMES的工作原理，以及PID和自適應(yīng)動(dòng)態(tài)規(guī)劃2種控制方法，并進(jìn)行實(shí)例仿真分析，得出相應(yīng)的結(jié)論。

1 系統(tǒng)模型

1.1 拓?fù)浣Y(jié)構(gòu)

本文構(gòu)建了含SMES的快速充電站系統(tǒng)，拓?fù)浣Y(jié)構(gòu)如圖1所示。

在EVs充電站中設(shè)有N臺(tái)充電樁，通過快速充電站的交流母線接入到配電網(wǎng)中，進(jìn)行EVs的快速充電。另外，在快速充電站系統(tǒng)中也接入了SMES系統(tǒng)，通過10 kV/6.3 kV變壓器、整流器和逆變器，連接到配電網(wǎng)的10 kV交流母線上，參與EVs的充電過程。在充電站的工作狀態(tài)發(fā)生變化時(shí)，SMES根據(jù)控制指令進(jìn)行相應(yīng)的狀態(tài)切換，并做出功率響應(yīng)，參與協(xié)調(diào)配電網(wǎng)的功率平衡，抑制配電網(wǎng)的瞬態(tài)頻率波動(dòng)。

1.2 能量管理

對(duì)于帶有SMES的快速充電站模型，EVs快速充電站的能源管理為

PDN=PEVs+Pload+PSMES

(1)

式中：PDN為配電網(wǎng)輸入功率；PEVs為EVs快速充電負(fù)荷消耗的功率；PLoad為其他負(fù)荷消耗的功率；PSMES為SMES吸收的功率(吸收功率時(shí)為正，釋放功率時(shí)為負(fù))。本文將PLoad設(shè)為常數(shù)，以簡(jiǎn)化解析計(jì)算，僅分析PDN、PEVs和PSMES之間的關(guān)系。

整個(gè)EVs充電過程的功率分為上升階段、穩(wěn)定階段和下降階段。在EVs的充電功率上升階段，SMES向配電網(wǎng)放電；在充電功率下降階段，配電網(wǎng)對(duì)SMES進(jìn)行充電；在穩(wěn)態(tài)充電階段，配電網(wǎng)的輸出功率幾乎沒有波動(dòng)，SMES不參與這一過程，僅由配電網(wǎng)單獨(dú)對(duì)EVs供電。

2 負(fù)荷-頻率特性分析

負(fù)荷工頻特性[9]為

Pl=a0Ple+a1Ple(f/fe)+a2Ple(f/fe)2+…+anPle(f/fe)n

(2)

式中:fe為額定頻率;系統(tǒng)頻率為f時(shí)，系統(tǒng)負(fù)荷的有功功率為Pl;系統(tǒng)頻率為額定值fe時(shí)，系統(tǒng)負(fù)荷的有功功率為Ple。一般情況下，a1的值最大，即一次功率的負(fù)載比例最高。由式(2)可知，f與Pl大致呈線性關(guān)系。

在電網(wǎng)穩(wěn)定運(yùn)行時(shí)，發(fā)電側(cè)輸出的功率和用電側(cè)吸收的功率處于動(dòng)態(tài)平衡，系統(tǒng)頻率相對(duì)穩(wěn)定。EVs快速充電時(shí)會(huì)在短時(shí)間內(nèi)吸收大量電能，然而發(fā)電系統(tǒng)存在慣性，不能在短時(shí)間內(nèi)有效調(diào)整輸出功率，導(dǎo)致功率響應(yīng)不及時(shí)。功率偏差和頻率偏差為

(3)

式中：k為電力系統(tǒng)的機(jī)組功率調(diào)節(jié)系數(shù)；kL為機(jī)組負(fù)荷調(diào)節(jié)功率系數(shù)；kG為發(fā)電機(jī)的機(jī)組調(diào)節(jié)功率系數(shù)。由式(3)可知，負(fù)載變化越大，頻率變化就越大,進(jìn)一步運(yùn)算得到式(4)。

(4)

由式(4)可知，頻率變化率隨負(fù)荷變化率的增大而增大。

由于功率變化率與頻率變化率正相關(guān)，所以通過分析配電網(wǎng)的功率變化趨勢(shì)，可以得到頻率變化趨勢(shì)。從理論上講，當(dāng)EVs快速充電時(shí)，SMES系統(tǒng)可以降低配電網(wǎng)的功率變化率，從而抑制配電網(wǎng)頻率波動(dòng)。

3 SMES運(yùn)行原理及控制方式

3.1 SMES運(yùn)行原理

SMES運(yùn)行原理如圖2所示。

由圖2可知，當(dāng)S1和S2斷開時(shí)，SMES系統(tǒng)處于充電狀態(tài)，即從配電網(wǎng)吸收電能；當(dāng)S1和S2閉合時(shí)，SMES系統(tǒng)處于放電狀態(tài)，即向配電網(wǎng)輸送電能。在SMES系統(tǒng)中存儲(chǔ)電能為

(5)

式中：Lcoil為超導(dǎo)線圈的電感值；Icoil為流過超導(dǎo)線圈的電流值；W(t)為SMES的儲(chǔ)能值。為了避免SMES系統(tǒng)過度充放電，引入了充電狀態(tài)SOC，實(shí)時(shí)檢測(cè)SMES系統(tǒng)的剩余容量。

SOC=W(t)/Qrated

(6)

式中：Qrated為SMES的額定容量。

3.2 控制方式

a.PID控制

SMES的控制方式如圖3和圖4所示。圖3為S1的控制方式，圖4為S2的控制方式。PID(a)和PID(b)的輸入量為dp/dt，即整流后的功率變化率。設(shè)dp/dt(upper)和dp/dt(lower)作為參考值。

SMES工作可分為3個(gè)階段。

放電階段：當(dāng)dp/dt>dp/dt(upper)時(shí)，SMES自動(dòng)切換到放電模式，S1、S2關(guān)閉，SMES放電。當(dāng)dp/dt恢復(fù)到參考值時(shí)，SMES會(huì)自動(dòng)切換到下個(gè)工作狀態(tài)。該階段用于配電網(wǎng)功率上升階段。

存儲(chǔ)階段：當(dāng)dp/dtdp/dt(lower)，SMES此時(shí)放電，但S1被迫打開，SMES只能在存儲(chǔ)模式下工作。該階段用于配電網(wǎng)功率穩(wěn)態(tài)階段。

充電階段：當(dāng)dp/dt

SMES工作狀態(tài)切換過程如圖5所示。

b.自適應(yīng)動(dòng)態(tài)規(guī)劃控制

基于SMES在EVs充電站中的工作特性，本文考慮一類具有離散時(shí)間的非線性控制系統(tǒng)。

(7)

式中：xk和yk分別為系統(tǒng)狀態(tài)和系統(tǒng)輸出；A、B、C為具有適當(dāng)維數(shù)的矩陣。

對(duì)于式(7)，將k時(shí)刻的瞬時(shí)代價(jià)函數(shù)定義為

(8)

式中：Z(xk)為xk的正定函數(shù)；R為正定矩陣。

設(shè)控制率為

uk=u(xk)

(9)

在uk控制率下，狀態(tài)xk的動(dòng)作依賴值函數(shù)為

(10)

最優(yōu)控制目標(biāo)是找到一個(gè)穩(wěn)定系統(tǒng)式(7)的uk=u(xk)控制律，并且最小化值函數(shù)式(10)，最優(yōu)值函數(shù)為

(11)

根據(jù)貝爾曼最優(yōu)性原理，最優(yōu)值函數(shù)為

(12)

最優(yōu)控制律為

(13)

在原始自適應(yīng)動(dòng)態(tài)規(guī)劃算法的基礎(chǔ)上，本文提出了一種基于自適應(yīng)動(dòng)態(tài)規(guī)劃的補(bǔ)充控制結(jié)構(gòu)，以改進(jìn)系統(tǒng)式(7)的原始控制律。如圖6所示，不替換原控制器，而是并行連接1個(gè)輔助學(xué)習(xí)控制器。這樣可以利用現(xiàn)有控制器的先驗(yàn)知識(shí)來保證穩(wěn)定性，采用執(zhí)行模塊-評(píng)判模塊的結(jié)構(gòu)來實(shí)現(xiàn)補(bǔ)充學(xué)習(xí)。設(shè)計(jì)評(píng)判模塊來評(píng)判控制動(dòng)作，而利用執(zhí)行模塊產(chǎn)生修改控制信號(hào)，以提高控制性能。學(xué)習(xí)過程包括2個(gè)步驟：①通過評(píng)判模塊進(jìn)行策略評(píng)估；②通過評(píng)判模塊引導(dǎo)執(zhí)行模塊進(jìn)行策略改進(jìn)。這2個(gè)步驟不斷迭代，直到收斂。策略迭代算法說明如下。

第1步：策略評(píng)估。

(14)

(15)

式中：Z∈RL為權(quán)值向量；φ(xk,uk)∈RL為基函數(shù)向量?；谑?15)，策略評(píng)估式(14)可以改寫為

(16)

(17)

第2步：策略改進(jìn)。

(18)

通過策略評(píng)估式(14)得到值函數(shù)Vi(xk,uk)后，可以通過式(15)對(duì)補(bǔ)充控制器進(jìn)行更新。本文討論了值函數(shù)近似結(jié)構(gòu)是狀態(tài)和控制的二次分量的一種特殊情況，即值函數(shù)的形式為

(19)

(20)

式中：V中的元素為第i次迭代中的值函數(shù)參數(shù)。然后根據(jù)策略改進(jìn)方程式(18)得到：

(21)

即補(bǔ)充控制器是1個(gè)線性狀態(tài)反饋控制器。以上2個(gè)步驟不斷迭代，直到收斂。

4 仿真驗(yàn)證與分析

PID方法需要利用Matlab中的線性分析工具箱進(jìn)行系統(tǒng)線性化模型?；谧赃m應(yīng)動(dòng)態(tài)規(guī)劃的方法是無模型的，控制動(dòng)作從環(huán)境中學(xué)習(xí)，使用試錯(cuò)方法來獲得初始神經(jīng)網(wǎng)絡(luò)權(quán)值?，F(xiàn)設(shè)置dp/dt(upper)和dp/dt(lower)分別為0.5 MW/s和-0.5 MW/s。SMES系統(tǒng)參數(shù)如表1所示。

表1 SMES系統(tǒng)參數(shù)

仿真條件設(shè)置如下：假設(shè)同時(shí)有50輛EVs接入快速充電站，每輛EVs的充電功率需求為120 kW，即此時(shí)間段內(nèi)配電網(wǎng)功率需求增加了6 MW。

分別對(duì)PID控制和自適應(yīng)動(dòng)態(tài)規(guī)劃控制進(jìn)行仿真驗(yàn)證，得出EVs快速充電功率曲線以及配電網(wǎng)輸入功率和頻率的變化曲線，如圖7所示。

圖7反映了EVs在充電過程中所吸收的實(shí)時(shí)功率。由圖7可知，當(dāng)EVs切入和切出充電樁時(shí)，充電功率急劇變化。若無SMES參與充電，則會(huì)引起配電網(wǎng)輸出功率的急劇上升和下降，這對(duì)配電網(wǎng)的穩(wěn)定性是不利的。

配電網(wǎng)的輸入功率曲線如圖8所示。由圖8可知，在無SMES的情況下，配電網(wǎng)為EVs提供了所需的全部電能。然而在有SMES的情況下，SMES在EVs切入時(shí)，為EVs提供部分電能。在EVs切出時(shí)，SMES向配電網(wǎng)功率進(jìn)行補(bǔ)償，有效減小了配電網(wǎng)功率上升和下降的坡度。

配電網(wǎng)頻率變化曲線如圖9所示。由圖9可知，當(dāng)無SMES時(shí)，EVs切入和切出充電樁時(shí)會(huì)引起配電網(wǎng)較大的頻率波動(dòng)。然而當(dāng)接入SMES后，配電網(wǎng)的頻率波動(dòng)范圍明顯減小。同時(shí)，相較于PID控制，采用自適應(yīng)動(dòng)態(tài)規(guī)劃的控制方法可以更快地使配電網(wǎng)頻率波動(dòng)趨于穩(wěn)定，獲得更好的控制效果。

5 結(jié)語

本文提出了基于自適應(yīng)動(dòng)態(tài)規(guī)劃的控制方法，該方法不需要已知系統(tǒng)動(dòng)態(tài)模型，即從系統(tǒng)環(huán)境中學(xué)習(xí)，產(chǎn)生控制動(dòng)作，規(guī)避了系統(tǒng)模型建模困難的弊端。分別對(duì)PID控制和自適應(yīng)動(dòng)態(tài)規(guī)劃控制進(jìn)行了仿真驗(yàn)證，結(jié)果表明，在EVs快速充電時(shí)，利用自適應(yīng)動(dòng)態(tài)規(guī)劃的控制方法，SMES可以使電網(wǎng)頻率波動(dòng)更快趨于平穩(wěn)，提升電網(wǎng)的穩(wěn)定性。