牟 令,陳 俊,陳 侃,楊德超,劉必武,滕 易
(1.湖北能源集團(tuán)新能源發(fā)展有限公司,湖北 武漢 430000;2.三峽大學(xué)信息技術(shù)中心,湖北 宜昌 443002)
在各種類(lèi)型的可再生能源中,太陽(yáng)能[1]是應(yīng)用較廣泛的能源之一。因此,基于安裝簡(jiǎn)單、安全性高、無(wú)污染、維護(hù)少和無(wú)噪聲等優(yōu)點(diǎn),光伏[2-3](photovoltaic,PV)發(fā)電在輸電網(wǎng)中發(fā)揮著越來(lái)越重要的作用。
PV系統(tǒng)運(yùn)行的關(guān)鍵任務(wù)之一是在不同天氣條件下獲取最大可用太陽(yáng)能。該任務(wù)可轉(zhuǎn)化為PV最大功率跟蹤問(wèn)題[4]。目前,許多學(xué)者對(duì)PV系統(tǒng)最大功率跟蹤問(wèn)題進(jìn)行了研究,并取得了豐碩成果。文獻(xiàn)[5]提出了1種結(jié)合自適應(yīng)布谷鳥(niǎo)搜索算法和擾動(dòng)觀察方法的復(fù)合跟蹤算法。該算法將布谷鳥(niǎo)搜索算法中的切換概率和Lévy飛行步長(zhǎng)系數(shù)自適應(yīng)調(diào)整,以改善模型搜索能力。文獻(xiàn)[6]提出了1種改進(jìn)細(xì)菌覓食算法求解最大功率跟蹤算法,從而避免輸出功率來(lái)回振蕩。上述算法均為典型的啟發(fā)式算法。然而,啟發(fā)式算法容易在不同的運(yùn)行中收斂到不同的最優(yōu)解。近年來(lái),強(qiáng)化學(xué)習(xí)[7](reinforcement learning,RL)以其卓越的在線學(xué)習(xí)能力而吸引了學(xué)者們廣泛的關(guān)注。與啟發(fā)式算法相比,RL具有更高的收斂穩(wěn)定性和更強(qiáng)的學(xué)習(xí)能力。文獻(xiàn)[8]提出了1種基于深度RL算法的PV-抽蓄互補(bǔ)系統(tǒng)智能調(diào)度模型,解決了PV發(fā)電功率預(yù)測(cè)精度不高的問(wèn)題。文獻(xiàn)[9]提出了1種基于連續(xù)型深度確定性策略梯度算法的微電網(wǎng)能量調(diào)度方法。該方法基于馬爾可夫開(kāi)發(fā)決策過(guò)程建立模型狀態(tài)、動(dòng)作空間以及獎(jiǎng)勵(lì)因子,并通過(guò)長(zhǎng)短期記憶模型提取時(shí)序變量數(shù)據(jù),從而在調(diào)度空間中提升深度RL模型的收斂性。然而,最大功率的高隨機(jī)性以及天氣條件的多變性使解空間較大。傳統(tǒng)的RL搜索能力較低,導(dǎo)致模型易陷入局部最優(yōu)。
為改善上述問(wèn)題,本文提出了1種改進(jìn)的模因RL模型。該模型可解決部分遮光條件下PV系統(tǒng)最大功率跟蹤問(wèn)題。該模型將傳統(tǒng)RL模型中單智能體改進(jìn)為多智能體,并基于模因?qū)ふ揖植孔顑?yōu)和全局最優(yōu)。本文以某市氣象數(shù)據(jù)為例,驗(yàn)證了所提模型的有效性。
PV電池通常為P-N型半導(dǎo)體二極管,可將太陽(yáng)能轉(zhuǎn)換為電能。
PV電池等效電路如圖1所示。
圖1 PV電池等效電路
PV電池等效電路包括1個(gè)光電流源、1個(gè)并聯(lián)二極管和1個(gè)串聯(lián)電阻。通常,多個(gè)PV電池組合在一起形成PV模塊。這些模塊以串聯(lián)和并聯(lián)方式組合,從而提供所需的輸出功率。本文令串聯(lián)和并聯(lián)的PV電池的數(shù)量分別為Ns和NP,則輸出電流和電壓之間的關(guān)系為:
(1)
式中:Ipv為PV輸出電流;Np為并聯(lián)的PV面板數(shù)量;Ig為電池光電流;Is為電池反向飽和電流;q為電子電荷,通常取1.602 177 33×10-19Cb;B為理想因子,通常取1~5之間的整數(shù);k為波爾茲曼常數(shù),通常取1.380 658×10-23J/K;Tc為電池的絕對(duì)工作溫度;Upv為PV輸出電壓;Ns為串聯(lián)的PV面板數(shù)量;Rs為電池串聯(lián)電阻。
產(chǎn)生的Ig由太陽(yáng)輻射確定。
(2)
式中:ki為電池短路電流溫度系數(shù);Tref為電池參考溫度;Ts為太陽(yáng)總輻射。
PV的Is根據(jù)以下關(guān)系隨溫度而變化:
(3)
式中:IRS為電網(wǎng)電流的D-Q分量;Eg為電池中使用的半導(dǎo)體能隙。
式(1)~式(3)表明,由PV陣列產(chǎn)生的電流同時(shí)依賴(lài)于太陽(yáng)輻射和溫度。
當(dāng)串聯(lián)電路中的1個(gè)模塊由于遮擋(如灰塵、樹(shù)木、鳥(niǎo)類(lèi)等)而在太陽(yáng)下暴露出較少部分,其電壓將下降,工作模型表現(xiàn)為負(fù)載單元而不是發(fā)電單元。這種情況下將產(chǎn)生1個(gè)熱點(diǎn)溫度。為保護(hù)PV模塊免受潛在損壞,通常將1個(gè)旁路二極管與每個(gè)PV模塊并聯(lián)。此外,每個(gè)串聯(lián)電路的末端還連接了1個(gè)阻斷二極管,以防止并串聯(lián)之間的電壓失配導(dǎo)致的反向電流。
盡管二極管能夠避免上述問(wèn)題,但其不可避免地會(huì)改變PV特性并產(chǎn)生雙峰曲線。因此,PV系統(tǒng)應(yīng)始終跟蹤全局最大功率,以便從PV陣列中提取最大可用的太陽(yáng)能資源。否則,其運(yùn)行時(shí)將會(huì)損失大量功率,從而造成能源浪費(fèi)。
本節(jié)建立了基于模因RL的有遮擋PV系統(tǒng)最大功率跟蹤模型。本文首先對(duì)PV系統(tǒng)最大功率跟蹤模型進(jìn)行建模;其次介紹了模因RL建立過(guò)程;最后對(duì)模型詳細(xì)過(guò)程進(jìn)行介紹。
根據(jù)前述分析,當(dāng)串聯(lián)電路中的1個(gè)模塊由于遮蔽而暴露出較少的光照時(shí),其電壓將下降。此時(shí),旁路二極管與每個(gè)PV模塊并聯(lián),以保護(hù)遮蔽模塊免受潛在損壞。此外,每個(gè)串聯(lián)電路的末端還連接了1個(gè)阻塞二極管,以提供對(duì)并聯(lián)串之間電壓失配引起的反向電流的保護(hù)。然而,二極管將改變光伏特性并產(chǎn)生雙峰線。為改善上述問(wèn)題,有必要對(duì)PV最大功率點(diǎn)進(jìn)行跟蹤。
部分遮擋情況下,PV系統(tǒng)最大功率跟蹤模型結(jié)構(gòu)如圖2所示。
圖2 PV系統(tǒng)最大功率跟蹤模型結(jié)構(gòu)
PV系統(tǒng)最大功率點(diǎn)可以通過(guò)調(diào)節(jié)有遮擋下的PV系統(tǒng)以輸出電壓Upv實(shí)現(xiàn)。因此,Upv可視為優(yōu)化變量,且存在下限和上限。通過(guò)將輸出有功功率的最大化作為目標(biāo)函數(shù),有遮擋下的PV系統(tǒng)最大功率點(diǎn)優(yōu)化模型為:
(4)
模因算法[10]是1種通過(guò)連續(xù)的交互和進(jìn)化解決特定優(yōu)化問(wèn)題的計(jì)算智能模型。模因算法旨在通過(guò)基于種群的全局搜索和基于多模因的局部搜索的有效合作,提高搜索效率和種群多樣性。為提高搜索效率,本文將模因算法和RL模型相結(jié)合,提出了1種基于模因的RL模型,從而提高模型局部和整體搜索能力。
2.2.1 模型建立
Q學(xué)習(xí)[11]是RL中的主流局部搜索算法之一。Q學(xué)習(xí)一般只使用單個(gè)智能體與環(huán)境交互。在當(dāng)前狀態(tài)下作出決定后,該智能體可以根據(jù)反饋獎(jiǎng)勵(lì)更新知識(shí)。因此,Q學(xué)習(xí)容易導(dǎo)致低學(xué)習(xí)效率。為了處理這個(gè)問(wèn)題,本文引入模因概念,使用1組協(xié)作的智能體來(lái)更新Q學(xué)習(xí)的知識(shí)矩陣,同時(shí)使用實(shí)編碼關(guān)聯(lián)存儲(chǔ)器將原始的大規(guī)模知識(shí)矩陣分解為多個(gè)小規(guī)模知識(shí)矩陣。參考Q學(xué)習(xí)的學(xué)習(xí)規(guī)則,每個(gè)模因的知識(shí)矩陣可以更新為:
(5)
(6)
式中:q0為從0到1均勻分布產(chǎn)生的隨機(jī)值;ε為選擇貪婪行為的概率權(quán)重;arand為從動(dòng)作集合中選擇的隨機(jī)動(dòng)作。
為了避免模型陷入局部極值狀態(tài),種群將根據(jù)所有智能體的優(yōu)缺點(diǎn)重新組合成不同的模因。本文使用基于洗牌蛙跳算法(shuffled frog leaping algorithm,SFLA)的種群劃分規(guī)則進(jìn)行全局信息交換。因此,可以根據(jù)最大優(yōu)化的適應(yīng)度值的降序來(lái)實(shí)現(xiàn)種群劃分過(guò)程。第i個(gè)模因更新可以描述為:
Yi=[xp,fp∣xp=xi+n(y-1),fp=fi+n(y-1)],p=1,2,…,Ps,i=1,2,…,na
(7)
式中:Yi為第i個(gè)模因狀態(tài);xp和fp分別為第p個(gè)智能體的解和適應(yīng)度值。
2.2.2 模型求解
根據(jù)式(4)中輸出電壓的最小值和最大值,可以基于所選動(dòng)作轉(zhuǎn)換智能體的解。
(8)
式中:xip為第i個(gè)模因中第p個(gè)智能體獲得的解。
一般而言,具有較大適應(yīng)度值的動(dòng)作將獲得更高的反饋回報(bào)。為了加快學(xué)習(xí)速度,本文在模因RL模型中利用蟻群的協(xié)作機(jī)制設(shè)計(jì)反饋獎(jiǎng)勵(lì)。
(9)
模型選擇最佳狀態(tài)-動(dòng)作對(duì)集合中的值時(shí)存在獎(jiǎng)勵(lì),而其他情況獎(jiǎng)勵(lì)為0。這種機(jī)制確保了模型優(yōu)先從最佳狀態(tài)-動(dòng)作對(duì)集合選擇高獎(jiǎng)勵(lì)策略。
當(dāng)天氣條件變化時(shí),PV系統(tǒng)的輸出特性也會(huì)隨之改變。因此,不同控制策略的反饋獎(jiǎng)勵(lì)將受到天氣的直接影響。模因RL模型將根據(jù)更新的反饋獎(jiǎng)勵(lì)快速搜索高質(zhì)量的最優(yōu)值,以近似追蹤PV系統(tǒng)的全局最大功率跟蹤點(diǎn)。因此,所提模型可以有效地處理一天中不同時(shí)間以及不同季節(jié)的天氣變化。
模因RL執(zhí)行流程如圖3所示。
圖3 模因RL執(zhí)行流程圖
為了評(píng)估所提模型性能,本節(jié)對(duì)不同場(chǎng)景下的PV系統(tǒng)運(yùn)行變化進(jìn)行了測(cè)試。同時(shí),本文將所提模型與遺傳算法(genetic algorithm,GA)、粒子群優(yōu)化(particle swarm optimization,PSO)算法、人工蜂群(artificial bee colony,ABC)算法、灰狼優(yōu)化(grey wolf optimization,GWO)算法、教學(xué)優(yōu)化(teaching-learning-based optimization,TLBO)算法的性能進(jìn)行了比較。
模因RL參數(shù)設(shè)置如下:模因數(shù)為30;每個(gè)模因中的種群數(shù)量為100;學(xué)習(xí)率為10-2;學(xué)習(xí)率衰減系數(shù)為10-4;最大迭代次數(shù)為104。試驗(yàn)軟件環(huán)境為Matlab 2019A。同時(shí),算法運(yùn)行硬件環(huán)境為酷睿i7中央處理器(central processing unit,CPU)、內(nèi)存32 GB ARM的聯(lián)想服務(wù)器。操作系統(tǒng)為Windows 1 064位。
案例分析數(shù)據(jù)為某市2022年4個(gè)季節(jié)中4個(gè)典型日的現(xiàn)場(chǎng)大氣數(shù)據(jù)。其中:太陽(yáng)輻射范圍為0~1 000 W/m2;數(shù)據(jù)收集間隔為10 min。
數(shù)據(jù)集中部分大氣數(shù)據(jù)如圖4所示。
圖4 數(shù)據(jù)集中部分大氣數(shù)據(jù)
由圖4可知,4個(gè)季節(jié)太陽(yáng)輻射數(shù)據(jù)和溫度數(shù)據(jù)具有時(shí)間周期變化趨勢(shì)。在圖4(a)中,通常在12∶00太陽(yáng)輻射值最大;在圖4(b)中,在12∶00~16∶00 溫度最高、4∶00~8∶00溫度最低。數(shù)據(jù)統(tǒng)計(jì)結(jié)果符合實(shí)際情況,反映了數(shù)據(jù)的周期性趨勢(shì)。
為了定量評(píng)估PV系統(tǒng)的功率波動(dòng),試驗(yàn)引入了PV系統(tǒng)功率輸出的平均變異性和最大變異性這2個(gè)指標(biāo):
(10)
(11)
式中:Δvmax為PV系統(tǒng)功率輸出的最大變異性。
4個(gè)季節(jié)的模型運(yùn)行統(tǒng)計(jì)結(jié)果如表1所示。
表1 模型運(yùn)行統(tǒng)計(jì)結(jié)果
由表1可知,在所有算法中,所提模型擁有最高的輸出能量和最小的功率變化。特別是在太陽(yáng)輻射階躍變化下,所提模型的平均變異性最低。這表明模型具有較強(qiáng)的魯棒性。此外,所提模型在冬季產(chǎn)生的輸出能量最高,表明模型能夠有效跟蹤PV最大功率,從而驗(yàn)證了模型的穩(wěn)定性。
為有效跟蹤光伏發(fā)電系統(tǒng)最大功率點(diǎn),本文對(duì)PV發(fā)電系統(tǒng)進(jìn)行了研究與分析,建立了1種基于計(jì)算智能的PV發(fā)電系統(tǒng)最大功率跟蹤模型。該模型基于部分遮擋條件下的PV系統(tǒng)建模,可解決PV系統(tǒng)最大功率跟蹤問(wèn)題。為提高搜索效率,本文將模因算法和RL模型結(jié)合,提出了1種基于模因的RL模型,從而提高模型局部和整體搜索能力。試驗(yàn)時(shí),本文對(duì)春季、夏季、秋季、冬季具有周期性的數(shù)據(jù)進(jìn)行測(cè)試。與主流算法相比,所提模型擁有最高的輸出能量和最小的功率變化。試驗(yàn)結(jié)果表明,所提模型能夠有效跟蹤PV最大功率,驗(yàn)證了模型的穩(wěn)定性和魯棒性。所提模型為PV能源的高質(zhì)量能效利用提供了借鑒。
未來(lái)可對(duì)系統(tǒng)數(shù)據(jù)安全管理領(lǐng)域進(jìn)行研究,如引入?yún)^(qū)塊鏈、云計(jì)算等技術(shù)以提高混合配電網(wǎng)數(shù)據(jù)交互可靠性及效率,從而進(jìn)一步改進(jìn)智能化電力故障診斷及定位方案。