基于強(qiáng)化學(xué)習(xí)的建筑集群需求側(cè)能量管理方法

安佳坤，賀春光，劉洪，凌云鵬，齊曉光，李維宇，孫鵬飛，檀曉林

(1.國網(wǎng)河北省電力有限公司經(jīng)濟(jì)技術(shù)研究院，石家莊市 050021；2.智能電網(wǎng)教育部重點(diǎn)實(shí)驗(yàn)室(天津大學(xué))，天津市 300072)

0 引 言

隨著分布式能源技術(shù)的發(fā)展、可再生能源的高比例滲透以及中國電力市場化改革的不斷推進(jìn)，終端用戶對電力系統(tǒng)運(yùn)行狀態(tài)的影響越來越大，而這也推進(jìn)了需求響應(yīng)業(yè)務(wù)向著多元化、常態(tài)化快速發(fā)展。對終端用戶實(shí)施有效的能量管理能夠在很大程度上提高電力系統(tǒng)的靈活性，根據(jù)國際能源署提供的報(bào)告數(shù)據(jù)，用戶側(cè)需求響應(yīng)的潛力通常約占峰值需求的15%，而基于歐盟的統(tǒng)計(jì)數(shù)據(jù)，到2050年，用戶的響應(yīng)潛力可能超過150 GW[1]。因此，充分挖掘終端用戶的用能特性與需求響應(yīng)潛力也成為了當(dāng)前研究的關(guān)鍵性問題。對電力公司而言，充分挖掘終端用戶的用能特性與需求響應(yīng)潛力可以更為準(zhǔn)確地預(yù)測出多時間/空間尺度的負(fù)荷空間密度及總量分布，從而制定更為科學(xué)合理的規(guī)劃與運(yùn)行方案；同時，幫助更科學(xué)地制定動態(tài)能源價格與需求響應(yīng)的激勵政策，實(shí)現(xiàn)削峰填谷與節(jié)能減排。對終端用戶而言，可以優(yōu)化用能行為，降低用能成本；對社會而言，能夠推動制造商有針對性地研發(fā)低能耗設(shè)備；同時，也能幫助監(jiān)管部門科學(xué)地制定節(jié)能減排目標(biāo)及相關(guān)政策。然而，終端用戶種類多樣、用能特性復(fù)雜、量測數(shù)據(jù)眾多、能量交互信息量大，對用戶的需求側(cè)能量管理提出了新的挑戰(zhàn)。傳統(tǒng)的能量管理與調(diào)度過程易受到人員經(jīng)驗(yàn)的影響；同時，終端需求側(cè)能量管理過程中需要考慮的控制變量眾多，傳統(tǒng)數(shù)值迭代求解方法在一定程度上可能會受到維數(shù)災(zāi)難問題的限制。因此，如何利用人工智能技術(shù)發(fā)展更為智能的終端需求側(cè)能量管理方法目前是亟待解決的重要技術(shù)問題[2]。

目前人工智能特別是強(qiáng)化學(xué)習(xí)算法在電力系統(tǒng)中的應(yīng)用主要集中在故障監(jiān)測與診斷[3]、負(fù)荷/功率預(yù)測[4-5]等方面，而對于需求響應(yīng)與能量管理等更為深層次的研究與應(yīng)用仍有待進(jìn)一步探究。文獻(xiàn)[6]總結(jié)了強(qiáng)化學(xué)習(xí)算法在建筑室內(nèi)環(huán)境控制系統(tǒng)中的應(yīng)用，并且分析了多智能體結(jié)合強(qiáng)化學(xué)習(xí)算法在建筑舒適控制中的應(yīng)用。文獻(xiàn)[7]對機(jī)器學(xué)習(xí)算法在建筑熱舒適度預(yù)測模型中的應(yīng)用進(jìn)行了全面的總結(jié)與展望，并且提出了人工智能算法在建筑熱舒適度控制中的應(yīng)用。文獻(xiàn)[8]分析了人工智能和大數(shù)據(jù)技術(shù)在商業(yè)/居民建筑設(shè)計(jì)和運(yùn)營節(jié)能中的應(yīng)用，并且驗(yàn)證了人工智能和大數(shù)據(jù)技術(shù)結(jié)合對建筑能效和成本效益的提升與改善作用。文獻(xiàn)[9]提出了基于信息-物理-社會融合系統(tǒng)的智慧能源調(diào)度機(jī)器人群體及其知識自動化的關(guān)鍵理論方法，并給出了分散調(diào)度與集中調(diào)度模式下的平行建模與機(jī)器學(xué)習(xí)方法，為人工智能算法在調(diào)度控制中的應(yīng)用建立了理論及可行性分析基礎(chǔ)。文獻(xiàn)[10]以綜合能源微網(wǎng)作為研究對象，提出了基于多主體博弈與強(qiáng)化學(xué)習(xí)的并網(wǎng)型綜合能源微網(wǎng)協(xié)調(diào)調(diào)度方法，探索了Q學(xué)習(xí)算法在綜合能源微網(wǎng)調(diào)度運(yùn)行中的應(yīng)用，并驗(yàn)證了Q學(xué)習(xí)算法相較于傳統(tǒng)啟發(fā)式算法在算法性能方面的優(yōu)勢。文獻(xiàn)[11]聚焦于電力系統(tǒng)的運(yùn)行控制問題，以功率平衡、設(shè)備約束、電價趨勢等作為主要依據(jù)，提出了一種基于關(guān)鍵狀態(tài)變量變化率的動態(tài)分層強(qiáng)化學(xué)習(xí)方法。文獻(xiàn)[12]基于前期負(fù)荷預(yù)測結(jié)果，充分利用隱含模式馬爾科夫鏈與需求響應(yīng)策略相結(jié)合的方式，為用戶未來的用能方案提供決策與指導(dǎo)。文獻(xiàn)[13]基于深度學(xué)習(xí)方法，通過對設(shè)備機(jī)組的狀態(tài)空間進(jìn)行有效調(diào)控，以提高多智能體微網(wǎng)系統(tǒng)運(yùn)行的經(jīng)濟(jì)性與可靠性。

上述研究成果為本文的研究奠定了一定的理論基礎(chǔ)，然而目前的研究存在以下問題：1)上述文獻(xiàn)中涉及到的運(yùn)行調(diào)度控制大多是針對系統(tǒng)或建筑整體層面的能量與功率進(jìn)行調(diào)控，而未通過建立合理的建筑熱平衡模型以進(jìn)一步考慮用戶側(cè)的特性影響[7]。根據(jù)世界及中國相關(guān)建筑能源報(bào)告中的統(tǒng)計(jì)數(shù)據(jù)，建筑用能在能耗中的份額達(dá)到了近40%[14-15]，其中約一半用于滿足溫控負(fù)荷以及暖通系統(tǒng)的用能需求[16]，約20%用于滿足熱水負(fù)荷的用能需求[17]，而不同用戶用能特性的互補(bǔ)往往可以提供更大的調(diào)度空間，因此，有必要通過建立建筑及典型靈活性負(fù)荷的精細(xì)化模型針對需求側(cè)能量管理開展研究；2)以強(qiáng)化學(xué)習(xí)為代表的人工智能方法在需求側(cè)能量管理及用戶需求響應(yīng)等方面應(yīng)用的可行性仍亟待進(jìn)一步探索。

針對上述問題，本文以建筑集群作為研究對象，提出基于強(qiáng)化學(xué)習(xí)的建筑集群需求側(cè)能量管理方法。首先，以建筑集群為終端用能載體，構(gòu)建建筑集群需求側(cè)能量管理框架；其次，構(gòu)建智能建筑R-C熱平衡模型以及用戶靈活性負(fù)荷模型，并結(jié)合Q學(xué)習(xí)算法，構(gòu)建基于強(qiáng)化學(xué)習(xí)的需求側(cè)能量管理模型；最后，通過實(shí)際仿真算例，對需求側(cè)能量管理結(jié)果以及算法的性能進(jìn)行對比分析。本文對強(qiáng)化學(xué)習(xí)在終端需求側(cè)能量管理中的應(yīng)用進(jìn)行全面的探索。

1 建筑集群需求側(cè)能量管理框架

本文所提出的基于強(qiáng)化學(xué)習(xí)的建筑集群需求側(cè)能量管理整體框架如圖1所示。本文以智能建筑作為終端負(fù)荷單元，以暖通系統(tǒng)和熱水器作為主要靈活性可控負(fù)荷，不同功能(商業(yè)、工業(yè)、居民等)的智能建筑構(gòu)成了可進(jìn)行需求側(cè)能量管理的建筑集群。每一棟智能建筑擁有相關(guān)的智能量測裝置[18]，負(fù)責(zé)對智能建筑的靈活性負(fù)荷及剛性負(fù)荷需求進(jìn)行計(jì)量，并將信息發(fā)送給地區(qū)能源服務(wù)商(regional energy service provider, RESP)進(jìn)行集中處理。

圖1 建筑集群需求側(cè)能量管理整體框架

RESP在接收到不同功能建筑提供的負(fù)荷需求后，會充分利用不同功能建筑內(nèi)不同類型負(fù)荷特性差異所帶來的調(diào)度空間，同時考慮外部電網(wǎng)的實(shí)時價格信號，在保障用能需求及舒適度的前提下，以用能經(jīng)濟(jì)性最優(yōu)為目標(biāo)，通過挖掘不同功能建筑用能負(fù)荷之間的互補(bǔ)協(xié)調(diào)性、建筑本身的熱耗散惰性以及熱水器設(shè)備的熱存儲特性，實(shí)現(xiàn)對建筑集群需求側(cè)的能量管理，向智能建筑下達(dá)負(fù)荷的供給及控制指令，從而有效提升建筑集群用戶用能的經(jīng)濟(jì)性與合理性。

2 智能建筑及靈活性負(fù)荷建模

2.1 智能建筑熱平衡模型

在實(shí)際的供冷或供暖場景中，智能建筑內(nèi)部通常被模擬為單一等溫的空調(diào)區(qū)域[19]，通常采用R-C網(wǎng)絡(luò)模型對建筑內(nèi)的單一制熱/制冷區(qū)域進(jìn)行建模[20]，建筑的R-C網(wǎng)絡(luò)模型由熱阻與熱容構(gòu)成，其中，熱阻具有傳輸熱的能力，連接智能建筑中的各個節(jié)點(diǎn)；熱容具有存儲熱的能力，建筑中的各節(jié)點(diǎn)會經(jīng)過熱容接地?；诒疚膶ㄖ?nèi)部單一等溫的假設(shè)，建筑整體模型則是由多個類似構(gòu)造單一區(qū)域的聚合而成，并以此為基礎(chǔ)，通過建筑暖通系統(tǒng)，調(diào)節(jié)系統(tǒng)送風(fēng)溫度與質(zhì)量流量，從而實(shí)現(xiàn)對建筑內(nèi)溫度的集中控制。本文在文獻(xiàn)[21]所介紹模型的基礎(chǔ)上進(jìn)一步改進(jìn)與擴(kuò)展，所構(gòu)建的建筑R-C網(wǎng)絡(luò)模型如圖2所示。

圖2 建筑R-C網(wǎng)絡(luò)模型

綜合考慮建筑內(nèi)產(chǎn)熱與散熱熱源的關(guān)系，建立基于建筑R-C網(wǎng)絡(luò)模型的室內(nèi)熱平衡方程為[22]：

(1)

(2)

2.2 暖通系統(tǒng)模型

智能建筑中的暖通(heating, ventilation and air-conditioning，HVAC)系統(tǒng)主要負(fù)責(zé)調(diào)節(jié)室內(nèi)溫度，其能耗特性與室內(nèi)外溫度、智能建筑功能屬性以及設(shè)備運(yùn)行參數(shù)有關(guān)，暖通系統(tǒng)的主要結(jié)構(gòu)模型如圖3所示，圖中ma為暖通系統(tǒng)內(nèi)空氣的質(zhì)量。

圖3 暖通系統(tǒng)結(jié)構(gòu)模型

暖通系統(tǒng)運(yùn)行造成室內(nèi)溫度的動態(tài)變化情況可參考式(2)中Q6，文獻(xiàn)[24]已經(jīng)對燃?xì)?電力混合暖通系統(tǒng)及純電力暖通系統(tǒng)兩種典型的暖通系統(tǒng)的運(yùn)行經(jīng)濟(jì)性進(jìn)行了對比，本文以純電力暖通系統(tǒng)為例，從能耗特性的角度，暖通系統(tǒng)消耗的電能PHVAC主要來源于兩方面[25]：1)風(fēng)扇進(jìn)行新風(fēng)空氣循環(huán)消耗的電能PHVAC,f；2)暖通設(shè)備制冷/制熱所消耗的電能PHVAC,h，以供暖期為例：

(3)

式中：ΔPeq,HVAC為等效總壓降，計(jì)算方式為ΔPeq,HVAC=Pstatic+ρwv2/2，Pstatic為靜壓降；v為送風(fēng)速度，本文中取4 m/s；ηHVAC,fan、ηHVAC,motor分別為風(fēng)扇和發(fā)動機(jī)的運(yùn)行效率，本文中二者的乘積取0.15。

(4)

式中：CCOP為熱電的能效比；Tin為室內(nèi)溫度，含義等同于式(2)中的T2。

綜上所述，在單位調(diào)度時間段內(nèi)，暖通設(shè)備消耗的電功率為：

PHVAC(t)=PHVAC,h(t)+PHVAC,f(t)

(5)

對暖通設(shè)備通常采用3種控制方法[26]：1)溫度控制(T-控制)，即只對暖通設(shè)備的送出溫度進(jìn)行調(diào)節(jié)；2)流量控制(M-控制)，即只對暖通設(shè)備的空氣流量進(jìn)行調(diào)節(jié)；3)綜合控制(I-控制)，即對暖通設(shè)備的送出溫度與空氣流量均可進(jìn)行調(diào)節(jié)。后文將會具體分析對比不同調(diào)節(jié)手段對能量管理及運(yùn)營效益的影響。

2.3 熱水器模型

智能建筑中的熱水器主要設(shè)備負(fù)責(zé)滿足室內(nèi)人員日常行為中對熱水的需求，熱水器設(shè)備的主要結(jié)構(gòu)模型如圖4所示。熱水器的溫度動態(tài)變化方程[27]如式(6)所示：

圖4 熱水器結(jié)構(gòu)模型

(6)

式中：TWT(t)為t時刻熱水器水箱內(nèi)的溫度；VWT為熱水器水箱的容積；fv(t)為t時刻熱水流出水箱的速率；Tin,WT(t)為進(jìn)入水箱的冷水溫度；PWT(t)為t時刻熱水器的運(yùn)行功率；ηWT為熱水器的運(yùn)行效率；T0(t)為t時刻的環(huán)境溫度；AWT為熱水器水箱的表面積；RWT為熱水器的熱阻；SWT(t)為t時刻熱水器的開關(guān)狀態(tài)，其中，運(yùn)行時的取值為1，關(guān)閉時的取值為0；Δt為調(diào)度控制的時間間隔。

熱水器設(shè)備的具體用能特性與溫度、用水量等因素有關(guān)。本文假定進(jìn)入智能樓宇的水溫是10 ℃，且忽略地理地貌、建筑材料、環(huán)境因素對進(jìn)入智能樓宇水溫的影響，而熱水負(fù)荷使用的水溫通常設(shè)定為40～49 ℃[28]，因此，熱水器設(shè)備的能耗特性為：

(7)

式中：VGPM,WT為熱水器設(shè)備消耗水的體積；DWT(t)為用熱水持續(xù)時間；cwater為水的密度；Cp,water為水的比熱容。

綜上所述，建筑在t時段內(nèi)總的電功率為：

(8)

式中：H為建筑內(nèi)暖通系統(tǒng)的總數(shù)；W為建筑內(nèi)熱水器的總數(shù)；PO(t)為t時段其他非靈活性用電負(fù)荷的功率。

地區(qū)能源服務(wù)商會基于地區(qū)內(nèi)不同功能類型建筑集群在不同時刻的用能需求，制定終端HVAC系統(tǒng)、熱水器設(shè)備及其他用能負(fù)荷的供能計(jì)劃，在滿足熱舒適度及基本用能要求的基礎(chǔ)上進(jìn)一步挖掘可調(diào)度空間，從而提高運(yùn)營效益。因此，從RESP對建筑集群內(nèi)終端負(fù)荷進(jìn)行集中控制的角度出發(fā)，式(2)所示的建筑功率平衡方程可以進(jìn)一步表示為：

(9)

式中：g(x,u)及d為系統(tǒng)等式方程中的非齊次項(xiàng)；x為狀態(tài)變量，代表建筑節(jié)點(diǎn)的室內(nèi)溫度、熱水供應(yīng)量以及其他非靈活性負(fù)荷的供給情況；u為系統(tǒng)等式方程中的控制變量，代表HVAC系統(tǒng)的供給空氣溫度、空氣流速率以及熱水器的供水量等；d為系統(tǒng)等式方程中的擾動項(xiàng)；y為系統(tǒng)等式方程中的輸出項(xiàng)，代表經(jīng)能量管理后不同功能建筑的室內(nèi)溫度、熱水供應(yīng)量以及其他非靈活性負(fù)荷的供給情況；A、B為系統(tǒng)參數(shù)。

3 基于強(qiáng)化學(xué)習(xí)的需求側(cè)能量管理

3.1 建筑集群需求側(cè)能量管理模型

考慮到本文的研究重點(diǎn)是探究強(qiáng)化學(xué)習(xí)算法在建筑集群需求側(cè)能量管理中的應(yīng)用，因此，地區(qū)能源服務(wù)商在對建筑集群進(jìn)行需求側(cè)能量管理的過程中，考慮的管理目標(biāo)是使得建筑集群用能的經(jīng)濟(jì)性最優(yōu)，需求側(cè)能量管理目標(biāo)函數(shù)的具體表達(dá)式如下：

(10)

式中：EB為建筑集群的用能成本；pe(t)為t時段的分時電價；t0為調(diào)度起始時刻；T為能量管理調(diào)度周期。

地區(qū)能源服務(wù)商在對建筑集群進(jìn)行需求側(cè)能量管理的過程中，需要考慮以下約束條件：

1)建筑室內(nèi)熱平衡約束。

RESP對建筑集群的需求側(cè)能量管理需滿足式(2)所示的室內(nèi)柔性負(fù)荷約束。

2)建筑室內(nèi)溫度舒適度約束。

本文基于《熱環(huán)境的人類工效學(xué)》通過計(jì)算PMV和PPD指數(shù)與局部熱舒適準(zhǔn)則對熱舒適進(jìn)行分析測定與解釋(GB/T18049—2017)，采用預(yù)計(jì)的平均熱感覺指數(shù)(predicated mean vote, PMV)和預(yù)計(jì)不滿意者的百分?jǐn)?shù)(predicated percentage of dissatisfied, PPD)[29-30]評價熱舒適度等級，劃分結(jié)果如表1所示。

表1 熱舒適度等級劃分

在供暖季，選擇偏冷(PMV介于-1到0之間)的環(huán)境，對應(yīng)PMV為0時的溫度上限為24 ℃。在供冷季，對于I級用戶，應(yīng)保持室內(nèi)相對濕度在40%～70%之間，PMV值在0～0.5之間；同理對于II級用戶，經(jīng)過熱舒適區(qū)的計(jì)算，所得舒適溫度的范圍為27～28 ℃。

3)設(shè)備調(diào)節(jié)約束。

在對建筑集群的需求側(cè)進(jìn)行能量管理的過程中需要滿足HVAC系統(tǒng)及熱水器設(shè)備的相關(guān)運(yùn)行約束：

0≤mHVAC≤mHVAC,max

(11)

THVAC,min≤THVAC≤THVAC,max

(12)

PWT,min≤PWT(t)≤PWT,max

(13)

TWT,min≤TWT≤TWT,max

(14)

式中：mHVAC,max為HVAC系統(tǒng)送風(fēng)質(zhì)量流量的最大值；THVAC,max和THVAC,min分別為HVAC系統(tǒng)送風(fēng)溫度的最大值與最小值；PWT,max和PWT,min分別為熱水器設(shè)備運(yùn)行功率的最大值與最小值；TWT,max和TWT,min分別為熱水器設(shè)備水箱內(nèi)溫度的最大值與最小值。

3.2 Q學(xué)習(xí)算法的基本原理

Q學(xué)習(xí)算法[31]是目前常用的強(qiáng)化學(xué)習(xí)算法之一，也是一種基于值函數(shù)迭代的在線學(xué)習(xí)和動態(tài)最優(yōu)技術(shù)。其主要原理是將之前訓(xùn)練過的帶有訓(xùn)練經(jīng)驗(yàn)的Q值表作為后續(xù)迭代計(jì)算的基礎(chǔ)，從而縮短算法的收斂時間。Q學(xué)習(xí)算法的值函數(shù)及迭代過程分別為：

(15)

Qk+1(sk,ak)=Qk(sk,ak)+α[R(sk,sk+1,ak)+

(16)

式中：s與s′分別為當(dāng)前狀態(tài)和下一時刻的狀態(tài)，其含義對應(yīng)于式(9)中的變量x；R(s,s′,a)為狀態(tài)s經(jīng)過動作a轉(zhuǎn)移到狀態(tài)s′后得到的立即獎勵函數(shù)值，其中，變量R的含義對應(yīng)于式(10)所示的目標(biāo)函數(shù)，變量a的含義對應(yīng)于式(9)中的變量u；γ(0<γ<1)為折扣因子；p(s′|s)為狀態(tài)s在控制動作a發(fā)生后轉(zhuǎn)移到狀態(tài)s′的概率；Qk為最優(yōu)值函數(shù)Q*的第k次迭代值；α為學(xué)習(xí)因子，表征要基于改善更新部分的信任程度；Q(s,a)為s狀態(tài)下執(zhí)行動作a的Q值。

在實(shí)際迭代的過程中，需要依據(jù)當(dāng)前狀態(tài)選擇接續(xù)的控制動作，以更新Q值表。目前對于動作被選取概率計(jì)算與確定方面的研究通常采用貪婪策略[32]與輪盤賭策略[33]等。然而，采用貪婪策略將無法充分利用已有經(jīng)驗(yàn)對動作空間進(jìn)行搜索，易出現(xiàn)局部最優(yōu)收斂的情況；另外，輪盤賭方法由于需要額外進(jìn)行二進(jìn)制轉(zhuǎn)換以獲取動作被選取概率信息，會在無形中增加一部分計(jì)算量。因此，基于上述考慮，本文采用Boltzmann概率分布法來刻畫進(jìn)化博弈中的狀態(tài)轉(zhuǎn)移概率。Boltzmann概率分布法是通過概率來選擇行動，在狀態(tài)s時選擇行動ai的概率為：

(17)

式中：A′為控制動作集合；λ為進(jìn)化博弈時段k(重復(fù)博弈的迭代數(shù))的函數(shù)，具體為：

λ=5×0.999 9t

(18)

λ變量刻畫了智能體決策的隨機(jī)性。當(dāng)λ增大時，智能體決策的隨機(jī)性也隨著增大；而當(dāng)λ減小時，決策的隨機(jī)性變小。由此可見，Boltzmann概率分布法與Q學(xué)習(xí)算法結(jié)合起來具有自適應(yīng)學(xué)習(xí)的能力。

3.3 基于Q學(xué)習(xí)的需求側(cè)能量管理流程

基于前文構(gòu)建的智能建筑、靈活性負(fù)荷以及需求側(cè)能量管理模型，結(jié)合Q學(xué)習(xí)算法，本文所提出的基于強(qiáng)化學(xué)習(xí)的建筑集群需求側(cè)能量管理調(diào)控流程為：

步驟1：初始化Q值表。

初始化規(guī)則為線下預(yù)學(xué)習(xí)階段Q值表中各元素(s,a)的初值均取為0；在線學(xué)習(xí)階段將其初值化為預(yù)學(xué)習(xí)保留的可行Q值表。

步驟2：將連續(xù)狀態(tài)和動作變量離散化，構(gòu)建<狀態(tài)，動作>對值組合。

離散化的主要目的是配合Q學(xué)習(xí)算法進(jìn)行學(xué)習(xí)，對結(jié)果精度產(chǎn)生影響可忽略不計(jì)。通過馬爾可夫模擬產(chǎn)生樣本，結(jié)合需求側(cè)能量管理目標(biāo)函數(shù)，選取當(dāng)前所屬的運(yùn)行狀態(tài)并根據(jù)當(dāng)前狀態(tài)結(jié)合行動選擇概率確定當(dāng)前行動策略。

在狀態(tài)空間的選取部分，本文將各時段內(nèi)的室內(nèi)溫度、熱水供應(yīng)量以及其他非靈活性負(fù)荷的供給情況作為狀態(tài)輸入。上述變量均為連續(xù)變量，為配合Q學(xué)習(xí)方法，將上述變量離散化為區(qū)間形式，根據(jù)建筑集群實(shí)際的負(fù)荷需求情況即可唯一確定所屬狀態(tài)sk=，其中，sHVAC為HVAC系統(tǒng)的狀態(tài)，具體表征此時的室內(nèi)溫度；sWT為熱水器設(shè)備的狀態(tài)，具體表征此時的熱水供應(yīng)量；sLoad為建筑集群內(nèi)非靈活性負(fù)荷的狀態(tài)，具體表征非靈活性負(fù)荷的用能需求。

同理，在動作空間的選取部分，本文中動作策略包括HVAC系統(tǒng)的供給空氣溫度、空氣流速率以及熱水器的供水量。上述變量均為連續(xù)變量，為配合Q學(xué)習(xí)方法，同樣離散化為區(qū)間的形式。根據(jù)建筑集群實(shí)際的負(fù)荷需求情況即可唯一確定的動作策略ak=，其中，aHVAC.T為HVAC系統(tǒng)供給空氣溫度的動作策略；aHVAC.m為HVAC系統(tǒng)空氣流速率的動作策略；aWT為熱水器設(shè)備供水量的動作策略。

將可能的狀態(tài)動作組合指令進(jìn)行校驗(yàn)，剔除不滿足約束的狀態(tài)動作組合，在確定了迭代k的狀態(tài)空間sk以及動作策略ak后，即可計(jì)算不同智能體所屬時段的Q值。

步驟3:Q學(xué)習(xí)算法中獎勵值的計(jì)算與式(10)相對應(yīng)；同時，對未來的狀態(tài)s′進(jìn)行預(yù)測。

步驟4:得到未來的狀態(tài)s′，根據(jù)Q學(xué)習(xí)方法的迭代公式對Q值表進(jìn)行更新，并令s←s′。

步驟5:判斷學(xué)習(xí)過程是否收斂，判斷標(biāo)準(zhǔn)考察Q值表是否趨近于收斂；或者已經(jīng)達(dá)到給定的學(xué)習(xí)步數(shù)或時間限制。若不收斂則令k=k+1，返回步驟2。

基于強(qiáng)化學(xué)習(xí)的需求側(cè)能量管理方法的流程如圖5所示。

圖5 基于強(qiáng)化學(xué)習(xí)的需求側(cè)能量管理流程

4 算例分析與對比

4.1 算例概況

本文將改進(jìn)的IEEE 33節(jié)點(diǎn)配電系統(tǒng)作為建筑集群依附的主體配電系統(tǒng)結(jié)構(gòu)，配電系統(tǒng)內(nèi)的部分節(jié)點(diǎn)接有包含不同功能的智能建筑集群[34]，具體架構(gòu)如圖6所示。不同建筑集群內(nèi)的具體建筑類型、建筑功能等信息如表2所示。

圖6 算例系統(tǒng)架構(gòu)

表2 建筑集群信息

建筑集群內(nèi)的建筑均為獨(dú)棟建筑，對于同一建筑集群內(nèi)的不同智能建筑，RESP會根據(jù)建筑的供熱等級采取相同的暖通及熱水負(fù)荷的控制策略。建筑及HVAC系統(tǒng)的相關(guān)參數(shù)分別如表3及表4所示[24,35]。不同建筑集群在不同終端需求側(cè)能量管理情況下的典型日負(fù)荷曲線如圖7所示，地區(qū)不同時刻的分時電價如圖8所示。

圖7 不同建筑集群典型負(fù)荷曲線

圖8 地區(qū)分時電價

表3 建筑參數(shù)

表4 暖通系統(tǒng)參數(shù)

4.2 需求側(cè)能量管理分析

基于算例設(shè)置，本文對不同建筑集群的需求側(cè)能量管理結(jié)果進(jìn)行分析，其中，調(diào)度時間步長Δt=1 h，通過對數(shù)據(jù)進(jìn)行近200次的線下學(xué)習(xí)與仿真，不同建筑集群的需求側(cè)能量管理結(jié)果如圖9所示，通過結(jié)果圖可以看出，需求側(cè)能量管理可以有效實(shí)現(xiàn)負(fù)荷的“削峰填谷”。

圖9 建筑集群需求側(cè)能量管理結(jié)果

以BC1為例，在HVAC運(yùn)行方面，由于BC1內(nèi)的建筑均為II級建筑，因此HVAC系統(tǒng)會以節(jié)約用電作為主要運(yùn)行目標(biāo)。在01:00—05:00時段，由于用戶處于休息狀態(tài)，因此，HVAC系統(tǒng)會選擇將溫度維持在一個較低的水平；在06:00—07:00時段，由于臨近工作時間，且購電電價較低，因此，HVAC系統(tǒng)會選擇通過增加功率以提高室內(nèi)溫度；在08:00—09:00時段，由于購電成本升高，HVAC系統(tǒng)會適當(dāng)減小出力，室內(nèi)溫度有所下降，然而，由于建筑的虛擬儲能特性，室內(nèi)溫度仍能夠滿足溫度約束條件；在10:00—12:00時段，隨著室外溫度的升高，陽光輻射的增強(qiáng)以及人體、機(jī)器散熱等室內(nèi)熱源的輔助作用，室內(nèi)溫度不斷升高并達(dá)到一天內(nèi)的最高溫度，此時HVAC系統(tǒng)會減小出力以節(jié)約用電成本；在13:00—16:00時段，隨著室外溫度的降低，室內(nèi)溫度也會逐步降低，然而，由于建筑的虛擬儲能特性，此時室內(nèi)的溫度仍能夠滿足約束條件，HVAC系統(tǒng)仍可以通過降低出力節(jié)約電能使用；在17:00—24:00時段，HVAC系統(tǒng)會逐漸增加出力以保證室內(nèi)的溫度滿足約束條件，然而，由于用戶逐漸進(jìn)入休息狀態(tài)，因此，從節(jié)能的角度考慮，HVAC系統(tǒng)會將室內(nèi)溫度維持在較低水平。除此之外，RESP通常會選擇在電價較低時刻滿足用戶的熱水負(fù)荷需求。

由于建筑集群均是以運(yùn)行經(jīng)濟(jì)性最優(yōu)作為能量管理目標(biāo)，因此其他建筑集群與BC1的管理策略類似，在此不再贅述。然而，由于BC3內(nèi)的建筑均為I級建筑，對室內(nèi)溫度的要求相對較高，因此，HVAC系統(tǒng)始終需要將室內(nèi)溫度維持在較高的水平，相比較于其他建筑集群，通過能量管理的效果不如其他建筑集群明顯。

在經(jīng)濟(jì)性方面，不同建筑集群在進(jìn)行需求側(cè)能量管理前后的日用能成本對比如表5所示。通過對比分析可知，采用需求側(cè)能量管理，不同的建筑集群分別能夠節(jié)省約18%、12%、6%、21%的用能成本。因此，通過對建筑集群進(jìn)行需求側(cè)能量管理，可以在一定程度上提升用戶的經(jīng)濟(jì)效益，同時，相比較于以犧牲用戶舒適度為代價的傳統(tǒng)HVAC系統(tǒng)恒溫調(diào)度方法，本文所提出的模型充分考慮了不同類型用戶對于溫度舒適度的需要，也提高了潛在的社會效益。綜上所述，Q學(xué)習(xí)算法能夠通過不斷探索試錯，積累一定的經(jīng)驗(yàn)，從而具備實(shí)現(xiàn)建筑集群需求側(cè)能量管理的能力。

表5 不同建筑集群日用能成本對比

4.3 靈敏性分析

4.3.1控制方法影響分析

如2.2節(jié)所述，暖通系統(tǒng)包括3種控制方式，即溫度控制(T-控制)、流量控制(M-控制)與綜合控制(I-控制)，在不同控制方法下，暖通系統(tǒng)的電能消耗如表6所示。

表6 不同控制方法暖通系統(tǒng)能耗對比

通過對不同控制方式下暖通系統(tǒng)的能耗結(jié)果分析可知，在同樣能夠滿足建筑用戶熱舒適度的前提下，相比較于對暖通系統(tǒng)實(shí)施送風(fēng)溫度或空氣質(zhì)量流量的單一控制方式，采用綜合控制方法可以最大程度地配合建筑的相變虛擬儲能特性挖掘暖通系統(tǒng)的節(jié)能與可調(diào)空間，從而實(shí)現(xiàn)節(jié)能安排與降低用能成本的目標(biāo)。

4.3.2算法性能分析

本節(jié)選取傳統(tǒng)啟發(fā)式算法中的量子粒子群算法[36]，通過優(yōu)化暖通系統(tǒng)及熱水器設(shè)備的相關(guān)參數(shù)使得建筑集群日能耗成本的經(jīng)濟(jì)性最優(yōu)，并與本文介紹的Q學(xué)習(xí)方法進(jìn)行對比，基于4.1節(jié)提出的在線學(xué)習(xí)環(huán)境，以圖6所示的BC1的日運(yùn)行能耗成本為例，不同算法的迭代運(yùn)行過程如圖10所示。

圖10 不同算法迭代過程對比

由圖10可知，對于算例涉及的多變量優(yōu)化問題，啟發(fā)式算法需要相對漫長的搜索過程，需要約300次迭代會進(jìn)入收斂范圍，在線優(yōu)化耗時387.3 s，另外算法容易陷入局部最優(yōu)；而經(jīng)過了預(yù)學(xué)習(xí)過程的Q學(xué)習(xí)方法通過學(xué)習(xí)經(jīng)驗(yàn)可以直接將狀態(tài)動作的搜索空間定在最終解附近，再通過深入挖掘得到最終的需求側(cè)能量管理策略，通過約150次迭代即可收斂，在線耗時108.6 s，在算法效率與最優(yōu)結(jié)果的挖掘方面均具有一定優(yōu)勢。

5 結(jié) 論

本文通過構(gòu)建智能建筑及用戶靈活性負(fù)荷模型，結(jié)合Q學(xué)習(xí)算法，提出了基于強(qiáng)化學(xué)習(xí)的建筑集群需求側(cè)能量管理方法，探索了強(qiáng)化學(xué)習(xí)算法在建筑集群需求側(cè)能量管理中的應(yīng)用，通過理論與算例仿真分析，得到的主要結(jié)論如下：

1)本文所構(gòu)建的建筑R-C熱平衡模型能夠有效表征建筑的相變虛擬儲能特性，能夠結(jié)合人體對于室內(nèi)溫度的舒適敏感區(qū)間，從而為終端需求側(cè)能量管理提供調(diào)度空間；

2)采用本文所提出的建筑集群需求側(cè)能量管理方法，可以節(jié)省約15%的建筑集群日運(yùn)行能耗成本；

3)相比較于對暖通系統(tǒng)實(shí)施送風(fēng)溫度或空氣質(zhì)量流量的單一控制方法，采用綜合控制方法能夠分別節(jié)省約15%以及18%的暖通系統(tǒng)電能消耗，從而進(jìn)一步挖掘暖通系統(tǒng)的可調(diào)度空間；

4)相比較于啟發(fā)式算法，以Q學(xué)習(xí)為代表的強(qiáng)化學(xué)習(xí)算法在算法效率、最優(yōu)結(jié)果的挖掘以及尋優(yōu)時間等方面均具有一定優(yōu)勢。

未來的研究將會進(jìn)一步針對用戶的差異化用能需求制定定制化的需求側(cè)能量管理策略，并在此基礎(chǔ)上進(jìn)一步考慮針對終端用戶的綜合能源需求開展需求側(cè)管理。