基于生成對(duì)抗網(wǎng)絡(luò)的Q學(xué)習(xí)能耗預(yù)測(cè)方法

王悅 黃澤天 鄒鋒

摘要：針對(duì)大型公共建筑之中實(shí)際能耗數(shù)據(jù)缺乏、能耗預(yù)測(cè)精度低的問(wèn)題，提出了一種方法——基于生成對(duì)抗網(wǎng)絡(luò)的Q學(xué)習(xí)能耗預(yù)測(cè)算法（Reinforcement Learning Algorithm Based on Generative Adversarial Networks，GAN_RL）。該算法首先將能耗數(shù)據(jù)轉(zhuǎn)化成時(shí)間標(biāo)記的數(shù)據(jù)，同時(shí)利用生成對(duì)抗網(wǎng)絡(luò)生成部分建筑能耗數(shù)據(jù)，并將其加入原始能耗數(shù)據(jù)之中，將前幾個(gè)時(shí)辰的能耗數(shù)據(jù)通過(guò)環(huán)境狀態(tài)進(jìn)行建模，結(jié)合Q學(xué)習(xí)方法預(yù)測(cè)后續(xù)能耗。該算法采用結(jié)合生成對(duì)抗網(wǎng)絡(luò)與Q學(xué)習(xí)的方法解決了能耗數(shù)據(jù)不足的問(wèn)題。實(shí)驗(yàn)表明，該算法能有效地預(yù)測(cè)建筑能耗，預(yù)測(cè)精度高。

關(guān)鍵詞：建筑能耗; 生成對(duì)抗網(wǎng)絡(luò);Q學(xué)習(xí);能耗預(yù)測(cè)

中圖分類號(hào)：TP181? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2020）23-0222-03

Abstract： Aiming at the problem of lack of actual energy consumption data and low accuracy of energy consumption prediction in large public buildings， a method based on Q-learning algorithm based on generative adversarial networks （GAN_RL） is proposed. Firstly， the energy consumption data is transformed into time tagged data. At the same time， part of the building energy consumption data is generated by the generation of countermeasures network and added to the original energy consumption data. The energy consumption data of the first few hours are modeled through the environmental state， and the subsequent energy consumption is predicted by combining the Q-learning method. In this algorithm， the problem of energy consumption data shortage is solved by combining the generation of countermeasure network and Q-learning. Experimental results show that the algorithm can effectively predict building energy consumption with high accuracy.

Key words： building energy; generative adversarial networks;Q-learning; energy consumption prediction

1 緒論

在我國(guó)經(jīng)濟(jì)突飛猛進(jìn)的今天，大型公共建筑的總數(shù)量呈逐年上升的態(tài)勢(shì)，同時(shí)大型公共建筑的耗電量也是普通居民住宅的幾十倍[1]。隨著社會(huì)發(fā)展速度的加快，大型公共建筑耗能高的難題日漸凸顯，關(guān)于大型的公共建筑能耗變化和發(fā)展特性進(jìn)行剖析，能夠?yàn)槌鞘械慕ㄖ?jié)能任務(wù)給予一定的根據(jù)[4]。因而在大型建筑的用電能耗進(jìn)行預(yù)測(cè)是必要的。

關(guān)于大型公共建筑一類能耗預(yù)測(cè)的問(wèn)題， 2018年，Lai等人提出了一種能耗預(yù)測(cè)算法，該算法使用人工神經(jīng)網(wǎng)絡(luò)用歷史能耗數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，達(dá)到預(yù)測(cè)能耗的目的[3]。但是該算法存在收斂速度慢、效率比較低的問(wèn)題。因此，劉倩穎等人于2018年提出了基于kmeans聚類與BP神經(jīng)網(wǎng)絡(luò)的建筑能耗預(yù)測(cè)模型，此算法在BP神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，應(yīng)用kmeans聚類算法以在它之上聚類，顯著提高了預(yù)測(cè)精度[1]。但是，目前人工神經(jīng)網(wǎng)絡(luò)算法的改進(jìn)基本來(lái)說(shuō)是從改良神經(jīng)網(wǎng)絡(luò)的方面入手的，或者提高歷史能耗數(shù)據(jù)的利用率，沒(méi)有考慮到從數(shù)據(jù)樣本大小的角度出發(fā)去改善預(yù)測(cè)精度。生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）主要是生成器模型及判別器模型構(gòu)成，其暗含的根本思想是從訓(xùn)練數(shù)據(jù)庫(kù)中得到足量的經(jīng)驗(yàn)樣本，并學(xué)習(xí)這些經(jīng)驗(yàn)樣本的概率分布，以處理數(shù)據(jù)樣本缺乏的難題[4]。

本文針對(duì)大型公共建筑能耗預(yù)測(cè)精度不高的問(wèn)題，提出一種算法，該算法將生成對(duì)抗網(wǎng)絡(luò)與Q學(xué)習(xí)相結(jié)合作為一種建筑能耗預(yù)測(cè)算法（Reinforcement Learning Algorithm Based on Generative Adversarial Networks，GAN_RL）。該算法通過(guò)采集建筑能耗形成真實(shí)能耗樣本池，而后應(yīng)用GAN構(gòu)成GAN產(chǎn)生的數(shù)據(jù)樣本池作為新生成的能耗樣本。兩者共同為Q學(xué)習(xí)預(yù)測(cè)模型提供訓(xùn)練樣本。這個(gè)算法將能耗數(shù)據(jù)轉(zhuǎn)化成時(shí)間標(biāo)記的數(shù)據(jù)，經(jīng)過(guò)前幾個(gè)時(shí)辰的能耗對(duì)環(huán)境狀態(tài)進(jìn)行建模，結(jié)合Q學(xué)習(xí)方法預(yù)測(cè)后續(xù)能耗。該算法有效解決了因能耗樣本不足而導(dǎo)致的大型建筑能耗預(yù)測(cè)準(zhǔn)確率較低的問(wèn)題，為解決能耗預(yù)測(cè)問(wèn)題提供了新思路。試驗(yàn)結(jié)果表明，該能耗預(yù)測(cè)方法預(yù)測(cè)的精度較高。

2 背景知識(shí)

建筑能耗的預(yù)測(cè)與分析是確定合理節(jié)能策略的根底，是節(jié)約能耗降低耗能工作的研究熱點(diǎn)之一， 目前很多專家學(xué)者于建筑節(jié)能問(wèn)題進(jìn)行了深入的研究[5]，從研究對(duì)象的角度大抵可以被分兩類：第一類主要從建筑結(jié)構(gòu)方面著手，在建筑最初規(guī)劃設(shè)計(jì)階段使用建筑能耗模擬軟件對(duì)建筑能耗進(jìn)行預(yù)測(cè)[1]。在建筑構(gòu)建階段進(jìn)行軟件仿真對(duì)于建筑能耗剖析具備相當(dāng)價(jià)值的側(cè)面作用，通過(guò)軟件模擬可以細(xì)致研究建筑物本身不可變因素對(duì)能耗的影響。雖然在建筑設(shè)計(jì)初期通過(guò)軟件模擬可以獲得建筑物能耗預(yù)測(cè)，但是由于不同人生活習(xí)慣的差異以及之后對(duì)建筑物使用方式的不同導(dǎo)致模擬軟件所預(yù)測(cè)的能耗與實(shí)際能耗有很大差異。建筑能耗數(shù)據(jù)包含了在使用建筑物過(guò)程中能耗的所有相關(guān)信息，所以通過(guò)研究建筑能耗數(shù)據(jù)可以了解建筑能耗產(chǎn)生規(guī)律，并基于此選擇合適的建筑物能耗使用方案和節(jié)能措施;第二類研究主要集中在對(duì)建筑能耗數(shù)據(jù)的分析處理上，經(jīng)過(guò)線性回歸算法尋找能源數(shù)據(jù)與影響變量因素的權(quán)值聯(lián)系，然后對(duì)建筑能耗數(shù)據(jù)做進(jìn)一步的分處理以達(dá)到分析預(yù)測(cè)能耗的目的[3]。但此類研究的對(duì)象一般是整個(gè)地區(qū)或整個(gè)城市的能耗數(shù)據(jù)，并且時(shí)間段一般以月/單位耗電量和年/單位耗電量為單位，關(guān)于逐時(shí)耗電量簡(jiǎn)直未曾提及，不可以充分的達(dá)到短期的能耗預(yù)測(cè)的目的標(biāo)準(zhǔn)。

目前，建筑能耗預(yù)測(cè)方法大致可分為以下四種：工程簡(jiǎn)化算法、統(tǒng)計(jì)學(xué)方法、并行計(jì)算方法和人工智能方法。工程簡(jiǎn)化算法不需要煩瑣的輸入，通過(guò)月平均溫度來(lái)預(yù)測(cè)校園、大型商業(yè)建筑或住宅的能耗;統(tǒng)計(jì)學(xué)方法以多元回歸方法為例，使用回歸方法關(guān)聯(lián)建筑能耗與建筑參數(shù)快速預(yù)測(cè)能耗;并行計(jì)算方法在保證原有計(jì)算精度的同時(shí)增加計(jì)算資源以達(dá)到快速預(yù)測(cè)能耗的目的;而人工智能方法以人工神經(jīng)網(wǎng)絡(luò)模型為例，不僅能夠改變各個(gè)變量之間的非線性關(guān)系，在能耗預(yù)測(cè)方面也比傳統(tǒng)方法具有更高的精度。

3 基于GAN的Q學(xué)習(xí)能耗預(yù)測(cè)算法

基于Q學(xué)習(xí)的能耗預(yù)測(cè)算法需要通過(guò)計(jì)算值函數(shù)來(lái)獲得最優(yōu)策略，但是在訓(xùn)練過(guò)程中，由于agent缺少建筑物能耗樣本，所以存在學(xué)習(xí)速度慢、預(yù)測(cè)準(zhǔn)確率低的情況。因此，在面對(duì)Q學(xué)習(xí)預(yù)測(cè)算法效率不高的問(wèn)題，引入生成對(duì)抗網(wǎng)絡(luò)，采用一種結(jié)合生成對(duì)抗網(wǎng)絡(luò)技術(shù)的以Q學(xué)習(xí)為根底研討措施的能耗預(yù)測(cè)算法。在面對(duì)能耗數(shù)據(jù)不足的問(wèn)題上生成符合已有數(shù)據(jù)特征分布的“仿真”數(shù)據(jù)解決數(shù)據(jù)不足的問(wèn)題，從而提高研究中所要預(yù)測(cè)的數(shù)據(jù)的精度。

3.1 基于Q學(xué)習(xí)的建筑能耗預(yù)測(cè)方法

在Q學(xué)習(xí)任務(wù)中，Q學(xué)習(xí)算法能夠在不理解馬爾科夫動(dòng)態(tài)的特點(diǎn)的情況下找到馬爾科夫決策進(jìn)程最優(yōu)的策略，Q學(xué)習(xí)不會(huì)為馬爾科夫決策進(jìn)程其動(dòng)態(tài)特性去建立模型，通常直接估量每個(gè)狀態(tài)下每個(gè)舉措的Q值，而后經(jīng)過(guò)抉擇每個(gè)狀態(tài)下最高Q值所對(duì)應(yīng)的舉措來(lái)構(gòu)成策略[2]。面對(duì)能耗數(shù)據(jù)預(yù)測(cè)的問(wèn)題接下來(lái)利用馬爾可夫決策過(guò)程來(lái)進(jìn)行建模：

因?yàn)槭占降哪芎臄?shù)據(jù)具備時(shí)間序列的特性，因此預(yù)測(cè)模型樣本也應(yīng)該具有時(shí)間序列結(jié)構(gòu)，這是一種時(shí)間序列結(jié)構(gòu)。因此，預(yù)測(cè)模型樣本包含以下幾個(gè)部分：

基于上述預(yù)測(cè)模型的樣本，使用Q學(xué)習(xí)算法進(jìn)行Q學(xué)習(xí)， 如式（1）所示：

其中，α 表示學(xué)習(xí)率，[γ]表示的是折扣因子，動(dòng)作[a∈A]， [A]則是被稱作為動(dòng)作空間，狀態(tài)[s，s'∈S]，[S]則是被稱作為狀態(tài)空間，[r]為agent執(zhí)行從當(dāng)前狀態(tài)到下一狀態(tài)的操作所獲得的獎(jiǎng)勵(lì)值，[Q（s，a）]為動(dòng)作值函數(shù)。在每個(gè)時(shí)辰，依據(jù)上一時(shí)辰狀態(tài)[s]抉擇動(dòng)作a，并觀察獎(jiǎng)賞[r]和下一時(shí)刻狀態(tài)[s']，結(jié)合公式更新Q值。

3.2 基于GAN的建筑能耗樣本生成方法

針對(duì)由于訓(xùn)練過(guò)程中缺少建筑物能耗樣本導(dǎo)致能耗預(yù)測(cè)算法效率低的問(wèn)題，在預(yù)測(cè)模型中引入之前所提到的生成對(duì)抗網(wǎng)絡(luò)。此時(shí)建筑物能耗真實(shí)樣本集如式（2）所示：

[s]表示上一狀態(tài)建筑物能耗，[s']表示下一狀態(tài)建筑物能耗。由于后續(xù)狀態(tài)[s']基于上一時(shí)刻狀態(tài)[s]。因此，[s]與[s']之間存在一定的聯(lián)系，并通過(guò)其聯(lián)系基于深層神經(jīng)網(wǎng)絡(luò)（Rectified Relationship Unit，R-RU）的關(guān)系校正單元的構(gòu)建，其中作為輸入用[s]表示，作為輸出用[s']表示，關(guān)系修正單元用于訓(xùn)練建筑能耗真實(shí)樣本集[s]和[s']之間所存在的內(nèi)在關(guān)系。

主要是用于指導(dǎo)生成對(duì)抗網(wǎng)絡(luò)GAN生成更加近似真實(shí)能耗數(shù)據(jù)的樣本。

與建筑物能耗真實(shí)樣本集一致，利用GAN所生成的建筑物能耗數(shù)據(jù)如式（3）所示：

[sz]代表生成器模型所生成前一狀態(tài)的建筑能耗值，[sz']代表生成器模型所生成的后續(xù)狀態(tài)的建筑能耗值。生成器所生成的建筑物能耗數(shù)據(jù)與原先所測(cè)得的真實(shí)能耗樣本集共同訓(xùn)練agent，以獲得最優(yōu)策略。

考慮利用建筑物能耗真實(shí)樣本集訓(xùn)練GAN，GAN能夠?qū)W習(xí)到屬于最初收集的真實(shí)樣本地概率分布，然后GAN以此生成建筑物能耗樣本，同時(shí)，結(jié)合生成的能耗樣本中的上一狀態(tài)建筑物能耗[sz]，將[sz]輸入R-RU，R-RU的輸出作為構(gòu)建的下一狀態(tài)建筑物能耗[sz'']，目標(biāo)是使得所生成的下一狀態(tài)建筑物能耗[sz']與構(gòu)建的下一狀態(tài)建筑物能耗[sz'']他們之間有很高的相似性。[sz']和[sz'']之間的相似程度采用相對(duì)熵（[KL]散度）來(lái)描述，如式（4）所示：

[P]表示生成的上一狀態(tài)建筑物能耗[sz']，[Q]表示構(gòu)建的下一狀態(tài)建筑物能耗[sz'']。因此，值函數(shù)[W（D，G）]如式（5）所示：[]

其中k是權(quán)重參數(shù)。同時(shí)，通過(guò)對(duì)GAN模型的正則化，提高了數(shù)據(jù)生成的質(zhì)量。的一個(gè)輔助方法。另外，當(dāng)GAN參數(shù)不斷改變時(shí)， [sz]和[sz']也會(huì)依據(jù)真實(shí)能耗數(shù)據(jù)集不斷地改變更新，最終[W（D，G）]會(huì)趨向一個(gè)全局最小值。

3.3 GAN_RL算法

針對(duì)大型公共建筑能耗預(yù)測(cè)精度低、實(shí)際能耗數(shù)據(jù)缺乏的問(wèn)題，提出了一種方法——基于生成對(duì)抗網(wǎng)絡(luò)的Q學(xué)習(xí)能耗預(yù)測(cè)算法（Reinforcement Learning Algorithm Based on Generative Adversarial Networks，GAN_RL）。該算法在Q學(xué)習(xí)的基礎(chǔ)上引入了生成對(duì)抗網(wǎng)絡(luò)，具體流程圖如圖1所示。

其中，首先收集真實(shí)能耗數(shù)據(jù)，在對(duì)能耗數(shù)據(jù)進(jìn)行簡(jiǎn)單的預(yù)處理之后導(dǎo)入到GAN之中生成的數(shù)據(jù)一并加入建筑能耗數(shù)據(jù)之中，以改善數(shù)據(jù)不足的問(wèn)題，同時(shí)在訓(xùn)練GAN的過(guò)程中加入R-Ru算法。

根據(jù)算法流程圖可以大致了解能耗預(yù)測(cè)模型中數(shù)據(jù)的處理過(guò)程，以此為基礎(chǔ)建立GAN_RL算法，如算法1所示。

算法1? ?GAN_RL算法

GAN_RL算法其中訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)GAN和關(guān)系修正單元R-RU的同時(shí)，根據(jù)收集真實(shí)數(shù)據(jù)，R-RU也會(huì)不斷改進(jìn)GAN，提高GAN生成數(shù)據(jù)的可靠度。在訓(xùn)練agent的同時(shí)，GAN也會(huì)生成新的樣本加入[D2]中，最后結(jié)合[D1]和[D2]共同選擇樣本數(shù)據(jù)，提供給控制器agent訓(xùn)練獎(jiǎng)賞值函數(shù)，以達(dá)到最大化累計(jì)獎(jiǎng)賞，來(lái)實(shí)現(xiàn)更加精準(zhǔn)的建筑能耗預(yù)測(cè)效果。

4 實(shí)驗(yàn)結(jié)果分析

如圖2，表示的是原始建筑能耗數(shù)據(jù)量，坐標(biāo)軸橫軸表示時(shí)間，坐標(biāo)軸縱軸表示相對(duì)應(yīng)的建筑能耗。上圖圖3表示的是經(jīng)過(guò)能耗預(yù)測(cè)擬合曲線與真實(shí)能耗數(shù)據(jù)的對(duì)比圖。由于要避免偶然性，預(yù)測(cè)算法需要獨(dú)立執(zhí)行50次，摒棄具有異常值的數(shù)據(jù)曲線，求各個(gè)節(jié)點(diǎn)數(shù)據(jù)的均值。在試驗(yàn)最初，獲取能耗數(shù)據(jù)的同時(shí)，將其排列為時(shí)間序列，如圖2，之后將這些數(shù)據(jù)作為算法的輸入值即原始數(shù)據(jù)，算法的輸出值與實(shí)際值的對(duì)比如圖3，根據(jù)圖3可知該算法通過(guò)結(jié)合GAN與Q學(xué)習(xí)，將其應(yīng)用到建筑能耗預(yù)測(cè)中，具有很好的預(yù)測(cè)效果，預(yù)測(cè)模型的預(yù)測(cè)精確度也較高。

5 結(jié)束語(yǔ)

本文主要針對(duì)大型公共建筑中的能耗預(yù)測(cè)任務(wù)準(zhǔn)確率不高的問(wèn)題，提出一種算法，該算法將生成對(duì)抗網(wǎng)絡(luò)GAN結(jié)合Q學(xué)習(xí)作為一種能耗預(yù)測(cè)算法應(yīng)用到建筑領(lǐng)域中。該算法首先采集能耗數(shù)據(jù)構(gòu)成真實(shí)能耗樣本池，而后通過(guò)GAN產(chǎn)生數(shù)據(jù)作為新的能耗數(shù)據(jù)。新數(shù)據(jù)與原始數(shù)據(jù)兩者合并一起作為Q學(xué)習(xí)預(yù)測(cè)模型的訓(xùn)練樣本，之后這些數(shù)據(jù)則用于能耗預(yù)測(cè)。該算法有效解決了因能耗樣本不足而導(dǎo)致的預(yù)測(cè)準(zhǔn)確率不太高的問(wèn)題，為解決能耗預(yù)測(cè)問(wèn)題提供了新思路。根據(jù)實(shí)驗(yàn)結(jié)果可以得出該能耗預(yù)測(cè)方法的準(zhǔn)確率較高。

參考文獻(xiàn)：

[1] Banihashemi S，Ding G，Wang J.Developing a hybrid model of prediction and classification algorithms for building energy consumption[J].Energy Procedia， 2017，110：371-376.

[2] Watkins C J C H，Dayan P.Q-learning[J].Machine Learning， 1992，8（3/4）：279-292.

[3] 陳建平，鄒鋒，劉全，等.一種基于生成對(duì)抗網(wǎng)絡(luò)的強(qiáng)化學(xué)習(xí)算法[J].計(jì)算機(jī)科學(xué)，2019，46（10）：265-272.

[4] 鄒鋒，田大偉，王悅，等.基于生成對(duì)抗網(wǎng)絡(luò)的深度學(xué)習(xí)能耗預(yù)測(cè)算法[J].電腦知識(shí)與技術(shù)，2019，15（2）：198-200.

[5] 鄒鋒.基于生成對(duì)抗網(wǎng)絡(luò)的強(qiáng)化學(xué)習(xí)方法及其在建筑節(jié)能方面的應(yīng)用[D].蘇州：蘇州科技大學(xué)，2019.

【通聯(lián)編輯：唐一東】