結(jié)合注意力機(jī)制與BIM特征的電力能耗預(yù)測(cè)

田英杰 郭乃網(wǎng) 徐東輝 龐 悅 周向東 施伯樂(lè)

1(國(guó)網(wǎng)上海市電力公司電力科學(xué)研究院 上海 200437)2(復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院 上海 200433)

0 引 言

隨著中國(guó)經(jīng)濟(jì)的飛速發(fā)展和城市化的快速推進(jìn)，社會(huì)對(duì)電力能源的需求日益增加[1]。為保障能源利用可持續(xù)發(fā)展，提高發(fā)電和配電效率，減少資源浪費(fèi)，我國(guó)電網(wǎng)系統(tǒng)正向智能化電網(wǎng)發(fā)展[2-3]。智能化電網(wǎng)要求電力系統(tǒng)能夠根據(jù)用戶需求動(dòng)態(tài)調(diào)整發(fā)電與分配方案。因此，準(zhǔn)確預(yù)測(cè)未來(lái)電力能耗需求對(duì)智能電網(wǎng)的推動(dòng)起至關(guān)重要的作用。

電力能耗預(yù)測(cè)屬于時(shí)間序列預(yù)測(cè)問(wèn)題，其主要預(yù)測(cè)方法是通過(guò)回歸機(jī)器學(xué)習(xí)模型。無(wú)論是對(duì)基于統(tǒng)計(jì)學(xué)的傳統(tǒng)模型還是深度神經(jīng)網(wǎng)絡(luò)，模型的輸入特征對(duì)預(yù)測(cè)結(jié)果都有著決定性作用。勞倫斯伯克利國(guó)家實(shí)驗(yàn)室(LBNL)的研究[4]顯示，引入與目標(biāo)序列相關(guān)聯(lián)的外因序列進(jìn)行輔助預(yù)測(cè)將有效提升預(yù)測(cè)精度。但是在現(xiàn)實(shí)應(yīng)用中，由于獲取與耗電單位直接相關(guān)或顯著相關(guān)的外界因素?cái)?shù)據(jù)成本高、難度大，且同一時(shí)間戳往往記錄了多種不同類型的時(shí)間序列數(shù)據(jù)，通過(guò)人工挑選和目標(biāo)序列強(qiáng)相關(guān)的外界序列效率低、拓展性差，而直接將多序列作為特征輸入則為目標(biāo)序列引入噪聲，使預(yù)測(cè)精度下降，導(dǎo)致多數(shù)用電能耗預(yù)測(cè)僅通過(guò)用電序列自身作為特征，根據(jù)目標(biāo)序列自回歸性做出預(yù)測(cè)，精度有限。因此，倘若模型能從相對(duì)容易獲取的外界序列中自動(dòng)挖掘序列間關(guān)系并用以輔助預(yù)測(cè)，將有助于提升目標(biāo)序列預(yù)測(cè)精度。如圖1所示，兩條序列分別為某大型醫(yī)院醫(yī)療設(shè)備I號(hào)與醫(yī)療設(shè)備II號(hào)，盡管兩條序列在背景知識(shí)下無(wú)直接關(guān)聯(lián)，但兩條序列在部分區(qū)段存在明顯的遲滯相關(guān)性。倘若模型可以對(duì)此加以識(shí)別并利用其相關(guān)性，將有助于提升預(yù)測(cè)精度。

圖1 序列間存在隱含相關(guān)性

注意力機(jī)制(Attention Mechanism)[5]在深度學(xué)習(xí)中有著重要地位。在多序列預(yù)測(cè)問(wèn)題中，通過(guò)注意力機(jī)制可以根據(jù)序列間相關(guān)性為目標(biāo)序列自動(dòng)選取相關(guān)性強(qiáng)的外因序列。因此準(zhǔn)確刻畫序列間相關(guān)性將決定注意力機(jī)制是否能正確對(duì)多序列選取。然而僅通過(guò)不同序列各自的數(shù)值信息無(wú)法描述各序列的真實(shí)背景，語(yǔ)義模糊，進(jìn)而使注意力機(jī)制難以發(fā)揮作用。

建筑信息模型(Building Information Model，BIM)是建筑領(lǐng)域一種新興的建筑設(shè)計(jì)技術(shù)[6]。BIM超越了傳統(tǒng)的二維CAD技術(shù)，將信息的表達(dá)方式由二維轉(zhuǎn)換為三維，記錄了整個(gè)建筑從項(xiàng)目方案到建筑設(shè)計(jì)、施工的所有數(shù)據(jù)信息與特征。圖2為BIM技術(shù)建模示例。BIM具有高度的集成性，貫穿在建筑項(xiàng)目的整個(gè)生命周期內(nèi)為設(shè)施的所有決策提供可靠依據(jù)，支持不同利益相關(guān)方協(xié)同工作。由于BIM模型中包含豐富的數(shù)據(jù)特征，通過(guò)用電單位的BIM特征將完善用電單位對(duì)應(yīng)時(shí)間序列的語(yǔ)義信息，使得不同時(shí)間序列間的數(shù)字化、離散化描述更加清晰、準(zhǔn)確。

圖2 BIM三維建模示例

針對(duì)以上問(wèn)題和設(shè)想，本文提出BIMAttenNN模型，結(jié)合注意力機(jī)制與BIM特征的深度神經(jīng)網(wǎng)絡(luò)模型對(duì)多外因能耗序列進(jìn)行預(yù)測(cè)，該模型具備自動(dòng)選取外因序列能力。結(jié)合真實(shí)多序列電力能耗數(shù)據(jù)進(jìn)行預(yù)測(cè)，實(shí)驗(yàn)表明BIMAttenNN模型提升了預(yù)測(cè)精度。

1 相關(guān)工作

電力能耗預(yù)測(cè)是時(shí)間序列預(yù)測(cè)問(wèn)題。時(shí)間序列預(yù)測(cè)多年來(lái)一直是專家學(xué)者研究的熱門領(lǐng)域。在眾多預(yù)測(cè)模型中，最經(jīng)典的是由Whittle[7]在1951年提出的自回歸移動(dòng)平均模型[8](Autoregressive moving average model，ARMA)及其變種自回歸差分移動(dòng)平均模型(Autoregressive Integrated Moving Average model，ARIMA)等基于統(tǒng)計(jì)學(xué)的傳統(tǒng)模型。但是此類模型只能由時(shí)間序列的線性自回歸做出預(yù)測(cè)，并且無(wú)法對(duì)多序列建模。循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Nerual Network，RNN)作為神經(jīng)網(wǎng)絡(luò)中序列模型的代表，由于其強(qiáng)大的非線性建模能力與靈活的建模方式[9]，越來(lái)越受到人們的關(guān)注。Gao等[10]使用RNN模型對(duì)多序列問(wèn)題建模，該模型可以自適應(yīng)地學(xué)習(xí)復(fù)雜序列間的關(guān)系。而傳統(tǒng)的RNN存在梯度消失的問(wèn)題[11]，為改善此問(wèn)題，諸多帶門控的RNN被提出，如Hochreiter等[12]提出的長(zhǎng)短記憶網(wǎng)絡(luò)(Long Short-term Memory Units，LSTM)和Cho等[13]提出的門控循環(huán)網(wǎng)絡(luò)(Gated Recurrent Units，GRU)。此后研究多在LSTM或GRU的基礎(chǔ)上建立。Gensler等[14]利用自編碼器對(duì)時(shí)間序列進(jìn)行特征抽取并結(jié)合LSTM進(jìn)行預(yù)測(cè)。Yan等[15]利用卷積神經(jīng)網(wǎng)絡(luò)(CNN)和LSTM搭配的結(jié)構(gòu)對(duì)電力能耗進(jìn)行時(shí)間序列預(yù)測(cè)，用CNN選取特征，LSTM進(jìn)行數(shù)值預(yù)測(cè)。Li[16]將編碼-解碼網(wǎng)絡(luò)用于風(fēng)能時(shí)間序列預(yù)測(cè)任務(wù)中，證明了編碼-解碼網(wǎng)絡(luò)在時(shí)間序列預(yù)測(cè)問(wèn)題中的價(jià)值。

注意力機(jī)制具備學(xué)習(xí)權(quán)重的能力，Bahdanau等[17]使用帶注意力機(jī)制的編碼-解碼網(wǎng)絡(luò)，令機(jī)器翻譯效果獲得大幅提升。Vaswani等[5]根據(jù)注意力機(jī)制強(qiáng)大的權(quán)重學(xué)習(xí)能力提出了Transfomer模型，在機(jī)器翻譯領(lǐng)域大獲成功。Song等[18]將Transformer結(jié)構(gòu)應(yīng)用于時(shí)間序列預(yù)測(cè)領(lǐng)域，驗(yàn)證了注意力機(jī)制和Trasfomer模型的價(jià)值。Qin等[19]提出了兩步注意力模型，除了將注意力機(jī)制用在時(shí)間步選取外，還用于外因選擇中，大幅提升目標(biāo)序列預(yù)測(cè)精度。注意力機(jī)制的有效性為多序列學(xué)習(xí)任務(wù)提供了有效指導(dǎo)。

BIM對(duì)電力能耗的預(yù)測(cè)國(guó)內(nèi)外已有一定研究。張先鋒[1]通過(guò)BIM技術(shù)對(duì)建筑模型進(jìn)行參數(shù)化，并通過(guò)小波神經(jīng)網(wǎng)絡(luò)對(duì)電力負(fù)荷預(yù)測(cè)，驗(yàn)證了BIM對(duì)能耗預(yù)測(cè)的可行性。Kim[20]將BIM特征與決策樹結(jié)合，搭建了預(yù)測(cè)建筑能耗支出的模型。Alshibani等[21]利用BIM特征和多層感知機(jī)構(gòu)建了電力支出預(yù)測(cè)模型。上述研究均直接建模了BIM與電力總能耗的關(guān)系，未利用BIM對(duì)耗電單位語(yǔ)義描述豐富的特點(diǎn)，因此本文結(jié)合注意力模型并使用BIM特征更加清晰地定義序列間相似度，進(jìn)而提升預(yù)測(cè)精度。

2 模型設(shè)計(jì)

2.1 符號(hào)與問(wèn)題定義

給定n個(gè)目標(biāo)序列以外長(zhǎng)度為T的耗電單位時(shí)間序列X(簡(jiǎn)稱外因序列)以及長(zhǎng)度同樣為T的目標(biāo)序列Y和總計(jì)n+1個(gè)耗電單位的BIM特征Z：

X=(x1,x2,…,xn)′=(x1,x2,…,xT)∈Rn×T

(1)

Y=yT=(y1,y2,…,yT)∈RT

(2)

Z=(z1,z2,…,zn+1)∈R(n+1)×q

(3)

V=(v1,v2,…,vn+1)=(x1,x2,…,xn,y)∈R(n+1)×T

(4)

本文研究的問(wèn)題為：給定全電力時(shí)間序列V的歷史T個(gè)值和BIM特征Z，如何準(zhǔn)確預(yù)測(cè)目標(biāo)序列Y的下一時(shí)刻值yT+1：

(5)

式中：映射F(·)即為模型學(xué)習(xí)目標(biāo)。

2.2 BIM特征選用

BIM特征建立在工業(yè)基礎(chǔ)類(Industry Foundation Class，IFC)數(shù)據(jù)結(jié)構(gòu)上，IFC結(jié)構(gòu)定義復(fù)雜，容納信息量龐大，通過(guò)建立類對(duì)象實(shí)例來(lái)描述具體的建筑信息[6]。IFC中的類根據(jù)集成關(guān)系分為資源層、核心層、共享層、領(lǐng)域?qū)铀膫€(gè)層次，每個(gè)層次中都使用EXPRESS語(yǔ)言建立了對(duì)應(yīng)的類來(lái)描述對(duì)象。在IFC文件中將類實(shí)例化為對(duì)象來(lái)存儲(chǔ)建筑信息。IFC層次結(jié)構(gòu)如圖3所示。

圖3 IFC類層次結(jié)構(gòu)

合理選用BIM特征對(duì)模型建立有重要意義。BIM特征可以分為IFC類結(jié)構(gòu)信息與建筑描述信息。其中IFC類結(jié)構(gòu)信息主要描述了IFC類之間的繼承關(guān)系與類結(jié)構(gòu)屬性等；建筑描述信息則是面向BIM開發(fā)人員的建筑、建造單位的顯式建造特征。由于顯式特征的直接相關(guān)性，本文使用BIM特征中顯式的建筑描述信息進(jìn)行建模。以本文使用的數(shù)據(jù)集為例，選用的BIM特征描述見表1。

表1 BIM特征詳情

其中，數(shù)值型特征將直接作為特征使用，類別特征使用獨(dú)熱編碼[22]方式轉(zhuǎn)化為向量形式，多個(gè)向量化的類別特征、實(shí)數(shù)特征拼接構(gòu)成第k個(gè)序列的BIM特征向量zk，即zk=[b1，b2,…,b41,s]′，b1,b2,…,b41∈{0,1},s∈Z。不同數(shù)據(jù)集可以用同樣的方法構(gòu)造BIM特征向量。

2.3 模型建立

Qin等[19]在股價(jià)預(yù)測(cè)問(wèn)題中使用兩步注意力機(jī)制的結(jié)構(gòu)，并驗(yàn)證了注意力機(jī)制對(duì)外因序列的選擇作用。受此啟發(fā)，本文采用兩步注意力機(jī)制與編碼器-解碼器結(jié)構(gòu)進(jìn)行預(yù)測(cè)。此外，Lai等[23]指出，神經(jīng)網(wǎng)絡(luò)對(duì)時(shí)間序列建模可能會(huì)缺乏對(duì)時(shí)間序列的線性自回歸部分建模。因此本文在模型中添加線性自回歸預(yù)測(cè)分支以確保模型對(duì)線性映射部分的學(xué)習(xí)能力。模型由BIM-Attention編碼器、解碼器和自回歸部分組成。整體結(jié)構(gòu)如圖4所示。

圖4 模型整體結(jié)構(gòu)

2.3.1 BIM-Attention編碼器

在機(jī)器翻譯領(lǐng)域，編碼器本質(zhì)上是對(duì)輸入序列進(jìn)行特征抽取，在每個(gè)時(shí)間步生成對(duì)應(yīng)輸入的編碼向量。在本文研究的多變量時(shí)間序列問(wèn)題中，因各外因序列與目標(biāo)序列相關(guān)程度不明了，故編碼器輸入為全電力序列V=(v1,v2,…,vT)，其中vt∈Rn+1，n是外因數(shù)目。編碼器可以學(xué)習(xí)從vt到ht的映射關(guān)系：

ht=f(ht-1,vt)

(6)

式中：ht是輸入序列在t時(shí)刻編碼后的編碼向量，ht∈Rm，m為編碼長(zhǎng)度；f(·)是編碼器學(xué)習(xí)到的從輸入向量到編碼向量的映射關(guān)系，可以由RNN模型習(xí)得。由于LSTM具備克服梯度消失的能力，故本文使用LSTM作為編碼單元。LSTM在每個(gè)時(shí)間步保持一個(gè)細(xì)胞狀態(tài)和多個(gè)門控部分。其中細(xì)胞狀態(tài)se,t用來(lái)記錄長(zhǎng)時(shí)間步中隱含的信息，遺忘門fe,t控制對(duì)歷史信息的舍棄程度，更新門ue,t控制對(duì)候選細(xì)胞狀態(tài)的更新程度，oe,t控制細(xì)胞狀態(tài)ce,t多大程度轉(zhuǎn)化為編碼隱狀態(tài)ht。具體計(jì)算如下：

fe,t=σ(We,f[ht-1;vt]+be,f)

(7)

ue,t=σ(We,u[ht-1;vt]+be,u)

(8)

oe,t=σ(We,o[ht-1;vt]+be,o)

(9)

(10)

(11)

ht=oe,t⊙tanh(se,t)

(12)

式中：[ht-1;vt]∈Rm+n+1是上一時(shí)間步ht-1和當(dāng)前輸入vt的拼接運(yùn)算；We,f、We,u、We,o、We,s∈Rm×(m+n+1)和be,f、be,u、be,o、be,s∈Rm是模型學(xué)習(xí)的參數(shù)；σ和⊙分別代表邏輯斯蒂運(yùn)算和逐元素相乘運(yùn)算。

在編碼階段的LSTM部分前，使用BIM-Attention對(duì)輸入的全電力序列重構(gòu)，對(duì)重構(gòu)后的序vt←BIM-Attention(vt)編碼。注意力機(jī)制是學(xué)習(xí)分配權(quán)重的一種方法。本文利用BIM特征與各序列歷史值計(jì)算目標(biāo)序列對(duì)各外因序列的注意力分?jǐn)?shù)，從而獲得更加準(zhǔn)確的權(quán)重向量。在t時(shí)刻對(duì)第k個(gè)外因序列的權(quán)重計(jì)算公式如下：

(13)

(14)

(15)

通過(guò)BIM-Attention編碼器，模型利用BIM特征與序列歷史值學(xué)習(xí)目序列與全序列的相關(guān)程度，從而使模型關(guān)注全序列中對(duì)目標(biāo)序列預(yù)測(cè)真正有幫助的部分，進(jìn)而達(dá)到自動(dòng)選擇外因序列的目的。

2.3.2 解碼器

為生成未來(lái)時(shí)刻的預(yù)測(cè)值yT+1，用另外一支LSTM做解碼器，對(duì)編碼器的輸出解碼。并根據(jù)目標(biāo)序列與外因序列間潛在的時(shí)間上的遲滯相關(guān)性，在每個(gè)解碼時(shí)刻t，利用解碼器LSTM的p維隱狀態(tài)dt-1∈Rp對(duì)T個(gè)編碼向量利用注意力機(jī)制進(jìn)行權(quán)重計(jì)算，即：

(16)

(17)

(18)

(19)

(20)

(21)

(22)

(23)

dt=od,t⊙tanh(sd,t)

(24)

2.3.3 自回歸部分

相關(guān)研究[23]表明，LSTM等神經(jīng)網(wǎng)絡(luò)模型在時(shí)間序列預(yù)測(cè)問(wèn)題中，由于其強(qiáng)大的非線性建模能力，可能會(huì)造成模型對(duì)輸入序列的線性自回歸部分難以學(xué)習(xí)的問(wèn)題。因此本文在模型最后的預(yù)測(cè)部分加入目標(biāo)序列的線性自回歸部分以克服這一缺陷。

在模型最終的預(yù)測(cè)部分，將目標(biāo)序列的T個(gè)歷史值Y=(y1,y2,…,yT)和解碼器最終解碼輸出dT拼接，通過(guò)一層全連接網(wǎng)絡(luò)生成預(yù)測(cè)值，即：

(25)

2.3.4 訓(xùn)練過(guò)程

模型訓(xùn)練方法采用小批量隨機(jī)梯度下降，優(yōu)化器為Adam。參數(shù)使用標(biāo)準(zhǔn)的反向傳播學(xué)習(xí)，使用平均平方誤差(Mean Squared Error，MSE)作為優(yōu)化目標(biāo)O,N是訓(xùn)練樣本數(shù)：

(26)

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)使用的數(shù)據(jù)集來(lái)自國(guó)家電網(wǎng)電力公司與華東建筑設(shè)計(jì)研究院。數(shù)據(jù)包含電力數(shù)據(jù)和BIM數(shù)據(jù)兩部分，采集于中國(guó)上海市某大型醫(yī)院。電力數(shù)據(jù)包含類別有醫(yī)療設(shè)備、電梯、照明插座、空調(diào)等13個(gè)類別，共415個(gè)不同的用電設(shè)備，每個(gè)設(shè)備的電力數(shù)據(jù)采樣率為24點(diǎn)/天，共計(jì)一年，每條序列8 605個(gè)計(jì)數(shù)值。BIM數(shù)據(jù)為整座醫(yī)院的BIM模型，包含了415個(gè)用電設(shè)備的各項(xiàng)BIM參數(shù)，實(shí)驗(yàn)中使用的BIM特征為設(shè)備所在樓層、設(shè)備類別、科室類別、所在樓宇類別。

3.2 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)對(duì)比方法包括以下5種。

Lasso回歸：經(jīng)典的單變量線性自回歸模型，輸入為目標(biāo)序列的歷史序列。

LSTM：輸入為目標(biāo)序列的歷史序列。

LSTM-Multi：與LSTM方法結(jié)構(gòu)一致，但是模型輸入為全部電力序列。

InputAtten：在LSTM-Multi輸入前加入普通的注意力機(jī)制，輸入為全部電力序列。

AttenNN：將BIMAttenNN中的BIM-Attention替換為普通的注意力模型，輸入為全部電力序列。

本文方法的輸入為全部電力序列。

對(duì)比實(shí)驗(yàn)中除不同模型的輸入與模型結(jié)構(gòu)不同外，其他參數(shù)均保持一致，如優(yōu)化目標(biāo)均為MSE，優(yōu)化算法均為Adam，實(shí)驗(yàn)均用過(guò)去24小時(shí)的歷史序列預(yù)測(cè)未來(lái)1小時(shí)的電力能耗值。實(shí)驗(yàn)中所有對(duì)比方法采用統(tǒng)一訓(xùn)練集、測(cè)試集，其中訓(xùn)練集占數(shù)據(jù)集比例為80%，BIM特征使用獨(dú)熱編碼。

對(duì)比指標(biāo)包括均方根誤差RMSE，平均絕對(duì)誤差MAE，計(jì)算公式分別如下：

(27)

(28)

3.3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)對(duì)比結(jié)果如表2所示，指標(biāo)均在測(cè)試集上計(jì)算。

表2 對(duì)比實(shí)驗(yàn)預(yù)測(cè)精度

以綜合樓2層檢驗(yàn)科醫(yī)療設(shè)備為例，預(yù)測(cè)表現(xiàn)優(yōu)秀的LSTM、AttenNN、BIMAttenNN方法在測(cè)試集前144點(diǎn)(一周步長(zhǎng))的預(yù)測(cè)效果如圖5-圖7所示。

圖5 LSTM預(yù)測(cè)結(jié)果

圖6 AttenNN預(yù)測(cè)結(jié)果

圖7 BIMAttenNN預(yù)測(cè)結(jié)果

3.4 實(shí)驗(yàn)結(jié)果分析

表2的實(shí)驗(yàn)結(jié)果表明，本文提出的基于BIM與注意力機(jī)制的BIMAttenNN模型在各目標(biāo)序列預(yù)測(cè)上均取得了最優(yōu)表現(xiàn)，相較于不使用BIM特征，預(yù)測(cè)表現(xiàn)同樣優(yōu)秀的AttenNN在MAE指標(biāo)上平均提升13.26%，RMSE指標(biāo)上平均提升20.27%，驗(yàn)證了BIM對(duì)多序列融合預(yù)測(cè)的價(jià)值。

對(duì)比LSTM與LSTM-Multi模型的預(yù)測(cè)結(jié)果可以看出，對(duì)多序列建模時(shí)，倘若對(duì)多序列輸入不添加任何選取機(jī)制，對(duì)所有外因序列一視同仁，則會(huì)為目標(biāo)序列預(yù)測(cè)引入噪聲，帶來(lái)干擾。而InputAtten與LSTM-Multi和LSTM的實(shí)驗(yàn)對(duì)比說(shuō)明，同為多外因序列輸入的InputAtten和LSTM-Multi由于InputAtten加入了注意力機(jī)制對(duì)外因進(jìn)行了一定程度的區(qū)分，其效果要優(yōu)于LSTM-Multi，證明了注意力機(jī)制引入的必要性。但是由于InputAtten的單層結(jié)構(gòu)，導(dǎo)致對(duì)目標(biāo)序列自身信息關(guān)注不足，因此在精度上遜于單序列輸入的LSTM。AttenNN則在InputAtten上改善這一缺陷，在解碼階段輸入目標(biāo)序列歷史值，并且在最后加入目標(biāo)序列的線性自回歸部分，預(yù)測(cè)效果得到了改善。

BIMAttenNN與AttenNN模型差別在于AttenNN沒(méi)有使用結(jié)合BIM特征的注意力機(jī)制。BIMAttenNN根據(jù)BIM特征清晰地定義了序列間關(guān)系，使輸入序列的權(quán)重分配更加合理。從而獲得了對(duì)比實(shí)驗(yàn)中最高預(yù)測(cè)精度。本文將兩種方法中的注意力分?jǐn)?shù)繪圖，以直觀的方式闡述結(jié)合BIM特征的注意力機(jī)制的價(jià)值。

繪圖以綜合樓二層檢驗(yàn)科設(shè)備用電序列預(yù)測(cè)為例，外因序列有25條，預(yù)測(cè)任務(wù)是過(guò)去24小時(shí)預(yù)測(cè)未來(lái)1小時(shí)電力能耗，計(jì)算了測(cè)試集上1 716條測(cè)試數(shù)據(jù)對(duì)25條外因序列在24小時(shí)上的平均注意力分?jǐn)?shù)并繪制分布圖。AttenNN的注意力分?jǐn)?shù)分布如圖8所示；BIMAttenNN的注意力分?jǐn)?shù)分布如圖9所示。

圖8 AttenNN注意力分?jǐn)?shù)分布圖

圖9 BIMAttenNN注意力分?jǐn)?shù)分布圖

可以看出，AttenNN對(duì)外因序列輸入雖然使用了注意力機(jī)制，但是普通的注意力機(jī)制對(duì)各外因無(wú)法有效計(jì)算對(duì)應(yīng)的注意力分?jǐn)?shù)，目標(biāo)序列對(duì)各外因序列一視同仁。而BIMAttenNN則有效地結(jié)合BIM特征學(xué)習(xí)到了目標(biāo)序列與外因序列之間的關(guān)聯(lián)程度。圖8中，BIM-Attention注意力分?jǐn)?shù)較高的17～25號(hào)序列正是和目標(biāo)序列同為同樓宇的檢驗(yàn)科或者同一層的醫(yī)療設(shè)備，而相關(guān)性較低的1～16號(hào)序列則是同樓地下一層放射科設(shè)備或者其他樓的用電設(shè)備。

綜上所述，本文提出的BIMAttenNN模型結(jié)合注意力機(jī)制與BIM特征對(duì)電力能耗序列建模預(yù)測(cè)合理且有效，并且提升了預(yù)測(cè)精度。

4 結(jié) 語(yǔ)

針對(duì)電力時(shí)間序列預(yù)測(cè)中多外因序列預(yù)測(cè)的問(wèn)題，本文總結(jié)了現(xiàn)有方法的不足，提出了一種結(jié)合注意力機(jī)制與BIM特征的電力能耗預(yù)測(cè)方法。使用BIM特征與注意力機(jī)制對(duì)外因序列準(zhǔn)確提取，通過(guò)編碼器-解碼器網(wǎng)絡(luò)結(jié)構(gòu)預(yù)測(cè)，并在模型中補(bǔ)充線性回歸分支來(lái)彌補(bǔ)神經(jīng)網(wǎng)絡(luò)對(duì)時(shí)間序列線性部分建模能力不足的問(wèn)題。實(shí)驗(yàn)結(jié)果表明，BIMAttenNN能結(jié)合注意力機(jī)制與BIM特征自動(dòng)捕捉序列與序列間的關(guān)系，具備對(duì)輸入外因自動(dòng)選取的功能，相比于傳統(tǒng)模型具有更高的預(yù)測(cè)精度。