基于LSTM-Attention融合的電力客戶主動服務(wù)推薦方法

張 帝，王 韜，朱吉然，唐海國，張志丹，唐小偉，顏宏文

(1.國網(wǎng)湖南省電力有限公司電力科學(xué)研究院，湖南 長沙 410007；2.長沙理工大學(xué)電氣與信息工程學(xué)院，湖南 長沙 410114；3.長沙理工大學(xué)計算機與通信工程學(xué)院，湖南 長沙 410114)

電網(wǎng)企業(yè)因其行業(yè)的特殊性，本身擁有大量的客戶群體及歷史用電數(shù)據(jù)，且提供的傳統(tǒng)電力服務(wù)是全面的。但隨著電力體制深入改革及售電側(cè)放開，大量資本涌入電力市場并展開激烈的市場競爭，電網(wǎng)企業(yè)不再具有壟斷地位，電力客戶的購電對象選擇也變的多樣化[1]。為此，全方位了解用戶需求，提供迎合電力用戶需求的主動優(yōu)質(zhì)服務(wù)是及其必要且可行的，不斷穩(wěn)固且提高電力用戶的保有量，也是提高市場競爭力的必要手段。與傳統(tǒng)95598派工工單方式相比，主動服務(wù)主要通過提取用戶特征，從而發(fā)現(xiàn)用戶的潛在需求，進(jìn)而為用戶推薦服務(wù)。目前，在主動服務(wù)主動推薦方面算法方面，較著名也最常用的算法是協(xié)同過濾推薦算法[2-5]。按照主動服務(wù)推薦應(yīng)用對象劃分，可將其分為基于項目與基于用戶的2種不同的協(xié)同過濾推薦算法，二者原理相似，主要優(yōu)點在于簡單有效、便于理解，但缺點也十分明顯，具有推薦精度較低、冷啟動等問題。

隨著人們在信息技術(shù)領(lǐng)域的不斷探索，深度學(xué)習(xí)技術(shù)已經(jīng)得到了巨大的發(fā)展，并在各行各業(yè)大放異彩，在推薦系統(tǒng)方面，由于深度學(xué)習(xí)模型的使用，能夠極大地克服傳統(tǒng)傳統(tǒng)推薦方法的不足。文獻(xiàn)[6]利用深度學(xué)習(xí)算法進(jìn)行用戶行為推薦，能克服矩陣分解和協(xié)同過濾的數(shù)據(jù)稀疏性以及過擬合問題；文獻(xiàn)[7]在推薦系統(tǒng)中應(yīng)用了深度學(xué)習(xí)，提出一種多交互的混合推薦模型，能夠聚合考慮多維度的評分信息，具有更好的推薦性能；文獻(xiàn)[8]構(gòu)建了基于深度神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的混合推薦模型，能夠更深層次的獲取隱式信息反饋，有效提高推薦性能；文獻(xiàn)[9]將BP神經(jīng)網(wǎng)絡(luò)應(yīng)用于竊電檢測，其結(jié)果十分理想，在提高竊電檢測準(zhǔn)確率的同時，也有效地降低了管理線損；針對風(fēng)力發(fā)電中風(fēng)況不可控原因，文獻(xiàn)[10]將小波神經(jīng)網(wǎng)絡(luò)應(yīng)用于風(fēng)力發(fā)電機故障預(yù)測，其實現(xiàn)結(jié)果證明方法能有效預(yù)測其故障發(fā)生。在電力行業(yè)中，深度學(xué)習(xí)主要應(yīng)用于保障供電可靠性、電力設(shè)備穩(wěn)定性等方面，對電力服務(wù)方面的研究探索較少[11-12]。

由于應(yīng)用于電力客戶主動服務(wù)推薦的數(shù)據(jù)是時序的，循環(huán)神經(jīng)網(wǎng)絡(luò)在時間特征序列特征中具有更優(yōu)良的預(yù)測及推薦性能[12]。實際應(yīng)用中由于其結(jié)構(gòu)設(shè)計，對于時間長久的信息記憶力不足，無法建立長期依賴，從而導(dǎo)致特征提取不充分，長短時間記憶網(wǎng)絡(luò)(long short-term memory，LSTM)具有更好的性能，在數(shù)據(jù)間建立長期依賴。注意力機制(attention mechanisms)能夠?qū)STM進(jìn)行優(yōu)化處理，能更好應(yīng)用于主動服務(wù)推薦[13-14]。為此，本文提出一種LSTM-Attention融合算法的電力客戶主動服務(wù)推薦，基于投訴工單數(shù)據(jù)構(gòu)建客戶潛在需求模型，并利用實際數(shù)據(jù)進(jìn)行仿真分析。

1 基于LSTM-Attention融合算法

LSTM隸屬于循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)，是一種改良過的RNN，與RNN相比，LSTM在原有的RNN上增加了3個門控單元：輸入門、忘記門以及輸出門，其主要解決了RNN所存在的固有問題[15]。LSTM的結(jié)構(gòu)與RNN不同，其增添了特殊的隱層結(jié)構(gòu)，通過增加隱層單元，從而能夠更加有效地與長久信息建立長期依賴，是目前應(yīng)用最為廣泛的循環(huán)神經(jīng)網(wǎng)絡(luò)模型。同時結(jié)合Attention機制的優(yōu)越性能，從而提高模型的準(zhǔn)確度。

圖1 LSTM單元結(jié)構(gòu)Figure 1 LSTM cell structure

2 電力投訴工單提取客戶潛在服務(wù)需求

本文采用C市的電力數(shù)據(jù)，其主要來源為電力服務(wù)工單，每條數(shù)據(jù)都有用戶編號、用戶性別、臺區(qū)信息、服務(wù)類別等相關(guān)信息。以臺區(qū)信息屬性為例，臺區(qū)屬性為文字信息，不易進(jìn)行直接輸入，因此，對其進(jìn)行編碼處理，每個臺區(qū)擁有自己獨立的編碼，輸入數(shù)據(jù)為原始數(shù)據(jù)，數(shù)據(jù)輸入嵌入層(embedding layer)，主要目的是將數(shù)據(jù)向量化，經(jīng)嵌入完成后，X=(x1,x2,…,xn),其中xi表示用戶對第i個項目類型的交互特征向量。

項目特征嵌入完成后將其輸入特征提取層，本層采用的是LSTM神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，輸入數(shù)據(jù)為特征嵌入輸出數(shù)據(jù)X=(x1,x2,…,xn)。

以Xt為例，即Xt表示t時刻用戶對項目交互數(shù)據(jù)，Xt進(jìn)入特征提取層，即進(jìn)入LSTM神經(jīng)網(wǎng)絡(luò)當(dāng)中，ft表示結(jié)構(gòu)中的忘記門，Wf為其所屬的權(quán)值矩陣，ht-1為t-1時刻用戶的狀態(tài)，bf為忘記門中的偏移值。忘記門采用sigmoid函數(shù)，該門控單元將根據(jù)t時刻輸入數(shù)據(jù)與t-1時刻的用戶狀態(tài)進(jìn)行對比，即根據(jù)用戶前一時刻狀態(tài)，對當(dāng)前數(shù)據(jù)進(jìn)行對比，從而篩選有用數(shù)據(jù)，即

ft=σ(Wf[ht-1,Xt]+bf)

(1)

同時輸入的Xt數(shù)據(jù)與ht-1也會傳入輸入門fi，輸入門同樣采用sigmoid函數(shù)作為激活函數(shù)，擁有自己的權(quán)值矩陣Wi以及偏移值bi，其公式表示為

it=σ(Wi[ht-1,xt]+bi)

(2)

與此同時，Xt、ht-1還會傳入單元狀態(tài)區(qū)，此塊區(qū)域采用tanh函數(shù)作為激活函數(shù)，擁有自己的權(quán)值矩陣Wc以及偏移值bc，即

(3)

(4)

最終的特征提取值將由輸出門進(jìn)行處理輸出，Xt、ht-1作為輸入數(shù)據(jù)進(jìn)入輸出門，將sigmoid函數(shù)作為其激活函數(shù)，其中Wi、bi分別為輸出門的權(quán)值矩陣以及偏移值，經(jīng)過輸出門的輸出值與單元狀態(tài)進(jìn)行運算，最終生成輸出值ht，即

ot=σ(WO[ht-1,Xt]+bO)

(5)

ht=ot·tanhCt

(6)

3 基于LSTM-Attention融合算法的電力客戶主動服務(wù)推薦方

本文針對電力客戶進(jìn)行主動服務(wù)推薦，其中，使用LSTM-Attention融合算法對提取的特征進(jìn)行特征預(yù)測，其模型主要架構(gòu)如圖2所示。

原始數(shù)據(jù)首先進(jìn)入嵌入層，將數(shù)據(jù)轉(zhuǎn)化為有效的計算數(shù)據(jù)，即將數(shù)據(jù)進(jìn)行向量化處理，之后進(jìn)入特征提取層，特征提取層主要是針對用戶需求在時序上的改變，同時結(jié)合用戶歷史行為，充分提取隱藏特征。

數(shù)據(jù)經(jīng)過提取之后送入特征預(yù)測層，伴隨時間的推移，用戶對服務(wù)的需求也會有所改變，其主要原因是主要影響因素發(fā)生了變化，從而導(dǎo)致用戶需求發(fā)生變化。特征預(yù)測層主要優(yōu)勢在于可以為最終的預(yù)測結(jié)構(gòu)提供豐富的歷史信息，從而提高用戶需求的預(yù)測準(zhǔn)去率，推薦給用戶更加適合的服務(wù)。

圖2 模型架構(gòu)Figure 2 Model architecture

類似于式(1)～(6)，使用it、ht分別代表特征預(yù)測層的輸入和隱藏狀態(tài)，在特征預(yù)測層當(dāng)中還采用Attention機制來加以優(yōu)化，其公式表示為

ut=tanh(htWt+bt)

(7)

(8)

式(7)、(8)中ht為特征提取層的輸出；Wt為權(quán)重矩陣；bt為偏置值；ut為ht的隱藏表示；ea為服務(wù)特征向量；W∈RnH·nSnHnS,nH為傳入的隱藏狀態(tài)維度，nS為服務(wù)嵌入特征維度。at即Attention產(chǎn)生的分?jǐn)?shù)為反應(yīng)ea與ht間的關(guān)系，倘若之間的聯(lián)系大，則分?jǐn)?shù)越大。

經(jīng)過Attention輸出at，結(jié)合特征提取層中的隱藏狀態(tài)ht，對其進(jìn)行權(quán)重求積得到：

it=at·ht

(9)

it則作為LSTM的輸入值，最終獲得hT作為輸出值，也就是模型的最終預(yù)測值，進(jìn)入輸出層，即

xn=concat(hT,es)

(10)

yn=fsum((frelu(frelu(xn)))

(11)

其中，es表示服務(wù)嵌入特征向量，hT則是最終的預(yù)測輸出值，concat表示將2組向量進(jìn)行關(guān)聯(lián)拼接，形成xn，xn作為2層全連接的輸入值，之所以采用2層，其主要目的是為了降維，最終輸出值yn由sum函數(shù)輸出，從而得到用戶所使用的次數(shù)。

4 案例仿真與分析

實驗環(huán)境為PyCharm環(huán)境下的Python3.7，同時以PyTorch為底層網(wǎng)絡(luò)框架創(chuàng)建整個算法數(shù)據(jù)流圖，并搭建深度學(xué)習(xí)網(wǎng)絡(luò)，GPU為NVIDA GEFORCE MX150，部分實驗參數(shù)如表1所示。

表1 模型實驗參數(shù)Table 1 Model experimental parameters

所使用的數(shù)據(jù)集為C市的電力用戶數(shù)據(jù)，總數(shù)為9 278，主要分為用戶信息、服務(wù)信息以及用戶交互數(shù)據(jù)。用戶信息數(shù)據(jù)為用戶的固有屬性，主要包括用戶編號、性別、用戶所在臺區(qū)、用電屬性、開戶年限等；服務(wù)信息數(shù)據(jù)主要包括服務(wù)編號、服務(wù)名稱、服務(wù)類型等；用戶交互數(shù)據(jù)主要包括用戶編號、服務(wù)編號、服務(wù)名稱等。數(shù)據(jù)中部分主要服務(wù)類型如表2所示，其中用戶編號欄為保護(hù)用戶隱私，在表中顯示為序列號；將獲取的數(shù)據(jù)進(jìn)行8∶2隨機分開，其中80%為訓(xùn)練數(shù)據(jù)集，20%為測試數(shù)據(jù)集，訓(xùn)練模型時，將Epoch設(shè)置為5次，同時將BP神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)以及LSTM設(shè)置為對比試驗。

模型經(jīng)過訓(xùn)練后為驗證模型效果，剩余20%的數(shù)據(jù)作為測試樣本輸入至模型，其中實驗結(jié)果如圖3所示(MAE(mean absolute error)為平均絕對誤差、RMSE(root mean square error)為均方根誤差)，詳細(xì)數(shù)據(jù)如表3所示。

表2 主要服務(wù)類型Table 2 Main service types

圖3 測試結(jié)果Figure 3 Test result chart

表3 模型測試結(jié)果Table 3 Model test results

本文采用MAE、RMSE作為模型評價標(biāo)準(zhǔn)，是由于本文模型輸出的最終結(jié)果為用戶使用服務(wù)次數(shù)，次數(shù)越高，則代表用戶更加傾向需要企業(yè)提供服務(wù)，而模型預(yù)測的值越接近真實值，則模型就更加精確。

測試結(jié)果顯示本文模型的性能優(yōu)于其他對比模型，本文所提模型的MAE、RMSE分別為0.140、0.150，其中，CNN的MAE以及RMSE遠(yuǎn)遠(yuǎn)大于其他模型，而單一LSTM和BP雖優(yōu)于CNN，但相比本文模型稍有遜色，其主要原因在于Attention機制的使用，Attention機制在服務(wù)推薦中將更多的權(quán)重集中在用戶的主要需求上，從而更能發(fā)現(xiàn)用戶所需，本文模型的服務(wù)推薦性能更優(yōu)。

為了更好地驗證本文模型優(yōu)于對比模型，本文使用MovieLens數(shù)據(jù)集對其進(jìn)行補充實驗，得到實驗結(jié)果如圖4所示，其中實驗中的詳細(xì)數(shù)據(jù)如表4所示。

圖4 測試結(jié)果(MovieLens)Figure 4 Test results chart(Movielens)

表4 模型測試結(jié)果(MovieLens)Table 4 Model test results(Movielens)

從圖4中可得LSTM-Attention在MovieLens中也可以取得不錯的成績，MAE、RMSE均優(yōu)于對比模型，MAE、RMSE取值分別為0.995、1.190。MovieLens對比C市數(shù)據(jù)測試結(jié)果，MAE、RMSE數(shù)值相差過大，其主要原因為數(shù)據(jù)集大小相差大，從而導(dǎo)致評價指標(biāo)數(shù)值相差大。

5 結(jié)語

本文提出一種基于LSTM-Attention融合的電力客戶主動服務(wù)推薦方法。

1)電力行業(yè)中在客戶主動服務(wù)方面的研究較為空缺，且其推薦算法存在相當(dāng)大的不足，為此，本文提出了將LSTM-Attention融合算法應(yīng)用于電力客戶主動推薦，能極大地克服協(xié)同過濾推薦算法所存在的冷啟動以及循環(huán)神經(jīng)網(wǎng)絡(luò)存在的梯度彌散和梯度爆炸等問題；

2)基于電力投訴工單數(shù)據(jù)，建立了電力客戶潛在需求模型，具體闡述了基于LSTM-Attention算法的電力客戶主動服務(wù)推薦方法；

3)利用C市和MovieLens數(shù)據(jù)集的電力客戶投訴工單數(shù)據(jù)進(jìn)行了算例仿真，并與CNN、BP、LSTM等主流推薦算法進(jìn)行了比較，算例結(jié)果證明，本文提出的主動服務(wù)推薦算法的精度更高，具有更好的性能，能更好地應(yīng)用于主動服務(wù)推薦領(lǐng)域。