基于輕量級(jí)提升決策樹(shù)的竊電識(shí)別方法研究

梁 捷，梁廣明，黃水蓮

(1.廣西電網(wǎng)有限責(zé)任公司，南寧 530023；2.南寧百會(huì)藥業(yè)集團(tuán)有限公司，南寧 530003)

0 引 言

在電力系統(tǒng)中，配電網(wǎng)的線損可分為技術(shù)線損和管理線損，其中管理線損是指除去變壓器等電力系統(tǒng)部件的功耗后無(wú)法用技術(shù)解釋的部分[1]。產(chǎn)生管理線損的原因多數(shù)與竊電有關(guān)。竊電是通過(guò)各種手段減少或消除電力用戶的電表讀數(shù)，以達(dá)到少計(jì)或不計(jì)電費(fèi)目的的一種非法行為[2]。它不僅對(duì)電網(wǎng)公司造成經(jīng)濟(jì)損失，而且可能會(huì)影響電網(wǎng)的供電質(zhì)量和安全穩(wěn)定運(yùn)行。為了提高電網(wǎng)公司對(duì)竊電行為的現(xiàn)場(chǎng)稽查效率、規(guī)范用戶用電行為，采用信息化、智能化的手段提高竊電行為的識(shí)別能力受到日益關(guān)注。

傳統(tǒng)的竊電識(shí)別方法是通過(guò)人員現(xiàn)場(chǎng)稽查的方式對(duì)可疑用戶進(jìn)行排查，人力成本高且效率低下。隨著智能電網(wǎng)的發(fā)展，計(jì)量自動(dòng)化系統(tǒng)采集了大量高時(shí)間密度的電力用戶用電數(shù)據(jù)，使開(kāi)展基于數(shù)據(jù)驅(qū)動(dòng)的用電異常診斷、準(zhǔn)確識(shí)別用電異常用戶成為可能[3]。隨著電力計(jì)量的高級(jí)計(jì)量架構(gòu)(advanced metering infrastructure, AMI)體系的快速發(fā)展，使利用電能表的大數(shù)據(jù)進(jìn)行竊電識(shí)別成為更加高效的識(shí)別途徑[4]。

文獻(xiàn)[5]對(duì)沒(méi)有歷史竊電標(biāo)記的用戶數(shù)據(jù)，采用基于聚類的機(jī)器學(xué)習(xí)方法對(duì)竊電行為進(jìn)行識(shí)別，通過(guò)分析用戶之間的用電關(guān)系查找離群點(diǎn)，以此作為依據(jù)對(duì)竊電行為進(jìn)行識(shí)別，但該方法無(wú)法達(dá)到較高的識(shí)別準(zhǔn)確度。文獻(xiàn)[6]對(duì)有歷史竊電標(biāo)記的用戶數(shù)據(jù)，采用boost方法進(jìn)行竊電識(shí)別，該方法是一種可擴(kuò)展的提升樹(shù)模型，基本原理是根據(jù)一定的特征屬性設(shè)置分割點(diǎn)對(duì)輸入的離散或連續(xù)樣本進(jìn)行逐步劃分，然后根據(jù)分割增益對(duì)劃分結(jié)果進(jìn)行各方面逐步調(diào)整，即模型的學(xué)習(xí)過(guò)程，最后得到一個(gè)樹(shù)形的分類結(jié)果，其擴(kuò)展性體現(xiàn)在可將各單一學(xué)習(xí)器提升為強(qiáng)學(xué)習(xí)器，以實(shí)現(xiàn)準(zhǔn)確的分類及識(shí)別效果。然而該方法內(nèi)存空間消耗較大，而且遍歷分割點(diǎn)時(shí)，需進(jìn)行分割增益的計(jì)算，故時(shí)間消耗大。此外，若數(shù)據(jù)集中包含數(shù)據(jù)缺失等噪聲，則識(shí)別效果不理想。

對(duì)此，提出一種以決策樹(shù)為基學(xué)習(xí)器的輕量級(jí)提升決策樹(shù)方法，并采用Histogram算法、按葉生長(zhǎng)策略等對(duì)算法進(jìn)行改進(jìn)，最后通過(guò)廣西電網(wǎng)的實(shí)際數(shù)據(jù)分別對(duì)該方法的識(shí)別準(zhǔn)確性和效率進(jìn)行驗(yàn)證。

1 輕量級(jí)提升決策樹(shù)算法

輕量級(jí)提升決策樹(shù)算法由Boosting算法發(fā)展而來(lái)，采用分布式的分級(jí)推進(jìn)決策樹(shù)算法架構(gòu)，支持高效率并行訓(xùn)練，具有訓(xùn)練速度快、內(nèi)存消耗低和準(zhǔn)確度高等特點(diǎn)。Boosting算法數(shù)據(jù)處理時(shí)需把特征的所有取值進(jìn)行排序，內(nèi)存空間消耗巨大，而且遍歷分割點(diǎn)時(shí)，需進(jìn)行分割增益的計(jì)算，時(shí)間消耗大。輕量級(jí)提升決策樹(shù)算法針對(duì)有歷史竊電標(biāo)記的用戶數(shù)據(jù)，通過(guò)基于直方圖的決策樹(shù)算法、帶縱向生長(zhǎng)程度限制的按葉生長(zhǎng)策略、基于梯度的單邊采樣算法對(duì)Boosting算法進(jìn)行改進(jìn)。

Histogram算法的基本思想是先把連續(xù)的浮點(diǎn)特征值離散化成k個(gè)整數(shù)，同時(shí)構(gòu)造一個(gè)寬度為k的直方圖，其原理如圖1所示。在遍歷數(shù)據(jù)時(shí)，將離散化后的值作為索引在直方圖中累積統(tǒng)計(jì)量，在遍歷一次數(shù)據(jù)后，直方圖累積了需要的統(tǒng)計(jì)量，然后根據(jù)直方圖的離散值，遍歷尋找最優(yōu)的分割點(diǎn)。該方法不需要額外存儲(chǔ)預(yù)排序結(jié)果，而且可以只保存特征離散化后的值，內(nèi)存消耗較小。

圖1 Histogram算法原理Fig.1 Principle of Histogram algorithm

傳統(tǒng)Boosting算法中，決策樹(shù)使用按層生長(zhǎng)策略，即同一層的葉子節(jié)點(diǎn)生長(zhǎng)時(shí)，每次都一起分裂，但實(shí)際上一些葉子節(jié)點(diǎn)的分裂增益較低，這樣分裂會(huì)增加巨大的開(kāi)銷，如圖2所示。

圖2 按層生長(zhǎng)策略Fig.2 Growth strategy by layer

輕量級(jí)提升決策樹(shù)使用按葉生長(zhǎng)策略，如圖3所示。每次在當(dāng)前葉子節(jié)點(diǎn)中，尋找出分裂增益最大的葉子節(jié)點(diǎn)進(jìn)行分裂，而其他結(jié)點(diǎn)不再分裂，這樣可提高精度，但可能會(huì)長(zhǎng)出較深的決策樹(shù)，產(chǎn)生過(guò)擬合現(xiàn)象。因此，該文通過(guò)參數(shù)設(shè)置對(duì)該策略的最大生長(zhǎng)深度進(jìn)行限制，以控制模型的復(fù)雜度，防止過(guò)擬合風(fēng)險(xiǎn)。

圖3 按葉生長(zhǎng)策略Fig.3 Growth strategy by leaf

單邊梯度采樣算法通過(guò)對(duì)樣本采樣的方法減少計(jì)算分裂增益目標(biāo)函數(shù)時(shí)的復(fù)雜度。梯度更大的樣本數(shù)據(jù)點(diǎn)在計(jì)算分割增益時(shí)有更重要的作用，當(dāng)對(duì)樣本進(jìn)行下一輪采樣時(shí)，保留梯度較大的樣本點(diǎn)，并隨機(jī)去除梯度較小的樣本點(diǎn)。具體做法是：首先把樣本按照梯度排序，選出梯度較大的a個(gè)樣本，然后在剩下的小梯度數(shù)據(jù)中隨機(jī)選取b個(gè)樣本。為保持樣本規(guī)模不變，在計(jì)算分割增益時(shí)，將選出來(lái)的b個(gè)小梯度樣本的分割增益擴(kuò)大(1-a/b)倍。

2 竊電識(shí)別模型

2.1 數(shù)據(jù)預(yù)處理

電能表采集的用戶用電原始數(shù)據(jù)可能會(huì)含有一些偏離用電曲線較遠(yuǎn)的異常數(shù)據(jù)或空缺數(shù)據(jù)，故需對(duì)空缺數(shù)據(jù)進(jìn)行填補(bǔ)。采用Newton插值法對(duì)空缺值進(jìn)行處理，該方法通過(guò)建立差商，實(shí)現(xiàn)多個(gè)存在時(shí)序關(guān)系的插值節(jié)點(diǎn)的快速計(jì)算。已知n個(gè)數(shù)據(jù)點(diǎn)(x1,y1),(x2,y2),…,(xn,yn)的各階差商計(jì)算式如式(1)～(4)：

(1)

(2)

(3)

……

f[xn,xn-1,…,x1,x]=

(4)

聯(lián)立式(1)～(4)建立極差多項(xiàng)式f(x)，如式(5)：

f(x)=f(x1)+(x-x1)f[x2,x1]+(x-x1)(x-x2)f[x3,x2,x1]+

(x-x1)(x-x2)(x-x3)f[x4,x3,x2,x1]+…+(x-x1)(x-x2)…(x-xn-2)

f[xn-1,xn-2,…,x2,x1]+(x-x1)(x-x2)…(x-xn-1)f[xn,xn-1,…,x2,x1]=P(x)+R(x)

(5)

式中：R(x)為截?cái)嗾`差；P(x)為Newton插值逼近函數(shù)。將缺失點(diǎn)x代入f(x)可求得缺失值。

此外，對(duì)原始數(shù)據(jù)中用戶i的用電數(shù)據(jù)Xi={x1,…,xi}中的異常數(shù)據(jù)，根據(jù)由切比雪夫不等式推導(dǎo)所得的統(tǒng)計(jì)學(xué)3σ定律，在非正態(tài)分布的情形下，測(cè)量值的分布范圍在±3個(gè)標(biāo)準(zhǔn)差的范圍內(nèi)的概率不少于88.8%。故據(jù)此對(duì)離群值進(jìn)行修復(fù)，修復(fù)后的值為G(xi)。

(6)

式中：σ(Xi)表示Xi的標(biāo)準(zhǔn)差。

2.2 模型建立

由于用戶異常用電的表現(xiàn)和特征復(fù)雜多樣，不能使用簡(jiǎn)單的算法一次識(shí)別出所有的異常用電用戶，故采用第1節(jié)所提的決策樹(shù)算法和BP神經(jīng)網(wǎng)絡(luò)建立雙層識(shí)別模型。

1)建立特征庫(kù)

根據(jù)專家經(jīng)驗(yàn)和實(shí)際應(yīng)用需求，從采集到的各種異常用電現(xiàn)象及其引起的可量化特征量中選擇典型特征，提取出若干用電特征指標(biāo)和特征曲線，建立異常用電專家特征庫(kù)。

2)特征分割

對(duì)月用電量曲線等連續(xù)浮點(diǎn)型的特征值，根據(jù)第1節(jié)Histogram法將其離散化并與其他離散特征一起構(gòu)造直方圖。接著，根據(jù)直方圖的離散值構(gòu)建決策樹(shù)，并通過(guò)按葉生長(zhǎng)策略，以異常用電特征指標(biāo)或特征曲線的匹配度指標(biāo)作為分裂增益目標(biāo)函數(shù)，對(duì)每個(gè)子節(jié)點(diǎn)進(jìn)行分裂，直到不能分裂為止，再遍歷各葉節(jié)點(diǎn)尋找最優(yōu)的特征分割點(diǎn)，將原始數(shù)據(jù)按不同的特征進(jìn)行多維度分割，形成若干多維度特征集合。葉節(jié)點(diǎn)分裂過(guò)程中，通過(guò)單邊梯度采樣算法減少計(jì)算分裂增益目標(biāo)函數(shù)時(shí)的復(fù)雜度。

3)提取特征識(shí)別結(jié)果

在步驟2確定的多維度特征集合基礎(chǔ)上，根據(jù)專家經(jīng)驗(yàn)和應(yīng)用需要構(gòu)建提取策略，建立基于BP神經(jīng)網(wǎng)絡(luò)的識(shí)別結(jié)果提取模型，綜合考慮多維度特征，提取一定量指標(biāo)值突出的用戶數(shù)據(jù)作為識(shí)別結(jié)果?；谖墨I(xiàn)[7]，由于BP神經(jīng)網(wǎng)絡(luò)是由各層以權(quán)重向量為計(jì)算核心的神經(jīng)元節(jié)點(diǎn)組成，其權(quán)重參數(shù)用于在指定的輸入量下調(diào)節(jié)網(wǎng)絡(luò)的輸出量，對(duì)最終的特征提取結(jié)果有重要影響。而神經(jīng)網(wǎng)絡(luò)初始化時(shí)的節(jié)點(diǎn)權(quán)重參數(shù)初始值是隨機(jī)獲得的，根據(jù)該初始參數(shù)通常并不會(huì)得到預(yù)想的輸出，即與特征庫(kù)匹配且滿足應(yīng)用需求的樣本分類結(jié)果。為便于優(yōu)化算法的實(shí)現(xiàn)，理想的輸出數(shù)值通常表現(xiàn)為使神經(jīng)網(wǎng)絡(luò)的傳遞函數(shù)最小化。故神經(jīng)網(wǎng)絡(luò)訓(xùn)練的過(guò)程就是通過(guò)輸入大量訓(xùn)練樣本，經(jīng)過(guò)神經(jīng)網(wǎng)絡(luò)逐層傳遞根據(jù)傳遞函數(shù)計(jì)算輸出值，再將其與預(yù)期值比較，計(jì)算其偏差，然后依據(jù)梯度下降等數(shù)值步進(jìn)算法，在每一次迭代更新該權(quán)重參數(shù)，逐步減小神經(jīng)網(wǎng)絡(luò)輸出和輸入數(shù)據(jù)之間的偏差。

2.3 模型評(píng)價(jià)方法

算法完成用戶分類后，還需要對(duì)識(shí)別方法的準(zhǔn)確性進(jìn)行評(píng)價(jià)。為了衡量方法的優(yōu)劣，首先定義表1所示的混淆矩陣。

如表1，該矩陣將所有被識(shí)別用戶按照其實(shí)際歸屬和檢測(cè)結(jié)果歸屬分為TP(ture positive)、FN(false negative)、FP(false positive)和TN(ture negative)四類，TP和TN為模型識(shí)別后正確分類的部分，其比例越高，說(shuō)明識(shí)別效果越好。定義命中率(true positive rate，TPR)和誤檢率(false positive rate，F(xiàn)PR)，分別如式(7)、式(8)所示。

表1 竊電行為識(shí)別中的混淆矩陣Table 1 Confusion matrix in identification of stealing electricity

(7)

(8)

由式(7)和式(8)可知，TPR越接近1，F(xiàn)PR越接近0，說(shuō)明識(shí)別效果越好。通過(guò)表3的混淆矩陣定義準(zhǔn)確率(accuracy，ACC)，如式(9)所示。

(9)

式中：ACC表示基于混淆矩陣的準(zhǔn)確率。其值越高，則識(shí)別效果越好。

為了對(duì)竊電識(shí)別算法的效果進(jìn)行進(jìn)一步評(píng)價(jià)，引入受試者工作特性(receiver operating characteristic，ROC)曲線[8]。ROC曲線是用多個(gè)測(cè)試樣本對(duì)同一個(gè)訓(xùn)練好的識(shí)別模型進(jìn)行多次識(shí)別后，以模型的誤檢率為橫坐標(biāo)、命中率為縱坐標(biāo)，將測(cè)試結(jié)果繪制而成的一條曲線。曲線的位置越靠近坐標(biāo)軸左上，意味著在同樣的識(shí)別命中率下造成的誤檢率越低，識(shí)別效果越好。定義AUC(area under ROC curve)為ROC曲線下部分與坐標(biāo)軸及邊界所圍成的面積，其數(shù)值的大小一定程度上反應(yīng)了模型的綜合能力。

2.4 竊電行為識(shí)別流程

圖4為基于輕量級(jí)提升決策樹(shù)法對(duì)竊電行為識(shí)別的主要流程。首先，從AMI系統(tǒng)中獲取用戶檔案和用電數(shù)據(jù)，進(jìn)行數(shù)據(jù)預(yù)處理，并根據(jù)營(yíng)銷稽查人員的實(shí)際業(yè)務(wù)需求生成訓(xùn)練和驗(yàn)證數(shù)據(jù)集，并配置模型參數(shù)；然后，根據(jù)專家經(jīng)驗(yàn)和數(shù)據(jù)源情況，從各種異常用電現(xiàn)象以及在由各種異常用電行為引起的可量化特征量中選擇典型特征，如用電量最值、月同比或環(huán)比偏差、平均值以及歷史異常值個(gè)數(shù)等，建立異常用電專家特征庫(kù)；接著，基于2.2節(jié)方法，對(duì)包含多個(gè)典型特征的訓(xùn)練集進(jìn)行基于輕量級(jí)提升決策樹(shù)的多維度特征分割，并輸入訓(xùn)練樣本對(duì)識(shí)別提取模型進(jìn)行訓(xùn)練；最后，用訓(xùn)練好的模型對(duì)驗(yàn)證數(shù)據(jù)集進(jìn)行竊電行為識(shí)別，輸出疑似竊電用戶并進(jìn)行所建立模型的識(shí)別效果評(píng)價(jià)。

圖4 竊電行為識(shí)別流程圖Fig.4 Flow chart of stealing electricity behavior identification

3 案例分析

為了驗(yàn)證所提算法的有效性，測(cè)試數(shù)據(jù)采用廣西電網(wǎng)某網(wǎng)區(qū)用戶歷史用電數(shù)據(jù)集，該數(shù)據(jù)集包含從2017年1月至2018年10月，約90周30 832個(gè)用戶每天的用電量。該數(shù)據(jù)集中已標(biāo)記出正常用戶和歷史竊電用戶，其中竊電用戶大約占比7.89%，竊電用戶的竊電標(biāo)記為1，正?；虿淮_定用戶標(biāo)記為0。對(duì)該測(cè)試數(shù)據(jù)集根據(jù)測(cè)試需求建立訓(xùn)練集和驗(yàn)證集，在數(shù)據(jù)集中按比例選取訓(xùn)練集和驗(yàn)證集，分別用于訓(xùn)練模型和模型效果評(píng)價(jià)。

為了對(duì)測(cè)試數(shù)據(jù)集進(jìn)行深入觀察，選取某正常用戶和竊電用戶，分別繪制其在50日內(nèi)的日和周用電量曲線，如圖5和圖6所示。

圖5 正常用戶用電量曲線Fig.5 Power consumption curve of normal users

圖6 竊電用戶用電量曲線Fig.6 Power consumption curve of power stealing users

對(duì)圖5(a)和圖6(a)， 僅通過(guò)觀察以日為單位的用電量曲線難以發(fā)現(xiàn)正常用戶和竊電用戶的用電規(guī)律，但從圖5(b)和圖6(b)中以周為單位的日用電量可觀察到正常用戶日用電量曲線形狀類似，一周的用電峰值通常在周三， 規(guī)律性較明顯。 而竊電用戶隨著時(shí)間變化，用電量在周末(周六和周日)呈下降趨勢(shì)，周電量曲線數(shù)據(jù)規(guī)律性較弱，且存在負(fù)荷曲線離群異常點(diǎn)等用電異常特征。

但通過(guò)觀察圖5和圖6仍然無(wú)法量化竊電和正常用戶的區(qū)別。為此，進(jìn)行相關(guān)系數(shù)矩陣進(jìn)行分析，結(jié)果如圖7，其中圖7(a)和圖7(b)分別為正常和竊電用戶的相關(guān)系數(shù)矩陣。由圖可見(jiàn)，正常用戶的相關(guān)系數(shù)大多數(shù)為正，即各周之間的電量曲線變化趨勢(shì)為正相關(guān)，而竊電用戶相反，其相關(guān)系數(shù)大多數(shù)為負(fù)。

圖7 兩種用戶的相關(guān)系數(shù)矩陣Fig.7 Correlation coefficient matrix of two users

為了驗(yàn)證所提算法的有效性，將該方法與FCM聚類[9]和局部異常因子(簡(jiǎn)稱LOF)[10]兩種識(shí)別方法進(jìn)行比較和驗(yàn)證。對(duì)測(cè)試數(shù)據(jù)集總體樣本，隨機(jī)選取50%、60%以及70%作為訓(xùn)練集(對(duì)應(yīng)50%、40%以及30%數(shù)據(jù)作為驗(yàn)證集)，并進(jìn)行三組試驗(yàn)，表2為測(cè)試結(jié)果。由表2可見(jiàn)，輕量級(jí)提升決策樹(shù)竊電識(shí)別方法的命中率TPR，準(zhǔn)確率ACC和AUC指標(biāo)較高，誤檢率FPR較低。綜合可見(jiàn)，在該測(cè)試數(shù)據(jù)集下所提方法的各項(xiàng)識(shí)別評(píng)價(jià)指標(biāo)均優(yōu)于其他兩種方法。

表2 不同竊電識(shí)別方法的測(cè)試結(jié)果Table 2 Test results of different power theft identification methods

為了進(jìn)一步對(duì)此文竊電識(shí)別方法的有效性進(jìn)行驗(yàn)證，在訓(xùn)練集比例為60%的情況下，采用ROC曲線展示上述三種方法的測(cè)試結(jié)果，如圖8。由圖8可知，所提方法ROC曲線包圍的下平面的面積較大，說(shuō)明所提方法的AUC指標(biāo)優(yōu)于其他兩種方法。

圖8 不同方法的ROC曲線Fig.8 ROC curves of different methods

為了對(duì)所提方法的實(shí)時(shí)性進(jìn)行驗(yàn)證，在訓(xùn)練集比例為60%的情況下，對(duì)不同方法的模型訓(xùn)練時(shí)間進(jìn)行比較，結(jié)果如圖9所示。

圖9 三種方法識(shí)別模型訓(xùn)練用時(shí)Fig.9 Three methods to identify the training time of model

由圖可見(jiàn)，所提方法的訓(xùn)練時(shí)間為9.069 s，計(jì)算效率高于其他兩種方法。這是由于所提方法在特征分割過(guò)程中通過(guò)直方圖離散化原始數(shù)據(jù)得到時(shí)間序列數(shù)據(jù)，以此作為索引在直方圖中累積統(tǒng)計(jì)量，內(nèi)存占用率較低，有利于提高計(jì)算效率。此外，所提方法對(duì)識(shí)別模型的訓(xùn)練方式與其他兩種方法不同，它采用按葉生長(zhǎng)方式，支持并行算法集成，而其他兩種方法采用串行方式，測(cè)試結(jié)果體現(xiàn)出所提方法多線程并行計(jì)算的速度優(yōu)勢(shì)。

4 結(jié) 語(yǔ)

提出了基于輕量級(jí)提升決策樹(shù)算法的竊電行為識(shí)別方法，通過(guò)廣西電網(wǎng)某網(wǎng)區(qū)實(shí)際數(shù)據(jù)對(duì)所提方法進(jìn)行實(shí)例驗(yàn)證，結(jié)果表明，相比于其他兩種學(xué)習(xí)方法，所提方法采用深度限制的按葉生長(zhǎng)策略算法可以在保證計(jì)算效率的同時(shí)防止過(guò)擬合，降低算法的識(shí)別誤差。該方法的應(yīng)用有助于提高電網(wǎng)公司的用電稽查效率，為電網(wǎng)公司在對(duì)用戶非法竊電行為進(jìn)行現(xiàn)場(chǎng)稽查取證時(shí)提供有效依據(jù)和可靠目標(biāo)。隨著計(jì)量自動(dòng)化系統(tǒng)的發(fā)展和電力AMI體系的完善，電能表可采集的用戶數(shù)據(jù)將更加豐富。利用多源數(shù)據(jù)融合方式提高竊電行為識(shí)別準(zhǔn)確率與識(shí)別效率，值得進(jìn)一步研究。