基于CBR技術(shù)的能耗在線監(jiān)測系統(tǒng)異常數(shù)據(jù)檢測方法研究

徐振興 葛志松 許駿龍 張進(jìn)明

上海市計量測試技術(shù)研究院

0 概述

能耗在線監(jiān)測系統(tǒng)的數(shù)據(jù)是面向能源主題的數(shù)據(jù)集合，這些數(shù)據(jù)從多個業(yè)務(wù)系統(tǒng)中抽取而來，并包含歷史數(shù)據(jù)，不可避免會包含錯誤數(shù)據(jù)，或有相互之間有沖突的數(shù)據(jù)。這些錯誤的、有沖突的數(shù)據(jù)通常被稱為異常數(shù)據(jù)。在實際的數(shù)據(jù)統(tǒng)計分析中，異常數(shù)據(jù)通常有以下幾種表現(xiàn)形式：數(shù)據(jù)遺失、信息缺失、數(shù)據(jù)不一致、數(shù)據(jù)重復(fù)、數(shù)據(jù)離群等數(shù)據(jù)質(zhì)量問題。

異常數(shù)據(jù)檢測是數(shù)據(jù)清洗（data cleaning）過程的第一步，是指對數(shù)據(jù)質(zhì)量問題的監(jiān)測和識別，其任務(wù)是發(fā)現(xiàn)數(shù)據(jù)觀測值中真正的異常點，將數(shù)學(xué)特征顯著不同于其他數(shù)據(jù)的觀測值識別并標(biāo)識出來，以便于后續(xù)對數(shù)據(jù)的修復(fù)和糾正。對于數(shù)據(jù)遺失、信息缺失問題，通常是通過人工檢索的方式進(jìn)行識別和修復(fù)，對于數(shù)據(jù)不一致、數(shù)據(jù)重復(fù)、數(shù)據(jù)離群等問題，通常通過四分法、差分法、滑動平均法或者聚類分析等方法進(jìn)行多角度的識別，綜合判斷、糾正和修復(fù)數(shù)據(jù)。

基于案例的推理（Case-Based Reasoning，簡稱CBR）是人工智能的一個分支，它是一種根據(jù)過去的實際經(jīng)驗或經(jīng)歷的深度學(xué)習(xí)，并用以支撐未來問題的解決。在解決能耗在線監(jiān)測系統(tǒng)異常數(shù)據(jù)問題的過程中，也是一個經(jīng)驗不斷積累過程，可以用人工智能的方式嘗試從以往類似的案例中找到合適的解決方案。本文對CBR技術(shù)的數(shù)據(jù)質(zhì)量管控流程進(jìn)行歸納，并采用CBR技術(shù)對能耗在線監(jiān)測系統(tǒng)中的異常數(shù)據(jù)進(jìn)行檢測和識別，對該技術(shù)在能耗數(shù)據(jù)質(zhì)量問題的應(yīng)用進(jìn)行試驗。

1 能耗在線監(jiān)測系統(tǒng)數(shù)據(jù)質(zhì)量現(xiàn)狀

當(dāng)能耗在線監(jiān)測的對象從一個單體的工業(yè)企業(yè)或一棟大樓，擴(kuò)展成一個區(qū)域乃至一個城市時，帶來的變化不僅是項目邊界的擴(kuò)大、傳輸網(wǎng)絡(luò)復(fù)雜程度的提高，還會帶來數(shù)據(jù)采集節(jié)點的幾何倍數(shù)的數(shù)量增大，以及數(shù)據(jù)種類、數(shù)據(jù)量的爆炸式增長。以上海市重點用能單位能耗在線監(jiān)測系統(tǒng)信息化平臺為例，在接入500多個重點用能單位的部分能源種類一級計量數(shù)據(jù)時，接入3 000多個數(shù)據(jù)采集節(jié)點，包含電能、蒸汽、燃?xì)?、煤等不同能源種類。其中，電能采集對象進(jìn)一步細(xì)分為有功功率、無功功率、有功累積電量、無功累積電量等；蒸汽采集對象細(xì)分為工況流速、工況流量、溫度、壓力等；燃?xì)饧?xì)分為天然氣、人工煤氣、工況流速、工況流量、溫度、壓力等；加上時間戳、采集位置等基本信息以及計量單位等輔助信息，以15min/次的頻率進(jìn)行采集，每天的實時采集能源數(shù)據(jù)已超過300 000條次，動態(tài)流量約1Mb/min。隨著系統(tǒng)平臺對于企業(yè)范圍、能源種類覆蓋面的不斷擴(kuò)大，接入的能耗數(shù)據(jù)量進(jìn)一步提升之后，系統(tǒng)的數(shù)據(jù)處理能力面臨著較大的挑戰(zhàn)。

在對系統(tǒng)中的能耗數(shù)據(jù)進(jìn)行分析時，抽取了某種能源3 340個采集節(jié)點每天0:00的數(shù)據(jù)，連續(xù)采樣352天。經(jīng)初步統(tǒng)計分析，得到的結(jié)果見表1。

在352天的時間范圍內(nèi)，應(yīng)該獲得的數(shù)據(jù)條數(shù)為1 175 680條，實際獲得的數(shù)據(jù)條數(shù)為1 065 932條，為應(yīng)有數(shù)據(jù)的91%；遺失的數(shù)據(jù)條數(shù)為109 748條，占應(yīng)有數(shù)據(jù)的9%。

在獲得的1 065 932條數(shù)據(jù)中，由于數(shù)據(jù)中所包含字段信息缺失而無法計算能耗的數(shù)據(jù)條數(shù)為18 972條，占實際數(shù)據(jù)的1．8%；根據(jù)數(shù)據(jù)中所包含字段計算得到能耗值為零值或者負(fù)值等明顯不合理的數(shù)據(jù)條數(shù)為28 919條，占實際數(shù)據(jù)的2．7%；包含完整字段信息的數(shù)據(jù)條數(shù)為1 018 041條，占實際數(shù)據(jù)的95．5%。數(shù)據(jù)情況見表2。

表1 系統(tǒng)能耗數(shù)據(jù)抽樣分析表

表2 系統(tǒng)實際獲取的能耗數(shù)據(jù)抽樣分析表

需要指出的是，即使在信息完整的1 018 041條數(shù)據(jù)中，仍然存在數(shù)據(jù)重復(fù)、計量單位錯誤、極大值、極小值等問題，需要通過多種的數(shù)據(jù)處理手段對這些問題進(jìn)行識別，進(jìn)而剔除或修復(fù)，使能耗數(shù)據(jù)可供后期統(tǒng)計和分析使用。

2 基于CBR技術(shù)的異常數(shù)據(jù)檢測方法

耶魯大學(xué)R．Schank首先提出了CBR技術(shù)的概念和原理，提出了動態(tài)存儲、歷史環(huán)境及環(huán)境模式回憶對問題求解的作用。案例推理的過程可以看作是一個4R（Retrieve,Reuse,Revise,Retain）的循環(huán)過程，即相似案例檢索、案例重用、案例的修改和調(diào)整、案例學(xué)習(xí)等四個步驟的循環(huán)。

當(dāng)遇到新的數(shù)據(jù)質(zhì)量問題時，將新問題通過案例描述輸入基于CBR技術(shù)搭建的模型；模型將檢索出與目標(biāo)案例最匹配的案例，若有與目標(biāo)案例情況一致的源案例，則將其解決方案直接提交給用戶；若沒有完全一致的案例則根據(jù)目標(biāo)案例的情況對相似案例的解決方案進(jìn)行調(diào)整和修改，若效果滿意則將新的解決方案提交給使用者，若不滿意則需要繼續(xù)對解決方案進(jìn)行調(diào)整和修改；對效果滿意的解決方案進(jìn)行評價和學(xué)習(xí)，并將其保存到案例庫，如圖1所示。

圖1 基于CBR技術(shù)的數(shù)據(jù)質(zhì)量管控流程示意圖

CBR技術(shù)是在特定領(lǐng)域內(nèi)進(jìn)行問題求解和自學(xué)習(xí)的方法，不存在普遍使用的CBR方法，是一個動態(tài)的、不斷學(xué)習(xí)的過程。對于特定領(lǐng)域的應(yīng)用，基于該技術(shù)搭建的系統(tǒng)均由4個部分組成：案例表示、案例檢索、案例的調(diào)整和修改和案例學(xué)習(xí)?；贑BR技術(shù)的異常數(shù)據(jù)檢測流程如圖2所示：

圖2 基于CBR技術(shù)的異常數(shù)據(jù)檢測流程示意圖

整個異常數(shù)據(jù)檢測的流程由CBR模型自動完成，只需人工最后確認(rèn)實施解決方案即可，提高了數(shù)據(jù)質(zhì)量管控的效率。同時，由于異常數(shù)據(jù)的檢查、判斷、解決方案的建議均由計算機(jī)自動進(jìn)行，對數(shù)據(jù)管控人員的計算機(jī)知識要求不高，可以提高數(shù)據(jù)質(zhì)量管控結(jié)果的有效性。

3 基于CBR技術(shù)對能耗在線監(jiān)測系統(tǒng)異常數(shù)據(jù)檢測的試驗

基于CBR技術(shù)的能耗在線監(jiān)測系統(tǒng)異常數(shù)據(jù)檢測方法是從案例庫中找到與當(dāng)前問題最相關(guān)的案例，然后對該案例做必要的改動以適合當(dāng)前需解決的問題。在對系統(tǒng)進(jìn)行綜合判斷和評價時，可將當(dāng)前運(yùn)行數(shù)據(jù)(如電力、溫度、壓力、流量、通訊狀況、數(shù)據(jù)等重要監(jiān)測參數(shù))、數(shù)據(jù)質(zhì)量評價、診斷結(jié)果、處理意見等，以案例的形式存入案例庫，作為知識庫的一部分。當(dāng)下次對數(shù)據(jù)質(zhì)量管控進(jìn)行綜合判斷、評價或遇到問題時，可以從案例庫中檢索相似案例，為當(dāng)前問題提供參考。相似案例一般是按最顯著的特征進(jìn)行索引，這樣可高效檢索那些與當(dāng)前問題具有相當(dāng)數(shù)量公共特征的案例。檢索相似案例的算法有最近鄰算法、決策樹算法、樸素貝葉斯等機(jī)器學(xué)習(xí)算法，及深度神經(jīng)網(wǎng)絡(luò)算法等。當(dāng)檢索到相似案例之后，可以重用這個案例，給出初步解決或處理意見，可以是文字性描述，或是推導(dǎo)過程，也可以是參數(shù)化關(guān)系模型；當(dāng)進(jìn)行案例重用時，系統(tǒng)根據(jù)提前預(yù)定義的某種案例修改策略對相似案例的解決方案進(jìn)行調(diào)整和修改，并將調(diào)整和修改后的方案交給用戶。用戶也可對維修或處理意見進(jìn)行手工修改，以滿足數(shù)據(jù)質(zhì)量管控問題的需要。當(dāng)問題解決后，可以將這些數(shù)據(jù)保存起來，作為新的案例，成為案例庫的一個案例，以使案例庫不斷豐富，案例庫中案例越多，覆蓋面越廣，越有利于故障診斷質(zhì)量的提高。

以能耗在線監(jiān)測系統(tǒng)中的能耗數(shù)據(jù)作為試驗對象，基于CBR技術(shù)建立異常數(shù)據(jù)檢測模型，并抽取某種能源某一個采集節(jié)點連續(xù)352天的能耗數(shù)據(jù)進(jìn)行長周期（352天）、中周期（30天）、短周期（7天）三個不同周期的異常數(shù)據(jù)檢測試驗，可得到如圖3的結(jié)果。

圖3 長周期異常數(shù)據(jù)檢測結(jié)果示意圖

在長周期（352天）異常數(shù)據(jù)檢測試驗中，使用基于CBR技術(shù)的異常數(shù)據(jù)檢測方法可以準(zhǔn)確識別到所有的異常點，包括數(shù)據(jù)極大值和數(shù)據(jù)負(fù)值兩種情況均可被正常識別，沒有發(fā)生誤判的情況。

在中周期（30天）異常數(shù)據(jù)檢測試驗中，使用基于CBR技術(shù)的異常數(shù)據(jù)檢測方法同樣可以準(zhǔn)確識別到所有的數(shù)據(jù)負(fù)值異常點，見圖4。

圖4 中周期異常數(shù)據(jù)檢測結(jié)果示意圖

在短周期（7天）異常數(shù)據(jù)檢測試驗中，由于在該時間范圍內(nèi)能耗數(shù)據(jù)本身沒有異常，使用基于CBR技術(shù)的異常數(shù)據(jù)檢測方法未出現(xiàn)數(shù)據(jù)誤判的情況見圖5。

圖5 短周期異常數(shù)據(jù)檢測結(jié)果示意圖

在本項目所做的其他抽樣異常數(shù)據(jù)檢測試驗中，也均能得到與展示案例相同的結(jié)果，無論在長周期（352天）、中周期（30天）和短周期（7天），基于CBR技術(shù)的異常數(shù)據(jù)檢測方法能對各種數(shù)據(jù)質(zhì)量異常問題進(jìn)行識別和判定。

4 結(jié)論

能耗在線監(jiān)測系統(tǒng)需要采集大量的能耗實時數(shù)據(jù)和相關(guān)能耗信息，主要范圍包括企業(yè)能耗監(jiān)測數(shù)據(jù)、公共供能單位數(shù)據(jù)、其他相關(guān)業(yè)務(wù)數(shù)據(jù)和各級能源計量平臺數(shù)據(jù)等。隨著系統(tǒng)平臺持續(xù)的運(yùn)行，大量數(shù)據(jù)的匯集，及數(shù)據(jù)質(zhì)量管控的標(biāo)準(zhǔn)不一致，導(dǎo)致數(shù)據(jù)質(zhì)量問題突出?；贑BR技術(shù)的異常數(shù)據(jù)檢測方法能夠有效地解決數(shù)據(jù)異常點識別的問題，通過相似案例檢索、案例重用、案例的修改與調(diào)整和案例學(xué)習(xí)四個步驟的循環(huán)不斷完善案例庫，并建立案例信息庫采集的關(guān)鍵指標(biāo)項，組織、索引不斷提高檢索和重用的效率，然后從案例庫中搜索出與目標(biāo)案例最為相似，對目標(biāo)案例最有幫助的案例，根據(jù)需求和新情況對案例進(jìn)行修改和調(diào)整，最終產(chǎn)生適用于新問題的解決方案。通過本項目中對CBR技術(shù)的應(yīng)用試驗，論證了該技術(shù)在能耗在線監(jiān)測系統(tǒng)異常數(shù)據(jù)檢測方法上的可行性，有較好的應(yīng)用前景。