電網(wǎng)多源大數(shù)據(jù)融合方法的研究與應(yīng)用*

覃松濤黃 超田君楊楊 彥韋 恒

(廣西電網(wǎng)電力調(diào)度控制中心，廣西南寧 530023)

隨著智能電網(wǎng)的發(fā)展和普及應(yīng)用，電力系統(tǒng)已經(jīng)進(jìn)入了大數(shù)據(jù)時代，由于大電網(wǎng)中含有大量的不相關(guān)以及冗余信息，嚴(yán)重降低了關(guān)鍵信息的主導(dǎo)作用，容易導(dǎo)致系統(tǒng)決策出現(xiàn)偏差[1-3]。目前已有的硬件設(shè)施和控制技術(shù)無法實現(xiàn)對電網(wǎng)大數(shù)據(jù)的有效分析和精準(zhǔn)控制，因此，需要對電網(wǎng)大量冗余數(shù)據(jù)進(jìn)行融合及刪減[4-6]。

國外內(nèi)研究學(xué)者在電網(wǎng)大數(shù)據(jù)處理方面展開了大量的研究工作。王德文等[7]提出了一種基于Storm 的狀態(tài)監(jiān)測數(shù)據(jù)流滑動窗口處理方法，通過采集系統(tǒng)節(jié)點監(jiān)聽數(shù)據(jù)源變化并實時收集數(shù)據(jù)，利用消息訂閱模式對數(shù)據(jù)進(jìn)行緩沖，既保證了數(shù)據(jù)的連續(xù)計算，又能夠滿足大電網(wǎng)異常狀態(tài)檢測與用電數(shù)據(jù)分析等快速處理需要；曲朝陽等[8]提出了一種基于云計算技術(shù)的電力大數(shù)據(jù)預(yù)處理屬性約簡方法，通過剖析粗糙集中相對正域理論的特性，利用MapReduce 模型構(gòu)建了MP＿POSRS 屬性約簡算法，計算出正域中元素個數(shù)，實現(xiàn)對電力大數(shù)據(jù)預(yù)處理屬性的約簡化處理；孫超等[9]基于混合數(shù)據(jù)采集模型和采集集群，提出了一種實現(xiàn)異構(gòu)數(shù)據(jù)源采集任務(wù)的混合調(diào)度和管理方法，通過數(shù)據(jù)置信度標(biāo)簽技術(shù)，實現(xiàn)了對原始數(shù)據(jù)的保留并對數(shù)據(jù)質(zhì)量進(jìn)行標(biāo)識，能夠為后續(xù)大數(shù)據(jù)分析應(yīng)用提供了便利；葉康等[10]通過引入數(shù)據(jù)標(biāo)簽技術(shù)對數(shù)據(jù)物理表進(jìn)行梳理，將業(yè)務(wù)專家的經(jīng)驗與數(shù)據(jù)物理表結(jié)構(gòu)融合，實現(xiàn)對數(shù)據(jù)信息進(jìn)行高度精煉，方便機(jī)器或人對數(shù)據(jù)的識別。該方法具有指標(biāo)口徑一致、節(jié)省計算資源、便于全局優(yōu)化的特點，能夠大幅提高電網(wǎng)監(jiān)控業(yè)務(wù)智能化水平；黃彥浩等[11]、彭小圣等[12]分析了大數(shù)據(jù)、云計算、電力系統(tǒng)三者間關(guān)系，給出具有通用性的電力大數(shù)據(jù)平臺總體架構(gòu)，并從電力大數(shù)據(jù)的集成管理技術(shù)、數(shù)據(jù)分析技術(shù)、數(shù)據(jù)處理技術(shù)、數(shù)據(jù)展現(xiàn)技術(shù)等方面深入探討符合電力企業(yè)發(fā)展需求的大數(shù)據(jù)關(guān)鍵技術(shù)的選擇。

現(xiàn)有研究充分利用了大數(shù)據(jù)有效信息，對降低電網(wǎng)大數(shù)據(jù)的冗余性具有一定參考意義，但所用理論及算法復(fù)雜，操作難度較大。為此，對電網(wǎng)大數(shù)據(jù)的基本特性及現(xiàn)有研究策略進(jìn)行深入研究，探究來自不同數(shù)據(jù)源同一對象數(shù)據(jù)的關(guān)聯(lián)性，充分利用現(xiàn)有大數(shù)據(jù)資源，提出了一種基于映射的電網(wǎng)大數(shù)據(jù)融合方法，以實現(xiàn)降低電網(wǎng)大數(shù)據(jù)冗余度的研究目的。

1 電網(wǎng)大數(shù)據(jù)的基本特性

大數(shù)據(jù)是一個龐大而復(fù)雜的數(shù)據(jù)集，具有不同的數(shù)據(jù)結(jié)構(gòu)，如:非結(jié)構(gòu)化、半結(jié)構(gòu)化和結(jié)構(gòu)化等等，不能在給定的時間內(nèi)用傳統(tǒng)方法進(jìn)行處理、存儲、管理和分析[13]。如圖1 所示，電網(wǎng)大數(shù)據(jù)具有4 項基本特性，分別是:規(guī)模性(Volume)、多樣性(Variety)、高速性(Velocity)以及有價值性(Value)，又稱為4 V 特性[14]。

圖1 大數(shù)據(jù)的四項基本特性

(1)規(guī)模性:隨著電力系統(tǒng)規(guī)模的不斷擴(kuò)大，在發(fā)電、變電、輸電、配電和用電等各個環(huán)節(jié)產(chǎn)生大量信息數(shù)據(jù)，將使得電網(wǎng)存儲數(shù)據(jù)容量的級別逐步從PB 向EP 飛躍。

(2)多樣性:隨著電力系統(tǒng)信息化建設(shè)的飛速發(fā)展，相比于傳統(tǒng)電力系統(tǒng)的單一化信息數(shù)據(jù)，電網(wǎng)大數(shù)據(jù)結(jié)構(gòu)及其表現(xiàn)形式開始變得多樣化，如:視頻、文本、圖像等。

(3)高速性:由于電力系統(tǒng)大數(shù)據(jù)流存在實時性、易失性、無序性等基本特性，且數(shù)據(jù)之間的關(guān)聯(lián)性錯綜復(fù)雜。因此，需要對電力系統(tǒng)生產(chǎn)、運(yùn)行期間所產(chǎn)生的數(shù)據(jù)做出高效處理，以滿足電網(wǎng)對電力調(diào)度、負(fù)荷預(yù)測以及故障診斷等問題的快速性要求。

(4)價值大密度低:在海量的監(jiān)測或檢測的數(shù)據(jù)中隱含著大量的信息。對其進(jìn)行挖掘分析可以提供給生產(chǎn)、運(yùn)行、管理、用戶等有價值的信息。這些數(shù)據(jù)不僅僅反映電力行業(yè)內(nèi)部的信息，而且關(guān)系到整個經(jīng)濟(jì)社會的情況，對國家的經(jīng)濟(jì)宏觀調(diào)控、資源的合理利用、減少污染。大數(shù)據(jù)中隱藏著巨大經(jīng)濟(jì)以及社會價值。

2 電網(wǎng)大數(shù)據(jù)的融合

2.1 數(shù)據(jù)融合的層次

電網(wǎng)大數(shù)據(jù)融合的過程是對數(shù)據(jù)進(jìn)行多級處理的過程，包括對數(shù)據(jù)進(jìn)行采樣、提取、篩選以及合并等等，都是對原始信息的抽象化處理。根據(jù)數(shù)據(jù)處理過程中的抽象化程度，將數(shù)據(jù)融合又分為:像素級融合、特征級融合以及決策級融合，如圖2 所示。

圖2 數(shù)據(jù)融合的不同層次

3 種數(shù)據(jù)融合層次的優(yōu)缺點如表1 所示，可以看出:像素級融合，其輸入數(shù)據(jù)為所有的原始數(shù)據(jù)，信息覆蓋面廣，但信息處理的計算耗時巨大，通信量大且抗干擾能力差，所以應(yīng)當(dāng)對原始數(shù)據(jù)做預(yù)處理。特征級融合，由于其輸入數(shù)據(jù)是經(jīng)過處理得到的特征向量，僅保留了有需要的重要數(shù)據(jù)，不可避免地會存在數(shù)據(jù)流失的情況，造成準(zhǔn)確精度下降。決策級融合，在特征級融合的基礎(chǔ)上，決策級融合綜合了各個數(shù)據(jù)源的決策信息，具有容錯率高、抗擾性強(qiáng)、適應(yīng)性高以及通信量小的優(yōu)點，但數(shù)據(jù)前期處理的花費(fèi)高且信息損失量大。由此來看，特征級融合是像素級融合和決策級融合的綜合。

表1 不同融合層次的性能對比

2.2 數(shù)據(jù)融合的總體框架

大電網(wǎng)中存在許多存儲電氣設(shè)備相關(guān)信息的數(shù)據(jù)源系統(tǒng)，如:廣域相量測量系統(tǒng)(Wide Area Measurement System，WAMS)、數(shù)據(jù)采集與監(jiān)視控制系統(tǒng)(Supervisory Control And Data Acquisition，SCADA)

以及保護(hù)故障信息管理系統(tǒng)(Management System of Relay Protection，RPMS)等，這些電力系統(tǒng)的生產(chǎn)調(diào)度、診斷監(jiān)測系統(tǒng)中的數(shù)據(jù)具有相互獨(dú)立且結(jié)構(gòu)各異，數(shù)據(jù)大量分散、冗余的特點，使得有效信息不能充分挖掘。因此，需要引入信息融合的方法，對電網(wǎng)大數(shù)據(jù)進(jìn)行分析、挖掘、提取、融合等一系列操作，從不同層面對大電網(wǎng)數(shù)據(jù)進(jìn)行高效化處理，降低電網(wǎng)數(shù)據(jù)冗余度、提高信息決策的精準(zhǔn)性，為電網(wǎng)的信息預(yù)測、故障診斷等提供有效輔助決策。

電網(wǎng)大數(shù)據(jù)融合的總體框架如圖3 所示，以SCADA、RPMS、WAMS 等數(shù)據(jù)源系統(tǒng)提供的基礎(chǔ)設(shè)備信息作為數(shù)據(jù)層融合的原始數(shù)據(jù)輸入，經(jīng)處理后輸出特征層需要的輸入特征數(shù)據(jù)，再以特征層融合后的特征數(shù)據(jù)作為輸入，經(jīng)過處理后輸出得到?jīng)Q策，實現(xiàn)以少量的數(shù)據(jù)信息反映大部分特征的融合目標(biāo)。

圖3 電網(wǎng)大數(shù)據(jù)融合的總體框架

3 基于映射的多源數(shù)據(jù)融合方法

如圖4 所示，將數(shù)據(jù)融合當(dāng)做是原始數(shù)據(jù)向成熟數(shù)據(jù)轉(zhuǎn)變的一個映射過程。定義映射F:X→Y，X為原始數(shù)據(jù)集，Y 融合后的數(shù)據(jù)集，映射F 為數(shù)據(jù)融合過程，其具體步驟如下:

步驟1 對不同數(shù)據(jù)源的信息進(jìn)行規(guī)范化處理；

步驟2 提取各個數(shù)據(jù)源的特征向量；

步驟3 對各個數(shù)據(jù)源的特征向量進(jìn)行檢驗后進(jìn)行數(shù)據(jù)融合，求取綜合特征向量。

步驟4 根據(jù)求解得到的綜合特征向量，再經(jīng)過還原得到融合后的數(shù)據(jù)。

圖4 基于映射的數(shù)據(jù)融合方法

本研究主要對具有不同數(shù)據(jù)源信息的同一對象數(shù)據(jù)融合方法進(jìn)行。不同數(shù)據(jù)源其所存儲的設(shè)備數(shù)據(jù)內(nèi)容各不相同，需要對不同數(shù)據(jù)源信息進(jìn)行融合，以實現(xiàn)多源數(shù)據(jù)的交互與轉(zhuǎn)化，并降低數(shù)據(jù)的冗余度[15]。通過文章2.2 小節(jié)的介紹可知，宜采取特征級融合策略對來自不同數(shù)據(jù)源的同一對象數(shù)據(jù)進(jìn)行融合。

如圖5 所示，對來自不同數(shù)據(jù)源的數(shù)據(jù)進(jìn)行特征向量的提取，特征提取是一個信息采集與壓縮的過程，每一個數(shù)據(jù)源都要與之對應(yīng)的唯一的特征向量Hi(i＝1，…，n)，且這唯一的特征向量能夠充分反映該數(shù)據(jù)源的重要信息。對這些特征向量進(jìn)行標(biāo)準(zhǔn)化運(yùn)算、數(shù)據(jù)校核修正、融合判斷等一系列處理后，求得該研究對象的的標(biāo)準(zhǔn)特征向量H，即能反應(yīng)該電氣設(shè)備數(shù)據(jù)融合后的基本屬性。需要說明的是，在特征向量的提取和融合過程中，應(yīng)遵循以下原則:

圖5 特征向量的提取

首先進(jìn)行數(shù)據(jù)的校驗，若各個特征向量同一基本屬性均有內(nèi)容且不完全相同時，需對該特征向量進(jìn)行數(shù)據(jù)校驗，若發(fā)現(xiàn)數(shù)據(jù)錯誤，則進(jìn)行校正；若數(shù)據(jù)無誤，則進(jìn)行以下操作步驟:

(1)若各個特征向量具有相重疊的基本屬性，則僅保留一份該特征向量對應(yīng)的數(shù)據(jù)信息即可；

(2)若各個特征向量同一基本屬性不完全相同時，則按照完善程度、優(yōu)先級別等特性來進(jìn)行選擇，如:更新后的數(shù)據(jù)信息優(yōu)先級別高于更新前的數(shù)據(jù)信息；

(3)若某一特征向量具備其他特征向量沒有的基本屬性，則保留該特征向量具備的這一基本屬性。

4 算例驗證

本小節(jié)以某220 kV 變電站為例，選取來自生產(chǎn)管理系統(tǒng)(Production Management System，PMS)以及調(diào)度自動化系統(tǒng)OMS 2 種不同數(shù)據(jù)源的變電站數(shù)據(jù)的數(shù)據(jù)融合具體過程，以檢驗本文所提數(shù)據(jù)融合方法的實用性，各數(shù)據(jù)源提供的基礎(chǔ)數(shù)據(jù)如表2以及表3 所示。

表2 PMS 中變電站的基本信息

表3 OMS 中變電站的基本信息

從表2、表3 所提供的原始數(shù)據(jù)來看，對于同一變電站，不同數(shù)據(jù)源所提供的數(shù)據(jù)信息既有互相重復(fù)的部分，又有相互補(bǔ)充的部分。即使是同一個基本屬性，2 種不同數(shù)據(jù)源的表述方式都各不相同，因此需要對表中的原始數(shù)據(jù)進(jìn)行規(guī)范化處理，使得變電站基本屬性的描述規(guī)范，單位統(tǒng)一，數(shù)據(jù)精度一致，即對數(shù)據(jù)進(jìn)行清洗。生產(chǎn)管理系統(tǒng)以及調(diào)度自動化系統(tǒng)經(jīng)規(guī)范化處理后得到的數(shù)據(jù)如表4、表5 所示。

表4 規(guī)范化數(shù)據(jù)處理后的PMS 數(shù)據(jù)

表5 規(guī)范化預(yù)處理后的OMS 數(shù)據(jù)

在對數(shù)據(jù)進(jìn)行規(guī)范化處理后，根據(jù)電網(wǎng)業(yè)務(wù)需要對變電站基本屬性提取基本特征向量。基本特征向量的維度可以是一維或是多維，其所包含的數(shù)據(jù)類型較廣，有:字符串、數(shù)字等等，當(dāng)變電站缺失某一基本屬性時，其所對應(yīng)基本特征向量的那一項為0。對該變電站提取基本特征向量列于表6 中，由于該變電站的數(shù)據(jù)信息較為簡單，因此用一維向量即可清晰展示其基本屬性。

從表6 中可以看出，特征向量A1是表4 中的“設(shè)備所處地理位置”和表5 中的“所屬地區(qū)”這同一屬性規(guī)范化后的融合描述結(jié)果；還新增了特征向量A18這終期基本屬性，使得變電站運(yùn)行數(shù)據(jù)庫信息更加全面完善，其余特征向量均是表4 和表5 已有基本屬性的規(guī)范化融合結(jié)果。

表6 變電站的基本特征向量

基于表6 所給出的基本特征向量模式，求取PMS 數(shù)據(jù)的特征向量H1以及OMS 數(shù)據(jù)的特征向量H2，各特征向量的具體數(shù)值為:

首先，對H1和H22 個特征向量各基本屬性進(jìn)行校驗，可以看到對于所屬地區(qū)和系統(tǒng)容量這2 個基本屬性，2 個特征向量均有數(shù)據(jù)但存儲內(nèi)容不完全相同，經(jīng)檢驗后確認(rèn)H1、H2特征向量的所屬地區(qū)屬性的相關(guān)數(shù)據(jù)無誤，僅完善程度不同；而對于系統(tǒng)容量這一基本屬性，由工作人員進(jìn)行核實后證實H1特征向量的該基本屬性存在錯誤，予以更正為360。對于得到校驗更正后的特征向量H1、H2為:

接著，按照本文所提數(shù)據(jù)融合規(guī)則，對特征向量H1、H2求取綜合特征向量H為:

最后，以表6 為基準(zhǔn)對綜合特征向量H做數(shù)據(jù)還原，還原結(jié)果如表7 所示。

表7 數(shù)據(jù)融合后的變電站數(shù)據(jù)

將表7 融合后的數(shù)據(jù)與表2、表3 的原始數(shù)據(jù)對比可知，變電站經(jīng)過數(shù)據(jù)融合后的信息更加綜合、系統(tǒng)、規(guī)范，融合后的基本屬性含概了所有數(shù)據(jù)源的基本屬性，剔除了各個數(shù)據(jù)源基本屬性中重復(fù)冗余的部分，且每個基本屬性描述更加規(guī)范統(tǒng)一完善。

5 結(jié)論

提出了一種基于映射的數(shù)據(jù)融合方法，通過對來自不同數(shù)據(jù)源的基本數(shù)據(jù)屬性進(jìn)行規(guī)范化處理、提取特征向量、求取綜合特征向量、特征向量還原等操作。從數(shù)據(jù)融合的結(jié)果來看，該方法不僅能夠全面反饋各個數(shù)據(jù)源的重要屬性，而且能夠降低多源數(shù)據(jù)的冗余度，融合后的數(shù)據(jù)信息更加規(guī)范、系統(tǒng)、全面，證明了所提數(shù)據(jù)融合方法對電網(wǎng)數(shù)據(jù)處理的實用性。