基于狀態(tài)估計(jì)的海量多元異構(gòu)智能電網(wǎng)數(shù)據(jù)壓縮存儲(chǔ)方法

馬興明， 董 成， 毛新宇， 焦玉新， 李 浩

(1.國(guó)網(wǎng)黑龍江省電力有限公司大慶供電公司，黑龍江 大慶 163311；2.武漢國(guó)電武儀電氣股份有限公司，湖北 武漢 430074)

0 引 言

電力是經(jīng)濟(jì)發(fā)展的基礎(chǔ)，我國(guó)對(duì)智能電網(wǎng)建設(shè)力度逐年加大。在智能電網(wǎng)的運(yùn)行中，會(huì)出現(xiàn)海量多元異構(gòu)智能電網(wǎng)數(shù)據(jù)[1-3]，其呈現(xiàn)出多樣化的特點(diǎn)，會(huì)產(chǎn)生數(shù)據(jù)重復(fù)存儲(chǔ)現(xiàn)象，導(dǎo)致智能電網(wǎng)系統(tǒng)資源利用率不高[4-6]。如何處理海量多元異構(gòu)智能電網(wǎng)數(shù)據(jù)是智能電網(wǎng)公司亟待解決的難題[7]。

國(guó)內(nèi)學(xué)者針對(duì)海量多元異構(gòu)數(shù)據(jù)展開(kāi)了眾多研究，如閆會(huì)玉等[8]，研究工況數(shù)據(jù)壓縮方法，根據(jù)從工業(yè)電氣設(shè)備采集到的多維時(shí)間序列數(shù)據(jù)的變化情況設(shè)定死區(qū)限值大小，收集設(shè)備工況信息并標(biāo)記工況標(biāo)簽，根據(jù)標(biāo)簽序列的變化制定設(shè)備運(yùn)行狀態(tài)分類(lèi)規(guī)則，實(shí)現(xiàn)數(shù)據(jù)的分類(lèi)壓縮與存儲(chǔ)。但是該方法在壓縮時(shí)未能對(duì)海量多元異構(gòu)數(shù)據(jù)進(jìn)行數(shù)據(jù)處理，海量數(shù)據(jù)中的壞數(shù)據(jù)加大了計(jì)算難度，增加了壓縮誤差，影響了最終的壓縮存儲(chǔ)效果。王鶴等[9]研究基于分布式壓縮感知的數(shù)據(jù)壓縮存儲(chǔ)方法，將設(shè)計(jì)的自適應(yīng)聯(lián)合重構(gòu)算法應(yīng)用到以分布式壓縮感知為邊緣算法的云邊協(xié)同框架中，分析邊緣上傳的字典原子和測(cè)量值，實(shí)現(xiàn)電能質(zhì)量數(shù)據(jù)的壓縮存儲(chǔ)。但是該方法在進(jìn)行儲(chǔ)存前沒(méi)有對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，導(dǎo)致數(shù)據(jù)壓縮存儲(chǔ)過(guò)程中的冗余信息較多，增加了運(yùn)行時(shí)間。

狀態(tài)估計(jì)是智能電網(wǎng)基礎(chǔ)數(shù)據(jù)處理方法，通過(guò)數(shù)據(jù)分析，預(yù)測(cè)智能電網(wǎng)設(shè)備質(zhì)量狀態(tài)，保證智能電網(wǎng)的正常運(yùn)行。因此，本文提出基于狀態(tài)估計(jì)的海量多元異構(gòu)智能電網(wǎng)數(shù)據(jù)壓縮存儲(chǔ)方法，提高海量多元異構(gòu)智能電網(wǎng)數(shù)據(jù)管理質(zhì)量。

1 方法研究

1.1 基于狀態(tài)估計(jì)的海量多元異構(gòu)智能電網(wǎng)數(shù)據(jù)融合

多元異構(gòu)數(shù)據(jù)是一種混合型數(shù)據(jù)，包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。在智能電網(wǎng)的運(yùn)行中，數(shù)據(jù)來(lái)源較多，數(shù)據(jù)類(lèi)型多種多樣，且數(shù)據(jù)量較為龐大，數(shù)據(jù)融合的難度較大。因此，本文設(shè)計(jì)的數(shù)據(jù)壓縮儲(chǔ)存方法通過(guò)測(cè)量數(shù)據(jù)來(lái)識(shí)別海量多元異構(gòu)智能電網(wǎng)數(shù)據(jù)[10]。狀態(tài)估計(jì)是數(shù)據(jù)處理的重要方法之一，為提高智能電網(wǎng)數(shù)據(jù)的分析效率，將采集的海量多元異構(gòu)智能電網(wǎng)數(shù)據(jù)進(jìn)行實(shí)時(shí)數(shù)據(jù)處理，以此對(duì)數(shù)據(jù)狀態(tài)進(jìn)行估計(jì)，實(shí)現(xiàn)海量多元異構(gòu)智能電網(wǎng)數(shù)據(jù)融合。

為了推導(dǎo)出準(zhǔn)確的智能電網(wǎng)數(shù)據(jù)，依據(jù)狀態(tài)估計(jì)的運(yùn)算結(jié)果進(jìn)行數(shù)據(jù)處理與參照物比較，識(shí)別海量多元異構(gòu)智能電網(wǎng)數(shù)據(jù)。智能電網(wǎng)中狀態(tài)估計(jì)數(shù)據(jù)與海量多元異構(gòu)數(shù)據(jù)的融合流程如圖1所示。

圖1 狀態(tài)估計(jì)數(shù)據(jù)與海量多元異構(gòu)數(shù)據(jù)的融合流程

由圖1可知，狀態(tài)估計(jì)是智能電網(wǎng)數(shù)據(jù)處理的核心，利用狀態(tài)估計(jì)實(shí)現(xiàn)正常狀態(tài)估計(jì)、不良數(shù)據(jù)檢測(cè)和界限辨識(shí)，將融合后的多元異構(gòu)智能電網(wǎng)數(shù)據(jù)存入數(shù)據(jù)庫(kù)[11]，為智能電網(wǎng)的監(jiān)視、分析和控制提供數(shù)據(jù)支持。其中狀態(tài)估計(jì)基于加權(quán)最小二乘法的狀態(tài)估計(jì)方法實(shí)現(xiàn)，流程如圖2所示。

圖2 狀態(tài)估計(jì)流程

海量多元異構(gòu)智能電網(wǎng)數(shù)據(jù)內(nèi)存在一些壞數(shù)據(jù)，若直接采用原始數(shù)據(jù)實(shí)施狀態(tài)估計(jì)會(huì)降低準(zhǔn)確性。為提升海量多元異構(gòu)智能電網(wǎng)數(shù)據(jù)的狀態(tài)估計(jì)質(zhì)量，必須實(shí)施數(shù)據(jù)處理。壞數(shù)據(jù)處理包括四個(gè)環(huán)節(jié)，其中利用數(shù)態(tài)重獲來(lái)查驗(yàn)智能電網(wǎng)的狀態(tài)和數(shù)據(jù)來(lái)源，實(shí)施相關(guān)規(guī)則進(jìn)行壞數(shù)據(jù)檢測(cè)，采用決策樹(shù)理論實(shí)施壞數(shù)據(jù)辨識(shí)與修補(bǔ)，經(jīng)可觀測(cè)性分析后完成壞數(shù)據(jù)處理。最后采用分解速度快的加權(quán)最小二乘法對(duì)處理后的數(shù)據(jù)實(shí)施狀態(tài)估計(jì)。

1.2 基于張量Tucker分解的海量多元異構(gòu)智能電網(wǎng)數(shù)據(jù)壓縮方法

采用張量Tucker分解方法對(duì)數(shù)據(jù)融合后的海量多元異構(gòu)智能電網(wǎng)數(shù)據(jù)實(shí)施壓縮。首先分析海量多元異構(gòu)智能電網(wǎng)數(shù)據(jù)，通過(guò)張量定義表明，BS∈EIN×It×Im表示數(shù)據(jù)張量的三個(gè)模展開(kāi)矩陣，用下式描述：

(1)

式中：B(1)為依據(jù)站點(diǎn)階的模展開(kāi)矩陣；JN為海量多元異構(gòu)智能電網(wǎng)數(shù)據(jù)的站點(diǎn)；Jt為海量多元異構(gòu)智能電網(wǎng)數(shù)據(jù)的采集時(shí)間；Jm為海量多元異構(gòu)智能電網(wǎng)數(shù)據(jù)的量測(cè)量；B(2)為依據(jù)時(shí)間階的模展開(kāi)矩陣；B(3)為依據(jù)量測(cè)量階的模展開(kāi)矩陣。

通過(guò)變換方法分解張量的模展開(kāi)矩陣，用下式描述：

(2)

式中：D、W分別為左、右奇異值矩陣；Y為三個(gè)奇異值矩陣。

為獲取三個(gè)模展開(kāi)矩陣的近似奇異值分解公式，需選取奇異值τk之后的值，得到下式：

(3)

式中：DE、WE分別為選取的近似左、右奇異值矩陣；YE為第P、Q、E個(gè)奇異值中選取的近似奇異值對(duì)角陣；BE為奇異值分解近似陣。

通過(guò)Tucker分解處理n階張量Bn，得到下式：

Bn=G×1D1×2D2×…×nDn

(4)

(5)

式中：G為壓縮過(guò)程中的約束參數(shù)；D1、D2、…、Dn分別為對(duì)應(yīng)階的因子矩陣；H為核心張量。

依據(jù)式(5)對(duì)海量多元異構(gòu)智能電網(wǎng)數(shù)據(jù)張量BY實(shí)施Tucker分解，得出壓縮后的核心張量，如下所示：

(6)

通過(guò)上式說(shuō)明的正交基和原始張量，計(jì)算出核心張量HY∈EP×Q×E。所以原數(shù)據(jù)張量維度降到P、Q、E。

(7)

在海量多元異構(gòu)智能電網(wǎng)數(shù)據(jù)中，非結(jié)構(gòu)化的彩色圖片、彩色視頻和灰度視頻數(shù)據(jù)[12,13]的張量模型階數(shù)不同。

(1) 彩色圖片數(shù)據(jù)。五階核心張量用HP描述，其中HP∈EP3×Q3×…×D3；用BP表示彩色圖片，計(jì)算出重構(gòu)數(shù)據(jù)張量：

(8)

式中：Jc為圖像顏色空間。

(2) 彩色視頻數(shù)據(jù)。壓縮后六階核心張量用HCW描述，其中HCW∈EP2×Q2×…×D2；用BCW表示彩色視頻，彩色視頻的重構(gòu)數(shù)據(jù)張量，用下式描述：

(9)

式中：Jf為圖像幀。

(3) 灰度視頻數(shù)據(jù)。壓縮后五階核心張量用HDCW描述，其中HDCW∈EP1×Q1×…×T1；用BDCW表示彩色視頻，灰度視頻的重構(gòu)數(shù)據(jù)張量，用下式描述：

(10)

采用張量Tucker分解方法對(duì)數(shù)據(jù)融合后的海量多元異構(gòu)智能電網(wǎng)數(shù)據(jù)實(shí)施壓縮，流程如圖3所示。

圖3 張量Tucker分解的數(shù)據(jù)壓縮流程

2 數(shù)據(jù)存儲(chǔ)過(guò)程

在海量多元異構(gòu)智能電網(wǎng)數(shù)據(jù)壓縮后的存儲(chǔ)過(guò)程中，通過(guò)采用可擴(kuò)展標(biāo)記語(yǔ)言(XML)技術(shù)實(shí)施數(shù)據(jù)預(yù)處理，將處理后的數(shù)據(jù)，利用非關(guān)系型的數(shù)據(jù)庫(kù)(NoSQL)技術(shù)，實(shí)現(xiàn)海量多元異構(gòu)智能電網(wǎng)數(shù)據(jù)的快速存儲(chǔ)。

2.1 數(shù)據(jù)預(yù)處理

因壓縮后的海量多元異構(gòu)智能電網(wǎng)數(shù)據(jù)具有多樣性，在進(jìn)行數(shù)據(jù)儲(chǔ)存之前，需采用XML技術(shù)標(biāo)記數(shù)據(jù)、定義數(shù)據(jù)類(lèi)型，對(duì)全部基礎(chǔ)數(shù)據(jù)實(shí)施數(shù)據(jù)預(yù)處理，處理流程如圖4所示。

圖4 海量多元異構(gòu)智能電網(wǎng)數(shù)據(jù)預(yù)處理流程

由圖4可知，海量多元異構(gòu)智能電網(wǎng)數(shù)據(jù)包括非結(jié)構(gòu)化數(shù)據(jù)與結(jié)構(gòu)化數(shù)據(jù)，針對(duì)不同的數(shù)據(jù)類(lèi)型采用不同的數(shù)據(jù)處理流程，將數(shù)據(jù)以XML格式數(shù)據(jù)表存儲(chǔ)至海量多元異構(gòu)智能電網(wǎng)的各節(jié)點(diǎn)中，實(shí)現(xiàn)數(shù)據(jù)預(yù)處理。

2.2 數(shù)據(jù)快速存儲(chǔ)優(yōu)化策略

通過(guò)NoSQL，對(duì)預(yù)處理后的海量多元異構(gòu)智能電網(wǎng)數(shù)據(jù)實(shí)施快速存儲(chǔ)。實(shí)際數(shù)據(jù)在NoSQL上分配海量多元異構(gòu)智能電網(wǎng)數(shù)據(jù)存儲(chǔ)優(yōu)化的存儲(chǔ)策略如下。

(1) 按照內(nèi)外網(wǎng)原則對(duì)海量多元異構(gòu)智能電網(wǎng)數(shù)據(jù)主節(jié)點(diǎn)實(shí)施冗余計(jì)算。

(2) 分別儲(chǔ)存智能電網(wǎng)的內(nèi)外網(wǎng)海量多元異構(gòu)數(shù)據(jù)，在對(duì)應(yīng)單位的IT資源內(nèi)存儲(chǔ)智能電網(wǎng)的外網(wǎng)數(shù)據(jù)；智能電網(wǎng)內(nèi)部IT資源只存儲(chǔ)智能電網(wǎng)的內(nèi)網(wǎng)數(shù)據(jù)。

(3) 按照不同對(duì)象分類(lèi)存儲(chǔ)智能電網(wǎng)外部海量多元異構(gòu)數(shù)據(jù)；按照不同屬性分類(lèi)存儲(chǔ)智能電網(wǎng)內(nèi)部海量多元異構(gòu)數(shù)據(jù)。

(4) 最小路徑分配存儲(chǔ)策略的出發(fā)點(diǎn)是NoSQL內(nèi)的主節(jié)點(diǎn)，通過(guò)XML數(shù)據(jù)表調(diào)用元數(shù)據(jù)，依據(jù)元數(shù)據(jù)為原始數(shù)據(jù)配置相對(duì)容量的存儲(chǔ)空間[14]，假如XML數(shù)據(jù)表內(nèi)剩余存儲(chǔ)空間較小,無(wú)法滿足需求，依據(jù)相鄰最近原則，通過(guò)續(xù)存方式分配所缺的原始數(shù)據(jù)存儲(chǔ)空間[15]。

(5) 尋找空閑IT資源里智能電網(wǎng)節(jié)點(diǎn)路徑，依據(jù)XML存儲(chǔ)優(yōu)先分配數(shù)據(jù)，實(shí)現(xiàn)快速存儲(chǔ)。

3 試驗(yàn)分析

以某地智能電網(wǎng)25個(gè)配電站的真實(shí)監(jiān)測(cè)數(shù)據(jù)集作為試驗(yàn)數(shù)據(jù)，其中包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，驗(yàn)證本文提出的基于狀態(tài)估計(jì)的海量多元異構(gòu)智能電網(wǎng)數(shù)據(jù)壓縮存儲(chǔ)方法的實(shí)際應(yīng)用效果。

在智能電網(wǎng)穩(wěn)定運(yùn)行狀態(tài)下，以某一條輸電線路為例，隨機(jī)選取6小時(shí)內(nèi)的數(shù)據(jù)，并選取兩種試驗(yàn)對(duì)比方法，分別為文獻(xiàn)[8]面向電氣設(shè)備的工況識(shí)別和數(shù)據(jù)壓縮方法、文獻(xiàn)[9]基于分布式壓縮感知的配電網(wǎng)電能質(zhì)量數(shù)據(jù)壓縮存儲(chǔ)方法。

3.1 不同方法估計(jì)線路電阻、電抗動(dòng)態(tài)參數(shù)對(duì)比

由于海量多元異構(gòu)智能電網(wǎng)數(shù)據(jù)來(lái)源較多，電網(wǎng)運(yùn)行過(guò)程中的數(shù)據(jù)量較為龐大，某時(shí)段的電阻與電抗的數(shù)據(jù)是具有一定波動(dòng)性的，因此計(jì)算電阻與電抗的動(dòng)態(tài)參數(shù)能夠進(jìn)一步降低海量多元異構(gòu)智能電網(wǎng)數(shù)據(jù)壓縮誤差。動(dòng)態(tài)參數(shù)估計(jì)值與實(shí)際值越相近，說(shuō)明該方法準(zhǔn)確性越高，越能保證后期海量多元異構(gòu)智能電網(wǎng)數(shù)據(jù)壓縮效果。分析三種方法估計(jì)得到的線路電阻、電抗動(dòng)態(tài)參數(shù)，結(jié)果如圖5和圖6所示。

圖5 電阻動(dòng)態(tài)參數(shù)估計(jì)

圖6 電抗動(dòng)態(tài)參數(shù)估計(jì)

由圖5和圖6可知，本文方法估計(jì)的線路電阻、電抗動(dòng)態(tài)參數(shù)分別為0.032、0.530，結(jié)果明顯優(yōu)于其他兩種方法，且與實(shí)際值非常接近，說(shuō)明本文方法動(dòng)態(tài)參數(shù)的估計(jì)準(zhǔn)確性較高，能夠保證后期海量多元異構(gòu)智能電網(wǎng)數(shù)據(jù)的壓縮效果。

3.2 不同方法對(duì)異常狀態(tài)估計(jì)的結(jié)果精度對(duì)比

海量多元異構(gòu)智能電網(wǎng)數(shù)據(jù)存在較多的變化。由于數(shù)據(jù)量較大，在數(shù)據(jù)壓縮過(guò)程中服務(wù)器易出現(xiàn)過(guò)載情況。很多伺服驅(qū)動(dòng)器的制動(dòng)電阻因過(guò)載保護(hù)方法不當(dāng)，會(huì)產(chǎn)生電阻突變，從而導(dǎo)致動(dòng)態(tài)參數(shù)出現(xiàn)突然變化。因此，需要在進(jìn)行數(shù)據(jù)壓縮的過(guò)程中，對(duì)電網(wǎng)異常狀態(tài)進(jìn)行估計(jì)，準(zhǔn)確預(yù)測(cè)動(dòng)態(tài)參數(shù)變化趨勢(shì)，對(duì)電網(wǎng)數(shù)據(jù)異常進(jìn)行及時(shí)預(yù)警，實(shí)現(xiàn)智能電網(wǎng)數(shù)據(jù)的壓縮存儲(chǔ)。測(cè)試三種方法對(duì)異常狀態(tài)下電阻動(dòng)態(tài)參數(shù)的估計(jì)情況，其結(jié)果如圖7所示。

圖7 異常狀態(tài)下電阻動(dòng)態(tài)參數(shù)估計(jì)

由圖7可知，文獻(xiàn)[8]方法與文獻(xiàn)[9]方法并沒(méi)有識(shí)別出異常狀態(tài)下電阻動(dòng)態(tài)參數(shù)的變化，與實(shí)際值差距較大，影響數(shù)據(jù)壓縮效果。而本文方法采用張量Tucker分解對(duì)數(shù)據(jù)進(jìn)行融合，估計(jì)的動(dòng)態(tài)電阻與實(shí)際值基本一致，可識(shí)別出參數(shù)的異常變化，識(shí)別精度較高，能夠?qū)崿F(xiàn)異常狀態(tài)下對(duì)參數(shù)突變的及時(shí)預(yù)警，實(shí)現(xiàn)智能電網(wǎng)數(shù)據(jù)的壓縮存儲(chǔ)。

3.3 不同方法的平均絕對(duì)誤差和F-范數(shù)誤差比

海量多元異構(gòu)智能電網(wǎng)數(shù)據(jù)類(lèi)型較多，因此在壓縮過(guò)程中，很容易由于數(shù)據(jù)的復(fù)雜而增加壓縮誤差，影響壓縮效果。因此計(jì)算三種方法的平均絕對(duì)誤差(MAE)和F-范數(shù)誤差比(FER)，二者越低，說(shuō)明該方法的壓縮誤差越低，壓縮效果越好。選取驗(yàn)證本文方法數(shù)據(jù)壓縮效果的信息損失水平指標(biāo)如下。

(1) 其第h個(gè)量測(cè)量的MAE如下：

(11)

(2) 總體損失水平的FER如下所示：

(12)

分析三種方法的壓縮效果，結(jié)果如圖8所示。

圖8 數(shù)據(jù)壓縮誤差結(jié)果

由圖8可知，本文方法所產(chǎn)生的壓縮誤差處于平穩(wěn)并緩慢上升態(tài)勢(shì)，尤其在低壓縮比下，本文方法的誤差明顯低于其他兩種方法。本文方法在不同數(shù)據(jù)壓縮比下的壓縮MAE、FER分別為0.240、0.025，均比其他兩種方法的誤差低，證明了本文方法的壓縮誤差低，壓縮效果較好。

3.4 不同方法的運(yùn)行時(shí)間對(duì)比

在并行計(jì)算模式下，測(cè)試三種方法的運(yùn)行時(shí)間，結(jié)果如圖9所示。由圖9可知，本文方法的平均運(yùn)行時(shí)間為213 ms，分別比其他兩種方法的平均運(yùn)行時(shí)間快353、257 ms，明顯少于其他兩種方法，說(shuō)明本文方法的運(yùn)行效率高，可實(shí)現(xiàn)海量多元異構(gòu)智能電網(wǎng)數(shù)據(jù)的快速壓縮存儲(chǔ)。

圖9 不同方法運(yùn)行時(shí)間

4 結(jié) 語(yǔ)

為了提高海量多元異構(gòu)智能電網(wǎng)數(shù)據(jù)壓縮存儲(chǔ)效率，本文提出了基于狀態(tài)估計(jì)的海量多元異構(gòu)智能電網(wǎng)數(shù)據(jù)壓縮存儲(chǔ)方法。采用基于加權(quán)最小二乘法的狀態(tài)估計(jì)實(shí)施數(shù)據(jù)融合，結(jié)合張量Tucker分解數(shù)據(jù)壓縮方法和NoSQL技術(shù)實(shí)現(xiàn)海量多元異構(gòu)智能電網(wǎng)數(shù)據(jù)的壓縮存儲(chǔ)。試驗(yàn)結(jié)果表明，本文方法的精度高，誤差小，運(yùn)行時(shí)間低至213 ms，運(yùn)行效率高。