大數(shù)據(jù)環(huán)境下信息系統(tǒng)不良數(shù)據(jù)檢測(cè)工作分析

于孟喜，謝 鶴

山西晉緣網(wǎng)絡(luò)技術(shù)有限公司，山西太原 030000

信息環(huán)境之下，企業(yè)對(duì)于信息系統(tǒng)的依賴(lài)性逐步加強(qiáng)，并且這種依賴(lài)性，會(huì)隨著企業(yè)規(guī)模的擴(kuò)大而呈現(xiàn)出顯著的上升趨勢(shì)。在電力系統(tǒng)中，隨著電力自動(dòng)化技術(shù)的逐步成熟，信息系統(tǒng)中的數(shù)據(jù)，無(wú)論從格式還是從容量方面，都在近年呈現(xiàn)出顯著膨脹，隨著變化的，還包括電力信息系統(tǒng)的運(yùn)行模式。與此同時(shí)，人們對(duì)于電能的質(zhì)量和供配可靠性也提出了更高的要求，這對(duì)于中心調(diào)度而言，必然從客觀上需要更為可靠和精準(zhǔn)的數(shù)據(jù)參與決策。因此如何切實(shí)提升整個(gè)信息系統(tǒng)環(huán)境之下的數(shù)據(jù)質(zhì)量，就成為當(dāng)前人們共同關(guān)注的重點(diǎn)。

1 不良數(shù)據(jù)研究現(xiàn)狀分析

在電力信息系統(tǒng)中，所涉及到的數(shù)據(jù)來(lái)自于多個(gè)方面，除了相對(duì)比較常規(guī)的辦公數(shù)據(jù)以外，還包括營(yíng)銷(xiāo)和輸配狀態(tài)兩個(gè)重要的數(shù)據(jù)來(lái)源。在這樣的環(huán)境之下，有效提升各類(lèi)數(shù)據(jù)準(zhǔn)確水平，對(duì)于穩(wěn)定電力供給有著毋庸置疑的積極價(jià)值。

在電力信息系統(tǒng)中，對(duì)于供配網(wǎng)絡(luò)各個(gè)方面的實(shí)時(shí)測(cè)量結(jié)果，會(huì)因?yàn)闇y(cè)量系統(tǒng)本身安排的不合理以及冗余度不足，或者通信網(wǎng)本身可靠性不夠等因素，而在系統(tǒng)環(huán)境中呈現(xiàn)出某些數(shù)據(jù)無(wú)法進(jìn)行有效的辨識(shí)，從而形成不良數(shù)據(jù)。對(duì)于這一類(lèi)的數(shù)據(jù)，必須展開(kāi)檢查和清理，否則會(huì)影響調(diào)度系統(tǒng)決策失誤，無(wú)法形成有效的決策支持信息。同樣的問(wèn)題會(huì)出現(xiàn)在任何一個(gè)相對(duì)大型的信息系統(tǒng)環(huán)境中，包括電力銷(xiāo)售數(shù)據(jù)環(huán)境等，而當(dāng)前以二次系統(tǒng)以及電力通信系統(tǒng)所組成的信息反饋體系，則成為不良數(shù)據(jù)辨識(shí)工作的重點(diǎn)領(lǐng)域。不良數(shù)據(jù)檢測(cè)與辨識(shí)是電力系統(tǒng)狀態(tài)估計(jì)的重要功能之一，其功能是在獲得狀態(tài)估計(jì)值的基礎(chǔ)上，依靠系統(tǒng)本身的冗余信息，通過(guò)數(shù)據(jù)挖掘和識(shí)別等自動(dòng)化技術(shù)，發(fā)現(xiàn)采樣數(shù)據(jù)中偶然出現(xiàn)的不良數(shù)據(jù)進(jìn)行剔除，借以實(shí)現(xiàn)對(duì)于狀態(tài)估計(jì)的可靠性提升。

不良數(shù)據(jù)的檢測(cè)與識(shí)別，對(duì)于狀態(tài)估計(jì)結(jié)果的正確性有著至關(guān)重要的作用，也因此一直都得到相關(guān)領(lǐng)域的關(guān)注。近年來(lái)數(shù)據(jù)挖據(jù)技術(shù)成為該領(lǐng)域中廣泛研究的重點(diǎn)，并且在不良數(shù)據(jù)的檢測(cè)和識(shí)別過(guò)程中表現(xiàn)良好。其能夠有效面對(duì)海量數(shù)據(jù)，并且從不完全和模糊、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中分理處正確和可理解的信息，并且在一定程度上對(duì)于保護(hù)數(shù)據(jù)的及時(shí)性和有效性有著積極價(jià)值。當(dāng)前國(guó)內(nèi)外在基于數(shù)據(jù)挖據(jù)技術(shù)的基礎(chǔ)上，已經(jīng)提出了多種不良數(shù)據(jù)檢測(cè)與辨識(shí)的方法。其中首先包括相對(duì)傳統(tǒng)的，以目標(biāo)函數(shù)極值檢測(cè)法、加權(quán)殘差檢測(cè)法、標(biāo)準(zhǔn)化殘差檢測(cè)法以及測(cè)量量突變檢測(cè)法作為突出代表。同時(shí)隨著相關(guān)技術(shù)的發(fā)展，更多新的理論和對(duì)于不良數(shù)據(jù)的檢測(cè)方法開(kāi)始得到應(yīng)用，其中包括模糊數(shù)學(xué)法、神經(jīng)網(wǎng)絡(luò)法、聚類(lèi)分析法、間隙統(tǒng)計(jì)法等，且大部分都以數(shù)據(jù)挖掘作為重要的技術(shù)基礎(chǔ)之一。

2 電力環(huán)境中不良數(shù)據(jù)檢測(cè)工作分析

在電力信息系統(tǒng)環(huán)境中，對(duì)于不良數(shù)據(jù)的檢測(cè)呈現(xiàn)出其獨(dú)有特征。通常而言，可以將電力系統(tǒng)量測(cè)數(shù)據(jù)看作為有效的量測(cè)數(shù)據(jù)和量測(cè)噪聲的線(xiàn)性組合，并且通常以白噪聲作為突出表現(xiàn)。通過(guò)一定的技術(shù)手段，能夠?qū)Π自肼暜a(chǎn)生的不良影響進(jìn)行消除，但是如果在量測(cè)數(shù)據(jù)中包含有不良數(shù)據(jù)，則通常會(huì)通過(guò)如下兩類(lèi)方法展開(kāi)辨識(shí)和剔除，其差異在于狀態(tài)估計(jì)與不良數(shù)據(jù)辨識(shí)展開(kāi)的先后順序。

如果先展開(kāi)狀態(tài)估計(jì)，而后進(jìn)行檢測(cè)和辨識(shí)，則在檢測(cè)之前可以通過(guò)狀態(tài)估計(jì)獲取到量測(cè)量殘差，對(duì)其進(jìn)行加權(quán)和標(biāo)準(zhǔn)化處理之后，設(shè)定閾值，進(jìn)一步展開(kāi)假設(shè)檢驗(yàn)，確定是否存在殘差，并且進(jìn)一步利用殘差搜索展開(kāi)對(duì)于不良數(shù)據(jù)的辨識(shí)工作。此種工作方式在辨識(shí)的有效性方面表現(xiàn)良好，但是問(wèn)題在于計(jì)算量會(huì)相對(duì)較大，隨著電力環(huán)境中更多數(shù)據(jù)的涌入，整體工作效率會(huì)略有下降。除此以外，殘差淹沒(méi)也是會(huì)降低此種檢測(cè)靈敏度的一個(gè)重要問(wèn)題。另一種方法，即首先對(duì)量測(cè)數(shù)據(jù)展開(kāi)預(yù)測(cè)而后展開(kāi)狀態(tài)估計(jì)。預(yù)測(cè)之后先偶去量測(cè)殘差，而后依據(jù)量測(cè)殘差之間的相關(guān)關(guān)系展開(kāi)檢測(cè)，并且對(duì)不良數(shù)據(jù)進(jìn)行辨識(shí)。此種方法在動(dòng)態(tài)系統(tǒng)中可能會(huì)出現(xiàn)檢測(cè)困難，并且對(duì)量測(cè)過(guò)程中產(chǎn)生的冗余信息無(wú)法展開(kāi)有效利用。

兩種面向電力信息系統(tǒng)展開(kāi)不良數(shù)據(jù)檢測(cè)的技術(shù)，各有優(yōu)劣，在實(shí)際工作環(huán)境中也均呈現(xiàn)出不同的適用特征。其中前者，即先展開(kāi)狀態(tài)估計(jì)而后進(jìn)行不良檢測(cè)的工作方式相對(duì)而言比較成熟，而后者則起步較晚尚待進(jìn)一步的成熟。

從常規(guī)工作展開(kāi)的層面看，想要落實(shí)針對(duì)不良數(shù)據(jù)的檢測(cè)工作，首先需要選取一定長(zhǎng)度的窗口樣本作為量測(cè)數(shù)據(jù)的范本，并且針對(duì)其展開(kāi)該時(shí)間段內(nèi)的量測(cè)數(shù)據(jù)方差的計(jì)算，如果方差沒(méi)有超過(guò)規(guī)范閾值，則可視為不存在不良數(shù)據(jù)。在方差超過(guò)規(guī)定閾值的情況下，需要進(jìn)一步將超標(biāo)數(shù)據(jù)置入可疑數(shù)據(jù)集中，并計(jì)算可疑量測(cè)量與其它量測(cè)量之間的相關(guān)系數(shù)，隨后確定該系數(shù)是否超過(guò)預(yù)定閾值，如果超過(guò)，則認(rèn)定該量測(cè)量最近一個(gè)數(shù)據(jù)為不良數(shù)據(jù)，并且加以處理并展開(kāi)進(jìn)一步的檢測(cè)，如果未超過(guò)閾值則認(rèn)為不存在不良數(shù)據(jù)。

3 結(jié)論

信息系統(tǒng)中，尤其是自動(dòng)化信息系統(tǒng)之中，必然會(huì)存在不良數(shù)據(jù)。而想要通過(guò)人工智能等相關(guān)技術(shù)從海量數(shù)據(jù)中獲取到有用的信息用于支持決策，對(duì)不良數(shù)據(jù)展開(kāi)識(shí)別和剔除就成了信息系統(tǒng)面對(duì)的首要問(wèn)題。實(shí)際工作中需要密切關(guān)注技術(shù)發(fā)展方向和趨勢(shì)，切實(shí)深入地了解電力系統(tǒng)內(nèi)數(shù)據(jù)環(huán)境與特征，謹(jǐn)慎選擇和引入才能取得良好效果。

[1]張海波，李林川.電力系統(tǒng)狀態(tài)估計(jì)的混合不良數(shù)據(jù)檢測(cè)方法[J].電網(wǎng)技術(shù)，2001，25（10）.

[2]魏強(qiáng)，王凱，韓學(xué)山.不良數(shù)據(jù)識(shí)別發(fā)生誤判和漏判時(shí)的處理[J].東北電力學(xué)院學(xué)報(bào)，2003，23（1）.