電能質(zhì)量數(shù)據(jù)壓縮算法研究

楊超穎

(山西電力科學(xué)研究院，山西太原 030001)

0 引言

隨著電能質(zhì)量監(jiān)測系統(tǒng)規(guī)模的發(fā)展，監(jiān)測點的設(shè)置越來越多，監(jiān)測裝置記錄與分析的數(shù)據(jù)存儲和有效傳輸已成為監(jiān)測系統(tǒng)高效運行的瓶頸之一。為此，應(yīng)采取措施對數(shù)據(jù)進行壓縮，以減少數(shù)據(jù)存儲的空間與傳輸量，保證傳輸速度，使電能質(zhì)量監(jiān)測系統(tǒng)高效運行。

數(shù)據(jù)壓縮按照壓縮的失真度分為有損壓縮和無損壓縮，有損壓縮算法主要有脈沖編碼、預(yù)測編碼以及變換域編碼算法等?？紤]到數(shù)據(jù)的特殊性，在電力系統(tǒng)相關(guān)數(shù)據(jù)壓縮中主要采用無損壓縮算法，包括自適應(yīng)霍夫曼編碼(Huffman編碼)、LZ系列編碼、算術(shù)編碼、游程編碼、RAY-Period壓縮編碼等算法。對于電能質(zhì)量數(shù)據(jù)壓縮問題的研究是近年來的一個熱點。文獻［1-2］基于小波變換，采取閾值方法處理小波系數(shù)，取得了一定的壓縮效果。文獻［3-4］基于小波包變換并結(jié)合最優(yōu)小波基的選擇來實現(xiàn)電能質(zhì)量數(shù)據(jù)壓縮。但上述方法得到的壓縮比仍較低，維持在幾倍至十幾倍，且無法控制壓縮性能。文獻［5-6］提出了基于提升格式的電能質(zhì)量數(shù)據(jù)壓縮和重構(gòu)算法，提高了運算速度，適合于實時壓縮。針對電力系統(tǒng)信號的周期性特點，文獻［7-9］進一步挖掘了此類信號的循環(huán)間冗余性，按整數(shù)倍周期將一維電能質(zhì)量數(shù)據(jù)轉(zhuǎn)換為二維矩陣，利用二維小波變換進行數(shù)據(jù)的壓縮，取得了較好的壓縮性能。文獻［10］采用了圖像壓縮領(lǐng)域的多級樹集合分裂(SPIHT)編碼來實現(xiàn)一維數(shù)據(jù)的壓縮，但沒有討論壓縮碼率與壓縮性能的關(guān)系，且壓縮性能不佳，信噪比在30 dB以上時，壓縮比只有30以下。此外，PQzip與Zlib算法等在電能質(zhì)量數(shù)據(jù)壓縮中也得到廣泛應(yīng)用。

將首先介紹數(shù)據(jù)壓縮的4種基本算法，然后對目前電能質(zhì)量數(shù)據(jù)壓縮的綜合算法進行分析，進而提出電能質(zhì)量數(shù)據(jù)壓縮算法選用的建議。

1 電能質(zhì)量數(shù)據(jù)壓縮基本方法

1.1 Huffman 編碼

Huffman編碼是一種常用的壓縮編碼方法。它的基本原理是頻繁與較少使用的數(shù)據(jù)分別用較短與較長的代碼代替，每個數(shù)據(jù)的代碼各不相同。

Huffman壓縮編碼作為一種高效的變長編碼方式，碼長取決于字符的概率，在源數(shù)據(jù)中出現(xiàn)概率越高的符號，相應(yīng)的碼長越短;反之，相應(yīng)的碼長越長，從而在整體上縮短了源數(shù)據(jù)包含信息的比特數(shù)，達到用盡可能少的碼字表示源數(shù)據(jù)。Huffman壓縮編碼是接近壓縮比上限的一種較好的編碼方法。

1.2 算術(shù)編碼

算術(shù)編碼是一種無失真的編碼方法，能有效地壓縮信息冗余度，屬于熵編碼的一種。其基本原理是:根據(jù)信息可能發(fā)現(xiàn)的不同符號序列的概率，把［0，1］區(qū)間劃分為互不重疊可反映各符號序列概率的子區(qū)間，使每個子區(qū)間內(nèi)的任意一個實數(shù)都可以用來表示對應(yīng)的符號序列，這個數(shù)就是該符號序列所對應(yīng)的碼字。對信息進行算術(shù)編碼時首先需建立信息概率表，然后需對信息發(fā)出的符號序列進行掃描編碼。通過這兩個過程即可實現(xiàn)對信息的編碼壓縮。

1.3 LZ 系列編碼

LZ系列算法包括LZ77、LZ78以及LZW算法等，其中LZ77和LZ78是LZ系列的基礎(chǔ)算法，這兩個算法在字典的構(gòu)造和實現(xiàn)上代表了兩種完全不同的思想［11］。

LZW的壓縮基本原理是，通過分析源數(shù)據(jù)流，在編碼的同時不斷更新，自適應(yīng)地生成一個串表，后續(xù)的數(shù)據(jù)就可以同串表中的數(shù)據(jù)相匹配。由于這個生成的串表不需要隨著壓縮的數(shù)據(jù)一同傳輸，而是能夠根據(jù)壓縮的數(shù)據(jù)在解壓縮的時候重新動態(tài)地生成一模一樣的串表，從而進一步提高了壓縮的效率。

1.4 基于小波分析的數(shù)據(jù)壓縮法

基于小波的數(shù)據(jù)壓縮方法包括有多分辨率分析方法、Mallat算法、小波變換、小波包變換和多級樹集合分割編碼相結(jié)合的方法等。這些數(shù)據(jù)壓縮方法在電力系統(tǒng)中也得到了廣泛的應(yīng)用。

其中，小波包變換能夠為信號提供一種更加精細(xì)的分析方法，它將頻帶進行多層次劃分，對多分辨分析沒有細(xì)分的高頻部分進一步分解，并且能夠根據(jù)被分析信號的特征，自適應(yīng)地選擇相應(yīng)的頻帶，使之與信號頻譜相匹配，從而提高了時-頻分辨率。文獻［12］詳細(xì)分析了小波包變換和多級樹集合分割編碼相結(jié)合的方法。

2 電能質(zhì)量數(shù)據(jù)壓縮綜合算法

2.1 基于離散小波變換、SPIHT與算術(shù)編碼相結(jié)合的數(shù)據(jù)壓縮方法

為滿足電能質(zhì)量監(jiān)測網(wǎng)存儲與傳輸海量錄波數(shù)據(jù)的需要，文獻［13］提出了提升格式的二維離散小波變換、SPIHT編碼與算術(shù)編碼相結(jié)合的數(shù)據(jù)壓縮方法。該算法的實現(xiàn)原理如下圖1所示。

圖1 電能質(zhì)量數(shù)據(jù)壓縮與重構(gòu)方法

首先，將采集的一維電能質(zhì)量數(shù)據(jù)按整數(shù)倍周期排列為二維矩陣，利用圖像壓縮的方法對電能質(zhì)量錄波數(shù)據(jù)進行壓縮。在SPIHT編碼中，小波系數(shù)按重要性從大到小的順序被編碼，達到目標(biāo)壓縮碼率便立即結(jié)束編碼，因此可以根據(jù)電能質(zhì)量監(jiān)測網(wǎng)的通信狀況來控制壓縮碼率，實現(xiàn)對壓縮性能的控制;且SPIHT編碼對不重要的小波系數(shù)及其不重要的后代節(jié)點都不進行編碼，提高了編碼效率。最后，對SPIHT編碼輸出的數(shù)據(jù)進行算術(shù)編碼，可進一步提高壓縮比。重構(gòu)是壓縮的逆向過程。

對常見的電能質(zhì)量擾動信號(諧波、凹陷、中斷、震蕩、脈沖)進行的壓縮研究表明，在壓縮碼率R=0.5 bit/pel時，各類電能質(zhì)量信號的壓縮比都達到了115倍以上。在如此高的壓縮比且含有10 dB強度的高斯白噪聲的情況下，重構(gòu)信號的信噪比也達到了32 dB以上。

另外，此數(shù)據(jù)壓縮方法能靈活地調(diào)節(jié)壓縮性。壓縮碼率越高，壓縮比越低，信噪比越高，均方誤差也越小。因此，可以根據(jù)電能質(zhì)量監(jiān)測網(wǎng)的通信狀況，通過控制壓縮碼率來調(diào)節(jié)壓縮比。當(dāng)通信狀況較好時，可提高壓縮碼率，傳輸較多的數(shù)據(jù)量，此時重構(gòu)信號的信噪比較高，能較準(zhǔn)確地記錄原始信號的特征;當(dāng)通信狀況較差時，可降低壓縮碼率，傳輸較少的數(shù)據(jù)量，此時重構(gòu)信號的信噪比較低，但仍能記錄原始信號的大概特征。

2.2 基于PQzip技術(shù)的數(shù)據(jù)壓縮算法

PQzip是一種先進的電能質(zhì)量數(shù)據(jù)壓縮技術(shù)，主要應(yīng)用于以色列Elspec公司開發(fā)的G4400電能質(zhì)量監(jiān)測裝置中。PQzip技術(shù)中所采用的基于FFT變換的有損壓縮算法是當(dāng)今應(yīng)用廣泛的一種方法，該方法精度較高，功能較多，使用方便，特別適用于正弦波的情況。但FFT是在整個時域內(nèi)的積分，只能適用于確定性的平穩(wěn)信號(如諧波)，對時變非平穩(wěn)信號卻難以充分描述。

基于PQzip技術(shù)，文獻［14］采用FFT和小波包變換兩種方法相結(jié)合實現(xiàn)了數(shù)據(jù)壓縮。對于染噪信號，為有效提取信號的特征量，首先利用小波閾值法去噪，再對其進行二進小波變換檢測信號:如果檢測到的信號為穩(wěn)態(tài)或穩(wěn)態(tài)擾動，采用FFT變換對信號進行壓縮，得到相應(yīng)的頻譜，記錄原始信號中不同的頻率分量;如果檢測到的信號為暫態(tài)擾動，則采用小波包變換進行壓縮，對小波包各層分解系數(shù)進行閾值處理，保留與信號奇異性相關(guān)的點，忽略一部分與信號奇異性無關(guān)的點。最后利用LZW編碼對經(jīng)過有損壓縮后存儲的數(shù)據(jù)進一步無損壓縮，實現(xiàn)更有效的壓縮效果。

對5種常見的暫態(tài)擾動信號以及4種穩(wěn)態(tài)擾動信號的仿真分析表明［14］，對于同一穩(wěn)態(tài)擾動信號，PQzip的壓縮率(CR)最小，壓縮效果最好，而小波變換算法CR明顯大于PQzip和所提算法，說明了FFT算法在穩(wěn)態(tài)以及穩(wěn)態(tài)擾動信號壓縮方面具有無可比擬的優(yōu)越性;對于同一暫態(tài)擾動信號，小波算法的CR最大，壓縮效果最差，PQzip所采用的FFT算法和所提算法的CR較為接近，這是由于小波包變換對擾動數(shù)據(jù)進行壓縮時，不僅對小波包低頻系數(shù)進行閾值處理，而且對高頻系數(shù)同樣進行閾值處理，是一種比小波變換更為精細(xì)的變換方法，其壓縮效果優(yōu)于小波變換的壓縮方法。

電能質(zhì)量信號在不同方法下的均方根誤差(RMSE)結(jié)果分析表明，PQzip所采用的FFT算法在穩(wěn)態(tài)信號壓縮時，RMSE很小，保持在10-4數(shù)量級以上，但在處理暫態(tài)信號時，壓縮率只有10-3數(shù)量級;小波變換算法在進行壓縮時RMSE基本都保持在10-3數(shù)量級;而所提算法的RMSE在處理無論是穩(wěn)態(tài)還是暫態(tài)信號時，RMSE都保持在10-4數(shù)量級上，壓縮后的重構(gòu)信號可以較好地保留原始信號的特性。綜上分析可得，電能質(zhì)量信號不管是穩(wěn)態(tài)、穩(wěn)態(tài)擾動還是暫態(tài)擾動，采用所提算法，即基于FFT和小波包變換壓縮法，在保證原始信號局部特性的基礎(chǔ)上，能有效地壓縮數(shù)據(jù)，并且取得令人滿意的壓縮效果。

2.3 Zlib數(shù)據(jù)壓縮算法

Zlib壓縮算法是一種基于字典的無損壓縮算法，應(yīng)用于PQDIF壓縮數(shù)據(jù)。該算法采用了統(tǒng)計模型和字典模型，有機地結(jié)合了Huffman樹編碼法和LZ77編碼法的優(yōu)點，使壓縮效果更好。

Zlib算法繼承了字典壓縮算法的思想，將此思想與滑動窗口(在內(nèi)存中開辟的一個固定長度的緩沖區(qū))相結(jié)合，把滑動窗口看成是字符的字典，找出超前察看緩沖區(qū)(與滑動窗口的緩沖區(qū)相鄰)中能與滑動窗口的字符串相匹配的最長的字符串，并將此串按照LZ77編碼法進行編碼。當(dāng)兩個緩沖區(qū)中沒有相匹配的字符時，便采用自適應(yīng)的Huffman編碼法進行編碼，在編碼的過程中將已編好的壓縮碼實時地寫入壓縮文件中。也就是說，Zlib算法將長度不同的符號串編碼成一個個新單詞，形成一本短語詞典的索引，然后用索引來檢索數(shù)據(jù)，并用字典的編碼代替符號串以達到壓縮目的。解碼過程是編碼的逆過程，同樣用到了Huffman算法和LZ77算法的編碼算法，解碼過程與編碼過程相似。

根據(jù)某省級數(shù)據(jù)中心建設(shè)規(guī)劃，為了最大限度地保護現(xiàn)有投資，該省將PQView數(shù)據(jù)庫作為基礎(chǔ)數(shù)據(jù)庫，PQView軟件本身提供了數(shù)據(jù)采集功能、數(shù)據(jù)管理功能及數(shù)據(jù)分析功能。PQView數(shù)據(jù)庫中數(shù)據(jù)存儲采用PQDIF格式，對穩(wěn)態(tài)數(shù)據(jù)及事件的錄波數(shù)據(jù)進行壓縮的算法采用ZLib，此算法的壓縮效率非常高。對于純數(shù)據(jù)文件2.04 MB，壓縮后13.5 kb，壓縮率為99.4%;純數(shù)據(jù)文件 1.00 MB，壓縮后 7.23 kb，壓縮率為 99.3%;純數(shù)據(jù)文件 454 kb，壓縮后 3.81 kb，壓縮率為99.2%;純數(shù)據(jù)文件221 kb，壓縮后為99%;對于文本+數(shù)據(jù)文件，原文件大小為228 kb，壓縮后2.62 kb，壓縮率為 99%;原文件大小為 3.14 MB，壓縮后為21.4 kb，壓縮率為99.4%。文件的容量越大，ZLib算法的效率就越高。

2.4 電能質(zhì)量數(shù)據(jù)壓縮其他綜合算法

目前，對電能質(zhì)量數(shù)據(jù)壓縮方法的研究有很多，文獻［15］基于二維DCT的電能質(zhì)量監(jiān)測數(shù)據(jù)壓縮方法，該方法仿真結(jié)果表明，當(dāng)均方誤差為3.89%時，壓縮比可以達到82.8%。文獻［16］基于混合小波包的電能質(zhì)量數(shù)據(jù)壓縮算法，對于電能質(zhì)量事件數(shù)據(jù)的壓縮性能優(yōu)于傳統(tǒng)小波/小波包變換。文獻［10］基于整數(shù)小波變換和 SPIHT編碼的錄波數(shù)據(jù)壓縮算法，其整數(shù)小波變換運算速度快，節(jié)約內(nèi)存，易于DSP實現(xiàn);SPIHT編碼方法形成的碼流易于實現(xiàn)可變碼率，也能達到一定的壓縮性能。文獻［17］基于PQDIF格式壓縮的電能質(zhì)量數(shù)據(jù)模型，是基于Zlib的數(shù)據(jù)壓縮技術(shù)，采用此數(shù)據(jù)模型基于Web技術(shù)的電能質(zhì)量監(jiān)測和分析系統(tǒng)已投入運行。這些數(shù)據(jù)壓縮法都具有自己的優(yōu)缺點和使用條件。第三節(jié)著重分析比較目前被投入實際使用和研究廣泛的3種數(shù)據(jù)壓縮方法。

3 電能質(zhì)量數(shù)據(jù)壓縮3種方法的分析比較

基于二維離散小波變換、SPIHT并結(jié)合算術(shù)編碼方法的數(shù)據(jù)壓縮方法對電能質(zhì)量數(shù)據(jù)進行壓縮。在較高的壓縮比時仍能保證較高的信噪比，信號的特征基本得到了保留;壓縮性能可以根據(jù)電能質(zhì)量監(jiān)測網(wǎng)的通信狀況靈活調(diào)節(jié)，避免了因為通信線路上傳輸?shù)臄?shù)據(jù)量過大而造成的數(shù)據(jù)丟失或嚴(yán)重滯后，監(jiān)測中心能及時地監(jiān)測、分析電能質(zhì)量狀況。提出的方法能較好地解決電能質(zhì)量監(jiān)測網(wǎng)對海量錄波數(shù)據(jù)進行存儲與傳輸?shù)膯栴}。

基于PQzip技術(shù)的數(shù)據(jù)壓縮算法結(jié)合了FFT和小波包變換壓縮的優(yōu)點，即FFT具有良好的頻域特性和小波變換具有更高的時頻分辨率，并有很好的抗噪性，可以自動檢測擾動信號并進行分類:對穩(wěn)態(tài)以及穩(wěn)態(tài)擾動信號采用FFT，對暫態(tài)信號采用小波包變換進行壓縮。與PQzip以及小波變換算法相比較，抗噪性能好，還可以在保證原始信號局部特性的基礎(chǔ)上，獲得更好的壓縮效果，CR較小，并且其RMSE也保持在10-4級別以上，取較滿意的壓縮結(jié)果。該算法在實際應(yīng)用中，若忽略擾動、畸變和直流分量的影響，在工程運用中，可以廣泛采用。

基于Zlib的數(shù)據(jù)壓縮法是一項成熟的壓縮算法，Zlib是一個免費、通用、不受任何法律阻礙的、無損的數(shù)據(jù)壓縮開發(fā)庫，而且還是跨平臺的。與其他無損壓縮算法相比，Zlib壓縮算法能夠壓縮更多形式的數(shù)據(jù)，并且具有同winzip和winrar等商業(yè)軟件相比毫不遜色的壓縮率，并且使用了很少的系統(tǒng)資源，對各種數(shù)據(jù)提供很好的壓縮效果。如果經(jīng)常使用Zlib庫壓縮特定類型的數(shù)據(jù)，可以使用有針對性的策略，提高壓縮效率和性能。盡管Zlib只支持deflate壓縮算法，壓縮倍數(shù)比所提到的其他算法大，但在實際運用中還是很廣泛，運用方便簡單。

4 結(jié) 語

在簡要總結(jié)幾種典型的電能質(zhì)量數(shù)據(jù)壓縮基本方法的基礎(chǔ)上，著重分析了目前研究和使用較為廣泛的數(shù)據(jù)壓縮法，并比較了各個方法的適用條件及優(yōu)缺點。若以較少的數(shù)據(jù)質(zhì)量損失存儲大量的數(shù)據(jù)，從而獲得很高的壓縮率，若考慮使用有損壓縮，忽略壓縮過程中損耗的數(shù)據(jù)，建議考慮使用PQzip數(shù)據(jù)壓縮法，該方法能提供過去的所有與電能質(zhì)量相關(guān)的數(shù)據(jù)，不論其重要程度怎樣，任何時間的數(shù)據(jù)都被存儲;若考慮使用無損壓縮算法，根據(jù)以上的分析，建議使用Zlib庫，對數(shù)據(jù)進行壓縮，這是目前使用比較廣泛成熟的壓縮方法;若考慮壓縮性能中的壓縮比，以及誤差精度，所提的基于離散小波變換、SPIHT編碼、算術(shù)編碼相結(jié)合數(shù)據(jù)壓縮法是目前數(shù)據(jù)壓縮研究領(lǐng)域取得較好效果的方法。

這3種數(shù)據(jù)壓縮法都有各自的特點，根據(jù)不同的實際需求，選擇適合的電能質(zhì)量數(shù)據(jù)壓縮法，達到預(yù)期的數(shù)據(jù)壓縮效果。但它們都有各自的影響因素，如PQzip數(shù)據(jù)壓縮法，實際電力系統(tǒng)中，電能質(zhì)量信號會存在各種擾動和畸變，有時還會受到直流分量的影響，而且這些擾動和畸變很多時候會同時出現(xiàn)。在實際應(yīng)用時，影響數(shù)據(jù)壓縮的因素有數(shù)據(jù)量、采樣率、電能質(zhì)量問題和AD性能等，都應(yīng)當(dāng)在算法中將這些因素都考慮進去，使得算法更加合理實用［18］。因此在對各種數(shù)據(jù)壓縮算法進行改進研究時要綜合考慮各方面的影響因素從而達到提高壓縮儀器精確度的目的。

［1］P.K.Dash，B.K.Panigrahi，D.K.Sahoo，et al.Power Quality Disturbance Data Compression，Detection，and Classification Using Integrated Spline Wavelet and STransform［J］.IEEE Trans.on Power Delivery，2003，18(2):595-600.

［2］劉應(yīng)梅，白曉民，易俗，等.基于最小極大法的電力擾動信號壓縮［J］.電網(wǎng)技術(shù)，2004，28(3):33-37.

［3］成敬周，張舉勇.基于小波包分析的錄波數(shù)據(jù)壓縮原理［J］.電力自動化設(shè)備，2004，24(7):53-56.

［4］潘文霞，李春林，史林軍.基于最佳小波包基的電能質(zhì)量暫態(tài)數(shù)據(jù)壓縮［J］.電力系統(tǒng)及其自動化學(xué)報，2005，17(3):50-54.

［5］閆常友，楊奇遜，劉萬順.基于提升格式的實時數(shù)據(jù)壓縮和重構(gòu)算法［J］.中國電機工程學(xué)報，2005，25(9):6-10.

［6］王學(xué)偉，孫金鳳，王琳.基于整數(shù)小波變換的Ray-Period 壓縮算法［J］.電網(wǎng)技術(shù)，2008，32(7):46-50.

［7］mer Nezih Gerek，Dogan G?khan Ece.2-D Analysis and Compression of Power Quality Event Data［J］.IEEE Trans.on Power Delivery，2004，19(2):791-798.

［8］mer Nezih Gerek，Dogan G?khan Ece.Compression of Power Quality Event Data Using 2D Representation［J］.Electric Power Systems Research，2008，78(6):1047-1052.

［9］鮑文，周瑞，劉金福.基于二維提升小波的火電廠周期性數(shù)據(jù)壓縮算法［J］.中國電機工程學(xué)報，2007，27(29):96-101.

［10］王永玉，孫衢，袁超偉.基于整數(shù)小波變換和SPIHT編碼的錄波數(shù)據(jù)壓縮算法［J］.繼電器，2008，36(11):50-54.

［11］郝蔓釗.電能質(zhì)量監(jiān)測數(shù)據(jù)的數(shù)據(jù)壓縮［D］.上海:上海交通大學(xué)，2009.

［12］高山.基于小波包變換的多級樹集合分裂編碼算法研究［D］.西安:西安科技大學(xué)，2009.

［13］劉毅，周雒維，馮浩.電能質(zhì)量監(jiān)測網(wǎng)錄波數(shù)據(jù)壓縮方法［J］.電網(wǎng)技術(shù)，2010，34(4):199-203.

［14］柯慧.電能質(zhì)量數(shù)據(jù)壓縮算法研究［D］.上海:上海交通大學(xué)，2009.

［15］胡志坤，何志敏，安慶，等.基于二維DCT的電能質(zhì)量監(jiān)測數(shù)據(jù)壓縮方法［J］.中南大學(xué)學(xué)報，2011，42(4):1021-1027.

［16］鄭偉彥，吳為麟.基于混合小波包的電能質(zhì)量數(shù)據(jù)壓縮算法［J］.電工電能新技術(shù)，2010，29(3):8-11.

［17］丁屹峰，程浩忠，占勇，等.基于PQDIF格式壓縮的電能質(zhì)量數(shù)據(jù)模型［J］.繼電器，2005，33(7):55-58.

［18］朱宏濤.電網(wǎng)數(shù)據(jù)采集系統(tǒng)建模與數(shù)據(jù)壓縮品質(zhì)影響的研究［D］.哈爾濱:哈爾濱工業(yè)大學(xué)，2010.