面向油中溶解氣體監(jiān)測時(shí)序數(shù)據(jù)壓縮的改進(jìn)方法

張煒，王英潔，鄔蓉蓉

(1.廣西電網(wǎng)有限責(zé)任公司電力科學(xué)研究院，南寧市 530023；2.南方電網(wǎng)科學(xué)研究院，廣州市 510080)

面向油中溶解氣體監(jiān)測時(shí)序數(shù)據(jù)壓縮的改進(jìn)方法

張煒1，王英潔2，鄔蓉蓉1

(1.廣西電網(wǎng)有限責(zé)任公司電力科學(xué)研究院，南寧市 530023；2.南方電網(wǎng)科學(xué)研究院，廣州市 510080)

為提高油中溶解氣體監(jiān)測數(shù)據(jù)的分析、傳輸效率，提出了一種針對時(shí)間序列數(shù)據(jù)的改進(jìn)壓縮存儲方法。首先區(qū)別狀態(tài)量和模擬量的數(shù)據(jù)類型，并創(chuàng)建不同數(shù)據(jù)列的二維表。其次，組合應(yīng)用旋轉(zhuǎn)門算法和哈夫曼算法，并在創(chuàng)建的數(shù)據(jù)區(qū)間索引后實(shí)現(xiàn)數(shù)據(jù)壓縮存儲。實(shí)測結(jié)果表明該方法不僅能滿足對時(shí)間序列數(shù)據(jù)的高效、并發(fā)存儲要求，還有利于在改進(jìn)數(shù)據(jù)讀取、傳輸效果的基礎(chǔ)上，開展大數(shù)據(jù)分析和跨系統(tǒng)應(yīng)用。

油中溶解氣體；時(shí)間序列數(shù)據(jù)；旋轉(zhuǎn)門算法；哈夫曼算法

0 引 言

根據(jù)《中國電力大數(shù)據(jù)發(fā)展白皮書(2013年)》的介紹，電力企業(yè)大多已建成的企業(yè)級信息集成平臺雖能處理日常業(yè)務(wù)，但數(shù)據(jù)儲存時(shí)間以及海量數(shù)據(jù)的爆發(fā)式增長對IT基礎(chǔ)設(shè)施提出了更高的要求[1]。以變壓器油中溶解氣體監(jiān)測數(shù)據(jù)為例，該數(shù)據(jù)是電力生產(chǎn)中的關(guān)鍵數(shù)據(jù)，但對此數(shù)據(jù)的存儲與交換能力尚不能適應(yīng)電力大數(shù)據(jù)應(yīng)用的要求。

在以電力大數(shù)據(jù)關(guān)鍵技術(shù)診斷設(shè)備運(yùn)行狀態(tài)時(shí)，需要利用海量狀態(tài)監(jiān)測數(shù)據(jù)，而海量數(shù)據(jù)在數(shù)據(jù)傳輸、存儲和檢索方面仍存在一定難度[2]。為解決此問題，雖然已經(jīng)應(yīng)用了多種電力系統(tǒng)數(shù)據(jù)壓縮技術(shù)[3-8]，然而在實(shí)際上除優(yōu)化壓縮算法外，還需結(jié)合不同數(shù)據(jù)的訪問特征研究高速存儲、索引體系結(jié)構(gòu)以及流計(jì)算即時(shí)處理等技術(shù)，進(jìn)而增強(qiáng)數(shù)據(jù)壓縮品質(zhì)。油中溶解氣體監(jiān)測數(shù)據(jù)涵蓋了所在電網(wǎng)主變的油中氣體含量，是表征變壓器是否存在內(nèi)部故障及其故障性質(zhì)、程度的重要特征數(shù)據(jù)，但其應(yīng)用在關(guān)系數(shù)據(jù)庫系統(tǒng)結(jié)構(gòu)化查詢語言(structured query language，SQL)時(shí)所暴露出的擴(kuò)展性差、可靠性低等問題，也不同于數(shù)據(jù)采集與監(jiān)視控制(supervisory control and data acquisition，SCADA)系統(tǒng)故障錄波、電能質(zhì)量等數(shù)據(jù)格式，故難以適應(yīng)壓縮品質(zhì)的要求[9]，并制約分析、傳輸監(jiān)測數(shù)據(jù)的效率。

本文針對上述問題和需求，在監(jiān)測系統(tǒng)的時(shí)序數(shù)據(jù)庫基礎(chǔ)上，提出一種適用于油中溶解氣體監(jiān)測時(shí)序數(shù)據(jù)的壓縮存儲方法。該方法對油中溶解氣體的監(jiān)測不同于SCADA系統(tǒng)故障錄波、電能質(zhì)量等數(shù)據(jù)的索引體系結(jié)構(gòu)的情況，首先將時(shí)序數(shù)據(jù)的數(shù)據(jù)項(xiàng)按照不同的數(shù)據(jù)類型組合在一個(gè)固定的存儲結(jié)構(gòu)二維表中，再以旋轉(zhuǎn)門算法和哈夫曼算法組合后壓縮，最后將組合成的若干固定長度的數(shù)據(jù)塊存儲在數(shù)據(jù)庫中。該方法將有損與無損壓縮方法相結(jié)合，不僅能夠保障壓縮比和壓縮品質(zhì)，還能夠提升跨系統(tǒng)傳輸、海量數(shù)據(jù)分析的效率。

1 油氣監(jiān)測數(shù)據(jù)應(yīng)用特征

1.1 數(shù)據(jù)讀取分析

與其他工況測試數(shù)據(jù)相比，油中溶解氣體監(jiān)測數(shù)據(jù)分布廣、數(shù)據(jù)多、頻次高[10]，讀取分析難度大。如廣西電網(wǎng)在2015年共采集300臺變壓器或高壓電抗器的92 783條有效監(jiān)測數(shù)據(jù)，而每條監(jiān)測數(shù)據(jù)需要在關(guān)系型數(shù)據(jù)庫中占用288字節(jié)的存儲空間。利用顯著性差異分析等方法[11]分析全網(wǎng)監(jiān)測數(shù)據(jù)，篩查存在同制造廠同批次設(shè)備的共性缺陷、存在劣化趨勢的隱性缺陷等，需要對監(jiān)測的數(shù)據(jù)進(jìn)行參數(shù)多層分解，并形成以時(shí)間為線索的數(shù)據(jù)壓縮流。然而，以下2個(gè)方面的局限將影響大數(shù)據(jù)分析應(yīng)用的效果：一方面，監(jiān)測點(diǎn)及監(jiān)測頻次在不斷增加，數(shù)據(jù)存儲規(guī)模將日劇增大；另一方面，維護(hù)傳統(tǒng)關(guān)系型數(shù)據(jù)庫中表結(jié)構(gòu)的關(guān)聯(lián)性、一致性將勢必犧牲數(shù)據(jù)的讀寫性能。

1.2 數(shù)據(jù)集成傳輸

狀態(tài)監(jiān)測評估系統(tǒng)主站除了需要展示、分析監(jiān)測數(shù)據(jù)外，還具備信息傳輸、數(shù)據(jù)共享和分布式處理等職能[12-13]。如各省級電網(wǎng)主站需要向南方電網(wǎng)主站、海量準(zhǔn)實(shí)時(shí)數(shù)據(jù)平臺、數(shù)據(jù)中心等推送數(shù)據(jù)，故對集成傳輸要求高。特別是為落實(shí)《電力監(jiān)控系統(tǒng)安全防護(hù)規(guī)定》(國家發(fā)展改革委2014年第14號令)、Q/CSG 1204009—2015《中國南方電網(wǎng)電力監(jiān)控系統(tǒng)安全防護(hù)技術(shù)規(guī)范》等要求，將首先在生產(chǎn)控制大區(qū)的非控制區(qū)(安全Ⅱ區(qū))采集、存儲監(jiān)測數(shù)據(jù)，再通過正向安全隔離裝置向管理信息大區(qū)的生產(chǎn)管理區(qū)(安全Ⅲ區(qū))傳輸、發(fā)布和應(yīng)用監(jiān)測數(shù)據(jù)，如圖1所示。此時(shí)，通過橫向正向安全隔離裝置傳輸數(shù)據(jù)將在速率、容量等方面有更大限制[14]。當(dāng)信息負(fù)荷水平過大時(shí)，數(shù)據(jù)傳輸性能下降，滯留大量數(shù)據(jù)包[15-16]。故系統(tǒng)中數(shù)據(jù)包吞吐率為40兆位/s (100條安全策略，1 024字節(jié)報(bào)文長度)，數(shù)據(jù)包轉(zhuǎn)發(fā)延遲小于 10 ms(100%負(fù)荷)。因此，須壓縮監(jiān)測數(shù)據(jù)，減少通過安全隔離裝置的數(shù)量和次數(shù)。

圖1 監(jiān)測系統(tǒng)網(wǎng)絡(luò)安全防護(hù)邏輯結(jié)構(gòu)Fig.1 Logical structure of network security protection for monitoring system

2 改進(jìn)壓縮方法

2.1 油中溶解氣體監(jiān)測數(shù)據(jù)結(jié)構(gòu)

油中溶解氣體監(jiān)測的源數(shù)據(jù)表包括狀態(tài)量和模擬量這兩大類數(shù)據(jù)，其中狀態(tài)量主要是指監(jiān)測告警和裝置狀態(tài)。表1為源數(shù)據(jù)的表結(jié)構(gòu)。本文將分別處理狀態(tài)量和模擬量這2類數(shù)據(jù)，對于狀態(tài)量的處理方法相對簡單，其中僅需保留變化的狀態(tài)量可以進(jìn)行大幅無損壓縮，重點(diǎn)在于模擬量的壓縮。

表2為部分關(guān)系數(shù)據(jù)庫中油中溶解氣體監(jiān)測數(shù)據(jù)的原始數(shù)據(jù)示例，由表2中的數(shù)據(jù)可知，數(shù)據(jù)表內(nèi)存在大量重復(fù)數(shù)據(jù)，可用組合壓縮算法歸檔壓縮原始的油中溶解氣體監(jiān)測數(shù)據(jù)，具體步驟為：(1)采用旋轉(zhuǎn)門壓縮算法壓縮表中的各列數(shù)據(jù),并形成新的二維表；(2)梳理經(jīng)旋轉(zhuǎn)門壓縮后二維表中的大量空值，并為節(jié)省空間而進(jìn)行組合存儲；(3)采用哈夫曼算法壓縮經(jīng)組合存儲變換后的數(shù)據(jù)。

2.2 數(shù)據(jù)壓縮

2.2.1 旋轉(zhuǎn)門壓縮

圖2為旋轉(zhuǎn)門算法原理的示意圖。如圖2所示，X0作為當(dāng)前保留的一個(gè)數(shù)據(jù)點(diǎn)，以距離X0為ΔE的上下2個(gè)點(diǎn)作為支點(diǎn)，t1時(shí)刻的數(shù)據(jù)點(diǎn)X1分別與X0的2個(gè)支點(diǎn)形成第1個(gè)三角形的虛擬門[17]。同樣，在t2

表1 源數(shù)據(jù)的表結(jié)構(gòu)
Table 1 Table structure of source data

表2 原始數(shù)據(jù)示例Table 2 Examples of raw data

時(shí)刻的數(shù)據(jù)點(diǎn)X2分別與X0的2個(gè)支點(diǎn)形成第2個(gè)三角形虛擬門，此時(shí)，第2個(gè)三角形包含了前一個(gè)數(shù)據(jù)點(diǎn)X1。接下來繼續(xù)進(jìn)行旋轉(zhuǎn)門操作，第3個(gè)三角形虛擬門包含了前面2個(gè)數(shù)據(jù)點(diǎn)X1、X2，到第4個(gè)點(diǎn)X4時(shí)，三角形虛擬門只包含了X1，并沒有包含X2和X3。因此，第1段旋轉(zhuǎn)門操作結(jié)束。此時(shí)，從t0到t3時(shí)段，壓縮了X1、X2、X3數(shù)據(jù)點(diǎn)被保留。同樣，t3到t5完成第2個(gè)旋轉(zhuǎn)門操作，只保留X5數(shù)據(jù)點(diǎn)。

圖2 旋轉(zhuǎn)門算法原理Fig.2 Principle of rotating gate algorithm

對原始數(shù)據(jù)逐列應(yīng)用旋轉(zhuǎn)門壓縮算法,壓縮后的數(shù)據(jù)仍然可以表示成一張二維表，而被壓掉的數(shù)據(jù)點(diǎn)將被以空值(Null)表示，進(jìn)而大幅降低存儲量。圖3為“C2H2_DATA”列經(jīng)旋轉(zhuǎn)門壓縮后的結(jié)果。

表3 C2H2的壓縮結(jié)果
Table 3 C2H2compression results

旋轉(zhuǎn)門壓縮階段的主要步驟為：(1)逐列壓縮表中數(shù)據(jù)，并以“Null”表示被壓縮的數(shù)據(jù)；(2)逐行梳理表中數(shù)據(jù)，并過濾除時(shí)間外其他均為空值的行。

完成上述步驟后，所得的結(jié)果即是旋轉(zhuǎn)門壓縮階段的最終結(jié)果。旋轉(zhuǎn)門壓縮算法是一種有損壓縮算法，被壓縮掉的數(shù)據(jù)可能無法精確恢復(fù)，但仍可依據(jù)保留的數(shù)據(jù)擬合近似值和繪制趨勢曲線，不影響監(jiān)測數(shù)據(jù)預(yù)警和診斷設(shè)備異常。

此外，時(shí)序數(shù)據(jù)庫將單個(gè)測量參數(shù)作為管理基本單位，每個(gè)參數(shù)都帶一個(gè)時(shí)標(biāo)。為了壓縮時(shí)標(biāo)，采用邊長相對時(shí)間表示數(shù)據(jù)的時(shí)標(biāo)，即可使高頻率獨(dú)立采集的數(shù)據(jù)達(dá)到較好效率。但對于油氣數(shù)據(jù)這類多個(gè)參數(shù)(37個(gè))同時(shí)采集的低頻數(shù)據(jù)而言，則會浪費(fèi)很多空間去存儲相同的數(shù)據(jù)時(shí)標(biāo)，本文采用多個(gè)采集指標(biāo)組合存儲的方式，這樣可以共享時(shí)標(biāo)，節(jié)省存儲。

2.2.2 組合存儲

經(jīng)旋轉(zhuǎn)門壓縮后產(chǎn)生的空值也將占用存儲空間，且其存儲方式也直接影響到存儲量，本文采用非空標(biāo)識位圖來表示每個(gè)數(shù)據(jù)是否為空值(即每個(gè)數(shù)據(jù)用一個(gè)比特表示是否為空值)，其組合存儲后的數(shù)據(jù)塊結(jié)構(gòu)如圖3所示。

圖3 非空標(biāo)識位圖Fig.3 Non empty ID bitmap

圖3中：數(shù)據(jù)塊描述信息是說明數(shù)據(jù)轉(zhuǎn)換后存儲結(jié)構(gòu)的簡要信息，包括數(shù)據(jù)函數(shù)和列數(shù)以及數(shù)據(jù)非空標(biāo)識位圖、時(shí)標(biāo)信息、行數(shù)據(jù)的起始位置；時(shí)標(biāo)信息存儲每行數(shù)據(jù)的時(shí)標(biāo)字段，每個(gè)時(shí)標(biāo)占8字節(jié)；數(shù)據(jù)非空標(biāo)識位說明表中數(shù)據(jù)點(diǎn)是否為空，每個(gè)數(shù)據(jù)點(diǎn)以位表示；行數(shù)據(jù)塊存儲每行數(shù)據(jù)非空的數(shù)據(jù)點(diǎn)，每個(gè)數(shù)據(jù)點(diǎn)占4字節(jié)。

結(jié)構(gòu)轉(zhuǎn)換的具體步驟為：(1)按順序取表中的一行數(shù)據(jù)，并將其中的時(shí)標(biāo)追加至新數(shù)據(jù)結(jié)構(gòu)的時(shí)標(biāo)信息中；(2)按順序逐列檢查該行數(shù)據(jù)中的數(shù)據(jù)項(xiàng)，若數(shù)據(jù)項(xiàng)為空，則在位圖的相應(yīng)位置置0，否則置1，并將該數(shù)據(jù)項(xiàng)追加到新數(shù)據(jù)結(jié)構(gòu)的行數(shù)據(jù)塊中；(3)重復(fù)以上2步，直至掃描完畢所有的數(shù)據(jù)行；(4)將數(shù)據(jù)行數(shù)、列數(shù)及時(shí)標(biāo)信息、數(shù)據(jù)非空標(biāo)識位圖位、行數(shù)據(jù)塊的開始位置信息填入數(shù)據(jù)塊描述信息中，至此完成組合存儲轉(zhuǎn)換。

2.2.3 哈夫曼壓縮

哈夫曼算法是一種最常用的不等長無損壓縮編碼方法，可提升訪問速度[18]。油中溶解氣體監(jiān)測數(shù)據(jù)通常按時(shí)間查看，故為確保查詢效率，則單獨(dú)提取時(shí)標(biāo)信息且無須壓縮，查詢時(shí)亦無須解壓則直接查詢。因此本文中的無損壓縮只對行數(shù)據(jù)塊進(jìn)行，如圖4所示。

圖4 無損壓縮示例Fig.4 Lossless compression process

圖4中：左部為經(jīng)旋轉(zhuǎn)門壓縮組合存儲后的數(shù)據(jù)；右部為以哈夫曼壓縮算法無損壓縮的內(nèi)容，其關(guān)鍵在于確定碼元在數(shù)據(jù)塊中出現(xiàn)的權(quán)重，本文以字節(jié)(信源符號)為單位對行數(shù)據(jù)塊(信源)進(jìn)行編碼，即是信源符號(碼元)最大數(shù)為256個(gè)(0，1，2，…，256)，其主要步驟如下詳述。

(1)定義一個(gè)長度為256的整數(shù)數(shù)組F，并將所有元素初值設(shè)置為0，該數(shù)組用于統(tǒng)計(jì)各碼元在整個(gè)被編碼的數(shù)據(jù)塊中出現(xiàn)的次數(shù)。

(2)逐字節(jié)地遍歷被編碼數(shù)據(jù)塊，并以該字節(jié)的值(無符號整數(shù))為數(shù)組F的下標(biāo)，對數(shù)組的元素進(jìn)行加1操作，直至遍歷被編碼數(shù)據(jù)塊所有字節(jié)。

(3)執(zhí)行步驟1和步驟2后，可得碼元及其出現(xiàn)的次數(shù)，只有F中值不為0的數(shù)組元素下的標(biāo)值才是編碼中有效的碼元(碼元數(shù)量影響編碼后的碼字長度)，經(jīng)統(tǒng)計(jì)碼元出現(xiàn)次數(shù)可得各碼元的權(quán)重。

(4)由步驟3求解、保存碼元及其權(quán)重構(gòu)造編碼表，并使用編碼表對被編碼數(shù)據(jù)逐字節(jié)編碼直至最后一個(gè)字節(jié)，將編碼后的數(shù)據(jù)存儲于圖4中壓縮數(shù)據(jù)的位置中。

(5)鑒于哈夫曼編碼本身不具備檢錯和糾錯功能，故以美國標(biāo)準(zhǔn)信息交換代碼(American standard code for information interchange，ASCII)校驗(yàn)哈夫曼編碼表和壓縮數(shù)據(jù)，并將結(jié)果存儲于圖4中壓縮數(shù)據(jù)校驗(yàn)碼的位置中。

在解壓數(shù)據(jù)時(shí)，先計(jì)算校驗(yàn)和是否正確，哈夫曼編碼的解壓過程利用壓縮時(shí)已計(jì)算好的編碼表來解壓縮數(shù)據(jù)，不同之處在于壓縮時(shí)需逐字節(jié)地掃描被壓縮數(shù)據(jù)，而解壓過程則是逐位掃描已壓縮數(shù)據(jù)而還原數(shù)據(jù)。

3 算例分析

3.1 壓縮比分析

壓縮500 kV玉林站2號主變B相3個(gè)月內(nèi)的122條監(jiān)測數(shù)據(jù)，結(jié)果如圖5所示。分析氫氣測值的壓縮結(jié)果，如圖6所示。可見原122個(gè)H2測值在經(jīng)壓縮后為21個(gè)點(diǎn)，壓縮比約為6∶1，有效地還原了區(qū)間范圍內(nèi)數(shù)據(jù)上下波動的情況，保留了高價(jià)值的峰值數(shù)據(jù)。

圖5 3個(gè)月內(nèi)的監(jiān)測數(shù)據(jù)Fig.5 Monitoring data within three months

圖6 采用旋轉(zhuǎn)門法壓縮后的數(shù)據(jù)Fig.6 Data compressed by rotating gate algorithm

改進(jìn)壓縮方法與測值數(shù)據(jù)變化區(qū)間范圍相關(guān)，梳理現(xiàn)有監(jiān)測數(shù)據(jù)樣本值發(fā)現(xiàn)，測值主要集中在200 μL/L內(nèi)變化，通過調(diào)整旋轉(zhuǎn)門壓縮參數(shù)，壓縮率可以達(dá)到8∶1，而無損數(shù)據(jù)的基本特征。因此，通過改進(jìn)算法原理，最多1個(gè)字節(jié)即足以表示這200多種變化(1字節(jié)=8位，28=256種變化)。在實(shí)際應(yīng)用中，以2015年廣西電網(wǎng)在用的300套監(jiān)測裝置共采集92 783條有效監(jiān)測數(shù)據(jù)為例，采用本方法最低可節(jié)省存儲空間為92 783×(288-36)字節(jié)=23 381 316字節(jié)，即節(jié)約了87.5%的存儲空間。

3.2 解壓讀取和傳輸分析

與傳統(tǒng)的關(guān)系性數(shù)據(jù)庫不同，在采用時(shí)序數(shù)據(jù)庫存儲后是以時(shí)間序列索引按序存儲監(jiān)測數(shù)據(jù)，并以時(shí)間點(diǎn)或時(shí)間段讀取數(shù)據(jù)。為檢驗(yàn)采用壓縮算法后的誤差，對壓縮后的廣西電網(wǎng)300條監(jiān)測數(shù)據(jù)進(jìn)行分析，結(jié)果如圖7所示。對壓縮后油中氣體監(jiān)測數(shù)據(jù)大小進(jìn)行統(tǒng)計(jì)，設(shè)備狀態(tài)分為警示、注意、正常3類等級，其監(jiān)測數(shù)據(jù)與設(shè)備狀態(tài)結(jié)果與壓縮前一致，故可得壓縮數(shù)據(jù)后并未造成關(guān)鍵數(shù)據(jù)遺漏或偏差，適合用于分析設(shè)備狀態(tài)。因此，改進(jìn)壓縮方法可在不影響大數(shù)據(jù)分析的情況下，依據(jù)監(jiān)測數(shù)據(jù)的時(shí)間偏移量快速檢索和定位，提升讀取分析效率。

圖7 監(jiān)測數(shù)據(jù)分析的平行坐標(biāo)圖Fig.7 Parallel coordinates of monitoring data

圖8為壓縮前后數(shù)據(jù)庫鏡像文件傳輸?shù)木W(wǎng)絡(luò)使用率。經(jīng)監(jiān)控、比對可知，壓縮后數(shù)據(jù)庫鏡像文件傳輸所耗時(shí)間由43 s減少至7 s，其效率提高了約6倍，且還可多傳輸276.7 MB的數(shù)據(jù)。測試壓縮后數(shù)據(jù)的傳輸效果，說明該方法可以通過改進(jìn)向海量準(zhǔn)時(shí)數(shù)據(jù)平臺等系統(tǒng)推送數(shù)據(jù)的效率，滿足電力監(jiān)控系統(tǒng)安全防護(hù)技術(shù)規(guī)范的要求。

圖8 壓縮前后的網(wǎng)絡(luò)使用率Fig.8 Network usage before and after compression

3.3 效果分析

本文采用有損壓縮和無損壓縮的組合存儲方式。由經(jīng)驗(yàn)分析可得，視不同設(shè)備的運(yùn)行狀態(tài)，單臺設(shè)備監(jiān)測數(shù)據(jù)的有損壓縮比可達(dá)8∶1，而無損壓縮則分布在4∶3到3∶1之間，因此推算綜合壓縮率在32∶3到24∶1之間。因哈夫曼算法是無損壓縮，除數(shù)據(jù)損壞情況外，解碼還原率應(yīng)為100%。故總體解碼還原率取決于旋轉(zhuǎn)門算法的壓縮參數(shù)，當(dāng)旋轉(zhuǎn)門壓縮比為8∶1時(shí)，解碼還原率大于1/8。本文保留了監(jiān)測告警和裝置故障的狀態(tài)量，重點(diǎn)在于壓縮模擬量，故不影響及時(shí)發(fā)現(xiàn)異常突變的情況和還原監(jiān)測趨勢。對容量為178.5 MB的數(shù)據(jù)進(jìn)行壓縮實(shí)驗(yàn)，模擬傳輸?shù)膶?shí)驗(yàn)結(jié)果見表4。

表4 壓縮效果分析
Table 4 Analysis of compression results

由壓縮比、讀取和傳輸?shù)臏y試結(jié)果可知，壓縮后的數(shù)據(jù)容量減少了162.272 MB，節(jié)約了90%的存儲空間，壓縮比達(dá)到了10∶1；壓縮后的傳輸時(shí)間減少了34 s，節(jié)約了83%的傳輸時(shí)間。本文所采用的旋轉(zhuǎn)門和哈夫曼組合算法，能夠有效地存儲油中溶解氣體這類低頻次數(shù)據(jù)塊，不會丟失變壓器異常突變時(shí)的預(yù)警數(shù)據(jù)，并能夠有效解壓和重構(gòu)歷史數(shù)據(jù)，更適用于快速檢索變壓器異常或監(jiān)測裝置故障時(shí)的數(shù)據(jù)。

由于自適應(yīng)小波、二維重組等壓縮算法主要用于SCADA系統(tǒng)、錄波或電能質(zhì)量裝置數(shù)據(jù)，其數(shù)據(jù)特征在于采集頻率高、采集點(diǎn)數(shù)多、變化頻率低、爆發(fā)式規(guī)模等，所以本文算法更適用于油中溶解氣體監(jiān)測數(shù)據(jù)采樣頻次較低、數(shù)據(jù)規(guī)模固定，但不容遺漏異常突變情況的數(shù)據(jù)特征，并滿足了數(shù)據(jù)檢索讀取與傳輸要求。此外，本文采用組合存儲方式的同時(shí)，針對數(shù)據(jù)查詢的特征，將時(shí)標(biāo)從數(shù)據(jù)剝離，且不進(jìn)行壓縮，這樣有利于數(shù)據(jù)檢索，壓縮與傳輸效率也將有利于在移動終端APP軟件中檢索分析監(jiān)測數(shù)據(jù)。

4 結(jié) 論

本文提出了一種面向油中溶解氣體時(shí)序數(shù)據(jù)壓縮的改進(jìn)方法，通過組合應(yīng)用旋轉(zhuǎn)門算法和哈夫曼算法而改進(jìn)了數(shù)據(jù)索引體系結(jié)構(gòu)及流計(jì)算方法，提升了數(shù)據(jù)壓縮的品質(zhì)。該方法適用于油中溶解氣體監(jiān)測數(shù)據(jù)頻次較低、規(guī)模固定及突變測值關(guān)鍵的特點(diǎn)，在大數(shù)據(jù)分析與傳輸方面，能夠減少約90%的存儲空間，縮短約6倍的應(yīng)用時(shí)間，取得合適的數(shù)據(jù)讀取、傳輸效果。

[1]中國電機(jī)工程學(xué)會電力信息化專業(yè)委員會.中國電力大數(shù)據(jù)發(fā)展白皮書[M].北京: 中國電力出版社, 2013：1-22.

[2]張斌，張東來.電力系統(tǒng)采集數(shù)據(jù)壓縮品質(zhì)影響規(guī)律研究[J].電網(wǎng)技術(shù)，2012,36(4):160-166. ZHANG Bin, ZHANG Donglai. Research on influencing law of compression quality of acquisitioned power system data[J]. Power System Technology，2012,36(4):160-166.

[3]康忠健，樊建川，徐麗．自適應(yīng)小波壓縮算法在連續(xù)錄波裝置中應(yīng)用[J]．電力自動化設(shè)備，2009，29(10)：116-119，124． KANG Zhongjian，F(xiàn)AN Jianchuan，XU Li. Application of adaptive wavelet data compression algorithm in continuous recorder[J]. Electric Power Automation Equipment，2009，29(10)：116-119，124.

[4]閆常友，楊奇遜，劉萬順．基于提升格式的實(shí)時(shí)數(shù)據(jù)壓縮和重構(gòu)算法[J]．中國電機(jī)工程學(xué)報(bào)，2005，25(9)：6-10． YAN Changyou, YANG Qixun, LIU Wanshun. A real-time data compression & reconstruction method based on lifting scheme[J]．Proceedings of the CSEE，2005,25(9):6-10.

[5]劉毅，周雒維，馮浩．電能質(zhì)量監(jiān)測網(wǎng)錄波數(shù)據(jù)壓縮方法[J]．電網(wǎng)技術(shù), 2010, 34(4): 199-203． LIU Yi, ZHOU Luowei, FENG Hao. Method for compressing recorded data from power quality monitoring network[J]．Power System Technology，2010，34(4)：199-203.

[6]GEREK ? N, ECE D G. Compression of power quality event data using 2D representation[J]. Electric Power Systems Research, 2008, 78(6): 1047-1052.

[7]王超，張東來，張斌，等．電力系統(tǒng)二維重組法數(shù)據(jù)壓縮算法[J]．電工技術(shù)學(xué)報(bào)，2010，25(11) ：177-182． WANG Chao, ZHANG Donglai, ZHANG Bin，et al．A 2-D information reordering data compression method for power system[J]．Transactions of China Electrotechnical Society, 2010, 25(11): 177-182.

[8]馬發(fā)勇，厲啟鵬，馬志斌，等．電力調(diào)度SCADA系統(tǒng)中歷史數(shù)據(jù)壓縮及存儲策略[J].電網(wǎng)技術(shù), 2014,38(4):1109-1114. MA Fayong, LI Qipeng, MA Zhibin, et al．The research of historical data compression and storage strategy in power dispatch SCADA system[J]．Power System Technology, 2014,38(4):1109-1114.

[9]白紅偉，馬志偉，宋亞奇.基于云計(jì)算的智能電網(wǎng)狀態(tài)監(jiān)測數(shù)據(jù)的處理[J]. 華東電力，2011,39(9):1485-1488. BAI Hongwei， MA Zhiwei，SONG Yaqi.Processing of smart grid monitoring data based on cloud computing[J]．East China Electric Power，2011,39(9):1485-1488.

[10]趙笑笑，云玉新，陳偉根.變壓器油中溶解氣體的在線監(jiān)測技術(shù)評述[J].電力系統(tǒng)保護(hù)與控制，2009,37(23):187-191. ZHAO Xiaoxiao, YUN Yuxin, CHEN Weigen. Comment on on-line monitoring techniques for dissolved gas in transformer oil[J]．Power System Protection and Control, 2009,37(23):187-191.

[11]中國電力企業(yè)聯(lián)合會.輸變電設(shè)備狀態(tài)檢修試驗(yàn)規(guī)程: DL/Z 393-2010[S]．北京：中國電力出版社，2010.

[12]呂澤承,鄧雨榮,張煒,等.在線監(jiān)測系統(tǒng)現(xiàn)場綜合處理單元與變電站平臺之間的通信技術(shù)[J].南方電網(wǎng)技術(shù),2013,7(6):136-140. LYU Zecheng, DENG Yurong, ZHANG Wei,et al. Communication technology between the integrated processing unit and substation platform of on-line monitoring system[J]．Southern Power System Technology，2013,7(6):136-140.

[13]陳曉國,王俊錁,張煒,等. 基于IEC 61850的設(shè)備狀態(tài)在線監(jiān)測系統(tǒng)架構(gòu)優(yōu)化及數(shù)據(jù)模型[J].南方電網(wǎng)技術(shù),2015, 9(7): 95-99. CHEN Xiaoguo,WANG Junke, ZHANG Wei,et al. Structure optimization and data modelling of IEC 61850 based online equipment monitoring system[J]．Southern Power System Technology, 2015,9(7):95-99.

[14]申永輝.電力專用安全隔離裝置的原理和應(yīng)用[J].湖南電力, 2006,26(6):31-33.

[15]李高望，鞠文云，段獻(xiàn)忠，等．電力調(diào)度數(shù)據(jù)網(wǎng)傳輸特性分析[J]．中國電機(jī)工程學(xué)報(bào)，2012，32(22)：141-148． LI Gaowang, JU Wenyun,DUAN Xianzhong, et al.Transmission characteristics of the electric power dispatching data network[J]．Proceedings of the CSEE，2012，32(22)：141-148.

[16]胡娟， 李智歡，段獻(xiàn)忠．電力調(diào)度數(shù)據(jù)網(wǎng)結(jié)構(gòu)特性分析[J]．中國電機(jī)工程學(xué)報(bào)，2009，29(4)：53-59. HU Juan, LI Zhihuan, DUAN Xianzhong. Structural feature analysis of the electric power dispatching data network[J]．Proceedings of the CSEE，2009，29(4)：53-59.

[17]曲奕霖，王文海．用于過程數(shù)據(jù)壓縮的自控精度SDT算法[J]．計(jì)算機(jī)工程, 2010, 36(22): 40-42. QU Yilin , WANG Wenhai. Automatic parameter control SDT algorithm for process data compression[J]．Computer Engineering，2010，36(22)：40-42.

[18]歐陽一鳴，黃貴林，梁華國，等．利用少數(shù)相關(guān)位的SoC測試數(shù)據(jù)壓縮方法[J]．電子測量與儀器學(xué)報(bào), 2013, 27(1):76-82. OUYANG Yiming, HUANG Guilin, LIANG Huaguo,et al. Test data compression of system-on-chip(SoC) using few relevant bits[J]．Journal of Electronic Measurement and Instrument, 2013, 27(1):76-82.

(編輯 景賀峰)

An Improved Method for Compressing Time Series Data of Dissolved Gas Monitoring in Oil

ZHANG Wei1，WANG Yingjie2，WU Rongrong1

(1. Electric Power Research Institute of Guangxi Power Grid Co., Ltd., Nanning 530023， China;2. Electric Power Research Institute, China Southern Power Grid, Guangzhou 510080, China)

In order to improve the monitoring data analysis and transmission efficiency of dissolved gases in oil, this paper proposes a improved compression storage method for time series data. Firstly, we distinguish the data types of state and analog, and create two-dimensional table with different data columns. Secondly, combining the spinning door transformation algorithm and Huffman compress algorithm, we create a data interval index to achieve data compression and storage. The measured results show that the proposed method can not only meet the requirements of efficient compression and storage data for time series, but also develop the large data analysis and cross system applications based on the improved data reading and transmission effect.

dissolved gas in oil; time series data; spinning door transformation algorithm; Huffman compress algorithm

中國南方電網(wǎng)公司科技項(xiàng)目(GXKJXM20151039)

TM 85

A

1000-7229(2017)05-0098-07

10.3969/j.issn.1000-7229.2017.05.013

2017-03-01

張煒(1983)，男，碩士，高級工程師，主要研究方向?yàn)殡娏υO(shè)備狀態(tài)監(jiān)測與故障診斷；

王英潔(1982)，女，碩士，高級工程師，主要研究方向?yàn)殡娏υO(shè)備狀態(tài)監(jiān)測與故障診斷；

鄔蓉蓉(1984)，女，碩士，工程師，主要研究方向?yàn)殡娏υO(shè)備狀態(tài)監(jiān)測與故障診斷。