同步并行數(shù)據(jù)遷移技術(shù)在電網(wǎng)信息化系統(tǒng)中的應(yīng)用

寧致遠(yuǎn)，陳明，李卓擎，劉達(dá)，盧波（通信作者）

1.國網(wǎng)湖南省電力有限公司信息通信分公司，湖南 長沙 410029；2.國網(wǎng)湖南電科院，湖南 長沙 410000

0 引言

數(shù)據(jù)遷移指的是在一定的條件下，當(dāng)某個(gè)節(jié)點(diǎn)出現(xiàn)故障或者其他因素導(dǎo)致無法訪問物理地址時(shí)，這時(shí)相關(guān)人員可以選擇將其轉(zhuǎn)發(fā)給另一個(gè)節(jié)點(diǎn)來確保不會(huì)造成通信中斷。按發(fā)生方式分類，可分為兩類：一是通過自身硬件和軟件進(jìn)行處理的信息類遷移；二是利用其它實(shí)體間交換數(shù)據(jù)塊或訪問某域名進(jìn)行查詢獲取的信息類遷移。針對電網(wǎng)信息系統(tǒng)而言采用同步策略可以有效提高工作效率，但是由于各部分間存在著相互影響關(guān)系使得數(shù)據(jù)遷移變得相當(dāng)困難且代價(jià)極高，同時(shí)也因?yàn)樾畔⒃谙到y(tǒng)中傳輸速度慢導(dǎo)致了不能滿足用戶需求，所以無法達(dá)到高效益的目的。數(shù)據(jù)在傳輸過程中不會(huì)出現(xiàn)丟失、錯(cuò)放等現(xiàn)象，當(dāng)某一個(gè)環(huán)節(jié)出了問題，整個(gè)流程就會(huì)受到影響，同時(shí)由于數(shù)據(jù)遷移率通常比較低并且有可能出現(xiàn)局部性錯(cuò)誤導(dǎo)致產(chǎn)生新一輪重復(fù)操作，因此在電網(wǎng)信息化工程中必須實(shí)施同步并行計(jì)算策略、資源分配算法和中斷處理算法，從而保障整個(gè)工作進(jìn)程以及效率的提高和成本的降低。

1 并行遷移壓縮算法

1.1 處理過程

并行壓縮模型是一種優(yōu)化算法，它通過對原始數(shù)據(jù)的變換，將原來存儲(chǔ)在不同類型事務(wù)單元中的冗余運(yùn)算，轉(zhuǎn)化為較簡單、有方向性和可擴(kuò)展性較強(qiáng)且能有效地提高系統(tǒng)運(yùn)行性能。并行的編碼方式通過減少一個(gè)dB提高數(shù)據(jù)結(jié)構(gòu)和存儲(chǔ)空間。然而由于在不同維度上存在著一定程度的干擾因素，當(dāng)兩個(gè)節(jié)點(diǎn)之間發(fā)生連接時(shí)就會(huì)產(chǎn)生局部最優(yōu)值（ISO），如果某個(gè)頂點(diǎn)與其他個(gè)頂點(diǎn)進(jìn)行通信的話也將會(huì)被噪聲污染掉。此時(shí)可能導(dǎo)致全局解混亂不堪的結(jié)果，繼而出現(xiàn)并行壓縮編碼問題并影響到整個(gè)并行壓縮算法，降低了系統(tǒng)性能和應(yīng)用效率。并行式數(shù)據(jù)壓縮算法是一種通過求解單個(gè)節(jié)點(diǎn)到整體中值最優(yōu)解的方法。子域上有一個(gè)獨(dú)立無代理權(quán)矩陣：每兩個(gè)鄰接矩陣都擁有唯一屬性標(biāo)識(shí)；每個(gè)子集從屬于同一個(gè)集合中所有最小值范圍內(nèi)具有最大復(fù)雜度和最高性能源Qoosi，并將其定義為最大化準(zhǔn)則M，即表示在某個(gè)尺度下最省去了某節(jié)點(diǎn)的組合大小。其主要思想就是在一個(gè)編碼空間中，對每個(gè)地址按照一定要求進(jìn)行處理。這種策略可以有效地解決傳統(tǒng)搜索優(yōu)劣問題。對于每一組數(shù)據(jù)集來說：它只包含唯一標(biāo)識(shí)符“父”字值為1和最小化條件下的所有樣本子集；而對于每兩個(gè)原始組集合而言:它們既不具有確定性也不能是最優(yōu)編碼，因此將其稱為“k個(gè)非名矢量”壓縮組合即壓縮準(zhǔn)則，并行遷移壓縮算法并發(fā)執(zhí)行多文件的壓縮處理的處理過程如圖1所示。

圖1 并行遷移壓縮算法的處理過程

在進(jìn)行并行壓縮的過程中，需要對原始數(shù)據(jù)集、處理模塊以及相關(guān)函數(shù)等信息進(jìn)行多次變換，從而得到相應(yīng)壓縮系數(shù)。首先是要選擇恰當(dāng)合適的存儲(chǔ)器。由于不同存儲(chǔ)空間所對應(yīng)得信息量不一樣。所以我們要根據(jù)具體情況來決定使用哪種儲(chǔ)存方式；其次就是如何分配編碼策略和相應(yīng)的代碼等問題；最后則是在開始之前就已經(jīng)確定好了數(shù)據(jù)集、處理單元以及相關(guān)函數(shù)等內(nèi)容。在實(shí)際的編碼過程中，首先將原始矩陣進(jìn)行變換，得到一個(gè)包含該向量子集的子權(quán)系數(shù)矩陣，然后對這個(gè)子權(quán)系數(shù)賦值，根據(jù)所獲得數(shù)據(jù)樣本之間存在線性關(guān)系和非線性相關(guān)性等特點(diǎn)來確定最優(yōu)準(zhǔn)則規(guī)則是否是全局最優(yōu)化處理方法。如果選擇出了最佳變換域即最優(yōu)置信度值序列作為最終目標(biāo)，則可通過求解得到一個(gè)壓縮編碼完成后的降維碼矩陣。

數(shù)據(jù)分塊是將一個(gè)具有獨(dú)立結(jié)構(gòu)特征的數(shù)據(jù)塊分為幾個(gè)部分（子集中或線性組合），這些單獨(dú)存在于每個(gè)結(jié)點(diǎn)上且不影響其他結(jié)點(diǎn)之間通信時(shí)形成對等分和合成新矩陣，以實(shí)現(xiàn)隱含最優(yōu)解為基礎(chǔ)進(jìn)行研究而得到，可以通過使用局部搜索技術(shù)來獲得全局最優(yōu)點(diǎn)，并且還能有效減少存儲(chǔ)空間、提高系統(tǒng)性能指標(biāo)以及降低運(yùn)行成本，此外它也可用于并行壓縮編碼的工作環(huán)境中。在壓縮過程中，數(shù)據(jù)塊的大小和方向是通過稀疏表示來控制，但是由于某些原因產(chǎn)生了一些不需要的分集，例如當(dāng)某一個(gè)元素大于某一數(shù)值時(shí)，這些數(shù)據(jù)塊可以看成是由許多個(gè)零值組成。對原始矩陣進(jìn)行重構(gòu)后得到的是所有零值集中在一起形成密文子集，而壓縮過程中所需用到到的最小范性矢量將壓縮域劃分為很多小部分，每個(gè)單元都具有不同程度地稀疏集和密文系數(shù)。

數(shù)據(jù)去重。在一個(gè)迭代過程中，數(shù)據(jù)的重采樣是不可避免的話題，因?yàn)樗梢詼p少算法運(yùn)行時(shí)間，對于并行壓縮技術(shù)來說最重要的兩個(gè)問題就是對原始數(shù)據(jù)進(jìn)行去重。從全局出發(fā)尋找最佳點(diǎn)和最小值，也可根據(jù)已知條件找到最好解或者近似最優(yōu)解來優(yōu)化搜索空間域，也有可能在不同情況下找出一個(gè)新的函數(shù)或變量作為凸包，從而得到更好地算法效果等。本文使用的并行壓縮自帶去重模塊，該模塊首先對數(shù)據(jù)進(jìn)行了壓縮處理，將原始的并行信息通過變換轉(zhuǎn)化為一組獨(dú)立于內(nèi)存空間中同樣大小與位置關(guān)系相同、且具有一定編碼能力和分布式結(jié)構(gòu)可被存儲(chǔ)在不同頻率下，然后根據(jù)所需輸出功率矩陣（DDF）計(jì)算出所有置信域，最后再利用從底層接收端得到的所有權(quán)值來構(gòu)造一個(gè)隱藏層，將原始并行信息通過變換轉(zhuǎn)換成新的密文形式[1]。

對于不同類型和屬性值，同一個(gè)數(shù)據(jù)集可以采用同樣或類似方法進(jìn)行處理，但是由于每個(gè)實(shí)例只包含一個(gè)例子，因此不能將所有案例全部考慮到。它們之間存在著一些共同點(diǎn)，例如在求解一類變量所需系數(shù)矩陣時(shí)必須滿足該表中提到典型函數(shù)項(xiàng)系數(shù)矩陣，而某些類變量又是同時(shí)具有兩個(gè)以上的特例組成的集合則只能采取相同或者相似策略來解決。相似性檢測的目的正是為了確定哪些數(shù)據(jù)中可以找出同類型不同點(diǎn)，在同一個(gè)并行式處理機(jī)進(jìn)行多路徑運(yùn)算時(shí)，需要對所選擇的某一個(gè)置或其他相同節(jié)點(diǎn)作為權(quán)值，以表示所有壓縮部分。相似性檢查方法主要分為兩種：同步采樣法和異步平均算法（也稱為混合編碼）。同步采樣法主要采用兩種不同類型的稀疏表示，分別為：1、零度編碼（0）和2。在實(shí)際應(yīng)用中最常用到的是零度碼分解，對于一個(gè)線性多維信號(hào)系統(tǒng)來說，如果輸入端輸出功率有限時(shí)我們可以使用低權(quán)值來代替該點(diǎn)對應(yīng)源進(jìn)行處理，若我們需要傳輸信息量較多時(shí)可先把數(shù)據(jù)壓縮后再去求出信道的增益[2]。

1.2 相似性檢測算法分析

相似性檢測算法的選擇會(huì)直接影響并行遷移壓縮算法最終所能帶來的壓縮率提升效果。在此基礎(chǔ)上被提出的基于Super Features的相似性檢測算法的計(jì)算公式如下所示：

在數(shù)據(jù)遷移的過程中，會(huì)出現(xiàn)大量重復(fù)性較高類型，這些相似項(xiàng)也就成為了相似性測試模塊進(jìn)行設(shè)計(jì)和實(shí)現(xiàn)所必須要考慮到的因素。當(dāng)某一個(gè)項(xiàng)目發(fā)生時(shí)其初始化階段需要估計(jì)整個(gè)系統(tǒng)所有運(yùn)行狀態(tài)；而當(dāng)某一任務(wù)被重新啟動(dòng)或停止時(shí)則無法確定該事件是否已經(jīng)結(jié)束并進(jìn)入下一循環(huán)過程；因此在這個(gè)問題中最重要的是如何將每個(gè)執(zhí)行節(jié)點(diǎn)作為統(tǒng)一標(biāo)識(shí)，所以對于同一個(gè)數(shù)據(jù)遷移項(xiàng)而言就存在唯一性和一致性的判斷。

并行壓縮算法的主要優(yōu)點(diǎn)是可以大大減少數(shù)據(jù)的存儲(chǔ)量，提高了系統(tǒng)處理性能。雖然在實(shí)際應(yīng)用中，我們需要將大量冗余信息進(jìn)行編碼并重構(gòu)壓縮，但是如果想實(shí)現(xiàn)高質(zhì)量高精度并行化就必須要使用大規(guī)模計(jì)算資源（如磁盤、光盤等）和較多運(yùn)算單元來滿足要求。因此如何合理地選擇一個(gè)合適類型并且具有代表性的算法對優(yōu)化系統(tǒng)來說是至關(guān)重要的問題之一，也就是所謂“適者生存”原則。

1.3 模塊設(shè)計(jì)與實(shí)現(xiàn)

1.3.1 基于AE分塊算法的數(shù)據(jù)分塊模塊

本文提出了一種基于AE分塊算法的數(shù)據(jù)遷移策略，該方法是將分析模塊作為一個(gè)工作包，通過掃描、取值等操作對上述信息進(jìn)行綜合處理。文章中針對DFIG技術(shù)采用的是自組織聚類劃分樹優(yōu)化出了一系列關(guān)鍵詞與路徑，其具體實(shí)現(xiàn)過程如下：首先給出基于DCT進(jìn)行稀疏表示所需處理函數(shù)，其次利用置信度矩陣來完成對原始信號(hào)中不同類型噪聲強(qiáng)度和權(quán)重值大小等參數(shù)提取，最后根據(jù)不同情況采用相應(yīng)方法得到最優(yōu)分割系數(shù)。在傳統(tǒng)DFT變換模型下提出的多級分解法時(shí)，需要將所有的離散數(shù)據(jù)集都集中到一起，然而由于并行樣本量較大且分布相對獨(dú)立，這就使得所使用算法復(fù)雜度非常高。利用AE分塊法可以快速準(zhǔn)確地得到最優(yōu)決策方案，同時(shí)對于所要實(shí)施的多項(xiàng)式回歸算法有很好地指導(dǎo)作用，最后還能避免在迭代次數(shù)較高時(shí)出現(xiàn)局部最小化效果[3]。

1.3.2 基于全局指紋庫的數(shù)據(jù)去重模塊

在數(shù)據(jù)遷移過程中，由于多個(gè)表間的關(guān)系錯(cuò)綜復(fù)雜，因此需要選擇合適的算法對其進(jìn)行處理。全局指紋庫中所有數(shù)據(jù)庫內(nèi)存儲(chǔ)著大量原始記錄和其他信息資源，并且所有信息都可以進(jìn)行存儲(chǔ)，這些信息之間沒有聯(lián)系和區(qū)別，因此在使用該方法之前要先對數(shù)據(jù)庫中所存放到的所有數(shù)據(jù)塊進(jìn)行讀取。全局指紋庫中所有的數(shù)據(jù)都被存儲(chǔ)起來是不可能出現(xiàn)錯(cuò)誤或者丟失掉得時(shí)候，所以當(dāng)在每次迭代時(shí)只需重新將新獲取到的局部特征點(diǎn)保存下來就可以了。如果想使用全局來處理并行壓縮問題，必須找到一個(gè)能夠保證算法運(yùn)行質(zhì)量和精度最高，并且能有效減少運(yùn)算量最小化最可行方案。每個(gè)處理線程對數(shù)據(jù)塊執(zhí)行相同的數(shù)據(jù)去重操作，其處理流程如圖2所示。

圖2 重復(fù)數(shù)據(jù)塊的處理過程

1.3.3 基于Super Features的相似性檢測模塊

在通信體系中，存在許多具有相同特性的信號(hào)，這些信號(hào)可能是不同類型、頻率和時(shí)間等因素共同作用產(chǎn)生的，但是它們之間往往會(huì)有一定關(guān)系。因此為了提高檢測精度可以通過對發(fā)送信息進(jìn)行相似性篩選。筆者采用了SuperFeatuation實(shí)現(xiàn)同步數(shù)據(jù)集中測試模塊來完成這一任務(wù)。首先將接收到傳輸消息流到同一個(gè)WMSOCAC中，然后在這個(gè)系統(tǒng)內(nèi)設(shè)置不同類型的接收端緩存器并更新其內(nèi)容，將這些子組當(dāng)中所包含有同樣數(shù)量或質(zhì)量特性指標(biāo)（如電壓、頻率等）相近的樣本按相似性系數(shù)從各個(gè)不同層次地隨機(jī)抽取并分析[4]。

2 基于同步并行數(shù)據(jù)遷移技術(shù)構(gòu)建電網(wǎng)信息化系統(tǒng)功能設(shè)計(jì)

2.1 登錄注冊

訪問人員可以不用注冊就可以實(shí)現(xiàn)對系統(tǒng)的訪問，管理員需要在主頁上可以進(jìn)行“新用戶注冊”功能操作，在系統(tǒng)中，管理員可以對用戶信息進(jìn)行修改、添加和刪除操作。當(dāng)系統(tǒng)用戶需要使用計(jì)算機(jī)時(shí)可選擇自己喜歡的賬號(hào)登陸后填寫相關(guān)資料到主頁面，由后臺(tái)人員根據(jù)所填內(nèi)容將其錄入數(shù)據(jù)庫并與之對應(yīng)；然后通過該賬戶密碼等數(shù)據(jù)來驗(yàn)證密碼是否正確，如果不相符則可以跳轉(zhuǎn)到管理員權(quán)限進(jìn)行修改操作以保證信息安全和完整。在電網(wǎng)信息管理系統(tǒng)中，用戶可以通過系統(tǒng)設(shè)置的登錄注冊功能進(jìn)行相應(yīng)操作。當(dāng)用戶輸入賬號(hào)密碼后進(jìn)入主界面。然后會(huì)顯示到頁面。點(diǎn)擊“添加”按鈕時(shí)，就能跳轉(zhuǎn)到對應(yīng)的賬戶；如果不填寫相關(guān)內(nèi)容，則進(jìn)入提示框內(nèi)注銷帳號(hào)和密碼等選項(xiàng)，以供其他人員瀏覽使用并修改賬號(hào)、權(quán)限等內(nèi)容，防止非法分子利用該模塊獲取信息，從而破壞電網(wǎng)系統(tǒng)的正常運(yùn)行狀態(tài)或造成不必要的損失；當(dāng)用戶在首頁中輸入注冊號(hào)后選擇登錄方式之后會(huì)彈出相應(yīng)界面，登錄類圖如圖3所示，注冊類圖如圖4所示。

圖3 登錄類圖

圖4 注冊類圖

2.2 新聞管理中心模塊

新聞管理中心主要負(fù)責(zé)的是電網(wǎng)系統(tǒng)的總體功能，其主要是通過對信息進(jìn)行收集、整理和分析，并以數(shù)據(jù)為基礎(chǔ)建立相應(yīng)的管理機(jī)制。同時(shí)還可以利用網(wǎng)絡(luò)技術(shù)實(shí)現(xiàn)與其他部門間的交流。統(tǒng)計(jì)報(bào)表模塊括了電網(wǎng)企業(yè)及相關(guān)部門用戶用電量以及各項(xiàng)指標(biāo)等內(nèi)容；電力調(diào)度管理系統(tǒng)部分包含了系統(tǒng)中所需各種業(yè)務(wù)功能，如發(fā)電計(jì)劃執(zhí)行、電壓調(diào)節(jié)和網(wǎng)損分配。新聞管理中心的功能主要是對電網(wǎng)單位進(jìn)行信息采集、數(shù)據(jù)管理和傳輸，通過系統(tǒng)將收集到的各類資料提交給調(diào)度中心，使其能夠準(zhǔn)確及時(shí)地獲取所需電力資源。同時(shí)還能為電網(wǎng)部門提供各種相關(guān)服務(wù)，它實(shí)現(xiàn)了對各網(wǎng)點(diǎn)及各用電用戶電能需求情況的有效監(jiān)控[5]。

2.3 商務(wù)服務(wù)

商務(wù)服務(wù)是指利用網(wǎng)絡(luò)的技術(shù)手段，為企業(yè)提供信息、咨詢等業(yè)務(wù)，主要包括:數(shù)據(jù)管理和系統(tǒng)維護(hù)，在這一方法中需要注意的是交換機(jī)與用戶之間要有較高的信任度。如果想要保證雙方都能對對方進(jìn)行理解并做出相應(yīng)回應(yīng)時(shí)就可以采用這種方式，反之則不能實(shí)現(xiàn)這些交流活動(dòng)，進(jìn)而獲取他們之間相互認(rèn)可后產(chǎn)生友好關(guān)系從而達(dá)成交易合作。商務(wù)服務(wù)功能主要有以下幾方面: 信息查詢、訂單處理與發(fā)送管理功能、數(shù)據(jù)維護(hù)和更新。用戶通過瀏覽器或服務(wù)器進(jìn)行相應(yīng)頁面上的搜索及輸入相關(guān)關(guān)鍵詞（如地址）后能夠快速地完成檢索任務(wù)；當(dāng)客戶需要對某業(yè)務(wù)模塊提交請求時(shí)可在系統(tǒng)中選擇不同類型的產(chǎn)品，然后將這些商品發(fā)送給供應(yīng)商指定地點(diǎn)并同時(shí)通知到貨時(shí)間[6-8]。

3 結(jié)語

隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，通信網(wǎng)絡(luò)化程度越來越高，各種異構(gòu)系統(tǒng)不斷涌現(xiàn)。而在這些應(yīng)用中，數(shù)據(jù)遷移作為一個(gè)關(guān)鍵問題也逐漸出現(xiàn)。針對上述情況進(jìn)行分析研究，利用同步數(shù)據(jù)庫對電網(wǎng)信息資源進(jìn)行整合和共享，優(yōu)化遷移方案實(shí)現(xiàn)自動(dòng)化控制、自動(dòng)完成建模工作，從而提高信息系統(tǒng)運(yùn)行速度以及降低錯(cuò)誤率并提升其經(jīng)濟(jì)性效益的同時(shí)減少管理成本及運(yùn)營費(fèi)用投入，最終可以達(dá)到促進(jìn)信息化建設(shè)發(fā)展與社會(huì)進(jìn)步雙贏目的[9]。