輸變電設(shè)備現(xiàn)場狀態(tài)監(jiān)測數(shù)據(jù)搜索引擎優(yōu)化研究

趙春榮

摘要：常規(guī)輸變電設(shè)備現(xiàn)場狀態(tài)監(jiān)測數(shù)據(jù)搜索引擎運(yùn)行時(shí)間較長。本文采用綜合數(shù)據(jù)網(wǎng)構(gòu)造扁平化搜索引擎體系結(jié)構(gòu)，進(jìn)行層次優(yōu)化，采用IEC61850標(biāo)準(zhǔn)接口實(shí)現(xiàn)不同層次的數(shù)據(jù)通信。以MapReduce方式查詢執(zhí)行，引擎內(nèi)部設(shè)置映射階段，采用遠(yuǎn)程訪問的方式獲取數(shù)據(jù)，建立哈希環(huán)存儲(chǔ)不同的數(shù)據(jù)，Hadoop采用樹狀結(jié)構(gòu)分布實(shí)現(xiàn)網(wǎng)絡(luò)拓?fù)洹?/p>

關(guān)鍵詞：輸變電設(shè)備;現(xiàn)場狀態(tài)監(jiān)測;數(shù)據(jù)搜索;搜索引擎優(yōu)化

0.引言

當(dāng)前雖然有大量輸變電設(shè)備現(xiàn)場狀態(tài)監(jiān)測數(shù)據(jù)搜索引擎的研究，但由于搜索到的信息類型復(fù)雜，選擇的信息模型基準(zhǔn)不同，使得難以對匹配對象時(shí)會(huì)存在較大的差異，而且目前的搜索引擎都是在線搜索引擎，必須要利用輸變電設(shè)備內(nèi)部的系統(tǒng)來分析軟件才能實(shí)現(xiàn)開發(fā)接口互相關(guān)聯(lián)。本文對現(xiàn)有輸變電設(shè)備現(xiàn)場狀態(tài)監(jiān)測數(shù)據(jù)搜索引擎進(jìn)行優(yōu)化研究，通過綜合變壓器、覆冰狀態(tài)、雷電狀態(tài)和電能質(zhì)量等信息分析，利用驅(qū)動(dòng)開發(fā)方法對輸變電設(shè)備信息進(jìn)行收集、轉(zhuǎn)換和發(fā)布，建立擴(kuò)展模型，實(shí)現(xiàn)現(xiàn)行標(biāo)準(zhǔn)化，增強(qiáng)搜索引擎的擴(kuò)展性和開放性。

1.搜索引擎架構(gòu)優(yōu)化

當(dāng)前的輸變電狀態(tài)監(jiān)測系統(tǒng)所采用的網(wǎng)絡(luò)結(jié)構(gòu)大多是串行網(wǎng)絡(luò)，結(jié)構(gòu)比較復(fù)雜。當(dāng)通訊鏈路中的任何一個(gè)環(huán)節(jié)出現(xiàn)問題，都會(huì)導(dǎo)致整個(gè)監(jiān)控網(wǎng)絡(luò)的失效，降低數(shù)據(jù)傳輸?shù)目煽啃?。一些監(jiān)測數(shù)據(jù)由于傳輸難度不同，需要多次轉(zhuǎn)發(fā)，通過多次轉(zhuǎn)發(fā)到主站，影響了實(shí)時(shí)傳輸。監(jiān)測裝置與主站之間存在多個(gè)通信協(xié)議，各種私有的協(xié)議不斷出現(xiàn)，主站的接口也越來越復(fù)雜。監(jiān)測供應(yīng)商間的數(shù)據(jù)孤島，不能快速查找相關(guān)數(shù)據(jù)。為了解決搜索引擎結(jié)構(gòu)復(fù)雜、實(shí)時(shí)性差、可靠性低、通信規(guī)則不一致等問題，本文在傳統(tǒng)搜索引擎的基礎(chǔ)上進(jìn)行優(yōu)化，構(gòu)造了一個(gè)扁平化的搜索引擎。

文中設(shè)計(jì)的搜索引擎體系結(jié)構(gòu)分層優(yōu)化采用IEC61850標(biāo)準(zhǔn)接口來實(shí)現(xiàn)不同級別的數(shù)據(jù)通信。本論文所設(shè)計(jì)的搜索引擎采用的通訊方式是“一發(fā)雙收”。通訊信息可同時(shí)發(fā)送到省主站和網(wǎng)絡(luò)主站。各網(wǎng)絡(luò)終端集成處理單元可直接與主站通信。使網(wǎng)絡(luò)主站點(diǎn)的數(shù)據(jù)傳輸節(jié)點(diǎn)大大減少，節(jié)點(diǎn)之間可以直接進(jìn)行數(shù)據(jù)通信，省去節(jié)點(diǎn)間的數(shù)據(jù)轉(zhuǎn)換，實(shí)現(xiàn)搜索引擎的在線搜索。

通過IEC61850協(xié)議，將變電站各監(jiān)測設(shè)備的數(shù)據(jù)集中到處理單元，使系統(tǒng)中各監(jiān)控設(shè)備的數(shù)據(jù)同時(shí)傳送給各主站的監(jiān)控信息，使用戶能夠?qū)崿F(xiàn)各變電站監(jiān)控信息的實(shí)時(shí)傳輸。

使用扁平化搜索引擎，在搜索數(shù)據(jù)時(shí)有效降低傳輸級別，極大地提高了實(shí)時(shí)搜索性能。上載數(shù)據(jù)的所有通道成為彼此的備份通道。在數(shù)據(jù)傳輸期間某個(gè)信道發(fā)生問題時(shí)，還可以使用其他信道。用來確?？煽康臄?shù)據(jù)傳輸。綜合處理單元在系統(tǒng)內(nèi)收集監(jiān)測數(shù)據(jù)。，網(wǎng)級主站和省級主站的描述具備一致性，數(shù)據(jù)融合效果好，分析能力高。

2.搜索引擎存儲(chǔ)優(yōu)化

2.1數(shù)據(jù)分配最優(yōu)化

當(dāng)輸變電設(shè)備現(xiàn)場狀態(tài)監(jiān)測數(shù)據(jù)的關(guān)聯(lián)數(shù)據(jù)搜索時(shí)，查詢方式為MapReduce，通過分析數(shù)據(jù)與數(shù)據(jù)之間的相關(guān)性，實(shí)現(xiàn)Hadoop布局方案。設(shè)置映射階段，在所有節(jié)點(diǎn)上對獲得的數(shù)據(jù)進(jìn)行重新分組、排序，并通過遠(yuǎn)程訪問的方式提取數(shù)據(jù)。為了防止大量與操作無關(guān)的數(shù)據(jù)在網(wǎng)絡(luò)傳輸中被復(fù)制甚至上傳，將所有數(shù)據(jù)按照數(shù)據(jù)屬性放置在同一個(gè)節(jié)點(diǎn)上，通過映射實(shí)現(xiàn)連接，減少了不必要的數(shù)據(jù)通信，提高了整體的執(zhí)行效率。

在數(shù)據(jù)的第一份副本中確定采集設(shè)備的ID，并根據(jù)獲取的采集設(shè)備的ID進(jìn)行HashMap;在第二個(gè)副本中可以得到采集時(shí)間，根據(jù)確定的采集時(shí)間實(shí)現(xiàn)HashMap。在第三個(gè)副本中獲得數(shù)據(jù)的定制關(guān)系，并實(shí)現(xiàn)HashMap。對上述三份的映射結(jié)構(gòu)進(jìn)行了綜合分析，以滿足不同的檢索需求和數(shù)據(jù)查詢需求。相關(guān)系數(shù)在監(jiān)測數(shù)據(jù)中的應(yīng)用是研究的重要內(nèi)容。為更好地保證用戶的相關(guān)性，需要根據(jù)上層應(yīng)用進(jìn)行分配。

文中的優(yōu)化算法是一種多拷貝一致性哈希數(shù)據(jù)存儲(chǔ)算法，它利用數(shù)據(jù)相關(guān)性將所有數(shù)據(jù)存儲(chǔ)在一起。對查詢數(shù)據(jù)進(jìn)行分析時(shí)，將所有主要的搜索和查詢?nèi)蝿?wù)放在映射端，統(tǒng)一執(zhí)行，從而降低映射到通信過程的網(wǎng)絡(luò)負(fù)載，確保引擎能夠在較短時(shí)間內(nèi)進(jìn)行查詢和分析。

輸變電設(shè)備不同類型的現(xiàn)場監(jiān)測數(shù)據(jù)具有不同的數(shù)據(jù)類型和格式，但全部數(shù)據(jù)均具有時(shí)空特性。每一傳感器的采樣數(shù)據(jù)對應(yīng)一個(gè)匹配的采樣時(shí)間和地點(diǎn)，利用上述的關(guān)鍵字實(shí)現(xiàn)采集。對Hadoop進(jìn)行優(yōu)化，存儲(chǔ)3份數(shù)據(jù)，從監(jiān)測設(shè)備位置、數(shù)據(jù)采集時(shí)間、自定義相關(guān)性等方面對優(yōu)化效果進(jìn)行判斷。

在使用優(yōu)化算法時(shí)，需要建立哈希環(huán)。

詳細(xì)流程說明如下：

（1）確定監(jiān)測數(shù)據(jù)間的相關(guān)系數(shù)，使用冗余副本預(yù)先定義監(jiān)測數(shù)據(jù)，設(shè)置冗余拷貝數(shù)為3;

（2）分析每個(gè)集群中的哈希值，得到的哈希點(diǎn)配置在不同的哈希環(huán)區(qū)間內(nèi);

（3）對監(jiān)測數(shù)據(jù)的時(shí)空屬性和相關(guān)系數(shù)進(jìn)行計(jì)算，獲得準(zhǔn)確的散列值，分析副本1的數(shù)據(jù)來源，確定監(jiān)測ID，計(jì)算得出哈希值1，以映射方法在哈希環(huán)上復(fù)制;分析副本2的時(shí)間屬性，計(jì)算得到哈希值2，將時(shí)間戳映射到哈希環(huán)上;分析副本3的相關(guān)系數(shù)，得到相應(yīng)的哈希值3，映射方式為依次映射;

（4）通過數(shù)據(jù)散列值和數(shù)據(jù)節(jié)點(diǎn)散列值，決定數(shù)據(jù)存儲(chǔ)在哪里，并以順時(shí)針方式實(shí)現(xiàn)映射;

（5）如果存儲(chǔ)數(shù)據(jù)的節(jié)點(diǎn)發(fā)生了異?，F(xiàn)象，則該節(jié)點(diǎn)跳過并保存到下一個(gè)節(jié)點(diǎn)。

2.2拓?fù)鋬?yōu)化

數(shù)據(jù)讀取內(nèi)容主要是名字節(jié)點(diǎn)，分析數(shù)據(jù)節(jié)點(diǎn)與客戶機(jī)之間的距離，確保從最近的節(jié)點(diǎn)讀入數(shù)據(jù)內(nèi)容，提高讀取時(shí)間。在搜索引擎節(jié)點(diǎn)中，Hadoop以樹狀結(jié)構(gòu)分布，每棵子樹的根節(jié)點(diǎn)連接計(jì)算機(jī)上的交換節(jié)點(diǎn)，兩個(gè)節(jié)點(diǎn)之間的距離就像一個(gè)節(jié)點(diǎn)到另一個(gè)節(jié)點(diǎn)所經(jīng)歷的跳數(shù)。Hadoop所有的缺省配置節(jié)點(diǎn)都被統(tǒng)一到一個(gè)框架中，通過分析真實(shí)集群的配置效果，拓?fù)浣Y(jié)構(gòu)將節(jié)點(diǎn)網(wǎng)絡(luò)傳遞給Hadoop，確保數(shù)據(jù)以合理的方式進(jìn)行讀取和寫入。

3.結(jié)束語

本文研究了一種輸變電設(shè)備現(xiàn)場狀態(tài)監(jiān)測引擎，采用開放標(biāo)準(zhǔn)，優(yōu)化了其結(jié)構(gòu)和存儲(chǔ)方式，并利用平面結(jié)構(gòu)優(yōu)化了設(shè)備。利用 Hadoop數(shù)據(jù)，采用 IEC 61850標(biāo)準(zhǔn)進(jìn)行數(shù)據(jù)分配，實(shí)現(xiàn)了數(shù)據(jù)共享，減少了監(jiān)控設(shè)備的監(jiān)控難度，使引擎內(nèi)的所有數(shù)據(jù)都能轉(zhuǎn)發(fā)。

參考文獻(xiàn)

[1] 楊虹，張來福，姜敏，等.輸變電設(shè)備在線監(jiān)測及診斷技術(shù)的研究[J].現(xiàn)代電子技術(shù)，2017，40（9）：163-165.

[2] 廖瑞金，王有元，劉航，等.輸變電設(shè)備狀態(tài)評估方法的研究現(xiàn)狀[J].高電壓技術(shù)，2018，44（11）：3454-3464.