基于Hadoop的配電網(wǎng)需求數(shù)據(jù)存儲(chǔ)控制技術(shù)優(yōu)化

doi：10.3969/j.issn.1001-5922.2024.02.048

摘 要：為確保不同配電網(wǎng)需求數(shù)據(jù)存儲(chǔ)效率，提出基于Hadoop的配電網(wǎng)需求數(shù)據(jù)存儲(chǔ)安全控制方法。采用稀疏字典稀疏分解配電網(wǎng)需求數(shù)據(jù)，利用字典原子代替數(shù)據(jù)字節(jié)，將壓縮數(shù)據(jù)輸入Hadoop分布式平臺(tái)中，通過客戶端專用通道生成公鑰和私鑰，以密鑰流的形式存入Hadoop節(jié)點(diǎn)，雙密鑰加密需求數(shù)據(jù)，制定數(shù)據(jù)密文存儲(chǔ)規(guī)則，控制需求數(shù)據(jù)放置位置，實(shí)現(xiàn)配電網(wǎng)需求數(shù)據(jù)安全存儲(chǔ)。結(jié)果表明，提出的方法在面臨惡意攻擊時(shí)，文件處理速度較快，有效提高了數(shù)據(jù)存儲(chǔ)效率。

關(guān)鍵詞：Hadoop節(jié)點(diǎn)；需求數(shù)據(jù)；稀疏分解；雙密鑰加密；安全存儲(chǔ)

中圖分類號(hào)：TM744" " " " 文獻(xiàn)標(biāo)志碼：A" " " "文章編號(hào)：1001-5922（2024）02-0182-04

Optimization of distribution network demand data storage and control technology based on Hadoop

ZHAO Jianli1，2，TANG Zhuofan1，2，YAO Mengyang3

（1.State Grid Shanghai Municipal Electric Power Company，Shanghai 200030， China;

2.Shanghai Key La-boratory of Smart Grid Demand Response，Shanghai 200063， China;

3.Beijing Wells Technology Co.，Ltd.，Beijing 100085，China）

Abstract：In order to ensure the data storage efficiency of different distribution network demand，a security control method for distribution network demand data storage based on Hadoop was proposed.The sparse dictionary was used to sparsely decompose the demand data of the distribution network，the dictionary atom was used to replace the data bytes，the compressed data was input into the Hadoop distributed platform，the public key and the private key were generated through the dedicated channel of the client，and the key was stored in the Hadoop node in the form of key stream，the demand data was encrypted with double keys，the data ciphertext storage rules were formulated，the placement of the demand data was controlled，and the demand data of the distribution network is stored safely.The experimental results showed that the proposed method had a faster file processing speed in the face of malicious attacks，which effectively improved the data storage efficiency.

Key words：hadoop node;harmonic data;sparse decomposition;double key encryption;secure storage

隨著互聯(lián)網(wǎng)的普及和物聯(lián)網(wǎng)技術(shù)的應(yīng)用，配電網(wǎng)面臨著越來越多的網(wǎng)絡(luò)安全威脅和風(fēng)險(xiǎn)。因此，研究配電網(wǎng)需求數(shù)據(jù)存儲(chǔ)安全控制方法具有重要的現(xiàn)實(shí)意義。如提出基于區(qū)塊鏈的數(shù)據(jù)存儲(chǔ)安全控制，將區(qū)塊鏈作為底層支撐，采用多級(jí)加密機(jī)制對(duì)電力營銷數(shù)據(jù)進(jìn)行加密驗(yàn)證，創(chuàng)建安全可靠的分布式存儲(chǔ)方案^[1]。如提出基于分布式壓縮感知的數(shù)據(jù)存儲(chǔ)安全控制，采用自適應(yīng)聯(lián)合重構(gòu)算法，建立分布式壓縮感知的云邊協(xié)同框架^[2]?；诖?，提出基于Hadoop的配電網(wǎng)需求數(shù)據(jù)存儲(chǔ)安全控制方法研究，以電壓數(shù)據(jù)為研究對(duì)象，充分發(fā)揮Hadoop平臺(tái)高吞吐量和高容錯(cuò)的訪問性能，實(shí)現(xiàn)配電網(wǎng)需求數(shù)據(jù)的存儲(chǔ)安全控制。

1"需求數(shù)據(jù)存儲(chǔ)安全控制

1.1"壓縮配電網(wǎng)需求數(shù)據(jù)

建立Hadoop分布式平臺(tái)，將需求數(shù)據(jù)劃分為2個(gè)階段，包括寫入和讀出Hadoop平臺(tái)，把數(shù)據(jù)輸入Hadoop節(jié)點(diǎn)，在節(jié)點(diǎn)中創(chuàng)建文件，利用文件名記錄需求數(shù)據(jù)^[3]。將傅里葉正變換矩陣，作為初始稀疏基，需求數(shù)據(jù)的稀疏表示為：

1.2"加密配電網(wǎng)需求數(shù)據(jù)

采用公鑰和私鑰的雙密鑰加密算法，保證Hadoop^[9-10]節(jié)點(diǎn)數(shù)據(jù)的安全性。根據(jù)需求數(shù)據(jù)可信度，刪除壓縮后的配電網(wǎng)需求數(shù)據(jù)H_i中的不確定數(shù)據(jù)，定義需求數(shù)據(jù)x的盲數(shù)I（x）公式：

式中：k為配電網(wǎng)圖層編碼數(shù)量;L_k為編碼k的最低重構(gòu)信噪比;m為編碼總數(shù)。遍歷Hadoop節(jié)點(diǎn)中的所有需求數(shù)據(jù)，判斷數(shù)據(jù)x的可信度是否為非負(fù)可信度，若是非負(fù)可信度，保留該需求數(shù)據(jù)，否則對(duì)其進(jìn)行刪除。通過式（6）精準(zhǔn)提取壓縮的需求數(shù)據(jù)，避免其他數(shù)據(jù)參與存儲(chǔ)。執(zhí)行雙密鑰的混合對(duì)稱加密，具體流程如圖1所示。

由圖1可知，首先定義一個(gè)由0和1組成的隨機(jī)數(shù)，統(tǒng)計(jì)需求數(shù)據(jù)的各個(gè)字段，與隨機(jī)數(shù)進(jìn)行比較，得到分組數(shù)據(jù)。命名Hadoop分布式節(jié)點(diǎn)，生成公鑰和私鑰，采用人工協(xié)商方式，通過客戶端的專用通道，使公鑰和私鑰以密鑰流的形式，存入Hadoop命名節(jié)點(diǎn)。在Hadoop節(jié)點(diǎn)中創(chuàng)建記錄，把密鑰參數(shù)視為安全參數(shù)，客戶端讀取命名節(jié)點(diǎn)記錄，獲得與需求數(shù)據(jù)各個(gè)字段相對(duì)應(yīng)的公鑰和私鑰，得到最終密鑰^[11-12]。最終密鑰的加密敏感函數(shù)M（l₁，l₂）為：

M（l₁，l₂）=mod（abs（round（N×l₂）），256）（7）

式中：l₁、l₂分別為密鑰初始和動(dòng)態(tài)條件；N為私鑰產(chǎn)生的混沌信號(hào)；mod表示求余操作；round表示四舍五入；abs為絕對(duì)值運(yùn)算。取加密敏感函數(shù)M（l₁，l₂）的最終值n，異或操作需求數(shù)據(jù)明文和最終值，表達(dá)式為：

式中：O₁、O₂分別為需求數(shù)據(jù)的密文和明文。

1.3"存儲(chǔ)配電網(wǎng)需求數(shù)據(jù)

指定密文O₁在Hadoop節(jié)點(diǎn)中的存儲(chǔ)規(guī)則，控制需求數(shù)據(jù)放置位置。設(shè)O₁大小為P（O₁），Hadoop節(jié)點(diǎn)為q，初始放置需求數(shù)據(jù)密文，應(yīng)滿足以下條件：

p（q）－P（O₁）＞Q（q）（9）

式中：p（q）、Q（q）分別為Hadoop節(jié)點(diǎn)的可用容量和負(fù)載閾值。選取資源消耗、Hadoop節(jié)點(diǎn)利用率、負(fù)載均衡3個(gè)參數(shù)，衡量密文O₁的安全存儲(chǔ)性能，建立需求數(shù)據(jù)存儲(chǔ)規(guī)則R，表達(dá)式為：

R=（1－o）［Q（q）（r×S₁）+p（q）（1－r）×S₂］+o×S₃（10）

式中：S₁、S₂、S₃分別為資源消耗、Hadoop節(jié)點(diǎn)利用率、負(fù)載均衡的評(píng)價(jià)參數(shù)；r為平衡S₁和S₂的因子；o為平衡S₂和S₃的因子。S₁、S₂、S₃計(jì)算公式為：

式中：V為計(jì)算輔助參數(shù);U為混沌信號(hào)和電壓信號(hào)之間的方均根誤差。預(yù)設(shè)判斷閾值s′，若s≥s′，密文O₁存儲(chǔ)完整，若s＜s′，需求數(shù)據(jù)未完整，檢查Hadoop節(jié)點(diǎn)的等待隊(duì)列，確保所有密文O₁寫入存儲(chǔ)節(jié)點(diǎn)。至此完成配電網(wǎng)需求數(shù)據(jù)的存儲(chǔ)。

2"性能測試

將提出的方法與基于區(qū)塊鏈的數(shù)據(jù)存儲(chǔ)安全控制方法、基于分布式壓縮感知的數(shù)據(jù)存儲(chǔ)安全控制方法，進(jìn)行對(duì)比實(shí)驗(yàn)。

2.1"測試環(huán)境

搭建Hadoop分布式平臺(tái)，設(shè)置10臺(tái)計(jì)算機(jī)，作為Hadoop集群的存儲(chǔ)節(jié)點(diǎn)，采用Cygwin虛擬Linux環(huán)境。以某電力公司的需求數(shù)據(jù)為例，配電網(wǎng)具有15個(gè)節(jié)點(diǎn)，由4臺(tái)變壓器（字母G）、15條母線、4臺(tái)發(fā)電機(jī)構(gòu)成，如圖2所示。

將15節(jié)點(diǎn)的配電網(wǎng)系統(tǒng)劃分為4個(gè)分區(qū)，區(qū)域I包含節(jié)點(diǎn)1、3、12、13;區(qū)域II包含節(jié)點(diǎn)6、7、8；區(qū)域III包含節(jié)點(diǎn)2、5、14、15;區(qū)域IV包含節(jié)點(diǎn)4、9、10、11。由于電源受電壓影響較小，15個(gè)節(jié)點(diǎn)中不包含電源節(jié)點(diǎn)。

2.2"需求數(shù)據(jù)壓縮

設(shè)置稀疏字典的壓縮比為50，原子大小為50.927 kbit，完備字典壓縮電壓信號(hào)，壓縮效果如圖3所示。

由圖3可知，提出方法對(duì)電壓信號(hào)進(jìn)行壓縮采樣，充分保證了數(shù)據(jù)實(shí)時(shí)性能，數(shù)據(jù)較為稀疏，存儲(chǔ)量變少，數(shù)據(jù)質(zhì)量滿足加密存儲(chǔ)要求。

2.3"測試結(jié)果分析

比較3種方法安全存儲(chǔ)效率，統(tǒng)計(jì)不同文件大小下的存儲(chǔ)耗時(shí)，實(shí)驗(yàn)對(duì)比結(jié)果如圖4所示。

由圖4可知，配電網(wǎng)需求數(shù)據(jù)文件大小存在差異時(shí)，提出方法安全存儲(chǔ)耗時(shí)最短，這是因?yàn)樘岢龇椒ù鎯?chǔ)數(shù)據(jù)時(shí)，Hadoop節(jié)點(diǎn)傳輸時(shí)間占主導(dǎo)作用，加密時(shí)間可忽略不計(jì)。

選取100 M文件，改變數(shù)據(jù)包數(shù)量，比較不同文件數(shù)量下的安全存儲(chǔ)時(shí)間，實(shí)驗(yàn)對(duì)比結(jié)果如圖5所示。

由圖5可知，提出方法顯著減少了時(shí)間開銷，滿足數(shù)據(jù)存儲(chǔ)安全控制的實(shí)時(shí)性要求。

3"結(jié)語

在配電網(wǎng)電氣設(shè)備運(yùn)行控制項(xiàng)目的支持下，以需求數(shù)據(jù)為研究對(duì)象，設(shè)計(jì)了一種存儲(chǔ)安全控制方法。研究中將需求數(shù)據(jù)加密傳輸至Hadoop分布式平臺(tái)，實(shí)現(xiàn)了數(shù)據(jù)存儲(chǔ)安全控制。實(shí)驗(yàn)結(jié)果表明，所提方法縮短了數(shù)據(jù)存儲(chǔ)時(shí)間。但此次提出方法仍存在一定不足，在今后的研究中，會(huì)將云計(jì)算部署在Hadoop平臺(tái)上，改進(jìn)數(shù)據(jù)加密算法，進(jìn)一步滿足大數(shù)據(jù)存儲(chǔ)的實(shí)時(shí)性要求。

【參考文獻(xiàn)】

[1]王凌宇，傅宏，楊云，等.基于區(qū)塊鏈的電力營銷數(shù)據(jù)存儲(chǔ)機(jī)制[J].重慶大學(xué)學(xué)報(bào)，2021，44（8）：156-164.

[2]王鶴，李石強(qiáng)，于華楠，等.基于分布式壓縮感知和邊緣計(jì)算的配電網(wǎng)電能質(zhì)量數(shù)據(jù)壓縮存儲(chǔ)方法[J].電工技術(shù)學(xué)報(bào)，2020，35（21）：4553-4564.

[3]周笑天，馮勇，陳益玲，等.基于Hadoop的氣象數(shù)據(jù)分布式存儲(chǔ)技術(shù)研究[J].信息技術(shù)，2022（1）：68-74.

[4]徐超，孫金莉，楊郡，等.基于分布式支持向量機(jī)的電網(wǎng)錯(cuò)誤數(shù)據(jù)注入檢測法[J].粘接，2023，50（2）：188-192.

[5]紀(jì)丙華，閔康磊，沈奇，等.星載固態(tài)存儲(chǔ)模塊的功能擴(kuò)展及實(shí)現(xiàn)[J].電力電子技術(shù)，2021，55（5）：69-72.

[6]QU W ，CHUI C K ，DENG G T ，et al.Sparse representation of approximation to identity[J].Analysis and applications，2022，20（4）：815-837.

[7]王慧，孫國法，付龍海.改進(jìn)DARMmcr模型的輸電線路安全運(yùn)行數(shù)據(jù)比較分析[J].粘接，2023，50（5）：183-187.

[8]白燕青，呂曉芳.雙槳船舶定位數(shù)據(jù)存儲(chǔ)技術(shù)研究[J].艦船科學(xué)技術(shù)，2020，42（4）：178-180.

[9]羅偉，饒冰，蔣破荒，等.基于X86的分布式存儲(chǔ)的數(shù)據(jù)庫平臺(tái)架構(gòu)[J].控制工程，2020，27（2）：303-308.

[10]劉晴，湯瑋，劉旭.基于虛擬數(shù)據(jù)庫技術(shù)的異地異構(gòu)數(shù)據(jù)源整合[J].信息技術(shù)，2020，44（1）：130-133.

[11]白利芳，祝躍飛，蘆斌.云數(shù)據(jù)存儲(chǔ)安全審計(jì)研究及進(jìn)展[J].計(jì)算機(jī)科學(xué)，2020，47（10）：290-300.

[12]郭威，李信紅，林曉寧，等.基于屬性規(guī)則的復(fù)合電力數(shù)據(jù)權(quán)限加密算法[J].電網(wǎng)與清潔能源，2023，39（4）：76-82.

收稿日期：2023-07-16；修回日期：2023-12-15

作者簡介：趙建立（1983-），男，碩士，高級(jí)工程師，研究方向：需求響應(yīng)、虛擬電廠；E-mail：yaomengyang@wellsgroup.cn。

基金項(xiàng)目：國網(wǎng)上海市電力公司科技項(xiàng)目（項(xiàng)目編號(hào)：52090D21N001）。

引文格式：趙建立，湯卓凡，姚孟陽.基于Hadoop的配電網(wǎng)需求數(shù)據(jù)存儲(chǔ)控制技術(shù)優(yōu)化[J].粘接，2024，51（2）：182-185.