基于云平臺的岸電工程電力數(shù)據(jù)處理方法研究

摘要：針對岸電模式下區(qū)域高度互聯(lián)海上油氣田電網(wǎng)數(shù)據(jù)計算效率低、計算時間長、存儲規(guī)模大等缺點，文章以提升岸電數(shù)據(jù)處理工作的效能為目標(biāo)，基于云平臺實現(xiàn)多個機構(gòu)間海量數(shù)據(jù)的信息協(xié)同與共享處理。根據(jù)所得的信息規(guī)模，文章采用合理邏輯回歸方法，選擇不同的用電數(shù)據(jù)特性進(jìn)行回歸特性預(yù)測。該方法不僅可以保證整個系統(tǒng)數(shù)據(jù)處理的正確率，還可以降低分類算法的復(fù)雜性。實驗證明，基于云平臺的岸電工程電力數(shù)據(jù)處理系統(tǒng)方法具有較高的可靠性和穩(wěn)定性，可以滿足日益增長的岸電工程電力數(shù)據(jù)需求，為岸電電力系統(tǒng)的實際應(yīng)用提供技術(shù)支撐。

關(guān)鍵詞：云平臺；岸電；數(shù)據(jù)處理；分類算法

中圖分類號：TP212.3" 文獻(xiàn)標(biāo)志碼：A

作者簡介：張昊（1990— ），男，高級工程師，學(xué)士；研究方向：電力系統(tǒng)設(shè)計。

0" 引言

為進(jìn)一步貫徹落實國家生態(tài)環(huán)境保護的內(nèi)核與實質(zhì)，響應(yīng)科學(xué)合理開發(fā)利用海洋資源的號召，未來海上油氣田的電力供應(yīng)將主要來源于岸電工程。在岸電模式下，海上油氣田電網(wǎng)區(qū)域高度互聯(lián)，相互影響，運營條件更加復(fù)雜，對岸電運行自動化的需求不斷提高；電力調(diào)度、繼電保護高壓海底電纜防護、關(guān)鍵配變電設(shè)備狀態(tài)監(jiān)測等工作高度依賴于岸電數(shù)據(jù)的采集與分析［1-2］。大量的岸電設(shè)備在長時間的運營過程中將生成海量的數(shù)據(jù)，而現(xiàn)有的數(shù)據(jù)分析方法具有計算效率低下、計算耗時長、存儲量大等問題，很難適應(yīng)當(dāng)前的發(fā)展要求，已成為制約岸電模式下海上油氣田互聯(lián)電網(wǎng)經(jīng)濟、高效發(fā)展的瓶頸。

1" 云平臺關(guān)鍵技術(shù)及建立

1.1" 云平臺關(guān)鍵技術(shù)

云平臺計算主要使用數(shù)據(jù)虛擬化技術(shù)、Hadoop數(shù)據(jù)技術(shù)、高速率數(shù)據(jù)采集技術(shù)處理海量電力數(shù)據(jù)［3-4］。云平臺首先將需要處理的數(shù)據(jù)任務(wù)分配成多個子模塊，然后依據(jù)不同數(shù)據(jù)類型進(jìn)行分類處理，最后將數(shù)據(jù)進(jìn)行計算、歸類、存儲。下面對云平臺計算的3個關(guān)鍵技術(shù)進(jìn)行簡單介紹。

1.1.1" 數(shù)據(jù)虛擬化技術(shù)

數(shù)據(jù)虛擬化技術(shù)采用虛擬化的計算平臺對數(shù)據(jù)進(jìn)行運算，并非真實平臺。采用虛擬化計算平臺的主要目的是提升數(shù)據(jù)計算的效率，簡化計算系統(tǒng)的硬件配置，降低系統(tǒng)計算處理數(shù)據(jù)的時間。

1.1.2" Hadoop數(shù)據(jù)處理技術(shù)

Hadoop數(shù)據(jù)處理技術(shù)主要是對數(shù)據(jù)進(jìn)行一系列計算處理，具體包括采集初始數(shù)據(jù)信號［5］。首先，該方法對所采集的數(shù)據(jù)進(jìn)行初步處理；然后將處理后的數(shù)據(jù)進(jìn)行保存；最后對保存后的數(shù)據(jù)進(jìn)行深度挖掘處理分析，以得到關(guān)鍵的數(shù)據(jù)信息。簡而言之，該數(shù)據(jù)處理技術(shù)主要是對各種類型數(shù)據(jù)進(jìn)行采集、分類、處理，經(jīng)過深度分析后得到關(guān)鍵有價值的數(shù)據(jù)信息。該技術(shù)的主要構(gòu)成模塊包括數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)保存、數(shù)據(jù)深度分析、分析結(jié)果輸出，如圖1所示。

1.1.3" 高速率數(shù)據(jù)采集技術(shù)

與Hadoop數(shù)據(jù)處理技術(shù)有所不同，高速率數(shù)據(jù)采集技術(shù)更多側(cè)重于數(shù)據(jù)計算流程的處理，保證數(shù)據(jù)在不同類型的計算模塊中流轉(zhuǎn)，最終將各個模塊中的數(shù)據(jù)輸送至控制中心單元，確保數(shù)據(jù)能夠連續(xù)計算，提高效率。

1.2" 云平臺建立步驟

本文建立云平臺的具體關(guān)鍵步驟如下。

（1）Hadoop集群的部署。該過程先設(shè)置JDK和SSH，再更改Hadoop的配置；成功拷貝文件并將其格式轉(zhuǎn)換為另一個格式。當(dāng)用戶能夠通過數(shù)據(jù)節(jié)點看到節(jié)點和管理員時，該過程完成。

（2）ZooKeeper集群的配置。ZooKeeper可以支持Hbase、Kafka和Spark等多種簇的協(xié)同管理。系統(tǒng)更改zoo.cf g的檔案，在檔案被成功拷貝后即可開始該服務(wù)。

為提高Hive的元數(shù)據(jù)的安全性能，本文使用國產(chǎn)數(shù)據(jù)庫進(jìn)行岸電模式下海上油氣田互聯(lián)電網(wǎng)海量數(shù)據(jù)的存儲。

（4）Hbase簇的配置。在ZooKeeper集群安裝完畢后，用戶可以在注冊服務(wù)器hbase-env.sh中進(jìn)行下載，將其作為一個完整的版本來運行。

（5）Spark群集的配置。在該過程中優(yōu)先對SCALA進(jìn)行設(shè)置，修改其內(nèi)部參數(shù)，在檔案被成功拷貝后即可開始該服務(wù)。

（6）Kafka群集的配置。在ZooKeeper集群安裝完畢后，用戶可以對相關(guān)概要進(jìn)行更改，在檔案被成功拷貝后即可開始該服務(wù)。

本項目擬構(gòu)建的云計算平臺能夠?qū)崿F(xiàn)如下功能：對系統(tǒng)中海量數(shù)據(jù)進(jìn)行處理；對數(shù)據(jù)進(jìn)行即時詢問；對所述的數(shù)據(jù)執(zhí)行加工分配；對所得資料進(jìn)行統(tǒng)計和有效挖掘。

2" 岸電工程電力數(shù)據(jù)處理方法

2.1" 岸電工程電力數(shù)據(jù)特點

在數(shù)據(jù)采集方面，將數(shù)據(jù)處理技術(shù)運用到岸電工程的數(shù)據(jù)采集中，可以有效提升數(shù)據(jù)的時效性和準(zhǔn)確性，這是構(gòu)建智慧電網(wǎng)的一個重要基礎(chǔ)。服務(wù)器對數(shù)據(jù)進(jìn)行聚合和加工，將數(shù)據(jù)寫入數(shù)據(jù)庫，即可完成對數(shù)據(jù)的持久存儲。就電量的計算服務(wù)而言，在岸電工程的操作過程中（特別是電量計算和線損計算），差別化抄表可以在不同工況下順利收集各種操作數(shù)據(jù)；該方法盡管采用了差別化的數(shù)據(jù)處理方式，但最終還是可以獲得一個相同的數(shù)據(jù)形式。在查詢業(yè)務(wù)方面，由于操作人員通常不了解計算機信息技術(shù)，無法通過該計算系統(tǒng)獲得計算結(jié)果。因此，若要完成數(shù)據(jù)查詢工作，應(yīng)對原始數(shù)據(jù)、單用戶電量、單用戶歷史損耗等進(jìn)行查詢。

2.2" 岸電工程電力數(shù)據(jù)處理方法設(shè)計

云計算平臺可以對海量數(shù)據(jù)構(gòu)件進(jìn)行高效集成，使橫向數(shù)據(jù)處理平臺可擴展性得到提升，從而提高了系統(tǒng)的運算存儲容量。該系統(tǒng)采用模塊化的設(shè)計思想，包含數(shù)據(jù)分類傳送、實時在線處理、線下處理、數(shù)據(jù)計算結(jié)果存儲以及后臺網(wǎng)頁展示5個部分，流程如圖2所示。該系統(tǒng)具有對岸電相關(guān)信息進(jìn)行收集和發(fā)布的功能；數(shù)據(jù)分類傳送模塊能夠?qū)υ撗b置的操作進(jìn)行監(jiān)測并生成相應(yīng)的數(shù)據(jù)；線下處理模塊可以對用戶的電量、線損進(jìn)行統(tǒng)計，以滿足特定的用戶需求；儲存與查詢模塊能夠儲存與檢索與之對應(yīng)的詳盡資料數(shù)據(jù)；網(wǎng)頁顯示模塊可將數(shù)據(jù)參數(shù)輸入、查詢結(jié)果顯示給系統(tǒng)使用者。

2.3" 基于云平臺的岸電數(shù)據(jù)分類計算

岸電數(shù)據(jù)分類計算數(shù)學(xué)邏輯回歸計算公式如式（1）所示。

Q（F=1|x）=C（x）=11+2-d（x）（1）

其中，Q為回歸計算計算結(jié)果，x表示初始數(shù)據(jù)。

根據(jù)式（1）構(gòu)建具有最大似然函數(shù)表達(dá)式的邏輯回歸運算模型如式（2）所示，利用該模型對數(shù)據(jù)進(jìn)行分類處理計算。

L（a）=∑mi=1（filn（C（xi））+（1-fi）·ln（1-C（xi）））（2）

其中，L（a）表示數(shù)據(jù)的不同類型。

在岸電消費數(shù)據(jù)的分析中出現(xiàn)的異常數(shù)據(jù)通常會有很大起伏，這說明使用的測量裝置已經(jīng)出現(xiàn)問題，須要進(jìn)行相關(guān)的技術(shù)檢查。當(dāng)對岸電消費進(jìn)行分析時，很容易看出大部分客戶能夠得到可靠的電力消費資料，因此，在岸電消費總量中，出現(xiàn)異?，F(xiàn)象的比例相對較低。因此，在岸電消費數(shù)據(jù)的處理過程中，必須注意對其進(jìn)行合理分類。當(dāng)對工業(yè)領(lǐng)域的信息進(jìn)行統(tǒng)計和選擇時，可以利用高維度的用電數(shù)據(jù)來劃分，然后按照特定的特性將其輸入一個分類模型，在這個模型中判斷分類是否正確。若主測試集中包含正常和異常2種類型的數(shù)據(jù)，則表明這類數(shù)據(jù)無法直觀地反映出類特性。因此，當(dāng)進(jìn)行數(shù)據(jù)特征錄入時，系統(tǒng)必須盡量避免出現(xiàn)異常的情況；當(dāng)選擇數(shù)據(jù)特征時，系統(tǒng)須要對每個異常特性進(jìn)行相關(guān)的信息處理，通過合適的選擇準(zhǔn)則來減少運算的復(fù)雜性。分類數(shù)據(jù)特征值的選擇流程如圖3所示。

3" 實驗測試

3.1" 實驗環(huán)境

本次實驗采用電腦服務(wù)器3套，千兆以太網(wǎng)交換機3套，云計算平臺6套，Web服務(wù)器6套，網(wǎng)絡(luò)服務(wù)器6套。

3.2" 數(shù)據(jù)處理性能測試

本次實驗采用Hdfs作為云平臺的基礎(chǔ)，通過Kafka對數(shù)據(jù)進(jìn)行高效分布，從而提高了云計算環(huán)境下數(shù)據(jù)讀取和寫入能力的效率，將其導(dǎo)入Hdfs。Hadoop可以通過應(yīng)用程序編程接口（Application Programming Interface， API）獲取Put并將Hdfs中的數(shù)據(jù)復(fù)制到Hdfs中，即可將處理過的數(shù)據(jù)保存起來。為了進(jìn)一步對比該方法與常規(guī)方法的數(shù)據(jù)處理能力，本文采用常規(guī)數(shù)據(jù)計算方法對統(tǒng)一數(shù)據(jù)進(jìn)行處理計算。對2種方法同時進(jìn)行6次測試，測試結(jié)果如圖4所示。由圖可知，所提方法一天內(nèi)所處理的數(shù)據(jù)容量最高可達(dá)10 TB，遠(yuǎn)高于常規(guī)數(shù)據(jù)處理方法。這表明本文所提基于云平臺的岸電數(shù)據(jù)處理方法可以顯著提高數(shù)據(jù)讀取和寫入速率，提升岸電數(shù)據(jù)的高效讀取、寫入能力，降低數(shù)據(jù)運算的復(fù)雜性。

4" 結(jié)語

岸電模式下海上油氣田電網(wǎng)區(qū)域高度互聯(lián)，運營條件更加復(fù)雜，電網(wǎng)及其設(shè)備在長時間的運營過程中所生成的海量數(shù)據(jù)使得現(xiàn)有的數(shù)據(jù)分析方法面臨計算效率低下、計算耗時長、存儲量大等問題?；诖耍疚奶岢霾捎迷破脚_處理海量數(shù)據(jù)，對Hbase、Kafka等大數(shù)據(jù)處理技術(shù)進(jìn)行整合，采用邏輯回歸算法對數(shù)據(jù)分類。為了驗證所提處理數(shù)據(jù)方法的性能，采用實驗進(jìn)行驗證，結(jié)果表明基于云平臺的岸電工程電力數(shù)據(jù)處理系統(tǒng)具有較高的可靠性和穩(wěn)定性。

參考文獻(xiàn)

［1］張群峰，葉小松，吳振飛，等.基于云平臺的岸電智慧在線監(jiān)管系統(tǒng)［J］.港口科技，2021（10）：10-14.

［2］許鎮(zhèn)杰.船舶岸電系統(tǒng)設(shè)計方案［J］.港口裝卸，2022（2）：47-50.

［3］李建程，洪火發(fā)，向亞卿.船舶岸電系統(tǒng)變頻設(shè)備建模與仿真研究［J］.電子技術(shù)與軟件工程，2023（4）：100-103.

［4］盧恒宇.港口岸電監(jiān)控系統(tǒng)研究與應(yīng)用［D］.南寧：廣西大學(xué)，2019.

［5］樊忠洋，高正曉.面向智能電網(wǎng)的電力大數(shù)據(jù)關(guān)鍵技術(shù)應(yīng)用［J］.電氣技術(shù)與經(jīng)濟，2023（5）：107-110.

（編輯" 王永超）

Research on power data processing method for shore power engineering

based on cloud platform

ZHANG" Hao， YU" Lu， WANG" Kaiteng

（CNOOC Research Institute Co.， Ltd.，Beijing 100028， China）

Abstract： In response to the shortcomings of low calculation efficiency， long calculation time， and large storage scale of power grid data in the regional highly interconnected offshore oil and gas field under shore power mode， this article aims to improve the efficiency of shore power data processing work， achieves data information collaboration and sharing among multiple institutions based on cloud platform. A reasonable logistic regression is used to predict the regression characteristics of the electricity consumption data based on the scale of the obtained information. This method not only ensures the accuracy of data processing in the entire system， but also reduces the complexity of the classification algorithm. The experiments show that the power data processing method for shore power engineering based on cloud platform has high reliability and stability， which can meet the growing demand for power data in shore power projects and provide technical support for the practical application of shore power systems.

Key words： cloud platform; shore power; data processing; classification algorithm