智能電網(wǎng)大數(shù)據(jù)處理技術(shù)研究

馬興明

（國(guó)網(wǎng)大慶供電公司 黑龍江 大慶 163458）

1 引言

大數(shù)據(jù)是指需要新處理模式才能具有更強(qiáng)的決策力、洞察力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。隨著大數(shù)據(jù)技術(shù)的快速發(fā)展，其已經(jīng)在很多領(lǐng)域比如互聯(lián)網(wǎng)金融、電商等得到廣泛應(yīng)用，并取得了極好的效果。智能電網(wǎng)作為國(guó)計(jì)民生的基礎(chǔ)性工程，為人們的生活和工作提供了全天候的多元化能量供應(yīng)。如果借助大數(shù)據(jù)的技術(shù)與理念，將電力系統(tǒng)的眾多數(shù)據(jù)進(jìn)行整合和挖掘分析，將得到更多的功能和效果。對(duì)此探討智能電網(wǎng)中大數(shù)據(jù)應(yīng)用平臺(tái)的設(shè)計(jì)架構(gòu)，以及需要使用的大數(shù)據(jù)相關(guān)技術(shù)，是十分必要的。

2 智能電網(wǎng)與大數(shù)據(jù)技術(shù)

智能電網(wǎng)是信息化技術(shù)對(duì)傳統(tǒng)電網(wǎng)的改造，因?yàn)橐肓藢?shí)時(shí)通信技術(shù)和信息處理技術(shù)，能夠使得傳統(tǒng)的電力供應(yīng)網(wǎng)絡(luò)具有更高的安全性、實(shí)時(shí)控制性、環(huán)保性、可靠性和節(jié)約性。當(dāng)然，智能電網(wǎng)本身也是一個(gè)相對(duì)的概念，其相對(duì)傳統(tǒng)的電力供應(yīng)系統(tǒng)來(lái)說(shuō)，具有了一定的智能化功能，但隨著信息技術(shù)的不斷發(fā)展，更加新穎的功能會(huì)進(jìn)一步被融入進(jìn)來(lái)，使得智能電網(wǎng)本身也得到進(jìn)步。大數(shù)據(jù)技術(shù)能夠根據(jù)海量的數(shù)據(jù)，通過(guò)一定的計(jì)算方式，找出其中的有效規(guī)律，進(jìn)而得出一定的結(jié)論并采取針對(duì)性舉措的技術(shù)。電力的供應(yīng)也涵蓋了很多數(shù)據(jù)類(lèi)型，對(duì)其進(jìn)行有效地分析挖掘，進(jìn)一步在供電的安全可靠性、能源節(jié)約性方面進(jìn)行優(yōu)化，是十分可取的。

3 電力大數(shù)據(jù)中心的架構(gòu)設(shè)計(jì)

在軟件工程領(lǐng)域，業(yè)界已經(jīng)形成了固定的軟件開(kāi)發(fā)思路，模板化的系統(tǒng)架構(gòu)。而在大數(shù)據(jù)平臺(tái)領(lǐng)域，同樣存在相對(duì)城市的結(jié)構(gòu)體系。對(duì)于智能電網(wǎng)大數(shù)據(jù)平臺(tái)來(lái)說(shuō)，其通常包含了6個(gè)層次，從下至上分別是設(shè)備層、操作系統(tǒng)層、數(shù)據(jù)框架層、網(wǎng)絡(luò)層、訪(fǎng)問(wèn)層和數(shù)據(jù)應(yīng)用層。其中設(shè)備層是指具有較大存儲(chǔ)功能和計(jì)算能力的服務(wù)器以及服務(wù)器群，以最基礎(chǔ)的形式來(lái)存儲(chǔ)各類(lèi)格式的數(shù)據(jù)。操作系統(tǒng)則是指安裝在服務(wù)器中的操作系統(tǒng)，業(yè)界通常采用以L(fǎng)inux為集成核心的centos系統(tǒng)，很少采用微軟公司推出的可視化操作界面的服務(wù)器操作系統(tǒng)。數(shù)據(jù)層主要利用專(zhuān)業(yè)的數(shù)據(jù)庫(kù)軟件，采用合理的算法對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)和處理。網(wǎng)絡(luò)層是指不同服務(wù)器、服務(wù)器與終端之間的通信功能層面。訪(fǎng)問(wèn)層則在網(wǎng)絡(luò)基礎(chǔ)之上完成安全地訪(fǎng)問(wèn)功能，數(shù)據(jù)應(yīng)用層是最高層，也是人們直接使用的層面，利用可視化的界面對(duì)數(shù)據(jù)進(jìn)行輸入，對(duì)分析結(jié)果進(jìn)行獲取。

4 智能電網(wǎng)大數(shù)據(jù)關(guān)鍵技術(shù)分析

在智能電網(wǎng)中引入大數(shù)據(jù)技術(shù)，其關(guān)鍵需要掌握數(shù)據(jù)的集成管理、數(shù)據(jù)的挖掘與分析，數(shù)據(jù)的處理與數(shù)據(jù)的展現(xiàn)等技術(shù)要素。

4.1 大數(shù)據(jù)集成管理技術(shù)

在計(jì)算機(jī)領(lǐng)域，數(shù)據(jù)的概念是所有能夠文檔化的事務(wù)，其形式是多樣的，包括文字、數(shù)字、圖片、音頻、視頻等，而不同類(lèi)型的數(shù)據(jù)有眾多存儲(chǔ)格式，比如文字?jǐn)?shù)據(jù)有存儲(chǔ)為文本的，有存儲(chǔ)為文檔的，有存儲(chǔ)為PDF格式等；音頻則有mp3格式、m4a等類(lèi)型。而在實(shí)際應(yīng)用中，因?yàn)檫^(guò)去信息技術(shù)在實(shí)現(xiàn)不同電力功能時(shí)，多是單獨(dú)進(jìn)行數(shù)據(jù)捕捉和分析的，由此是多個(gè)應(yīng)用在分別工作。而在大數(shù)據(jù)技術(shù)理念下，這些在不同應(yīng)用中的不同格式、不同類(lèi)型的數(shù)據(jù)，需要有效地集中在一起，以統(tǒng)一的數(shù)據(jù)格式進(jìn)行存儲(chǔ)，以能夠在后期進(jìn)行合理合適地分析。也就是說(shuō)，數(shù)據(jù)集成管理技術(shù)是將各個(gè)信息孤島進(jìn)行整合，形成一個(gè)數(shù)據(jù)大陸。

在智能電網(wǎng)大數(shù)據(jù)技術(shù)領(lǐng)域，主要需要關(guān)系型數(shù)據(jù)庫(kù)技術(shù)、非關(guān)系型數(shù)據(jù)庫(kù)技術(shù)、數(shù)據(jù)融合技術(shù)、數(shù)據(jù)抽取技術(shù)、數(shù)據(jù)濾過(guò)技術(shù)、數(shù)據(jù)清洗技術(shù)等。首先在海量的數(shù)據(jù)中對(duì)一些數(shù)據(jù)進(jìn)行篩選，過(guò)濾掉明顯重復(fù)和無(wú)效的數(shù)據(jù)，然后對(duì)相關(guān)的數(shù)據(jù)進(jìn)行有效地抽取和集成，利用實(shí)體、關(guān)系等結(jié)構(gòu)化思想，將數(shù)據(jù)進(jìn)行聚合與關(guān)聯(lián)起來(lái)，以進(jìn)一步保障數(shù)據(jù)的準(zhǔn)確性和可靠性。近些年流行的NoSQL 技術(shù)則實(shí)行了分布式數(shù)據(jù)存儲(chǔ)的形式，摒棄了對(duì)關(guān)系的依賴(lài)，使得數(shù)據(jù)存儲(chǔ)更加簡(jiǎn)單靈活，并具有相應(yīng)的可擴(kuò)展性。

4.2 大數(shù)據(jù)挖掘與分析技術(shù)

這是大數(shù)據(jù)的核心技術(shù)。即通過(guò)一定的算法，從海量的數(shù)據(jù)中找出一定的規(guī)律，并得出具有實(shí)質(zhì)性效用的結(jié)果，發(fā)現(xiàn)問(wèn)題并解決問(wèn)題。如何在大數(shù)據(jù)中找出非明顯的規(guī)律，則需要計(jì)算機(jī)通過(guò)一定的方式開(kāi)展關(guān)聯(lián)分析、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、模式識(shí)別、遺傳算法、神經(jīng)網(wǎng)絡(luò)、時(shí)間序列模型等技術(shù)。數(shù)據(jù)的挖掘與分析技術(shù)，根本上講，是傳統(tǒng)數(shù)據(jù)挖掘技術(shù)在大數(shù)據(jù)理念下的進(jìn)一步發(fā)展。正是因?yàn)閿?shù)據(jù)量的膨脹，并具有增長(zhǎng)快、多元化的特性，結(jié)構(gòu)多樣使得傳統(tǒng)的分析技術(shù)無(wú)能為力，只能借助更為先進(jìn)的理念和技術(shù)。其一，由特征抽樣選擇的理念出發(fā)，使得大數(shù)據(jù)范圍縮??；其二，通過(guò)聚類(lèi)、分類(lèi)算法的實(shí)施，使得大數(shù)據(jù)得到有效地歸類(lèi)；其三，利用并行算法，將數(shù)據(jù)并行化，進(jìn)一步將數(shù)據(jù)的量度縮小。由此可見(jiàn)，借助上述三種理念，再對(duì)大數(shù)據(jù)進(jìn)行傳統(tǒng)的數(shù)據(jù)挖掘與分析，能夠有效地實(shí)現(xiàn)大數(shù)據(jù)技術(shù)的效果。

4.3 數(shù)據(jù)處理技術(shù)

數(shù)據(jù)處理涵蓋了分布式計(jì)算、內(nèi)存計(jì)算、流處理等技術(shù)要素。其中分布式計(jì)算能夠解決大規(guī)模分布式存儲(chǔ)和處理的問(wèn)題，其主要思路是將一個(gè)大的問(wèn)題，通過(guò)分布式的方式變成小的問(wèn)題；內(nèi)存計(jì)算則能夠高效地對(duì)數(shù)據(jù)進(jìn)行讀取與處理，并進(jìn)一步對(duì)實(shí)時(shí)計(jì)算的需求進(jìn)行滿(mǎn)足，主要將各類(lèi)信息置于內(nèi)層之中，有效地摒棄了對(duì)磁盤(pán)讀寫(xiě)的時(shí)間消耗，提升了計(jì)算效率；流處理技術(shù)則能夠處理實(shí)時(shí)到達(dá)的、速度與規(guī)模不受控制的數(shù)據(jù)，在流處理技術(shù)中，其把一直涌現(xiàn)的數(shù)據(jù)視為水流，在經(jīng)過(guò)處理后馬上使其流出，不做任何逗留。這種算法比較適合實(shí)時(shí)性較強(qiáng)的數(shù)據(jù)處理需求，比如證券買(mǎi)賣(mài)。在智能電網(wǎng)領(lǐng)域，通過(guò)先進(jìn)的數(shù)據(jù)處理技術(shù)，能夠較好地通過(guò)對(duì)數(shù)據(jù)的掌握，進(jìn)一步對(duì)電力的安全隱患技術(shù)發(fā)現(xiàn)，并提前解決。

4.4 數(shù)據(jù)展現(xiàn)技術(shù)

數(shù)據(jù)在介質(zhì)中存儲(chǔ)，其形態(tài)是無(wú)法看得見(jiàn)的，是一種電信號(hào)狀態(tài)，而傳播也是電信號(hào)、光信號(hào)的結(jié)合。這種基層的數(shù)據(jù)形式，需要通過(guò)復(fù)雜的計(jì)算才能夠呈現(xiàn)給使用者。在電力系統(tǒng)的智能化供應(yīng)和管理中，我們需要對(duì)數(shù)據(jù)清晰地可讀可見(jiàn)，這就需要采用數(shù)據(jù)展現(xiàn)技術(shù)。數(shù)據(jù)展現(xiàn)技術(shù)涵蓋了可視化、空間信息流展示、歷史信息流展示等方面?？梢暬夹g(shù)提供給電力監(jiān)控室的工作人員以形象化的電力供應(yīng)狀態(tài)；空間信息流展示技術(shù)能夠基于各類(lèi)參數(shù)對(duì)供應(yīng)系統(tǒng)的各個(gè)站點(diǎn)進(jìn)行建模，使得人們對(duì)電力系統(tǒng)的情況知曉得更為具體；歷史流展示技術(shù)則能夠?qū)﹄娋W(wǎng)過(guò)去的相關(guān)數(shù)據(jù)進(jìn)行存儲(chǔ)和分析，并展示出過(guò)去相關(guān)數(shù)據(jù)的發(fā)展規(guī)律，甚至對(duì)未來(lái)趨勢(shì)進(jìn)行預(yù)測(cè)。

以電力中用電量趨勢(shì)為課題，我國(guó)可以從一個(gè)地區(qū)每年的用電量、不同功能區(qū)用電量、不同家電用電量等的歷年數(shù)據(jù)進(jìn)行深度分析，同時(shí)和一個(gè)地區(qū)的經(jīng)濟(jì)水平、消費(fèi)水平、人口、氣候等方面進(jìn)行橫向?qū)Ρ龋页霾煌暯窍碌挠秒娏颗c其他因素之間的兩兩之間的相關(guān)性，以及回歸相關(guān)性，并進(jìn)一步對(duì)未來(lái)該地區(qū)用電量的增長(zhǎng)以及在區(qū)域、時(shí)間方面的分布進(jìn)行預(yù)測(cè)。這就是大數(shù)據(jù)挖掘與分析技術(shù)的最常見(jiàn)的效用。

5 結(jié)論

綜上所述，智能電網(wǎng)覆蓋了社會(huì)經(jīng)濟(jì)的方方面面，與人們息息相關(guān)的同時(shí)也能夠捕捉大量的數(shù)據(jù)。這些數(shù)據(jù)在采用大數(shù)據(jù)技術(shù)之后，對(duì)電網(wǎng)的安全運(yùn)行、災(zāi)難預(yù)警、并網(wǎng)、用電效率提升等方面都有較高的應(yīng)用價(jià)值。在發(fā)電、輸電、變電、配電、用電等環(huán)節(jié)都具有指導(dǎo)意義。對(duì)此應(yīng)用大數(shù)據(jù)技術(shù)改造升級(jí)智能電網(wǎng)是十分具有前景的。

[1]黃天恩，孫宏斌，郭慶來(lái)，溫柏堅(jiān)，王彬.基于電網(wǎng)運(yùn)行仿真大數(shù)據(jù)的知識(shí)管理和超前安全預(yù)警[J].電網(wǎng)技術(shù)，2015，39(11)：3080-3087.