Hadoop框架在電力大數(shù)據(jù)平臺中的運用分析與研究

劉凱+高志娥+薛艷鋒

摘要

文章首先對Hadoop框架及其優(yōu)勢進行簡要闡述，在此基礎上對Hadoop框架在電力大數(shù)據(jù)平臺中的運用進行論述。期望通過本文的研究能夠?qū)Υ龠M電力大數(shù)據(jù)平臺的完善有所幫助。

【關鍵詞】Hadoop框架 電力系統(tǒng) 大數(shù)據(jù)平臺

1Hadoop框架及其優(yōu)勢

Hadoop即海杜普，其歸屬計算機程序的范疇，是由阿帕奇（Apache）基金會研發(fā)的分布式系統(tǒng)架構。Hadoop框架的核心設計為分布式文件系統(tǒng)（HDFS）和映射規(guī)約（MapReduce），前者為海量數(shù)據(jù)提供了一個良好的存儲環(huán)境，后者則為海量數(shù)據(jù)提供了計算。Hadoop是軟件框架，它可以對大量數(shù)據(jù)進行分布式處理，這種分布式的處理方式，使Hadoop具有了如下特點：

1.1可靠性高

Hadoop可以按位對數(shù)據(jù)進行存儲，在數(shù)據(jù)處理方面的能力非常值得人們信賴，由此使其具備了較高的可靠性，并在多個領域中得到廣泛應用。

1.2良好的可擴展性

Hadoop能夠在可利用的計算機集簇間對數(shù)據(jù)進行分配，并準確完成相應的計算任務，這些可以進行利用的集簇能夠擴展到數(shù)以千計的節(jié)點當中，在此基礎上，使Hadoop具備十分良好的可擴展性。

1.3容錯性高

對于計算機程序而言，容錯性的高低關系到程序的可用性，容錯性越高的程序，可用性就越強。Hadoop可對數(shù)據(jù)的多個副本進行自動保存，并能對失敗的任務進行重新分配，這樣即使發(fā)生錯誤，也基本不會造成太大的影響。

1.4高效性

在節(jié)點之間，Hadoop能夠?qū)?shù)據(jù)進行動態(tài)地移動，在這一過程中，可以保證各節(jié)點的動態(tài)平衡，正因如此，使其具備超快的處理速度。

1.5經(jīng)濟性

與各種數(shù)據(jù)倉庫和數(shù)據(jù)集市相比，Hadoop為開源軟件，它的應用成本相對較低，有助于經(jīng)濟效益的提升。

在數(shù)據(jù)提取和加載方面的優(yōu)勢使Hadoop在大數(shù)據(jù)處理中獲得了非常廣泛的應用，其所采用的分布式架構使大數(shù)據(jù)處理引擎與存儲之間的距離變得越來越近，類似于加載的批處理結果能夠直接走向存儲。鑒于Hadoop所具備的上述優(yōu)點，下面對其在電力大數(shù)據(jù)平臺中的運用進行分析。

2Hadoop框架在電力大數(shù)據(jù)平臺中的運用

隨著我國電力體制改革進程的不斷加快，推動了電力事業(yè)的發(fā)展。2002年末，中國最大的電網(wǎng)企業(yè)國家電網(wǎng)公司正式成立，由此使我國的電網(wǎng)運行與經(jīng)營走上了正軌。由于國家電網(wǎng)公司的用戶數(shù)量較多，加之資產(chǎn)的規(guī)模比較大，并且在電網(wǎng)運行過程中還會產(chǎn)生出大量的數(shù)據(jù)信息，為提高公司的業(yè)務處理效率，必須對電力大數(shù)據(jù)進行有效地處理。為實現(xiàn)這一目標，可基于Hadoop框架對電力大數(shù)據(jù)平臺進行構建。圖1為該平臺的基本功能架構。

由圖1可以清楚的看出，該平臺的功能架構由五個層次組成，采用Hadoop框架，為平臺提供數(shù)據(jù)存儲與計算能力，通過Hadoop框架中的HDFS核心組件，可以分布式的文件存儲，對采集到的非結構數(shù)據(jù)，如音視頻、圖片、文檔等進行存儲。映射規(guī)約（MR）除了可以實現(xiàn)批量計算之外，還能對批量數(shù)據(jù)進行離線分析，并將結果直接緩存在磁盤當中。

2.1Hadoop框架的建立

在對Hadoop進行建立前，需要做好相關的準備工作，具體包括如下內(nèi)容：安裝大數(shù)據(jù)平臺并在服務器上生成相關證書，然后將之Copy到其它節(jié)點，對知識庫進行配置，設置IP地址，啟動Http服務，將IP地址修改成知識庫服務器地址，并上傳到任意一臺服務器當中，通過復制的方式安裝到所有服務器當中。

準備工作完成之后，應當新建一個Hadoop集群，具體方法如下：登錄到大數(shù)據(jù)平臺當中，進入集群管理點擊安裝部署，按照提示的步驟進行相關操作，在安裝時，組件服務器的地址應當為yum資源中的IP地址。在對主機節(jié)點進行批量添加時，只有存儲和計算這兩個節(jié)點能夠同時與多臺服務器相對應，其它的節(jié)點則只能與某一臺服務器相對應，需要特別注意的是，在該平臺中，只能對存儲和計算節(jié)點進行增加。

2.2具體應用

圖1：電力大數(shù)據(jù)平臺功能框架結構示意圖

2.2.1在電力檢修策略優(yōu)化中的應用

可利用數(shù)據(jù)挖掘技術，構建起電力設備狀態(tài)評價模型，通過對數(shù)據(jù)的在線監(jiān)控，可完成對故障的自動識別，再與相關數(shù)據(jù)進行關聯(lián)后，能夠快速找出故障形成的主要原因，為檢修人員提供準確的信息，從而實現(xiàn)優(yōu)化檢修策略的目標。

2.2.2在用電行為分析中的應用

在影響電力系統(tǒng)運行的諸多外在因素中，氣候變化是一個較為重要的因素，雨雪風暴等惡劣天氣，會對電網(wǎng)的正常運行帶來不利影響，嚴重時可能會造成電力設備故障甚至損壞，由此會對用戶的用電行為造成影響。借助電力大數(shù)據(jù)平臺，構建基于用戶和設備的信息數(shù)據(jù)，并結合氣象數(shù)據(jù)，對影響用電行為的氣候變化情況進行分析，由此可為電網(wǎng)規(guī)劃提供可靠的依據(jù)。

3結論

綜上所述，Hadoop框架以其自身所具備的優(yōu)點，在諸多領域中得到應用。本文基于Hadoop框架建立電力大數(shù)據(jù)平臺，通過該平臺除可以對電力檢修策略進行優(yōu)化之外，還能對用戶的用電行為進行分析，有助于推動我國電力事業(yè)的發(fā)展。

參考文獻

[1]劉偉娜，董娜，LiuWeina.Hadoop框架在電力大數(shù)據(jù)平臺中的應用[J].河北電力技術，2017（02）：35-38.

[2]岳陽，張曉佳，高一丹.基于Hadoop的電力大數(shù)據(jù)技術體系研究[J].電力與能源，2015（01）：16-20.

[3]王軍，韓林峰，侯賓.基于Hadoop和關系型數(shù)據(jù)庫的電力用采大數(shù)據(jù)混合服務架構[J].電子技術應用，2015（zl）.endprint