基于Hadoop的數(shù)據(jù)中心在電力企業(yè)的應(yīng)用研究

孟椿智+謝瑞浩

摘要：傳感器、物聯(lián)網(wǎng)、云計算等技術(shù)的發(fā)展和改進，有效地促進了電力企業(yè)智能化、信息化和共享化，引入或研發(fā)了許多的自動化系統(tǒng)，比如電力控制系統(tǒng)、變電站告警系統(tǒng)、電網(wǎng)監(jiān)控系統(tǒng)等，這些系統(tǒng)運行積累了海量的數(shù)據(jù)資源，亟需引入更加先進的Hadoop技術(shù)構(gòu)建數(shù)據(jù)中心，確保對電力企業(yè)數(shù)據(jù)的分布式、透明化、虛擬存儲和訪問，進一步提高系統(tǒng)處理速度。

關(guān)鍵詞：Hadoop；數(shù)據(jù)中心；電力企業(yè)；智能監(jiān)控

中圖分類號：TP311 文獻標(biāo)識碼：A 文章編號：1007-9416（2017）11-0048-01

1 引言

云計算、互聯(lián)網(wǎng)等技術(shù)的發(fā)展促進了人們進入到大數(shù)據(jù)時代，海量應(yīng)用軟件運行積累了數(shù)以億計的數(shù)據(jù)資源，因此構(gòu)建一個強大的數(shù)據(jù)中心，可以為用戶提供一個高速并發(fā)的處理機制，實現(xiàn)數(shù)據(jù)的操作和服務(wù)。隨著電力行業(yè)的發(fā)展和改進，實時監(jiān)控、應(yīng)急通信、電力故障及維護等領(lǐng)域引入了許多的信息化、智能化軟件，這些軟件可以為電網(wǎng)設(shè)備數(shù)據(jù)采集、通信傳輸、決策服務(wù)等提供強大的支撐，具有重要的作用和意義[1]。隨著人工智能的發(fā)展和普及，電力企業(yè)將會引入虛擬現(xiàn)實、增強現(xiàn)實、機器學(xué)習(xí)、模式識別等技術(shù)，構(gòu)建一個基于移動終端、平板電腦、服務(wù)器的先進大數(shù)據(jù)中心，組成一個強大的智能電網(wǎng)，提高電力企業(yè)的智能化水平，保證電力網(wǎng)絡(luò)的正常運行[2]。

本文詳細地描述了電力企業(yè)數(shù)據(jù)中心功能，提出利用Hadoop技術(shù)實現(xiàn)數(shù)據(jù)中心操作，分析了Hadoop分布式存儲技術(shù)，利用MapReduce構(gòu)建一個計算引擎，能夠?qū)崿F(xiàn)對電力數(shù)據(jù)的分布式管理，整合了硬件基礎(chǔ)平臺，融合分布式存儲資源，實現(xiàn)信息操作和服務(wù)。

2 電力企業(yè)數(shù)據(jù)中心功能及應(yīng)用分析

電力企業(yè)經(jīng)過多年的發(fā)展，構(gòu)建一個強大的數(shù)據(jù)中心，能夠?qū)崿F(xiàn)數(shù)據(jù)采集抽取、清洗轉(zhuǎn)換、加載存儲、數(shù)據(jù)應(yīng)用，能夠?qū)崿F(xiàn)數(shù)據(jù)可視化顯示、標(biāo)準(zhǔn)化體系建設(shè)，實現(xiàn)信息加工和服務(wù)。數(shù)據(jù)采集抽取功能可以從電力設(shè)備、電力線路等一系列軟硬件系統(tǒng)中獲取數(shù)據(jù)資源，采集到設(shè)備運行記錄、電力事故記錄、供電信息以及系統(tǒng)運行日志信息，將這些信息保存到數(shù)據(jù)倉庫。清洗轉(zhuǎn)換可以針對采集到的電網(wǎng)數(shù)據(jù)進行分析，利用歸一化方法實現(xiàn)對數(shù)據(jù)的清洗轉(zhuǎn)換，刪除許多的噪聲數(shù)據(jù)或無用數(shù)據(jù)[3]。加載存儲由兩個關(guān)鍵程序組成，數(shù)據(jù)中心設(shè)計和建設(shè)完成之后，可以將數(shù)據(jù)裝載到中心存儲器，數(shù)據(jù)加載存儲需要大量的時間進行裝載操作，能夠為用戶提供一個強大的數(shù)據(jù)加載引擎，按照變動的操作實現(xiàn)信息加工。數(shù)據(jù)應(yīng)用可以針對中心的數(shù)據(jù)進行加工，并且為用戶提供一個報表撰寫、存儲加工、分析應(yīng)用和直接查詢的操作，將這些操作流程通過后臺進行分析，具體的數(shù)據(jù)應(yīng)用包括后面才兩個非常關(guān)鍵的環(huán)節(jié)，首先數(shù)據(jù)需要以維度的模式展現(xiàn)出來，實現(xiàn)信息加工、存儲和訪問；其次，數(shù)據(jù)中心需要涵蓋原子數(shù)據(jù)，利用原子數(shù)據(jù)構(gòu)建強大的操作流程，否則就不會造成數(shù)據(jù)的維護操作[4]。

在建設(shè)數(shù)據(jù)中心的過程中，為了保證電網(wǎng)數(shù)據(jù)的可用性，還要引入更多的標(biāo)準(zhǔn)體系，以便能夠規(guī)范數(shù)據(jù)接入標(biāo)準(zhǔn)，保證應(yīng)用數(shù)據(jù)是規(guī)范的，同時還可以實現(xiàn)數(shù)據(jù)可視化，這樣就可以保證數(shù)據(jù)的操作友好性，能夠更好地維護信息系統(tǒng)的功能。

在建設(shè)完畢之后，數(shù)據(jù)中心可以為用戶提供強大的操作服務(wù)，比如實現(xiàn)停電統(tǒng)計分析、綜合管理統(tǒng)計應(yīng)用等。停電統(tǒng)計分析可以根據(jù)用戶的需求評估用電量，以便能夠科學(xué)指導(dǎo)電力企業(yè)供電、停電，保證居民生活、企業(yè)運轉(zhuǎn)的正常性。綜合管理統(tǒng)計應(yīng)用可以從數(shù)據(jù)中心獲取電力項目投資情況、項目實施進度等，及時地將這些信息上報給領(lǐng)導(dǎo)，方便電力企業(yè)的正常決策。

3 電力企業(yè)數(shù)據(jù)中心建設(shè)關(guān)鍵技術(shù)

電力企業(yè)數(shù)據(jù)中心建設(shè)引入了Hadoop技術(shù)，該技術(shù)在數(shù)據(jù)提取、清洗轉(zhuǎn)換、數(shù)據(jù)加載方面具有很多的優(yōu)勢。Hadoop與當(dāng)前的云計算技術(shù)相結(jié)合，組成了一個強大的分布式層次化架構(gòu)，能夠為用戶提供形象化、直觀化、共享化和數(shù)字化的應(yīng)用軟件，同時還可以為大數(shù)據(jù)處理引擎提供存儲加載服務(wù)，實現(xiàn)對電網(wǎng)信息的精確探測和位置標(biāo)識。Hadoop引入了先進的MapReduce技術(shù)，該技術(shù)可以將任何一個數(shù)據(jù)處理任務(wù)打破，并且可以將每一個任務(wù)發(fā)送到多個節(jié)點上，然后可以將單個數(shù)據(jù)集成加載到數(shù)據(jù)倉庫中，實現(xiàn)信息加工和服務(wù)。圖1為電力數(shù)據(jù)中心Hadoop數(shù)據(jù)處理流程。

在電力企業(yè)數(shù)據(jù)中心建設(shè)中Hadoop的目標(biāo)定位是高可靠性、高可拓展性、高容錯性、高效性，利用這些優(yōu)勢設(shè)計一個強大的數(shù)據(jù)倉庫，實現(xiàn)對基礎(chǔ)數(shù)據(jù)的采集清洗和轉(zhuǎn)換，同時可以為每一個用戶提供操作服務(wù)。Hadoop在電力企業(yè)數(shù)據(jù)中心建設(shè)中采用的關(guān)鍵技術(shù)包括很多，最底部是Hadoop Distributed File System（HDFS），其可以實現(xiàn)電力數(shù)據(jù)中心Hadoop集群中存儲節(jié)點的文件管理，能夠支持MapReduce的分布式訪問功能，HDFS就是一個傳統(tǒng)的分級文件系統(tǒng)，該系統(tǒng)可以創(chuàng)建、刪除、移動或重命名文件，包含了很多的特定節(jié)點NameNode，這些節(jié)點可以將許多的存儲文件進行分塊，將每一塊復(fù)制到多個計算機上，與傳統(tǒng)的RAID架構(gòu)大不相同，負責(zé)管理文件系統(tǒng)資源的訪問和操作。另外，NameNode可以決定是否把數(shù)據(jù)中心的文件映射到DataNode上。另外，NameNode利用塊標(biāo)識實現(xiàn)DataNode的調(diào)取和響應(yīng)，以便能夠?qū)ataNode中的實例信息組織起來，通過交換機將所有的信息集成在一起，響應(yīng)HDFS客戶機的讀寫請求，還能夠執(zhí)行NameNode的創(chuàng)建、查詢、復(fù)制和刪除操作。

4 結(jié)語

電力數(shù)據(jù)中心引入Hadoop技術(shù)，該技術(shù)能夠強化數(shù)據(jù)中心的分布式、快速化響應(yīng)操作，同時可以支持數(shù)以百萬級的用戶同時訪問中心數(shù)據(jù)，保證電力數(shù)據(jù)中心的安全、可靠、高速運行。

參考文獻

[1]雷蕾，李景文，宮大鵬，等.基于Hadoop的OSS域數(shù)據(jù)建模與采集方法研究[J].電信科學(xué)，2015，31（1）：128-138.

[2]羅賢縉，岳黎明，甄成剛.風(fēng)電場數(shù)據(jù)中心Hadoop云平臺作業(yè)調(diào)度算法研究[J].計算機工程與應(yīng)用，2015，51（15）：266-270.

[3]劉青，付印金，倪桂強，等.CCF BigData 2015+237基于Hadoop平臺的分布式重刪存儲系統(tǒng)[J].計算機應(yīng)用，2015.

[4]趙會群，黃傳聰.一種基于Hadoop的EPC物聯(lián)網(wǎng)數(shù)據(jù)分析系統(tǒng)的研究與實現(xiàn)[J].計算機工程與科學(xué)，2015，37（4）：657-662.

Abstract：Sensor， networking， cloud computing technology development and improvement， effectively promote the electric power enterprise intelligence and information and sharing， introduced or developed many automation systems， such as power control system， alarm system， power grid substation monitoring system， the system has accumulated vast amounts of data resources， to construction of a data center to introduce more advanced Hadoop technology， improve the electric power enterprise， distributed data transparency， virtual storage and access， to further improve the processing speed of the system.

Key Words：Hadoop； data center； power enterprise； intelligent monitoring