面向電力大數(shù)據(jù)的數(shù)據(jù)管理工具對比

王長剛+王景陽

摘 要：隨著電力系統(tǒng)信息化的進(jìn)步和智能電網(wǎng)的發(fā)展，電力系統(tǒng)相關(guān)的數(shù)據(jù)量急增，這些數(shù)據(jù)是客觀的記錄，是系統(tǒng)運(yùn)行情況的真實(shí)反映，如果我們想要通過對數(shù)據(jù)的挖掘來把握電力系統(tǒng)運(yùn)行行為，那么首先我們就需要對數(shù)據(jù)進(jìn)行管理，如何更加科學(xué)的管理電力大數(shù)據(jù)是我們所面臨的一個(gè)問題。文章綜述了數(shù)據(jù)庫一體機(jī)、基于Hadoop平臺hive數(shù)據(jù)倉庫以及面向列數(shù)據(jù)庫hbase的內(nèi)部構(gòu)成和應(yīng)用范圍，詳細(xì)地分析各自的優(yōu)勢和缺點(diǎn)，并梳理這些數(shù)據(jù)管理電力大數(shù)據(jù)時(shí)面臨的問題。

關(guān)鍵詞：電力大數(shù)據(jù)；管理；工具；對比

引言

電力系統(tǒng)中的能量流——即電能的產(chǎn)生、傳輸?shù)綉?yīng)用消耗過程，是由用電需求驅(qū)動的，既能反映電力系統(tǒng)結(jié)構(gòu)特點(diǎn)，又能反映電力系統(tǒng)運(yùn)行狀況，還能反映電力系統(tǒng)與外部環(huán)境（如國民經(jīng)濟(jì)、社會活動）的相互作用。因此，把握電力系統(tǒng)中能量流的時(shí)空分布特性對提高電力系統(tǒng)運(yùn)行經(jīng)濟(jì)性及安全性具有重要價(jià)值，作為電力系統(tǒng)能量流數(shù)字化的電力大數(shù)據(jù)，全面記錄了電網(wǎng)的運(yùn)行狀況，包含了電力系統(tǒng)整體動、靜態(tài)行為的豐富信息。深入挖掘這些信息的價(jià)值，有助于提高電力系統(tǒng)運(yùn)行安全性及經(jīng)濟(jì)性。

目前從數(shù)據(jù)形成知識的過程是借由數(shù)據(jù)挖掘來實(shí)現(xiàn)的，即通過對數(shù)據(jù)的分析和有效組織和整合提取蘊(yùn)含在內(nèi)部的隱層信息、潛在有用信息和知識。實(shí)現(xiàn)這一過程需要對數(shù)據(jù)進(jìn)行初步核實(shí)、建立相應(yīng)的數(shù)學(xué)模型、評估分析結(jié)果，這些都是依賴數(shù)據(jù)科學(xué)，因此對于如何科學(xué)的管理數(shù)據(jù)、處理數(shù)據(jù)是一個(gè)重要的問題。

1 數(shù)據(jù)庫一體機(jī)

數(shù)據(jù)庫一體機(jī)是將軟件層面的數(shù)據(jù)庫產(chǎn)品與實(shí)體計(jì)算機(jī)硬件有機(jī)結(jié)合的專門服務(wù)于數(shù)據(jù)處理、傳輸、儲存的實(shí)物科技產(chǎn)品。

國內(nèi)對于數(shù)據(jù)一體機(jī)的探索和研發(fā)從未間斷過，電力系統(tǒng)數(shù)據(jù)庫一體機(jī)經(jīng)歷了上個(gè)世紀(jì)80年代引進(jìn)應(yīng)用系統(tǒng)通用機(jī)、90年代建立國產(chǎn)應(yīng)用通用機(jī)、2000年后的open3000系統(tǒng)的應(yīng)用到現(xiàn)在國網(wǎng)D5000系統(tǒng)的逐步推廣，形成了一個(gè)數(shù)據(jù)傳輸網(wǎng)絡(luò)化、運(yùn)行監(jiān)視全景化、安全評估動態(tài)化、調(diào)度決策精益化、運(yùn)行控制自動化和源網(wǎng)協(xié)調(diào)最優(yōu)化的一體化智能電網(wǎng)調(diào)度系統(tǒng)。

2 基于hadoop運(yùn)行平臺的數(shù)據(jù)管理工具

2.1 hive數(shù)據(jù)倉庫

Hive是建立在 Hadoop上的數(shù)據(jù)倉庫基礎(chǔ)構(gòu)架。具有簡單的類SQL查詢語言，稱為HQL。同時(shí)，MapReduce開發(fā)者的可以借此開發(fā)自定義的mapper和reducer來處理內(nèi)建的mapper和reducer無法完成的復(fù)雜的分析工作。

Hive構(gòu)建在基于靜態(tài)批處理的Hadoop之上，Hadoop通常都有較高的延遲并且在作業(yè)提交和調(diào)度的時(shí)候需要大量的開銷。Hive查詢操作過程嚴(yán)格遵守Hadoop MapReduce的作業(yè)執(zhí)行模型，Hive將用戶的HiveQL語句通過解釋器轉(zhuǎn)換為MapReduce作業(yè)提交到Hadoop集群上，Hive的最佳使用場合是大數(shù)據(jù)集的批處理作業(yè)，例如，網(wǎng)絡(luò)日志分析。

2.2 Hbase數(shù)據(jù)庫

HBase是一個(gè)開源數(shù)據(jù)庫，兼具有分布式和列存儲的特點(diǎn)?，F(xiàn)存的研究主要集中在多種數(shù)據(jù)庫混合研究上。

國內(nèi)對于大數(shù)據(jù)技術(shù)相關(guān)的數(shù)據(jù)庫的研究也在不斷推進(jìn)中，研究方向和重點(diǎn)主要集中在性能優(yōu)化、混合數(shù)據(jù)庫的移植性研究上。

3 大數(shù)據(jù)技術(shù)與數(shù)據(jù)庫一體機(jī)對比

硬件架構(gòu)：大數(shù)據(jù)應(yīng)用平臺和數(shù)據(jù)一體機(jī)隸屬于同一梯次，實(shí)物架構(gòu)基本一致，都是通過硬件系統(tǒng)兼容的并行計(jì)算來完成上層任務(wù)。不同的是，數(shù)據(jù)化一體機(jī)更具有獨(dú)特性、自身優(yōu)化特點(diǎn)。

軟件體系：兩者的最大不同點(diǎn)主要集中在自身軟件體系中，數(shù)據(jù)化一體機(jī)軟件核心的出口和入口都是面向數(shù)據(jù)查詢語言體系，當(dāng)然，絕不僅僅局限在語言解析上，還囊括查詢過程的優(yōu)化，數(shù)據(jù)本身的優(yōu)化索引，對各種事務(wù)數(shù)據(jù)的掌控能力。

大數(shù)據(jù)技術(shù)中的各種技術(shù)更加靈活和易于組織，可以在底層進(jìn)行服務(wù)于自身需求的更新和更改，以mapreduce為例如果運(yùn)行人員想要實(shí)現(xiàn)計(jì)算目的，需要手動編譯大量的MR程序，把握各種計(jì)算邏輯。大數(shù)據(jù)技術(shù)中的另一項(xiàng)突出優(yōu)點(diǎn)是對非結(jié)構(gòu)化數(shù)據(jù)的分析能力，hadoop分布式儲存系統(tǒng)對非結(jié)構(gòu)化數(shù)據(jù)的天然兼容性和對數(shù)據(jù)原始性的保障，可以對非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行類結(jié)構(gòu)化數(shù)據(jù)的查詢和索引。

當(dāng)然數(shù)據(jù)化一體機(jī)由于自身硬件的限制，無法像大數(shù)據(jù)技術(shù)和平臺這樣易于擴(kuò)展，對于超大型復(fù)雜數(shù)據(jù)和內(nèi)在互聯(lián)邏輯不能完美計(jì)算，但是數(shù)據(jù)化一體機(jī)在一定層面上已經(jīng)改善了傳統(tǒng)方式的瓶頸。

4 存在的問題和展望

電力大數(shù)據(jù)是以結(jié)構(gòu)化數(shù)據(jù)為主，數(shù)據(jù)庫一體機(jī)對于2維數(shù)據(jù)有著高效的支持度，對于結(jié)構(gòu)性數(shù)據(jù)具有良好的適應(yīng)性，但由于數(shù)據(jù)庫一體機(jī)下層數(shù)據(jù)庫的建立往往依賴于關(guān)系型數(shù)據(jù)庫，內(nèi)在關(guān)聯(lián)在數(shù)據(jù)庫設(shè)計(jì)時(shí)就已經(jīng)設(shè)定，其上層應(yīng)用開發(fā)受數(shù)據(jù)組織形式約束，所以在挖掘隱含信息和知識方面沒有優(yōu)勢。另外面對非結(jié)構(gòu)化數(shù)據(jù)（如社會化數(shù)據(jù)、各種日志甚至圖片、視頻等）無法映射為關(guān)聯(lián)化和結(jié)構(gòu)化的2維數(shù)據(jù)時(shí)，無法對其進(jìn)行有效處理。

大數(shù)據(jù)技術(shù)相關(guān)的數(shù)據(jù)管理工具底層數(shù)據(jù)庫隸屬于非關(guān)系型數(shù)據(jù)庫，由于弱化內(nèi)在關(guān)聯(lián)關(guān)系，所以在數(shù)據(jù)存儲方面可以通過分布式存儲來實(shí)現(xiàn)大規(guī)模數(shù)據(jù)儲存，并且在挖掘隱含信息方面，不受底層數(shù)據(jù)組織的影響，可以通過自身設(shè)計(jì)模式進(jìn)行數(shù)據(jù)挖掘，但值得注意的是現(xiàn)在大數(shù)據(jù)并非萬金油，在面對處理小型數(shù)據(jù)量的時(shí)候存在高延遲的現(xiàn)象，在離線處理方式mapreduce計(jì)算框架下，map和reduce過程都需要初始化，并行任務(wù)對HDFS中數(shù)據(jù)的讀取磁盤開銷巨大，如何科學(xué)的數(shù)據(jù)分塊，如何控制合理的任務(wù)總量和并行任務(wù)執(zhí)行數(shù)量，如何能夠最大限度的發(fā)揮服務(wù)器的性能，優(yōu)化存儲和查詢是需要解決的問題。

2014年2月Spark取代MapReduce成為Apache頂級項(xiàng)目，作為一個(gè)基于內(nèi)存計(jì)算為核心的spark逐漸在各個(gè)領(lǐng)域上面體現(xiàn)出比mapreduce更快的計(jì)算效率，在處理電力大數(shù)據(jù)方面的研究剛剛起步，如何將內(nèi)存式計(jì)算融入到電力系統(tǒng)多次計(jì)算迭代同樣也是一個(gè)待解決的問題。

參考文獻(xiàn)

[1]岳峻松，趙俊峰，趙偉，等.數(shù)據(jù)庫一體機(jī)技術(shù)架構(gòu)解析[J].電力信息化，2013，11（4）：60-64.

[2]王為國，曾偉民，代偉，等.基于數(shù)據(jù)倉庫的一體化電力調(diào)度自動化系統(tǒng)[J].電力系統(tǒng)自動化，2003，27（12）：67-70.

[3]馮黃俊，趙景霖，臧菲，等.OPEN3000與DF8003自動化系統(tǒng)應(yīng)用區(qū)別及建議[J].電力與能源，2013，34（z1）：53-56，60.

[4]李功新，周文俊，林靜懷，等.基于D5000平臺的調(diào)控操作與防誤一體化系統(tǒng)[J].電力自動化設(shè)備，2014，34（7）：168-173.