電力公司大數(shù)據(jù)分析平臺(tái)項(xiàng)目的構(gòu)建方案

應(yīng)澤貴

摘 要：隨著電力行業(yè)技術(shù)的不斷創(chuàng)新，為了能列好的服務(wù)于電力行業(yè)，該公司將采用目前市面最為成熟的B/S Hadoop系統(tǒng)框架建立大數(shù)據(jù)分析平臺(tái)。通過(guò)PI、WEB服務(wù)、中間件、多元適配器等主流技術(shù)充分保障項(xiàng)目的市場(chǎng)先進(jìn)性以及在同行業(yè)中同類產(chǎn)品的領(lǐng)導(dǎo)地位。

關(guān)鍵詞：電力公司 大數(shù)據(jù)分析 項(xiàng)目方案

中圖分類號(hào)：F426.61 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1674-098X（2015）11（c）-0015-03

大數(shù)據(jù)，IT行業(yè)的又一次技術(shù)變革，大數(shù)據(jù)的出現(xiàn)對(duì)國(guó)家經(jīng)濟(jì)發(fā)展和企業(yè)轉(zhuǎn)型帶來(lái)深遠(yuǎn)的影響，并將成為云計(jì)算、物聯(lián)網(wǎng)之后信息技術(shù)產(chǎn)業(yè)領(lǐng)域又一重大創(chuàng)新變革。未來(lái)的十年將是一個(gè)“大數(shù)據(jù)”引領(lǐng)的智慧科技的時(shí)代，因?yàn)殡S著信息網(wǎng)絡(luò)和物聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，會(huì)產(chǎn)生出越來(lái)越多龐大數(shù)據(jù)，此時(shí)的大數(shù)據(jù)處理正是應(yīng)勢(shì)而生。

1 項(xiàng)目簡(jiǎn)介

四川省電力公司眉山公司也將在自建的大數(shù)據(jù)分析平臺(tái)中，充分調(diào)動(dòng)平臺(tái)的能動(dòng)性及數(shù)據(jù)分析能力，將傳統(tǒng)的行業(yè)信息收集，轉(zhuǎn)換為具有分析性，前瞻性的數(shù)據(jù)集成平臺(tái)。系統(tǒng)通過(guò)將公司過(guò)往及未來(lái)的運(yùn)維、施工等數(shù)據(jù)進(jìn)行統(tǒng)一收錄，通過(guò)數(shù)據(jù)挖掘等方式分析公司的運(yùn)作模式的優(yōu)劣，以數(shù)據(jù)引導(dǎo)的方式為公司提供更具有市場(chǎng)競(jìng)爭(zhēng)力的產(chǎn)品和管理模式。

2 項(xiàng)目整體框架

該課題通過(guò)建立一套平臺(tái)信息收集的方式，將目前眉山電力公司過(guò)往的運(yùn)維、管理、施工等數(shù)據(jù)進(jìn)行統(tǒng)一錄入。通過(guò)數(shù)據(jù)的錄入/導(dǎo)入等方式將已入庫(kù)的數(shù)據(jù)進(jìn)行數(shù)據(jù)分析及挖掘，并以圖表、文字報(bào)表、數(shù)據(jù)分析說(shuō)明等方式展現(xiàn)給管理機(jī)關(guān)。

2.1 系統(tǒng)技術(shù)架構(gòu)

見(jiàn)圖1。

2.1.1 框架描述。

（1）（表現(xiàn)層）界面控制層。

界面主要是用來(lái)接受客戶的一些請(qǐng)求，并有返回?cái)?shù)據(jù)的功能，可以為客戶端提供頁(yè)面式的訪問(wèn)，是顯示各類數(shù)據(jù)和用戶信息的交互式界面。

（2）（應(yīng)用層）業(yè)務(wù)邏輯層。

業(yè)務(wù)邏輯層是為了能順利進(jìn)行數(shù)據(jù)交換而設(shè)計(jì)的，它處于整個(gè)框架層的中間，這是由于層與層之間具有弱耦合作用，這會(huì)使得最下面一層做任何改變都不會(huì)影響到上層動(dòng)作，所以在分層設(shè)計(jì)時(shí)，要依據(jù)層與層之間的這種弱依賴關(guān)系，以面向接口設(shè)計(jì)思想為基礎(chǔ)，在不改變接口定義的基礎(chǔ)上，構(gòu)建一個(gè)可抽取和替換的理想式“抽屜”架構(gòu)，此時(shí)的業(yè)務(wù)邏輯層對(duì)這個(gè)架構(gòu)的構(gòu)建非常重要，它要同時(shí)具備兩種功能，從數(shù)據(jù)訪問(wèn)方面，它要具有調(diào)用功能；從表示層方面，它要具有被調(diào)用功能。二者的依賴關(guān)系都是建立在業(yè)務(wù)邏輯層上的。

（3）（持久層）數(shù)據(jù)層。

數(shù)據(jù)層主要功能是進(jìn)行數(shù)據(jù)庫(kù)的訪，通過(guò)它可以直接訪問(wèn)數(shù)據(jù)庫(kù)系統(tǒng)的所有數(shù)據(jù)，換言之就是指數(shù)據(jù)層可以實(shí)現(xiàn)對(duì)數(shù)據(jù)表的Select，Insert，Update，Delete的操作。在該項(xiàng)目中將用Web Service技術(shù)實(shí)現(xiàn)WPf客戶端與服務(wù)器端的對(duì)接。

2.1.2 系統(tǒng)框架架構(gòu)

系統(tǒng)框架架構(gòu)見(jiàn)圖2。

2.2 系統(tǒng)歡迎頁(yè)

頁(yè)面主要用于用戶登錄后快速的進(jìn)入到相應(yīng)的管理查詢模塊中，用戶可以在主頁(yè)中查看近期的數(shù)據(jù)更新狀況，報(bào)表快查等。

2.3 數(shù)據(jù)展示頁(yè)

通過(guò)前期管理人員的數(shù)據(jù)錄入及對(duì)應(yīng)的類型錄入后，管理員可以在頁(yè)面中以各種條件查看當(dāng)前數(shù)據(jù)的報(bào)表信息（圖、表等類型），同時(shí)可以對(duì)這些數(shù)據(jù)進(jìn)行對(duì)比分析并生成相應(yīng)的分析文檔。

2.4 數(shù)據(jù)導(dǎo)入頁(yè)

通過(guò)前期設(shè)定好的數(shù)據(jù)來(lái)源分類、數(shù)據(jù)類型分類等方式，將數(shù)據(jù)通過(guò)導(dǎo)入、自主上傳等方式錄入進(jìn)系統(tǒng)中，系統(tǒng)將以類型的等方式將數(shù)據(jù)錄入至數(shù)據(jù)庫(kù)中。

2.5 數(shù)據(jù)來(lái)源類型管理頁(yè)

擁有權(quán)限的管理員可以根據(jù)不同的數(shù)據(jù)來(lái)源，類型將錄入數(shù)據(jù)的類型進(jìn)行整理和分類。其他用戶可以通過(guò)設(shè)定好的類型進(jìn)行數(shù)據(jù)錄入和數(shù)據(jù)查看，而系統(tǒng)需求中提及的6個(gè)大類全部都由此部分完成，管理員可以根據(jù)上面6種行業(yè)類型的不同細(xì)分將對(duì)應(yīng)的類似與（設(shè)備、網(wǎng)絡(luò)、地址、運(yùn)維人員）等數(shù)據(jù)進(jìn)行統(tǒng)一歸類，完成類型設(shè)置后即可對(duì)該類型下的數(shù)據(jù)進(jìn)行管理和查看。

2.6 用戶管理頁(yè)

擁有管理權(quán)限的管理員可以在該頁(yè)面中對(duì)其他系統(tǒng)操作人員進(jìn)行角色，權(quán)限的分類，并可查看這些工作人員近期的操作記錄。

2.7 系統(tǒng)管理頁(yè)

擁有權(quán)限的管理人員可以在該頁(yè)面中對(duì)于系統(tǒng)的、數(shù)據(jù)備份、系統(tǒng)參數(shù)等模塊進(jìn)行管理和操作。

3 大數(shù)據(jù)分析技術(shù)

分析技術(shù)意味著對(duì)海量數(shù)據(jù)進(jìn)行分析以實(shí)時(shí)得出答案，但是應(yīng)用在大數(shù)據(jù)分析平臺(tái)中，由于大數(shù)據(jù)自身的龐大性和復(fù)雜性，使得該項(xiàng)技術(shù)目前還不太成熟，相信隨著相關(guān)技術(shù)的不斷進(jìn)步，大數(shù)據(jù)分析技術(shù)會(huì)日益完善。目前，大數(shù)據(jù)分析主要以下幾個(gè)方面功能。

3.1 可視化分析

大數(shù)據(jù)分析系統(tǒng)中最基本功能就是數(shù)據(jù)可視化，它針對(duì)所有客戶端用戶或是數(shù)據(jù)分析人員，通過(guò)圖像化的數(shù)據(jù)來(lái)表示數(shù)據(jù)，讓用戶有更好的感受結(jié)果體驗(yàn)。

3.2 數(shù)據(jù)挖掘算法

數(shù)據(jù)挖掘主要是用來(lái)實(shí)現(xiàn)客戶端的數(shù)據(jù)圖像化，通過(guò)數(shù)據(jù)挖掘功能將數(shù)據(jù)以圖像的形式表現(xiàn)出來(lái)，也是機(jī)器語(yǔ)文的翻譯器。該算法具有精煉數(shù)據(jù)，高速處理的優(yōu)點(diǎn)，能能夠應(yīng)付大數(shù)據(jù)平臺(tái)中龐大的數(shù)據(jù)量，而且還要實(shí)現(xiàn)高速計(jì)算。

3.3 預(yù)測(cè)分析能力

在大數(shù)據(jù)分析平臺(tái)中，數(shù)據(jù)挖掘可以實(shí)現(xiàn)數(shù)據(jù)計(jì)算和轉(zhuǎn)換，極大的提升判斷的準(zhǔn)確性，而平臺(tái)預(yù)測(cè)分析功能卻是讓用戶或是分析人員利用圖像和數(shù)據(jù)挖掘的結(jié)果來(lái)做一些正確的判斷和使用，是平臺(tái)比較重要的功能。

3.4 語(yǔ)義引擎

由于龐大的數(shù)據(jù)量給日常數(shù)據(jù)處理帶來(lái)很大困難，加上數(shù)據(jù)多元化且非結(jié)構(gòu)化的特點(diǎn)，此時(shí)的數(shù)據(jù)處理需要使用專業(yè)的系統(tǒng)工具進(jìn)行分析和提煉，而語(yǔ)義引擎的主要作用就是滿足人工智能化的數(shù)據(jù)信息提取。

3.5 數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理

平臺(tái)最后的一個(gè)功能就是對(duì)數(shù)據(jù)的質(zhì)量和管理進(jìn)行控制，通過(guò)標(biāo)準(zhǔn)化流程處理數(shù)據(jù)，以此來(lái)獲得預(yù)設(shè)質(zhì)量的分析結(jié)果。

目前的大數(shù)據(jù)平臺(tái)是由非結(jié)構(gòu)化數(shù)據(jù)存放文件系統(tǒng)+完善備份和容災(zāi)體系組成，使得該大數(shù)據(jù)平臺(tái)即經(jīng)濟(jì)又實(shí)惠，與目前市場(chǎng)上昂貴的小型機(jī)集群+商業(yè)數(shù)據(jù)庫(kù)方案比較，不僅在性能上沒(méi)有缺失，還具備了充分的可擴(kuò)展性。在設(shè)計(jì)該方案的初期，就已經(jīng)開始思考該大數(shù)據(jù)平臺(tái)的后續(xù)擴(kuò)展性問(wèn)題。

（1）商業(yè)并行數(shù)據(jù)庫(kù)的基本要求就是各節(jié)點(diǎn)物理結(jié)構(gòu)相同，這樣才會(huì)滿足數(shù)據(jù)的近似計(jì)算和存儲(chǔ)要求。但是隨著硬件技術(shù)的不斷發(fā)展，后來(lái)擴(kuò)容增加的配件肯定要優(yōu)于最早的老硬件，這樣就會(huì)打破物理結(jié)構(gòu)相同這個(gè)原則，舊硬件也會(huì)逐漸成為平臺(tái)發(fā)展的阻礙。為了能更好的保持系統(tǒng)的優(yōu)越性，只能選擇慢慢替換舊硬件，這樣就會(huì)產(chǎn)生成本浪費(fèi)，經(jīng)濟(jì)損失自然巨大。

（2）就是目前最優(yōu)的商業(yè)并行數(shù)據(jù)庫(kù)，能管理的數(shù)據(jù)節(jié)點(diǎn)量也是有限制的，一般都是控制在幾十到上百這個(gè)區(qū)間，這也是架構(gòu)設(shè)計(jì)不合理導(dǎo)致，這種數(shù)據(jù)庫(kù)的后續(xù)擴(kuò)容性肯定有限。而MapReduce+GFS框架，卻不存在以上問(wèn)題，日后如果需要擴(kuò)容，僅增設(shè)機(jī)柜即可，再輔以適量的計(jì)算單元和存儲(chǔ)，集群系統(tǒng)會(huì)自動(dòng)分配和調(diào)度這些資源，一點(diǎn)不會(huì)影響到現(xiàn)有系統(tǒng)的正常運(yùn)行。

4 系統(tǒng)安全設(shè)計(jì)

4.1 壓力測(cè)試工具

建議使用HP的LoadRunner壓力測(cè)試工具LoadRunner，該工具能很好的預(yù)測(cè)系統(tǒng)行業(yè)和性能測(cè)試。通過(guò)使用該測(cè)試工具，可以有效縮短測(cè)試時(shí)間，同時(shí)優(yōu)化系統(tǒng)性能，它目前被大量應(yīng)用于各種體系架構(gòu)的自動(dòng)負(fù)載測(cè)試中。

4.2 防火墻技術(shù)

為了更好的安全性能，網(wǎng)絡(luò)火墻要以多種網(wǎng)關(guān)方式進(jìn)行設(shè)置，過(guò)濾表應(yīng)以匹配模式進(jìn)行設(shè)計(jì)：IP地址、MAC地址、TCP端口號(hào)、UDP端口號(hào)、主機(jī)域名、網(wǎng)段等。比如，允許通過(guò)的只能是合法認(rèn)可的IP，而非屏蔽的非常IP地址；端口方面也只能放行特定的端口號(hào)（即具體的服務(wù)），屏蔽那些含非法端口號(hào)的數(shù)據(jù)包等。

4.3 入侵檢測(cè)

雖然經(jīng)過(guò)防火墻技術(shù)可以過(guò)濾大部分不安全訪問(wèn)，但是想完全實(shí)現(xiàn)網(wǎng)絡(luò)安全僅依靠防火墻技術(shù)是不可能的，入侵檢測(cè)系統(tǒng)就是最好的補(bǔ)漏體系，它是根據(jù)已有的、最新的攻擊手段的信息代碼對(duì)進(jìn)出網(wǎng)段的所有操作行為進(jìn)行實(shí)時(shí)監(jiān)控、記錄，并進(jìn)行實(shí)時(shí)阻斷、報(bào)警等策略，有效防止網(wǎng)絡(luò)攻擊和其它非法行為。

參考文獻(xiàn)

[1] 肖成勇，趙子川，王淑芬.電力技術(shù)自動(dòng)化在我國(guó)電力系統(tǒng)中的重要性和發(fā)展趨勢(shì)[J].大科技，2012（10）：11-13.

[2] 杜立民.電力競(jìng)爭(zhēng)與我國(guó)電力產(chǎn)業(yè)市場(chǎng)化改革[M].杭州：浙江大學(xué)出版社，2010.