基于云存儲的電力全量業(yè)務數(shù)據(jù)歸集體系研究

張建松 周升 沈思琪

摘 要 目前，國家電網公司擁有大量的歷史庫存數(shù)據(jù)和種類日益豐富的實時業(yè)務信息資源，電力公司的數(shù)據(jù)圍繞使用關系數(shù)據(jù)庫進行集中存儲，難以實現(xiàn)高效的數(shù)據(jù)計算、挖掘。在此基礎上實現(xiàn)了業(yè)務操作的整個數(shù)據(jù)采集，數(shù)據(jù)存儲是數(shù)據(jù)處理系統(tǒng)的關鍵環(huán)節(jié)。基于云計算技術的研究框架，減少云基于存儲數(shù)據(jù)收集框架，提出了可以解決數(shù)據(jù)存儲的問題在整個過程中業(yè)務數(shù)據(jù)還原過程穩(wěn)定和有效的，并且可以依賴，保證供應的整個業(yè)務數(shù)據(jù)。

關鍵詞 云存儲;數(shù)據(jù)還原;運行數(shù)據(jù)

引言

建設全業(yè)務、全時間維度、全類型的數(shù)據(jù)中心是國家電力公司運行監(jiān)控中心數(shù)據(jù)采集工作的基礎。其目的是在此基礎上為電力公司的各種決策提供全面的信息支持和高效的分析計算。為了改變冗余數(shù)據(jù)，對提取的數(shù)據(jù)進行局部返工，采用了全方位配套電力公司的大數(shù)據(jù)分析與應用。然而，由于國家電網電力公司參與了許多應用程序系統(tǒng)，包括E RP、營銷、生產、調度和其他業(yè)務系統(tǒng)，這些系統(tǒng)積累了大量的股票數(shù)據(jù)，同時需要考慮的各種實時數(shù)據(jù)采集設備和復雜的外部環(huán)境數(shù)據(jù)，數(shù)據(jù)量是非常大的。在此基礎上，海洋數(shù)據(jù)的清查是一個必須解決的問題，才能完成作業(yè)數(shù)據(jù)的完整清查?？紤]到模塊的存儲容量存儲在集合存儲在瓶頸問題，打開大尺寸，模塊的存儲容量存儲在云，因此被認為是存儲數(shù)據(jù)的體積進入模塊存儲在云端。

1基于云存儲的約簡系統(tǒng)介紹

基于匯聚的云存儲是源于云計算框架的一個新概念，它源于海洋數(shù)據(jù)存儲問題，專注于大數(shù)據(jù)存儲的解決方案。它主要通過集群技術和新開發(fā)的網絡技術，將大量的數(shù)據(jù)存儲和準備工作結合在一起，能夠存儲和訪問提交給單個系統(tǒng)的數(shù)據(jù)。云存儲是一種低成本、可伸縮的網絡類型，適用于實際使用的服務[1]。

目前，國家電網公司交通監(jiān)管中心的數(shù)據(jù)中心不僅有大量的結構化和非結構化庫存數(shù)據(jù)，而且有來自各個業(yè)務系統(tǒng)的實時數(shù)據(jù)采集。還有國家電網數(shù)據(jù)的增長率、數(shù)據(jù)的保密性等問題。出于這個原因，有必要綜合考慮大數(shù)據(jù)存儲的特點問題國家電力網絡基于云存儲和存儲，并制定一套全面的數(shù)據(jù)存儲系統(tǒng)基于云存儲的電能存儲科學和理性，提供和支持業(yè)務操作的全面的數(shù)據(jù)收集。

2基于云存儲的電力全業(yè)務數(shù)據(jù)采集系統(tǒng)

根據(jù)國家電網公司交通監(jiān)管中心對全業(yè)務數(shù)據(jù)采集的整體架構和技術路線的統(tǒng)一要求，電力公司的數(shù)據(jù)首先要連接到緩沖區(qū)。逐步建立熱點數(shù)據(jù)庫、實時數(shù)據(jù)庫、數(shù)據(jù)集市場和數(shù)據(jù)倉庫。因此，基于云存儲的數(shù)據(jù)約簡收集系統(tǒng)的框架主要由以下幾層構成。

2.1 存儲與存儲層

存儲層是云存儲與存儲數(shù)據(jù)約簡系統(tǒng)中基群的一部分。它位于系統(tǒng)的底層，由多個存儲和備用設備組合使用，包括用作緩沖區(qū)的MyS QL數(shù)據(jù)庫和適用于分布式幀的Mon goD B。它能夠支持高并發(fā)、低延時的吞吐量操作和海量數(shù)據(jù)的部署，能夠支持多種復雜的數(shù)據(jù)格式，非常適合國家電網電力大數(shù)據(jù)的分布式存儲和高速讀寫。

2.2 存儲誘導引擎

主要是對數(shù)據(jù)庫的管理，但它是云存儲誘導系統(tǒng)的核心層。由于云存儲是基于網絡技術的模塊，需要通過集群協(xié)作來完成，因此需要強調數(shù)據(jù)的安全性、一致性和容錯性。領導機構的主要技術有DHT數(shù)據(jù)分布、強單值數(shù)據(jù)復制、數(shù)據(jù)壓縮、聚類狀態(tài)管理、同時進行數(shù)據(jù)重構和自愈等，以保證數(shù)據(jù)的一致性、安全性和災后恢復能力。

2.3 存儲服務層

服務層主要用于提供數(shù)據(jù)訪問和數(shù)據(jù)備份服務?；谠拼鎯Φ臄?shù)據(jù)采集系統(tǒng)要求授權用戶使用標準服務接口登錄，使用內部的數(shù)據(jù)資源。同時，為了保證大量用戶登錄時的訪問速度，需要緩存技術M。該層主要由分布式快照、本地化緩存、精簡配置、分層存儲和數(shù)據(jù)備份模塊組成。

2.4 存儲接口層

基于云存儲的電力全業(yè)務數(shù)據(jù)采集系統(tǒng)主要基于iSCSI/RBD接口協(xié)議。其中，iSCSI是指IP協(xié)議中的SCSI指令集，是一種開放的標準。它主要采用TCP/IP協(xié)議進行指令封裝。因此，基于該協(xié)議，它可以在任何基于IP的網絡中傳播。采用SCSI/RBD接口協(xié)議標準，用戶可以方便地存儲和訪問數(shù)據(jù)。

3基于云存儲的電力全量業(yè)務數(shù)據(jù)歸集體系關鍵技術

3.1 虛擬分布存儲技術

虛擬分布存儲技術是指虛擬存儲技術，通過虛擬仿真方法，從不同的廠家，不同的業(yè)務系統(tǒng)，不同的類型，不同的信息和協(xié)調的存儲和存儲鏈接，每個組的身體系統(tǒng)映射到一個統(tǒng)一的資源池，并通過虛擬正交線數(shù)據(jù)系統(tǒng)管理，它可以用作數(shù)據(jù)的物理配置及其變構屬性的屏幕，從而降低了數(shù)據(jù)管理和維護的成本。sub-distribution方法是基于虛擬simulacrity技術建立虛擬simulacrity分散信息源，進行存儲和存儲的部分負荷負載通過多個相互關聯(lián)的存儲和存儲服務器、存儲和執(zhí)行定位和信息通過位置服務器在同一時間，所以這項技術可以用來提高系統(tǒng)的可擴展性和效率[2]。實現(xiàn)了不同的數(shù)據(jù)采集系統(tǒng)、不同的存儲設施、不同的服務在云存儲中的高效協(xié)作。

3.2 基于重復數(shù)據(jù)擦除的數(shù)據(jù)準備

隨著全國電網電氣數(shù)據(jù)量的增加，數(shù)據(jù)的冗余部分不斷增加，導致更多的存儲空間被占用，同時也給數(shù)據(jù)儲備帶來了巨大的壓力。因此，擦除復雜數(shù)據(jù)是一種不常見的數(shù)據(jù)壓縮技術，它基于擦除操作邏輯來消除數(shù)據(jù)中的冗余位、數(shù)據(jù)塊或文檔。在保證的系統(tǒng)中只存儲單個數(shù)據(jù)。增加的數(shù)字被傳輸?shù)竭M程中的有效數(shù)字。同時考慮了原始數(shù)據(jù)出錯、假刪除等情況下的數(shù)據(jù)恢復問題，數(shù)據(jù)儲備技術也是系統(tǒng)不可缺少的一部分。因此，在數(shù)據(jù)擦除技術的過程中，也減少了數(shù)據(jù)存儲工作的數(shù)據(jù)存儲容量，解決了不必要的存儲空間問題。

3.3 數(shù)據(jù)安全技術

家庭數(shù)據(jù)的安全一直是人們關注的問題。數(shù)據(jù)安全主要是指數(shù)據(jù)泄漏、數(shù)據(jù)丟失和數(shù)據(jù)修正。在存儲和存儲框架中，數(shù)據(jù)離用戶越近，就越安全。然而，在云存儲的框架下，數(shù)據(jù)離用戶越近，越安全?；谠拼鎯Φ臄?shù)據(jù)采集系統(tǒng)通過大量的類網客戶端對系統(tǒng)的運行進行異常監(jiān)控和測量。當它可以到達網絡時，獲取疾病病毒和木馬進程的信息并推送到服務器端進行處理。之后，將木馬病毒和解決方法發(fā)送給所有客戶端。通過將整個身體捆綁成一個防御系統(tǒng)，海洋數(shù)據(jù)的安全性得到了保證。

4基于云存儲的數(shù)據(jù)約簡系統(tǒng)的優(yōu)點

4.1 提高存儲和存儲資源利用率

虛擬仿真是基于云存儲的數(shù)據(jù)采集系統(tǒng)的特點之一。通過該技術，可以提取并呈現(xiàn)出全國電網利用率較低的信息源。從源更高的利率，所以這些資源不受現(xiàn)有的框架與傳遞限制的配置系統(tǒng)，通過使用低的組件重組，可以最大化物理硬件的使用，最終目標來改善整個身體的使用。

4.2 基于云存儲的數(shù)據(jù)約簡采集系統(tǒng)

為了提高系統(tǒng)的運行效率，也實現(xiàn)了數(shù)據(jù)存儲與海量數(shù)據(jù)存儲同時使用。也就是說，在存儲數(shù)據(jù)的同時，也實現(xiàn)了應該使用的存儲能量。系統(tǒng)的能量存儲設備和服務器同時，可以大大減少數(shù)據(jù)的存儲設備和減少能源瓶頸和單點故障問題由服務器的存儲系統(tǒng)，從而降低系統(tǒng)的成本。通過減少數(shù)據(jù)傳輸?shù)沫h(huán)數(shù)，實現(xiàn)了整個存儲系統(tǒng)的高效運行。

4.3 加強了系統(tǒng)的安全性

基于云存儲的數(shù)據(jù)聚合系統(tǒng)所采用的安全技術在防病毒功能上比傳統(tǒng)的防病毒策略具有更多的優(yōu)勢。由于大量的客戶端被用來監(jiān)測網絡系統(tǒng)的異常運行，系統(tǒng)往往在防病毒技術的競爭中處于領先地位，同時，由于并行處理與網格計算等新技術的融合，可以實現(xiàn)快速的自動異常分析和處理，并將解決方案應用于每個客戶。原則上，只要有足夠的客戶端，就可以意識到只要有新的木馬或病毒，就會立即被獲取和處理，從而大大提高整個存儲系統(tǒng)的安全性能

4.4 系統(tǒng)的可擴展性

開放階段使傳輸系統(tǒng)的存儲系統(tǒng)各節(jié)點的運行信息通過一定策略的執(zhí)行得以實現(xiàn)?；谠拼鎯Φ臄?shù)據(jù)采集系統(tǒng)，采用松耦合和非配對幀，便于對數(shù)據(jù)路徑外元素的數(shù)據(jù)服務器進行控制。這種集中控制的方法支持新層的擴展，具有以下優(yōu)點：

（1）存儲節(jié)點不需要從網絡節(jié)點接收驗證信息，更多的資源用于提供對讀寫服務的訪問。

（2）客戶可以通過虛擬仿真、實例或快速klyo的硬件部分來實現(xiàn)云存儲。

（3）消除了節(jié)點間共享大量狀態(tài)所產生的開針和家庭網絡互聯(lián)的需要，進一步降低了存儲系統(tǒng)的成本。

（4）利用采集中控制功率和能量的數(shù)據(jù)，利用存儲節(jié)點實現(xiàn)深層分類，實現(xiàn)對現(xiàn)有資源的精細化管理。

5結束語

針對電力公司運行監(jiān)控中心全業(yè)務數(shù)據(jù)采集過程中存在的數(shù)據(jù)量大、數(shù)據(jù)類型復雜、數(shù)據(jù)更新速度快等問題，提出了一種適用于全業(yè)務數(shù)據(jù)采集工作的存儲系統(tǒng)克服了數(shù)據(jù)采集問題，存儲系統(tǒng)具有成本高、處理速度慢、擴展性能差等優(yōu)點，解決了大規(guī)模業(yè)務海量數(shù)據(jù)的存儲問題。同時，該系統(tǒng)具有設備虛擬化、數(shù)據(jù)安全、訪問速度快、運行效率高等優(yōu)點，能夠很好地滿足當前全業(yè)務對業(yè)務數(shù)據(jù)采集工作的需要，對于后期可能出現(xiàn)的新問題，以系統(tǒng)的高可擴展性為保證，最后針對整個業(yè)務數(shù)據(jù)采集工作過程中的數(shù)據(jù)采集問題提供了完整的解決方案。

參考文獻

[1] 嚴霄鳳，張德馨.大數(shù)據(jù)研究[J].計算機技術與發(fā)展，2013，23（4）： 168-172.

[2] 喬琳，許暉.復雜企業(yè)決策支持環(huán)境下的數(shù)據(jù)倉庫體系結構的演化[J].計算機工程與應用，2000，36（7）：98-100.