電網(wǎng)GIS平臺內(nèi)存數(shù)據(jù)庫優(yōu)化技術(shù)應(yīng)用研究

楊沂婷，呂舒清，顏康，李穎，白曉龍

（1.國網(wǎng)山東省電力公司電力科學(xué)研究院，濟南250003；2．國網(wǎng)山東省電力公司，濟南250001）

電網(wǎng)GIS平臺內(nèi)存數(shù)據(jù)庫優(yōu)化技術(shù)應(yīng)用研究

楊沂婷1，呂舒清2，顏康1，李穎1，白曉龍1

（1.國網(wǎng)山東省電力公司電力科學(xué)研究院，濟南250003；2．國網(wǎng)山東省電力公司，濟南250001）

隨著國家電網(wǎng)公司信息化建設(shè)步伐的加快，日益增長的業(yè)務(wù)應(yīng)用規(guī)模和海量數(shù)據(jù)給GIS系統(tǒng)的安全穩(wěn)定運行帶來困難，系統(tǒng)性能和可靠性成為信息化建設(shè)過程中的突出問題。提出一種基于內(nèi)存數(shù)據(jù)庫性能優(yōu)化技術(shù)，形成從主機、中間件、數(shù)據(jù)庫、存儲及應(yīng)用程序監(jiān)控、分析和優(yōu)化的整體方案，可以有效地解決電力行業(yè)海量數(shù)據(jù)造成的響應(yīng)延時、性能下降、數(shù)據(jù)庫訪問中斷等問題，提高系統(tǒng)的穩(wěn)定性、安全性及經(jīng)濟性。

海量數(shù)據(jù)；內(nèi)存數(shù)據(jù)庫；多級緩存優(yōu)化

0　引言

隨著電力行業(yè)運檢、營銷系統(tǒng)業(yè)務(wù)量和數(shù)據(jù)量的不斷增長，現(xiàn)有電網(wǎng)GIS系統(tǒng)及配置環(huán)境難以滿足海量數(shù)據(jù)處理需求，存在著系統(tǒng)響應(yīng)延時、性能下降、數(shù)據(jù)庫訪問中斷等風(fēng)險，給運行維護工作帶來很大困難。山東省電力公司電網(wǎng)整體規(guī)模大，近年來電網(wǎng)改造工程量大，電網(wǎng)管理水平提升要求高，隨著電網(wǎng)GIS平臺應(yīng)用的全面開展，運檢、營銷等相關(guān)專業(yè)對于電網(wǎng)GIS平臺的運行效率、應(yīng)用實現(xiàn)效果及業(yè)務(wù)應(yīng)用拓展支撐能力提出了新的需求。由于核心系統(tǒng)存在無法通過提升硬件來解決存在的問題，導(dǎo)致處理器、磁盤及內(nèi)存長期處于高負荷狀態(tài)下，嚴重影響了系統(tǒng)的安全性、穩(wěn)定性和經(jīng)濟性。主要體現(xiàn)在以下方面：一是數(shù)據(jù)存儲容量不斷增長且難以預(yù)估，對數(shù)據(jù)庫性能產(chǎn)生嚴重的影響；二是存儲數(shù)據(jù)的成本在不斷地增加，如何削減開支，節(jié)約成本以保證高可用性成為亟待解決的問題。針對山東省電力公司運檢、營銷系統(tǒng)的業(yè)務(wù)特點、業(yè)務(wù)容量及用戶需求，開展了電網(wǎng)GIS平臺深化應(yīng)用工作。

在電網(wǎng)GIS平臺深化應(yīng)用中，充分利用現(xiàn)有計算機硬件技術(shù)提供的大內(nèi)存、多CPU多核等特點，將全省規(guī)模的電網(wǎng)模型、拓撲和圖形緩存于多臺服務(wù)器群集的內(nèi)存中，通過地理分區(qū)、電壓等級分區(qū)等多種分區(qū)方式在多機群集間分擔(dān)負載和故障切換，通過內(nèi)存數(shù)據(jù)庫技術(shù)，避免I/O操作，通過訪問緩存數(shù)據(jù)進行圖形瀏覽顯示和拓撲分析，能夠為大規(guī)模應(yīng)用提供高性能的訪問服務(wù)，提升了系統(tǒng)性能和穩(wěn)定性。

1　電網(wǎng)GIS平臺系統(tǒng)結(jié)構(gòu)

電網(wǎng)GIS平臺服務(wù)器部署架構(gòu)如圖1所示。電網(wǎng)GIS平臺由客戶端根據(jù)分區(qū)規(guī)則將部分數(shù)據(jù)緩存在本地，應(yīng)用程序訪問本地緩存數(shù)據(jù)進行圖形的瀏覽和編輯，待編輯完成需要提交時或網(wǎng)絡(luò)重新連通時本地緩存數(shù)據(jù)與服務(wù)器數(shù)據(jù)進行同步，保持緩存數(shù)據(jù)與服務(wù)器同步。電網(wǎng)GIS平臺為全在線模式，本地不再下載緩存數(shù)據(jù)，采用實時柵格化進行圖形瀏覽，通過數(shù)據(jù)代理的數(shù)據(jù)訪問接口直接連接數(shù)據(jù)庫，進行編輯和數(shù)據(jù)提交保存。

圖1　電網(wǎng)GIS平臺服務(wù)器部署架構(gòu)

2　內(nèi)存數(shù)據(jù)庫性能優(yōu)化技術(shù)應(yīng)用

2.1內(nèi)存數(shù)據(jù)庫技術(shù)

傳統(tǒng)的數(shù)據(jù)庫把所有數(shù)據(jù)都放在磁盤上進行管理，磁盤數(shù)據(jù)庫需要頻繁地訪問磁盤來進行數(shù)據(jù)的操作，磁盤的讀寫速度遠遠低于CPU處理的速度，所以磁盤數(shù)據(jù)庫的瓶頸出現(xiàn)在磁盤的讀寫操作上。內(nèi)存數(shù)據(jù)庫是將全部或者大部分數(shù)據(jù)放在內(nèi)存中進行操作，可以更有效地使用CPU周期和內(nèi)存來提高處理速度。從計算存儲技術(shù)的角度看，由于服務(wù)器在處理數(shù)據(jù)時，CPU首先會從其緩存中查找數(shù)據(jù)，緩存中查找不到，再從內(nèi)存中查找，內(nèi)存里沒有，再從硬盤上讀取，如圖2所示。

圖2　內(nèi)存數(shù)據(jù)庫技術(shù)

在傳統(tǒng)數(shù)據(jù)庫查詢中，磁盤訪問時間是一個主要的瓶頸，如果查詢在讀寫速度快很多倍的內(nèi)存中進行，而不用訪問物理磁盤，將會大大提升處理性能。

近十幾年來，內(nèi)存的發(fā)展一直遵循摩爾定律，內(nèi)存的價格一直下降，而內(nèi)存的容量一直在增加?，F(xiàn)在的主流服務(wù)器，幾百GB的內(nèi)存都很常見，內(nèi)存的發(fā)展使得內(nèi)存數(shù)據(jù)庫得以實現(xiàn)。

內(nèi)存計算是CPU直接從內(nèi)存而不是硬盤上讀取數(shù)據(jù)，進行計算、分析，是對傳統(tǒng)數(shù)據(jù)處理方式的一種加速。內(nèi)存計算非常適合處理海量的數(shù)據(jù)以及需要實時獲得結(jié)果的數(shù)據(jù)。通過內(nèi)存計算技術(shù)，將來自數(shù)據(jù)庫的數(shù)據(jù)，實時地分發(fā)到內(nèi)存計算集群中。內(nèi)存計算根據(jù)服務(wù)的特性，重新組織數(shù)據(jù)，優(yōu)化數(shù)據(jù)結(jié)構(gòu)，保存在內(nèi)存中。在用戶端進行服務(wù)請求時，內(nèi)存計算再根據(jù)具體的請求，用重新組織過的數(shù)據(jù)，進行快速的計算分析，將結(jié)果返回給用戶端。

通過內(nèi)存數(shù)據(jù)庫優(yōu)化技術(shù)及多種技術(shù)手段，如高效、緊湊的數(shù)據(jù)結(jié)構(gòu)設(shè)計、大量運用內(nèi)存庫緩存技術(shù)、采用多級緩存及多種緩存機制等方法著力解決在集中部署模式下大并發(fā)訪問的性能問題。

2.2多級緩存優(yōu)化

電網(wǎng)GIS平臺的圖形圖像數(shù)據(jù)量大，大量用戶并發(fā)訪問對網(wǎng)絡(luò)和服務(wù)器產(chǎn)生很大的沖擊，部分用戶網(wǎng)絡(luò)帶寬不能滿足實時傳輸大量數(shù)據(jù)的要求，業(yè)務(wù)操作受到嚴重影響。因此需要在圖形應(yīng)用服務(wù)器、空間信息服務(wù)器和C/S客戶端采用多級緩存技術(shù)，降低網(wǎng)絡(luò)數(shù)據(jù)下載、提交頻率及網(wǎng)絡(luò)數(shù)據(jù)流量，提高客戶端響應(yīng)速度，解決集中部署的并發(fā)維護性能瓶頸及效率問題，降低建設(shè)、維護的成本。

圖形應(yīng)用服務(wù)器在內(nèi)存中緩存電網(wǎng)資源數(shù)據(jù)、源數(shù)據(jù)，采用哈希索引機制，對象查找效率高；對于幾何數(shù)據(jù)采用多級空間索引機制，空間分析效率高；網(wǎng)絡(luò)拓撲模型采用拓撲索引機制，連通性分析、帶電計算等網(wǎng)絡(luò)應(yīng)用效率高，能夠滿足實時表達電網(wǎng)、動態(tài)著色的需求。

由于數(shù)據(jù)庫服務(wù)器處理能力較難平行擴展，如果圖形應(yīng)用服務(wù)的每次請求都需要訪問數(shù)據(jù)庫服務(wù)器，將產(chǎn)生嚴重的性能瓶頸。因此，對于圖形應(yīng)用服務(wù)的設(shè)計和實現(xiàn)，充分利用最新計算機硬件技術(shù)提供的大內(nèi)存、多CPU多核等特點，將全省規(guī)模的電網(wǎng)模型、拓撲和圖形緩存于應(yīng)用服務(wù)器的內(nèi)存中，通過優(yōu)化的內(nèi)存數(shù)據(jù)庫訪問算法和負載均衡策略，在圖形應(yīng)用服務(wù)器上承載絕大部分數(shù)據(jù)訪問壓力，盡量降低對數(shù)據(jù)庫數(shù)據(jù)通道的占用，提升服務(wù)器吞吐能力。

圖形渲染、查詢定位、拓撲分析基于內(nèi)存緩存，不直接對數(shù)據(jù)庫進行操作。對于電子地圖、遙感影像等不經(jīng)常變化的數(shù)據(jù)，采用切片地圖技術(shù)或客戶端本地緩存技術(shù)提高數(shù)據(jù)訪問性能。橫向上，采用多機、可平行擴展的服務(wù)器集群技術(shù)，通過按地理分區(qū)、版本分區(qū)或者功能分區(qū)等方式在多機群集間分擔(dān)負載，并實現(xiàn)故障熱備切換，提升電網(wǎng)GIS應(yīng)用服務(wù)的性能、可靠性以及可擴展性；縱向上，通過多級緩存技術(shù)來延伸和擴展數(shù)據(jù)庫服務(wù)器的I/O及運算能力。

2.3低帶寬占用的緩存部署方式

電網(wǎng)GIS平臺管理的圖形圖像數(shù)據(jù)量大，大量用戶的并發(fā)訪問對網(wǎng)絡(luò)和服務(wù)器的壓力很大，而且有些用戶網(wǎng)絡(luò)帶寬不能滿足實時傳輸大量圖形圖像數(shù)據(jù)的要求，因此需要在應(yīng)用服務(wù)器和客戶端采用緩存技術(shù)提高系統(tǒng)運行效率和可用性。數(shù)據(jù)緩存包括如下幾個方面的內(nèi)容。

電網(wǎng)空間信息服務(wù)器的內(nèi)存緩存。大量B/S用戶訪問應(yīng)用服務(wù)器，如果應(yīng)用服務(wù)器每次請求都訪問數(shù)據(jù)庫服務(wù)器的話，將會產(chǎn)生非常巨大數(shù)據(jù)需求。因此電網(wǎng)資源數(shù)據(jù)在空間信息服務(wù)器的內(nèi)存中進行緩存，不直接對數(shù)據(jù)庫進行訪問。

空間信息服務(wù)的矢量緩存和切片緩存。對于電子地圖、遙感影像等不經(jīng)常變化的數(shù)據(jù)，采用切片地圖技術(shù)提高數(shù)據(jù)訪問性能，同時極大程度降低數(shù)據(jù)庫服務(wù)器壓力。亦可采用DDC（直接數(shù)字控制）等技術(shù)對電子地圖進行緩存。

C/S客戶端的緩存。C/S客戶端從數(shù)據(jù)庫服務(wù)器下載管轄范圍內(nèi)的數(shù)據(jù)至緩存，采用內(nèi)存數(shù)據(jù)庫技術(shù)訪問緩存數(shù)據(jù)進行圖形瀏覽顯示和拓撲分析，避免I/O操作。為確保數(shù)據(jù)一致性，電網(wǎng)修改的更新數(shù)據(jù)在更新緩存的同時同步寫入數(shù)據(jù)庫服務(wù)器。

2.4緩存數(shù)據(jù)同步實現(xiàn)方式

由于運用了數(shù)據(jù)緩存機制，在數(shù)據(jù)庫與內(nèi)存庫之間，數(shù)據(jù)支撐層、服務(wù)支撐層、客戶端多級緩存之間、服務(wù)支撐層內(nèi)部服務(wù)之間，C/S與B/S之間，都涉及復(fù)雜的緩存數(shù)據(jù)失效處理、數(shù)據(jù)同步的一致性和可靠性問題。分析內(nèi)存數(shù)據(jù)庫的特點，針對內(nèi)存數(shù)據(jù)庫的數(shù)據(jù)組織、查詢技術(shù)與優(yōu)化、并發(fā)控制等方面進行研究，采用空間海量多元數(shù)據(jù)同一索引算法，快速定位索引實時數(shù)據(jù)；基于自適應(yīng)電網(wǎng)資源拓撲結(jié)構(gòu)變化多服務(wù)器緩存同步技術(shù)，快速同步拓撲數(shù)據(jù)；基于智能算法，優(yōu)化海量連續(xù)實時數(shù)據(jù)的查詢技術(shù)；基于統(tǒng)一的網(wǎng)絡(luò)通信基礎(chǔ)平臺，實現(xiàn)在線橫向、縱向即時數(shù)據(jù)同步，增強協(xié)同工作能力。圖形數(shù)據(jù)編輯由圖形服務(wù)完成，數(shù)據(jù)庫提交與圖形服務(wù)內(nèi)存庫的更改同步完成，對于圖形服務(wù)無法感知的數(shù)據(jù)編輯，通過后臺同步服務(wù)實現(xiàn)數(shù)據(jù)一致性的保障機制，確保數(shù)據(jù)存儲高效、同步準(zhǔn)確。

2.5應(yīng)用效果

通過內(nèi)存數(shù)據(jù)庫優(yōu)化技術(shù)，制定合理的內(nèi)存表存儲策略，數(shù)據(jù)訪問速度提升效果明顯。內(nèi)存數(shù)據(jù)庫優(yōu)化前后性能指標(biāo)對比見表1。

表1　內(nèi)存數(shù)據(jù)庫優(yōu)化前后性能指標(biāo)對比

3　結(jié)語

分析內(nèi)存數(shù)據(jù)庫技術(shù)、多級緩存優(yōu)化、低帶寬占用的緩存部署方式、緩存數(shù)據(jù)同步實現(xiàn)方式等一系列內(nèi)存數(shù)據(jù)庫優(yōu)化技術(shù)及實現(xiàn)方式。通過“山東GIS深化應(yīng)用”系統(tǒng)的應(yīng)用實踐，表明內(nèi)存數(shù)據(jù)庫優(yōu)化技術(shù)很大程度上解決了電力行業(yè)高訪問量、高并發(fā)量及復(fù)雜數(shù)據(jù)處理引發(fā)的應(yīng)用瓶頸，極大地提高了系統(tǒng)的穩(wěn)定性、安全性及經(jīng)濟性，可以對電力行業(yè)海量數(shù)據(jù)進行有效處理。同時，也為其他電力企業(yè)重整信息系統(tǒng)架構(gòu)、建立一體化信息支撐體系提供了有益借鑒。

［1］GARCIA MH，SALEMK.Mainmemorydatabasesystems：An overview［J］.Knowledge and Data Engineering，IEEE Transactions on，1992，4（6）：509－516.

［2］李華植.VIP——海量數(shù)據(jù)庫解決方案［M］.北京：電子工業(yè)出版社，2011.

Optimization Technology of the Power GIS Platform Memory Database

YANG Yiting1，LV Shuqing2，YAN Kang1，LI Ying1，BAI Xiaolong1
（1.State Grid Shandong Electric Power Research Institute，Jinan 250003，China；2.State Grid Shandong Electric Power Company，Jinan 250001，China）

With the quickening pace of the informatization construction of the state grid corporation，the increasing business application scales and mass data have brought difficulties to the security and stability of GIS.The performance and reliability of GIS became prominent problems in the process of information construction.A new method based on memory database performance optimization is proposed，which formed the overall solution from the host，middleware，databases，storages and application programs.The system can effectively solve response delay，performance decline，database access caused by mass data，and improve the stability，security and economy of GIS.

mass data；main memory database；multi-level cache

TP311.13

B

1007－9904（2015）12－0058－03

2015－10－20

楊沂婷（1980），女，工程師，從事信息化管理咨詢工作；

呂舒清（1983），男，工程師，從事信息化咨詢工作；

顏康（1986），男，工程師，從事信息化管咨詢工作；

李穎（1988），女，工程師，從事信息化咨詢工作；

白曉龍（1986），男，工程師，從事信息化咨詢工作。