用電信息采集系統(tǒng)的數(shù)據(jù)庫服務(wù)器運行指標(biāo)監(jiān)測與性能分析

趙 佩，王立斌，李 翀，王洪瑩，張 超

(國網(wǎng)河北省電力公司電力科學(xué)研究院， 石家莊 050021)

?

用電信息采集系統(tǒng)的數(shù)據(jù)庫服務(wù)器運行指標(biāo)監(jiān)測與性能分析

趙 佩，王立斌，李 翀，王洪瑩，張 超

(國網(wǎng)河北省電力公司電力科學(xué)研究院， 石家莊 050021)

為提升運維效率，保證穩(wěn)定運行，通過對用電信息采集系統(tǒng)主站服務(wù)器日志和數(shù)據(jù)庫負(fù)荷報告的日常分析經(jīng)驗總結(jié)，提出系統(tǒng)運行指標(biāo)監(jiān)測和性能分析方法，以期為支撐海量數(shù)據(jù)挖掘與深化應(yīng)用，提升采集系統(tǒng)運行與管理效率等方面奠定堅實基礎(chǔ)。

智能電網(wǎng)；采集系統(tǒng)；運行指標(biāo)監(jiān)測；性能分析

1 概述

用戶用電信息采集系統(tǒng)(簡稱“采集系統(tǒng)”)以智能電能表和通信網(wǎng)絡(luò)為基礎(chǔ)支撐[1]，覆蓋購供售三側(cè)關(guān)口，對各項電氣量數(shù)據(jù)進行實時精確采集，為電網(wǎng)運營管理提供了準(zhǔn)確的海量數(shù)據(jù)支撐，是智能電網(wǎng)的核心組成部分。

隨著智能電網(wǎng)的發(fā)展，智能電能表快速接入，系統(tǒng)主站承擔(dān)了越來越多的工單調(diào)試、接入和采集任務(wù)，以及數(shù)據(jù)統(tǒng)計、推送和發(fā)布壓力，所以，采集系統(tǒng)的穩(wěn)定運行對智能電網(wǎng)建設(shè)、電網(wǎng)運營管理、各項電氣量數(shù)據(jù)實時精確采集至關(guān)重要[2]。

以下通過對服務(wù)器日志和數(shù)據(jù)庫負(fù)荷報告的日常分析經(jīng)驗總結(jié)，根據(jù)采集系統(tǒng)主站實際配置情況，提出系統(tǒng)運行指標(biāo)監(jiān)測和性能分析方法，并介紹了常用的運維工具，運維人員可進行參考，從而全面提高運維效率、分析防范系統(tǒng)異常、準(zhǔn)確定位故障源頭、及時協(xié)調(diào)實施消缺、總結(jié)系統(tǒng)運維經(jīng)驗、保障安全穩(wěn)定運行。

2 采集系統(tǒng)主站配置參數(shù)

采集系統(tǒng)主站在運服務(wù)器配置如表1所示。

從上述配置可以看出生產(chǎn)數(shù)據(jù)庫服務(wù)器配置較低，而生產(chǎn)數(shù)據(jù)庫服務(wù)器承擔(dān)著采集各項電氣數(shù)據(jù)的報文入庫、電量/線損/成功率的統(tǒng)計計算、數(shù)據(jù)推送查詢庫和其他系統(tǒng)，以及與其他系統(tǒng)間的接口交互推送，是采集系統(tǒng)主站中重要的組成部分，所以生產(chǎn)數(shù)據(jù)庫服務(wù)器的運行指標(biāo)需要重點監(jiān)測分析。

3 運行指標(biāo)監(jiān)測

由于系統(tǒng)主站的生產(chǎn)數(shù)據(jù)庫服務(wù)器運行情況是監(jiān)測重點，所以運行指標(biāo)監(jiān)測工作需要分為服務(wù)器指標(biāo)監(jiān)測和數(shù)據(jù)庫指標(biāo)監(jiān)測兩部分，2種指標(biāo)分別體現(xiàn)服務(wù)器宏觀性能和數(shù)據(jù)庫軟件運行情況，而且2種指標(biāo)之間各有側(cè)重，存在著一定關(guān)聯(lián)。

表1 采集系統(tǒng)主站部分服務(wù)器配置

服務(wù)器類型配置數(shù)量運行情況生產(chǎn)數(shù)據(jù)庫IBMP570小型機,32核處理器,128GB內(nèi)存,AIX5.3操作系統(tǒng),Oracle10g數(shù)據(jù)庫2設(shè)備運行已有6年,近期負(fù)荷居高不下甚至出現(xiàn)數(shù)據(jù)庫實例重啟現(xiàn)象查詢數(shù)據(jù)庫SUNT5-8小型機,1024核處理器,2TB內(nèi)存,Solaris10操作系統(tǒng),Oracle11g數(shù)據(jù)庫2設(shè)備性能高,運行壓力小,故障率極低前置集群16臺刀片服務(wù)器和10臺曙光I840PC機26運算處理效率高,單點故障影響小,可靠性高應(yīng)用集群4臺浪潮TS860高性能PC機4運算處理效率高,單點故障影響小,可靠性高關(guān)口系統(tǒng)6臺刀片服務(wù)器和6臺DELLR910PC機12運算處理效率高,單點故障影響小,可靠性高測試系統(tǒng)6臺DELLR710PC機6運算處理效率高,單點故障影響小,可靠性高…………………

3.1 運行指標(biāo)監(jiān)測內(nèi)容

3.1.1 服務(wù)器運行指標(biāo)

服務(wù)器運行指標(biāo)中需要關(guān)注CPU和內(nèi)存使用情況。由于每天的CPU負(fù)載率和內(nèi)存使用率會有波動，所以服務(wù)器的運行指標(biāo)監(jiān)測內(nèi)容包括：CPU負(fù)載率：包括兩節(jié)點每日的CPU平均負(fù)載率和最高負(fù)載率，并根據(jù)CPU運算類別分為User%(用戶使用率)、Sys%(系統(tǒng)使用率)、Wait%(等待事件占用率)、Idle%(空閑CPU負(fù)載率)、CPU%(CPU總使用率)5個維度，其中CPU%=User%+Sys%。內(nèi)存占用率：包括兩節(jié)點每日內(nèi)存占用率的平均值、最大值和最小值，并根據(jù)內(nèi)存使用類別分為Realfree%(真實內(nèi)存剩余百分比)、Virtualfree%(虛擬內(nèi)存剩余百分比)、Comp%(計算內(nèi)存占比)、Realuse%(物理內(nèi)存使用率)、Virtualuse%(虛擬內(nèi)存使用率)，其中Realuse%=100%-Realfree%、Virtualuse%=100%-Virtualfree%。3.1.2 數(shù)據(jù)庫運行指標(biāo)

數(shù)據(jù)庫運行指標(biāo)中需要關(guān)注每個實例硬解析、CR值和AAS值。

a. 硬解析：如果一條待執(zhí)行的SQL語句沒有在Oracle的共享池中，那么它將被重新解析，大量的硬解析會產(chǎn)生解析爭用，造成CPU資源消耗。

b. CR(Consistent Read)值：用來表征數(shù)據(jù)庫兩實例間同步差異的指標(biāo)，與網(wǎng)絡(luò)、節(jié)點間的數(shù)據(jù)交互有關(guān)。

c. AAS(Average Active Session)值：DB time與Elapsed Time的比值，用來體現(xiàn)數(shù)據(jù)庫的負(fù)載程度，如果負(fù)載較高或者等待事件較多，AAS值就會變大。

3.2 運行指標(biāo)監(jiān)測方法

為做好采集系統(tǒng)支撐，保證系統(tǒng)穩(wěn)定運行，主站運維管理部門需安排專人與系統(tǒng)實施廠家開發(fā)部DBA和現(xiàn)場運維工程師組成系統(tǒng)運行指標(biāo)監(jiān)測與消缺工作組，通過每天查看系統(tǒng)生產(chǎn)庫服務(wù)器NMON負(fù)荷曲線和數(shù)據(jù)庫AWR報告，持續(xù)監(jiān)測采集系統(tǒng)服務(wù)器各項運行性能指標(biāo)和異常情況，及時發(fā)現(xiàn)、處理系統(tǒng)異常，對消耗系統(tǒng)資源的SQL語句進行修改完善，實時跟蹤優(yōu)化進度，并統(tǒng)計優(yōu)化效果、積累運維經(jīng)驗。

系統(tǒng)正常情況下，運行指標(biāo)的監(jiān)測頻率為每天查看并記錄，對于日常導(dǎo)出的負(fù)荷曲線和根據(jù)各項運行指標(biāo)數(shù)據(jù)繪制生成的圖表都保存留檔。另外，定期編寫階段性分析報告，根據(jù)重大操作前后的指標(biāo)情況階段性分析，得出系統(tǒng)性能改善情況，總結(jié)運維經(jīng)驗。各項運行指標(biāo)的具體監(jiān)測方法如下。

3.2.1 服務(wù)器運行指標(biāo)監(jiān)測方法

3.2.1.1 NMON概述

NMON是一種在AIX與各種Linux操作系統(tǒng)上廣泛使用的監(jiān)控與分析工具。NMON所記錄的信息比較全面，它能在系統(tǒng)運行過程中實時地捕捉系統(tǒng)資源的使用情況，并且能輸出結(jié)果到文件中。

實際工作中，NMON有3種常用的使用模式，分別是實時監(jiān)控、后臺監(jiān)控和定期監(jiān)控模式。通過后臺監(jiān)控和定期監(jiān)控，可以得到擴展名為NMON的監(jiān)控文件，這些文件記錄著系統(tǒng)資源的數(shù)據(jù)，需要配合分析工具進行解讀。NMON analyser.xls可以將NMON文件轉(zhuǎn)化為Excel文件，并生成統(tǒng)計圖，直觀顯示系統(tǒng)資源情況。在NMON結(jié)果中打開相應(yīng)標(biāo)簽頁結(jié)合系統(tǒng)實際設(shè)置，可以進一步確定造成問題的原因。NMON能夠提供CPU、內(nèi)存、硬盤、網(wǎng)絡(luò)等各方面的信息，對于運行指標(biāo)的監(jiān)控和分析工作能夠提供很好的數(shù)據(jù)支持。

3.2.1.2 使用NMON文件監(jiān)測方法

在使用NMON文件監(jiān)測服務(wù)器運行指標(biāo)的具體操作方法如下。

a. 使用遠程命令行工具(如SSH Secure shell Client等)，以root用戶登陸數(shù)據(jù)庫服務(wù)器兩節(jié)點，找到NMON文件存放路徑，將后綴名為.NMON的文件下載。

b. 使用NMON Analyser工具，選擇NMON文件待分析完成后，輸入規(guī)范的文件名即可生成包含CPU、內(nèi)存指標(biāo)和相應(yīng)負(fù)荷曲線的Excel文件。

c. 針對生成的Excel文件中“SYS_SUMM”、“MEM”工作表中的CPU負(fù)荷率和內(nèi)存使用率數(shù)據(jù)，以及“CPU_ALL”、“PAGE”中的圖表進行拷貝存檔。

d. 當(dāng)有停機操作、重啟數(shù)據(jù)庫等重大操作時，在隨后進行實時監(jiān)控，并對比操作前后的服務(wù)器運行指標(biāo)變化。

3.2.2 數(shù)據(jù)庫運行指標(biāo)監(jiān)測方法

3.2.2.1 AWR概述

查看AWR(Automatic Workload Repository)是進行日常數(shù)據(jù)庫性能評定、問題SQL發(fā)現(xiàn)的重要手段，熟悉掌握AWR報告，是做好開發(fā)、運維DBA工作的重要基本功。

AWR報告的原理是基于Oracle數(shù)據(jù)庫的定時鏡像功能。默認(rèn)情況下，Oracle數(shù)據(jù)庫后臺進程會以一定間隔(1 h)收集系統(tǒng)當(dāng)前狀態(tài)鏡像，并且保存在數(shù)據(jù)庫中。生成AWR報告時，只需要制定進行分析的時間段(開始鏡像編號和結(jié)束鏡像編號)，就可以生成該時間段的性能分析情況。

3.2.2.2 使用AWR監(jiān)測方法

在使用AWR監(jiān)測數(shù)據(jù)庫運行指標(biāo)的具體操作方法如下。

a. 使用遠程命令行工具(如SSH Secure shell Client等)以O(shè)racle用戶登陸數(shù)據(jù)庫服務(wù)器兩節(jié)點用戶后，進入SQL命令行。執(zhí)行 @ORACLE_HOME/rdbms/admin/awrrpt.sql 命令進入AWR報告生成步驟。

b. 輸入報告類型(一般使用html類型)，報告天數(shù)，開始、結(jié)束鏡像快照，輸入規(guī)范的AWR報告文件名即可生成AWR報告文件。

c. 進入oracle用戶的目錄下找到生成的AWR報告，下載后可用瀏覽器打開查看AWR報告。

d. 將兩節(jié)點AWR報告中的《Load Profile》部分第8條Hard Parse(硬解析值)、《Global Cache and Enqueue Services - Workload Characteristics》部分的第7條Avg global cache cr block flush time(CR值)，開頭部分DB Time和Elapsed比值(AAS值)進行記錄，繪制生成曲線圖表。

e. 當(dāng)有停機、重啟數(shù)據(jù)庫等重大操作時，在隨后進行實時監(jiān)控，并對比操作前后的數(shù)據(jù)庫運行指標(biāo)變化。

4 性能分析方法

根據(jù)目前生產(chǎn)數(shù)據(jù)庫服務(wù)器硬件配置情況和日常業(yè)務(wù)，制定一種適合采集系統(tǒng)實際情況的分析方法，列舉各個指標(biāo)的參考區(qū)間。運維人員在對數(shù)據(jù)庫服務(wù)器的各項運行指標(biāo)監(jiān)測分析過程中，可按照制定的參考區(qū)間開展指標(biāo)評判。

4.1 CPU負(fù)載

由于生產(chǎn)數(shù)據(jù)庫服務(wù)器除操作系統(tǒng)軟件造成的基礎(chǔ)負(fù)荷(Sys%)外，安裝了Oracle數(shù)據(jù)庫作為主要軟件使用CPU計算資源，體現(xiàn)在CPU負(fù)載中的User%占比?？紤]采集系統(tǒng)生產(chǎn)庫工作原理和實際硬件配置情況，分析CPU負(fù)載情況的參考值如表2所示。

表2 CPU負(fù)載情況分析參考值

CPU指標(biāo)名稱參考值User10%～70%Sys5%～20%Wait0%～10%Idle10%～85%AVG(CPU%)30%～50%MAX(CPU%)65%～85%相鄰兩日CPU%變化率±20%

4.2 內(nèi)存占用變化

采集系統(tǒng)生產(chǎn)庫服務(wù)器設(shè)置maxperm%和maxclient%參數(shù)為Oracle數(shù)據(jù)庫合理分配內(nèi)存空間[3]，同時根據(jù)AIX操作系統(tǒng)內(nèi)存管理機制，頁面淘汰基于LRU算法，內(nèi)存使用率較高也并非異常，所以分析相鄰兩日內(nèi)存占用平均值變化情況更有價值，分析內(nèi)存占用變化情況的參考值如表3所示。

表3 相鄰兩日內(nèi)存平均值變化情況分析參考值 %

內(nèi)存指標(biāo)名稱參考值Real_free±1Virtual_free±2Comp±2Real_use±1Virtual_use±2TOTAL(MEM)±2

4.3 數(shù)據(jù)庫運行指標(biāo)

數(shù)據(jù)庫作為采集系統(tǒng)生產(chǎn)庫服務(wù)器的核心軟件，數(shù)據(jù)庫指標(biāo)的變動會對服務(wù)器運行造成較大影響，相反如果服務(wù)器資源緊張，也會對數(shù)據(jù)庫指標(biāo)造成很大影響，所以數(shù)據(jù)庫運行指標(biāo)也要設(shè)定參考區(qū)間。經(jīng)過綜合考慮，分析數(shù)據(jù)庫運行情況的參考值如表4所示。

表4 數(shù)據(jù)庫運行指標(biāo)情況分析參考值

數(shù)據(jù)庫運行指標(biāo)名稱參考值硬解析/(次·S-1)0～20CR值/ms0～20AAS值1～20

5 運維工具

為了做好指標(biāo)監(jiān)測，提高運維效率，縮短故障響應(yīng)時間，運維人員應(yīng)選擇使用方便高效的運維工具同樣重要。推薦使用的運維工具如下：

a. 錄像機OS Watcher。OS Watcher可以記錄在系統(tǒng)中的各類操作，每小時的信息單獨打包成一個gzip壓縮文件。類似AIX系統(tǒng)的NMON日志文件，OSW可以將每個時刻的系統(tǒng)狀態(tài)記錄歸檔，可以快速定位故障。該工具可以通過使用startOSW.sh命令啟動，stopOSW.sh命令結(jié)束。錄像機OS Watcher默認(rèn)保留3天的數(shù)據(jù)，可以手動設(shè)置保留天數(shù)，如果使用了Oracle RAC，可以通過配置prvnet，記錄網(wǎng)絡(luò)心跳的狀態(tài)。

b. 監(jiān)視器oratop。oratop和Unix/Linux里top命令類似，實時展現(xiàn)數(shù)據(jù)庫的相關(guān)信息，使用方便簡單。

c. ora。與oratop不同，ora完全是響應(yīng)式的，集成了諸多需要執(zhí)行一長串SQL語句才能實現(xiàn)功能查詢。這個工具為Oracle開發(fā)，DBA在使用過程中可以根據(jù)自己的需要，增加新的功能點，在問題分析過程中最快速的得知數(shù)據(jù)庫對象的情況，做出相應(yīng)的處理抉擇。

d. SQL Developer。前述1-3的運維工具是命令行工具，可以在不方便用圖形界面時使用。SQL Developer該工具是可以在圖形化界面使用的工具。

e. ORAchk。之前被稱為RACcheck，之后擴展了檢查范圍，改名為ORAchk，它是在數(shù)據(jù)庫系統(tǒng)進行健康檢查的一個專用工具，主要用來檢查軟件的配置是否符合要求以及一些最佳實踐是否被應(yīng)用。通過這個工具，用戶可以方便地、自動化地對自己的系統(tǒng)進行健康檢查和評估。Oracle還為Exadata用戶提供了exachk工具。

f. RDA(Remote Diagnostic Agent)。oracle用來收集、分析數(shù)據(jù)庫的工具，該工具的運行不會改變系統(tǒng)的任何參數(shù)，RDA收集的相關(guān)數(shù)據(jù)非常全面，可以簡化我們?nèi)粘１O(jiān)控、分析數(shù)據(jù)庫的工作，RDA比ORAchk更加復(fù)雜和全面，支持的模塊更多。Oracle Support也建議我們在反饋相關(guān)問題時，提供RDA收集的數(shù)據(jù)，這樣可以為快速解決問題提供一個有力的保證。

g. RMAN。RMAN是數(shù)據(jù)庫工程師維護常用的工具。用RMAN，不僅要定期做備份，每年應(yīng)至少進行一次恢復(fù)驗證，避免備份失效。

h. OEM。OEM企業(yè)管理器從8i的單機版到近期的OEM13c CC(Cloud Control)，界面和交互變得更加友好，而且不僅Oracle數(shù)據(jù)庫，其他監(jiān)控和管理的事務(wù)，幾乎都可以在OEM工具中定制。

6 結(jié)束語

采集系統(tǒng)運行指標(biāo)監(jiān)測和系統(tǒng)性能分析是一項長期開展的工作，涉及到服務(wù)器、操作系統(tǒng)、數(shù)據(jù)庫等方面的各項技術(shù)。全面提高運維效率，做好采集系統(tǒng)的運行指標(biāo)監(jiān)測和性能分析工作，可對充分發(fā)揮采集系統(tǒng)支撐海量數(shù)據(jù)挖掘與深化應(yīng)用，穩(wěn)步提升采集系統(tǒng)運行與管理效率等方面起到積極的促進作用。

[1] 劉 征.電力用戶用電信息采集系統(tǒng)的研究與應(yīng)用[J].大科技，2013(18)：27-28.

[2] 梁 波，楊銘海.用電信息采集系統(tǒng)架構(gòu)及功能應(yīng)用(一)[J].農(nóng)村電工，2013(2)：41-43.

[3] 劉長生，孟 松.oracle數(shù)據(jù)庫參數(shù)優(yōu)化與分析.電腦知識與技術(shù)[J].2004(26):8-10.

本文責(zé)任編輯：丁 力

Operation Indicators Monitoring and Performance Analysis of Database ServerBased on Power User Electric Energy Data Acquire System

Zhao Pei,Wang Libin,Li Chong,Wang Hongying,Zhang Chao

(State Grid Hebei Electric Power Research institute,Shijiazhuang 050021,China)

In order to promote operation and maintenance efficiency, and guarantee the stability of the system, operation indicators monitoring and performance analysis methods are given in this paper after analyzing and summarizing server logs and database workload repositories of the system master,which establishes a solid foundation to support massive data mining,application deepening,operation and management efficiency promotion of the system and so on.

Smart Grid; acquire system; operation indicators monitor; performance analysis

2016-05-16

趙 佩(1990-)，男,助理工程師,主要從事用電信息采集系統(tǒng)建設(shè)推進和優(yōu)化研究工作。

TM76

B

1001-9898(2016)05-0025-04