大數(shù)據(jù)SAP HANA系統(tǒng)的智能巡檢的設(shè)計(jì)與實(shí)現(xiàn)

◆張磊 倪巍巍 周瑩

大數(shù)據(jù)SAP HANA系統(tǒng)的智能巡檢的設(shè)計(jì)與實(shí)現(xiàn)

◆張磊 倪巍巍 周瑩

（兗州煤業(yè)股份有限公司信息化中心 山東 273500）

國(guó)內(nèi)大型能源企業(yè)為適應(yīng)產(chǎn)業(yè)飛速發(fā)展的需要，全力推進(jìn)大數(shù)據(jù)SAP HANA系統(tǒng)解決方案，其基礎(chǔ)架構(gòu)中所包含的大數(shù)據(jù)HANA一體機(jī)及SAP應(yīng)用服務(wù)器就有上百臺(tái)之多，這勢(shì)必會(huì)給數(shù)據(jù)中心基礎(chǔ)架構(gòu)運(yùn)維帶來挑戰(zhàn)，為提高SAP HANA系統(tǒng)的基礎(chǔ)架構(gòu)運(yùn)維的效率，設(shè)計(jì)開發(fā)針對(duì)大數(shù)據(jù)SAP HANA系統(tǒng)的智能巡檢系統(tǒng)。大數(shù)據(jù)智能巡檢系統(tǒng)的運(yùn)用給大數(shù)據(jù)SAP HANA系統(tǒng)基礎(chǔ)運(yùn)維提供便捷，其智能化分析體系大大提升了系統(tǒng)運(yùn)維的效率，為大型能源企業(yè)各業(yè)務(wù)系統(tǒng)建設(shè)提供有力保障，為企業(yè)信息化建設(shè)提供堅(jiān)實(shí)的后盾。

SAP HANA；智能巡檢；腳本；分析；預(yù)警

1 背景

隨著我國(guó)經(jīng)濟(jì)的飛速發(fā)展，大型能源企業(yè)業(yè)務(wù)規(guī)模不斷擴(kuò)大，傳統(tǒng)業(yè)務(wù)系統(tǒng)已經(jīng)無法承擔(dān)業(yè)務(wù)規(guī)模的要求，為在大數(shù)據(jù)、人工智能的新形勢(shì)下，使企業(yè)具有更強(qiáng)大的核心競(jìng)爭(zhēng)力，集團(tuán)公司推進(jìn)大數(shù)據(jù)ERP系統(tǒng)全覆蓋項(xiàng)目，采用最新SAP HAHA系統(tǒng)解決方案，實(shí)現(xiàn)ERP核心業(yè)務(wù)系統(tǒng)，大數(shù)據(jù)ERP系統(tǒng)包含S4 HANA、BW、Fiori、BO、HANA Enterprise等多個(gè)核心模塊，覆蓋整個(gè)集團(tuán)公司人力、財(cái)務(wù)、物資、生產(chǎn)、銷售、風(fēng)險(xiǎn)等各方面業(yè)務(wù)，組建統(tǒng)一核心業(yè)務(wù)體系。

大數(shù)據(jù)ERP系統(tǒng)項(xiàng)目硬件資源規(guī)模非常大，是行業(yè)中規(guī)模最大的系統(tǒng)基礎(chǔ)架構(gòu)，項(xiàng)目包括十幾臺(tái)HANA一體機(jī)作為各業(yè)務(wù)模塊數(shù)據(jù)庫、最新十幾臺(tái)刀箱組成云計(jì)算虛擬化平臺(tái)、最新的核心存儲(chǔ)和對(duì)象存儲(chǔ)等設(shè)備。為保證如此規(guī)模的基礎(chǔ)架構(gòu)系統(tǒng)正常運(yùn)行，作為基礎(chǔ)架構(gòu)運(yùn)維重中之重，因此需要標(biāo)準(zhǔn)化、智能化的系統(tǒng)運(yùn)維管理體系來支撐。

傳統(tǒng)的系統(tǒng)運(yùn)維需要系統(tǒng)管理員使用登錄工具，逐臺(tái)登錄各操作系統(tǒng)，手動(dòng)敲入命令來檢查各項(xiàng)指標(biāo)（CPU、內(nèi)存、磁盤日志、系統(tǒng)日志等）。工作重復(fù)性強(qiáng)，且效率低，運(yùn)維人力成本較高。當(dāng)然，還可以通過IT運(yùn)維平臺(tái)，一般需要第三方軟件，安裝較多插件，費(fèi)用較高，安裝部署和維護(hù)比較復(fù)雜。

大數(shù)據(jù)ERP系統(tǒng)規(guī)模大，包括虛擬服務(wù)器、網(wǎng)絡(luò)安全設(shè)備等，數(shù)量超過200多臺(tái)，SAP系統(tǒng)自帶的運(yùn)維平臺(tái)滿足不了各種設(shè)備的監(jiān)控需要。為解決上述問題，提高工作效率、降低運(yùn)維人力成本，開發(fā)大數(shù)據(jù)智能巡檢系統(tǒng)。把運(yùn)維管理員從單調(diào)、重復(fù)的工作中解脫出來，把更多的精力投入到分析巡檢數(shù)據(jù)和問題處理中。通過大數(shù)據(jù)分析和數(shù)據(jù)挖掘技術(shù)使系統(tǒng)運(yùn)維變得更加高效、更加智能化，為集團(tuán)公司大數(shù)據(jù)核心業(yè)務(wù)系統(tǒng)提供更優(yōu)質(zhì)的服務(wù)。

2 總體設(shè)計(jì)描述

圖1 系統(tǒng)總體架構(gòu)圖

面向“大數(shù)據(jù)ERP全覆蓋”項(xiàng)目運(yùn)維的大數(shù)據(jù)智能巡檢系統(tǒng)是一個(gè)綜合性的系統(tǒng)監(jiān)控平臺(tái)，通過最快的、最高效的數(shù)據(jù)獲取方法，將大數(shù)據(jù)ERP各個(gè)服務(wù)器等設(shè)備的數(shù)據(jù)統(tǒng)一獲取到大數(shù)據(jù)智能巡檢平臺(tái)，再將推送至智能巡檢平臺(tái)的數(shù)據(jù)進(jìn)行大數(shù)據(jù)分析，運(yùn)維管理員可通過登錄系統(tǒng)統(tǒng)一對(duì)“大數(shù)據(jù)ERP全覆蓋”項(xiàng)目進(jìn)行快速、高效的巡檢。大數(shù)據(jù)智能巡檢系統(tǒng)包括各系統(tǒng)數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)智能分析。數(shù)據(jù)采集方式采用多種數(shù)據(jù)采集模式，可以通過遠(yuǎn)程服務(wù)器進(jìn)行數(shù)據(jù)抽取，也可以通過各客戶端進(jìn)行數(shù)據(jù)獲取推送。采用MYSQL數(shù)據(jù)庫存取數(shù)據(jù)，在數(shù)據(jù)存取時(shí)對(duì)數(shù)據(jù)進(jìn)行清洗，然后再存入數(shù)據(jù)庫。數(shù)據(jù)智能分析包括數(shù)據(jù)量化指標(biāo)分析、數(shù)據(jù)集群與數(shù)據(jù)系統(tǒng)監(jiān)控、數(shù)據(jù)監(jiān)控預(yù)警分析等模塊。系統(tǒng)總體架構(gòu)圖如圖1所示。

3 基于多樣腳本的數(shù)據(jù)采集

大數(shù)據(jù)智能巡檢系統(tǒng)采用多種方式靈活地獲取各設(shè)備監(jiān)控?cái)?shù)據(jù)。大數(shù)據(jù)SAP HANA系統(tǒng)巡檢指標(biāo)包括磁盤使用率、內(nèi)存使用、upload值等基本參數(shù)，也包括HA集群、HANA SR、HANA數(shù)據(jù)庫狀態(tài)等數(shù)據(jù)?；诙鄻踊_本的數(shù)據(jù)采集設(shè)計(jì)獲取數(shù)據(jù)速度快、效率高，基本不占用系統(tǒng)資源，具有部署簡(jiǎn)單可靠、可擴(kuò)展性好等優(yōu)勢(shì)。

數(shù)據(jù)采集腳本包括系統(tǒng)基本參數(shù)、監(jiān)測(cè)命令隊(duì)列、系統(tǒng)數(shù)據(jù)組裝及數(shù)據(jù)推送。系統(tǒng)基本參數(shù)是獲取系統(tǒng)IP、主機(jī)名等參數(shù)；監(jiān)測(cè)命令隊(duì)列包括需要收集的所有指標(biāo)的命令；數(shù)據(jù)組裝是將監(jiān)測(cè)命令逐條執(zhí)行，將執(zhí)行結(jié)果快速記錄并進(jìn)行清洗和數(shù)據(jù)組裝；數(shù)據(jù)推送是將組裝好的數(shù)據(jù)進(jìn)行加密，通過web服務(wù)推送到智能巡檢平臺(tái)。

數(shù)據(jù)采集觸發(fā)是通過系統(tǒng)定時(shí)任務(wù)觸發(fā)，可靈活配置觸發(fā)時(shí)間。也可以運(yùn)用定時(shí)執(zhí)行程序?qū)ο到y(tǒng)變化參數(shù)進(jìn)行觸發(fā)報(bào)警機(jī)制，做到實(shí)時(shí)系統(tǒng)參數(shù)監(jiān)控。

4 數(shù)據(jù)收集Web服務(wù)

大數(shù)據(jù)智能巡檢系統(tǒng)數(shù)據(jù)收集服務(wù)為數(shù)據(jù)收集Web服務(wù)，該Web服務(wù)采用多線程優(yōu)化技術(shù)，保證Web服務(wù)的數(shù)據(jù)傳輸速率最快，并且更加準(zhǔn)確。數(shù)據(jù)收集Web服務(wù)包括數(shù)據(jù)收集服務(wù)接口、清洗校驗(yàn)、數(shù)據(jù)存儲(chǔ)等。

將數(shù)據(jù)采集腳本獲取的數(shù)據(jù)進(jìn)行加密通過巡檢系統(tǒng)Web服務(wù)接口推送給巡檢平臺(tái)，數(shù)據(jù)包括監(jiān)控名稱、監(jiān)控編碼、監(jiān)控類型、監(jiān)控?cái)?shù)據(jù)、監(jiān)控時(shí)間等信息。數(shù)據(jù)收集服務(wù)接口可以接受上千臺(tái)服務(wù)器同時(shí)推送或者獲取數(shù)據(jù)。

數(shù)據(jù)清洗校驗(yàn)。數(shù)據(jù)清洗工作是數(shù)據(jù)分析的重要一環(huán)，數(shù)據(jù)清洗的結(jié)果直接影響數(shù)據(jù)分析的質(zhì)量。大數(shù)據(jù)智能巡檢系統(tǒng)將推送的監(jiān)控?cái)?shù)據(jù)進(jìn)行轉(zhuǎn)碼解密校驗(yàn)后，確認(rèn)數(shù)據(jù)準(zhǔn)確后，將數(shù)據(jù)按照名稱、類別等存入數(shù)據(jù)庫。

監(jiān)控?cái)?shù)據(jù)存儲(chǔ)，既要保證數(shù)據(jù)存取在數(shù)據(jù)庫中冗余最少，也要保證數(shù)據(jù)庫數(shù)據(jù)查詢高效。大數(shù)據(jù)智能巡檢系統(tǒng)采用最佳的數(shù)據(jù)存取架構(gòu)保證數(shù)據(jù)存儲(chǔ)。

5 數(shù)據(jù)分析與預(yù)警

數(shù)據(jù)分析與預(yù)警作為大數(shù)據(jù)智能巡檢系統(tǒng)核心模塊，為運(yùn)維人員提供重要數(shù)據(jù)，數(shù)據(jù)運(yùn)維人員可以根據(jù)該數(shù)據(jù)綜合判斷設(shè)備健康狀況，制定相應(yīng)設(shè)備的運(yùn)維方案，使設(shè)備狀況更加良好，保證業(yè)務(wù)系統(tǒng)正常運(yùn)行。數(shù)據(jù)智能分析包括數(shù)據(jù)量化指標(biāo)分析、數(shù)據(jù)集群與數(shù)據(jù)庫系統(tǒng)監(jiān)控、數(shù)據(jù)監(jiān)控預(yù)警分析等模塊。

數(shù)據(jù)量化指標(biāo)分析。磁盤利用率、內(nèi)存使用率、Load Average系統(tǒng)負(fù)載指標(biāo)。磁盤空間獲取命令df-h，內(nèi)存獲取free-h，uptime可以獲取系統(tǒng)運(yùn)行時(shí)間、當(dāng)前用戶數(shù)及系統(tǒng)負(fù)載Load Average。

數(shù)據(jù)集群與數(shù)據(jù)庫系統(tǒng)監(jiān)控。數(shù)據(jù)庫集群包括HANA數(shù)據(jù)的HA集群和HANA數(shù)據(jù)庫的SR數(shù)據(jù)同步及異步復(fù)制集群。HA集群負(fù)責(zé)向集群數(shù)據(jù)庫主數(shù)據(jù)庫服務(wù)器提供數(shù)據(jù)庫服務(wù)，SR負(fù)責(zé)數(shù)據(jù)庫從節(jié)點(diǎn)數(shù)據(jù)實(shí)時(shí)同步及數(shù)據(jù)異步同步。

數(shù)據(jù)監(jiān)控預(yù)警分析。大數(shù)據(jù)智能巡檢系統(tǒng)連接集團(tuán)內(nèi)短信平臺(tái)，可將告警信息以短信形式發(fā)送至系統(tǒng)負(fù)責(zé)人手機(jī)。從數(shù)據(jù)庫讀取每條數(shù)據(jù)信息，截取關(guān)鍵數(shù)值，然后與閾值比較。如果數(shù)值高于閾值，則系統(tǒng)彈出預(yù)警信息，并發(fā)送短信給系統(tǒng)負(fù)責(zé)人。短信內(nèi)容將明確告知負(fù)責(zé)人，哪個(gè)系統(tǒng)的哪個(gè)數(shù)值高于閾值，及時(shí)通知系統(tǒng)負(fù)責(zé)人處理。系統(tǒng)指標(biāo)歷史曲線圖如圖2所示。

圖2 系統(tǒng)指標(biāo)歷史曲線圖

6 總結(jié)

大數(shù)據(jù)智能巡檢系統(tǒng)利用大數(shù)據(jù)技術(shù)構(gòu)建信息化監(jiān)控分析平臺(tái)，實(shí)現(xiàn)大數(shù)據(jù)SAP HANA系統(tǒng)巡檢的標(biāo)準(zhǔn)化、自動(dòng)化、智能化，提升了企業(yè)巡檢管理工作的科技化水平。大數(shù)據(jù)SAP HANA智能巡檢系統(tǒng)，改變了傳統(tǒng)巡檢方式，解決了傳統(tǒng)巡檢人員巡檢不到位，隱患上報(bào)不及時(shí)，數(shù)據(jù)統(tǒng)計(jì)不完整等巡檢難題。大數(shù)據(jù)智能巡檢系統(tǒng)規(guī)范了系統(tǒng)運(yùn)維體系，提高了系統(tǒng)巡檢效率，節(jié)省了大量的人工成本。當(dāng)監(jiān)控設(shè)備出現(xiàn)異常時(shí)，大數(shù)據(jù)智能巡檢系統(tǒng)立即自動(dòng)通過短信等提示運(yùn)維人員進(jìn)行處理。系統(tǒng)能夠?qū)崟r(shí)掌握設(shè)備狀態(tài)并進(jìn)行閾值判斷預(yù)警，防患于未然。各系統(tǒng)巡檢數(shù)據(jù)永久保留，通過數(shù)據(jù)積累并建立設(shè)備的整個(gè)運(yùn)行生命周期。

大數(shù)據(jù)智能巡檢系統(tǒng)不但能搜集到大數(shù)據(jù)SAP HANA數(shù)據(jù)，也可以獲取各硬件設(shè)備數(shù)據(jù)，可以擴(kuò)充到整個(gè)數(shù)據(jù)中心設(shè)備巡檢，建立整個(gè)數(shù)據(jù)中心系統(tǒng)運(yùn)維體系，為集團(tuán)公司各應(yīng)用系統(tǒng)建設(shè)提供穩(wěn)固的基礎(chǔ)架構(gòu)，為集團(tuán)公司信息化建設(shè)提供堅(jiān)實(shí)的后盾。

[1]邢博文.基于Fiori的IT運(yùn)維管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].能源科技，2020，18（11）：92-96.

[2]李勇.數(shù)據(jù)中心運(yùn)維方案研究與應(yīng)用[J].長(zhǎng)江信息通信，2021，34（04）：208-210.

[3]馮韶華.利用內(nèi)存計(jì)算和云化技術(shù)優(yōu)化企業(yè)ERP系統(tǒng)[J].甘肅科技，2021，37（09）：21-25.

[4]劉平.基于SAP S/4 HANA的火電智慧燃料系統(tǒng)架構(gòu)設(shè)計(jì)[J].能源科技，2020，18（09）：86-89.

[5]陳慶.淺談數(shù)據(jù)中心設(shè)備及機(jī)房的智能化運(yùn)維管理[J].中國(guó)金融電腦，2018（03）：58-61.