基于云平臺(tái)的數(shù)據(jù)監(jiān)控管理系統(tǒng)設(shè)計(jì)

寧帆

摘 要：針對(duì)某運(yùn)營(yíng)商公司在已有大數(shù)據(jù)平臺(tái)增加對(duì)外提供數(shù)據(jù)監(jiān)控服務(wù)的需求，本文從整體上和功能上進(jìn)行了基于云平臺(tái)的數(shù)據(jù)監(jiān)控管理系統(tǒng)，可對(duì)該平臺(tái)上的大數(shù)據(jù)的運(yùn)行狀態(tài)和第三方租戶用戶的服務(wù)情況進(jìn)行監(jiān)控和管理。

關(guān)鍵字：大數(shù)據(jù);監(jiān)控管理;云平臺(tái);租戶服務(wù)

中圖分類號(hào)：? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：? A

0 引言

互聯(lián)網(wǎng)時(shí)代，諸多技術(shù)脫穎而出，為人們的生活提供了巨大便捷。云計(jì)算是當(dāng)下較為熱門的技術(shù)，該技術(shù)將處理資源、存儲(chǔ)資源和網(wǎng)絡(luò)傳輸資源集成部署到現(xiàn)有的云計(jì)算平臺(tái)中。同時(shí)為了便于以上資源的管理、為資源引入和分配提供靈活性，創(chuàng)建虛擬資源池，并按照實(shí)際的需求對(duì)資源池體量予以調(diào)整，實(shí)現(xiàn)了成本投入和性能需求的平衡[1-2]。近年硬件性能不斷提升，各大企業(yè)面臨著巨大的用戶訪問壓力，開始聚焦于云計(jì)算的戰(zhàn)略部署，促進(jìn)了云計(jì)算機(jī)的普及與應(yīng)用[3]。

大數(shù)據(jù)時(shí)代誕生了諸多數(shù)據(jù)分析工具，為充分挖掘數(shù)據(jù)蘊(yùn)含的價(jià)值提供了技術(shù)基礎(chǔ)，運(yùn)營(yíng)商與其他企業(yè)相比發(fā)展大數(shù)據(jù)產(chǎn)業(yè)有獨(dú)特的優(yōu)勢(shì)，首先是運(yùn)營(yíng)商有大量的用戶群體，能夠捕捉到用戶的上網(wǎng)行為數(shù)據(jù)，深入分析后可以為多項(xiàng)政策開展提供理論支撐，使得運(yùn)營(yíng)商的業(yè)務(wù)服務(wù)更加貼合用戶需求[4]。

某運(yùn)營(yíng)商公司大數(shù)據(jù)平臺(tái)建設(shè)成熟后還向第三方公司提供數(shù)據(jù)存儲(chǔ)管理服務(wù)，可以合作進(jìn)行數(shù)據(jù)的加工，伴隨著基礎(chǔ)硬件平臺(tái)性能的不斷提升，業(yè)務(wù)數(shù)據(jù)量也逐漸增加，大數(shù)據(jù)平臺(tái)也包含了企業(yè)諸多隱私數(shù)據(jù)，因此要建立完備的大數(shù)據(jù)平臺(tái)監(jiān)控體系，充分保證數(shù)據(jù)的規(guī)范使用。同時(shí)對(duì)數(shù)據(jù)集群的運(yùn)行狀態(tài)進(jìn)行精準(zhǔn)監(jiān)控，并對(duì)出現(xiàn)的各種行為實(shí)現(xiàn)報(bào)警，如果出現(xiàn)異常問題，可以及時(shí)的發(fā)現(xiàn)并通知安全維護(hù)人員，及時(shí)將損失降低到最低[5]。

1 系統(tǒng)整體設(shè)計(jì)

本數(shù)據(jù)監(jiān)控管理系統(tǒng)的網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)是基于B/S架構(gòu)，由用戶、網(wǎng)關(guān)、服務(wù)器組成。用戶類型主要有數(shù)據(jù)監(jiān)控管理員、租戶和系統(tǒng)管理員三類，用戶通過瀏覽器和網(wǎng)絡(luò)對(duì)系統(tǒng)進(jìn)行訪問。服務(wù)器類型主要有采集服務(wù)器、數(shù)據(jù)處理服務(wù)器、數(shù)據(jù)存儲(chǔ)服務(wù)器和應(yīng)用服務(wù)器四類，完成數(shù)據(jù)的采集、處理、存儲(chǔ)及應(yīng)用任務(wù)。由于某公司數(shù)據(jù)采集量較大，因此設(shè)計(jì)搭建萬兆專線互連的方式實(shí)現(xiàn)大數(shù)據(jù)采集。

在業(yè)務(wù)功能方面，本數(shù)據(jù)監(jiān)控管理系統(tǒng)采用的MVC模式，包括表現(xiàn)層、業(yè)務(wù)層、數(shù)據(jù)連接層、數(shù)據(jù)存儲(chǔ)層四個(gè)層級(jí)。表現(xiàn)層是系統(tǒng)與用戶交互的直接窗口，負(fù)責(zé)本系統(tǒng)的業(yè)務(wù)功能進(jìn)行視圖和數(shù)據(jù)等形式進(jìn)行展示。業(yè)務(wù)層對(duì)數(shù)據(jù)進(jìn)行邏輯處理和解析，并在封裝后推送至數(shù)據(jù)連接層。數(shù)據(jù)連接層負(fù)責(zé)管理和存儲(chǔ)數(shù)據(jù)，同時(shí)定義接口與大數(shù)據(jù)平臺(tái)進(jìn)行對(duì)接，實(shí)現(xiàn)主機(jī)節(jié)點(diǎn)、容器、服務(wù)的運(yùn)行狀態(tài)數(shù)據(jù)。數(shù)據(jù)存儲(chǔ)層存儲(chǔ)系統(tǒng)數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)，這部分?jǐn)?shù)據(jù)是用Oracle數(shù)據(jù)庫，其他租戶數(shù)據(jù)內(nèi)容均存儲(chǔ)在大數(shù)據(jù)平臺(tái)上，主要為HDFS分布式存儲(chǔ)架構(gòu)。通過開發(fā)接口對(duì)接和獲取所需數(shù)據(jù)。

2 系統(tǒng)功能設(shè)計(jì)

數(shù)據(jù)監(jiān)控管理系統(tǒng)用于實(shí)現(xiàn)對(duì)大數(shù)據(jù)平臺(tái)整體資源使用情況進(jìn)行展現(xiàn)，該系統(tǒng)的功能模塊設(shè)計(jì)圖如圖1所示：包含的功能模塊有節(jié)點(diǎn)和IP管理模塊、容器管理模塊、服務(wù)管理模塊、鏡像管理模塊、多租戶管理模塊以及系統(tǒng)管理模塊。

（1）節(jié)點(diǎn)和IP管理模塊

節(jié)點(diǎn)管理模塊能夠?qū)Υ髷?shù)據(jù)平臺(tái)的物理機(jī)器資源的運(yùn)行狀態(tài)和IP地址信息進(jìn)行監(jiān)控，包括節(jié)點(diǎn)管理子功能和IP管理功能。

（2）容器管理模塊

容器管理模塊顯示平臺(tái)中的所有容器以及對(duì)于容器宿主機(jī)的單獨(dú)展示。租戶服務(wù)集群會(huì)由容器構(gòu)成，容器運(yùn)行于宿主機(jī)之上，本模塊可根據(jù)容器IP、容器所屬服務(wù)集群名稱等查詢?nèi)萜鳁l目，展示具體容器資源情況。容器與租戶和服務(wù)信息相綁定，租戶可在容器內(nèi)進(jìn)行程序部署和數(shù)據(jù)應(yīng)用。容器管理模塊包括容器創(chuàng)建功能、容器查詢功能、宿主機(jī)查詢功能。

（3）服務(wù)管理模塊

服務(wù)可看做容器服務(wù)化集群供租戶使用，通過服務(wù)管理可以添加、刪除、修改一項(xiàng)服務(wù)，并且可以查看各項(xiàng)服務(wù)的CPU數(shù)量、內(nèi)存大小、IP和健康狀態(tài)。服務(wù)管理模塊包括服務(wù)監(jiān)控功能、服務(wù)新建功能、服務(wù)維護(hù)功能。

（4）鏡像管理模塊

為保證容器鏡像安全以及鏡像定制需求的，公司大數(shù)據(jù)平臺(tái)設(shè)有私有鏡像庫，鏡像管理負(fù)責(zé)管理平臺(tái)私有鏡像庫中的鏡像組件。鏡像管理模塊包括鏡像查看功能、鏡像刪除功能。

（5）多租戶管理模塊

多租戶管理模塊進(jìn)行租戶權(quán)限管控以及相關(guān)HDFS目錄的資源管控和展示。每個(gè)租戶必在平臺(tái)上有一個(gè)屬于自己的HDFS目錄，對(duì)于平臺(tái)中的HDFS的監(jiān)控和管理即為租戶的云存儲(chǔ)管理，其HDFS目錄與租戶共存，租戶生成即目錄生成，租戶刪除即會(huì)將目錄同步刪除，因此將對(duì)于HDFS資源的管控直接放置與租戶管理部分，不單獨(dú)新增模塊。租戶管理能顯示某租戶申請(qǐng)的全部資源使用情況，包括服務(wù)情況、存儲(chǔ)情況、使用期限等內(nèi)容。租戶在HDFS上具有自己的私有目錄，在創(chuàng)建租戶的同時(shí)會(huì)在HDFS上生成對(duì)應(yīng)的私有目錄，會(huì)對(duì)私有目錄進(jìn)行權(quán)限和配額管理，實(shí)現(xiàn)數(shù)據(jù)隔離。多租戶管理模塊 包括HDFS管理功能、租戶新建功能、租戶資源概覽、租戶控制功能。其中租戶資源概覽模塊可單獨(dú)供租戶使用查看。

（6）系統(tǒng)管理模塊

系統(tǒng)管理模塊進(jìn)行用戶權(quán)限管控以及相關(guān)HDFS目錄的資源管控和展示，并進(jìn)行系統(tǒng)登陸和系統(tǒng)操作過程記錄、管控、存儲(chǔ)和查詢，形成系統(tǒng)登陸查詢?nèi)罩竞拖到y(tǒng)操作查詢?nèi)罩尽?/p>

3 應(yīng)用及展望

本系統(tǒng)提升分布式集群資源管理框架及容器化管理能力，從應(yīng)用效果來看，本監(jiān)控系統(tǒng)的上線運(yùn)行實(shí)現(xiàn)整個(gè)平臺(tái)集群和各個(gè)組件的運(yùn)行狀態(tài)的監(jiān)控，同時(shí)實(shí)現(xiàn)整個(gè)平臺(tái)租戶服務(wù)的管理。系統(tǒng)對(duì)開源組件進(jìn)行封裝，實(shí)現(xiàn)集群資源、權(quán)限的統(tǒng)一管理、租戶服務(wù)的部署和監(jiān)控。如通過頁面監(jiān)控平臺(tái)或容器狀態(tài)數(shù)據(jù)、控制租戶可用HDFS資源、權(quán)限、服務(wù)操作等。

但是目前的數(shù)據(jù)監(jiān)控管理系統(tǒng)在功能和服務(wù)方面仍然存在一定程度的局限性。

對(duì)于運(yùn)營(yíng)商企業(yè)而言，數(shù)據(jù)體量和運(yùn)維模式?jīng)Q定了其日益增加的數(shù)據(jù)規(guī)模和硬件設(shè)備的線性增加，導(dǎo)致日常的監(jiān)控和運(yùn)維任務(wù)增加，數(shù)據(jù)監(jiān)控管理系統(tǒng)的功能和監(jiān)控并發(fā)需求需要進(jìn)一步增加。

功能方面，目前僅對(duì)存儲(chǔ)空間進(jìn)行了分配，對(duì)于第三方租戶而言，往往應(yīng)用數(shù)據(jù)時(shí)需要進(jìn)行相關(guān)開發(fā)工作，因此運(yùn)營(yíng)商公司在提供數(shù)據(jù)服務(wù)的同時(shí)，需提供軟件開發(fā)環(huán)境和相關(guān)組件的安裝服務(wù)，也可作為一個(gè)收費(fèi)項(xiàng)目進(jìn)行開展。同時(shí)，可引入計(jì)費(fèi)管理功能，對(duì)不同服務(wù)的費(fèi)用明細(xì)向租戶進(jìn)行展示，做到收費(fèi)項(xiàng)目透明化。

參考文獻(xiàn)：

[1] 慕善文. 面向聯(lián)通大數(shù)據(jù)的精準(zhǔn)營(yíng)銷算法研究[D].北方工業(yè)大學(xué)，2019.

[2] 羅勛. 基于大數(shù)據(jù)系統(tǒng)中國(guó)聯(lián)通公司移動(dòng)互聯(lián)網(wǎng)產(chǎn)品策略研究[D]，廣西大學(xué)，2015.

[3] 霍玉嵩， 房秉毅， 陳清金. 開放共享中國(guó)聯(lián)通打造沃云大數(shù)據(jù)產(chǎn)業(yè)生態(tài)[J]. 通信世界， 2017（13）：34-37.

[4] 王佳， 金誠(chéng)， 謝美德. 在通信領(lǐng)域中大數(shù)據(jù)技術(shù)的應(yīng)用分析[J]. 通訊世界月刊， 2016，43（34）：23-28.

[5] 劉山. 中國(guó)聯(lián)通大數(shù)據(jù)應(yīng)用之路[J]. 信息通信技術(shù)， 2015（6）：13-16.