基于vRops的云主機監(jiān)控在寶之云中的應用

侯慶偉

(上海寶信軟件股份有限公司 信息服務事業(yè)本部 上海：201203)

隨著信息技術(shù)、網(wǎng)絡技術(shù)以及大數(shù)據(jù)技術(shù)的快速發(fā)展，信息資源越來越龐大和豐富。面對這種狀況，單個物理機很難應對大規(guī)模數(shù)據(jù)處理的情況，用戶急需可定制、可擴展、高效可靠的計算模式來支撐業(yè)務需求。在這種需求的驅(qū)動下，分布式計算、網(wǎng)格計算、效用計算等混合演進，形成了如今成熟的云計算服務模式和商業(yè)模型。隨著云的生態(tài)發(fā)展越來越好，云數(shù)據(jù)中心的規(guī)模也在不斷擴大，對云資源的管理就越發(fā)重要。目前，各云服務商都相繼推出了自己的云管理平臺，以實現(xiàn)對云資源的有效管理。云資源數(shù)據(jù)采集是對云資源有效管理的第一步。如何在不影響云環(huán)境中各資源有效運行的情況下，獲取云環(huán)境中各資源數(shù)據(jù)信息是要首先考慮的問題。

本文基于寶之云云管理平臺運營過程中對云資源管理優(yōu)化的需要，針對云資源數(shù)據(jù)采集面臨的難點，論述了VMware vRealize Operation Manager(vRops)在寶之云監(jiān)控體系中的運用，以對讀者有所啟發(fā)。

1 云計算的概念及特點

1.1 云計算的定義

云計算這個概念首次提出是在2006年8月的搜索引擎會議上[1]。它是分布式計算、虛擬化技術(shù)、效用計算、Web服務及網(wǎng)格計算等技術(shù)充分發(fā)展融合的產(chǎn)物。云計算實質(zhì)上是給用戶提供類似傳統(tǒng)的水、電、煤氣等按需使用的計算服務[2]，其目標是用戶能夠通過網(wǎng)絡在任何地點、任何時間、最大限度地使用虛擬機資源，并處理大規(guī)模計算問題。從廣義上來講，云計算是與信息技術(shù)、互聯(lián)網(wǎng)和軟件相關(guān)的一種服務，這種計算共享池叫做“云”，云計算把計算資源集中起來，通過軟件虛擬化成資源池，實現(xiàn)自動化管理，只需要很少人的參與就可快速將資源交付給用戶，并且資源可以動態(tài)調(diào)整。目前對于云計算的定義有幾百種，主要的定義有以下幾種：

維基百科在2019年對云計算的定義：“云計算(Cloud computing)，是一種基于互聯(lián)網(wǎng)的計算方式，通過這種方式，共享的軟硬件資源和信息可以按需求提供給計算機各種終端和其他設備，使用服務商提供的計算機基建作計算和資源?！?/p>

伯克利云計算白皮書對云計算的定義：“云計算包括互聯(lián)網(wǎng)上各種服務形式的應用以及數(shù)據(jù)中心提供這些服務的軟硬件設施”。

文獻[3]對云計算的定義：云是一個包含大量可用虛擬資源(例如硬件、開發(fā)平臺、I/O服務)的資源池。這些虛擬資源可以根據(jù)負載的變化動態(tài)地調(diào)整資源，以達到資源的最大有效的利用。這種資源池通常是由云服務商按照服務等級協(xié)議(Service Level Agreement, SLA)采用分時付費(Pay_Per_Use, PPU)的模式進行運營。

文獻[4]從云計算服務使用者、服務提供者、組織方式、內(nèi)部實現(xiàn)機制等方面給云計算的定義為：云計算是由網(wǎng)格計算發(fā)展而來的，前臺采用用時付費的方式通過Internet向用戶提供服務。云系統(tǒng)后臺通過服務器集群提供的虛擬機組成由大量的集群使用虛擬機的方式，通過高速網(wǎng)絡互聯(lián)，組成大型的虛擬資源池。這些虛擬資源可自主管理和配置，用數(shù)據(jù)冗余的方式保證虛擬資源的高可用性，并具有分布式存儲和計算、高擴展性、高可用性、用戶友好性等特征。

1.2 云計算的特點

通過上述對云計算的定義的不同表述，總結(jié)出云計算具有如下特點：

(1)資源池化：通過虛擬化技術(shù)將計算、存儲、網(wǎng)絡等虛擬化，根據(jù)用戶需求動態(tài)分配。

(2)可擴展性：用戶可以隨時隨地根據(jù)自身實際需要，快速彈性地擴充資源，增強處理能力，而且不會對現(xiàn)有業(yè)務產(chǎn)生不好的影響。

(3)方便的網(wǎng)絡訪問性：用戶通過互聯(lián)網(wǎng)即可實現(xiàn)自助式服務，不需要部署負責的硬件和軟件，也無需了解所使用資源所處的位置，通過互聯(lián)網(wǎng)即可獲取云中的資源，實現(xiàn)高性能計算。

(4)可度量性：可以監(jiān)控服務資源的使用情況，并報告給用戶和云服務供應商，云服務供應商可以根據(jù)使用情況收取費用，并且用戶也能夠知道自己錢花在哪里。

(5)可靠性：能夠自動檢測失效節(jié)點，并通過數(shù)據(jù)冗余技術(shù)保證業(yè)務的正常運作，達到SLA的要求。

1.3 云計算的服務模式

從云服務者的角度，云計算的服務類型可以分為三種，分別是：基礎設施即服務(Infrastructure as a Service,IaaS)、平臺即服務(Platform as a Service,PaaS)、軟件即服務(Software as a Service,SaaS)。

IaaS服務：此種服務模式通過云基礎設施來供應CPU、內(nèi)存、硬盤等物理資源。通過虛擬化技術(shù)，使用者無需管理底層基礎設施，可以根據(jù)需要使用虛擬資源。

PaaS服務：該服務為用戶提供應用開發(fā)所需要的環(huán)境和資源。用戶不用擔心底層的服務架構(gòu)是如何設計的，只需要把注意力重點放在程序的設計和操作實施上即可。

SaaS服務：該服務模式將應用軟件通過互聯(lián)網(wǎng)提供給用戶，用戶可以直接使用軟件并且不需要進行軟件的安裝、維護與更新，也無需管理底層云基礎設置，只需要把精力專注于自己的業(yè)務上即可。

由以上云計算的產(chǎn)生、特點及交付方式可以看出，對于云服務商而言能夠快速有效地為用戶提供云服務，并且保證用戶數(shù)據(jù)安全是對云服務商最基本的要求。然而隨著云的規(guī)模不斷擴大，對云中心資源的管理就顯得越發(fā)重要。

2 寶信軟件云管理平臺

寶信軟件寶之云始建于2012年，為用戶提供IaaS、PaaS、SaaS三種服務類型。在對外提供這些服務時需要一個統(tǒng)一、集中的管理平臺(即云管理平臺)，以實現(xiàn)對云中心資源的有效管理，支撐為用戶提供快速有效的服務的要求[5]。

目前，業(yè)界有很多開源組織或者云服務供應商都推出了各自的云管理平臺，但是其對技術(shù)有一定的限制，如VMware等公司通常對自身產(chǎn)品都能夠有比較好的支持和兼容性，OpenStack和CloudStack等開源架構(gòu)僅僅對X86技術(shù)路線有支持。構(gòu)建一個能夠融合不同廠商和技術(shù)路線的云管理平臺就顯得愈發(fā)重要。

2.1 寶信軟件云管理平臺架構(gòu)

寶信軟件云管理平臺在實施整體架構(gòu)設計上對上述因素進行了充分考慮，形成了具有很大價值的解決方案，具體體現(xiàn)在四個方面[5]：

(1)五位一體，全面管理。寶信軟件云管理平臺涵蓋運營管理、運營維護流程管理、監(jiān)控管理、自動化管理、資源配置管理等五大子系統(tǒng)，對于結(jié)構(gòu)復雜的云數(shù)據(jù)中心是一個全面的解決方案。

(2)異構(gòu)整合，真正跨平臺。寶信軟件云管理平臺不僅能夠融合不同云計算供應商，而且能夠支持不同的技術(shù)路線，具有很強的融合性。

(3)動態(tài)建模，隨需擴展。寶信軟件云管理平臺中的屬性庫、技術(shù)指標庫等均可以通過建模的方式進行擴展，能夠充分應對規(guī)模擴展、技術(shù)路線更新等各種變化的需求。

(4)理念沉淀、實踐融合。寶信軟件云管理平臺融合了寶信30多年服務寶鋼的管理理念和最佳實踐，在保持高度靈活性和擴展性的同時，對云的管理和實施具有很好的指導意義。

寶信軟件云管理平臺架構(gòu)圖如圖1所示。

由圖1可以看出，寶信軟件云管理平臺包含運營管理、監(jiān)控管理、運營維護流程管理、資源配置管理和自動化管理等五大子系統(tǒng)。運營管理從云中心運營人員和租戶的視角對服務的全生命周期進行管理。運營管理子系統(tǒng)所涉及到的指標數(shù)據(jù)由監(jiān)控管理子系統(tǒng)負責采集和處理。同時，監(jiān)控管理子系統(tǒng)還對云中心的資源進行監(jiān)控，并在滿足預定策略時觸發(fā)報警，并產(chǎn)生事件通知運營維護人員或者觸發(fā)自動化操作。由以上分析可以看到，監(jiān)控管理子系統(tǒng)就像是寶信軟件云管理平臺的中樞神經(jīng)系統(tǒng)，負責從云中心的各個點狀資源收集數(shù)據(jù)，并對收集到的數(shù)據(jù)進行分析處理，提出關(guān)鍵信息后發(fā)給云管理平臺中的其他子系統(tǒng)。

2.2 云資源數(shù)據(jù)采集面臨的問題

那么監(jiān)控管理子系統(tǒng)是如何獲取云中心各資源的數(shù)據(jù)呢？目前，在寶之云中，與用戶業(yè)務關(guān)系最密切的是各虛擬機。對于PaaS用戶，監(jiān)控管理子系統(tǒng)獲取虛擬機的配置數(shù)據(jù)是通過在做云服務申請時設計的技術(shù)服務實現(xiàn)，獲取虛擬機運行狀態(tài)的數(shù)據(jù)如CPU，內(nèi)存、磁盤I/O等則是通過在虛擬機安裝監(jiān)控Agent實現(xiàn)，通過在云管理配置相應的采集策略和分析聯(lián)動策略實現(xiàn)相關(guān)數(shù)據(jù)的采集和分析。上述這種數(shù)據(jù)獲取方式存在很大的問題，一方面是對于IaaS用戶不希望虛擬機上安裝監(jiān)控Agent，但是又想知道虛擬機的運行狀態(tài)信息；另外一方面，通過監(jiān)控Agent的采集方式，在采集腳本寫得不好的情況下，有可能會對虛擬機的運行帶來額外的壓力。

解決好這兩個問題成為提升寶之云服務質(zhì)量的關(guān)鍵，并且對于寶之云運營優(yōu)化具有重要的意義。基于上述運營過程的痛點，筆者提出將vRops運用于寶之云監(jiān)控體系的方案。

3 vRops介紹

vRops是VMware公司開發(fā)的一個工具，其在業(yè)務和運營維護目標的驅(qū)動下能夠以最低成本提供持續(xù)性能優(yōu)化、高效容量管理和規(guī)劃以及智能修復。它能夠自動化并簡化IT運營維護管理，并跨物理、虛擬和云計算環(huán)境提供從應用到基礎架構(gòu)的統(tǒng)一可見性。其適用的用戶場景主要有以下三個：

(1)持續(xù)性能優(yōu)化。在運營維護和業(yè)務目標的驅(qū)動下，通過預測性分析驅(qū)動操作，實現(xiàn)自動工作負載均衡并主動避免爭用，從而確保以最低成本代價獲得所需性能。自動執(zhí)行工作負載均衡，以降低軟件許可成本、基于性能層進行優(yōu)化、增加集群密度或?qū)嵤┖弦?guī)性策略。

(2)高效容量管理和規(guī)劃。通過實時預測容量分析來降低成本和容量風險，以提供最佳致密化容量。通過預測未來需求，獲取切實可行的建議并自動執(zhí)行回收與規(guī)模優(yōu)化。分析集成成本與容量，可優(yōu)化利用率并降低成本。高級情景假設有助于跨私有云和多個公有云，為新工作負載規(guī)劃容量并建立最適合的模型。

(3)智能修復。借助從應用到基礎架構(gòu)的統(tǒng)一可見性，以及與指標和日志相關(guān)的切實可行的洞察信息，更快速地預測和預防問題，并進行故障排除。通過原生 (Software Define Data Center,SDDC)集成、聯(lián)合視圖以及高度可擴展和可延展的平臺，集中管理 IT運營維護。通過從vCenter 開始并提供全環(huán)境概覽、故障排除和容量管理的運營維護可見性。

vRops節(jié)點架構(gòu)如圖2所示。由圖2可以發(fā)現(xiàn)，vRops組件主要由Watchdog、The user interface、Collector、GemFire、GemFire Locator、Controller、Analytics、Persistence組成。其中Watchdog是vRops中的一個服務，用于維護必要的守護進程或者服務，如果出現(xiàn)故障，會根據(jù)需要嘗試重新啟動它們。The user interface為用戶提供門戶或者為外部的數(shù)據(jù)采集提供API。Collector負責從配置的數(shù)據(jù)源中提出數(shù)據(jù)指標信息。GemFire是一種位于內(nèi)存中的低延遲的數(shù)據(jù)網(wǎng)格，一般同Collector和Analytics位于同一JVM種，集群中有節(jié)點添加時會同步擴展。GemFire Locator運行在集群的主節(jié)點和副節(jié)點上。Controller是Analytics的子進程，負責協(xié)調(diào)集群成員之間的活動。Analytics是vRops的核心，主要用于對數(shù)據(jù)進行分析。Persistence顧名思義就是數(shù)據(jù)的持久化層，負責數(shù)據(jù)的落盤。

圖2 vRops節(jié)點架構(gòu)圖

從以上對vRops的分析可以看出，vRops中每個節(jié)點都是分層構(gòu)成的，每個層負責不同的功能，各層相互配合，共同實現(xiàn)vRops性能優(yōu)化、高效容量管理和規(guī)劃以及智能修復的目標。

4 vRops在寶之云監(jiān)控中的應用

vRops對云中心數(shù)據(jù)的采集是通過在vRops中配置數(shù)據(jù)源來實現(xiàn)的，配置的數(shù)據(jù)源一般是云中心的vCenter，由組件Collector負責從配置的vCenter采集數(shù)據(jù)。vCenter是整個數(shù)據(jù)中心的大腦，擁有整個數(shù)據(jù)中心資源的全部信息，包括虛擬機的動態(tài)運行信息，如CPU、內(nèi)存，I/O，網(wǎng)絡流量使用情況等。vRops通過從vCenter采集數(shù)據(jù)實現(xiàn)了無代理監(jiān)控的目標，能夠很好地解決寶之云運營過程數(shù)據(jù)采集面臨的問題。將vRops運用于寶之云監(jiān)控的架構(gòu)圖如圖3所示。

圖3 vRops應用于寶之云監(jiān)控架構(gòu)圖

首先部署兩臺vRops節(jié)點，分別做主節(jié)點和備節(jié)點，保證集群的高可用性。在兩個vRops節(jié)點前面部署利用Haproxy搭建負載均衡設備(提供統(tǒng)一的采集IP)，設置負載均衡算法，在Master節(jié)點為active狀態(tài)時，采集流量一直采集Master節(jié)點，只有當Master節(jié)點異常時才在vRops中配置數(shù)據(jù)源為云數(shù)據(jù)中心的vCenter。利用vRops提供的API接口，采用Python語言編寫數(shù)據(jù)采腳本，接入寶信軟件的云管理平臺上。通過在寶信軟件云管理平臺的虛擬化控制器的采集策略里增加相關(guān)指標的采集策略，實現(xiàn)數(shù)據(jù)采集的目的。

根據(jù)vMware官方給出的文檔，通過vRops提供的API接口從不同維度(例如CPU、內(nèi)存、磁盤、網(wǎng)絡、客戶機等)提供的指標項總計有272項。顯然這些指標并不都是目前寶信軟件云管理都需要采集的數(shù)據(jù),對這些指標項進行了篩選，篩選出目前最重要的指標項作為采集項，涵蓋CPU、內(nèi)存、磁盤、網(wǎng)絡、虛擬機等5個維度，總計50個指標項。

寶之云云管理平臺中配置的采集項如圖4所示。

圖4 采集策略配置圖

以虛擬機PVVMDC0077為例，通過在云管理平臺上查看此虛擬機的實時狀態(tài)可以看到此虛擬機動態(tài)指標信息，以CPU為例，平臺上此虛擬機的數(shù)據(jù)如圖5所示。

圖5 數(shù)據(jù)采集指標圖

由圖5可以看出，將vRops運用于寶之云監(jiān)控體系能夠很好地實現(xiàn)無代理監(jiān)控的目的，解決了IaaS用戶不想安裝監(jiān)控Agent而又想了解虛擬機運行實時狀態(tài)的需求。同時由于實現(xiàn)了無代理監(jiān)控，對虛擬機本身運行不會帶來壓力。

5 結(jié)束語

在云管理平臺中，監(jiān)控管理子系統(tǒng)處于中樞神經(jīng)系統(tǒng)的地位。針對寶之云云管理平臺實際運營過程中遇到的數(shù)據(jù)采集問題，引入了vRops解決方案。實踐證明，將vRops運用于寶之云監(jiān)控體系能夠很好地實現(xiàn)無代理監(jiān)控的目的，同時對虛擬機本身運行不會帶來壓力，進而為運營的優(yōu)化奠定了條件。