混合架構(gòu)云資源池部署及管理關(guān)鍵技術(shù)研究

陳春華，李軍，梁奐

（1.中國電信股份有限公司廣州研究院，廣東 廣州 510630；2.中國電信股份有限公司，北京 100033）

1 引言

電信運營商現(xiàn)有IT架構(gòu)主要采用以IBM、Oracle、EMC為代表的小型機、集中式關(guān)系型數(shù)據(jù)庫和高端存儲的IOE架構(gòu)進(jìn)行構(gòu)建，其架構(gòu)主要特點是穩(wěn)定、可靠和數(shù)據(jù)的一致性好。但隨著業(yè)務(wù)量的快速增長，帶來的大數(shù)據(jù)量、高并發(fā)使原有基于IOE架構(gòu)的應(yīng)用日益成為瓶頸，其擴展靈活性差，對大型IT廠商依賴和成本過高的矛盾突出。為了應(yīng)對新的挑戰(zhàn)，電信運營商啟動對現(xiàn)有IT架構(gòu)的變革，主要體現(xiàn)在以下2個方面：

（1）現(xiàn)有系統(tǒng)進(jìn)行去IOE的實踐，以提高基礎(chǔ)設(shè)施共享水平及應(yīng)用系統(tǒng)彈性，降低IT總體擁有成本：即對于B/S的Web服務(wù)器和應(yīng)用服務(wù)器向X86服務(wù)器遷移；同時推進(jìn)非核心系統(tǒng)的數(shù)據(jù)庫向X86服務(wù)器遷移，并優(yōu)先選擇虛擬機部署，盡可能保障故障快速恢復(fù)；對于大型核心系統(tǒng)的數(shù)據(jù)庫服務(wù)器暫保留IOE架構(gòu)，將歷史訂單、歷史客戶資料、歷史話單、計費清單等只讀數(shù)據(jù)剝離到云計算環(huán)境，降低核心數(shù)據(jù)庫處理壓力等；數(shù)據(jù)分析類應(yīng)用全面基于Hadoop等分布式技術(shù)進(jìn)行構(gòu)建。

（2）構(gòu)建新的“集中、開放和云化的IT架構(gòu)”，基于互聯(lián)網(wǎng)化思維，以平臺化、服務(wù)化、組件化的方式構(gòu)建IT架構(gòu)，平臺與硬件解耦，硬件與軟件解耦，基礎(chǔ)設(shè)施云化，對內(nèi)實現(xiàn)按角色提供個性化應(yīng)用和數(shù)據(jù)，對外通過服務(wù)組裝快速支撐價值鏈合作。

為適應(yīng)上述轉(zhuǎn)變，首先需要在IT基礎(chǔ)設(shè)施層面進(jìn)行整合、建設(shè)形成統(tǒng)一的資源池，既滿足Web和應(yīng)用服務(wù)器云化遷移到X86服務(wù)器（包括物理機和虛擬機）的需求，又滿足核心數(shù)據(jù)庫的小型機需求，同時還要滿足分布式計算架構(gòu)的需求，這樣資源池就形成多種計算能力混合的資源池（包括X86虛擬機資源池、X86物理機資源池、UNIX小型機資源池）。其典型混合架構(gòu)的云資源池架構(gòu)如圖1所示。

2 混合架構(gòu)的IT云資源池部署策略

如何構(gòu)建合理的資源池來滿足上述不同特征系統(tǒng)的不同計算能力需求，是運營商IT部門面臨的一項重要挑戰(zhàn)。云資源池主要包括計算資源、存儲資源和網(wǎng)絡(luò)資源，總體部署策略應(yīng)體系化、集約化和自動化，以降低資源池部署與運營成本，保障資源池的安全。

2.1 計算資源部署策略

根據(jù)計算功能和資源提供方式不同，可將計算資源分為3類，即虛擬計算資源池、物理計算資源池（包括X86和UNIX物理資源池）和分布式計算資源池。在資源分配過程中，可根據(jù)承載業(yè)務(wù)類型和需求不同，又將資源池劃分為不同的區(qū)域，如內(nèi)網(wǎng)生產(chǎn)區(qū)、公網(wǎng)DMZ（Demilitarized Zone，隔離區(qū)）區(qū)和開發(fā)測試區(qū)等。不同資源分類、區(qū)域劃分主要是為了滿足不同應(yīng)用的計算需求，并在保障安全的前提下降低計算資源部署成本。

（1）虛擬計算資源池：基于X86服務(wù)器部署主流虛擬化技術(shù)，以虛擬機方式提供計算能力，并以集群方式部署，按集群擴展。由于目前不同虛擬化技術(shù)資源無法共享，需分別部署在不同集群，建議同一資源池中盡量采用相同的虛擬化技術(shù)和CPU架構(gòu)，以保持良好的資源調(diào)度能力，主要適用于各系統(tǒng)Web服務(wù)器、APP服務(wù)器、接口服務(wù)器等。

（2）X86物理計算資源：基于X86服務(wù)器直接以物理整機方式提供計算能力，主要滿足部分資源要求較高的數(shù)據(jù)庫和大型應(yīng)用模塊部署需求。

（3）小型機物理計算資源：基于UNIX小型機直接以整機方式或者以分區(qū)的方式提供計算能力，主要滿足核心系統(tǒng)的數(shù)據(jù)庫部署需求。

圖1 混合架構(gòu)的云資源池

（4）分布式計算資源：基于X86服務(wù)器集群部署分布式計算技術(shù)，主要滿足大規(guī)模數(shù)據(jù)存儲與處理需求，按集群部署和擴展。

另外，由于各類計算資源服務(wù)對象和資源形態(tài)的不同，資源間不能共享，需要統(tǒng)籌考慮資源的部署布局，按照功能又可分為以下3類，不同類型的區(qū)域需要按其特性進(jìn)行計算能力的部署：

（1）生產(chǎn)區(qū)：生產(chǎn)類的系統(tǒng)資源穩(wěn)定、可靠、安全性要求較高，可配置穩(wěn)定性、可靠性、性能較高的虛擬計算和物理計算資源，以虛擬計算資源為主。針對大數(shù)據(jù)分析類應(yīng)用，根據(jù)分布式計算特點，可配置中低端定制化X86物理服務(wù)器，部分場景（對性能要求不高）可配置虛擬計算資源。對于核心系統(tǒng)的數(shù)據(jù)庫，可沿用現(xiàn)有高可靠的小型機計算資源。

（2）開發(fā)測試類區(qū)：由于用于開發(fā)測試的資源配置、環(huán)境等調(diào)整較頻繁，穩(wěn)定性和性能要求不高，為滿足各類系統(tǒng)的測試需要，可同時配置虛擬計算、物理計算和分布式計算3類資源，以虛擬計算資源為主，可配置中低端物理計算資源及分布式計算資源。

（3）DMZ區(qū)：以提供對外訪問的Web和應(yīng)用平臺為主，應(yīng)以虛擬計算資源為主。

2.2 存儲資源部署策略

存儲資源分為集中式存儲和分布式存儲。其中，集中式存儲是資源池存儲的主要提供方式，主要通過硬件保障性能和可靠性，主流技術(shù)包括FC-SAN、IPSAN、NAS（Network Attached Storage，網(wǎng)絡(luò)附加存儲）等，但部署成本較高、擴容不靈活；分布式存儲是可基于X86服務(wù)器部署的新興存儲技術(shù)，主要通過軟件保障性能和可靠性，主流技術(shù)包括分布式對象存儲、分布式塊存儲、分布式文件存儲等，具備低成本、靈活擴容、高并發(fā)訪問等優(yōu)勢。應(yīng)根據(jù)不同存儲需求提供分級存儲手段，以降低存儲資源部署成本。

由于混合的資源池規(guī)模、存儲量都較大，承載不同特征的應(yīng)用類型較多，所以應(yīng)根據(jù)不同業(yè)務(wù)特性和存儲需求（如高I/O存儲、高容量冷溫數(shù)據(jù)存儲、大數(shù)據(jù)存儲、備份和歸檔存儲等），配置不同的存儲（集中式、分布式的不同存儲技術(shù)選擇），實現(xiàn)分級存儲，差異化利用資源，從而降低成本以及提升資源利用率。

由于集中式存儲存在多種不同技術(shù)架構(gòu)（如FCSAN和IP-SAN），難以實現(xiàn)資源共享，需相對獨立部署，但同一技術(shù)架構(gòu)產(chǎn)品可通過存儲虛擬化技術(shù)實現(xiàn)資源整合共享；分布式存儲本質(zhì)上可實現(xiàn)底層硬件資源共享，通過軟件方式提供差異化存儲能力和接口，但其中分布式塊存儲對I/O要求較高，需要特殊考慮硬件配置，如配置SSD（Solid State Disk，固態(tài)硬盤）、萬兆卡等。

2.3 網(wǎng)絡(luò)部署策略

資源池網(wǎng)絡(luò)主要包括節(jié)點內(nèi)網(wǎng)絡(luò)、節(jié)點間網(wǎng)絡(luò)和對外訪問網(wǎng)絡(luò)3部分。

（1）節(jié)點內(nèi)網(wǎng)絡(luò)主要承載業(yè)務(wù)流量、存儲流量以及虛機間流量，應(yīng)實現(xiàn)流量之間的隔離，節(jié)點內(nèi)網(wǎng)絡(luò)架構(gòu)盡量扁平化。

（2）節(jié)點間網(wǎng)絡(luò)應(yīng)充分考慮多個資源池節(jié)點間的雙活、異地容災(zāi)、跨節(jié)點虛機遷移等需求，規(guī)模不大的資源池可選擇星形網(wǎng)絡(luò)結(jié)構(gòu)，后續(xù)隨著資源池規(guī)模不斷擴大和二層廣域互聯(lián)技術(shù)基本成熟，資源池網(wǎng)絡(luò)可向環(huán)形結(jié)構(gòu)調(diào)整。

（3）對外訪問網(wǎng)絡(luò)主要考慮防火墻、負(fù)載均衡方案設(shè)計。

3 混合架構(gòu)的云資源池運營管理關(guān)鍵技術(shù)

建設(shè)資源池運營管理能力，是資源池運營管理的重要技術(shù)手段。對資源池的運營管理功能一般包括采集與控制域、監(jiān)視管理域、資源調(diào)度域以及服務(wù)門戶等關(guān)鍵功能，具體如圖2所示。

其中，最基礎(chǔ)、最關(guān)鍵的能力就是要建立接口適配層，屏蔽不同類型的資源池的接口差異，能通過統(tǒng)一的接口適配來接入不同的計算資源池的資源。

3.1 與不同計算資源互聯(lián)適配的方式

與不同計算資源互聯(lián)適配的方式主要如下：

（1）小型機、X86物理機適配方式：一般通過第三方管理軟件、SNMP（Simple Network Management Protocol，簡單網(wǎng)絡(luò)管理協(xié)議）采集方式、安裝Agent代理采集方式、自定義采集腳本方式來收集小型機的配置信息、采集性能數(shù)據(jù)和告警信息。

圖2 混合架構(gòu)的云資源池管理能力

（2）虛擬機接口適配方式：根據(jù)虛擬化軟件提供的接口可以有2種適配方式。第1種是與虛擬化廠商管理軟件提供的接口進(jìn)行互聯(lián)（如圖2中的管理接口2），即通過如VMware的vCenter、Xen的XenServer提供的開放API（Application Programming Interface，應(yīng)用程序編程接口）來進(jìn)行基本配置信息、性能數(shù)據(jù)和告警數(shù)據(jù)的收集；第2種是通過與虛擬化廠商Hypervisor提供的接口進(jìn)行互聯(lián)（如圖2中的管理接口1）。由于第1種接口在穩(wěn)定性、全面性、開放性和后向兼容性方面都優(yōu)于第2種，所以盡可能優(yōu)先采用第1種。但對于虛擬化軟件提供接口不夠豐富、不能滿足運維要求的（如KVM），可能根據(jù)管理需要還要自行開發(fā)Agent部署到虛機上（與管理物理機方式類似）。

3.2 虛擬機關(guān)鍵性能指標(biāo)監(jiān)測與應(yīng)用

資源池運營管理的另一個重要方面就是采集各類資源的關(guān)鍵性能指標(biāo)，通過不斷地優(yōu)化性能閾值設(shè)置，及時發(fā)現(xiàn)異?；驖撛诘娘L(fēng)險，便于運維人員及時進(jìn)行處理。

UNIX小型機、X86物理機資源的性能指標(biāo)都有一些共性，主要關(guān)注CPU、內(nèi)存和I/O等主要性能數(shù)據(jù)，這方面的技術(shù)比較成熟，其性能數(shù)據(jù)也是主要通過與第三方管理平臺或者自行部署Agent的方式進(jìn)行性能數(shù)據(jù)的采集。

但虛擬機有一些特殊的性能指標(biāo)需要特別注意。由于虛擬機的性能與宿主機（物理機）有關(guān)聯(lián)，因此不能單純從虛擬機的性能指標(biāo)來判斷其性能，需要與宿主機的性能指標(biāo)進(jìn)行關(guān)聯(lián)分析。其中需要特別關(guān)注的性能指標(biāo)如下：

（1）虛擬機的CPU就緒時間：是指虛機準(zhǔn)備就緒、但無法安排在物理CPU上運行的時間所占的百分比，取決于宿主機上的虛擬機數(shù)量及CPU負(fù)載。即若宿主機上虛機較多且虛機CPU超額分配，會導(dǎo)致虛機在申請CPU資源時產(chǎn)生額外開銷；若宿主機CPU過載，會導(dǎo)致虛機申請不到足夠的CPU資源。

虛擬機CPU是否不足的判斷：若宿主機CPU未過載，可根據(jù)虛機CPU使用情況判斷虛機CPU是否分配不足，如CPU就緒時間占比過高，可適當(dāng)減少虛機CPU分配或遷移部分虛機來減少CPU就緒時間；若宿主機CPU過載，會導(dǎo)致虛機得不到足夠的CPU，虛機CPU就緒時間增大，應(yīng)及時優(yōu)化最耗CPU的虛機或遷移虛機至負(fù)載較輕的宿主機。

（2）氣泡內(nèi)存和內(nèi)存換入/換出速率：以VMware為例，氣泡內(nèi)存是指VMkernel從虛機回收的內(nèi)存，回收的內(nèi)存會以文件的形式存放在數(shù)據(jù)存儲上，擴展名為vswp。內(nèi)存換入速率是指內(nèi)存交換到虛機中的平均速率；內(nèi)存換出速率是指內(nèi)存從虛機中交換出的平均速率。

虛擬機內(nèi)存是否充足的判斷：不能僅從虛機CPU使用率來單純判斷，此項指標(biāo)只能作為虛機內(nèi)存繁忙程度的依據(jù)，還需要另外采集虛機操作系統(tǒng)內(nèi)存使用情況關(guān)系，即虛機操作系統(tǒng)內(nèi)存使用率和交換區(qū)使用率這2項指標(biāo)。若氣泡內(nèi)存較多且內(nèi)存換入/換出速率較高，則說明虛機內(nèi)存不足，應(yīng)及時考慮遷移虛擬機或擴容宿主機。

4 結(jié)束語

通過合理構(gòu)建部署混合的IT云資源池，可以適應(yīng)不同特征的應(yīng)用需要；構(gòu)建中應(yīng)加強對資源池的運營管理能力建設(shè)，實現(xiàn)對資源池進(jìn)行統(tǒng)一的管理；在運營過程中要關(guān)注虛擬化資源池的特殊性能指標(biāo)的關(guān)聯(lián)，及時發(fā)現(xiàn)運營過程潛在的風(fēng)險，優(yōu)化資源配置，提升資源池運營能力。

[1]陳春華,梁奐,李軍. 云資源池環(huán)境下的IT服務(wù)管理系統(tǒng)優(yōu)化及實施策略[J]. 移動通信, 2013(16): 83-87.

[2]陳春華,李軍,梁奐,等. 資源池環(huán)境下的IT服務(wù)管理實施策略[J]. 電信科學(xué), 2012(9): 142-147.

[3]陳春華,梁奐. 全業(yè)務(wù)電信運營商的IT服務(wù)管理實踐探討[J]. 電信科學(xué), 2011(3): 118-125.

[4]秦潤鋒,樊勇兵,唐宏,等. 電信運營商開放式IaaS云平臺研究[J]. 電信科學(xué), 2013(10): 5-9.

[5]楊經(jīng)緯,胡林,李金嶺,等. 支撐電信運營商集約管理的云計算平臺研究探索與實踐[J]. 電信科學(xué), 2013(8): 136-145.

[6]燕杰,樊勇兵,金華敏,等. 電信運營商的云計算資源池部署方法概述[J]. 電信科學(xué), 2011(10): 13-19.

[7]韋赟. 淺析云計算及其在電信運營商中的應(yīng)用[J]. 廣西通信技術(shù), 2014(3): 18-23.

[8]Peter Brooks. IT服務(wù)管理指標(biāo)[M]. 豐祖軍,譯. 北京: 清華大學(xué)出版社, 2008.

[9]Theo Thiadens. IT管理的知識體系[M]. 李東,牛芳,譯. 北京: 清華大學(xué)出版社, 2007.

[10]Jan van Bon. 基于ITIL的全球最佳實踐[M]. 章斌,譯.北京: 清華大學(xué)出版社, 2006.