一個企業(yè)資源綜合管理系統(tǒng)的研究設(shè)計與實現(xiàn)

趙陽

（中國石油大學（華東）計算機與通信工程學院，山東青島266555）

1.引言

與傳統(tǒng)的計算密集型的科學計算不同，目前的搜索引擎、電子商務(wù)、企業(yè)辦公自動化以及社會網(wǎng)絡(luò)等流行的網(wǎng)絡(luò)服務(wù)基于一種數(shù)據(jù)密集型的計算模式。這種類型的應(yīng)用一般需要超大規(guī)模的并行計算處理，由用戶的請求激發(fā)后臺服務(wù)器的響應(yīng)處理。計算能力達每秒千萬億次的巨型機或高性能的大規(guī)模集群能夠高效地運行計算密集型應(yīng)用，但價格過于昂貴，利用率較低，不適用于數(shù)據(jù)密集型的應(yīng)用[1]，因此大多數(shù)企業(yè)會選擇購買中小型的服務(wù)器構(gòu)建集群，并由系統(tǒng)管理員負責管理、維護集群的軟、硬件資源，部署相關(guān)的應(yīng)用為企業(yè)內(nèi)部或者外部的用戶服務(wù)。

2.現(xiàn)有資源管理系統(tǒng)存在的問題

2.1 資源負載過重

企業(yè)在啟動新的研究項目時，都要估算用戶的訪問量和系統(tǒng)工作負載的峰值，并以此為依據(jù)確定集群的規(guī)模和服務(wù)器的數(shù)量。不幸的是，用戶訪問量和系統(tǒng)工作負載都是難以預測的，如果企業(yè)低估了它們，那么隨著網(wǎng)絡(luò)服務(wù)的訪問量不斷增加，有限的服務(wù)器由于長時間處于滿負載狀態(tài)，而無法及時響應(yīng)用戶請求，延長用戶等待時間或者拒絕服務(wù)，將大大降低服務(wù)滿意度和質(zhì)量，將最終導致用戶的流失。

2.2 資源利用率低

相對的，如果企業(yè)高估了用戶的訪問量和系統(tǒng)負載，購買了多余的服務(wù)器，那么由于服務(wù)的訪問量有限，集群中的一部分資源會始終無法得到利用。與此同時，這些服務(wù)器耗費的網(wǎng)絡(luò)、冷卻、電力都很大程度地增加了企業(yè)的運營成本。

另一方面，用戶請求和系統(tǒng)負載始終是隨著時間而不斷變化的，例如企業(yè)辦公自動化服務(wù)的訪問量在上班、下班時間是完全不同的，而互聯(lián)網(wǎng)上的網(wǎng)絡(luò)服務(wù)更是每天、每月、每年都時刻波動的。正是因為用戶訪問量的這種時間變化性，才導致傳統(tǒng)的集群資源管理系統(tǒng)在訪問量不斷增加時出現(xiàn)資源負載過重的問題，而在訪問量有限的情況下出現(xiàn)資源利用率低下的問題。

2.3 企業(yè)內(nèi)部的空閑資源

現(xiàn)在的普通計算機配置越來越高，完全具備了中小型服務(wù)器的能力。企業(yè)工作人員使用的普通計算機通常只安裝日常的辦公處理、網(wǎng)絡(luò)通信、網(wǎng)頁瀏覽等應(yīng)用軟件，無法充分利用這些強大的物理資源，利用率大多不足15%。如果能綜合利用企業(yè)內(nèi)部大量普通工作計算機作為后備資源，在服務(wù)器負載過重時分擔處理用戶請求，而在服務(wù)訪問量不足時僅使用少量的服務(wù)器，就能有效解決現(xiàn)在企業(yè)資源管理系統(tǒng)存在的兩個重要問題。

本文設(shè)計了一個能夠靈活、高效的綜合利用企業(yè)集群服務(wù)器和普通計算機的資源管理系統(tǒng)ERMS(Enterp Resource Management System)，該原型系統(tǒng)是基于Struts 2[2]、Spring[3]、Hibernate[4]及A jax[5]等輕量級Java EE開發(fā)框架的web應(yīng)用，并實現(xiàn)了可以根據(jù)用戶請求量和系統(tǒng)負載變化，動態(tài)調(diào)整分配物理資源數(shù)量的企業(yè)資源調(diào)度算法DRSA(Dynam ic Resource Scheduling Algorithm)。

3.ERMS企業(yè)資源管理系統(tǒng)

3.1 ERMS的系統(tǒng)結(jié)構(gòu)

圖1 ERMS系統(tǒng)結(jié)構(gòu)

ERMS企業(yè)資源管理系統(tǒng)主要由中心控制組件和企業(yè)資源池組成，企業(yè)、組織內(nèi)部的服務(wù)器和普通計算機都部署了ERMS響應(yīng)/監(jiān)控服務(wù)器端程序，負責向信息中心注冊資源的軟、硬件配置信息以及動態(tài)的負載狀態(tài)，從而形成由服務(wù)器和普通計算機組成的層次化企業(yè)資源池；中心控制組件是框架的核心，負責維護資源池主機元數(shù)據(jù)信息，響應(yīng)用戶請求使用所需的資源、實時查詢資源狀態(tài)以及釋放資源等。

3.2 ERMS的中心控制組件

ERMS系統(tǒng)的中心控制組件主要由門戶網(wǎng)站、控制器、信息中心和調(diào)度器四部分構(gòu)成。門戶網(wǎng)站主要提供用戶管理及為用戶提供查看、遠程操控、管理、監(jiān)控資源的圖形化界面，屬于MVC模式的表現(xiàn)層，采用Struts 2Web應(yīng)用開發(fā)框架實現(xiàn)，并無縫集成了Ajax技術(shù)，使用戶通過瀏覽器就可以完成以上操作；控制器和調(diào)度器構(gòu)成了業(yè)務(wù)邏輯層，負責處理用戶請求，并及時返回響應(yīng)信息；信息中心是MySQL 5[6]數(shù)據(jù)庫，屬于數(shù)據(jù)層，保存系統(tǒng)的所有相關(guān)信息數(shù)據(jù)，表現(xiàn)層和數(shù)據(jù)層的信息傳遞則利用Hibernate封裝的JavaBean實現(xiàn)。門戶網(wǎng)站與控制器、調(diào)度器進行前端表現(xiàn)層與業(yè)務(wù)邏輯層的分離，解耦了用戶界面顯示與網(wǎng)絡(luò)資源信息管理的具體實現(xiàn)，屏蔽了底層操作的復雜性，提高了系統(tǒng)的可擴展性、組件的可復用性；而數(shù)據(jù)層與表示層、業(yè)務(wù)邏輯層的分離保證了系統(tǒng)執(zhí)行應(yīng)用邏輯時全局信息視圖的一致性。

3.3 企業(yè)資源池

企業(yè)資源池，即由企業(yè)內(nèi)部的集群服務(wù)器和普通服務(wù)器聚合在一起形成的層次化的資源集合。服務(wù)器和普通計算機要進入企業(yè)資源池為用戶服務(wù)，需要安裝服務(wù)端軟件――ERMS響應(yīng)/監(jiān)控軟件，既可以使管理員可以很好地管理本地資源、維護相關(guān)信息，又能夠與中心控制組件協(xié)同工作實現(xiàn)用戶對整個資源池中資源的遠程控制和管理。

響應(yīng)/監(jiān)控軟件基于BSD UNIX下的Socket網(wǎng)絡(luò)編程接口[7]，使用C語言實現(xiàn)，以守護進程（Daemon）的形式在資源宿主服務(wù)器上運行，負責與ERMS調(diào)度器建立TCP/IP網(wǎng)絡(luò)連接交互信息。

4.DRSA動態(tài)資源調(diào)度算法

4.1 算法描述

根據(jù)用戶需求在企業(yè)資源池中查找、調(diào)度滿足條件的資源分配給用戶使用，是實現(xiàn)企業(yè)資源管理系統(tǒng)的關(guān)鍵問題?，F(xiàn)有企業(yè)資源管理系統(tǒng)的調(diào)度機制在查找、匹配資源時沒有考慮宿主機系統(tǒng)負載對服務(wù)質(zhì)量的影響，例如有用戶要將1GB的文件存儲在資源池的主機中，如果只考慮是否有足夠的空間，那么仍無法從根本上解決資源利用不均衡的問題。假設(shè)主機A共享了10GB的磁盤空間，而一段時間處于滿負荷工作狀態(tài)，而主機B僅共享了2GB的空間，卻一直處于空閑狀態(tài)。靜態(tài)的調(diào)度策略算法會優(yōu)先選取主機A提供服務(wù)，那么網(wǎng)絡(luò)傳輸1GB文件的時間為200秒，而如果選擇主機B，傳輸時間僅為126秒。所以NRSA算法調(diào)度共享資源，在多個主機滿足用戶需求時，優(yōu)先選擇最近一段時間內(nèi)CPU負載較輕的主機。

因此，我們在企業(yè)資源管理系統(tǒng)ERMS的調(diào)度器模塊中實現(xiàn)動態(tài)的資源調(diào)度算法DRSA。算法可根據(jù)用戶的不同需要，綜合考慮企業(yè)內(nèi)部服務(wù)器的能力及系統(tǒng)動態(tài)負載，進行資源的分配和調(diào)度，并且能夠在服務(wù)器能力受限的情況下，調(diào)度企業(yè)內(nèi)部的普通計算機資源緩解服務(wù)器的負載壓力，從而提高系統(tǒng)的吞吐量、負載均衡和資源利用率。

根據(jù)圖1和算法描述，DRSA算法主要步驟如下：

4.2 模擬實驗結(jié)果及分析

為了驗證ERMS原型系統(tǒng)的功能性及DRSA算法在服務(wù)器能力受限的情況下，利用企業(yè)資源池中的普通計算機資源作為緩沖，協(xié)同處理用戶請求，提高整個系統(tǒng)吞吐量、性能以及促進負載均衡方面的效果，我們設(shè)計了相關(guān)的模擬實驗進行驗證。

實驗設(shè)定系統(tǒng)企業(yè)資源池由10臺服務(wù)器和10臺普通計算機構(gòu)成，實驗初始化階段所有主機的工作負載由模擬器隨機產(chǎn)生。如果假定服務(wù)器每處理一個用戶請求，會使系統(tǒng)負載增長5%，則每臺服務(wù)器可以同時處理20個用戶請求；相對的，普通計算機每處理一個用戶請求系統(tǒng)負載會增加10%，則每臺普通計算機可以同時處理10個用戶請求。那么，10臺服務(wù)器能夠承載200個用戶的并發(fā)訪問，而綜合利用普通計算機則能夠使系統(tǒng)的訪問量達到300，系統(tǒng)的吞吐量和性能提高了50%。

ERMS系統(tǒng)接收到用戶使用資源的請求，首先調(diào)用服務(wù)器進行響應(yīng)、處理，實驗設(shè)定系統(tǒng)負載閾值為60%，如果服務(wù)器負載高于60%，則認為服務(wù)器處于滿負載運行狀態(tài)，開始考慮使用普通計算機資源。圖2顯示的是某時刻，系統(tǒng)同時處理68個用戶請求各主機負載的變化情況，其中前10個數(shù)據(jù)柱表示服務(wù)器的負載變化，后10個表示普通計算機的負載變化。

通過上圖我們可以很清楚的看到DRSA算法能夠在服務(wù)器處于高負載時，根據(jù)負載變化，利用普通計算機處理12個用戶請求，從而很好地保持企業(yè)資源池的負載均衡和性能優(yōu)化，避免“熱點”現(xiàn)象和資源閑置無法利用的情況。

5.結(jié)束語

雖然計算機技術(shù)發(fā)展迅速，但資源的利用率卻普遍很低，用戶訪問量的變化性使服務(wù)器同時面臨負載過高、響應(yīng)時間增長和部分資源閑置兩個問題，企業(yè)內(nèi)部的普通計算機更是具有了中下型服務(wù)器的能力卻只運行簡單應(yīng)用，利用率甚至不足15%。針對以上問題，我們設(shè)計了企業(yè)資源管理系統(tǒng)ERMS，并實現(xiàn)了動態(tài)的資源調(diào)度算法DRSA，能夠綜合利用服務(wù)器和普通計算機資源，響應(yīng)、處理用戶請求，提高整個系統(tǒng)的吞吐量、資源利用率，優(yōu)化各物理資源的負載均衡。

[1] Figueiredo.R，Dinda.P，&J.Fortes.Resource Virtualization Renaissance[J]，IEEE Computer(Special Issue On Resource Virtualization)，2005(4)，24-27.

[2] Ted Husted.Struts in Action：Building Web Applications with the Leading Java Framework.Manning Publications.2005.

[3] Craig Walls，Ryan Breidenbach.Spring in Action.Manning Publications，2008.

[4] Christian Bauer，Gavin King，Hibernate in Action，Manning Publications，2005.

[5] Dave Crane，Eric Pascarello，Darren James.Ajax in action.Manning Publications.2006.

[6] Michael Kofler.The Definitive Guide to MySQL 5，Third Edition.Apress.2006.

[7] Elliotte Rusty Harold.JAVA Network Programming，Third Edition.O'Reilly.2005.