Linux下高可用應(yīng)用基礎(chǔ)體系的設(shè)計與實現(xiàn)

高丙寧，張小東，夏 濤

（中國工程物理研究院 計算機(jī)應(yīng)用研究所，四川 綿陽 621900）

0 引 言

隨著信息化的發(fā)展，愈來愈多的大型復(fù)雜的業(yè)務(wù)應(yīng)用系統(tǒng)在企業(yè)中部署運行，而目前應(yīng)用系統(tǒng)存在分離部署、管理分散、數(shù)量眾多且大多缺乏數(shù)據(jù)有效防護(hù)手段、抗單點故障能力不足以及可靠性／可用性差，數(shù)據(jù)安全性低等問題。因此，運用數(shù)據(jù)庫集群技術(shù)、應(yīng)用服務(wù)中間件集群技術(shù)和數(shù)據(jù)庫安全增強(qiáng)手段，建立多業(yè)務(wù)應(yīng)用系統(tǒng)集中部署、運行及管控一體化的高可用［12］應(yīng)用基礎(chǔ)服務(wù)架構(gòu)體系是十分必要的。

應(yīng)用系統(tǒng)運行環(huán)境的高可用性除物理環(huán)境外，更依賴于應(yīng)用服務(wù)系統(tǒng)和數(shù)據(jù)庫系統(tǒng)的高可用性。所以，建立高性能、高可靠、高安全和可擴(kuò)展的應(yīng)用基礎(chǔ)體系，實現(xiàn)數(shù)據(jù)、資源、能力的聚合，奠定系統(tǒng)集成、業(yè)務(wù)融合、知識匯聚的基礎(chǔ)，發(fā)揮數(shù)據(jù)、資源、能力聚合的整體性效能，滿足大型應(yīng)用系統(tǒng)的集中部署、管理和長期穩(wěn)定、可靠地運行，是高可用應(yīng)用系統(tǒng)基礎(chǔ)服務(wù)體系需解決的核心問題。

本文提出以Linux平臺為基礎(chǔ)，運用數(shù)據(jù)庫集群和應(yīng)用服務(wù)器中間件集群技術(shù)，結(jié)合高安全性和高保密性要求設(shè)計和實現(xiàn)高可用應(yīng)用系統(tǒng)基礎(chǔ)體系的方法和途徑。通過對基于該方法建立的應(yīng)用系統(tǒng)基礎(chǔ)體系同普通應(yīng)用環(huán)境的關(guān)鍵技術(shù)指標(biāo)進(jìn)行了對比分析，驗證高性能、高可靠應(yīng)用基礎(chǔ)服務(wù)體系的方法。

1 技術(shù)架構(gòu)

以Linux操作系統(tǒng)、J2ee應(yīng)用服務(wù)器集群、Oracle數(shù)據(jù)庫集群和共享存儲系統(tǒng)作為高可用應(yīng)用基礎(chǔ)體系的核心部件，邏輯上涵蓋主機(jī)系統(tǒng)、操作系統(tǒng)、數(shù)據(jù)庫、中間件、門戶系統(tǒng)以及（對數(shù)據(jù)庫的）安全防護(hù)與訪問控制等具有不同特性和用途的功能單元，支撐以J2EE 技術(shù)架構(gòu)和.Net技術(shù)架構(gòu)為基礎(chǔ)的各類應(yīng)用系統(tǒng)的部署和運行。其總體技術(shù)架構(gòu)如圖1所示。

圖1 總體技術(shù)架構(gòu)

數(shù)據(jù)庫集群和應(yīng)用服務(wù)集群提供的負(fù)載均衡和自動故障轉(zhuǎn)移技術(shù)，具備了應(yīng)用系統(tǒng)主要功能單元抵御單點故障、提升運行效能的能力，但實現(xiàn)下面五部分內(nèi)容的無縫集成，進(jìn)行關(guān)鍵環(huán)節(jié)的技術(shù)兼容性試驗與驗證，是建立高可用應(yīng)用基礎(chǔ)架構(gòu)體系的核心和關(guān)鍵。

1.1 應(yīng)用服務(wù)器集群系統(tǒng)

用于部署支撐各類業(yè)務(wù)應(yīng)用系統(tǒng)運行的中間件系統(tǒng)。在多層體系架構(gòu)下，由一組高性能的服務(wù)器組成應(yīng)用服務(wù)集群，包含應(yīng)用程序集群、工作流集群等，支撐多個業(yè)務(wù)應(yīng)用系統(tǒng)的部署和運行。

1.2 數(shù)據(jù)庫集群系統(tǒng)［2］

由運行數(shù)據(jù)庫管理系統(tǒng)（RDBMS）的一組高性能服務(wù)器組成數(shù)據(jù)庫集群，為各類業(yè)務(wù)應(yīng)用系統(tǒng)提供數(shù)據(jù)的管理、存儲以及使用服務(wù)，是應(yīng)用基礎(chǔ)體系的核心要素。

1.3 安全與網(wǎng)絡(luò)服務(wù)系統(tǒng)

為應(yīng)用系統(tǒng)的運行提供安全保障，包括CA 認(rèn)證、域控、安全數(shù)據(jù)信道、病毒防范等基礎(chǔ)服務(wù)，是應(yīng)用基礎(chǔ)架構(gòu)體系中的不可或缺的重要部分。

1.4 集中存儲與備份系統(tǒng)

集中存儲與備份系統(tǒng)是高度集中的海量數(shù)據(jù)存儲單元，向數(shù)據(jù)庫系統(tǒng)和應(yīng)用服務(wù)系統(tǒng)提供統(tǒng)一的數(shù)據(jù)存儲和備份服務(wù)，是實現(xiàn)數(shù)據(jù)庫和應(yīng)用服務(wù)器集群的基本條件。

1.5 服務(wù)器區(qū)域高速網(wǎng)絡(luò)系統(tǒng)

服務(wù)器區(qū)域高速網(wǎng)絡(luò)系統(tǒng)是應(yīng)用基礎(chǔ)體系內(nèi)部的網(wǎng)絡(luò)系統(tǒng)，由高速以太網(wǎng)和光纖通訊網(wǎng)兩部分組成，主要為各服務(wù)器集群和集中存儲系統(tǒng)提供高速、可靠的網(wǎng)絡(luò)連接服務(wù)。我們運用FC－SAN 技術(shù)，將應(yīng)用服務(wù)集群、數(shù)據(jù)庫集群主機(jī)與存儲設(shè)備之間通過FC－SAN 交換機(jī)（光纖交換機(jī)）連接起來，構(gòu)成網(wǎng)絡(luò)存儲，可充分保證業(yè)務(wù)應(yīng)用系統(tǒng)的高性能、高可靠性以及未來擴(kuò)展的靈活性。

2 實現(xiàn)技術(shù)及方法

圖2是企業(yè)應(yīng)用系統(tǒng)基礎(chǔ)體系實際生產(chǎn)環(huán)境拓?fù)浣Y(jié)構(gòu)示意圖。目前為2個節(jié)點的數(shù)據(jù)庫集群和應(yīng)用服務(wù)集群，隨著應(yīng)用需求和負(fù)荷的增長需要，可在該架構(gòu)之中添加更多的服務(wù)器來擴(kuò)充節(jié)點數(shù)目，具有很強(qiáng)的可伸縮性。

圖2 企業(yè)應(yīng)用基礎(chǔ)體系拓?fù)浣Y(jié)構(gòu)

2.1 集群數(shù)據(jù)庫

使用Oracle10gRAC在兩臺以上Linux服務(wù)器中實現(xiàn)數(shù)據(jù)庫集群的建立，其邏輯結(jié)構(gòu)如圖3所示。

圖3 OracleRAC邏輯結(jié)構(gòu)

集群節(jié)點Node1、Node2由相同的主機(jī)系統(tǒng)（Linux操作系統(tǒng)）組成，每個節(jié)點服務(wù)器都將安裝和配置：

（1）公共網(wǎng)絡(luò)（Public IP）端口：集群數(shù)據(jù)庫的訪問端口；

（2）虛擬網(wǎng)絡(luò)（viture IP）端口：集群數(shù)據(jù)庫自動故障轉(zhuǎn)移訪問端口；

（3）專用網(wǎng)絡(luò)（Private IP）端口：集群數(shù)據(jù)庫事務(wù)和數(shù)據(jù)同步、內(nèi)存融合所需的高速網(wǎng)絡(luò)（至少1000M）端口，俗稱 ‘心跳線’；

（4）Oracle RAC實例（CRS）：它是運行在各節(jié)點數(shù)據(jù)庫實例（instance）之上的集群管理系統(tǒng)，主要由表決磁盤和集群就緒服務(wù)等后臺服務(wù)進(jìn)程組成。

（5）OCFS2共享文件系統(tǒng)：它是各節(jié)點實例訪問Oracle集群數(shù)據(jù)庫共享文件的Oracle專用文件系統(tǒng)，可以有效替代Oracle ASM（Oracle自動存儲管理）；

（6）同時，各主機(jī)系統(tǒng)通過HBA 卡的光纖通道直接連接到磁盤陣列，進(jìn)行共享存儲設(shè)備的掛載，以此建立多個Oracle實例（節(jié)點）共享同一數(shù)據(jù)庫的運行環(huán)境。

2.2 應(yīng)用服務(wù)器集群

應(yīng)用服務(wù)器中間件是B／S和多層體系（n－tier）技術(shù)架構(gòu)下不可或缺的功能單元，它是各類應(yīng)用系統(tǒng)業(yè)務(wù)構(gòu)（組）件部署和運行的容器，負(fù)責(zé)進(jìn)行后端數(shù)據(jù)庫的訪問和向前端表示層提供業(yè)務(wù)功能服務(wù)。對于較復(fù)雜的應(yīng)用，還同時擔(dān)負(fù)著繁重的集成和數(shù)據(jù)分析與處理任務(wù)。采用應(yīng)用服務(wù)器集群除能較好地平衡工作負(fù)載、有效解決應(yīng)用的瓶頸問題和實現(xiàn)故障的自動轉(zhuǎn)移外，還能充分利用高性能主機(jī)資源，達(dá)到系統(tǒng)的可擴(kuò)展性和高可用性目標(biāo)。

在兩臺以上linux 服務(wù)器中，部署應(yīng)用服務(wù)系統(tǒng)（如jboss－eap－4.3或websphere6.1），并通過建立應(yīng)用服務(wù)集群方式，防止單機(jī)系統(tǒng)故障，提供高可用的應(yīng)用服務(wù)環(huán)境，其基本結(jié)構(gòu)如圖4所示。

圖4 Jboss應(yīng)用服務(wù)器集群邏輯結(jié)構(gòu)

建立jboss應(yīng)用服務(wù)集群的核心是通過負(fù)載均衡器按照配置策略（權(quán)重）實現(xiàn)對jboss工作節(jié)點的訪問，當(dāng)一個jboss工作節(jié)點發(fā)生故障，能自動切換到另一個工作節(jié)點。負(fù)載均衡器是實現(xiàn)應(yīng)用服務(wù)集群的關(guān)鍵，對具有大業(yè)務(wù)量的應(yīng)用系統(tǒng)，一般選用硬件負(fù)載器設(shè)備（如F5）。對于業(yè)務(wù)量相對較小應(yīng)用系統(tǒng)，可選擇Apache＋mod＿jk軟件方式實現(xiàn)負(fù)載均衡功能。

在Jboss應(yīng)用服務(wù)器集群的運行環(huán)境中，實現(xiàn)會話復(fù)制是實時性業(yè)務(wù)應(yīng)用必不可少的要求，但對于管理性業(yè)務(wù)應(yīng)用來說，由于會話復(fù)制將耗費大量的系統(tǒng)資源，一般都予以禁用。

2.3 訪問服務(wù)器系統(tǒng)

Linux5.X 操作系統(tǒng)自帶的Apache Http Server 2.2，可作為B／S 應(yīng)用最最前端的訪問服務(wù)器，并通過基于域名（主機(jī)名）的虛擬主機(jī)和URL 映射及反向代理技術(shù)，為應(yīng)用服務(wù)器集群系統(tǒng)中部署多個應(yīng)用系統(tǒng)提供統(tǒng)一的訪問入口（訪問端口均為80）。多個獨立的訪問服務(wù)器也可組成集群，通過網(wǎng)絡(luò)層的VIP技術(shù)或?qū)Ｓ迷O(shè)備（如IP分發(fā)器F5）實現(xiàn)按網(wǎng)絡(luò)流量的IP分發(fā)和自動故障切換，保證其中一臺主機(jī)不能運行時終端用戶仍能對后端應(yīng)用服務(wù)系統(tǒng)的訪問。同時，Linux5.x操作系統(tǒng)的LVS（Linux virtual server）系統(tǒng)［6］，為建立基于Http的訪問服務(wù)系統(tǒng)提供了平臺級支持能力，可以作為建立高可用訪問服務(wù)系統(tǒng)的選件，其基本結(jié)構(gòu)如圖5所示。

圖5 LVS集群基本結(jié)構(gòu)

LVS技術(shù)給出了基于IP層和基于內(nèi)容請求分發(fā)的負(fù)載平衡調(diào)度解決方法。LVS通過對外的前端機(jī)無縫地將網(wǎng)絡(luò)請求調(diào)度到服務(wù)器集群組中，從而使得服務(wù)器集群的結(jié)構(gòu)對用戶是透明的，用戶訪問集群系統(tǒng)提供的服務(wù)就像訪問一臺服務(wù)器一樣，從用戶角度來看服務(wù)來自于一個IP 地址。應(yīng)用程序不受服務(wù)器集群的影響，不需要作任何地修改。而且，服務(wù)器組的數(shù)量可以根據(jù)實際需求方便地進(jìn)行增加、減少。通過使用LVS技術(shù)，將服務(wù)器組實現(xiàn)成一個可伸縮性的、高可用的訪問服務(wù)器系統(tǒng)。

2.4 數(shù)據(jù)安全及訪問控制

在多業(yè)務(wù)應(yīng)用集中部署環(huán)境中，數(shù)據(jù)的安全保密性和防止超級用戶（操作系統(tǒng)的root用戶和數(shù)據(jù)庫具有DBA 權(quán)限的用戶）權(quán)力過大是必須解決的核心問題，可以采取下列技術(shù)手段，來實現(xiàn)數(shù)據(jù)安全防護(hù)和訪問控制：

（1）通過訪問服務(wù)系統(tǒng)（LVS 或apache http server）實現(xiàn)外部用戶訪問與內(nèi)網(wǎng)中的應(yīng)用服務(wù)和數(shù)據(jù)庫等真實資源的 ‘隔離’，防止外部用戶直接訪問真實服務(wù)資源；

（2）在Linux操作系統(tǒng)中建立專用系統(tǒng)管理帳戶和數(shù)據(jù)庫系統(tǒng)帳戶、應(yīng)用服務(wù)系統(tǒng)帳戶，限制其操作權(quán)力，只分配其日常的啟動／關(guān)閉及自身資源的更新操作權(quán)限。在正常運行時，禁止root用戶的使用（特別是遠(yuǎn)程登錄），并關(guān)閉除www 服務(wù)外的所有其它網(wǎng)絡(luò)服務(wù)（如ssh，ftp，nfs，rlogin，telnet等），以切斷外部網(wǎng)絡(luò)進(jìn)入主機(jī)系統(tǒng)的通道；

（3）使用Oracledata base vault數(shù)據(jù)保險箱限制DBA 權(quán)限，通過建立安全域（realm），實現(xiàn)對添加入域的業(yè)務(wù)數(shù)據(jù)庫對象的保護(hù)，并有效控制非授權(quán)用戶（包括具有dba權(quán)限的用戶）對業(yè)務(wù)數(shù)據(jù)的訪問。

3 關(guān)鍵指標(biāo)數(shù)據(jù)對比分析［5.7］

3.1 性能對比分析［1］

結(jié)合實際生產(chǎn)環(huán)境，針對普通應(yīng)用環(huán)境和應(yīng)用基礎(chǔ)架構(gòu)體系環(huán)境我們進(jìn)行了數(shù)據(jù)庫、業(yè)務(wù)應(yīng)用系統(tǒng)的壓力和并發(fā)查詢測試，相關(guān)數(shù)據(jù)見下表。（說明：普通環(huán)境指用兩臺與基礎(chǔ)架構(gòu)相同型號和配置的服務(wù)器，分別安裝部署與基礎(chǔ)架構(gòu)相同版本的數(shù)據(jù)庫和中間件／業(yè)務(wù)應(yīng)用系統(tǒng)。）

表1 普通環(huán)境應(yīng)用系統(tǒng)壓力測試數(shù)據(jù)

表2 基礎(chǔ)架構(gòu)體系環(huán)境應(yīng)用系統(tǒng)壓力測試數(shù)據(jù)

對比表1表2：

（1）單組應(yīng)用，5并發(fā)用戶，兩種環(huán)境的性能差異月為4倍，50并發(fā)用戶性能差異約為3倍；

（2）普通環(huán)境，2組應(yīng)用，超過35并發(fā)用戶時就有業(yè)務(wù)不成功情況；

（3）基礎(chǔ)架構(gòu)體系環(huán)境，50 并發(fā)用戶，無業(yè)務(wù)失敗情況；

（4）基礎(chǔ)架構(gòu)體系環(huán)境4組應(yīng)用的性能大于普通環(huán)境2組應(yīng)用；

3.2 可用性分析

由于采用了數(shù)據(jù)庫集群技術(shù)、應(yīng)用服務(wù)集群技術(shù)、訪問服務(wù)器系統(tǒng)技術(shù)，在不需要人工干預(yù)的情況下，業(yè)務(wù)應(yīng)用系統(tǒng)在故障發(fā)生時仍繼續(xù)工作，提高了防止架構(gòu)體系發(fā)生故障或從故障中自動恢復(fù)的能力。大大地減少了服務(wù)器和應(yīng)用程序的停機(jī)時間。

用公式 可用率＝MTBF／（MTTR＋MTBF）可以計算出應(yīng)用基礎(chǔ)架構(gòu)體系的可用性，其中MTBF（Mean Time Between Failure）為平均故障間隔時間，MTTR（Mean Time To Repair）為平均故障修復(fù)時間。表3列出了近幾年用上述公式計算出的應(yīng)用基礎(chǔ)架構(gòu)體系的可用率，可見基礎(chǔ)架構(gòu)的可用性非常高。而普通環(huán)境的可用率低于90%

表3 應(yīng)用基礎(chǔ)架構(gòu)體系可用率

4 結(jié)束語

本文提出綜合運用數(shù)據(jù)庫集群技術(shù)、應(yīng)用服務(wù)器中間件集群技術(shù)、LVS訪問服務(wù)器技術(shù)、結(jié)合高安全性和高保密性要求設(shè)計和建立大型復(fù)雜的應(yīng)用基礎(chǔ)體系方法。相比于普通應(yīng)用環(huán)境或使用單項集群技術(shù)，該方法不僅實現(xiàn)了數(shù)據(jù)庫環(huán)節(jié)的負(fù)載均衡，而且實現(xiàn)了應(yīng)用服務(wù)器中間件環(huán)節(jié)和訪問服務(wù)器環(huán)節(jié)的負(fù)載均衡，從而提高了整個應(yīng)用基礎(chǔ)體系中系統(tǒng)資源的最大化利用，提高了全系統(tǒng)的工作效率。文章對系統(tǒng)性能和系統(tǒng)可用性這兩個關(guān)鍵指標(biāo)數(shù)據(jù)進(jìn)行對比分析，證明了該應(yīng)用基礎(chǔ)體系在整體性能和可用性較普通應(yīng)用環(huán)境有無可比擬的優(yōu)勢。

高可用應(yīng)用基礎(chǔ)架構(gòu)體系建成于2009年建立，多年來運行狀態(tài)良好，經(jīng)受了多起單點設(shè)備故障和業(yè)務(wù)高峰壓力的考驗，以高性能、高可靠、高安全和可擴(kuò)展等方面的優(yōu)異能力為企業(yè)提供了優(yōu)質(zhì)服務(wù)。

［1］ZHANG Jianyong.Research and application of clustering and load balancing technology on database system of international science citation［J］.New Technology of Library and Information Service，2010，193（6）：25－32（in Chinese）.［張建勇.集群與負(fù)載均衡技術(shù)在國際科學(xué)引文數(shù)據(jù)庫服務(wù)系統(tǒng)中的應(yīng)用研究［J］.現(xiàn)代圖書情報技術(shù)，2010，193（6）：25－32.］

［2］HE Liqun.Application of database load balancing cluster technology［J］.Coal Technology，2011，30（8）：213－214（in Chinese）.［何立群.數(shù)據(jù)庫集群系統(tǒng)負(fù)載均衡技術(shù)的應(yīng)用［J］.煤炭技術(shù)，2011，30（8）：213－214.］

［3］ZHANG Shuben.Load balancing algorithm for middleware database cluster［J］.Computer Engineering，2011，38（5）：41－43（in Chinese）.［張樹本.一種中間件數(shù)據(jù)庫集群的負(fù)載均衡算法［J］.計算機(jī)工程，2011，38（5）：41－43.］

［4］TANG Haiying.Research and design of bluewhale HA－SonD system［J］.Computer Engineering，2008，34（5）：98－100（in Chinese）.［湯海鷹.藍(lán)鯨高可用服務(wù)部署系統(tǒng)的研究與設(shè)計［J］.計算機(jī)工程，2008，34（5）：98－100.］

［5］LIU Nan.Performance benchmark methodology for load balancing cluster［J］.Computer Engineering and Design，2011，32（10）：3407－3409（in Chinese）.［劉楠.集群負(fù)載平衡的性能評測 方 法［J］.計 算 機(jī) 工 程 與 設(shè) 計，2011，32（10）：3407－3409.］

［6］LIU Bin.Load balancing algorithm based on Linux virtual server［J］.Computer Engineering，2011，37（23）：279－287（in Chinese）.［劉斌.基于Linux 虛擬服務(wù)器的負(fù)載均衡算法［J］.計算機(jī)工程，2011，37（23）：279－287.］

［7］YIN Jiaxin.A multi－criteria dynamic load balancing method for clustered databases：Design and implementation［J］.University of Chinese Academy of Sciences，2012，29（1）：94－100（in Chinese）.［殷佳欣.集群數(shù)據(jù)庫系統(tǒng)多指標(biāo)動態(tài)負(fù)載均衡方法的設(shè)計與實現(xiàn)［J］.中國科學(xué)院研究生院學(xué)報，2012，29（1）：94－100.］

［8］LI Shengli.A web based stream media cluster monitoring system［J］.Computer Engineering ＆Science，2008，30（2）：5－8（in Chinese）.［李勝利.一種基于Web的流媒體集群監(jiān)控系統(tǒng)［J］.計算機(jī)工程與科學(xué)，2008，30（2）：5－8.］

［9］CUI Rongbo.Server clustering on virtualization［J］.Computer Systems ＆ Applications，2011，20（3）：173－177（in Chinese）.［崔榮波，一種虛擬化的服務(wù)器集群模型［J］.計算機(jī)系統(tǒng)應(yīng)用，2011，20（3）：173－177.］

［10］DU Xiaozhi.Rejuvenation model of server cluster with fluid stochastic petri net［J］.Computer Science，2009，36（7）：131－134（in Chinese）.［杜小智，基于流體隨機(jī)Petri網(wǎng)的服務(wù)器集群再生模型［J］.計算機(jī)科學(xué)，2009，36（7）：131－134.］

［11］LIU Bin.Dynamic cluster configuration strategy for energy conservation based on online load prediction［J］.Computer Engineering，2010，36（24）：96－98（in Chinese）.［劉 斌.基于在線負(fù)載預(yù)測的動態(tài)集群節(jié)能配置策略［J］.計算機(jī)工程，2010，36（24）：96－98.］

［12］HAN Dezhi.Design and performance analysis of dual machine high availability system［J］.Computer Science，2009，36（1）：55－59（in Chinese）.［韓德志.雙機(jī)高可用系統(tǒng)設(shè)計與性能分析［J］.計算機(jī)科學(xué)，2009，36（1）：55－59.］

［13］PENG Tuyou.Study on real time monitoring of Linux cluster system performance and its visualization［J］.Computer Technology and Development，2010，20（11）：33－36（in Chinese）.［彭土有.Linux 集群系統(tǒng)性能的實時監(jiān)測及其可視化研究［J］.計算機(jī)技術(shù)與發(fā)展，2010，20（11）：33－36.］

［14］LIU Junyao.Designing and implementing high availability system of remote disaster recovery［J］.Computer Applications and Software，2010，27（7）：294－297（in Chinese）.［劉 君堯.異地容災(zāi)高可用系統(tǒng)的設(shè)計與實現(xiàn)［J］.計算機(jī)應(yīng)用與軟件，2010，27（7）：294－297.］