統(tǒng)一管理Tomcat和Nginx軟件棧*

徐小龍，王純

(1 北京郵電大學(xué)網(wǎng)絡(luò)與交換技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，北京 100876； 2 東信北郵信息技術(shù)有限公司，北京 100191)

統(tǒng)一管理Tomcat和Nginx軟件棧*

徐小龍1，2，王純1，2

(1 北京郵電大學(xué)網(wǎng)絡(luò)與交換技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，北京 100876； 2 東信北郵信息技術(shù)有限公司，北京 100191)

互聯(lián)網(wǎng)科技迅猛發(fā)展，移動(dòng)互聯(lián)網(wǎng)正在改變?nèi)藗兊纳?。Web應(yīng)用極大地豐富了互聯(lián)網(wǎng)世界，新形勢(shì)下，Web開發(fā)將面臨更加嚴(yán)峻的挑戰(zhàn)：站點(diǎn)需求日益增加，市場(chǎng)需求變化加速，應(yīng)用提供商需將主要精力從Web環(huán)境部署與維護(hù)轉(zhuǎn)向如何實(shí)現(xiàn)應(yīng)用程序的真正需求。Web服務(wù)器軟件多種多樣，但是大部分企業(yè)和團(tuán)隊(duì)都采用Tomcat、Nginx等開源Web服務(wù)器軟件。Tomcat+Nginx軟件棧被證明是一種穩(wěn)定、性能可靠的組合方式，本文提出統(tǒng)一管理方案，旨在提供專業(yè)的服務(wù)器部署、便捷的Web應(yīng)用程序管理解決方案。本文將論述主要功能點(diǎn)和設(shè)計(jì)思路。

Tomcat；Nginx；統(tǒng)一管理；服務(wù)器軟件棧

隨著社會(huì)經(jīng)濟(jì)和科技的發(fā)展，互聯(lián)網(wǎng)給人們的生活帶來了翻天覆地的變化。移動(dòng)互聯(lián)網(wǎng)時(shí)代，對(duì)Web服務(wù)的需求迅猛增加。在眾多的Web開發(fā)語言中，Java依然是使用人數(shù)最多的一種撰寫跨平臺(tái)應(yīng)用服務(wù)的設(shè)計(jì)語言，可以作為Web服務(wù)器端開發(fā)的最佳實(shí)踐語言。Tomcat是Apache基金組織開發(fā)的開源Java Web應(yīng)用服務(wù)器，以其性能穩(wěn)定、結(jié)構(gòu)合理著稱，成為目前最為流行的Web應(yīng)用服務(wù)器之一，深受Java開發(fā)者的喜愛并得到部分軟件開發(fā)商的認(rèn)可。但是隨著互聯(lián)網(wǎng)訪問量的激增，Tomcat服務(wù)器經(jīng)常會(huì)由于訪問流量大，出現(xiàn)運(yùn)行不穩(wěn)定，甚至服務(wù)停止的現(xiàn)象，而Nginx可以以較少的資源代價(jià)穩(wěn)定、高效地處理高并發(fā)和高數(shù)據(jù)量的請(qǐng)求。Nginx作為Tomcat前端負(fù)載均衡器的組合方式，被許多企業(yè)和開發(fā)團(tuán)隊(duì)所采用。對(duì)于個(gè)人學(xué)習(xí)或者簡(jiǎn)單應(yīng)用開發(fā)，單機(jī)環(huán)境部署即可滿足需求，而對(duì)于大型復(fù)雜的應(yīng)用，通常選用集群架構(gòu)來提供服務(wù)，這種方式可以充分利用每個(gè)節(jié)點(diǎn)的能力，提供穩(wěn)定高效的Web服務(wù)。在單機(jī)環(huán)境中，需要快速便捷地構(gòu)建Web服務(wù)器軟件供開發(fā)人員集中精力實(shí)現(xiàn)業(yè)務(wù)開發(fā)。在集群系統(tǒng)中，如果沒有良好的架構(gòu)，則會(huì)導(dǎo)致用戶數(shù)據(jù)訪問不準(zhǔn)確，每臺(tái)服務(wù)器數(shù)據(jù)不一致，會(huì)形成臟數(shù)據(jù)；其次，如果負(fù)載均衡策略較差，則會(huì)導(dǎo)致每臺(tái)服務(wù)器的負(fù)載差距較大，這樣就使某些服務(wù)器負(fù)載明顯大于其它服務(wù)器，形成訪問熱點(diǎn)，導(dǎo)致故障使整個(gè)服務(wù)器集群不穩(wěn)定。因此，集群系統(tǒng)中如何對(duì)節(jié)點(diǎn)進(jìn)行配置、管理、監(jiān)控，在實(shí)際生產(chǎn)中顯得尤為重要。本文提出的統(tǒng)一管理設(shè)計(jì)方案嘗試對(duì)Web服務(wù)器部署提供單機(jī)環(huán)境和集群系統(tǒng)下的有效管理，以解決上述需求問題，具有實(shí)際的應(yīng)用意義。

1 需求分析和技術(shù)選型

1.1 需求分析

在Web2.0時(shí)代，互聯(lián)網(wǎng)呈現(xiàn)了有史以來最快速的發(fā)展，商業(yè)應(yīng)用層出不窮，業(yè)務(wù)邏輯不斷復(fù)雜，用戶體驗(yàn)需求也不短提升，隨著個(gè)人PC的普及、移動(dòng)終端的極大豐富和移動(dòng)互聯(lián)網(wǎng)的發(fā)展，對(duì)Web應(yīng)用提供商提出了更快更高的要求。Nginx和Tomcat集成使用是目前Web開發(fā)常用的實(shí)際方案，但對(duì)于初學(xué)Web開發(fā)的人員，環(huán)境部署占去太多精力和時(shí)間，降低了學(xué)習(xí)效率；對(duì)于企業(yè)Web項(xiàng)目開發(fā)，服務(wù)器部署和維護(hù)，需要在人力和技術(shù)深度上投入，而對(duì)大部分項(xiàng)目組來說，其主要目標(biāo)和精力都放在業(yè)務(wù)網(wǎng)站開發(fā)上，在服務(wù)器維護(hù)方面投入難以支持，尤其是面對(duì)復(fù)雜的集群系統(tǒng)。同時(shí)，不論是單機(jī)環(huán)境還是集群系統(tǒng)，對(duì)于Nginx、Tomcat開源軟件的構(gòu)建，不同公司、不同項(xiàng)目團(tuán)隊(duì)在維護(hù)細(xì)節(jié)，包括服務(wù)器版本、部署架構(gòu)、配置管理方式、維護(hù)手段等方面存在很大差異，其結(jié)果是，雖是同類同源的系統(tǒng)，但是各自隔離，正確的維護(hù)手段和管理經(jīng)驗(yàn)無法繼承和推廣；由于不正確的部署和配置，乃至服務(wù)器本身的異常造成的故障在不同項(xiàng)目實(shí)踐中重復(fù)出現(xiàn)，隨著Web應(yīng)用開發(fā)的日益復(fù)雜，這種趨勢(shì)將可能惡化。此外，Tomcat等開源服務(wù)器，其總體上的系統(tǒng)監(jiān)控告警能力相對(duì)不足，不能滿足實(shí)際開發(fā)的需要。統(tǒng)一管理平臺(tái)基于上述現(xiàn)狀及問題，對(duì)于Tomcat和Nginx進(jìn)行整合，在統(tǒng)一各基礎(chǔ)軟件版本的基礎(chǔ)上，提供統(tǒng)一的操作維護(hù)界面，增強(qiáng)的異常檢測(cè)處理和監(jiān)控告警能力，進(jìn)一步提升服務(wù)器部署的便捷性以及Web應(yīng)用的穩(wěn)定性和可維護(hù)性。

1.2 技術(shù)背景

1．2．1 平臺(tái)開發(fā)語言——Ruby

Ruby是一種語法靈活且功能強(qiáng)大的面向?qū)ο竽_本語言，其文本處理功能十分強(qiáng)大，相對(duì)于其它編程語言，優(yōu)點(diǎn)主要體現(xiàn)在以下幾個(gè)方面：語法簡(jiǎn)單靈活、具有普通的面向?qū)ο蠊δ?類、方法調(diào)用等)、具有特殊的面向?qū)ο蠊δ埽∕ix-in、特殊方法等）、可重載操作符、具有異常處理功能、調(diào)用帶塊方法（迭代器）和閉包、垃圾回收器、動(dòng)態(tài)載入等。在統(tǒng)一管理平臺(tái)中，利用其豐富強(qiáng)大的功能管理服務(wù)器配置和生命周期管理；利用其分布式開發(fā)框架分布式Ruby（DRB，Distributed Ruby）實(shí)現(xiàn)集群管理；利用輕量、快速的微型Web框架Sinatra作服務(wù)器為用戶提供人性化的Web操作界面；利用其豐富的時(shí)間管理代碼庫位平臺(tái)集成定時(shí)功能，方便開發(fā)人員調(diào)用。

1．2．2 Redis保存集群服務(wù)器配置信息

對(duì)于統(tǒng)一管理平臺(tái)，配置信息多為半結(jié)構(gòu)、非結(jié)構(gòu)數(shù)據(jù)，而且主要面向服務(wù)器的配置，因此需要輕量級(jí)的非關(guān)系型數(shù)據(jù)庫（NoSQL，Not Only SQL）提供服務(wù)即可。Redis是一款高性能的KEY-VALUE內(nèi)存數(shù)據(jù)庫，提供了一些豐富的數(shù)據(jù)結(jié)構(gòu)，如字符串（String）、鏈表（Lists）、集合（Set）和有序集合（Zset）。這些數(shù)據(jù)類型都支持push/pop、add/remove、取交集并集和差集及更豐富的操作，而且這些操作都是原子性的。在此基礎(chǔ)上，Redis支持各種不同方式的排序。為了保證效率，數(shù)據(jù)都是緩存在內(nèi)存中。其優(yōu)點(diǎn)表現(xiàn)為性能極高——能支持超過100 k/s的讀寫頻率；豐富的數(shù)據(jù)類型；原子性；豐富的特性。Redis優(yōu)越的性能為平臺(tái)中服務(wù)器和集群環(huán)境下各個(gè)節(jié)點(diǎn)的配置信息的存儲(chǔ)提供了保障，官方提供了很多語言的客戶端，其中基于Ruby語言的客戶端是一款非常穩(wěn)定和成熟的客戶端，使用方便靈活。

1．2．3 增強(qiáng)服務(wù)器監(jiān)控——JMX技術(shù)

Java管理擴(kuò)展（JMX，Java Management Extensions）是一個(gè)為應(yīng)用程序、設(shè)備、系統(tǒng)等植入管理功能的框架。JMX可以跨越一系列異構(gòu)操作系統(tǒng)平臺(tái)、系統(tǒng)體系結(jié)構(gòu)和網(wǎng)絡(luò)傳輸協(xié)議，靈活的開發(fā)無縫集成的系統(tǒng)、網(wǎng)絡(luò)和服務(wù)管理應(yīng)用，它提供了用戶界面指導(dǎo)、Java類和開發(fā)集成系統(tǒng)、網(wǎng)絡(luò)及網(wǎng)絡(luò)管理應(yīng)用的規(guī)范。

目前JMX管理體系結(jié)構(gòu)基本可以劃分為以下4個(gè)層次。

（1）設(shè)備層（Instrumentation Level）：主要定義了信息模型。在JMX中，各種管理對(duì)象以管理構(gòu)件的形式存在，需要管理時(shí)，向MBean服務(wù)器進(jìn)行注冊(cè)。該層還定義了通知機(jī)制以及一些輔助元數(shù)據(jù)類。

（2）代理層（Agent Level）：主要定義了各種服務(wù)以及通信模型。該層的核心是一個(gè)MBean服務(wù)器，所有的管理構(gòu)件都需要向它注冊(cè)，才能被管理。注冊(cè)在MBean服務(wù)器上的管理構(gòu)件并不直接和遠(yuǎn)程應(yīng)用程序進(jìn)行通信，它們通過協(xié)議適配器和連接器進(jìn)行通信。而協(xié)議適配器和連接器也以管理構(gòu)件的形式向MBean服務(wù)器注冊(cè)才能提供相應(yīng)的服務(wù)。

（3）分布服務(wù)層（Distributed Service Level）：主要定義了能對(duì)代理層進(jìn)行操作的管理接口和構(gòu)件，這樣管理者就可以操作代理。然而，當(dāng)前的JMX規(guī)范并沒有給出這一層的具體規(guī)范。

（4）附加管理協(xié)議API：定義的API主要用來支持當(dāng)前已經(jīng)存在的網(wǎng)絡(luò)管理協(xié)議，如SNMP、TMN、CIM/WBEM等。

Sun公司在Java5中引入JMX框架用于監(jiān)控JVM運(yùn)行狀況。在統(tǒng)一管理平臺(tái)中，利用Jolokia來監(jiān)控Tomcat運(yùn)行狀態(tài)，實(shí)現(xiàn)系統(tǒng)的監(jiān)控告警。Jolokia是一個(gè)利用JSON通過HTTP實(shí)現(xiàn)JMX遠(yuǎn)程管理的嶄新方法，具有快速、簡(jiǎn)單的特點(diǎn)。

2 系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)

2.1 統(tǒng)一管理平臺(tái)的架構(gòu)圖

圖1 統(tǒng)一管理平臺(tái)架構(gòu)圖

平臺(tái)架構(gòu)圖如圖1所示。統(tǒng)一管理平臺(tái)主要包括管理模塊和Web服務(wù)器軟件棧，完整的管理平臺(tái)應(yīng)包含所有模塊，在集群系統(tǒng)中，部分模塊可能分處在不同節(jié)點(diǎn)，各個(gè)節(jié)點(diǎn)通過合理的配置可以靈活組成一個(gè)Web服務(wù)器集群，通過管理平臺(tái)，可以對(duì)各個(gè)節(jié)點(diǎn)進(jìn)行配置管理，部署Web應(yīng)用。同時(shí)，提供統(tǒng)一的監(jiān)控運(yùn)維接口，增強(qiáng)的異常檢測(cè)和異常處理能力，同時(shí)提供諸如定時(shí)任務(wù)、第三方進(jìn)程監(jiān)控等相關(guān)能力。

其中，JVM是運(yùn)行Tomcat的底層環(huán)境，Tomcat和Nginx共同組成了統(tǒng)一管理平臺(tái)的服務(wù)器軟件棧，部署管理模塊負(fù)責(zé)統(tǒng)一平臺(tái)的部署以及Web應(yīng)用的發(fā)布，生命周期管理模塊負(fù)責(zé)整個(gè)平臺(tái)以及各個(gè)Tomcat、Nginx運(yùn)行實(shí)例的生命周期，配置管理則負(fù)責(zé)集群的配置信息以及服務(wù)器軟件棧各個(gè)服務(wù)器實(shí)例的配置信息，Web管理界面由Sinatra提供人性化的平臺(tái)操作入口，而Shell命令提供一套命令及管理整個(gè)系統(tǒng)，部分功能和Web管理界面是相同的。

2.2 運(yùn)行模型

統(tǒng)一管理平臺(tái)的運(yùn)行模型如圖2所示。其中的Tomcat process和Nginx process在單機(jī)環(huán)境中，處于同一臺(tái)物理機(jī)；如果在集群系統(tǒng)中，雖然可以處于同一節(jié)點(diǎn)，但更多的情況是分布在不同的節(jié)點(diǎn)，而且各個(gè)Tomcat process也有可能處在不同的集群節(jié)點(diǎn)。

其中，主要概念介紹如下。

（1）Webjoind：為統(tǒng)一管理平臺(tái)核心管理進(jìn)程，負(fù)責(zé)所有運(yùn)行時(shí)管理事務(wù)，包括異常檢測(cè)和處理、Webjoin定時(shí)任務(wù)調(diào)度器以及Webjoin命令接入等。

圖2 統(tǒng)一管理平臺(tái)運(yùn)行模型圖

（2）Webjoind-daemon：Webjoind的守護(hù)進(jìn)程，負(fù)責(zé)監(jiān)控Webjoind進(jìn)程的運(yùn)行狀態(tài)，當(dāng)Webjoind異常退出時(shí)，負(fù)責(zé)重啟Webjoind；當(dāng)Webjoind占用系統(tǒng)資源過多時(shí)，回收其占有資源，調(diào)整至合理的范圍。

（3）Wrapperd：Tomcat process的父進(jìn)程，與Tomcat進(jìn)程一一對(duì)應(yīng)，主要負(fù)責(zé)收集Tomcat的gc日志，同時(shí)處理Tomcat的標(biāo)準(zhǔn)輸出（Stdout和Stderr），Tomcat退出時(shí)，會(huì)自動(dòng)退出。

（4）Webjoin entry：統(tǒng)一管理平臺(tái)的入口，通過這個(gè)入口管理整個(gè)系統(tǒng)。其中大部分命令和狀態(tài)查看通過Webjoind完成。提供Shell命令和Web界面兩種進(jìn)入方式，Shell命令快速簡(jiǎn)潔，Web界面管理方便，交互友好。

（5）Tomcat process和Nginx process：增強(qiáng)原生Tomcat和Nginx進(jìn)程的運(yùn)維監(jiān)控功能。并保持其兼容性，使任何基于Tomcat的Web應(yīng)用，都無需修改即可在統(tǒng)一管理平臺(tái)中運(yùn)行。進(jìn)程數(shù)量取決于配置和資源限制，自身并無限制。

2.3 單機(jī)版結(jié)構(gòu)圖

對(duì)于單機(jī)版的統(tǒng)一管理平臺(tái)，其結(jié)構(gòu)如圖3所示。平臺(tái)管理模塊是圖1中各個(gè)模塊的功能整合。Webjoin core模塊中的生命周期管理模塊負(fù)責(zé)管理各自目標(biāo)的生命周期，Web應(yīng)用部署模塊負(fù)責(zé)Web應(yīng)用程序的部署。統(tǒng)一管理平臺(tái)允許在一套系統(tǒng)中啟動(dòng)多個(gè)Tomcat和Nginx實(shí)例。同時(shí)，支持一個(gè)Tomcat加載多個(gè)Web應(yīng)用，也支持多個(gè)Tomcat加載同一個(gè)Web應(yīng)用。其中Tomcat是Java Web應(yīng)用的容器，Nginx承擔(dān)反向負(fù)載均衡和靜態(tài)頁面處理。

2.4 集群系統(tǒng)結(jié)構(gòu)圖

在集群環(huán)境下，其結(jié)構(gòu)如圖4所示。集群是一種分布式處理系統(tǒng)，服務(wù)器集群就是指將很多的服務(wù)器集中起來進(jìn)行同一種服務(wù)，但是對(duì)客戶端用戶是隱藏的，在客戶端看起來就像是一臺(tái)服務(wù)器提供服務(wù)。多臺(tái)物理主機(jī)上的Webjoin軟件?？梢造`活組成一個(gè)Web服務(wù)器集群，這些節(jié)點(diǎn)是通過DRB分布式框架進(jìn)行組織和管理的。

圖3 單機(jī)版結(jié)構(gòu)圖

圖4 集群系統(tǒng)結(jié)構(gòu)圖

在集群系統(tǒng)中，采用比較流行的master-slave模式進(jìn)行集群架構(gòu)的組織。各個(gè)節(jié)點(diǎn)承擔(dān)了統(tǒng)一管理平臺(tái)部分功能，可以是Nginx服務(wù)器運(yùn)行實(shí)例，也可是Tomcat服務(wù)器實(shí)例或者管理模塊等。其中，在集群master節(jié)點(diǎn)，維護(hù)著各個(gè)slave節(jié)點(diǎn)的配置信息，彼此之間通過DRB分布式框架進(jìn)行通信：slave節(jié)點(diǎn)開啟DRB server，在master節(jié)點(diǎn)運(yùn)行對(duì)應(yīng)DRB client來控制slave節(jié)點(diǎn)，此外，slave節(jié)點(diǎn)的數(shù)目不做限制。

3 結(jié)束語

統(tǒng)一管理平臺(tái)解決了Tomcat和Nginx服務(wù)器快速部署問題，支持集群管理，提供人性化的Web管理界面供開發(fā)人員操作，為初學(xué)Web應(yīng)用的人員提供了便捷的部署實(shí)現(xiàn)，也為Tomcat等服務(wù)器軟件管理、維護(hù)經(jīng)驗(yàn)的繼承與推廣提供了可能。在實(shí)際項(xiàng)目中，能夠快速部署服務(wù)器和Web應(yīng)用，并且提供系統(tǒng)級(jí)別的Tomcat等服務(wù)器的告警監(jiān)控、有效管理功能，具有非常高的實(shí)用價(jià)值，得到了業(yè)界的認(rèn)可和好評(píng)。

[1] antirez， Redis[OL]．[2014-6-5]． http：//redis．io/．

[2] 曾超宇，李金香． Redis在高速緩存系統(tǒng)中的應(yīng)用[J]． 微型機(jī)與應(yīng)用，2013，32(12)．

[3] 趙京華． 應(yīng)用服務(wù)器集群管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]． 北京：北京郵電大學(xué)，2007．

[4] 馮勝鵬． Web方式集群管理系統(tǒng)的研究與實(shí)現(xiàn)[D]． 西安：西北工業(yè)大學(xué)，2006．

[5] Jason Brittain， Ian F． Darwin． Tomcat權(quán)威指南[M]．第2版． 北京：中國(guó)電力出版社，2009．

[6] Paolo Perrotta． Metaprogramming Ruby[M]． 廖志剛，陳睿杰． 武漢：華中科技大學(xué)出版社，2012．

[7] 吳家祺． WEB服務(wù)器集群系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]． 南京： 南京航空航天大學(xué)，2005．

[8] 晏雪松，基于JMX的監(jiān)控系統(tǒng)研究與實(shí)現(xiàn)[D]． 成都：西南交通大學(xué)，2007．

[9] Nginx中文． Nginx功能概述[EB/OL]． [2013-12-11]． http：// www．nginx．cn/doc/general/overview．html．

Unified management of Tomcat and Nginx software stack

XU Xiao-long1,2, WANG Chun1,2
(1 Beijing University of Posts and Telecommunications Networking and Switching Technology, State Key Laboratory, Beijing 100876, China; 2 EBUPT Information Technology Co., Ltd., Beijing 100191, China)

The internet technologies are developing rapidly. The mobile internet is changing people's life profoundly, and Web applications greatly enrich the internet world. Under new circumstances, Web applications development is faced with more severe challenges: sites demand increases, market demand changes faster. Application providers need to alter their focus from Web environment deployment and maintenance to how to genuinely meet the need of application programs. There are a variety of Web server softwares, but most enterprises and teams use open source server softwares such as Tomcat and Nginx. Tomcat&Nginx server software stack proves to be a stable and reliable combination. This paper proposed a unif ed management solution, aiming at providing a solution of professional servers deployment and convenient Web application programs management. This paper will discuss the main funcions and design ideas.

Tomcat; Nginx; unif ed management; server software stack

TN929.5

A

1008-5599（2014）08-0086-05

2014-07-07

國(guó)家973計(jì)劃項(xiàng)目（編號(hào)：2013CB329102）；國(guó)家自然科學(xué)基金資助項(xiàng)目（No． 61372120， 61271019， 61101119， 61121001）；長(zhǎng)江學(xué)者和創(chuàng)新團(tuán)隊(duì)發(fā)展計(jì)劃資助（編號(hào)：IRT1049）；教育部科學(xué)技術(shù)研究重點(diǎn)(重大)項(xiàng)目資助（編號(hào)：MCM20130310）；北京高等學(xué)校青年英才計(jì)劃項(xiàng)目（編號(hào)：YETP0473）。