Tcn中間件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

霍長娟，孫洪平

(1. 中國航空結(jié)算有限責(zé)任公司，北京 100028；2. 北京高陽金信信息技術(shù)有限公司，北京 100050)

Tcn中間件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

霍長娟1，孫洪平2

(1. 中國航空結(jié)算有限責(zé)任公司，北京 100028；2. 北京高陽金信信息技術(shù)有限公司，北京 100050)

主要介紹了一款基于消息通信的中間件軟件——The Cocklebur Network，即Tcn中間件的設(shè)計(jì)與實(shí)現(xiàn)。該系統(tǒng)具有以下特點(diǎn)：多進(jìn)程模型、預(yù)先創(chuàng)建子進(jìn)程機(jī)制，提高系統(tǒng)響應(yīng)速度；編程API簡單易用，都是圍繞Tcn軟件中專有的協(xié)議——Tcn協(xié)議展開，可運(yùn)用標(biāo)準(zhǔn)的C語言庫函數(shù)與頭文件進(jìn)行各種應(yīng)用服務(wù)的開發(fā)；Tcn設(shè)計(jì)并實(shí)現(xiàn)了通過動(dòng)態(tài)庫與靜態(tài)鏈接兩種方式加載用戶服務(wù)；同時(shí)此款軟件還支持文件傳輸、負(fù)載均衡等功能。經(jīng)過LoadRunner測試，該軟件有較好的性能，可以滿足大多數(shù)企業(yè)需要。

Tcn；多進(jìn)程模型；Tcn協(xié)議；LoadRunner

0 引言

中間件是分布式系統(tǒng)中的一層支撐軟件,它位于操作系統(tǒng)和應(yīng)用程序之間,負(fù)責(zé)對(duì)應(yīng)用程序及開發(fā)人員屏蔽系統(tǒng)中硬件、網(wǎng)絡(luò)、操作系統(tǒng)和編程語言等方面的異構(gòu)性并向他們提供統(tǒng)一的運(yùn)行平臺(tái)和友好的開發(fā)環(huán)境。目前主流的中間件有Weblogic、Tuxedo、Websphere等，這些中間件都擁有各自的應(yīng)用領(lǐng)域。本文主要介紹一款基于消息通信的中間件軟件(The Cocklebur Network，Tcn)，即Tcn中間件的設(shè)計(jì)與實(shí)現(xiàn)，在保持屏蔽各種異構(gòu)性功能的基礎(chǔ)上，它的設(shè)計(jì)與實(shí)現(xiàn)又有自身的特點(diǎn)，由于Tcn涉及的模塊較多，本文將從多進(jìn)程模型[1-2]、用戶服務(wù)加載兩方面內(nèi)容進(jìn)行重點(diǎn)介紹，最后給出測試結(jié)論。

1 系統(tǒng)架構(gòu)

Tcn中間件屬于消息通信中間件，完全結(jié)合實(shí)踐設(shè)計(jì)，擴(kuò)展性好，易于使用。下面以銀行取款案例說明Tcn的架構(gòu)設(shè)計(jì)，如圖1所示，客戶在柜臺(tái)客戶端(這里稱為Tcn Client)發(fā)起取款請(qǐng)求，Tcn Client通過Tcn協(xié)議[3]與服務(wù)器(這里稱為Tcn Server)進(jìn)行通信，在Tcn Server中，管理進(jìn)程Tcnd負(fù)責(zé)管理整個(gè)Tcn Server，是整個(gè)系統(tǒng)的中樞，工作進(jìn)程Tcnw負(fù)責(zé)響應(yīng)客戶端的請(qǐng)求，并根據(jù)配置文件等信息調(diào)用與之對(duì)應(yīng)的取款服務(wù)(這里稱為Service)，這就是取款業(yè)務(wù)在Tcn中間件中的工作流程，另外，Tcn Client端的取款請(qǐng)求以及供Tcnw調(diào)用的取款Sevice都是基于Tcn編程接口進(jìn)行開發(fā)的。

2 軟件說明

Tcn軟件主要由運(yùn)行系統(tǒng)與開發(fā)系統(tǒng)組成。運(yùn)行系統(tǒng)作為整個(gè)系統(tǒng)的中樞，控制著所有資源的申請(qǐng)、回收、釋放，調(diào)度系統(tǒng)中的全部應(yīng)用服務(wù)。開發(fā)系統(tǒng)提供C語言的庫函數(shù)與頭文件，供用戶開發(fā)應(yīng)用程序。

2.1 產(chǎn)品目錄結(jié)構(gòu)

Tcn軟件假定安裝在AIX環(huán)境中/home/tcn目錄下，產(chǎn)品的目錄結(jié)構(gòu)如下：

2.2 運(yùn)行系統(tǒng)組成

運(yùn)行系統(tǒng)由5部分組成：核心進(jìn)程、管理工具、配置文件、日志文件、環(huán)境變量。

(1)核心進(jìn)程：整個(gè)系統(tǒng)的運(yùn)行關(guān)鍵部分。

tcnd：負(fù)責(zé)對(duì)整個(gè)系統(tǒng)進(jìn)行監(jiān)控管理的守護(hù)進(jìn)程。

tcnw：負(fù)責(zé)接受客戶端訪問、調(diào)用服務(wù)、返回處理結(jié)果的進(jìn)程。

tcnlogd：負(fù)責(zé)登記系統(tǒng)日志。

(2)管理工具

tcnx：用于啟動(dòng)、關(guān)閉、重啟Tcn系統(tǒng)，檢查運(yùn)行狀態(tài)，檢查配置文件語法。

tcnr：熱重啟腳本，先檢查配置文件語法，然后發(fā)送重啟信號(hào)。

tcns：檢查Tcn系統(tǒng)是否為運(yùn)行的腳本。

tcnping：用于測試服務(wù)器節(jié)點(diǎn)是否可以連通。

tcnas：用于監(jiān)控服務(wù)器運(yùn)行狀態(tài)等信息。

(3)配置文件：整個(gè)tcn系統(tǒng)運(yùn)行的依據(jù)。

(4)日志文件：記錄系統(tǒng)運(yùn)行時(shí)的錯(cuò)誤、警告、提示等信息。

(5)環(huán)境變量：Tcn的運(yùn)行需要設(shè)置2個(gè)環(huán)境變量TCN_CONFIG、PATH。

TCN_CONFIG：設(shè)置Tcn系統(tǒng)的配置文件路徑。

PATH：將Tcn可執(zhí)行文件目錄加入到PATH環(huán)境變量中，以便Tcn的管理工具可以通過PATH查找到。

2.3 開發(fā)系統(tǒng)組成

Tcn開發(fā)系統(tǒng)由編程頭文件與函數(shù)庫組成。

(1)頭文件

tpdi.h：用戶編程API的頭文件。

tpft.h：用于傳輸文件的編程頭文件。

(2)函數(shù)庫

libtpdi.a：用戶編程API的函數(shù)庫。

3 多進(jìn)程模型

3.1 多進(jìn)程模型機(jī)制

整個(gè)Tcn Server通過多進(jìn)程模型機(jī)制對(duì)外提供服務(wù)，設(shè)計(jì)多進(jìn)程模型的目的是為了提高響應(yīng)速度和系統(tǒng)整體運(yùn)行效率并達(dá)到無縫重啟。所謂多進(jìn)程模型就是系統(tǒng)中存在兩種進(jìn)程，如圖2所示。一種是對(duì)外提供服務(wù)的進(jìn)程worker process，此類進(jìn)程用于響應(yīng)客戶端請(qǐng)求并調(diào)用相應(yīng)的服務(wù)；另一種進(jìn)程就是預(yù)先創(chuàng)建的子進(jìn)程(這里稱之為prefork worker process)，時(shí)刻處于ready狀態(tài)，準(zhǔn)備成為worker process。為什么多進(jìn)程模型機(jī)制能提高系統(tǒng)的響應(yīng)速度？在傳統(tǒng)中間件系統(tǒng)中，當(dāng)服務(wù)連接請(qǐng)求到達(dá)之后，fork函數(shù)會(huì)為服務(wù)連接請(qǐng)求創(chuàng)建子進(jìn)程，并分配相應(yīng)資源，進(jìn)而對(duì)外提供服務(wù)，而在Tcn系統(tǒng)中，系統(tǒng)啟動(dòng)之初，管理進(jìn)程Tcnd就根據(jù)配置文件的參數(shù)設(shè)置預(yù)先創(chuàng)建N個(gè)子進(jìn)程(prefork worker process)等待用戶服務(wù)請(qǐng)求，這些子進(jìn)程一直處于ready狀態(tài)，當(dāng)用戶服務(wù)請(qǐng)求到達(dá)之后，直接對(duì)外提供服務(wù)，而不需要fork函數(shù)再創(chuàng)建子進(jìn)程，所以很顯然能提高工作效率。

3.2 創(chuàng)建、回收進(jìn)程

如何保證預(yù)先創(chuàng)建的子進(jìn)程個(gè)數(shù)既能滿足對(duì)外提供服務(wù)又不會(huì)造成資源浪費(fèi)？如圖2所示，在多進(jìn)程模型中，完成這種預(yù)先創(chuàng)建的機(jī)制主要涉及3個(gè)活動(dòng)：fork創(chuàng)建子進(jìn)程、reclaim回收進(jìn)程、布告板(bulletin board)信息的維護(hù)。也就是說，無論創(chuàng)建還是回收子進(jìn)程都是以布告板信息為依據(jù)的，因?yàn)椴几姘逯杏涗浿到y(tǒng)當(dāng)前的worker process的個(gè)數(shù)，目前處于busy、ready還是idle狀態(tài)等信息，管理進(jìn)程Tcnd就是根據(jù)這些信息進(jìn)行動(dòng)態(tài)創(chuàng)建回收子進(jìn)程，進(jìn)而保證資源平衡。

3.3 配置文件中的指令

配置文件是Tcn系統(tǒng)啟動(dòng)、重啟的依據(jù)，通過修改配置文件，對(duì)Tcn系統(tǒng)進(jìn)行功能裁剪。配置文件提供多達(dá)40條指令，這些指令控制著資源的申請(qǐng)、進(jìn)程數(shù)量、監(jiān)聽端口、負(fù)載均衡、增加主機(jī)訪問控制、導(dǎo)出用戶服務(wù)等。在多進(jìn)程模型中，有兩個(gè)指令發(fā)揮重要作用：

(1)MinfreeDaemons：最小空閑子進(jìn)程數(shù)量，默認(rèn)值為5。

(2)MaxfreeDaemons：最大空閑子進(jìn)程數(shù)量，默認(rèn)值為10。

Tcn啟動(dòng)之初，管理進(jìn)程會(huì)根據(jù)配置文件預(yù)先創(chuàng)建N個(gè)子進(jìn)程，即N個(gè)prefork worker process，N設(shè)置為大于1的整數(shù)，后續(xù)的創(chuàng)建與回收主要以當(dāng)前負(fù)載為基準(zhǔn)，管理進(jìn)程時(shí)刻關(guān)注著布告板(bulletin board)中的worker進(jìn)程信息，查看當(dāng)前的負(fù)載情況，同時(shí)根據(jù)MinfreeDaemons和MaxfreeDaemons的值來維護(hù)prefork worker process的個(gè)數(shù)進(jìn)行資源的平衡。

4 用戶服務(wù)加載

用戶服務(wù)加載主要是指Tcn系統(tǒng)如何通過接口與用戶服務(wù)程序進(jìn)行連接。Tcn設(shè)計(jì)并實(shí)現(xiàn)出通過動(dòng)態(tài)庫[4]與靜態(tài)鏈接兩種方式加載用戶服務(wù)程序的方法，相比其他中間件，大大提高了軟件的靈活性，方便開發(fā)人員使用。

4.1 靜態(tài)鏈接

像大多數(shù)中間件一樣，Tcn提供靜態(tài)鏈接的方式加載用戶服務(wù)程序。所謂靜態(tài)鏈接，在Tcn中就是指用戶服務(wù)程序不被編譯成動(dòng)態(tài)庫文件，而是通過服務(wù)程序源文件重建成Tcn的工作進(jìn)程——Tcnw來實(shí)現(xiàn)，當(dāng)客戶端發(fā)起服務(wù)請(qǐng)求時(shí)，管理進(jìn)程Tcnd直接分配Tcnw進(jìn)程，調(diào)用相應(yīng)服務(wù)，響應(yīng)請(qǐng)求。目前大多數(shù)中間件都是這種加載方式。靜態(tài)鏈接的方式最大的缺點(diǎn)就是在更新服務(wù)時(shí)必須停止系統(tǒng)。

4.2 動(dòng)態(tài)庫

Tcn除提供靜態(tài)鏈接外，還提供另外一種方式加載用戶服務(wù)，即動(dòng)態(tài)庫加載。所謂動(dòng)態(tài)庫加載就是用戶服務(wù)程序被編譯成動(dòng)態(tài)庫文件，同時(shí)用戶服務(wù)程序與動(dòng)態(tài)庫文件的關(guān)系(即哪些用戶服務(wù)程序被編譯成哪個(gè)動(dòng)態(tài)庫文件)記錄到配置文件中，Tcn啟動(dòng)時(shí)，根據(jù)配置文件加載動(dòng)態(tài)庫到系統(tǒng)中，同時(shí)建立一個(gè)哈希列表，記錄用戶服務(wù)程序與動(dòng)態(tài)庫文件之間的關(guān)系。如圖3所示，當(dāng)客戶端服務(wù)請(qǐng)求到達(dá)之后，會(huì)話句柄分析服務(wù)請(qǐng)求(request)是否符合Tcn協(xié)議以及語法語義要求，如果符合，進(jìn)一步分析出需要調(diào)用的服務(wù)名，然后去哈希表中尋找該服務(wù)入口，根據(jù)指針指向調(diào)用相應(yīng)的服務(wù)，完成此次請(qǐng)求。

通過動(dòng)態(tài)庫加載用戶服務(wù)程序可以實(shí)現(xiàn)在不停止系統(tǒng)運(yùn)行的情況下通過熱啟動(dòng)的方式來變更服務(wù)。例如，當(dāng)出現(xiàn)取款服務(wù)需要緊急變更而系統(tǒng)中的取款服務(wù)又沒有運(yùn)行(run)完時(shí)，就需要?jiǎng)討B(tài)庫加載。Tcn是這樣解決的，保持系統(tǒng)中的取款服務(wù)繼續(xù)運(yùn)行，修改取款服務(wù)程序源文件(由于取款服務(wù)源文件之前已經(jīng)被編譯成動(dòng)態(tài)庫文件，目前系統(tǒng)中取款服務(wù)是通過調(diào)用動(dòng)態(tài)庫加載的，與取款服務(wù)源程序文件已經(jīng)沒有關(guān)系，因此這時(shí)可以修改取款服務(wù)源文件)，修改完源文件后，再編譯成動(dòng)態(tài)庫文件，進(jìn)而把原動(dòng)態(tài)庫文件替換掉即可，最后通過熱啟動(dòng)Tcn，就可以根據(jù)配置文件重新加載新的服務(wù)。在整個(gè)過程中，系統(tǒng)中舊有的取款服務(wù)一直處于running狀態(tài)，直到結(jié)束，這就是通過加載動(dòng)態(tài)庫方式，不需要重啟機(jī)器就可以變更服務(wù)的過程。

動(dòng)態(tài)庫加載服務(wù)的方式大大提高了軟件的靈活性，尤其在要求不能宕機(jī)的實(shí)際生產(chǎn)業(yè)務(wù)中，將體現(xiàn)出其重要作用。

5 測試結(jié)果

為了證明Tcn產(chǎn)品的性能及穩(wěn)定性，確保其高吞吐率及在高并發(fā)環(huán)境中的持續(xù)穩(wěn)定運(yùn)行，針對(duì)Tcn系統(tǒng)進(jìn)行了壓力測試。本次測試的范圍，選取foo服務(wù)進(jìn)行測試(服務(wù)foo就是接收來自客戶端發(fā)送的字符串，然后應(yīng)答相同的字符串)。在性能測試過程中，測試Tcn系統(tǒng)的并發(fā)能力和平均響應(yīng)時(shí)間。在負(fù)載均衡測試過程中模擬關(guān)閉一個(gè)負(fù)載節(jié)點(diǎn)，能否自動(dòng)將請(qǐng)求轉(zhuǎn)發(fā)至其他的節(jié)點(diǎn)。

以性能測試為例，經(jīng)過10 h的測試，成功率為100%,如表1所示。通過分析測試結(jié)果，平均響應(yīng)時(shí)間都在毫秒級(jí)，從資源監(jiān)控的結(jié)果圖(圖4～圖9)中可以看出，CPU、內(nèi)存、磁盤I/O均消耗很少，網(wǎng)絡(luò)I/O相對(duì)較為繁忙。因此在較高的TPS情況下，Tcn服務(wù)器自身消耗較少的系統(tǒng)資源。

在測試結(jié)果中，短鏈接的TPS遠(yuǎn)遠(yuǎn)低于長鏈接的TPS，短鏈接的平均響應(yīng)時(shí)間也高于長鏈接。長鏈接能大幅提升系統(tǒng)整體性能，但是長鏈接在長時(shí)間的空閑后，網(wǎng)絡(luò)鏈接依然存在，無法收發(fā)報(bào)文，通常的解決辦法是定時(shí)發(fā)送探測報(bào)文；另外長鏈接也不利于實(shí)現(xiàn)負(fù)載均衡。所以Tcn服務(wù)器實(shí)現(xiàn)一定請(qǐng)求次數(shù)的長鏈接后就會(huì)斷開鏈接，這樣既能保留長鏈接的優(yōu)點(diǎn)，也利于實(shí)現(xiàn)負(fù)載均衡。在負(fù)載均衡測試中，模擬關(guān)閉一個(gè)負(fù)載節(jié)點(diǎn)，在負(fù)載節(jié)點(diǎn)切換過程中，并未對(duì)代理服務(wù)器的資源占用造成較大幅度變動(dòng)。以下給出短鏈接的測試結(jié)果:

VUs: LoadRunner中的虛擬用戶數(shù)，模擬客戶端的數(shù)量。

6 結(jié)論

本文概要介紹了Tcn軟件的概念及基本功能，結(jié)合其特點(diǎn)，重點(diǎn)描述了多進(jìn)程模型機(jī)制的原理、實(shí)現(xiàn)，用戶加載服務(wù)的兩種方法。最后給出了利用LoadRunner進(jìn)行性能及壓力測試的測試報(bào)告，證明Tcn系統(tǒng)在高并發(fā)環(huán)境中能保持高吞吐率并且持續(xù)穩(wěn)定運(yùn)行。

[1] STEVENS W R.UNIX 網(wǎng)絡(luò)編程[M].楊繼張，譯. 北京：人民郵電出版社，2009.

[2] STEVENS W R.TCP/IP詳解[M].范建華，譯.北京：機(jī)械工業(yè)出版社，2000.

[3] SURHONE L M, TENNOE M T, HENSSONOW S F. External data representation[M].Betascript Publishing,2010.

[4] DREPPER U.How to write shared libraries[M].Retrieved Jul，2004.

Design and implementation of Tcn middleware system

Huo Changjuan1，Sun Hongping2

(1. Accounting Center of China Aviation, Beijing 100028, China; 2. The Company of Beijing Gao Yang Jin Xin, Beijing 100050, China)

This paper describes the design and implementation of a middleware—The Cocklebur Network based on message communication.The system has the following characteristics:multi-process model,pre-created child process mechanism,which can improve system response speed;programming API is easy to use, they use Tcn software protocol to work and can use standard C library functions and header files for development of applications and services;Tcn designs and implements two ways (dynamic library and static links ) to load user services;at the same time this software also supports file transfer, load balancing and other functions.After LoadRunner testing, the software has a good performance to meet the needs of most businesses.

The Cocklebur Newtork; multi-process model；Tcn-protocol；LoadRunner

TP311

A

10.19358/j.issn.1674- 7720.2017.05.005

霍長娟，孫洪平.Tcn中間件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].微型機(jī)與應(yīng)用，2017,36(5)：14-17，20.

2016-10-08)

霍長娟(1982-)，女，碩士研究生，中級(jí)工程師，主要研究方向：軟件工程、數(shù)據(jù)庫安全。

孫洪平(1978-)，男，本科，高級(jí)工程師，主要研究方向：軟件工程。