基于積分管理系統(tǒng)高并發(fā)低時延問題的應用研究

摘要：基于積分管理系統(tǒng)云化，文章對其接口并發(fā)性能和響應時延進行了研究。文章以積分管理系統(tǒng)單個服務節(jié)點、服務集群和在NGINX層部署了緩存后的服務集群為研究對象，測試的并發(fā)請求量分為每秒300、600和900三個檔次。通過JMeter壓測，結(jié)果表明，在NGINX層部署緩存后的服務集群可以提供很高的系統(tǒng)并發(fā)性能和很低的響應時延，很好地滿足了生產(chǎn)需求。

關鍵詞：接口;集群;緩存

中圖法分類號：TP315

文獻標識碼：A

Application research on high concurrency and low delay problem based onintegral management system

LI Gang

（ China Telecomunication Corporation Limited Anhui sub-Corporation .

Hefei 23003 I ， China）

Abstract： After the integration management system is clouded， the interface concurrency performance andresponse delay of the system are studied in this paper. This paper takes the single service node， servicecluster and service cluster after deploying cache in nginx layer of integral management system as the researchobject. The number of concurrent requests tested is 300， 600 and 900 per second. Through JMeter pressuretest， the results show that the service cluster after deploying cache in nginx layer can provide high systemconcurrency performance and low response delay， well meeting the production demand.

Key words： interface， cluster， cache

運營商的在網(wǎng)客戶數(shù)量在持續(xù)增加，目前達到三千萬以上級別。和在網(wǎng)客戶數(shù)量緊密相關，積分管理系統(tǒng)接口的并發(fā)請求量也在不斷提高，峰值并發(fā)請求達到2000 TPS，單日請求量在一千五百萬次以上。這對接口的并發(fā)處理能力提出了新的要求[1]。

如何使接口的并發(fā)能力達到2000 TPS，響應時延在lOOOms以內(nèi)，是本文要解決的問題。為了便于研究，搭建一個具有單節(jié)點服務能力的架構(gòu)。（1）開發(fā)框架為：SpringBoot+IBATIS+MYSQL+TOMCAT。（2）機器環(huán)境為：CentOS-7-x86—64操作系統(tǒng)+8核CPU+32GB內(nèi)存+300GB硬盤。單個服務節(jié)點的系統(tǒng)架構(gòu)如圖1所示。

1 單個節(jié)點的并發(fā)服務能力

1.1積分管理系統(tǒng)云化后對數(shù)據(jù)庫查詢的響應性能分析

對TOMCAT的server.xml的設置如下：

protocol=HTTP/1.I

connection Timeout=”20000”

redirectPort=”8443”

maxThreacis=”800”

acceptCount=”1000”/>

maxThreads：TOMCArr起動的最大線程數(shù)，即同時處理的任務個數(shù)，默認值為200;為解決高并發(fā)的問題，將其設置為800。

acceptCount：當TOMCAT起動的線程數(shù)達到最大時接受排隊的請求個數(shù)，默認值為100;為解決高并發(fā)的問題，將其設置為1000。

1.2 壓力測試工具

JMeter是Apache組織開發(fā)的基于Java的壓力測試工具，用于對軟件做壓力測試，其最初被設計用于Web應用測試，但后來擴展到其他測試領域。JMeter可以用于對服務器、網(wǎng)絡或?qū)ο竽M巨大的負載，來自不同壓力類別下測試它們的強度和分析整體性能[2]。

本文采用JMeter作為壓力測試工具，以測試接口的并發(fā)處理能力。

1.3 單個節(jié)點的性能壓力測試

對單個節(jié)點的并發(fā)能力進行壓力測試，以了解單個節(jié)點的并發(fā)處理能力，測試數(shù)據(jù)如表1所列。

通過對單個節(jié)點的壓力測試進行分析可發(fā)現(xiàn)，并發(fā)能力在200左右，響應時延都超過lOOOms.不能滿足業(yè)務的生產(chǎn)需求。

2 24個服務節(jié)點構(gòu)建的服務集群的并發(fā)能力

單個服務節(jié)點序難以承載持續(xù)增長的業(yè)務量帶來的高并發(fā)，建議通過集群的方式來解決相關問題。

2.1集群思想

2.1.1 NGINX轉(zhuǎn)發(fā)層

在負載均衡的轉(zhuǎn)發(fā)層，采用lvs+NGINX負載均衡來實現(xiàn)。

NCINX的負載均衡策略較多，如輪詢、指定權(quán)重、ip_hash等[3]。由于各個服務節(jié)點的權(quán)重相同，不需要會話保持，我們選用輪詢的方式來實現(xiàn)。

2.1.2 服務集群層

考慮到TOMCAT的開源性，對整體的服務部署24個服務節(jié)點，如圖l所示。

2.1.3 數(shù)據(jù)庫緩存層

對于高性能的開源的Reciis，在內(nèi)存中保存數(shù)據(jù)。按照kev-value的形式存儲數(shù)據(jù)，是一種數(shù)據(jù)結(jié)構(gòu)化存儲方法的集合[4]。

經(jīng)測試發(fā)現(xiàn)，讀取Redis的緩存數(shù)據(jù)經(jīng)常出現(xiàn)超時現(xiàn)象，綜合考慮業(yè)務的需求，把該數(shù)據(jù)庫的緩存層下線，直接和數(shù)據(jù)庫進行交瓦。

2.2 集群壓測的接口能力分析

經(jīng)過集群優(yōu)化，重新進行接口并發(fā)能力壓力測試.結(jié)果如表2所列。

通過對集群的壓力測試進行分析可以發(fā)現(xiàn)，并發(fā)能力在1500左右，響應時延都超過lOOOms，不能滿足業(yè)務的生產(chǎn)需求。

3 在NGINX層部署緩存后的集群并發(fā)能力

3.1 業(yè)務分類分析

通過對業(yè)務進行歸類分析，發(fā)現(xiàn)接口主要是幾類請求，并且每類請求都有自己的變化周期，如qryStarlnfo請求，每月變化一次。如果在NGINX轉(zhuǎn)發(fā)層配置緩存，可以節(jié)約CPU、磁盤10和網(wǎng)絡傳輸?shù)臅r間消耗，直接由NGINX的緩存返回，可以把平均響應時問縮短30%以上，并發(fā)能力提高30%以上。

接口需要處理的主要業(yè)務分類如表3所示。

3.2 轉(zhuǎn)發(fā)層緩存

對于NGINX的server配置部分，配置如表4所示。

應用層的程序也要配套改造，對實時變化的業(yè)務，不加載緩存;對每月變化一次的緩存，加載緩存，通過NGINX的緩存來直接返回查詢結(jié)果，縮短響應時間，提高接口的并發(fā)處理能力[5]。

3.3 通過集群和NGINX緩存優(yōu)化后壓力測試的接口能力分析

經(jīng)過集群構(gòu)建，再加上NGINX的緩存優(yōu)化，重新進行接口并發(fā)能力壓力測試如表5所示。

通過對NGINX層加載緩存后，對服務集群的壓力測試進行分析可知，當請求量足夠大的情況下，并發(fā)能力都在2000 TPS以上，響應時延都在lOOOms以內(nèi)，滿足業(yè)務的生產(chǎn)需求。

4 結(jié)論

積分管理系統(tǒng)解決接口高并發(fā)低時延能力的優(yōu)化思路，就是從單個服務節(jié)點、服務集群、NGINX加載緩存的服務集群三個層次來優(yōu)化。

NGINX加載緩存的服務集群，可以節(jié)約CPU、磁盤10和網(wǎng)絡傳輸?shù)臅r間消耗，有效縮短了響應時間，提高了接口的并發(fā)處理能力，很好地滿足了業(yè)務的生產(chǎn)需求。

參考文獻：

[1]尚陽陽.氣象微信公眾平臺服務發(fā)展方向的思考[J].農(nóng)家參謀，2020（11）：127.

[2]王麗娜.從微平臺界面設計看高校品牌構(gòu)建[J].設計，2020，33（9）：82-84.

[3]李洋，李娜，基于互聯(lián)網(wǎng)環(huán)境下移動學習微平臺的實現(xiàn)與研究[J].中外企業(yè)家，2020（14）：170.

[4]葉陽.移動互聯(lián)網(wǎng)時代出版企業(yè)微平臺編輯運營策略[J].傳媒論壇，2020，3（9）：45-47.

[5]胡丹瑩.基于學校公眾號的高校心理咨詢微平臺的開發(fā)探索[J].信息與電腦（理論版），2020，32（8）：252-254.

作者簡介：

黎剛（1976-），碩士，工程師，研究方向：計算機軟件、計算機網(wǎng)絡和大數(shù)據(jù)在工程中的應用。