基于云平臺的LNMP集群架構(gòu)研究

曹秀蓮 鐘祥睿 林曉超

摘? 要：服務(wù)器集群架構(gòu)是網(wǎng)站W(wǎng)eb業(yè)務(wù)的核心，其可用性直接關(guān)系到用戶的體驗和網(wǎng)站的效率?，F(xiàn)代集群架構(gòu)運用云平臺的管理和資源池，用云主機(jī)來代替物理服務(wù)器，對系統(tǒng)的信息進(jìn)行傳輸、處理、存儲、監(jiān)控等都有所改進(jìn)。網(wǎng)站的訪問量日益劇增，當(dāng)訪問量達(dá)到十幾萬時，針對訪問量而引發(fā)的服務(wù)器架構(gòu)調(diào)優(yōu)，成為了一個迫切需要解決的問題。

關(guān)鍵詞：云平臺? LNMP集群? 訪問量? 負(fù)載均衡

中圖分類號：TP393? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識碼：A? ? ? ? ? ? ? ? ? 文章編號：1674-098X（2021）06（a）-0061-04

Research on LNMP cluster architecture based on cloud platform

CAO Xiulian? ZHONG Xiangrui? LIN Xiaochao

（Guangdong Engineering Vocational College? Guangzhou， Guangdong Province， 510520 China）

Abstract： Server cluster architecture is the core of website web business， and its availability is directly related to the user experience and website efficiency. Modern cluster architecture uses the management and resource pool of cloud platform， and uses the virtual machine to replace the physical server to improve the information transmission， processing， storage and monitoring of the system. With the rapid growth of website traffic， when the traffic reaches more than 100000， the server architecture optimization caused by the traffic has become an urgent problem to be solved.

Key Words： Cloud platform; LNMP cluster; Traffic; Load balancing

本文主要選取了企業(yè)web網(wǎng)站架構(gòu)為實際研究對象，在云平臺下構(gòu)建LNMP集群，從數(shù)據(jù)庫服務(wù)優(yōu)化、web服務(wù)器優(yōu)化、負(fù)載均衡優(yōu)化3個方面對企業(yè)的軟硬件實際情況提出web網(wǎng)站架構(gòu)優(yōu)化方案。

1 研究背景

云技術(shù)（Cloud technology）是基于云計算商業(yè)模式應(yīng)用的網(wǎng)絡(luò)技術(shù)、信息技術(shù)、整合技術(shù)、管理平臺技術(shù)、應(yīng)用技術(shù)等的總稱，可以組成資源池，按需所用，靈活便利[1-2]。

LNMP集群是企業(yè)級常用于處理高并發(fā)問題的集群[3-4]，它代表的就是Linux系統(tǒng)下Nginx+MySQL+ PHP這種網(wǎng)站服務(wù)器架構(gòu)，LNMP集群架構(gòu)可以解決30000～100000的訪問量。

服務(wù)器集群架構(gòu)是網(wǎng)站web業(yè)務(wù)的核心，其可用性直接關(guān)系到用戶的體驗和網(wǎng)站的效率。隨著計算機(jī)技術(shù)的飛速發(fā)展和訪問量不斷的增加，傳統(tǒng)的web架構(gòu)、負(fù)載均衡已不能適應(yīng)新的發(fā)展需要，提高web集群架構(gòu)的高可用性主要途徑是運用先進(jìn)的信息技術(shù)，根據(jù)企業(yè)的業(yè)務(wù)需求對現(xiàn)有的軟硬件情況進(jìn)行架構(gòu)的改進(jìn)，是解決問題的有利方法。

云平臺下的LNMP集群架構(gòu)就是搭建的IaaS（Infrastructure as a Service），即基礎(chǔ)設(shè)施即服務(wù)。指把IT基礎(chǔ)設(shè)施作為一種服務(wù)通過網(wǎng)絡(luò)對外提供，并根據(jù)用戶對資源的實際使用量或占用量進(jìn)行計費的一種服務(wù)模式。云平臺下的LNMP集群架構(gòu)的設(shè)計目標(biāo)是優(yōu)化企業(yè)web業(yè)務(wù)架構(gòu)，應(yīng)對web業(yè)務(wù)日益劇增的訪問量，以此提高企業(yè)web服務(wù)集群的高可用行性和企業(yè)web業(yè)務(wù)的需求。

2? 云平臺下構(gòu)建LNMP集群的整體設(shè)計

一個良好的架構(gòu)設(shè)計和運維保障措施，能為云平臺的穩(wěn)定健康運行，產(chǎn)生不可估量的積極影響[5-6]。如果化繁為簡，簡單來說，要部署一套生產(chǎn)環(huán)境級別的云平臺，至少會涉及到4個層次的內(nèi)容，即物理基礎(chǔ)設(shè)施層、存儲層、云服務(wù)層和用戶應(yīng)用層。

隨著訪問量不斷增加，大多企業(yè)的Web集群都采用集群技術(shù)來構(gòu)建Web物理服務(wù)器集群以解決日訪問量大的問題。提高服務(wù)器集群的性能要選擇合理的負(fù)載均衡策略，負(fù)載均衡策略的合理應(yīng)用能優(yōu)化集群性能，提高系統(tǒng)的運行效率，有效解決系統(tǒng)訪問量大的問題。本文構(gòu)建的LNMP集群的設(shè)計架構(gòu)圖如圖1所示。

2.1 整體設(shè)計目標(biāo)

2.1.1 構(gòu)建云平臺集群架構(gòu)

在計算節(jié)點集群和控制節(jié)點集群搭建云平臺。

2.1.2 資源彈性使用

在控制節(jié)點服務(wù)器上實現(xiàn)資源的整合，把控制節(jié)點的全部資源加入云平臺資源池。

2.1.3 構(gòu)建LNMP集群架構(gòu)

使用云平臺下的云主機(jī)進(jìn)行搭建Web虛擬的服務(wù)集群架構(gòu)。

2.1.4 負(fù)載均衡

在Lvs中使用Wrr算進(jìn)行負(fù)載均衡調(diào)度，提高整個Web架構(gòu)的穩(wěn)定性。

2.1.5 提高Web服務(wù)器集群訪問量

彈性資源的使用，可以快速增加Web集群中服務(wù)器的數(shù)量，令訪問量增加。

2.1.6 MySql數(shù)據(jù)庫（HA）

在訪問量大的時候mysql服務(wù)器集群寫入的請求會加重服務(wù)集群的負(fù)載，這個時候需要進(jìn)行mysql集群讀寫進(jìn)行分離。

2.2 云平臺部署步驟

2.2.1 各節(jié)點進(jìn)行基礎(chǔ)環(huán)境配置

配各節(jié)點IP地址、關(guān)閉防火墻不自啟、內(nèi)核防火墻設(shè)置為disable、全部節(jié)點進(jìn)行統(tǒng)一時鐘。

2.2.2 控制節(jié)點（Rabbitmq、mariadb、Keystone、nova-api等）

至少部署3臺控制節(jié)點，其余可做計算節(jié)點、網(wǎng)絡(luò)節(jié)點或存儲節(jié)點。采用Haproxy + KeepAlived方式，代理數(shù)據(jù)庫服務(wù)和OpenStack服務(wù)，對外暴露VIP提供API訪問。

2.2.3 網(wǎng)絡(luò)節(jié)點（neutron_dhcp_agent、neutron_l3_agent、neutron_openvswitch_agent等）

網(wǎng)絡(luò)節(jié)點上運行的Neutron服務(wù)包括很多的組件，比如L3 Agent、openvswitch Agent、LBaas、VPNaas、FWaas、Metadata Agent等，其中部分組件提供了原生的HA支持。

網(wǎng)絡(luò)節(jié)點涉及到的網(wǎng)絡(luò)有管理網(wǎng)絡(luò)（用于OpenStack各服務(wù)之間通信）、外部網(wǎng)絡(luò)（提供floating ip）、存儲網(wǎng)絡(luò)（如ceph存儲網(wǎng)絡(luò)）和虛機(jī)網(wǎng)絡(luò)（也稱租戶網(wǎng)絡(luò)、業(yè)務(wù)網(wǎng)絡(luò)）4種類型。

2.2.4 計算節(jié)點（Nova-Compute、neutron_openvswitch_agent、虛擬機(jī)等）

計算節(jié)點是在全部的物理服務(wù)器（包括控制節(jié)點）運行nova、nova-api組件的各服務(wù)，進(jìn)行云平臺的資源整合。

2.2.5 存儲節(jié)點（cinder-volume、swift等）

存儲節(jié)點的HA，主要是針對cinder-volume、cinder-backup服務(wù)做HA，最簡便的方法就是部署多個存儲節(jié)點，某一節(jié)點上的服務(wù)掛了，不至于影響到全局。

3? LNMP集群架構(gòu)詳細(xì)部署

3.1 Nginx安裝部署

根據(jù)架構(gòu)圖把LNMP集群分為Nginx集群和Mysql+php集群。

Nginx安裝配置包括如下幾部分：

（1）Web服務(wù)、郵件服務(wù)、郵件代理;

（2）負(fù)載均衡（反向代理proxy）;

（3）webcache;

Nginx特點：靜態(tài)小文件（1M），支持高并發(fā)，占用的資源很少。3W并發(fā)，10個進(jìn)程，內(nèi)存150M。

安裝依賴包：

依賴軟件：Pcre、Openssl、Zlib

yum -y install wget

yum -y install gcc gcc-c++ autoconf automake make

yum -y install zlib zlib-devel openssl openssl-devel

yum -y install patch

下載軟件包和依賴軟件包：/tools/

wget http：//nginx.org/download/nginx-1.10.2.tar.gz

wget ftp：//ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.38.tar.gz

wget http：//zlib.net/zlib-1.2.8.tar.gz

wget https：//www.openssl.org/source/openssl-1.0.2h.tar.gz

wget https：//bitbucket.org/nginx-goodies/nginx-sticky-module-ng/get/master.tar.gz

配置nginx.conf及部署Web站點

egrep -v "#|^$" nginx.conf.default >nginx.conf

vim nginx.conf

worker_processes? 1;

events {

worker_connections? 1024;

}

http {

include? ? ? ?mime.types;

default_type? application/octet-stream;

sendfile? ? ? ? on;

keepalive_timeout? 65;

server {

listen? ? ? ?80;

server_name www.guangdonggongcheng.com;

location / {

root? ?html/www;

index? index.html index.htm;

}

}

server {

listen? ? ? ?80;

server_name? bbs.guangdonggongcheng.com;

location / {

root? ?html/bbs;

index? index.html index.htm;

}

}

}

3.2 負(fù)載均衡部署

3.2.1 LB（Load Balance）集群之LVS

LB集群的架構(gòu)和原理很簡單，就是當(dāng)用戶的請求發(fā)過來時，會直接分發(fā)到Director Server上，然后它把用戶的請求根據(jù)設(shè)置好的調(diào)度算法，智能均衡地分發(fā)到后端真正服務(wù)器（real server）上。為了避免不同機(jī)器上用戶請求得到的數(shù)據(jù)不一樣，需要用到共享存儲，這樣保證所有用戶請求的數(shù)據(jù)是一致的，如圖2所示。

LVS（Linux Virtual Server）即Linux虛擬服務(wù)器，是Linux內(nèi)核標(biāo)準(zhǔn)的一部分。LVS架構(gòu)從邏輯上可分為調(diào)度層、Server集群層和共享存儲，是一個實現(xiàn)負(fù)載均衡集群的開源軟件項目。能夠構(gòu)建一個高性能高可用的Linux服務(wù)器集群，不但具有良好的可靠性、可擴(kuò)展性和可操作性，而且成本低廉。

3.2.2 LVS使用的加權(quán)輪詢 WRR負(fù)載均衡算法

LVS中的負(fù)載均衡使用的是加權(quán)輪詢WRR負(fù)載均衡算法，這種算法比經(jīng)典的rr算法多了一個權(quán)重的概念，主要是給RS設(shè)置權(quán)重，權(quán)重代表分發(fā)的請求數(shù)，取值范圍為0～100，這實質(zhì)是彌補(bǔ)rr算法的不足之處。LVS根據(jù)每臺服務(wù)器的性能，給每臺服務(wù)器添加權(quán)值，假設(shè)有服務(wù)器A權(quán)值=1，服務(wù)器B權(quán)值=2，則意味著調(diào)度到服務(wù)器B的請求會是服務(wù)器A的2倍。

3.2.3 MySQL數(shù)據(jù)庫HA（High Availability）

Mariadb Galara 集群。Galera Cluster是一套在innodb存儲引擎上面實現(xiàn)multi-master及數(shù)據(jù)實時同步的系統(tǒng)架構(gòu)，業(yè)務(wù)層面無需做讀寫分離工作，數(shù)據(jù)庫讀寫壓力都能按照既定的規(guī)則分發(fā)到各個節(jié)點上去。特點如下：（1）同步復(fù)制，（>=3）奇數(shù)個節(jié)點;（2）Active-active的多主拓?fù)浣Y(jié)構(gòu);（3）集群任意節(jié)點可以讀和寫;（4）自動身份控制，失敗節(jié)點自動脫離集群;（5）自動節(jié)點接入;（6）真正的基于”行”級別和ID檢查的并行復(fù)制;（7）無單點故障，易擴(kuò)展。

采用MariaDB + Galera方案部署至少3個節(jié)點（最好節(jié)點數(shù)量為奇數(shù)），外部訪問通過Haproxy的active + backend方式代理。平時主庫為A，當(dāng)A出現(xiàn)故障，則切換到B或C節(jié)點。

安裝數(shù)據(jù)庫HA過程如下。

（1）進(jìn)行基礎(chǔ)配置。集群至少需要3個節(jié)點的服務(wù)器硬件、配IP、centos7系統(tǒng)。

（2）配置說明。Galera Cluster的內(nèi)存要求很難準(zhǔn)確預(yù)測。它使用的特定內(nèi)存量可能會有很大差異，具體取決于給定節(jié)點接收的負(fù)載。如果Galera Cluster嘗試使用比節(jié)點更多的內(nèi)存，則mysqld實例會崩潰。保護(hù)節(jié)點系統(tǒng)崩潰的方法是確保服務(wù)有足夠的swap空間分區(qū)或者交換文件。

（3）啟動Galera集群。完成安裝和配置Galera Cluster后，需要使用wsrep-new-cluster選擇一個節(jié)點上啟動mysqld。這將會初始化集群的核心組件。在此之后啟動的每個節(jié)點都將連接到該組件并開始復(fù)制數(shù)據(jù)。

4? 結(jié)語

應(yīng)對企業(yè)訪問量日益劇增問題，使Web業(yè)務(wù)高可用，需要在云平臺技術(shù)、技術(shù)架構(gòu)、數(shù)據(jù)庫HA、負(fù)載均衡等方面就設(shè)計調(diào)優(yōu)。本文對企業(yè)Web業(yè)務(wù)應(yīng)對日益劇增的訪問量進(jìn)行了分析其架構(gòu)，對企業(yè)的日訪問量劇增提出了全面的可行方案總結(jié)如下。

（1）數(shù)據(jù)庫HA方面：業(yè)務(wù)層面無需做讀寫分離工作，數(shù)據(jù)庫讀寫壓力都能按照既定的規(guī)則分發(fā)到各個節(jié)點上去、同步復(fù)制、多住拓?fù)浣Y(jié)構(gòu)、集群任意節(jié)點可以讀和寫、自動身份控制、無單點故障、自動節(jié)點接入。

（2）Web應(yīng)用和服務(wù)層：用云平臺來代替整個系統(tǒng)的管理，易拓展性強(qiáng)，使用云主機(jī)的虛擬化技術(shù)在LNMP架構(gòu)上。

（3）集群負(fù)載均衡調(diào)度算法：根據(jù)實際情況選擇合適的集群均衡調(diào)度算法。當(dāng)用戶訪問集群時，每個用戶所要請求處理的時間和消耗系統(tǒng)資源是不同的，采用動態(tài)反饋負(fù)載均衡算法考慮集群的實時負(fù)載和響應(yīng)情況，不斷調(diào)整服務(wù)期間處理的比例，盡可能的提高集群的整體性能。

參考文獻(xiàn)

[1] 李金兆.信息化社會的戲曲傳承[D].臨汾：山西師范大學(xué)，2019.

[2] 蒯向春.云網(wǎng)融合應(yīng)用關(guān)鍵技術(shù)研究與設(shè)計[D].南京：南京郵電大學(xué)，2017.

[3] 劉焓.云平臺下服務(wù)分布式監(jiān)控系統(tǒng)的研究與實現(xiàn)[D].成都：電子科技大學(xué)，2020.

[4] 蘭巨龍，胡宇翔，張震，等.未來網(wǎng)絡(luò)體系與核心技術(shù)[M].北京：人民郵電出版社：學(xué)術(shù)中國·院士系列， 2017.368.

[5] 劉志成，林東升，彭勇.云計算技術(shù)與應(yīng)用基礎(chǔ)[M].北京：人民郵電出版社，2017.283.

[6] 劉奕.5G網(wǎng)絡(luò)技術(shù)對提升4G網(wǎng)絡(luò)性能的研究[J].數(shù)碼世界，2020（4）：24.