基于LVS的數(shù)據(jù)庫集群負(fù)載均衡性能測(cè)試與分析

王 超，祝永志

(曲阜師范大學(xué) 信息科學(xué)與工程學(xué)院，山東 日照 276800)

基于LVS的數(shù)據(jù)庫集群負(fù)載均衡性能測(cè)試與分析

王 超，祝永志

(曲阜師范大學(xué) 信息科學(xué)與工程學(xué)院，山東 日照 276800)

Linux虛擬服務(wù)器(Linux Virtual Server，LVS)技術(shù)是一種廣泛應(yīng)用于企業(yè)集群中的負(fù)載均衡技術(shù)，目前關(guān)于LVS的研究主要是基于Web服務(wù)器集群負(fù)載均衡性能方面。在一些實(shí)際應(yīng)用場(chǎng)景中，LVS可以直接與數(shù)據(jù)庫集群相結(jié)合。將LVS與數(shù)據(jù)庫集群結(jié)合，提出一種對(duì)LVS架構(gòu)下數(shù)據(jù)庫集群性能進(jìn)行測(cè)試的方案，并利用HP LoadRunner對(duì)負(fù)載均衡算法的數(shù)據(jù)庫集群進(jìn)行負(fù)載測(cè)試實(shí)驗(yàn)，通過數(shù)據(jù)分析比較，得出LVS提供的算法中較適合數(shù)據(jù)庫集群的調(diào)度算法。

Linux虛擬服務(wù)器；數(shù)據(jù)庫集群；負(fù)載均衡；性能測(cè)試；算法分析

0 引言

進(jìn)入大數(shù)據(jù)時(shí)代，網(wǎng)絡(luò)中的數(shù)據(jù)規(guī)模呈現(xiàn)出爆炸式的增長(zhǎng)模式，面對(duì)愈來愈復(fù)雜的數(shù)據(jù)服務(wù)需求，傳統(tǒng)的單點(diǎn)數(shù)據(jù)庫根本無法滿足要求，此時(shí)迫切需要一種具有高性能、高可用性優(yōu)勢(shì)的技術(shù)來解決這一問題。數(shù)據(jù)庫集群的出現(xiàn)從根本上解決了復(fù)雜的數(shù)據(jù)服務(wù)需求問題。由于數(shù)據(jù)庫集群所具有的獨(dú)特優(yōu)勢(shì)，使其得到愈來愈廣泛的應(yīng)用。集群負(fù)載均衡是數(shù)據(jù)庫集群系統(tǒng)的關(guān)鍵技術(shù)，優(yōu)秀的負(fù)載均衡技術(shù)能有效提高集群性能，提高集群硬件的利用率。

作為企業(yè)級(jí)負(fù)載均衡器的Linux虛擬服務(wù)器，由于其支持對(duì)TCP請(qǐng)求做負(fù)載均衡，因此LVS架構(gòu)可以用于做數(shù)據(jù)庫集群的負(fù)載均衡。目前，對(duì)于LVS算法性能的研究多是基于Web服務(wù)器集群的，并有實(shí)驗(yàn)證明了LVS架構(gòu)與數(shù)據(jù)庫集群(MySQL Cluster)結(jié)合的技術(shù)可行性[1]，但是并沒有分析比較適應(yīng)數(shù)據(jù)庫集群的負(fù)載均衡算法，目前尚未找到最適合數(shù)據(jù)庫集群的負(fù)載均衡算法。

為了進(jìn)一步提高實(shí)驗(yàn)數(shù)據(jù)的準(zhǔn)確性，在本文的測(cè)試過程中引入了IP Spoof和變量參數(shù)化技術(shù)，從而更好地提高數(shù)據(jù)的有效性。

1 平臺(tái)介紹

1.1 MySQL Cluster

MySQL Cluster是由SUN Micro System公司研發(fā)推出的，是將MySQL數(shù)據(jù)庫集群化的產(chǎn)品。MySQL Cluster支持運(yùn)行在無共享結(jié)構(gòu)(Share Nothing Architecture，SNA)環(huán)境中的集群，集群對(duì)硬件配置要求低，且多采用分布式設(shè)計(jì)[2]。相比于Oracle的分布式數(shù)據(jù)庫(Real Application Cluster，RAC)集群系統(tǒng)，MySQL Cluster具有搭建簡(jiǎn)單、運(yùn)營成本低等優(yōu)勢(shì)，受到個(gè)人用戶和中小型企業(yè)的青睞。

1.2 Linux虛擬服務(wù)器

作為一款開源的負(fù)載均衡軟件，Linux虛擬服務(wù)器的負(fù)載均衡架構(gòu)已被廣泛應(yīng)用于企業(yè)Web服務(wù)器集群系統(tǒng)中。

目前，LVS系統(tǒng)已經(jīng)實(shí)現(xiàn)了3種架構(gòu)模式和8種負(fù)載均衡算法。LVS擁有工作在網(wǎng)絡(luò)層上的IPVS和工作在應(yīng)用層的KTCPVS內(nèi)容請(qǐng)求分發(fā)技術(shù)[3]。作為輕量級(jí)的負(fù)載均衡軟件，負(fù)載均衡器本身消耗資源很少，能有效地實(shí)現(xiàn)請(qǐng)求的調(diào)度，Linux虛擬服務(wù)器作為服務(wù)器的負(fù)載均衡器結(jié)構(gòu)如圖1所示。本文基于現(xiàn)有對(duì)于數(shù)據(jù)庫集群和Linux虛擬服務(wù)器的研究，將兩者相結(jié)合，并在此基礎(chǔ)上對(duì)二者結(jié)合的效果做出測(cè)試和分析。

圖1 Linux虛擬服務(wù)器負(fù)載均衡結(jié)構(gòu)

1.3 測(cè)試軟件HP LoadRunner

HP Loadrunner是一款比較成熟的商用工業(yè)級(jí)標(biāo)準(zhǔn)的測(cè)試工具，由于它可以用較少的硬件資源對(duì)成千上萬的用戶并發(fā)行為進(jìn)行模擬，因此常被用來進(jìn)行軟件測(cè)試，并對(duì)系統(tǒng)性能進(jìn)行監(jiān)測(cè)，如對(duì)Windows、Linux等操作系統(tǒng)的性能實(shí)時(shí)監(jiān)測(cè)[4]。本文使用該軟件模擬用戶行為，對(duì)遠(yuǎn)程集群發(fā)出SQL請(qǐng)求，用于測(cè)試負(fù)載均衡器對(duì)SQL請(qǐng)求的分發(fā)性能以及數(shù)據(jù)庫集群的綜合性能。

2 測(cè)試原理

LVS負(fù)載均衡架構(gòu)中包含三種基礎(chǔ)架構(gòu)搭建模式：(1)VS/TUN模式(需要真實(shí)服務(wù)器支持IP tunneling協(xié)議)通過IP通道的方式實(shí)現(xiàn)請(qǐng)求均衡分發(fā)；(2)VS/NAT模式(負(fù)載均衡器存在的通信壓力有可能成為整個(gè)系統(tǒng)性能的瓶頸)通過網(wǎng)絡(luò)地址轉(zhuǎn)換實(shí)現(xiàn)任務(wù)交付；(3)VS/DR方式將處理后的結(jié)果直接交付給用戶,在通用網(wǎng)絡(luò)中此種模式響應(yīng)信息能較快返回[5]。在本次測(cè)試中為了減少系統(tǒng)誤差對(duì)實(shí)驗(yàn)結(jié)構(gòu)的影響，更快實(shí)現(xiàn)結(jié)果返回，實(shí)驗(yàn)架構(gòu)采用VS/DR模式。

截止到目前，LVS負(fù)載均衡器已經(jīng)實(shí)現(xiàn)了輪詢調(diào)度算法、加權(quán)輪詢調(diào)度算法、最小連接調(diào)度算法、加權(quán)最小連接算法、基于局部性的最少鏈接調(diào)度算法、帶復(fù)制的基于局部性最少鏈接調(diào)度算法、目標(biāo)地址散列調(diào)度算法、源地址散列調(diào)度算法[6]共8種負(fù)載均衡調(diào)度算法。其中，由于基于局部的性最少鏈接調(diào)度算法和帶復(fù)制的局部性最少鏈接調(diào)度算法多在Cache集群中[7]應(yīng)用，因此本次測(cè)試未在數(shù)據(jù)庫集群中使用。

在MySQL Cluster中，通常使用NDB(Network Database)存儲(chǔ)引擎來實(shí)現(xiàn)數(shù)據(jù)集群的數(shù)據(jù)節(jié)點(diǎn)之間的整合，數(shù)據(jù)節(jié)點(diǎn)之間數(shù)據(jù)的同步主要是通過復(fù)制的方式來實(shí)現(xiàn),在測(cè)試中通過該機(jī)制實(shí)現(xiàn)各個(gè)節(jié)點(diǎn)數(shù)據(jù)的一致性[2]。

IP欺騙(IP spoof)，在HP Loadrunner中提供了IP Wizard軟件，用戶可用以調(diào)整用戶IP設(shè)置，通過設(shè)置IP欺騙可以允許一臺(tái)主機(jī)同時(shí)使用多個(gè)相異的IP地址。同時(shí)使用變量參數(shù)化方式保證測(cè)試用戶的互異性。Loadrunner在初始化用戶的階段即可根據(jù)用戶信息和IP的差異創(chuàng)建多個(gè)不同的TCP會(huì)話[8]。

設(shè)置負(fù)載測(cè)試生成節(jié)點(diǎn)，通過增加訪問用戶的數(shù)目，增加并發(fā)訪問壓力，分析每次性能測(cè)試的結(jié)果，本實(shí)驗(yàn)使用并發(fā)測(cè)試的主要目的是根據(jù)數(shù)據(jù)分發(fā)情況測(cè)試LVS負(fù)載均衡算法的效果，并根據(jù)用戶-響應(yīng)時(shí)間關(guān)系判斷請(qǐng)求的處理效率，評(píng)估算法優(yōu)劣。

3 測(cè)試實(shí)驗(yàn)

3.1 實(shí)驗(yàn)配置

由于完整的MySQL數(shù)據(jù)庫集群需具有管理節(jié)點(diǎn)(Master Node)、數(shù)據(jù)節(jié)點(diǎn)(Data Node)和SQL節(jié)點(diǎn)(SQL Node)三種節(jié)點(diǎn)[9]，為了提高數(shù)據(jù)庫結(jié)構(gòu)的完整性，本實(shí)驗(yàn)將三種節(jié)點(diǎn)用于集群中。在該系統(tǒng)中的負(fù)載均衡器所在的服務(wù)器同時(shí)作為數(shù)據(jù)庫集群的管理節(jié)點(diǎn)，數(shù)據(jù)節(jié)點(diǎn)與SQL節(jié)點(diǎn)同主機(jī)作為真實(shí)服務(wù)器，配置集群中的各臺(tái)主機(jī)的IP地址如下：

LVS均衡器/管理節(jié)點(diǎn)真實(shí)IP:192.168.1.141

負(fù)載均衡器虛擬IP:192.168.1.250

DB Node 01 IP:192.168.1.142

DB Node 03 IP:192.168.1.144

為更明顯地測(cè)試并比較出負(fù)載均衡算法的實(shí)際使用效果，這里使用的數(shù)據(jù)庫節(jié)點(diǎn)的性能較低，實(shí)驗(yàn)設(shè)置的真實(shí)服務(wù)器的CPU性能對(duì)等 ,節(jié)點(diǎn)的RAM分別安裝為512 MB、1 024 MB、2 048 MB，節(jié)點(diǎn)之間使用高速路由器相連接。根據(jù)MySQL數(shù)據(jù)庫集群搭建方法[10]搭建如圖2所示的實(shí)驗(yàn)拓?fù)浣Y(jié)構(gòu)。

根據(jù)LVS配置規(guī)則[11]在負(fù)載均衡器上配置數(shù)據(jù)轉(zhuǎn)發(fā)規(guī)則,配置完成后在管理節(jié)點(diǎn)用ipvsadm-l命令查看內(nèi)配置內(nèi)容：

->RemoteAddress:Port Forward weight ActiveConn

InactiveConn

->192.168.1.142:mysql Route 1 0

0

2018年，協(xié)會(huì)深入貫徹創(chuàng)新、協(xié)調(diào)、綠色、開放、共享的發(fā)展理念，圍繞本市能源消費(fèi)總量和能耗強(qiáng)度“雙控”行動(dòng)，聚焦重點(diǎn)行業(yè)、重點(diǎn)園區(qū)、重點(diǎn)企業(yè)和重點(diǎn)產(chǎn)品等內(nèi)容，重點(diǎn)從四個(gè)方面開展工作。

->192.168.1.143:mysql Route 1 0

0

->192.168.1.144:mysql Route 1 0

0

3.2 LoadRunner配置

在HP LoadRunner的庫文件中創(chuàng)建包含60名用戶信息的參數(shù)文件username.dat，在腳本中使用lr_eval_string()函數(shù)調(diào)用此參數(shù)文件，用戶參數(shù)列表的循環(huán)調(diào)用方式設(shè)置為Unique-Once方式。對(duì)MySQL數(shù)據(jù)庫驅(qū)動(dòng)和函數(shù)文件進(jìn)行導(dǎo)入，并編輯虛擬用戶的action腳本。

為確保用于測(cè)試的用戶獨(dú)立性和時(shí)間結(jié)果的有效性，測(cè)試時(shí)需要開啟軟件的IP spoof功能，每臺(tái)測(cè)試機(jī)通過使用LoadRunner提供的軟件組件IP Wizard添加IP地址到本地網(wǎng)卡，在Controller中開啟專家模式，并選擇啟用IP欺騙功能，在測(cè)試機(jī)上創(chuàng)建具有不同IP地址的LoadGenerator，并在Vuser中對(duì)虛擬用戶綁定IP地址。

3.3 實(shí)驗(yàn)過程

(1)在數(shù)據(jù)庫中創(chuàng)建60個(gè)互異數(shù)據(jù)庫用戶，并分別給用戶執(zhí)行授權(quán)操作。

(2)在數(shù)據(jù)庫中創(chuàng)建共享分布式數(shù)據(jù)庫數(shù)據(jù)表create table tb01(val int) ENGINE = ndbcluster，執(zhí)行SQL請(qǐng)求語句insert into tb01 values (44)。

(3)MySQL數(shù)據(jù)庫默認(rèn)支持的最大的連接數(shù)為100，為避免實(shí)驗(yàn)中受到最大連接數(shù)的影響，設(shè)置連接數(shù)為最大16 384。

(4)設(shè)置數(shù)據(jù)庫的連接超時(shí)時(shí)間為1 s，以保證測(cè)試用戶能有效訪問數(shù)據(jù)庫，完成SQL語句執(zhí)行。

(5)在6臺(tái)計(jì)算機(jī)上同時(shí)運(yùn)行虛擬用戶測(cè)試腳本，啟動(dòng)虛擬用戶執(zhí)行SQL語句，測(cè)試完成一種算法之后在負(fù)載均衡器上依次切換不同的負(fù)載均衡算法，統(tǒng)計(jì)用戶數(shù)目和響應(yīng)時(shí)間數(shù)據(jù)。

4 結(jié)果與分析

4.1 實(shí)驗(yàn)數(shù)據(jù)

在上述實(shí)驗(yàn)環(huán)境中對(duì)LVS常用的負(fù)載均衡調(diào)度算法(輪詢調(diào)度算法(rr)，加權(quán)輪詢調(diào)度算法(wrr)，最小連接調(diào)度算法(lc)，加權(quán)最小連接調(diào)度算法(wlc)，源地址散列調(diào)度算法(sh)，目的地址散列調(diào)度算法(dh))依次進(jìn)行負(fù)載測(cè)試。由于測(cè)試生成的數(shù)據(jù)集數(shù)據(jù)較為離散，對(duì)測(cè)試結(jié)果以30 s為間隔生成的數(shù)據(jù)劃取連續(xù)的10個(gè)時(shí)間間隔(t0,t1)(t1,t2)…(t9,t10)，去掉數(shù)據(jù)突增干擾點(diǎn)，求區(qū)間時(shí)間平均值分別為：ave1,ave2，…，ave10，根據(jù)關(guān)系式(1)計(jì)算出響應(yīng)時(shí)間均值。

(1)

通過使用以上方式對(duì)原始數(shù)據(jù)計(jì)算，將計(jì)算結(jié)果匯總?cè)绫?所示。

表1 用戶響應(yīng)時(shí)間數(shù)據(jù)表 (ms)

4.2 數(shù)據(jù)分析

根據(jù)表1中的測(cè)試試驗(yàn)數(shù)據(jù)繪制6種算法用戶數(shù)目-響應(yīng)時(shí)間圖，如圖3、圖4所示。

圖3 wrr/rr/sh算法用戶響應(yīng)時(shí)間圖

圖4 dh/lc/wlc算法用戶響應(yīng)時(shí)間圖

設(shè)定數(shù)據(jù)中的用戶響應(yīng)時(shí)間為resTime，通信時(shí)間為connTime，數(shù)據(jù)處理時(shí)間為exeTime,則時(shí)間量之間滿足關(guān)系式(2)。

resTime=connTime+exeTime

(2)

根據(jù)此關(guān)系，數(shù)據(jù)庫集群的各個(gè)節(jié)點(diǎn)處于同一個(gè)通信集群中，其通信時(shí)間connTime可視為常量，節(jié)點(diǎn)之間的通信時(shí)間延穩(wěn)定且值比較小，據(jù)此可推得用戶的查詢響應(yīng)時(shí)間和數(shù)據(jù)處理時(shí)間呈正比關(guān)系。

參考表1中的數(shù)據(jù)，測(cè)試每種負(fù)載均衡算法，獲取到的數(shù)據(jù)滿足關(guān)系：Tlc>Tdh>Tsh>Trr>Twrr>Twlc

實(shí)驗(yàn)數(shù)據(jù)顯示，用戶響應(yīng)時(shí)間與用戶數(shù)量U呈線性增長(zhǎng)趨勢(shì)，則用戶響應(yīng)時(shí)間與用戶數(shù)量比滿足關(guān)系Tlc/U>Tdh/U…>Twlc/U，其算法處理效率ε滿足εlc>εdh…>εwlc。

根據(jù)以上分析可知，在排除通信對(duì)于響應(yīng)時(shí)間的影響情況下，SQL請(qǐng)求的處理時(shí)間直接影響用戶響應(yīng)時(shí)間。在非對(duì)稱集群環(huán)境中，集群中節(jié)點(diǎn)性能存在差異，輪詢調(diào)度算法和最小連接算法由于不能根據(jù)節(jié)點(diǎn)的實(shí)際性能調(diào)度，在實(shí)際使用中的效果不能完全發(fā)揮集群的性能。相比之下，加權(quán)最小連接調(diào)度算法和加權(quán)輪詢調(diào)度算法在實(shí)行調(diào)度時(shí)都能夠根據(jù)節(jié)點(diǎn)的實(shí)際硬件性能有效完成，其中加權(quán)最小連接調(diào)度算法的調(diào)度還能夠根據(jù)節(jié)點(diǎn)的實(shí)時(shí)連接數(shù)目有效調(diào)節(jié)。在用戶基數(shù)較少時(shí)，由于加權(quán)最小連接算法和加權(quán)輪詢調(diào)度算法會(huì)涉及權(quán)值計(jì)算，消耗一定的時(shí)間，而使用輪詢調(diào)度算法的調(diào)度直接交付SQL請(qǐng)求，執(zhí)行效率較高；在用戶基數(shù)較大時(shí)，加權(quán)最小連接調(diào)度算法能根據(jù)服務(wù)器集群的實(shí)際性能進(jìn)行調(diào)度，提高了集群的利用率。

5 結(jié)論

本文提出了LVS架構(gòu)下數(shù)據(jù)庫集群負(fù)載均衡算法性能的測(cè)試方案，通過HP LoadRunner軟件對(duì)LVS架構(gòu)下的MySQL集群性能進(jìn)行測(cè)試，分析用戶響應(yīng)時(shí)間與用戶并發(fā)數(shù)的關(guān)系，驗(yàn)證了LVS架構(gòu)對(duì)數(shù)據(jù)庫集群的負(fù)載調(diào)度的有效性。根據(jù)對(duì)試驗(yàn)數(shù)據(jù)的分析得出：在非對(duì)稱集群環(huán)境中多用戶并發(fā)的情況下，加權(quán)最小連接調(diào)度算法能有效提高調(diào)度效率，從而提升數(shù)據(jù)庫集群性能和節(jié)點(diǎn)硬件資源的利用率。

[1] 談書才，劉青青.基于Replication和LVS的MySQL分布式數(shù)據(jù)庫研究[J].中國科技信息,2015(10):61-62.

[2] 李紅艷.基于NDB引擎的MySQL Cluster的部署規(guī)則及測(cè)試[D].濟(jì)南:山東大學(xué),2015.

[3] 邱建新.LVS集群技術(shù)在教學(xué)資源庫平臺(tái)中的應(yīng)用[J].微型機(jī)與應(yīng)用,2013,32(23):80-82.

[4] 熊婧，夏仲平，林軍，等.基于CPU/OS的信息系統(tǒng)性能測(cè)試方案研究[J].計(jì)算機(jī)工程,2015,41(12):82-85.

[5] Wei Qun, Xu Guangli, Li Yuling.Research on cluster and load balance based on Linux Virtual Server,ICICA 2010: International Conference on Information Computing and Applications[C].Berlin Heidelbeng: Springer,2010.

[6] Zhang Wensong. Job scheduling algorithms in Linux Virtual Server [EB/OL]. (2011-02-08) [2016-06-25] http:// www. linuxvirtualserver.org/docs/scheduling.html.

[7] 劉斌，徐精明，代素環(huán)，等.基于Linux虛擬服務(wù)器的負(fù)載均衡算法[J].計(jì)算機(jī)工程,2011,37(23):279-281.

[8] 修佳鵬，楊正球，劉雪梅.軟件性能測(cè)試及工具應(yīng)用[M]. 北京：清華大學(xué)出版社,2014.

[9] BARON S,PETER Z,VADIM T.High Performance MySQL [M].Sebastopol:O’Reilly Media Inc,2008.[10] 唐漢明，翟振興，關(guān)寶軍，等.深入淺出MySQL[M].北京：人民郵電出版社，2014.

[11] Zhang Wensong.Virtual server via direct routing[EB/OL]. (2011-02-08)[2016-06-25]http://www.linuxvirtualserver.org/ VS-DRouting.html.

The performance measure and analysis of load balancing in database cluster based on Linux Virtual Server

Wang Chao，Zhu Yongzhi

(School of Information Science and Engineering, Qufu Normal University, Rizhao 276800, China)

Linux Virtual Server(LVS)techology is a load balancing technology widely used in enterprises. Most of the current research about LVS is based on performance of Web server.In some practical scenarios,LVS architecture is combined with database cluster directly.This paper proposed a test method for the performance of database cluster under LVS architecture,using HP LoadRunner to test the load balancing algorithm,comparing the data and getting the most effective LVS load balance algorithm.

Linux Virtual Server; database cluster; load balancing;performance testing; algorithm analysis

TP311.5

A

10.19358/j.issn.1674- 7720.2017.04.004

王超，祝永志.基于LVS的數(shù)據(jù)庫集群負(fù)載均衡性能測(cè)試與分析[J].微型機(jī)與應(yīng)用，2017,36(4)：10-13.

2016-08-25)

王超(1991-)，男，碩士研究生，主要研究方向：分布式數(shù)據(jù)庫。

祝永志(1964-)，男，碩士，教授，主要研究方向：分布式數(shù)據(jù)庫，并行與分布式計(jì)算。