電能表數(shù)據(jù)采集終端負(fù)載自適應(yīng)均衡方法研究

華書蓓,劉于超,白雅雯,鄭際俊

(1.國(guó)網(wǎng)青海省電力公司營(yíng)銷服務(wù)中心,青海 西寧 810000;2.元啟工業(yè)技術(shù)有限公司,山東 青島 266000)

0 引言

采用先進(jìn)的電能表數(shù)據(jù)采集終端可以提高數(shù)據(jù)采集和電網(wǎng)綜合管理效率[1-3]。電能表數(shù)據(jù)采集終端訪問數(shù)據(jù)量巨大[4-5],極易產(chǎn)生負(fù)載不平衡問題。因此,相關(guān)學(xué)者紛紛展開對(duì)這一課題的研究。竇浩銘等[6]研究基于蟻群優(yōu)化的負(fù)載均衡方法。該方法通過自定義性能指標(biāo)服務(wù)器繁忙程度,量化描述服務(wù)器的實(shí)時(shí)狀態(tài),以選定實(shí)時(shí)最優(yōu)服務(wù)器;利用元啟發(fā)式的算法框架——蟻群算法,根據(jù)每段鏈路的實(shí)時(shí)可用帶寬確定服務(wù)器負(fù)載均衡的最佳策略。邰瀅瀅等[7]研究基于模糊綜合評(píng)判的負(fù)載均衡方法。該方法首先基于模糊數(shù)學(xué)理論,多參量分析服務(wù)器性能影響因素,構(gòu)建服務(wù)器評(píng)判集;其次計(jì)算資源權(quán)重向量,基于模糊綜合評(píng)判的基本原理,獲得資源權(quán)重向量到服務(wù)能力向量的映射矩陣;最后利用主因素型計(jì)算式進(jìn)行多參量綜合評(píng)判,通過分析資源權(quán)重大小實(shí)現(xiàn)負(fù)載均衡。

元模型由元數(shù)據(jù)組成,表示特定領(lǐng)域的模型。其具備優(yōu)秀的提取、轉(zhuǎn)換、合并、加載等數(shù)據(jù)處理能力。為此,本文充分考慮電能表數(shù)據(jù)采集終端各服務(wù)器的分布和功能情況,研究基于元模型的電能表數(shù)據(jù)采集終端負(fù)載自適應(yīng)均衡方法。本文方法能夠合理利用數(shù)據(jù)資源,有利于電網(wǎng)管理。

1 數(shù)據(jù)采集終端負(fù)載均衡

1.1 倉(cāng)庫(kù)管理元模型

在電能表數(shù)據(jù)采集終端中,基于元數(shù)據(jù)倉(cāng)庫(kù)設(shè)置的元模型如圖1所示。

圖1 基于元數(shù)據(jù)倉(cāng)庫(kù)設(shè)置的元模型

由圖1可知,采集終端的電能表數(shù)據(jù)作為模型元數(shù)據(jù),經(jīng)數(shù)據(jù)提取、轉(zhuǎn)化、加載處理后存儲(chǔ)至元數(shù)據(jù)倉(cāng)庫(kù)內(nèi)[8],以便用戶訪問。

1.2 自適應(yīng)負(fù)載均衡

為動(dòng)態(tài)平衡元數(shù)據(jù)倉(cāng)庫(kù)的訪問負(fù)載,本文利用基本負(fù)載均衡算法,在元數(shù)據(jù)負(fù)載大小未知條件下,分配元數(shù)據(jù)負(fù)載,并采用自適應(yīng)元數(shù)據(jù)服務(wù)負(fù)載均衡算法進(jìn)行分配后元數(shù)據(jù)的負(fù)載均衡處理。

1.2.1 基本的負(fù)載均衡算法

本文設(shè)si為S{s1,s2,…,sn}內(nèi)的服務(wù)器;h1:S→[0,1]表示服務(wù)器使用函數(shù);將si∈S映射至[0,1]環(huán)上的某點(diǎn);按照h2:X→[0,1]映射原則,求解X{x1,x2,…,xm}內(nèi)數(shù)據(jù)元素xj∈X的hash值;按照以下距離函數(shù),將xj配置給距離最小的服務(wù)器。

(1)

為了讓全部元數(shù)據(jù)的負(fù)載均衡,本文將權(quán)值wi、wj導(dǎo)入距離函數(shù)內(nèi),以提高負(fù)載均衡處理能力[9]?；镜呢?fù)載均衡算法求解能力和元數(shù)據(jù)負(fù)載正相關(guān)。

1.2.2 自適應(yīng)元數(shù)據(jù)服務(wù)負(fù)載均衡算法

自適應(yīng)元數(shù)據(jù)服務(wù)負(fù)載均衡算法可提高計(jì)算能力。負(fù)載均衡計(jì)算過程如下。

通過各時(shí)間段t2(t2

目錄子樹進(jìn)行遷移前需要求解元數(shù)據(jù)服務(wù)器負(fù)載量,從而根據(jù)估算指標(biāo)和負(fù)載量判斷遷移條件。估算指標(biāo)包括元數(shù)據(jù)熱度參數(shù)、等待隊(duì)列長(zhǎng)度、響應(yīng)時(shí)間參數(shù)。

訪問量與各元數(shù)據(jù)熱度成正比。元數(shù)據(jù)熱度影響祖先節(jié)點(diǎn)。各元數(shù)據(jù)均設(shè)置計(jì)數(shù)器。其記錄元數(shù)據(jù)操作命令、增加訪問次數(shù)以提升熱值,從而統(tǒng)計(jì)元數(shù)據(jù)熱度。具體的熱度計(jì)算過程如式(2)、式(3)所示。

Hnew=Hold×y(Δt)

(2)

式中:Hnew為更新后熱度;Hold為初始熱度;Δt為負(fù)載統(tǒng)計(jì)時(shí)間間隔;y為遞減函數(shù)。

Hancient_new=Hancient_old×y(Δt)

(3)

式中:Hancient_new、Hancient_old分別為祖先節(jié)點(diǎn)更新后熱度和初始熱度。

在不考慮y時(shí),文件熱度值為8。

在得到處理請(qǐng)求后,元數(shù)據(jù)的目錄子樹熱度傳播如圖2所示。

圖2 元數(shù)據(jù)的目錄子樹熱度傳播圖

由圖2可知,熱度值與顏色深淺成正比。熱度值越高、顏色越深,則請(qǐng)求影響越低。

負(fù)載量ζ如式(4)所示。

ζ=H+W×L

(4)

式中:W為加權(quán)系數(shù);H為熱度;L為待處理元素請(qǐng)求隊(duì)列長(zhǎng)度。

為提高服務(wù)器處理元數(shù)據(jù)請(qǐng)求能力,決策元數(shù)據(jù)服務(wù)器選取負(fù)載低服務(wù)器。該服務(wù)器采集的全部元數(shù)據(jù)為Pk=[p1,p2,…,pn]。全部服務(wù)器的負(fù)載量為ζk=[ζ1,ζ2,…,ζn]。

(5)

式中:Ptotal為集群總性能值;n為節(jié)點(diǎn)間層次數(shù)。

(6)

式中:ζtotal為總負(fù)載量。

負(fù)載均衡目標(biāo)函數(shù)如式(7)所示。

(7)

式中:Pi為元素服務(wù)器目標(biāo)負(fù)載量。

現(xiàn)有負(fù)載ζi與ζtarget(i)之間的差距用Δζ描述。

Δζ=ζi-ζtarget(i)

(8)

元數(shù)據(jù)服務(wù)器負(fù)載值較低,用ζ<0描述,可接受其他遷移目錄子樹。元數(shù)據(jù)服務(wù)器負(fù)載值較高,用ζ>0描述,可尋找其他遷移目錄子樹。

為降低消耗,需要設(shè)置觸發(fā)機(jī)制。若|Δζ|>Δζthredhold,則觸發(fā)目錄子樹遷移。

目錄子樹遷移流程如下。

①采集負(fù)載數(shù)據(jù),遷移量和遷出子樹元數(shù)據(jù)通過決策元數(shù)據(jù)服務(wù)器實(shí)現(xiàn)匹配。

②按照遷移量情況,在服務(wù)器上運(yùn)行拆分子樹的程序。

③遷入子樹元數(shù)據(jù)服務(wù)器以接收經(jīng)拆分處理后的子樹遷移數(shù)據(jù)。

2 實(shí)例測(cè)試與分析

為驗(yàn)證本文方法的有效性,本文選取德力西電能表DDS606 10(40)A采集的5.8 GB數(shù)據(jù)作為測(cè)試數(shù)據(jù)。該電能表包括9臺(tái)客戶端機(jī)、1臺(tái)對(duì)象存儲(chǔ)設(shè)備(object-based storage device,OSD)服務(wù)器、4臺(tái)元數(shù)據(jù)服務(wù)器、1臺(tái)Monitor服務(wù)器。1臺(tái)OSD服務(wù)器負(fù)責(zé)文件數(shù)據(jù)存儲(chǔ)。4臺(tái)元數(shù)據(jù)服務(wù)器負(fù)責(zé)電能表數(shù)據(jù)采集終端的元數(shù)據(jù)合并管理工作,分別用MDS1、MDS2、MDS3、MDS4表示。1臺(tái)Monitor服務(wù)器負(fù)責(zé)檢測(cè)集群運(yùn)行工作。

試驗(yàn)軟硬件環(huán)境為服務(wù)器處理器Intel i5-2300,2.8 GHz,內(nèi)存8 GB;硬盤為西部數(shù)據(jù)1 TB;網(wǎng)絡(luò)為Realtek百兆網(wǎng)卡。本文使用Mininet仿真軟件搭建試驗(yàn)平臺(tái),并使用 Mininet內(nèi)的Iperf軟件生成不同數(shù)據(jù)負(fù)載,以注入自定義網(wǎng)絡(luò)拓?fù)渲?從而驗(yàn)證本文方法有效性。本文將服務(wù)器負(fù)載量、負(fù)載差異值、集群性能異構(gòu)程度、多維縮放(multiple dimensional scaling,MDS)吞吐量、中央處理器(central processing unit,CPU)占用率、心跳周期網(wǎng)絡(luò)作為試驗(yàn)性能評(píng)價(jià)指標(biāo)。

電能表數(shù)據(jù)采集過程如圖3所示。

圖3 電能表數(shù)據(jù)采集過程示意圖

數(shù)據(jù)采集的運(yùn)行時(shí)間為15 h,每間隔20 min 記錄1次各臺(tái)元數(shù)據(jù)服務(wù)器的負(fù)載情況。i臺(tái)服務(wù)器的負(fù)載Li為:

Li=0.6×δcpu(i)+0.4×δmemory(i)

(9)

式中:δmemory(i)為內(nèi)存使用率,%;δcpu(i)為CPU使用率,%。

應(yīng)用本文方法前后,MDS元數(shù)據(jù)服務(wù)器負(fù)載-時(shí)間的變化曲線如圖4所示。

圖4 MDS元數(shù)據(jù)服務(wù)器負(fù)載-時(shí)間的變化曲線

由圖4可知,在應(yīng)用本文方法前,各服務(wù)器負(fù)載量差異較大,總體硬件使用率不高。其中:MDS1性能較好,負(fù)載量最低;MDS4性能較差,負(fù)載量始終比較高。應(yīng)用本文方法后,各服務(wù)器負(fù)載量差異不大,整體趨勢(shì)大致相同。這說(shuō)明本文方法對(duì)異構(gòu)服務(wù)器處理能力強(qiáng),集群效果優(yōu)良。

本文將負(fù)載差異值Dtotal作為集群負(fù)載均衡程度的判斷指標(biāo)。Dtotal值越小,則元數(shù)據(jù)服務(wù)器集群的負(fù)載程度越好。

(10)

應(yīng)用本文方法前后,總體集群負(fù)載差異值對(duì)比曲線如圖5所示。

圖5 總體集群負(fù)載差異值對(duì)比曲線

由圖5可知,在15 h內(nèi),集群整體流量包含3個(gè)峰值。在應(yīng)用本文方法之前,當(dāng)訪問次數(shù)增加時(shí),負(fù)載平衡的程度也會(huì)增加。應(yīng)用本文方法后,收斂速度快,負(fù)載趨于穩(wěn)態(tài),波動(dòng)較小。經(jīng)計(jì)算:在應(yīng)用本文方法前,15 h的Dtotal值約為6.94;在應(yīng)用本文方法后,15 h的Dtotal值約為2.21。由此表明,本文方法的應(yīng)用提高了MDS集群的負(fù)載均衡程度。

若元數(shù)據(jù)服務(wù)器在短時(shí)間內(nèi)存在負(fù)載突變情況,則需要應(yīng)用本文方法進(jìn)行目錄子樹的遷移均衡負(fù)載。本文選取元數(shù)據(jù)服務(wù)器MDS1進(jìn)行200 s的元數(shù)據(jù)測(cè)試。測(cè)試過程中元數(shù)據(jù)請(qǐng)求發(fā)生2次急劇上升。本文分別對(duì)比應(yīng)用本文方法前后的MDS1負(fù)載的情況。

MDS1負(fù)載變化曲線如圖6所示。由圖6可知:在沒有應(yīng)用本文方法之前,MDS1反應(yīng)過于遲緩,不能實(shí)現(xiàn)元數(shù)據(jù)的高熱度轉(zhuǎn)移,直接影響處理用戶端請(qǐng)求的效率;在應(yīng)用本文方法后,通過目錄樹遷移有效均衡了元數(shù)據(jù)請(qǐng)求激增問題,降低了負(fù)載,具有較快的應(yīng)對(duì)速度。

圖6 MDS1負(fù)載變化曲線

為了驗(yàn)證本文方法的可行性,本文選取均方差值作為MDS集群性能異構(gòu)程度指標(biāo)。

(11)

在可行性測(cè)試中,為統(tǒng)計(jì)指標(biāo)的平均水平,本文每10 s記錄CPU占用率和心跳周期網(wǎng)絡(luò)的輸入/輸出(input/output,I/O)。為避免子樹遷移的影響,本文設(shè)置3臺(tái)大容量存儲(chǔ)裝置(mass storage device,MSD)。3臺(tái)MSD配置一樣。

應(yīng)用本文方法前后,MDS集群吞吐量、平均操作延時(shí)與SD的映射關(guān)系如表1所示。

表1 MDS集群吞吐量、平均操作延時(shí)與SD的映射關(guān)系

由表1可知,SD值越大,表示MDS集群異構(gòu)程度越高。在集群中,MSD配置一樣。在應(yīng)用本文方法之前,吞吐量隨差異程度的增加呈下降趨勢(shì);在應(yīng)用本文方法之后,吞吐量隨差異程度的增加幅度變化不大,趨于穩(wěn)定。在應(yīng)用本文方法之前,集群平均操作延時(shí)隨差異程度的增加呈上升趨勢(shì);在應(yīng)用本文方法之后,隨差異程度的增加,集群平均操作延時(shí)幅度趨于穩(wěn)定。由此說(shuō)明,本文方法可有效地均衡電能表數(shù)據(jù)采集終端負(fù)載、提高元數(shù)據(jù)處理能力。

本文將MDS吞吐量、CPU占用率、心跳周期網(wǎng)絡(luò)I/O作為性能損耗評(píng)價(jià)指標(biāo)。應(yīng)用本文方法前后,性能損耗對(duì)比情況如表2所示。

表2 性能損耗對(duì)比情況

由表2可知,系統(tǒng)的各項(xiàng)性能在應(yīng)用本文方法后都得到顯著提升。其中:指示目標(biāo)MDS吞吐量降低317.63 s;生成文件MDS吞吐量降低81.70 s;CPU占用率降低6%;心跳周期網(wǎng)絡(luò)I/O速度提高40 Byte。這說(shuō)明本文方法可降低系統(tǒng)開銷,且負(fù)載均衡效果較好。

3 結(jié)論

元數(shù)據(jù)訪問性能的高低,直接影響電能表數(shù)據(jù)采集終端的整體性能。本文針對(duì)電能表數(shù)據(jù)采集終端負(fù)載不均衡的問題,研究基于元模型的電能表數(shù)據(jù)采集終端負(fù)載自適應(yīng)均衡方法。當(dāng)元數(shù)據(jù)請(qǐng)求數(shù)量急劇增加時(shí),啟動(dòng)自適應(yīng)機(jī)制來(lái)降低負(fù)載,使負(fù)載達(dá)到平衡。試驗(yàn)結(jié)果表明,應(yīng)用本文方法后,異構(gòu)服務(wù)器具有較強(qiáng)的處理能力。其提高了元數(shù)據(jù)處理能力,表現(xiàn)出良好的負(fù)載均衡效果。

本文方法在一定程度上提高了電能表數(shù)據(jù)采集終端的整體性能,但仍存在不足。后續(xù)研究可增加指標(biāo)選取數(shù)量,多角度分析本文方法性能;添加更加適宜的參數(shù)驗(yàn)證本文方法的應(yīng)用效果;加大對(duì)電能表數(shù)據(jù)采集終端服務(wù)器負(fù)載傾斜問題的研究力度,擴(kuò)展本文方法的應(yīng)用范圍。