基于訪問一體化算法的分布式實(shí)時(shí)數(shù)據(jù)庫研究

繆燕，王和平

（北京許繼電氣有限公司，北京 100000）

分布式數(shù)據(jù)庫由多個(gè)獨(dú)立的數(shù)據(jù)存儲(chǔ)單元相互連接而成，實(shí)時(shí)數(shù)據(jù)庫由實(shí)時(shí)數(shù)據(jù)模型構(gòu)成，因此分布式實(shí)時(shí)數(shù)據(jù)庫是在分布式數(shù)據(jù)庫的基礎(chǔ)上建立起來的，是一種用來解決數(shù)據(jù)模型與數(shù)據(jù)存儲(chǔ)單元之間關(guān)系的數(shù)據(jù)庫[1]。分布式實(shí)時(shí)數(shù)據(jù)庫在數(shù)據(jù)檢索、存儲(chǔ)、采集、訪問等方面具有實(shí)時(shí)、可靠、穩(wěn)定的特點(diǎn)，在對(duì)大容量數(shù)據(jù)進(jìn)行分類時(shí)，首先需要對(duì)分布式實(shí)時(shí)數(shù)據(jù)庫進(jìn)行分類。目前的分布式實(shí)時(shí)數(shù)據(jù)庫分類方法存在較多問題，如分類干擾多、數(shù)據(jù)處理不及時(shí)，以及在采用相關(guān)算法進(jìn)行分類時(shí)，計(jì)算過程復(fù)雜、分類精度低、分類耗時(shí)長(zhǎng)等。為了解決這些問題，國內(nèi)的專家學(xué)者對(duì)此展開了研究。有學(xué)者提出基于改進(jìn)粒子群算法的分布式數(shù)據(jù)庫分類方法，將分布式數(shù)據(jù)庫中的數(shù)據(jù)通過改進(jìn)粒子群算法進(jìn)行計(jì)算，計(jì)算完畢后將計(jì)算結(jié)果存儲(chǔ)在站點(diǎn)中，雖然該方法的計(jì)算過程較為簡(jiǎn)單，但分類精度較低[2]。還有學(xué)者提出基于ISE 算法的分布式實(shí)時(shí)數(shù)據(jù)庫分類方法，建立分布式數(shù)據(jù)庫的自然模型，以數(shù)據(jù)庫自然模型為基礎(chǔ)，采用ISE 算法進(jìn)行分類計(jì)算，該方法雖然能夠滿足分類精度的要求，但是整體計(jì)算過程耗時(shí)較長(zhǎng)[3]。

為了解決以上問題，該文對(duì)基于訪問一體化算法的分布式實(shí)時(shí)數(shù)據(jù)庫進(jìn)行了研究，最后通過實(shí)驗(yàn)研究驗(yàn)證了該文研究方法的性能。

1 基于訪問一體化算法的分布式實(shí)時(shí)數(shù)據(jù)庫模型

分布式實(shí)時(shí)數(shù)據(jù)庫中含有大量的實(shí)時(shí)數(shù)據(jù)存儲(chǔ)單元，這些實(shí)時(shí)數(shù)據(jù)存儲(chǔ)單元較為分散，在對(duì)分布式數(shù)據(jù)庫進(jìn)行分類時(shí)，會(huì)導(dǎo)致實(shí)時(shí)數(shù)據(jù)存儲(chǔ)單元的分散程度下降，進(jìn)而造成分布式實(shí)時(shí)數(shù)據(jù)庫分類耗時(shí)過長(zhǎng)[4-6]?；谶@樣的分類背景，在對(duì)分布式實(shí)時(shí)數(shù)據(jù)庫進(jìn)行分類前，需要建立分布式數(shù)據(jù)庫模型，以提升實(shí)時(shí)數(shù)據(jù)存儲(chǔ)單元的分散程度。

分布式數(shù)據(jù)庫模型需要按照分布式實(shí)時(shí)數(shù)據(jù)庫的分類原理來構(gòu)建，分類原理為將分布式實(shí)時(shí)數(shù)據(jù)庫中的工作站點(diǎn)設(shè)為變量，將實(shí)時(shí)數(shù)據(jù)存儲(chǔ)單元設(shè)定為潛在變量[7-10]。為了計(jì)算聯(lián)合分布概率，可以將數(shù)據(jù)庫的種類設(shè)定為N，工作站點(diǎn)的數(shù)量設(shè)定為K，分布式實(shí)時(shí)數(shù)據(jù)庫的分類參數(shù)設(shè)定為α，對(duì)于已知的分布式數(shù)據(jù)庫種類，可通過種類索引對(duì)其進(jìn)行標(biāo)記，而對(duì)于未知的數(shù)據(jù)庫種類，可將內(nèi)部的實(shí)時(shí)數(shù)據(jù)存儲(chǔ)單元設(shè)定為θic，采用訪問一體化算法計(jì)算聯(lián)合分布概率為：

式中，θiyj表示分布式數(shù)據(jù)庫與工作站點(diǎn)的數(shù)量總和；Cik表示實(shí)時(shí)存儲(chǔ)單元分配至工作站點(diǎn)的估計(jì)量，p、E分別表示數(shù)據(jù)庫訪問工作站點(diǎn)的參數(shù)和分量。實(shí)時(shí)數(shù)據(jù)存儲(chǔ)單元中的數(shù)據(jù)流通過數(shù)據(jù)庫中的調(diào)度節(jié)點(diǎn)進(jìn)行集合，在對(duì)數(shù)據(jù)流進(jìn)行分發(fā)的過程中，需要對(duì)實(shí)時(shí)數(shù)據(jù)庫中的數(shù)據(jù)主節(jié)點(diǎn)和備份節(jié)點(diǎn)進(jìn)行集中分類，通過分類結(jié)果獲得數(shù)據(jù)庫種類N的存儲(chǔ)單元分配估計(jì)量Cik，該值與數(shù)據(jù)流的調(diào)度集合值相同，根據(jù)式（1）可獲得分布式實(shí)時(shí)數(shù)據(jù)庫的模型為：

式中，yu表示分布式實(shí)時(shí)數(shù)據(jù)庫中數(shù)據(jù)流的調(diào)度數(shù)量。在實(shí)現(xiàn)分布式數(shù)據(jù)庫分類前，需將數(shù)據(jù)庫中的實(shí)時(shí)數(shù)據(jù)分配至工作站點(diǎn)的數(shù)據(jù)流中，圖1 為數(shù)據(jù)分配過程。

圖1 數(shù)據(jù)分配過程

實(shí)時(shí)數(shù)據(jù)分配至數(shù)據(jù)流的過程是實(shí)現(xiàn)分布式實(shí)時(shí)數(shù)據(jù)庫分類的基礎(chǔ)，在分配過程中，為實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)的同步與轉(zhuǎn)發(fā)，數(shù)據(jù)主節(jié)點(diǎn)將根據(jù)數(shù)據(jù)庫中元數(shù)據(jù)的種類進(jìn)行轉(zhuǎn)發(fā)，轉(zhuǎn)發(fā)完成后將數(shù)據(jù)存儲(chǔ)在備份節(jié)點(diǎn)中，這一轉(zhuǎn)發(fā)與存儲(chǔ)過程可實(shí)現(xiàn)未知數(shù)據(jù)庫的分類，并有效提升實(shí)時(shí)數(shù)據(jù)存儲(chǔ)單元的分散程度。分布式實(shí)時(shí)數(shù)據(jù)庫模型的建立，可縮短數(shù)據(jù)庫的分類耗時(shí)，根據(jù)以上建立分布式實(shí)時(shí)數(shù)據(jù)庫模型，結(jié)合數(shù)據(jù)流的轉(zhuǎn)發(fā)和存儲(chǔ)操作，可以實(shí)現(xiàn)分布式實(shí)時(shí)數(shù)據(jù)庫的分類，但當(dāng)數(shù)據(jù)庫種類數(shù)量過多時(shí)，由于未考慮潛在變量，因此需要對(duì)分布式實(shí)時(shí)數(shù)據(jù)庫進(jìn)行優(yōu)化[11-13]。

2 分布式實(shí)時(shí)數(shù)據(jù)庫優(yōu)化

基于以上建立的分布式實(shí)時(shí)數(shù)據(jù)庫模型中，設(shè)定分布式實(shí)時(shí)數(shù)據(jù)庫中數(shù)據(jù)流與數(shù)據(jù)主節(jié)點(diǎn)的訪問控制信息，根據(jù)訪問控制信息實(shí)現(xiàn)對(duì)分布式實(shí)時(shí)數(shù)據(jù)庫的優(yōu)化，在優(yōu)化之前，需要對(duì)分布式實(shí)時(shí)數(shù)據(jù)庫的分布進(jìn)行設(shè)計(jì)[14-16]。

設(shè)計(jì)過程中需要全面考慮數(shù)據(jù)庫中標(biāo)簽點(diǎn)的調(diào)度特性，根據(jù)標(biāo)簽點(diǎn)的調(diào)度特性來處理數(shù)據(jù)庫中的數(shù)據(jù)主節(jié)點(diǎn)和備份節(jié)點(diǎn)，以提升分布式實(shí)時(shí)數(shù)據(jù)庫的分類效率。

由于標(biāo)簽點(diǎn)中的實(shí)時(shí)數(shù)據(jù)分布在工作站點(diǎn)內(nèi)，而工作站點(diǎn)通常位于分布式實(shí)時(shí)數(shù)據(jù)庫的邊緣，因此為了使標(biāo)簽點(diǎn)更加集中，需要將數(shù)據(jù)庫中的數(shù)據(jù)分配至數(shù)據(jù)源文件中。隨著分布式數(shù)據(jù)庫中數(shù)據(jù)節(jié)點(diǎn)的增加，數(shù)據(jù)庫中的元數(shù)據(jù)將表現(xiàn)出較強(qiáng)的擴(kuò)容或縮容，并且元數(shù)據(jù)將呈現(xiàn)數(shù)據(jù)重分布的狀態(tài)，這時(shí)元數(shù)據(jù)的數(shù)據(jù)均衡性會(huì)有所增強(qiáng)。而標(biāo)簽點(diǎn)與元數(shù)據(jù)間存在一定的關(guān)聯(lián)性，需要通過增加數(shù)據(jù)節(jié)點(diǎn)的數(shù)量來控制元數(shù)據(jù)在數(shù)據(jù)庫中的分散程度。在極端情況下，數(shù)據(jù)節(jié)點(diǎn)中的所有實(shí)時(shí)數(shù)據(jù)將存放在備份名片中，并按照分布式實(shí)時(shí)數(shù)據(jù)庫的分類時(shí)間段來接入數(shù)據(jù)流，考慮到分布式實(shí)時(shí)數(shù)據(jù)庫的分類特點(diǎn)，元數(shù)據(jù)與數(shù)據(jù)節(jié)點(diǎn)的數(shù)量可能會(huì)發(fā)生波動(dòng)，從而導(dǎo)致數(shù)據(jù)庫中的數(shù)據(jù)文件發(fā)生分布不均衡現(xiàn)象，所以需要把多余的數(shù)據(jù)節(jié)點(diǎn)和元數(shù)據(jù)分配至分布映射表內(nèi)，這樣可以避免由于分類標(biāo)準(zhǔn)過高而出現(xiàn)標(biāo)簽節(jié)點(diǎn)分配失敗的現(xiàn)象。圖2 為分布式實(shí)時(shí)數(shù)據(jù)庫中的數(shù)據(jù)節(jié)點(diǎn)分布圖。

圖2 數(shù)據(jù)節(jié)點(diǎn)分布圖

根據(jù)該數(shù)據(jù)節(jié)點(diǎn)分布結(jié)果對(duì)分布式實(shí)時(shí)數(shù)據(jù)庫進(jìn)行優(yōu)化。

在實(shí)際的分布式實(shí)時(shí)數(shù)據(jù)庫中，元數(shù)據(jù)和數(shù)據(jù)節(jié)點(diǎn)在數(shù)據(jù)區(qū)間的分布函數(shù)未知，可通過伯努利分布確定元數(shù)據(jù)是否退化為實(shí)數(shù)，如果成功退化為實(shí)數(shù)，則設(shè)定數(shù)據(jù)節(jié)點(diǎn)的分布區(qū)間為表示分布式實(shí)時(shí)數(shù)據(jù)庫的分類參數(shù)，分布式實(shí)時(shí)數(shù)據(jù)庫的優(yōu)化表達(dá)式為：

式中，h表示分布式實(shí)時(shí)數(shù)據(jù)庫的分類數(shù)量，n表示分布式實(shí)時(shí)數(shù)據(jù)庫中數(shù)據(jù)節(jié)點(diǎn)數(shù)量，fxi表示分布式實(shí)時(shí)數(shù)據(jù)庫分類的目標(biāo)函數(shù)，i=1,2,3,…,n。設(shè)定分布式數(shù)據(jù)庫優(yōu)化信息，觀察數(shù)據(jù)庫中插值點(diǎn)的概率分布，確定數(shù)據(jù)庫分類原理的可行性。

根據(jù)以上建立的分布式實(shí)時(shí)數(shù)據(jù)庫模型、數(shù)據(jù)庫分布特點(diǎn)以及數(shù)據(jù)庫的優(yōu)化模型，實(shí)現(xiàn)對(duì)分布式實(shí)時(shí)數(shù)據(jù)庫的優(yōu)化。

3 實(shí)驗(yàn)研究

為了驗(yàn)證該文提出的基于訪問一體化算法的分布式實(shí)時(shí)數(shù)據(jù)庫研究方法的實(shí)際使用效果，將所提方法與文獻(xiàn)[2]基于改進(jìn)粒子群算法的數(shù)據(jù)庫研究方法進(jìn)行對(duì)比。實(shí)驗(yàn)過程中，采用仿真分布式數(shù)據(jù)庫與互聯(lián)網(wǎng)中的標(biāo)準(zhǔn)分布式數(shù)據(jù)庫進(jìn)行實(shí)驗(yàn)。

貢獻(xiàn)率將影響分布式實(shí)時(shí)數(shù)據(jù)庫的穩(wěn)定運(yùn)行，通常情況下，貢獻(xiàn)率越低，對(duì)分布式實(shí)時(shí)數(shù)據(jù)庫運(yùn)行穩(wěn)定性的影響越小，采用該文研究方法與基于改進(jìn)粒子群算法的分布式數(shù)據(jù)庫分類方法針對(duì)貢獻(xiàn)率進(jìn)行實(shí)驗(yàn)，統(tǒng)計(jì)分布式實(shí)時(shí)數(shù)據(jù)庫貢獻(xiàn)率的變化，貢獻(xiàn)率實(shí)驗(yàn)結(jié)果如圖3 所示。

圖3 貢獻(xiàn)率對(duì)比結(jié)果

實(shí)驗(yàn)結(jié)果中，包括實(shí)驗(yàn)時(shí)間和實(shí)驗(yàn)方法，實(shí)驗(yàn)時(shí)間的單位為ms，A 表示該文提出的研究方法，B 表示基于改進(jìn)粒子群算法的方法。一般情況下，當(dāng)分布式實(shí)時(shí)數(shù)據(jù)庫的貢獻(xiàn)率低于40%時(shí)，該方法對(duì)分布式實(shí)時(shí)數(shù)據(jù)庫的穩(wěn)定狀態(tài)不產(chǎn)生影響。由上述結(jié)果可知，該文提出的基于訪問一體化算法的分布式實(shí)時(shí)數(shù)據(jù)庫研究方法的貢獻(xiàn)率最高不超過36%，說明該文提出的基于訪問一體化算法的分布式實(shí)時(shí)數(shù)據(jù)庫研究方法不會(huì)對(duì)數(shù)據(jù)庫的穩(wěn)定運(yùn)行產(chǎn)生影響；而基于改進(jìn)粒子群算法的分布式數(shù)據(jù)庫分類方法的貢獻(xiàn)率遠(yuǎn)高于40%，說明基于改進(jìn)粒子群算法的分布式數(shù)據(jù)庫分類方法對(duì)數(shù)據(jù)庫的穩(wěn)定運(yùn)行影響較大。

不同方法的分類耗時(shí)也會(huì)影響分布式實(shí)時(shí)數(shù)據(jù)庫的分類效率，因此，需要對(duì)該文提出的研究方法與基于改進(jìn)粒子群算法的研究方法的分類耗時(shí)情況進(jìn)行對(duì)比。對(duì)比實(shí)驗(yàn)中，以8 次數(shù)據(jù)庫分布結(jié)果為1 組實(shí)驗(yàn)，共統(tǒng)計(jì)6 組實(shí)驗(yàn)結(jié)果，分類耗時(shí)實(shí)驗(yàn)結(jié)果如圖4 所示。

圖4 分類耗時(shí)情況實(shí)驗(yàn)結(jié)果

由實(shí)驗(yàn)結(jié)果可知，S 表示該文提出的基于訪問一體化算法的分布式實(shí)時(shí)數(shù)據(jù)庫研究方法，R 表示基于改進(jìn)粒子群算法的分布式數(shù)據(jù)庫分類方法。由實(shí)驗(yàn)數(shù)據(jù)可知，該文提出的基于訪問一體化算法的分布式實(shí)時(shí)數(shù)據(jù)庫研究方法的分類耗時(shí)最短，說明該文提出的研究方法更容易實(shí)現(xiàn)數(shù)據(jù)庫的分類，訪問一體化算法的采用降低了數(shù)據(jù)庫分類的復(fù)雜度，從而降低了分類耗時(shí)。而基于改進(jìn)粒子群算法的分布式數(shù)據(jù)庫的分類耗時(shí)較長(zhǎng)，不能提高分布式實(shí)時(shí)數(shù)據(jù)庫分類的效率。

基于以上得出的貢獻(xiàn)率以及分類耗時(shí)結(jié)果，對(duì)文中提出的研究方法與基于改進(jìn)粒子群算法的分布式數(shù)據(jù)庫分類方法的分類精度進(jìn)行對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)中，需要采集20 個(gè)分布式實(shí)時(shí)數(shù)據(jù)庫，采用兩種方法對(duì)采集的分布式實(shí)時(shí)數(shù)據(jù)庫進(jìn)行實(shí)驗(yàn)，分類精度對(duì)比結(jié)果如圖5 所示。

圖5 分類精度實(shí)驗(yàn)結(jié)果

由圖5 實(shí)驗(yàn)結(jié)果可知，該文提出的基于訪問一體化算法的分布式實(shí)時(shí)數(shù)據(jù)庫研究方法的分類精度較高，最高可達(dá)90%以上，而基于改進(jìn)粒子群算法的分布式數(shù)據(jù)庫分類方法的分類精度較低，最高只有70%，由此可知，該文方法的分類精度高于基于改進(jìn)粒子群算法的分布式數(shù)據(jù)庫分類方法。

綜上所述，以上的對(duì)比實(shí)驗(yàn)驗(yàn)證了該文提出的基于訪問一體化算法的分布式實(shí)時(shí)數(shù)據(jù)庫研究方法優(yōu)于基于改進(jìn)粒子群算法的分布式數(shù)據(jù)庫分類方法，該文方法的貢獻(xiàn)率較低，不會(huì)對(duì)數(shù)據(jù)庫的穩(wěn)定運(yùn)行產(chǎn)生影響，并且該文方法的分類耗時(shí)較短、分類精度較高。

4 結(jié)束語

為了解決傳統(tǒng)分布式數(shù)據(jù)庫分類方法出現(xiàn)的數(shù)據(jù)庫貢獻(xiàn)率較高、分類耗時(shí)較長(zhǎng)、分類精度較低等問題，該文提出基于訪問一體化算法的分布式實(shí)時(shí)數(shù)據(jù)庫研究方法。建立了分布式實(shí)時(shí)數(shù)據(jù)庫模型，并介紹了分布式實(shí)時(shí)數(shù)據(jù)庫分類原理以及數(shù)據(jù)流的分配過程，然后建立了優(yōu)化模型對(duì)分布式實(shí)時(shí)數(shù)據(jù)庫進(jìn)行優(yōu)化。最后通過對(duì)比實(shí)驗(yàn)，驗(yàn)證了該文提出的基于訪問一體化算法的分布式實(shí)時(shí)數(shù)據(jù)庫研究方法優(yōu)于傳統(tǒng)方法，該文提出的研究方法具有較低的貢獻(xiàn)率，且分類耗時(shí)較短、分類精度較高，實(shí)現(xiàn)分布式數(shù)據(jù)庫的分類較為容易，具有一定的應(yīng)用價(jià)值。