多核環(huán)境下內(nèi)存數(shù)據(jù)庫(kù)并發(fā)調(diào)度技術(shù)優(yōu)化研究

游 琪

(廣東科學(xué)技術(shù)職業(yè)學(xué)院，廣東 珠海 519090)

多核環(huán)境下內(nèi)存數(shù)據(jù)庫(kù)并發(fā)調(diào)度技術(shù)優(yōu)化研究

游 琪

(廣東科學(xué)技術(shù)職業(yè)學(xué)院，廣東 珠海 519090)

對(duì)多核環(huán)境下內(nèi)存數(shù)據(jù)進(jìn)行并發(fā)調(diào)度，可以減少計(jì)算機(jī)宕機(jī)次數(shù)和數(shù)據(jù)切換時(shí)時(shí)間，提高數(shù)據(jù)并發(fā)調(diào)度精度，增加數(shù)據(jù)操作平穩(wěn)性;當(dāng)前的內(nèi)存數(shù)據(jù)并發(fā)調(diào)度方法是利用PrebuiltTrigger對(duì)內(nèi)存數(shù)據(jù)進(jìn)行并發(fā)調(diào)度，在調(diào)度過(guò)程中，沒(méi)有設(shè)定具體的內(nèi)存數(shù)據(jù)調(diào)度目標(biāo)，導(dǎo)致內(nèi)存數(shù)據(jù)庫(kù)中的數(shù)據(jù)因此錯(cuò)亂無(wú)序，存在數(shù)據(jù)并發(fā)調(diào)度精度低的問(wèn)題;為此，提出一種基于Linux的多核環(huán)境下內(nèi)存數(shù)據(jù)并發(fā)調(diào)度優(yōu)化方法;該方法首先采用IACT算法對(duì)影響調(diào)度進(jìn)行的數(shù)據(jù)和內(nèi)存數(shù)據(jù)庫(kù)中相似或重復(fù)數(shù)據(jù)進(jìn)行清洗，然后以清洗的數(shù)據(jù)為基礎(chǔ)，利用啟發(fā)式算法對(duì)其進(jìn)行數(shù)據(jù)特征選取，依據(jù)多屬性決策理論對(duì)內(nèi)存數(shù)據(jù)并發(fā)調(diào)度的最優(yōu)路徑屬性權(quán)重集合進(jìn)行計(jì)算，以其結(jié)果為依據(jù)，計(jì)算調(diào)度最優(yōu)路徑的偏差值，最后利用最小偏差值，建立調(diào)度最優(yōu)路徑線性規(guī)劃模型，對(duì)每條調(diào)度路徑的綜合決策屬性值進(jìn)行排序，由此得到調(diào)度的最優(yōu)路徑，完成對(duì)多核環(huán)境下內(nèi)存數(shù)據(jù)的并發(fā)調(diào)度;實(shí)驗(yàn)結(jié)果證明，所提方法可以對(duì)多核環(huán)境下內(nèi)存數(shù)據(jù)進(jìn)行高效率地并發(fā)調(diào)度，提高了數(shù)據(jù)調(diào)度精度，增加了內(nèi)存數(shù)據(jù)的可循環(huán)利用性，為低開(kāi)銷(xiāo)的內(nèi)存數(shù)據(jù)調(diào)度提供了支撐。

多核環(huán)境；內(nèi)存數(shù)據(jù)庫(kù)；并發(fā)調(diào)度；技術(shù)優(yōu)化

0 引言

當(dāng)前，隨著無(wú)線網(wǎng)絡(luò)和科學(xué)技術(shù)的不斷發(fā)展，多核環(huán)境下的網(wǎng)絡(luò)內(nèi)存數(shù)據(jù)大范圍的應(yīng)用于企業(yè)發(fā)展、教育教學(xué)、政府辦公、體育競(jìng)賽、醫(yī)療服務(wù)、電網(wǎng)電信、娛樂(lè)餐飲等多個(gè)領(lǐng)域[1]，在各個(gè)領(lǐng)域的迅速發(fā)展中起不可缺失的作用。多核環(huán)境下內(nèi)存數(shù)據(jù)的并發(fā)調(diào)度不僅可以增加內(nèi)存數(shù)據(jù)庫(kù)的使用率，而且還可以提高無(wú)線網(wǎng)絡(luò)的整體性能和網(wǎng)絡(luò)使用壽命。因此，多核環(huán)境下內(nèi)存數(shù)據(jù)并發(fā)調(diào)度受到了人們的廣泛關(guān)注和高度重視[2-3]。由于多核環(huán)境下內(nèi)存數(shù)據(jù)具有靈活性、高效性、可調(diào)節(jié)性等特點(diǎn)，所以需要對(duì)其進(jìn)行調(diào)度[4]。多數(shù)內(nèi)存數(shù)據(jù)調(diào)度方法在進(jìn)行內(nèi)存數(shù)據(jù)調(diào)度時(shí)，無(wú)法對(duì)其進(jìn)行高兼容性、高精度，低誤差率地調(diào)度，導(dǎo)致多核環(huán)境下內(nèi)存數(shù)據(jù)調(diào)度時(shí)，往往會(huì)出現(xiàn)數(shù)據(jù)丟失、數(shù)據(jù)調(diào)度路徑不明確、調(diào)度用時(shí)較長(zhǎng)等問(wèn)題[5]。在該種情況下，如何提高內(nèi)存數(shù)據(jù)的查準(zhǔn)率與查全率，減少調(diào)度時(shí)所用時(shí)間和調(diào)度精度偏差成為了亟待解決的問(wèn)題。而基于Linux的多核環(huán)境下內(nèi)存數(shù)據(jù)并發(fā)調(diào)度優(yōu)化方法，可以對(duì)內(nèi)存數(shù)據(jù)進(jìn)行全方位、立體化地并發(fā)調(diào)度，是解決上述問(wèn)題的有效途徑[6]，受到了數(shù)據(jù)調(diào)度研究人員的高度重視和頻繁研究，成為了多核環(huán)境下內(nèi)存數(shù)據(jù)并發(fā)調(diào)度研究專(zhuān)家學(xué)者的必修課題，與此同時(shí)也出現(xiàn)很多良好的成果[7]。

文獻(xiàn)[8]提出了一種基于MySQL的多核環(huán)境下內(nèi)存數(shù)據(jù)并發(fā)調(diào)度方法。該方法為了保證數(shù)據(jù)并發(fā)調(diào)度的精度，利用MySQL并發(fā)控制機(jī)保障內(nèi)存數(shù)據(jù)調(diào)度的可行性，然后采用LnnoDB引擎激活內(nèi)存數(shù)據(jù)并發(fā)調(diào)度器，最后依據(jù)并發(fā)調(diào)度器完成對(duì)內(nèi)存數(shù)據(jù)的并發(fā)調(diào)度。該方法在對(duì)內(nèi)存數(shù)據(jù)的并發(fā)調(diào)度實(shí)現(xiàn)中較為簡(jiǎn)單，但是存在調(diào)度時(shí)間較長(zhǎng)的問(wèn)題。文獻(xiàn)[9]提出了一種基于SDN的多核環(huán)境下內(nèi)存數(shù)據(jù)并發(fā)調(diào)度方法。該方法首先通過(guò)最優(yōu)調(diào)度路徑監(jiān)測(cè)模塊，對(duì)調(diào)度的最優(yōu)路徑進(jìn)行實(shí)時(shí)監(jiān)測(cè)，然后利用SDN技術(shù)根據(jù)調(diào)度緩存數(shù)據(jù)所占的比率和調(diào)度路徑流量對(duì)內(nèi)存數(shù)據(jù)庫(kù)傳輸?shù)臄?shù)據(jù)進(jìn)行調(diào)度，由此完成對(duì)多核環(huán)境下內(nèi)存數(shù)據(jù)的并發(fā)調(diào)度。該方法雖然用時(shí)較短，但是存在內(nèi)存數(shù)據(jù)并發(fā)調(diào)度精度低的問(wèn)題。文獻(xiàn)[10]提出了一種基于網(wǎng)絡(luò)編碼的多核環(huán)境下內(nèi)存數(shù)據(jù)并發(fā)調(diào)度方法。該方法先利用網(wǎng)絡(luò)編碼將內(nèi)存數(shù)據(jù)庫(kù)中的數(shù)據(jù)節(jié)點(diǎn)進(jìn)行排序，然后采用網(wǎng)絡(luò)編碼中的P2P流媒體推拉，與數(shù)據(jù)并發(fā)調(diào)度器進(jìn)行連接，并將其轉(zhuǎn)向數(shù)據(jù)庫(kù)調(diào)度節(jié)點(diǎn)，最后依據(jù)customr2完成對(duì)多核環(huán)境下內(nèi)存數(shù)據(jù)的并發(fā)調(diào)度。該方法雖然調(diào)度效率較高，但是在進(jìn)行并發(fā)調(diào)度時(shí)數(shù)據(jù)庫(kù)數(shù)據(jù)丟包率較大。

針對(duì)上述產(chǎn)生的問(wèn)題，提出一種基于Linux的多核環(huán)境下內(nèi)存數(shù)據(jù)并發(fā)調(diào)度優(yōu)化方法。該方法首先利用IACT算法對(duì)影響并發(fā)調(diào)度的內(nèi)存數(shù)據(jù)，和內(nèi)存數(shù)據(jù)庫(kù)中的相似或重復(fù)的數(shù)據(jù)進(jìn)行清洗，然后以清洗的數(shù)據(jù)為基礎(chǔ)，采用啟發(fā)式算法進(jìn)行數(shù)據(jù)特征選取，最后依據(jù)多屬性決策理論確定數(shù)據(jù)調(diào)度的最優(yōu)路徑，完成基于Linux的多核環(huán)境下內(nèi)存數(shù)據(jù)并發(fā)調(diào)度。

1 基于Linux的內(nèi)存數(shù)據(jù)并發(fā)調(diào)度優(yōu)化方法

1.1 內(nèi)存數(shù)據(jù)的清洗與特征選取

為了保障多核環(huán)境下內(nèi)存數(shù)據(jù)的并發(fā)調(diào)度速度更快，采用IACT算法對(duì)內(nèi)存數(shù)據(jù)進(jìn)行清洗，清洗過(guò)程中首先對(duì)影響并發(fā)調(diào)度的數(shù)據(jù)進(jìn)行清洗，然后清洗內(nèi)存數(shù)據(jù)庫(kù)中的相似或重復(fù)的數(shù)據(jù)，由此完成對(duì)內(nèi)存數(shù)據(jù)庫(kù)中數(shù)據(jù)的清洗。

假設(shè)從內(nèi)存數(shù)據(jù)庫(kù)屬性中清洗出一部分對(duì)數(shù)據(jù)的并發(fā)調(diào)度有影響的數(shù)據(jù)屬性，達(dá)到改善數(shù)據(jù)庫(kù)并發(fā)調(diào)度質(zhì)量的目的。則清洗公式為：

SGF(z,x,c)=A(c/x)-A{c/x∪z}

(1)

其中:SGF(z,x,c)代表清洗值，A代表數(shù)據(jù)庫(kù)清洗參數(shù)，z代表數(shù)據(jù)庫(kù)中某一數(shù)據(jù)屬性值，x代表數(shù)據(jù)庫(kù)屬性集，c代表數(shù)據(jù)庫(kù)清洗決策屬性值。在數(shù)據(jù)清洗過(guò)程中，若SGF(z,x,c)值越大，則數(shù)據(jù)屬性z對(duì)數(shù)據(jù)庫(kù)清洗決策屬性c就越重要。相反，則數(shù)據(jù)屬性z對(duì)數(shù)據(jù)庫(kù)清洗決策屬性c就越就越不重要。此時(shí)設(shè)定閾值f，當(dāng)SGF(z,x,c)≥f時(shí)，保留數(shù)據(jù)屬性z，當(dāng)SGF(z,x,c)

以上述說(shuō)明為依據(jù)，對(duì)內(nèi)存數(shù)據(jù)庫(kù)中的相似或重復(fù)數(shù)據(jù)進(jìn)行清洗，清洗過(guò)程中，兩個(gè)或幾個(gè)數(shù)據(jù)是否重復(fù)或相似，需要通過(guò)數(shù)據(jù)屬性匹配決定，利用Smith-Waterman算法對(duì)內(nèi)存數(shù)據(jù)庫(kù)中數(shù)據(jù)的屬性相似度進(jìn)行匹配，匹配公式為：

(2)

其中:T代表內(nèi)存數(shù)據(jù)庫(kù)中數(shù)據(jù)的屬性相似度匹配值，i代表內(nèi)存數(shù)據(jù)庫(kù)中數(shù)據(jù)屬性個(gè)數(shù)。

由此設(shè)定控制內(nèi)存數(shù)據(jù)庫(kù)中數(shù)據(jù)相似率和重復(fù)率的閾值，該閾值計(jì)算公式為：

(3)

其中:W代表控制內(nèi)存數(shù)據(jù)庫(kù)中數(shù)據(jù)相似率和重復(fù)率的閾值，δ代表內(nèi)存數(shù)據(jù)清洗閾值。實(shí)驗(yàn)證明，該閾值范圍在0.64～0.65時(shí)，對(duì)內(nèi)存數(shù)據(jù)庫(kù)中的相似數(shù)據(jù)和重復(fù)數(shù)據(jù)清洗的效率最高。

利用相似數(shù)據(jù)和重復(fù)數(shù)據(jù)清洗效率的指標(biāo)來(lái)衡量相似數(shù)據(jù)和重復(fù)數(shù)據(jù)的清洗效率，該指標(biāo)包括數(shù)據(jù)召回率和數(shù)據(jù)誤識(shí)別率。其中，將數(shù)據(jù)召回率定義為：內(nèi)存數(shù)據(jù)庫(kù)中重復(fù)數(shù)據(jù)和相似數(shù)據(jù)中被清洗的記錄，占內(nèi)存數(shù)據(jù)庫(kù)中真正含有重復(fù)數(shù)據(jù)和相似數(shù)據(jù)記錄的百分比，以下敘述將內(nèi)存數(shù)據(jù)中重復(fù)數(shù)據(jù)和相似數(shù)據(jù)統(tǒng)稱為重復(fù)數(shù)據(jù)。則召回率表達(dá)式為：

(4)

將數(shù)據(jù)誤識(shí)別率定義為內(nèi)存數(shù)據(jù)庫(kù)中被錯(cuò)誤清洗的數(shù)據(jù)占所有重復(fù)數(shù)據(jù)記錄的百分比，表達(dá)式為：

(5)

假設(shè)，數(shù)據(jù)召回率大于數(shù)據(jù)誤識(shí)別率，則說(shuō)明對(duì)內(nèi)存數(shù)據(jù)庫(kù)中的相似數(shù)據(jù)和重復(fù)數(shù)據(jù)清洗的足夠徹底，假設(shè)，數(shù)據(jù)召回率小于數(shù)據(jù)誤識(shí)別率，則說(shuō)明對(duì)內(nèi)存數(shù)據(jù)庫(kù)中的相似數(shù)據(jù)和重復(fù)數(shù)據(jù)清洗的不夠徹底，此時(shí)需要重復(fù)數(shù)據(jù)清理參數(shù)α對(duì)數(shù)據(jù)誤識(shí)別率進(jìn)行控制，其表達(dá)公式為：

(6)

其中:Q代表重復(fù)數(shù)據(jù)清理參數(shù)α對(duì)數(shù)據(jù)誤識(shí)別率控制值，綜上所述，完成對(duì)內(nèi)存數(shù)據(jù)的清洗。將清洗過(guò)的內(nèi)存數(shù)據(jù)利用啟發(fā)式算法進(jìn)行數(shù)據(jù)特征選取，具體過(guò)程如下所示。

假設(shè)，G代表內(nèi)存數(shù)據(jù)特征集，其中是存放數(shù)據(jù)特征子集的，U和O分別代表內(nèi)存數(shù)據(jù)庫(kù)中數(shù)據(jù)特征條件屬性集和數(shù)據(jù)特征決策屬性集，V代表內(nèi)存數(shù)據(jù)庫(kù)中即將進(jìn)行特征選取的數(shù)據(jù)集，B代表內(nèi)存數(shù)據(jù)庫(kù)中數(shù)據(jù)特征不相容記錄集，ξ代表數(shù)據(jù)特征不相容記錄閾值。對(duì)以上所給數(shù)據(jù)進(jìn)行以下操作。

1)對(duì)內(nèi)存數(shù)據(jù)庫(kù)中數(shù)據(jù)特征不相容記錄集B進(jìn)行計(jì)算，將記錄集中大于等于ξ的記錄加至POSU(O)中，POSU(O)代表內(nèi)存數(shù)據(jù)庫(kù)中數(shù)據(jù)特征決策屬性集對(duì)數(shù)據(jù)特征條件屬性集的影響值；

B=V-POSU(O)

(7)

2)若POSG(O)=POSU(O)，則G中的數(shù)據(jù)特征就是內(nèi)存數(shù)據(jù)庫(kù)中將要選取的數(shù)據(jù)特征，數(shù)據(jù)特征選取參數(shù)λ可以控制POSG(O)和POSU(O)的相等，由此給出關(guān)于λ的公式：

(8)

其中:M代表使上述等式成立的決策值，由λ的控制，使POSG(O)=POSU(O)，G中的數(shù)據(jù)特征就是將要選取的數(shù)據(jù)特征，完成對(duì)內(nèi)存數(shù)據(jù)的特征選取，當(dāng)前的調(diào)度方法對(duì)數(shù)據(jù)特征進(jìn)行選取時(shí)，沒(méi)有設(shè)定決策值，導(dǎo)致數(shù)據(jù)特征選取不明確，此步驟是對(duì)當(dāng)前數(shù)據(jù)調(diào)度中數(shù)據(jù)特征選取進(jìn)行了優(yōu)化。

1.2 內(nèi)存數(shù)據(jù)并發(fā)調(diào)度最優(yōu)路徑

利用多屬性決策理論對(duì)內(nèi)存數(shù)據(jù)的并發(fā)調(diào)度最佳路徑進(jìn)行選擇，過(guò)程中首先對(duì)內(nèi)存數(shù)據(jù)并發(fā)調(diào)度的最優(yōu)路徑屬性權(quán)重信息集合進(jìn)行計(jì)算，以計(jì)算結(jié)果為依據(jù)，計(jì)算數(shù)據(jù)調(diào)度最優(yōu)路徑的偏差值，然后利用最小偏差值，建立數(shù)據(jù)調(diào)度最優(yōu)路徑線性規(guī)劃模型，最后對(duì)每條數(shù)據(jù)調(diào)度路徑的綜合決策屬性值進(jìn)行排序，得到內(nèi)存數(shù)據(jù)調(diào)度的最佳路徑，完成多核環(huán)境下內(nèi)存數(shù)據(jù)的并發(fā)調(diào)度。

假設(shè)內(nèi)存數(shù)據(jù)并發(fā)調(diào)度的路徑有j條，將2.1中數(shù)據(jù)特征相似或相同的數(shù)據(jù)進(jìn)行合并，本文不對(duì)特征相似數(shù)據(jù)的合并進(jìn)行研究。為了使不同的特征數(shù)據(jù)類(lèi)在進(jìn)行數(shù)據(jù)并發(fā)調(diào)度時(shí)，并發(fā)調(diào)度路徑都能達(dá)到最優(yōu)，令φ代表內(nèi)存數(shù)據(jù)并發(fā)調(diào)度的最優(yōu)路徑屬性權(quán)重信息集合，則：

(9)

其中:k代表內(nèi)存數(shù)據(jù)庫(kù)中特征相似或相同的數(shù)據(jù)進(jìn)行合并的個(gè)數(shù)，t代表數(shù)據(jù)調(diào)度最佳路徑的系數(shù)，e代表內(nèi)存數(shù)據(jù)并發(fā)調(diào)度中一個(gè)參數(shù)，實(shí)驗(yàn)證明，此參數(shù)取值在0.04～0.05間，數(shù)據(jù)調(diào)度誤差率最小。由內(nèi)存數(shù)據(jù)并發(fā)調(diào)度最優(yōu)路徑屬性權(quán)重信息集合φ為依據(jù)，計(jì)算每個(gè)相同特征數(shù)據(jù)類(lèi)的并發(fā)調(diào)度最優(yōu)路徑偏差值：

φ

(10)

其中：R代表相同特征數(shù)據(jù)類(lèi)的并發(fā)調(diào)度路徑偏差值，將內(nèi)存數(shù)據(jù)并發(fā)調(diào)度最優(yōu)路徑偏差值降到最小，建立并發(fā)調(diào)度最優(yōu)路徑線性規(guī)劃模型：

(11)

其中:H代表內(nèi)存數(shù)據(jù)調(diào)度最優(yōu)路徑線性規(guī)劃模型，l代表內(nèi)存數(shù)據(jù)庫(kù)并發(fā)調(diào)度最優(yōu)路徑偏差值降到最小的計(jì)算次數(shù)，利用系數(shù)法將此模型簡(jiǎn)化為非線性最優(yōu)路徑規(guī)劃模型，且該模型有最優(yōu)解，也就是內(nèi)存數(shù)據(jù)并發(fā)調(diào)度的最優(yōu)路徑。假設(shè)其最優(yōu)解的屬性權(quán)重值為(s1,s2,…,sn)，根據(jù)內(nèi)存數(shù)據(jù)庫(kù)中數(shù)據(jù)本身的屬性權(quán)重和相似特征數(shù)據(jù)類(lèi)屬性權(quán)重，對(duì)于內(nèi)存數(shù)據(jù)并發(fā)調(diào)度路徑的認(rèn)識(shí)值，利用平均算子建立每條內(nèi)存數(shù)據(jù)并發(fā)調(diào)度路徑的屬性值。

(12)

其中:η代表利用平均算子建立每條數(shù)據(jù)調(diào)度路徑的屬性值，n代表數(shù)據(jù)并發(fā)調(diào)度最優(yōu)路徑控制閾值，將權(quán)重值(s1,s2,…,sn)代入至上式進(jìn)行迭代計(jì)算，可獲得每條數(shù)據(jù)調(diào)度路徑的綜合決策屬性值，對(duì)這些綜合決策屬性值進(jìn)行排序便可以得到內(nèi)存數(shù)據(jù)并發(fā)調(diào)度的最優(yōu)路徑。綜2.1和2.2所述，完成了多核環(huán)境下內(nèi)存數(shù)據(jù)的并發(fā)調(diào)度。

2 仿真實(shí)驗(yàn)結(jié)果與分析

為了證明基于Linux的多核環(huán)境下內(nèi)存數(shù)據(jù)并發(fā)調(diào)度方法的整體有效性，需要進(jìn)行一次仿真實(shí)驗(yàn)。在MATLAB的環(huán)境下搭建內(nèi)存數(shù)據(jù)并發(fā)調(diào)度實(shí)驗(yàn)仿真平臺(tái)。實(shí)驗(yàn)數(shù)據(jù)取自于網(wǎng)絡(luò)數(shù)據(jù)調(diào)度研究所的10臺(tái)計(jì)算機(jī)，利用本文所提方法對(duì)10臺(tái)計(jì)算機(jī)中的內(nèi)存數(shù)據(jù)進(jìn)行并發(fā)調(diào)度，由此觀察基于Linux的多核環(huán)境下內(nèi)存數(shù)據(jù)并發(fā)調(diào)度方法的整體性能。表1為文獻(xiàn)[8]所提方法、文獻(xiàn)[9]所提方法和文獻(xiàn)[10]所提方法與本文所提方法，在數(shù)據(jù)量(萬(wàn)個(gè))相同時(shí)，內(nèi)存數(shù)據(jù)庫(kù)中的數(shù)據(jù)清洗時(shí)間(s)的對(duì)比。

表1 不同方法下數(shù)據(jù)清洗時(shí)間對(duì)比

分析表1可知，文獻(xiàn)[8]、文獻(xiàn)[9]和文獻(xiàn)[10]與本文所提方法在數(shù)據(jù)清洗所占時(shí)間上差距很大，在相同的數(shù)據(jù)下，本文所提方法數(shù)據(jù)清洗時(shí)間明顯低于文獻(xiàn)所提方法，這種主要是因?yàn)楸疚姆椒ㄔ谶M(jìn)行數(shù)據(jù)清洗時(shí)，為了使內(nèi)存數(shù)據(jù)清洗時(shí)間盡量減少，采用IACT算法對(duì)內(nèi)存數(shù)據(jù)進(jìn)行清洗，清洗過(guò)程中首先對(duì)影響并發(fā)調(diào)度的數(shù)據(jù)進(jìn)行清洗，然后對(duì)內(nèi)存數(shù)據(jù)庫(kù)中的相似或重復(fù)的數(shù)據(jù)進(jìn)行清洗，所以從根本上大大減少了數(shù)據(jù)清洗時(shí)間，證明了本文所提方法的有效性。表2是利用本文方法對(duì)內(nèi)存數(shù)據(jù)進(jìn)行特征選取時(shí)，數(shù)據(jù)量(萬(wàn)個(gè))與數(shù)據(jù)特征選取時(shí)間(s)的關(guān)系描述。

表2 數(shù)據(jù)量與數(shù)據(jù)特征選取時(shí)間關(guān)系

通過(guò)表2可知，數(shù)據(jù)特征選擇時(shí)間雖然隨著內(nèi)存數(shù)據(jù)量的增加也在不斷增加，但是數(shù)據(jù)量的提高并沒(méi)有對(duì)數(shù)據(jù)特征選擇時(shí)間產(chǎn)生很大影響，在數(shù)據(jù)量為1500萬(wàn)個(gè)時(shí)數(shù)據(jù)特征選擇時(shí)間開(kāi)始按照1 s的速度增加，說(shuō)明了利用啟發(fā)式算法進(jìn)行數(shù)據(jù)特征選取為數(shù)據(jù)并發(fā)調(diào)度節(jié)省了時(shí)間，證明了本文所提方法的整體有效性，可實(shí)踐性和兼容性較強(qiáng)。為了說(shuō)明本文所提方法的整體性能和可行性，δ代表數(shù)據(jù)清洗閾值，觀察該閾值取值范圍對(duì)數(shù)據(jù)清洗效率(%)的影響，圖1為數(shù)據(jù)清洗閾值對(duì)數(shù)據(jù)清洗效率(%)影響的描述。

圖1 數(shù)據(jù)清洗閾值對(duì)數(shù)據(jù)清洗效率的影響

由圖1可知，數(shù)據(jù)清洗閾值δ的取值范圍對(duì)數(shù)據(jù)清洗效率的高低有很大影響，數(shù)據(jù)清洗閾值在0.64-0.65時(shí)，數(shù)據(jù)清洗效率相對(duì)較高，相比之下，當(dāng)數(shù)據(jù)清洗參數(shù)為0.67時(shí)，雖然數(shù)據(jù)清洗量在2000萬(wàn)個(gè)之前數(shù)據(jù)清洗效率曲線呈上升趨勢(shì)，但數(shù)據(jù)清洗效率曲線后半段呈下滑趨勢(shì)，明顯低于閾值在0.64-0.65時(shí)的數(shù)據(jù)清洗效率，進(jìn)一步證明了本文所提方法的良好有效性。圖2是內(nèi)存數(shù)據(jù)并發(fā)調(diào)度參數(shù)e取值范圍對(duì)數(shù)據(jù)調(diào)度誤差率(%)的影響。

分析圖2可知，數(shù)據(jù)調(diào)度誤差率的曲線呈不斷波動(dòng)的趨勢(shì)，但當(dāng)內(nèi)存數(shù)據(jù)并發(fā)調(diào)度參數(shù)e取值范圍在0.04～0.05間時(shí)，數(shù)據(jù)調(diào)度誤差率明顯處于最低，因?yàn)樵跀?shù)據(jù)調(diào)度的最優(yōu)路徑選擇時(shí)，對(duì)內(nèi)存數(shù)據(jù)并發(fā)調(diào)度的最優(yōu)路徑屬性權(quán)重信息集合進(jìn)行了計(jì)算，而在計(jì)算中，調(diào)度參數(shù)e對(duì)調(diào)度的誤差率有很大

圖2 數(shù)據(jù)調(diào)度參數(shù)取值范圍對(duì)數(shù)據(jù)調(diào)度誤差率影響

影響，尤其在0.04-0.05時(shí)調(diào)度誤差率最小。證明了本文所提方法的可實(shí)現(xiàn)性。

仿真實(shí)驗(yàn)證明，所提方法可以高精度地對(duì)多核環(huán)境下內(nèi)存數(shù)據(jù)進(jìn)行并發(fā)調(diào)度，減少了數(shù)據(jù)的操作時(shí)間，增加了內(nèi)存數(shù)據(jù)庫(kù)的存儲(chǔ)容量，提高了數(shù)據(jù)運(yùn)行的安全性和兼容性，降低了內(nèi)存數(shù)據(jù)并發(fā)調(diào)度的誤差率，對(duì)該領(lǐng)域的研究發(fā)展有著重要的借鑒意義。

3 結(jié)束語(yǔ)

采用當(dāng)前方法對(duì)多核環(huán)境下內(nèi)存數(shù)據(jù)進(jìn)行并發(fā)調(diào)度時(shí)，無(wú)法對(duì)內(nèi)存數(shù)據(jù)進(jìn)行低誤差率、高效、全面、安全地調(diào)度，存在內(nèi)存數(shù)據(jù)調(diào)度時(shí)數(shù)據(jù)丟失嚴(yán)重，相似數(shù)據(jù)重復(fù)調(diào)動(dòng)，不同類(lèi)型數(shù)據(jù)調(diào)度精度低等問(wèn)題。本文提出一種基于Linux的多核環(huán)境下內(nèi)存數(shù)據(jù)并發(fā)調(diào)度方法。并通過(guò)仿真實(shí)驗(yàn)證明，所提方法可以高精度地對(duì)多核環(huán)境下內(nèi)存數(shù)據(jù)進(jìn)行并發(fā)調(diào)度，可實(shí)踐性較高，為該領(lǐng)域的專(zhuān)家學(xué)者在數(shù)據(jù)并發(fā)調(diào)度研究，提供了強(qiáng)有力的依據(jù)，為互聯(lián)網(wǎng)的后續(xù)發(fā)展做出了杰出的貢獻(xiàn)。

[1] 龐明寶,陳茂林,張 寧.基于MAST的智慧公交優(yōu)化調(diào)度研究[J].交通運(yùn)輸系統(tǒng)工程與信息,2017,17(1):143-149.

[2] 喬 梁,付正鑫,許 懿,等.梯級(jí)水電站聯(lián)合優(yōu)化調(diào)度系統(tǒng)的開(kāi)發(fā)與應(yīng)用[J].水利水電技術(shù),2014,45(10):97-100.

[3] 王志淋,李新明.跟蹤與數(shù)據(jù)中繼衛(wèi)星系統(tǒng)資源調(diào)度優(yōu)化問(wèn)題[J].中國(guó)空間科學(xué)技術(shù),2015,35(1):36-42.

[4] 徐迭石,劉勝輝,馬 超,等.大數(shù)據(jù)環(huán)境下MES作業(yè)計(jì)劃與調(diào)度能力云服務(wù)化研究[J].計(jì)算機(jī)工程與科學(xué),2016,38(4):624-633.

[5] 丁盛舟,李永光,杜 鵬,等.基于CIM/E的電網(wǎng)調(diào)度系統(tǒng)數(shù)據(jù)質(zhì)量?jī)?yōu)化方法[J].電力系統(tǒng)保護(hù)與控制,2016,44(3):129-134.

[6] 郝 亮,崔 剛,曲明成,等.成本約束下的云計(jì)算能耗資源調(diào)度優(yōu)化算法[J].高技術(shù)通訊,2014,24(5):458-464.

[7] 劉明周,張 璽,劉從虎,等.不確定環(huán)境下再制造加工車(chē)間生產(chǎn)調(diào)度優(yōu)化方法[J].機(jī)械工程學(xué)報(bào),2014,50(10):206-212.

[8] 余東平,張劍峰,王 聰,等.多路并發(fā)傳輸中數(shù)據(jù)調(diào)度算法的優(yōu)化[J].計(jì)算機(jī)應(yīng)用,2014,34(5):1227-1231.

[9] 徐奕奕,唐培和,陳 陽(yáng).一種基于節(jié)點(diǎn)博弈的分層式數(shù)據(jù)網(wǎng)格資源調(diào)度優(yōu)化策略[J].控制工程,2014,21(6):925-929.

[10] 戰(zhàn) 非.高校云數(shù)據(jù)中心基于蟻群算法的資源調(diào)度研究[J].電子設(shè)計(jì)工程,2016,24(16):18-21.

Multicore Environment Memory Database Technology on the Concurrent Scheduling Optimization

You Qi

(Guangdong Polytechnic of Science and Technology,Zhuhai 519090,China)

To multicore chips to concurrent scheduling, memory data can reduce the number of computer downtime and data when switching time, improve the accuracy of data concurrent scheduling, increase the smoothness of data operation. The current memory data concurrent scheduling method is to use PrebuiltTrigger to concurrent scheduling of data memory, in the process of scheduling, memory data scheduling goal is set, lead to memory data in the database disorder disorderly, therefore, has the problem of low data concurrent scheduling precision. For this, put forward a multi-core environment based on Linux memory data concurrent scheduling optimization method. This method firstly adopts IACT algorithm affect scheduling and memory of data in the database of similar or repeated data cleaning, and then on the basis of data cleaning, using heuristic algorithm for feature selection, data on the basis of the theory of multiple attribute decision making memory data concurrent scheduling of the optimal path through the calculation of the attribute weights are set based on the results, calculation of dispatching optimal path deviation, the use of the minimum deviation, scheduling the optimal path to the linear programming model is established, and the path to each of the scheduling of comprehensive decision attribute value to sort, the resulting scheduling optimal path, complete the memory data concurrent scheduling in multi-core environment. The experimental results show that the proposed method can memory multicore environment data efficiently concurrent scheduling, improved the precision of data scheduling, increased the memory data of recycled, provides low overhead of memory data scheduling with support.

multicore environment; memory database; concurrent scheduling;technology optimization

2017-04-12；

2017-04-27。

廣東省高職教育一類(lèi)品牌專(zhuān)業(yè)資助(2016gzpp007)。

游 琪(1981-)，女，江西九江人，碩士研究生，講師，主要從事計(jì)算機(jī)應(yīng)用、數(shù)據(jù)庫(kù)方向的研究。

1671-4598(2017)08-0234-03

10.16526/j.cnki.11-4762/tp.2017.08.060

TP393

A