基于小波神經(jīng)網(wǎng)絡(luò)的大數(shù)據(jù)在線負(fù)載異常監(jiān)測技術(shù)研究

李星

摘 ?要： 為了提高大數(shù)據(jù)負(fù)載監(jiān)測的有效性和準(zhǔn)確性，采用神經(jīng)網(wǎng)絡(luò)算法對(duì)大數(shù)據(jù)負(fù)載進(jìn)行監(jiān)測。根據(jù)相鄰時(shí)間段的負(fù)載數(shù)量變化建立負(fù)載預(yù)測模型，結(jié)合負(fù)載變化情況判定當(dāng)前負(fù)載狀態(tài)。對(duì)負(fù)載變化明顯的時(shí)間段，采用神經(jīng)網(wǎng)絡(luò)算法對(duì)負(fù)載情況進(jìn)行正向和反向運(yùn)算。根據(jù)得到的結(jié)果與閾值相比較，超出閾值的負(fù)載判定為異常負(fù)載，將其從大數(shù)據(jù)平臺(tái)剔除，確保大數(shù)據(jù)平臺(tái)在線負(fù)載連接的真實(shí)性和有效性。仿真結(jié)果顯示，基于神經(jīng)網(wǎng)絡(luò)的大數(shù)據(jù)負(fù)載方法在準(zhǔn)確性和運(yùn)行效率上均表現(xiàn)良好。

關(guān)鍵詞： 大數(shù)據(jù); 負(fù)載監(jiān)測; 神經(jīng)網(wǎng)絡(luò); 負(fù)載預(yù)測; 網(wǎng)絡(luò)帶寬; 流量消耗

中圖分類號(hào)： TN915.02?34; TP393 ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼： A ? ? ? ? ? ? ? ? ?文章編號(hào)： 1004?373X（2019）11?0095?03

Abstract： In order to improve the effectiveness and accuracy of big data load monitoring， the neural network algorithm is used to monitor the big data load. The load prediction model is established according to the change of load quantity in adjacent time period， and the current load status is determined according to the change of load. The neural network algorithm is used to perform the forward and reverse operations according load condition in the time period when the load is changed significantly. The obtained operation results are compared with threshold， if the value is besides the threshold， which is determined as an abnormal load and removed from the big data platform to ensure the authenticity and effectiveness of the online load connection of the big data platform. The simulation results show that the big data load method based on neural network has high performance on both accuracy and operational efficiency.

Keywords： big data; load monitoring; neural network; load forecasting; network bandwidth; flow consumption

0 ?引 ?言

隨著互聯(lián)網(wǎng)的高速發(fā)展，接入網(wǎng)絡(luò)的負(fù)載量逐漸增加，這些負(fù)載產(chǎn)生的數(shù)據(jù)信息成為網(wǎng)絡(luò)中各項(xiàng)分析的數(shù)據(jù)來源。雖然這些數(shù)據(jù)成為決策分析重要的價(jià)值數(shù)據(jù)源，理論上負(fù)載越多，獲得數(shù)據(jù)樣本越有分析價(jià)值，但是大量的負(fù)載接入網(wǎng)絡(luò)，給整個(gè)網(wǎng)絡(luò)系統(tǒng)的穩(wěn)定性和功能性帶來了新的挑戰(zhàn)[1]。

大數(shù)據(jù)平臺(tái)下，接入網(wǎng)絡(luò)的在線負(fù)載量受平臺(tái)可接入網(wǎng)絡(luò)的負(fù)載總量、數(shù)據(jù)帶寬、計(jì)算能力、響應(yīng)時(shí)間、數(shù)據(jù)承載量等限制，在線負(fù)載需要和平臺(tái)進(jìn)行數(shù)據(jù)交換，就必須和平臺(tái)建立有效連接。為了防止出現(xiàn)占據(jù)數(shù)據(jù)通道而沒有進(jìn)行有效通信的負(fù)載浪費(fèi)資源，必須采用有效的方法對(duì)在線負(fù)載進(jìn)行有效監(jiān)測，及時(shí)有效地提高資源利用率[2?3]。

傳統(tǒng)的在線負(fù)載監(jiān)測方法主要靠服務(wù)器與負(fù)載的通信作為檢驗(yàn)負(fù)載是否在線的標(biāo)準(zhǔn)[4]，這種方法也是網(wǎng)絡(luò)點(diǎn)對(duì)點(diǎn)之間檢測對(duì)方是否在線的主要方法，但是這種方法有一定的局限性，需要占據(jù)較多的網(wǎng)絡(luò)資源，不利于數(shù)據(jù)帶寬的合理應(yīng)用。本文將小波理論和神經(jīng)網(wǎng)絡(luò)算法相結(jié)合，用來監(jiān)測大數(shù)據(jù)平臺(tái)的在線負(fù)載連接情況，取得了較好的效果。

1 ?基于小波神經(jīng)網(wǎng)絡(luò)的負(fù)載監(jiān)測模型建立

1.1 ?負(fù)載監(jiān)測問題表述

設(shè)負(fù)載數(shù)量為[n]，在[t]時(shí)間段內(nèi)建立負(fù)載監(jiān)測模型，負(fù)載的變化在時(shí)間軸上是無規(guī)律的，因此分析接入大數(shù)據(jù)平臺(tái)的負(fù)載可以用時(shí)間序列對(duì)負(fù)載數(shù)量進(jìn)行預(yù)判。結(jié)合小波理論，根據(jù)上一時(shí)間段負(fù)載的實(shí)際數(shù)量和預(yù)測數(shù)量建立當(dāng)前時(shí)間段的預(yù)測模型，通過不斷修正逼近實(shí)際數(shù)量。

設(shè)[M（t）]為[t]時(shí)間段內(nèi)負(fù)載數(shù)量預(yù)測值，[m（t）]為[t]時(shí)間段內(nèi)實(shí)際負(fù)載數(shù)量，[λ]為權(quán)重因子。則可根據(jù)式（1）計(jì)算出下一時(shí)間段負(fù)載數(shù)量預(yù)測值[5]：

根據(jù)[ε]和[M]的差值判斷負(fù)載量的變化情況。若[ε≥M]，則表示當(dāng)前時(shí)間段內(nèi)負(fù)載變化明顯，需要采取措施對(duì)當(dāng)前接入的負(fù)載進(jìn)行重新監(jiān)測，監(jiān)測其在線情況及負(fù)載類別;若[ε

1.2 ?提出的神經(jīng)網(wǎng)絡(luò)算法

為了更好地驗(yàn)證負(fù)載是否在線，解決偽在線負(fù)載對(duì)資源的浪費(fèi)，采用神經(jīng)網(wǎng)絡(luò)算法對(duì)在線負(fù)載在線狀態(tài)進(jìn)行判別，判別在線用戶的真實(shí)狀態(tài)。根據(jù)預(yù)測模型得到的負(fù)載數(shù)量作為神經(jīng)網(wǎng)絡(luò)的輸入，而負(fù)載在當(dāng)前監(jiān)測時(shí)間段內(nèi)的通信情況作為神經(jīng)網(wǎng)絡(luò)的輸出。

將式（1）預(yù)測得到的負(fù)載作為神經(jīng)網(wǎng)絡(luò)算法的研究對(duì)象，以負(fù)載的實(shí)際個(gè)數(shù)作為輸入，[n]個(gè)負(fù)載通信時(shí)間為[xi（i=1，2，…，n）]，根據(jù)輸出判別當(dāng)前負(fù)載的連接情況和通信情況。設(shè)[ωij]和[Tαj]分別為權(quán)重和閾值，[l]和[f]分別為神經(jīng)元數(shù)量及傳遞關(guān)系[6?7]，則經(jīng)過神經(jīng)網(wǎng)絡(luò)的正向運(yùn)算得到：

式中[η]為更新速率，可以根據(jù)實(shí)際情況進(jìn)行修改。為了考慮算法速率及算法的穩(wěn)定性，[η]值的設(shè)置應(yīng)合理。

通過正向和反向運(yùn)算，不斷減小誤差[ek]，根據(jù)算法輸出判斷在線負(fù)載數(shù)量的真實(shí)在線情況。若[outputk]在設(shè)定的數(shù)據(jù)量閾值范圍內(nèi)，表示該負(fù)載處于正常連接及通信狀態(tài);否則判定該負(fù)載連接為無效連接，表示負(fù)載處于非正常下載狀態(tài)。

2 ?實(shí)例仿真

為了驗(yàn)證本文算法在負(fù)載監(jiān)測中的性能，采用CloudSim仿真平臺(tái)對(duì)算法性能進(jìn)行仿真[9]，數(shù)據(jù)樣本為10 000個(gè)負(fù)載。首先建立10 000個(gè)樣本集合，全部接入數(shù)據(jù)平臺(tái)，然后在60 min內(nèi)不斷調(diào)整負(fù)載情況，人工強(qiáng)制讓部分負(fù)載失去連接，檢驗(yàn)本文算法在異常負(fù)載監(jiān)測中所表現(xiàn)出的性能。

在60 min內(nèi)，不斷調(diào)整掉線負(fù)載的數(shù)量，掉線負(fù)載上限為100，占總負(fù)載數(shù)量的1%，檢驗(yàn)本文算法的適應(yīng)性，仿真結(jié)果如圖1所示。

圖1 ?本文算法負(fù)載監(jiān)測情況

從圖1可以看出，本文算法能較好地檢測出平臺(tái)的異常負(fù)載。在前20 min內(nèi)，兩條線較好地重合，擬合性好;而在20～30 min時(shí)間段內(nèi)，出現(xiàn)了部分掉線負(fù)載未檢測出的情況;后30 min內(nèi)，本文算法較好地檢測出了掉線的負(fù)載。

為了驗(yàn)證本文算法在數(shù)據(jù)流量方面的優(yōu)勢，將傳統(tǒng)按照時(shí)間標(biāo)簽定時(shí)發(fā)送信號(hào)來檢測掉線負(fù)載的方法與本文算法相比較。傳統(tǒng)時(shí)間標(biāo)簽方法是服務(wù)器定時(shí)給每個(gè)負(fù)載發(fā)送信號(hào)，然后記錄發(fā)送信號(hào)時(shí)間和接收負(fù)載反饋回答的時(shí)間，根據(jù)時(shí)間差判斷在線負(fù)載的連接情況，這種方法準(zhǔn)確度高，但是極度耗費(fèi)網(wǎng)絡(luò)資源，對(duì)于大數(shù)據(jù)平臺(tái)、負(fù)載量極大的平臺(tái)適用性差。

分別對(duì)負(fù)載數(shù)量為5 000，10 000，15 000，20 000，25 000時(shí)兩種監(jiān)測算法所耗費(fèi)的監(jiān)測流量進(jìn)行仿真，結(jié)果如圖2所示。

圖2 ?兩種算法耗費(fèi)流量對(duì)比

從圖2可以看出，隨著被監(jiān)測負(fù)載數(shù)量的增加，監(jiān)測流量均隨之增加，當(dāng)負(fù)載數(shù)量為5 000時(shí)，時(shí)間標(biāo)簽算法監(jiān)測流量大約為370 Mb，本文算法為180 Mb，時(shí)間標(biāo)簽算法所耗費(fèi)流量大約是本文算法流量的2倍。由此可知，本文算法在網(wǎng)絡(luò)流量資源使用方面具有絕對(duì)優(yōu)勢，即運(yùn)行效率更優(yōu)秀。

3 ?結(jié) ?語

本文采用基于神經(jīng)網(wǎng)絡(luò)的負(fù)載監(jiān)測方法可以較好地完成掉線負(fù)載的檢測，監(jiān)測接入大數(shù)據(jù)平臺(tái)的負(fù)載真實(shí)連接情況，有效減少掉線負(fù)載占據(jù)網(wǎng)絡(luò)帶寬，提高大數(shù)據(jù)平臺(tái)的資源使用效率。而在網(wǎng)絡(luò)資源使用方面，相比于傳統(tǒng)的時(shí)間標(biāo)簽算法，消耗流量更少。因此，神經(jīng)網(wǎng)絡(luò)算法在大數(shù)據(jù)負(fù)載監(jiān)測方面具有較強(qiáng)的適用性。

參考文獻(xiàn)

[1] HILBERT M. Big data for development： a review of promises and challenges [J]. Development policy review， 2016， 34（1）： 135?174.

[2] BORGMAN C. Big data， little data， no data： scholarship in the networked world [J]. Journal of the association for information science & technology， 2016， 67（3）： 751–753.

[3] WANG D， SUN Z. Big data analysis and parallel load forecas?ting of electric power user side [J]. Proceedings of the CSEE， 2015， 35（3）： 527?537.

[4] ZHANG P， WU X， WANG X， et al. Short?term load forecas?ting based on big data technologies [J]. Journal of power & energy systems， 2015（3）： 1186?1192.

[5] GANIN Y， USTINOVA E， AJAKAN H， et al. Domain?adversarial training of neural networks [J]. Journal of machine lear?ning research， 2017， 17（1）： 2096?2100.

[6] 汪亞明.基于神經(jīng)網(wǎng)絡(luò)的圖象序列特征點(diǎn)匹配[J].中國圖象圖形學(xué)報(bào)，2002，7（4）：313?318.

WANG Yaming. Feature point matching of image sequences based on neural network [J]. Journal of image and graphics， 2002， 7（4）： 313?318.

[7] PANDA S K， MOHANTY S N， JAGADEV A K. Long term electrical load forecasting： an empirical study across techniques and domains [J]. Indian journal of science and technology， 2017， 10（26）： 1?16.

[8] CHEN L G， CHIANG H D， DONG N， et al. Group?based chaos genetic algorithm and non?linear ensemble of neural networks for short?term load forecasting [J]. IET generation transmission & distribution， 2016， 10（6）： 1440?1447.

[9] 李榮榮，牛立棟，孫紀(jì)敏.基于CloudSim的分類負(fù)載均衡調(diào)度模型[J].計(jì)算機(jī)測量與控制，2018，26（3）：195?199.

LI Rongrong， NIU Lidong， SUN Jimin. Classification load ba?lancing scheduling model based on CloudSim [J]. Journal of computer measurement and control， 2018， 26（3）： 195?199.