基于生成對抗模型的告警數(shù)據(jù)增強(qiáng)研究

商英俊 王瑩 湯士黨

摘要：隨著網(wǎng)絡(luò)通信技術(shù)的不斷發(fā)展，網(wǎng)絡(luò)結(jié)構(gòu)也變得越來越復(fù)雜，網(wǎng)絡(luò)故障的診斷和處理問題也越來越復(fù)雜，網(wǎng)絡(luò)告警數(shù)據(jù)的采集提取以及處理成為了有難度的問題。為了利用較少的告警數(shù)據(jù)訓(xùn)練模型以診斷告警，引入了數(shù)據(jù)增強(qiáng)算法以擴(kuò)充數(shù)據(jù)，訓(xùn)練模型。但以循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeural Network， RNN）為代表的一些深度學(xué)習(xí)模型存在梯度消失、暴露偏差等問題，本文提出了一種以生成式對抗網(wǎng)絡(luò)（Generative Adversarial Networks， GAN）為基礎(chǔ)的告警日志數(shù)據(jù)擴(kuò)充方法，通過生成模型與判別模型二者之間的博弈對抗訓(xùn)練，提升數(shù)據(jù)生成的性能。仿真結(jié)果表明，基于GAN的告警數(shù)據(jù)擴(kuò)充方法生成數(shù)據(jù)效果更佳。

關(guān)鍵詞：數(shù)據(jù)增強(qiáng)；生成式對抗網(wǎng)絡(luò)；強(qiáng)化學(xué)習(xí)；告警數(shù)據(jù)

中圖分類號：TP319文獻(xiàn)標(biāo)志碼：A文章編號：1008-1739（2022）11-58-5

近年來，網(wǎng)絡(luò)通信的發(fā)展越來越迅速，網(wǎng)絡(luò)的結(jié)構(gòu)越來越復(fù)雜，網(wǎng)絡(luò)故障的診斷和處理問題也越來越復(fù)雜。大多數(shù)故障診斷算法需要學(xué)習(xí)故障數(shù)據(jù)的特征來重構(gòu)故障診斷模型，因此它們依賴于故障數(shù)據(jù)集來提供豐富的信息數(shù)據(jù)。但是在現(xiàn)實(shí)的網(wǎng)絡(luò)運(yùn)行場景中，網(wǎng)絡(luò)故障數(shù)據(jù)發(fā)生頻率和規(guī)模較低，難以有效覆蓋網(wǎng)絡(luò)故障數(shù)據(jù)全集，從而無法準(zhǔn)確構(gòu)建網(wǎng)絡(luò)故障診斷模型。為解決網(wǎng)絡(luò)架構(gòu)和網(wǎng)絡(luò)告警數(shù)據(jù)日漸復(fù)雜的情況，告警診斷模型難以獲得足夠的告警數(shù)據(jù)的問題，采用深度學(xué)習(xí)模型的文本生成技術(shù)根據(jù)真實(shí)數(shù)據(jù)生成告警數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)，取得了一些顯著的成果。

Sivasurya使用長短期記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)作為基礎(chǔ)，結(jié)合數(shù)據(jù)的上下文關(guān)系，用以生成文本數(shù)據(jù)；Kiddon等人[1]以循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）為基礎(chǔ)生成文本數(shù)據(jù)，對于生成長文本數(shù)據(jù)時(shí)模型表現(xiàn)不佳的問題，引入神經(jīng)核對表模型，通過存儲并更新全局信息以更好地模擬文本生成的過程；Sayan等人[2]以LSTM網(wǎng)絡(luò)作為基礎(chǔ)生成文本，同時(shí)考量文本數(shù)據(jù)中的情感信息，通過一個(gè)附加的設(shè)計(jì)參數(shù)自定義生成句中的情感內(nèi)容。

但傳統(tǒng)的文本生成模型，如帶有LSTM單元的RNN，存在暴露偏差問題，可以通過使用生成式對抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）來避免這個(gè)問題[3]。GAN通過在生成器和判別器之間引入對抗性機(jī)制來匹配合成數(shù)據(jù)和真實(shí)數(shù)據(jù)的分布。由于對抗訓(xùn)練的性質(zhì)，判別器比較的是真實(shí)句子和合成句子，而不是單個(gè)單詞，可以有效地緩解暴露偏差問題。

Zhang等人[4]提出了一個(gè)通過對抗訓(xùn)練生成真實(shí)文本的框架，通過核化差異度量來匹配真實(shí)句子和合成句子的高維潛在特征分布，該方法通過減輕模式崩潰問題來簡化對抗訓(xùn)練。Akmal等人[5]提出了一種使用知識蒸餾的方法來有效利用GAN進(jìn)行文本生成。Jingjing Xu等人[6]提出了一種多樣性促進(jìn)生成對抗網(wǎng)絡(luò)（DP-GAN）。為重復(fù)生成的文本分配低獎勵(lì)，為新穎和流暢的文本分配高獎勵(lì)，鼓勵(lì)生成器生成多樣化和信息豐富的文本。

因此，針對網(wǎng)絡(luò)故障數(shù)據(jù)集不平衡的問題，借鑒GAN網(wǎng)絡(luò)模型，提出了一種基于GAN的告警數(shù)據(jù)生成方法，除了訓(xùn)練一個(gè)用于生成數(shù)據(jù)的生成模型外，同時(shí)訓(xùn)練一個(gè)判別模型，通過在訓(xùn)練中二者之間的博弈，提升數(shù)據(jù)生成的質(zhì)量。仿真結(jié)果表明，GAN所生成的告警數(shù)據(jù)質(zhì)量更高。

1.1基于LSTM網(wǎng)絡(luò)的數(shù)據(jù)生成器

引入一個(gè)LSTM網(wǎng)絡(luò)模型作為數(shù)據(jù)生成器，每個(gè)時(shí)間步的輸出都與之前時(shí)間步的輸出相關(guān)，可以解決一般的RNN較難學(xué)習(xí)到長時(shí)間前的信息、長期記憶效果差的問題。LSTM中引入了輸入門、遺忘門和輸出門3個(gè)門，以及與隱藏狀態(tài)維度相同的記憶細(xì)胞，以記錄額外的信息?；贚STM網(wǎng)絡(luò)的數(shù)據(jù)生成器模型如圖1所示。

為了進(jìn)一步對比2種算法生成文本的質(zhì)量，進(jìn)行了實(shí)驗(yàn)比較訓(xùn)練過程中2種算法生成數(shù)據(jù)的BLEU-2，BLEU-3，BLEU-4各個(gè)指標(biāo)值，對比結(jié)果如圖4、圖5和圖6所示。

從圖4可以觀察到，隨著迭代次數(shù)的增加，本文算法的BLEU-2值不斷增加，在迭代前期上升較快，在迭代后期上升速度略有下降，最終得到的BLEU-2數(shù)值為0.80。與此相同的是，LSTM模型在迭代前期BLEU-2數(shù)值快速上升，在迭代后期BLEU-2數(shù)值不斷波動，最終BLEU-2數(shù)值收斂于0.70。本文提出的算法在BLEU-2指標(biāo)上高于LSTM模型14.2%。這說明了本文提出的基于GAN的告警數(shù)據(jù)生成方法要優(yōu)于基于LSTM模型的告警數(shù)據(jù)生成方法。

從圖5可以觀察到，隨著迭代次數(shù)的增加，本文算法的BLEU-3值不斷提高，最終達(dá)到收斂狀態(tài)。在迭代前期，本文算法的BLEU-3值提高速度較快，在迭代后期速度減緩，而BLEU-3最終收斂于0.62，可以看出在N-gram中由于值的提高，BLEU-3值明顯小于BLEU-2值。LSTM模型在迭代前期BLEU-3值的提升速度較快，在迭代后期BLEU-3的數(shù)值不斷波動，最終收斂于0.50。本文提出的算法在BLEU-2指標(biāo)上高于LSTM模型24%。這說明了本文提出的GAN告警數(shù)據(jù)生成方法要優(yōu)于基于LSTM模型的告警數(shù)據(jù)生成方法，更貼近實(shí)際的告警日志數(shù)據(jù)。

從圖6可以觀察到，隨著迭代次數(shù)的增加，本文算法的BLEU-4值不斷提高，且在多次迭代后仍然呈現(xiàn)上漲趨勢，在有限迭代次數(shù)內(nèi)BLEU-4值為0.50。LSTM模型在迭代前期BLEU-4值不斷提高，迭代后期呈現(xiàn)波動趨勢，最終迭代BLEU-4值為0.38?？梢缘玫皆贐LEU-4指標(biāo)上，本文提出的算法高于LSTM模型31.5%。

3結(jié)束語

本文針對告警數(shù)據(jù)生成問題，提出了一種基于GAN的告警數(shù)據(jù)生成算法，克服了其他深度學(xué)習(xí)模型可能存在的暴露偏差、梯度爆炸等問題，最終在仿真實(shí)驗(yàn)中證明生成的告警數(shù)據(jù)質(zhì)量更高。

[1] KIDDON C，ZETTLEMOYER L，CHOI Y. Globally Coherent Text Generation with Neural Checklist Models[C]// Proceedings of the 2016 Conference On Empirical Methods in Natural Language Processing.Texas：Association for Computational Linguistics，2016： 329-339.

[2] GHOSH S，CHOLLET M， LAKSANA E， et al. Affect-LM： A Neural Language Model for Customizable Affective Text Generation[C]//Annual Meeting of the Association for Computational Linguistic. [s.l.]： ACL，2017：634-642.

[3] GOODFELLOW I， POUGET A J，MIRZA M， et al.Generative Adversarial Nets Advances in Neural Information Processing Systems[C]//Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal： [s.n.] 2014：2672-2680.

[4] ZHANG Y，GAN Z，F(xiàn)AN K，et al. Adversarial Feature Matching for Text Generation[C]//International Conference on Machine Learning.Sydney：[ACM]，2017：4006-4015.

[5] HAIDAR M， REZAGHOLIZADEH M.Textkd-gan： Text Generation Using Knowledge Distillation and Generative Adversarial Networks[C]//Canadian Conference on Artificial Intelligence. Kingston：Springer，2019：107-118.

[6] XU J J，REN X C， LIN J Y. Diversity-promoting GAN：A Cross-entropy Based Generative Adversarial Network for Diversified Text Generation[C]// Conference on Empirical Methods in Natural Language Processing.Brussels：EMNLP， 2018：3940-3949.

[7] KIM Y. Convolutional Neural Networks for Sentence Classification[C]// Conference on Empirical Methods in Natural Language Processing.New York：EMNLP，2014： 1746-1751.

[8] PAPINENI K，ROUKOS S，WARDd T，et al.Bleu： A Method for Automatic Evaluation of Machine Translation[C]//Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics.Philadelphia： Computational Linguistics，2002：311-318.