融合CNN與LSTM的網(wǎng)絡(luò)質(zhì)量KQI數(shù)據(jù)特征提取與投訴預(yù)警*

蔣仕寶，杜翠鳳**，聶丹彤

（1.廣州杰賽科技股份有限公司，廣東 廣州 510310；2.中移互聯(lián)網(wǎng)有限公司，廣東 廣州 510000）

0 引言

傳統(tǒng)的網(wǎng)絡(luò)質(zhì)量?jī)?yōu)化管理是結(jié)合專家經(jīng)驗(yàn)對(duì)監(jiān)控平臺(tái)話統(tǒng)數(shù)據(jù)的網(wǎng)元指標(biāo)或者小區(qū)指標(biāo)進(jìn)行人工提取特征，然后再結(jié)合投訴行為，找出KQI 數(shù)據(jù)特征與投訴行為的關(guān)系。該方法嚴(yán)重依賴專家經(jīng)驗(yàn)，而且由于監(jiān)控該平臺(tái)的話統(tǒng)數(shù)據(jù)具有海量、高維的特點(diǎn)，因此，傳統(tǒng)的網(wǎng)絡(luò)質(zhì)量?jī)?yōu)化管理方法已經(jīng)不適用于當(dāng)前的時(shí)代特征。

基于網(wǎng)絡(luò)質(zhì)量的投訴預(yù)警模型受到了很多學(xué)者的關(guān)注。朱龍珠等人[1]提出基于隨機(jī)森林算法的投訴預(yù)警模型優(yōu)化方法，采用隨機(jī)森林實(shí)現(xiàn)投訴預(yù)警；陽(yáng)許軍等人[2]提出基于大數(shù)據(jù)模型的投訴預(yù)警與提前干預(yù)分析，實(shí)現(xiàn)投訴原因的追溯；任華等人[3]提出基于大數(shù)據(jù)技術(shù)的客服投訴智能分類與預(yù)警系統(tǒng)，應(yīng)用多重算法，實(shí)現(xiàn)投訴歸類分析、指標(biāo)分析、預(yù)警分析、根源分析及關(guān)聯(lián)分析，實(shí)現(xiàn)事前預(yù)防和預(yù)警、降低投訴數(shù)量、提升客戶服務(wù)質(zhì)量的目的；張婷[4]提出基于通信告警數(shù)據(jù)實(shí)現(xiàn)網(wǎng)絡(luò)投訴的智能分析系統(tǒng)。上述研究沒有考慮用戶投訴的滯后性特征，也就是用戶的投訴一般晚于網(wǎng)絡(luò)質(zhì)量問題的發(fā)生時(shí)間，因此，基于投訴信息的網(wǎng)元指標(biāo)或者小區(qū)指標(biāo)很難排查到真正的網(wǎng)絡(luò)問題。

本文針對(duì)投訴滯后性的特點(diǎn)，以滑動(dòng)窗口的方式構(gòu)造KQI 數(shù)據(jù)的訓(xùn)練集合，其中預(yù)測(cè)標(biāo)簽為N時(shí)刻之后的用戶投訴數(shù)據(jù)。在此基礎(chǔ)上，采用CNN 和LSTM 的方法提取KQI 數(shù)據(jù)的空間維度和時(shí)間維度的特征。

1 深度學(xué)習(xí)的相關(guān)理論

深度學(xué)習(xí)受到業(yè)界廣泛關(guān)注是因?yàn)槠湓趫D像處理和自然語(yǔ)言處理方面具有優(yōu)秀的表現(xiàn)。和淺層算法相比，深度學(xué)習(xí)方法更擅長(zhǎng)學(xué)習(xí)數(shù)據(jù)的特征，因此，深度學(xué)習(xí)在各種任務(wù)分類中具有顯著效果。作為一種數(shù)據(jù)驅(qū)動(dòng)的算法，深度學(xué)習(xí)無(wú)須建立一個(gè)確定性的模型，只需要利用足夠多的歷史數(shù)據(jù)進(jìn)行訓(xùn)練以獲取數(shù)據(jù)的特征表示，從而能夠完成諸如特征表示、分類、預(yù)測(cè)等任務(wù)。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks,CNN）作為經(jīng)典的深度學(xué)習(xí)算法被應(yīng)用在圖像處理、人臉識(shí)別、語(yǔ)音識(shí)別、自然語(yǔ)言處理等領(lǐng)域[5-10]，循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network,RNN）、改進(jìn)型遞歸神經(jīng)網(wǎng)絡(luò)（Modified Recurrent Neural Network）、長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)（Long Short Term Memory Network,LSTM）等也相繼被提出，用于情感分類、句子翻譯、問答系統(tǒng)等領(lǐng)域[11-15]。本文就CNN 和LSTM 的算法展開研究。

1.1 卷積神經(jīng)網(wǎng)絡(luò)（CNN）

卷積神經(jīng)網(wǎng)絡(luò)是包含卷積層計(jì)算并具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)[16]。卷積神經(jīng)網(wǎng)絡(luò)用來(lái)解決傳統(tǒng)網(wǎng)絡(luò)參數(shù)過多和調(diào)參工作量過大的問題。首先通過卷積核提取原始圖像或數(shù)據(jù)的特定特征；然后采用池化的方式縮小原始圖像或者數(shù)據(jù)的尺寸；接著將不同卷積核池化的結(jié)果進(jìn)行平鋪（或稱為Flatten）；最后將Flatten 的輸出結(jié)果放進(jìn)全連接層，采用Softmax 的方式對(duì)圖像或者數(shù)據(jù)進(jìn)行分類。因此，卷積神經(jīng)網(wǎng)絡(luò)一般分為3 層：卷積層、池化層以及全連接層。

（1）卷積層

利用本層卷積核在上一級(jí)輸入層上逐一滑動(dòng)窗口，加上偏置值，通過Sigmoid 函數(shù)得到各個(gè)特征提取層，然后采用下采樣Subsampling 得到各個(gè)特征映射層。特征提取層和特征映射層的輸出通常稱為特征圖（Feature Map）。

（2）池化層

池化層的目的是采用降采樣的方式，在不影響圖像質(zhì)量或者數(shù)據(jù)本身特征的情況下，通過壓縮維度，減少參數(shù)，減低原始圖像或者數(shù)據(jù)的尺寸。通常使用的池化方法是Maxpooling。

（3）全連接層

采用多個(gè)不同尺寸的卷積核對(duì)圖像或者數(shù)據(jù)進(jìn)行卷積后，將會(huì)得到多維的數(shù)據(jù)特征值，在對(duì)多維數(shù)據(jù)進(jìn)行池化后，通常需要對(duì)數(shù)據(jù)進(jìn)行Flatten，然后將經(jīng)過Flatten處理的數(shù)據(jù)放進(jìn)全連接層（Full Connected Layer）中，采用Softmax 實(shí)現(xiàn)圖像或者數(shù)據(jù)的分類。

相對(duì)于傳統(tǒng)的淺層前饋神經(jīng)網(wǎng)絡(luò)，CNN 在不明顯增加計(jì)算量的情況下使得網(wǎng)絡(luò)的性能明顯增強(qiáng)，因此得到很多學(xué)者的追捧。

1.2 長(zhǎng)短記憶網(wǎng)絡(luò)(LSTM)

LSTM 是一種時(shí)間遞歸神經(jīng)網(wǎng)絡(luò)，擅長(zhǎng)處理時(shí)間序列數(shù)據(jù)。與傳統(tǒng)的遞歸神經(jīng)網(wǎng)絡(luò)RNN 相比，LSTM 由于引入了記憶單元，該記憶單元能夠決定哪些狀態(tài)應(yīng)該被留下來(lái)，哪些狀態(tài)應(yīng)該被遺忘，因此能夠處理長(zhǎng)期依賴問題。LSTM 由輸入層、隱含層和輸出層構(gòu)成，圖1 展現(xiàn)了LSTM 的內(nèi)部結(jié)構(gòu)，其中，朱紅色的圈代表向量的乘和向量的和，每一個(gè)神經(jīng)元都有一條水平線貫穿其中，這條水平線代表細(xì)胞的狀態(tài)，細(xì)胞的狀態(tài)就在這條水平線上進(jìn)行傳送。而LSTM 的特色在于黃色矩形所代表的各種“門”。圖1 中第一個(gè)黃色矩形表示忘記門，決定哪些信息被保留，哪些信息被遺忘；第二個(gè)黃色矩形是輸入門，決定什么值將被更新，然后采用tanh 層創(chuàng)建一個(gè)新的候選值向量，用于更新細(xì)胞的狀態(tài)；最后就要決定該神經(jīng)單元需要輸出一個(gè)什么樣的值，該輸出是基于當(dāng)前被更新后的細(xì)胞狀態(tài)的。首先運(yùn)行最后一個(gè)黃色矩形輸出門（其實(shí)就是一個(gè)Sigmoid 層）來(lái)確定細(xì)胞狀態(tài)的哪個(gè)部分將輸出出去；接著，把細(xì)胞狀態(tài)通過tanh 層進(jìn)行處理（得到一個(gè)-1～1 的值）并將它和Sigmoid 層的輸出相乘，最終得到輸出值。

圖1 長(zhǎng)短記憶網(wǎng)絡(luò)LSTM的結(jié)構(gòu)示意圖

1.3 注意力機(jī)制

注意力機(jī)制源于人類的認(rèn)知研究，由于信息處理的局限性，人類往往根據(jù)當(dāng)前需求關(guān)注特定的信息。注意力機(jī)制最初應(yīng)用于圖像識(shí)別，當(dāng)采用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像識(shí)別時(shí)，僅關(guān)注部分重要的特征，以此提升識(shí)別的準(zhǔn)確率。目前注意力機(jī)制一般用于seq2seq 模型中。seq2seq 模型如圖2 所示。

從圖2 可知，引入注意力機(jī)制后，語(yǔ)義編碼C并不是固定的，是根據(jù)不同時(shí)刻的輸入來(lái)決定，也就是注意力系數(shù)Ci是一個(gè)可變語(yǔ)義向量。

圖2 引入注意力機(jī)制的seq2seq模型

根據(jù)yi的概率分布決定yi的取值，定義條件概率為：

其中，yi-1表示上一時(shí)刻的輸出，X表示輸入值，si表示解碼器在i時(shí)刻的隱藏向量，ci表示在i時(shí)刻語(yǔ)義向量?jī)?nèi)容。而ci是由編碼的隱含向量序列按照權(quán)重相加得到，可表示為：

其中，ɑij表示注意力分配概率分布，hj表示編碼器在j時(shí)刻的隱藏向量。而ɑij則由i-1 時(shí)刻的解碼器隱藏狀態(tài)si-1和j時(shí)刻的編碼器的隱層狀態(tài)hj共同決定，本文采用對(duì)齊模型來(lái)求解注意力分配的概率分布：

其中，eij表示si-1和hj的對(duì)齊程度，實(shí)際上是一個(gè)權(quán)重，vɑ與Wɑ則表示對(duì)齊模型的權(quán)值矩陣。

基于上述的方式，注意力模型就能運(yùn)用在機(jī)器翻譯中，并能夠很好地表示整個(gè)輸入向量的意義。

2 融合CNN 與LSTM 的網(wǎng)絡(luò)質(zhì)量特征提取模型

由于影響網(wǎng)絡(luò)質(zhì)量的數(shù)據(jù)維度較多，因此，在選取網(wǎng)絡(luò)質(zhì)量特征提取的模型時(shí)，不僅需要考慮網(wǎng)絡(luò)特征多維數(shù)據(jù)的空間關(guān)系，還要考慮數(shù)據(jù)在時(shí)間維度的延續(xù)關(guān)系。本文通過融合CNN 和LSTM 模型，對(duì)網(wǎng)絡(luò)質(zhì)量特征進(jìn)行提取，使得所提取的特征不僅具有空間表達(dá)能力，還具備時(shí)間表達(dá)能力。融合CNN 與LSTM 的網(wǎng)絡(luò)特征提取模型如圖3 所示。

圖3 融合CNN與LSTM的網(wǎng)絡(luò)質(zhì)量特征提取模型

原始輸入是以T為時(shí)間長(zhǎng)度，n個(gè)樣本組成的數(shù)據(jù)。原始輸入分別輸入到CNN 和LSTM 網(wǎng)絡(luò)，經(jīng)過CNN 的一系列處理，最后由n個(gè)神經(jīng)元得到1×n維的特征向量：

經(jīng)過LSTM 處理后，在LSTM 的隱含層單元數(shù)量為n，最后隱含層輸出n×m維特征向量：

得到原始樣本在CNN 和LSTM 的特征表達(dá)之后，引入注意力機(jī)制對(duì)特征表達(dá)進(jìn)行融合，形成融合特征表達(dá)fmap。特征融合的表達(dá)具體過程由公式(7)～公式(9) 表示。

其中，Wα為m×n維的權(quán)值矩陣，bα為偏置參數(shù)，均由網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)得到。是Cr的轉(zhuǎn)置項(xiàng)。通過公式(7)將CNN 的特征向量和LSTM 的特征向量進(jìn)行統(tǒng)合，并通過一組“權(quán)重”的方式表現(xiàn)出來(lái)，而這組“權(quán)重”實(shí)質(zhì)上就是對(duì)不同時(shí)間點(diǎn)的輸入向量進(jìn)行有區(qū)別的賦值，采用Softmax 函數(shù)將“權(quán)重”進(jìn)行歸一化后，將歸一化的“權(quán)重”αi與不同時(shí)間點(diǎn)的隱含層輸出向量進(jìn)行相乘，并進(jìn)行求和得到最終的融合特征表達(dá)fmap。αi和fmap的求解公式為：

引入注意力機(jī)制將CNN 抽取空間維度特征表達(dá)與LSTM 抽取時(shí)間維度特征進(jìn)行融合，利用空間維度特征來(lái)調(diào)節(jié)時(shí)間維度特征，使時(shí)間維度特征在某些數(shù)據(jù)維度加強(qiáng)，在某些數(shù)據(jù)維度減弱。隨著時(shí)間的推移，某些關(guān)鍵因素對(duì)網(wǎng)絡(luò)質(zhì)量影響的程度正在加強(qiáng)，某些關(guān)鍵因素對(duì)網(wǎng)絡(luò)質(zhì)量影響的程度逐漸在減弱，而這種現(xiàn)象在不同網(wǎng)絡(luò)場(chǎng)景應(yīng)具有不同的變化規(guī)律。

3 實(shí)證分析

3.1 數(shù)據(jù)預(yù)處理

網(wǎng)優(yōu)平臺(tái)包括異頻硬切換成功率、同頻硬切換成功率、CS 異系統(tǒng)硬切換成功率等460 個(gè)指標(biāo)，但是由于各個(gè)指標(biāo)的數(shù)據(jù)數(shù)量級(jí)不一致，因此，本文需要對(duì)數(shù)據(jù)進(jìn)行歸一化處理后，才能做后續(xù)分析。

3.2 數(shù)據(jù)集構(gòu)成

將上述歸一化數(shù)據(jù)按照時(shí)間順序進(jìn)行排列，考慮到用戶投訴的滯后性，網(wǎng)絡(luò)質(zhì)量數(shù)據(jù)很難通過滑動(dòng)窗口截取，結(jié)合實(shí)際網(wǎng)絡(luò)質(zhì)量管理的經(jīng)驗(yàn)，一般設(shè)置滑動(dòng)周期為2 周，也就是以2 周為時(shí)間長(zhǎng)度構(gòu)造某一個(gè)樣本的二維矩陣數(shù)據(jù)，結(jié)合網(wǎng)優(yōu)平臺(tái)對(duì)KPI 數(shù)據(jù)的采集頻率，那么樣本的大小為336×460。樣本數(shù)據(jù)對(duì)應(yīng)的結(jié)果數(shù)據(jù)為某小區(qū)被預(yù)測(cè)為QOE 異常的時(shí)段數(shù)所占的比例。樣本的構(gòu)造方法如圖4 所示。

為了驗(yàn)證模型的準(zhǔn)確性，本文對(duì)單步預(yù)測(cè)和多步預(yù)測(cè)進(jìn)行比較，構(gòu)造不同的數(shù)據(jù)集合，分別取N=1,3,5,7并構(gòu)造對(duì)應(yīng)的數(shù)據(jù)集合。

3.3 淺層和深層特征信息融合獲取數(shù)據(jù)空間維度特征

圖4 樣本構(gòu)造方法示意圖

本文的數(shù)據(jù)集太大，如果用單純的CNN 神經(jīng)網(wǎng)絡(luò)對(duì)多維數(shù)據(jù)進(jìn)行提取，只能得出深層的語(yǔ)義信息，很可能忽略淺層數(shù)據(jù)特征信息所對(duì)應(yīng)的局部特征語(yǔ)義信息。因此，本文采用CNN 對(duì)數(shù)據(jù)進(jìn)行卷積處理，由淺入深提取數(shù)據(jù)的空間特征，采用不同的滑動(dòng)窗口截取不同大小區(qū)域的數(shù)據(jù)進(jìn)行特征提取，然后通過池化層將特征圖進(jìn)行降維操作，最后通過融合層對(duì)淺層數(shù)據(jù)語(yǔ)義信息和深層數(shù)據(jù)語(yǔ)義信息進(jìn)行融合，也就是將淺層和深層的特征圖進(jìn)行疊加。根據(jù)相關(guān)的研究可知，融合層能夠在很大程度上減小輸入特征圖的尺寸，使得輸出通道數(shù)量增加，也就是從空間維度上提升了特征信息提取的精度。本文將深層語(yǔ)義信息和淺層語(yǔ)義信息的特征進(jìn)行融合，對(duì)同一輸入的數(shù)據(jù)根據(jù)不同的卷積層提取的特征圖進(jìn)行疊加融合，將淺層的特征信息和深層的語(yǔ)義信息進(jìn)行融合分析，提升分類器分類的特征信息的精度。通過淺層和深層特征信息融合獲取數(shù)據(jù)空間維度特征的過程如圖5 所示。

3.4 融合CNN 與LSTM 的網(wǎng)絡(luò)質(zhì)量KQI 數(shù)據(jù)特征提取

通過融合深淺層特征信息獲?。∟+P）維的空間特征，在一定程度上擴(kuò)展了KQI 數(shù)據(jù)的空間維度，考慮到用戶投訴的滯后性問題，因此，在提取KQI 特征的時(shí)候需要考慮KQI 數(shù)據(jù)在時(shí)間維度上的變化。本文融合CNN 和LSTM 的方法提取KQI 的數(shù)據(jù)特征，使得模型具備空間和時(shí)間的表達(dá)能力，使得增強(qiáng)特征信息更加清晰。

圖6 是融合CNN 與LSTM 的網(wǎng)絡(luò)質(zhì)量KQI 數(shù)據(jù)特征提取示意圖，輸入是以T為時(shí)間長(zhǎng)度，（N+P）維度組成的數(shù)據(jù)（N+P＜n）。輸入分別輸入到CNN 和LSTM網(wǎng)絡(luò)，經(jīng)過CNN 的一系列處理，最后由（N+P）個(gè)神經(jīng)元得到1×（N+P）維的特征向量；經(jīng)過LSTM 處理后，在LSTM 的隱含層單元數(shù)量為（N+P），最后隱含層輸出（N+P）×m維特征向量；得到CNN 和LSTM 的特征表達(dá)之后，引入注意力機(jī)制對(duì)特征表達(dá)進(jìn)行融合，形成融合特征表達(dá)fmap，實(shí)現(xiàn)網(wǎng)絡(luò)質(zhì)量KQI 數(shù)據(jù)特征提取，在獲得特征提取后，能夠?qū)崿F(xiàn)用戶投訴的預(yù)測(cè)。

圖5 淺層和深層特征信息融合示意圖

圖6 融合CNN與LSTM的網(wǎng)絡(luò)質(zhì)量KQI數(shù)據(jù)特征提取示意圖

3.5 實(shí)驗(yàn)結(jié)果分析

為驗(yàn)證本文所提出的融合CNN 與LSTM 的網(wǎng)絡(luò)質(zhì)量KQI 數(shù)據(jù)特征提取與預(yù)測(cè)的有效性，在基于TensorFlow的Keras 深度學(xué)習(xí)平臺(tái)上實(shí)現(xiàn)了該模型的訓(xùn)練與預(yù)測(cè)，并將本文提出的模型與單獨(dú)使用LSTM 和CNN 模型的預(yù)測(cè)結(jié)果進(jìn)行對(duì)比，對(duì)比結(jié)果如圖7 所示。

由于單步預(yù)測(cè)的預(yù)測(cè)時(shí)間間隔較短，因此三種不同算法的預(yù)測(cè)準(zhǔn)確度與真實(shí)水平大體一致。CNN 模型相對(duì)于真實(shí)水平偏離較大，LSTM 模型整體存在一個(gè)滯后效應(yīng)，CNN-LSTM 模型的偏離程度最小，但是在40 個(gè)點(diǎn)之后開始偏離真實(shí)曲線，但是其與真實(shí)曲線在趨勢(shì)上保持一致。圖8 為不同算法多步預(yù)測(cè)的準(zhǔn)確率對(duì)比。

圖7 不同算法單步預(yù)測(cè)的準(zhǔn)確率對(duì)比

圖8 不同算法多步預(yù)測(cè)的準(zhǔn)確率對(duì)比

與單步預(yù)測(cè)相比，三種模型的多步預(yù)測(cè)都有不同程度的偏離，特別是CNN 和LSTM 均存在較嚴(yán)重的偏離真實(shí)趨勢(shì)的振蕩，只有CNN 和LSTM 算法與真實(shí)水平的趨勢(shì)大體保持一致。上述的實(shí)驗(yàn)結(jié)果表明：由于本文融合CNN 和LSTM 算法的各自優(yōu)點(diǎn)，從某種程度上更加完備地提取KQI 數(shù)據(jù)的特征，那么投訴預(yù)測(cè)的準(zhǔn)確率也就更加準(zhǔn)確。

4 應(yīng)用場(chǎng)景

網(wǎng)絡(luò)部門根據(jù)KQI 的現(xiàn)狀數(shù)據(jù)進(jìn)行實(shí)時(shí)提取，采用融合CNN-LSTM 的網(wǎng)絡(luò)質(zhì)量KQI 數(shù)據(jù)特征提取與預(yù)測(cè)的方法對(duì)整個(gè)網(wǎng)絡(luò)的質(zhì)量做出客觀的診斷和評(píng)判。以主動(dòng)評(píng)估的方式代替被動(dòng)投訴的方式收集現(xiàn)有實(shí)時(shí)的網(wǎng)絡(luò)業(yè)務(wù)質(zhì)量信息，根據(jù)實(shí)時(shí)的診斷結(jié)果，結(jié)合設(shè)備優(yōu)化可充分改善現(xiàn)有網(wǎng)絡(luò)的數(shù)據(jù)業(yè)務(wù)質(zhì)量，實(shí)現(xiàn)網(wǎng)絡(luò)業(yè)務(wù)質(zhì)量的主動(dòng)干預(yù)，提升用戶使用業(yè)務(wù)的滿意度。

5 結(jié)束語(yǔ)

本文提出一種融合CNN 和LSTM 的網(wǎng)絡(luò)質(zhì)量數(shù)據(jù)特征提取方法，該方法不僅需要考慮網(wǎng)絡(luò)特征多維數(shù)據(jù)的空間關(guān)系，還要考慮數(shù)據(jù)在時(shí)間維度的延續(xù)關(guān)系。由于網(wǎng)絡(luò)質(zhì)量數(shù)據(jù)具有高維特點(diǎn)，因此在處理數(shù)據(jù)空間關(guān)系時(shí)，引入融合深層語(yǔ)義信息和淺層語(yǔ)義信息來(lái)獲取數(shù)據(jù)的空間特征，使得特征空間的表達(dá)能力更強(qiáng)，更清晰。最后，在進(jìn)行用戶投訴時(shí)，考慮到用戶投訴具有滯后性，因此，將T時(shí)間長(zhǎng)度的特征信息放進(jìn)模型中，從時(shí)間維度上訓(xùn)練用戶投訴和網(wǎng)絡(luò)質(zhì)量變化的關(guān)系，更能夠突出用戶感知的變化過程。實(shí)驗(yàn)表明：CNN 與LSTM 的融合模型在特征表達(dá)上比單一模型更有效，單步預(yù)測(cè)與多步預(yù)測(cè)精度更高。