基于多任務(wù)和卷積神經(jīng)網(wǎng)絡(luò)的業(yè)務(wù)識(shí)別算法

趙季紅，喬琳琳，王 穎

(1.西安郵電大學(xué) 通信與信息工程學(xué)院，陜西 西安 710121； 2.西安交通大學(xué) 電子信息工程學(xué)院，陜西 西安 710049;3.北京郵電大學(xué) 信息安全中心，北京 100876)

隨著無(wú)線通信技術(shù)的飛速發(fā)展，要求未來的網(wǎng)絡(luò)能夠?yàn)楦鞣N場(chǎng)景提供不同的服務(wù)。網(wǎng)絡(luò)切片作為未來關(guān)鍵技術(shù)，可以將物理網(wǎng)絡(luò)劃分為多個(gè)虛擬網(wǎng)絡(luò)切片，從而提高網(wǎng)絡(luò)資源利用率，降低網(wǎng)絡(luò)運(yùn)營(yíng)商的成本和能耗，提高網(wǎng)絡(luò)用戶的體驗(yàn)質(zhì)量[1-2]。面向多用戶的網(wǎng)絡(luò)切片在建立的過程中，需要考慮網(wǎng)絡(luò)場(chǎng)景的復(fù)雜多變且新型業(yè)務(wù)不斷出現(xiàn)，而其中關(guān)鍵及難點(diǎn)問題之一是如何識(shí)別出各種網(wǎng)絡(luò)業(yè)務(wù)的類型。

網(wǎng)絡(luò)業(yè)務(wù)分類一直是業(yè)界和學(xué)術(shù)界關(guān)注的焦點(diǎn)。目前主要的業(yè)務(wù)分類方法可以歸納總結(jié)為基于端口識(shí)別的深度包檢測(cè)(Deep Packet Inspection，DPI)、基于統(tǒng)計(jì)特征和協(xié)議的業(yè)務(wù)分類方法[3]。此外，考慮效率低下和缺乏準(zhǔn)確性，基于機(jī)器學(xué)習(xí)算法的方法已經(jīng)被廣泛應(yīng)用于網(wǎng)絡(luò)業(yè)務(wù)分類[4]。這些方法通常依賴于監(jiān)督學(xué)習(xí)方法，如支持向量機(jī)(Support Vector Machines，SVM)，k-近鄰(k-Nearest Neighbor，KNN)，隨機(jī)森林(Random Forest，RF) 或依賴于無(wú)監(jiān)督聚類方法，如k-均值。然而，上述相對(duì)簡(jiǎn)單的方法無(wú)法捕捉到當(dāng)今互聯(lián)網(wǎng)流量中存在的更復(fù)雜的模式，因此其準(zhǔn)確性不高。

隨著深度學(xué)習(xí)方法在圖像分類和語(yǔ)音識(shí)別等領(lǐng)域的成功應(yīng)用，其能夠?qū)W習(xí)復(fù)雜的模式和執(zhí)行自動(dòng)特征提取，研究人員提出了利用深度學(xué)習(xí)方法對(duì)流量進(jìn)行分類[5]。文獻(xiàn)[6]使用再生內(nèi)核希爾伯特空間(Reproducing Kernel Hilbert Space,RKHS)將每個(gè)流的時(shí)間序列特征轉(zhuǎn)換成二維圖像，產(chǎn)生的圖像被用作卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)模型的輸入，將CNN模型與經(jīng)典的機(jī)器學(xué)習(xí)方法進(jìn)行了比較，包括SVM和決策樹，CNN模型的精度達(dá)到99%以上，優(yōu)于經(jīng)典的機(jī)器學(xué)習(xí)方法。文獻(xiàn)[7]同樣采用CNN模型進(jìn)行流量分類，將許多統(tǒng)計(jì)特征重新排列成二維圖像作為模型的輸入，最終以高精度進(jìn)行分類。但該模型需要觀察整個(gè)數(shù)據(jù)流獲得統(tǒng)計(jì)特征，不能用于在線應(yīng)用程序。文獻(xiàn)[8]提出了使用CNN、長(zhǎng)時(shí)記憶(Long Short-Time Memory,LSTM)模型對(duì)業(yè)務(wù)進(jìn)行分類，當(dāng)“CNN+LSTM”體系結(jié)構(gòu)使用時(shí)間序列特征時(shí)，其精度能夠達(dá)到96%左右。雖然上述深度學(xué)習(xí)方法可以達(dá)到高精度，但其缺點(diǎn)主要是需要大量的標(biāo)記訓(xùn)練數(shù)據(jù)。在網(wǎng)絡(luò)業(yè)務(wù)分類任務(wù)中，標(biāo)記數(shù)據(jù)是一項(xiàng)耗時(shí)及繁瑣的任務(wù)。此外，在受控環(huán)境中觀察到的數(shù)據(jù)流可能與實(shí)際流量有很大的不同，使得標(biāo)記數(shù)據(jù)獲得的推斷不準(zhǔn)確。文獻(xiàn)[9]解決了需要大量標(biāo)記數(shù)據(jù)集的需求。此方法由半監(jiān)督學(xué)習(xí)方法組成，利用CNN模型從采樣數(shù)據(jù)包中預(yù)測(cè)幾個(gè)統(tǒng)計(jì)特征，使用采樣數(shù)據(jù)包的時(shí)間序列特征，然后采用新的圖層替換最后幾層，最后使用少部分標(biāo)記數(shù)據(jù)集進(jìn)行重新訓(xùn)練。其優(yōu)點(diǎn)是不需要花費(fèi)人工標(biāo)記預(yù)訓(xùn)練的數(shù)據(jù)集，當(dāng)整個(gè)流程可用時(shí)，可以輕松地計(jì)算統(tǒng)計(jì)特征。但是此方法需要采用采樣數(shù)據(jù)包，在執(zhí)行分類之前先觀察大部分流量，同樣不適合在線應(yīng)用。

針對(duì)上述方法存在的問題，擬提出一種基于多任務(wù)學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)(Multi-Task Learning-Convolutional Neural Network,MTL-CNN)方法，在執(zhí)行帶寬需求、持續(xù)時(shí)間和業(yè)務(wù)類別等3個(gè)任務(wù)的預(yù)測(cè)時(shí)，只有業(yè)務(wù)類別任務(wù)需要人為標(biāo)記。對(duì)于任意的數(shù)據(jù)流，每個(gè)流的帶寬需求和持續(xù)時(shí)間都很容易計(jì)算，并不需人為標(biāo)記。因此，通過在多任務(wù)學(xué)習(xí)框架中制定業(yè)務(wù)分類問題，就可以用大量的不需要標(biāo)記的數(shù)據(jù)在CNN中訓(xùn)練模型的帶寬需求和持續(xù)時(shí)間任務(wù)，所有任務(wù)共享模型參數(shù)，只需要少量的標(biāo)記樣本數(shù)據(jù)就能進(jìn)行業(yè)務(wù)類別預(yù)測(cè)，以期使不同類別識(shí)別效果更加均衡，提高分類準(zhǔn)確率。

1 問題描述與系統(tǒng)模型

1.1 網(wǎng)絡(luò)業(yè)務(wù)分類問題

網(wǎng)絡(luò)切片中有諸多的業(yè)務(wù)類型，如虛擬線上/增強(qiáng)現(xiàn)實(shí)、超高清視頻、自動(dòng)駕駛、遠(yuǎn)程控制和遠(yuǎn)程醫(yī)療手術(shù)、智慧城市、遠(yuǎn)程抄表，等等，這些多樣的業(yè)務(wù)類型對(duì)網(wǎng)絡(luò)性能的要求也有著巨大的區(qū)別。如底層網(wǎng)絡(luò)發(fā)生故障時(shí)，可能引起失效的網(wǎng)絡(luò)切片業(yè)務(wù)類型并不單一，如何選取動(dòng)態(tài)的恢復(fù)方法，就要及時(shí)在線判斷失效的業(yè)務(wù)類型[10]。根據(jù)網(wǎng)絡(luò)數(shù)據(jù)流的統(tǒng)計(jì)特征對(duì)網(wǎng)絡(luò)業(yè)務(wù)進(jìn)行分類與識(shí)別，其本質(zhì)就是根據(jù)業(yè)務(wù)傳輸?shù)倪^程中在統(tǒng)計(jì)特征上的差異，以區(qū)分不同的業(yè)務(wù)類別。以往方法通過將統(tǒng)計(jì)特征作為輸入，根據(jù)輸入特征的不同訓(xùn)練分類器。而帶寬需求和持續(xù)時(shí)間這兩個(gè)統(tǒng)計(jì)特征是需要觀察整個(gè)數(shù)據(jù)流計(jì)算獲得，因此，將其作為輸入只適用于離線應(yīng)用。文中選擇帶寬需求和持續(xù)時(shí)間作為單獨(dú)的輔助任務(wù)進(jìn)行輸出，可以在訓(xùn)練的過程中計(jì)算獲得，同時(shí)主任務(wù)在訓(xùn)練過程中共享模型參數(shù)，能夠?qū)崿F(xiàn)高精度業(yè)務(wù)分類，從而滿足對(duì)業(yè)務(wù)在線分類的要求。

1.2 卷積神經(jīng)網(wǎng)絡(luò)

CNN是由使用卷積計(jì)算的若干層組成的前饋神經(jīng)網(wǎng)絡(luò)(Feedforward Neural Networks，F(xiàn)NN)。其由卷積層、池化層和全連接層組成，如圖1所示。卷積層的功能是對(duì)輸入數(shù)據(jù)進(jìn)行特征提取。為了生成輸出，卷積層在整個(gè)輸入上使用相同的卷積核，通過在一層中使用相同的卷積核，可以使學(xué)習(xí)的參數(shù)數(shù)量大幅減少。此外，在整個(gè)輸入中使用這些卷積核也有助于模型更容易地提取平移不變特征，實(shí)現(xiàn)具有平移不變特征的網(wǎng)絡(luò)業(yè)務(wù)分類任務(wù)。在卷積層進(jìn)行特征提取后，則需要通過池化層負(fù)責(zé)數(shù)據(jù)采樣，即選取特征以及過濾信息。全連接層位于卷積層和池化層的末端，常用于捕獲高級(jí)的特征，典型的CNN的具體架構(gòu)如圖1所示。

圖1 典型的CNN架構(gòu)

1.3 多任務(wù)學(xué)習(xí)

MTL的目的是在任務(wù)非完全獨(dú)立的假設(shè)下同時(shí)執(zhí)行若干個(gè)學(xué)習(xí)任務(wù)，是主任務(wù)使用相關(guān)任務(wù)的消息，提升泛化效果的一種機(jī)器學(xué)習(xí)類型。典型的MTL如自主駕駛，其中檢測(cè)危險(xiǎn)物體和對(duì)危險(xiǎn)距離評(píng)估是自主駕駛的兩項(xiàng)重要任務(wù)，基于這幾個(gè)任務(wù)是相關(guān)的并且可以共享參數(shù)，需要定義一種多任務(wù)學(xué)習(xí)方法聯(lián)合學(xué)習(xí)這些任務(wù)[11]。而多任務(wù)學(xué)習(xí)模型比幾個(gè)單任務(wù)學(xué)習(xí)模型更有效，考慮在MTL數(shù)據(jù)集中，所有任務(wù)都可以互相幫助，使得所有任務(wù)都能被更好地學(xué)習(xí)，因此，可以通過使用多任務(wù)學(xué)習(xí)方法提高業(yè)務(wù)分類任務(wù)的準(zhǔn)確性。常規(guī)的多任務(wù)學(xué)習(xí)結(jié)構(gòu)如圖 2 所示，其中，共享隱層中所有任務(wù)共享網(wǎng)絡(luò)參數(shù)，在對(duì)多個(gè)任務(wù)預(yù)測(cè)或分類時(shí)，訓(xùn)練所需要的數(shù)據(jù)量與模型參數(shù)的數(shù)量都將減少，使模型更加高效，隨后各任務(wù)的分類結(jié)果在輸出層中被分別輸出。

圖2 常規(guī)多任務(wù)學(xué)習(xí)架構(gòu)

2 多任務(wù)業(yè)務(wù)分類方案

2.1 數(shù)據(jù)集

數(shù)據(jù)集來源采用了Arunan Sivanathan等人[12]公開的數(shù)據(jù)集，包含多個(gè)物聯(lián)網(wǎng)設(shè)備以及非物聯(lián)網(wǎng)設(shè)備獲取的數(shù)據(jù)流量，包括智能開關(guān)、智能音響、智能手機(jī)、智能醫(yī)療設(shè)備、打印機(jī)、筆記本電腦和攝像頭等。每種設(shè)備代表著不同的業(yè)務(wù)類型，并按照文獻(xiàn)[13]對(duì)數(shù)據(jù)集進(jìn)行分類標(biāo)注。為了評(píng)估多任務(wù)學(xué)習(xí)方法，且僅使用少量標(biāo)簽數(shù)據(jù)提高主任務(wù)預(yù)測(cè)的準(zhǔn)確率，實(shí)驗(yàn)中只使用了800條標(biāo)記樣本，并且對(duì)數(shù)據(jù)集進(jìn)行了預(yù)處理。當(dāng)采樣短流數(shù)據(jù)時(shí)，沒有足夠的數(shù)據(jù)包提供多任務(wù)分類器，因此，在預(yù)處理過程中刪除了所有短流數(shù)據(jù)。在評(píng)估中，短流是指那些在采樣前小于100個(gè)數(shù)據(jù)包的流[14]。對(duì)于特征的選擇和提取，網(wǎng)絡(luò)流量分類器通常使用一種或四種類別的輸入功能組合，如時(shí)間序列、標(biāo)頭、有效負(fù)載和統(tǒng)計(jì)特征，考慮標(biāo)頭信息無(wú)法實(shí)現(xiàn)高精度，現(xiàn)在已經(jīng)很少采用；有效負(fù)載已被證明對(duì)于某些數(shù)據(jù)集和特殊流量類型以及加密方法比較有用，但是對(duì)于新的和更強(qiáng)大的加密協(xié)議，其作用有限；統(tǒng)計(jì)特征需要從整個(gè)流程中獲得，而對(duì)于取決于預(yù)測(cè)輸出的一些情況，如資源分配、路由決策等，一旦流量出現(xiàn)就必須進(jìn)行在線預(yù)測(cè)，根據(jù)統(tǒng)計(jì)特征預(yù)測(cè)顯然不適用于在線分類。因此，所提算法為滿足在線分類的要求，僅觀察前k個(gè)數(shù)據(jù)包，使用前k個(gè)數(shù)據(jù)包的3個(gè)時(shí)間序列特征，即選取數(shù)據(jù)包長(zhǎng)度、到達(dá)時(shí)間和方向作為特征值。

2.2 方法流程

提出了一種基于MTL-CNN的網(wǎng)絡(luò)業(yè)務(wù)識(shí)別算法，采用CNN作為共享層，其最重要的特征之一是移位不變性，因此適合于具有時(shí)間序列特征的業(yè)務(wù)分類任務(wù)。結(jié)合文獻(xiàn)[15]中提出的帶有屬性依賴層的MTL結(jié)構(gòu)，在共享隱藏層之后添加了任務(wù)間相互獨(dú)立的屬性依賴層。該層通過對(duì)帶寬需求和持續(xù)時(shí)間兩個(gè)輔助任務(wù)，對(duì)網(wǎng)絡(luò)業(yè)務(wù)進(jìn)行分類，多個(gè)任務(wù)之間共享特征和共同學(xué)習(xí)，同時(shí)允許每個(gè)子任務(wù)在屬性依賴層獨(dú)自優(yōu)化提升性能。

輔助任務(wù)的選取有兩個(gè)特點(diǎn)。一個(gè)是其應(yīng)該與網(wǎng)絡(luò)業(yè)務(wù)分類任務(wù)高度相關(guān)，另一個(gè)是不需要人為的標(biāo)記大量數(shù)據(jù)，而且可以較為容易的獲取。帶寬需求和持續(xù)時(shí)間往往作為特征輸入對(duì)業(yè)務(wù)進(jìn)行分類，并且可以通過觀察整個(gè)數(shù)據(jù)流計(jì)算獲得。因此，考慮使用帶寬需求和持續(xù)時(shí)間這兩項(xiàng)任務(wù)作為業(yè)務(wù)識(shí)別的輔助任務(wù)。在所提方法中，模型的輸入是一個(gè)具有兩個(gè)通道的長(zhǎng)度為s的向量。第一個(gè)通道包含前k個(gè)數(shù)據(jù)包的到達(dá)時(shí)間，第二個(gè)通道包含數(shù)據(jù)包的長(zhǎng)度和方向，其總體流程如圖3所示。

圖3 MTL-CNN流程

將3個(gè)時(shí)間序列特征輸入到共享層中，這里使用3層CNN作為共享層，對(duì)于該卷積層，使用Relu激活函數(shù)增加CNN各層之間的非線性關(guān)系，Relu函數(shù)實(shí)施的稀疏模型可以更好地挖掘相關(guān)特征并擬合訓(xùn)練數(shù)據(jù)。該激活函數(shù)表達(dá)式為

(1)

第三層輸出最后一個(gè)結(jié)果并將其輸入到屬性依賴層中。屬性依賴層由3個(gè)單獨(dú)的全連接層組成，分別將結(jié)果輸出到3個(gè)單獨(dú)的softmax輸出層中，最后輸出帶寬、持續(xù)時(shí)間和業(yè)務(wù)類別3個(gè)任務(wù)的分類結(jié)果。

2.3 目標(biāo)函數(shù)

(2)

其中：l表示交叉熵?fù)p失函數(shù)；λ表示業(yè)務(wù)分類任務(wù)預(yù)測(cè)的重要性的權(quán)重?？紤]主任務(wù)的訓(xùn)練數(shù)據(jù)樣本比其他兩項(xiàng)輔助任務(wù)的訓(xùn)練數(shù)據(jù)樣本要少得多，因此，可以增加λ稍微補(bǔ)償缺乏的標(biāo)記數(shù)據(jù)。對(duì)于所有訓(xùn)練數(shù)據(jù)，帶寬需求和持續(xù)時(shí)間標(biāo)簽都是可用的，只有一小部分的數(shù)據(jù)樣本有業(yè)務(wù)類別標(biāo)簽。在訓(xùn)練過程中，將業(yè)務(wù)類別softmax層的輸入與掩碼向量相乘，以防止主任務(wù)對(duì)沒有業(yè)務(wù)類別標(biāo)簽的數(shù)據(jù)樣本進(jìn)行反向傳播。

3 仿真與性能分析

3.1 實(shí)驗(yàn)環(huán)境配置

使用基于Python的Keras包對(duì)Arunan Sivanathan數(shù)據(jù)集實(shí)現(xiàn)多任務(wù)學(xué)習(xí)方法。在所有的實(shí)驗(yàn)中，訓(xùn)練階段僅需要幾分鐘時(shí)間，使用批處理優(yōu)化和Adam優(yōu)化器進(jìn)行訓(xùn)練，Adam參數(shù)設(shè)置模型學(xué)習(xí)率為0.001，衰減率為0.9。實(shí)驗(yàn)在操作系統(tǒng)Windows 10專業(yè)版、CPU為Intel core i7 4790/3.6 GHz/4cores，16 GB內(nèi)存以及開發(fā)環(huán)境為Python 3.7.0的環(huán)境下進(jìn)行。為體現(xiàn)多任務(wù)學(xué)習(xí)在性能上的優(yōu)勢(shì)，除對(duì)所提模型進(jìn)行實(shí)驗(yàn)外，在數(shù)據(jù)集相同的條件下還設(shè)計(jì)了3組對(duì)比實(shí)驗(yàn)。

MTL-CNN僅對(duì)數(shù)據(jù)集中的800條數(shù)據(jù)進(jìn)行業(yè)務(wù)分類標(biāo)記，將時(shí)間序列特征輸入CNN共享層，在模型訓(xùn)練后輸入到屬性依賴層，主任務(wù)通過屬性依賴層學(xué)習(xí)和共享輔助任務(wù)的參數(shù)，最后將3個(gè)任務(wù)分別輸出到3個(gè)獨(dú)立的softmax 輸出層。

單任務(wù)的卷積神經(jīng)網(wǎng)絡(luò)(Single-Task Learning Convoluctional Netural Network,STL-CNN)，該模型依然采用CNN模型捕獲內(nèi)部信息進(jìn)行訓(xùn)練，但只有一個(gè)softmax 輸出層，即只預(yù)測(cè)業(yè)務(wù)類別一種任務(wù)。

Only-CNN，該模型將時(shí)間序列特征輸入CNN共享層，將結(jié)果直接輸出到3個(gè)獨(dú)立的softmax 輸出層，該模型與文中模型不同之處是不包含屬性依賴層。

RF[13]模型對(duì)8萬(wàn)條樣本數(shù)據(jù)都進(jìn)行了業(yè)務(wù)分類標(biāo)注，以流信息和流頭部的數(shù)據(jù)包信息作為特征向量輸入，在RF模型中進(jìn)行訓(xùn)練以及預(yù)測(cè)業(yè)務(wù)類別，該模型的缺點(diǎn)是消耗較大的計(jì)算和存儲(chǔ)資源。

3.2 評(píng)價(jià)標(biāo)準(zhǔn)

可以利用準(zhǔn)確率、精確率、召回率、虛警率和漏報(bào)率等指標(biāo)從不同角度分析業(yè)務(wù)的分類效果[13，16]。為了從全局層面評(píng)價(jià)所提算法將多任務(wù)和CNN相結(jié)合對(duì)業(yè)務(wù)分類的效果，采用準(zhǔn)確率(Accuracy)評(píng)估所提算法的整體性能。準(zhǔn)確率指正確分類的數(shù)據(jù)流數(shù)量與所有數(shù)據(jù)流數(shù)量的比值，其定義[16]為

(3)

其中：TP與TN分別表示正確歸類的數(shù)據(jù)流，即TP表示屬于a類的數(shù)據(jù)流被正確歸為a類，TN表示不屬a類的被歸為非a類；FP與FN分別表示錯(cuò)誤歸類，即FP表示不屬于a類的被歸為a類，F(xiàn)N表示屬于a類的歸為非a類。

3.3 結(jié)果分析

3.3.1 單一任務(wù)業(yè)務(wù)類別預(yù)測(cè)準(zhǔn)確率

將數(shù)據(jù)集進(jìn)行分類標(biāo)注，根據(jù)物聯(lián)網(wǎng)設(shè)備和非物聯(lián)網(wǎng)設(shè)備將業(yè)務(wù)類別劃分為13種類型。表1顯示了在同一數(shù)據(jù)集下所有方法的每種業(yè)務(wù)類別識(shí)別的準(zhǔn)確性。由表1可以看出，在13種業(yè)務(wù)類別的準(zhǔn)確率中，智能嬰兒監(jiān)視器和網(wǎng)絡(luò)攝像頭識(shí)別率相對(duì)較低，由于其屬于同一物聯(lián)網(wǎng)設(shè)備，設(shè)備行為比較相似導(dǎo)致業(yè)務(wù)區(qū)分度不高，所提MTL-CNN算法的準(zhǔn)確率平均為95.60%。而對(duì)比算法STL-CNN與MTL-CNN，只對(duì)800條樣本數(shù)據(jù)進(jìn)行了分類標(biāo)記，考慮STL-CNN沒有其他的分類器，提取的特征只用于單一的業(yè)務(wù)分類，因此準(zhǔn)確率最低，不包含屬性依賴層的Only-CNN的準(zhǔn)確率約92.60%。說明MTL-CNN的屬性依賴層有助于該模型的學(xué)習(xí)能力，能夠提升該算法的區(qū)分業(yè)務(wù)類別的性能。

表1 業(yè)務(wù)類別識(shí)別準(zhǔn)確率

3.3.2 每項(xiàng)任務(wù)識(shí)別率

為了測(cè)試每項(xiàng)任務(wù)的識(shí)別率，先將權(quán)重λ值設(shè)置為1，強(qiáng)調(diào)3個(gè)任務(wù)平等。該參數(shù)設(shè)置一方面是為了與單任務(wù)實(shí)驗(yàn)做對(duì)比，另一方面是為了驗(yàn)證使用少量標(biāo)簽的主任務(wù)在訓(xùn)練過程中確實(shí)受到了具有豐富數(shù)據(jù)的輔助任務(wù)的影響。每項(xiàng)任務(wù)識(shí)別準(zhǔn)確率的測(cè)試結(jié)果如表2所示，關(guān)于輔助任務(wù)即帶寬和持續(xù)時(shí)間的準(zhǔn)確率，MTL-CNN算法和不含共享層的Only-CNN算法差別較小，說明使用相同的數(shù)據(jù)集進(jìn)行訓(xùn)練是否有共享屬性層對(duì)預(yù)測(cè)輔助任務(wù)影響不大。而對(duì)于主任務(wù)預(yù)測(cè)，MTL-CNN算法明顯高于其他算法，與使用所有標(biāo)記的數(shù)據(jù)集的RF算法相比，MTL-CNN算法僅用800條標(biāo)記的數(shù)據(jù)預(yù)測(cè)業(yè)務(wù)類別，準(zhǔn)確率仍高于RF算法?？紤]采用帶寬和持續(xù)時(shí)間任務(wù)的大量數(shù)據(jù)改善了訓(xùn)練過程，利用此數(shù)據(jù)訓(xùn)練模型參數(shù)，通過共享參數(shù)加強(qiáng)了預(yù)測(cè)業(yè)務(wù)類別的準(zhǔn)確率。因此，所提算法可以減少標(biāo)記的數(shù)據(jù)量，且提高預(yù)測(cè)的準(zhǔn)確率。

表2 每項(xiàng)任務(wù)識(shí)別準(zhǔn)確率

3.3.3 不同λ取值的任務(wù)的準(zhǔn)確率

不同λ取值的3個(gè)任務(wù)識(shí)別準(zhǔn)確率如圖4所示。當(dāng)在多任務(wù)學(xué)習(xí)中一項(xiàng)任務(wù)的訓(xùn)練樣本數(shù)量明顯少于其他任務(wù)時(shí)，深度學(xué)習(xí)模型的共享參數(shù)在訓(xùn)練過程中會(huì)受到具有大量數(shù)據(jù)的輔助任務(wù)的影響。增加主任務(wù)損失函數(shù)的權(quán)重，可以彌補(bǔ)訓(xùn)練過程中主任務(wù)數(shù)據(jù)的不足，并增加主任務(wù)對(duì)訓(xùn)練過程的影響。從圖4可以看出，增加λ有助于模型適應(yīng)主任務(wù)即業(yè)務(wù)類別識(shí)別任務(wù)，當(dāng)λ取10時(shí)，帶寬任務(wù)識(shí)別準(zhǔn)確率達(dá)94.85%，持續(xù)時(shí)間任務(wù)識(shí)別準(zhǔn)確率達(dá)92.58%，業(yè)務(wù)類別識(shí)別準(zhǔn)確率97.65%，此時(shí)主任務(wù)達(dá)到最大準(zhǔn)確率。同時(shí)，也可以觀察到，如果進(jìn)一步增加λ值將降低所有任務(wù)的準(zhǔn)確性。因此，對(duì)于多任務(wù)學(xué)習(xí)方法，合適的λ值有助于提高任務(wù)的準(zhǔn)確率。

圖4 λ與準(zhǔn)確率的關(guān)系

4 結(jié)語(yǔ)

提出了一種多任務(wù)學(xué)習(xí)和CNN的業(yè)務(wù)識(shí)別方法，用于預(yù)測(cè)業(yè)務(wù)類別以及流量的帶寬需求和持續(xù)時(shí)間。通過為帶寬需求和持續(xù)時(shí)間輔助任務(wù)提供足夠大的數(shù)據(jù)集，可以僅用少量標(biāo)記樣本訓(xùn)練業(yè)務(wù)類別預(yù)測(cè)任務(wù)。實(shí)驗(yàn)結(jié)果表明，采用相同的數(shù)據(jù)集，所提算法顯著優(yōu)于STL-CNN、Only-CNN和RF方法，其避免了大量標(biāo)記數(shù)據(jù)樣本，并且有較高的識(shí)別準(zhǔn)確率。但是要為輔助任務(wù)提供大量的數(shù)據(jù)，整個(gè)訓(xùn)練時(shí)長(zhǎng)仍有待改進(jìn)，考慮數(shù)據(jù)樣本的限制，所提系統(tǒng)的模型仍然較為簡(jiǎn)單，在未來的工作中，希望找到更適合的模型進(jìn)行特征提取，以獲得更高的識(shí)別準(zhǔn)確率。