基于Cross-DeepFM的軍事訓(xùn)練推薦模型*

高永強(qiáng)，張之明，王宇濤

(1.武警工程大學(xué)信息工程學(xué)院，陜西 西安 710086；2.中國(guó)人民武裝警察部隊(duì)貴州省總隊(duì)，貴州 貴陽(yáng) 550081)

1 引言

新一輪軍事信息化革命的推進(jìn)對(duì)軍事訓(xùn)練組訓(xùn)方式提出了新的要求。以往的軍事訓(xùn)練方式在尊重個(gè)體差異性方面仍有所欠缺，較難制定出個(gè)性化的訓(xùn)練計(jì)劃。將推薦系統(tǒng)應(yīng)用于軍事訓(xùn)練領(lǐng)域，通過(guò)適當(dāng)?shù)耐扑]算法對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行分析，可以形成具有針對(duì)性的軍事訓(xùn)練方案，為提高部隊(duì)整體戰(zhàn)斗力提供科學(xué)輔助。因此，個(gè)性化軍事訓(xùn)練推薦系統(tǒng)的研究與應(yīng)用具有重要的理論意義和實(shí)踐價(jià)值。

近年來(lái)，深度學(xué)習(xí)取得了長(zhǎng)足發(fā)展并被廣泛應(yīng)用到了計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理和語(yǔ)音識(shí)別等領(lǐng)域，基于深度學(xué)習(xí)的推薦系統(tǒng)研究也成為當(dāng)前研究的熱點(diǎn)之一。文獻(xiàn)[1]提出了基于深度學(xué)習(xí)的協(xié)同過(guò)濾模型NeuralCF(Neural Collaborative Filtering)，用深度神經(jīng)網(wǎng)絡(luò)替代了矩陣分解模型中簡(jiǎn)單的內(nèi)積操作，使用戶向量和物品向量能夠更充分地交叉，有效提高了模型的表達(dá)能力。文獻(xiàn)[2]將單層的線性模型和深度神經(jīng)網(wǎng)絡(luò)相結(jié)合提出了Wide &Deep模型，使模型兼具較強(qiáng)的“記憶能力”和“泛化能力”。文獻(xiàn)[3]用交叉網(wǎng)絡(luò)代替Wide &Deep模型中的Wide部分，組合交叉網(wǎng)絡(luò)和深度網(wǎng)絡(luò)2部分輸出進(jìn)行預(yù)測(cè)，提出了DCN(Deep &Cross Network)網(wǎng)絡(luò)模型。文獻(xiàn)[4]用因子分解機(jī)FM(Factorization Machine)模型替換了Wide &Deep模型中的Wide部分，提出了深度因子分解機(jī)模型DeepFM(Deep Factorization Machine)，加強(qiáng)了淺層網(wǎng)絡(luò)部分的特征組合能力。隨著圖神經(jīng)網(wǎng)絡(luò)的不斷發(fā)展，越來(lái)越多的研究人員提出了基于圖神經(jīng)網(wǎng)絡(luò)的推薦算法。文獻(xiàn)[5]將GCN(Graph Convolutional Network)引入推薦系統(tǒng)，提出了NGCF(Neural Graph Collaborative Filtering)模型，顯式建模User-Item之間的高階連接性并據(jù)此給出推薦。文獻(xiàn)[6]提出了一種高效的圖卷積神經(jīng)網(wǎng)絡(luò)推薦算法PinSage，通過(guò)該算法產(chǎn)生圖中節(jié)點(diǎn)的嵌入表達(dá)，成功地將其應(yīng)用到了節(jié)點(diǎn)數(shù)為10億級(jí)別的超大規(guī)模推薦系統(tǒng)中。文獻(xiàn)[7]提出了RippleNet，引入知識(shí)圖譜信息，沿著知識(shí)圖譜中的連接自動(dòng)擴(kuò)展用戶的潛在偏好，提高了推薦系統(tǒng)的性能。文獻(xiàn)[8]提出了基于知識(shí)圖譜和圖注意網(wǎng)絡(luò)的推薦算法KG-GAT(Knowledge Graph and Graph Attention neTwork)，將知識(shí)圖譜作為輔助信息，在圖注意網(wǎng)絡(luò)中使用分層注意力機(jī)制獲取更有效的用戶和項(xiàng)目的潛在表示，能夠生成更精確的top-N推薦列表。

目前，推薦系統(tǒng)在軍事領(lǐng)域已有諸多應(yīng)用，尤其是軍事情報(bào)智能推送和軍事新聞個(gè)性化推薦領(lǐng)域。申遠(yuǎn)等[9]提出了一種基于深度神經(jīng)網(wǎng)絡(luò)和Doc2Vec的戰(zhàn)場(chǎng)態(tài)勢(shì)智能推送算法，能夠充分利用用戶-情報(bào)歷史交互信息挖掘二者之間的關(guān)聯(lián)關(guān)系，是混合推薦模型在軍事情報(bào)智能推送中的典型應(yīng)用之一。王中偉等[10]針對(duì)軍事用戶特點(diǎn)，提出了一種軍事文本信息智能推薦技術(shù)，并基于“沙漠風(fēng)暴”軍事文本內(nèi)容構(gòu)建了軍事用戶角色的特征層次模型，實(shí)現(xiàn)了情報(bào)信息的智能推薦。袁仁進(jìn)[11]提出了一種基于支持向量機(jī)和二分K均值聚類的軍事新聞推薦方法，首先使用支持向量機(jī)來(lái)表示軍事新聞的文本特征，然后使用聚類算法對(duì)文本進(jìn)行分類，最后將各類軍事新聞推薦給相應(yīng)的感興趣的用戶。但是，推薦系統(tǒng)在軍事訓(xùn)練領(lǐng)域的應(yīng)用目前還比較少。

基于對(duì)深度學(xué)習(xí)推薦系統(tǒng)的研究分析，本文將推薦系統(tǒng)應(yīng)用到軍事訓(xùn)練領(lǐng)域，基于DeepFM模型的設(shè)計(jì)思路，將深度殘差神經(jīng)網(wǎng)絡(luò)DRN(Deep Residual Network)、深度交叉網(wǎng)絡(luò)DCN和因子分解機(jī)FM相結(jié)合，提出了Cross-DeepFM(Cross Deep Factorization Machine)混合推薦模型。最后將該模型與主流的深度推薦模型進(jìn)行了對(duì)比實(shí)驗(yàn)，驗(yàn)證了該模型的有效性。

2 模型工作流程

為完成軍事訓(xùn)練推薦任務(wù)，本文所提模型的工作流程如圖1所示，主要步驟包括軍事訓(xùn)練數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理與特征提取、推薦模型設(shè)計(jì)、模型訓(xùn)練和模型評(píng)估與應(yīng)用。

Figure 1 Flow chart of model圖1 模型工作流程

步驟1軍事訓(xùn)練數(shù)據(jù)采集。該步驟主要是收集模型所需要的原始數(shù)據(jù)。本文采集了某軍事院校2020年4個(gè)季度的學(xué)員軍事訓(xùn)練成績(jī)以及參訓(xùn)人員和訓(xùn)練科目信息,構(gòu)建軍事訓(xùn)練數(shù)據(jù)集。

步驟2數(shù)據(jù)預(yù)處理與特征提取。對(duì)原始數(shù)據(jù)中的重復(fù)值、缺失值和異常值等非法數(shù)據(jù)進(jìn)行修正，對(duì)數(shù)據(jù)進(jìn)行one-hot編碼和歸一化操作，使數(shù)據(jù)格式符合模型訓(xùn)練的要求。

步驟3推薦模型設(shè)計(jì)。為提高推薦效果，克服傳統(tǒng)推薦模型面臨的數(shù)據(jù)稀疏和冷啟動(dòng)問(wèn)題，在DeepFM模型結(jié)構(gòu)的基礎(chǔ)上，提出了一種結(jié)合深度殘差網(wǎng)絡(luò)、深度交叉網(wǎng)絡(luò)和因子分解機(jī)的混合推薦模型。

步驟4模型訓(xùn)練。每輪訓(xùn)練輸入一個(gè)批次的數(shù)據(jù)，根據(jù)設(shè)定好的損失函數(shù)計(jì)算損失值，應(yīng)用誤差反向傳播算法計(jì)算梯度并利用梯度下降算法更新模型參數(shù)，循環(huán)迭代至模型收斂。

步驟5模型評(píng)估與應(yīng)用。選定評(píng)估指標(biāo)，在本文構(gòu)建的軍事訓(xùn)練數(shù)據(jù)集上測(cè)試模型性能，并與因子分解機(jī)、深度因子分解機(jī)和深度交叉網(wǎng)絡(luò)等模型進(jìn)行對(duì)比，并最終通過(guò)結(jié)合多個(gè)模型輸出結(jié)果完成軍事訓(xùn)練推薦任務(wù)。

3 Cross-DeepFM模型結(jié)構(gòu)

3.1 模型整體結(jié)構(gòu)

本文提出的Cross-DeepFM模型由深度殘差網(wǎng)絡(luò)DRN、深度交叉網(wǎng)絡(luò)DCN和因子分解機(jī)FM 3部分并行組成，模型結(jié)構(gòu)如圖2所示。其中，F(xiàn)M負(fù)責(zé)對(duì)二階特征組合進(jìn)行自動(dòng)學(xué)習(xí)，DCN負(fù)責(zé)提取線性交叉組合特征，DRN負(fù)責(zé)提取深層次高階非線性特征。下面詳細(xì)分析模型各個(gè)組成部分的結(jié)構(gòu)和原理。

Figure 2 Structure of Cross-DeepFM model 圖2 Cross-DeepFM模型結(jié)構(gòu)

3.2 嵌入層

原始數(shù)據(jù)中的參訓(xùn)學(xué)員ID、學(xué)員類別、訓(xùn)練科目ID、訓(xùn)練科目類型等類別型字段數(shù)據(jù)經(jīng)過(guò)one-hot編碼后包含大量離散信息，直接將高維稀疏特征傳入模型會(huì)導(dǎo)致模型參數(shù)過(guò)多，所以在模型的輸入部分引入嵌入層(Embedding Layer)，將高維稀疏特征轉(zhuǎn)換為低維稠密特征。

3.3 FM

FM是由Rendle等[12]提出的，其綜合了矩陣分解和支持向量機(jī)模型的優(yōu)勢(shì)，尤其適合數(shù)據(jù)稀疏的場(chǎng)景。普通線性模型僅僅將不同特征進(jìn)行加權(quán)求和，沒(méi)有考慮特征之間的組合關(guān)系，模型的表達(dá)能力較弱。FM在線性回歸模型的基礎(chǔ)上，引入了二階組合項(xiàng)xixj，能夠?qū)W習(xí)特征之間的非線性交互關(guān)系，其表達(dá)式如式(1)所示：

(1)

(2)

此時(shí)二階FM表達(dá)式可以寫(xiě)為式(3)所示：

(3)

利用隨機(jī)梯度下降方法對(duì)FM進(jìn)行訓(xùn)練，通過(guò)式(3)可以得到模型中各個(gè)參數(shù)的梯度如式(4)所示：

(4)

3.4 DCN

FM是淺層模型，可以有效地提取一階特征和二階特征，如果加入三階及以上的特征組合，會(huì)使模型的預(yù)測(cè)和訓(xùn)練復(fù)雜度過(guò)高，最終導(dǎo)致特征爆炸問(wèn)題。為了增加特征之間的交互力度，本文在模型中引入Cross Network[3]對(duì)輸入向量進(jìn)行高階特征交叉。單層Cross Network的結(jié)構(gòu)如圖3[3]所示。

Figure 3 Structure of Cross Network圖3 Cross Network結(jié)構(gòu)

假設(shè)第l層Cross Network的輸出向量為xl，則第l+1層輸出向量的計(jì)算公式如式(5)所示：

(5)

由Cross Network的結(jié)構(gòu)可知，多層Cross Network的參數(shù)量為D×L×2，其中，D為輸入數(shù)據(jù)的維度，L為Cross Network的層數(shù)。與全連接神經(jīng)網(wǎng)絡(luò)相比，其參數(shù)要少一個(gè)數(shù)量級(jí)?？梢?jiàn)，多層Cross Network充分考慮了不同特征之間的交叉組合，原始數(shù)據(jù)在每一層都和當(dāng)前層數(shù)據(jù)進(jìn)行特征交叉，在保留原始數(shù)據(jù)低階特征的同時(shí)，又交叉作用于深層高階特征。

3.5 DRN

DRN是一個(gè)全連接的多層前饋神經(jīng)網(wǎng)絡(luò)，通過(guò)多個(gè)全連接的神經(jīng)網(wǎng)絡(luò)層獲得復(fù)雜的非線性處理能力。深度全連接神經(jīng)網(wǎng)絡(luò)每層的輸出如式(6)所示：

a(l+1)=σ(W(l+1)a(l)+b(l))

(6)

其中，a(l+1)為第l層的輸出，W(l+1)和b(l)分別為第l層的權(quán)重矩陣和偏置，σ(·)為激活函數(shù)。

通常認(rèn)為，深度神經(jīng)網(wǎng)絡(luò)的深度越深，其提取特征的能力和表達(dá)能力越強(qiáng)，然而，深度增加也會(huì)導(dǎo)致模型難以收斂，造成網(wǎng)絡(luò)性能退化。為了增加網(wǎng)絡(luò)深度增強(qiáng)網(wǎng)絡(luò)提取高級(jí)特征的能力，同時(shí)克服深層神經(jīng)網(wǎng)絡(luò)面臨的梯度消失和梯度爆炸問(wèn)題，本文在DRN中引入殘差結(jié)構(gòu)[13]和Dropout機(jī)制[14]，結(jié)構(gòu)如圖4所示。圖4中，x表示殘差模塊的輸入，F(xiàn)(x)表示殘差函數(shù)。每個(gè)殘差模塊的輸入都與殘差模塊的輸出加在一起，作為輸出，即：xl+1=xl+F(xl,Wl)。引入殘差模塊，增加了一個(gè)恒等映射，將原始需要學(xué)習(xí)的函數(shù)H(x)轉(zhuǎn)換為F(x)+x,F(x)+x的優(yōu)化難度比H(x)小得多，并且不會(huì)給網(wǎng)絡(luò)增加額外的參數(shù)和計(jì)算量，在模型層數(shù)增加時(shí)能很好地解決模型的性能退化問(wèn)題。

Figure 4 Structure with deep residual network and Dropout圖4 引入殘差模塊和Dropout的網(wǎng)絡(luò)結(jié)構(gòu)

在深度殘差網(wǎng)絡(luò)中引入Dropout機(jī)制是為了防止模型在訓(xùn)練過(guò)程中出現(xiàn)過(guò)擬合現(xiàn)象，增強(qiáng)模型的泛化能力。在訓(xùn)練過(guò)程中每個(gè)神經(jīng)元會(huì)以設(shè)定的概率進(jìn)入失活狀態(tài)，例如神經(jīng)網(wǎng)絡(luò)中某一層有1 000個(gè)神經(jīng)元，本文設(shè)定Dropout概率為0.3，則這一層神經(jīng)元經(jīng)過(guò)Dropout后，大約300個(gè)神經(jīng)元的輸出值會(huì)被置為0。其計(jì)算公式如式(7)所示：

(7)

3.6 輸出層

最后模型的輸出如式(8)所示：

(8)

4 模型訓(xùn)練

本文采用的目標(biāo)函數(shù)為平方損失函數(shù)，如式(9)所示：

(9)

在模型訓(xùn)練開(kāi)始前，首先隨機(jī)初始化模型參數(shù)，在前向傳播階段將訓(xùn)練集數(shù)據(jù)輸入模型計(jì)算出一個(gè)目標(biāo)值及其對(duì)應(yīng)的損失函數(shù)值。在反向傳播階段，利用反向傳播算法計(jì)算出模型中每個(gè)參數(shù)的梯度值，采用梯度下降算法對(duì)模型參數(shù)進(jìn)行更新。循環(huán)執(zhí)行上述操作直到完成指定的迭代次數(shù)，模型訓(xùn)練完成。Cross-DeepFM模型的整體訓(xùn)練流程如算法1所示。

算法1Cross-DeepFM模型訓(xùn)練

輸入:訓(xùn)練集、模型參數(shù)、批次大小batch、迭代次數(shù)epoch和學(xué)習(xí)率r。

輸出:優(yōu)化的模型參數(shù)。

步驟1初始化模型參數(shù);

步驟2創(chuàng)建Adam優(yōu)化器對(duì)象；

步驟3While迭代次數(shù)小于epochdo

步驟4for一批次數(shù)據(jù) in 訓(xùn)練集do

步驟5將數(shù)據(jù)輸入嵌入層，將高維的稀疏向量轉(zhuǎn)換為低維的稠密向量;

步驟6利用式(3)得到FM的輸出yFM;

步驟7利用式(5)得到DCN的輸出yDCN;

步驟8利用式(6)和式(7)得到DRN的輸出yDRN;

步驟9將以上3部分輸出向量進(jìn)行拼接，利用式(8)得到模型的最終輸出;

步驟10利用式(9)計(jì)算模型損失值;

步驟11利用反向傳播算法計(jì)算參數(shù)梯度;

步驟12使用Adam優(yōu)化器更新模型參數(shù);

步驟13endfor

步驟14endwhile

5 實(shí)驗(yàn)與結(jié)果分析

5.1 實(shí)驗(yàn)環(huán)境

本文實(shí)驗(yàn)使用的硬件平臺(tái)為Intel Xeon(R)Gold 5218 處理器,NVIDIA GeForce RTX 3080 12 GB顯卡。軟件平臺(tái)為Ubuntu 18.04操作系統(tǒng)，深度學(xué)習(xí)框架為PyTorch，編程語(yǔ)言為Python 3.7。具體環(huán)境參數(shù)配置參見(jiàn)表1。

Table 1 Parameters of experimental environment表1 實(shí)驗(yàn)環(huán)境參數(shù)

5.2 數(shù)據(jù)集

本文采用的自定義軍事訓(xùn)練數(shù)據(jù)集來(lái)源于某軍事院校學(xué)員某年度全年的軍事訓(xùn)練考核數(shù)據(jù)，包括3 600名參訓(xùn)人員在15個(gè)軍事訓(xùn)練科目上的20 000條訓(xùn)練成績(jī)數(shù)據(jù)，主要包括以下3部分內(nèi)容。

(1)參訓(xùn)學(xué)員個(gè)人信息。該部分?jǐn)?shù)據(jù)包含學(xué)員號(hào)、身份證號(hào)、姓名、性別、學(xué)員類別、入學(xué)年份、年齡、籍貫、身高、體重和單位等屬性數(shù)據(jù)。

(2)訓(xùn)練科目基本信息。該部分?jǐn)?shù)據(jù)采集自最新的軍事訓(xùn)練與考核大綱等文件，包括科目名稱、類型、評(píng)分標(biāo)準(zhǔn)和成績(jī)?cè)u(píng)定等數(shù)據(jù)。

(3)參訓(xùn)學(xué)員軍事科目訓(xùn)練成績(jī)和評(píng)價(jià)信息。該部分?jǐn)?shù)據(jù)包含學(xué)員號(hào)、訓(xùn)練科目、考核時(shí)間、考核地點(diǎn)、考官、考核成績(jī)、評(píng)定和綜合評(píng)價(jià)等數(shù)據(jù)。

將數(shù)據(jù)集隨機(jī)分成訓(xùn)練集和測(cè)試集2部分，訓(xùn)練集占比80%，用于學(xué)習(xí)推薦模型中的參數(shù)；測(cè)試集占比20%，用于評(píng)估推薦模型的準(zhǔn)確性。

5.3 評(píng)價(jià)指標(biāo)

本文采用均方根誤差RMSE(Root Mean Square Error)和平均絕對(duì)誤差MAE(Mean Absolute Error)作為模型性能的評(píng)估指標(biāo)，誤差值越小，表明算法的推薦精度越高。RMSE和MAE的計(jì)算方式分別如式(10)和式(11)所示:

(10)

(11)

5.4 對(duì)比模型

為了驗(yàn)證Cross-DeepFM模型的性能，本文采用以下幾個(gè)具有代表性的推薦模型進(jìn)行對(duì)比實(shí)驗(yàn)：

(1)FM模型[12]:一種能對(duì)二階特征組合進(jìn)行自動(dòng)學(xué)習(xí)的模型，通過(guò)隱向量做內(nèi)積來(lái)表示組合特征，能夠有效解決高維數(shù)據(jù)的特征組合問(wèn)題，具有較高的預(yù)測(cè)精度和計(jì)算效率，在推薦系統(tǒng)領(lǐng)域得到了廣泛研究和應(yīng)用。

(2)神經(jīng)因子分解機(jī)NFM(Neural Factorization Machine)模型[15]:在嵌入層和神經(jīng)網(wǎng)絡(luò)層之間加入了特征交叉池化層，與傳統(tǒng)因子分解機(jī)模型相比，實(shí)現(xiàn)了更高階的特征交叉，獲得了更好的預(yù)測(cè)性能。

(3)DCN模型[3]:由谷歌和斯坦福大學(xué)提出的一種深度學(xué)習(xí)推薦模型，采用交叉網(wǎng)絡(luò)代替Wide &Deep模型中的Wide部分，組合交叉網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)2部分的輸出進(jìn)行預(yù)測(cè)。

(4)DeepFM模型[4]:由哈爾濱工業(yè)大學(xué)和華為提出的一種深度學(xué)習(xí)推薦模型，結(jié)合了因子分解機(jī)和深度神經(jīng)網(wǎng)絡(luò)，因子分解機(jī)負(fù)責(zé)提取低階組合特征，深度神經(jīng)網(wǎng)絡(luò)部分負(fù)責(zé)提取高階組合特征。

5.5 實(shí)驗(yàn)結(jié)果分析

本文為了從多角度驗(yàn)證本文模型的有效性，從深度網(wǎng)絡(luò)結(jié)構(gòu)對(duì)算法性能的影響、深度模型參數(shù)對(duì)算法性能的影響和算法效果對(duì)比3個(gè)方面進(jìn)行了實(shí)驗(yàn)。

5.5.1 深度網(wǎng)絡(luò)結(jié)構(gòu)對(duì)模型性能的影響

為了研究殘差模塊對(duì)模型性能的影響，本文在自定義軍事訓(xùn)練數(shù)據(jù)集上設(shè)置了一組對(duì)比實(shí)驗(yàn)。去除Cross-DeepFM模型中的殘差模塊DRN，全部替換成普通的全連接層，并與原始Cross-DeepFM模型進(jìn)行實(shí)驗(yàn)對(duì)比，結(jié)果如表2所示,表中數(shù)據(jù)均為5次實(shí)驗(yàn)結(jié)果的平均值。

Table 2 Influence of residual module on model performance表2 殘差模塊對(duì)模型性能的影響

從實(shí)驗(yàn)結(jié)果可以看出，加入殘差模塊的模型性能整體優(yōu)于不加入殘差模塊的模型的。在自定義軍事訓(xùn)練數(shù)據(jù)集上，引入殘差模塊的Cross-DeepFM模型的MAE為0.882 0，相較于只采用普通全連接神經(jīng)網(wǎng)絡(luò)的Cross-DeepFM模型下降了4.5%；RMSE為1.113 5，下降了9.2%。以上結(jié)果表明，引入殘差模塊可以有效解決深度神經(jīng)網(wǎng)絡(luò)的退化問(wèn)題，提高了模型的高階特征學(xué)習(xí)能力。

5.5.2 深度模型參數(shù)對(duì)模型性能的影響

為了探究Cross-DeepFM模型中深度神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)層數(shù)L的最優(yōu)值，本文對(duì)網(wǎng)絡(luò)層數(shù)L對(duì)模型性能的影響進(jìn)行了實(shí)驗(yàn)測(cè)試，實(shí)驗(yàn)結(jié)果如圖5所示。圖5中展示了神經(jīng)網(wǎng)絡(luò)層數(shù)從2到10變化時(shí)，Cross-DeepFM模型在訓(xùn)練集和測(cè)試集上RMSE值的變化趨勢(shì)。在訓(xùn)練集上，隨著網(wǎng)絡(luò)層數(shù)的增大，模型的RMSE值逐漸下降，表明模型的擬合能力在逐漸增強(qiáng)。在測(cè)試集上，隨著網(wǎng)絡(luò)層數(shù)的增大，RMSE值呈現(xiàn)出先下降后上升的趨勢(shì)，當(dāng)網(wǎng)絡(luò)層數(shù)為6時(shí)，RMSE值最小，此時(shí)模型的準(zhǔn)確度最高。當(dāng)網(wǎng)絡(luò)層數(shù)繼續(xù)增大時(shí)，模型在訓(xùn)練集上的效果很好，而在測(cè)試集上的效果開(kāi)始變差，表明模型出現(xiàn)了過(guò)擬合現(xiàn)象，泛化能力變差。該實(shí)驗(yàn)結(jié)果表明，恰當(dāng)?shù)哪Ｐ蛯訑?shù)設(shè)置能夠使模型具有較高泛化能力的同時(shí)保持合理的計(jì)算復(fù)雜度，因此在下一步的模型性能對(duì)比實(shí)驗(yàn)中將神經(jīng)網(wǎng)絡(luò)層數(shù)設(shè)定為6。

Figure 5 Influence of neural network layers on model performance圖5 神經(jīng)網(wǎng)絡(luò)層數(shù)對(duì)模型性能的影響

為了防止模型過(guò)擬合，本文在DCN模型、DeepFM模型和Cross-DeepFM模型中的深度神經(jīng)網(wǎng)絡(luò)部分引入Dropout機(jī)制。為了分析不同Dropout比率對(duì)模型性能的影響，本文以Dropout比率作為自變量，模型的RMSE值作為因變量，在自定義軍事訓(xùn)練數(shù)據(jù)集上進(jìn)行了對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖6所示。

Figure 6 Influence of Dropout rate on model performance圖6 Dropout比率對(duì)模型性能的影響

從圖6可知，隨著Dropout比率的逐漸提高，模型性能呈現(xiàn)出先升高后下降的趨勢(shì)。這是由于Dropout比率過(guò)大時(shí)，神經(jīng)網(wǎng)絡(luò)中大部分神經(jīng)元處于休眠狀態(tài)，使模型的表達(dá)能力下降，處于欠擬合狀態(tài)；而Dropout比率過(guò)小時(shí)，神經(jīng)網(wǎng)絡(luò)中大部分神經(jīng)元處于活躍狀態(tài)，模型很容易出現(xiàn)過(guò)擬合狀態(tài)。這反映出恰當(dāng)?shù)腄ropout比率設(shè)置可以有效緩解過(guò)擬合，使模型具有更好的泛化能力。根據(jù)以上實(shí)驗(yàn)結(jié)果，在下一步的模型性能對(duì)比實(shí)驗(yàn)中將Dropout比率設(shè)定為0.5。

5.5.3 模型性能對(duì)比實(shí)驗(yàn)

為了客觀地驗(yàn)證本文模型的性能，本文將使用最優(yōu)參數(shù)組合條件下的Cross-DeepFM模型與4.5.4節(jié)介紹的4個(gè)推薦模型進(jìn)行對(duì)比實(shí)驗(yàn)，通過(guò)RMSE和MAE指標(biāo)評(píng)估模型性能。最終實(shí)驗(yàn)結(jié)果如表3所示，表中數(shù)據(jù)均為5次實(shí)驗(yàn)結(jié)果的平均值。

Table 3 MAE and RMSE comparison of different models表3 不同模型的MAE和RMSE

分析實(shí)驗(yàn)結(jié)果可以得到如下結(jié)論：

在使用相同數(shù)據(jù)集的情況下，深度學(xué)習(xí)模型的性能比因子分解機(jī)等傳統(tǒng)淺層模型的性能更優(yōu)。主要原因在于：首先，傳統(tǒng)淺層模型的局限性在于其只能學(xué)習(xí)線性特征，而深度學(xué)習(xí)推薦模型能夠以非線性方式對(duì)參訓(xùn)人員和訓(xùn)練科目進(jìn)行建模；其次，一些深度學(xué)習(xí)技巧如Dropout、殘差連接等能夠有效抑制過(guò)擬合，提高了模型的泛化能力。

本文提出的Cross-DeepFM模型在軍事訓(xùn)練數(shù)據(jù)集上的MAE值和RMSE值均優(yōu)于對(duì)比模型的，取得了最優(yōu)的結(jié)果。在自定義軍事訓(xùn)練數(shù)據(jù)集上，Cross-DeepFM模型的MAE值為0.882 4，相比對(duì)比模型中表現(xiàn)最好的DeepFM模型，下降了6.3%；RMSE值為1.112 0，相比表現(xiàn)最好的DCN模型,下降了3.6%。該實(shí)驗(yàn)結(jié)果表明，Cross-DeepFM模型結(jié)合了因子分解機(jī)、深度交叉網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)，能夠有效提高評(píng)分預(yù)測(cè)和成績(jī)預(yù)測(cè)的準(zhǔn)確度。

6 結(jié)束語(yǔ)

本文基于因子分解機(jī)、深度交叉網(wǎng)絡(luò)和深度殘差神經(jīng)網(wǎng)絡(luò)，提出了Cross-DeepFM模型，并將其應(yīng)用于軍事訓(xùn)練推薦系統(tǒng)。最后在自定義軍事訓(xùn)練數(shù)據(jù)集上進(jìn)行了對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果驗(yàn)證了本文模型的準(zhǔn)確性和優(yōu)越性。下一步將在本文工作的基礎(chǔ)上繼續(xù)進(jìn)行以下2個(gè)方面的研究：一是融入評(píng)論文本等多源異構(gòu)數(shù)據(jù)，提高模型準(zhǔn)確度；二是針對(duì)算法運(yùn)行效率做出改進(jìn)，提高算法在大規(guī)模數(shù)據(jù)集上的運(yùn)算速率。