基于深度神經(jīng)網(wǎng)絡(luò)的智能推送系統(tǒng)研究*

畢 波， 許 靜

(馬鞍山師范高等?？茖W(xué)校1.軟件工程系；2教師教育系，安徽 馬鞍山 243041)

0 引 言

推送系統(tǒng)有利于提高用戶對(duì)服務(wù)的參與度和總體滿意度，在協(xié)助用戶選擇方面越來越受歡迎[1]。推送系統(tǒng)是信息和電子商務(wù)系統(tǒng)的重要組成部分，個(gè)性化推送系統(tǒng)的智能推送功能可以有效地從海量互聯(lián)網(wǎng)數(shù)據(jù)中為用戶提供有價(jià)值的信息。推送系統(tǒng)已被研究并應(yīng)用于不同領(lǐng)域的在線服務(wù)中，例如音樂[2]、視頻、社交、工作、職位[3]等。隨著人工智能技術(shù)的發(fā)展，越來越多的智能產(chǎn)品被應(yīng)用在日常生活中，并在各個(gè)方面為人們提供了便利。深度神經(jīng)網(wǎng)絡(luò)(DNN)在各個(gè)領(lǐng)域都取得了巨大的成功，一些研究人員最近提出了基于深度學(xué)習(xí)的推送模型，但是其中大多數(shù)模型都使用與應(yīng)用有關(guān)的附加特征(例如文本內(nèi)容和音頻信息)來增強(qiáng)其性能。考慮到大多數(shù)推送系統(tǒng)可能很難獲得上述信息，提出了一種基于深度神經(jīng)網(wǎng)絡(luò)的推送模型，該模型不需要用戶和項(xiàng)目之間的交互，也不需要任何額外的信息。

1 特征表示模型

在本方法中，需要根據(jù)評(píng)分矩陣獲得用戶和商品的特征。在本節(jié)中，將討論各種特征表示方法。

令n個(gè)用戶對(duì)m個(gè)項(xiàng)目的用戶項(xiàng)目評(píng)分矩陣為R。矩陣的元素Rij代表第j個(gè)項(xiàng)目的第i個(gè)用戶的評(píng)分。如果不存在評(píng)分記錄，則Rij等于0。此外，令用戶的潛在特征矩陣為U，第i行的向量Ui代表第i個(gè)用戶的特征。而項(xiàng)目的潛在特征由矩陣V表示。

(1)評(píng)級(jí)特征。評(píng)級(jí)特征是一種特征表示方法，其主要思想是將用戶的評(píng)級(jí)數(shù)據(jù)直接視為用戶的特征，即U=R，同樣，項(xiàng)目的特征是V=RT。

盡管評(píng)級(jí)特征的方法簡(jiǎn)單有效，但也存在一些不足。評(píng)分矩陣非常稀疏，因此有許多丟失的數(shù)據(jù)。如果沒有仔細(xì)處理丟失的數(shù)據(jù)，則結(jié)果模型可能不夠準(zhǔn)確，并且找到合理的方法來處理此類數(shù)據(jù)可能需要進(jìn)行大量額外工作。

(2)ID特征。用戶或項(xiàng)目的ID是唯一的，因此可以將其視為所需的特征。但是，ID是無法比較或無法進(jìn)行其他數(shù)學(xué)運(yùn)算的分類變量。因此，He等人[4]提出了一種稱為神經(jīng)協(xié)同過濾(NCF)的方法，如下所示：，

Ui=NN(OneHot(i))

(1)

Vj=NN(OneHot(j))

(2)

其中，OneHot(i)表示使用One-Hot方法對(duì)IDi進(jìn)行編碼，這將生成具有指定維數(shù)的零向量，并且該向量的第i個(gè)位置將設(shè)置為1。NN(x)表示當(dāng)輸入為x時(shí)神經(jīng)網(wǎng)絡(luò)的輸出。

(3)奇異值分解。矩陣分解技術(shù)在減小尺寸和特征表示的情況下實(shí)現(xiàn)了強(qiáng)大的性能。因此，當(dāng)需要從矩陣學(xué)習(xí)特征時(shí)，這是一個(gè)可行的選擇。奇異值分解(SVD)算法是最著名的矩陣分解算法之一。 該算法將矩陣分解為三個(gè)矩陣，從而獲得用戶和商品的特征。SVD的表達(dá)式如下：

R=USVT

(3)

其中對(duì)角矩陣S的對(duì)角元素由矩陣R的特征值組成。此方法還需要預(yù)處理大量缺失值，由于在求解特征值時(shí)復(fù)雜度很高，因此在處理大規(guī)模數(shù)據(jù)時(shí)性能較差。

(4)概率矩陣分解。概率矩陣分解(PMF)算法[5]使用用戶的潛在特征和項(xiàng)目特征的乘積來獲得相應(yīng)的評(píng)分。當(dāng)最小二乘誤差用作損失函數(shù)時(shí)，表達(dá)式如下：

(4)

其中參數(shù)λ1和λ2表示λ2常規(guī)參數(shù)。 由于存在缺失值，在計(jì)算損失時(shí)不應(yīng)考慮這些缺失值，因此修改后的損失函數(shù)如下：

(5)

其中，當(dāng)Rij為零時(shí)δij=0；否則δij=1?？梢钥闯?，PMF算法可以有效避免值丟失的問題。但是，該算法的基本假設(shè)是用戶和商品的功能完全獨(dú)立，而且不同功能之間可能存在一定的相關(guān)性。

(5)二次多項(xiàng)式回歸。考慮到上述方法的缺點(diǎn)，提出了一種基于二次多項(xiàng)式回歸(QPR)的特征表示方法，不僅避免了缺失值的預(yù)處理可能導(dǎo)致不準(zhǔn)確的問題，還可以考慮特征之間的相關(guān)性。

在傳統(tǒng)的二次多項(xiàng)式回歸模型中，對(duì)于特征向量x，對(duì)應(yīng)的監(jiān)督值y由以下表達(dá)式表示：

(6)

其中參數(shù)l表示向量x的維數(shù)，z表示常數(shù)項(xiàng)的系數(shù)，w表示一階系數(shù)，W表示二階系數(shù)。因此，在提出的方法中，x=(Uu,Vv)，和y=Ruv，于是有

(7)

令

(8)

(9)

然后可以看到，pu僅與用戶u有關(guān)，而qv僅與項(xiàng)目v有關(guān)。因此，獲得了最終模型：

(10)

與PMF算法一樣，QPR的訓(xùn)練損失通過最小二乘法進(jìn)行評(píng)估。 因此，有

(11)

通過優(yōu)化方程 (11)來最小化L，可以獲得需要的兩個(gè)矩陣U和V。

2 深度神經(jīng)網(wǎng)絡(luò)模型與訓(xùn)練

2.1 深度神經(jīng)網(wǎng)絡(luò)模型

在本小節(jié)中，將介紹使用的深度神經(jīng)網(wǎng)絡(luò)模型，該模型將用戶和項(xiàng)目的潛在特征作為輸入，并使用前向傳播算法來預(yù)測(cè)評(píng)分。根據(jù)本模型，在輸入層中，輸入向量x0由用戶和項(xiàng)目的潛在特征連接在一起。因此，對(duì)于任意記錄Rij，都有

x0=concatenate(Ui,Vj)

(12)

其中函數(shù)concatenate()用于連接兩個(gè)向量。當(dāng)x0穿過第一個(gè)隱藏層時(shí)，第一個(gè)隱藏層的輸出可通過以下公式獲得：

x1=activation(W1x0+b1)

(13)

其中W1是輸入層和第一個(gè)隱藏層之間的權(quán)重矩陣，b1是偏置矢量，activation()表示激活函數(shù)，該函數(shù)旨在使神經(jīng)網(wǎng)絡(luò)模型非線性。在DNN模型中，常用的激活函數(shù)包括sigmoid、tanh和ReLU函數(shù)。在文中，選擇ReLU作為模型的激活函數(shù)，因?yàn)樗行Р⑶腋子趦?yōu)化。

由式 (13)，可以獲得第l個(gè)隱藏層的輸出：

xl=ReLU(Wlxl-1+bl)

(14)

在輸出層，訓(xùn)練的目標(biāo)是預(yù)測(cè)用戶的評(píng)分得分Rij。再次使用One-Hot編碼方法來獲得監(jiān)督值y。因此，需要通過softmax方法對(duì)輸出結(jié)果進(jìn)行變換，以獲得y對(duì)應(yīng)位置的預(yù)測(cè)值，即

(15)

(16)

其中d表示向量y的維數(shù)，它等于輸出層中神經(jīng)元的數(shù)量。最后，本模型通過以下等式預(yù)測(cè)第j個(gè)項(xiàng)目的第i個(gè)用戶的評(píng)分得分：

(17)

2.2 訓(xùn)練模型

在本小節(jié)中，將描述模型的訓(xùn)練細(xì)節(jié)。 首先，需要使用QPR模型來獲取特征。使用梯度下降法求解問題(11)，學(xué)習(xí)率設(shè)置為η，更新每個(gè)參數(shù)的規(guī)則如下：

(18)

(19)

(20)

(21)

(22)

(23)

其中，

(24)

討論深度神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法。深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練主要基于權(quán)重矩陣W和偏置向量b的學(xué)習(xí)。定義Wl,ij為代表第l層的第i個(gè)神經(jīng)元和第l-1層的第j個(gè)神經(jīng)元之間的連接權(quán)重。第0層代表輸入層，bl,i代表在第l層中的第i個(gè)神經(jīng)元上的偏置。

使用梯度下降法對(duì)W進(jìn)行求解，于是有

(25)

Wl,ij僅會(huì)通過神經(jīng)元i影響損失ε，因此使用netl,i表示第l層中神經(jīng)元i的加權(quán)輸入：

(26)

于是有，

(27)

當(dāng)l層是輸出層時(shí)，

(28)

當(dāng)l層是隱藏層時(shí)，

(29)

基于以上討論，獲得了以下規(guī)則來更新DNN模型中的參數(shù)：

(30)

(31)

3 實(shí)驗(yàn)評(píng)估

在實(shí)驗(yàn)評(píng)估中，使用真實(shí)的數(shù)據(jù)集來測(cè)試模型的性能。該數(shù)據(jù)集包含關(guān)于168個(gè)項(xiàng)目的943位用戶的近100,000條評(píng)分記錄，該數(shù)據(jù)集來自MovieLens網(wǎng)站。實(shí)驗(yàn)所采用的服務(wù)器配置有一個(gè)英偉達(dá)TITAN GPU，CPU是英特爾酷睿i7，內(nèi)存為64GB，操作系統(tǒng)是Linux Ubuntu 16.04，深度學(xué)習(xí)框架為Tensorflow。采用均值絕對(duì)誤差(MAE)方法和均方根均方根誤差(RMSE)來評(píng)估模型的性能。

在深度神經(jīng)網(wǎng)絡(luò)模型中，隱藏層數(shù)設(shè)置為2。在輸入層中，神經(jīng)元數(shù)是34，第一個(gè)隱藏層中的神經(jīng)元數(shù)是27，第二個(gè)隱藏層有12個(gè)神經(jīng)元，輸出層有5個(gè)神經(jīng)元，學(xué)習(xí)率設(shè)置為0.001。隨機(jī)選擇數(shù)據(jù)集的20%數(shù)據(jù)作為測(cè)試集，其余80%作為訓(xùn)練集。

將驗(yàn)證本方法的預(yù)測(cè)精度，精度的MAE和RMSE如圖1所示。其中，SVD為基于奇異值分解的方法，DsRec[6]是結(jié)合了矩陣分解和聚類的方法，PMMMF[7]是基于近似支持向量機(jī)的方法。本方法的MAE和RMSE指標(biāo)下均實(shí)現(xiàn)了更好的性能，這意味著我們的模型獲得了更高的預(yù)測(cè)準(zhǔn)確性。從實(shí)驗(yàn)結(jié)果可以看出，在相同條件下，RMSE值大于MAE值，這意味著RMSE度量標(biāo)準(zhǔn)可以更好地反映算法性能。

圖1 推送方法誤差對(duì)比

4 結(jié) 語(yǔ)

探討深度神經(jīng)網(wǎng)絡(luò)模型在智能推送系統(tǒng)中的應(yīng)用，提出基于QPR模型的特征獲取方法，并將其與DNN模型結(jié)合起來。實(shí)驗(yàn)結(jié)果表明，提出的模型具有良好的預(yù)測(cè)性能。未來的工作將集中在構(gòu)建更復(fù)雜的模型和使用其他深度學(xué)習(xí)方法。將研究其他深度學(xué)習(xí)技術(shù)的應(yīng)用，例如卷積神經(jīng)網(wǎng)絡(luò)方法在推送系統(tǒng)中的應(yīng)用，并嘗試進(jìn)一步提高其性能。