基于注意力機(jī)制的深度學(xué)習(xí)推薦模型研究

賴穎婕

(桂林理工大學(xué) 商學(xué)院,廣西 桂林 541004)

0 引言

深度學(xué)習(xí)[1](Deep Learning,DL)在諸多領(lǐng)域中得到廣泛應(yīng)用,同時也對冷啟動、數(shù)據(jù)稀疏等問題有所緩解?；谏疃葘W(xué)習(xí)的黑盒特性,在利用深度學(xué)習(xí)提升性能的同時增強(qiáng)模型可解釋性成為研究熱點(diǎn)。注意力機(jī)制[2](Attention Mechanism,AM)來源于人類視覺變化的區(qū)分性能,它可以篩選出有效信息[3]。因此在推薦模型中引入AM可以增強(qiáng)模型的性能和可解釋性。本文歸納梳理了基于注意力機(jī)制的深度學(xué)習(xí)的推薦模型,并對其進(jìn)行分析,最后探討在推薦領(lǐng)域中進(jìn)一步研究問題。

1 基于注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)推薦模型

卷積神經(jīng)網(wǎng)絡(luò)[2](Convolution Neural Network,CNN)是前饋神經(jīng)網(wǎng)絡(luò)(Feedforward Nueral Network)中的一類,它可以利用其獨(dú)有的卷積層和池化層對項(xiàng)目特征的全面和局部進(jìn)行捕捉,實(shí)現(xiàn)提升識別的效率和精準(zhǔn)度的目標(biāo)[2]?；贑NN的特點(diǎn),它在諸如神經(jīng)語言、文本分類等自然語言處理(Natural Language Processing,NLP)領(lǐng)域中顯示出強(qiáng)大的優(yōu)勢。

1.1 標(biāo)簽推薦

大數(shù)據(jù)時代的爆炸式信息對系統(tǒng)的搜索、導(dǎo)航和組織的能力要求日漸增加,因此標(biāo)簽推薦(Label Recommendation)越來越受到了學(xué)術(shù)界和業(yè)界的諸多關(guān)注。CNN在NLP領(lǐng)域以及機(jī)器翻譯中AM的突出表現(xiàn),Gong等[4]提出了新的標(biāo)簽推薦模型,該模型充分利用AM和CNN,避免了手工操作,實(shí)現(xiàn)微博標(biāo)簽推薦。Lei等[5]通過對標(biāo)簽推薦中的capsule network的進(jìn)行研究提出一種基于文本分類的新模型,模型利用AM和CNN來提取重要內(nèi)容和對應(yīng)特征來進(jìn)行標(biāo)簽推薦。雖然現(xiàn)有標(biāo)簽推薦模型,可以有效緩解傳統(tǒng)標(biāo)簽推薦中手工標(biāo)記文本耗時和勞動力密集的特點(diǎn),但是在標(biāo)簽數(shù)據(jù)缺乏的情況下,上述模型的推薦效果不理想。因此,之后的研究會針對跨域的標(biāo)簽推薦和語法相關(guān)但詞意上相差很大的內(nèi)容建模上進(jìn)行研究。

1.2 社交推薦

隨著社交網(wǎng)絡(luò)數(shù)據(jù)的日益增長,用戶的決策和社交推薦的性能會受到用戶注意力變化的影響。針對傳統(tǒng)社交推薦較少考慮靜態(tài)屬性、動態(tài)行為和網(wǎng)絡(luò)結(jié)構(gòu)等問題,Gong等[6]提出一個結(jié)合屬性關(guān)注和網(wǎng)絡(luò)嵌入的混合深度神經(jīng)網(wǎng)絡(luò)框架——DFRec++。它利用CNN和AM提取出動態(tài)和靜態(tài)特征來完成推薦,但模型稍顯復(fù)雜。針對用戶和物品間的差異常被忽略的問題,Cai等[7]提出了好友的多層次推薦模型。該模型利用AM和CNN的相關(guān)特性來實(shí)現(xiàn)好友的多層精準(zhǔn)推薦。當(dāng)前社交推薦模型相較于傳統(tǒng)模型在推薦性能上有顯著提升,之后會關(guān)注社交網(wǎng)絡(luò)中弱聯(lián)系以及設(shè)計(jì)出更簡單和通用的推薦模型結(jié)構(gòu)。

2 基于注意力機(jī)制的循環(huán)神經(jīng)網(wǎng)絡(luò)推薦模型

循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)是一類深度學(xué)習(xí)技術(shù),是處理序列模式的時間動態(tài)選擇以及具有序列信號的側(cè)面信息等問題的首要選擇[8]。文中主要介紹長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)和門限循環(huán)單元(Gated RecCurent Unit,GRU)這兩種RNN在推薦中的應(yīng)用。LSTM是一類時間循環(huán)神經(jīng)網(wǎng)絡(luò),擅長處理間隔大和延遲多的時間序列問題[8]。GRU是一種特別的隱結(jié)構(gòu),可以保存長期狀態(tài)和建模長期依賴關(guān)系[9]。因此,上述兩種RNN經(jīng)常用來處理梯度消失[2]。

2.1 序列推薦

由于用戶興趣偏好呈現(xiàn)出動態(tài)性和演化性變化,序列信息在用戶動態(tài)偏好的建模中扮演著越來越重要的角色,序列推薦應(yīng)運(yùn)而生。由于RNN處理序列信息的優(yōu)秀表現(xiàn),基于RNN的序列推薦得到了廣泛應(yīng)用。基于此,Luo等[10]提出了一種名為3AGRU新的序列推薦模型。3AGRU利用GRU和自適應(yīng)注意力機(jī)制捕捉用戶多樣興趣和提升序列推薦性能。隨后,針對以往研究中從左到右處理用戶的長期序列信息會忽略一些有用信息的問題,Zhang等[11]提出一種面向序列推薦的注意力混合遞歸神經(jīng)網(wǎng)絡(luò)——AHRNNs。AHRNNs利用基于注意力機(jī)制的GRU和LSTM把握用戶序列給出推薦?，F(xiàn)有序列推薦模型在推薦性能上有大幅提升,未來研究中考慮將其他注意力機(jī)制(例如硬注意力)引入到序列推薦模型中來緩解用戶行為稀疏的問題以及運(yùn)用其他技術(shù)(例如知識圖譜和強(qiáng)化學(xué)習(xí))改善用戶的體驗(yàn),增加用戶的購買欲。

2.2 一籃子推薦

用戶在線購物時一次購入多種商品的現(xiàn)象,令預(yù)測用戶的下一次購物列表成為熱門研究趨勢。Pan等[12]

針對以往購物籃推薦忽略用戶長期偏好中隱藏的內(nèi)在偏好和不能準(zhǔn)確對購物籃中物品的重要性進(jìn)行區(qū)分的問題,引入了一種混合偏好神經(jīng)模型——HPNM。HPMN建模用戶偏好和計(jì)算項(xiàng)目,實(shí)現(xiàn)一籃子推薦的有效性。隨后,面對當(dāng)前一籃子推薦研究中對籃子中物品間關(guān)系考慮甚少的問題,Liu等[13]提出一種新模型,該模型采用Bi-LSTM和AM建模偏好和預(yù)測意圖,實(shí)現(xiàn)精準(zhǔn)的下一籃子推薦。上述模型對當(dāng)前一籃子推薦模型中部分存在的問題進(jìn)行了有效解決,但是一籃子推薦中仍然存在著解釋性不足、缺乏多樣化等問題,之后研究中會考慮興趣的融合等因素來提升一籃子推薦精度。

3 結(jié)論與啟示

3.1 提升推薦模型可解釋性

注意力機(jī)制引入深度學(xué)習(xí)模型中,緩解了以往深度學(xué)習(xí)模型可解釋性差的問題,并為之后具有更好可解釋能力的深度學(xué)習(xí)模型奠定了基礎(chǔ)。之后的相關(guān)研究會集中在兩個層面:一是面向用戶的解釋,推薦結(jié)果便于讓用戶理解、用戶擁有更高的滿意度和接受度。二是面向從業(yè)者的解釋,讓模型對項(xiàng)目的權(quán)重做出更進(jìn)一步的研究,實(shí)現(xiàn)模型的深入理解。

3.2 多任務(wù)學(xué)習(xí)

數(shù)據(jù)的稀疏性是推薦系統(tǒng)面臨的重要難題,本文提及的推薦模型從某種程度上緩解了此問題,但是數(shù)據(jù)的稀疏仍然在某種程度上對推薦模型的精度造成了影響。多任務(wù)學(xué)習(xí)(Muliti-Task Learning)可以通過對相關(guān)的數(shù)據(jù)信息進(jìn)行利用來提升模型的性能,因此之后的相關(guān)研究會考慮在模型中引入多任務(wù)學(xué)習(xí),以此增強(qiáng)隱式數(shù)據(jù)實(shí)現(xiàn)減少數(shù)據(jù)稀疏的問題和簡化隱藏表示解決過擬合問題。