基于LSTM的POI個(gè)性化推薦框架①

王 立,張 謐

(復(fù)旦大學(xué) 軟件學(xué)院,上海 201203)

(復(fù)旦大學(xué) 上海市智能信息處理重點(diǎn)實(shí)驗(yàn)室,上海 201203)

近年來(lái),基于位置的社交網(wǎng)絡(luò)(Location-Based Social Network,LBSN)應(yīng)用飛速增長(zhǎng),典型的基于位置的社交網(wǎng)絡(luò)有大眾點(diǎn)評(píng)、微博、Foursquare、Yelp等,而人們也越來(lái)越習(xí)慣利用在線應(yīng)用獲取信息.這使得我們可以更方便的收集到用戶的好友信息和歷史行為序列信息,這些社交、地理位置、時(shí)間信息都為精細(xì)化推薦提供了更大的可能性.然而,要根據(jù)有限的信息完全準(zhǔn)確的預(yù)測(cè)出單個(gè)用戶在一個(gè)具體的時(shí)間節(jié)點(diǎn)出現(xiàn)在特定位置上的特定商家還是一件極具挑戰(zhàn)性的事情.但是,一旦我們可以準(zhǔn)確的預(yù)測(cè)出用戶的行為序列,除了將推薦結(jié)果應(yīng)用在現(xiàn)有的情景外,還可以推廣到其余眾多的領(lǐng)域,例如預(yù)測(cè)交通狀況,根據(jù)人們的行為趨勢(shì),可以精準(zhǔn)的定位交通堵塞發(fā)生的時(shí)間和地點(diǎn),并提前啟動(dòng)預(yù)防機(jī)制.

在機(jī)器學(xué)習(xí)領(lǐng)域,針對(duì)基于地理和時(shí)間信息POI推薦,不斷有新的推薦方法提出.這些推薦主要分為四類,分別是馬爾科夫模型、張量分解模型、RNN深度學(xué)習(xí)模型和地點(diǎn)向量化模型.FPMC是普通馬爾科夫模型的擴(kuò)展,能夠針對(duì)不同個(gè)體提供個(gè)性化推薦,FPMC通過為每個(gè)用戶設(shè)置馬爾科夫鏈俘獲用戶的長(zhǎng)期喜好和近期關(guān)注,同時(shí)可以通過張量分解解決轉(zhuǎn)移矩陣數(shù)據(jù)匱乏的問題.基于其特性,這種模型能夠很好的對(duì)序列進(jìn)行建模,FPMC 也被成功的應(yīng)用在POI推薦上[1–5].TF張量分解模型也在解決POI問題上得到應(yīng)用,TF假設(shè)每一維信息為一個(gè)張量,例如用戶就是U矩陣,商戶是V矩陣,時(shí)間是T矩陣等,通過訓(xùn)練得到這些矩陣就可以獲得用戶、商戶、時(shí)間等不同維度之間的關(guān)系.因?yàn)門F可以將很多非結(jié)構(gòu)化的信息鍵入模型,所以在基于時(shí)間[6]和基于地理位置信息[7,8]的模型在POI推薦上都有廣泛應(yīng)用.而在深度學(xué)習(xí)在NLP和圖像領(lǐng)域大放異彩的時(shí)候,RNN在POI推薦問題上也有所應(yīng)用[9],RNN模型能夠很好的對(duì)序列信息建模,同時(shí)還不需要強(qiáng)先后依賴關(guān)系假設(shè),在POI推薦問題上相比 FPMC 有更好的表現(xiàn).此外,很多學(xué)者[10–12]也嘗試?yán)?Word Embedding類似的方式解決POI推薦問題,將商戶等轉(zhuǎn)化成為低維空間向量,然后基于向量之間的相似度為用戶推薦下一個(gè)興趣點(diǎn).

雖然上述模型在一些特定的場(chǎng)景內(nèi)取得了令人驚喜的效果,但是它們并不能處理社交信息,也不能衡量用戶和POI之間的語(yǔ)義相似度.譬如,一個(gè)用戶會(huì)根據(jù)商戶的標(biāo)簽信息以及朋友圈內(nèi)朋友的評(píng)價(jià)信息進(jìn)行選擇.

本文提出一種基于LSTM對(duì)POI和用戶同時(shí)做Embedding的框架 POI-LSTM,將用戶的評(píng)價(jià)信息、好友關(guān)系、歷史訪問信息轉(zhuǎn)化成為向量后,輸入到LSTM內(nèi)預(yù)測(cè)用戶下一個(gè)興趣點(diǎn).相比現(xiàn)有的向量化模型而言,能夠捕捉更多的序列依賴信息;而相比現(xiàn)有的RNN模型,能夠更好的處理復(fù)雜的社交關(guān)系和語(yǔ)義信息.

后文組織如下:第1節(jié)介紹LSTM算法及Embedding的相關(guān)背景知識(shí);第2節(jié)介紹POI-LSTM框架的實(shí)現(xiàn)細(xì)節(jié);第3節(jié)介紹數(shù)據(jù)集以及實(shí)驗(yàn)結(jié)果;第4節(jié)進(jìn)行總結(jié).

1 相關(guān)背景

本節(jié)主要介紹和本模型密切相關(guān)的LSTM網(wǎng)絡(luò)結(jié)構(gòu)以及Embedding算法.

1.1 LSTM網(wǎng)絡(luò)結(jié)構(gòu)介紹

Long Short Term Memory 網(wǎng)絡(luò)是一種 RNN 特殊的類型,可以學(xué)習(xí)長(zhǎng)期依賴信息.LSTM自提出以來(lái),已經(jīng)被應(yīng)用很多場(chǎng)景中,也取得了巨大的成功.

LSTM和RNN一樣,通過重復(fù)神經(jīng)網(wǎng)絡(luò)模塊的鏈?zhǔn)叫问絹?lái)對(duì)序列數(shù)據(jù)進(jìn)行學(xué)習(xí).同時(shí)為了避免RNN的梯度爆炸和梯度彌散問題,LSTM通過在RNN的重復(fù)模塊中添加遺忘門、輸入門和輸出門來(lái)增加長(zhǎng)序列的記憶問題.LSTM中重復(fù)模塊的結(jié)構(gòu)如圖1.

圖1 LSTM 模塊結(jié)構(gòu)

圖1中,Cell是LSTM模型維護(hù)的狀態(tài),包含了當(dāng)前時(shí)間節(jié)點(diǎn)以前所有的信息;Input Gate用來(lái)控制當(dāng)前輸入信息保留概率;Forget Gate用來(lái)控制根據(jù)當(dāng)前的輸入和狀態(tài)來(lái)看,Cell含有的信息保留的概率;Output Gate用來(lái)控制當(dāng)前時(shí)刻的信息的輸出概率;通過三個(gè)控制門的控制,LSTM可以不斷的吸收輸入信息,更新自己的狀態(tài),并控制輸出.LSTM的向前傳播公式如下:

其中,σ表示sigmoid函數(shù),W表示神經(jīng)網(wǎng)絡(luò)中的權(quán)重,b表示偏置項(xiàng),tanh為輸出的激活函數(shù).

LSTM可以采用梯度下降法進(jìn)行更新,最終使得損失函數(shù)值最小.

1.2 Embedding模型介紹

Word Embedding 算法,也被稱為 Word2Vec 算法[11],是由Bengio等于2003年提出的一個(gè)三層神經(jīng)網(wǎng)絡(luò)的自然語(yǔ)言模型,主要分為Skip-Gram和CBOW兩種模型.Word2Vec通過神經(jīng)網(wǎng)絡(luò)擬合一個(gè)詞序列的條件概率p(wt|w1,w2,···,wt-1),從而將文本詞語(yǔ)轉(zhuǎn)化成為向量空間中的向量,在模型訓(xùn)練完成后,詞向量之間的相似度具有一定的語(yǔ)義相似度.整個(gè)模型的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示.

圖2 CBOW 模型網(wǎng)絡(luò)結(jié)構(gòu)

從圖中可以看出,Word2Vec模型主要分成兩部分,前半部分在詞向量矩陣中根據(jù)詞語(yǔ)的序號(hào)尋找詞向量,后半部分將詞向量經(jīng)過tanh隱藏層和softmax的激活輸出層得到輸出的詞概率估計(jì).

訓(xùn)練好的Word2Vec模型具有一定的語(yǔ)義相似度,例如China-Beijing≈French-Paris.正是因?yàn)檫@樣的相似度,我們可以根據(jù)預(yù)測(cè)得到的向量和已有興趣點(diǎn)向量之間的相似度來(lái)預(yù)測(cè)下一個(gè)興趣點(diǎn).

2 POI-LSTM 模型

現(xiàn)有的LSTM模型和Embedding模型主要問題在于都只能模擬單源信息.在POI推薦場(chǎng)景中,包含大量的社交信息和語(yǔ)義信息,用戶并非單純的從一個(gè)地點(diǎn)轉(zhuǎn)移到另外一個(gè)地點(diǎn),用戶除了遵從自身的喜好外,還可能會(huì)受到朋友的影響,而且用戶對(duì)以前訪問過的POI并非都持有喜愛的態(tài)度,這時(shí)候用戶以往的評(píng)論信息就顯得至關(guān)重要.單純的LSTM模型只能對(duì)用戶的行為序列進(jìn)行建模,將用戶訪問過的地點(diǎn)信息輸入到網(wǎng)絡(luò)中,只能捕捉到用戶的訪問地點(diǎn)興趣信息,不加入用戶的歷史評(píng)論信息就不能精細(xì)描述用戶的興趣變化,同時(shí)也不能接受用戶好友關(guān)系對(duì)于用戶選擇的影響.而單純的使用Embedding的話,現(xiàn)有的推薦模型能夠獨(dú)立將用戶和好友、POI以及評(píng)論分別進(jìn)行向量化,應(yīng)用到POI推薦問題上.單獨(dú)使用其中一種信息都不能很好的進(jìn)行精細(xì)化推薦,但是要是訓(xùn)練三種向量的話,怎么均衡三者之間的關(guān)系,即使用權(quán)重和比例上很難把握,往往會(huì)使得模型訓(xùn)練坍塌,就算能夠訓(xùn)練成功,也很難在測(cè)試集合上成功應(yīng)用.本模型則采用端對(duì)端的訓(xùn)練方式,將用戶及其好友關(guān)系作為固有屬性,將其歷史評(píng)論信息向量化后結(jié)合當(dāng)時(shí)訪問的POI信息一同輸入LSTM網(wǎng)絡(luò)中得到用戶興趣信息作為動(dòng)態(tài)屬性,然后三者結(jié)合為用戶推薦下一個(gè)地點(diǎn).

本節(jié)將從數(shù)據(jù)的問題定義、模型網(wǎng)絡(luò)結(jié)構(gòu)以及損失函數(shù)三方面進(jìn)行描述.

2.1 問題定義

針對(duì)POI推薦問題,我們定義P為用戶集合,Q為 POI集合,T為標(biāo)簽集合.另外指定,表示用戶u、興趣點(diǎn)v和標(biāo)簽s的d維向量.每個(gè)興趣點(diǎn)v都有它的經(jīng)緯度信息和標(biāo)簽集合.每個(gè)用戶u綁定有其標(biāo)簽集合,朋友列表以及歷史訪問記錄，其中表示用戶u在時(shí)間 訪問了興趣點(diǎn)q.所有用戶的歷史行為序列表示為.給定了用戶的歷史行為記錄信息和相關(guān)的好友信息，模型的任務(wù)就是預(yù)測(cè)下一次用戶最有可能去的興趣點(diǎn).數(shù)據(jù)源結(jié)構(gòu)如圖3.

圖3 數(shù)據(jù)源結(jié)構(gòu)

2.2 模型框架

模型整體網(wǎng)絡(luò)架構(gòu)如圖四所示,其中直角方塊方塊部分代表了模型的四種源輸入,最左側(cè)方框代表用戶的向量輸入,中間的方框部分代表用戶的朋友向量輸入,右上側(cè)方框代表用戶對(duì)興趣點(diǎn)的評(píng)價(jià)信息,右側(cè)中間方框包含了興趣點(diǎn)的向量和地理位置(經(jīng)緯度分別歸一化到正負(fù)一之間)輸入.下側(cè)圓角虛線方框代表了模型的經(jīng)過卷積和LSTM層提取的高維特征.最右下方的圓角實(shí)線方塊則代表了模型的輸出部分.

圖4 POI-LSTM 網(wǎng)絡(luò)結(jié)構(gòu)

用戶的向量輸入和Word2Vec的輸入相似,輸入one-hot的向量作為輸入,然后經(jīng)過Embedding層得到該用戶的向量.相似的,朋友的向量是k個(gè)one-hot向量作為輸入,然后得到k個(gè)朋友的向量作為輸入,在實(shí)現(xiàn)的時(shí)候直接輸入k-hot的向量,得到代表關(guān)系網(wǎng)的向量作為該層的輸入.對(duì)于該用戶對(duì)每個(gè)興趣點(diǎn)的評(píng)價(jià)信息,使用單詞對(duì)應(yīng)的預(yù)訓(xùn)練(基于glove數(shù)據(jù)集)好的向量作為輸入,然后經(jīng)過卷積層和ROI池化層將評(píng)價(jià)信息壓縮到一維向量作為L(zhǎng)STM的部分輸入.此向量和興趣點(diǎn)的地理位置向量以及興趣點(diǎn)的向量拼接起來(lái)將作為L(zhǎng)STM層的輸入.

不同源的輸入經(jīng)過上述的過程,已經(jīng)提取成為高維的特征,分別是用戶自身的特征、社交特征、評(píng)價(jià)和行為序列特征.這些特征拼接起來(lái)后,經(jīng)過激活層即可得到下一次將要訪問的興趣點(diǎn)的向量表示.同時(shí)為了保證模型的準(zhǔn)確性,我們還將高維的特征進(jìn)過全連接層輸出一個(gè)地理位置信息和訪問的排序信息,以確保訪問的地點(diǎn)和下一次訪問的地點(diǎn)之間地理位置偏差較小.

特別說(shuō)明,對(duì)于不同源的低維度特征模型采用不同的神經(jīng)網(wǎng)絡(luò)層來(lái)提取高維特征.用戶特征直接接入最后的全連接和激活層.社交特征即用戶的好友的信息通過CNN提取高維特征后經(jīng)過ROI池化層轉(zhuǎn)化成為固定長(zhǎng)度的高維特征.用戶對(duì)興趣點(diǎn)的評(píng)論特征,和社交信息一樣,需要經(jīng)過CNN層提取高維特征后經(jīng)過ROI池化層得到固定長(zhǎng)度的高維特征,之后＜評(píng)論特征,地理位置,興趣點(diǎn)特征＞將作為一個(gè)整體輸入LSTM網(wǎng)絡(luò)中作為用戶的歷史行為特征,因?yàn)長(zhǎng)STM可以很好的表示用戶的長(zhǎng)期興趣,還能夠精確的捕捉到用戶近期的興趣特征.高維特征經(jīng)過tanh激活層即可得到用戶現(xiàn)有的興趣特征,這個(gè)特征就表達(dá)了用戶的下一個(gè)感興趣的興趣點(diǎn);同時(shí),這個(gè)高維特征內(nèi)還應(yīng)該能表達(dá)用戶的活動(dòng)范圍,利用全連接層可以提取高維特征中相應(yīng)的地理位置信息.

2.3 損失函數(shù)

模型的損失函數(shù)分為兩部分,預(yù)測(cè)興趣點(diǎn)的向量和真實(shí)向量之間的差距以及預(yù)測(cè)地理位置和真實(shí)地理位置之間的距離.預(yù)測(cè)向量和真實(shí)向量之間的差距可以刻畫預(yù)測(cè)得到的向量的準(zhǔn)確度,是損失函數(shù)最重要的部分.而預(yù)測(cè)地理位置和真實(shí)位置之間的差距作為調(diào)整的一部分也被加入到損失函數(shù)中,這是考慮到用戶本身的活動(dòng)范圍有限,預(yù)測(cè)得到的POI不應(yīng)該距離用戶的常規(guī)活動(dòng)范圍有太大偏差,不然這樣的推薦將變的毫無(wú)意義.具體的損失函數(shù)如下:

預(yù)測(cè)得到的向量和真實(shí)向量之間的差距采用余弦相似度衡量,預(yù)測(cè)得到的興趣點(diǎn)向量為,我們采用當(dāng)前t時(shí)刻之后的用戶訪問的k個(gè)興趣點(diǎn)來(lái)判定預(yù)測(cè)準(zhǔn)確度:

地理位置之間的相似度采用歐式距離,預(yù)測(cè)得到的地理位置設(shè)置為,同樣測(cè)量其和未來(lái)k個(gè)興趣點(diǎn)之間的距離.損失函數(shù)如下:

最終,模型的損失函數(shù)如下:

3 實(shí)驗(yàn)分析

我們使用的數(shù)據(jù)集為美國(guó)最大的點(diǎn)評(píng)網(wǎng)站Yelp公開的內(nèi)部數(shù)據(jù)集以及基于用戶地理位置信息的分享網(wǎng)站Foursquare公開的數(shù)據(jù)集.兩份數(shù)據(jù)集都采用數(shù)據(jù)標(biāo)注城市為紐約的興趣點(diǎn),以及評(píng)價(jià)過這些興趣點(diǎn)的用戶,數(shù)據(jù)規(guī)模如表1所示:

表1 數(shù)據(jù)集

3.1 評(píng)測(cè)標(biāo)準(zhǔn)

由于是預(yù)測(cè)下一個(gè)興趣點(diǎn),所以我們的評(píng)測(cè)標(biāo)準(zhǔn)是Precesion@N,表示預(yù)測(cè)出TopN個(gè)作為推薦列表,其中推薦對(duì)的占推薦列表中所有的被推薦的興趣點(diǎn)的比例.

對(duì)于每份數(shù)據(jù)集,我們都按照1:4的比例分配測(cè)試集和訓(xùn)練集,即每個(gè)用戶的訪問序列的前80%數(shù)據(jù)用來(lái)訓(xùn)練,后20%數(shù)據(jù)用來(lái)測(cè)試.

選取的對(duì)比實(shí)驗(yàn)有FPMC[1],Rank-GeoFM[8],POI2Vec[12]以及ST-RNN[9].FPMC是個(gè)性化馬爾可夫鏈模型的代表,該模型為每個(gè)用戶建立一個(gè)轉(zhuǎn)移矩陣,形成轉(zhuǎn)移矩陣立方體,然后使用張量分解模型對(duì)轉(zhuǎn)移立方體進(jìn)行學(xué)習(xí),彌補(bǔ)其數(shù)據(jù)稀疏的問題.Rank-GeoFM是一種基于時(shí)間序列的張量分解模型,將時(shí)間分段后獲取用戶的對(duì)興趣點(diǎn)的多個(gè)評(píng)分矩陣,然后使用張量分解學(xué)習(xí)這些評(píng)分矩陣.POI2Vec采用了Embedding的思想,將用戶訪問過的地點(diǎn)序列比擬作為NLP中的語(yǔ)句,然后構(gòu)建興趣點(diǎn)之間的后驗(yàn)概率.ST-RNN則利用了循環(huán)神經(jīng)網(wǎng)絡(luò)的思想,基于興趣點(diǎn)的維度構(gòu)建RNN預(yù)測(cè)模型,輸出的興趣點(diǎn)向量,然后參照張量分解的思想和用戶向量相乘作為用戶訪問該興趣點(diǎn)的概率.選用的四個(gè)對(duì)比實(shí)驗(yàn)涵蓋了當(dāng)前比較主流的POI推薦模型種類,并且采用的比較新的模型結(jié)構(gòu).

3.2 實(shí)驗(yàn)結(jié)果和分析

經(jīng)過多次實(shí)驗(yàn)比較,我們分別測(cè)試了Precision@1、Precision@3、Precision@5.特別注意,由于每個(gè)用戶訪問的序列長(zhǎng)度不同,我們會(huì)篩選測(cè)試序列長(zhǎng)度大于等于N的部分.所以N越大,測(cè)試數(shù)據(jù)集的數(shù)量越小.實(shí)驗(yàn)結(jié)果見圖5及圖6.

圖5表示在Foursquare上的精確度比較,圖6表示在Yelp上的精確度比較.可以看到POI-LSTM在兩個(gè)數(shù)據(jù)集上都表現(xiàn)搶眼,這說(shuō)明向LSTM模型中加入用戶的社交信息以及評(píng)論和地理位置信息對(duì)提升興趣點(diǎn)預(yù)測(cè)的準(zhǔn)確度有明顯作用.而模型在Foursquare上相比其它模型效果較Yelp上效果提升更明顯,這是因?yàn)镕oursquare數(shù)據(jù)集比Yelp的數(shù)據(jù)集平均序列長(zhǎng)度更短,使用額外的非序列信息對(duì)于提高準(zhǔn)確度幫助更大,說(shuō)明我們的模型在應(yīng)對(duì)冷啟動(dòng)問題上也有很大的效果.

圖5 Foursquare 數(shù)據(jù)集 Pre@N

圖6 Yelp 數(shù)據(jù)集 Pre@N

4 結(jié)語(yǔ)

本文成功的將LSTM和Embedding算法結(jié)合,并成功應(yīng)用在興趣點(diǎn)推薦場(chǎng)景下,通過Embedding的思想把用戶的社交信息和標(biāo)簽、評(píng)論信息變成向量輸入到循環(huán)神經(jīng)網(wǎng)絡(luò)中捕捉用戶的長(zhǎng)期特征和短期愛好.實(shí)驗(yàn)表明,該方法可以有效的提升興趣點(diǎn)預(yù)測(cè)的準(zhǔn)確度,并能部分解決推薦場(chǎng)景中的冷啟動(dòng)問題.