基于知識圖譜表示學(xué)習(xí)的推薦算法優(yōu)化

郝 衛(wèi)， 魏 赟

（上海理工大學(xué) 光電信息與計算機(jī)工程學(xué)院， 上海200093）

0 引 言

近年來隨著信息技術(shù)的迅速發(fā)展，互聯(lián)網(wǎng)數(shù)據(jù)量呈指數(shù)型增長，給我們生活方式帶來便利的同時也明顯的帶來了信息過載問題［1］。 在巨大的數(shù)據(jù)量和復(fù)雜的信息面前，用戶如何得到自身感興趣或自身需要的信息成了當(dāng)前研究的熱點(diǎn)問題，具有代表性的解決方案包括搜索引擎和推薦系統(tǒng)的研究［2－3］。 相比于搜索引擎只能被動的為用戶提供篩選和過濾的功能，推薦系統(tǒng)可以主動的為更多的用戶服務(wù)千人千面的需求。 當(dāng)前推薦系統(tǒng)已經(jīng)運(yùn)用在電子商務(wù)，新聞媒體等領(lǐng)域。 具有代表性的應(yīng)用包括淘寶、京東等電子商務(wù)平臺；今日頭條、趣頭條等新聞媒體；Netfli、YouTube 等視頻軟件。

2012 年谷歌正式將知識圖譜應(yīng)用于應(yīng)用谷歌搜索中，用來提高搜索引擎展示答案的質(zhì)量和用戶查詢的效率。 知識圖譜的概念最早可以引申到上個世紀(jì)五十年代提出的語義網(wǎng)絡(luò)［4］，區(qū)別在于知識圖譜側(cè)重于實(shí)體間關(guān)系的描述，語義網(wǎng)絡(luò)側(cè)重于本體與本體間關(guān)系的描述。 知識圖譜包含了大量的實(shí)體間關(guān)聯(lián)關(guān)系，可以融合多種數(shù)據(jù)源和大量的數(shù)據(jù)來豐富物品／項目的語義信息，在眾多的場景中都可以與推薦系統(tǒng)相結(jié)合，包括電影推薦，購物推薦等等。通過將知識圖譜與推薦系統(tǒng)相結(jié)合，可以有效的提高推薦結(jié)果的準(zhǔn)確性、可解釋性等評估指標(biāo)。

一種基于表示學(xué)習(xí)的推薦算法，以此來提高推薦算法的推薦效果：通過知識圖譜表示學(xué)習(xí)方法計算不同電影之間的語義相似度，使用加權(quán)型混合方法中的線性模型方法與改進(jìn)后的協(xié)同過濾［5］計算出的電影相似度結(jié)果進(jìn)行融合，得到最終的推薦結(jié)果，推薦給用戶。

1 理論介紹

1.1 協(xié)同過濾推薦算法

目前協(xié)同過濾算法廣泛地運(yùn)用在電子商務(wù)，新聞媒體，視頻軟件等領(lǐng)域。 協(xié)同過濾算法主要包括基于用戶，基于物品和基于模型三種類型。 基于用戶的協(xié)同過濾算法是利用相似統(tǒng)計的方法找到具有相似愛好的用戶，再將這些用戶感興趣的物品／項目推薦給目標(biāo)用戶；基于物品的協(xié)同過濾算法是通過計算物品／項目間的相似度，并結(jié)合用戶的歷史行為，生成推薦列表，將結(jié)果推薦給用戶；基于模型的協(xié)同過濾算法是采用數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)的方法，對物品的評分矩陣樣本集訓(xùn)練學(xué)習(xí)，建立合適的推薦模型，生成推薦列表，將結(jié)果推薦給用戶。

1.2 知識圖譜

知識圖譜是結(jié)構(gòu)化的語義知識庫，通過將關(guān)鍵詞映射到語義知識庫，準(zhǔn)確的匹配到庫中的實(shí)體，從而將用戶需要的答案反饋給用戶。 通常用實(shí)體來表示人，公司，概念等現(xiàn)實(shí)中的實(shí)體，用關(guān)系來描述實(shí)體間的聯(lián)系。 三元組基本形式是“實(shí)體（entity）－關(guān)系（relation）－實(shí)體（entity）” 或“實(shí)體（entity）－屬性（attribute）－屬性值（value）”，通過這樣的三元組可以表示庫中各實(shí)體間的關(guān)系和實(shí)體的的屬性。 通過多個三元組之間的關(guān)聯(lián)關(guān)系，可以生成特定領(lǐng)域內(nèi)的知識圖譜，知識圖譜可以更加直接形象的描述實(shí)體之間的關(guān)聯(lián)關(guān)系，當(dāng)兩個實(shí)體在知識圖譜中很相似，就意味著二者在語義上十分接近，就可以判定二者是近鄰。

1.3 知識圖譜在推薦系統(tǒng)中應(yīng)用介紹

隨著知識圖譜研究的興起，依靠知識圖譜較強(qiáng)的可解釋性以及語義相似度計算，一些學(xué)者試著將知識圖譜與協(xié)同過濾算法進(jìn)行融合，以此來提高推薦系統(tǒng)的準(zhǔn)確性等參數(shù)：Dodwad 提出基于本體的層次結(jié)構(gòu)對概念進(jìn)行加權(quán)的應(yīng)用方法，可以將用戶的偏好分析的粒度劃分的更細(xì)，使得結(jié)果更加的精準(zhǔn)；Noia 通過利用基于開放鏈接數(shù)據(jù)語義豐富的特點(diǎn)，效的提高電影推薦的準(zhǔn)確率；László 提出把電影數(shù)據(jù)集與用戶信息嵌入到同一個向量空間內(nèi)，計算電影與用戶之間的空間距離，使得電影推薦的結(jié)果更準(zhǔn)確，解釋性更高。

目前常用的通過知識圖譜中的表示學(xué)習(xí)方法，利用知識圖譜將三元組嵌入低維空間進(jìn)行向量化，可以進(jìn)行實(shí)體間語義相似度計算。 表示學(xué)習(xí)實(shí)現(xiàn)了實(shí)體和關(guān)系的分布式表示，可以顯著提高計算效率，有效的緩解數(shù)據(jù)稀疏性等。 目前表示學(xué)習(xí)主要運(yùn)用在語義相似度計算，知識圖譜補(bǔ)全，關(guān)系抽取和自動問答等方面［6］。

目前知識圖譜表示學(xué)習(xí)實(shí)現(xiàn)方法較多，考慮到構(gòu)建的電影知識圖譜電影數(shù)量眾多并且評分矩陣具有一定的稀疏性，所以選擇了翻譯模型［7］作為本算法的實(shí)現(xiàn)方法。

2 基于知識圖譜表示學(xué)習(xí)的推薦算法

2.1 基于TransH 算法的知識圖譜表示學(xué)習(xí)

運(yùn)用較為廣泛的翻譯模型主要包括TransE，TransH，TransR 等模型；最為基礎(chǔ)的TransE 算法使用（h，r，t） 來表示知識圖譜的三元組，h 表示頭實(shí)體，r 表示關(guān)系，t 表示尾實(shí)體。 通過TransE 模型計算出實(shí)體間的語義信息，與協(xié)同過濾算法融合后進(jìn)行推薦，混合推薦效果得到了一定的提升，如圖1 所示。

TransE 算法的缺陷在于不能很好的解決一對多，多對一，多對多關(guān)系建模的難題。 本文選用的TransH 算法可以很好的解決上述問題。 與TransE不同的是，TransH 引入了兩個新的定義：超平面和關(guān)系向量，對于超平面W，可以用法向量Wr來表示，用dr來表示h⊥、t⊥的間距。。 關(guān)系向量h⊥是h 向量在超平面上的投影，t⊥是t 向量在超平面上的投影。 通過此操作可以在保證復(fù)雜度與TransE 算法相近的前提下，

保留復(fù)雜的關(guān)系映射屬性，如圖2 所示。

圖1 TransE 模型Fig.1 TransE model

圖2 TransH 模型Fig.2 TransH model

為了滿足任一實(shí)體在不同的關(guān)系中的意義不同，與此同時不同實(shí)體在相同關(guān)系中的意義相同，三元組需要滿足h⊥＋dr＝t⊥。 對于超平面W，可以用法向量Wr來表示可以得到頭實(shí)體和尾實(shí)體映射到超平面的公式（1）和公式（2）：

TransH 模型訓(xùn)練的核心思想是采用最大間距。

2.2 TransH－CF 混合過濾推薦算法

結(jié)合知識圖譜和協(xié)同過濾算法的各自的優(yōu)勢，本文提出一種基于知識圖譜表示學(xué)習(xí)的協(xié)同過濾算法：通過分析處理已經(jīng)成熟的數(shù)據(jù)集，得到用戶對電影的評分矩陣，利用協(xié)同過濾算法計算出電影的相似度；將構(gòu)建電影知識圖譜中的電影實(shí)體嵌入到低維空間中進(jìn)行向量化，計算電影實(shí)體之間的語義相似度，最后將二者計算出的相似度融合，生成最終的推薦列表推薦給用戶。 考慮到電影領(lǐng)域內(nèi)影片的數(shù)量遠(yuǎn)遠(yuǎn)小于用戶數(shù)量，且具有更好的解釋性，所以選擇基于物品的協(xié)同過濾算法進(jìn)行算法實(shí)現(xiàn)。

本文提出的TransH－CF 算法流程如圖3 所示。

圖3 TransH－CF 算法流程圖Fig.3 TransH－CF Algorithm Flow Chart

算法描述：

input：電影－用戶評分矩陣和電影知識圖譜

output：基于知識圖譜表示學(xué)習(xí)的推薦算法TransH－CF

（1）根據(jù)電影－用戶評分矩陣Rm×n， 通過協(xié)同過濾算法計算電影之間的相似度；

（2）將電影與電影知識圖譜中的實(shí)體一一對應(yīng)，得到實(shí)體對應(yīng)列表；

（3）通過TransH 模型計算電影之間的語義相似度；

（4）算法融合，選擇合適的兩種算法融合比例，并確定近鄰數(shù)K 的數(shù)值和嵌入的維度；

（5）生成推薦列表推薦，推薦給用戶。

2.3 基于知識圖譜的語義相似度計算

表示學(xué)習(xí)目的在于將語義信息表示為低維向量。 在低維向量空間中，兩個實(shí)體距離越近，說明兩個實(shí)體的語義相似度越高。 本文采用較為常用歐式距離對于電影實(shí)體進(jìn)行相似度計算。 對于A，B 兩個實(shí)體向量，相似性度量公式（4）：

從公式（4）可以得出，當(dāng)計算結(jié)果數(shù)值越接近1，實(shí)體向量電影A 和電影B 越相似，在構(gòu)建出的電影知識圖譜中兩者語義相似度越高；當(dāng)數(shù)值越接近0，表示在構(gòu)建出的電影知識圖譜中兩者語義相似度越低。

2.4 改進(jìn)后的基于物品的協(xié)同過濾及其相似度計算

戶觀看完電影后，會根據(jù)自己的喜好對電影進(jìn)行打分評價，通過數(shù)據(jù)處理可以得到一個用戶－電影的評分?jǐn)?shù)據(jù)集，評分的高低代表用戶對于電影的喜好程度。 將用戶－電影的評分?jǐn)?shù)據(jù)集作為協(xié)同過濾算法的輸入，計算電影的相似度，根據(jù)得出的電影相似度生成電影推薦列表，推薦給用戶。

假設(shè)數(shù)據(jù)集中有n 個用戶I ＝（I1， I2，…In），共有m 部電影U ＝（U1，U2，…Um），用戶－電影的評分矩陣為Rm×n，評分矩陣Rm×n可以表示為：

評分矩陣中，每個R 代表某用戶對某部電影的喜好程度即評分。 例如：分?jǐn)?shù)Rij表示是用戶Ii對于電影Uj的評分，評分區(qū)間為［1，5］。 當(dāng)同一用戶對于不同電影評分相近時，則判定他們?yōu)榻彙?/p>

目前比較多用的相似度計算方法包括歐幾里得距離，皮爾遜相關(guān)系數(shù)，余弦相似度計算等。 由于評分矩陣的稀疏性，所以采用余弦相似度計算方法。余弦相似度計算方法是計算出兩個評分向量之間的夾角余弦值，計算公式（5）：

余弦值的范圍為［0，1］，計算出的余弦值越接近0 時，表明評分差異越大；計算出的余弦值越接近1 時，表明評分差異越小。

傳統(tǒng)的協(xié)同過濾算法通過比較用戶共同評分過的電影，根據(jù)電影的評分差值進(jìn)行相似度計算。 這種相似度計算模型沒有考慮到電影的熱門程度對相似度的影響，某些熱門電影無法體現(xiàn)或者較少地體現(xiàn)用戶的個性和潛在的興趣愛好，也就無法表現(xiàn)出用戶間的強(qiáng)相似性，這時應(yīng)該弱化它們對相似度計算的影響。 所以有研究人員推出了物品的熱門程度計算公式（6）：

其中，p fc是為電影c 的熱門因子，代表電影c 熱門程度對相似度的貢獻(xiàn)；α 參數(shù)稱之為平衡參數(shù)，其取值范圍為α＞0，表示電影的熱門程度對熱門因子的影響因數(shù)。fc是電影的熱門程度，計算公式（7）：

其中mc代表對電影進(jìn)行評分的用戶數(shù)量， M 代表用戶總數(shù)量。

改進(jìn)后的余弦相似度計算公式（8）：

可見，當(dāng)電影熱門程度越高時， p fc越小，對于相似度計算的影響越?。环粗?dāng)電影越冷門，p fc越大，相似度則會得到加強(qiáng)。

2.5 相似度融合

目前在推薦系統(tǒng)中使用較多的相似度融合方法包括加權(quán)型混合推薦中的線性模型，回歸模型（ Logistic Regression）， GBDT （ Gradient Boosted Decision Trees）等方法，本文使用加權(quán)型混合的線性模型方法。 通過設(shè)置參數(shù)，將兩種算法進(jìn)行混合，在數(shù)據(jù)集上反復(fù)測試，最終得到最合適的參數(shù)值，使得推薦結(jié)果最為準(zhǔn)確。 計算公式如式（9）所示：

其中，sinC 為經(jīng)過算法混合后的最終電影相似度，sinC 為基于物品的協(xié)同過濾計算出的電影相似度，sinsem(A，B) 為基于知識圖譜表示學(xué)習(xí)計算出的語義相似度。 α 為比例參數(shù)，代表基于物品的協(xié)同過濾算法計算出的電影相似度在融合算法計算出的電影相似度占比，α 的范圍設(shè)定為［0，1］。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 數(shù)據(jù)集

本文實(shí)驗(yàn)使用Amazon 的電影評分?jǐn)?shù)據(jù)集，數(shù)據(jù)集記錄了用戶對電影的評價，評分范圍從1 分到5 分， 1 代表用戶對于電影喜好程度最低，5 代表用戶對于電影喜好程度最高。 使用metadata 將數(shù)據(jù)集中電影的編號與該電影所在知識圖譜中的實(shí)體一一對應(yīng)。 本文選用了Freebase 中的電影本體作為本實(shí)驗(yàn)的知識圖譜數(shù)據(jù)集，版本號為2012－11－9。 數(shù)據(jù)集中包括了導(dǎo)演，演員等本體對象。 用實(shí)體的名稱來代替數(shù)據(jù)集中電影的id，提取出所需要的電影實(shí)體和電影實(shí)體之間的關(guān)系。 最終得到共計20 個知識圖譜的語義關(guān)系。 對于數(shù)據(jù)集采用了字符串規(guī)則匹配的方法進(jìn)行數(shù)據(jù)清理，使得Amazon 評分?jǐn)?shù)據(jù)和Freebase 數(shù)據(jù)集可以更好地匹配。

3.2 實(shí)驗(yàn)結(jié)果評價指標(biāo)

評估推薦系統(tǒng)的指標(biāo)包括準(zhǔn)確率（precision），F(xiàn)值（F － measure），召回率（recall）。 準(zhǔn)確率體現(xiàn)了推薦給用戶喜歡的電影占總推薦電影數(shù)量的比例，召回率體現(xiàn)了推薦的電影占用戶喜歡電影的比例，F(xiàn) 值是二者的調(diào)和平均值，能夠更加合理的評估推薦算法。

3.3 算法結(jié)果分析

3.3.1 兩種算法混合比例以及嵌入維度的確定

本文使用加權(quán)型混合方法中的線性模型方法與協(xié)同過濾的推薦算法進(jìn)行融合，在實(shí)驗(yàn)中首先確定融合比例，比例不同，電影推薦的效果也有所不同。本實(shí)驗(yàn)中Top－K 近鄰數(shù)K 選取100，表示學(xué)習(xí)嵌入維度選取200。 兩種推薦算法混合的比例從0 ∶10到10 ∶0 分別取整數(shù)值進(jìn)行計算。 圖為實(shí)驗(yàn)結(jié)果中的準(zhǔn)確率、召回率和F 值的曲線。 每組實(shí)驗(yàn)同數(shù)據(jù)同時測10 次，得出的結(jié)果取平均值，結(jié)果如圖4－5 所示。

圖4 K＝100 時的準(zhǔn)確率和F 值Fig 4 Precision and F－measure at K＝100

圖5 K＝100 時的召回率Fig.5 Recall at K＝100

從實(shí)驗(yàn)結(jié)果分析得到：在一定范圍內(nèi)準(zhǔn)確率、召回率和F 值隨著協(xié)同過濾算法的占比增加而增加，超過了準(zhǔn)確率、召回率和F 值會逐漸下降，效果較差。 對于本實(shí)驗(yàn)結(jié)果，采取表示學(xué)習(xí)和協(xié)同過濾算法融合比例為5 ∶5。

表示學(xué)習(xí)方法選擇嵌入的維度不同也會影響最終推薦結(jié)果的評估。 本實(shí)驗(yàn)選取100，200，300，400，500 這5 個維度進(jìn)行試驗(yàn)，分別比較不同維度下的召回率、準(zhǔn)確率和F 值。 每組實(shí)驗(yàn)相同數(shù)據(jù)測試10 次，實(shí)驗(yàn)結(jié)果如6－圖7 所示。

圖6 不同維度的準(zhǔn)確率和F 值Fig.6 Precision and F－measurein different dimension

圖7 不同維度的召回率Fig.7 ecall in different dimension

從實(shí)驗(yàn)結(jié)果分析得到：當(dāng)嵌入維度為200 時，得到的三個評價指標(biāo)最優(yōu)，因此表示學(xué)習(xí)嵌入維度選定為200。

3.3.2 算法結(jié)果對比

本文將提出的TransH－CF 算法與知識圖譜表示學(xué)習(xí)與協(xié)同過濾融合的TransE－CF 算法，改進(jìn)后的協(xié)同過濾算法：Cosine－CF 算法、Adjust Cosine－CF算法、Pearson－CF 算法進(jìn)行比較。 在對比實(shí)驗(yàn)中，選擇的四組近鄰數(shù)分別為60，80，100，120。 每組實(shí)驗(yàn)做10 次后取均值。 結(jié)果如圖8～圖10 所示：

圖8 不同近鄰數(shù)的準(zhǔn)確率Fig.8 Precision in different K

圖9 不同近鄰數(shù)的召回率Fig.9 Recall in different K

圖10 不同近鄰數(shù)的F 值Fig.10 F－measure in different K

從實(shí)驗(yàn)結(jié)果分析得到：當(dāng)選取嵌入維度為200，近鄰數(shù)為60 到120 之間時，TransH－CF 算法在準(zhǔn)確率、召回率和F 值3 個評估參數(shù)均為最優(yōu)。

4 結(jié)束語

本文提出了融合表示學(xué)習(xí)方法和改進(jìn)后的協(xié)同過濾算法TransH－CF：通過表示學(xué)習(xí)方法計算電影的語義相似度，與改進(jìn)后的協(xié)同過濾算法計算出的電影相似度混合，得出最終的推薦結(jié)果，表示學(xué)習(xí)模型使用了TransH 模型。 實(shí)驗(yàn)數(shù)據(jù)表明TransH－CF算法可以有效的提高電影推薦的準(zhǔn)確率、召回率以及F 值等指標(biāo)，TransH 算法與協(xié)同過濾混合推薦的結(jié)果也要優(yōu)于TransE 與協(xié)同過濾混合推薦的結(jié)果。利用實(shí)體的語義信息增強(qiáng)了推薦結(jié)果的可解釋性。下一步將嘗試將知識圖譜運(yùn)用到用戶畫像構(gòu)建中，與協(xié)同過濾的結(jié)果進(jìn)行混合推薦，進(jìn)一步的優(yōu)化推薦結(jié)果。