基于先驗知識的非負矩陣半可解釋三因子分解算法

陳 露，張曉霞*，于洪

（1.計算智能重慶市重點實驗室（重慶郵電大學），重慶 400065；2.重慶郵電大學計算機科學與技術(shù)學院，重慶 400065）

0 引言

潛在空間表示學習廣泛地應用在聚類［1-7］、自然語言處理［8-9］和生物科學［10-12］等數(shù)據(jù)挖掘和機器學習熱門領域。非負矩陣三因子分解（Non-negative Matrix Tri-Factorization，NMTF）常用于挖掘原始數(shù)據(jù)在潛在空間中的特征和標簽表示［13-14］。對于給定的原始數(shù)據(jù)矩陣X，非負矩陣三因子分解會構(gòu)造3 個非負低秩矩陣（U，S，V），并利用三者的矩陣乘積結(jié)果近似擬合原始矩陣。這種三因子的分解思路具有較高的靈活性，各矩陣之間能夠保證非負性和正交性等，因此在遷移學習［15］和推薦系統(tǒng)［16-18］領域廣泛應用。但目前非負矩陣三因子分解及其變種算法缺乏可解釋方面的研究，研究者和使用方無法得知低秩矩陣中隱因子蘊含的具體含義。

本文將非負矩陣三因子分解聚焦在推薦系統(tǒng)領域，對其可解釋方面進行了探究，提出基于先驗知識的非負矩陣半可解釋三因子分解（Partially Explainable Non-negative Matrix Tri-Factorization，PE-NMTF）算法。本文主要工作包括：

1）提出了一種基于部分解釋的可解釋性可行性方案，將已有的先驗知識作為算法的部分依賴，對非負矩陣三因子分解提供可解釋性保證。

2）應用特征級情感分析方法挖掘隱藏在用戶文本數(shù)據(jù)中偏好信息。本文將這部分偏好信息被當作是先驗知識。

3）在推薦冷啟動任務和零次識別任務中的不同數(shù)據(jù)集上進行了實驗，實驗結(jié)果表明本文所提PE-NMTF 在具有一定可解釋意義的同時能夠保證算法的有效性。

1 相關工作

近年來，非負矩陣三因子分解（NMTF）被應用于許多機器學習相關熱門領域。文獻［15］中將NMTF 應用于源域和目標域重疊區(qū)域較少的遷移學習領域，取得了很好的效果。具體來說，由于NMTF 可以同時執(zhí)行特征聚類和標簽傳播，使用非負矩陣三因子分解就能捕獲到源域和目標域之間的傳遞關系和分布偏移。針對協(xié)同聚類（co-clustering）中行列重疊的問題，文獻［16］中提出了一種基于非負矩陣三因子分解的新算法，通過在矩陣分解中加入自由度來處理重疊的共聚類；文獻［17］中提出了一種過程，該過程旨在通過識別由塊矩陣表示的更清晰的相關結(jié)構(gòu)來提高NMTF 作為協(xié)同聚類方法的性能；文獻［5］中將用戶和項目聚集成多個組，即不同的子矩陣，在每個子矩陣中執(zhí)行NMTF，為一個Top-N任務生成最終的評級預測，實驗結(jié)果能得到比傳統(tǒng)算法更好的結(jié)果。在生物醫(yī)藥領域，文獻［18］中構(gòu)建了一個將藥物、蛋白質(zhì)、生物通路和藥物類別作為網(wǎng)絡節(jié)點的大型網(wǎng)絡，并利用NMTF重構(gòu)鄰接矩陣來預測新的類別-藥物鏈接。針對NMTF算法本身，文獻［11］中認為基于乘法更新規(guī)則的NMTF 優(yōu)化過程有局限性且更新方法較為單一，因此進行了一項涉及6個大型數(shù)據(jù)集的實證研究，將乘法更新規(guī)則與三種備選優(yōu)化方法（包括交替最小二乘、投影梯度和坐標下降）進行了比較，并一一列舉出每個優(yōu)化方法的優(yōu)缺點和應用場景。

本文主要針對推薦系統(tǒng)應用場景，解決非負矩陣三因子分解算法的可解釋問題。根據(jù)文獻［19］中的描述，推薦系統(tǒng)的質(zhì)量和解釋生成的可信度之間相互矛盾，很難找到合適的方法在保證推薦系統(tǒng)質(zhì)量的同時，確保產(chǎn)生的解釋是正確且令人信服的，因此本文計劃利用外部的信息輔助產(chǎn)生相對合適的解釋。具體來說，本文將從用戶評論文本數(shù)據(jù)中挖掘的潛在用戶偏好信息作為先驗知識，輔助非負矩陣三因子分解算法的結(jié)果生成，從而做到半可解釋（或稱為局部可解釋）。通過改變非負矩陣三因子分解的更新公式，得到了在較小時間內(nèi)能達到收斂的算法。為了證明半可解釋的有效性，本文給算法設置了兩個不同的子任務，并在相應任務下的基準數(shù)據(jù)集上進行了實驗，實驗結(jié)果證明了本文思路的可行性。

2 非負矩陣三因子分解

2.1 基本定義

為了一致性，在這一節(jié)以推薦場景為例對全文使用到的符號和含義做了定義說明。在具體的推薦算法中，一般將用戶-物品的交互矩陣定義為X(X∈RM×N)。本文涉及的X特指用戶-物品的評分矩陣，即M個用戶對N個物品在范圍0～5 之間的評分，0 表示用戶未評分。本文定義用戶的潛在矩陣為U(U∈RM×r)，物品的潛在矩陣為V（V∈RN×k），連接用戶-物品隱因子的中間矩陣為S（S∈Rr×k）。

2.2 更新公式

非負矩陣三分子分解不同于傳統(tǒng)的協(xié)同過濾和非負矩陣分解的兩因子分解，它將潛在因子矩陣的非負性和正交性同時考慮到算法中，構(gòu)建了包含用戶隱因子矩陣、物品隱因子矩陣和中間矩陣的三因子共同更新的方法。如圖1 所示，NMTF 算法利用USVT的乘積結(jié)果得到近似評分矩陣X′，并利用歐氏距離等度量方式在更新迭代的過程中不斷優(yōu)化U、S、V。具體的損失函數(shù)為：

圖1 非負矩陣三因子分解示例Fig.1 Example of non-negative matrix tri-factorization

式（1）是根據(jù)歐氏距離構(gòu)造的損失函數(shù)，通過梯度下降的更新方式，可以得到每個潛因子矩陣的更新公式為：

3 基于先驗知識的半可解釋NMTF算法

本章詳細介紹如何利用用戶文本數(shù)據(jù)導出有關用戶偏好的先驗知識，并且將先驗知識引入非負矩陣三因子分解中，輔助算法結(jié)果的生成。

3.1 獲取先驗信息

根據(jù)文獻［20］的描述，用戶評論能提供用戶對物品細粒度上的理解，因此文獻［18］中的特征級情感分析技術(shù)可以很容易地應用于評論中，構(gòu)建特定領域的情感詞典。按照文獻［21-22］以及該團隊對相關方面工作的描述，可以將詞典中每個詞匯條目的形式定義為（特征，觀點，情感極性），縮寫為（f，o，s），這樣一組詞匯條目表示從用戶描述特征f 的文本短語o 中推斷出的極性s。由于如何利用短語層面的情感分析構(gòu)建情感詞典并不是本研究的重點，建議有興趣的讀者參考文獻［21］。在詞典構(gòu)建過程中，本文將用戶的情感極性s 標記為+1 或-1，分別表示用戶積極或消極的意見。本文認為用戶表現(xiàn)的積極和消極的意見都是蘊含用戶內(nèi)心偏好的先驗信息。將這些先驗信息嵌入到算法的迭代邏輯中，能幫助系統(tǒng)生成更具參考價值、更符合用戶內(nèi)心偏好的結(jié)果。本文將積極和消極的情感極性統(tǒng)一看待，認為它們對算法結(jié)果的影響權(quán)重一致。通過這樣的構(gòu)建方式，就得到了用戶關于特定特征的偏好，稱之為用戶情感極性矩陣。

3.2 目標函數(shù)及更新過程

本節(jié)將詳細介紹算法的目標函數(shù)構(gòu)建和相應的更新過程。

本文將物品隱因子矩陣V分解成V1∈RN×k1和V2∈RN×k2兩個子矩陣，其中k1+k2=k。類似的，用戶-物品隱因子中間矩陣S也進行相似的分解，分解為S1∈Rr×k1和S2∈Rr×k2兩個子矩陣。將V1替換為3.1 節(jié)中提到的用戶情感極性矩陣。具體來說，本文構(gòu)建的用戶情感極性矩陣與V1的維度一致，在更新過程中，將不再更新這部分。根據(jù)歐氏距離構(gòu)建了基于矩陣范數(shù)的目標函數(shù)，并最小化原始矩陣和重構(gòu)矩陣之間的距離，具體為：

根據(jù)梯度下降法和最優(yōu)化理論，就會得到以下各個子矩陣的更新公式：

4 實驗結(jié)果

4.1 度量標準

本文算法對冷啟動推薦任務的有效性通過均方根誤差（Root Mean Squared Error，RMSE）和歸一化折損累計增益（Normalized Discounted Cumulative Gain，NDCG）［22］來衡量，零次識別子任務采用歸一化互信息（Normalized Mutual Information，NMI）和準確率（ACCuracy，ACC）作為評價指標［23］。具體公式定義如下：

其中：xu，i表示用戶u對物品i的真實評分，u，i表示根據(jù)式（1）得到的對應的預測評分，X表示測試集中所有的用戶物品集合，ri表示在對應位置的等級關聯(lián)性，I(?)表示互信息，H(?)表示相對熵，TP（True Positive）為將正類預測正確的數(shù)，F(xiàn)N（False Negative）為將正類預測錯誤的數(shù)，F(xiàn)P（False Positive）為將負類預測為錯誤的數(shù)，TN（True Negative）為將負類預測正確的數(shù)。

4.2 數(shù)據(jù)集

本文在Amazon、Yelp、AwA（Animal with Attribute）［24-25］和CUB（Caltech-UCSD Birds-200-2011）［26］四個數(shù)據(jù)集上進行實驗。具體來說，對于冷啟動任務，選用前兩個數(shù)據(jù)集進行測試，而將后面兩個數(shù)據(jù)集用于驗證零次識別任務。Yelp 數(shù)據(jù)集是一個餐館業(yè)務數(shù)據(jù)集。Amazon 數(shù)據(jù)集采用其中關于手機和配件業(yè)務的數(shù)據(jù)集，非常稀疏，該平臺上73%的用戶和47%的商品只有一個評論數(shù)據(jù)。在做冷啟動任務時，將上述兩個數(shù)據(jù)集的90%用于訓練集，10%用于測試集。AwA 數(shù)據(jù)集包含50 個動物類別，每個類別有85 個維度（即屬性），一共有30 475 張圖片，其中每張圖片是32×32 的維度。將其中40個類設為訓練集，一共包含24 295 張圖片，其余10 個類作為測試集。CUB 數(shù)據(jù)集是一個鳥類數(shù)據(jù)集，其中包含了200 種類別，總共包含11 788 張圖片，每張圖片的尺寸為32×32，將其中150 個類的數(shù)據(jù)作為訓練集，一共包含8 827 張圖片，其余50 個類作為測試集。

4.3 實驗和結(jié)果

為比較本文算法PE-TNMF 性能，實驗采用非負矩陣分解（Non-negative Matrix Factorization，NMF）［6］、非負矩陣三因子分解（NMTF）［27］以及物品隱因子矩陣全由已知信息組成的完全可解釋非負矩陣三因子分解（Fully Explainable Nonnegative Matrix Tri-Factorization，F(xiàn)E-NMTF）作為對比算法，并采用5 次交叉驗證進行實驗。

表1 為四種算法在冷啟動推薦任務上的實驗結(jié)果，本文算法在Yelp 和Amazon 數(shù)據(jù)集上的效果都要好于前兩種傳統(tǒng)算法，同時，實驗結(jié)果和全可解釋方法相差很小，說明半可解釋用于非負矩陣三因子分解的可行性。

表1 四種算法在冷啟動任務上的實驗結(jié)果Tab.1 Experimental results of four algorithms on cold-start tasks

表2 為四種算法在零次識別任務上的實驗結(jié)果。在圖像數(shù)據(jù)集上，本文算法同樣具有很好的效果，這進一步驗證了半可解釋思路的可行性。

表2 四種算法在零次識別上的實驗結(jié)果Tab.2 Experimental results of four algorithms on zero-shot tasks

在圖2 中給出了四種算法的收斂性，在引入半可解釋的全新更新公式的作用下，本文算法仍然具有較快的收斂速度。

圖2 四種算法在4個數(shù)據(jù)集的收斂性Fig.2 Convergence of four algorithms on 4 datasets

5 結(jié)語

本文提出了一種基于先驗知識的非負矩陣半可解釋三因子分解算法，試圖在算法質(zhì)量和解釋可信度上做到平衡，利用豐富的用戶評論文本數(shù)據(jù)，得到了包含情感偏好的先驗信息。為此，本文更改了原始非負矩陣三因子分解算法，將先驗信息嵌入到算法結(jié)果的生成過程中，產(chǎn)生富有解釋的結(jié)果。實驗結(jié)果表明，利用先驗信息進行非負矩陣三因子分解的部分可解釋的想法成立，并且能夠取得良好的效果。此外，將更復雜多樣的先驗知識和更細的正則化約束作為下一步研究工作。