圖神經(jīng)網(wǎng)絡(luò)推薦系統(tǒng)綜述

吳靜，謝輝，姜火文

江西科技師范大學(xué) 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，南昌330038

隨著大數(shù)據(jù)時(shí)代的到來(lái)，數(shù)據(jù)結(jié)構(gòu)更加復(fù)雜，圖神經(jīng)網(wǎng)絡(luò)推薦系統(tǒng)是用來(lái)處理非歐式數(shù)據(jù)并以此來(lái)提升推薦系統(tǒng)準(zhǔn)確度的方法?，F(xiàn)實(shí)生活中形成的社交網(wǎng)絡(luò)、知識(shí)圖譜等都存在大量的非歐式數(shù)據(jù)，圖神經(jīng)網(wǎng)絡(luò)（graph neural network，GNN）推薦系統(tǒng)（recommendation system，RS）能達(dá)到傳統(tǒng)推薦系統(tǒng)所無(wú)法達(dá)到的效果。尤其在項(xiàng)目與項(xiàng)目、用戶與用戶、用戶與項(xiàng)目以及顯性或隱性信息之間的處理上，GNN 推薦系統(tǒng)能夠借助非歐式數(shù)據(jù)，使得推薦結(jié)果高質(zhì)量化。推薦系統(tǒng)目前的主要挑戰(zhàn)是如何從用戶-物品交互以及輔助信息中學(xué)習(xí)有效的嵌入信息。其大部分的信息本質(zhì)上都是圖結(jié)構(gòu)，而GNN 在表示學(xué)習(xí)方面具有先天優(yōu)勢(shì)。隨著深度學(xué)習(xí)的發(fā)展，作為常見(jiàn)的深度學(xué)習(xí)模型GNN，其應(yīng)用于推薦系統(tǒng)方向的研究與日俱增，在推薦方向的應(yīng)用將成為發(fā)展的必然趨勢(shì)?；贕NN 推薦系統(tǒng)問(wèn)題的相關(guān)研究正受到人們的廣泛關(guān)注和研究。以往的GNN 推薦方向的綜述從GNN 模型的圖結(jié)構(gòu)、個(gè)人或群體等角度上進(jìn)行總結(jié)歸納，本文最大的創(chuàng)新點(diǎn)在于從方法、問(wèn)題兩個(gè)角度切入分析，在近些年來(lái)圖神經(jīng)網(wǎng)絡(luò)的相關(guān)研究進(jìn)行整理的基礎(chǔ)上，對(duì)圖神經(jīng)網(wǎng)絡(luò)推薦系統(tǒng)進(jìn)行深入研究，從兩個(gè)角度來(lái)分析總結(jié)基于GNN 推薦系統(tǒng)的最新研究進(jìn)展，提出GNN 推薦系統(tǒng)當(dāng)前存在的問(wèn)題并討論未來(lái)的主要研究方向。

1 推薦系統(tǒng)

推薦系統(tǒng)的核心是通過(guò)用戶的歷史行為、興趣偏好或者人口統(tǒng)計(jì)學(xué)特征來(lái)得到某種推薦算法，該算法能產(chǎn)生用戶感興趣的項(xiàng)目列表，而該項(xiàng)目列表使得排在前面的物品展示給用戶。正因?yàn)榛ヂ?lián)網(wǎng)的發(fā)展，推薦系統(tǒng)已經(jīng)成為互聯(lián)網(wǎng)產(chǎn)品的標(biāo)配，而推薦系統(tǒng)的主要目標(biāo)是發(fā)現(xiàn)并建立用戶與信息之間的通道。從用戶角度來(lái)看，推薦系統(tǒng)就是幫助用戶找到他們所需要的信息，例如喜歡的物品或服務(wù)，還會(huì)幫助用戶做出決策，并且發(fā)現(xiàn)用戶可能感興趣的潛在信息；從信息角度來(lái)看，推薦系統(tǒng)可以將特定的信息提供給特定的用戶，以此來(lái)提供個(gè)性化的服務(wù)，提高用戶信任度和粘性，為商家增加營(yíng)收。根據(jù)推薦算法所用數(shù)據(jù)的不同分為基于內(nèi)容的推薦、協(xié)同過(guò)濾的推薦以及混合的推薦。如圖1 所示為推薦系統(tǒng)基本分類。

圖1 推薦系統(tǒng)分類Fig.1 Recommendation system classification

基于協(xié)同過(guò)濾的推薦系統(tǒng)是基于用戶-項(xiàng)目的歷史交互記錄產(chǎn)生推薦，可以是顯性反饋（評(píng)分、喜歡/不喜歡），也可以是隱性反饋（瀏覽、點(diǎn)擊）；基于內(nèi)容的推薦主要是根據(jù)用戶和項(xiàng)目的特征信息來(lái)進(jìn)行推薦；混合方法推薦則結(jié)合了以上兩種不同的推薦方法，即可同時(shí)建模靜態(tài)特征與動(dòng)態(tài)交互。在基于協(xié)同過(guò)濾的推薦系統(tǒng)上，圖神經(jīng)網(wǎng)絡(luò)屬于基于圖的模型。

2 圖神經(jīng)網(wǎng)絡(luò)推薦系統(tǒng)方法

圖神經(jīng)網(wǎng)絡(luò)借鑒了卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)網(wǎng)絡(luò)和深度自編碼器的思想，目的是為了擴(kuò)展現(xiàn)有神經(jīng)網(wǎng)絡(luò)，定義和設(shè)計(jì)用于處理圖形結(jié)構(gòu)數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。盡管在提取歐氏空間數(shù)據(jù)的特征方面，傳統(tǒng)方法取得了巨大的成功，但圖神經(jīng)網(wǎng)絡(luò)既可以利用圖來(lái)反映對(duì)象之間的復(fù)雜關(guān)系，還可以對(duì)非歐氏空間生成的數(shù)據(jù)進(jìn)行特征提取和表示。它在學(xué)習(xí)圖形結(jié)構(gòu)數(shù)據(jù)方面表現(xiàn)出了更強(qiáng)大的功能。正因?yàn)镚NN在圖學(xué)習(xí)上的優(yōu)越性能，它被廣泛運(yùn)用于推薦系統(tǒng)。除此之外，它也被應(yīng)用到許多領(lǐng)域，如文本分類、自然語(yǔ)言處理、疾病預(yù)測(cè)、特征關(guān)系提取等。

對(duì)于推薦系統(tǒng)來(lái)說(shuō)，一般推薦系統(tǒng)包括三個(gè)階段，分別是匹配、排序和再排序。圖神經(jīng)網(wǎng)絡(luò)的原理主要是：首先構(gòu)建圖結(jié)構(gòu)模型來(lái)反映實(shí)體和實(shí)體之間的關(guān)系；再利用特定的方法對(duì)節(jié)點(diǎn)進(jìn)行描述并得到包含最終的鄰居節(jié)點(diǎn)信息和拓?fù)浣Y(jié)構(gòu)特點(diǎn)狀態(tài)的節(jié)點(diǎn)，該節(jié)點(diǎn)已經(jīng)進(jìn)行了不斷的更新迭代；最后將通過(guò)某種特定的方式輸出這些節(jié)點(diǎn)的表示形式，并獲得所需要的信息。而對(duì)于GNN 推薦系統(tǒng)來(lái)說(shuō)，其主要階段和圖神經(jīng)網(wǎng)絡(luò)過(guò)程接近，一般只分為四步：（1）根據(jù)實(shí)體相互關(guān)系建立GNN 模型；（2）決定GNN模型的信息傳播與更新方法；（3）提取出更新后的節(jié)點(diǎn)特征；（4）選取算法實(shí)現(xiàn)推薦。本文基于圖神經(jīng)網(wǎng)絡(luò)推薦系統(tǒng)的方法主要分成了五大類。圖2 表示了GNN 推薦系統(tǒng)主要的五大分類。

圖2 GNN 推薦系統(tǒng)分類Fig.2 Taxonomy of graph neural network-based recommendation system

2.1 圖卷積網(wǎng)絡(luò)推薦系統(tǒng)

圖卷積網(wǎng)絡(luò)（graph convolution networks，GCN）是將卷積運(yùn)算從傳統(tǒng)數(shù)據(jù)推廣到了圖數(shù)據(jù)，如圖3所示。

圖3 圖卷積原理圖Fig.3 Principle diagram of graph convolution networks

該圖是使用深度為2 的卷積模型。左邊是一個(gè)小的輸入圖示例，右邊為兩層神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)使用節(jié)點(diǎn)及其鄰域()（節(jié)點(diǎn)、、）來(lái)計(jì)算節(jié)點(diǎn)的值。

在基于圖卷積神經(jīng)網(wǎng)絡(luò)推薦系統(tǒng)的算法中，一部分算法并不會(huì)直接使用GCN 方法，而是將GCN 與圖嵌入融合在一起，從而提升了整個(gè)模型的效率。事實(shí)上，GCN 與其他四類也進(jìn)行了融合，創(chuàng)造了許多成果。在最近的文獻(xiàn)研究里，更多的是處理大規(guī)模的數(shù)據(jù)。文獻(xiàn)[11]提出了一種基于高效的隨機(jī)游走方法來(lái)構(gòu)建卷積模型，并設(shè)計(jì)了一個(gè)新穎的訓(xùn)練策略來(lái)改善模型的魯棒性和收斂性。其在基于圖卷積架構(gòu)的推薦系統(tǒng)上，能解決數(shù)億級(jí)別用戶的Web 推薦任務(wù)，但不足之處在于不能解決其他大規(guī)模的圖表示學(xué)習(xí)問(wèn)題。對(duì)于處理大規(guī)模數(shù)據(jù)的計(jì)算和內(nèi)存問(wèn)題上，Chen等提出了一種基于混合內(nèi)存計(jì)算（computation-in-memory，CIM）結(jié)構(gòu)的圖卷積網(wǎng)絡(luò)的有效分配方法。該方法還解決了圖卷積網(wǎng)絡(luò)在應(yīng)用中的不規(guī)則數(shù)據(jù)的訪問(wèn)問(wèn)題。CIM 結(jié)構(gòu)上優(yōu)化了GCN 的任務(wù)分配，為GCN 推薦系統(tǒng)上數(shù)據(jù)處理提供了一個(gè)解決方案。同樣地，對(duì)于處理和訓(xùn)練復(fù)雜的大規(guī)模異構(gòu)圖數(shù)據(jù)上，Tran等則開(kāi)發(fā)了一個(gè)基于GCN 原理的新的框架——HeteGraph（graph learning in recommender systems via graph convolutional networks）。其通過(guò)一種抽樣技術(shù)和一個(gè)圖卷積運(yùn)算來(lái)學(xué)習(xí)高質(zhì)量圖的節(jié)點(diǎn)嵌入。這個(gè)與傳統(tǒng)的GCN 不同，后者需要一個(gè)完整的圖鄰接矩陣來(lái)進(jìn)行嵌入學(xué)習(xí)，而該框架是設(shè)計(jì)了兩個(gè)模型來(lái)評(píng)估推薦系統(tǒng)任務(wù)，即項(xiàng)目評(píng)級(jí)預(yù)測(cè)和多樣化項(xiàng)目推薦。該方法主要是應(yīng)用于大規(guī)模異構(gòu)圖數(shù)據(jù)的推薦問(wèn)題，但僅適用于兩個(gè)實(shí)體，即用戶和項(xiàng)目。進(jìn)一步來(lái)說(shuō)，Shafqat等將用戶-項(xiàng)目點(diǎn)擊交互作為概率分布，并使用該值度量節(jié)點(diǎn)之間的相似度。該方法采用了兩個(gè)不同節(jié)點(diǎn)之間的相似性度量來(lái)事先對(duì)鄰居進(jìn)行采樣。這種方法簡(jiǎn)化了GCN 模型的鄰居抽樣任務(wù)，提高了訓(xùn)練效率，降低了復(fù)雜度和計(jì)算時(shí)間，但需要形成會(huì)話圖，并不適應(yīng)于所有推薦系統(tǒng)場(chǎng)景。對(duì)于異構(gòu)圖數(shù)據(jù)，不同于Tran等方法，Yin等提出的基于異構(gòu)信息網(wǎng)絡(luò)的高效推薦算法是利用圖卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)節(jié)點(diǎn)信息的特點(diǎn)，提取異構(gòu)信息，并融合異構(gòu)信息的計(jì)算策略和評(píng)分信息融合策略解決節(jié)點(diǎn)評(píng)分問(wèn)題，通過(guò)更新節(jié)點(diǎn)，減小了訓(xùn)練規(guī)模，提高了計(jì)算效率。除了數(shù)據(jù)量的問(wèn)題，關(guān)于可解釋性上，同樣地利用了用戶和項(xiàng)目?jī)蓚€(gè)實(shí)體，Chen等將知識(shí)圖（knowledge graph，KG）引入到推薦系統(tǒng)來(lái)提高可解釋性。他們提出了一種基于KG 的交互式規(guī)則引導(dǎo)推薦（interactive rules-guided recommender，IR-Rec）框架，主要是從增強(qiáng)的KG 中提取用戶-項(xiàng)目之間交互的多條路徑，再?gòu)臐撛趧?dòng)機(jī)角度將這些路徑歸納出一些公共行為規(guī)則，通過(guò)這些規(guī)則來(lái)確定推薦的潛在原因。根據(jù)用戶、項(xiàng)目和規(guī)則設(shè)計(jì)了圖卷積網(wǎng)絡(luò)等不同神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)嵌入表示。Bonet等給出了一種時(shí)間協(xié)同過(guò)濾（temporal collaborative filtering，TCF）方法，利用GNN 學(xué)習(xí)用戶和項(xiàng)目表示，并利用遞歸神經(jīng)網(wǎng)絡(luò)建模。該方法為了解決數(shù)據(jù)稀疏性，使用每段時(shí)間累積的數(shù)據(jù)來(lái)訓(xùn)練GNN，提高了推薦系統(tǒng)的性能，但其側(cè)重于提高推薦的準(zhǔn)確度，忽視了推薦系統(tǒng)的可解釋性，且無(wú)法應(yīng)對(duì)數(shù)據(jù)樣本量稀少的情況。

2.2 圖注意力網(wǎng)絡(luò)推薦系統(tǒng)

圖注意力網(wǎng)絡(luò)（graph attention network，GAT）是一種基于空間的圖卷積網(wǎng)絡(luò)，它在聚合特征信息時(shí)，將注意力機(jī)制用于確定節(jié)點(diǎn)鄰域權(quán)重。它能夠放大數(shù)據(jù)中最重要部分的影響并且能夠自適應(yīng)地學(xué)習(xí)鄰居節(jié)點(diǎn)權(quán)重。但是，計(jì)算成本和內(nèi)存消耗會(huì)隨著每對(duì)鄰居之間的注意權(quán)重的計(jì)算而迅速增加。這也是基于GAT 推薦系統(tǒng)的難題。

基于GAT 推薦系統(tǒng)的研究比較豐富。社交關(guān)系是GAT 應(yīng)用的主要因素。Song等提出了用于在線社區(qū)基于會(huì)話的社交推薦的動(dòng)態(tài)圖注意力神經(jīng)網(wǎng)絡(luò)（dynamic-graph-attention neural network）模型。同樣地，Jiang 等人也認(rèn)為社會(huì)關(guān)系能優(yōu)化推薦系統(tǒng)，由此將社會(huì)信息融入到圖卷積網(wǎng)絡(luò)中的嵌入鄰域聚類中，利用用戶-項(xiàng)目交互圖和社會(huì)關(guān)系圖來(lái)捕捉用戶的項(xiàng)目品味和用戶朋友之間的關(guān)系。他們?cè)O(shè)計(jì)了一種新的框架——注意力社會(huì)推薦系統(tǒng)（attentional social recommendation system，ASR），通過(guò)兩個(gè)注意力機(jī)制分別研究節(jié)點(diǎn)的鄰居權(quán)重以及交互圖和社交圖之間的語(yǔ)義貢獻(xiàn)，并利用分層圖注意力卷積網(wǎng)絡(luò)使SAR 能自適應(yīng)地探索更高階的交互和社會(huì)鄰居，以構(gòu)建更好的嵌入表示。但是，ASR 設(shè)置了兩個(gè)注意力機(jī)制而使模型更加復(fù)雜，往后需要有效、合理地簡(jiǎn)化GAT。在社會(huì)關(guān)系的另一方面，對(duì)于利用社會(huì)信息解決傳統(tǒng)協(xié)同過(guò)濾中的數(shù)據(jù)稀疏性和冷啟動(dòng)問(wèn)題，Wu等提出了能夠?qū)W習(xí)二重社交影響的對(duì)偶圖注意力網(wǎng)絡(luò)（dual graph attention networks for modeling multifaceted social effects in recommender systems，DANSER），它包括兩個(gè)對(duì)偶的圖注意力網(wǎng)絡(luò)，以學(xué)習(xí)推薦系統(tǒng)中社會(huì)效應(yīng)的深層表征，利用了特定用戶的注意力權(quán)重和通過(guò)動(dòng)態(tài)并能夠感知上下文的注意力權(quán)重來(lái)建模。不同于大多數(shù)的模型，它并沒(méi)有假設(shè)好友的社會(huì)影響是固定靜態(tài)的。而在上述文獻(xiàn)中，文獻(xiàn)[18，20]都有考慮到用戶的動(dòng)態(tài)性，而文獻(xiàn)[19]僅僅利用了其他信息來(lái)關(guān)聯(lián)一些隱性信息。實(shí)際上，許多社會(huì)研究和實(shí)踐案例表明，人們的消費(fèi)行為和社會(huì)行為不是孤立的，而是相互關(guān)聯(lián)的。一些隱性信息也值得挖掘。Xiao等基于圖神經(jīng)網(wǎng)絡(luò)、注意機(jī)制和互補(bǔ)模型，創(chuàng)造出了一種新的框架——MutualRec（joint friend and item recommendations with mutualistic attentional graph neural networks），用于聯(lián)合建模社交網(wǎng)絡(luò)中的用戶偏好和社交交互。這種框架使用了空間和頻譜注意力神經(jīng)網(wǎng)絡(luò)層來(lái)獲取用戶的偏好特征和社交特征，再通過(guò)互補(bǔ)模型中的關(guān)注層將兩個(gè)特征融合在一起，同時(shí)解決了社交推薦和鏈路預(yù)測(cè)任務(wù)。該模型具有一定局限性，可以結(jié)合知識(shí)圖來(lái)推薦，進(jìn)而更好地使前兩層緩解數(shù)據(jù)稀疏性。而Dang等首次提出了一種將知識(shí)圖和知識(shí)表示引入到Web服務(wù)推薦中的深層知識(shí)感知方法，并提出了一種深度知識(shí)感知的Web 服務(wù)推薦框架（deep knowledge-aware approach for Web service recommendation，DKWSR）。該框架還加入了注意力機(jī)制來(lái)模擬當(dāng)前候選項(xiàng)目的標(biāo)簽對(duì)組合項(xiàng)目表示的影響。這解決了因用戶調(diào)用有限數(shù)量的服務(wù)而導(dǎo)致的數(shù)據(jù)稀疏性和冷啟動(dòng)問(wèn)題，并提高了推薦結(jié)果的可解釋性。Li等為解決數(shù)據(jù)稀疏和冷啟動(dòng)的問(wèn)題，利用圖的邊信息創(chuàng)造出了一個(gè)名為GSIRec（graph side information for recommendation）的深層端到端推薦框架。其利用了圖注意力神經(jīng)網(wǎng)絡(luò)來(lái)增強(qiáng)推薦。Salamat等通過(guò)將社會(huì)網(wǎng)絡(luò)建模為一個(gè)異質(zhì)圖，利用帶注意力機(jī)制的GNN 智能聚合來(lái)自所有來(lái)源的信息，并提出了一種新的基于圖的推薦系統(tǒng)Hetero-GraphRe（heterogeneous graph-based neural networks for social recommendations）。該系統(tǒng)提高了模型的可解釋性，但未考慮社交網(wǎng)絡(luò)的動(dòng)態(tài)行為。以上的文獻(xiàn)方法都能有效解決數(shù)據(jù)稀疏和冷啟動(dòng)問(wèn)題，但由于文獻(xiàn)[24]需要獲取了大量的信息，那么如何進(jìn)行高效的數(shù)據(jù)篩選從而捕獲有用的信息也是一個(gè)大的挑戰(zhàn)。眾所周知，KG 能有效地緩解數(shù)據(jù)稀疏性，但基于KG 的推薦系統(tǒng)不能自動(dòng)捕獲實(shí)體對(duì)推薦的長(zhǎng)期依賴關(guān)系，Sang等提出了一種雙通道神經(jīng)交互方法——知識(shí)圖增強(qiáng)神經(jīng)協(xié)同過(guò)濾殘差遞歸網(wǎng)絡(luò)（knowledge graph enhanced neural collaborative filtering with residual recurrent network，KGNCF-RRN）。該方法能捕捉豐富的語(yǔ)義信息，還能捕捉用戶與項(xiàng)目之間復(fù)雜的隱含關(guān)系，用于推薦。這也為捕獲隱性信息提供了方法。

2.3 圖自動(dòng)編碼器推薦系統(tǒng)

圖自動(dòng)編碼器（graph autoencoders）是一類圖嵌入方法，典型的用法是利用多層感知機(jī)作為編碼器來(lái)獲取節(jié)點(diǎn)嵌入。其目的是利用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)將圖的頂點(diǎn)表示為低維向量。Kipf 與Welling 在2016 年提出了基于圖的（變分）自編碼器——VGAE（variational graph auto-encoder）。自此開(kāi)始，圖自編碼器在很多領(lǐng)域都派上了用場(chǎng)，例如腦電路圖、多視圖、社交網(wǎng)絡(luò)等。

在隱式關(guān)系上，文獻(xiàn)[29-32]各自提出了模型，但區(qū)別在于一個(gè)是捕捉圖結(jié)構(gòu)下的隱式信任關(guān)系，另一個(gè)是捕獲隱式數(shù)據(jù)之間的關(guān)系。Zheng等提出了一種基于變分自動(dòng)編碼器（variational auto-encoder，VAE）的隱式信任關(guān)系感知社交推薦模型（implicit trust relation-aware model，ITRA）。ITRA 采用注意模塊將加權(quán)信任嵌入信息反饋到繼承的非線性VAE 結(jié)構(gòu)中。模型可以通過(guò)重建一個(gè)包含間接關(guān)鍵意見(jiàn)領(lǐng)袖和鄰居顯性聯(lián)系的隱式高階交互的非二進(jìn)制鄰接社交矩陣進(jìn)行推薦。而典型的模型通常將用戶信任關(guān)系描述為從社交圖中導(dǎo)出的二進(jìn)制鄰接矩陣，基本上只包含鄰域交互，然后用相同的值對(duì)不同個(gè)體的信任值進(jìn)行編碼。這種方法無(wú)法捕捉隱藏在圖結(jié)構(gòu)下的隱式高階關(guān)系，因此忽略了間接因素的影響。而Yao等提出了相關(guān)瓦瑟斯坦自動(dòng)編碼器（correlated Wasserstein autoencoders，CWAEs）模型，通過(guò)無(wú)向無(wú)環(huán)圖來(lái)表示數(shù)據(jù)，利用現(xiàn)實(shí)世界數(shù)據(jù)通常相互關(guān)聯(lián)的特點(diǎn)，以提高推薦性能。更進(jìn)一步地，Deng等提出了一種混合的HybridGNN-SR（combining unsupervised and supervised graph learning for session-based recommendation）模型，將無(wú)監(jiān)督圖學(xué)習(xí)和有監(jiān)督圖學(xué)習(xí)相結(jié)合，從圖的角度來(lái)表示會(huì)話中的項(xiàng)目轉(zhuǎn)換模式以此捕捉節(jié)點(diǎn)特征的圖形結(jié)構(gòu)數(shù)據(jù)。具體說(shuō)，在無(wú)監(jiān)督學(xué)習(xí)部分，提出將變分圖自動(dòng)編碼器和互信息相結(jié)合來(lái)表示會(huì)話圖中的節(jié)點(diǎn)；在監(jiān)督學(xué)習(xí)部分，使用一種路由算法來(lái)提取會(huì)話中較高概念特征進(jìn)行推薦。這種算法考慮了會(huì)話中的項(xiàng)目之間依賴關(guān)系。文獻(xiàn)[32]則是開(kāi)發(fā)了一種考慮用戶偏好的監(jiān)督多變量自動(dòng)編碼器（supervised multivariational autoencoder considering user preference，SMVAE-UP），可以提取內(nèi)容特征之間的關(guān)系，從而獲得偏好感知的多通道特征。這樣可以從大量帖子中為每個(gè)用戶個(gè)性化推薦帖子，但是該訓(xùn)練時(shí)間具有局限性，使用了Intel Core i77800X，NVIDIA Quadro GV100和32 GB RAM的計(jì)算機(jī)，所有用戶訓(xùn)練SMVAE（supervised multi-variational auto-encoder）的總時(shí)間為33.5 h。如何更高效、更簡(jiǎn)潔地處理大數(shù)據(jù)，從而挖掘隱式關(guān)系，是需要考慮的問(wèn)題。

2.4 圖生成網(wǎng)絡(luò)推薦系統(tǒng)

圖生成網(wǎng)絡(luò)（graph generative networks）是給定一組觀察到的圖的情況下生成新的圖。圖生成網(wǎng)絡(luò)的方法都是基于特定領(lǐng)域，例如：分子圖生成、自然語(yǔ)言處理等。一些方法是將生成過(guò)程看作交替生成節(jié)點(diǎn)和邊，另一些方法是利用生成對(duì)抗訓(xùn)練。在最近的研究中，圖生成網(wǎng)絡(luò)正在被深度學(xué)習(xí)徹底改變，其應(yīng)用廣泛，尤其是藥物中的分子生成等方面。而在推薦系統(tǒng)的生成圖上，新節(jié)點(diǎn)連通性與現(xiàn)有圖的冷啟動(dòng)問(wèn)題一直存在。例如用戶屬性，如性別、教育等存在著大部分缺失信息，使得個(gè)性化推薦任務(wù)遇到一定問(wèn)題。Zhou等提出一種基于對(duì)抗性VAE 的屬性推斷模型（infer-AVAE）。該模型將多層感知器和GNN 結(jié)合，學(xué)習(xí)正負(fù)潛在表示，還將引入互信息約束作為解碼器的正則化器，以更好地利用表示中的輔助信息并生成不受觀察限制的輸出表示，但其還是會(huì)出現(xiàn)過(guò)擬合和過(guò)度平滑問(wèn)題。對(duì)稀疏性數(shù)據(jù)，很容易產(chǎn)生過(guò)擬合現(xiàn)象。盡管在學(xué)習(xí)圖表示和圖生成方面出現(xiàn)了一些新的文獻(xiàn)，但是由于學(xué)習(xí)過(guò)程嚴(yán)重依賴于拓?fù)涮卣?，從而?dǎo)致大多數(shù)的圖表示和圖生成方法大都不能處理孤立的新節(jié)點(diǎn)。在這方面，Xu等提出了一個(gè)統(tǒng)一的生成圖卷積網(wǎng)絡(luò)模型，該模型通過(guò)對(duì)觀察到的圖形數(shù)據(jù)構(gòu)造的圖生成序列進(jìn)行采樣，自適應(yīng)地學(xué)習(xí)生成模型框架中所有節(jié)點(diǎn)的節(jié)點(diǎn)表示。此模型是將圖表示學(xué)習(xí)和圖卷積網(wǎng)絡(luò)結(jié)合到一個(gè)順序生成模型，該方法在增長(zhǎng)圖的鏈接預(yù)測(cè)上優(yōu)于其他方法。然而，因?yàn)橛?jì)算復(fù)雜性取決于完整圖的大小，可伸縮性仍然是一個(gè)主要問(wèn)題。大多數(shù)研究還會(huì)結(jié)合對(duì)抗神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)構(gòu)成圖生成對(duì)抗神經(jīng)網(wǎng)絡(luò)。例如，Wu等提出了一種新的基于圖卷積的生成先令攻擊（graph convolutionbased generative shilling attack，GOAT），部署了一個(gè)生成性對(duì)抗網(wǎng)絡(luò)（generative adversarial network，GAN），其生成器還結(jié)合了一種圖卷積結(jié)構(gòu)。該方法是為了探索推薦系統(tǒng)的穩(wěn)定性，進(jìn)而提出了先令攻擊模型。此推薦方法只適用于對(duì)基于評(píng)論等內(nèi)容的推薦。同樣是結(jié)合對(duì)抗神經(jīng)網(wǎng)絡(luò)，Zhang等提出了一種新的全局仿射和局部特定生成對(duì)抗網(wǎng)絡(luò)（globalaffine and local-specific generative adversarial network，GALS-GAN），用于顯式構(gòu)造全局語(yǔ)義布局和學(xué)習(xí)不同的實(shí)例級(jí)特征，解決了合成細(xì)粒度紋理和小規(guī)模實(shí)例的困難?？梢?jiàn)，圖生成網(wǎng)絡(luò)推薦系統(tǒng)開(kāi)始和卷積神經(jīng)網(wǎng)絡(luò)或?qū)股窠?jīng)網(wǎng)絡(luò)進(jìn)行了一定程度的融合。受到深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)最新進(jìn)展的啟發(fā)，有些人開(kāi)始利用圖的深度生成模型結(jié)合注意力機(jī)制來(lái)生成模型。不過(guò)，這些推薦系統(tǒng)僅僅是想生成有用且有效的信息，并沒(méi)有考慮到興趣會(huì)隨時(shí)間變化，當(dāng)圖變大時(shí)，對(duì)長(zhǎng)序列建模就變得困難了，而且這些方法都不能擴(kuò)展到大的圖，其性能還有待提升。

2.5 圖時(shí)空網(wǎng)絡(luò)推薦系統(tǒng)

圖時(shí)空網(wǎng)絡(luò)（graph spatial-temporal networks）同時(shí)捕捉時(shí)空?qǐng)D的時(shí)空相關(guān)性，它利用時(shí)空?qǐng)D來(lái)建模。時(shí)空?qǐng)D具有全局圖結(jié)構(gòu)，每個(gè)節(jié)點(diǎn)的輸入隨時(shí)間變化。圖時(shí)空網(wǎng)絡(luò)的目標(biāo)可以是預(yù)測(cè)未來(lái)的節(jié)點(diǎn)值或標(biāo)簽，或者預(yù)測(cè)時(shí)空?qǐng)D標(biāo)簽。它常用于交通流量預(yù)測(cè)方面。最近的研究常結(jié)合深度學(xué)習(xí)使用時(shí)空?qǐng)D卷積網(wǎng)絡(luò)（spatial-temporal graph convolution networks，ST-GCN）來(lái)提取空間和時(shí)間維度上的特征。例如Park等設(shè)計(jì)的生成性對(duì)抗網(wǎng)絡(luò)框架，它從一組帶有樣式標(biāo)簽但未配對(duì)的運(yùn)動(dòng)剪輯中學(xué)習(xí)風(fēng)格特征，以支持多個(gè)樣式域之間的映射，而以往多采用單一維度，例如利用時(shí)間軸來(lái)提取數(shù)據(jù)風(fēng)格特征，無(wú)法表現(xiàn)空間動(dòng)態(tài)的運(yùn)動(dòng)。雖然該文獻(xiàn)中的框架能提取空間和時(shí)間兩個(gè)維度的特征，但其對(duì)隨機(jī)噪音十分敏感，適合少量已經(jīng)標(biāo)好明確樣式標(biāo)簽的數(shù)據(jù)。對(duì)于涉及時(shí)間動(dòng)態(tài)和屬性交互上，一般算法通過(guò)時(shí)間線分割不同的時(shí)間窗口，但不適用于有交互行為的數(shù)據(jù)，還不能完全處理異構(gòu)節(jié)點(diǎn)數(shù)據(jù)。Zhang等提出了一個(gè)新的框架TigeCMN（temporal interaction graph embedding via coupled memory neural networks），從一個(gè)序列的時(shí)間相互作用中學(xué)習(xí)節(jié)點(diǎn)表示。該框架也可以結(jié)合機(jī)器學(xué)習(xí)任務(wù)，適用性廣，但僅僅考慮了二部圖，未擴(kuò)展到多部異構(gòu)圖而且訓(xùn)練過(guò)程中提取數(shù)據(jù)是均勻抽樣，其實(shí)用性較差，具有很大的改進(jìn)空間。楊珍等提出了該方向的專利，通過(guò)建模時(shí)序信息的GCN，再分配給周圍鄰居的時(shí)序注意力權(quán)重來(lái)探索時(shí)序信息，提高了推薦系統(tǒng)的性能。但該方法只能用于購(gòu)物商品推薦，具有一定的局限性。與傳統(tǒng)推薦任務(wù)不同，由于POI（point-of-interest）推薦具有個(gè)性化、空間感知和時(shí)間依賴性，圖時(shí)空網(wǎng)絡(luò)推薦系統(tǒng)常應(yīng)用于POI 推薦。已有文獻(xiàn)嘗試對(duì)空間和時(shí)間特征建模，但大多存在以下兩大局限性：一方面，在空間上現(xiàn)有作品只考慮了用戶和POI 的距離或者POI-POI 距離，不能發(fā)現(xiàn)用戶區(qū)域周期偏好；另一方面，在時(shí)間上大多數(shù)文獻(xiàn)將用戶和時(shí)間視為兩個(gè)獨(dú)立的因素，沒(méi)有發(fā)現(xiàn)不同用戶可能在不同的時(shí)間偏愛(ài)相同的POI。Han等對(duì)此提出了多個(gè)利用用戶區(qū)域周期模型和用戶POI 周期模型的評(píng)分函數(shù)，還開(kāi)發(fā)了一個(gè)時(shí)間平滑策略來(lái)緩解數(shù)據(jù)稀疏性問(wèn)題，但未能考慮到時(shí)空序列節(jié)點(diǎn)之間的上下文信息。

總體而言，在以上五類基于圖神經(jīng)網(wǎng)絡(luò)推薦系統(tǒng)研究中，如表1 所示，圖卷積與圖注意力神經(jīng)網(wǎng)絡(luò)依舊是熱點(diǎn)，GCN 能夠和其他四類進(jìn)行嵌入獲得新的方法。而圖自動(dòng)編碼器很適合發(fā)現(xiàn)并處理隱式數(shù)據(jù)，圖生成神經(jīng)網(wǎng)絡(luò)會(huì)利用對(duì)抗神經(jīng)網(wǎng)絡(luò)成為對(duì)抗生成網(wǎng)絡(luò)，還會(huì)結(jié)合知識(shí)圖譜增強(qiáng)數(shù)據(jù)，減少節(jié)點(diǎn)數(shù)據(jù)稀疏。而圖時(shí)空網(wǎng)絡(luò)推薦系統(tǒng)場(chǎng)景基本上是POI任務(wù)推薦，由于數(shù)據(jù)量大，會(huì)結(jié)合注意力網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)建模。單獨(dú)采用圖生成網(wǎng)絡(luò)推薦系統(tǒng)和圖時(shí)空網(wǎng)絡(luò)推薦系統(tǒng)文獻(xiàn)較少。一方面是計(jì)算內(nèi)存和速度限制了該方向的研究進(jìn)展；另一方面是圖生成網(wǎng)絡(luò)對(duì)于新節(jié)點(diǎn)只有節(jié)點(diǎn)屬性可用，圖時(shí)空網(wǎng)絡(luò)中的時(shí)空?qǐng)D涉及到空間和時(shí)間問(wèn)題。不過(guò)，這也表示了該研究處于研究階段初期。圖生成網(wǎng)絡(luò)推薦系統(tǒng)和圖時(shí)空網(wǎng)絡(luò)推薦系統(tǒng)存在巨大繼續(xù)研究的空間。

表1 GNN 推薦系統(tǒng)各類別的對(duì)比Table 1 Classes comparison of graph neural network in recommendation system

3 GNN 推薦系統(tǒng)問(wèn)題

由于存在該領(lǐng)域的研究成果不單單屬于以上分類，而且從圖神經(jīng)網(wǎng)絡(luò)角度來(lái)看，圖卷積神經(jīng)網(wǎng)絡(luò)常與其他四類結(jié)合來(lái)促進(jìn)推薦系統(tǒng)領(lǐng)域發(fā)展，另一方面，推薦系統(tǒng)中的圖神經(jīng)網(wǎng)絡(luò)開(kāi)始融合社交網(wǎng)絡(luò)和知識(shí)圖譜。雖然Xiang 等在文獻(xiàn)[44]已經(jīng)歸納出了問(wèn)題類別，但基于圖神經(jīng)網(wǎng)絡(luò)的推薦系統(tǒng)的范圍非常龐大，有些算法和應(yīng)用很難明確歸納到某一類。而對(duì)于有些分類來(lái)說(shuō)，同一分類的問(wèn)題可以針對(duì)不同類型的算法和應(yīng)用。這里，按照推薦系統(tǒng)一般的場(chǎng)景來(lái)劃分，把問(wèn)題分為六類：序列推薦問(wèn)題、社交推薦問(wèn)題、跨域推薦問(wèn)題、多行為推薦問(wèn)題、捆綁推薦問(wèn)題以及基于會(huì)話的推薦問(wèn)題。

3.1 序列推薦問(wèn)題

在真實(shí)場(chǎng)景中，通常會(huì)使用所有數(shù)據(jù)來(lái)訓(xùn)練模型，但這樣會(huì)遺漏用戶表示中的用戶序列行為信息。在最近的研究中，Yang等通過(guò)添加一個(gè)標(biāo)簽推薦函數(shù)建立一個(gè)順序推薦模型。Gu等將項(xiàng)目圖嵌入和上下文建模結(jié)合到推薦系統(tǒng)任務(wù)中去。而

Tao等提出了一種新的序貫推薦方法，從隱式用戶交互歷史中學(xué)習(xí)項(xiàng)目趨勢(shì)信息，并將項(xiàng)目趨勢(shì)信息合并到后續(xù)的項(xiàng)目推薦任務(wù)中，利用了門控圖神經(jīng)網(wǎng)絡(luò)對(duì)項(xiàng)目趨勢(shì)表征建模來(lái)提高項(xiàng)目的表征能力。這些提出的方法都提高了推薦系統(tǒng)的性能，但文獻(xiàn)[46-47]都是利用歷史信息且都采用了注意力機(jī)制，只是前者使用的是會(huì)話序列信息，后者使用的是用戶交互歷史。對(duì)于隱式信息，Wang等引入知識(shí)圖，利用用戶的隱式偏好表示，整合了遞歸神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制，以捕捉用戶興趣的演變和序列中不同項(xiàng)目之間的關(guān)系。

3.2 社交推薦問(wèn)題

社交推薦主要是利用信任或親密的人所感興趣的東西，即用戶關(guān)系鏈中的推薦內(nèi)容，進(jìn)而對(duì)用戶進(jìn)行推薦。近些年，在提高社交推薦的精確度上，Guo等關(guān)注到了項(xiàng)目特征之間的相關(guān)性，將用戶特征空間和項(xiàng)目特征空間抽象為兩個(gè)圖形網(wǎng)絡(luò)。Liu等提出了項(xiàng)目關(guān)系圖神經(jīng)網(wǎng)絡(luò)，用于同時(shí)發(fā)現(xiàn)多個(gè)復(fù)雜關(guān)系，而且對(duì)于不能直接獲取的項(xiàng)目或者用戶信息提供了解決方案。而Salamat等通過(guò)將社會(huì)網(wǎng)絡(luò)建模為一個(gè)異質(zhì)圖，利用帶注意力機(jī)制的GNN 智能聚合來(lái)自所有來(lái)源的信息，建立用戶與用戶、項(xiàng)目與項(xiàng)目、用戶與項(xiàng)目之間的關(guān)系。在關(guān)系方面，實(shí)體之間還存在著高階的關(guān)系，為了捕獲這些高階的關(guān)系，很多文獻(xiàn)考慮將知識(shí)圖譜和用戶-項(xiàng)目圖進(jìn)行融合。又因?yàn)橹R(shí)圖譜有多重類型的邊，所以需要使用注意力機(jī)制來(lái)聚集來(lái)自鄰居的信息。在用戶信息整合上，一些工作假設(shè)用戶具有靜態(tài)的表示，再利用GNN 來(lái)學(xué)習(xí)項(xiàng)目表示；另外的一些工作則將用戶作為知識(shí)圖譜中一種輸入數(shù)據(jù)來(lái)學(xué)習(xí)。例如Wang等對(duì)融合后的知識(shí)圖譜進(jìn)行嵌入表示，使用注意力機(jī)制和遞歸神經(jīng)傳播鄰居節(jié)點(diǎn)的嵌入表示來(lái)更新當(dāng)前節(jié)點(diǎn)的表示。這些關(guān)系在一定程度上解決了圖神經(jīng)網(wǎng)絡(luò)推薦系統(tǒng)數(shù)據(jù)的稀疏性問(wèn)題。

3.3 跨域推薦問(wèn)題

跨域推薦一般利用原本的數(shù)據(jù)集來(lái)對(duì)單個(gè)目標(biāo)進(jìn)行推薦，有的還考慮到用戶與物品之間的雙向潛在關(guān)系和潛在信息。Yang等將知識(shí)圖與排序?qū)W習(xí)、神經(jīng)網(wǎng)絡(luò)相結(jié)合來(lái)構(gòu)建模型，提出了基于知識(shí)圖的貝葉斯個(gè)性化推薦模型和基于知識(shí)圖的神經(jīng)網(wǎng)絡(luò)推薦模型，可以通過(guò)捕獲高階關(guān)系來(lái)解決個(gè)性化問(wèn)題。文獻(xiàn)[56]引入了一種新的耦合圖張量分解模型。當(dāng)單邊的信息以項(xiàng)目-項(xiàng)目相關(guān)矩陣或圖形的形式出現(xiàn)時(shí)，它能解釋與圖相關(guān)的邊信息。Ouyang等利用相關(guān)域的互補(bǔ)信息來(lái)緩解稀疏性，實(shí)現(xiàn)了基于學(xué)習(xí)應(yīng)用嵌入的跨域應(yīng)用推薦，可以為用戶找到符合自己興趣的應(yīng)用程序。對(duì)于個(gè)性化新聞推薦，Sheu等提出了一種基于上下文感知的圖嵌入方法，用于新聞的推薦。為了充分利用結(jié)構(gòu)和特征信息，Liang等提出了一種新的異構(gòu)圖神經(jīng)網(wǎng)絡(luò)框架——HGNRec（heterogeneous graph neural network framework）。Ma等提出了一個(gè)基于圖的行為感知網(wǎng)絡(luò)。由于應(yīng)用場(chǎng)景不一樣，所需信息的量也不同，而知識(shí)圖譜所捕獲的信息量巨大，故文獻(xiàn)[55]的推薦模型的運(yùn)行也較其他場(chǎng)景更復(fù)雜。其中文獻(xiàn)[58-60]都是適用于新聞推薦應(yīng)用，但目標(biāo)不一樣，文獻(xiàn)[58]強(qiáng)調(diào)新聞個(gè)性化，而文獻(xiàn)[60]則重在多樣化。Wang等將標(biāo)準(zhǔn)的圖卷積網(wǎng)絡(luò)引入推薦中，它利用用戶-物品交互圖來(lái)傳播嵌入特征表示：

He等則簡(jiǎn)化了該公式：

上述研究表明模型的簡(jiǎn)單性帶來(lái)了更高的性能。Amar針對(duì)推薦系統(tǒng)問(wèn)題提出了一種基于SVD（singular value decomposition）的簡(jiǎn)單方法的基準(zhǔn)測(cè)試，以理解進(jìn)一步簡(jiǎn)化建模方法是否可以改善性能指標(biāo)。Liu等采用兩個(gè)GNN 來(lái)處理每個(gè)用戶/物品的Embedding，其中一個(gè)處理偏好，另一個(gè)處理相似性。這個(gè)帶有兩個(gè)圖的模型將GNN 和協(xié)同過(guò)濾方法進(jìn)行了融合，使推薦系統(tǒng)達(dá)到了更高的精確度。

3.4 多行為推薦問(wèn)題

在現(xiàn)實(shí)中，用戶行為不僅僅是單個(gè)類型的用戶與商品的行為數(shù)據(jù)，還有復(fù)雜的交互關(guān)系類型數(shù)據(jù)，例如：加購(gòu)、點(diǎn)擊、購(gòu)買、收藏等。Xia等提出了一種基于圖形神經(jīng)網(wǎng)絡(luò)的多行為增強(qiáng)推薦框架，該框架在基于圖形的消息傳遞體系結(jié)構(gòu)下，顯式地建模不同類型的用戶-項(xiàng)目交互之間的依賴關(guān)系。它還設(shè)計(jì)了一個(gè)關(guān)系聚合網(wǎng)絡(luò)來(lái)模擬交互異構(gòu)性，并遞歸地在相鄰節(jié)點(diǎn)之間通過(guò)用戶-項(xiàng)目交互圖進(jìn)行嵌入傳播。它采用了異構(gòu)圖來(lái)構(gòu)建依賴關(guān)系，而在交互的時(shí)間序列上，Yu等用一種基于圖神經(jīng)網(wǎng)絡(luò)的混合模型對(duì)多行為交互序列進(jìn)行特征層次的深層表示，從而實(shí)現(xiàn)基于會(huì)話的推薦。在具體的互動(dòng)式新聞推薦上，Ma等同時(shí)考慮了六種不同類型的行為以及用戶對(duì)新聞多樣性的需求。他們分別從不同角度來(lái)解決用戶的多行為問(wèn)題，但方法各有千秋，用戶的多行為問(wèn)題依舊是一個(gè)挑戰(zhàn)。

3.5 捆綁推薦問(wèn)題

捆綁推薦經(jīng)常使用在場(chǎng)景推薦中，由于用戶不僅僅與單個(gè)物品進(jìn)行交互，他們希望一次性得到自己想要的產(chǎn)品。那么，怎樣才能使用戶獲得所需的一系列物品，這是一個(gè)問(wèn)題。在法律推薦方面，Yang等構(gòu)造了一個(gè)HLIN（heterogeneous legal information network）網(wǎng)絡(luò)，它包含了文本信息和各種節(jié)點(diǎn)。其基本思想是融合來(lái)自多個(gè)異構(gòu)圖的交互特征以改進(jìn)圖節(jié)點(diǎn)的表示學(xué)習(xí)，例如user-item 二部圖和social關(guān)系網(wǎng)絡(luò)圖。Zhang等認(rèn)為這是第一次將metapath 與social relation 表征結(jié)合起來(lái)的工作。草藥推薦方面，Yuan等將注意機(jī)制引入綜合癥狀誘導(dǎo)過(guò)程模型。此外，它還引入了中醫(yī)知識(shí)圖譜，以豐富輸入語(yǔ)料庫(kù)，提高表示學(xué)習(xí)的質(zhì)量。在減輕客戶服務(wù)壓力方面：Liu等通過(guò)圖形神經(jīng)網(wǎng)絡(luò)對(duì)一組靈活的服裝項(xiàng)目進(jìn)行建模；Chen等采用時(shí)空?qǐng)D進(jìn)行了動(dòng)態(tài)預(yù)測(cè)，動(dòng)態(tài)地提供最優(yōu)的自行車站布局；Yang等添加了一個(gè)標(biāo)簽推薦函數(shù)，通過(guò)點(diǎn)擊標(biāo)簽快速捕獲用戶的問(wèn)題意圖。在舞蹈音樂(lè)推薦方面：Gong等提出了一種基于舞蹈運(yùn)動(dòng)分析的深度音樂(lè)推薦算法，實(shí)現(xiàn)了一種新的音樂(lè)推薦方法，可以學(xué)習(xí)動(dòng)作和音樂(lè)之間的對(duì)應(yīng)關(guān)系。針對(duì)開(kāi)發(fā)人員所需的API（application programming interface）問(wèn)題，Ling等提出了一種新的API 使用推薦方法GAPI（graph neural network based collaborative filtering for API usage recommendation）；Zhang等提出了基于圖卷積網(wǎng)絡(luò)的語(yǔ)義變分圖自動(dòng)編碼器，這是一種端到端的方法。對(duì)于課程推薦，Zhu等將網(wǎng)絡(luò)結(jié)構(gòu)化特征與圖形神經(jīng)網(wǎng)絡(luò)和用戶交互活動(dòng)相結(jié)合，采用張量分解技術(shù)，提出了一種混合推薦模型?？梢?jiàn)，圖神經(jīng)網(wǎng)絡(luò)推薦系統(tǒng)的實(shí)用場(chǎng)景豐富。場(chǎng)景動(dòng)態(tài)性是考慮的重點(diǎn)，時(shí)空?qǐng)D和動(dòng)態(tài)圖將是研究的主要問(wèn)題。

3.6 會(huì)話推薦問(wèn)題

在會(huì)話推薦系統(tǒng)中，系統(tǒng)通過(guò)自然語(yǔ)言和用戶進(jìn)行動(dòng)態(tài)交互，識(shí)別出用戶的偏好，進(jìn)而進(jìn)行物品推薦。一般的靜態(tài)模型缺乏用戶的實(shí)時(shí)反饋和顯式指導(dǎo)，目前研究的會(huì)話推薦系統(tǒng)正解決這方面的問(wèn)題。在基于匿名會(huì)話預(yù)測(cè)用戶操作上，Zheng等提出了一種雙通道圖轉(zhuǎn)換網(wǎng)絡(luò)的方法，用于模擬目標(biāo)會(huì)話和鄰居會(huì)話之間的項(xiàng)轉(zhuǎn)換?；诙嘈袨榈臅?huì)話推薦預(yù)測(cè)下一個(gè)項(xiàng)目上，Yu等提出了一種基于圖神經(jīng)網(wǎng)絡(luò)的混合模型GNNH。與其他模型相比，該模型通過(guò)特征級(jí)別表征學(xué)習(xí)發(fā)現(xiàn)多行為轉(zhuǎn)換模式的潛力，能夠?qū)Χ嘈袨榻换バ蛄羞M(jìn)行特征層次的深層表示，從而實(shí)現(xiàn)基于會(huì)話的推薦。對(duì)于會(huì)話興趣動(dòng)態(tài)問(wèn)題上，Gu等提出了一種將項(xiàng)目圖嵌入和上下文建模結(jié)合到推薦任務(wù)中的方法。它是基于所有歷史會(huì)話序列構(gòu)造的有向圖，利用圖神經(jīng)網(wǎng)絡(luò)捕捉項(xiàng)目之間豐富的局部依賴關(guān)系。并采用會(huì)話級(jí)注意機(jī)制，根據(jù)目標(biāo)用戶的當(dāng)前興趣獲得每個(gè)好友的表示。它還對(duì)目標(biāo)用戶的歷史會(huì)話興趣應(yīng)用最大池，了解其長(zhǎng)期興趣的動(dòng)態(tài)性?；跁?huì)話推薦的技術(shù)上，Huang等提出了一個(gè)具有多級(jí)轉(zhuǎn)換動(dòng)力學(xué)（multi-level transition dynamics，MTD）的多任務(wù)學(xué)習(xí)框架，該框架能夠以自動(dòng)和分層的方式聯(lián)合學(xué)習(xí)會(huì)話內(nèi)和會(huì)話間的項(xiàng)目轉(zhuǎn)換動(dòng)力學(xué)，從而捕捉了復(fù)雜的過(guò)渡動(dòng)態(tài)信息，這種過(guò)渡動(dòng)態(tài)表現(xiàn)為時(shí)序和多級(jí)相互依賴的關(guān)系結(jié)構(gòu)。

這六種分類方法是從問(wèn)題角度出發(fā)的分類。如表2 所示，在這六大分類中不難發(fā)現(xiàn)，信息質(zhì)量與數(shù)量是一個(gè)很大的影響因素，為了得到更多的有用信息，會(huì)采用隱式信息或者高階信息。序列推薦方面也可以適量結(jié)合該方面的其他信息來(lái)提升推薦準(zhǔn)確性。而跨域推薦中模型改進(jìn)上的簡(jiǎn)化也值得探究。那么數(shù)據(jù)是否也需要簡(jiǎn)化呢？隨著個(gè)性化和用戶多行為化，個(gè)性化推薦和多樣化推薦的平衡如何維持？這也有待研究。

表2 問(wèn)題相似性歸納分析Table 2 Inductive analysis of problem similarity

4 GNN 推薦系統(tǒng)研究難點(diǎn)及未來(lái)研究方向

隨著在線信息的爆炸式增長(zhǎng)，人們提出了眾多推薦方法，推薦系統(tǒng)取得了一定的研究進(jìn)展。尤其是圖神經(jīng)網(wǎng)絡(luò)，已有的研究進(jìn)展和現(xiàn)今計(jì)算內(nèi)存和速度的提升為圖數(shù)據(jù)分析鋪平了道路，對(duì)基于圖神經(jīng)網(wǎng)絡(luò)的推薦系統(tǒng)研究提供了強(qiáng)有力的幫助。圖神經(jīng)網(wǎng)絡(luò)作為一種有效的圖數(shù)據(jù)深度表示學(xué)習(xí)技術(shù)，其研究已經(jīng)成功地探索了推薦系統(tǒng)方面的多種任務(wù)，并證明了其有效性。以往圖神經(jīng)網(wǎng)絡(luò)對(duì)推薦的研究角度是GNN 模型的圖結(jié)構(gòu)、個(gè)人或群體等，大多集中在無(wú)向圖的結(jié)構(gòu)或用戶數(shù)量分類上，忽略了GNN 本身模型分類和問(wèn)題本身。本文由方法、問(wèn)題兩個(gè)角度對(duì)圖神經(jīng)網(wǎng)絡(luò)推薦系統(tǒng)進(jìn)行了研究、分析，對(duì)比了方法中每小類的優(yōu)點(diǎn)和局限性，概括了問(wèn)題中的難點(diǎn)。以下是一些存在研究難點(diǎn)的未來(lái)研究方向。

4.1 數(shù)據(jù)稀疏性和冷啟動(dòng)

推薦系統(tǒng)應(yīng)用中，用戶行為數(shù)據(jù)稀少與用戶或者項(xiàng)目的數(shù)量不足導(dǎo)致推薦系統(tǒng)長(zhǎng)期存在稀疏性和冷啟動(dòng)問(wèn)題，跨領(lǐng)域推薦方法及輔助信息的嵌入等方法應(yīng)運(yùn)而生。而對(duì)于圖神經(jīng)網(wǎng)絡(luò)方面，隨著知識(shí)表示學(xué)習(xí)和知識(shí)路徑推理等關(guān)鍵知識(shí)圖技術(shù)的出現(xiàn)，利用知識(shí)圖譜輔助推薦將面臨諸多挑戰(zhàn)，也是一個(gè)重要的研究熱點(diǎn)。文獻(xiàn)[79]提出了協(xié)同知識(shí)增強(qiáng)的推薦方法，通過(guò)構(gòu)建的交互圖中項(xiàng)目之間的聯(lián)系和知識(shí)圖中實(shí)體之間的連通性來(lái)學(xué)習(xí)用戶和項(xiàng)目的表示。除了將知識(shí)圖譜與推薦系統(tǒng)結(jié)合起來(lái)，現(xiàn)實(shí)世界中還有許多其他外部結(jié)構(gòu)信息可以幫助推薦，例如社交網(wǎng)絡(luò)中的社會(huì)關(guān)系信息等。Guo等就提出了一種基于異構(gòu)多關(guān)系圖融合的信任推薦方法。它同時(shí)考慮用戶的社會(huì)信任關(guān)系和項(xiàng)目相關(guān)知識(shí)，這為解決數(shù)據(jù)稀疏性和冷啟動(dòng)問(wèn)題提供了更多的可能。特別是圖卷積網(wǎng)絡(luò)，其與其他方法的結(jié)合使得這一研究方向得到了進(jìn)一步的發(fā)展。但是，單獨(dú)運(yùn)用圖生成網(wǎng)絡(luò)和圖時(shí)空網(wǎng)絡(luò)在推薦系統(tǒng)上比較少，最近這方面的研究漸漸多起來(lái)了，這將是未來(lái)尤其注意的方向，而圖生成網(wǎng)絡(luò)推薦系統(tǒng)方面的獨(dú)立節(jié)點(diǎn)和其數(shù)據(jù)稀疏性導(dǎo)致模型易過(guò)擬合問(wèn)題將是研究的重難點(diǎn)。

4.2 用戶動(dòng)態(tài)興趣

知識(shí)圖譜不僅包含各種數(shù)據(jù)類型（例如，像用戶和項(xiàng)目這樣的節(jié)點(diǎn)類型，以及像不同的行為類型這樣的邊類型），通常還有不同的和不確定的興趣。在多行為用戶和個(gè)性化推薦上，許多文獻(xiàn)對(duì)用戶動(dòng)態(tài)興趣問(wèn)題提供了一些模型以及方法。Isufi等發(fā)展了一個(gè)從最近鄰和最遠(yuǎn)鄰圖學(xué)習(xí)聯(lián)合卷積表示的模型，以建立一個(gè)新的準(zhǔn)確性-多樣性權(quán)衡推薦系統(tǒng)。但大多數(shù)都是基于用戶數(shù)據(jù)的補(bǔ)充上，如何解決與用戶意圖相關(guān)的嵌入問(wèn)題，如何自適應(yīng)地為每個(gè)用戶設(shè)置不同的興趣數(shù)，如何為多向量表示設(shè)計(jì)一個(gè)有效的傳播模式等，需要進(jìn)一步研究。因此，如何表現(xiàn)用戶的多重和不確定的興趣是一個(gè)值得探索的方向。

4.3 動(dòng)態(tài)圖與異構(gòu)圖

在現(xiàn)實(shí)世界的推薦系統(tǒng)中，不僅用戶興趣是動(dòng)態(tài)的，而且用戶和項(xiàng)目之間的關(guān)系也隨著時(shí)間的推移而發(fā)生變化。為了確保推薦的精確度，系統(tǒng)需要時(shí)常更新信息。從圖的角度來(lái)看，不斷更新的信息帶來(lái)的是動(dòng)態(tài)圖而不是靜態(tài)圖。而動(dòng)態(tài)圖形則帶來(lái)了變化的結(jié)構(gòu)。在實(shí)際應(yīng)用中，如何針對(duì)動(dòng)態(tài)圖設(shè)計(jì)相應(yīng)的GNN 框架是一個(gè)有趣的前瞻性研究課題?，F(xiàn)有的推薦研究很少關(guān)注動(dòng)態(tài)圖，而且基于時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)的研究也很少，動(dòng)態(tài)圖在推薦中是一個(gè)很大程度上未被探索的領(lǐng)域，值得進(jìn)一步研究。在推薦系統(tǒng)處理復(fù)雜、屬性豐富、基于上下文的交互信息的性能上，現(xiàn)有的基于GCN 的方法大多集中于同構(gòu)圖環(huán)境下的任務(wù)求解，沒(méi)有考慮異構(gòu)圖環(huán)境。傳統(tǒng)的GCN 方法需要一個(gè)完整的圖鄰接矩陣來(lái)進(jìn)行嵌入學(xué)習(xí)，這種為圖中的每個(gè)節(jié)點(diǎn)生成鄰居節(jié)點(diǎn)的遞歸方法使得訓(xùn)練一個(gè)深度大的GCNN 模型更具挑戰(zhàn)性。由于處理復(fù)雜的計(jì)算和訓(xùn)練大規(guī)模數(shù)據(jù)集，再加上模型邊界的過(guò)度測(cè)量，這在很大程度上阻礙了推薦系統(tǒng)框架的應(yīng)用，還需要進(jìn)行深入的研究。

4.4 大數(shù)據(jù)與數(shù)據(jù)噪音

在推薦系統(tǒng)中，隨著時(shí)間累計(jì)，數(shù)據(jù)越來(lái)越多，數(shù)據(jù)量過(guò)大將會(huì)帶來(lái)更多的數(shù)據(jù)噪音。目前的主要挑戰(zhàn)是從用戶-物品交互以及輔助信息中學(xué)習(xí)有用的信息。而處理復(fù)雜的計(jì)算和訓(xùn)練大規(guī)模數(shù)據(jù)集也是一個(gè)挑戰(zhàn)?，F(xiàn)有的基于圖神經(jīng)網(wǎng)絡(luò)的方法利用用戶與項(xiàng)目之間的高階連通性來(lái)獲得滿意的性能，但是這些方法的訓(xùn)練效率較低，容易引入信息傳播的偏差。此外，由于觀測(cè)的交互信息極其稀疏，應(yīng)用的貝葉斯個(gè)性化排序損失不足以為訓(xùn)練提供監(jiān)督信號(hào)。為了解決上述問(wèn)題，Pan等提出了有效圖協(xié)同過(guò)濾方法。但不同的領(lǐng)域包含各種不同的圖數(shù)據(jù)，節(jié)點(diǎn)和連邊關(guān)系也各有不同，如何結(jié)合領(lǐng)域中有用的知識(shí)對(duì)給定的圖數(shù)據(jù)利用圖卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行建模是圖卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用的關(guān)鍵問(wèn)題。如果數(shù)據(jù)全部運(yùn)用上，隨之而來(lái)的是過(guò)平滑問(wèn)題，而且推薦的準(zhǔn)確度會(huì)降低。因此，如何在基于GNN 的推薦中為每個(gè)用戶或項(xiàng)目自適應(yīng)地選擇合適的接收信息的范圍也是一個(gè)值得研究的問(wèn)題。數(shù)據(jù)作為推薦系統(tǒng)最重要的部分，如何解決推薦的多樣性和個(gè)性化的問(wèn)題。這也將是未來(lái)研究的主要問(wèn)題。

總而言之，在現(xiàn)有研究的基礎(chǔ)上，GNN 推薦系統(tǒng)的難點(diǎn)大致上與數(shù)據(jù)、動(dòng)態(tài)問(wèn)題有關(guān)。從數(shù)據(jù)量來(lái)看，存在由于數(shù)據(jù)過(guò)少而導(dǎo)致的數(shù)據(jù)稀疏性和冷啟動(dòng)問(wèn)題，也存在數(shù)據(jù)過(guò)多時(shí)的數(shù)據(jù)篩選和數(shù)據(jù)噪音問(wèn)題。從動(dòng)態(tài)性來(lái)看，存在著用戶的動(dòng)態(tài)興趣嵌入問(wèn)題和動(dòng)態(tài)、異構(gòu)圖的模型構(gòu)建問(wèn)題。這些難點(diǎn)也是未來(lái)研究的方向。