融合圖神經(jīng)網(wǎng)絡(luò)與多視圖學(xué)習(xí)的社區(qū)問答專家推薦方法研究

摘" 要： 互聯(lián)網(wǎng)高速發(fā)展背景下，社區(qū)問答網(wǎng)站提問者有著更強(qiáng)烈的求知需求，海量數(shù)據(jù)為提問者識(shí)別有效信息帶來困難，為提問者推薦更專業(yè)的專家用戶對(duì)問題進(jìn)行回答顯得尤為重要。針對(duì)傳統(tǒng)社區(qū)問答專家推薦方法難以準(zhǔn)確計(jì)算出提問者提出的目標(biāo)問題和候選專家之間的相關(guān)性等問題，為了提高社區(qū)問答網(wǎng)站中專家推薦的效率，構(gòu)建問題節(jié)點(diǎn)關(guān)系無向圖，利用圖神經(jīng)網(wǎng)絡(luò)GraphSAGE提取節(jié)點(diǎn)的二階鄰居信息，并使用多視圖學(xué)習(xí)方法學(xué)習(xí)不同視圖間的互補(bǔ)信息，最終獲取目標(biāo)問題文本和候選專家歷史問題集豐富的向量表示，用來計(jì)算出目標(biāo)問題與候選專家之間的匹配度，進(jìn)而推薦出最適合回答目標(biāo)問題的專家用戶。實(shí)驗(yàn)結(jié)果表明，在不同的社區(qū)問答專家推薦方法上，文中方法在評(píng)價(jià)指標(biāo)MRR、NDCG@10上均取得了更優(yōu)的推薦效果。

關(guān)鍵詞： 社區(qū)問答； 專家推薦； 圖神經(jīng)網(wǎng)絡(luò)； 多視圖學(xué)習(xí)； 推薦系統(tǒng)； 深度學(xué)習(xí)模型

中圖分類號(hào)： TN711?34""""""""""""""""""""""" 文獻(xiàn)標(biāo)識(shí)碼： A"""""""""""""""""""""""""" 文章編號(hào)： 1004?373X（2024）09?0115?04

0" 引" 言

隨著互聯(lián)網(wǎng)的高速發(fā)展，知識(shí)壁壘被打破，人們求知熱情高漲，社區(qū)問答網(wǎng)站應(yīng)運(yùn)而生，在社區(qū)問答網(wǎng)站上，提問者提出問題，由系統(tǒng)推送給潛在回答者。為向提問者推薦相應(yīng)領(lǐng)域的專家用戶來回答問題，一種高效的社區(qū)問答專家推薦方法亟待研究。針對(duì)問題文本信息和專家用戶信息的提取，目前通常在單一視圖上進(jìn)行，或采用注意力機(jī)制等方法，這些方法在一定程度上解決了專家用戶的個(gè)性化推薦問題，但從單一視圖中學(xué)習(xí)文本特征，忽略了其他視圖中的互補(bǔ)信息。因此，本文提出一種結(jié)合圖神經(jīng)網(wǎng)絡(luò)與多視圖學(xué)習(xí)的社區(qū)問答專家推薦方法，用以從多個(gè)視圖中挖掘?qū)＜矣脩艉蛦栴}之間的交互信息，并通過在圖上的信息傳遞，從二級(jí)鄰居節(jié)點(diǎn)中提取有效信息，然后學(xué)習(xí)豐富的專家向量和問題向量，用以進(jìn)行最終的預(yù)測(cè)，推薦出合適的專家來回答問題。

1" 問題文本信息提取

1.1" 問題節(jié)點(diǎn)關(guān)系無向圖構(gòu)建

在社區(qū)問答網(wǎng)站中，提問者提出的問題稱為目標(biāo)問題，社區(qū)問答網(wǎng)站中潛在的能夠?yàn)樘釂栒呓o出高質(zhì)量回答的用戶集稱為候選專家[1]。對(duì)于候選專家集中的每個(gè)專家，專家所回答過的歷史問題集構(gòu)成該專家的一個(gè)屬性，其中每個(gè)問題（即目標(biāo)問題以及包含在候選專家歷史回答問題集中的問題）都與它們的標(biāo)簽、標(biāo)題、正文相關(guān)聯(lián)。標(biāo)題、標(biāo)簽、正文這三種信息可以被視為對(duì)問題的不同看法，都有助于表示問題。同一個(gè)候選專家回答過的問題之間建立一條邊，依次形成一張問題節(jié)點(diǎn)關(guān)系無向圖，如圖1所示。

1.2" 問題文本語義特征提取

對(duì)于給定問題的標(biāo)簽，本文使用標(biāo)簽嵌入層將其轉(zhuǎn)換為低維嵌入向量。由于標(biāo)簽是獨(dú)立的分類特征，本文利用密集層學(xué)習(xí)標(biāo)簽特征，然后堆疊所有標(biāo)簽特征，并通過平均聚合器聚合得到標(biāo)簽特征。

對(duì)于長(zhǎng)文本信息，則使用Transformer進(jìn)行語義信息提取[2]。同理可得標(biāo)題的特征，再使用均值聚合器聚合，可得標(biāo)簽、標(biāo)題、正文的視圖信息矩陣。

2" GraphSAGE圖表示學(xué)習(xí)模塊

本文認(rèn)為回答過同一個(gè)問題的專家具有相似的知識(shí)能力，因此學(xué)習(xí)一個(gè)專家節(jié)點(diǎn)的鄰居節(jié)點(diǎn)特征，有助于獲得該專家節(jié)點(diǎn)更豐富的表示。本文使用GraphSAGE圖神經(jīng)網(wǎng)絡(luò)來提取節(jié)點(diǎn)的鄰居節(jié)點(diǎn)特征[3]。

假設(shè)已經(jīng)學(xué)習(xí)了聚合函數(shù)的參數(shù)，這些聚合函數(shù)從鄰居節(jié)點(diǎn)中聚合信息，用于在專家信息提取模塊的不同層之間傳播信息圖矩陣。該模塊在每次迭代或搜索深度時(shí)，節(jié)點(diǎn)都會(huì)從該節(jié)點(diǎn)鄰居那里聚合信息，隨著這個(gè)過程的迭代，節(jié)點(diǎn)會(huì)從圖的更遠(yuǎn)部分逐漸獲得越來越多的信息。

在本階段將從上一階段獲得的標(biāo)簽、標(biāo)題、正文三個(gè)視圖信息矩陣輸入到圖神經(jīng)網(wǎng)絡(luò)中，使用GraphSAGE對(duì)節(jié)點(diǎn)進(jìn)行一階鄰居和二階鄰居的信息提取，公式如下所示：

[hGraph=ReLUWGi=0nfi+fs]

式中：[WG]是投影矩陣；輸入[fi]和[fs]是兩跳鄰居和一跳鄰居的特征嵌入組合。

最終形成標(biāo)簽、標(biāo)題、正文的視圖表示。

3" 多視圖注意力機(jī)制模塊

多視圖注意力機(jī)制模塊如圖2所示。

考慮到專家回答過不同領(lǐng)域的問題，而專家回答過的問題與目標(biāo)問題的相關(guān)性不同，因此需提取出專家歷史回答過的問題中和目標(biāo)問題相關(guān)的部分[4]。文中進(jìn)行了多視圖注意力機(jī)制的研究，經(jīng)過上一層圖表示學(xué)習(xí)層后，形成了三個(gè)視圖，將三個(gè)視圖聚合，形成目標(biāo)問題向量。而對(duì)于候選專家的處理，因?yàn)槊總€(gè)專家不僅回答自身領(lǐng)域的問題，還可能會(huì)回答他感興趣的問題，所以要提取他的回答中和目標(biāo)問題相關(guān)的部分。

給定候選專家的多視圖特征，計(jì)算專家用戶在標(biāo)簽視圖注意力下的權(quán)重。對(duì)于標(biāo)題和正文視圖特征，可以用同樣的方法分別計(jì)算它們的權(quán)重。通過這種方式，該模型可以分別利用三種視圖的交互注意力機(jī)制來捕捉候選專家與目標(biāo)問題之間的視圖內(nèi)相關(guān)性。然后，根據(jù)不同視圖特征的不同權(quán)重對(duì)其進(jìn)行聚合，得到候選專家特征[5]。

最后，將候選專家特征和目標(biāo)問題特征相結(jié)合，再利用線性層計(jì)算它們之間的相關(guān)性得分。具有最高相關(guān)性[6]得分的候選專家將被推薦為目標(biāo)問題的專家。

4" 實(shí)" 驗(yàn)

4.1" 數(shù)據(jù)集和實(shí)驗(yàn)設(shè)置

本文在真實(shí)世界的CQA數(shù)據(jù)集上進(jìn)行了大量實(shí)驗(yàn)，以評(píng)估本文提出的方法的性能。

本文從StackExchange[7]中選擇了三個(gè)真實(shí)世界的CQA數(shù)據(jù)集，見表1，該數(shù)據(jù)集包含三個(gè)領(lǐng)域，即人工智能學(xué)、出版學(xué)和歷史學(xué)。每個(gè)數(shù)據(jù)集都包括一個(gè)問題集，其中每個(gè)問題都與其標(biāo)題、正文和標(biāo)簽相關(guān)聯(lián)，這是不同回答者提供的幾個(gè)答案中的一個(gè)“公認(rèn)答案”[8]。本文遵循先前工作中的預(yù)處理方法，從數(shù)據(jù)集中篩選出提供少于5個(gè)答案的回答者，以避免冷啟動(dòng)問題。本文將每個(gè)數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，按時(shí)間順序，比例分別為80%、10%和10%。驗(yàn)證集用于調(diào)整方法中的超參數(shù)。根據(jù)先前工作，本文構(gòu)建了一個(gè)候選專家集，每個(gè)問題包括20名專家，包括回答這個(gè)問題的原始專家和從回答者集中隨機(jī)選擇的其他專家[9]。

4.2" 超參數(shù)設(shè)置

實(shí)驗(yàn)中，本文使用驗(yàn)證集來調(diào)整超參數(shù)，將低維嵌入、標(biāo)簽嵌入和專家嵌入維度設(shè)置為100。問題文本、專家特征大小設(shè)置為100，Transformer頭的數(shù)量為2，Transformer編碼器層數(shù)為2，批處理大小[10]設(shè)置為64。本文使用填充操作將專家歷史回答問題的數(shù)量固定為30。對(duì)于每個(gè)問題，其標(biāo)簽的數(shù)量為3，標(biāo)題的單詞長(zhǎng)度為15，正文的單詞長(zhǎng)度是60。為了緩解過擬合問題，本文使用丟棄技術(shù)，并將丟棄率設(shè)置為0.25，采用Adam優(yōu)化器來優(yōu)化模型。

4.3" 評(píng)估指標(biāo)

本文采用的是被廣泛使用的推薦排名指標(biāo)，包括MRR、NDCG@10以驗(yàn)證專家排名質(zhì)量[11]。將每個(gè)實(shí)驗(yàn)重復(fù)5次，并計(jì)算平均結(jié)果。所有實(shí)驗(yàn)都是使用Pytorch框架和24 GB內(nèi)存的RTX A5000 GPU服務(wù)器實(shí)現(xiàn)的。

4.4" 基" 線

本文與現(xiàn)有模型進(jìn)行了比較，包括：

1） NeRank：NeRank通過異構(gòu)網(wǎng)絡(luò)嵌入算法學(xué)習(xí)問題內(nèi)容、提問者和專家的特征，并利用神經(jīng)網(wǎng)絡(luò)計(jì)算排名得分；

2） TCQR：該方法利用時(shí)間動(dòng)態(tài)的多粒度中的時(shí)間上下文感知模型來實(shí)現(xiàn)多方面、時(shí)間感知的專家學(xué)習(xí)；

3） RMRN：該模型利用遞歸推理機(jī)制捕捉問題和候選專家之間的隱含相關(guān)性，以改進(jìn)專家發(fā)現(xiàn)；

4） UserEmb：該模型捕獲了專家的社會(huì)關(guān)系和語義特征，并將這些特征結(jié)合起來以提高模型性能[12]。

5" 實(shí)驗(yàn)結(jié)果與分析

比較所有方法在不同數(shù)據(jù)集上的結(jié)果可以發(fā)現(xiàn)，在所有評(píng)價(jià)指標(biāo)上，本文模型明顯優(yōu)于所有基線?；谏疃葘W(xué)習(xí)的方法（TCQR、RMRN、UserEmb）在所有數(shù)據(jù)集上表現(xiàn)良好，因?yàn)樯窠?jīng)網(wǎng)絡(luò)強(qiáng)大的表示能力可從問題內(nèi)容中捕獲深層語義信息[10]。捕獲數(shù)據(jù)使用固有交互信息的方法（NeRank、RMRN、PMEF）通常比不使用捕獲固有交互方法（TCQR、UserEmb）的性能更好。因?yàn)檫@些方法通過交互式信息的捕捉找到了與目標(biāo)問題更相關(guān)的專家。

本文方法結(jié)合了圖神經(jīng)網(wǎng)絡(luò)綜合地學(xué)習(xí)問題特征，并采用多視圖學(xué)習(xí)[13]捕捉專家和目標(biāo)問題之間的視圖特定交互信息。不同方法在MRR指標(biāo)上的表現(xiàn)如表2所示。

5.1" 圖神經(jīng)網(wǎng)絡(luò)GraphSAGE的效果

本文研究了圖神經(jīng)網(wǎng)絡(luò)GraphSAGE的效果，并替換了兩種圖神經(jīng)網(wǎng)絡(luò)來探索圖神經(jīng)網(wǎng)絡(luò)在提取鄰居節(jié)點(diǎn)信息方面的貢獻(xiàn)。

1） 圖卷積神經(jīng)網(wǎng)絡(luò)：可以捕捉圖的全局信息，可以很好地表示節(jié)點(diǎn)特征，但全局訓(xùn)練的方式需要所有節(jié)點(diǎn)都參與訓(xùn)練才能得到節(jié)點(diǎn)嵌入，無法快速得到新節(jié)點(diǎn)的嵌入，在時(shí)間上有極大損耗；

2） 圖注意力神經(jīng)網(wǎng)絡(luò)[13]：通過為同一鄰域的節(jié)點(diǎn)分配不同權(quán)重，可以提取模型中的重點(diǎn)信息，使用多頭自注意力機(jī)制，方便并行、計(jì)算高效，但過平滑嚴(yán)重，不適合處理高階特征，且由于領(lǐng)域節(jié)點(diǎn)的高度重疊，產(chǎn)生冗余計(jì)算，導(dǎo)致在空間上占用過大。

5.2" 多視圖注意力機(jī)制的效果

本文的多視圖注意力機(jī)制模塊通過交互式注意力機(jī)制自動(dòng)地捕捉候選專家和目標(biāo)問題之間的視圖內(nèi)特定匹配信息。使用了注意力機(jī)制的多視圖學(xué)習(xí)推薦效果要高于沒使用注意力機(jī)制的多視圖學(xué)習(xí)，這表明在多視圖學(xué)習(xí)中注意機(jī)制的必要性，因?yàn)椴煌臍v史回答問題對(duì)建模專家具有不同的重要性。通過這種方式，該模型可以捕捉目標(biāo)問題和候選專家之間的不同視圖交互，這有利于準(zhǔn)確向目標(biāo)問題推薦合適回答的專家用戶。

6" 結(jié)" 語

本文提出了一種融合圖神經(jīng)網(wǎng)絡(luò)和多視圖學(xué)習(xí)的社區(qū)問答專家推薦方法。結(jié)合圖神經(jīng)網(wǎng)絡(luò)與多視圖注意力機(jī)制，強(qiáng)化了目標(biāo)問題與專家用戶之間相關(guān)性的計(jì)算。實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)社區(qū)問答專家推薦方法相比，本文提出的融合圖神經(jīng)網(wǎng)絡(luò)與多視圖學(xué)習(xí)的社區(qū)問答專家推薦方法具有較好的準(zhǔn)確性和泛化性。下一步將對(duì)專家用戶知識(shí)能力隨時(shí)間的變化開展研究。

參考文獻(xiàn)

[1] MUMTAZ S， RODRIGUEZ C， BENATALLAH B. Expert2Vec： Experts representation in community question answering for question routing [C]// 31th International Conference on Advanced Information Systems Engineering. Heidelberg： Springer， 2019： 213?229.

[2] SONG J， XU X L， WANG X H. TSAR?based expert recommendation mechanism for community question answering [C]// 2021 IEEE 24th International Conference on Computer Supported Cooperative Work in Design （CSCWD）. New York： IEEE， 2021： 162?167.

[3] PENG Q Y， LIU H T， WANG Y H， et al. Towards a multi?view attentive matching for personalized expert finding [C]// Proceedings of the ACM Web Conference. New York： ACM， 2022： 2131?2140.

[4] YUAN S， ZHANG Y， TANG J， et al. Expert finding in community question answering： A review [J]. Artificial intelligence review， 2020， 53（2）： 843?874.

[5] FU J L， YI L， ZHANG Q， et al. Recurrent memory reasoning network for expert finding in community question answering [C]// Proceedings of the 13th International Conference on Web Search and Data Mining. New York： ACM， 2020： 187?195.

[6] LI Z Y， JIANG J Y， SUN Y Z， et al. Personalized question routing via heterogeneous network embedding [C]// Proceedings of the International Conference on Artificial Intelligence. [S.l.]： AAAI， 2019： 192?199.

[7] ZHANG X C， CHENG W， ZONG B， et al. Temporal context?aware representation learning for question routing [C]// Proceedings of the International Conference on Web Search and Data Mining. New York： ACM， 2020： 753?761.

[8] FAN S H， ZHU J X， HAN X T， et al. Metapath?guided heterogeneous graph neural network for intent recommendation [C]// Proceedings of the 25th International Conference on Knowledge Discovery. New York： IEEE， 2019： 2478?2486.

[9] SHI C， HU B B， ZHAO W X， et al. Heterogeneous information network embedding for recommendation [J]. IEEE transactions on knowledge and data engineering， 2019， 31（2）： 357?370.

[10] ZHANG C X， SONG D J， HUANG C， et al. Heterogeneous graph neural network [C]// Proceedings of Conference on Knowledge Discovery and Data Mining. [S.l.： s.n.]， 2019： 793?803.

[11] WANG X， JI H Y， SHI C， et al. Heterogeneous graph attention network [C]// Proceedings of the World Wide Web Conference （WWW 2019）. New York： ACM， 2019： 2022?2032.

[12] BHATT G， JHA P， RAMAN B， et al. Representation learning using step?based deep multi?modal autoencoders [J]. Pattern recognition， 2019， 95： 12?23.

[13] WANG H， YANG Y， LIU B. GMC： Graph?based multi?view clustering [J]. IEEE transactions on knowledge and data engineering， 2019， 32（6）： 1116?1129.

Study on community Qamp;A expert recommendation method based on fusion of graph neural network and multi?view learning

XIONG Weinan

（Faculty of Information Engineering and Automation， Kunming University of Science and Technology， Kunming 650500， China）

Abstract： Under the background of the rapid development of the Internet， community Qamp;A website questioners have a stronger demand for knowledge. Massive data poses difficulties for questioners in identifying effective information， making it particularly important to recommend more professional expert users to answer questions. However， it is difficult to accurately calculate the correlation between the object question raised by the questioner and the candidate experts by the traditional community Qamp;A expert recommendation methods. In order to improve the efficiency of expert recommendation in community Qamp;A websites， an undirected graph of the problem node relationship is constructed， and a graph neural network （GNN） GraphSAGE is used to extract the second?order neighbor information of nodes. The multi?view learning method is used to learn the complementary information between different views and finally obtain a rich vector representation of the object question text and the candidate expert′s historical question set， which is used to calculate the matching degree between the object question and the candidate expert， and then recommend the most suitable expert user to answer the object question. The experimental results show that， in comparison with different community Qamp;A expert recommendation methods， the proposed method has achieved better recommendation results on both the evaluation indicators MRR and NDCG@10.

Keywords： community Qamp;A; expert recommendation; GNN; multi?view learning; recommendation system; deep learning model

DOI：10.16652/j.issn.1004?373x.2024.09.021

引用格式：熊瑋楠.融合圖神經(jīng)網(wǎng)絡(luò)與多視圖學(xué)習(xí)的社區(qū)問答專家推薦方法研究[J].現(xiàn)代電子技術(shù)，2024，47（9）：115?118.

收稿日期：2023?11?06"""""""""" 修回日期：2023?11?29

熊瑋楠：融合圖神經(jīng)網(wǎng)絡(luò)與多視圖學(xué)習(xí)的社區(qū)問答專家推薦方法研究

作者簡(jiǎn)介：熊瑋楠（1997—），女，碩士，研究方向?yàn)橥扑]系統(tǒng)。