基于知識嵌入技術(shù)的制度文件推薦算法

摘要： 針對制度文件推薦過程中傳統(tǒng)算法存在準確率和推薦效率較低的問題， 提出一種基于知識嵌入的文本推薦算法. "通過將知識圖譜中的知識轉(zhuǎn)化為特征向量， 并結(jié)合神經(jīng)網(wǎng)絡(luò)模型， 有效提高了推薦系統(tǒng)在處理海量多樣數(shù)據(jù)時的準確性和穩(wěn)定性. 實驗結(jié)果表明， 該算法在面對冷啟動和用戶興趣多樣化的情況下， 表現(xiàn)出了優(yōu)于傳統(tǒng)方法的推薦精度和穩(wěn)定性， 為大規(guī)模推薦系統(tǒng)中的數(shù)據(jù)稀疏問題和個性化需求提供了更高效和可靠的解決方案， 有助于改善用戶體驗并提升推薦系統(tǒng)的整體性能.

關(guān)鍵詞： 知識圖譜； 詞嵌入； 圖嵌入； 神經(jīng)網(wǎng)絡(luò)

中圖分類號： TP181""文獻標志碼： A""文章編號： 1671-5489（2024）06-1377-07

Recommendation Algorithm "for Institutional Documents Based on Knowledge Embedding Technology

LI Xin1， WANG Wendi2， ZHANG Wei3， FENG Hao4， HAN Xiaosong2

（1. Institute of Atomic and Molecular Physics， Jilin University， Changchun 130012， China;

2. College of Computer Science and Technology， Jilin University， Changchun 130012， China;

3. Logistics Department， Jilin University， Changchun 130012， China;4. Policy and Legal Office， Jilin University， Changchun 130012， China）

Abstract： Aiming at the problem of low accuracy and low recommendation efficiency in "the traditional algorithms during the recommendation process of

institutional documents， we proposed a text recommendation algorithm based on knowledge embedding. By transforming knowledge in the "knowledge graph "into feature vectors and combining

them with neural network models， the accuracy and stability of the recommendation system were effectively improved when dealing with massive and diverse data. Experimental results show that the proposed algorithm

exhibits better recommendation accuracy and stability than the traditional methods in the face of cold start and diverse user interests. It provides a more efficient and reliable solution to the data

sparsity problem and personalisation requirements in large-scale recommendation systems， which helps to

improve the user experience and enhance the overall performance of the recommendation system.

Keywords： knowledge graph; word embedding; graph embedding; neural network

隨著信息化水平的不斷提高和人工智能技術(shù)的快速發(fā)展， 海量數(shù)據(jù)不斷涌現(xiàn)， 如何高效地處理并分析這些數(shù)據(jù)， 從中快速提取所需信息并挖掘隱藏的高價值信息， 已成為

當前的研究熱點之一^［1-2］. 社會運轉(zhuǎn)中產(chǎn)生的數(shù)據(jù)量呈指數(shù)級增長， 信息接收者獲得的信息量遠超出其處理信息的能力， 大量冗余和無效信息使信息接收者難以準確獲取

有效信息， 用戶面對海量數(shù)據(jù)， 通常難以在短時間內(nèi)準確找到自己所需的信息， 對用戶體驗產(chǎn)生了極大影響. 因此， 一個高效的推薦系統(tǒng)能在信息過載的情況下幫助用戶找到感興趣的信息， 極大提高信息獲取的效率.

傳統(tǒng)推薦模型還面臨冷啟動問題， 即對于新用戶或新項目， 系統(tǒng)缺乏足夠的歷史數(shù)據(jù)， 導致推薦效果較差. 例如， 當一個新用戶首次進入某個網(wǎng)站時， 系統(tǒng)無法根據(jù)其偏好為其提

供個性化推薦. 針對這種情況， 利用知識嵌入技術(shù)可有效改善冷啟動導致的困境. 王玉奎等^［3］將知識圖譜作為輔助信息融入推薦系統(tǒng)， 以應(yīng)對數(shù)據(jù)稀疏和冷啟動問題; 吳曉等^［4］提出了一種結(jié)合注意力機制與GRU循環(huán)神經(jīng)網(wǎng)絡(luò)的序列推薦模型， 以更好地利用時間信息; 孫遠燦等^［5］針對評分矩陣過大的問題， 提出了先對實體進行分類的方案; 李君等^［6］通過引入注意力機制解決輸入向量稀疏的問題; 張栩翔等^［7］引入了圖嵌入算法， 以提高圖計算的效率.

本文綜合以上模型的設(shè)計思想， 提出一種基于知識嵌入的推薦算法， 將知識圖譜中的知識轉(zhuǎn)化為特征向量， 通過計算機對這些向量進行處理與分析， 以完成基于知識數(shù)據(jù)的推薦任務(wù)

［8］. 同時， 考慮到算法在實際應(yīng)用中的有效性以及制度文件作為特定文檔類型的特殊性， 本文算法將以更簡潔的步驟提供更精確的推薦結(jié)果. 對比實驗結(jié)果表明， 該算法在推薦任務(wù)中具有優(yōu)勢.

1"算法流程

圖1為本文算法流程. 由圖1可見， 本文提出的基于知識嵌入的推薦算法流程主要分為3個步驟： 知識提取、 知識嵌入和模型訓練. 其中模型訓練采用黑盒模型和白盒模型. 黑盒模型通過神經(jīng)網(wǎng)絡(luò)進行訓練， 盡管其推薦結(jié)果準確， 但缺乏解釋性. 而白盒模型則采用基于向量相似度的評分和評價算法， 以更好地解釋推薦結(jié)果.

1.1"知識圖譜

受文獻［3］模型啟發(fā)， 存儲在知識圖譜中的先驗知識可有效應(yīng)對冷啟動問題， 因此， 本文算法第一步從知識圖譜中獲取先驗知識.

知識圖譜中存儲的信息包括節(jié)點的屬性信息和邊關(guān)系的結(jié)構(gòu)信息. 知識提取流程如圖2所示. 首先， 將所有屬性視為核心屬性， 遍歷所有與之相連的特征屬性， 即以所有節(jié)點為中心， 遍歷其相鄰節(jié)點; 其次， 選擇具有最多特征屬性種類且分布最均勻的屬性作為核心屬性， 對應(yīng)的實體則作為核心實體; 最后， 將所有與核心實體相連的實體屬性視為該核心實體的特征屬性， 并構(gòu)建特征屬性清單. 通過上述過程， 邊關(guān)系數(shù)據(jù)被轉(zhuǎn)化為核心實體的特征屬性信息， 節(jié)點的屬性信息則轉(zhuǎn)化為特征屬性的值. 這種方法集成了原始圖譜中實體節(jié)點直接連接的結(jié)構(gòu)信息， 并將其轉(zhuǎn)化為對核心實體的特征描述， 最終可以成功提取知識圖譜中的部分先驗知識.

1.2"知識嵌入

知識嵌入的過程是將知識圖譜中的節(jié)點和邊的關(guān)系信息映射為特征向量， 以便進行后續(xù)計算. 知識圖譜由節(jié)點（實體）和邊（關(guān)系）構(gòu)成， 其結(jié)構(gòu)非常適合捕獲實體之間的復雜關(guān)系

. 在推薦系統(tǒng)中， 知識圖譜中的先驗知識被轉(zhuǎn)化為可用于計算的低維向量形式， 使系統(tǒng)可以基于這些特征向量進行推薦.

本文采用Word2Vec^［9］模型實現(xiàn)知識嵌入. 在Word2Vec模型中， CBOW（continuous bag of words）模型通過上下文預(yù)測中心詞， 而Skip-Gram 模型則通過中心詞預(yù)測上

下文. 由于Skip-Gram模型在處理低頻特征時性能較好， 因此它在知識圖譜的嵌入中更適合捕捉稀疏特征的語義關(guān)系. 在訓練過程中， 模型通過大量文本數(shù)據(jù)學習詞語的共現(xiàn)模式， 逐漸調(diào)整詞向量， 使語義相似的詞在向量空間中彼此接近.

將每個核心實體特征值對應(yīng)的向量進行拼接， 以獲得可以描述該實體特征的特征向量， 該向量可用作推薦任務(wù)的數(shù)據(jù)基礎(chǔ). 但在實際操作中， 一個實體的一些屬性的

屬性值可能并不唯一， 如某電影的類型可能既是恐怖類型又是喜劇類型. 對于這些特例需進行特殊處理， 在嵌入模型訓練前， 先將每條擁有復合屬性的實體數(shù)據(jù)擴寫成多條數(shù)據(jù)， 確定每條數(shù)據(jù)的每個屬性只有一個屬性值， 然后再按7∶3提取出訓練數(shù)據(jù)集和測試數(shù)據(jù)集， 從而擴大了樣本空間， 可提高模型的準確率.

1.3"推薦任務(wù)

在獲取了先驗知識的嵌入表示后， 需要以此為基礎(chǔ)訓練推薦模型完成不同的推薦任務(wù). 傳統(tǒng)的推薦算法主要包括基于內(nèi)容的推薦算法、 協(xié)同過濾推薦算法、 混合推薦算法和基于矩陣分解的推薦算法等^［10-11］.

如果推薦任務(wù)的目標是分類并且不是很關(guān)注結(jié)果的可解釋性， 即可采用黑盒模型. 將先驗知識作為輸入， 用戶對文件的關(guān)注程度抽象成不同等級的輸出， 一個推薦任務(wù)即可抽象成多分類問題. 而黑盒模型的可解釋性有限， 為更好地說明推薦該文件的理由， 可采取基于向量相似程度的評分算法和評價算法的白盒模型.

該模型可根據(jù)兩個文件的相似程度打分， 據(jù)此選取與用戶歷史關(guān)注程度最相似的文件作為模型輸出， 最后評價算法的準確度.

黑盒模型使用基于神經(jīng)網(wǎng)絡(luò)模型的推薦算法， 首先將前文得到的所有特征向量數(shù)據(jù)與開源電影數(shù)據(jù)集（Movie_Lens）的用戶評分數(shù)據(jù)相結(jié)合， 按7∶3構(gòu)建出神經(jīng)網(wǎng)絡(luò)模型訓練需

要的訓練集和測試集. 模型以ReLU作為輸入層和隱藏層的激勵函數(shù)， 以Softmax作為輸出層的激勵函數(shù)， 損失函數(shù)設(shè)為Binary_crossentropy， 考慮到訓練結(jié)果和訓練的時間成本， 訓練步數(shù)選擇40步， 網(wǎng)絡(luò)的深度選擇5層. 同時， 保留訓練歷史， 用于結(jié)果分析. 白盒模型的評分算法如下：

Score=∑ni=1（si+si-yi）2/∑ni=1

s2i，（1）其中s1，s2，…，sn表示實體特征屬性的特征向量， y1，y2，…，yn-1表示與其測量相似度的實體對應(yīng)特征屬性的特征向量， Score值越接近1， 兩個實體越相似.

一般取兩個實體所有屬性的相似評分數(shù)值在前1/5～3/5的平均值作為兩個實體的相似打分. 而對于某些包含多個屬性值的特征屬性， 可選擇打分最低的幾個屬性值作為代表， 例如一個文件可以包含多個主題詞， 而讀者在尋找一個文件的類似文件時可能對部分主題詞更關(guān)注， 對此任務(wù)設(shè)計算法時不需要關(guān)注所有的主題詞.

2"電影數(shù)據(jù)集黑盒實驗

黑盒實驗流程為： 獲取需要的數(shù)據(jù)并進行數(shù)據(jù)預(yù)處理; 選擇核心實體并構(gòu)建特征文件; 使用詞嵌入算法Word2Vec獲取向量文件， 將獲得的知識嵌入數(shù)據(jù)和用戶評分數(shù)據(jù)進行融合， 構(gòu)建神經(jīng)網(wǎng)絡(luò)需要的訓練集和測試集; 最后構(gòu)建一個5層神經(jīng)網(wǎng)絡(luò)模型完成推薦任務(wù).

2.1"數(shù)據(jù)集

為驗證本文算法， 選擇經(jīng)典的數(shù)據(jù)集MovieLens， 該數(shù)據(jù)集包含9 000多條用戶評分信息和電影屬性信息， 包括電影名稱、 上映時間、 所屬國家、 用戶評分等， 這些信息非常適合捕獲用戶的多樣化興趣， 同時有助于處理冷啟動問題. 為增強實驗的通用性， 還通過數(shù)據(jù)爬蟲從互聯(lián)網(wǎng)電影資料庫（IMDB）獲取了電影的更多相關(guān)信息， 包括主演、 導演、 編劇等信息用于補充數(shù)據(jù).

2.2"基準算法

實驗設(shè)置11個基準算法對比分析本文提出的算法性能. 這些基準算法分別代表了不同的推薦方法， 包括基于注意力機制、 矩陣分解和神經(jīng)網(wǎng)絡(luò)的模型. 設(shè)置多個基準算法的目的是為更全面驗證本文算法在精度和穩(wěn)定性上的優(yōu)勢. 為與本文算法區(qū)分及方便， 基準算法使用LabelEncoder對字符串形式的屬性值進行編碼.

1） AFM（attentional factorization machines）^［12］： 一種基于注意力機制的推薦算法， 其結(jié)合了因子分解機和注意力機制的優(yōu)點.

2） AutoInt（automatic feature interaction learning via self-attentive neural networks）^［13］： 一種結(jié)合了自動特征交互技術(shù)和神經(jīng)網(wǎng)絡(luò)模型以提高推薦效果的推薦算法.

3） CCPM（convolutional click prediction model）^［14］： 一個基于卷積神經(jīng)網(wǎng)絡(luò)的點擊率預(yù)測模型， 其利用卷積層捕獲特征之間的局部和高階非線性關(guān)系， 從而提升模型的預(yù)測能力.

4） DCN（deep amp; cross network）^［15］： 一種深度學習的推薦算法， 其結(jié)合了深度神經(jīng)網(wǎng)絡(luò)和交叉網(wǎng)絡(luò)的優(yōu)點， 用于處理推薦系統(tǒng)中的特征交叉問題， 能更好地捕獲特征之間的高階交互， 從而在推薦系統(tǒng)中取得良好的效果.

5） DeepCrossing^［16］： 一種用于推薦系統(tǒng)的深度學習算法， 其核心思想是通過深度

神經(jīng)網(wǎng)絡(luò)自動捕獲特征之間的復雜非線性關(guān)系， 以更好地理解用戶和物品之間的復雜關(guān)系， 提高推薦效果.

6） DeepFM（deep factorization machines）^［17］： 一種融合了深度學習和因子分解機的推薦算法， 其核心思想是將輸入特征同時輸入到FM模型和神經(jīng)網(wǎng)絡(luò)模型中， 通過FM模型學習特征之間的二階交互關(guān)系， 通過神經(jīng)網(wǎng)絡(luò)模型學習高階特征之間的交互關(guān)系.

7） FM（factorization machines）^［18］： 一種用于推薦系統(tǒng)的機器學習算法， 它可以處理稀疏數(shù)據(jù)并且對特征之間的交互進行建模， 因此在推薦任務(wù)中性能優(yōu)異.

8） FFM（field-aware factorization machines）^［19］： 一種用于推薦系統(tǒng)的機器學習算法， 它是因子分解機的擴展， 旨在更好地處理字段感知信息， 其優(yōu)點是能更好地捕捉特征之間的字段感知交互， 因此在處理推薦系統(tǒng)等需要考慮不同特征領(lǐng)域交互的問題上性能優(yōu)異.

9） FGCNN（feature generation by convolutional neural network）^［20］： 一種用于推薦系統(tǒng)的算法， 其結(jié)合了特征因子化和圖卷積神經(jīng)網(wǎng)絡(luò)的思想， 可以有效地處理推薦系統(tǒng)中的稀疏和高維特征.

10） NFM（neural factorization machines）^［21］： 一種基于神經(jīng)網(wǎng)絡(luò)的推薦算法， 其結(jié)合了FM和神經(jīng)網(wǎng)絡(luò)的優(yōu)勢. NFM的目標是解決傳統(tǒng)推薦算法在處理大規(guī)模稀疏數(shù)據(jù)時的效率問題， 并提高推薦的準確性.

11） PNN（product-based neural networks）^［22］： 一個用于推薦系統(tǒng)的深度學習模型

， 其采用了一種稱為“product layer”的結(jié)構(gòu)捕捉用戶和物品之間的交互信息， PNN模型在處理稀疏和高維特征的推薦問題上性能優(yōu)異， 能捕捉到特征之間的非線性關(guān)系.

2.3"實驗結(jié)果與分析

表1列出了不同算法的對比實驗結(jié)果. 由表1可見， 與其他11種基準算法相比， 本文算法在610名用戶的推薦任務(wù)中表現(xiàn)出較高的穩(wěn)定性和準確性， 在精度和魯棒性方面具有顯著優(yōu)勢. 盡管該算法的訓練時間較長， 但考慮到計算硬件性能的持續(xù)提升， 這一時間開銷可以接受.

3"文件數(shù)據(jù)集的白盒實驗

3.1"數(shù)據(jù)集

實驗使用的數(shù)據(jù)集來源于吉林大學近年來發(fā)布的各類制度文件， 共500多篇. 每篇文件記錄了多個特征屬性， 包括發(fā)布時間、 發(fā)布人、 發(fā)布部門、 發(fā)文編號等. 其中發(fā)布時間

標識了每個文件的發(fā)布日期， 以便于分析文件的時間分布和發(fā)布趨勢; 發(fā)布人記錄了負責發(fā)布的具體工作人員， 以幫助追蹤文件的權(quán)威性; 發(fā)布部門涉及不同的職能單位， 如教務(wù)處、 人力資源處等， 有助于分析文件的內(nèi)容來源和職能分布; 發(fā)文編號則為每個文件分配了唯一編號. 此外， 文件還包含各級標題以及時效性等信息， 進一步增強了數(shù)據(jù)集的分析價值和廣泛適用性.

3.2"實驗流程

從知識圖譜獲取先驗知識后， 還需進行數(shù)據(jù)擴充. 首先， 對原文件集的PDF數(shù)據(jù)進行預(yù)處理， 得到程序可直接處理的文本數(shù)據(jù); 其次， 通過Jieba分詞和LDA主題詞分析模型分析出

每個文件的主題， 將其作為新屬性加入屬性清單中的屬性集中， 作為該文件的特征屬性之一; 再次， 使用Word2Vec模型分析出文件集所有文件特征屬性的詞向量作為該文件的特征屬性向量; 最后， 將兩個文件的特征屬性向量通過評分算法打分， 以衡量兩個文件的相似度.

3.3"評價算法

考慮到效率， 實驗選擇通過分詞數(shù)據(jù)的相似程度衡量兩個文件的內(nèi)容相似性： 設(shè)X是一篇文件文本內(nèi)容的所有分詞數(shù)量， Y是另一篇文件文本內(nèi)容的所有分詞數(shù)量， Z是兩篇文件分詞重合的數(shù)量， 則兩篇文件的評價算法公式可表示為

Score_true=2×Z/（X+Y）.（2）

對每篇文件， 將分別使用本文算法、 Word2Vec自帶的相似算法（Models）和直接使用字符匹配（Words）3種方法選擇的相似文件通過該評價算法進行打分， 并求取平均值， 作為該方法對該文件的效果評價.

3.4"實驗結(jié)果

相似文件選取過程中3種不同方法的性能對比如圖3所示. 圖3（A）顯示了在所有文件中每種方法獲得最佳結(jié)果的比例， 圖3（B）則對比了3種方法的效果穩(wěn)定性. 由圖3可見，

本文算法在80%的情況下性能優(yōu)于其他兩種方法， 不僅在文件評分的平均值上更高， 而且在效果上表現(xiàn)出更強的穩(wěn)定性. 表明本文算法在相似文件選取任務(wù)中具有較好的性能和魯棒性.

圖4為以部分醫(yī)學研究生管理相關(guān)文件為例作為歷史數(shù)據(jù)（A）， 通過本文算法（B）、 Word2Vec自帶的相似算法（C）和直接使用字符匹配（D）三種方法的推薦結(jié)果.

由圖4可見， 利用本文算法與利用Word2Vec自帶的算法推薦的文件部分相似， 與直接字符匹配的推薦結(jié)果差異較大. 根據(jù)評價函數(shù)， 本文算法的推薦結(jié)果在文件內(nèi)容上與歷史文件最相近.

綜上所述， 針對文件推薦缺乏先驗數(shù)據(jù)進行訓練而導致推薦準確率和效率較低的問題， 本文采用相近的電影數(shù)據(jù)庫作為訓練集， 提出了一種基于知識嵌入的推薦算法， 融合了知識圖譜與推薦模型的優(yōu)勢， 通過將知識圖譜中的

實體和關(guān)系信息抽象為包含特征及關(guān)系結(jié)構(gòu)的向量數(shù)據(jù)， 應(yīng)用于神經(jīng)網(wǎng)絡(luò)模型的訓練和相似度計算， 從而實現(xiàn)了高效的推薦. 實驗結(jié)果表明， 本文方法在制度文件推薦系統(tǒng)中表

現(xiàn)出較高的準確率和穩(wěn)定性， 性能優(yōu)越.

參考文獻

［1］"車萬翔， 竇志成， 馮巖松， 等. 大模型時代的自然語言處理： 挑戰(zhàn)、 機遇與發(fā)展 ［J］. 中國科學： 信息科學， 2023， 53（9）： 1645-1687. （CHE W X， DOU Z C， FENG Y S， et al. Natural Language Processing in the Era of Large Models： Challenges， Opportunities， and Developments ［J］. Chinese Science： Information Science， 2023， 53（9）： 1645-1687.）

［2］"黃立威， 江碧濤， 呂守業(yè)， 等. 基于深度學習的推薦系統(tǒng)研究綜述 ［J］. 計算機學報， 2018， 41（7）： 1619-1647. （HUANG L W， JIANG B T， L S Y， et al. Survey on Deep Learning Based Recommender Systems ［J］. Chinese Journal of Computers Application， 2018， 41（7）： 1619-1647.）

［3］"王玉奎， 郭秀娟. 融入知識圖譜的電影推薦算法 ［J］. 福建電腦， 2023， 39（9）： 28-30. （WANG Y K， GUO X J. A Film Recommendation Algorithm Integrating Knowledge Graph ［J］. Fujian Computer， 2023， 39（9）： 28-30.）

［4］"吳曉， 成衛(wèi)青. 結(jié)合注意力機制與循環(huán)神經(jīng)網(wǎng)絡(luò)的序列推薦模型 ［J］. 軟件導刊， 2023， 22（10）： 95-104. （WU X， CHENG W Q. A Sequence Recommendation Model Combining Attention Mechanism and Recurrent Neural Networks ［J］. Software Guide， 2023， 22（10）： 95-104.）

［5］"孫遠燦， 程凱， 陳文靜， 等. 圖書分類推薦算法研究 ［J］. 福建電腦， 2023， 39（9）： 64-66. （SUN Y C， CHENG K， CHEN W J， et al. Research on Book Classification Recommendation Algorithms ［J］. Fujian Computer， 2023， 39（9）： 64-66.）

［6］"李君， 倪曉軍. 融合注意力機制的知識圖譜推薦模型 ［J］. 軟件導刊， 2023， 22（3）： 118-124. （LI J， NI X J. A Knowledge Graph Recommendation Model Integrating Attention Mechanism ［J］. Software Guide， 2023， 22（3）： 118-124.）

［7］"張栩翔， 湯玉祺， 趙文， 等. 基于知識圖譜和圖嵌入的個性化學習資源推薦 ［J］. 計算機系統(tǒng)應(yīng)用， 2023， 32（5）： 180-187. （ZHANG X X， TANG Y Q， ZHAO W， et al. Personalized Learning Resource Recommendation Based on Knowledge Graph and Graph Embedding ［J］. Computer System Application， 2023， 32（5）： 180-187.）

［8］"WANG L， ZHANG W， HE X L， et al. Supervised Reinforcement Learning with Recurr

ent Neural Network for Dynamic Treatment Recommendation ［EB/OL］. （2018-07-04）［2023-02-15］. https：//arxiv.org/abs/1807.01473.

［9］"JOULIN A， GRAVE E， BOJANOWSKI P， et al. Bag of Tricks for Efficient Text Classification ［EB/OL］. （2016-07-06）［2023-03-10］. https：//arxiv.org/abs/1607.01759.

［10］"ZHANG W， LIN Y G， LIU Y， et al. Self-supervised Reinforcement Learning wit

h Dual-reward for Knowledge-Aware Recommendation ［J］. Applied Soft Computing， 2022， 131： 109745-1-109745-12.

［11］"LIU X Y， TAN H B， CHEN Q H， et al. RAGAT： Relation Aware Graph Attention Ne

twork for Knowledge Graph Completion ［J］. IEEE Access， 2021， 9： 20840-20849.

［12］"XIAO J， YE H， HE X G， et al. Attentional Factorization Machines： Learning

the Weight of Feature Interactions via Attention Networks ［EB/OL］. （2017-08-15）［2023-01-10］. https：//arxiv.org/abs/1708.04617.

［13］"SONG W P， SHI C C， XIAO Z P， et al. AutoInt： Automatic Feature Interaction Learning via Self-attentive Neural Networks ［EB/OL］. （2018-10-29）［2023-03-01］. https：//arxiv.org/abs/1810.11921.

［14］"LIU Q， FENG Y， WU S， et al. A Convolutional Click Prediction Model

［C］//ACM International on Conference on Information amp; Knowledge Management. New York： ACM， 2015： 1743-1746.

［15］"WANG R X， FU B， FU G， et al. Deep amp; Cross Network for Ad Click Predictions

［EB/OL］. （2017-08-17）［2023-02-01］. https：//arxiv.org/abs/1708.05123.

［16］"SHAN Y， HOENS T R， JIAO J， et al. Deep Crossing： Web-Scale Modeling wit

hout Manually Crafted Combinatorial Features ［C］//The 22nd ACM SIGKDD International Conference. New York： ACM， 2016： 255-262.

［17］"GUO H F， TANG R M， YE Y M， et al. DeepFM： A Factorization-Machine Based Neural Network for CTR Prediction ［EB/OL］. （2017-03-13）［2023-01-20］. https：//arxiv.org/abs/1703.04247.

［18］"RENDLE S. Factorization Machines ［C］//2010 IEEE I

nternational Conference on Data Mining. Piscataway， NJ： IEEE， 2011： 995-1000.

［19］"JUAN Y C， ZHUANG Y， CHIN W S， et al. Field-Aware Factorization Machines f

or CTR Prediction ［C］//Conference on Recommender Systems. New York： ACM， "2016： 43-50.

［20］"LIU B， TANG R M， CHEN Y Z， et al. Feature Generation by Convolutional Neural Network for Click-through Rate Prediction ［C］//The Word Wide Web Conference. New York： ACM， 2019： 1119-1129.

［21］"HE X G， CHUA T S. Neural Factorization Machines for Sparse Predictive Anal

ytics ［J］. ACM Sigir Forum， 2017， 51： 355-364.

［22］"QU Y R， CAI H， REN K， et al. Product-Based Neural Networks for User Respon

se Prediction ［C］//2016 IEEE 16th International Conference on Data Mining （ICDM）. Piscataway， NJ： IEEE， 2016： 1149-1154.

（責任編輯： 韓"嘯）