個(gè)性化商品推薦系統(tǒng)的混合推薦算法研究

王暉　張慧

摘要：推薦算法是推薦系統(tǒng)的核心內(nèi)容，推薦算法的評(píng)價(jià)標(biāo)準(zhǔn)包含預(yù)分類準(zhǔn)確性和測(cè)準(zhǔn)確性。傳統(tǒng)的推薦算法有兩個(gè)明顯缺陷，使用詞頻作為搜索文本的特征向量與無(wú)法克服高頻詞匯干擾。通過(guò)TF/IDF特征詞加權(quán)改進(jìn)算法提升分類準(zhǔn)確性。提出混合模型LDTF，從信息增益的角度計(jì)算每個(gè)詞性對(duì)詞義的貢獻(xiàn)增益，來(lái)判斷一個(gè)特定詞再此詞性下能夠代表的詞義權(quán)重，用動(dòng)態(tài)的計(jì)算不同詞性的詞性比，解決傳統(tǒng)TF/IDF算法在文本識(shí)別的缺陷，使用CW-TF/IDF優(yōu)化算法提升特征詞的分類效果綜合提升推薦準(zhǔn)確度。為了解決內(nèi)容推薦稀疏矩陣問(wèn)題引入WSBCF協(xié)作推薦算法，提升推薦系統(tǒng)的用戶體驗(yàn)，實(shí)驗(yàn)結(jié)果表明能在不同評(píng)分矩陣稀疏度下，統(tǒng)計(jì)能顯著且明顯提高。

關(guān)鍵詞：商品推薦?? 特征詞加權(quán)?? 推薦算法?? 稀疏矩陣?? 詞義權(quán)重

中圖分類號(hào)：TP391.3???? 中圖分類號(hào)：A

Research on the Hybrid Recommendation Algorithm for the Personalized Product Recommendation System

WANG Hui? ?ZHANG Hui

（Taizhou Mechanical and Electrical Higher Vocational School，Taizhou，Jiangsu Province，225300 China）

Abstract：A recommendation algorithm is the core content of a recommendation system， and the evaluation criteria for the recommendation algorithm include pre-classification accuracy and measurement accuracy. The traditional recommendation algorithm has two obvious drawbacks： using word frequency as the feature vector for search texts and being unable to overcome the interference of high-frequency words. This article improves classification accuracy through the improved TF/IDF feature word weighting algorithm. This article proposes a hybrid model LDTF， which calculates the contribution gain of each part of speech to the meaning of a word from the perspective of information gain to determine the semantic weight that a specific word can represent under this part of speech， solves the shortcomings of the traditional TF/IDF algorithm in text recognition by dynamically calculating the part of speech ratio of different parts of speech， and improves the classification effect of feature words by using the CW-TF/IDF optimization algorithm to comprehensively improve recommendation accuracy. In order to solve the sparse matrix problem of content recommendation， this paper introduces the WSBCF collaborative recommendation algorithm to improve the user experience of the recommendation system， and the experimental results show that the statistics can be significantly and obviously improved under different scoring matrix sparsity.

Key Words： Product recommendation; Weighted feature words; Recommendation algorithm; Sparse matrix; Semantic weight

傳統(tǒng)商品推薦完全是人工分發(fā)，工作效率低，不能對(duì)投訴者快速回應(yīng)，還會(huì)引起類似產(chǎn)品的問(wèn)題堆積。但是現(xiàn)有的推薦算法大多基于內(nèi)容，只利用詞匯頻率來(lái)表示文本的特征，對(duì)某些常用詞匯的表征能力不足，本文構(gòu)建一種混合推薦模型LDTF克服上述缺陷。

1 混合模型LDTF

在推薦模型中，LDA模型充分考慮到了商品文本所蘊(yùn)含的語(yǔ)義信息，因此能夠更加精準(zhǔn)地為其尋找到最合適的話題，而TF/IDF則傾向于挖掘更能夠代表該商品文本的詞匯。在推薦系統(tǒng)中，用戶通過(guò)對(duì)文本進(jìn)行分析后可以發(fā)現(xiàn)潛在的需求信息。當(dāng)人們填寫(xiě)商品內(nèi)容時(shí)，通常是為了反映他們所面臨的問(wèn)題，以便更好地推薦他們的產(chǎn)品，所以可以將兩者的優(yōu)勢(shì)相結(jié)合，提高商品推薦的準(zhǔn)確率^[1]。通過(guò)將LDA技術(shù)與TF/IDF技術(shù)相互融合，可以更準(zhǔn)確地描述文本的特征，并提取出文本中的關(guān)鍵信息。本文構(gòu)建了一種融合兩者的LDTF模型，模型由4層構(gòu)成，具體敘述如下。

1.1單詞層

1.2主題層

1.3文本-主題層

1.4文本-特征詞層

2.2 CW-TF/IDF優(yōu)化算法

傳統(tǒng)文本分類器使用TF/IDF度量對(duì)各個(gè)詞語(yǔ)進(jìn)行權(quán)重分配，但該加權(quán)方法沒(méi)有充分利用分類任務(wù)所隱含的信息對(duì)文檔進(jìn)行表達(dá)，雖然有學(xué)者將POS（粒子群優(yōu)化算法）與TF/IDF算法融合形成形成pos-TF/IDF算法，該法沒(méi)有使用分類任務(wù)的隱藏信息，實(shí)際應(yīng)用效果并不理想。ID/IG算法（貪婪迭代算法）是一種新型智能優(yōu)化算法，主要由鄰域搜索、擾動(dòng)算子和接受準(zhǔn)則3個(gè)基本部分組成，該算法參數(shù)少、易實(shí)現(xiàn)和效率高^[5]。

基于此提出了一種新的特征詞加權(quán)方法CW-TF/IDF，通過(guò)計(jì)算某個(gè)詞的詞性在該詞義的貢獻(xiàn)增益來(lái)確定該詞的信息增益。由于不同的話語(yǔ)在不同的情況下表達(dá)含義不同，所以采用一種動(dòng)態(tài)的方法來(lái)計(jì)算詞性比率 ^[6]。

信息增益指的是某一情形下，某個(gè)隨機(jī)變數(shù)不確定?？傊?em>X（明天下雨）為隨機(jī)變量，可計(jì)算X熵，Y（明天多云）為隨機(jī)變量，多云天氣下，如果也知道下雨的信息熵（聯(lián)合概率分布）作為條件熵，二者的差值為信息增益，如公式（7）：

3基于加權(quán)相似度的協(xié)作過(guò)濾算法

目前，因未對(duì)用戶群的相關(guān)知識(shí)進(jìn)行有效挖掘，使得推薦結(jié)果與用戶模型之間存在較強(qiáng)的耦合度，難以挖掘出用戶隱含的信息需求，難以實(shí)現(xiàn)具備某種關(guān)聯(lián)度的推薦結(jié)果。在市場(chǎng)營(yíng)銷方面，如果有新的使用者或是使用者資訊不全，則不能完成使用者模型化，進(jìn)而會(huì)對(duì)接下來(lái)的評(píng)分預(yù)測(cè)工作造成影響。針對(duì)該問(wèn)題，本采用帶權(quán)重的協(xié)同過(guò)濾方法（WSBCF）提高推薦服務(wù)質(zhì)量的同時(shí)，解決稀疏問(wèn)題。

3.1 WSBCF 協(xié)作過(guò)濾算法

針對(duì)數(shù)據(jù)稀疏性對(duì)協(xié)同推薦系統(tǒng)中相似性計(jì)算的影響，以及權(quán)重調(diào)整方法缺陷，本節(jié)研究自適應(yīng)多個(gè)指標(biāo)間的重合度關(guān)系，并利用重合度關(guān)系對(duì)傳統(tǒng)相似性計(jì)算方法進(jìn)行改進(jìn)。同時(shí)，對(duì)項(xiàng)目間公眾評(píng)價(jià)在整體評(píng)價(jià)中所占的比例進(jìn)行量化，并著重考慮公眾評(píng)價(jià)的重合度對(duì)相似性的影響?？梢詮牡梅种睾系慕嵌葋?lái)區(qū)別相似度計(jì)算結(jié)果的可信度，得分越高，相似度就越能反映出項(xiàng)目之間的真實(shí)關(guān)聯(lián)性，反之可靠性就會(huì)降低。

WSBCF在評(píng)價(jià)時(shí)，使用了經(jīng)典的加權(quán)評(píng)價(jià)聚合法，通過(guò)對(duì)評(píng)價(jià)對(duì)象的已有評(píng)價(jià)以及評(píng)價(jià)對(duì)象的近鄰關(guān)系進(jìn)行評(píng)價(jià)，得到評(píng)價(jià)對(duì)象與評(píng)價(jià)對(duì)象之間的相似性作為評(píng)價(jià)權(quán)重；用權(quán)重相加來(lái)達(dá)到對(duì)目標(biāo)項(xiàng)目的預(yù)期得分。提出了一種基于模糊聚類分析的協(xié)同推薦方法。在活躍用戶的評(píng)項(xiàng)目集中，選取最接近于目標(biāo)項(xiàng)目的p個(gè)項(xiàng)目，并將其視為目的項(xiàng)目的近鄰。然而，由于不同的用戶具有的被評(píng)項(xiàng)目數(shù)目不一定相同，如果使用以上的絕對(duì)閾值p來(lái)選取鄰區(qū)，則很有可能會(huì)與不同的用戶被評(píng)項(xiàng)目的數(shù)目不一致，所以，WSBC提出了一種基于相對(duì)閾值的鄰區(qū)選取方法，以減小由于被評(píng)數(shù)目的差別所引起的鄰區(qū)選取的影響。

在計(jì)算時(shí)間復(fù)雜性上，WSBCF算法相比于傳統(tǒng)的協(xié)同推薦算法，僅在推薦過(guò)程中增加了符合系數(shù)的計(jì)算。WSBC算法的得分矩陣設(shè)置為R（m*n），計(jì)算項(xiàng)目間樣本的重合系數(shù)的算法時(shí)間復(fù)雜度是O（mn），對(duì)于相似度計(jì)算的時(shí)間復(fù)雜度是O（mn2），那么，對(duì)于整體WSBCF算法而言，整個(gè)時(shí)間復(fù)雜度與傳統(tǒng)協(xié)同推薦算法的時(shí)間復(fù)雜度相近。

4 實(shí)驗(yàn)效果分析

為了驗(yàn)證算法準(zhǔn)確性，本實(shí)驗(yàn)對(duì)數(shù)據(jù)集Gavemcomplaint進(jìn)行了隨機(jī)劃分，構(gòu)造了5個(gè)不同稀疏度的數(shù)據(jù)集，分別將融合WSBCF的CW-TF/ID算法、IG/ID算法、Pos-TF/IDF算法以及傳統(tǒng)的TF/IDF算法進(jìn)行數(shù)據(jù)處理比較。實(shí)驗(yàn)中采用同樣的分詞器ICTCLAS，橫坐標(biāo)代表稀疏度Ａ值，縱坐標(biāo)代表結(jié)果方差算術(shù)平均值，該值越小，說(shuō)明算法預(yù)測(cè)越準(zhǔn)確，實(shí)驗(yàn)結(jié)果如圖1所示

（1）在分類實(shí)驗(yàn)中，使用了3 種不同的基于TF/IDF的分類算法：Pos-TF/IDF、TF/IDF 以及經(jīng)過(guò)改進(jìn)的算法CW-TF/IDF。經(jīng)過(guò)實(shí)驗(yàn)比較，發(fā)現(xiàn)改進(jìn)后的算法CWTF/IDF 的分類準(zhǔn)確度比另外兩種算法的準(zhǔn)確度都要高。這驗(yàn)證了改進(jìn)算法增加的詞性與詞頻信息增益元素的有效性，使不同詞性具有不同的權(quán)重，從而更準(zhǔn)確地計(jì)算每個(gè)詞的權(quán)重，提高了分類精度，同時(shí)這種改進(jìn)也使分類效果更加穩(wěn)定。通過(guò)以上實(shí)驗(yàn)，我們證明了改進(jìn)算法的有效性和實(shí)用性，可以應(yīng)用于文本分類等相關(guān)領(lǐng)域。

（2）類別和準(zhǔn)確率呈現(xiàn)反比狀態(tài)，稀疏度Ａ值越大，說(shuō)明隨著文檔的增加，干擾項(xiàng)不斷增加，改進(jìn)后的算法的穩(wěn)定性還是比Pos-TF/IDF 以及TF/IDF 的穩(wěn)定性要高。

5 結(jié)語(yǔ)

研究個(gè)性化商品推薦系統(tǒng)的混合推薦算法，提出了LDTF混合推薦模型，基于TMDF的特征詞加權(quán)改進(jìn)，為進(jìn)一步優(yōu)化模型，解決推薦算法對(duì)內(nèi)容依賴度高，推薦的內(nèi)容和用戶模型耦合度較重，在持續(xù)發(fā)掘用戶潛在需求上存在缺陷的問(wèn)題，提出WSBCF算法，使用項(xiàng)目評(píng)分因子和相似度標(biāo)記商品屬性，通過(guò)鄰居項(xiàng)目即商品和評(píng)分預(yù)測(cè)，發(fā)掘近似商品并進(jìn)行推薦，同時(shí)此算法較好的解決了推薦矩形稀疏性問(wèn)題。本文提出的推薦模型經(jīng)過(guò)測(cè)試，驗(yàn)證得出在推薦的性能上得到更好的效果。

參考文獻(xiàn)

[1]?? 周舟. 基于深度學(xué)習(xí)的個(gè)性化商品推薦系統(tǒng)的研究與實(shí)現(xiàn)[D].南昌：南昌大學(xué)，2022.

[2] MEENU M， KURADE ?C， NEELAPU B C， et al. A Concise Review on Food Quality Assessment Using Digital Image Processing[吖21]?[J]. Trends in Food Science & Technology，2021，118：106-124.

[3]?? 柴朝輝. 基于詞嵌入的Bi-LSTM商品推薦系統(tǒng)[D].石家莊：河北科技大學(xué)，2021.

[4] VAN DAT N，VAN TOAN P，Thanh T M.Solving Distribution Problems in Content-based Recommendation System with Gaussian Mixture Model[J].Applied Intelligence， 2022，52（2）：1602-1614.

[5] FERREIRA L G，BARBOSA J L V，GLUZ J C，et al.Using Learner Group Profiles for Content Recommendation in Ubiquitous Environments[J].International Journal of Information and Communication Technology Education （IJICTE），2020，16（4）：1-19.

[6] 熊肖肖.基于多算法融合的商品共同推薦系統(tǒng)[D].南京：南京郵電大學(xué)，2021.

[7] ZHANG Y，LIU Z，SANG C.Unifying paragraph Embeddings and Neural Collaborative Filtering for Hybrid Recommendation[J].Applied Soft Computing，2021，106：107345.