基于卷積神經(jīng)網(wǎng)絡(luò)的多樣性關(guān)鍵數(shù)據(jù)并行推薦算法

李曉峰, 李 東

(1. 黑龍江外國語學(xué)院 信息工程系, 黑龍江 哈爾濱 150025;2. 哈爾濱工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 黑龍江 哈爾濱 150001)

互聯(lián)網(wǎng)的飛速發(fā)展給人們的生活帶來極大的便利,使人們能夠便捷地獲取大量知識,通過電子商務(wù)平臺,人們將現(xiàn)實(shí)世界中的交易轉(zhuǎn)移到虛擬網(wǎng)絡(luò)之中,網(wǎng)絡(luò)服務(wù)已經(jīng)融入人們的日常生活[1].與此同時(shí),網(wǎng)絡(luò)中的數(shù)據(jù)也呈指數(shù)級方式增長,其增長速度已經(jīng)嚴(yán)重超越人們所能接受的速度,信息過大而導(dǎo)致人們無法從中篩選出關(guān)鍵信息的問題顯得尤為嚴(yán)重[2].因此,從多樣性關(guān)鍵數(shù)據(jù)中挖掘出用戶感興趣信息具有重要的現(xiàn)實(shí)意義.

傳統(tǒng)數(shù)據(jù)推薦方法通常采用高階累積量特征提取、小波分析和支持向量機(jī)分類推薦等算法,這些算法只對網(wǎng)絡(luò)數(shù)據(jù)庫中待檢索的數(shù)據(jù)進(jìn)行特征提取,進(jìn)而實(shí)現(xiàn)對關(guān)鍵數(shù)據(jù)的推薦[3-4].因此,在傳統(tǒng)的數(shù)據(jù)推薦方法中,雖然能夠在高維空間中保持?jǐn)?shù)據(jù)特征屬性,以實(shí)現(xiàn)典型特征提取,達(dá)到數(shù)據(jù)推薦的目的,但仍然存在抗干擾性較差的缺點(diǎn),導(dǎo)致數(shù)據(jù)推薦精準(zhǔn)度較低.

針對上述問題,提出了基于卷積神經(jīng)網(wǎng)絡(luò)的多樣性關(guān)鍵數(shù)據(jù)并行推薦算法,構(gòu)建用戶時(shí)序行為偏好特征,對數(shù)據(jù)并行結(jié)構(gòu)進(jìn)行分析,并對數(shù)據(jù)進(jìn)行預(yù)處理,提取關(guān)鍵數(shù)據(jù),進(jìn)而完成基于卷積神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)推薦.

1 多樣性關(guān)鍵數(shù)據(jù)并行推薦算法

針對用戶興趣查詢歷史數(shù)據(jù),設(shè)計(jì)不同推薦任務(wù),以下以一個(gè)點(diǎn)擊行為為研究目標(biāo),首先將用戶行為按照一定標(biāo)準(zhǔn)劃分;在不同劃分窗口中對多樣性關(guān)鍵數(shù)據(jù)并行結(jié)構(gòu)展開分析,抽取用戶對商品的偏好特征;對數(shù)據(jù)進(jìn)行預(yù)處理;根據(jù)處理結(jié)果,使用卷積神經(jīng)網(wǎng)絡(luò)模型,設(shè)計(jì)并行推薦算法研究方案[5].

1.1 時(shí)序行為偏好特征構(gòu)建

從數(shù)據(jù)集中挑選包括點(diǎn)擊、收藏、購買等多樣性用戶行為信息,時(shí)間精確到分鐘.為了更好地獲取用戶時(shí)序特征,需按照每3 d為一個(gè)樣本時(shí)間窗口,在該窗口內(nèi)按照每8 h為統(tǒng)計(jì)時(shí)間窗口,從不同維度對用戶偏好特征進(jìn)行描述[6].

將用戶-商品作為一個(gè)樣本展開訓(xùn)練,構(gòu)建的數(shù)據(jù)集劃分示意圖如圖1所示.

假設(shè)需要預(yù)測的用戶在10月19日存在購買行為,選擇前3 d作為統(tǒng)計(jì)窗口,分析當(dāng)天樣本數(shù)據(jù).從10月15日—10月17日期間用戶行為中抽取樣本特征,10月18日用戶對商品是否購買進(jìn)行標(biāo)記,由此建立模型訓(xùn)練集[7].

為了更好地分析商品受歡迎程度,以點(diǎn)擊行為為例,計(jì)算用戶對商品的平均點(diǎn)擊次數(shù),計(jì)算公式如式(1)所示:

(1)

式(1)中:action_count表示在時(shí)間窗口下用戶的點(diǎn)擊數(shù)量;user_unique_item表示在時(shí)間窗口下用戶點(diǎn)擊不同商品的數(shù)量.根據(jù)構(gòu)建的時(shí)序行為偏好特征,對數(shù)據(jù)并行結(jié)構(gòu)展開分析[8].

1.2 數(shù)據(jù)并行結(jié)構(gòu)分析

傳統(tǒng)研究算法往往忽略對數(shù)據(jù)結(jié)構(gòu)的分析,導(dǎo)致數(shù)據(jù)并行推薦精度低,為改進(jìn)這一問題,本文在時(shí)序行為偏好特征構(gòu)建的基礎(chǔ)上,對數(shù)據(jù)并行結(jié)構(gòu)進(jìn)行分析.數(shù)據(jù)并行是將訓(xùn)練數(shù)據(jù)劃分到不同窗口下,每個(gè)窗口都存在完成網(wǎng)絡(luò)模型,使用不同數(shù)據(jù)進(jìn)行訓(xùn)練[9].為了能夠獲取一個(gè)包含所有訓(xùn)練信息的網(wǎng)絡(luò)模型,需對不同網(wǎng)絡(luò)信息進(jìn)行同步處理,如圖2所示.

圖2數(shù)據(jù)并行結(jié)構(gòu)
Fig.2Parallelstructureofdata

一次迭代開始后,每個(gè)窗口都從服務(wù)器中獲取新網(wǎng)絡(luò)模型, 并加以訓(xùn)練,得到節(jié)點(diǎn)W傳回到服務(wù)器之中, 直到所有節(jié)點(diǎn)W都更新后, 迭代才可停止. 如果在n個(gè)窗口下,使用大小為單個(gè)窗口時(shí)大小的1/n, 那么多個(gè)窗口與單個(gè)窗口訓(xùn)練是完全等價(jià)的[10-12]. 經(jīng)過迭代處理后,若某個(gè)窗口數(shù)據(jù)異常, 則會減緩整個(gè)訓(xùn)練速度. 根據(jù)上述數(shù)據(jù)迭代操作,可有效提高本文數(shù)據(jù)并行推薦的精度.

為了進(jìn)一步提升數(shù)據(jù)使用速率,需對其進(jìn)行預(yù)處理[13-15].

1.3 數(shù)據(jù)預(yù)處理

將收集到的時(shí)序行為偏好特征發(fā)送到服務(wù)器中,對數(shù)據(jù)并行結(jié)構(gòu)進(jìn)行簡化分析,將數(shù)據(jù)作為算法輸入時(shí),需先對收集到的數(shù)據(jù)進(jìn)行預(yù)處理[16].預(yù)處理的主要目的就是從大量數(shù)據(jù)中提取與并行推薦算法相關(guān)的關(guān)鍵數(shù)據(jù),并轉(zhuǎn)換成需要的格式.數(shù)據(jù)預(yù)處理主要流程如圖3所示.

圖3 數(shù)據(jù)預(yù)處理主要流程Fig.3 Main flow chart of data preprocessing

1) 提取相關(guān)站點(diǎn)數(shù)據(jù),并針對某一站點(diǎn)用戶行為數(shù)據(jù)進(jìn)行分析;

2) 過濾無用數(shù)據(jù)項(xiàng),收集以某種特定日志格式發(fā)送到服務(wù)器的數(shù)據(jù),并以“/min”字符進(jìn)行分隔;

3) 確認(rèn)推薦范圍,根據(jù)具體站點(diǎn)URL命名過濾規(guī)則;

4) 提取內(nèi)容頁面.

經(jīng)過數(shù)據(jù)預(yù)處理后,進(jìn)一步分析多樣性關(guān)鍵數(shù)據(jù)并行特點(diǎn),采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行推薦算法研究[17-18].

1.4 基于卷積神經(jīng)網(wǎng)絡(luò)推薦方案的實(shí)現(xiàn)

在上述預(yù)處理基礎(chǔ)上,進(jìn)行推薦算法研究,提出基于卷積神經(jīng)網(wǎng)絡(luò)的推薦算法.實(shí)現(xiàn)流程如圖4所示.

圖4 實(shí)現(xiàn)流程Fig.4 Implementation flow

該算法具體實(shí)現(xiàn)過程如下所示:

假設(shè)共有K個(gè)卷積核,N個(gè)種類輸出層,那么輸出層權(quán)值參數(shù)θ是一個(gè)A×B矩陣,可表示為θ∈CA×B,樣本X池化后得到的特征是一個(gè)K維向量,即為f∈CK.樣本X被分到第Y個(gè)種類的概率為

(2)

式(2)中:qy表示全連接層的第y個(gè)偏置項(xiàng);qh表示全連接層的第h個(gè)偏置項(xiàng).通過最大化似然概率可得到損失函數(shù)

(3)

式(3)中:R為訓(xùn)練數(shù)據(jù)集;gy表示第y個(gè)樣本真實(shí)數(shù)據(jù)種類.為了避免出現(xiàn)過擬合現(xiàn)象,需按照一定概率將卷積層神經(jīng)元結(jié)構(gòu)進(jìn)行最簡化,保證權(quán)重不工作[19-20].經(jīng)過特征壓縮處理,在數(shù)據(jù)庫存儲空間穩(wěn)定基礎(chǔ)上,使數(shù)據(jù)內(nèi)部狀態(tài)和行為控制都能夠自由運(yùn)作[21].通過上述過程,實(shí)現(xiàn)對多樣性關(guān)鍵數(shù)據(jù)并行推薦.

2 實(shí) 驗(yàn)

2.1 實(shí)驗(yàn)平臺與參數(shù)設(shè)置

為驗(yàn)證本文所提多樣性關(guān)鍵數(shù)據(jù)并行推薦算法的有效性和可行性,進(jìn)行仿真實(shí)驗(yàn)分析,采用MATLAB作為實(shí)驗(yàn)平臺,實(shí)驗(yàn)硬件環(huán)境為Intel(R)Core(TM)i6-10 GHz CPU,內(nèi)存為32 GB,帶寬為280 GB·s-1.

實(shí)驗(yàn)參數(shù)設(shè)置如表1所示.

表1 實(shí)驗(yàn)參數(shù)設(shè)置Table 1 Settings of experimental parameters

根據(jù)實(shí)驗(yàn)參數(shù)對數(shù)據(jù)集展開描述.

2.2 數(shù)據(jù)集描述

實(shí)驗(yàn)數(shù)據(jù)集描述如表2所示.

表2 實(shí)驗(yàn)數(shù)據(jù)集描述Table 2 Description of experimental data sets

實(shí)驗(yàn)數(shù)據(jù)采用的是某集團(tuán)在2018年舉辦活動所公開的數(shù)據(jù)集,該數(shù)據(jù)集包含30 d的用戶行為數(shù)據(jù).其中用戶行為數(shù)據(jù)包括8 500個(gè)用戶對199 830個(gè)商品的不同行為,該行為包括點(diǎn)擊、收藏與購買,每一條行為記錄都精確到以分鐘為基準(zhǔn)的時(shí)間.

2.3 實(shí)驗(yàn)結(jié)果與分析

推薦精準(zhǔn)度是驗(yàn)證推薦算法的基本指標(biāo),采用平均絕對誤差衡量用戶滿意度預(yù)測評分和用戶滿意度真實(shí)評分之間差異,計(jì)算公式如式(4)所示:

(4)

圖5 權(quán)重因子與平均絕對誤差之間的關(guān)系

從圖5中可看出,不同權(quán)重因子取值大小會直接影響算法結(jié)果,當(dāng)權(quán)重因子取值為0.4時(shí),平均絕對誤差達(dá)到最小為1.13,由此說明在推薦過程中權(quán)重因子在一定程度上能夠決定推薦質(zhì)量.

當(dāng)權(quán)重因子為0.4時(shí),平均絕對誤差達(dá)到最小,在該條件下,將傳統(tǒng)算法與基于卷積神經(jīng)網(wǎng)絡(luò)的多樣性關(guān)鍵數(shù)據(jù)并行推薦算法進(jìn)行對比分析,結(jié)果如下.

1) 無干擾因素

在無干擾因素條件下,將2種算法推薦精準(zhǔn)度進(jìn)行對比分析,結(jié)果如表3所示.

表3 無干擾下2種算法推薦精準(zhǔn)度對比結(jié)果

由表3可知:在迭代次數(shù)為1～10的情況下,基于卷積神經(jīng)網(wǎng)絡(luò)算法的推薦精準(zhǔn)度始終高于傳統(tǒng)算法,最多高出58.7%,且本文算法的最高推薦精準(zhǔn)度可達(dá)98.75%,顯著表明了本文所提算法的優(yōu)勢.

2) 有干擾因素

將數(shù)據(jù)突發(fā)性增長作為干擾因素,在這種干擾條件下,將2種算法推薦精準(zhǔn)度進(jìn)行對比分析,結(jié)果如圖6所示.

圖6 有干擾因素下2種算法推薦精準(zhǔn)度對比結(jié)果

由圖6可知,在干擾因素存在條件下,卷積神經(jīng)網(wǎng)絡(luò)推薦算法受影響很小,精準(zhǔn)度仍舊控制在75%～90%之間,且在整個(gè)實(shí)驗(yàn)過程中,精準(zhǔn)度始終處于較為平穩(wěn)的狀態(tài),表明本文算法的穩(wěn)定性較好.傳統(tǒng)算法的精準(zhǔn)度處于不斷下降的趨勢,平均精確度控制在30%左右,與本文算法相比,平均精確度低于本文算法53%左右,具有明顯的差距.

根據(jù)上述分析可知,無論是否存在干擾因素,基于卷積神經(jīng)網(wǎng)絡(luò)的算法都比傳統(tǒng)算法的推薦精準(zhǔn)度要高,由此說明基于卷積神經(jīng)網(wǎng)絡(luò)的多樣性關(guān)鍵數(shù)據(jù)并行推薦算法是具有一定可行性的.主要是因?yàn)閭鹘y(tǒng)研究算法往往忽略對數(shù)據(jù)結(jié)構(gòu)的分析,導(dǎo)致數(shù)據(jù)推薦精度低,而本文算法依據(jù)數(shù)據(jù)迭代分析,詳細(xì)描述了數(shù)據(jù)并行結(jié)構(gòu),以此為基礎(chǔ)完成了數(shù)據(jù)推薦,大大提高了數(shù)據(jù)推薦精度.

為進(jìn)一步驗(yàn)證本文算法的有效性,對關(guān)鍵數(shù)據(jù)的提取效率進(jìn)行對比分析,結(jié)果如圖7所示.

分析圖7可以明顯的看出,傳統(tǒng)算法的提取效率較低,最高不超過40%,而本文算法的關(guān)鍵數(shù)據(jù)提取效率較高,關(guān)鍵數(shù)據(jù)平均提取效率在78%左右,可有效完成關(guān)鍵數(shù)據(jù)提取,進(jìn)而提高多樣性關(guān)鍵數(shù)據(jù)并行推薦效果.研究過程中,本文對收集到的數(shù)據(jù)進(jìn)行了預(yù)處理,從大量數(shù)據(jù)中提取出了與并行推薦算法相關(guān)的關(guān)鍵數(shù)據(jù),關(guān)鍵數(shù)據(jù)提取效率的提高,為多樣性關(guān)鍵數(shù)據(jù)并行推薦的有效實(shí)施提供了基礎(chǔ).

圖7 兩種算法關(guān)鍵數(shù)據(jù)提取效率對比

3 結(jié) 語

分析多樣性關(guān)鍵數(shù)據(jù)并行推薦方案,提出了一種卷積神經(jīng)網(wǎng)絡(luò)的推薦算法,通過卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),有效避免了傳統(tǒng)算法帶來的弊端,并且擴(kuò)展網(wǎng)絡(luò)時(shí)不會受到網(wǎng)絡(luò)節(jié)點(diǎn)性能制約,依然保持較高推薦精準(zhǔn)度,實(shí)現(xiàn)計(jì)算與數(shù)據(jù)傳輸?shù)耐?實(shí)驗(yàn)結(jié)果表明,在有無干擾因素的情況下,本文數(shù)據(jù)并行推薦算法的精準(zhǔn)度均高于傳統(tǒng)算法,且本文推薦算法度關(guān)鍵數(shù)據(jù)的提取效率平均在78%左右,明顯優(yōu)于傳統(tǒng)算法.由此可以看出,所提算法在多樣性關(guān)鍵數(shù)據(jù)并行處理時(shí),比傳統(tǒng)算法具有更好的推薦效果,即使對于龐大的數(shù)據(jù)量,也具有良好擴(kuò)展性.

在未來研究工作中,會針對數(shù)據(jù)量異常時(shí)該算法的可行性進(jìn)行研究,并設(shè)計(jì)一種通用數(shù)據(jù)個(gè)性化推薦服務(wù)模式,成為通用網(wǎng)絡(luò)工具,不斷優(yōu)化推薦算法,以此提高數(shù)據(jù)推薦效率,這是今后需要繼續(xù)研究的方向.