基于Spark架構(gòu)的藝術(shù)學(xué)慕課資源協(xié)同 過(guò)濾推薦算法研究

侯璐璐

摘? 要： 傳統(tǒng)資源協(xié)同過(guò)濾推薦算法MAE值偏高，因此提出基于Spark架構(gòu)的藝術(shù)學(xué)慕課資源協(xié)同過(guò)濾推薦算法。采用分級(jí)響應(yīng)形式，建立用戶(hù)?資源評(píng)分關(guān)系模型，用戶(hù)對(duì)資源的評(píng)分減掉該用戶(hù)評(píng)分平均值，完成資源協(xié)同過(guò)濾相似度計(jì)算的優(yōu)化，引入集成度高的Spark架構(gòu)，預(yù)測(cè)用戶(hù)對(duì)資源的評(píng)分并生成推薦列表，實(shí)現(xiàn)藝術(shù)學(xué)慕課資源的精準(zhǔn)推薦。經(jīng)過(guò)與兩種傳統(tǒng)算法的對(duì)比實(shí)驗(yàn)結(jié)果可知，研究的算法在不同比例訓(xùn)練集和測(cè)試集的情況下，MAE值均低于兩種傳統(tǒng)方法，說(shuō)明基于Spark架構(gòu)的藝術(shù)學(xué)慕課資源協(xié)同過(guò)濾推薦算法推薦精度更高，性能更好。

關(guān)鍵詞： 協(xié)同過(guò)濾推薦算法; Spark架構(gòu); 藝術(shù)學(xué)慕課資源; 用戶(hù)評(píng)分預(yù)測(cè); 用戶(hù)?資源評(píng)分關(guān)系模型; 相似度計(jì)算

中圖分類(lèi)號(hào)： TN911.1?34; TP319? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼： A? ? ? ? ? ? ? ? ? ? 文章編號(hào)： 1004?373X（2020）03?0162?03

Research on art MOOC resource collaborative filtering recommendation algorithm

based on Spark architecture

HOU Lulu

（Baoji University of Arts and Sciences， Baoji 721013， China）

Abstract： The MAE （mean absolute error） value of traditional resource collaborative filtering recommendation algorithm is slightly higher， so an art MOOC （massive open online course） resource collaborative filtering recommendation algorithm based on Spark architecture is proposed. The user?resource scoring relation model is established in the form of hierarchical response. The average value of the user′s scoring is taken from the user′s scoring for resources， which is then used to optimize the similarity calculation for resource collaborative filtering. The Spark architecture with high integration level is introduced to predict the user′s scoring for resources and generate the recommendation list， thus realizing the accurate recommendation of art MOOC. The results of comparative experiments show that， in comparison with the two traditional algorithms， the MAE value of the proposed algorithm is lower than those of the two traditional methods in different proportion of training sets and test sets， which shows that the art MOOC resource collaborative filtering recommendation algorithm based on Spark architecture has higher recommendation accuracy and better performance.

Keywords： collaborative filtering recommendation algorithm; Spark architecture; art MOOC resource; user scoring prediction; user?resource scoring relation model; similarity calculation

0? 引? 言

慕課是當(dāng)今時(shí)代下互聯(lián)網(wǎng)與教育相結(jié)合的產(chǎn)物，它實(shí)際上是一種大規(guī)模開(kāi)放的在線課程（Massive Open Online Course），是互聯(lián)網(wǎng)時(shí)代下涌現(xiàn)出的一種在線課程的開(kāi)發(fā)模式。傳統(tǒng)課程只有幾十個(gè)或幾百個(gè)學(xué)生，但是一門(mén)慕課最多可以容納十多萬(wàn)人。因此，在互聯(lián)網(wǎng)中，利用協(xié)同過(guò)濾進(jìn)行藝術(shù)學(xué)慕課資源的推薦[1?2]。協(xié)同過(guò)濾簡(jiǎn)單來(lái)說(shuō)，就是利用共同興趣或者是擁有共同經(jīng)驗(yàn)人群的喜好大數(shù)據(jù)資料，來(lái)給用戶(hù)推薦有可能感興趣的信息，個(gè)人通過(guò)合作機(jī)制給予信息一定程度的回應(yīng)，利用評(píng)分等方法將特別感興趣的以及特別不感興趣的資源進(jìn)行區(qū)分，并利用大量的評(píng)分記錄對(duì)信息進(jìn)行過(guò)濾，幫助別人進(jìn)行信息的篩選。由于資源數(shù)據(jù)日益龐大，現(xiàn)有的藝術(shù)學(xué)慕課資源協(xié)同過(guò)濾推薦算法只能停留在數(shù)據(jù)表面上的分析，導(dǎo)致MAE值較高，因此提出基于Spark架構(gòu)的藝術(shù)學(xué)慕課資源協(xié)同過(guò)濾推薦算法。Spark架構(gòu)的優(yōu)點(diǎn)在于能夠更加適用于數(shù)據(jù)挖掘的算法，能夠從大量的數(shù)據(jù)中，通過(guò)算法搜索內(nèi)部隱含的信息。

1? 基于Spark架構(gòu)的協(xié)同過(guò)濾推薦算法研究

隨著慕課的大范圍普及，很多的互聯(lián)網(wǎng)社交平臺(tái)上都能夠搜索到大量的慕課資源。要想在海量資源中搜索到自己需要的信息，需要借助Spark架構(gòu)下的協(xié)同過(guò)濾推薦算法來(lái)實(shí)現(xiàn)[3?4]，預(yù)期通過(guò)建立用戶(hù)自身的搜索歷史模型，記錄用戶(hù)的喜好和興趣，主動(dòng)提供相關(guān)的慕課推送。從協(xié)同過(guò)濾算法的出發(fā)點(diǎn)來(lái)看，相似用戶(hù)的喜好也會(huì)有相似的品味，因此可以利用相似用戶(hù)（在這里簡(jiǎn)稱(chēng)為鄰居）的喜好為目標(biāo)用戶(hù)做出推薦，算法流程如圖1所示。

流程主要分為4部分，用戶(hù)評(píng)分、計(jì)算相似度選擇鄰居、預(yù)測(cè)評(píng)分、資源推薦列表，下面對(duì)流程進(jìn)行詳細(xì)研究。

1.1? 建立用戶(hù)?資源評(píng)分關(guān)系模型

藝術(shù)學(xué)慕課的受眾分群和資源推薦需要以用戶(hù)?資源關(guān)系模型為基礎(chǔ)，本文主要采取分級(jí)響應(yīng)形式，對(duì)海量數(shù)據(jù)進(jìn)行深層挖掘，將數(shù)據(jù)中隱含的反饋信息作為構(gòu)建模型的重要元素。想要對(duì)用戶(hù)推薦其感興趣的資源，需要根據(jù)用戶(hù)和資源的歷史數(shù)據(jù)進(jìn)行預(yù)測(cè)，比如用戶(hù)是否觀看了某個(gè)慕課課程，以及用戶(hù)觀看的時(shí)長(zhǎng)和次數(shù)[5?6]。分級(jí)響應(yīng)形式值是用戶(hù)對(duì)資源進(jìn)行不同級(jí)別的評(píng)價(jià)，可以用一個(gè)用戶(hù)評(píng)分?jǐn)?shù)據(jù)表來(lái)體現(xiàn)，見(jiàn)表1。

表1中：[m]代表用戶(hù)數(shù)量;[n]代表資源數(shù)量;[Tmb]表示用戶(hù)[Um]對(duì)資源[Ib]的評(píng)分值，評(píng)分值的區(qū)間為1～5分，分別代表非常不喜歡、不喜歡、一般、喜歡、非常喜歡，以此作為用戶(hù)?資源評(píng)分關(guān)系模型，能夠準(zhǔn)確地體現(xiàn)出用戶(hù)對(duì)不同慕課資源的滿(mǎn)意程度。

1.2? 優(yōu)化資源協(xié)同過(guò)濾的相似度計(jì)算

在用戶(hù)?資源評(píng)分關(guān)系模型的基礎(chǔ)上，為了實(shí)現(xiàn)資源的精準(zhǔn)推薦，需要依靠鄰居的喜好做出預(yù)測(cè)，鄰居需要對(duì)比相似度而選擇出來(lái)，因此在相似度的計(jì)算中，需要能夠正確衡量出資源和用戶(hù)之間的相似性，才能夠保證資源推薦的準(zhǔn)確性。傳統(tǒng)算法中用的是余弦相似度[7?9]，但是余弦相似度忽略了資源被評(píng)分尺度的問(wèn)題，因此需要對(duì)其進(jìn)行修正，采用用戶(hù)對(duì)資源的評(píng)分減掉該用戶(hù)評(píng)分的平均值進(jìn)行中心化評(píng)分，計(jì)算公式如下：

式中：[sim（i，j）]表示資源[i]和[j]的相似度;[U（i）]代表對(duì)資源[i]評(píng)分的用戶(hù)全體;[U（j）]代表對(duì)資源[j]評(píng)分的用戶(hù)全體;[U（i）?U（j）]代表對(duì)[i]，[j]都有評(píng)分的用戶(hù)全體;[Tu，i]，[Tu，j]分別代表用戶(hù)[u]對(duì)資源[i]，[j]的評(píng)分;[Tu]代表兩個(gè)資源的評(píng)分均值。單一慕課與所有慕課的集合之間都存在著距離[10?11]，該距離為二者之間的最小距離，單一用戶(hù)與用戶(hù)集合之間的距離也能夠同理得到。其相似度選擇示意圖如圖2所示。

圖2中，[K1]為慕課資源集合的個(gè)數(shù)，在基于慕課資源的協(xié)同過(guò)濾算法中，相似度選擇對(duì)于算法整體的準(zhǔn)確度有重要影響，實(shí)現(xiàn)了資源協(xié)同過(guò)濾相似度計(jì)算的優(yōu)化。

1.3? 實(shí)現(xiàn)慕課資源精準(zhǔn)推薦

研究的算法中，想要實(shí)現(xiàn)慕課資源的精準(zhǔn)推薦，需要引入Spark架構(gòu)。Spark是一個(gè)能夠快速且通用的集群計(jì)算引擎，在本文的推薦算法研究中，采用基于內(nèi)存的數(shù)據(jù)抽象設(shè)計(jì)，將Spark任務(wù)的中間環(huán)節(jié)的結(jié)果進(jìn)行保存，具體框架如圖3所示。

Spark框架包含了SQL查詢(xún)、文本處理、機(jī)器學(xué)習(xí)等功能組件[12?13]，這些組件在Spark內(nèi)緊密集成，其運(yùn)算性能更好，尤其是在進(jìn)行信息大批量分析和迭代的工作環(huán)境下，利用Spark框架的優(yōu)勢(shì)更加突出。當(dāng)Spark架構(gòu)在集群中運(yùn)行時(shí)，首先由驅(qū)動(dòng)程序通過(guò)資源管理器完成資源申請(qǐng)，在管理器分配完資源后，在相應(yīng)的節(jié)點(diǎn)上啟動(dòng)Executor，節(jié)點(diǎn)在完成驅(qū)動(dòng)程序提交的任務(wù)后，最后向驅(qū)動(dòng)程序提交反饋，其運(yùn)行過(guò)程如圖4所示。

在算法中引入Spark架構(gòu)，運(yùn)行的過(guò)程中能夠過(guò)濾大量的資源[14?15]，并對(duì)剩余資源進(jìn)行深層次的信息預(yù)測(cè)評(píng)分。預(yù)測(cè)評(píng)分主要是利用資源的相似度和資源[i]的鄰居集合[N（i）]評(píng)估某用戶(hù)對(duì)目標(biāo)資源的評(píng)分，具體評(píng)估方法如式（2）所示：

式中：[Pu，i]代表用戶(hù)[u]對(duì)資源[i]的相似度預(yù)測(cè)評(píng)分;[Ri]表示資源[i]的平均分;[N（i）]代表資源[i]的鄰居集合;[Ru，j]代表用戶(hù)[u]對(duì)資源[j]的評(píng)分;[Rj]代表資源[j]的平均分;[sim（i，j）]表示資源[i]和資源[j]的相似度。

通過(guò)公式得出的相似度預(yù)測(cè)評(píng)分越高，說(shuō)明算法的準(zhǔn)確度越高。根據(jù)用戶(hù)[u]對(duì)資源[i]的最近鄰集合[N（i）]的評(píng)分值，利用式（2）預(yù)測(cè)用戶(hù)[u]對(duì)資源[i]的評(píng)分高低，產(chǎn)生了資源推薦列表，實(shí)現(xiàn)了藝術(shù)學(xué)慕課資源的精準(zhǔn)推薦，至此完成了基于Spark架構(gòu)的藝術(shù)學(xué)慕課資源協(xié)同過(guò)濾推薦算法研究。

2? 實(shí)? 驗(yàn)

為了驗(yàn)證本文提出的基于Spark架構(gòu)的藝術(shù)學(xué)慕課資源協(xié)同過(guò)濾推薦算法是否能夠提高推薦的性能，設(shè)計(jì)了對(duì)比實(shí)驗(yàn)，分別將兩種傳統(tǒng)算法和本文算法的預(yù)測(cè)精度進(jìn)行對(duì)比，并將結(jié)果進(jìn)行分析。

2.1? 實(shí)驗(yàn)環(huán)境

搭建包含6臺(tái)虛擬機(jī)的Spark集群，其中1臺(tái)設(shè)置為主節(jié)點(diǎn)，另外5臺(tái)設(shè)置為從節(jié)點(diǎn)，參數(shù)如表2所示。

協(xié)同過(guò)濾算法采用平均絕對(duì)偏差MAE作為算法精準(zhǔn)的評(píng)價(jià)指標(biāo)，其計(jì)算公式定義如下：

式中：[N]表示資源數(shù)量;[pi]表示資源的實(shí)際分?jǐn)?shù);[qi]表示資源的預(yù)測(cè)分?jǐn)?shù)。當(dāng)MAE的值越小，表示推薦的精準(zhǔn)度越高。將進(jìn)行實(shí)驗(yàn)的訓(xùn)練集和測(cè)試集以不同的比例進(jìn)行實(shí)驗(yàn)，訓(xùn)練集和測(cè)試集比例分別為：6∶4，7∶3，8∶2，9∶1。

2.2? 實(shí)驗(yàn)結(jié)果與分析

在上述的實(shí)驗(yàn)環(huán)境參數(shù)下分別用傳統(tǒng)算法和本文算法進(jìn)行實(shí)驗(yàn)，得到的實(shí)驗(yàn)結(jié)果如表3所示。

實(shí)驗(yàn)結(jié)果表明，隨著訓(xùn)練集與測(cè)試集比例的增加，三種算法的MAE值都在減小，準(zhǔn)確度都在不斷提升。本文提出的算法在每種比例下，MAE值均低于兩種傳統(tǒng)方法，說(shuō)明基于Spark架構(gòu)的藝術(shù)學(xué)慕課資源協(xié)同過(guò)濾推薦算法推薦精度更高，性能更好。

3? 結(jié)? 語(yǔ)

針對(duì)傳統(tǒng)資源協(xié)同過(guò)濾推薦算法推薦性能差，本文提出基于Spark架構(gòu)的藝術(shù)學(xué)慕課資源協(xié)同過(guò)濾推薦算法。采用分級(jí)響應(yīng)形式建立用戶(hù)?資源評(píng)分關(guān)系模型，用戶(hù)對(duì)資源的評(píng)分減掉該用戶(hù)評(píng)分平均值完成中心化評(píng)分，優(yōu)化了傳統(tǒng)余弦相似度計(jì)算方法。利用Spark框架集成SQL查詢(xún)、文本處理、機(jī)器學(xué)習(xí)等功能組件，完成了基于Spark架構(gòu)的藝術(shù)學(xué)慕課資源協(xié)同過(guò)濾推薦算法的研究。經(jīng)過(guò)與兩種傳統(tǒng)算法的對(duì)比實(shí)驗(yàn)結(jié)果可知，研究的算法在不同比例訓(xùn)練集和測(cè)試集的情況下，MAE值均低于兩種傳統(tǒng)方法，說(shuō)明基于Spark架構(gòu)的藝術(shù)學(xué)慕課資源協(xié)同過(guò)濾推薦算法推薦精度更高，性能更好。

參考文獻(xiàn)

[1] 黃成成，遠(yuǎn)方.慕課與專(zhuān)業(yè)音樂(lè)教育改革：男高音歌唱家張美林教授的聲樂(lè)慕課實(shí)踐[J].戲劇之家，2017（9）：215?216.

[2] 史曉玲，王福朋.淺談學(xué)前教育專(zhuān)業(yè)音樂(lè)混合式教學(xué)改革：對(duì)初中起點(diǎn)五年制音樂(lè)教學(xué)的思考與實(shí)踐[J].大眾文藝，2018，450（24）：205?206.

[3] 梁瑩，陳孝余.藝術(shù)碩士課程“慕課”教學(xué)法探究：以學(xué)校音樂(lè)課程與教學(xué)理論實(shí)踐課程為例[J].藝術(shù)教育，2017（4）：229?230.

[4] 李濤，符丁.基于協(xié)同過(guò)濾算法的自動(dòng)化隱式評(píng)分音樂(lè)雙重推薦系統(tǒng)[J].計(jì)算機(jī)測(cè)量與控制，2018，26（11）：171?175.

[5] 章宗杰，陳瑋.基于標(biāo)簽擴(kuò)展的協(xié)同過(guò)濾算法在音樂(lè)推薦中的應(yīng)用[J].軟件導(dǎo)刊，2018，17（1）：99?101.

[6] 祝永志.基于Spark技術(shù)的協(xié)同過(guò)濾推薦算法的可擴(kuò)放性研究[J].電子技術(shù)（上海），2018（7）：41?42.

[7] 游思晴，周麗，趙東杰.基于粒子群優(yōu)化算法的協(xié)同過(guò)濾推薦并行化研究[J].北京郵電大學(xué)學(xué)報(bào)，2018，41（6）：119?126.

[8] 何麗，李熙偉.基于樸素貝葉斯與協(xié)同過(guò)濾的分布式推薦模型研究[J].北方工業(yè)大學(xué)學(xué)報(bào)，2017，29（5）：96?102.

[9] 周顯春，鄧雨，吳世雄.基于改進(jìn)協(xié)同過(guò)濾算法的個(gè)性化美食推薦APP開(kāi)發(fā)[J].軟件導(dǎo)刊，2019，18（2）：94?96.

[10] 徐靜，杜崗，安剛.融合關(guān)聯(lián)規(guī)則及情感分析的音樂(lè)協(xié)同過(guò)濾推薦[J].連云港職業(yè)技術(shù)學(xué)院學(xué)報(bào)，2018，31（4）：19?22.

[11] 李卓遠(yuǎn)，曾丹，張之江.基于協(xié)同過(guò)濾和音樂(lè)情緒的音樂(lè)推薦系統(tǒng)研究[J].工業(yè)控制計(jì)算機(jī)，2018，31（7）：127?128.

[12] 李艷，李葆華，王金環(huán).一種新的基于LDA?MURE模型的音樂(lè)個(gè)性化推薦算法[J].吉林大學(xué)學(xué)報(bào)（理學(xué)版），2017，55（2）：371?375.

[13] 許明杰，蔚承建，沈航.Spark并行化基于物品協(xié)同過(guò)濾算法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2017，38（7）：1817?1822.

[14] 黃亞坤，王楊，王明星.綜合社區(qū)與關(guān)聯(lián)序列挖掘的電子政務(wù)推薦算法[J].計(jì)算機(jī)應(yīng)用，2017，37（9）：2671?2677.

[15] 扈濱.互聯(lián)網(wǎng)時(shí)代音樂(lè)基礎(chǔ)理論教育翻轉(zhuǎn)課堂模式探析：評(píng)《翻轉(zhuǎn)課堂的可汗學(xué)院：互聯(lián)時(shí)代的教育革命》[J].中國(guó)教育學(xué)刊，2018（5）：142.