基于Python的協(xié)同過濾算法的研究與應(yīng)用實(shí)現(xiàn)

胡正江　蘭海翔　盧涵宇　侯汝沖 　薛安琪

摘要：在科技日新月異以及知識(shí)產(chǎn)權(quán)日益重視的今天，大部分用戶都會(huì)選擇在播放平臺(tái)看電影。例如騰訊視頻、愛奇藝等，用戶們急需合理的電影推薦系統(tǒng)。本文為基于Python的協(xié)同過濾算法將個(gè)性化推薦技術(shù)與電影系統(tǒng)進(jìn)行有機(jī)結(jié)合，給用戶進(jìn)行電影個(gè)性化推薦。

關(guān)鍵詞：個(gè)性化推薦;協(xié)同過濾;Python

中圖分類號(hào)： TP208? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2019）25-0202-03

Abstract： with the rapid development of science and technology and the increasing importance of intellectual property， most users will choose to watch movies on the broadcast platform.For example， tencent video， iQIYI， etc.， users are in urgent need of a reasonable movie recommendation system.In this paper， Python and collaborative filtering algorithm are used to organically combine personalized recommendation technology with movie system to give users personalized movie recommendation.

Key words： Personalized Recommendation;Collaborative Filtering;Python

平常在電商平臺(tái)購物時(shí)經(jīng)?？吹健澳憧赡芟矚g”這樣的推薦，點(diǎn)進(jìn)去一看大部分都是自己經(jīng)常瀏覽的東西相關(guān)的，這個(gè)技術(shù)一下吸引了我，我平常喜歡看電影，而目前視頻播放平臺(tái)并不能投其所好的給用戶推薦符合口味的電影，更多的是推薦娛樂圈的視頻。所以基于Python的電影個(gè)性化推薦系統(tǒng)就這樣產(chǎn)生了，當(dāng)然這并不是我最先想到的，其實(shí)之前就有了一些相關(guān)的電影推薦系統(tǒng)，我對(duì)比分析發(fā)現(xiàn)他們的研究各有優(yōu)缺，都不夠完善，研究不夠深入，我的研究只是站在前人的肩膀上進(jìn)行優(yōu)化。

大多數(shù)人在工作和生活之余都會(huì)看幾部電影，看電影不僅可以讓人釋放壓力，還可以增長知識(shí)等等。本系統(tǒng)致力于用大數(shù)據(jù)以及深度學(xué)習(xí)等熱點(diǎn)技術(shù)給影迷理性而又科學(xué)的推薦他們喜歡的電影。其實(shí)推薦系統(tǒng)應(yīng)用很廣泛，比如常見的電商產(chǎn)品推薦，即電商平臺(tái)根據(jù)你平常的瀏覽以及購買過的東西來給你推薦你可能喜歡的東西，這類推薦系統(tǒng)為電商平臺(tái)獲利不少。所以我希望構(gòu)造一個(gè)根據(jù)用戶的個(gè)人口味進(jìn)行個(gè)性化推薦的電影推薦系統(tǒng)。個(gè)性化推薦不像令人討厭的廣告彈窗，它是投其所好，解決用戶的需求。

國內(nèi)外目前電影推薦系統(tǒng)的研究主要集中在系統(tǒng)的理論和技術(shù)方面，取得了不錯(cuò)的成果。對(duì)于評(píng)價(jià)數(shù)據(jù)的稀疏性，有學(xué)者提出了一種優(yōu)化的協(xié)同過濾推薦算法，也有基于項(xiàng)目評(píng)分預(yù)測(cè)的協(xié)同過濾推薦算法，采用一種新穎的相似度量方法計(jì)算目標(biāo)用戶的最近鄰居[1]。針對(duì)算法的可擴(kuò)充性，也有相關(guān)文獻(xiàn)提出基于項(xiàng)目的協(xié)同過濾推薦算法，顯著地提高了推薦系統(tǒng)的推薦質(zhì)量。以上的各種方法各有優(yōu)缺，所以現(xiàn)在很多研究者提出結(jié)合多種過濾技術(shù)的優(yōu)點(diǎn)來克服自身的不足[2]。國內(nèi)一些影視網(wǎng)站有自己的推薦系統(tǒng)，例如騰訊視頻、愛奇藝以及優(yōu)酷等，但是目前做得不是很好，推薦結(jié)果并不那么令人滿意。

1基于協(xié)同過濾的推薦系統(tǒng)

1.1協(xié)同過濾算法介紹

協(xié)調(diào)過濾算法是目前最成功有效的個(gè)性化推薦算法，廣泛應(yīng)用與各領(lǐng)域中[3]。協(xié)同過濾算法分析用戶的興趣，然后在用戶群中尋找指定的用戶的相似興趣的用戶，最后綜合這些相似用戶對(duì)某一信息的評(píng)價(jià)，形成系統(tǒng)對(duì)該指定用戶對(duì)此信息的喜好程度進(jìn)行預(yù)測(cè)。

1.2 協(xié)同過濾算法實(shí)現(xiàn)步驟

協(xié)同過濾算法一般分三步實(shí)現(xiàn)：第一步，收集用戶偏好，也就是獲得用戶對(duì)某些信息項(xiàng)的評(píng)價(jià);第二步，找到相似的用戶或物品，即分析用戶之間的相似性并預(yù)測(cè)特定用戶對(duì)某一信息的喜好。第三步，進(jìn)行個(gè)性化電影推薦。

2 協(xié)同過濾算法實(shí)現(xiàn)

2.1 收集用戶偏好

收集用戶的偏好信息是電影個(gè)性化推薦系統(tǒng)的推薦效果的重要影響因素，基于用戶的行為和偏好發(fā)現(xiàn)規(guī)律來進(jìn)行推薦[4]。本系統(tǒng)使用評(píng)分的方式對(duì)電影個(gè)性化推薦系統(tǒng)提供用戶的偏好信息。

2.2 尋找相似的用戶

利用網(wǎng)絡(luò)爬蟲獲取的電影評(píng)分?jǐn)?shù)據(jù)中選擇5個(gè)用戶對(duì)2部電影的評(píng)分來說明如何通過用戶對(duì)電影的偏好尋找相似的用戶。對(duì)用戶的網(wǎng)名采取用戶123表示，具體信息見下表。

通過計(jì)算5個(gè)用戶對(duì)5部電影的評(píng)分我們可以獲得用戶間的相似度數(shù)據(jù)。顯示user1、user2和user4之間的相似度較高。有了相似度，我們就可以對(duì)用戶進(jìn)行電影個(gè)性化推薦。

d.為相似用戶推薦電影

當(dāng)我們向用戶4推薦電影時(shí)，首先我們需要檢查之前的相識(shí)度列表，發(fā)現(xiàn)用戶1、2、4的相似度比較高。也就是說這三個(gè)用戶是一個(gè)群體，他們擁有相同的偏好。所以我們可以對(duì)用戶4推薦用戶1和用戶2喜歡的電影。但是我們不能直接推薦上表的5部電影，因?yàn)檫@5部電影用戶4已經(jīng)看過了，不能重復(fù)推薦。我們應(yīng)該推薦他一些沒有看過的電影。

在本系統(tǒng)中，我們需要向任意用戶推薦電影，所以，首先讓目標(biāo)用戶（這里假設(shè)為用戶0，用戶0對(duì)系統(tǒng)給出的任意10部電影進(jìn)行評(píng)分，推測(cè)出他不喜歡的電影類型，然后系統(tǒng)通過皮爾遜相關(guān)度評(píng)價(jià)獲取與用戶0電影評(píng)分的相似度數(shù)據(jù)，從而向他進(jìn)行個(gè)性化電影推薦。

3 主要研究內(nèi)容與應(yīng)用實(shí)現(xiàn)

3.1 研究內(nèi)容

本研究的主要內(nèi)容為獲取大量用戶對(duì)電影評(píng)分的數(shù)據(jù)，將獲得的數(shù)據(jù)進(jìn)行處理，然后建立模型并且對(duì)建立的模型進(jìn)行訓(xùn)練，最后驗(yàn)證結(jié)果。本系統(tǒng)驗(yàn)證時(shí)需要用戶對(duì)系統(tǒng)給出的任意10部電影進(jìn)行打分，系統(tǒng)再根據(jù)用戶的評(píng)分預(yù)測(cè)出用戶不喜歡的電影類型，其中本系統(tǒng)設(shè)定了包括war、romance、horror以及crime等10多種電影類型，最后，加權(quán)平均所有人的評(píng)價(jià)值向目標(biāo)用戶進(jìn)行電影推薦。

3.2 應(yīng)用實(shí)現(xiàn)

首先錄入用戶信息，然后計(jì)算皮爾遜相關(guān)系數(shù)，找出有對(duì)某些電影興趣相同的用戶，最后通過加權(quán)平均所有人的評(píng)價(jià)值向目標(biāo)用戶進(jìn)行電影推薦。首先導(dǎo)入網(wǎng)絡(luò)爬蟲爬起到的數(shù)據(jù)。

下面2張圖是本個(gè)性化推薦系統(tǒng)中的推薦電影類型成果展示，當(dāng)我給系統(tǒng)給出的10部電影打分后，系統(tǒng)推測(cè)出我不喜歡的電影類型為film_noir、comedy、unknown以及action。系統(tǒng)并不是很完美，這是因?yàn)橛?xùn)練的數(shù)據(jù)還不夠多，后期還得進(jìn)行改進(jìn)。

4 結(jié)論

本文主要使用Python編程語言，首先利用網(wǎng)絡(luò)爬蟲技術(shù)將我需要的用戶電影評(píng)分信息爬取下來，對(duì)大量的數(shù)據(jù)進(jìn)行訓(xùn)練，有了數(shù)據(jù)集后利用皮爾遜相識(shí)度來計(jì)算相似度，有了相識(shí)度后進(jìn)行電影推薦。讓用戶對(duì)系統(tǒng)所給的10部電影進(jìn)行評(píng)分，系統(tǒng)不僅給出了他不喜歡的電影類型，而且給他推薦出他喜歡的電影。結(jié)果表明目標(biāo)用戶不喜歡的電影類型為film_noir、comedy、unknown以及action，與目標(biāo)用戶愛好相似的是user4、user1以及user2，相似度分別是0.816497、0.707107以及0.500000，并且給目標(biāo)用戶推薦《肖申克的救贖》以及《泰坦尼克號(hào)》兩部目標(biāo)用戶喜歡的電影。本研究以用戶為主，找出具有相同電影類型愛好的人，并對(duì)他們進(jìn)行個(gè)性化電影推薦。

參考文獻(xiàn)：

[1] 劉文佳， 張駿. 改進(jìn)的協(xié)同過濾算法在電影推薦系統(tǒng)中的應(yīng)用[J]. 現(xiàn)代商貿(mào)工業(yè)， 2018， 39（17）：63-66.

[2] 王建洋. 基于深度學(xué)習(xí)的電影推薦系統(tǒng)研究與實(shí)現(xiàn)[D]. 西南交通大學(xué)，2018.

[3] 李詩羽. 基于協(xié)同過濾算法的個(gè)性化推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 信息與電腦（理論版）， 2018，405（11）：58-59.

[4] 楊笑鋒. 多維數(shù)據(jù)融合的電影推薦系統(tǒng)研究與實(shí)現(xiàn)[D]. 昆明理工大學(xué)，2018.

【通聯(lián)編輯：光文玲】