基于Python爬蟲的電影數(shù)據(jù)可視化分析

message_str = message_str + line

message.append(message_str)

return message # 返回提取到的結(jié)果

為方便數(shù)據(jù)可視化分析，運用Python語言對數(shù)據(jù)進行預(yù)處理，清洗無用信息，去除無評分電影.整理后的部分?jǐn)?shù)據(jù)格式如表1所示.

表1 整理后的部分?jǐn)?shù)據(jù)格式

3 數(shù)據(jù)分析及可視化

3.1 數(shù)據(jù)分析依據(jù)

隨著電影行業(yè)的蓬勃發(fā)展，電影市場的競爭越來越激烈，越來越多的影業(yè)公司想通過用戶對于不同電影類型評分的變化了解用戶的喜好.評分是觀眾從接受的角度對影片進行的評價和回饋，一方面取決于電影本身的藝術(shù)質(zhì)量，另一方面則取決于觀眾本身的需求，即影片在多大程度上與觀眾的期待視域達到融合[9].那么如何了解影片類型、評分等因素對觀眾選擇的影響呢？首先，從電影類型數(shù)量分析熱門類型.其次，從平均評分的角度分析觀眾對不同影片類型的接受程度.再次，從評分的分布情況更真實地了解大部分觀眾對電影的滿意程度.最后，結(jié)合評論人數(shù)與評分之間的關(guān)系進一步分析用戶對電影的情感.

3.2 從電影類型數(shù)量分析熱門類型

2016年公映電影數(shù)量超過30的主要電影類型有10種：劇情、喜劇、愛情、動作、冒險、動畫、懸疑、驚悚、奇幻和犯罪.

從圖1可以看出：劇情類影片的數(shù)量占比是19.41 %，是冒險類數(shù)量占比的兩倍多，說明劇情類型電影最受制片商追捧.而喜劇、愛情兩種類型電影的數(shù)量在總數(shù)量占比分列第2、第3位，并且這3類影片數(shù)量占總量的47.98 %.動作、冒險、動畫、懸疑、驚悚、奇幻和犯罪類型的數(shù)量占總數(shù)量的 52.02 %，說明電影類型較多，但并沒有很多制片商選擇.

圖1 電影類型數(shù)量餅圖

3.3 從平均評分角度分析觀眾對影片類型的接受程度

從圖2可以看出：冒險、犯罪、奇幻、動作、劇情和動畫類影片評分均為5分以上，評分最高的是冒險類，此類影片劇情豐富，觀賞性強，易被觀眾認(rèn)可；第2名、第3名的犯罪和奇幻類影片平均評分相差非常小，具有刺激性效應(yīng)的電影容易吸引觀眾；對于最后一名驚悚類型的影片平均評分僅有4.0分，本身類型小眾，內(nèi)容恐怖，如果影片品質(zhì)很差，很難被觀眾接受.

圖2 電影平均評分對比

3.4 從評分分布角度分析觀眾對影片類型的滿意程度

圖3～圖5分別是散點圖、小提琴圖和箱型圖的不同類型電影評分分布情況，對比其他研究的普通折線圖、網(wǎng)絡(luò)圖，小提琴圖及箱型圖對數(shù)據(jù)可視化效果更好，能更加直觀地表現(xiàn)數(shù)據(jù)分布.

圖3 電影評分分布散點圖

圖4 電影評分分布小提琴圖

圖5 電影評分分布箱型圖

從圖3可以清楚地看出奇幻類、冒險類、動作類評分普遍較高.從圖4可以看出奇幻和冒險類的評分多數(shù)高于6分，而動作類評分較多在5～6分之間.說明在動作類影片生產(chǎn)上還有品質(zhì)提升空間，觀眾的口味多元化，并不是很喜歡單純的動作片，相比之下，帶有探索冒險、科幻奇妙劇情的電影更受觀眾追捧.如果此類型影片質(zhì)量更好一些，那么觀眾認(rèn)可度會更高.

由圖4可以看出：動畫類電影評分的分布兩極化明顯，與國外的動漫產(chǎn)業(yè)相比，國內(nèi)在思想觀念及技術(shù)水平方面均相對落后，還未完全打開市場，除了題材不夠新穎外，劇本稀缺和整個電影工業(yè)跟不上也是重要因素；犯罪類評分普遍在5分以上，在2016年獲得了較高的口碑，犯罪題材天生能夠滿足普通觀眾的獵奇和窺私欲望，而犯罪題材的深刻之處在于人性的集中爆發(fā)，一部好的犯罪片往往會觸及到嚴(yán)峻的社會問題和人性的陰暗面，所以犯罪類型電影很有可能成為下一個爆發(fā)的熱點.

結(jié)合圖3和圖5可以看出：作為好萊塢類型片市場一大支柱的喜劇類影片，雖然比較受制片商的追捧，但并沒有得到觀眾的好評.近年來低成本、高回報的喜劇電影扎堆，其整體質(zhì)量卻令人堪憂，未來的國產(chǎn)喜劇電影創(chuàng)作亟需創(chuàng)新.從青春愛情片市場打開后，每年幾十部主打青春和愛情的電影噴涌而出，形態(tài)紛呈，但卻很難滿足觀眾的要求.中國愛情片亟需跟上世界電影發(fā)展潮流，在愛情片的多元化和現(xiàn)代化方面做出努力，以更好地適應(yīng)在大眾文化的時代背景下高速增長的觀影需求.驚悚類和懸疑類無論影片數(shù)量還是評分均明顯低于其他類型電影，情況堪憂.

3.5 評論人數(shù)與評分的關(guān)系

圖6為評論人數(shù)與評分聯(lián)合分布圖，相對常見的其他分析可視化而言，Python的聯(lián)合分布圖在可視化的同時可以直接計算相關(guān)性并表現(xiàn)在圖中，并不需要另行計算.

圖6 評論人數(shù)與評分聯(lián)合分布圖

由圖6可以看出：評論人數(shù)與評分之間呈現(xiàn)正相關(guān)關(guān)系，相關(guān)系數(shù)為0.52，屬于中等程度相關(guān)(相關(guān)系數(shù)在-1～1之間，在統(tǒng)計學(xué)意義成立的基礎(chǔ)上，相關(guān)系數(shù)越接近1，評價人數(shù)與票房之間的正相關(guān)性越大)，表現(xiàn)為評價人數(shù)越多，則評分高的可能性越大，具有統(tǒng)計學(xué)意義.從總體來看，評論人數(shù)普遍在10萬人以下，并且評論人數(shù)很多的電影評分也相對較高.評分與評價人數(shù)是用戶觀影參考的重要指標(biāo)，它顯露出票房的氣息，能給消費者指示時下大眾的觀影潮流.人數(shù)與評價，在由外部環(huán)境、影片質(zhì)量、個體心靈所編織的網(wǎng)絡(luò)中相互牽扯，兩者的關(guān)系曖昧不清、若即若離.

4 結(jié)束語

闡述了Python語言在數(shù)據(jù)爬取及可視化分析中的應(yīng)用.通過對豆瓣網(wǎng)2016年公映電影的分析，可以給影業(yè)公司一些制片提示，也可以為用戶觀影提供重要的參考指標(biāo).通過實例可知：使用Python語言進行可視化分析可以更好地將大量而繁雜的數(shù)據(jù)應(yīng)用起來，使可視化結(jié)果更形象，更直觀地被大眾接受理解，大大提高了工作效率.Matplotlib 和Seaborn作為 Python 著名的繪圖庫可以輕松繪制出各種統(tǒng)計圖形，借助 Python 語言強大的數(shù)據(jù)處理和科學(xué)計算能力，在電影數(shù)據(jù)的分析處理方面有非常出色的表現(xiàn).對比現(xiàn)有的ThemeRiver技術(shù)以及普通網(wǎng)絡(luò)圖、折線圖可視化效果，Python數(shù)據(jù)爬取及可視化分析中具有簡單、高效的特性，能夠繪制出其他繪圖工具無法繪制的統(tǒng)計圖形，具有較好的發(fā)展前景.

然而，由于個人或企業(yè)因素電影評分可能不是出自評論者觀影后的客觀公正評價，評論者自身也會存在隨機打星評級的現(xiàn)象，會造成分析結(jié)果不理想，需要改進.未來將針對這一現(xiàn)象深入研究，利用數(shù)據(jù)挖掘算法提升分析的效果，解決實際問題.