基于Python的美食數(shù)據(jù)爬取及可視化研究

依力·吐爾孫 艾孜爾古麗

摘要：本文主要研究中國(guó)菜譜里面的美食詞匯資源的爬取、構(gòu)建、數(shù)據(jù)處理并對(duì)詞匯資源進(jìn)行數(shù)據(jù)可視化分析。本文首先采用Python語言使用Scrapy框架進(jìn)行數(shù)據(jù)爬取并對(duì)目標(biāo)網(wǎng)站的網(wǎng)頁進(jìn)行頁面分析，采集的是豆果美食網(wǎng)里最新發(fā)布的中國(guó)菜系菜譜，然后用Pandas、Numpy等庫(kù)進(jìn)行清洗數(shù)據(jù)并做可視化分析。除此之外，用Pyecharts庫(kù)制作各大菜系菜品量的餅狀圖。最后通過Jieba庫(kù)進(jìn)行中文分詞處理，篩選出高頻詞匯并制作了詞云圖。為了使乏味的文本數(shù)據(jù)散發(fā)活力，深入分析數(shù)據(jù)，以詞云圖展示數(shù)據(jù)分析的結(jié)果，增加數(shù)據(jù)可視化。

關(guān)鍵詞：美食詞匯;Python;網(wǎng)絡(luò)爬蟲;數(shù)據(jù)分析;詞云圖

中圖分類號(hào)：TP391? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2021）10-0019-02

Abstract： This paper mainly studies the crawling， construction， data processing and data visualization analysis of Chinese cuisine vocabulary resources in Chinese recipes. In this paper， we first use Python language to Scrapy framework to crawl data and analyze the web pages of the target website. We collected the latest Chinese cuisine recipes from the Douguo Cuisine Network. Then we use libraries such as Pandas and Numpy to clean the data and do visual analysis. In addition， Pyecharts library is used to make pie charts of the quantity of dishes in each major cuisine. Finally， word segmentation is carried out through JIEBA library to screen out high-frequency words and make word cloud map. In order to make boring text data exude vitality， in-depth analysis of the data， the word cloud map to show the results of data analysis， increase data visualization.

Key words： food vocabulary; Python; Web crawler; Data analysis; Word cloud

非典、新冠肺炎等致命性疾病讓人們更加意識(shí)到健康飲食習(xí)慣的重要性。人工智能、大數(shù)據(jù)的發(fā)展對(duì)飲食詞匯數(shù)據(jù)的處理方面帶來了便利。不僅，計(jì)算語言學(xué)、統(tǒng)計(jì)學(xué)等交叉學(xué)科的發(fā)展使得處理飲食詞匯資源的數(shù)據(jù)引來了新思路和新角度，而且處理這些飲食數(shù)據(jù)資源促進(jìn)了中國(guó)飲食文化、膳食結(jié)構(gòu)、營(yíng)養(yǎng)學(xué)、預(yù)防疾病學(xué)等學(xué)科方面的研究。

構(gòu)建飲食詞匯資源并進(jìn)行數(shù)據(jù)可視化對(duì)研究民俗飲食有著重要作用，這些數(shù)據(jù)有利于分析各地民俗飲食的結(jié)構(gòu)。為進(jìn)一步開展食物資源和增加菜譜品種方面的研究，對(duì)各個(gè)地方不同菜譜的原料及其用料使用情況、食品加工、飲食制作、飲食命名和飲食傳承有關(guān)的信息進(jìn)行數(shù)據(jù)采集并對(duì)數(shù)據(jù)進(jìn)行可視化研究是有必要的。

1 美食文本采集技術(shù)研究

1.1美食文本采集思路

隨著人工智能和大數(shù)據(jù)的發(fā)展，網(wǎng)絡(luò)上越來越大的數(shù)據(jù)量成為一種重要資源，如何從這些海量數(shù)據(jù)中快速有效的提取和分析有效數(shù)據(jù)并排除無效數(shù)據(jù)是信息處理技術(shù)的研究熱點(diǎn)。獲取網(wǎng)絡(luò)上有效數(shù)據(jù)的方法是網(wǎng)絡(luò)爬蟲技術(shù)。實(shí)現(xiàn)Web爬蟲技術(shù)，編寫好網(wǎng)站爬蟲的關(guān)鍵是利用更高效的爬蟲工具和爬蟲框架。于是Python語言提供了很多方便的爬蟲框架。Scrapy是基于Python開發(fā)的一個(gè)高層次的快速的網(wǎng)頁抓取框架，用于抓取Web站點(diǎn)信息并從頁面中提取結(jié)構(gòu)化的數(shù)據(jù)[1]。因此本文完成網(wǎng)站的數(shù)據(jù)提取任務(wù)時(shí)便用到了Scrapy框架。文中采用了Scrapy框架來對(duì)數(shù)據(jù)進(jìn)行提取，爬取的對(duì)象是豆果美食網(wǎng)站菜式菜系的中國(guó)菜。

在進(jìn)行爬取豆果美食網(wǎng)站數(shù)據(jù)之前，為了編寫好代碼的邏輯并更有效地提取該網(wǎng)站數(shù)據(jù)，應(yīng)該要弄明白并且分析美食網(wǎng)站的域名結(jié)構(gòu)和層次。分析研究的網(wǎng)站，其URL鏈接結(jié)構(gòu)以主域名為中心?[2]，主域名下分有豆果美食網(wǎng)站的首頁、菜式菜系、中國(guó)菜等子域名，也就是導(dǎo)航部分。在子域名下是更詳細(xì)的各種菜系URL信息。此網(wǎng)站的結(jié)構(gòu)進(jìn)行分析就能提取菜系菜品所有URL，但是會(huì)回到首頁，因此進(jìn)行URL的去重，建立環(huán)路。

該文爬取豆果美食網(wǎng)站菜式菜系里的所有中國(guó)菜系的菜品，獲取的內(nèi)容包括菜譜鏈接、菜譜、用戶、用料、圖片、評(píng)分、菜系。通過對(duì)網(wǎng)站頁面的分析。通過美食網(wǎng)站的最新菜系頁面提取全部菜譜數(shù)據(jù)代碼，而不需要爬取所有URL。通過“最新菜系”網(wǎng)站獲取全部菜譜的策略是對(duì)比頁面跳轉(zhuǎn)URL的變化，因此可以通過對(duì)數(shù)字的遞增而得到所有數(shù)據(jù)。

1.2美食網(wǎng)站環(huán)境分析及采集

1.2.1美食網(wǎng)站頁面分析

想要得到爬取規(guī)則和相應(yīng)的代碼信息，首先需要對(duì)美食網(wǎng)站內(nèi)容進(jìn)行結(jié)構(gòu)分析。因此，進(jìn)入豆果美食網(wǎng)，打開全部分類，找到菜式菜系目錄下的中國(guó)菜。本次需要爬取的內(nèi)容是中國(guó)菜下的蘇菜、新疆菜、東北菜等十五個(gè)中國(guó)菜系。這里面有效處理提取的數(shù)據(jù)是各大菜系中的菜譜名，菜譜鏈接、圖片、評(píng)分、用戶名、用料、菜系。打開Chrome瀏覽器進(jìn)入豆果美食網(wǎng)站后，查看全部分類找到對(duì)應(yīng)的菜系，按F12鍵就能看到頁面的布局和源代碼信息。查看并分析這些中國(guó)菜的菜系標(biāo)題都包含了屬性為class的