基于python對地攤經(jīng)濟信息的獲取與分析

丁建霞 王志鵬

（南陽師范學院物理與電子工程學院 河南·南陽 473061）

0 引言

在公共衛(wèi)生事件面前，全國經(jīng)濟遭到了重創(chuàng)，地攤經(jīng)濟在一定程度上使全國的經(jīng)濟得到了回暖。為讓經(jīng)濟有更快速的回升，利用Python在互聯(lián)網(wǎng)上爬取與地攤經(jīng)濟有關(guān)的數(shù)據(jù)信息[1]，進一步推動地攤經(jīng)濟的發(fā)展與全國經(jīng)濟的回溫，更進一步向大眾普及了python語言的使用，同時也在一定程度上推動了互聯(lián)網(wǎng)的發(fā)展。

網(wǎng)絡(luò)爬蟲，也稱為網(wǎng)絡(luò)機器人[2]，是一種按照一定的規(guī)則，自動提取網(wǎng)頁的程序，它為搜索引擎從萬維網(wǎng)上下載網(wǎng)頁，是搜索引擎的重要組成。傳統(tǒng)爬蟲從一個或若干初始網(wǎng)頁的URL開始，獲得初始網(wǎng)頁上的URL[3]，在抓取網(wǎng)頁的過程中，不斷從當前頁面上抽取新的URL放入隊列，直到滿足系統(tǒng)的一定停止條件。

1 軟件設(shè)計與實現(xiàn)

在python爬蟲當中，每個python運行成功之后都有源代碼和生成的目標文件組成：源代碼包含了所有要執(zhí)行的命令，只要語法和邏輯上均沒有報錯，目標文件就能生成我們所需要的東西。此項目需要獲取到的是對影響“地攤經(jīng)濟”的因素，詳細分析代碼過程如下[4]：

（1）python庫的引用。Python語言簡潔的原因是它能調(diào)用多個庫，庫里面已經(jīng)為使用者定義并寫好了很多的所需要的東西，使用者只需明白其庫的作用就能直接使用。此次編碼用到的庫如下：requests庫，BeautifulSoup庫和os庫均為第三方導入的庫,request庫用于接口測試，可以節(jié)約使用者的大量工作，并滿足http測試的需要；Beautiful-Soup庫可以配合requests庫的需要寫爬蟲[3]；os庫可方便把從網(wǎng)上搜索到的內(nèi)容寫入到文本中。

（2）要從互聯(lián)網(wǎng)上大量獲取與地攤經(jīng)濟有關(guān)的信息，需要爬取的大量的網(wǎng)站，此時需要用到每個網(wǎng)站的url地址，例如：

（3）在網(wǎng)絡(luò)爬取信息的過程中，因為網(wǎng)站有robots協(xié)議，當訪問太多時容易觸發(fā)防控機制會禁止繼續(xù)訪問，此時為順利訪問網(wǎng)頁，需要編寫請求頭：

（4）利用上面的請求頭，用get進行訪問。因訪問過程容易出現(xiàn)亂碼，需要解碼換回能看懂的中文字符。

（5）對每個網(wǎng)頁的標題進行提取，需要用到此網(wǎng)站的標題行的“選擇器”，這樣可以從大方向上查看我們所爬取到的信息是否正確，并試運行查看代碼是否有出錯。此時如果沒有出錯可繼續(xù)進行接下來的代碼編寫，若語法出錯則查看報錯的點是什么，對該處進行修改；若邏輯方面出錯則需重新整理思路。

（6）此時需要再寫一個對網(wǎng)頁內(nèi)容進行爬取的代碼即可，提取方式與上述相同。

（7）把爬取到的內(nèi)容寫入并保存到文本中

2 爬取結(jié)果分析與總結(jié)

通過對互聯(lián)網(wǎng)上多個網(wǎng)頁的內(nèi)容爬取，以下展示爬取到的部分結(jié)果（為方便查看，對結(jié)果的格式稍作了整理）。如圖1所示。

圖1：爬取內(nèi)容

為分析爬取到的內(nèi)容，利用python的wordcloud對爬取到的做數(shù)據(jù)了詞云圖，出現(xiàn)的次數(shù)越多，字體的規(guī)格顯示就會越大，表示出現(xiàn)的頻率就越高，說明對于“地攤經(jīng)濟”的影響來說，這個因素的影響力越大。如圖2所示。

圖2：爬取內(nèi)容詞云圖

3 結(jié)語

本文通過分析與地攤經(jīng)濟相關(guān)的網(wǎng)頁結(jié)構(gòu)，利用python語言及其強大的第三方庫編寫代碼，獲取其中影響地攤經(jīng)濟的數(shù)據(jù)信息，把信息進行整理及分析，并制作可視化詞云圖以方便查看，有效地降低了用戶的時間成本并提供了參考意見。不足之處為只能獲取單個網(wǎng)站的信息，在未來的工作中將把重點放在同時進行多個數(shù)據(jù)源的信息的獲取，以獲得更多更全的信息。