基于Python的鞍山市二手房數(shù)據(jù)爬取及分析

張祿成，陶冶，崔文華

[中圖分類號(hào)] TP393.09

[文獻(xiàn)標(biāo)志碼]A

[文章編號(hào)]2095-6487 （2021） 02-0157-02

Python-based Data Crawling and Analysis of Second-hand Housing in Anshan City

Zhang Lu-cheng，

TaoYe，

CuiWen-hua

[ Abstract] Witri the rapid development of the Intemet， we have entered the era of big data. In the current era of big data， how to obtain usefulinformation has become a major problem. The article takes second-hand houses in Anshan City as an example， and uses Python to analyze and visualize thesecond-hand houses in 58 same city to show the information of second-hand houses in Anshan C.ity. Through the analysis of these second-hand houses， wehave also obtained some price analysis charts about the price information of second-hand houses in Anshan City

[ Keywords] Py～hon; data visualization; crawler

1 背景

互聯(lián)網(wǎng)的快速發(fā)展，使人類社會(huì)的信息越來越多。經(jīng)濟(jì)的快速發(fā)展導(dǎo)致年輕人在剛畢業(yè)時(shí)無法購買到價(jià)格適宜且環(huán)境舒適的房屋，租房成了熱門選擇。目前學(xué)者對(duì)住房價(jià)格差異研究方法有兩類：一類是創(chuàng)立特征價(jià)格模型，即對(duì)房子的各個(gè)因素進(jìn)行量化考量并權(quán)重加分計(jì)算。第二類是使用GIS技術(shù)和地統(tǒng)計(jì)學(xué)，對(duì)住房價(jià)格進(jìn)行一些地理規(guī)律的考量?！?】綜合以上兩種方法，分區(qū)分塊、分戶型和而積的研究房屋價(jià)格的影響因素。

2 數(shù)據(jù)爬取與數(shù)據(jù)清洗

Python是當(dāng)今大熱一門編程語言，其擁有良好的生態(tài)，尤其是在數(shù)據(jù)處理和數(shù)據(jù)分析方而具有高效快捷的優(yōu)點(diǎn)。而對(duì)復(fù)雜的二手房數(shù)據(jù)信息，Python可以快速對(duì)這些數(shù)據(jù)進(jìn)行爬取與清洗。

首先要進(jìn)行房源基本信息的爬取以獲得當(dāng)前最新的數(shù)據(jù)，本文針對(duì)58同城（https：//as.58.com/ershoufang/pn）上的二手房進(jìn)行數(shù)據(jù)爬取。網(wǎng)絡(luò)爬蟲，Python有屬于自己的庫以供使用者爬取信息。該爬蟲是以對(duì)58二手房信息網(wǎng)站進(jìn)行數(shù)據(jù)爬取保存在本地文件夾中。本次數(shù)據(jù)分析爬蟲總爬取的有效數(shù)據(jù)統(tǒng)計(jì)2300個(gè)，以下數(shù)據(jù)和圖表電均為該數(shù)據(jù)所獲得的結(jié)論。

2.1 數(shù)據(jù)爬取

對(duì)于二手房數(shù)據(jù)的爬取，選用Requests庫和Lxml下的Etree庫對(duì)所要爬取數(shù)據(jù)的網(wǎng)站發(fā)送請(qǐng)求加上xpath插件對(duì)網(wǎng)頁進(jìn)行解析，最后把我們所需要的數(shù)據(jù)爬取出來放在本地的csv或者txt格式文件中。爬蟲部分的編寫選用Pycharm環(huán)境編譯。簡單來說這個(gè)爬蟲的工作原理就是先通道第三方庫Requests傳入U(xiǎn)RL參數(shù)（可簡單理解為網(wǎng)頁鏈接），對(duì)該網(wǎng)站的維護(hù)服務(wù)器發(fā)送請(qǐng)求，在得到服務(wù)器的請(qǐng)求之后便可以獲取網(wǎng)頁的信息，通過xpath插件對(duì)網(wǎng)頁進(jìn)行解析再獲取更精確的信息。原理如下圖1所示。

2.2 數(shù)據(jù)清洗

數(shù)據(jù)清洗是為了數(shù)據(jù)分析的規(guī)范化操作為了避免所爬取獲得的數(shù)據(jù)部分具有重復(fù)、遺漏、錯(cuò)誤的數(shù)據(jù)或者符號(hào)多余等。通常在數(shù)據(jù)清洗這一塊，我們使用第三方庫pandas去實(shí)現(xiàn)，所使用的編譯環(huán)境為Anaconda。

首先需要把文件導(dǎo)入Anaconda的Jupyter Notebook中。使用Duplicated（）等方法來判斷是否有重復(fù)值和刪除重復(fù)值。之后再使用Dropna（）方法來刪除文件中的缺少值數(shù)據(jù)記錄。如果缺失情況嚴(yán)重應(yīng)檢查爬蟲程序是否出現(xiàn)錯(cuò)誤或者導(dǎo)入Jupyter Notebook格式是否錯(cuò)誤，否則就會(huì)影響最終數(shù)據(jù)分析的結(jié)果正確性[2]。最后應(yīng)檢查數(shù)據(jù)是否符合規(guī)范。數(shù)據(jù)清洗的基本流程如圖2所示。數(shù)據(jù)處理完畢后應(yīng)該注意數(shù)據(jù)的格式是否一致。處理后的數(shù)據(jù)如圖3所示。

3 數(shù)據(jù)可視化分析

數(shù)據(jù)可視化技術(shù)將數(shù)據(jù)轉(zhuǎn)化成圖形圖表，為決策提供依據(jù)[3]。在數(shù)據(jù)清洗完成之后需要再檢查數(shù)據(jù)的正確性和是否育異常值的存在，如果存在異常值需要進(jìn)行數(shù)據(jù)更改或者直接刪除數(shù)據(jù)，在保證數(shù)據(jù)的正確性之后便可以開始數(shù)據(jù)的可視化分析。在進(jìn)行了必要的異常值處理之后，數(shù)據(jù)并沒有明顯的異常值，所以可以繼續(xù)后續(xù)的操作。

3.1 簡單化歸總

在拋去所有異常值、缺失值以及重復(fù)值之后，剩余的數(shù)據(jù)量為1364條數(shù)據(jù)，針對(duì)這1364條數(shù)據(jù)將進(jìn)行如下的可視化操作。其中將所有信息，總按區(qū)分類如圖4所示。

如圖4所示，在58二手房網(wǎng)站上爬取的鞍山市二手房收據(jù)共有7個(gè)分區(qū)，其中可能因?yàn)?8網(wǎng)站上的數(shù)據(jù)不太齊全，導(dǎo)致部分區(qū)域數(shù)據(jù)過于少，上圖中包含各分區(qū)在58二手房網(wǎng)站上在售的區(qū)塊總面積、總金額、每平米的甲均租金和數(shù)量有了概括的描述。在上圖中用戶可以輕松地獲取所售房源概括。

3.2 可視化分析

圖5為鞍山市二手房的戶型結(jié)構(gòu)，圖5統(tǒng)計(jì)出了目前在58二手房網(wǎng)站上正在出售的二手房戶型，其中為了使數(shù)據(jù)看起來更加整潔可靠，將上而的戶型篩選了一遍，減去了戶型數(shù)量小于10戶的戶型即個(gè)別的特殊類型。一是為了數(shù)據(jù)的整潔性，二是為了向用戶提供更加真實(shí)且大眾的數(shù)據(jù)信息來源。

圖6為鞍山市二手房在各分區(qū)的房源及各區(qū)塊的二手房每下米價(jià)格分布情況，其中折線為該區(qū)塊的平均房價(jià)，柱狀圖為該區(qū)塊的在售的二手房總量。由此圖可大概推斷一個(gè)城市的繁榮情況，房源數(shù)據(jù)多的說明聚集人口多，往往說明該區(qū)域?yàn)槌鞘械闹攸c(diǎn)經(jīng)濟(jì)地區(qū)，經(jīng)濟(jì)活動(dòng)繁盛。房源數(shù)據(jù)較少的區(qū)塊可能為該城市的新城區(qū)，未經(jīng)歷完開發(fā)，具有良好的市場(chǎng)潛力，如果加以政策扶持就可能成為城市的經(jīng)濟(jì)中心。

圖7為鞍山市二手房的而積分析圖，該圖為一個(gè)餅狀圖?？梢允褂脩羟逦乜吹侥壳霸谧夥烤W(wǎng)站在售的二手房的而積的房源最多且也可了解目前受歡迎的面積為多人，一般來說有市場(chǎng)的二乎房而積一定為所在最多比例的而積，這也可側(cè)面也顯示出鞍山市的一些經(jīng)濟(jì)狀況。通常經(jīng)濟(jì)越發(fā)達(dá)的地區(qū)的房價(jià)就會(huì)越高，就導(dǎo)致租房也得考慮到經(jīng)濟(jì)實(shí)惠的方而往往不會(huì)去租較大的房屋。

4 結(jié)束語

人數(shù)據(jù)時(shí)代的來臨，數(shù)據(jù)分析逐步成為重要工具之一。在這個(gè)信息龐大的時(shí)代更加精確且快速地獲取有用的數(shù)據(jù)就必不可少一些數(shù)據(jù)分析工具。Python語言因其簡單性、簡潔性將會(huì)成為新時(shí)代的重要語言之一?；赑ython的爬蟲來獲取網(wǎng)絡(luò)的信息，并且將以可視化圖表的方式反饋給用戶，把爬取的信息進(jìn)行清洗、過濾，從中分析和挖掘有用的信息，充分利用人數(shù)據(jù)的優(yōu)勢(shì)。

參考文獻(xiàn)

[1]王新剛.城市住房價(jià)格時(shí)空模型分析[D]開封：河南大學(xué)，2015

[2]趙綠草，饒佳冬基于python的二手房數(shù)據(jù)爬取及分析[J]電腦知識(shí)與技術(shù)，2019 （7）：1-3.

[3]曾悠·大數(shù)據(jù)時(shí)代背景下的數(shù)據(jù)可視化概念研究[D].杭州：浙江大學(xué)，2014