基于Selenium框架實(shí)現(xiàn)Boss直聘網(wǎng)數(shù)據(jù)爬取與分析

for li in lis:

area=li.find_element_by_css_selector('.job-area' )#地區(qū)

job_name=li.find_element_by_css_selector('.job-name a' )#工作名稱

company_name=li.find_element_by_css_selector('.company-text .name a' )#公司名稱

salary=li.find_element_by_css_selector('.job-limit clearfix .red' )#薪水

company_type=li.find_element_by_css_selector('.false-link' )#公司類型

company_fuli=li.find_element_by_css_selector('.info-desc' )#公司福利

定位到六種待提取的標(biāo)簽之后，通過text屬性即可提取出標(biāo)簽內(nèi)的文本內(nèi)容。輸出后的部分結(jié)果如圖1所示。

圖1 提取元素結(jié)果

3.3 模擬瀏覽器操作

獲取到一頁的招聘信息后，可以繼續(xù)通過Selenium實(shí)現(xiàn)自動(dòng)翻頁，繼續(xù)獲取后續(xù)的信息。此時(shí)需要先找到每一頁的翻頁按鈕，點(diǎn)擊進(jìn)行跳轉(zhuǎn)，定位到源碼，源碼中有class="next"屬性，代碼為：bro.find_element_by_css_selector('.next' ).click()，將節(jié)點(diǎn)定位元素提取和翻頁操作作為get_job函數(shù)的函數(shù)體，為完整的一頁招聘信息提取過程。通過for循環(huán)語句，即可控制爬取具體頁數(shù)，如爬取10頁招聘信息，代碼為:

for i in range(10):

time.sleep(2)

get_job()

3.4 數(shù)據(jù)存儲(chǔ)

本系統(tǒng)將爬取的數(shù)據(jù)存儲(chǔ)到boss.csv文件中，首先需要導(dǎo)入csv模塊，然后寫入表頭，寫入表頭的代碼為：

import csv

f=open(' boss.csv',mode="a",encoding="utf-8",newline="")

csv_writer=csv.DictWriter(f,fieldnames=[' 工作名稱',' 地區(qū)',' 公司名稱',' 薪水',' 公司類型',' 公司福利' ])

csv_writer.writeheader()

寫入表頭后，需要繼續(xù)寫入爬蟲獲取到的招聘信息，由于writerow可以接收字典格式的數(shù)據(jù)，在每獲取到一則信息后，需要按行寫入csv文件，代碼為：

dict={"工作名稱":job_name,"地區(qū)":area,"公司名稱":company_name,"薪水":salary,"公司類型":company_type,"公司福利":company_fuli}

csv_writer.writerow(dict)

圖2 部分?jǐn)?shù)據(jù)存儲(chǔ)

4 數(shù)據(jù)清洗

數(shù)據(jù)分析前很重要的一個(gè)工作是數(shù)據(jù)清洗，以便于數(shù)據(jù)分析的結(jié)果更為準(zhǔn)確，其中，數(shù)據(jù)清洗主要有處理重復(fù)值、缺失值和臟數(shù)據(jù)。本系統(tǒng)以分析各地區(qū)平均薪資為例，說明數(shù)據(jù)清洗的過程。

首先要通過語句data=pd.read_csv(' boss.csv',encoding="gbk")讀取boss.csv數(shù)據(jù)并查看當(dāng)前數(shù)據(jù)是否存在重復(fù)值和缺失值，如果有，進(jìn)行去重復(fù)值和填充缺失值。其次我們觀察到部分地區(qū)信息太具體，例如“成都·武侯區(qū)·新會(huì)展中心”，需要提取出“成都”城市名，去掉后面的地區(qū)信息。最后針對(duì)當(dāng)前的薪水格式為“12-24 k”或者“12-18 k·15薪”，需要提取出最高和最低值，計(jì)算平均薪水。

4.1 處理重復(fù)值和缺失值

通過語句data.duplicated().sum()查看是否有重復(fù)值，結(jié)果顯示存在，通過語句data.drop_duplicates(inplace=True)在原數(shù)據(jù)上進(jìn)行處理。

通過語句data.isnull().sum()查看是否有缺失值，結(jié)果顯示公司福利列有14條缺失值，通過語句data["公司福利"].fillna("無",inplace=True)在原數(shù)據(jù)上進(jìn)行處理。

4.2 處理地區(qū)名稱

通過split函數(shù)對(duì)地區(qū)列數(shù)據(jù)進(jìn)行分割，結(jié)果為列表，取出列表中的第一個(gè)元素，即為城市名。語句為data[' 地區(qū)' ]=data[' 地區(qū)' ].apply(lambda x:x.split('·' )[0])通過data[' 地區(qū)' ].unique()查看數(shù)據(jù)集包含的所有城市名。結(jié)果為:

array([’成都’，’長(zhǎng)沙’，’煙臺(tái)’，’西安’，’北京’，’深圳’，’上海’，’寧波’，’合肥’，’鄭州’，’廣州’，杭州’，’佛山’，’蕪湖’，’石家莊’，’武漢’，’天津’，’青島’，’東莞’，’渭南’，’南京’，’運(yùn)城’，’無錫’，’重慶’，’長(zhǎng)春’，’珠?！?，’沈陽’，’廈門’，’南寧’，’保定’，’淄博’，’大連’，’南昌’，’哈爾濱’，’蘇州’，’濟(jì)南’]，dtype=object)

4.3 計(jì)算平均薪水

通過字符串的字符提取方法extract提取出薪水列的最低薪水和最高薪水，并計(jì)算平均值，代碼和結(jié)果如圖3所示。

圖3 計(jì)算平均薪水

5 數(shù)據(jù)分析和可視化

本系統(tǒng)分析各個(gè)地區(qū)的平均薪水，需要對(duì)地區(qū)進(jìn)行分組，計(jì)算各組的平均薪水。結(jié)果顯示爬蟲工程師的薪水都比較高，其中佛山的平均薪水最高22.5 k，深入分析后發(fā)現(xiàn)，是由于佛山只有一則招聘信息。平均薪水最高的前10個(gè)地區(qū)結(jié)果如圖4所示。

圖4 各地區(qū)平均薪水

為了使結(jié)果更加直觀，使用pyecharts庫對(duì)平均薪水最高排名前10的地區(qū)進(jìn)行可視化展示，繪制地區(qū)與平均薪水的柱狀圖，代碼與結(jié)果如圖5所示。

圖5 各地區(qū)平均薪水柱狀圖

6 結(jié)束語

爬蟲作為獲取數(shù)據(jù)的重要工具之一，廣泛應(yīng)用于各種網(wǎng)站,具有廣闊的應(yīng)用前景[4]。但是大部分的網(wǎng)站都設(shè)置了一些反爬機(jī)制，本系統(tǒng)采用Selenium框架繞過反爬機(jī)制，實(shí)現(xiàn)了Boss直聘網(wǎng)的招聘信息爬取，同時(shí)對(duì)求職者較關(guān)注的薪資進(jìn)行了分析并完成了可視化展示。數(shù)據(jù)分析和可視化適用于繼續(xù)分析其他有價(jià)值的信息。在《數(shù)據(jù)爬取》課程中以此為教學(xué)案例，讓學(xué)生看到本專業(yè)學(xué)生的就業(yè)前景，提升學(xué)生的專業(yè)和職業(yè)認(rèn)同感。