基于互聯網大數據的招聘數據智能分析平臺

秦玥　朱繼威　董哲清

摘? 要：國家教育事業(yè)發(fā)展迅猛，畢業(yè)生人數連年攀升。尤其是受疫情影響，就業(yè)形勢嚴峻，給畢業(yè)生帶來了巨大的挑戰(zhàn)。因此，了解企業(yè)招聘要求，實時獲取招聘信息十分關鍵。本文采用hadoop集群作為數據清洗的環(huán)境搭建大數據平臺，Tomcat服務器，Vue作為前端框架設計了一套基于互聯網大數據的招聘數據智能分析平臺，對主流企業(yè)的招聘信息進行分析和整理，并利用可視化技術展示幫助畢業(yè)生們能夠了解互聯網行業(yè)的趨勢和要求，提供適合的崗位。

關鍵詞：招聘;大數據;智能分析;可視化

引言

據教育部統(tǒng)計，2020屆高校畢業(yè)人數高達874萬人，再創(chuàng)歷史新高[1，2]。尤其是受到新冠肺炎，經濟下滑等多種因素的影響，就業(yè)形勢十分嚴峻，畢業(yè)生們面臨著巨大的就業(yè)壓力。值得注意的是，在《2020應屆生畢業(yè)生春招求職報告》，中我們了解到，在各行業(yè)新增的應屆畢業(yè)生人數來看，互聯網行業(yè)應屆生占比最高，無疑加大了互聯網行業(yè)人才市場的競爭，解決高校畢業(yè)生就業(yè)成為了一個熱點問題。

隨著網絡時代的到來，每天都有海量的信息鋪天蓋地而來。一方面為人們提供了大量選擇的機會，但另一方面，信息的冗余也增大了人們篩選的難度[3]。傳統(tǒng)招聘的數據采集和分析光靠人工收集并采用普通的方式進行分析十分的浪費人力和物力，效率不高，用戶體驗效果不好。

針對上述問題，本文設計了一套基于互聯網大數據而招聘數據智能分析平臺，運用大數據技術，對當前主流企業(yè)的招聘信息進行分析和整理，提煉出畢業(yè)生最關心最感興趣的部分，并利用可視化技術將這些內容以一種簡潔清晰的方式展現出來。在此平臺，畢業(yè)生們能夠了解到當前互聯網各行業(yè)的趨勢以及當前企業(yè)對畢業(yè)生的期望和要求;同時還能根據自身的條件，獲取到適合自己的崗位信息。

1系統(tǒng)設計框架

本系統(tǒng)主要采用hadoop集群搭建大數據平臺，并將事先采集到的數據加載到Mapreduce中清洗，再載入至hive數據表中，對其進行統(tǒng)計和分析，并將結果通過hive表保存至hbase中。再通過tomcat服務器訪問獲取hbase中的數據打包成json格式，通過前端頁面展示出來，具體設計框架如圖1所示：

2具體實現方案

2.1 數據分析

在hadoop大數據集群環(huán)境搭建完畢后，進入數據處理的階段。首先將csv數據文件裝載到hdfs文件系統(tǒng)中并編寫相應的MapReduce進行數據的初步清洗。將初步的清洗結果通過hdfs文件系統(tǒng)載入至hive表格當中進行數據的統(tǒng)計與分析。并將統(tǒng)計結果存入hive表。

2.2 數據展示

在處理好數據后，創(chuàng)建web項目。通過啟動tomcat服務器訪問hbase獲取hive統(tǒng)計好的數據，并打包成json格式，方便前端實時訪問數據。當前端獲取到數據后，對其進行解析利用echarts可視化工具進行展示。在前端頁面展示中主要通過“工作薪資”，“地區(qū)”，“招聘所學技能點”，“招聘影響因素”等方面進行展示。

2.3 職位推薦

根據用戶對相關知識技能的專業(yè)程度對用戶進行畫像，再根據職位對用戶的相關知識技能的專業(yè)程度要求對職位進行畫像。在前面的大數據分析過程中，已經分析出了各職位標簽分類的技術熱詞以及數量，利用大數據分析結果，對每個專業(yè)領域的技能要求進行重要程度的分析，再根據不同職位所屬大類對各種不同知識技能的重要程度的分析，利用層次分析法計算在用戶和職位中不同知識技能所占的比重，利用這個比重衡量用戶畫像和職位畫像的和適度，和適度前幾位的職位信息將被推薦給用戶。

3系統(tǒng)測試

本文主要是針對算法和主要功能點進行測試，通過設計測試用例判斷程序的邏輯、功能是正確實現。測試結果與分析如表1所示：

4總結展望

本系統(tǒng)充分利用了大數據技術解決了傳統(tǒng)數據采集和分析所帶來的不便，通過前端可視化的展示讓用戶直觀了解招聘信息，為畢業(yè)生提供了一定的就業(yè)幫助。但是仍有不足的地方需要改進，在之后的工作中，我們將采集更多的招聘信息，優(yōu)化推薦算法，為高校畢業(yè)生提供更精確的推薦服務。

參考文獻

[1]楊紫，劉凱，王樂樂.后疫情時代高校畢業(yè)生就業(yè)意愿的變化分析及對策研究[J].中國商論，2021（08）：187-189.

[2]黃宇飛.大學生就業(yè)現狀及對策研究[J].青年與社會，2020（17）：130-131.

[3]馬曉超.“互聯網+”時代高校人才招聘新思考[J].科技經濟導刊，2020，28（24）：163-164.