基于大數(shù)據(jù)的就業(yè)服務(wù)系統(tǒng)

忻桓辰 張書娟 李建敦 王祥祥 李剛 吳與同 朱星穎

【摘要】近年來，由于大學(xué)畢業(yè)生數(shù)量的增加以及勞動(dòng)力市場(chǎng)的結(jié)構(gòu)性失衡，隨之而來就是就業(yè)難的問題，即當(dāng)前設(shè)置崗位的數(shù)量滿足不了如此規(guī)模的畢業(yè)生的就業(yè)需求。其原因是相當(dāng)多的畢業(yè)生未能對(duì)口工作，導(dǎo)致一些崗位無人問津，而另一些崗位供不應(yīng)求。因此，在畢業(yè)季，往往對(duì)就業(yè)工作造成巨大壓力。鑒于此，本文通過分析當(dāng)今社會(huì)的職位需求，優(yōu)化就業(yè)體系，建立一個(gè)合理、科學(xué)的就業(yè)服務(wù)系統(tǒng)，對(duì)于高校的教育工作發(fā)展有著積極的意義。

【關(guān)鍵詞】就業(yè)服務(wù)系統(tǒng) 高校就業(yè)系統(tǒng) 大數(shù)據(jù)分析

一、引吾

我國在實(shí)行教育改革之后，高校大規(guī)模擴(kuò)招，使得大學(xué)生的數(shù)量從2001年的114萬陡然提升至2018年的820萬，再創(chuàng)近10年畢業(yè)生人數(shù)新高值。雖然近十幾年擴(kuò)招為國家培養(yǎng)出了更多的大學(xué)生的，但由于諸多原因，也導(dǎo)致了畢業(yè)生出現(xiàn)有業(yè)不就，或慢就業(yè)的現(xiàn)象不斷加劇。高校專業(yè)重復(fù)設(shè)置，專業(yè)設(shè)置沒有充分調(diào)研社會(huì)需求，加劇了結(jié)構(gòu)性的就業(yè)難問題，表現(xiàn)為部分專業(yè)供過于求，部分專業(yè)供不應(yīng)求，部分專業(yè)畢業(yè)生對(duì)未來比較迷茫、職業(yè)規(guī)劃不清晰等。

根據(jù)數(shù)據(jù)調(diào)查，被調(diào)查人群中有超過21%的大學(xué)生找工作相對(duì)困難，平均求職過程超過5個(gè)月;只有大約35%的大學(xué)生求職非常順利，平均求職時(shí)間為2個(gè)月。并且求職難人群的平均心理薪資要比求職順利者的平均薪資要低1000元左右。

而在求職期間投遞簡(jiǎn)歷的數(shù)量方面，超過55%的學(xué)生投遞簡(jiǎn)歷數(shù)量在10-30份之間，更有23%的學(xué)生投遞了30-50份簡(jiǎn)歷才找到工作。這兩個(gè)數(shù)字與求職時(shí)長成相應(yīng)趨勢(shì)，反映了就業(yè)難人群的構(gòu)成比例。

相比學(xué)校而言，專業(yè)給就業(yè)大學(xué)生群體造成的壓力更為巨大，在我國高校目前數(shù)百個(gè)專業(yè)中，調(diào)查顯示最難就業(yè)的專業(yè)前五分別為：歷史學(xué)、經(jīng)濟(jì)學(xué)、土木工程、美術(shù)學(xué)以及工商管理;而綠牌專業(yè)前五位則為：計(jì)算機(jī)類、交通運(yùn)輸類、電氣與自動(dòng)化類、中國語言文學(xué)以及食品科學(xué)與工程類。

現(xiàn)在大學(xué)生的就業(yè)問題已經(jīng)成為社會(huì)的熱點(diǎn)問題，大學(xué)生作為國家的優(yōu)質(zhì)人力資源，對(duì)大學(xué)生的就業(yè)問題妥善解決不僅有助社會(huì)的安定，更有助于我國經(jīng)濟(jì)的持續(xù)發(fā)展。

二、系統(tǒng)方案

2.1問題分析

分析上述應(yīng)屆生就業(yè)問題后，得出問題的根本是學(xué)生沒有做充分的職業(yè)規(guī)劃以及學(xué)生對(duì)規(guī)劃職業(yè)的認(rèn)知度不夠，導(dǎo)致畢業(yè)后不知道自己能干什么而海投簡(jiǎn)歷，或者職位需要的技能自己不能滿足，面試被拒。所以我們想到做一個(gè)系統(tǒng)幫助學(xué)生去歸納總結(jié)專業(yè)對(duì)應(yīng)的職業(yè)，以及職業(yè)的能力需求，以供學(xué)生參考借鑒。

2.2系統(tǒng)方案

本系統(tǒng)通過網(wǎng)絡(luò)爬蟲技術(shù)從互聯(lián)網(wǎng)招聘網(wǎng)站中獲取社會(huì)求職信息，信息包括薪資，證書要求，學(xué)歷要求，職位技能要求等。通過對(duì)清理過后信息的統(tǒng)計(jì)分析、以及對(duì)技能關(guān)鍵字的分析，得出一個(gè)就業(yè)概況，以可視化的形式展示給學(xué)生。當(dāng)然如果只是自顧自的分析互聯(lián)網(wǎng)數(shù)據(jù)并沒有意義，系統(tǒng)也考慮到學(xué)生自身的情況，通過系統(tǒng)的導(dǎo)入本地?cái)?shù)據(jù)、問卷調(diào)查功能，可以讓學(xué)生把自身和崗位做直接的對(duì)比。

三、相關(guān)技術(shù)

3.1 HttpClient

HttpChent是Apache Jakarta Common下的子項(xiàng)目，用來提供高效的、最新的、功能豐富的支持HTTP協(xié)議的客戶端編程工具包，并且它支持HTTP協(xié)議最新的版本和建議。它提供了四個(gè)核心功能：

1）實(shí)現(xiàn)了所有HTTP的方法

2）支持自動(dòng)轉(zhuǎn)向

3）支持HTTPS協(xié)議

4）支持代理服務(wù)器等

HttpClient可以通過虛擬登陸、發(fā)送模擬請(qǐng)求實(shí)現(xiàn)網(wǎng)絡(luò)爬蟲功能，其優(yōu)點(diǎn)有：

1）Api全面：HttpClient對(duì)Http的請(qǐng)求方法（GET，POST，PUT，DELETE）做了完整的封裝，對(duì)模擬登陸時(shí)用到的Session自動(dòng)管理，降低了開發(fā)成本。

2）兼容性：HttpChent是基于JAVA語言開發(fā)，可以很好的融入JAVA的開發(fā)生態(tài)環(huán)境，如可以用jsoup對(duì)獲取的超文本進(jìn)行解析、配合keep-alive使用減少TCP握手開銷。

3）線程安全性：HttpChent是線程安全的，程序中不用擔(dān)心多并發(fā)引起的異常。

4）靈活性：HttpClient支持自定義請(qǐng)求頭、指定請(qǐng)求IP功能。對(duì)爬蟲開發(fā)提供了很大的便利。

3.2 Echarts

Echarts是由百度開源團(tuán)隊(duì)開發(fā)的前端數(shù)據(jù)展示框架，他提供大量的圖表樣式以及生態(tài)支持（如官方論壇、Google地圖等），使用JsON格式承接和解析數(shù)據(jù)。他有如下優(yōu)點(diǎn)：

1）兼容性：Echarts是使用Js開發(fā)的前端開源框架，可以整合到React、Vue等主流前端框架。

2）易用性：Echarts使用JsON格式來裝載數(shù)據(jù)，在JAVA開發(fā)環(huán)境中可以使用fastjson、GSON等開源工具進(jìn)行對(duì)象序列化。

3）全面：Echarts提供了相當(dāng)多的圖表格式，使用戶可以從不同角度展示數(shù)據(jù)。

3.3 Spring

Spring是J2EE開發(fā)的流行框架，一開始它主要解決了開發(fā)過程中的高耦合問題。隨著版本的更新，其基于MVC開發(fā)的SpringMVC框架、為了減少開發(fā)成本的Springboot、云服務(wù)SpringCloud都在一點(diǎn)點(diǎn)完善J2EE的開發(fā)生態(tài)。

四、基于大數(shù)據(jù)的就業(yè)服務(wù)系統(tǒng)設(shè)計(jì)

基于當(dāng)前就業(yè)難的問題，本文基于大數(shù)據(jù)設(shè)計(jì)就業(yè)服務(wù)系統(tǒng)，提出了系統(tǒng)的系統(tǒng)框架。

4.1大學(xué)生就業(yè)方向數(shù)據(jù)統(tǒng)計(jì)系統(tǒng)的整體架構(gòu)如圖1所示，各層的定位為：

1）OS：選擇Linux為服務(wù)器系統(tǒng)，搭配engix和keep-alive可以避免服務(wù)器以外宕機(jī)。

2）Mysql：系統(tǒng)使用Mysql作為數(shù)據(jù)庫，本數(shù)據(jù)庫相比于oracle是一個(gè)小型的關(guān)系型數(shù)據(jù)庫，提供大量數(shù)據(jù)類型，并且對(duì)JAVA提供了數(shù)據(jù)庫驅(qū)動(dòng)。

3）Redis：處于MySQL前，做高速緩存。它是一個(gè)key-value存儲(chǔ)系統(tǒng)，主要用于降低數(shù)據(jù)庫Io。主要原理是把常用查詢數(shù)據(jù)存儲(chǔ)在內(nèi)存中，加快客戶的讀取速度的同時(shí)，減少數(shù)據(jù)庫的訪問次數(shù)。

4）Web服務(wù)：本系統(tǒng)是基于J2EE編寫的，所以Web服務(wù)層也使用了三層框架，分別是表現(xiàn)層，業(yè)務(wù)邏輯層和數(shù)據(jù)持久層。本系統(tǒng)中表現(xiàn)層和業(yè)務(wù)邏輯層的交互使用Spring MVC框架實(shí)現(xiàn)，業(yè)務(wù)邏輯層和數(shù)據(jù)持久層之間使用Mybatis實(shí)現(xiàn)，用Spring框架控制反轉(zhuǎn)，實(shí)現(xiàn)多個(gè)框架的整合。服務(wù)的核心是兩個(gè)功能，一是獲取到表現(xiàn)層所需要查詢的參數(shù)，然后據(jù)此到數(shù)據(jù)庫中獲取到相應(yīng)的數(shù)據(jù)，經(jīng)過處理后把數(shù)據(jù)返回前端，用Echarts等給用戶一個(gè)體驗(yàn)良好的結(jié)果;二是通過httpclient爬數(shù)據(jù)，清洗后存到數(shù)據(jù)庫，該操作所需處理時(shí)間較長，所以在空閑時(shí)間定期執(zhí)行。

5）WebUI：系統(tǒng)會(huì)以Jsp的響應(yīng)頁面和用戶實(shí)現(xiàn)交互，并以Echarts生成可視化框架。

4.2數(shù)據(jù)的獲取流程如圖2所示，其中各個(gè)環(huán)節(jié)的功能和作用如下：

1）數(shù)據(jù)采集：使用httpclient從互聯(lián)網(wǎng)上獲取崗位相關(guān)的超文本格式數(shù)據(jù)（hreal），將原始數(shù)據(jù)存人數(shù)據(jù)庫中。

2）數(shù)據(jù)規(guī)范化：由于渠道不同，每種數(shù)據(jù)的格式都不同，這樣對(duì)后續(xù)的數(shù)據(jù)批量分析有著很大障礙，所以需要在獲取數(shù)據(jù)之后要第一時(shí)間對(duì)數(shù)據(jù)進(jìn)行規(guī)范化，讓其實(shí)現(xiàn)本系統(tǒng)所規(guī)定的統(tǒng)一接口。

3）數(shù)據(jù)清理：數(shù)據(jù)預(yù)處理，對(duì)把一些值不全的或冗余數(shù)據(jù)剔除，比如工資過低、需求非應(yīng)屆生等，保證存人數(shù)據(jù)庫中的數(shù)據(jù)為皆為有價(jià)值的。

4）數(shù)據(jù)存儲(chǔ)：把數(shù)據(jù)格式化并且清理之后獲得到的vojo對(duì)象通過FastJson序列化成JsON格式字符串存入數(shù)據(jù)庫中。

4.3數(shù)據(jù)的訪問流程如圖2所示，服務(wù)器接收到查詢某一專業(yè)的請(qǐng)求之后回去Redis緩存中查看時(shí)候已經(jīng)存在，如果存在則直接返回Redis中的Json字符串由前端js解析。否則在數(shù)據(jù)庫中查詢出該專業(yè)的所有信息，并存入Redis。

五、基于大數(shù)據(jù)的就業(yè)服務(wù)系統(tǒng)的實(shí)現(xiàn)

系統(tǒng)主要在一臺(tái)裝載64位Centos操作系統(tǒng)的Tomcat 9.13服務(wù)器上運(yùn)行，服務(wù)器上安裝了engix來保證訪問的負(fù)載均衡。服務(wù)器配置如下：

系統(tǒng)采用定時(shí)器，定時(shí)從互聯(lián)網(wǎng)上采集近3萬條招聘信息，定時(shí)器會(huì)過濾過早的數(shù)據(jù)，以避免影響數(shù)據(jù)的準(zhǔn)確性。系統(tǒng)一共提供8種數(shù)據(jù)展示模型

通過8個(gè)學(xué)生較為關(guān)注的模型，可以讓學(xué)生較早的認(rèn)識(shí)自己未來想從事的職業(yè)，盡早的為自己做完善的職業(yè)規(guī)劃，達(dá)到了本次研究的目的。

六、系統(tǒng)展望

6.1廣度拓寬

由于專業(yè)和職業(yè)的對(duì)應(yīng)關(guān)系并非絕對(duì)，所以系統(tǒng)現(xiàn)在只是對(duì)特定的專業(yè)（軟件工程、物聯(lián)網(wǎng)工程、計(jì)算機(jī)工程）做了分析。但是系統(tǒng)的本意就是改善這種非絕對(duì)關(guān)系，我們認(rèn)為專業(yè)所學(xué)必然有特定職業(yè)可以用到，而不是大學(xué)中學(xué)到的東西不能用到職業(yè)生涯中。系統(tǒng)未來可以和相關(guān)企業(yè)以及學(xué)校專業(yè)學(xué)院合作，提供更多面的數(shù)據(jù)。

6_2深度拓寬

系統(tǒng)現(xiàn)數(shù)據(jù)的來源只有互聯(lián)網(wǎng)，雖然數(shù)量充足，但是無法完全保證數(shù)據(jù)的準(zhǔn)確性。而且如果只參考招聘信息得到的技能要求、薪資要求是片面的，因?yàn)槿寺毢笞龅暮驼衅感畔⑸蠈懙囊膊⒎峭耆恢?，所以系統(tǒng)打算和職業(yè)崗位上的從業(yè)人員交流、并在系統(tǒng)上開啟一個(gè)平臺(tái)供專業(yè)人員提供更可靠的數(shù)據(jù)。

6.3更注重學(xué)生自身

設(shè)計(jì)系統(tǒng)的目的是解決學(xué)生就業(yè)難的問題，所以注重學(xué)生自身的情況是系統(tǒng)成功的關(guān)鍵?，F(xiàn)在系統(tǒng)只是提供了調(diào)查問卷來了解學(xué)生自身的情況，而我問你答的問卷式調(diào)查并不能完全反應(yīng)學(xué)生的現(xiàn)實(shí)狀況。系統(tǒng)未來希望提供一個(gè)平臺(tái)讓對(duì)職業(yè)生涯迷茫的同學(xué)可以直接和已經(jīng)畢業(yè)的同專業(yè)學(xué)長直接溝通，獲取寶貴意見。

七.總結(jié)

大學(xué)生就業(yè)提升是政府、高校、企業(yè)、大學(xué)生群體共同的責(zé)任，該就業(yè)分析系統(tǒng)以大學(xué)生為本位觀察現(xiàn)實(shí)境遇，通過大量數(shù)據(jù)支持，分析問題出現(xiàn)的深層原因。

大學(xué)生就業(yè)率的提升不但是學(xué)術(shù)增長任務(wù)的完成，而且是通過數(shù)據(jù)監(jiān)測(cè)，完成就業(yè)質(zhì)量與勞動(dòng)力市場(chǎng)的適應(yīng)，與市場(chǎng)需求、教育規(guī)律具有方向性上的一致，順應(yīng)社會(huì)知識(shí)化、信息網(wǎng)絡(luò)化、學(xué)習(xí)社會(huì)化的形勢(shì)。

雖然大學(xué)生的擇業(yè)觀念在總體上是傾向于實(shí)物化與理性化，但由于初入社會(huì)，擇業(yè)觀念尚在轉(zhuǎn)化，存在著眾多的不良觀念。部分大學(xué)生在擇業(yè)標(biāo)準(zhǔn)中將工作條件、收入等眼前實(shí)在利益放在首位，而對(duì)自我的職業(yè)興趣、能力、職業(yè)的發(fā)展前景等因素置之不理，因而極易選擇到不適合自己的職業(yè)。

本系統(tǒng)通過對(duì)當(dāng)代大學(xué)生就業(yè)問題進(jìn)行理性化的分析，得出大學(xué)生就業(yè)主要存在對(duì)自身就業(yè)能力要求過高、缺乏經(jīng)驗(yàn)與規(guī)劃目標(biāo)。同時(shí)面對(duì)心理問題時(shí)，難以端正自己的心態(tài)。

因此，未來還應(yīng)進(jìn)一步加強(qiáng)對(duì)當(dāng)代大學(xué)生就業(yè)問題的研究，進(jìn)而促進(jìn)大學(xué)生順利就業(yè)。