大數(shù)據(jù)視域下大學(xué)生就業(yè)創(chuàng)業(yè)平臺的構(gòu)建

宿遷學(xué)院 馬紅麗 咸聰慧 蔣子豪 丁錢建 朱芷嫻

大學(xué)生就業(yè)問題一直飽受社會各界的關(guān)注，近幾年隨著畢業(yè)生數(shù)量的增加，企業(yè)招聘要求的提高，畢業(yè)生的處境越來越窘迫，企業(yè)招聘也越來越困難。為了改善畢業(yè)生就業(yè)難和企業(yè)招聘難的問題，該平臺結(jié)合大數(shù)據(jù)技術(shù)和智能推薦算法，旨在為學(xué)生和企業(yè)提供集精準(zhǔn)職位推薦、精準(zhǔn)人才推薦、創(chuàng)業(yè)指導(dǎo)、就業(yè)指導(dǎo)于一體的服務(wù)模式。實(shí)踐表明，平臺在校企合作的模式下，提供就業(yè)信息，既有利于畢業(yè)生快速精確就業(yè)，也能夠提高企業(yè)招聘的人才對口率，同時還能將畢業(yè)生的市場需求反作用于學(xué)校的招生工作中。

在當(dāng)今時代的大背景下，由于高等教育大眾化、普及化進(jìn)程的加快，我國大學(xué)生的就業(yè)問題也呈現(xiàn)出愈演愈烈的趨勢,已經(jīng)成為目前亟待解決的民生問題。一方面，由于畢業(yè)生數(shù)量的不斷增長致使人才市場供應(yīng)大于需求。另一方面，由于社會經(jīng)濟(jì)的高速發(fā)展，企業(yè)對人才質(zhì)量和類別的需求也在不斷提高和變化，這就在企業(yè)和高校畢業(yè)生之間產(chǎn)生了需求的鴻溝。因此大數(shù)據(jù)視域下大學(xué)生就業(yè)創(chuàng)業(yè)平臺的構(gòu)建十分必要，以學(xué)校為平臺基礎(chǔ)，直接為企業(yè)和畢業(yè)生搭建供求鏈來實(shí)現(xiàn)大學(xué)生精準(zhǔn)就業(yè)具有重要的現(xiàn)實(shí)意義。

本文實(shí)現(xiàn)目標(biāo)是構(gòu)建一個大數(shù)據(jù)技術(shù)和智能推薦算法相結(jié)合的人職雙向推薦平臺，采用“校企合作”的核心內(nèi)推體系，憑借學(xué)校與企業(yè)之間的合作關(guān)系，給予就業(yè)者適當(dāng)?shù)木蜆I(yè)指導(dǎo)及推薦，提高了就業(yè)率以及人才對口率。

1 平臺分析

1.1 構(gòu)建目標(biāo)

在平臺的設(shè)計(jì)過程中考慮到畢業(yè)生用戶、學(xué)校和用人單位三類用戶的不同角色之間的需要的功能，利用信息共享，使各類用戶在系統(tǒng)中的作用發(fā)揮到最大化。

通過對校友信息進(jìn)行選擇提取和智能分析，結(jié)合學(xué)校具體專業(yè)特點(diǎn)，聯(lián)合企業(yè)，即時公開招聘信息，雙向智能地幫助學(xué)生找到心儀的工作，同時助推高校、畢業(yè)生、企業(yè)的深度合作。有以下兩個主要功能：

建立畢業(yè)生用戶畫像，在規(guī)范數(shù)據(jù)標(biāo)準(zhǔn)，同步各業(yè)務(wù)系統(tǒng)中的標(biāo)準(zhǔn)數(shù)據(jù)到中心數(shù)據(jù)庫之后，我們可以通過中心數(shù)據(jù)庫抽取數(shù)據(jù)進(jìn)行挖掘分析?；诋厴I(yè)生的簡歷信息、專業(yè)、興趣愛好以及行為數(shù)據(jù)進(jìn)行分析，構(gòu)建出符合學(xué)生需求的行為模式方法，從而有效的推薦職位給畢業(yè)生，促進(jìn)就業(yè)。

建立個性化智能推薦服務(wù)平臺，系統(tǒng)基于協(xié)同過濾推薦算法實(shí)現(xiàn)人才和職位之間的雙向推薦。人才推薦就是依據(jù)企業(yè)單位具體的招聘需求，給用人單位推薦可能符合要求的專業(yè)人才，促使企業(yè)能夠快速獲取人才資源。職位推薦則是依據(jù)畢業(yè)生個人求職要求，結(jié)合與之相似用戶的就業(yè)信息，給畢業(yè)生推薦可能符合學(xué)生就業(yè)需求的的職位。

1.2 平臺架構(gòu)描述

本平臺通過大數(shù)據(jù)技術(shù)，以校企互助為機(jī)制，以推薦就業(yè)為核心，以解決畢業(yè)生的就業(yè)問題為根本，為用人單位提供一站式招聘服務(wù)，為應(yīng)聘者提供一站式就業(yè)服務(wù)。拓寬學(xué)生的就業(yè)渠道，提升企業(yè)招聘的效率，同時幫助學(xué)校了解當(dāng)前就業(yè)趨勢。

平臺運(yùn)用分層的思想，在持續(xù)、動態(tài)的數(shù)據(jù)基礎(chǔ)上，并結(jié)合前端開發(fā)的需求，設(shè)計(jì)整體的框架，其主要的內(nèi)容和每層之間的邏輯關(guān)系如圖1所示。

圖1 平臺整體架構(gòu)圖

該平臺是以開源分布式框架為基礎(chǔ)的二次開發(fā)，具備實(shí)時處理大數(shù)據(jù)和并行式數(shù)據(jù)處理的能力，具有高并發(fā)性和強(qiáng)壯性。平臺整體架構(gòu)分別包含了數(shù)據(jù)的采集層、挖掘?qū)?、分析層和?yīng)用層。

數(shù)據(jù)采集層是整個系統(tǒng)的基礎(chǔ)，它不僅是大數(shù)據(jù)分析的首要前提也是必要的條件之一。只有平臺擁有了海量的就業(yè)數(shù)據(jù)信息，才能進(jìn)行下一步的挖掘，并分析出數(shù)據(jù)之間某種隱藏的規(guī)律。其中采集的數(shù)據(jù)主要包括往屆畢業(yè)生就業(yè)數(shù)據(jù)和現(xiàn)階段用戶行為數(shù)據(jù)如：操作事件、瀏覽行為、收藏行為、停留時間等操作數(shù)據(jù)。

數(shù)據(jù)挖掘?qū)?，對采集的就業(yè)數(shù)靈活地使用K-Means聚類算法、層次聚類、關(guān)聯(lián)規(guī)則挖掘等算法，從而發(fā)現(xiàn)數(shù)據(jù)之間隱藏的相關(guān)性。

數(shù)據(jù)分析層，將挖掘到的信息處理后進(jìn)行知識化信息描述。

數(shù)據(jù)應(yīng)用層，主要負(fù)責(zé)管理和運(yùn)維數(shù)據(jù)，系統(tǒng)通過數(shù)據(jù)倉庫中的數(shù)據(jù)，分別描繪用戶畫像和職位畫像，并通過相似度計(jì)算進(jìn)行人職匹配。只有匹配率達(dá)到80%，系統(tǒng)才可以為畢業(yè)生用戶可能符合其要求的職位，為企業(yè)提推薦合適的人才。

2 平臺關(guān)鍵技術(shù)

2.1 協(xié)同過濾推薦算法

在線協(xié)同和離線過濾是協(xié)同過濾推薦算法的兩個部分，其中在線協(xié)同是根據(jù)在線的數(shù)據(jù)尋找用戶

協(xié)同過濾推薦算法包括在線的協(xié)同和離線的過濾兩部分。在線協(xié)同，就是通過在線數(shù)據(jù)找到符合用戶偏好的物品，而離線過濾，則是分離出一些沒有價值的數(shù)據(jù)。預(yù)測和推薦是它的主要功能點(diǎn)，算法通過挖掘用戶行為的數(shù)據(jù)來發(fā)現(xiàn)用戶的喜好，再根據(jù)用戶喜好對用戶進(jìn)行分組并向用戶推薦與其偏好相似的物品。

系統(tǒng)基于前期搜集的畢業(yè)生就業(yè)信息的數(shù)據(jù)，建立各類用戶的畫像模型。系統(tǒng)采用基于用戶的協(xié)同過濾和基于物品的協(xié)同過濾對用戶和職位進(jìn)行雙向智能的推薦，基于用戶的協(xié)同過濾主要分為以下兩個步驟：

利用用戶求職意向信息，采用歐幾里德距離評價公式計(jì)算當(dāng)前用戶與其他用戶之間的相似度；

通過用戶之間的相似度數(shù)值，選擇與當(dāng)前用戶相似度最高的用戶，按照他們的偏好向當(dāng)前用戶推薦其可能會感興趣的職位。

2.2 Druid架構(gòu)

Druid架構(gòu)是一個構(gòu)建在大數(shù)據(jù)集之上做實(shí)時統(tǒng)計(jì)分析的開源數(shù)據(jù)存儲系統(tǒng)，每個Druid流程類型都可以獨(dú)立配置和擴(kuò)展，為群集提供最大的靈活性。

Druid集群包含多種節(jié)點(diǎn)類型，包括以下5個節(jié)點(diǎn)：

（1）實(shí)時節(jié)點(diǎn)：主要用來實(shí)時的攝入數(shù)據(jù)，并將實(shí)時數(shù)據(jù)生成Segment文件存儲到DeepStorage中。

（2）歷史節(jié)點(diǎn)：負(fù)責(zé)加載Druid中非實(shí)時窗口內(nèi)且滿足加載規(guī)則的所有歷史數(shù)據(jù)的Segment。

（3）查詢節(jié)點(diǎn)：用于分發(fā)查詢?nèi)蝿?wù)和匯集查詢結(jié)果，并將獲得的結(jié)果返回給用戶。

（4）協(xié)調(diào)節(jié)點(diǎn)：負(fù)責(zé)管理數(shù)據(jù)和歷史節(jié)點(diǎn)的負(fù)載均衡，其中包括新數(shù)據(jù)的加載和過去數(shù)據(jù)的刪除。

（5）索引服務(wù)：包含兩個組件，Overload組件負(fù)責(zé)管理和分發(fā)索引任務(wù)，而MiddleManager則負(fù)責(zé)執(zhí)行索引任務(wù)。

2.3 畫像技術(shù)

用戶畫像技術(shù)的根本其實(shí)是對現(xiàn)實(shí)生活中的用戶進(jìn)行數(shù)據(jù)建模，它從不同的角度，描述并刻畫一個人的形象特點(diǎn)。

平臺運(yùn)用畫像技術(shù)構(gòu)建畢業(yè)生畫像和職位畫像，以下是畢業(yè)生畫像的構(gòu)建步驟：

數(shù)據(jù)收集階段，這一階段主要對基礎(chǔ)數(shù)據(jù)進(jìn)行清洗、降噪、標(biāo)準(zhǔn)化處理并存儲入庫。

行為建模階段，對數(shù)據(jù)進(jìn)行特征提取、確定特征標(biāo)簽權(quán)重、選取特征標(biāo)簽，然后建立興趣標(biāo)簽?zāi)Ｐ汀?/p>

畫像細(xì)化階段，從標(biāo)簽中提取畢業(yè)生的屬性，作為畢業(yè)生的簡單描述，形成一個標(biāo)簽化的人物模型。

3 協(xié)同過濾算法的實(shí)現(xiàn)

以面向畢業(yè)生的求職信息推薦為例，文中將畢業(yè)生的求職信息比作用戶，將企業(yè)單位的崗位比作物品，詳細(xì)步驟如下：

（1）按照系統(tǒng)設(shè)定的特征集（例如：就業(yè)意向城市、工資要求、專業(yè)方向、停留時間等維度）比對職位畫像與畢業(yè)生用戶畫像，計(jì)算得到用戶評估得分表（本文模擬了5個用戶對2個職位的評分），如表1所示。

表1 用戶評估得分表

（2）根據(jù)表格的數(shù)據(jù)作出散列點(diǎn)圖，在圖中，Y軸表示對職位1的評分，X軸表示對職位2的評分，通過用戶的分布情況可以發(fā)現(xiàn)，A、C、D三個用戶距離接近，而用戶E和用戶B則形成了另一個群體，具體如圖2所示。

圖2 用戶評估散列圖

（3）歐式距離n維空間的一般性公式為：

歐幾里得計(jì)算兩個用戶間相似度的公式為：

s的取值范圍為(0,1]，其值越小，用戶相似度越?。黄渲翟酱?，用戶相似度也越大。

根據(jù)歐幾里德公式計(jì)算各用戶在職位信息評價上的歐式距離和相似度，計(jì)算結(jié)果如表2所示。

表2 用戶之間的歐式距離

協(xié)同過濾算法與畫像技術(shù)的結(jié)合，系統(tǒng)實(shí)現(xiàn)了畢業(yè)生和企業(yè)之間的雙向推薦功能最大程度滿足了企業(yè)與畢業(yè)生的需求，取得了較好的效果，如圖3所示。

圖3 就業(yè)智能推薦結(jié)果示意圖

基于歐式距離推薦Python編寫的部分代碼如下：

本文介紹了基于大數(shù)據(jù)技術(shù)和智能推薦算法的大學(xué)生就業(yè)創(chuàng)業(yè)平臺具體設(shè)計(jì)，旨在解決學(xué)生就業(yè)能力和企業(yè)招聘要求不匹配、就業(yè)信息不對稱、專業(yè)與職位匹配度低等問題。平臺利用往屆畢業(yè)生的海量就業(yè)數(shù)據(jù)和校企合作的企業(yè)招聘數(shù)據(jù)，在大數(shù)據(jù)平臺下對其進(jìn)行清洗、挖掘、分析和存儲。構(gòu)建用戶、職位的畫像，使用協(xié)同過濾推薦算法實(shí)現(xiàn)個性化的雙向精準(zhǔn)推薦就業(yè)，進(jìn)一步提高了畢業(yè)生的就業(yè)率和企業(yè)的雇傭效率。平臺的構(gòu)建有不僅有利于企業(yè)和畢業(yè)生個人，它同時也為學(xué)校的學(xué)科建設(shè)、課程安排等方面提供了積極的參考意義。