基于大數(shù)據(jù)的在線就業(yè)課程推薦系統(tǒng)

陳永康　章美仁

摘要：針對目前在線教育與網(wǎng)絡(luò)招聘的發(fā)展情況，通過對現(xiàn)有平臺(tái)運(yùn)營模式的分析研究，提出構(gòu)建基于大數(shù)據(jù)的在線就業(yè)課程推薦系統(tǒng)。本文詳細(xì)闡述了在大數(shù)據(jù)時(shí)代通過數(shù)據(jù)分析將在線教育與網(wǎng)絡(luò)招聘融合發(fā)展的前景及必要性，最后通過實(shí)驗(yàn)，運(yùn)用Apriori算法和協(xié)同過濾算法對真實(shí)的在線學(xué)習(xí)數(shù)據(jù)，網(wǎng)絡(luò)招聘數(shù)據(jù)以及個(gè)人信息進(jìn)行關(guān)聯(lián)規(guī)則挖掘，提供個(gè)性化課程崗位推薦，得出在大數(shù)據(jù)背景下在線教育與網(wǎng)絡(luò)招聘融合發(fā)展是未來準(zhǔn)確方向的結(jié)論。

關(guān)鍵詞：大數(shù)據(jù)；在線教育；網(wǎng)絡(luò)招聘；推薦系統(tǒng)；融合發(fā)展

引言

隨著互聯(lián)網(wǎng)的快速發(fā)展，在線教育與網(wǎng)絡(luò)招聘隨之崛起，人們的學(xué)習(xí)模式和求職招聘方式得到了深刻的改變。

在線教育的出現(xiàn)使“教”與“學(xué)”得以在不同的時(shí)空進(jìn)行，打破了時(shí)間和空間的阻隔，大大便捷了教學(xué)的進(jìn)行。網(wǎng)絡(luò)資源的可共享性使得眾多稀缺、珍貴、高質(zhì)量的教學(xué)資源得以廣泛廉價(jià)地傳播，有效緩解了不同地區(qū)教育資源不公平的情況，促進(jìn)了教育的公平性。同時(shí)，在教與學(xué)的過程中，用戶的在線學(xué)習(xí)，經(jīng)過線上學(xué)習(xí)規(guī)劃，名師視頻學(xué)習(xí)，線上習(xí)題測試，學(xué)習(xí)論壇討論等在線學(xué)習(xí)行為，產(chǎn)生了海量的學(xué)習(xí)數(shù)據(jù)。這些數(shù)據(jù)對線上教學(xué)的進(jìn)一步優(yōu)化有十分重要的意義。

網(wǎng)絡(luò)招聘從興起到發(fā)展的十幾年中憑借其速度快、成本低、招聘范圍廣、無地域限制、高效便捷等優(yōu)勢快速占領(lǐng)傳統(tǒng)招聘市場。傳統(tǒng)的求職就業(yè)模式在互聯(lián)網(wǎng)發(fā)展的沖擊下被迫轉(zhuǎn)型甚至逐漸消亡。據(jù)艾瑞咨詢統(tǒng)計(jì)顯示：從2014Q1到2015Q4，企業(yè)通過城市公共就業(yè)服務(wù)機(jī)構(gòu)進(jìn)行招聘的崗位越來越少，2015Q1同比減少14.9%，全年總?cè)藬?shù)減少9.7%；通過公共就業(yè)服務(wù)機(jī)構(gòu)進(jìn)行求職的求職者人數(shù)也在不斷下降，2015Q1同比減少144%，全年總?cè)藬?shù)減少7.6%。艾瑞分析認(rèn)為，在互聯(lián)網(wǎng)大環(huán)境下，傳統(tǒng)招聘模式覆蓋率低、效率差、成本高的弊端逐漸顯現(xiàn)，同時(shí)隨著互聯(lián)網(wǎng)對各個(gè)行業(yè)的滲透，傳統(tǒng)行業(yè)也傾向采用互聯(lián)網(wǎng)招聘的方式。傳統(tǒng)招聘規(guī)模下降顯而易見。

然而隨著大數(shù)據(jù)時(shí)代的到來，持續(xù)增長的課程資源和職位信息卻為用戶的選擇帶了困擾。用戶面對海量的職位信息與在線課程資源時(shí)往往難以抉擇，不知道所學(xué)或所擁有的技能對應(yīng)哪些熱門就業(yè)崗位，不知道什么崗位適合自己，不知道相關(guān)崗位需要掌握哪些課程知識，不知道哪些課程是優(yōu)質(zhì)資源。

針對這一現(xiàn)象，我們清楚地認(rèn)識到，線上的學(xué)習(xí)就業(yè)與線下的學(xué)習(xí)就業(yè)一樣，具有密切的聯(lián)系，是難以分割，互為因果的整體。而在他們之間存在一個(gè)亟需解決的問題——如何解決課程自主學(xué)習(xí)與職業(yè)選擇之間的關(guān)聯(lián)決策。以大數(shù)據(jù)為技術(shù)背景，通過對現(xiàn)有模式研究，提出只有以用戶個(gè)人能力為鏈接點(diǎn)，將在線教育與網(wǎng)絡(luò)招聘融合發(fā)展，為用戶提供個(gè)性化的從學(xué)習(xí)到就業(yè)一條龍的生態(tài)服務(wù)才是大數(shù)據(jù)時(shí)代規(guī)避數(shù)據(jù)風(fēng)險(xiǎn)，利用數(shù)據(jù)價(jià)值的最好方式。

1、大數(shù)據(jù)驅(qū)動(dòng)下在線學(xué)習(xí)就業(yè)融合發(fā)展

分析當(dāng)下在線教育與網(wǎng)絡(luò)招聘割裂發(fā)展的現(xiàn)狀，提出“在線教育+數(shù)據(jù)分析+網(wǎng)絡(luò)招聘”的新發(fā)展模式。

以數(shù)據(jù)分析、關(guān)聯(lián)匹配等大數(shù)據(jù)技術(shù)作支持，用戶能力培養(yǎng)為紐帶，將“用戶”、“學(xué)習(xí)資源”、“崗位信息”串聯(lián)貫通，實(shí)現(xiàn)為每一位用戶提供個(gè)性化的學(xué)習(xí)就業(yè)規(guī)劃以及相匹配的學(xué)習(xí)資源和崗位信息。

通過在線學(xué)習(xí)就業(yè)的融合發(fā)展，針對“在校大學(xué)生”、“應(yīng)屆畢業(yè)生”、

“在職人員”三類用戶群體個(gè)人能力培養(yǎng)的不同訴求設(shè)計(jì)了五條用戶數(shù)據(jù)分析和資源提供的流程。

1）專業(yè)——能力——在線課程

2）在線課程——能力——崗位

3）崗位——能力——在線課程

4）崗位——公司——能力培養(yǎng)

5）能力——崗位——在線課程

五條推薦模式是網(wǎng)絡(luò)招聘與在線學(xué)習(xí)在大數(shù)據(jù)迅猛發(fā)展的背景下，共享并挖掘彼此的用戶數(shù)據(jù)，通過相關(guān)數(shù)據(jù)挖掘、推薦算法所產(chǎn)生的新的服務(wù)模式，也是在線教育與網(wǎng)絡(luò)招聘利用大數(shù)據(jù)這一技術(shù)在融合發(fā)展之后新的前景。

可以看到，五條新流程都出現(xiàn)了“能力”一詞。能力作為用戶最初與核心訴求，是在線學(xué)習(xí)的最終目的，是網(wǎng)絡(luò)求職的首要條件，自始至終貫穿在學(xué)習(xí)到就業(yè)這一流程之中。將其作為新模式下的核心鏈接點(diǎn)，在分析用戶能力訴求和工作能力的基礎(chǔ)上為用戶推薦課程及崗位，在了解用戶求職取向的基礎(chǔ)上對用戶進(jìn)行能力培養(yǎng)等等緊密相連的服務(wù)模式都可以實(shí)現(xiàn)。而實(shí)現(xiàn)這些新模式的首要條件是在線學(xué)習(xí)與網(wǎng)絡(luò)招聘的融合發(fā)展，充分利用各自的服務(wù)獲取用戶學(xué)習(xí)就業(yè)數(shù)據(jù)并在數(shù)據(jù)分析的基礎(chǔ)上進(jìn)行關(guān)聯(lián)匹配，為彼此的個(gè)性化推薦服務(wù)提供重要依據(jù)。

2、構(gòu)建基于大數(shù)據(jù)的在線就業(yè)課程推薦系統(tǒng)

2.1個(gè)性化推薦技術(shù)

個(gè)性化推薦是推薦系統(tǒng)根據(jù)用戶的個(gè)性化特征，如興趣、愛好、職業(yè)或?qū)I(yè)特點(diǎn)等，主動(dòng)地向用戶推送適合其學(xué)習(xí)需要或可能感興趣的信息資源的一種推薦技術(shù)。隨著用戶的數(shù)據(jù)種類與數(shù)據(jù)量迅速增加，當(dāng)餐飲、娛樂、學(xué)習(xí)、健身等平臺(tái)的數(shù)據(jù)匯集到一起時(shí)，針對單一用戶可提供的個(gè)性化推薦服務(wù)將不單單是割裂的餐飲、學(xué)習(xí)、購物等推薦。如阿里巴巴在云棲大會(huì)上提及的：早年的阿里巴巴，淘寶，支付寶，1688，口碑，天貓等每一個(gè)業(yè)務(wù)板塊都有自己搭建的數(shù)據(jù)平臺(tái)，數(shù)據(jù)共享變得十分困難。一個(gè)統(tǒng)一全部異構(gòu)的技術(shù)平臺(tái)是未來的方向。在這樣的模式下，用戶將會(huì)獲得更全面，更精確，更有效率和價(jià)值的個(gè)性化推薦。而這也是在線教育與網(wǎng)絡(luò)招聘的發(fā)展方向。

此外，通過個(gè)性化推薦技術(shù)，用戶在工作、學(xué)習(xí)、出游等生活活動(dòng)上的經(jīng)驗(yàn)也會(huì)被推薦給有需求的用戶。通過對所有用戶數(shù)據(jù)的分析獲得用戶畫像，找到并推薦與目標(biāo)用戶具有相似興趣偏好的用戶或相關(guān)的信息資源。以此來滿足用戶對于信息資源的個(gè)性化需求。

2.2Apriori算法

Apriori算法的經(jīng)典實(shí)例便是“尿布與啤酒”。通過對商品購買情況的記錄和分析，幫助商家對用戶的購買習(xí)慣有一個(gè)更深入的了解，從而制定出更優(yōu)的銷售策略。

Apriori算法的基本原理是先從數(shù)據(jù)集中獲得頻繁項(xiàng)集，即將常常共同出現(xiàn)的物品集合作為一個(gè)項(xiàng)集，并獲得該項(xiàng)集對應(yīng)記錄出現(xiàn)的次數(shù)。將該值除以數(shù)據(jù)記錄的總和以求得項(xiàng)集支持度，進(jìn)一步通過與項(xiàng)集中元素的支持度作比獲得可信度或置信度。支持度與可信度是將某一項(xiàng)集的關(guān)聯(lián)分析量化，為判斷分析成功與否提供了重要的判斷依據(jù)。

2.3協(xié)同過濾算法

個(gè)性化推薦技術(shù)能克服傳統(tǒng)資源檢索方式的缺陷，其中，協(xié)同過濾推薦技術(shù)是一種應(yīng)用最為廣泛的個(gè)性化推薦技術(shù)。協(xié)同過濾算法通過對用戶視頻學(xué)習(xí)、線上作答、社區(qū)討論、求職簡歷、工作履歷、課程選擇等數(shù)據(jù)集的挖掘分析后為每一位用戶形成一個(gè)用戶畫像，在此基礎(chǔ)上將不同用戶畫像進(jìn)行對比分析，進(jìn)一步為目標(biāo)用戶尋找到與其興趣愛好、學(xué)習(xí)情況等最為相近的用戶集，將他們所關(guān)注的項(xiàng)推薦給目標(biāo)用戶。

協(xié)同過濾算法實(shí)現(xiàn)主要分為數(shù)據(jù)的表示、最近鄰居集的匹配以及top-N數(shù)據(jù)集的推薦。其基本原理首先對一個(gè)歷史數(shù)據(jù)集進(jìn)行數(shù)據(jù)分析，通過一張i*j的表格呈現(xiàn)歷史數(shù)據(jù)，i和i分別代表用戶和與用戶相關(guān)的興趣項(xiàng)。例如：在獲取的海量的用戶學(xué)習(xí)到就業(yè)的一系列數(shù)據(jù)中，用戶的視頻學(xué)習(xí)、測驗(yàn)成績、工作經(jīng)歷都會(huì)被量化作為i中的數(shù)據(jù)項(xiàng)。當(dāng)一個(gè)新的數(shù)據(jù)集出現(xiàn)的時(shí)候，就可以通過協(xié)同過濾算法進(jìn)行鄰居匹配，為當(dāng)前數(shù)據(jù)集找到“最近鄰居”集。并通過余弦相似性和相關(guān)相似性度量鄰居集與目標(biāo)用戶的相似程度，最后根據(jù)鄰居集的數(shù)據(jù)特稱對當(dāng)前數(shù)據(jù)集進(jìn)行課程或崗位等其它興趣項(xiàng)推薦。

2.4算法及個(gè)性化推薦的實(shí)現(xiàn)

在“在線學(xué)習(xí)+數(shù)據(jù)分析+網(wǎng)絡(luò)招聘”的新模式中，系統(tǒng)采用python語言制作爬蟲，抓取用戶信息，在線課程信息與招聘網(wǎng)職位信息以及與之相關(guān)的評論內(nèi)容。通過Apriori關(guān)聯(lián)算法分析課程與職位之間的關(guān)聯(lián)規(guī)則以及基于就業(yè)技能的課程頻繁項(xiàng)集，使用協(xié)同過濾算法對就業(yè)崗位與在線課程進(jìn)行推薦與決策支持。實(shí)現(xiàn)了根據(jù)用戶自身愛好和特長，幫助用戶選擇符合自身特點(diǎn)的熱門崗位，并對該崗位所需的在線課程進(jìn)行推薦。

通過Apriori算法，以“能力需求”為鏈接點(diǎn)，對“在線課程”“線上崗位”“用戶信息”進(jìn)行頻繁項(xiàng)集分析，獲取“課程一能力”“能力一崗位”“能力一用戶”之間的關(guān)聯(lián)，從而獲得“課程一崗位一用戶”之間關(guān)聯(lián)的頻繁項(xiàng)集。通過測試集數(shù)據(jù)庫對獲得的頻繁項(xiàng)集的檢驗(yàn)，不斷調(diào)整最小支持度獲得最合適的支持度設(shè)定值，并進(jìn)一步計(jì)算出符合要求的項(xiàng)集的可信度。在此基礎(chǔ)上，當(dāng)目標(biāo)用戶選擇某一課程或某一崗位時(shí)就會(huì)在系統(tǒng)中出現(xiàn)“尿布與啤酒”的效果。一方面用戶的課程學(xué)習(xí)與崗位選擇聯(lián)系在了一起，另一方面則有益于在線教育與網(wǎng)絡(luò)招聘的發(fā)展。

協(xié)同過濾算法的實(shí)現(xiàn)則主要集中在對用戶數(shù)據(jù)集的分析，通過協(xié)同過濾算法挖掘分析所有和某一用戶相關(guān)的學(xué)習(xí)、就業(yè)、興趣愛好等數(shù)據(jù)，為所有用戶形成唯一的用戶畫像，并以時(shí)間軸的方式呈現(xiàn)用戶的學(xué)習(xí)就業(yè)歷程。當(dāng)目標(biāo)用戶在系統(tǒng)中輸入自己的相關(guān)特征時(shí)，系統(tǒng)通過收集該用戶的相關(guān)信息進(jìn)行協(xié)同過濾算法分析，為其獲得最優(yōu)鄰居的相關(guān)數(shù)據(jù)并進(jìn)一步根據(jù)這個(gè)結(jié)果進(jìn)行崗位和學(xué)習(xí)資源的推薦。

3、結(jié)束語

當(dāng)下，用戶面對的不再單單是資源匱乏的問題，更迫切的需求是幫助他們在海量的資源中做出選擇。

在線教育與網(wǎng)絡(luò)招聘平臺(tái)都已經(jīng)發(fā)展到了一個(gè)至關(guān)重要的環(huán)節(jié)。在這個(gè)環(huán)節(jié)，曾經(jīng)匱乏的在線課程和職位或是求職信息都不再是問題的關(guān)鍵，如何在海量的信息資源中高效地篩選出高質(zhì)量、高精度、個(gè)性化的信息資源推薦給用戶成為各平臺(tái)無法逃避的問題。

然而，想要解決這一問題單將目光局限在各自平臺(tái)上的數(shù)據(jù)是難以實(shí)現(xiàn)的。用戶的學(xué)習(xí)和就業(yè)是緊密相連、互為因果的過程。只有在線教育明確了用戶的求職目標(biāo)、工作歷程才能更好地提供課程推薦服務(wù)，也只有網(wǎng)絡(luò)招聘在清楚了用戶的學(xué)習(xí)過程、學(xué)習(xí)能力才能提供更合適的崗位。