基于大數(shù)據(jù)的高校畢業(yè)生就業(yè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

陸一鳴 李雪竹

【摘 要】當(dāng)今時(shí)代高等學(xué)校畢業(yè)生日趨增多，崗位需求增長(zhǎng)緩慢，就業(yè)難度逐漸增加，同時(shí)高校應(yīng)往屆畢業(yè)生在所學(xué)專(zhuān)業(yè)和社會(huì)需求卻并不對(duì)稱(chēng)，存在一定的錯(cuò)位現(xiàn)象。在此背景下，以大數(shù)據(jù)分析為主基礎(chǔ)，通過(guò)對(duì)于畢業(yè)生就業(yè)各種方向的分析，設(shè)計(jì)實(shí)現(xiàn)一種較為全面的高校畢業(yè)生就業(yè)系統(tǒng)。系統(tǒng)主要以高校畢業(yè)生的需求分析和就業(yè)實(shí)際情況分析尋找相通處，并通過(guò)算法工具就行研究，增強(qiáng)對(duì)高校應(yīng)往屆畢業(yè)生在就業(yè)領(lǐng)域上的指導(dǎo)作用。

【關(guān)鍵詞】數(shù)據(jù)處理分析;算法設(shè)計(jì);就業(yè)領(lǐng)域

一、引言

近大部分高校應(yīng)屆畢業(yè)生更傾向較為發(fā)達(dá)城市的工作崗位，逐步使這些城市的人才趨于一個(gè)飽和的狀態(tài)，導(dǎo)致部分地區(qū)城市的崗位富余且沒(méi)有畢業(yè)生去應(yīng)聘。在外工作數(shù)年后，有部分學(xué)生有返鄉(xiāng)打算并付諸行動(dòng)，使其與應(yīng)屆畢業(yè)生就業(yè)相碰撞，造成就業(yè)壓力的加大。同時(shí)，目前部分選擇先就業(yè)再擇業(yè)，跨所學(xué)專(zhuān)業(yè)的就業(yè)和對(duì)相應(yīng)工作的不了解，造成了一定程度的人力資源浪費(fèi)。從目前來(lái)看，傳統(tǒng)的就業(yè)理念不足以支撐現(xiàn)如今的就業(yè)形勢(shì)。如何更好的就業(yè)，是否了解相關(guān)的就業(yè)形勢(shì)，不同等級(jí)的院校畢業(yè)生情況等方向成了現(xiàn)如今研究的重中之重。高校畢業(yè)生就業(yè)系統(tǒng)從畢業(yè)生數(shù)據(jù)挖掘分析和社會(huì)需求同職業(yè)影響力相關(guān)聯(lián)，找尋一個(gè)新的突破口。畢業(yè)生的實(shí)際工作生活狀況和預(yù)想的狀況的對(duì)比、數(shù)年后是否返鄉(xiāng)就業(yè)則是最大的變化?，F(xiàn)如今的就業(yè)系統(tǒng)大多以單位給出需求為主，無(wú)法實(shí)現(xiàn)智能化的就業(yè)選擇，同時(shí)如何在保證用戶(hù)的信息安全的狀況下為用戶(hù)提供最好的就業(yè)方向成了最為重要的技術(shù)難題。針對(duì)以上的問(wèn)題，本文將在大數(shù)據(jù)分析下設(shè)計(jì)一種全新的高校畢業(yè)生就業(yè)的初步系統(tǒng)。

二、功能需求

系統(tǒng)以畢業(yè)生、用人單位、高校以及各地政府為主要方面。分別從就業(yè)意向、實(shí)際就業(yè)、就業(yè)同生活環(huán)境、就業(yè)率以及公務(wù)員、教師和“三支一扶”為主要抓手。其中用人單位、高校、政府為第三方，方便于畢業(yè)生的就業(yè)問(wèn)題的實(shí)現(xiàn)。

（一）畢業(yè)生方面

畢業(yè)生作為系統(tǒng)的核心，通過(guò)用戶(hù)注冊(cè)，并對(duì)其一定的專(zhuān)業(yè)和意向評(píng)估，為畢業(yè)生進(jìn)行用人單位的數(shù)據(jù)篩選。在初選用人單位時(shí)，可通過(guò)客服給予其初篩的用人單位和相似度極高的用人單位一定的了解。進(jìn)行二次篩選時(shí)增加通過(guò)該系統(tǒng)就業(yè)后進(jìn)入用人單位的個(gè)人反饋，增強(qiáng)畢業(yè)生對(duì)該單位的了解。最后向用人單位發(fā)送就業(yè)意向函，直接同用人單位聯(lián)系。用人單位和個(gè)人可選擇線(xiàn)上和線(xiàn)下兩種簽約模式，待合同簽約成功后上傳系統(tǒng)。待就業(yè)半年、一年、三年后填寫(xiě)相應(yīng)的個(gè)人反饋。若為應(yīng)屆畢業(yè)生，系統(tǒng)反饋其就業(yè)信息給畢業(yè)生所在高校。

（二）用人單位方面

用人單位在系統(tǒng)上注冊(cè)后可發(fā)布相應(yīng)的人才需求并標(biāo)注相關(guān)信息，如：薪資待遇、單位所在地、節(jié)假日安排等。用人單位可以通過(guò)相應(yīng)的人才需要對(duì)有此意向的畢業(yè)生進(jìn)行篩選，同時(shí)與畢業(yè)生進(jìn)行直接的溝通交流。若被畢業(yè)生選中后，同畢業(yè)生進(jìn)行線(xiàn)上或線(xiàn)下的就業(yè)交流，保障就業(yè)生的就業(yè)環(huán)境。同時(shí)為保障畢業(yè)生的基本權(quán)益，產(chǎn)生的就業(yè)協(xié)議會(huì)通過(guò)專(zhuān)業(yè)人員進(jìn)行檢查。

（三）高校方面

系統(tǒng)對(duì)于高校注冊(cè)后開(kāi)設(shè)查看畢業(yè)生就業(yè)方向和就業(yè)單位等權(quán)限，每年高校對(duì)各二級(jí)學(xué)院各專(zhuān)業(yè)的就業(yè)率以及平均薪資和跨專(zhuān)業(yè)人數(shù)進(jìn)行更新，方便高校日后進(jìn)行課程改革。高校對(duì)于畢業(yè)生有就業(yè)指導(dǎo)的意義，指導(dǎo)畢業(yè)生如何去選擇用人單位。同時(shí)為了保障學(xué)生在實(shí)踐和理論上可以完美的結(jié)合，開(kāi)展實(shí)習(xí)實(shí)訓(xùn)，加強(qiáng)實(shí)踐。另一方面，應(yīng)屆畢業(yè)生就業(yè)后半年或者一年后，高校應(yīng)組織相關(guān)人員對(duì)就業(yè)畢業(yè)生進(jìn)行就業(yè)反饋。

（四）各地政府方面

各地政府在系統(tǒng)注冊(cè)后對(duì)其開(kāi)放各不同學(xué)歷的人才數(shù)量和就業(yè)方向等權(quán)限，充分把握本地區(qū)的人才分布情況和所缺人才的方向。同時(shí)增加與高校聯(lián)合培養(yǎng)人才的信息掌控環(huán)節(jié)。

三、數(shù)據(jù)挖掘

數(shù)據(jù)挖掘目前有決策樹(shù)、神經(jīng)網(wǎng)絡(luò)、云模型等，但是各自都有自己的局限性，打破這種局限性，在綜合性能上得到提升，提高數(shù)據(jù)挖掘的效果成了重中之重。

（一）決策樹(shù)方向

以概念學(xué)習(xí)系統(tǒng)為基礎(chǔ)，對(duì)目標(biāo)對(duì)象的特征進(jìn)行判斷和確定，基于不同的特征將數(shù)據(jù)庫(kù)細(xì)分為多個(gè)特征子集，再由此作分枝，將其內(nèi)部的元素一一映射，通過(guò)遞歸的方式，令全部的子集進(jìn)入包含類(lèi)型相同的數(shù)據(jù)，根據(jù)決策樹(shù)的結(jié)果對(duì)數(shù)據(jù)完成分類(lèi)。

（二）神經(jīng)元網(wǎng)絡(luò)方向

神經(jīng)元按照一定規(guī)律排列，形成系統(tǒng)性的神經(jīng)網(wǎng)絡(luò)，使用既定的數(shù)據(jù)處理方式對(duì)數(shù)據(jù)處理，并將分析結(jié)果儲(chǔ)存。本質(zhì)上是在逼近原始數(shù)據(jù)與其特征之間非線(xiàn)性極強(qiáng)的映射關(guān)系。【1】直接使用確定的網(wǎng)絡(luò)分類(lèi)對(duì)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)過(guò)程進(jìn)行跟蹤和描述。

四、數(shù)據(jù)挖掘、數(shù)據(jù)庫(kù)引用與數(shù)據(jù)處理過(guò)程

確定所要挖掘的數(shù)據(jù)，由于無(wú)法保障百分百的準(zhǔn)確性，所以要對(duì)必要數(shù)據(jù)進(jìn)行檢測(cè)。其次就行預(yù)處理并且做數(shù)據(jù)轉(zhuǎn)換，可加深分析同時(shí)轉(zhuǎn)換數(shù)據(jù)為分析模型。隨后提取模式，對(duì)已有的變量進(jìn)行篩選后確定。對(duì)于不同的類(lèi)型，使用方式不同，產(chǎn)生錯(cuò)誤的概率降低。最后通過(guò)實(shí)際驗(yàn)證后構(gòu)建相應(yīng)的模型，明確檢測(cè)的結(jié)果。以實(shí)際需求還對(duì)數(shù)據(jù)庫(kù)進(jìn)行設(shè)計(jì)，實(shí)現(xiàn)耦合度低、聚合性高;伴隨數(shù)據(jù)庫(kù)的數(shù)據(jù)逐漸增加，保證數(shù)據(jù)庫(kù)的穩(wěn)定運(yùn)行;同時(shí)在數(shù)據(jù)庫(kù)系統(tǒng)的數(shù)據(jù)安全性只少有三個(gè)方面：機(jī)密性、完整性、可用性。為保障云數(shù)據(jù)庫(kù)的機(jī)密性，要進(jìn)行數(shù)據(jù)加密或只加密處理而不處理?！?】

用戶(hù)在使用數(shù)據(jù)庫(kù)的時(shí)候各方面產(chǎn)生的問(wèn)題可以解決，系統(tǒng)的各個(gè)功能模塊要相互關(guān)聯(lián)，保持一致性和完整性，并完善數(shù)據(jù)表的設(shè)計(jì)。將數(shù)據(jù)結(jié)構(gòu)分為用戶(hù)層、應(yīng)用層、分析層、存儲(chǔ)計(jì)算層以及數(shù)據(jù)整合層五個(gè)層級(jí)。在數(shù)據(jù)收集環(huán)節(jié)，結(jié)合標(biāo)準(zhǔn)Hadoop開(kāi)源技術(shù)，對(duì)多種數(shù)據(jù)整合，進(jìn)行統(tǒng)一的數(shù)據(jù)采集與匯總。在數(shù)據(jù)存儲(chǔ)計(jì)算環(huán)節(jié)，在底層構(gòu)建結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)混合存儲(chǔ)的數(shù)據(jù)存儲(chǔ)區(qū)，并結(jié)合不同數(shù)據(jù)的特性，按主題進(jìn)行數(shù)據(jù)切割、關(guān)聯(lián)、打包，形成主題數(shù)據(jù)庫(kù)。【3】在數(shù)據(jù)分析環(huán)節(jié)，形成了可量化的分析模型。部分信息存儲(chǔ)的用戶(hù)表設(shè)計(jì)：

并在允許的范圍內(nèi)對(duì)地區(qū)人力資源與社會(huì)保障部分進(jìn)行訪(fǎng)問(wèn)，單獨(dú)構(gòu)建就業(yè)大學(xué)生的模型設(shè)計(jì)，對(duì)就業(yè)大學(xué)生的數(shù)據(jù)處理，對(duì)省內(nèi)大學(xué)生和省外大學(xué)生的遷移的數(shù)據(jù)進(jìn)行流程分析。主要以模型設(shè)計(jì)、數(shù)據(jù)處理流程分析、數(shù)據(jù)庫(kù)表設(shè)計(jì)為主要方面。其中使用Haddop根據(jù)定義好的map和reduce，進(jìn)行正則匹配，匹配成功則把結(jié)果通過(guò)reduce聚合起來(lái)返回，Hadoop把程序分布到N個(gè)結(jié)點(diǎn)并行操作?！?】以其中map階段的輸入數(shù)據(jù)處理（Mapper）的部分代碼為例實(shí)現(xiàn)：

Public static class TokenizerMapper extends Reducer<Text，InWritable，Text，InWritable>

{private final static InWritable one = new InWriter（1）;

Private Text word = new Text（）;

Public void map（Object key，Textvalue，Context，Context context）throws IOException，InterruptedException{

StringTokenizeritr = new StringTokenizer（value.toString（））;

While.set（itr.hasMoreTokens（））{

word.set（itr.nextToken（））;

context.writer（word.one）;}}

}

關(guān)于數(shù)據(jù)去重方面，主要將大文件分割成多個(gè)小文件，依次遍歷每個(gè)小文件，讀取其中存儲(chǔ)的字符，構(gòu)建Trie樹(shù)，并在每個(gè)終止節(jié)點(diǎn)記錄改結(jié)點(diǎn)代表的字符串。

在海量數(shù)據(jù)集中進(jìn)行篩選時(shí)，找到相應(yīng)的數(shù)據(jù)是系統(tǒng)的重中之重。所以使用Bloom Filter和hash函數(shù)。以存在性判定為例，依次遍歷每個(gè)大文件中每條數(shù)據(jù)，遍歷每條數(shù)據(jù)時(shí)，都將它插入Bloom Filter，如果已經(jīng)存在，在另外的集合A中記錄，如果不存在，則插入Bloom Filter，最后所得的集合A進(jìn)行導(dǎo)出，即為所要查找到的集合。

五、結(jié)語(yǔ)

本文設(shè)計(jì)開(kāi)發(fā)的高校畢業(yè)生就業(yè)系統(tǒng)，主要依附于大數(shù)據(jù)的數(shù)據(jù)處理，通過(guò)數(shù)據(jù)的處理篩選，為高校的應(yīng)往屆畢業(yè)生提供就業(yè)指導(dǎo)方案，便于用戶(hù)使用。此外，相較于傳統(tǒng)的高校就業(yè)系統(tǒng)，添加了高校和各地政府的想切合，簽約后向高校進(jìn)行反饋，同時(shí)使本地政府明確當(dāng)?shù)氐娜瞬沤M成。增加了畢業(yè)生的入職反饋用來(lái)當(dāng)做其他畢業(yè)生選擇的參考方向，加強(qiáng)相關(guān)專(zhuān)業(yè)人士對(duì)合約的檢查，保障畢業(yè)生的基本權(quán)益。

【參考文獻(xiàn)】

[1]張蕾，章毅. 大數(shù)據(jù)分析的無(wú)線(xiàn)深度神經(jīng)網(wǎng)絡(luò)方法[J]. 計(jì)算機(jī)研究與發(fā)展， 2016， 01： 68-79.

[2]程學(xué)旗靳小龍，王元卓等.大數(shù)據(jù)系統(tǒng)和分析技術(shù)綜述[J].軟件學(xué)報(bào)，2014.09： 1889-1908.

[3]何培育.基于互聯(lián)網(wǎng)金融的大數(shù)據(jù)應(yīng)用模式及價(jià)值研究[J]. 中國(guó)流通經(jīng)濟(jì)， 2017， 05： 39-46.

[4]劉丁發(fā)，葛雪鋒，鄧春華. Oracl數(shù)據(jù)庫(kù)應(yīng)用與開(kāi)發(fā)實(shí)戰(zhàn)[M]. 上海：上海交通大學(xué)出版社，2017.