基于前程無憂招聘信息的數(shù)據(jù)人才需求分析

朱思霖 郭麗清

摘 要：隨著大數(shù)據(jù)時(shí)代的到來，企業(yè)對數(shù)據(jù)人才的需求越來越大。如何成為企業(yè)青睞的數(shù)據(jù)人才，合理規(guī)劃職業(yè)發(fā)展路徑成為所有有志于投身數(shù)據(jù)產(chǎn)業(yè)的人需要思考的問題。該文爬取2019年3月前程無憂網(wǎng)站1萬多條大數(shù)據(jù)相關(guān)的招聘信息，通過分析、挖掘得到如下結(jié)論：大數(shù)據(jù)行業(yè)中技術(shù)類崗位需求量最大，占總量的67.7%;具有3～4年行業(yè)相關(guān)經(jīng)驗(yàn)的本科生最容易找到工作;Hadoop，SQL，Spark，Java，Hive等是從事大數(shù)據(jù)行業(yè)不可或缺的技能利器。此外，使用TF-IDF和TextRank兩種算法對崗位職責(zé)進(jìn)行關(guān)鍵詞提取，排名前3的關(guān)鍵詞均為“數(shù)據(jù)”“經(jīng)驗(yàn)”“能力”，這驗(yàn)證了市場對數(shù)據(jù)分析人才的期望，除了基本技能外，同時(shí)看重是否有“數(shù)據(jù)”意識(shí)，具備相關(guān)行業(yè)經(jīng)驗(yàn)。最后對大數(shù)據(jù)的崗位職責(zé)進(jìn)行了挖掘，進(jìn)而繪制出數(shù)據(jù)科學(xué)行業(yè)的職業(yè)路徑圖譜。

關(guān)鍵詞：數(shù)據(jù)人才;需求分析;技能類職位;關(guān)鍵詞提取;職業(yè)路徑圖譜;數(shù)據(jù)挖掘

中圖分類號：TP391.3文獻(xiàn)標(biāo)識(shí)碼：A文章編號：2095-1302（2019）08-0-05

0 引 言

隨著互聯(lián)網(wǎng)的發(fā)展及物聯(lián)網(wǎng)的普及，行業(yè)應(yīng)用所產(chǎn)生的數(shù)據(jù)呈現(xiàn)爆發(fā)式增長。據(jù)國際數(shù)據(jù)公司IDC發(fā)布的報(bào)道[1]：2018年中國的數(shù)據(jù)量大約為7.6 ZB，而到2025年，這一數(shù)字將增至48.6 ZB，中國的“數(shù)據(jù)圈”將以年均增長30%的速度領(lǐng)跑全球。海量的數(shù)據(jù)蘊(yùn)含著難以估量的價(jià)值，有效合理的數(shù)據(jù)挖掘?qū)⒊蔀橥苿?dòng)經(jīng)濟(jì)發(fā)展的一大動(dòng)力。伴隨著海量數(shù)據(jù)，撲面而來的是數(shù)據(jù)相關(guān)崗位需求量的持續(xù)增長。關(guān)注市場需求，抓住時(shí)代機(jī)遇，培養(yǎng)數(shù)據(jù)人才，探索學(xué)科發(fā)展，眾多國內(nèi)外專家、學(xué)者在學(xué)生培養(yǎng)、課程設(shè)置、人才需求等方面進(jìn)行了積極的探索與嘗試。

在國內(nèi)，文獻(xiàn)[2-10]分別從各學(xué)科方面的人才培養(yǎng)、課程設(shè)計(jì)、需求分析等角度出發(fā)，通過對網(wǎng)絡(luò)招聘信息進(jìn)行調(diào)查、分析、挖掘，各自給出了大數(shù)據(jù)環(huán)境下的學(xué)生培養(yǎng)、課程設(shè)置、人才需求方面的建議。具體來說，周曉燕等通過對數(shù)據(jù)管理人才的招聘信息進(jìn)行解析，得出了數(shù)據(jù)分析能力和計(jì)算機(jī)能力是社會(huì)對大數(shù)據(jù)管理人才的最真實(shí)需求的結(jié)

論[6]。在高等教育研究方面，何海地綜合研究了美國大數(shù)據(jù)碩士研究生教育的背景及現(xiàn)狀情況，并得出了“技術(shù)硬指標(biāo)”和“人文軟實(shí)力”是數(shù)據(jù)科學(xué)家的必備知識(shí)技能的結(jié)

論[7]。王曰芬等通過對Web of Science數(shù)據(jù)庫中數(shù)據(jù)科學(xué)有關(guān)文獻(xiàn)進(jìn)行檢索并分析挖掘，得出了國外的數(shù)據(jù)科學(xué)研究方向及趨勢主要集中在數(shù)據(jù)的存儲(chǔ)、歸檔、管理層面，系統(tǒng)設(shè)計(jì)、數(shù)據(jù)深度處理層面，高效的數(shù)據(jù)價(jià)值挖掘?qū)用嫒齻€(gè)方面的結(jié)

論[8]。在招聘信息挖掘方面，張俊峰等通過對國內(nèi)招聘類網(wǎng)站的數(shù)據(jù)類崗位進(jìn)行特征挖掘，得出數(shù)據(jù)分析師、數(shù)據(jù)挖掘工程師和信息管理人員在能力、學(xué)歷、專業(yè)知識(shí)、工具和計(jì)算機(jī)技能及工作經(jīng)驗(yàn)方面的招聘信息有一定的相似性，也存在一定的差異的結(jié)論[9]。黃山等利用關(guān)聯(lián)規(guī)則分析了大數(shù)據(jù)領(lǐng)域的招聘信息，并得出一線城市需求量大且大數(shù)據(jù)的人才需求趨勢處于增長態(tài)勢的結(jié)論[10]。

在國外，Baumer認(rèn)為數(shù)據(jù)科學(xué)是一個(gè)跨學(xué)科的領(lǐng)域，對于文科生修讀數(shù)據(jù)科學(xué)課程應(yīng)該進(jìn)行架構(gòu)性的課程設(shè)計(jì)，即通過具體問題來獲取、管理、分析、處理、查詢、可視化數(shù)據(jù)后，并以書面、圖形和口頭的方式展示最終成果[11]。

Hardin等則通過對七個(gè)機(jī)構(gòu)的案例研究，展示了不同的數(shù)據(jù)科學(xué)方法在課程創(chuàng)新方面的應(yīng)用，并對本科生參與數(shù)據(jù)科學(xué)課程設(shè)計(jì)及進(jìn)行數(shù)據(jù)研究提供了借鑒[12]。

Gonzales收集并分析了2008—2018年期間Code4Libs Jobs網(wǎng)站上492名圖書管理員與檔案管理員的職位發(fā)布情況，并對編程技術(shù)、工作類型、公司類型進(jìn)行了討論[13]。

Hammad Rauf Khan等通過對美國高校圖書館數(shù)據(jù)員招聘廣告進(jìn)行內(nèi)容分析，討論了市場緊缺的數(shù)據(jù)館員的技能需求、技能偏好，并得出學(xué)術(shù)圖書館員需要?jiǎng)?chuàng)建和支持?jǐn)?shù)據(jù)密集型研究的結(jié)論[14]。

眾多學(xué)者對大數(shù)據(jù)環(huán)境下多個(gè)領(lǐng)域的人才需求作出了指引，但是大數(shù)據(jù)方向的未來職業(yè)發(fā)展路徑仍不夠清晰，市場需求的知識(shí)技能尚不夠明確，招聘企業(yè)的關(guān)鍵崗位職責(zé)也不夠明了。為了解決上述問題，本文爬取前程無憂網(wǎng)站中

10 033條大數(shù)據(jù)相關(guān)的招聘信息，經(jīng)過對數(shù)據(jù)的處理分析后，繪制了數(shù)據(jù)科學(xué)行業(yè)的職業(yè)路徑規(guī)劃，重點(diǎn)分析了大數(shù)據(jù)技術(shù)類人才的技能需求，最后利用TF-IDF[15]算法和TextRank[16]算法對大數(shù)據(jù)的崗位職責(zé)信息進(jìn)行關(guān)鍵詞提取，進(jìn)而得出大數(shù)據(jù)方向從業(yè)人員的能力要求與知識(shí)特點(diǎn)，以期為投身于數(shù)據(jù)科學(xué)行業(yè)的相關(guān)人員指明方向。

1 數(shù)據(jù)來源

本文數(shù)據(jù)源自2019年3月前程無憂網(wǎng)站大數(shù)據(jù)相關(guān)行業(yè)的招聘信息。通過網(wǎng)絡(luò)爬蟲方式獲取，爬取的關(guān)鍵詞設(shè)置為“大數(shù)據(jù)”“數(shù)據(jù)”，對城市、學(xué)歷等詞條均不設(shè)限。經(jīng)過去重、去空、篩選等數(shù)據(jù)清洗操作后，有效招聘數(shù)據(jù)條目為9 608條，該數(shù)據(jù)詞條基本情況如圖1所示。本文后續(xù)的分析、挖掘等操作均基于此數(shù)據(jù)，此后不再贅述。

2 數(shù)據(jù)分析

2.1 不同工作崗位的數(shù)據(jù)人才分布情況

根據(jù)工作崗位將招聘需求信息進(jìn)行分類，具體為：技術(shù)、銷售、產(chǎn)品、運(yùn)營、其他方面等五大類。

在圖2中展示了大數(shù)據(jù)行業(yè)各類崗位需求分布詳情。其中，圖2（a）為大數(shù)據(jù)各類職位需求占比情況，技術(shù)類需求最多，招聘詞條數(shù)為7 056條，占比67.7%，其余依次為產(chǎn)品（14.5%）、銷售（7.9%）、教育（3.7%）、運(yùn)營（2.6%）、其他方面（3.6%）等。圖2（b）展示了大數(shù)據(jù)職位的各個(gè)需求類別的詳細(xì)劃分與占比情況。

以技術(shù)類為例，技術(shù)類中涵蓋了開發(fā)、工程、分析、架構(gòu)、算法、技術(shù)、測試、可視化等八個(gè)子類，其需求占比數(shù)據(jù)是根據(jù)招聘詞條的關(guān)鍵詞進(jìn)行篩選，如開發(fā)類需求數(shù)目為2 856條，技術(shù)類總條目數(shù)為7 056條，所以開發(fā)類占比為40.48%，以此類推。

2.2 技術(shù)類職位挖掘

在大數(shù)據(jù)職位需求占比中，對于技術(shù)類職位需求最多，所以對技術(shù)類職位需求的技能信息進(jìn)行重點(diǎn)挖掘。

（1）技能需求分析

在爬取的大數(shù)據(jù)行業(yè)招聘信息中，對崗位要求信息中的英文單詞進(jìn)行提取，并統(tǒng)計(jì)各個(gè)單詞出現(xiàn)的頻率，進(jìn)而繪制大數(shù)據(jù)技能要求詞云圖，結(jié)果如圖3所示。圖中展示了詞頻排序前100的詞語，所示單詞的大小與其詞頻有關(guān)，所示單詞的著色為隨機(jī)著色。例如，在崗位要求信息的英文單詞中，Hadoop出現(xiàn)的次數(shù)最高，詞頻為5 202次，故在詞云圖中字體最大、最顯眼。通過詞云圖可以獲知，想要從事大數(shù)據(jù)方面的技術(shù)類崗位，Hadoop，SQL，Spark，Java，Hive，Python，HBase等均是不可或缺的利器。數(shù)據(jù)庫類單詞SQL，詞頻第2，說明隨著數(shù)據(jù)量的增大，存儲(chǔ)、處理等問題越來越受到市場的關(guān)注。編程語言類單詞Java詞頻最大，位于總詞頻的第4位，說明Java仍然是最受青睞的編程語言。

（2）編程語言及數(shù)據(jù)庫需求情況

編程語言方面，Java，Python，Scala占據(jù)了75%以上的比例，足以說明這三門語言在大數(shù)據(jù)行業(yè)的重要性;數(shù)據(jù)庫方面，SQL一枝獨(dú)秀，幾乎占據(jù)了所要求數(shù)據(jù)庫的半壁江山，其次分別為Oracle，ETL，Redis，MongoDB，Sqoop等。詳細(xì)數(shù)據(jù)如圖4所示。

（3）工作經(jīng)驗(yàn)及學(xué)歷需求情況

在工作經(jīng)驗(yàn)及學(xué)歷要求方面，大數(shù)據(jù)行業(yè)更青睞于有經(jīng)驗(yàn)的技術(shù)類人員，其中3～4年經(jīng)驗(yàn)最佳。這在一定程度上說明，市場最需要的是具有行業(yè)經(jīng)驗(yàn)以及一定技術(shù)能力的從業(yè)人員，而一般情況下，3～4年恰好在成本上也比較能讓企業(yè)接受。這就不難看出，對于經(jīng)驗(yàn)需求方面，3～4年經(jīng)驗(yàn)需求最大。在學(xué)歷方面，本科及大專學(xué)歷占據(jù)了近80%的市場需求，這恰恰在一定程度上說明了大數(shù)據(jù)行業(yè)具有技能性的門檻以及經(jīng)驗(yàn)性的偏好;而碩士、博士需求比例占比3.8%，則在一定程度說明了市場對用人成本的把控程度，詳情如圖5所示。

2.3 崗位職責(zé)關(guān)鍵詞分析

對大數(shù)據(jù)行業(yè)招聘信息中的崗位要求信息進(jìn)行提取匯總，并作為崗位職責(zé)信息的語料。使用Python中jieba庫的逆文檔頻率（Term Frequency–Inverse Document Frequency，TF-IDF）算法和TextRank算法對崗位職責(zé)的文本信息進(jìn)行關(guān)鍵詞提取，并提取排序前50的關(guān)鍵詞。其中，TF-IDF是一種對文檔中關(guān)鍵詞權(quán)重進(jìn)行統(tǒng)計(jì)的方法，即字詞的重要性與它在文件中出現(xiàn)的次數(shù)成正比增加，但同時(shí)會(huì)隨著它在語料庫中出現(xiàn)的頻率成反比下降，具體計(jì)算公式

如下：

TextRank是對句子進(jìn)行分割后，保留主要詞性的字或詞來構(gòu)成有向無權(quán)圖，通過計(jì)算圖的節(jié)點(diǎn)連接權(quán)重來分析單詞關(guān)鍵與否的算法，其具體計(jì)算公式為

兩種算法的關(guān)鍵詞提取結(jié)果如圖6所示。通過觀察可知，不論是依賴語料、基于統(tǒng)計(jì)的TF-IDF算法，還是側(cè)重詞語之間相互關(guān)聯(lián)性的TextRank算法，所得的關(guān)鍵詞提取結(jié)果大體一致。例如，兩種算法提取出的前50個(gè)關(guān)鍵詞中，重疊關(guān)鍵詞占比接近80%。另外，可以通過關(guān)鍵詞結(jié)果看出，對“數(shù)據(jù)”的理解，對“經(jīng)驗(yàn)”的要求、對“能力”的要求是各個(gè)公司最看重的招聘要素，另外關(guān)于“團(tuán)隊(duì)”“技術(shù)”“業(yè)務(wù)”“產(chǎn)品”等方面也是各公司的關(guān)注重點(diǎn)。

2.4 綜合素質(zhì)能力要求

在綜合素質(zhì)方面，本文通過對崗位要求信息中的英文單詞進(jìn)行提取，繪制了綜合素質(zhì)方面需求的技能單詞詞頻圖，具體如圖7所示。在綜合素質(zhì)方面，大多數(shù)招聘單位會(huì)要求應(yīng)聘者熟悉常用辦公軟件，如Excel，PPT等辦公軟件;部分招聘單位更看重經(jīng)驗(yàn)、解決問題的能力，如會(huì)在招聘需求中體現(xiàn)“experience”“bug”等信息;偏重技術(shù)類的崗位，在招聘時(shí)可能會(huì)更強(qiáng)調(diào)相應(yīng)的資格，例如，某招聘公司需求的是數(shù)據(jù)庫開發(fā)工程師，那么其招聘需求出現(xiàn)技能資格“dba”“ocp”的概率就較大。

3 數(shù)據(jù)行業(yè)職業(yè)發(fā)展路徑

基于數(shù)據(jù)的職業(yè)之路，以數(shù)據(jù)為中心，對許多崗位進(jìn)行重新定義，故在圖8中繪制數(shù)據(jù)行業(yè)職業(yè)發(fā)展路徑并對大數(shù)據(jù)的關(guān)鍵技術(shù)進(jìn)行梳理。例如，以數(shù)據(jù)分析為中間崗，可向業(yè)務(wù)崗方向延伸，進(jìn)而走產(chǎn)品經(jīng)理相關(guān)方向的職業(yè)之路;而同時(shí)數(shù)據(jù)分析又為技術(shù)崗，可向技術(shù)類職位進(jìn)行職業(yè)延伸，如數(shù)據(jù)工程方向、數(shù)據(jù)挖掘方向等。不管是從事技術(shù)崗、中間崗還是業(yè)務(wù)崗，在特定領(lǐng)域進(jìn)行深挖都有可能成為具有特定行業(yè)經(jīng)驗(yàn)、具有特殊技能的數(shù)據(jù)科學(xué)家。而不論是傳統(tǒng)數(shù)據(jù)分析之路還是基于大規(guī)模分布式處理的新路徑，都是以數(shù)據(jù)處理技術(shù)為基礎(chǔ)，故在圖8（b）中列出了大規(guī)模分布式數(shù)據(jù)處理的技術(shù)要點(diǎn)。

4 結(jié) 語

2018年4月，教育部推出了教育信息化2.0行動(dòng)計(jì)劃[17]，

即實(shí)施數(shù)字資源服務(wù)普及等八大行動(dòng)。大數(shù)據(jù)和人工智能已經(jīng)上升到國家戰(zhàn)略的高度，而基于相關(guān)技術(shù)推動(dòng)經(jīng)濟(jì)社會(huì)各領(lǐng)域從網(wǎng)絡(luò)化向數(shù)字化、智能化加速躍升已成為業(yè)界共識(shí)。

大數(shù)據(jù)技術(shù)已成為國家數(shù)字經(jīng)濟(jì)的重要生產(chǎn)要素，數(shù)據(jù)采集、數(shù)據(jù)安全、數(shù)據(jù)開發(fā)利用、數(shù)據(jù)共享等一系列圍繞數(shù)據(jù)開展的產(chǎn)業(yè)鏈正在形成。緊貼市場走向，挖掘社會(huì)需求，為求職者理清職業(yè)規(guī)劃，為應(yīng)用型高校的專業(yè)課程設(shè)置給出建議，為社會(huì)解決行業(yè)缺口，每一個(gè)育人者都責(zé)無旁貸。

本文通過對前程無憂網(wǎng)站中數(shù)據(jù)科學(xué)相關(guān)方向的招聘信息進(jìn)行挖掘分析，繪制了數(shù)據(jù)科學(xué)行業(yè)的職業(yè)路徑圖，并對數(shù)據(jù)科學(xué)行業(yè)的職業(yè)方向進(jìn)行了簡要說明。對于數(shù)據(jù)科學(xué)行業(yè)的技術(shù)類職位，學(xué)歷、經(jīng)驗(yàn)、技能均是該行業(yè)招聘單位考察的重點(diǎn)。

數(shù)據(jù)化的浪潮席卷使得傳統(tǒng)行業(yè)正在受到巨大挑戰(zhàn)，不論是個(gè)人求職者還是育人單位、用人單位，只有積極擁抱變化，不斷追蹤市場動(dòng)態(tài)，緊貼技術(shù)走向，方能滿足社會(huì)需求，與世界保持同步。

參 考 文 獻(xiàn)

[1]長沙門戶網(wǎng).國際數(shù)據(jù)公司（IDC）21日發(fā)布的報(bào)告預(yù)測[EB/OL].[2019-02-25].http：//www.hncstv.com/keji/shuju/62231.html.

[2]祝建華.大數(shù)據(jù)時(shí)代的新聞與傳播學(xué)教育：專業(yè)設(shè)置、學(xué)生技能、師資來源[J].新聞大學(xué)，2013（4）：129-132.

[3]李宗富，于佳會(huì).國內(nèi)檔案學(xué)專業(yè)人才需求現(xiàn)狀調(diào)查研究—基于2017年度“圖情招聘”微信公眾號招聘信息分析[J].檔案管理，2019（1）：63-67.

[4]鄭月明.大數(shù)據(jù)背景下經(jīng)濟(jì)類學(xué)生培養(yǎng)模式研究[J].教育教學(xué)論壇，2018（42）：172-173.

[5]黃崑，王凱飛，王珊珊，等.數(shù)據(jù)類崗位招聘需求調(diào)查及對圖情學(xué)科人才培養(yǎng)的啟示[J].圖書情報(bào)知識(shí)，2016（6）：42-53.

[6]周曉燕，尹亞麗.基于國內(nèi)市場需求的大數(shù)據(jù)管理人才知識(shí)結(jié)構(gòu)分析[J].情報(bào)科學(xué)，2017，35（1）：29-34.

[7]何海地.美國大數(shù)據(jù)專業(yè)碩士研究生教育的背景、現(xiàn)狀、特色與啟示—全美23所知名大學(xué)數(shù)據(jù)分析碩士課程網(wǎng)站及相關(guān)信息分析研究[J].圖書與情報(bào)，2014（2）：48-56.

[8]王曰芬，謝清楠，宋小康.國外數(shù)據(jù)科學(xué)研究的回顧與展望[J].圖書情報(bào)工作，2016，60（14）：5-14.

[9]張俊峰，魏瑞斌.國內(nèi)招聘類網(wǎng)站的數(shù)據(jù)類崗位人才需求特征挖掘[J].情報(bào)雜志，2018，37（6）：176-182.

[10]黃山，劉學(xué)鋒，毛建華，等.基于關(guān)聯(lián)規(guī)則的大數(shù)據(jù)領(lǐng)域人才需求分析[J].工業(yè)控制計(jì)算機(jī)，2017，30（8）：78-80.

[11] BAUMER B. A data science course for undergraduates：thinking with data [J]. The American Statistician，2015，69（4）：334-

342.

[12] HARDIN J，HOERL R，HORTON N J，et al. Data science in statistics curricula：preparing students to“Think with Data” [J]. The American Statistician，2015，69（4）：343-353.

[13] GONZALES B M. Computer programming for librarians： a study of job postings for library technologists [J]. Journal of web librarianship，2019，13（1）：20-36.

[14] RAUF K H，DU Y F. What is a Data Librarian？：A Content Analysis of Job Advertisements for Data Librarians in the United States Academic Libraries [EB/OL]. [2018-07-31]. http：//library.ifla.org/2255/1/139-khan-en.pdf.

[15]施聰鶯，徐朝軍，楊曉江.TFIDF算法研究綜述[J].計(jì)算機(jī)應(yīng)用，2009，29（z1）：167-170.

[16] MIHALCEA R，TARAU P. TextRank： bringing order into texts [C]// 2004 Conference on Empirical Methods in Natural Language Processing. Barcelona： DBLP，2004：404-411.

[17]中國高等教育.教育部：到2022年建成“互聯(lián)網(wǎng)+教育”大平臺(tái)[EB/OL].（2018-04-25）. [2018.11.15]. https：//www.sohu.com/a/229450035_273375.