基于日志數(shù)據(jù)的研發(fā)工程師能力評價研究

魏 忠 魯 源 黃阿娜

(上海海事大學(xué)經(jīng)濟管理學(xué)院 上海 201306)

0 引 言

人事經(jīng)濟學(xué)中的一個核心問題是，當企業(yè)對員工行為和工作特征的了解有限時，該如何評估和篩選員工[1]?？冃гu價指標往往被用于緩解由信息有限而引起的問題[2]，因此員工評價問題通常從挖掘員工信息和確立評價指標兩方面著手。

一方面，大數(shù)據(jù)的發(fā)展引發(fā)行為大數(shù)據(jù)的爆發(fā)，促使更多人展開對行為的分析研究[3]。行為大數(shù)據(jù)是指人們在生產(chǎn)活動中產(chǎn)生的行為數(shù)據(jù)集，而員工的行為數(shù)據(jù)則是在企業(yè)工作中形成的行為記錄，比如考勤記錄、工作日志、研發(fā)腳本等。其中，工作日志主要用于記錄日常工作內(nèi)容包括工作進度、問題分析、應(yīng)對方法等。雖然是自由文本形式，但已被證明能夠反映員工行為的隱性素質(zhì)，成為深入了解員工行為特征的有效途徑[4]。如Zacher等[5]基于日志數(shù)據(jù)驗證雙元領(lǐng)導(dǎo)對員工創(chuàng)新行為的影響；Hooff等[6]通過對工作日志的分析，討論研究員工工作需要的滿足感與工作狀態(tài)恢復(fù)之間的關(guān)系[6]；程鵬等使用統(tǒng)計法對員工日志進行統(tǒng)計分類，通過分類對員工進行歸納分析，總結(jié)員工的行為特征等。

另一方面，前人研究往往選擇建立一套評價指標體系，從而減少直接評分的主觀性、量化評價結(jié)果。如陳沛然[3]構(gòu)建了包含6個指標的績效考評標準指標體系，通過層次分析法賦予權(quán)重；樊文有[7]基于平衡計分卡建立了一套考評指標體系，通過4個維度對工作進行評價[7]；吳紅霞等[8]從三個角度創(chuàng)建了能力績效的評價體系，并運用三階段DEA分析方法進行測度等。

上述的方法雖然確立了評價指標體系，但直接定義的指標內(nèi)容并非來源于管理者的統(tǒng)一意志，無法代表企業(yè)對員工的能力要求。因此，本文在前人研究的基礎(chǔ)上，順應(yīng)大數(shù)據(jù)時代的要求，以某公司軟件研發(fā)部門為例，對研發(fā)工程師的工作日志數(shù)據(jù)進行文本處理和特征研究；同時，采用德爾菲法確定企業(yè)管理者的能力評價標準體系，結(jié)合前景隨機占優(yōu)準則對員工能力進行量化分析，最終得出一個更加客觀全面的研發(fā)工程師能力的評價結(jié)果。

1 日志數(shù)據(jù)預(yù)處理

1.1 數(shù)據(jù)準備

某公司日志系統(tǒng)用于記錄員工日常工作內(nèi)容，包括工作進度、問題分析、應(yīng)對方法等。在日志記述中要求員工實事求是，并規(guī)定填寫時限，極大保證行為數(shù)據(jù)的客觀性和有效性[9]。本文的研究數(shù)據(jù)來源于該公司服務(wù)器上全部75位研發(fā)工程師入職至今的所有日志數(shù)據(jù)，保證了原始數(shù)據(jù)的完備性，降低丟失重要判別信息的可能性[10]。

與此同時，為了提高日志數(shù)據(jù)的準確性、確保數(shù)據(jù)分析的最終結(jié)果，采用Python對日志數(shù)據(jù)進行預(yù)處理[11]。首先對研發(fā)工程師的工作日志按照時間跨度進行排序整理，剔除重復(fù)數(shù)據(jù)和噪聲數(shù)據(jù)，同時去除不滿足條件的樣本：

(1) 日志記錄條數(shù)過少或每條日志內(nèi)容過少；

(2) 日志文本時間跨度不夠，即從事研發(fā)工作時間不長；

(3) 工作內(nèi)容與研發(fā)無關(guān)。

經(jīng)整理，研究的樣本量減少為59。其次，通過數(shù)據(jù)清理過程為文本挖掘準備合格的數(shù)據(jù)，剔除高頻非特征的詞語、非中文詞語(數(shù)字、符號、其他語言等)，至此得到的所有日志數(shù)據(jù)均為干凈可直接使用的文本。

同時，為了驗證本文分析方法的準確性，預(yù)先邀請該公司管理層對研發(fā)工程師進行能力評分(0～10分)，將其作為實際結(jié)果與本文的預(yù)測結(jié)果進行對比分析，如圖1所示。

圖1 軟件開發(fā)人員能力初始評價圖

1.2 特征分析

基于前文的可用數(shù)據(jù)，采用中科院漢語分詞系統(tǒng)(NLPIR)對所有文本進行分詞，并標注詞性(包括動詞、名詞、形容詞、副詞等)，統(tǒng)計詞性比例。同時依據(jù)詞頻提取研發(fā)工程師的特征詞，通過Python制作日志詞云進行可視化展示。

本文選取開發(fā)型、操作型、管理型三類具有代表性的研發(fā)工程師詞云進行示例，如圖2所示。詞語字號越大表示其使用頻次越高，一定程度上反映該工程師某方面能力突出。比如“開始”、“進行”、“完成”等詞體現(xiàn)工程師條理清晰，執(zhí)行力強；“討論”、“溝通”等詞體現(xiàn)工程師協(xié)作配合能力強；專業(yè)詞匯則可體現(xiàn)工程師的專業(yè)化程度等。

根據(jù)詞云圖片不難看出，研發(fā)工程師的工作方式特點各異、工作能力大相徑庭。因此，基于日志文本對研發(fā)工程師進行能力評價具有很大的參考價值。

(a) 開發(fā)型

(b) 操作型

(c) 管理型圖2 研發(fā)工程師日志詞云示例

1.3 特征詞選取

本文采用向量空間模型VSM，將每個員工的日志抽象為一個向量。假設(shè)每個向量由n個詞組成，每個詞的權(quán)重為wi(i=1,2,…,n)，此時員工能力評分可表達為多維向量d=(w1,w2,…，wn)。采用詞頻TF(Term frequency)計算權(quán)重，公式如下：

(1)

式中：M表示文本的總詞數(shù)，N表示特征詞在文本數(shù)據(jù)中的出現(xiàn)的次數(shù)。

由于日志文本維數(shù)過多，需要降維處理，本文綜合計算所有研發(fā)工程師日志中詞頻排名前100的詞語，最終，確定具有代表性的特征詞(即關(guān)鍵詞)100維。

2 基于德爾菲法的能力調(diào)查

德爾菲法又稱專家集體評價法，即專家以匿名的方式對調(diào)查者提出的問題發(fā)表意見和建議。通過多輪調(diào)查、反復(fù)總結(jié)和修訂，使專家組的預(yù)測意見趨于集中，最終得出具有整合意義的結(jié)果。

2.1 指標量化

德爾菲法最關(guān)鍵的一點是挑選合格的專家[10]。為了保證價值判斷的正確性和加權(quán)結(jié)果的客觀性，本文在考慮專家的權(quán)威程度、實踐經(jīng)驗、理論水平的基礎(chǔ)上[11]，邀請該公司7位高級研發(fā)部工程師組成咨詢小組。

經(jīng)過研究溝通，最終確定用于表達工程師能力的7項指標，即特征詞、專業(yè)詞、日志長度、名詞、動詞、修飾詞、數(shù)詞量詞。專家問卷內(nèi)容包括最佳比例、重要程度、熟悉程度、判斷依據(jù)等。采用Likert測度法從弱到強將指標比例、指標重要程度等劃分為5度，將特征詞重要性分為7度，專家據(jù)實打分，進行指標量化，如表1所示。

表1 專家問卷指標量化與評分標準

2.2 統(tǒng)計分析

德爾菲法的統(tǒng)計分析過程是其量化過程中的關(guān)鍵部分，這一過程關(guān)系到是否保留預(yù)設(shè)指標。本次調(diào)查共向7位專家展開兩輪咨詢，經(jīng)統(tǒng)計分析：

(1) 積極系數(shù)：即問卷的回收率，本文共咨詢2輪，每一輪專家積極系數(shù)均為100%。

(2) 集中程度：即調(diào)查選用的專家對研究選定的各指標相對重要性的意見的集中程度。經(jīng)兩輪咨詢，確定指標重要程度排名為數(shù)量、形副、動詞、專業(yè)詞、日志長度、特征詞、名詞。如表2所示。

表2 專家意見的集中程度

(3) 協(xié)調(diào)程度：專家協(xié)調(diào)系數(shù)的P值經(jīng)過兩輪咨詢后數(shù)值小于0.05，表明專家對各指標的評價意見經(jīng)過兩輪咨詢達到一致，如表3所示。

表3 第一、二輪咨詢的專家協(xié)調(diào)系數(shù)

(4) 權(quán)威程度：指在這一領(lǐng)域接受采訪的專家的理論和實踐水平，反映調(diào)查的可信性。本研究的專家權(quán)威程度(Cr)為0.735～0.788，一般Cr≥0.70 即可。

綜上，各項統(tǒng)計結(jié)果均在可接受范圍內(nèi)，專家評估意見的協(xié)調(diào)性好、可信度高，指標體系客觀、合理。在此基礎(chǔ)上，采用百分權(quán)重法，將專家對指標重要性評分的算術(shù)平均值除以所有指標總均數(shù)值。最終，通過德爾菲法確定的各指標相對重要性，即特征詞、日志長度、專業(yè)詞、名詞、動詞、形副、數(shù)量7項指標的權(quán)重分別為0.3、0.15、0.05、0.10、0.2、0.05、0.15。

3 基于前景隨機占優(yōu)的能力評價

3.1 問題描述

3.2 決策方法

針對研發(fā)工程師能力評價問題，員工屬性的評價結(jié)果會呈現(xiàn)離散概率分布的形式，顯然，評價結(jié)果可被視為一個離散型隨機變量。本文給出一種基于員工日志文本和管理層期望的研發(fā)工程師能力評價方法。該方法包括3個部分：計算評價損失結(jié)果及其概率分布、構(gòu)建兩兩員工比較的能力隨機占優(yōu)關(guān)系矩陣、選擇優(yōu)秀的員工。

i=1,2,…,m，j=1,2,…,n，l=1,2,…,k，ε∈[0,1]

(2)

(3)

式中：wj表示屬性Cj的權(quán)重，yij表示針對工程師Ai關(guān)于屬性Cj的評價的損失結(jié)果。

另外，為了判斷該方法對研發(fā)工程師能力評價的準確性，引入下式計算研發(fā)工程師能力評價平均準確率：

(4)

式中：RC表示員工訓(xùn)練后排名，RI表示員工初始調(diào)查排名，M表示參與排名的員工總數(shù)。

同時，使用歐式距離度量所有研發(fā)工程師預(yù)測排名與初始排名的相似度，如下所示。歐式距離越小說明前后排名差異越小，即分析結(jié)果越準確。

(5)

式中：xi表示調(diào)查樣本中每個研發(fā)工程師的初始排名，yi表示運用本方法計算而得的排名。

3.3 評價結(jié)果

根據(jù)上述的評價方法，計算易得每個研發(fā)工程師的能力評分結(jié)果，具體得分排名整理部分如圖3所示。評分越高的研發(fā)工程師，說明其工作日志中各項指標更符合管理層的期望，即該工程師更符合管理層專家對于研發(fā)工程師的要求。

同時，根據(jù)式(4)求得開發(fā)人員能力評價準確率為83.76%。根據(jù)式(5)計算而得分析排名與初始排名的歐式距離為9.70。因此可得，該方法準確率較高，在樣本數(shù)較少的情況下也具有一定的穩(wěn)定性。

圖3 開發(fā)人員能力評價圖

4 結(jié) 語

針對員工能力評估的企業(yè)管理問題，本文基于研發(fā)工程師的工作日志，采用德爾菲法量化確定各日志指標的相對重要性，結(jié)合前景隨機占優(yōu)準則，設(shè)置參數(shù)，對比分析研發(fā)工程師的能力水平，最終得出研發(fā)工程師的能力水平得分排名，為企業(yè)選拔優(yōu)秀研發(fā)工程師提供一定的借鑒意義。但本文同時也存在一定的局限性，比如本文僅局限于軟件開發(fā)部門，所評能力較為單一。未來的研究可著眼于多個部門的多種能力，如數(shù)據(jù)部門、硬件部門等，這樣不僅可以評估員工對當前崗位的勝任能力，同時還可以預(yù)測員工對于其他崗位潛力，如此將對企業(yè)管理培養(yǎng)人才提供一個更好的解決方案。