一種改進的組合策略評審專家推薦算法

張高明，張善從

（1.中國科學院大學經(jīng)濟與管理學院，北京 100190；2.中國科學院空間應用工程與技術中心，北京 100094）

當今世界正在經(jīng)歷一場更大范圍、更深層次的科技革命和產(chǎn)業(yè)變革［1］，在此背景下，科技創(chuàng)新正加速推進，并深度融合、廣泛滲透到人類社會的各個方面。為搶占科技制高點、引領未來，同時鞏固國防和改善民生，各國政府、巨頭公司紛紛投入巨大資金發(fā)展科技［2］，滋生出大量的跨領域、多學科交叉的重大科技項目，如載人航天工程、物聯(lián)網(wǎng)、天地一體化信息網(wǎng)絡、集成電路裝備項目、港珠澳大橋工程、FAST 工程、腦科學與類腦研究等重大科技項目。近年來，國家在重大科技項目的投入呈現(xiàn)逐年增加的態(tài)勢，隨之帶來的是重大科技項目的種類、數(shù)量和復雜性也不斷增加［3］，如何對重大科技項目進行高效管理面臨重大挑戰(zhàn)。長期以來，項目評審已成為高科技領域主要的工作模式，選擇合適的評審專家尤為重要［4］。

1 問題提出

在項目管理的知識體系（Project Management Body of Knowledge，PMBOK）中，項目評審已成為標準的工作模式。選擇評審專家的需求首先導致了專家?guī)斓漠a(chǎn)生，最初的專家?guī)焱苌俚膶傩孕畔ⅲ?］，如專業(yè)領域、單位、聯(lián)系方式等，當時的評審專家數(shù)量也比較少。隨之自然語言技術的興起，逐漸形成了基于內容特征、主題特征和協(xié)同過濾的為代表的單一策略的推薦算法［6］。這些推薦算法在電商領域取得了較好的結果，然而在高科技領域，評審專家推薦往往是一個復合型目標的選擇過程，不僅考慮專家的知識維度，還要考慮評審專家的政治立場、溝通交流、健康狀況和職業(yè)道德等綜合因素［7］，在實際過程中，單一策略的評審推薦算法往往不能滿足管理需要，也存在數(shù)據(jù)稀疏、冷啟動等計算問題［8］。因此為滿足特殊應用場景下的評審專家推薦，本文構建了一種改進的組合策略評審專家推薦算法。

2 算法構建

2.1 用戶偏好維度

項目管理人員是評審專家推薦算法的用戶，在多次選擇評審專家的管理過程中形成了一定的選擇偏好，本文結合自身在工程項目管理選擇評審專家的實習經(jīng)驗及與相關資深項目管理人員交談的基礎上選擇用戶偏好維度，分別由評審專家的健康狀況、年齡狀況、政治立場、道德品質、專業(yè)聲譽、職業(yè)精神、合作能力和特殊關照等8 個因素組成，如表1 所示。

表1 用戶偏好維度評價體系

2.2 專家知識維度

本文對評審專家的知識能力綜合評價結合了顯性知識和隱性知識兩個維度［9］，綜合評價體系共計2 個維度、15 個元素和45 個指標，其中顯性知識維度包含了論文、專著、譯著、教材、研究報告、專利、標準和條例等8 個因素，隱性知識維度包括了職務、職稱、學歷、人才培養(yǎng)、國家級項目、省部級項目和地市級項目等7 個因素，每個因素又分為若干指標進行定量分析［10］，如表2 所示。

表2 專家知識維度評價體系

表2 （續(xù)）

2.3 歷史信息維度

歷史信息維度包括項目的歷史屬性信息和專家歷史表現(xiàn)信息，而屬性信息又包括項目間的專業(yè)相似性信息和層次相似性信息［11］，假設存在一個當前待評審項目和個歷史項目的項目集其中表示當前待評審項目，且每個項目具有個特征，當前項目和歷史項目的相似度計算步驟如下［12］：

步驟1：明確項目涉及的專業(yè)領域，如電子學、軟件學、熱學、會計等。

步驟3：分別計算當前項目和歷史項目專業(yè)領域的相似度大小，相似度大小的計算公式如1 所示。

步驟4：明確項目層次的度量維度，如專家人數(shù)中的院士、高級職稱、中級職稱、初級職稱的數(shù)量等。

步驟6：分別計算當前項目和歷史項目層次水平的相似度大小，計算公式如（2）所示。

步驟7：計算當前項目和歷史項目的綜合相似度，計算公式如（3）所示。

2.4 改進的組合算法

綜合考慮用戶選擇偏好維度、知識維度和歷史信息維度，構建了一種改進的組合策略評審專家推薦算法［13］，首先，根據(jù)評審項目選擇偏好維度的具體因素并計算偏好值，排除偏好值較低的一部分專家，其次計算知識維度的專家和項目的匹配度獲得topK的評審專家，再者利用項目的歷史信息和專家歷史表現(xiàn)信息計算匹配度同樣獲得topK 的評審專家，最終，將兩個推薦結果的交集和知識維度匹配度較高的專家作為評審推薦專家［14］。算法原理如圖1。

圖1 改進的組合推薦算法原理圖

3 實驗分析

3.1 實驗數(shù)據(jù)

3.1.1 評審專家數(shù)據(jù)

本文采用網(wǎng)絡爬蟲和人工的方式收集專家信息及數(shù)據(jù)，專家來源于相關政府、研究機構、高等院校和企業(yè)等機構［15］，本文對專家信息按照顯性知識維度、隱性知識維度、用戶選擇偏好維度及專業(yè)領域維度進行整理，其中顯性知識維度包括學術論文、專著、譯著、教材、研究報告、專利、標準和條例等8 項內容，隱性知識維度利用專家的項目、職務、學歷、人才培養(yǎng)、項目等因素進行測量相對性的大小，用戶偏好維度包括專家的建立狀況、年齡狀況、政治立場、道德狀況、國籍狀況、人才層次、職業(yè)精神、合作能力、特殊關照和性別等8 項因素，針對航天范圍的專業(yè)領域包含了熱學、結構學、電子學、六性、軟件、工藝、元器件、材料、金屬、空氣動力學、軌道學、飛行控制學、質量、財務、保密、管理、法律等諸多領域。經(jīng)過整理，評審專家?guī)旃灿?00名專家。

3.1.2 評審項目數(shù)據(jù)

本文收集了航天領域的評審項目文檔100 份，其中歷史評審項目50 份，人工合成項目50 份。每份項目文檔的信息包括項目名稱、關鍵詞、摘要信息、項目專業(yè)信息、項目層次信息、參與項目評審專家的信用及評審表現(xiàn)，項目的關鍵詞一般為3～8 個，摘要不超過1 000 字，項目的領域信息與專家的領域信息相對應［16］，在航天項目方面專業(yè)領域熱學、結構學、電子學等20 個專業(yè)領域，項目的專業(yè)信息通過參與的評審專家的專業(yè)領域進行表征，項目的層次信息通過參與評審專家的職稱等級進行表征，專家在評審中的表現(xiàn)根據(jù)評審期間專家的貢獻和評審之后項目的質量效果綜合決定。人工合成項目是通過專家的顯性知識中論文等合成，合成項目盡可能與歷史項目的格式內容相一致。

3.2 文本預處理

3.2.1 分詞和降噪處理

航天領域包含了較多的專業(yè)詞匯，而專業(yè)詞匯較大程度上代表了項目文檔和專家文檔的主要信息，為了提高分詞效果，首先需要構建航天領域的自定義專業(yè)詞典，具體做法是將2010 年1 月1 日至2019年12 月31 日期間發(fā)表的所有的航空航天領域論文的關鍵詞去除重后作為自定義詞庫，共計5 072 個專業(yè)詞匯。

本文分詞工具采用的是基于Python 框架的Jieba分詞工具，Jieba 分詞工具對中文分詞的效果較好并易于操作，Jieba 分詞支持自定義詞典和添加去停用詞，支持精確模式、全模式和搜索引擎模式3 種分詞模式，并且支持繁體字分詞。分詞后的語料庫存在類似標點符號、無意義詞、公有詞以及近義詞等噪聲，這些噪聲對文檔的主干信息造成了干擾，因此需要進行降噪處理，主要方式是通過停用詞庫過濾掉與主干信息不相干的詞匯，本文的去停用詞庫結合了百度去停用詞和哈工大去停用詞，并增加了一些航天領域的一些專有詞匯，該類專有詞匯屬于常識詞，去除后不影響項目和專家文檔的主干信息，如地球、火箭、月球、航天等，經(jīng)過整理常識詞匯共計102 個。

3.2.2 文本特征處理

本文的文本特征處理采用兩種比較成熟的方式［17］，分別為TF-IDF 算法和LDA 模型，其中，TF-IDF 算法的思想是抽取項目的關鍵詞匯信息，同時降低共有詞的比重，而LDA 模型通過概率模型獲取潛在的主題信息，二者均是對顯性知識的信息提取，在分詞階段的處理過程是一致的。將文本特征處理后獲得文本向量［18］，通過計算文本相似度的大小作為評審專家推薦的標準，文本相似度的計算受到向量維度大小的影響，維度過高造成計算的時間復雜度過高，沒有必要保留一些權重較小的詞匯或者主題信息，如果維度過小，反而易造成關鍵信息的缺失。因此文本的策略是分別選擇不同維度的值進行計算，并對綜合的推薦結果進行比較。在TFIDF 算法中，本文選擇維度值為50、100、150 和200進行計算。在LDA 模型中，本文選擇主題詞個數(shù)分別為20、40、60 和80 進行計算，并比較推薦結果。

3.3 實驗設計

3.3.1 實驗環(huán)境

本實驗所使用的硬件設備為聯(lián)想ThinkPad 筆記本電腦一臺，操作系統(tǒng)為64位Windows10家庭中文版，處理器為intel(R) Core(TM) i5-7300HQCPU @ 2.50GHz，機帶RAM 為8.00GB，軟件程序基于Python3.7 版本實現(xiàn)。

3.3.2 具體設計

為了驗證文本設計組合策略評審專家推薦算法的推薦效果，文本設計了5 個實驗分別對真實項目和人工合成項目的推薦效果進行驗證，其中組合策略的推薦算法是本文設計思想的體現(xiàn)，以4 個單一策略的推薦算法作為對照實驗，以下實驗的K 值設置為15。

實驗一：基于內容特征的評審專家推薦實驗

將經(jīng)過文本預處理后的語料通過TF-IDF 算法進行文本特征化，將TF-IDF 的值從大到小排序，分別設計維度為20、50、80、100、200 的文本向量，通過計算項目文本向量和專家文本向量相似度的大小，獲取TopK 的推薦專家。

實驗二：基于潛在主題特征的評審專家推薦實驗

將經(jīng)過文本預處理后的語料通過LDA 模型進行文本特征化，分別將主題的個數(shù)設置為5、10、20、30、50，依據(jù)主題概率設置文本向量，通過計算項目文本向量和專家文本向量相似度的大小，獲取TopK 的推薦專家。

實驗三：基于協(xié)同過濾的評審專家推薦實驗

通過構造項目間的屬性特征向量，計算當前項目與歷史項目的相似度的大小，按照相似度值從大到小的順序獲取TopK 的推薦專家。

實驗四：基于內容和協(xié)同相結合的評審專家推薦實驗

構造項目的內容特征向量和屬性特征向量，分別計算當前項目和歷史項目的內容相似度、屬性相似度，通過線性求和的方式獲取項目的綜合相似度，按照相似度值從大到小的順序獲取TopK 的推薦專家。

實驗五：本文組合策略的評審專家推薦實驗

通過構建用戶偏好評價體系，對評審專家進行評價，排除得分較低的評審專家，在此基礎上綜合項目的內容相似性、主題相似性、項目相似度、專家歷史表現(xiàn)等因素，獲取TopK 的評審推薦專家。

3.4 結果分析

通過對以上的5 個模型在真實項目和人工合成項目兩類數(shù)據(jù)集上進行實驗，評價標準采用精確率、召回率和F1 值，對每個實驗都進行了參數(shù)優(yōu)化，將模型的最好的實驗效果統(tǒng)計如表3～表5 所示：

表3 幾種推薦算法的實驗結果（精確率）

表4 幾種推薦算法的實驗結果（召回率）

表5 幾種推薦算法的實驗結果（F1）

通過實驗結果可知，本文構建的基于組合策略的評審專家推薦策略在準確率、召回率和F1 值的表現(xiàn)均好于其他幾種推薦算法，實驗結果表明文本構建的算法模型具有可行性和有效性。相比于其他的評審專家推薦算法，本文的算法考慮了更多的因素，不僅考慮了專家和項目之間的知識匹配性，而且考慮了項目間的相似性、項目管理人員的選擇偏好以及評審專家的歷史表現(xiàn)等信息，該組合算法集中考慮了項目管理人員的多重需求，因此算法推薦的結果與人工標注的結果更接近。

4 研究結論

在高科技項目管理的多重目標約束下，基于單一策略的評審推薦算法的推薦結果無法完全匹配多重的評審需求，尤其是無法滿足用戶的選擇偏好，造成推薦效果較差。另外專家的歷史表現(xiàn)信息也是檢驗專家技能的重要因素。實驗表明，文本綜合用戶偏好、知識匹配和歷史表現(xiàn)構建的改進的組合策略的評審專家推薦算法具有可行性和有效性。