多維度評價科技工作責任主體信用模型與算法

唐印滸,劉峻,王淋,孫輝,趙鳳嬌,鐘誠

(廣西大學 計算機與電子信息學院，廣西 南寧 530004)

0 引言

中國科學技術(shù)協(xié)會、教育部等多部門共同發(fā)布的《關(guān)于加強我國科研誠信建設的意見》(國科發(fā)政〔2009〕529號), 將科研誠信定義為“科研誠信主要指科技人員在科技活動中弘揚以追求真理、實事求是、崇尚創(chuàng)新、開放協(xié)作為核心的科學精神, 遵守相關(guān)法律法規(guī), 恪守科學道德準則, 遵循科學共同體公認的行為規(guī)范”。

2018年5月，中共中央辦公廳、國務院辦公廳印發(fā)了《關(guān)于進一步加強科研誠信建設的若干意見》，對進一步推進科研誠信制度化建設做出部署。近年來，各級地方黨委政府也發(fā)布了有關(guān)科研誠信的政策文件，強調(diào)依托科技信息系統(tǒng)建立科研信用信息平臺，對各類責任主體的科研信用行為記錄進行信息化管理，作為科技管理決策的參考依據(jù)；實行科研信用承諾制度，實行科研信用評價制度，實行科研信用信息共享應用制度，以及實行失信行為記錄動態(tài)更新制度。

在學術(shù)界，國內(nèi)外學者對建設科研信用評價進行了研究。文獻[1-3]提出需要建立科研誠信數(shù)據(jù)庫、加強立法、發(fā)揮社會輿論監(jiān)督作用、完善科研信用評價指標體系、加強高校之間以及高校與上級管理部門之間的溝通協(xié)調(diào)等有針對性的對策?！读~刀》雜志發(fā)表社論稱：學術(shù)獎勵應以質(zhì)量評估為核心，科研信用評價需有透明度和問責機制[4]。為解決科研誠信問題，不但需要不同機構(gòu)出臺完備的政策，更需要科研人員充分認識學術(shù)不端行為的危害，還需要監(jiān)管機構(gòu)的人員具備良好的素質(zhì)[5]。文獻[6]提出構(gòu)建健全預防機制，開展誠信教育，完善以質(zhì)量和貢獻為導向的科研評價體系，加強監(jiān)督作用，建立科研不端的懲治問責機制。文獻[7]提出應提高科研過程中的數(shù)據(jù)開放性和透明度,并對數(shù)據(jù)科學評價，以提高科學嚴謹性，構(gòu)建科研信用良好環(huán)境。文獻[8]提出科研信用評價指標應基于信用主體(科研單位和科研人員)的行為結(jié)果，遴選信用要素構(gòu)建指標體系，并提出應加快科研信用信息支撐系統(tǒng)的建設。文獻[9]借助結(jié)構(gòu)-過程-結(jié)果理論(structure-process-outcome, SPO)，從科研能力、科研過程與科研結(jié)果三方面構(gòu)建項目負責人信用評價指標。

科研信用評價系統(tǒng)建設是一項新的系統(tǒng)工程。研究多維度的科研誠信評價數(shù)學模型及信用評價算法等方面的工作很少?，F(xiàn)有的信用評價模型大多針對單個部門的數(shù)據(jù)及單個主體進行研究，較難全面地評價機構(gòu)、個體的信用情況。

本文采取定性及定量結(jié)合的方法，研究建立科研活動全過程中的科技工作責任主體科研信用的多維度評價數(shù)學模型，設計實現(xiàn)面向項目申報人員/承擔人員、項目申報單位/承擔單位、評審評估咨詢專家、科技管理服務機構(gòu)4個對象的科研信用評價算法，并通過實驗評測其性能。

1 評價模型

層次分析法(analytic hierarchy process, AHP)把復雜問題中的各種因素通過劃分為相互聯(lián)系的有序?qū)哟?，通過兩兩比較把專家意見和分析者的客觀判斷結(jié)果結(jié)合起來，將同一層次元素(參數(shù)/指標)兩兩比較的重要性進行定量描述；然后，利用數(shù)學方法計算反映每個層次元素的相對重要性次序的權(quán)值，通過所有層次之間的總排序計算每個元素的相對權(quán)重并排序[10]。

下面以“項目申報人員/承擔人員”主體為評價對象，闡述建立科研信用評價數(shù)學模型的方法與過程：

① 建立項目申報人員/承擔人員的科研信用評價正向指標的層次模型。

根據(jù)科研信用評價實施細則，按照項目申報人員/承擔人員的科研信用評價計分與正向評價指標(項目承擔情況R_Proj、守信行為激勵R_CreditI、學位R_Degree、職稱R_Title)之間的相互關(guān)系，構(gòu)建項目申報人員/承擔人員信用評價正向指標的層次模型Researcher_PIHM見表1。

表1 科研信用評價正向指標層次模型

② 構(gòu)建項目申報人員/承擔人員的信用評價正向指標的判斷矩陣。

為科學合理地計算正向評價指標(R_Proj、R_CreditI、R_Degree、R_Title)的權(quán)重大小，構(gòu)建項目申報人員/承擔人員信用評價正向指標的判斷矩陣R_PIMatrix。該矩陣由正向評價指標之間兩兩相對于“項目申報人員/承擔人員科研信用評價正向指標計分R_PIS”的重要程度組成。通過向科技行政管理部門專家、項目申報人員、評審評估專家以及科技管理服務機構(gòu)工作者等相關(guān)人員進行充分調(diào)查采樣，獲得4個正向評價指標兩兩之間的重要程度排序次序，然后依據(jù)層次分析法中的標度法，計算得到判斷矩陣R_PIMatrix中的各項值見表2。

表2 科研信用評價正向指標判斷矩陣

③ 生成項目申報人員/承擔人員的信用評價正向指標的特征向量。

為了求解項目申報人員/承擔人員的科研信用評價正向指標的權(quán)重，采用層析分析法中的特征向量來描述判斷矩陣R_PIMatrix中指標的重要程度，其中特征向量的每一行表示矩陣R_PIMatrix中對應每個指標的權(quán)重。

通過采取矩陣變換方法，求解得到判斷矩陣R_PIMatrix的最大特征值R_λmax，以及對應的特征向量R_W={r_w1r_w2r_w3r_w4}T。

為了將特征向量的數(shù)據(jù)映射到0～1范圍之內(nèi)的值，進行規(guī)范化處理，將矩陣R_PIMatrix的特征向量R_W歸一化為

(1)

④ 對項目申報人員/承擔人員的信用評價正向指標進行一致性檢驗。

為了使得到的特征向量R_W更加準確合理，依據(jù)層次分析法對判斷矩陣R_PIMatrix進行一致性檢驗，定義R_CI作為衡量判斷矩陣偏離一致性的指標，R_CI=(R_λmax-n)/(n-1)，其中n為矩陣的階數(shù)；定義隨機一致性比率R_CR=R_CI/RI，其中RI為隨機一致性指標。隨機一致性指標RI可查表3獲得。

表3 科研信用評價正向指標一致性檢驗隨機一致性指標RI

對于項目申報人員/承擔人員的科研信用評價正向指標的層次模型，n=4，RI=0.89。

利用隨機一致性比率R_CR對判斷矩陣R_PIMatrix進行一致性檢驗：若R_CR<0.1，則R_PIMatrix滿足一致性檢驗要求(即特征向量R_W作為R_PIHM中指標的權(quán)重)；否則，調(diào)整R_PIMatrix的賦值，直至滿足一致性檢驗為止。

⑤ 生成項目申報人員/承擔人員的科研信用評價數(shù)學模型。

R_Credit=R_BCredit+R_PIS+R_NIS

⑥ 項目申報人員/承擔人員的科研信用評價等級R_Grade確定。

若項目申報人員/承擔人員的學術(shù)信用指標、一般失信行為指標、嚴重失信行為指標、司法信用指標出現(xiàn)一票否決的情形，則其R_Grade評為“C”等級。

類似地，可以構(gòu)建項目申報單位/承擔單位、評審評估咨詢專家、科技管理服務機構(gòu)的信用評價模型。

2 數(shù)據(jù)庫表結(jié)構(gòu)

設計4個科研信用評價對象的數(shù)據(jù)表結(jié)構(gòu)：

① 項目申報人員/承擔人員科研信用評價數(shù)據(jù)表結(jié)構(gòu)由基礎信用、項目承擔情況、守信行為激勵、學位、職稱、學術(shù)信用、一般失信行為、嚴重失信行為、金融信用、稅收信用、司法信用等屬性組成。

② 項目申報單位/承擔單位科研信用評價數(shù)據(jù)表結(jié)構(gòu)由基礎信用、項目管理和服務能力、條件保障及科研能力、信息真實性、守信行為激勵、一般失信行為、嚴重失信行為、金融信用、稅收信用、司法信用等屬性組成。

根據(jù)教育部教指委提出的機械類專業(yè)機械設計課程教學基本要求，以及應用型人才應具備的知識、能力、素質(zhì)要求，提出表1所示的《機械設計》課程教學質(zhì)量目標.

③ 評審評估咨詢專家科研信用評價數(shù)據(jù)表結(jié)構(gòu)由基礎信用、評審年限及次數(shù)、專家使用評價、項目評審結(jié)果、守信行為激勵、資質(zhì)證書、學位、職稱、學術(shù)信用、一般失信行為、嚴重失信行為、金融信用、稅收信用、司法信用等屬性組成。

④ 科技管理服務機構(gòu)(專業(yè)機構(gòu)、中介服務機構(gòu))科研信用評價數(shù)據(jù)表結(jié)構(gòu)由基礎信用、資質(zhì)證書、專業(yè)和規(guī)范、服務效果、守信行為激勵、一般失信行為、嚴重失信行為、金融信用、稅收信用、司法信用等屬性組成。

3 評價算法

本文設計實現(xiàn)了“項目申報人員/承擔人員”“項目申報單位/承擔單位”“評審評估咨詢專家”“科技管理服務機構(gòu)”4個對象的科研信用評價算法。下面以項目申報人員/承擔人員科研信用評價算法(researcher-credit-evaluation，簡稱RCE)為例，給出算法的形式描述。

算法1RCE

輸入：科研信用數(shù)據(jù)庫表中各指標的值、單位矩陣E；

Step 1：從項目申報人員/承擔人員的科研信用數(shù)據(jù)庫表中讀取其基礎信用指標計分R_BCredit、正向指標判斷矩陣R_PIMatrix、項目承擔情況計分R_Proj、守信行為激勵計分R_CreditI、學位計分R_Degree、職稱計分R_Title、學術(shù)信用扣分R_ACredit、一般失信行為扣分R_WeakNT、嚴重失信行為扣分R_SerNT、金融信用扣分R_FCredit、稅務信用扣分R_TCredit和司法信用扣分R_LCredit的數(shù)據(jù)；

Step 2：生成隨機一致性指標數(shù)組RI={0，0，0.59，0.89，1.12，1.26，1.36，1.41，1.46，1.49，1.52，1.54}；

Step 3：由正向指標計分數(shù)據(jù)構(gòu)造正向指標分值向量R_PIV；

Step 4：由負向指標扣分數(shù)據(jù)構(gòu)造負項指標分值向量R_NIS；

Step 5：計算矩陣R_PIMatrix的特征值λ1,λ2,…,λn以及最大特征值R_λmax，n為矩陣的階數(shù)；

Step 6：計算矩陣R_PIMatrix的最大特征向量R_W；

Step 7：對最大特征向量R_W歸一化處理；

Step 8：計算衡量判斷矩陣偏離一致性的指標R_CI；

Step 10：當R_CR≥0.1時，調(diào)整R_PIMatrix的賦值，重復步驟step 5～step 10，直至其滿足一致性檢驗為止；

Step 11：當R_CR<0.1時，計算正向指標計分值R_PIS、負向指標扣分值R_NIS和信用總得分R_Credit；

Step 12：若學術(shù)信用、一般失信行為、嚴重失信行為或司法信用出現(xiàn)一票否決情形，則輸出其科研信用評價等級為“C”，算法結(jié)束；

Step 13：當R_Credit≥90時，則輸出其科研信用評價等級R_Grade為“AAA”；當80≤R_Credit<90時，則輸出R_Grade為“AA”；當70≤R_Credit<80時，則輸出R_Grade為“A”；當60≤R_Credit<70時，則輸出R_Grade為“B”；當R_Credit<60時，則輸出R_Grade為“C”；

輸出：項目申報人員/承擔人員的科研信用評價等級R_Grade。

項目申報人員/承擔人員信用評價算法包括正向指標權(quán)重計算和信用等級計算。step 5和step 6的時間復雜度為O(m2)，其余步驟均為O(1)，其中m表示正向指標的個數(shù)。信用等級計算的時間和空間復雜度均為O(n)，其中n表示所有計分指標的總數(shù)。因此，科研信用評價算法的時間和空間復雜度分別為O(m2+n)。

4 實驗

實驗的硬件環(huán)境：計算機CPU4核、內(nèi)存容量8 GB、帶寬20 Mbps、硬盤容量20 GB。軟件環(huán)境：操作系統(tǒng)Windows 10、開發(fā)框架SpringBoot2.2.6、開發(fā)工具IntelliJ IDEA X64、數(shù)據(jù)庫Oracle Database 2019c。參照科技行政管理部門的業(yè)務和科技信息管理平臺產(chǎn)生的科研信用數(shù)據(jù)，生成4個評價對象的科研信用數(shù)據(jù)集，其中項目申報人員/承擔人員數(shù)據(jù)集含10 076條記錄數(shù)據(jù)、項目申報單位/承擔單位數(shù)據(jù)集含10 073條記錄數(shù)據(jù)、評審評估咨詢專家數(shù)據(jù)集含10 082條記錄數(shù)據(jù)、科技管理服務機構(gòu)(專業(yè)機構(gòu)、中介服務機構(gòu))數(shù)據(jù)集含10 068條記錄數(shù)據(jù)。

對這4個評價對象的所有記錄進行算法測試，算法運行時間分別為13.499、8.342、15.480、8.139 s。表4至表7分別給出了運行信用評價算法對項目申報人員/承擔人員、項目申報單位/承擔單位、評審評估咨詢專家、科技管理服務機構(gòu)4個數(shù)據(jù)集中部分代表性記錄計算得到的信用評價結(jié)果。

表4 項目申報人員/承擔人員科研信用評價結(jié)果

表5 項目申報單位/承擔單位科研信用評價結(jié)果

表6 評審評估咨詢專家科研信用評價結(jié)果

表7 科技管理服務機構(gòu)科研信用評價結(jié)果

通過對計算實驗結(jié)果檢驗可知，4個算法運行獲得的4個對象信用等級評價的準確率和召回率均為100 %，信用等級評價計算結(jié)果正確，均符合預期結(jié)果。

5 結(jié)論

本文的研究特色和新穎之處：基于科技行政管理部門的業(yè)務和科技信息管理平臺產(chǎn)生的科研信用數(shù)據(jù)，有機結(jié)合其他部門、社會機構(gòu)的信用數(shù)據(jù)，采取定性與定量結(jié)合的辦法，對科技工作生命周期全過程中的4個主體責任對象，建立了多維度評價項目申報人員/承擔人員、項目申報單位/承擔單位、評審評估咨詢專家、科技管理服務機構(gòu)(專業(yè)機構(gòu)、中介服務機構(gòu))的科研信用評價數(shù)學模型，設計實現(xiàn)4個評價主體的科研信用評價算法；算法運行效果好，具有應用價值。