醫(yī)院自主科研課題結題績效評估指標體系的實證研究

楊存霞，孫瑞華，顧澤龍，黃 傲，王雨萌，李 歡

（1.北京中醫(yī)藥大學 管理學院，北京 100029；2.中日友好醫(yī)院 科研和學科建設部，北京 100029）

中日友好醫(yī)院自主科研課題結題績效評估指標體系[1]是結合院級課題的特點以及“重立項審批，輕結題評估”的現(xiàn)象確定，旨在通過建立指標體系加強課題結題管理。 通過實際應用效果評價中日友好醫(yī)院自主科研課題結題績效評估指標體系，將為指標體系進一步的完善和應用提供依據(jù)。

1 對象與方法

1.1 研究對象

本研究以已建立的中日友好醫(yī)院自主科研課題結題績效評估指標體系[1]為研究對象，該指標體系分為計劃執(zhí)行情況、項目產(chǎn)出情況、課題產(chǎn)出預期3 個部分。滿分100 分，計劃執(zhí)行情況35 分、項目產(chǎn)出情況40 分、課題產(chǎn)出預期25 分[1]。

1.2 研究方法

從學術委員會成員中選取課題研究領域與評價項目相關的12 名專家， 除1 名專家缺席外，其余11 名專家在聽取課題負責人的總結報告之后，應用中日友好醫(yī)院自主科研課題結題績效評估指標體系`，根據(jù)答辯情況，分別對2010 年中日友好醫(yī)院12 個院級科研課題重點項目結題績效進行評價。

通過可信度評價指標獲取數(shù)據(jù)的可靠程度[2]，指標的可信度反映指標取得所需數(shù)據(jù)的難易程度，表現(xiàn)為不同專家評價同一指標的一致性程度。一致性程度較大， 專家可以依據(jù)指標標準較統(tǒng)一地做出評價，評價數(shù)據(jù)是可信的。 相反，一致性程度較小，可認為專家對指標標準的理解有分歧，指標的評價數(shù)據(jù)不可信。 通過可區(qū)分度評價指標區(qū)分項目不同水平的能力， 可區(qū)分度表現(xiàn)為評價不同項目時專家評分的離散程度， 離散程度越大說明指標包含信息越多， 專家區(qū)分項目水平的標準越多，指標區(qū)分不同項目水平的能力越強。

通過專家的橫向離散率評價指標可信度的可靠程度， 橫向離散率反映某專家評分與其他專家評分的一致程度， 橫向離散率越小說明專家評分越接近專家總體評價結果。 可信度反映評價過程中專家的總體離散程度， 而無法體現(xiàn)單個專家評價結果與整體結果的一致性。 剔除橫向離散率異常的專家，可提高指標可信度的可靠性。 同樣，指標的可區(qū)分度無法體現(xiàn)個別專家對項目的區(qū)分情況， 可通過專家縱向離散率評價指標可區(qū)分程度的可靠性， 專家的縱向離散率是專家評價不同項目時，評分的差異大小[3]。 剔除縱向離散率明顯區(qū)別于其他專家的縱向離散率的專家可提高指標可區(qū)分度的可靠性。 本研究為保證離散率的單位與原數(shù)據(jù)單位一致，數(shù)據(jù)結果更具說服力，采用離散率標準差的形式衡量專家評分的波動情況[4]。

2 結果

指標體系的評價內(nèi)容包括計劃執(zhí)行情況、實際產(chǎn)出情況、產(chǎn)出預期情況。計劃執(zhí)行情況對課題的目標、內(nèi)容完成情況評價，是課題管理的重要方面，引導課題方向，體現(xiàn)課題管理的功能。 實際產(chǎn)出情況反映在結題評價時課題已體現(xiàn)的產(chǎn)出情況，是依據(jù)具體的產(chǎn)出結果得出，其滯后性將不能使課題的成果在結題時充分體現(xiàn)。 產(chǎn)出預期評價是依據(jù)課題完成的工作， 對課題完成預期結果可能性的判斷，可能性越大，項目的績效情況越好，產(chǎn)出預期情況的評價提高了項目績效評價的完整性，有利于項目管理。

表1 指標體系評價結果（分）

表2 指標體系的三部分指標兩兩之間的相關度

表3 專家橫向離散率、縱向離散率結果

應用指標體系評價12 個項目， 結果見表1。各項目績效總分經(jīng)正態(tài)性檢驗，W=0.96，P=0.81，服從正態(tài)分布。 各項目90%分位數(shù)為84.06，10%分位數(shù)為64.93，按照評價10%的項目績效為優(yōu)，10%的項目績效為差的管理模式，3 號和5 號項目績效評價等級為優(yōu)，11 號和12 號項目績效評價等級為差，其他項目等級為中、良，符合科研過程目標管理，一定程度上達到科研管理目的，顯示指標體系能夠有效、 合理地評價出不同績效水平的課題。

指標體系整體可區(qū)分度95.44，結合各課題績效評價結果，表明指標體系指標信息充分，能較好地區(qū)分不同績效水平課題。對指標體系整體、計劃執(zhí)行情況和產(chǎn)出預期情況做可信度分析， 指標體系整體可信度為60.13，計劃執(zhí)行情況、預期產(chǎn)出情況的可信度分別為276.55 和221.88。 本研究數(shù)據(jù)與參考文獻[2]數(shù)據(jù)均已經(jīng)過標準化，具有可比性。 文獻中認為可信度在300～400 就比較可靠[2]，可信度得分越低，可信度越高，本研究均＜300，說明指標體系及計劃執(zhí)行情況、 預期產(chǎn)出情況結果均可信，各指標不易使專家產(chǎn)生誤解。分析指標體系的計劃執(zhí)行情況、項目產(chǎn)出情況、課題產(chǎn)出預期情況間的相關度，結果見表2。 結果顯示，各相關系數(shù)均無統(tǒng)計學差異（均P＞0.05），顯示指標間不存在相關性， 即指標體系的三部分指標均為獨立指標，評價內(nèi)容不重復，可從不同角度反映課題情況，反映了指標體系指標設置的合理性。

專家橫向離散率會影響指標的可信度， 專家縱向離散率會影響指標體系可區(qū)分程度。 分析專家橫向離散率與縱向離散率， 檢驗指標體系可信度可區(qū)分度的可靠性。計算離散率時，認為大多數(shù)專家的評價結果可靠[3]，各專家的評價結果與專家平均的整體評價結果趨勢一致， 說明各專家對各課題績效的優(yōu)劣認知是一致的。

橫向離散率結果見表3， 經(jīng)正態(tài)性檢驗W=0.95，P=0.63，服從正態(tài)分布，均值7.39，95%置信區(qū)間為（5.74，9.05），7 號、8 號、9 號專家的橫向離散率大于總體均數(shù)95%置信區(qū)間上限，顯示這三位專家評分與平均評分相差相對較大， 但三位專家評價結果的取向與總體評價一致， 說明原因是三位專家的評價尺度與專家平均的評價尺度有一定差別，但優(yōu)劣的判斷是相同的?？v向離散率結果見表3，經(jīng)正態(tài)性檢驗W=0.93，P=0.39，服從正態(tài)分布，均值11.22，95%置信區(qū)間為（9.61，12.83），5號、8 號、10 號專家的評分大于可信區(qū)間上限，提示可能夸大課題間的差別，4 號、7 號專家的評分小于可信區(qū)間下限， 提示可能未能將課題間的差別充分體現(xiàn)。

分別對各位專家評價結果與專家的平均分進行Pearson 相關檢驗， 各相關系數(shù)的P值均小于0.05， 說明各專家評分與專家平均分之間均存在良好的相關性。 綜合各專家的橫向離散率、 縱向離散率及相關系數(shù)的分析顯示， 盡管評審專家在使用指標體系時存在個體差異， 但其屬于合理的系統(tǒng)誤差和隨機誤差， 沒有導致評審結果的取向不同，指標體系有較好的可信度可區(qū)分度。

3 討論

中日友好醫(yī)院自主科研課題結題績效評估指標體系用于評價院級課題結題績效合理可行，且可以此評價加強結題績效管理。 指標體系的可信度、可區(qū)分度結果較好，說明運用該指標體系可全面有效地評價課題結題績效， 能夠?qū)崿F(xiàn)對課題結題的績效評價和管理。

與醫(yī)院戰(zhàn)略實施相脫節(jié)是很多績效評價方法存在的問題，課題結題績效評價，以往大多局限于評價課題的單純產(chǎn)出， 但課題產(chǎn)出的滯后性導致結題時產(chǎn)出并不全面完整， 且評價忽略了課題計劃的執(zhí)行情況，以及課題的期望產(chǎn)出評價。評價指標體系計劃執(zhí)行情況既可反映課題計劃的依從性，又可以引導課題按計劃方向進行；評價預期產(chǎn)出可較好的評價課題目標完成情況， 體現(xiàn)結題績效評價的合理性和公平性， 能夠?qū)φn題產(chǎn)出的滯后性進行一定的提前預評， 相對完善地評價課題結題績效。 中日友好醫(yī)院自主科研課題結題績效評估指標體系評價計劃執(zhí)行情況、實際產(chǎn)出情況、產(chǎn)出預期情況，能夠較好的實現(xiàn)科研管理功能，結果更加全面合理。 通過從各個角度評估指標體系的實際應用情況， 顯示指標體系的實際應用效果令人滿意。

根據(jù)赫伯特·西蒙的有限理性理論，“‘管理人’的知識、信息、經(jīng)驗和能力都是有限的，他不可能也不企望達到絕對的最優(yōu)解， 而只以找到滿意解為滿足。 ”該指標體系旨在成為一個初步的，現(xiàn)階段合理可行的評估模型。根據(jù)研究結果，該指標體系的應用結果是令人滿意的， 在實際應用過程中是合理可行的，隨著未來的實踐應用，還將得到進一步的完善和改進。

[1] 王媛媛，孫瑞華，樊凡，等.醫(yī)院自主科研課題結題績效評估指標體系的建立與研究[J].中華醫(yī)學科研管理雜志，2013，26（5）：303-308.

[2] 劉魯寧. 科技項目同行評議體系反評估模型分析與設計[D].哈爾濱工業(yè)大學，2007.

[3] 張立軍，羅珍，曹瑋，等.科技成果獎勵評價中對專家的反評估分析[J].統(tǒng)計與信息論壇，2008，23（10）：14-17，51.

[4] 樊凡，孫瑞華，楊存霞，等.醫(yī)院自主科研課題結題質(zhì)量評估研究[J].中華醫(yī)院管理雜志，2013，29（10）：795-798.