新疆醫(yī)藥績效評價指標(biāo)體系構(gòu)建

李玉革,馬 瑾,單志桂,俞 婧

(新疆醫(yī)科大學(xué)第一附屬醫(yī)院科技管理科，烏魯木齊 830011)

根據(jù)《關(guān)于自治區(qū)級附設(shè)性醫(yī)藥研究所現(xiàn)場勘驗結(jié)果的通報》(新衛(wèi)科教發(fā)2013年23號)，新疆醫(yī)藥研究所存在的問題主要有：未形成明確、穩(wěn)定的科研發(fā)展方向、人才梯隊發(fā)展不均衡、科研工作原始創(chuàng)新不足、技術(shù)輻射作用有待加強(qiáng)、實驗室基礎(chǔ)條件薄弱、組織管理能力欠缺等。隨著科技創(chuàng)新驅(qū)動戰(zhàn)略的實施，自治區(qū)對醫(yī)藥研究所的管理尚未形成科學(xué)的考核標(biāo)準(zhǔn)，尚未建立相應(yīng)的績效評價體系。建立一套完善的指標(biāo)評價體系，客觀公正地評價醫(yī)藥研究所的醫(yī)療、科研、學(xué)術(shù)、團(tuán)隊、運(yùn)行管理等工作，是自治區(qū)級附設(shè)性醫(yī)藥研究所管理中亟待解決的問題。

1 對象和方法

1.1參與專家按照代表性與權(quán)威性的原則及學(xué)術(shù)專家與管理專家相結(jié)合的原則，依據(jù)專家知識結(jié)構(gòu)、社會職務(wù)結(jié)構(gòu)和年齡結(jié)構(gòu)遴選專家。課題組邀請專家19名，包括：大學(xué)主管科技工作副校長2名，烏魯木齊市三級甲等醫(yī)院領(lǐng)導(dǎo)2名、科研管理人員4名、工作15年以上的臨床專家11名。2016年11月至2017年6月進(jìn)行兩輪專家咨詢。

1.2研究方法采用文獻(xiàn)綜述法、德爾菲法(兩輪專家咨詢后形成評價指標(biāo))確定新疆自治區(qū)級附設(shè)性醫(yī)藥研究所績效評價指標(biāo)體系。

1.3研究過程

1.3.1 指標(biāo)體系的初建 指標(biāo)體系草案的擬定分為4個步驟：①課題組對新疆自治區(qū)級附設(shè)性醫(yī)藥研究所績效評價進(jìn)行分析和分解，找到績效評價的主要節(jié)點；②課題組制定統(tǒng)一的檢索策略，檢索國內(nèi)外相關(guān)數(shù)據(jù)庫和網(wǎng)絡(luò)資源，全面收集有關(guān)醫(yī)藥研究所管理、績效評價等方面的文獻(xiàn)，對文獻(xiàn)進(jìn)行循證評價；③對文獻(xiàn)循證評價結(jié)果組織院內(nèi)專家進(jìn)行專題小組討論，提出初步構(gòu)建的評價指標(biāo)體系；④對初步構(gòu)建的研究所績效評價指標(biāo)體系，在本院研究所管理人員中進(jìn)行指標(biāo)重要性的評價。結(jié)合以上4個步驟，最終擬定指標(biāo)體系草案。整個指標(biāo)體系分2級，一級指標(biāo)5個、二級指標(biāo)33個。

1.3.2 專家咨詢問卷的設(shè)計 本研究專家咨詢表共分為4個部分。①指導(dǎo)語：簡要介紹本次課題研究的背景、內(nèi)容及寫明本次專家咨詢的目的和意義；②專家基本信息，包括年齡、性別、職務(wù)、職稱、專業(yè)、學(xué)歷、工作時間等；③新疆自治區(qū)級附設(shè)性醫(yī)藥研究所績效評價指標(biāo)體系的主體部分，專家咨詢表的主體部分由新疆自治區(qū)級附設(shè)性醫(yī)藥研究所績效評價指標(biāo)構(gòu)成，分為一、二級指標(biāo)。對于各級指標(biāo)的重要性采用Likert 5級計分法，5=非常重要，4=重要，3=一般，2=不重要，1=非常不重要；④專家的權(quán)威程度表，包括專家對指標(biāo)的熟悉程度及判斷依據(jù)，熟悉程度采用1(很不熟悉)～5(熟悉)分進(jìn)行評估；判斷依據(jù)設(shè)計4個方面：理論分析、工作經(jīng)驗、對國內(nèi)外同行了解程度和直觀感覺對專家作出判斷的影響，采用3分法(1分為“影響小”，2分為“影響一般”，3分為“影響大”)。

1.3.3 Delphi法的具體實施 研究者本人以面對面的形式向各位專家發(fā)放咨詢表，并了解其評判時的想法，進(jìn)一步對課題的研究內(nèi)容進(jìn)行溝通。在收取第一輪咨詢表后，根據(jù)專家的意見對部分條目進(jìn)行刪除、修改和增加，在對第一輪咨詢表修正的基礎(chǔ)上，形成第二輪咨詢表，并進(jìn)行第二輪專家咨詢。

1.4統(tǒng)計方法采用積極系數(shù)、權(quán)威程度、協(xié)調(diào)程度3個指標(biāo)檢驗專家咨詢的可靠性。積極系數(shù)為回收有效咨詢問卷的專家占全部專家人數(shù)比；權(quán)威程度由專家對評價方案的判斷依據(jù)和專家對問題的熟悉程度來決定；協(xié)調(diào)程度采用肯德爾和諧系數(shù)進(jìn)行檢驗。數(shù)據(jù)采用SPSS 17.0統(tǒng)計學(xué)軟件進(jìn)行分析。

2 結(jié) 果

2.1專家一般情況本次德爾菲專家咨詢共兩輪，每輪均有19位專家參加，反饋有效問卷的18位專家中，來自醫(yī)院的有16人、占88.9%，大學(xué)主管科技工作副校長2人。18名專家的年齡為53.56±4.22歲，最小年齡為46歲，最大為59歲；工齡為32.50±6.87年，最小工齡為18年，最大為42年。18名專家中，男性占77.8%，正高技術(shù)職稱100%，醫(yī)學(xué)博士學(xué)位的占88.9%；漢族占66.7%，蒙古族占11.1%，維吾爾族占11.1%，哈薩克族占5.6%，回族占5.6%。

2.2專家積極程度專家積極程度用每輪問卷的有效回復(fù)率及專家意見提出率表示。本研究兩輪咨詢的回復(fù)率分別為94.7%、94.7%,平均有效回復(fù)率為94.7%；第1、2輪分別有6名(33.3%)、1名(5.60%)專家針對新疆自治區(qū)級附設(shè)性醫(yī)藥研究所績效評價指標(biāo)體系提出意見和建議。

2.3專家意見權(quán)威程度專家的權(quán)威系數(shù)(Cr)由專家對咨詢內(nèi)容做出判斷的依據(jù)(Ca)和專家對咨詢內(nèi)容的熟悉程度(Cs)2個因素決定,Cr=(Ca+Cs) /2。權(quán)威系數(shù)在0～1，數(shù)值越大說明專家越權(quán)威[1]。本研究兩輪咨詢專家Cr分別為0.88、0.91,專家權(quán)威性均大于0.8，專家權(quán)威性較好。

2.4專家意見協(xié)調(diào)程度專家意見協(xié)調(diào)程度指所有專家對所調(diào)查內(nèi)容的全部指標(biāo)的評價意見是否存在較大分歧。用變異系數(shù)(Vj)表示單個課程條目協(xié)調(diào)程度，用肯德爾和諧系數(shù)(Kendall’s W)表示所有指標(biāo)協(xié)調(diào)程度。

① Vj:Vj越小說明專家的協(xié)調(diào)程度越高。本研究第1輪函詢Vj為0.000～0.454，平均值0.227；第2輪函詢Vj為0.077～0.311，平均值0.117。

② 協(xié)調(diào)系數(shù)：Delphi法的Kendall’s W越大協(xié)調(diào)性越好。顯著性檢驗是專家意見一致性程度的可信性檢驗，P值越小，可信度越高。在兩輪函詢中，Kendall’s W經(jīng)檢驗后均有統(tǒng)計學(xué)意義(P<0.001)(表1)，說明專家協(xié)調(diào)程度好。

表1 Kendall協(xié)調(diào)系數(shù)及顯著性檢驗

2.5確定新疆自治區(qū)級附設(shè)性醫(yī)藥研究所績效評價指標(biāo)體系本研究經(jīng)兩輪專家咨詢，最終形成“新疆自治區(qū)級附設(shè)性醫(yī)藥研究所績效評價指標(biāo)體系”，包括5項一級指標(biāo)，28項二級指標(biāo)(表2)。

表2 第2輪專家咨詢結(jié)果

3 討 論

專家咨詢的可信度Delphi法是一種對意見的價值進(jìn)行判斷的方法，其可靠性和科學(xué)性可以從專家意見的權(quán)威性、積極性、代表性、協(xié)調(diào)程度、指標(biāo)的篩選、問卷的回收等方面來綜合分析與判斷[2-4]。本研究在全疆范圍內(nèi)開展較大規(guī)模和較高層次的專家咨詢，構(gòu)建新疆自治區(qū)級附設(shè)性醫(yī)藥研究所績效評價指標(biāo)體系。

3.1咨詢專家的遴選本研究選邀的咨詢專家涉及普外、骨外、胸心外、神外、心血管病、腎病、血液病、內(nèi)分泌與代謝病、影像醫(yī)學(xué)與核醫(yī)學(xué)、口腔臨床醫(yī)學(xué)、麻醉學(xué)、衛(wèi)生事業(yè)管理等學(xué)科領(lǐng)域。此外，專家中既有從事醫(yī)院管理的專家，又有從事醫(yī)療服務(wù)的臨床資深專家及青年學(xué)者，結(jié)構(gòu)層次互補(bǔ)。

3.2指標(biāo)體系草案的擬定及調(diào)查問卷設(shè)計本研究特別注重和強(qiáng)調(diào)指標(biāo)體系草案構(gòu)建過程的嚴(yán)謹(jǐn)性和科學(xué)性。課題組先從自治區(qū)級附設(shè)性醫(yī)藥研究所管理的角度分析研究所管理的主要節(jié)點，然后運(yùn)用循證醫(yī)學(xué)的原理和方法，對國內(nèi)外所有有關(guān)文獻(xiàn)的質(zhì)量進(jìn)行循證評價，根據(jù)引用頻次和文獻(xiàn)證據(jù)等級提取指標(biāo)。在此基礎(chǔ)上進(jìn)行專題小組討論，以確保同一級的指標(biāo)能夠很好地反映上一級目標(biāo)包含的內(nèi)容，且避免出現(xiàn)指標(biāo)條目間的交叉性。最后，在本院研究所管理人員中做了有關(guān)指標(biāo)重要性評價的調(diào)查研究，最終擬定指標(biāo)體系草案。為保證專家填答的積極性和完整性，每輪問卷在設(shè)計時，力求表格簡潔、問題集中、表述清楚、用詞確切，避免因表格過于復(fù)雜而影響專家做出正確的評價。同時每輪問卷均附有詳細(xì)的指導(dǎo)語，表格中留有足夠的空白，便于專家闡明自己的意見。咨詢表以面對面的方式發(fā)放，回收后逐條審核。對漏答和明顯錯誤者，及時請專家進(jìn)行重填，避免缺失項，盡可能地保證問卷質(zhì)量。

3.3咨詢專家的可靠性及指標(biāo)體系的兩輪專家咨詢本研究所進(jìn)行的兩輪德爾菲法專家咨詢函詢調(diào)查，問卷返回率均是94.7%，回收率高。同時，針對整個問卷提出建設(shè)性意見的專家分別占總?cè)藬?shù)的33.3%和5.60%，再次證明專家的關(guān)注度及積極性高。本研究兩輪咨詢專家權(quán)威程度分別為0.88、0.91，說明專家對指標(biāo)非常熟悉，權(quán)威程度比較高，預(yù)測結(jié)果可靠性好。本研究采用肯德爾和諧系數(shù)分析檢驗專家意見的協(xié)調(diào)程度，以此作為Delphi法應(yīng)用可靠性的重要判斷尺度之一[5-6]。根據(jù)國內(nèi)幾項大型的Delphi法在衛(wèi)生系統(tǒng)的應(yīng)用研究，經(jīng)2～3輪咨詢后，誤差控制較好，協(xié)調(diào)系數(shù)在0.4～0.5波動[7-8]。相比這個標(biāo)準(zhǔn)，本次研究中第一輪專家的肯德爾和諧系數(shù)是0.255，第二輪專家的肯德爾和諧系數(shù)是0.668，二輪咨詢的專家意見協(xié)調(diào)系數(shù)波動值為0.413，說明專家意見的協(xié)調(diào)程度較高，結(jié)果可取。

本研究通過兩輪專家咨詢構(gòu)建的多維度指標(biāo)體系，緊緊圍繞自治區(qū)級附設(shè)性醫(yī)藥研究所績效評價原理，從“醫(yī)療服務(wù)條件”、“科研實力”、“學(xué)術(shù)影響力”、“團(tuán)隊建設(shè)”、“運(yùn)行管理”等方面進(jìn)行全面系統(tǒng)的評價。整個指標(biāo)體系分為二級，其中一級指標(biāo)“醫(yī)療服務(wù)條件”包括4個二級指標(biāo)；一級指標(biāo)“科研實力”包括9個二級指標(biāo)；一級指標(biāo)“學(xué)術(shù)影響力”包括3個二級指標(biāo)；一級指標(biāo)“團(tuán)隊建設(shè)”包括4個二級指標(biāo)；一級指標(biāo)“運(yùn)行管理”包括8個二級指標(biāo)?？傮w來說，所有二級指標(biāo)的變異系數(shù)隨咨詢輪數(shù)增加而減少。第二輪的一級指標(biāo)重要性評分均值從高到低依次是“運(yùn)行管理”、“團(tuán)隊建設(shè)”、“科研實力”、“學(xué)術(shù)影響力”、“醫(yī)療服務(wù)條件”。28項二級指標(biāo)中“新增國家級科研項目至少3項/年”在第一輪(5.00±0.00)和第二輪(4.11±0.316)的重要性評分均值均為最高。二級指標(biāo)中“發(fā)表SCI收錄論文影響因子總分達(dá)到15分以上，其中5分以上至少3篇”、“至少有1項省部級科技進(jìn)步獎勵”、“人均課題中標(biāo)率(%)”、“疾病(主要研究方向的)流行病學(xué)基線調(diào)查實施情況”、“研究所秘書輪轉(zhuǎn)情況”等重要性評分均值均較高。

本研究存在以下局限性。本次研究構(gòu)建新疆自治區(qū)級附設(shè)性醫(yī)藥研究所績效評價指標(biāo)體系，但未對評價標(biāo)準(zhǔn)進(jìn)行研究。進(jìn)一步使用該指標(biāo)體系，將從評價標(biāo)準(zhǔn)和操作細(xì)則方面研究。另外，評價指標(biāo)體系及標(biāo)準(zhǔn)建立后，還需要進(jìn)行大樣本的實證研究，以檢驗其可操作性和有效性，為推廣應(yīng)用提供證據(jù)依據(jù)?？偟膩碚f，兩輪專家咨詢后，專家對指標(biāo)評分集中趨勢明顯，變異系數(shù)趨向減小，協(xié)調(diào)系數(shù)趨向增大，表明專家對各級指標(biāo)協(xié)調(diào)程度增高，指標(biāo)體系框架合理。