科技評(píng)估方法的進(jìn)展動(dòng)態(tài)與方法論啟示

王汐朋++楊渝玲

摘要： 在國(guó)際科技評(píng)估領(lǐng)域，近年來(lái)對(duì)原有既成的方法有了較多進(jìn)展。因果定性分析、群組概念圖、博弈論和進(jìn)化評(píng)估的建模等評(píng)估方法，為當(dāng)今中國(guó)科技評(píng)估體系的發(fā)展提供了重要參考。充分考察國(guó)際科技評(píng)估進(jìn)展動(dòng)態(tài)，對(duì)于中國(guó)科技評(píng)估規(guī)范的及時(shí)更新，具有方法論意義。

Abstract： In the field of international science and technology assessment， more progress has been made to the existing methods. Causal qualitative analysis， group concept map， game theory and evolutionary assessment modeling methods provide an important reference for the development of China's science and technology assessment system. It is of methodological significance to fully investigate the progress of international scientific and technological progress in the assessment of China's scientific and technological assessment.

關(guān)鍵詞： 科技評(píng)估；評(píng)估方法；方法論

Key words： science and technology assessment；assessment method；methodology

中圖分類(lèi)號(hào)：G321.5 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1006-4311（2017）36-0235-03

1 考察國(guó)際科技評(píng)估方法的必要性

科學(xué)決策一直把評(píng)估當(dāng)作重要工具來(lái)評(píng)價(jià)研究項(xiàng)目、計(jì)劃或者整個(gè)研究機(jī)構(gòu)。中國(guó)從上世紀(jì)90年代以來(lái)，不斷地加強(qiáng)科技評(píng)估管理和研究。從“謀斷合一”走向“謀斷分離”，為提高政府決策的科學(xué)化水平、降低決策風(fēng)險(xiǎn)，始終致力于高質(zhì)量的評(píng)估需求。在具體的評(píng)估活動(dòng)中，評(píng)估標(biāo)準(zhǔn)與規(guī)范是重要依據(jù)?？萍荚絹?lái)越趨于復(fù)雜化，也給科技評(píng)估的規(guī)范和標(biāo)準(zhǔn)帶來(lái)全球性挑戰(zhàn)，突顯了制定評(píng)估方法和考量方法的緊迫性。如今科技評(píng)估已越來(lái)越成為“戰(zhàn)略智能”的來(lái)源，即評(píng)估活動(dòng)不僅著眼于過(guò)去、現(xiàn)在，而且更關(guān)注對(duì)于未來(lái)科技戰(zhàn)略的制定和啟示。在國(guó)際間形成基本一致的概念框架模式、標(biāo)準(zhǔn)與規(guī)范，對(duì)于推進(jìn)國(guó)際間科技的交流與合作無(wú)疑有著深遠(yuǎn)的價(jià)值。

中國(guó)的科技評(píng)估是為適應(yīng)對(duì)公共科技投入進(jìn)行監(jiān)督和科學(xué)決策的需求應(yīng)運(yùn)而生。因而，早期主要關(guān)注為國(guó)家科技計(jì)劃的管理服務(wù)的評(píng)估，開(kāi)創(chuàng)了適應(yīng)國(guó)情的評(píng)估理論方法和體系?？v觀中國(guó)20余年的發(fā)展歷程，“專(zhuān)業(yè)化”、“規(guī)范化”是每一項(xiàng)評(píng)估工作追求的標(biāo)準(zhǔn)，并且在每一項(xiàng)評(píng)估活動(dòng)中，都把“客觀、公正、科學(xué)”的信譽(yù)看作是自身賴(lài)以生存的生命線。中國(guó)第一個(gè)行為規(guī)范和技術(shù)規(guī)范是在2001年出版的《評(píng)估規(guī)范》。該規(guī)范作為中國(guó)評(píng)估理論和實(shí)踐經(jīng)驗(yàn)的濃縮，標(biāo)志著中國(guó)科技評(píng)估開(kāi)始步入專(zhuān)業(yè)化階段。

不過(guò)，由于實(shí)踐時(shí)間相對(duì)較短，加之國(guó)情和國(guó)內(nèi)科技發(fā)展階段的特點(diǎn)，盡管中國(guó)已經(jīng)形成自身的評(píng)估特色，但是在全球化的背景下，能夠與國(guó)際接軌的評(píng)估行業(yè)標(biāo)準(zhǔn)，尤其是科技評(píng)估的標(biāo)準(zhǔn)尚有待于進(jìn)一步完善和修訂。因?yàn)閲?guó)際評(píng)估組織每一部的標(biāo)準(zhǔn)與規(guī)范的都明確要在實(shí)踐中不斷的更新、修訂與完善。比如JCSEE在2010年已經(jīng)更新到第三版、UNEG也分別在2005、2008、2011年分別制定、補(bǔ)充各項(xiàng)標(biāo)準(zhǔn)與規(guī)范，而我國(guó)科技評(píng)估規(guī)范和方法尚未及時(shí)更新。

因此，中國(guó)迫切需要結(jié)合目前的科技發(fā)展?fàn)顩r要加強(qiáng)更新和完善，以制定符合中國(guó)國(guó)情特色、適應(yīng)我國(guó)科技發(fā)展和能夠與國(guó)際接軌的評(píng)估標(biāo)準(zhǔn)與規(guī)范。研究分析最新的國(guó)際有代表性的評(píng)估標(biāo)準(zhǔn)與規(guī)范將成為新形勢(shì)下必要而迫切的工作。在國(guó)際科技評(píng)估領(lǐng)域，近年來(lái)對(duì)原有既成的方法有了較多革新進(jìn)展。《American Journal of Evaluation》（AJE）、《Evaluation： The International Journal of Theory， Research and Practice》（EIJ）、《New Directions for Evaluation》（NDE）、《Evaluation and Program Planning》（EPP）是世界評(píng)估領(lǐng)域權(quán)威的四大刊物。本文聚焦評(píng)估方法，對(duì)其近年文獻(xiàn)進(jìn)行調(diào)研評(píng)析，并就方法論層面探討。

2 科技評(píng)估方法的進(jìn)展動(dòng)態(tài)

近年來(lái)，評(píng)估方法進(jìn)展的一個(gè)新趨勢(shì)是結(jié)合具體特定領(lǐng)域來(lái)制定。對(duì)傳統(tǒng)的定量分析有新的突破，逐漸重視定性分析。對(duì)原有評(píng)估方法的集成運(yùn)用也有新的探索，特別是參數(shù)相關(guān)性的建模?？傮w來(lái)說(shuō)，都極為注重具體項(xiàng)目的特定條件，都試圖從特定條件出發(fā)來(lái)設(shè)計(jì)。

2.1 定性比較分析研究

相對(duì)于傳統(tǒng)的定量分析，定性比較分析方式善于處理復(fù)雜性因果關(guān)系問(wèn)題。其中定性對(duì)比分析方法是一種有效的手段，用來(lái)提供在干預(yù)手段與背景產(chǎn)生交互情況下的證據(jù)，可以從特定條件如何與預(yù)期結(jié)果相結(jié)合的考察中獲得因果途徑的端倪。Fritz Sager和Ce′ line Andereggen（AJE，2012（1）：60-78）認(rèn)為，定性比較分析方法可以用來(lái)處理政策決策中各因素之間現(xiàn)實(shí)主義復(fù)雜的因果關(guān)系，并通過(guò)在17例瑞士交通政策的例子中應(yīng)用兩步定性比較分析方法證明了其觀點(diǎn)。Keith Zvoch（AJE，2014（9）：430-440）指出，因果關(guān)系是伴隨著適合多層級(jí)和潛變量模型的估計(jì)算法的發(fā)展。他的研究提供了以定性為導(dǎo)向的評(píng)估者越來(lái)越相關(guān)的五個(gè)方法內(nèi)容的概要，包括因果推斷/實(shí)驗(yàn)設(shè)計(jì)、多層級(jí)模型、結(jié)構(gòu)方程及潛變量模型、縱向數(shù)據(jù)分析、缺失數(shù)據(jù)以及便于理解和使用的教材資源?？偟膩?lái)說(shuō)，定性研究方法變得越來(lái)越概念集成化和技術(shù)成熟化。對(duì)支撐因果推論的框架設(shè)計(jì)與分析的基本看法已經(jīng)轉(zhuǎn)變了傳統(tǒng)的方法實(shí)踐并迎來(lái)對(duì)現(xiàn)代數(shù)據(jù)建模技術(shù)之間潛在關(guān)系的新認(rèn)識(shí)。endprint

2.2 結(jié)合案例對(duì)原有評(píng)估方法的集成與混合

António Firmino da Costa（EPP，2013（4），1-9）以評(píng)價(jià)葡萄牙全國(guó)閱讀計(jì)劃為例重點(diǎn)介紹評(píng)價(jià)復(fù)雜計(jì)劃的基于多元化并建立于混合方法的集成方法，其在評(píng)價(jià)第一階段使用的評(píng)價(jià)模型使持續(xù)且系統(tǒng)的監(jiān)控、以及分析項(xiàng)目計(jì)劃等的開(kāi)發(fā)和實(shí)施成為可能，并指出了混合方法在評(píng)價(jià)計(jì)劃的潛力。Carter Bloch和Mads P. Sensen（EPP，2014（3）：105-117）指出，由于人們對(duì)科學(xué)基金如何分配才能提升社會(huì)經(jīng)濟(jì)發(fā)展的問(wèn)題更加重視，這些需求涉及到了一系列復(fù)雜問(wèn)題。借鑒評(píng)估基金影響的案例，說(shuō)明了混合方法為政策影響分析帶來(lái)了強(qiáng)大而完整的價(jià)值。Yuriko Sato（EIJ， 2012（2）：230-245）運(yùn)用了對(duì)照組和實(shí)驗(yàn)組結(jié)果的標(biāo)準(zhǔn)化平均差的方法解釋了日本對(duì)國(guó)外留學(xué)生的評(píng)估政策。Zaheer Khan，David Ludlow（EPP，2013（5）：27-41）在評(píng)估大規(guī)模的綜合研究項(xiàng)目中定義了參與式評(píng)價(jià)方法并使用了基于用戶(hù)的評(píng)價(jià)結(jié)果，并強(qiáng)調(diào)參與式評(píng)價(jià)方法可以有效應(yīng)用于其他領(lǐng)域的合作研究項(xiàng)目。Staffan Bjurulf，Evert Vedung and C. G. Larsson（EIJ，2013（1）：56-73）用三角測(cè)量集群效應(yīng)結(jié)合方法來(lái)克服影響評(píng)估結(jié)果可靠性的挑戰(zhàn)，三角測(cè)量集群效應(yīng)結(jié)合方法是用陰影控制、通用控制和過(guò)程追蹤結(jié)合起來(lái)一起揭示因果關(guān)系。Alyssa W. Goldman和Mary Kane（EPP，2014（12）：9-17）對(duì)概念圖與網(wǎng)絡(luò)分析進(jìn)行了研究并指出，測(cè)量結(jié)構(gòu)關(guān)系的分析方法，）群組概念圖是通過(guò)一系列相關(guān)的圖標(biāo)形象展示觀點(diǎn)的混合性方法，這些圖標(biāo)和附加的圖形對(duì)規(guī)劃、評(píng)估和理論發(fā)展都有幫助。群組概念圖通過(guò)點(diǎn)、集群和距離描述解釋設(shè)計(jì)構(gòu)念的潛在特性。重點(diǎn)是把網(wǎng)絡(luò)分析應(yīng)用到群組概念圖上以量化集群關(guān)系之間的強(qiáng)度和方向。

2.3 結(jié)合案例研究新方法的應(yīng)用

Leon Hermans、Scott Cunningham和Jill Slinger（EIJ，2014（1）：10-25）基于對(duì)評(píng)估和博弈論方面文獻(xiàn)的綜述，闡述了博弈論作為評(píng)估方法有用性問(wèn)題，通過(guò)對(duì)荷蘭沿海政策評(píng)估中使用博弈論，表明博弈論有助于開(kāi)啟實(shí)施過(guò)程依賴(lài)于部分利益相關(guān)者行為的政策暗箱。博弈論的潛力很大程度上在于其作為正規(guī)模型方法的應(yīng)用。Zaheer Khan和David Ludlow（EPP，2013（5）：27-41）在評(píng)估大規(guī)模的綜合研究項(xiàng)目中定義了參與式評(píng)價(jià)方法并使用了基于用戶(hù)的評(píng)價(jià)結(jié)果，并強(qiáng)調(diào)參與式評(píng)價(jià)方法可以有效應(yīng)用于其他領(lǐng)域的合作研究項(xiàng)目。Jessica Shawand Rebecca Campbell（AJE，2014（6）：250-260）指出了“過(guò)程運(yùn)用”的流程在多點(diǎn)評(píng)價(jià)中的縱向評(píng)估方法。過(guò)程運(yùn)用（Process Use）指利益相關(guān)者和評(píng)估者改變成為參與評(píng)估活動(dòng)的一種功能的途徑。雖然過(guò)程運(yùn)用的討論屢見(jiàn)不鮮，但是探索為過(guò)程運(yùn)用的測(cè)量和評(píng)估而制定的方法論戰(zhàn)略不多，特別是關(guān)于過(guò)程運(yùn)用的實(shí)證研究一直局限在單點(diǎn)評(píng)估項(xiàng)目的跨部門(mén)研究上。研究者對(duì)多點(diǎn)評(píng)估項(xiàng)目的過(guò)程運(yùn)用進(jìn)行了縱向研究，在三個(gè)時(shí)間點(diǎn)上對(duì)利益相關(guān)者在學(xué)習(xí)、態(tài)度和行為方面的變化進(jìn)行了評(píng)估：評(píng)估咨詢(xún)之前；接近長(zhǎng)達(dá)一年的參與式咨詢(xún)項(xiàng)目的總結(jié)點(diǎn)；項(xiàng)目終止6-8周后。結(jié)果表明不同區(qū)域的流程使用會(huì)隨著時(shí)間推移出現(xiàn)差異性的發(fā)展。

2.4 對(duì)評(píng)估體系和模型建構(gòu)的研究

Wes Martz（AJE，2013（3）：385-401）探討了由組織理論和管理領(lǐng)域的學(xué)者建立的用以評(píng)價(jià)組織績(jī)效的五個(gè)現(xiàn)存模型，包括目標(biāo)模型、系統(tǒng)模型、過(guò)程模型、戰(zhàn)略選擇模型以及競(jìng)爭(zhēng)價(jià)值模型，作者根據(jù)現(xiàn)有模型的分析建立了一個(gè)用來(lái)評(píng)估組織績(jī)效的檢查方法，將評(píng)估邏輯細(xì)致地納入其框架，并且在保存現(xiàn)有模型優(yōu)勢(shì)的基礎(chǔ)上減輕比較突出的局限性。Hung-Yi Wu（EPP，2012（3）：303-320）研究了在銀行績(jī)效中把關(guān)鍵績(jī)效指標(biāo)（KPI）引入到銀行機(jī)構(gòu)的平衡記分卡（BSC—）戰(zhàn)略布局中。關(guān)鍵績(jī)效指標(biāo)，是由專(zhuān)家組成的委員會(huì)從相關(guān)的文獻(xiàn)中篩選并組合出對(duì)于銀行業(yè)績(jī)最重要的評(píng)估指標(biāo)，并使用決策測(cè)試和評(píng)估實(shí)驗(yàn)室（DEMATEL）這種多標(biāo)準(zhǔn)分析工具確定關(guān)鍵績(jī)效指標(biāo)之間的因果關(guān)系，找出關(guān)鍵的核心和影響因素，從而在邏輯角度上建立了提高銀行績(jī)效的可視化的戰(zhàn)略布局。Jennifer Brown Urban、Monica Hargraves和William M. Trochim（EPP，2014（8）：127-139）研究了進(jìn)化理論、發(fā)展系統(tǒng)理論和進(jìn)化認(rèn)識(shí)論，為了解評(píng)估、評(píng)估發(fā)展歷史以及評(píng)估的作用提供了理論基礎(chǔ)。進(jìn)化評(píng)估是在項(xiàng)目和評(píng)估演化階段實(shí)施的，進(jìn)化評(píng)估的模型融入了自下而上和自上而下的評(píng)估發(fā)展的概念，由此產(chǎn)生的框架對(duì)許多項(xiàng)目管理和評(píng)估問(wèn)題有重要的意義。研究者說(shuō)明了進(jìn)化評(píng)估視角如何能夠用隨機(jī)控制實(shí)驗(yàn)在評(píng)估中闡述重要的辯論，這樣的辯論能激起人們對(duì)“證據(jù)為基礎(chǔ)評(píng)估”的反思。從進(jìn)化評(píng)估視角看，對(duì)證據(jù)為基礎(chǔ)評(píng)估的一般性解釋是評(píng)估進(jìn)化的重大挑戰(zhàn)，說(shuō)明了評(píng)估階段的不一致而導(dǎo)致的后果，支持以研究者為導(dǎo)向的評(píng)估和以實(shí)踐者為導(dǎo)向的評(píng)估的重要性。

3 中國(guó)與國(guó)際科技評(píng)估方法的比較和借鑒

評(píng)估標(biāo)準(zhǔn)與規(guī)范基本的精神中國(guó)已經(jīng)具備，但是國(guó)際科技評(píng)估標(biāo)準(zhǔn)的結(jié)構(gòu)在長(zhǎng)期的實(shí)踐中已經(jīng)基本趨于統(tǒng)一，而我國(guó)的標(biāo)準(zhǔn)尚未精準(zhǔn)投放到每一個(gè)評(píng)估者和評(píng)估活動(dòng)中。國(guó)際的標(biāo)準(zhǔn)一直隨著實(shí)踐和情況的進(jìn)行動(dòng)態(tài)調(diào)整，不斷修正與更新，我國(guó)的規(guī)范制定于2001年，在此之后一直沒(méi)有及時(shí)更新。國(guó)際科技評(píng)估標(biāo)準(zhǔn)和規(guī)范已基本形成了系統(tǒng)的管理制度的一個(gè)重要指標(biāo)，并且實(shí)施動(dòng)態(tài)管理，從面上看，輻射到涉及評(píng)估的各個(gè)環(huán)節(jié)，從點(diǎn)上看，精準(zhǔn)地針對(duì)評(píng)估中的不同職能定位有不同的標(biāo)準(zhǔn)，包括評(píng)估組織、評(píng)估者和參與組織與個(gè)人的標(biāo)準(zhǔn)與規(guī)范。

在一項(xiàng)評(píng)估活動(dòng)中，有些原則是必須遵循的。如果不遵循其中某些原則，需要有充分的理由（如法律方面的限制）。當(dāng)然，這些原則是在西方文化特別是美國(guó)文化背景中產(chǎn)生的，未必與其他國(guó)家特別是中國(guó)相適應(yīng)。但是，國(guó)際科技評(píng)估原則中，要求評(píng)估者所秉持的價(jià)值導(dǎo)向、道德規(guī)范和理念方法，對(duì)于任何文化背景下的評(píng)估活動(dòng)，仍不失為一個(gè)普遍適用的職業(yè)規(guī)范。這對(duì)于結(jié)合我國(guó)的國(guó)情、科技發(fā)展階段和評(píng)估實(shí)踐的特點(diǎn)來(lái)綜合衡量與比較，制定出符合中國(guó)特點(diǎn)的評(píng)估標(biāo)準(zhǔn)與規(guī)范，有啟發(fā)和借鑒的意義。

總而言之，充分考察當(dāng)今國(guó)際科技評(píng)估方法研究的新動(dòng)態(tài)，是中國(guó)科技評(píng)估發(fā)展的重要方法論。國(guó)際科技評(píng)估組織和評(píng)估層次較為多元，評(píng)估標(biāo)準(zhǔn)與規(guī)范在實(shí)踐中運(yùn)用的時(shí)間也較長(zhǎng)，經(jīng)歷了不斷的修正的過(guò)程，有重要的參考價(jià)值。在全球化背景下，為科技決策的制定與有效實(shí)施，制定出符合中國(guó)國(guó)情，同時(shí)又能夠與國(guó)際進(jìn)行交流、對(duì)話和合作的科技評(píng)估標(biāo)準(zhǔn)與規(guī)范的任務(wù)迫在眉睫。

參考文獻(xiàn)：

[1]菲利普·夏皮拉，斯蒂芬·庫(kù)爾曼.科技政策評(píng)估——來(lái)自美國(guó)和歐洲的經(jīng)驗(yàn)[M].方衍，邢懷濱，等譯.北京：科學(xué)技術(shù)文獻(xiàn)出版社，2015.

[2]黨倩娜，楊鶯歌，吳磊.國(guó)外創(chuàng)新評(píng)估的發(fā)展概況[J].科技進(jìn)步與對(duì)策，2010（5）.

[3]王嘉.科技成果評(píng)估方法與指標(biāo)體系的研究[D].中國(guó)礦業(yè)大學(xué)（北京），2010.endprint