科普圖書類項目評價指標體系及應用研究

王 新，王海蕓，陶曉麗

北京決策咨詢中心，北京 100089

科普圖書類項目評價指標體系及應用研究

王 新，王海蕓，陶曉麗

北京決策咨詢中心，北京 100089

本文立足于科普圖書類項目實施情況評估工作，提出科普圖書類項目評價指標的構(gòu)建原則、方法，評價標準設(shè)定的原則與方法，以及評價指標設(shè)置的權(quán)重問題等。通過對北京地區(qū)某社會征集科普圖書類資助項目的實施情況進行總結(jié)性評估研究，發(fā)現(xiàn)科普圖書類資助項目實施情況整體較好，但也存在部分資助項目實施較差現(xiàn)象，特別是資助方向上存在重引進翻譯、重市場等情況，針對這些評估結(jié)果和發(fā)現(xiàn)，就如何進一步提升科普圖書類資助項目的實施效果提出對策建議。

科普圖書；項目評價；指標體系

對科普工作進行公正客觀的評價是科普工作的重要環(huán)節(jié)，是增強科普工作效果的重要方法，是進一步開展科普工作的重要依據(jù)?？破枕椖勘O(jiān)測與評估具有重要的評價功能、激勵功能、導向作用和指導作用[1]，通過評估總結(jié)，不僅可以讓組織者、實施者能夠客觀的看到存在的不足和問題，引導并指導他們在將來組織開展科普實踐活動中改進工作，提高科普活動項目的組織效率和科普效果，同時也是科學評價財政支出績效，提高財政資金使用效益的有效途徑[2]。

目前，我國多個省市開展了科普圖書社會征集類專項資助工作，但由于缺乏一套較好的評價指標體系，組織者、實施者以及社會公眾對于科普圖書社會征集專項的具體實施情況并不清楚。本文立足于科普圖書類項目實施情況評估工作，建立一套針對科普圖書類項目的評價指標體系，通過對北京地區(qū)某社會征集科普圖書類資助項目實施情況進行評估研究，提出科普圖書類資助項目存在的問題和對策建議，為進一步提升社會征集科普資助專項的科普效果提供參考借鑒。

1 科普圖書類項目評價指標構(gòu)建的原則和方法

科學設(shè)計科普項目評估的指標體系是科普活動評估工作極為關(guān)鍵的一環(huán)，也是一項科學性極強的研究性工作?？破請D書類項目作為科普活動項目的一種，評估指標的選擇同樣需要遵循可測性、完備性、可行性和導向性等一些基本原則和標準[3]。但是，由于科普實踐活動項目的功效具有發(fā)散性，評估角度的多樣性，科普目標人群不固定，以及受益對象獲益來源的多方位等因素[4]，指標選取還要采取定量分析與定性分析相結(jié)合的原則，定性分析中尤其重視專家的作用，需要多方面的專家進行合作評估才能使結(jié)果更趨合理。

具體方法是先通過文獻檢索，收集相關(guān)數(shù)據(jù)，并根據(jù)數(shù)據(jù)可獲得的情況和獲得數(shù)據(jù)以后的指標相關(guān)性分析，刪除那些數(shù)據(jù)不易獲得和存在強相關(guān)的指標，設(shè)立初步的評估指標體系。然后，通過專家座談、研討、函詢、實地調(diào)查等方式修改、優(yōu)化和調(diào)整一些具體的指標，最終確定選用哪些評估指標。

2 科普圖書類項目評價指標的具體分類

依據(jù)上述指標體系設(shè)立的原則和方法，以及科普圖書社會征集類項目的現(xiàn)狀和特點，同時參考了已有的相關(guān)研究文獻，我們設(shè)計出了“科普圖書類項目評價指標體系”（見表1）。本指標體系一共包含一級指標4個，分別按照項目基礎(chǔ)、項目管理、項目產(chǎn)出、項目績效四個方面進行設(shè)計。

一是項目基礎(chǔ)指標。項目基礎(chǔ)指標反映的是項目承擔人員和承擔單位保障項目研究順利開展的基礎(chǔ)條件。二級指標重點針對項目承擔人員和承擔單位進行考察，主要包括承擔人員、承擔單位是否具有一定的科普創(chuàng)作或編譯的能力和經(jīng)驗，以及單位提供相關(guān)配套資金的能力。

二是項目管理指標。項目管理指標反映的是項目開展的必要性和開展過程中管理的有效性[5]。二級指標主要針對項目組織研究過程中管理是否規(guī)范、目標完成程度是否符合預期進行考察。具體內(nèi)容包括項目是否按照計劃實施，無變更備案申請；管理過程科學規(guī)范，經(jīng)費使用無問題；按時進行中期評估和結(jié)題驗收；項目完成進度和質(zhì)量達到預期考核要求。

三是項目產(chǎn)出指標。項目產(chǎn)出指標反映的是項目本身開展研究的直接價值體現(xiàn)，由于此類項目產(chǎn)出形式是科普圖書，鑒于本次評估側(cè)重效果評估，項目產(chǎn)出的指標以產(chǎn)出質(zhì)量為主要評價內(nèi)容。借鑒科技部“2014年全國優(yōu)秀科普作品”推選標準，二級指標主要按照科普作品的科學性、創(chuàng)新性、可讀性三個方面進行考察，具體內(nèi)容包括作品具備普及科學技術(shù)知識、倡導科學方法、傳播科學思想、弘揚科學精神的內(nèi)涵[6]；作品的圖文內(nèi)容有一定的突破和創(chuàng)新，作品的觀點或者傳達科學內(nèi)容的方式有一定的創(chuàng)新；作品形式活潑、內(nèi)容豐富，為公眾喜聞樂見，作品內(nèi)容對生產(chǎn)和生活具有一定的實用性；兼顧不同讀者群，具有廣泛的代表性，科普作品比較暢銷，再版數(shù)量及銷售量較高。

表1 科普圖書類項目評價指標體系

表2 科普圖書類項目實施情況評估測評表

四是項目效益指標。項目效益指標反映的是項目開展的實踐活動及成果產(chǎn)生的經(jīng)濟、社會影響。二級指標重點考察經(jīng)濟效益、社會效益和示范作用，具體內(nèi)容包括提高了承擔單位（特別是企業(yè)）的知名度，形成了科普品牌；帶動了社會資本投入，產(chǎn)生了一定的經(jīng)濟盈利；吸引更多人參與科普，培養(yǎng)了一定數(shù)量的人才；作品填補了科普研究領(lǐng)域空白或推動科普理論發(fā)展；對其他科普圖書類項目具有示范作用；項目獲得了較高的社會滿意度。

3 評價指標權(quán)重的設(shè)置

權(quán)重是衡量指標重要性程度的主要標志，權(quán)重系數(shù)甚至會直接影響綜合評價的結(jié)果。合理設(shè)置指標權(quán)重，綜合評價結(jié)果會更加科學[7]。本次評估指標的權(quán)重按照德爾菲法（專家意見法）進行設(shè)置，根據(jù)指標對評價結(jié)果的影響程度以及科普圖書資助專項的功能定位，由相關(guān)研究領(lǐng)域?qū)＜腋鶕?jù)自身研究經(jīng)驗給予每個指標進行賦值權(quán)重。為了盡量減少專家偏好帶來的主觀性誤差，采用算數(shù)平均法將所有專家意見進行算數(shù)平均，得出指標的最終的權(quán)重系數(shù)。

由于本次科普圖書類項目評估屬于事后總結(jié)性評價[8]，評估內(nèi)容將側(cè)重科普效果評估。綜合專家意見，經(jīng)過討論將一級指標項目產(chǎn)出和項目效益的權(quán)重給予較高賦值，各自占40%，而項目基礎(chǔ)和項目管理各占10%。一級指標確定后，二級指標也按專家意見逐個進行賦值。權(quán)重具體設(shè)置情況詳見表2。

4 科普圖書類項目評價指標的應用

利用上述評價指標和測評方法，針對北京地區(qū)某社會征集科普圖書類項目進行測評應用。經(jīng)本文作者初步整理和篩選，共有23個項目可以進行有效測評。參與評估的23個項目的承擔單位大多來自企業(yè)，平均資助額度14.2萬元，詳見表3。

表3 北京地區(qū)某社會征集科普圖書類項目基本信息統(tǒng)計表

評估過程中，首先由本文作者將所有項目預評估之后，分類別、分等級交由專家團隊對科普項目進行集中比較和評價，按照評估指標設(shè)置的分值進行打分，再根據(jù)權(quán)重進行綜合相加，得出每個項目的最終分值。

績效評估結(jié)果實施百分制和四級分類標準，滿分100分，通過專家打分法，在A、B、C、D四等級判定。其中分數(shù)在90-100分之間，則該項目評估結(jié)果為優(yōu)秀；若分數(shù)在75-89分之間，則為良好；若分數(shù)在60-74分，則為一般；若分數(shù)在59分以下，則該項目被認定為較差。

根據(jù)專家的打分，評估結(jié)果與發(fā)現(xiàn)如下：

1）項目實施情況整體較好，但也存在部分項目不合格現(xiàn)象。社會征集科普圖書類項目實施情況整體較好，項目績效評估結(jié)果為良好及以上的占比83%，其中優(yōu)秀率占61%。但仍然存在部分項目實施情況較差的現(xiàn)象，項目績效評估結(jié)果不達標的占比達13%（見表4）。

表4 評估結(jié)果按不同等級統(tǒng)計

2）翻譯引進國外科普作品的項目普遍較優(yōu)。翻譯引進國外的項目為7個，評估結(jié)果全部為A；國內(nèi)創(chuàng)作的項目數(shù)為16個，評估結(jié)果為A的僅占44%，國內(nèi)創(chuàng)作的科普作品質(zhì)量有待進一步提升（見表5）

3）承擔單位多為出版?zhèn)髅綑C構(gòu)。從項目承擔單位來看，被評的23個項目中，承擔單位來自出版?zhèn)髅降挠?6個，占比達70%。而相關(guān)領(lǐng)域內(nèi)的專業(yè)院所或者科研機構(gòu)較少（見表6）。

表6 項目承擔單位評估結(jié)果對比

4）圖書受眾群體較為寬泛。圖書受眾群體年齡段較為寬泛，包括中老年、青少年和幼兒三大群體，其中青少年群體較多，占了74%，嬰幼兒受眾群體占比22%（見表7）。

表7 圖書受眾群體評估結(jié)果對比

5 科普圖書類項目評估建議

針對評估發(fā)現(xiàn)的主要問題，就如何更好開展科普圖書社會征集類項目的實施，提高科普專項資助效果，提出如下建議。

1）建立專家審查委員會，嚴格把控項目出版關(guān)口。

表5 翻譯引進與國內(nèi)創(chuàng)作評估結(jié)果對比

目前，出版行業(yè)市場化、企業(yè)化帶來的低標準，讓行業(yè)規(guī)定的執(zhí)行力度也越來越小。建議科普征集專項主管部門建立專家審查委員會，嚴格把控項目驗收關(guān)口，加大社會征集科普圖書項目出版審查力度。對項目成果的內(nèi)容和形式進行全面審查，杜絕劣質(zhì)科普圖書流向市場，誤導讀者。

2）重點向具有科普創(chuàng)作潛力的單位或人員傾斜。從項目承擔單位來看，出版?zhèn)髅綑C構(gòu)占了較大比例，科普基地和專業(yè)機構(gòu)占比較少。建議在資助方向上，應向具有科普創(chuàng)作發(fā)展?jié)摿Φ膶I(yè)機構(gòu)或?qū)I(yè)科普人士傾斜。加大吸引力度，撬動一批專業(yè)研究機構(gòu)開展科普創(chuàng)作，扶植一批具有科普原創(chuàng)能力的專業(yè)人才。

3）適當降低引進翻譯作品的資助數(shù)量。適當減少對翻譯引進作品類項目的資助數(shù)量，針對不同類別的國外科普作品進行區(qū)別資助。對于市場效果本身就好的翻譯引進類科普作品的項目不建議支持；而對于難度較大，確實具有一定科普價值的作品可予以立項。

4）重點關(guān)注市場前景不好、專業(yè)實用的科普作品。對于一些市場前景不好、專業(yè)實用的科普作品，建議給予重點關(guān)注和支持。而對于主要面向幼兒群體、內(nèi)容簡單、科普價值較低的繪本類圖書項目，應適當降低資助比例。

總之，社會征集類科普圖書項目應明確自身功能定位，運用社會征集的牽動能力，聚集多方力量，發(fā)掘出一批具有科普創(chuàng)作潛力而又亟需經(jīng)費資助的科普人才和優(yōu)秀作品，充分發(fā)揮“雪中送炭”而非“錦上添花”的資助作用。

[1]任福君，翟杰全.科技傳播與普及概論[M].北京：中國科學技術(shù)出版社，2012：299-300.

[2]陳學安.建立我國財政支出績效評價體系研究[J].財政研究，2004（8）：18-20.

[3]中國科普研究所.科普效果評估理論和方法[M].社會科學文獻出版社，2003: 65-68.

[4]鄭念，張平淡.科普項目的管理與評估[M].北京：科學普及出版社，2008:180-181.

[5]余學慧.科普項目支出績效評價體系研究[J].科技通報，2012（5）：212-213.

[6]科技部.2014年全國優(yōu)秀科普作品公示通知[EB/OL]. [2014-11-13]. http://www.most.gov.cn/tztg/201411/ t20141113_116579.htm。

[7]周文泳，鐘燦濤，尤建新.科學研究質(zhì)量改進理論與方法[M].化學工業(yè)出版社，2012：81-82.

[8]張義芳.科普評估理論初探與案例指南[M].科學技術(shù)文獻出版社，2004：40-48.

G315

A

1674-6708（2015）142-0096-03

王新，碩士，助理研究員，工作單位：北京決策咨詢中心，研究方向：科技政策與評估、中國現(xiàn)代科學史

王海蕓，博士，副研究員，工作單位：北京決策咨詢中心，研究方向：創(chuàng)新政策、技術(shù)創(chuàng)新

陶曉麗，碩士，助理研究員，工作單位：北京決策咨詢中心，研究方向：區(qū)域發(fā)展與區(qū)域規(guī)劃