美國公共圖書館項(xiàng)目成效測量工具研究

邱建恒

（東莞圖書館 廣東東莞 523071）

吳建中在“圖書館的變革、轉(zhuǎn)型與超越”研討會(huì)上指出，“圖書館要為提升民眾的職業(yè)素養(yǎng)服務(wù)，為城市就業(yè)和減貧做出貢獻(xiàn)。圖書館還要為提升民眾的學(xué)習(xí)能力服務(wù)，造就一批具有數(shù)字和技術(shù)素養(yǎng)、面向未來的人才?，F(xiàn)代科學(xué)技術(shù)的蓬勃發(fā)展為圖書館施展自己的用武之地提供了無限的可能性，所以圖書館要適應(yīng)形勢的發(fā)展，拓展自己的空間?！盵1]這是當(dāng)今圖書館的義務(wù)和權(quán)利，也是圖書館面臨的機(jī)遇與挑戰(zhàn)。這一系列的服務(wù)都是在用戶多元化需求的帶動(dòng)下產(chǎn)生的，直接體現(xiàn)了各館的服務(wù)水平和服務(wù)質(zhì)量。顯然，傳統(tǒng)的一味強(qiáng)調(diào)產(chǎn)出量的指標(biāo)體系早已與現(xiàn)代化的服務(wù)項(xiàng)目和服務(wù)內(nèi)容不相適應(yīng)，圖書館必須通過設(shè)計(jì)理念轉(zhuǎn)變，建立起以用戶為中心的績效考核體系，借助成效測量工具來證明自身給用戶生活帶來的影響，體現(xiàn)圖書館的價(jià)值。美國公共圖書館協(xié)會(huì)（The Public Library Association,簡稱PLA）正在這一圖書館發(fā)展浪潮中啟動(dòng)了測量圖書館成效的項(xiàng)目Project Outcome。

1 Project Outcome介紹[2]

Project Outcome是一個(gè)免費(fèi)的工具包，提供簡單的問卷調(diào)查和易于操作的測量和分析成效過程，幫助公共圖書館了解和分享圖書館活動(dòng)和服務(wù)的影響。此項(xiàng)目還為圖書館提供結(jié)果應(yīng)用所需資源和培訓(xùn)支持，使其自信地倡導(dǎo)圖書館的未來。雖然許多公共圖書館都會(huì)收集有關(guān)其活動(dòng)和服務(wù)的數(shù)據(jù)，但通常缺乏用來表明圖書館為其社區(qū)帶來益處的證據(jù)，例如服務(wù)于兒童讀寫能力、數(shù)字和技術(shù)培訓(xùn)以及勞動(dòng)力發(fā)展的活動(dòng)成效。Project Outcome的啟動(dòng)，使贊助人出席活動(dòng)和成功故事的宣講不再是圖書館展示其有效性的唯一途徑。由圖書館領(lǐng)導(dǎo)、研究人員和數(shù)據(jù)分析師共同參與開發(fā)的Project Outcome旨在幫助圖書館更好地利用成效數(shù)據(jù)為自身服務(wù)，使得圖書館通過提供這些數(shù)據(jù)來表明他們活動(dòng)與服務(wù)的短期或者長期的影響力，從而獲得更多的資源來增強(qiáng)圖書館項(xiàng)目的實(shí)施。目前，除了調(diào)查報(bào)告生成和數(shù)據(jù)分析等工具只適用于美國以及加拿大的公共圖書館和國家圖書館外，Project Outcome的網(wǎng)上資源、案例學(xué)習(xí)、調(diào)查表樣式、數(shù)據(jù)收集和篩選方法等都是免費(fèi)向所有圖書館開放的。其主頁顯示，截至2017年10月，共有來自847個(gè)公共圖書館的超過1 000名的注冊用戶，并且收集了102 679項(xiàng)用戶調(diào)查結(jié)果。PLA正致力于擴(kuò)大本項(xiàng)目未來覆蓋面。

1.1 Project Outcome的背景[2]

Project Outcome于2013年由時(shí)任美國公共圖書館協(xié)會(huì)主席，同時(shí)也是斯科基公共圖書館館長的卡洛琳·安東尼（Carolyn Anthony）負(fù)責(zé)?？辶粘闪⒘斯矆D書館業(yè)績測試特別小組（Performance Measurement Task Force，簡稱PMTF），由公共圖書館領(lǐng)導(dǎo)、科研人員、咨詢?nèi)藛T和數(shù)據(jù)分析員等組成，以順應(yīng)圖書館服務(wù)成效標(biāo)準(zhǔn)化測量的大趨勢，以及用收集來的數(shù)據(jù)去宣傳項(xiàng)目培訓(xùn)和實(shí)施工具。特別小組確立了新的績效指標(biāo)及評估模型設(shè)立原則：①強(qiáng)調(diào)一切考核工作必須從公共圖書館所服務(wù)的社區(qū)居民的角度出發(fā)；②通過成效類指標(biāo)的引入，著重考核公共圖書館的服務(wù)對居民平時(shí)生活、工作、學(xué)習(xí)的影響和作用，而不是考核各項(xiàng)服務(wù)在公共圖書館內(nèi)部取得何種成果業(yè)績[3]。在收集了2013年公共圖書館數(shù)據(jù)服務(wù)調(diào)查結(jié)果以及2014年末對27所圖書館進(jìn)行試點(diǎn)測試后，特別小組確定了Project Outcome里圖書館的7大關(guān)鍵服務(wù)領(lǐng)域，即社區(qū)參與度、數(shù)字化學(xué)習(xí)、經(jīng)濟(jì)發(fā)展、教育/終身學(xué)習(xí)、孩子的早期識(shí)字、工作技能和夏季（暑期）閱讀，以便圖書館更加容易且直接地了解到用戶在知識(shí)、行為、技能、應(yīng)用能力以及意識(shí)方面的提升或改變。

2015年6月，在舊金山舉行的美國圖書館協(xié)會(huì)年會(huì)上，Project Outcome計(jì)劃首次被提出。次年6月，PLA在奧蘭多舉行的年會(huì)上正式公布了該項(xiàng)目的調(diào)查報(bào)告。PLA把Project Outcome列入?yún)f(xié)會(huì)長期發(fā)展的服務(wù)名單，并爭取到比爾及梅琳達(dá)·蓋茨基金會(huì)的資助。依托特別小組的工作開展項(xiàng)目，計(jì)劃通過提供免費(fèi)易用的網(wǎng)上資源、調(diào)研和數(shù)據(jù)分析工具，使得公共圖書館能夠測量和分享自身重要活動(dòng)與服務(wù)影響力。

1.2 Project Outcome的特點(diǎn)

通過以上對Project Outcome的整體介紹，可總結(jié)其特點(diǎn)如下：①免費(fèi)。一方面，無論是系統(tǒng)根據(jù)圖書館提供的數(shù)據(jù)而自動(dòng)生成的報(bào)告，還是用于分析的工具，又或者是培訓(xùn)的視頻、測量的資源和現(xiàn)有的調(diào)查樣表等，全部都免費(fèi)提供給注冊的圖書館使用。另一方面，現(xiàn)時(shí)很多的數(shù)據(jù)測量系統(tǒng)都是根據(jù)圖書館參與調(diào)查的樣本數(shù)量的大小來收費(fèi)的，而Project Outcome不但完全免費(fèi)，還鼓勵(lì)更多的用戶使用項(xiàng)目的工具包，以增加調(diào)查樣本，提高項(xiàng)目年度報(bào)告的可信度，擴(kuò)大項(xiàng)目的覆蓋范圍和影響力。公共圖書館第一次可以自由并免費(fèi)獲取標(biāo)準(zhǔn)化成效調(diào)查和數(shù)據(jù)分析工具，以實(shí)現(xiàn)其在社區(qū)內(nèi)外的變革。②關(guān)注點(diǎn)從“量”到“質(zhì)”的轉(zhuǎn)變。今后圖書館所要提供的數(shù)據(jù)將不僅僅是入館人數(shù)和借閱次數(shù)。傳統(tǒng)的結(jié)果僅僅只能體現(xiàn)數(shù)量，或者說是做了多少；圖書館還需要去衡量事物的質(zhì)量，也就是做得怎么樣[4]。因此，圖書館需要在今后通過調(diào)整成效類指標(biāo)來更好地證明自己在社區(qū)中的作用。Project Outcome工具包使圖書館從以往的單純問卷調(diào)查轉(zhuǎn)變?yōu)槿缃竦恼嬲谜{(diào)查結(jié)果及數(shù)據(jù)來指導(dǎo)圖書館的規(guī)劃和行動(dòng)，優(yōu)化圖書館的資源配置，宣傳圖書館的活動(dòng)，并為用戶提供優(yōu)質(zhì)高效的服務(wù)。③測量和分析成效數(shù)據(jù)的工具簡單，易操作。只需要按系統(tǒng)步驟輸入原始數(shù)據(jù)，工具就會(huì)自動(dòng)生成調(diào)查結(jié)果數(shù)據(jù)圖表、分析報(bào)告、調(diào)查問卷等。也可以通過觀看使用教程的視頻以及“如何篩選有效數(shù)據(jù)”的課件來了解工具的功能和使用方法。

1.3 Project Outcome2017年年報(bào)[5]

在公共圖書館工作的人都知道，圖書館服務(wù)為每一個(gè)讀者提供了新的機(jī)會(huì)——提高讀寫能力、增加技術(shù)知識(shí)或者是提供更多更好的求職信息。工作人員每天都能看到這些成效，但圖書館卻缺乏相關(guān)的數(shù)據(jù)支持。

在Project Outcome啟動(dòng)的第二年里，參與的圖書館有320多個(gè)，共收集到有效調(diào)查問卷67 300多份。結(jié)果顯示，九成的受訪者認(rèn)同參與了圖書館的活動(dòng)或使用了圖書館的服務(wù)之后，他們學(xué)習(xí)到了新的知識(shí)或技能，他們感覺到更加自信了，也更傾向于做出新的改變。公共圖書館的影響不只是對于個(gè)人，更是延伸至整個(gè)社區(qū)：父母與孩子共同閱讀，帶給孩子的影響會(huì)持續(xù)到他日后的讀寫認(rèn)知階段；具備電腦技能或接受繼續(xù)教育，對于找工作至關(guān)重要；提高社會(huì)參與度，可以降低失業(yè)率。

為使得這些影響持續(xù)下去，Project Outcome通過為圖書館提供簡單的調(diào)查工具以及便于操作的測量過程和結(jié)果分析過程，幫助公共圖書館獲得有效的證明數(shù)據(jù)。結(jié)果可被用于體現(xiàn)圖書館服務(wù)的價(jià)值，提升圖書館服務(wù)的質(zhì)量和優(yōu)化圖書館資源的配置。

Project Outcome這兩年收集的資料（如表1所示）明確地表明，圖書館的活動(dòng)和服務(wù)改善了圖書館用戶的生活。圖書館近八成的用戶表示圖書館的活動(dòng)和服務(wù)對他們的生活產(chǎn)生了一定的積極影響。

數(shù)百個(gè)圖書館現(xiàn)利用Project Outcome的數(shù)據(jù)來指導(dǎo)他們的服務(wù)策略和圖書館的宣傳，PLA正在運(yùn)用所學(xué)到的知識(shí)來增加成效測量對各地圖書館和社區(qū)的影響。在2017年，Project Outcome著手為有意管理更先進(jìn)的調(diào)查和縱向研究的圖書館發(fā)布新的指南，以了解圖書館活動(dòng)和服務(wù)隨時(shí)間變化的影響。這些指南支持圖書館測量其成效，證明其努力的成果。一方面，Project Outcome將繼續(xù)開發(fā)新的工具和資源，定期進(jìn)行在線培訓(xùn)，幫助圖書館從規(guī)劃到實(shí)施調(diào)查，運(yùn)用成效測量結(jié)果來采取進(jìn)一步的行動(dòng)。另一方面，項(xiàng)目也將繼續(xù)與圖書館合作，以確保成效測量的可持續(xù)性。PLA將基于項(xiàng)目這兩年的成功，提供更多的有針對性的學(xué)習(xí)給需要測量他們的影響力和支持他們的活動(dòng)和服務(wù)的圖書館，提供區(qū)域培訓(xùn)和一對一的圖書館援助，建立數(shù)據(jù)共享合作伙伴關(guān)系，擴(kuò)大與國家圖書館工作人員和其他類型圖書館的合作，并將繼續(xù)完善項(xiàng)目的測量體制。

2 Project Outcome的實(shí)施[2]

用郵箱注冊為Project Outcome用戶后，需選擇用戶身份：圖書館（公共圖書館、國家圖書館）館員/不是圖書館館員。項(xiàng)目系統(tǒng)對兩者開放的權(quán)限有所不同：對前者是開放全部權(quán)限，包括“調(diào)查管理”“交互式數(shù)據(jù)面板”“資源”和“同行討論”四個(gè)板塊；而后者是不能使用“調(diào)查管理”板塊的，也就是不能使用數(shù)據(jù)分析和報(bào)告生成等功能。

館員注冊時(shí)，首先要填寫自己所在的公共圖書館、個(gè)人聯(lián)系信息等，再從圖書館的7大關(guān)鍵服務(wù)領(lǐng)域中選擇其中一項(xiàng)進(jìn)行調(diào)查，可以是該主題的活動(dòng)或者服務(wù)，然后可以在主頁上下載相關(guān)的調(diào)查問卷。Project Outcome為圖書館提供3大測量用戶成效的工具，分別是：①即時(shí)調(diào)查。即時(shí)調(diào)查有6個(gè)問題，包括李克特量表（一種心理反應(yīng)量表）和開放式問題。即時(shí)調(diào)查是指在活動(dòng)或服務(wù)完成后立即分發(fā)調(diào)查問卷，旨在幫助圖書館更好地了解活動(dòng)或服務(wù)對用戶的直接影響以及對用戶行為帶來的改變。即時(shí)調(diào)查是評估活動(dòng)或服務(wù)的直接影響，以及為圖書館宣傳和報(bào)告提供直觀證據(jù)的理想選擇。②后續(xù)調(diào)查。后續(xù)調(diào)查問卷長短不等，遵循“是/否/請說明”格式，在活動(dòng)或服務(wù)結(jié)束后的4—8周內(nèi)使用，旨在幫助圖書館更好地了解用戶是否有行為的改變或繼續(xù)受益于之前參加過的活動(dòng)或使用過的服務(wù)。后續(xù)調(diào)查是在一段時(shí)間后評估活動(dòng)或服務(wù)影響的理想選擇，衡量實(shí)現(xiàn)戰(zhàn)略目標(biāo)的進(jìn)展情況，并為圖書館宣傳提供有力的證據(jù)。兩種調(diào)查問卷都按7個(gè)關(guān)鍵領(lǐng)域分類，特別小組都已確定好每份問卷的調(diào)查內(nèi)容，用戶可根據(jù)自己圖書館活動(dòng)或服務(wù)的具體情況，最多可添加3個(gè)額外的調(diào)查問題。③《成效測量指南》。目前，特別小組正在制定《成效測量指南》，該指南將幫助圖書館運(yùn)用先進(jìn)的成效測量方法，并向社區(qū)展示與圖書館長期合作的影響。對活動(dòng)或服務(wù)的用戶進(jìn)行問卷調(diào)查之后，主頁的“資源”部分，提供培訓(xùn)視頻教程，教館員篩選有效的數(shù)據(jù)然后根據(jù)步驟進(jìn)行數(shù)據(jù)上傳，之后就會(huì)有數(shù)據(jù)分析圖表和報(bào)告生成。如何利用報(bào)告為自己的項(xiàng)目或者圖書館進(jìn)行宣傳，網(wǎng)站上也會(huì)有實(shí)質(zhì)的建議：如先確定宣傳的核心目的，再?zèng)Q定運(yùn)用哪些定性和定量的數(shù)據(jù)作為最有力的論據(jù)，在這些數(shù)據(jù)當(dāng)中有什么最好的或最有趣的發(fā)現(xiàn)，這些發(fā)現(xiàn)可以以一個(gè)令人難忘或引人入勝的故事作為載體而進(jìn)行陳述和分析。從如何開始到如何進(jìn)行調(diào)查，再到如何進(jìn)行數(shù)據(jù)分析，到最后如何利用調(diào)查報(bào)告采取行動(dòng)以改善和提高活動(dòng)和服務(wù)的質(zhì)量、調(diào)整規(guī)劃、進(jìn)行內(nèi)部決策、為圖書館宣傳等，Project Outcome都有明確的指示和建議。

3 Project Outcome對我國公共圖書館評估的參考意義

3.1 對我國公共圖書館評估指標(biāo)設(shè)計(jì)的參考價(jià)值

指標(biāo)設(shè)計(jì)是圖書館評估的重要環(huán)節(jié)，管理者必須設(shè)計(jì)一套能夠衡量圖書館服務(wù)成效和預(yù)期目標(biāo)實(shí)現(xiàn)的指標(biāo)體系，用于實(shí)施評估[7]。

公共圖書館通常以“我們做多少”來衡量服務(wù)，重點(diǎn)關(guān)注產(chǎn)出量，如提供的活動(dòng)或服務(wù)的數(shù)量。與其他類型的績效測量不同的是，Project Outcome旨在測量從圖書館用戶的知識(shí)、信心、行為變化或意識(shí)的變化中獲取圖書館服務(wù)的好處（或結(jié)果）。例如，輸出測量可能會(huì)告訴我們有多少圖書館顧客參加簡歷寫作研討會(huì)，成效測量則可以告訴我們，這些用戶是否覺得更有信心和有能力尋找新的工作，參加圖書館的活動(dòng)是否能達(dá)到他們的預(yù)期的目標(biāo)。在設(shè)計(jì)我國公共圖書館評估的指標(biāo)時(shí)，包括優(yōu)化指標(biāo)體系框架及分值分配，增刪和調(diào)整部分指標(biāo)內(nèi)容，調(diào)整部分指標(biāo)的取值，細(xì)化指標(biāo)的備注說明，調(diào)整定級必備條件[8]等，可以參考Project Outcome的7大關(guān)鍵領(lǐng)域，也可以通過主頁提供的案例學(xué)習(xí)理論聯(lián)系實(shí)際。

3.2 對我國公共圖書館評估結(jié)果應(yīng)用的參考價(jià)值

公共圖書館的評估不應(yīng)只注重“評“，更應(yīng)加強(qiáng)評估結(jié)果對圖書館下一步發(fā)展的應(yīng)用。一方面，通過對Project Outcome官網(wǎng)的研究，可獲得測量結(jié)果對于圖書館宣傳的建議和策略，對于圖書館資源優(yōu)化配置的經(jīng)驗(yàn)以及在圖書館規(guī)劃中的應(yīng)用。另一方面，通過對Project Outcome中的案例、年度報(bào)告等的學(xué)習(xí)，了解那些活動(dòng)或服務(wù)成效好的圖書館的日常管理模式或新增的改進(jìn)措施、解決方法等，借鑒學(xué)習(xí)其進(jìn)步之處，以提升我國公共圖書館自身的管理水平和服務(wù)質(zhì)量。

4 結(jié)語

近年來，隨著用戶需求多元化發(fā)展和對圖書館要求的不斷提升，傳統(tǒng)的績效評估模型已經(jīng)無法適應(yīng)圖書館新的發(fā)展趨勢了。當(dāng)下要實(shí)現(xiàn)“以評促建”的目標(biāo)，公共圖書館評估工作必須以服務(wù)為導(dǎo)向，加快推進(jìn)績效評估，逐步引入成效評估，加強(qiáng)評估結(jié)果的應(yīng)用[6]。美國公共圖書館協(xié)會(huì)的Project Outcome是成效測量和傳統(tǒng)數(shù)據(jù)收集的結(jié)合，能讓圖書館更好地進(jìn)行內(nèi)部決策、倡議以及戰(zhàn)略規(guī)劃工作——以此來證明好的數(shù)據(jù)能讓圖書館變得更好[4]。