新時代大學(xué)生志愿服務(wù)項(xiàng)目質(zhì)量評估指標(biāo)體系構(gòu)建

李丹萍,潘龍飛

(1.溫州大學(xué)人文學(xué)院,浙江溫州,325035;2.溫州大學(xué)電氣與電子工程學(xué)院,浙江溫州,325035)

一、問題提出

我國志愿服務(wù)事業(yè)經(jīng)過了近40年的發(fā)展,逐步走向科學(xué)化、規(guī)范化,并成為我國志愿公益事業(yè)的重要組成部分。[1]近年來,我國高校大學(xué)生志愿服務(wù)項(xiàng)目蓬勃發(fā)展,在項(xiàng)目組織數(shù)量快速增加、服務(wù)范圍不斷擴(kuò)大的同時,也出現(xiàn)了組織發(fā)展不規(guī)范、能力薄弱、開發(fā)環(huán)境有待優(yōu)化等問題。[2]現(xiàn)實(shí)存在的難點(diǎn)問題,制約了當(dāng)前高校大學(xué)生志愿服務(wù)項(xiàng)目的進(jìn)一步發(fā)展。

評價體系作為一種發(fā)現(xiàn)和解決問題的手段,在發(fā)現(xiàn)高校大學(xué)生志愿服務(wù)項(xiàng)目面臨的挑戰(zhàn)、促進(jìn)討論和解決問題從而促進(jìn)被評價主體的規(guī)范化發(fā)展方面發(fā)揮著至關(guān)重要的作用。然而,當(dāng)前我國大學(xué)生志愿服務(wù)機(jī)構(gòu)的評估狀況不容樂觀。一方面,由于志愿服務(wù)組織缺乏具體的評價指標(biāo)體系,只能參與社會組織的評估。但社會性質(zhì)的志愿服務(wù)項(xiàng)目門檻較高,導(dǎo)致大多數(shù)未注冊的高校大學(xué)生志愿服務(wù)隊(duì)被拒絕。另一方面,當(dāng)前社會組織評價指標(biāo)缺乏一定的科學(xué)性和規(guī)范性,尚不能全過程、全方位反映組織實(shí)施和運(yùn)營過程中出現(xiàn)的問題。因此,建立一套全面、科學(xué)、完善的高校大學(xué)生志愿服務(wù)項(xiàng)目評價指標(biāo)體系,以滿足推動我國高校大學(xué)生志愿服務(wù)組織進(jìn)一步發(fā)展的迫切需要。CIPP評價理論包含背景評價(context evaluation)、輸入評價(input evaluation)、過程評價(process evaluation)、結(jié)果評價(product evaluation),突出了評價的發(fā)展性功能,整合了診斷性評價、形成性評價和終結(jié)性評價,是一種較為有效的評價框架。本研究基于CIPP評價理論,以中國青年志愿服務(wù)項(xiàng)目大賽國賽獲獎項(xiàng)目為研究對象,構(gòu)建包括項(xiàng)目基礎(chǔ)、項(xiàng)目組織、項(xiàng)目實(shí)施和成效影響的基本框架,旨在科學(xué)、規(guī)范、完善大學(xué)生志愿服務(wù)項(xiàng)目質(zhì)量評價指標(biāo)體系。

二、理論框架

指標(biāo)體系的構(gòu)建需遵循一定的基本原則,一方面要符合研究對象的本質(zhì)特征,另一方面要有指標(biāo)建立的理論基礎(chǔ)。關(guān)于高校志愿服務(wù)項(xiàng)目評估指標(biāo)體系構(gòu)建的基本原則,研究者提出了不同見解。仲偉周等人認(rèn)為高校志愿服務(wù)項(xiàng)目評價的構(gòu)建,應(yīng)當(dāng)把握客觀性原則、遵循可操作性原則、公開明確的原則和遵循反饋原則。[3]符春宇認(rèn)為針對企業(yè)社會工作服務(wù)項(xiàng)目評估,評估內(nèi)容應(yīng)主要從服務(wù)團(tuán)隊(duì)人員配備、項(xiàng)目的產(chǎn)出、項(xiàng)目的成效和項(xiàng)目的社會影響幾個方面進(jìn)行。[4]高雷等人則認(rèn)為高校志愿服務(wù)項(xiàng)目評估工作應(yīng)堅(jiān)持相關(guān)性、科學(xué)性、重要性、系統(tǒng)性、可比性、定量和定性相結(jié)合、導(dǎo)向性、經(jīng)濟(jì)性的原則。[5]本研究綜合上述分析,建立的高校大學(xué)生志愿者項(xiàng)目評估指標(biāo)體系注重測量指標(biāo)的系統(tǒng)性、客觀性、實(shí)效性,以建構(gòu)科學(xué)、規(guī)范、全過程的高校志愿服務(wù)項(xiàng)目質(zhì)量評估指標(biāo)。

CIPP評價理論,從背景、輸入、過程和產(chǎn)出四個維度出發(fā)全方位考量項(xiàng)目的整體狀況,能夠在一定程度上規(guī)避其他評估理論的不足。CIPP質(zhì)量評估模式具有重視形成性評價、貫穿事物發(fā)展始終、兼顧評價對象不同階段、不同方面的優(yōu)勢。[6]該理論符合高校志愿服務(wù)項(xiàng)目的特征,契合高校第二課堂育人目標(biāo)。

三、問卷編制

(一)預(yù)測問卷的編制

通過研讀中外文獻(xiàn)、以開放式問卷進(jìn)行初步調(diào)查及與指導(dǎo)教師一對一訪談,形成預(yù)測問卷題項(xiàng)庫。為確保預(yù)測問卷的內(nèi)容效度,邀請帶領(lǐng)志愿服務(wù)團(tuán)隊(duì)的教師和統(tǒng)計(jì)學(xué)專家5人,10名“單腳鞋銀行”、陽光志愿者項(xiàng)目的團(tuán)隊(duì)成員對內(nèi)容進(jìn)行評價。經(jīng)過多次修改和完善預(yù)測問卷的題項(xiàng),最終編制了“大學(xué)生志愿服務(wù)項(xiàng)目評價指標(biāo)體系構(gòu)建初評問卷”。根據(jù)CIPP評價理論,問卷分為四個維度,即項(xiàng)目基礎(chǔ)、項(xiàng)目組織、項(xiàng)目實(shí)施和成效影響。其中,項(xiàng)目基礎(chǔ)維度包含9道題項(xiàng),項(xiàng)目組織維度7道題項(xiàng),項(xiàng)目實(shí)施維度6道題項(xiàng),成效影響維度8道題項(xiàng),共計(jì)30道題項(xiàng)。

(二)問卷發(fā)放

問卷主要以問卷星的形式進(jìn)行線上發(fā)放,調(diào)查對象為全國志愿服務(wù)大賽獲獎項(xiàng)目成員以及浙江省曾參與志愿服務(wù)活動的學(xué)生。共回收總問卷數(shù)量428份,經(jīng)過篩選,剔除無效問卷27份,有效問卷401份。

(三)信效度檢驗(yàn)

1.信度

問卷信度是指問卷結(jié)構(gòu)的統(tǒng)一性和穩(wěn)定性,主要體現(xiàn)在問卷數(shù)據(jù)的一致性、穩(wěn)定性和可靠性上。信度檢驗(yàn)主要檢驗(yàn)內(nèi)部一致性和斯皮爾曼—布朗分半信度,以此檢測和表示問卷的信度。[7]其中,克隆巴赫系數(shù)是問卷內(nèi)部一致性檢驗(yàn)的重要參考標(biāo)準(zhǔn)。一般說來,克隆巴赫系數(shù)大于0.9,則認(rèn)為量表的內(nèi)在一致性信度很高;克隆巴赫系數(shù)在0.7—0.9之間,則認(rèn)為量表的信度可以接受。[8]

運(yùn)用SPSS對有效問卷的樣本數(shù)據(jù)進(jìn)行信度分析。結(jié)果顯示,問卷整體克隆巴赫系數(shù)值為0.965,即本研究問卷信度較高,符合統(tǒng)計(jì)學(xué)規(guī)定的問卷的信度標(biāo)準(zhǔn)。

為進(jìn)一步檢驗(yàn)分維度量表的信度,依次對問卷的項(xiàng)目基礎(chǔ)、項(xiàng)目組織、項(xiàng)目實(shí)施和效果影響維度量表進(jìn)行信度分析。結(jié)果表明,項(xiàng)目基礎(chǔ)、項(xiàng)目組織、項(xiàng)目實(shí)施和成效影響四個維度的克隆巴赫系數(shù)分別為0.912、0.943、0.976、0.938,四個分維度的克隆巴赫系數(shù)同樣均在0.9以上。

2.效度

效度即采用的測量工具或手段,能否科學(xué)、準(zhǔn)確地對目標(biāo)項(xiàng)目進(jìn)行測量。依據(jù)測量學(xué)中的要求,問卷編制的效度,包括內(nèi)容效度和結(jié)構(gòu)效度兩部分。[9]

(1)內(nèi)容效度

為確保預(yù)測問卷的內(nèi)容效度,經(jīng)過開放式調(diào)研、個案訪談和文獻(xiàn)研讀,邀請專家共計(jì)15人組成審閱小組,對預(yù)測問卷的項(xiàng)目庫進(jìn)行討論,認(rèn)為施測問卷各項(xiàng)題目能夠較好地反映測量內(nèi)容。

(2)結(jié)構(gòu)效度

主成分分析法是統(tǒng)計(jì)學(xué)中常用的結(jié)構(gòu)效度檢驗(yàn)方法,依據(jù)量表的KMO值與Bartlett球形檢驗(yàn)判斷問卷的效度水平,從而決定數(shù)據(jù)是否適合進(jìn)行下一步的因子分析。[10]本研究對有效問卷數(shù)據(jù)進(jìn)行分析后得到,KMO值為0.764,p<0.001,即該問卷指標(biāo)各項(xiàng)目之間存在一定相關(guān)性,適合進(jìn)行下一步的因子分析。

為進(jìn)一步驗(yàn)證問卷的科學(xué)性,需要進(jìn)一步檢測分維度量表的效度。結(jié)果顯示,分維度量表項(xiàng)目基礎(chǔ)、項(xiàng)目組織、項(xiàng)目實(shí)施、成效影響四維度的KMO的值分別為0.865、0.905、0.931、0.922,p值均小于0.001。這表明問卷擬合良好,具備較高的效度。

經(jīng)過對“高校志愿服務(wù)項(xiàng)目評估指標(biāo)體系構(gòu)建問卷”的分析,初步建構(gòu)以CIPP理論下的高校志愿服務(wù)項(xiàng)目評估指標(biāo)體系,指標(biāo)共分項(xiàng)目基礎(chǔ)、項(xiàng)目組織、項(xiàng)目實(shí)施、成效影響4個一級指標(biāo),30個二級指標(biāo)。具體內(nèi)容如表1所示。

表1 高校志愿服務(wù)項(xiàng)目評估指標(biāo)體系

四、討論

黨的十八大以來,習(xí)近平多次對青年志愿者事業(yè)和高校志愿服務(wù)工作作出重要指示批示,共青團(tuán)中央和中國青年志愿者協(xié)會也出臺了系列政策措施,旨在加強(qiáng)推動高校志愿服務(wù)項(xiàng)目的發(fā)展力度。高校志愿服務(wù)項(xiàng)目在青年志愿者事業(yè)中具有先導(dǎo)性、示范性和創(chuàng)新性的特征,新形勢下,如何更加有效地提高高校大學(xué)生志愿服務(wù)質(zhì)量,科學(xué)、全面地評價高校志愿服務(wù)發(fā)展水平,深入探索建立科學(xué)、規(guī)范的評估指標(biāo),是當(dāng)前需要認(rèn)真研究的重要課題,這對高校大學(xué)生志愿服務(wù)項(xiàng)目的發(fā)展具有重要的指導(dǎo)性意義。本研究基于CIPP評估質(zhì)量理論,通過一對一訪談、開放式文件調(diào)查,以及對志愿服務(wù)領(lǐng)域現(xiàn)有研究的梳理,經(jīng)過探索性因素分析和驗(yàn)證性因素分析,構(gòu)建了新時代高校志愿服務(wù)項(xiàng)目質(zhì)量評估指標(biāo)體系。

(一)適切性

選擇契合研究對象、精準(zhǔn)匹配研究內(nèi)容的評估理論模型,是成功建立優(yōu)質(zhì)評估指標(biāo)體系的前提和基礎(chǔ)。符合高校志愿服務(wù)項(xiàng)目的評估指標(biāo)體系由美國項(xiàng)目管理學(xué)會提出的OPM3組織項(xiàng)目管理理論模型:通過對項(xiàng)目的優(yōu)勢、劣勢、機(jī)會、威脅四個維度進(jìn)行分析的SOWT理論模型;從有形性、可靠性、響應(yīng)速度、信任和移情五個尺度衡量項(xiàng)目服務(wù)質(zhì)量的SERVQUAL模型等。綜合各個評估理論模型的維度指向,筆者結(jié)合國內(nèi)大學(xué)生志愿服務(wù)項(xiàng)目的特點(diǎn),梳理分析得出CIPP評價理論的背景、輸入、過程和產(chǎn)出四個維度,較好地匹配了高校志愿服務(wù)項(xiàng)目的基礎(chǔ)、組織、實(shí)施和成效。在問卷實(shí)際的施測和數(shù)據(jù)分析的過程中,4個一級指標(biāo)和30個二級指標(biāo)均具備良好的結(jié)構(gòu)效度。這說明,CIPP評價理論的整體框架適用于高校志愿服務(wù)項(xiàng)目指標(biāo)體系的構(gòu)建。

(二)特點(diǎn)

指標(biāo)體系的構(gòu)建是項(xiàng)目評估不斷走向科學(xué)性和規(guī)范性的關(guān)鍵。本研究基于CIPP評估質(zhì)量理論,經(jīng)過專家分析、問卷調(diào)查,以中國青年志愿服務(wù)項(xiàng)目大賽國賽獲獎項(xiàng)目為研究對象,建構(gòu)了科學(xué)嚴(yán)密的高校志愿服務(wù)項(xiàng)目評估指標(biāo)體系,能夠?yàn)榻窈蟾咝Ｖ驹阜?wù)項(xiàng)目的質(zhì)量評估提供參考。該指標(biāo)體系主要具備以下特點(diǎn)。一是指標(biāo)體系的形成突出了時代性。黨的二十大明確提出,要逐步完善志愿服務(wù)制度和體系。[11]新時代的高校志愿服務(wù)項(xiàng)目應(yīng)跟隨時代的發(fā)展需要和高校育人宗旨,對項(xiàng)目本身的評估指標(biāo)體系建設(shè),需要進(jìn)一步體現(xiàn)時代的需求。例如在“項(xiàng)目基礎(chǔ)”維度第一項(xiàng)指標(biāo)是“項(xiàng)目符合國家教育政策的總要求”,“成效影響”維度指出“項(xiàng)目成為學(xué)校的特色名片”等。二是評估指標(biāo)突出了高校育人的根本宗旨。育人的根本在于立德,該指標(biāo)體系的建立在充分考慮新時代社會對志愿服務(wù)項(xiàng)目需求的基礎(chǔ)上,也充分考慮了高校立德樹人的根本宗旨,兼顧志愿服務(wù)和育人立德相統(tǒng)一。例如在“項(xiàng)目組織”維度提出“項(xiàng)目有較完善的團(tuán)隊(duì)提升計(jì)劃”,“成效影響”維度指出“項(xiàng)目中團(tuán)隊(duì)成員和志愿者得到相應(yīng)成長”等。三是評估指標(biāo)兼顧了過程性和整體性。在構(gòu)想高校志愿服務(wù)項(xiàng)目評估指標(biāo)體系之初,筆者從高校志愿服務(wù)項(xiàng)目本身的特點(diǎn)出發(fā),將其作為大學(xué)生第二課堂育人活動,從項(xiàng)目原有基礎(chǔ)、組織構(gòu)建、項(xiàng)目實(shí)施、成效影響維度進(jìn)行考慮,因而CIPP評估理論模型能夠與高校志愿服務(wù)項(xiàng)目基本吻合,符合指標(biāo)體系建立的理論要求。同時,為充分考慮評估指標(biāo)的科學(xué)性和有效性,4個一級指標(biāo)從整體上對應(yīng)了高校志愿服務(wù)項(xiàng)目的實(shí)施,30個二級評估指標(biāo)細(xì)化項(xiàng)目基礎(chǔ)、組織、實(shí)施和成效的全過程,指標(biāo)體系的建構(gòu)兼顧了評估過程和項(xiàng)目整體的有機(jī)統(tǒng)一。

(三)未來需重點(diǎn)關(guān)注的問題

在前期研究的基礎(chǔ)上,雖初步建立起了高校志愿服務(wù)項(xiàng)目評估指標(biāo)體系,但在未來高校志愿服務(wù)項(xiàng)目實(shí)施的過程中,對部分維度的指標(biāo)要素需重點(diǎn)加以關(guān)注。第一,在組織建立上,部分項(xiàng)目存在自身建設(shè)不完善、項(xiàng)目與社會服務(wù)脫節(jié)等問題,若自身組織機(jī)構(gòu)建立不夠健全,則難以長久持續(xù)進(jìn)行志愿服務(wù)活動。第二,在項(xiàng)目支持上,高校志愿服務(wù)組織主要依靠所在學(xué)校團(tuán)委和學(xué)院的支持,缺乏一定的資金來源。以國賽獲獎項(xiàng)目溫州某高?！皢文_鞋銀行”為例,郵寄給單腳人的郵費(fèi)資金存在一定程度的困難。第三,在對外交流上,高校志愿服務(wù)項(xiàng)目組織者與參與者大多是在校大學(xué)生,對外交流相對較少,較多的是與社區(qū)、敬老院等對接和交流,與社會公益組織和基金的對接和交流比較少。第四,在項(xiàng)目評估上,高校志愿項(xiàng)目組織和參與的大多是學(xué)生,沒有嚴(yán)格的量化評估尺度,存在缺少第三方評估和量化的問題。

(四)不足和思考

本研究建構(gòu)的高校志愿服務(wù)項(xiàng)目評估指標(biāo)體系,在充分考量項(xiàng)目本體特征、高校大學(xué)生特點(diǎn)的同時,兼顧過程性和整體性,符合高校志愿服務(wù)項(xiàng)目科學(xué)性和規(guī)范性的評估要求,但同時也存在一定的不足。一是評估指標(biāo)體系的操作性有待進(jìn)一步檢驗(yàn)。高校志愿服務(wù)項(xiàng)目的評估是一個復(fù)雜的過程,既要考慮到服務(wù)對象的體驗(yàn)成效,又要考慮項(xiàng)目本身的組織實(shí)施,還需要進(jìn)一步考量大學(xué)生青年志愿者的收獲成長。本研究構(gòu)建的指標(biāo)體系綜合考量項(xiàng)目的基礎(chǔ)構(gòu)建、組織、實(shí)施和成效影響,主要從項(xiàng)目實(shí)施的角度搭建的評估框架,更側(cè)重于項(xiàng)目評估的過程性和整體性。受主客觀因素的影響,不同的項(xiàng)目側(cè)重考慮的視角會大有不同。二是評估指標(biāo)的靈活性有待進(jìn)一步加強(qiáng)。受經(jīng)濟(jì)、地域和項(xiàng)目本身現(xiàn)實(shí)條件的制約,不同高校對志愿服務(wù)項(xiàng)目的支持力度有所不同,項(xiàng)目本身的發(fā)展也會受到制約,如在“項(xiàng)目基礎(chǔ)”維度提出的“項(xiàng)目有一定的經(jīng)費(fèi)支持”“項(xiàng)目有固定的工作室場地支持”等指標(biāo)難以滿足。這就要求在使用該評估指標(biāo)的同時充分考慮項(xiàng)目本身具備的現(xiàn)實(shí)情況,可根據(jù)實(shí)際需求細(xì)化或刪減評估指標(biāo),進(jìn)而滿足項(xiàng)目評估可操作性的要求。

五、結(jié)論

志愿服務(wù)是現(xiàn)代社會文明進(jìn)步的重要標(biāo)志,是培育和踐行社會主義核心價值觀的有效載體。[12]在實(shí)際調(diào)研中發(fā)現(xiàn),評估指標(biāo)體系的缺失是制約高校志愿服務(wù)項(xiàng)目的重要因素,本研究依據(jù)CIPP評估質(zhì)量理論,構(gòu)建了包含項(xiàng)目基礎(chǔ)、項(xiàng)目組織、項(xiàng)目實(shí)施和成效影響4個一級指標(biāo),30個二級指標(biāo)的高校大學(xué)生志愿服務(wù)項(xiàng)目質(zhì)量評估指標(biāo)體系,能夠?yàn)榻窈蟾咝Ｖ驹阜?wù)項(xiàng)目的質(zhì)量評估提供參考。高校大學(xué)生是極具創(chuàng)新力的群體,加強(qiáng)高校志愿服務(wù)項(xiàng)目體制機(jī)制建設(shè),建立科學(xué)規(guī)范的評估指標(biāo),能夠進(jìn)一步優(yōu)化高校大學(xué)生志愿服務(wù)內(nèi)容,實(shí)現(xiàn)志愿服務(wù)內(nèi)容多樣化、服務(wù)對象多元化,引導(dǎo)青年學(xué)子為社會發(fā)展貢獻(xiàn)應(yīng)有的青春力量。