專題教育社區(qū)評價指標(biāo)體系建構(gòu)的方法研究*

馮 銳，董利亞，李 聞

(1.揚州大學(xué) 新聞與傳媒學(xué)院，江蘇 揚州 225002; 2.南京金陵匯文學(xué)校，江蘇 南京 210036)

專題教育社區(qū)評價指標(biāo)體系建構(gòu)的方法研究*

馮 銳1，董利亞2，李 聞1

(1.揚州大學(xué) 新聞與傳媒學(xué)院，江蘇 揚州 225002; 2.南京金陵匯文學(xué)校，江蘇 南京 210036)

專題教育社區(qū)是依托國家教育資源公共服務(wù)平臺創(chuàng)建的一個在線專題學(xué)習(xí)社區(qū)，它以學(xué)習(xí)者為核心，基于社會關(guān)系網(wǎng)絡(luò)以活動為載體促進知識在個體與組織間生成與消費的一種學(xué)習(xí)共同體，是“互聯(lián)網(wǎng)+”教育的一種社交型學(xué)習(xí)形態(tài)。自2014年4月建設(shè)以來，已經(jīng)創(chuàng)建了167個有特色的在線專題教育學(xué)習(xí)社區(qū)，社區(qū)注冊成員15萬余人，訪問量達到700余萬人次等。這些社區(qū)在全國各級各類學(xué)校、廣大師生中具有了廣泛的社會影響力，但各社區(qū)之間建設(shè)水平參差不齊存在差距。該文運用文獻研究法、目標(biāo)分解法、德爾菲法、層次分析法構(gòu)建了專題教育社區(qū)評價指標(biāo)體系，旨在為專題教育社區(qū)建設(shè)者提升社區(qū)質(zhì)量，衡量社區(qū)水平提供指導(dǎo)依據(jù)。該評價指標(biāo)體系包括5項一級指標(biāo)，38項二級指標(biāo)，目前已經(jīng)得到了專家的論證以及實踐的驗證。

專題教育社區(qū)；評價指標(biāo)體系；德爾菲法

專題教育社區(qū)是由國家教育資源公共服務(wù)平臺創(chuàng)建的在線專題學(xué)習(xí)社區(qū)，是推動國家教育資源公共服務(wù)平臺建設(shè)和深度應(yīng)用的重要工作。在教育部科技司指導(dǎo)下，從2014年4月起中央電化教育館組織實施了專題教育社區(qū)建設(shè)工程，已經(jīng)在國家教育資源公共服務(wù)平臺上建設(shè)了167個專題教育社區(qū)，初步形成了一系列有特色的在線社交學(xué)習(xí)社區(qū)。這些專題教育社區(qū)在全國各級各類學(xué)校、廣大師生中具有了廣泛的社會影響力。為了確保社區(qū)的建設(shè)質(zhì)量，衡量社區(qū)的建設(shè)水平，推進和強化社區(qū)的可持續(xù)發(fā)展，需要盡快構(gòu)建出一套可行的、可實用的專題教育社區(qū)的評價指標(biāo)體系。評價指標(biāo)體系的建立是一個系統(tǒng)規(guī)范的研究過程，它需要全面、系統(tǒng)地分析研究對象，綜合分析結(jié)果，并對系統(tǒng)進行反復(fù)評價，直到實現(xiàn)預(yù)定的目標(biāo)[1]。所以，專題教育社區(qū)評價指標(biāo)體系的構(gòu)建首先要解決的是方法問題，因為指標(biāo)體系構(gòu)建的方法是確保評價指標(biāo)體系構(gòu)建過程科學(xué)性、規(guī)范性的基礎(chǔ)。

一、評價指標(biāo)體系構(gòu)建路徑和方法

專題教育社區(qū)的評價指標(biāo)就是根據(jù)專題教育社區(qū)的評價目標(biāo)，圍繞專題教育社區(qū)的本質(zhì)特征確定能反映其建設(shè)水平和質(zhì)量的具體評價條目。評價指標(biāo)體系則是根據(jù)評價對象本身的邏輯結(jié)構(gòu)，由不同層級的評價指標(biāo)構(gòu)成的一個有機整體。建立一套評價指標(biāo)體系，必須理清研究的總體思路和脈絡(luò)，這樣研究過程才能明晰、有章可循，具有實際操作性，如圖1所示。

圖1 評價指標(biāo)體系構(gòu)建的總體思路

(一)確定評價對象，明確評價目標(biāo)

評估對象是評價的客體，評價目標(biāo)是對客體進行評價所要達到規(guī)定的標(biāo)準(zhǔn)。明確評價對象和評價目標(biāo)是構(gòu)建評價指標(biāo)體系的首要任務(wù)，對指標(biāo)體系和評價方法起決定作用，從而確定評價項目[2]。我們此次的評價對象是167個在線專題教育社區(qū)，這些社區(qū)是從2014年4月開始在國家教育資源公共服務(wù)平臺上建設(shè)，現(xiàn)在已經(jīng)注冊社區(qū)成員達15萬余人，根據(jù)社區(qū)目標(biāo)要求開展活動2900多個，依據(jù)社區(qū)活動任務(wù)創(chuàng)建了3450個社區(qū)小組，創(chuàng)造出資源10萬余條和生成文章15萬余篇，社區(qū)訪問量達到700余萬人次等。隨著這些專題教育社區(qū)在全國各級各類學(xué)校中的廣泛應(yīng)用，以及精品專題教育社區(qū)建設(shè)項目的推進，這些專題教育社區(qū)將成為獲取優(yōu)質(zhì)資源，實現(xiàn)優(yōu)質(zhì)資源共享，促進師生學(xué)習(xí)和交流的重要在線支持環(huán)境。所以，這些專題教育社區(qū)的建設(shè)就是為各類學(xué)習(xí)者構(gòu)建的一個知識擴散與共享的在線學(xué)習(xí)環(huán)境，并且它能夠為學(xué)生開展深度學(xué)習(xí)、適應(yīng)性學(xué)習(xí)以及各類實踐與研究活動提供各種支持和服務(wù)[3]。找準(zhǔn)評價對象，明確評價目標(biāo)是指引評價指標(biāo)體系構(gòu)建過程中的重要航標(biāo)，也是確保整個評估過程不偏離專題教育社區(qū)建設(shè)內(nèi)涵的關(guān)鍵環(huán)節(jié)。因此，對評價目標(biāo)及評價對象認(rèn)知越充分，剖析越透徹，初擬的評價指標(biāo)就會越符合預(yù)期，越接近實際。

(二)初建專題教育社區(qū)的評價指標(biāo)體系

評價指標(biāo)是對評價對象某一方面特性的客觀準(zhǔn)確反映。初建指標(biāo)體系既要選擇能反映評價對象特性的可測指標(biāo)，又要初步確立各項可測指標(biāo)間的相互關(guān)系，這是評價指標(biāo)體系建立過程中一個非常重要的環(huán)節(jié)。初建評價指標(biāo)體系時應(yīng)盡量全面、準(zhǔn)確地反映到評估目標(biāo)的各個方面，并要確保初建的指標(biāo)之間盡量不重復(fù)且指標(biāo)指向性清晰。我們考慮到專題教育社區(qū)特有的屬性，以及專題教育社區(qū)的實際建設(shè)情況，權(quán)衡評價指標(biāo)體系初建的各個方法有優(yōu)劣，確定采用多種方法相結(jié)合來初建專題教育社區(qū)評價指標(biāo)體系。

第一，利用文獻研究法梳理和明確了國內(nèi)外有關(guān)虛擬社區(qū)評價、虛擬學(xué)習(xí)社區(qū)評價、虛擬學(xué)習(xí)環(huán)境評價、教師在線實踐社區(qū)COP評價的維度選擇主要關(guān)注于社區(qū)基本情況、社區(qū)主題、社區(qū)目標(biāo)和定位、社區(qū)活動組織、社區(qū)支持服務(wù)、社區(qū)規(guī)范、技術(shù)環(huán)境、社區(qū)資源等方面。我們對這些方面進行分析和綜合，抽象出在線學(xué)習(xí)社區(qū)(或虛擬學(xué)習(xí)共同體)的評價維度選擇主要涉及社區(qū)基礎(chǔ)性評價、社區(qū)核心性評價、社區(qū)組織性評價、社區(qū)管理性評價。

第二，利用文獻研究法梳理清楚專題教育社區(qū)的建設(shè)目標(biāo)、特點、功能和內(nèi)容等，并利用目標(biāo)分解法從專題教育社區(qū)的建設(shè)總目標(biāo)出發(fā)，按照專題教育社區(qū)建設(shè)任務(wù)的構(gòu)成進行逐層分解，即將總體目標(biāo)解讀為一系列一級指標(biāo)，再將一級指標(biāo)解析為二級指標(biāo)，從上至下直到分解成可操作的末級指標(biāo)為止。

第三，利用調(diào)查研究法對全國專題教育社區(qū)建設(shè)與發(fā)展進行總體分析與個案分析，總結(jié)和歸納專題教育社區(qū)建設(shè)內(nèi)涵和經(jīng)驗，從中提煉出專題教育社區(qū)建設(shè)的關(guān)鍵性因素。

第四，在上述研究成果的基礎(chǔ)上，我們利用分析和綜合相結(jié)合的辯證邏輯思維方法從中抽象和初步構(gòu)建了專題教育社區(qū)評價指標(biāo)體系的六個評價維度：社區(qū)基本情況、社區(qū)資源管理、社區(qū)教學(xué)活動、社區(qū)技術(shù)支持、社區(qū)用戶體驗、社區(qū)培育與發(fā)展六個維度。另外，由于專題教育社區(qū)自身的特殊性——它在國家平臺上建設(shè)而成，平臺的穩(wěn)定性、安全性及響應(yīng)速度等與技術(shù)支持相關(guān)的要素都是既定的，是專題教育社區(qū)創(chuàng)建者或者說管理者無法改變的。因此，本研究在指標(biāo)體系維度中舍棄了社區(qū)技術(shù)支持這一維度。然后，根據(jù)每一個一級指標(biāo)的關(guān)鍵影響因素，確立了35個二級指標(biāo)，如可以從活動評價與反思、角色分工、活動效果、活動融合性等方面去測評社區(qū)教學(xué)活動所達到的效果。

(三)遴選專題教育社區(qū)的評價指標(biāo)

指標(biāo)體系的建立是一個逐步優(yōu)化的過程，初擬的指標(biāo)體系中可能有一些指標(biāo)反映的內(nèi)容重復(fù)，若全部使用將過于側(cè)重某一方面，另外指標(biāo)過多也不利于實際操作[4]。這就需要優(yōu)化評價指標(biāo)體系，即對初擬的評價指標(biāo)進行對比、甄別、篩選、歸類和合并。初建專題教育社區(qū)的評價指標(biāo)體系時，一般都盡可能要把建設(shè)任務(wù)的各個方面覆蓋到、涉及到。所以，初擬定的評價指標(biāo)盡管比較全面，但指標(biāo)之間肯定相互重疊，級別之間相互交織，重要和不重要指標(biāo)并存，指標(biāo)的獨立性和指向性比較差。因此，初擬的指標(biāo)體系必須經(jīng)過遴選。

指標(biāo)遴選是一個非常重要的工作，一般要考慮初建指標(biāo)的重要性程度、各指標(biāo)間的相關(guān)性程度、各指標(biāo)數(shù)據(jù)的區(qū)分度[5]。綜合考慮，我們選用了德爾菲法對指標(biāo)體系進行修正和遴選。

(四)設(shè)定專題教育社區(qū)評價指標(biāo)的權(quán)重

指標(biāo)的權(quán)重是被評估對象指標(biāo)在整體中的相對重要程度以及所占比例大小的量化值。權(quán)重賦值對評價結(jié)果至關(guān)重要。若其中一個因素的權(quán)重改變了，會影響最終的評判結(jié)果。因此，權(quán)重賦值的方法至關(guān)重要。

層次分析法是確定權(quán)重賦值應(yīng)用最為廣泛且操作性強，比較系統(tǒng)、層次化的分析方法。我們運用層次分析法收集了專家依據(jù)經(jīng)驗同級比較兩兩指標(biāo)重要性的數(shù)據(jù)，利用這些數(shù)據(jù)進行層級分析，最終計算出指標(biāo)的權(quán)重。

(五)確定專題教育社區(qū)評價體系的評價標(biāo)準(zhǔn)

評價標(biāo)準(zhǔn)是評價指標(biāo)體系的重要組成部分，它為評價者判斷評價對象是否達到末級指標(biāo)的程度提供衡量的尺度和準(zhǔn)則。評價標(biāo)準(zhǔn)一般由評價內(nèi)容、標(biāo)度和標(biāo)號三個方面構(gòu)成。評價內(nèi)容是評價指標(biāo)達到專題教育社區(qū)建設(shè)水平和質(zhì)量要求的各種程度或各種規(guī)范化行為的優(yōu)劣程度。該評價標(biāo)準(zhǔn)對于評價內(nèi)容采用了定性規(guī)定方式，主要通過對評價內(nèi)容的達成程度或規(guī)范化行為的優(yōu)劣程度進行質(zhì)的規(guī)定性描述。標(biāo)度是區(qū)分評價對象達到評價標(biāo)準(zhǔn)的程度。考慮到該評價指標(biāo)體系主要是用于專家根據(jù)評價標(biāo)準(zhǔn)對社區(qū)建設(shè)水平和質(zhì)量的判斷。為此我們按照評價內(nèi)容的優(yōu)劣程度來確立標(biāo)度，標(biāo)度采用了數(shù)字表示各個等級，一共劃分了6個等級(100、80、60、40、20、0)，等級的級差是20，與此相對應(yīng)的序號是A、B、C、D、E、F。標(biāo)號是區(qū)分程度的符號，它本身無獨立意義，只是評定標(biāo)準(zhǔn)的輔助部分。

二、基于德爾菲法的評價指標(biāo)遴選

德爾菲法又稱專家意見法，本研究通過德爾菲法咨詢了多個專家的意見，第一輪調(diào)查專家對初步草擬指標(biāo)體系的意見，對初選的評價指標(biāo)進行進一步篩選或補充，主要目的是確定指標(biāo)體系的框架和評價指標(biāo)；第二輪咨詢的主要目的是進一步修正完善評價指標(biāo)，收集專家對于各項指標(biāo)重要性及權(quán)重設(shè)定的建議。經(jīng)過多次反復(fù)操作，逐步使大部分的專家意見趨于一致，以此作為評價指標(biāo)重要性評判的依據(jù)。

(一)第一輪專家咨詢問卷

我們選取了27名研究和實踐專題教育社區(qū)的專家進行咨詢問卷調(diào)查，這些專家包括創(chuàng)建者、助學(xué)者、技術(shù)支持者、研究者等。首先進行第一輪專家咨詢問卷調(diào)查，主要調(diào)查專家對初擬的5個維度35個二級指標(biāo)的個人評判依據(jù)、重要性判斷、熟悉程度判斷等內(nèi)容。我們利用這些方面的調(diào)查數(shù)據(jù)就可以計算專家意見權(quán)威程度和專家協(xié)調(diào)程度，這是評判指標(biāo)的科學(xué)性、重要性的前提。

1.專家意見權(quán)威程度

專家意見權(quán)威程度通常是由專家對評價指標(biāo)的熟悉程度(Cs)和判斷依據(jù)(Ca)決定的。通常用專家的權(quán)威系數(shù)Cr表示，計算公式為：

Cr等于二者的算術(shù)平均值。一般情況下，權(quán)威系數(shù)Cr值越大，專家意見越有權(quán)威性，價值越高；反之亦然。一般認(rèn)為，權(quán)威系數(shù)Cr值大于或等于0.70是可接受的[6]。

判斷依據(jù)由“理論分析”“實踐經(jīng)驗”“同行了解”和“專家直覺”四個維度組成，需要專家選擇對這四個維度進行判斷的影響程度(大、中、小)，并對影響程度進行賦值后計算出Ca。熟悉程度主要調(diào)查專家對5個維度(一級指標(biāo))的熟悉程度，調(diào)查分為“熟悉”“較熟悉”“一般”“不太熟悉”“不熟悉”這5個級別，這5個級別分別按照0.9，0.7，0.5，0.3，0.1 賦值，即Cs= ( 0.9，0.7，0.5，0.3，0.1 )。

根據(jù)第一輪專家咨詢表中“專家權(quán)威程度自評表”計算出專家意見權(quán)威程度系數(shù)，結(jié)果如表1所示。從統(tǒng)計結(jié)果看，Cr值均大于0.7。一般認(rèn)為Cr≥0.8為專家對內(nèi)容選擇有較大的把握度[7]。這表明參與本次咨詢的專家對咨詢內(nèi)容熟悉，權(quán)威程度高，統(tǒng)計具有權(quán)威性。

表1 專家權(quán)威程度

2.專家意見協(xié)調(diào)程度

專家意見協(xié)調(diào)程度主要由兩個方面表示：專家意見協(xié)調(diào)系數(shù)和各指標(biāo)評價結(jié)果的變異系數(shù)。

(1)專家意見協(xié)調(diào)系數(shù)

專家意見協(xié)調(diào)系數(shù)反映全部專家對所有指標(biāo)的協(xié)調(diào)程度，通常是進行Kendall協(xié)調(diào)系數(shù)檢驗，W表示協(xié)調(diào)系數(shù)，用于多列等級變量相關(guān)程度的表示。協(xié)調(diào)系數(shù)W一般在0-1之間，越接近1表示專家的協(xié)調(diào)程度越好，反之越差[8]。第一輪咨詢中全部一級指標(biāo)協(xié)調(diào)系數(shù)W為0.181，協(xié)調(diào)系數(shù)的顯著性檢驗——卡方檢驗的顯著水平Sig值0.002小于0.05；全部二級指標(biāo)專家協(xié)調(diào)系數(shù)W為0.191，協(xié)調(diào)系數(shù)的卡方檢驗的顯著水平Sig值0.000小于0.05，如下頁表2所示。這表明在 95% 的置信度下，專家評估一級指標(biāo)和二級指標(biāo)意見協(xié)調(diào)性好，結(jié)果可取。對于初擬定的一級指標(biāo)和二級指標(biāo)，專家意見在第一輪咨詢中基本趨于一致。

表2 專家意見協(xié)調(diào)程度

(2)變異系數(shù)

變異系數(shù)說明專家對某一指標(biāo)相對重要性的波動程度或協(xié)調(diào)程度，變異系數(shù)越小表示專家建議的協(xié)調(diào)程度就越高[9]。變異系數(shù)用Vi表示，其計算公式為：

其中，Si表示第i個指標(biāo)的標(biāo)準(zhǔn)差，Xi表示第i個指標(biāo)的平均值[10]。

變異系數(shù)Vi數(shù)值由小到大遞增，表示專家對指標(biāo)重要性的意見分歧遞增。變異系數(shù)大于0.5時，該指標(biāo)將被舍去。經(jīng)過統(tǒng)計分析，第一輪專家咨詢問卷中專家對一級指標(biāo)和二級指標(biāo)意見的變異系數(shù)均在0.5范圍之內(nèi)，所以保留全部指標(biāo)(各指標(biāo)變異系數(shù)計算結(jié)果略)。

另外，在第一輪專家的咨詢問卷中，專家們提出了諸多補充意見：建議將一級指標(biāo)“社區(qū)教學(xué)活動”修改為“社區(qū)教與學(xué)活動”，并添加相應(yīng)二級指標(biāo)，將原有二級指標(biāo)“社區(qū)主題”改為“社區(qū)名稱”；“交互方式多樣性”改為“成員交互”，“用戶操作便捷程度”改為“用戶使用便捷性”；增加3項二級指標(biāo)：資源的便捷性、社區(qū)粘度、移動社區(qū)服務(wù)。

(二)第二輪專家咨詢問卷

我們結(jié)合專家的補充意見和統(tǒng)計結(jié)果，在初擬指標(biāo)的基礎(chǔ)上進行了科學(xué)的論證，補充、篩選和修改相應(yīng)的一級指標(biāo)、二級指標(biāo)，再次形成重要性和可行性的第二輪專家咨詢問卷，并進行第二輪專家咨詢問卷調(diào)查。第二輪問卷主要調(diào)查補充和修改后一級指標(biāo)、二級指標(biāo)的專家協(xié)調(diào)程度。為保持專家咨詢的權(quán)威連貫性，我們選取了第一輪中回復(fù)有效咨詢表的24位專家發(fā)放問卷，回收了21份有效問卷，有效回收率為87.5%。第二輪統(tǒng)計的專家意見協(xié)調(diào)系數(shù)如表3所示。統(tǒng)計數(shù)據(jù)表明：專家評估一級指標(biāo)和二級指標(biāo)的意見協(xié)調(diào)性已經(jīng)高度趨于一致。

表3 第二輪專家意見協(xié)調(diào)程度

續(xù)表3

第二輪問卷統(tǒng)計的變異系數(shù)如表4所示，從各指標(biāo)變異系數(shù)結(jié)果分析可得出：5個一級指標(biāo)的專家的變異系數(shù)已經(jīng)小于0.15，這說明專家意見的分歧非常小，意見的協(xié)調(diào)程度很高。38個二級指標(biāo)中，只有個人空間(0.28)、成員平等性(0.25)和成員信任度(0.26)的變異系數(shù)均大于0.25，說明專家對這三項指標(biāo)還存在一定偏歧，其他指標(biāo)的變異系數(shù)均低于0.25。但考慮到所有二級指標(biāo)的變異系數(shù)都低于0.5，綜合考慮我們?nèi)詫⒈Ａ暨@三項指標(biāo)。

表4 第二輪各指標(biāo)變異系數(shù)

續(xù)表4

(三)第三輪專家咨詢問卷

第三輪專家咨詢問卷選取了同樣的21位專家發(fā)放問卷，同第二輪一樣再次調(diào)查了專家意見的集中程度、協(xié)調(diào)程度。第三輪回收有效專家咨詢問卷20份，統(tǒng)計結(jié)果表明，一級指標(biāo)和二級指標(biāo)的專家意見協(xié)調(diào)性高度一致，各指標(biāo)變異系數(shù)均低于0.2，表明專家對這些幾乎不再有分歧。最終我們確立了專題教育社區(qū)評價體系的5個一級指標(biāo)，38個二級指標(biāo)(具體指標(biāo)體系略)。第三輪專家咨詢問卷運用層次分析法重點調(diào)查了專家對5個一級指標(biāo)、38個二級指標(biāo)同級重要性的兩兩判斷，專家的同級指標(biāo)的兩兩判斷數(shù)據(jù)是確立專題教育社區(qū)指標(biāo)體系權(quán)重的科學(xué)依據(jù)。

三、基于層次分析法設(shè)定評價指標(biāo)的權(quán)重

20世紀(jì)70年代，薩蒂(T.L.Saaty) 教授首次提出了層次分析法(Analytic Hierarchy Process，簡稱AHP)[11]。它是將評價對象視為一個系統(tǒng)，從系統(tǒng)視角對指標(biāo)之間的相互關(guān)聯(lián)度及隸屬關(guān)系按不同層次結(jié)構(gòu)進行矩陣分析，這種方法既有專家依據(jù)經(jīng)驗對指標(biāo)重要性的定性分析，也有數(shù)據(jù)邏輯運算和統(tǒng)計的定量分析。

層次分析法的基本步驟為：(1)構(gòu)造遞階層次結(jié)構(gòu)；(2)建立判斷矩陣；(3)計算被比較元素的相對權(quán)重；(4)單層次一致性檢驗；(5)計算二級指標(biāo)相對于總目標(biāo)的組合權(quán)重[12]。如圖2所示。

圖2 層次分析法的流程圖[13]

(一)構(gòu)造遞階層次結(jié)構(gòu)

我們利用德爾菲法進行了三輪專家咨詢問卷，確立了專題教育社區(qū)的評價指標(biāo)：一級指標(biāo)5個，二級指標(biāo)38個。這些指標(biāo)的相互關(guān)聯(lián)及隸屬關(guān)系如圖3所示。

圖3 專題教育社區(qū)評價體系結(jié)構(gòu)模型

(二)建立判斷矩陣

專家將對同屬一個層次的指標(biāo)進行兩兩比較，比較時要求按照如表5所示的評分標(biāo)度給出它們相對重要性的判斷值。當(dāng)同一層級中的指標(biāo)經(jīng)過兩兩比較后，會生成一個判斷矩陣A=(aij)n×n。

表5 層次分析法評分標(biāo)度[14]

續(xù)表5

經(jīng)過兩兩判定后，專家就依據(jù)評分標(biāo)度選擇出重要性判斷值，這樣每一位專家根據(jù)一級指標(biāo)和二級指標(biāo)就會生成六個判斷矩陣。某位專家對一級指標(biāo)評判后形成的判斷矩陣如表6所示。

表6 某專家對一級指標(biāo)的判斷矩陣評分

本輪層次分析法邀請了有效參與第二輪德爾菲法問卷的21位專家進行矩陣賦值，回收有效問卷20份。對這20份有效問卷的一級指標(biāo)、二級指標(biāo)根據(jù)專家的賦值經(jīng)過兩兩判定后，總共得到120個判斷矩陣。

(三)計算單層次被比較元素的相對權(quán)重

首先將上述表6這位專家評分的正互反矩陣進行化簡，計算判斷矩陣每一行元素的積，進行歸一化處理，計算指標(biāo)權(quán)重。我們按照上述方法，對上述這位專家二級指標(biāo)的5個判斷矩陣進行計算，就會得到這位專家二級指標(biāo)判斷矩陣的權(quán)重系數(shù)值，如表7所示。

表7 上述同一專家對二級指標(biāo)的矩陣計算

我們按照上述計算步驟分別對其他19位專家的判斷矩陣的一級指標(biāo)、二級指標(biāo)的權(quán)重系數(shù)值進行計算(計算數(shù)值略)。

(四)單層次一致性檢驗

單層次一致性檢驗也稱層次單排序(權(quán)重計算)及判斷矩陣的一致性檢驗。因為，對于n×n正互反矩陣A=(aij)n×n，可以證明當(dāng)且僅當(dāng)A的主特征值λMax=n時，A是一致矩陣。但在實際中做到構(gòu)建的矩陣完全一致是無法做到。因此，在計算出λMax時，對于各專家的評價在邏輯上是否一致，需對判斷矩陣進行一致性檢驗。為此我們建立了一致性檢驗指標(biāo)C.I.和R.I.，用以判斷矩陣偏離程度。將判斷矩陣的一致性指標(biāo)C.I.與平均隨機一致性標(biāo)準(zhǔn)值 R.I.[15]進行比值，求得隨機一致性比率C.R.。當(dāng)n=5時，R.I.的值為1.12，即

當(dāng)C.R.＜0.1時，一般認(rèn)為該判斷矩陣具有合格的一致性；當(dāng) C.R.＞0.1時，則認(rèn)為該判斷矩陣一致程度無法接受，則應(yīng)該修正判斷矩陣判斷值，直到滿足一致性檢驗條件。根據(jù)上述計算可得，C.R.＜0.1，則單層次一致性檢驗合格。

運用上述方法步驟，我們對20位專家打分的120個判斷矩陣，用層次分析法進行單層次權(quán)重和單層次一致性檢驗時，發(fā)現(xiàn)在20位專家標(biāo)度的120個判斷矩陣中，有8個矩陣未通過單層次一致性檢驗。當(dāng)判斷矩陣不符合一致性要求時，需要對不合格要求的判斷矩陣進行修正，調(diào)整判斷矩陣的元素取值。為了確保一致性要求，我們又請對應(yīng)專家對這8個矩陣再做一次判斷，重新統(tǒng)計比較的矩陣結(jié)果，并再次對這8個矩陣的一致性進行檢驗。最終依據(jù)20位專家對5個一級指標(biāo)和38個二級指標(biāo)重要性賦值情況，經(jīng)過構(gòu)造矩陣計算出一級指標(biāo)權(quán)重和二級指標(biāo)相對于一級指標(biāo)的單層次權(quán)重系數(shù)，并進行單層次一致性檢驗，結(jié)果顯示單層次一致性C.R.＜0.1全部合格。

20位專家參與決策，從而同一項指標(biāo)會獲得多個判斷矩陣。對于這些判斷矩陣的處理一般有兩種方案：一是將n個判斷矩陣進行集結(jié)，然后再計算權(quán)重；二是將n個判斷矩陣的求權(quán)結(jié)果進行加權(quán)平均。對于方案一，集結(jié)可能會嚴(yán)重影響合成后的判斷矩陣的一致性，操作較為復(fù)雜；而方案二則不存在這一問題，同時也能極大保留各專家的原始意見[16-18]。因此，本研究中我們采取方案二進行群組決策，并得出最終的各因素權(quán)重(權(quán)重數(shù)值略)。

(五)計算二級指標(biāo)相對于總目標(biāo)的組合權(quán)重

為了得到二級指標(biāo)相對于總目標(biāo)的權(quán)重，需要把上述步驟中的權(quán)重進行適當(dāng)?shù)挠嬎憬M合，其值等于各項二級指標(biāo)的權(quán)重與它所屬的一級指標(biāo)的權(quán)重的乘積[19]，即

按照此方法，我們計算出專題教育社區(qū)評價二級指標(biāo)相對于總目標(biāo)的權(quán)重，如表8所示。

表8 專題教育社區(qū)評價指標(biāo)的權(quán)重系數(shù)

隨后一個環(huán)節(jié)是確定每一個二級指標(biāo)的評價標(biāo)準(zhǔn)，我們從評價內(nèi)容、標(biāo)度和標(biāo)號三個方面完成了每個二級指標(biāo)的評價標(biāo)準(zhǔn)，前面專題教育社區(qū)評價指標(biāo)體系構(gòu)建路徑部分已經(jīng)對此做過詳細(xì)詮釋，這里不再贅述。

四、結(jié)語

專題教育社區(qū)評價指標(biāo)體系制定出來以后，我們分別選取了《平安校園文化》《炎陵中小學(xué)科教研基地》和《預(yù)言家創(chuàng)新能力訓(xùn)練》三個社區(qū)進行試測，這三個社區(qū)分別代表著社區(qū)建設(shè)水平。邀請專家分別進入所選的專題教育社區(qū)進行體驗與調(diào)查，然后根據(jù)評價指標(biāo)體系的評分標(biāo)準(zhǔn)進行評價與評分，最后的專家評價結(jié)果是：《平安校園文化》社區(qū)是90.74；《炎陵中小學(xué)科教研基地》社區(qū)是83.56；《預(yù)言家創(chuàng)新能力訓(xùn)練》社區(qū)是64.96。這個試測結(jié)果客觀真實地反映了這三個社區(qū)的建設(shè)質(zhì)量。

本研究評價指標(biāo)的篩選和指標(biāo)權(quán)重的確定雖然嚴(yán)格遵循德爾菲法和層次分析法的原則和步驟實施，且結(jié)果符合統(tǒng)計學(xué)的要求，但也不能完全排除主、客觀及其他因素的影響。為了減小專家在評價中的主觀性，確保評價行為更為客觀、科學(xué)，我們建議使用評價指標(biāo)對專題教育社區(qū)進行評價時，參評同一社區(qū)的專家至少三人或三人以上，結(jié)果取其平均值，這樣可以降低一個專家對社區(qū)評價結(jié)果的主觀差異性，使評價結(jié)果更加客觀、科學(xué)、合理，符合實際情況。當(dāng)然，專題教育社區(qū)評價指標(biāo)體系是一個不斷調(diào)整和完善的過程，隨著理論研究與實踐探索的逐步發(fā)展，評價指標(biāo)體系將會更加優(yōu)化。

[1] 張于心,智明光.綜合評價指標(biāo)體系和評價方法[J].北方交通大學(xué)學(xué)報,1995,(3):393-400.

[2] 李遠(yuǎn)遠(yuǎn),云俊.多屬性綜合評價指標(biāo)體系理論綜述[J].武漢理工大學(xué)學(xué)報?信息與管理工程版,2009,(2):305-309.

[3] 曾祥翊.專題教育社區(qū)的概念與特征[J].中國電化教育,2013,(10):102-106.

[4] 張彩慶,解永樂.指標(biāo)體系的優(yōu)化與權(quán)重的確定[A].2005中國控制與決策學(xué)術(shù)年會論文集(下)[C].沈陽:東北大學(xué)出版社,2005.1915-1918.

[5] 劉仁,卞樹檀,于強.評估指標(biāo)體系構(gòu)建的方法研究[J].電子設(shè)計工程,2013,(1):34-36.

[6] 王高玲,別如娥.基于Delphi法在篩選中國公眾健康素養(yǎng)評價指標(biāo)中的應(yīng)用研究[J].中國健康教育,2008,24(2):81-84.

[7] 關(guān)勛強,李瑞興,劉運成.醫(yī)學(xué)研究生教育評價研究與實踐[M].北京:軍事醫(yī)學(xué)科學(xué)出版社,2001.80-84.

[8] 王春枝,斯琴.德爾菲法中的數(shù)據(jù)統(tǒng)計處理方法及其應(yīng)用研究[J].內(nèi)蒙古財經(jīng)學(xué)院學(xué)報(綜合辦版),2011,9(4):92-96.

[9] 韓鵬,陳校云,張鐵山,余中光,許樹強.基于德爾菲法的醫(yī)院門診及住院醫(yī)學(xué)人文關(guān)懷指標(biāo)體系研究[J].中國現(xiàn)代醫(yī)學(xué)雜志,2015,25(17):70-77.

[10] 樊長軍,張馨,連宇江等.基于德爾菲法的高校圖書館公共服務(wù)能力指標(biāo)體系建設(shè)[J].情報雜志,2011,30(3):97-100.

[11] Saaty T.L.A scaling method for priorities in hierarchical structures[J].Journal of mathematical psychology,1977,15(3):46-51.

[12] 王連芬,許樹柏.層次分析法引論[M].北京:中國人民大學(xué)出版社,1990.1-25.

[13] 張小琳.基于修正層次分析法的我國石油貿(mào)易風(fēng)險問題研究[D].北京:對外經(jīng)濟貿(mào)易大學(xué),2014.

[14] Thomas L S.Decision Making-The Analytic Hierarchy and Network Processes (AHP/ANP)[J].Journal of Systems Science and Systems Engineering,2004,(1):1-35.

[15] 許樹柏.實用決策方法——層次分析法原理[M].天津:天津大學(xué)出版社,1988.2-11.

[16] 郝海,蹤家峰.系統(tǒng)分析與評價方法[M].北京:經(jīng)濟科學(xué)出版社,2007.117-150.

[17] AHP中的群組決策方法[DB/OL].http://wenku.baidu.com/view/9532bb07cc175527072208ca.html,2016-04-10.

[18] 王佳利.基于AHP的網(wǎng)絡(luò)輔助教學(xué)質(zhì)量評價研究[J].現(xiàn)代教育技術(shù),2013,(6):102-106.

[19] 暴奉賢,陳宏立.經(jīng)濟預(yù)測與決策方法[M].廣州:暨南大學(xué)出版社,2001.189.

Research on the Method of the Construction of the Evaluation Indicator System for Special Educative Community

Feng Rui1, Dong Liya2, Li Wen1
(1.School of Journalism and Communication, Yangzhou University, Yangzhou Jiangsu 225002; 2.Jinling Huiwen School,Nanjing Jiangsu 210036)

Special educative community is an online special learning community based on the National Public Platform of Educational Resources. It is learners-centered, based on social relationships network with activities as the carrier to promote knowledge generation and consumption between individual and organization of a learning community and has become a kind of typical social characteristics of learning form of “Internet” and education. Community builders have developed 167 online special educational learning communities, more than 150 thousands registered members and 7 millions visiors since April 2014. These communities have extensive social in fl uence to teachers and students in various schools at all levels in the country. But there is a gap among these communities. In order to provide the guidance for special educative community builders to improve the community quality and measure the community level, this study constructs an evaluation indicator system of special educative community by literature research method, target decomposition method, Delphi method and AHP method. This evaluation indicator system includes 5 fi rst-level indicators and 38 second-level indicators. At present, the evaluation indicator system has been proved by the experts and the practice.

Special Educative Community; Evaluation Indicator System; Delphi Method

G434

A

馮銳：博士，教授，碩士生導(dǎo)師，研究方向為教學(xué)設(shè)計、教育信息化、學(xué)習(xí)技術(shù)(frzx0519@163.com)。

董利亞：碩士，中學(xué)二級，研究方向為網(wǎng)絡(luò)教育應(yīng)用、學(xué)習(xí)評價、信息化教學(xué)設(shè)計(dongliya789@126.com)。

李聞：在讀碩士，研究方向為信息化教學(xué)設(shè)計、數(shù)字化教學(xué)資源的設(shè)計與開發(fā)、新媒體的教育應(yīng)用(403046575@qq.com)。

2016年9月11日

責(zé)任編輯：趙云建

1006—9860(2016)12—0044—08

*本文受教育部在線教育研究中心2016年度在線教育研究基金重點項目“在線專題教育社區(qū)評價體系的構(gòu)建”(項目編號：2016ZD313)資助。