“實時網(wǎng)絡聽評課”效果評估技術體系的設計與實現(xiàn)
——以聽課教師的專業(yè)發(fā)展為導向

李 蕾

(中央電化教育館，北京 100031)

“實時網(wǎng)絡聽評課”效果評估技術體系的設計與實現(xiàn)
——以聽課教師的專業(yè)發(fā)展為導向

李 蕾

(中央電化教育館，北京 100031)

實時網(wǎng)絡聽評課是基于網(wǎng)絡平臺且在原則上可以邊聽課邊評議的聽評課教研活動，合理評估這一形態(tài)的聽評課效果，是客觀認識其價值、做出科學決策的基本依據(jù)，也是分析不足、改進提升的重要基礎。該文以聽課教師的專業(yè)發(fā)展為導向，通過探索性因子分析，確定從“參與程度”和“專業(yè)發(fā)展”兩個維度評估實時網(wǎng)絡聽評課的效果，重點設計了實時網(wǎng)絡聽評課效果評估調查問卷、基于問卷的實時網(wǎng)絡聽評課效果得分綜合模型、評議交流質量的內容分析編碼體系等3個評估工具，并為實施評估構建了包括原則、方法、工具在內的橫縱交織的評估技術體系，增強了評估實踐的可操作性。

網(wǎng)絡聽評課；教師專業(yè)發(fā)展；評估技術

一直以來，聽評課是教師培訓與研修活動的重要形式與內容，對教師專業(yè)發(fā)展具有舉足輕重的作用[1]。隨著網(wǎng)絡的普及，研究者們探索了網(wǎng)絡條件下聽評課環(huán)境構建技術，分享了網(wǎng)絡聽評課實踐的經(jīng)驗[2]，認為網(wǎng)絡聽評課“具有傳統(tǒng)聽評課教研方式所沒有的優(yōu)勢和教研效果”[3]，但效果如何評估，現(xiàn)有文獻則較少涉及。合理評估網(wǎng)絡聽評課效果，是客觀認識其價值、做出科學決策的基本依據(jù)，也是分析不足、改進提升的重要基礎。網(wǎng)絡聽評課有多種形態(tài)，本研究界定其中的一種形態(tài)——實時網(wǎng)絡聽評課，為評估這一形態(tài)的聽評課效果構建一套技術體系，使評估過程行有可依，評估結果真實有效，為比較不同實時網(wǎng)絡聽評課效果、考察效果變化提供客觀依據(jù)。

一、概念與分析單位界定

(一)實時網(wǎng)絡聽評課

實時網(wǎng)絡聽評課是指不少于兩位聽課教師共時參與的、在網(wǎng)絡環(huán)境中通過必要的IT制品進行的聽評課教研活動。在聽課過程中，聽課教師原則上可以隨時發(fā)表評議意見，是個體聽課與評議的實時同步；聽課群體同時在線進行聽與評，聽課教師之間交流互動的關系是實時的。課程結束后，評議可以有組織地或自組織地線上或線下持續(xù)進行，所持續(xù)的時間可以是有限的，也可以是無限的。

(二)實時網(wǎng)絡聽評課效果

實時網(wǎng)絡聽評課效果是指符合實時網(wǎng)絡聽評課概念條件的教研活動的效果。本研究以聽課教師的專業(yè)發(fā)展為導向，由此約定：效果由聽課教師體現(xiàn)，并與他們的專業(yè)發(fā)展相關。至于可能反映活動效果的其他方面，如上課教師的發(fā)展、學校文化、校本資源建設等維度，不在本研究范圍內。

(三)分析單位

每一次聽評課活動，有該次活動的即時效果、短期效果、長期效果；多次的聽評課活動，有累積效果。本研究主要針對每一次實時網(wǎng)絡聽評課活動，評估即時效果。聽評課是群體活動。群體動力學指出，群體不是人們個體的簡單集合，而是一個人與環(huán)境耦合的動力整體。個體聽評課的效果與群體聽評課的效果不是簡單的代表與加合的關系，因此，本研究的分析單位既有個體又有作為動力整體的群體。

二、實時網(wǎng)絡聽評課效果評估維度的提出

(一)評估維度的理論構想

構建評估技術體系的首要問題是要明確從哪些方面評估實時網(wǎng)絡聽評課的效果。效果由聽課教師體現(xiàn)，并與他們的專業(yè)發(fā)展相關，因此聽課教師的“專業(yè)發(fā)展”是一個重要的評估維度。一些學者指出現(xiàn)場聽評課中普遍存在聽課教師不投入的現(xiàn)象，如評議缺互動、關注點單一、課堂中豐富而重要的信息未被予以應有的關注等。這些現(xiàn)象在“網(wǎng)絡”“實時”“同步”等要素的存在下有無改觀，則表明實時網(wǎng)絡聽評課在改變教師參與程度方面是否產(chǎn)生了效果。因此，聽課教師的“參與程度”也是評估實時網(wǎng)絡聽評課效果的維度。“專業(yè)發(fā)展”“參與程度”兩個維度是否表征實時網(wǎng)絡聽評課效果的本質結構，還需要通過探索性因子分析法做進一步研究，其基礎是觀測變量的設計。

(二)各維度測量題項的設計

為評價具體的教師專業(yè)發(fā)展活動的實效，古斯基(Thomas R.Guskey)構建了5個評價層次，指出這5個評價層次既可以整體使用，又可以獨立使用其中的某些層次[4]。情境學習理論認為，績效評估應著眼于學習者在學習過程中可能得到的成長與發(fā)展，應關注學習者在真實實踐情境中所表現(xiàn)出來的理解水平、思維品質、行動改進及其過程[5]。國際培訓、績效及教學標準委員會(IBSTPI)和一些國內研究者提出了教師能力標準、教師專業(yè)發(fā)展績效評估指標或觀測變量，雖不適用本研究的分析單位，但啟發(fā)了本研究測量題項的設計。

作為對具體活動的即時評估，本研究主要考察教師在聽評課情境中的行為表現(xiàn)，并重視那些可以推知可能得到發(fā)展的行為，從聽課教師對所聽的課的關注情況、對群體評議內容的關注情況以及自我反思等方面，設計了10個可觀測題項，釆用里克特5點量表計分，形成預試問卷。

(三)評估維度的確定

預試問卷的調查對象為分布在全國城市和農(nóng)村地區(qū)的中小學教師群體。依據(jù)隨機抽樣原則，采用不記名的網(wǎng)絡問卷方式，收取113份問卷，有效問卷107份，其中城市學校的教師占41.1%，農(nóng)村學校的教師占58.9%。使用正交轉軸法中的“最大變異旋轉法”，配合“限定抽取共同因素法”，通過4次探索性因素分析，確定“專業(yè)發(fā)展”和“參與程度”是有效反映實時網(wǎng)絡聽評課效果的核心因子，并保留6個測量題項。數(shù)據(jù)表明，“專業(yè)發(fā)展”和“參與程度”兩個維度的聯(lián)合解釋變異量為69.51%，作為因素相當理想，與理論構想的維度一致；6個題項的因素負荷均在0.50以上，表明題項可以有效反映各指標變量；α值大于0.8，表明量表的信度甚佳，可用于評估實時網(wǎng)絡聽評課效果的正式測量。

三、內容分析編碼體系的設計

教師之間評議交流，是以語言為媒介的對話交往。根據(jù)哈貝馬斯(Jürgen Habermas)的交往行為理論，言語的意義取決于說話背后的理由，要理解該言語，聽話人必須能夠思考(并決定是接受還是否決)話語背后的理由、揣測說話人的意圖。這就要求聽話人反思自身經(jīng)驗，并在對話過程中與說話人實現(xiàn)意義建構，增長自身經(jīng)驗和動力群體的共同經(jīng)驗。

反思既是內隱的思維活動又是外顯的探究行為，評議意見的表達便是反思的外顯行為。對于反思內容，可以從兩個維度進行考察：一是教學反思內容的廣度即教學反思的指向，二是教學反思內容的深度即教學反思水平[6]。Sparks-Langer等人根據(jù)教師對教學事件的描述方式以及對事件做解釋的方法和準則，提出了7種不同層次的反思水平。范梅南(Van Manen)等人將反思分為技術合理性水平、實用行動水平和批判反思水平。一些學者提出了行動水平，分析行動背后的實踐和理論原因水平以及對行為進行倫理辯護的水平[7]。對于有效交流，李克東認為針對同一帖子循環(huán)評論的次數(shù)(即交互層數(shù))是重要的評判標準。以此為依據(jù)，嚴亞利與黎加厚提出了以回復次數(shù)為依據(jù)的“教師博客交互深度”的內容分析框架[8]。

參考上述關于反思水平的劃分、交互層數(shù)的指標設定，本研究從倫理辯護的水平、是否有優(yōu)化教學的建議、評議內容指向的廣度、對同一話題的交互層數(shù)、有無破壞性言論等方面設計編碼類目，并結合實時網(wǎng)絡聽評課評議話語與交互層數(shù)的特點，設計了評估聽課教師評議交流質量的內容分析編碼體系。

四、效果評估技術體系的構建

前文設計的效果測量題項和內容分析編碼體系是獨立使用還是聯(lián)合使用？由誰來用？在什么情況下用？還有無其他評估實時網(wǎng)絡聽評課效果的方法和工具？解決這些與評估實施有關的問題，需要構建一個綜合的評估技術體系。

(一)方法

1.問卷調查法

問卷調查法是由聽課教師填答問卷，評估者統(tǒng)計分析分卷而得到評估結果的方法。根據(jù)對問卷中封閉式問題和非封閉式問題的統(tǒng)計分析，可以獲得某現(xiàn)象的絕對數(shù)、相對比例和分布狀況等數(shù)據(jù)，也可以用來驗證假設、探究因果、發(fā)現(xiàn)規(guī)律，形成定性研究或定量研究的結論。

2.內容分析法

內容分析法是一種半定量研究方法，它以前面設計的評議交流質量內容分析編碼體系為分析框架，由兩個或兩個以上的評判者對教師在實時網(wǎng)絡聽評課中評議交流的文本進行平行操作，形成量化描述，可以較為有效地評判教師評課交流的整體質量，了解個體教師在實時網(wǎng)絡聽評課中的專業(yè)表現(xiàn)。

3.專家評估法

專家評估法是依靠專家的專業(yè)知識、經(jīng)驗和對聽課教師以往情況與現(xiàn)狀的了解，通過直觀歸納，對聽課教師的聽評課實際效果做出判斷。為保證主觀判斷對復雜問題評估標準的統(tǒng)一性、評估操作的常態(tài)化，在評估對象規(guī)模不大的情況下，可采用專家評估法中的個人判斷法，即依靠個別專家對評估對象做出判斷[9]。

4.實地研究法

利用網(wǎng)絡的便捷性，評估者可以方便地進入聽評課現(xiàn)場，感受、傾聽和觀察老師們在聽評課中的行為表現(xiàn)，直接獲得他們在系統(tǒng)平臺中的在線痕跡和言語資料，并對聽課教師或其他與活動相關的人員進行在線或非在線訪談，依靠評估者本人對第一手資料的理解和抽象概括，得出評估結論。實地研究法和專家評估法的區(qū)別在于得出評估結論的依據(jù)和途徑不同，實地研究法更注重對一手資料的收集和運用。

5.其他

評估實時網(wǎng)絡聽評課效果，還有訪談法、觀察法、個案研究法等多種方法。

(二)工具

1.實時網(wǎng)絡聽評課效果得分綜合模型

在定量研究實時網(wǎng)絡聽評課效果時，為使效果總值更合理，應考慮具體測量題項對整體測量結果的權重貢獻?；谝蜃臃治鲋械闹鞒煞莘治龇ǎ梢杂嬎愠觥皩I(yè)發(fā)展”與“參與程度”兩個主成份的線性組合，再將線性組合的系數(shù)做加權平均和歸一化處理，可以得到指標權重[10]，并得出實時網(wǎng)絡聽評課效果得分綜合模型：F=0.177q1+0.162q2+0.166q3+0.149q5+0.166q6+0.179q7。該模型中的前三項是聽評課“參與程度”得分模型，后三項是“專業(yè)發(fā)展”得分模型。結合各題項的權重，可以對問卷結果做分項分析，發(fā)現(xiàn)與具體題項或題項組合有關的非表象信息。通過比較多次效果值的高低變化，可以發(fā)現(xiàn)活動效果的變化，比較不同活動效果的差異。

2.問卷

本研究設計了測量實時網(wǎng)絡聽評課效果的主要題項，并經(jīng)過預測試后進行修訂，形成正式問卷。問卷中除封閉型題項，還有少量可隨需修改的半開放式問題與開放式問題，便于評估者結合具體情境獲得更有針對性的信息，并在使用中適度修改，增強問卷的實用性。

3.其他

美國著名教育家杜威提出，教學不應是直截了當?shù)刈⑷胫R，而應誘導學生在活動匯總得到經(jīng)驗和知識。新課標倡導探究性學習，就是力圖改變學生的學習方式，幫助學生領悟科學的本質，而且關注創(chuàng)新精神和實踐能力的培養(yǎng)。在教學中，教師應該針對學生認知特點，創(chuàng)造性地組織探究活動，讓學生立足書本，進行層層遞進地觀察、實驗，收集和分析證據(jù)，在體驗探究的過程中，形成一定的科學探究能力和科學態(tài)度與價值觀，激發(fā)創(chuàng)新意識。

廣義地看，與評估效果有關的工具，還包括訪談提綱、觀察結構表以及和記錄信息、分析資料有關的其他設備、軟件等，如攝錄機器、SPSS軟件等。以工具視角來看，人既是實施評估的主體，又是技術體系中的重要工具，尤其是專家評估法中的“專家”、采用實地研究法的研究者、采用觀察法的觀察者等。

(三)原則

1.方法聯(lián)用，資料互證

實時網(wǎng)絡聽評課是復雜情境下的教育實踐活動，單一的評價技術難以獲得對主體和教育事實全面、整體、解釋性的理解，應結合實施效果評估的目的、所具備的評估條件，對方法與工具進行合理選擇、組合使用。通過多種方法和工具聯(lián)合并用，利用多種來源的資料，可以增加交叉性優(yōu)勢，減少非重疊性弱勢，消除評判資料的不確定性，保證聽評課效果評估的效度。

2.不拘表面，深度評估

定性研究與定量研究相結合，已基本成為教育研究的共識。定性與定量研究的區(qū)別不止在方法論上，更在于認識論、理論基礎、研究過程等方面的區(qū)別。在研究過程中對同一材料不同的分析程度，對同一工具的不同使用，可能會使典型的定量研究方法與工具止步于定性研究的結論，或使可以有量化結果的質性材料因缺乏抽象而損失資訊價值。因此，在實施評估時不停留于表面材料、淺層操作，應深入認識方法和工具可以有的評估效能，深入分析和運用材料中所蘊含的豐富信息，使評估結果全面、深入、客觀、易應用。

3.主體合作，共同評估

評估主體應是實時網(wǎng)絡聽評課活動的促進者、組織者和參與者的不同組合。多元主體相互配合，共同評估，一方面有益于保證評估結果的效度，一方面有利于各類主體對評估指標形成共識，進而完善指標，促進聽評課活動的組織與實施，發(fā)揮評估指標的行為導向作用。

(四)效果評估技術體系的整體結構

實時網(wǎng)絡聽評課效果評估技術體系是一個橫縱交織的開放性系統(tǒng)。方法、工具和原則是縱向維度的基本結構，每一具體的方法、工具和原則是縱向結構中的具體構件?！胺椒ā敝械臉嫾袉柧碚{查法、內容分析法、專家評估法、實地研究法、訪談法、觀察法、個案研究法等；“工具”中的構件有調查問卷、效果得分綜合模型、內容分析編碼體系、訪談提綱、專家等；“原則”中的構件有“方法聯(lián)用，資料互證”“不拘表面，深度評估”“主體合作，共同評估”等。在橫向維度上是構件之間的多向聯(lián)結——相互依賴、互為支撐、協(xié)同作用。當前列舉的構件，非窮舉，其他構件可以進入系統(tǒng)，發(fā)揮效用。從整體上看，系統(tǒng)具有生長性和開放性，既有構件的增補、修訂，又有構件的沉沒、淡出，并允許對構件分解，以適應不同的評估需要。

五、結語

本研究構建了評估實時網(wǎng)絡聽評課效果的技術體系，特別設計了可以用于定量和半定量研究的工具，既有助于保證評估結果的信度、效度，又可以減弱對評估者的專業(yè)性要求，增強了評估實踐的可操作性。當然，作為定量研究的專業(yè)性工具，本研究設計的調查問卷還需要在長期實踐中進一步檢驗、修訂，并不斷改進評估技術體系中的其他構件，為科學評估實時網(wǎng)絡聽評課效果提供更為堅實的技術支撐。

[1] 胡燕,樊允浩等.近十年關于聽課、評課研究的相關綜述[J].創(chuàng)新與創(chuàng)業(yè)教育,2010,(5):62-67.

[2] 李蕾.聽評課技術研究[J].中國電化教育,2015,(6):74-79.

[3] 陸曄.網(wǎng)絡聽評課:品德學科教研的一種新嘗試[J].教育科研論壇(小學教育教學),2010,(11):31-34.

[4] 陳霞.教師專業(yè)發(fā)展的實效性研究[M].北京:北京大學出版社,2012.

[5] 王陸.教師在線實踐社區(qū)COP的績效評估方法與技術[J].中國電化教育,2012,(1):61-72.

[6] 申繼亮,劉加霞.論教師的教學反思[J].華東師范大學學報:教育科學版,2004,(3):44-49.

[7] 劉家霞.國外教學反思內涵研究評述[J].比較教育研究,2003,(10):30-34.

[8] 嚴亞利,黎加厚.教師在線交流與深度互動的能力評估研究——以海鹽教師博客群體的互動深度分析為例[J].遠程教育雜志,2010,(2):68-71.

[9] 趙軼.市場調查與預測[J].重慶:東北財經(jīng)大學出版社,2015.177.

[10] 張文霖.主成分分析在滿意度權重確定的中的應用[J].市場研究,2006,(6):18-22.

Design and Research of Technology System of Evaluating the Effect of Real-time Network “Observing and Discussing Lesson”—Aims at the Professional Development of Visiting Teachers

Li Lei
(National Center for Educational Technology, Beijing 100031)

Real-time Network “Observing and Discussing Lesson” is a teaching and research activity, which is Based on the network platform. This study framed the dimensions of representing the effect of the activities including "profound involvement" and"professional development” through questionnaires and factor analysis with SPSS. Three elementary evaluation tools were designed,which included questionnaires for evaluating the e ff ect of Real-time Network “Observing and Discussing Lesson(O&D)”, the score synthesis model of the effect of Real-time Network O&D, which was based on the questionnaires, and the coding system of the content analysis for evaluating the depth and scope of communication. Besides these tools, a technology system of evaluating was also constructed including the principles, methods and tools interacting with each other, so as to obtain the exact and objective result and enhance the operability of the evaluation practice.

Observing and Discussing Lesson in Network; Teacher Professional Development; Technology System of Evaluating

G434

A

李蕾：博士，編輯，研究方向為數(shù)字資源建設、教師教育、教育信息化(happy5518@qq.com)。

2016年10月12日

責任編輯：趙興龍

1006—9860(2016)12—0146—04