開放教育資源TIPS質(zhì)量保證框架的驗證研究

□ [英]保羅·川內(nèi)

肖俊洪 譯

開放教育資源TIPS質(zhì)量保證框架的驗證研究

□ [英]保羅·川內(nèi)

肖俊洪 譯

本文介紹了開放教育資源TIPS質(zhì)量保證框架（http://www.open-ed.net/oer-quality/tips.pdf）的驗證結果。我們最初向世界各地60多位開放教育資源專家征集標準，共收集到205條，然后又將這些標準提交給幾次質(zhì)量保證國際研討會的與會者討論，最終形成了65條被認為是必不可少的標準，即TIPS框架。該框架包含四個層次內(nèi)容，分別是教學和學習過程（Teachingandlearningprocess，即T），信息和材料內(nèi)容（Informationandmaterialcontent，即I），呈現(xiàn)、產(chǎn)品和格式（Presentation,productandformat，即P）以及系統(tǒng)、技術性的和技術（System,technicalandtechnology，即S）。根據(jù)勞希（Lawshe，1975）的觀點，我們采用德爾菲法（Delphi）把TIPS框架發(fā)送給開放教育資源專家評審，以確定其內(nèi)容效度。我們逐條計算這65條標準的內(nèi)容效度比率（ContentValidityRatio，簡稱CVR），剔除了幾條標準之后，得出它們的內(nèi)容效度指數(shù)（ContentValidityIndex，簡稱CVI）大于0.80。我們還請世界各地目標終端用戶驗證TIPS框架。大多數(shù)開放教育資源都是由大學教師創(chuàng)建的，目的是使資源能在大學得到重新利用，相比之下，大學前教育教師創(chuàng)建的開放教育資源很少。TIPS框架是為學前、小學、中學和職業(yè)教育在校（和不在校）教師專門設計的?？偟目磥恚@些教師在開始的時候不了解開放教育資源，但是根據(jù)他們的反饋而得出的內(nèi)容效度指標相當高，他們表示個人愿意在教學中嘗試使用TIPS框架，把e-learning技術引入傳統(tǒng)教學實踐中。根據(jù)驗證研究結果，我們把TIPS框架修改版作為開放教育資源在線發(fā)布。雖然本框架的目的是服務大學前教育教師，但是我們目前還在進行最后一輪驗證，對象是學生，目的是檢驗使用開放教育資源和TIPS框架的教師對學生學習進步的影響。

質(zhì)量保證；準則；驗證；德爾菲法；教師作為開放教育資源創(chuàng)建者

導讀：本刊2013年第10期率先發(fā)表了保羅·川內(nèi)教授的研究成果《開放教育資源質(zhì)量保證準則TlPS框架》。該文是川內(nèi)教授受英聯(lián)邦學習共同體亞洲教育媒體中心委托所開展的一項課題的研究成果，后來又被譯成其他語言。本文是TIPS框架的驗證研究報告。驗證報告全文將提交給課題委托方英聯(lián)邦學習共同體，而這篇文章則是該報告的濃縮版，也是提交給2014年開放教育資源（亞洲）大會的材料。承蒙川內(nèi)教授的支持，我們將其譯成中文發(fā)表，以饗讀者。

本文是開放教育資源質(zhì)量保證準則框架研究的延續(xù)，介紹了TIPS框架的驗證方法、過程和結果。經(jīng)過這一輪的驗證，進一步明確TIPS框架原有的65條標準中24條是“必不可少”的核心標準。該課題一開始征集了205條標準，后來經(jīng)過多方論證、討論和合并，保留了65條標準，本次科學驗證又確定其中24條為最基本的核心標準。雖然“這樣做會在一定程度上影響效度和信度”，但是如果一個質(zhì)量保證框架包含太多標準，這勢必會影響其實用性，因此作者做了取舍，把“制作一種能用于實際工作的高效工具，而且其效度和信度在可接受的水平之上”作為目標。本刊本期發(fā)表的德國杜伊斯堡-埃森大學（UniversityofDuisburg-Essen）技術促進學習和創(chuàng)新學習與培訓研究所兩位博士托馬斯·里克特和帕特里克·威斯的文章《論開放教育資源之適宜性質(zhì)量觀》，對川內(nèi)教授TIPS框架的實用性提出了質(zhì)疑，認為該框架過于龐雜繁瑣。其實，川內(nèi)教授也一直在追求一個簡約的框架，確保其實用性——這點我們可以從課題背景介紹中了解到。我想如果兩位德國學者看到這份驗證報告，他們會認同川內(nèi)教授的努力的。我們相信經(jīng)過不斷完善，TIPS框架2.0版本（修改版）必將更加科學，能更有效地指導一線教師（尤其是其目標用戶——從事大學前教育的教師）制作、分享和利用開放教育資源。

對于廣大讀者同行而言，本文另一亮點是其研究方法。模型建構、標準制訂、框架搭建等等在學術文獻中并非鮮見，但是，毋庸諱言，不少研究缺乏嚴謹?shù)目茖W驗證手段和工具，因此，支持研究結果可信度和可行性的理據(jù)似乎不很充分。川內(nèi)教授的這項驗證研究應該能夠在這方面給我們一些有益的啟發(fā)和指導。建議有興趣的讀者同行進一步閱讀完整的驗證研究報告。

最后，我們衷心感謝保羅·川內(nèi)教授對本刊的一貫支持！（肖俊洪）

一、引言

開放教育資源為發(fā)展中世界的教師提供了一個前所未有的機會，使得他們能為自己和他人制作學習資源。自從2002年以來，人們一直嘗試給開放教育資源下定義（參見Kawachi，2013a）。根據(jù)聯(lián)合國教科文組織—英聯(lián)邦學習共同體的開放教育資源準則（CoL，2011），即促進教育資源在各種環(huán)境——從高度媒體化的面授課堂到遠程獨立學習——的重新利用，我們認為開放教育資源具有以下特點：免費，附加開放許可協(xié)議，允許被改編為其他資源或作為其他資源的補充，允許演繹，在某個階段以數(shù)字化格式呈現(xiàn)。據(jù)此，我們給出以下定義：

開放教育資源指的是數(shù)字化、可以自我測評的獨立教學單元，具有可測量的明確學習目標，它附加有開放許可協(xié)議，允許改編，通?？晒┟赓M重新利用。本研究采用德爾菲法把原先的TIPS框架提交給開放教育資源質(zhì)量保證專家評審，以驗證其內(nèi)容效度。哈維和格林（Harvey&Green，1993，p.9）認為：“要確定高等教育質(zhì)量評估標準，我們就必須了解影響利益相關者偏好的各種（潛在）不同質(zhì)量觀。”哈維和格林的這項研究區(qū)分了5種質(zhì)量觀：“例外”、“完善”、“適用性”、“合算”和“蛻變性”。TIPS框架涉及其中三個方面：開放教育資源的重新利用者覺得資源適用、作為免費資源既有效率又有效益，支持全民教育運動、培養(yǎng)現(xiàn)在和未來的學生掌握21世紀技能，實現(xiàn)蛻變?；谏鲜隹紤]，我們也調(diào)查了作為本框架目標終端用戶的發(fā)展中世界的教師，他們對質(zhì)量可能有不同看法，因此，我們希望能了解他們對本框架內(nèi)容效度的評價。

如果一種工具包括所有已知標準，那么它會有最佳的內(nèi)容和構念效度（contentandconstructvalidi?ty）及最佳信度。但是，內(nèi)容太多意味著使用不便，因此其實用性受到影響。鑒于此，我們減少TIPS框架標準的總數(shù)，把相似標準進行合并，以提高實用性。當然，這樣做會在一定程度上影響效度和信度。我們的目標是制作一種能用于實際工作的高效工具，而且其效度和信度在可接受的水平之上。

“質(zhì)量保證”可以看成是一種橫斷面（cross-sectional）評估；TIPS框架就是涉及開放教育資源質(zhì)量保證各方面內(nèi)容的清單。但是，我們不能止于“質(zhì)量保證”，我們的目標是“質(zhì)量提高”（Kawachi，2013b）。因此，我們給TIPS框架中每一條標準都附加評分表，方便用戶說明他們在多大程度上采用各條標準（共有5個分值供選擇）。用戶下一次使用TIPS框架時再次進行打分，這樣能方便顯示用戶經(jīng)過一段時間后采用這些標準的程度是否有變化，促進他們的反思。TIPS框架修改版添加了評分表。

“內(nèi)容效度”是一個含義不甚精確的術語。菲茨帕特里克（Fitzpatrick，1983）認為內(nèi)容效度可以指：①測試項目在多大程度上反映所要測量的內(nèi)容；②用戶對測試項目的理解或反饋在多大程度上反映所要測量的內(nèi)容；③所有測試項目的整體相關性；④用戶理解的整體相關性；⑤內(nèi)容領域（contentdo?main）定義的清晰度；和（或）⑥每一個測試項目和所有項目的技術質(zhì)量。上述①和②涉及抽樣的充分性，因此可歸為“構念效度”。

雖然內(nèi)容效度含義不甚精確，我們可以邀請內(nèi)容專家對每一個測試項目進行評價（“必不可少”“非必不可少但有作用”或“不必要”）以實現(xiàn)量化檢驗。專家認為“不必要”的那些項目很可能被放棄。計算每個項目內(nèi)容效度比率的公式如下（Lawshe，1975）：

公式中的N=全體專家人數(shù)，NE=認為某一個測試項目是必不可少的專家人數(shù)。如果僅有一半專家認為某個項目是必不可少的，那么這個項目的內(nèi)容效度比率（CVR）為0，如果超過一半專家認為某個項目必不可少，那么這個項目的內(nèi)容效度比率（CVR）在0-1之間，說明這個比率是正向性的。

如果專家人數(shù)相對較少，每一個測試項目的比率必須接近1才能決定該項目在p＜0.05概率水平上有內(nèi)容效度，可以保留。如果專家人數(shù)相對較多，偶然認為某一個項目是必不可少的這種可能性較小，這時，該項目的比率可以稍微低一些，但是，仍然在p＜0.05概率水平上有內(nèi)容效度。我們根據(jù)勞希（Lawshe，1975）編制表1，以說明專家人數(shù)規(guī)模與內(nèi)容效度比率的對應關系。達到或超過最低值的項目可以保留。所有項目的平均內(nèi)容效度比率被稱為內(nèi)容效度指數(shù)（CVI）。一般說來，CVI應該達到或超過0.80才可以認為這個調(diào)查工具有內(nèi)容效度。某些項目的數(shù)值異常，這時如果專家的評價不高，可予以刪除，而有些異常數(shù)值的項目即使專家評價不高，但是如果能夠通過其他途徑證明有必要保留，那么也可以留用。

表1 可以在p＜0.05水平上予以保留的項目的最低平均值

二、方法

我們最初征集到的205條標準涵蓋學習的五個領域（詳見http∶//www.open-ed.net/oer-quality/crite?ria.pdf），這是迄今最全面的開放教育資源質(zhì)量保證框架（我們曾對其他18個框架作簡要述評，詳見http∶//www.open-ed.net/oer-quality/others.pdf）。這205條標準多次提交地區(qū)性和國際性研討會討論，最終保留 65條，組成 TIPS框架 （Kawachi，2013a）。本研究把這65條標準提交給開放教育資源專家進行內(nèi)容效度驗證，根據(jù)勞希（Lawshe，1975）的觀點，每一條標準提供三個選項（“必不可少”“非必不可少但有作用”或“不必要”），專家從創(chuàng)建優(yōu)質(zhì)開放教育資源的角度對每一條標準進行評價，最終篩選出經(jīng)過驗證的核心標準。

本研究的調(diào)查在三類對象中同時展開（調(diào)查工具可登錄http∶//www.open-ed.net/oer-quality/survey. pdf查看）。第1組是開放教育資源專家，研究者以電子郵件方式向他們逐一發(fā)出邀請；第2組是開放教育資源在線社區(qū)成員，研究者在相應的小組論壇上發(fā)帖，邀請社區(qū)成員參加調(diào)查；第3組是教學一線教師，研究者以電子郵件方式向他們逐一發(fā)出邀請。向2013年泛英聯(lián)邦開放學習論壇（the2013Seventh Pan-CommonwealthForumonOpenLearning）（http∶//pcfpapers.colfinder.org）提交開放教育資源質(zhì)量論文的作者也被邀請作為專家參加調(diào)查。第1組專家調(diào)查持續(xù)幾周時間，調(diào)查對象包括參加第一階段標準征集的專家，積極參加開放教育資源質(zhì)量保證在線討論的專家，來自幾所開放大學的專家，以及參加最近舉行的開放教育資源學術會議的專家。截至2014年5月9日，共有38名（e1～e38）專家通過在線調(diào)查網(wǎng)站提交反饋，我們逐一分析了這些反饋，發(fā)現(xiàn)其中32份反饋有效。無效反饋包括：①沒有對調(diào)查項目逐一評價，有遺漏，和②對所有調(diào)查項目做出相同評價（即認為所有項目都是“必不可少”“非必不可少但有作用”或“不必要”）。這兩種情況都會影響統(tǒng)計結果和研究結果。

抽樣的總人數(shù)必須達到要求，因此，我們把第1組32份有效反饋編成標準統(tǒng)計隨機數(shù)目表，每組10份，并采用分撥分析（waveanalysis）方法（Les?lie，1972）對每一組（e1～e10為第1撥，e11～e20為第2撥，e21～e30為第3撥）進行分析，以了解這樣的抽樣規(guī)模是否具備足夠代表性。有兩份反饋沒有被編入分組，但是上述三撥（分組）已經(jīng)滿足分撥分析要求。同樣的，我們從第2組開放教育資源在線社區(qū)的在線調(diào)查收集17份反饋并逐一分析，其中13份有效，隨機重新排序后，把第1至第10份（g1～g10）編為第4撥，并將其跟第1組的三撥進行比較。我們從第3組教學一線教師中收集了22份調(diào)查反饋，其中19份有效。我們隨機抽取一份進行復制，使總數(shù)達到20份，并把它們分為兩撥（n1～n10為第5撥，n11～n20為第6撥）進行分撥分析。

三、結果

我們在正式調(diào)查之前對調(diào)查工具進行試測并根據(jù)試測結果做了改進。我們原來還計劃在教師在線社區(qū)進行第四次調(diào)查，但因沒有收到反饋，最終放棄了。上文所述的三次調(diào)查中，研究者逐一邀請的調(diào)查對象里約50%提供了反饋，另外，38位參加調(diào)查的開放教育資源專家中有27位（約70%）與研究者進行深入的在線交流。總體看，三次調(diào)查的64名參與者性別比例合適（37男，26女，另有1人未表明性別），包括各個年齡階段的人，地理位置分布合理（非洲9人，美洲5人，澳大利亞3人，歐洲12人，東亞18人，南亞15人，另有2人未提供這方面信息）。圖2顯示第1～4撥，從中可以看出它們的走勢比較接近，說明數(shù)據(jù)可信，所有反饋均可用于分析“必不可少”項目的內(nèi)容效度比率（CVRE）（詳細數(shù)據(jù)和統(tǒng)計結果在完整的驗證報告中呈現(xiàn)，參見http∶//www. open-ed.net/oer-quality/validation.pdf）。

圖2 第1組（第1～3撥）和第2組（第4撥）比較

有6條標準被第1組至少27名專家認為是“必不可少的”，它們在p＜0.05概率水平上內(nèi)容效度指數(shù)（CVI） ＞0.80（見表2）。根據(jù)勞希 （Lawshe，1975）的標準，如果某個項目僅是“有作用的”，這個項目會被刪除。但是，參加本調(diào)查的多數(shù)人并不清楚這點，因此，我們把“必不可少”和“有作用”的項目加在一起，重新分析它們的內(nèi)容效度指數(shù)（CVRE+U）。重新分析的結果顯示，每一條標準的CVRE+U都很高，65條標準的平均CVRE+U達到0.86（＞0.80），說明TIPS框架在p＜0.05水平上有效。

從第2組13份有效反饋中可知，僅有CVRE值最高的18條標準的CVRE+U接近0.80（見表2）。值得注意的是，第1組認為“必不可少”的6條標準也在其中。但是加上“有作用”標準，第2組的平均CVRE+U是0.88（＞0.80），說明TIPS框架在p＜0.05水平上有效。

第3組有19份有效反饋。如上所述，我們隨機抽取一份進行復制，以便分成第5撥和第6撥兩個分組進行比較（見圖3）。

一線教師的觀點與開放教育資源專家的觀點不同，因此，圖3的分撥走勢與圖2的分撥走勢不同。經(jīng)過分撥分析后，我們刪除了復制的那一份反饋，并對19份有效反饋進行內(nèi)容效度分析，得出第2組 CVRE值最高的18條標準在第3組的平均CVRE是0.76，刪除第36條和第51條之后，第3組的平均值提高到0.79，接近第2組和第1組水平。然而，第3組CVRE值最高（0.89）的6條標準卻與第1組不同。綜上所述，共有24條質(zhì)量保證標準經(jīng)過驗證（詳見表2）。

圖3 第3組第5和第6撥比較

四、結束語

有幾位開放教育資源專家擔心上述一些標準涉及非開放教育資源成分，建議我們的框架僅包含開放教育資源質(zhì)量保證標準?？紤]到專家們的這個意見，我們在TIPS框架修改版中對嚴格針對開放教育資源的那些標準進行標注。

一線教師從實際出發(fā)認為他們必須能夠保持課堂教學的自主性，這點是可以理解的。在編制TIPS框架時我們應該考慮作為本框架目標利益相關者的一線教師的觀點。事實上，勞希（Lawshe，1975）清楚表明，可以根據(jù)預期的實際目的考慮非核心標準的取舍。正是基于這個考慮，我們保留了第3組一線教師評價最高的標準，雖然第1組和第2組并不這樣認為。TIPS框架修改版正在完善之中，經(jīng)過本研究驗證的24條標準將被重點標注，開放教育資源作者可以把它們作為基本標準使用。

我們與開放教育資源專家和教師的在線討論還涉及TIPS框架的其他方面的問題，有些問題的討論非常深入，目的是使本框架能更有效地指導一線教師創(chuàng)建開放教育資源。比如，舉例說明開放許可協(xié)議的各種使用形式，對（英語）措辭做些調(diào)整，增添開放教育資源制作的演示或例子并上傳到當?shù)刭Y源庫?？傮w看，調(diào)查參與者支持本課題，認為有必要制訂質(zhì)量保證準則指導大學前教育一線教師制作自己的開放教育資源，促使更多來自發(fā)展中地區(qū)的一線教師加入開放教育資源建設行列。

表2 三組調(diào)查CVI＞0.80的24條標準

致謝：感謝桑佳亞·米什拉（SanjayaMishra）、印度新德里英聯(lián)邦學習共同體亞洲教育媒體中心（the CommonwealthEducationalMediaCentreforAsia）和加拿大溫哥華英聯(lián)邦學習共同體（theCommonwealthofLearning）對本研究的支持！感謝拉梅什·沙瑪（RameshSharma）在調(diào)查統(tǒng)計方面給予的技術幫助。讀者可登錄http://cemca.org.in和http://www. open-ed.net/oer-quality/validation.pdf獲取驗證報告全文和TIPS框架修改版（2.0版本），也可登錄http: //www.open-ed.net/oer-quality/validation.ppt獲取幻燈格式驗證內(nèi)容。

[1]CoL(2011).UNESCO-CoLGuidelinesforOpenEducationalRe?sources(OER)inHigherEducation:OERWorkshop,25May, Dar-es-Salaam.RetrievedApril25,2014,fromhttp://oerworkshop. weebly.com/uploads/4/1/3/4/4134458/2011.04.22.oer_guidelines_ for_higher_education.v2.pdf.

[2]Fitzpatrick,A.R.(1983).Themeaningofcontentvalidity.Applied PsychologicalMeasurement,7(1),3-13.RetrievedFebruary21, 2014,from http://conservancy.umn.edu/bitstream/11299/101621/1/ v07n1p003.pdf.

[3]保羅·川內(nèi)（2013a）.開放教育資源質(zhì)量保證準則TlPS框架.中國遠程教育,（10），11-21.[Kawachi,P.(2013a).Qualityassurance guidelinesforopeneducationalresources:TIPSframework,version 1.0.NewDelhi,India:CommonwealthEducationalMediaCentrefor Asia(CEMCA).RetrievedMarch7,2014,fromhttp://cemca.org.in/ ckfinder/userfiles/files/OERQ_TIPS_978-81-88770-07-6.pdf].

[4]Kawachi,P.(2013b).Qualitynotstatic.OERQuality,blogposting 30thJanuary.RetrievedMarch7,2014,fromhttp://oerquality.word?press.com/2013/01/30/quality-not-static/.

[5]Lawshe,C.H.(1975).Aquantitativeapproachtocontentvalidity. PersonnelPsychology,28(4),563-575.RetrievedFebruary21, 2014,fromhttp://www.bwgriffin.com/gsu/courses/edur9131/content/ Lawshe_content_valdity.pdf.

[6]Leslie,L.L.(1972).Arehighresponseratesessentialtovalidsur?veys?SocialScienceResearch,1,323-334.

譯者簡介：肖俊洪，汕頭廣播電視大學教授，《Distance Education(Taylor&Francis)》雜志副主編，《System:An InternationalJournalofEducationalTechnology and AppliedLinguistics(Elsevier)》編委。

責任編輯 池 塘

G420

B

1009—458x（2014）11—0015—05

2014－04－15

保羅·川內(nèi)（PaulKawachi）博士是教育設計教授，《亞洲遠程教育雜志》主編，英國皇家藝術學會會員，亞洲遠程開放教育學會理事，亞洲開放大學協(xié)會理事會成員和國際遠程開放教育理事會成員。