基于證據(jù)的職業(yè)技能評價方法有效性框架構(gòu)建

黃方慧?趙志群

摘 要 借鑒語言測試的AUA測試框架，以信度理論和整體效度觀為理論基礎(chǔ)，運用修正式德爾菲法構(gòu)建了包括4項一級指標(biāo)、11項二級指標(biāo)和33項三級指標(biāo)的職業(yè)技能評價方法有效性框架。研究發(fā)現(xiàn)：信度、效度是職業(yè)技能評價方法在評價技術(shù)上最重要的質(zhì)量標(biāo)準(zhǔn);職業(yè)技能評價方法的有效性評價不僅關(guān)注評價工具本身的有效性，還注重評價及其結(jié)果使用的有效性;對職業(yè)技能評價方法的有效性評價是基于證據(jù)的有效性論證;所構(gòu)建的有效性框架具有良好的應(yīng)用價值和可推廣性。在設(shè)計職業(yè)技能評價方法時，建議將信度和效度理論作為理論基礎(chǔ)，關(guān)注評價及其結(jié)果的使用對考生、院校和企業(yè)的影響，注重利益相關(guān)者的參與，關(guān)注評價的公平性。

關(guān)鍵詞 職業(yè)技能評價;職業(yè)教育;有效性框架;證據(jù);修正式德爾菲法

中圖分類號 C975 文獻標(biāo)識碼 A 文章編號 1008-3219（2022）13-0014-06

作者簡介

黃方慧（1988- ），女，中國消防救援學(xué)院講師，博士，研究方向：教育評價，技能評價（北京，102202）;趙志群（1966- ），男，北京師范大學(xué)教授，博士，博士生導(dǎo)師，研究方向：職業(yè)教育課程與教學(xué)論

基金項目

北京市教育科學(xué)“十三五”規(guī)劃2020年優(yōu)先關(guān)注課題“‘1+X證書制度建設(shè)中技能評價方法研究”（BDEA2020009）;教育部1+X證書制度2020年度專項課題“職業(yè)技能等級證書考核模型與評價技術(shù)研究”，主持人：趙志群

一、問題提出

2019年1月，國務(wù)院頒發(fā)《國家職業(yè)教育改革實施方案》（國發(fā)[2019]4號）（簡稱“職教20條”），提出在職業(yè)院校和應(yīng)用型本科高校啟動“學(xué)歷證書+職業(yè)技能等級證書”（即“1+X”證書）試點工作，這項工作是否能夠成功，在很大程度上取決于職業(yè)技能評價的質(zhì)量，而評價方法對技能評價結(jié)果的真實性與可信度具有直接影響。目前，國內(nèi)對技能評價的方法和工具研究較弱，現(xiàn)有評價方法普遍在技術(shù)上缺乏系統(tǒng)性考慮，如高職招生考試特別是專業(yè)考試，無法保證區(qū)分度、信度和效度[1];評價標(biāo)準(zhǔn)不清晰，評分隨意，評價結(jié)果缺乏客觀性和公平性等[2]。雖然部分技能評價方法已經(jīng)開始從評價技術(shù)上探討評價方法有效性問題，例如檢驗評價方法的信度、效度、區(qū)分度和難度等，但尚缺乏對技能評價方法的系統(tǒng)性元評價研究，也未形成技能評價方法的質(zhì)量標(biāo)準(zhǔn)。

科學(xué)有效的技能評價方法是保證技能評價結(jié)果真實、可信的前提。只有符合教育測量相關(guān)質(zhì)量標(biāo)準(zhǔn)的技能評價方法，在評價技術(shù)上才是科學(xué)的、可信的、高質(zhì)量的，其評價結(jié)果才有意義。缺乏教育測量理論（例如效度、信度理論）指導(dǎo)的評價過程，將無法保證評價的可信度和科學(xué)性[3]。如何保證技能評價方法的質(zhì)量，以及如何對技能評價方法的質(zhì)量進行評價，是當(dāng)前技能評價亟需解決的關(guān)鍵問題。

對評價方法質(zhì)量或有效性評價的相關(guān)文獻進行回顧發(fā)現(xiàn)，目前國際上已有的元評價指標(biāo)更關(guān)注對項目或方案的評價，不適合從評價技術(shù)層面對評價方法的有效性進行評價。效度驗證是教育與心理測量中用來驗證測量方法或工具是否有效的方法，主要關(guān)注評價方法或技術(shù)層面的有效性。隨著效度理論的發(fā)展，在整體效度觀指導(dǎo)下的效度驗證模式主要采用基于證據(jù)的有效性論證方式?；谧C據(jù)的有效性論證方式是凱恩（T. M. Kane）于1992年在整體效度觀理論基礎(chǔ)上提出的，采用圖爾敏（E. S. Toulmin）“事實—主張”論證模型[4]對有效性開展論證的方式，即首先建立與分數(shù)解釋相關(guān)的推論和假設(shè)，再通過收集、評估和呈現(xiàn)相關(guān)證據(jù)來闡明評價工具或方法的有效性[5]。凱恩在2006年出版的《教育測量》中正式提出基于證據(jù)的有效性論證方式——“解釋使用論證”[6]。目前在國際教育與心理測量、語言測試領(lǐng)域已有較多的理論和實踐研究，形成多種基于證據(jù)的有效性論證模式，主要有凱恩的解釋使用論證模式、巴赫曼（L. Bachman）和帕爾默（A. Palmer）的語言測試使用論證框架等。研究發(fā)現(xiàn)，美國語言學(xué)家巴赫曼和帕爾默提出的測試使用論證框架（Assessment Use Argument， 簡稱AUA）[7]以整體效度觀作為理論依據(jù)，構(gòu)建起一套系統(tǒng)的、可操作的程序，涵蓋了從評價開發(fā)、評價結(jié)果使用到評價影響的整個過程，是目前發(fā)現(xiàn)的比較成熟和全面的有效性框架。本研究借鑒語言測試使用論證框架，對職業(yè)技能評價方法及其質(zhì)量進行研究，力圖采用基于證據(jù)的有效性論證方式構(gòu)建科學(xué)的、符合職業(yè)技能評價的有效性框架。

二、研究方法

美國教育家克隆巴赫（L. J. Crobach）提出設(shè)計評價指標(biāo)的流程包括發(fā)散和收斂兩個階段[8]。發(fā)散階段是指在構(gòu)建有效性框架中，廣泛收集相關(guān)資料，盡可能將評價對象的各種表現(xiàn)進行分解，提出詳細、全面的指標(biāo)體系初稿。收斂階段是依據(jù)一定原則、采用一定方法，對指標(biāo)進行篩選與歸并。根據(jù)克隆巴赫指標(biāo)構(gòu)建流程，本研究第一階段主要通過文獻研究法，基于已有成熟研究，初步構(gòu)建技能評價方法有效性框架初稿;根據(jù)初稿設(shè)計專家咨詢第一輪問卷，選取部分專家和職業(yè)院校教師進行訪談和試測，經(jīng)討論修改后，形成正式的專家咨詢問卷。第二階段采用修正式德爾菲法進行專家意見征詢，確定有效性框架。

修正式德爾菲法（Modified Delphi Method）與傳統(tǒng)德爾菲法不同，其是根據(jù)已有研究結(jié)果設(shè)計的結(jié)構(gòu)性問卷作為第一輪問卷，而不是開放性問卷，提高了傳統(tǒng)德爾菲法的效率[9]。專家咨詢問卷采取線上發(fā)放方式，通過微信和郵件將初步構(gòu)建的有效性框架及框架指標(biāo)說明與解釋、問卷鏈接等相關(guān)資料發(fā)送給專家，確保專家能夠非常清晰框架構(gòu)建的邏輯、思路及理論依據(jù)。專家數(shù)量和質(zhì)量在一定程度上影響德爾菲法質(zhì)量。在選擇專家時主要考慮代表性和專業(yè)性。本研究是職業(yè)技能評價理論與實踐的綜合研究，既要考慮專家在職業(yè)技能評價領(lǐng)域的實踐經(jīng)驗，也要考慮其對教育與心理測量相關(guān)理論的熟悉程度。研究采用經(jīng)驗選擇方式，擬選取8位專家。經(jīng)過第一輪德爾菲法，發(fā)現(xiàn)兩位專家對技能評價的實踐或教育測量理論不熟悉，權(quán)威度不符合要求，予以剔除。最后確定6位專家，專家們在技能評價領(lǐng)域均具有豐富的理論和實踐研究經(jīng)驗。827AFB11-E725-4353-B6B1-98A9710221ED

三、研究過程與結(jié)果

本研究首先通過文獻研究確定高質(zhì)量的技能評價方法要滿足哪些評價技術(shù)質(zhì)量標(biāo)準(zhǔn);其次明確已有可借鑒的有效性評價方式和框架;最后采用修正式德爾菲法進行有效性框架的構(gòu)建和質(zhì)量測算。

（一）專家咨詢質(zhì)量測算

為保證修正式德爾菲法專家咨詢的質(zhì)量，對專家積極系數(shù)、權(quán)威度、意見協(xié)調(diào)度進行測算。

1.專家積極系數(shù)

專家積極系數(shù)是指參與咨詢專家數(shù)與全部專家總數(shù)之比：C=M/N。C為專家的積極系數(shù)，M為參與咨詢專家數(shù)，N為全部專家總數(shù)。兩輪專家咨詢問卷回收率均為100%，專家積極系數(shù)為1，且專家都按照要求填寫，填寫問卷的時長符合問卷答題時長要求。在第一輪專家咨詢中，部分專家還對指標(biāo)表述提出了建設(shè)性意見，并針對某些問題，通過微信與研究者進行討論與交流。

2.專家權(quán)威度

考慮到不同專家對不同指標(biāo)權(quán)威度理解的差異，需要獲取專家對指標(biāo)的熟悉程度和判斷依據(jù)。根據(jù)權(quán)威度要求，剔除部分不符合要求的專家。熟悉程度和判斷依據(jù)的賦值均參照已有研究[10]。邀請專家根據(jù)實際情況對評判依據(jù)做出自評，按照等級分值及公式算出專家權(quán)威系數(shù)。一般認為專家權(quán)威系數(shù)Cr大于等于0.700即為可接受，研究剔除了權(quán)威系數(shù)低于0.700的兩位專家，入選的6位專家的權(quán)威系數(shù)分布如表1所示，6位專家的權(quán)威系數(shù)都在0.800及以上，所選專家具有較高的可信度。

3.專家意見協(xié)調(diào)度

專家意見協(xié)調(diào)程度有兩種測算方法，一種是通過變異系數(shù)計算，另一種是通過肯德爾系數(shù)計算，獲得專家對某指標(biāo)意見的分歧。變異系數(shù)越小表示意見協(xié)調(diào)程度越高，通常認為變異系數(shù)小于0.25可接受，變異系數(shù)大于0.25表示專家分歧較大。研究選取0.25作為變異系數(shù)的基準(zhǔn)數(shù)進行指標(biāo)篩選?？系聽枀f(xié)調(diào)系數(shù)（W）是檢驗專家對指標(biāo)評分結(jié)果一致性的指標(biāo)，判斷專家對指標(biāo)的評價是否存在較大分歧。數(shù)據(jù)顯示，第一輪和第二輪專家咨詢的肯德爾系數(shù)分別為0.462和0.560，均在可接受范圍內(nèi)。

（二）第一輪專家咨詢

將第一輪問卷數(shù)據(jù)錄入數(shù)據(jù)處理軟件SPSS26中，計算平均數(shù)、標(biāo)準(zhǔn)差和變異系數(shù)，對有效性框架進行量化和質(zhì)性分析。根據(jù)數(shù)據(jù)分析結(jié)果，對指標(biāo)體系進行修改和完善。研究以算術(shù)平均分大于3.50分、標(biāo)準(zhǔn)差小于1.00、變異系數(shù)小于0.25作為指標(biāo)篩選標(biāo)準(zhǔn)。

1.量化分析

測算結(jié)果顯示，第一輪專家咨詢問卷中個別指標(biāo)變異系數(shù)大于0.25，說明專家有不同意見。其中，一級和二級指標(biāo)的算數(shù)平均值均大于3.50，標(biāo)準(zhǔn)差小于1.00，變異系數(shù)均小于0.25，說明專家認同一級和二級指標(biāo)。三級指標(biāo)中，III-1、III-13、III-27三個指標(biāo)的標(biāo)準(zhǔn)差均大于1.00、變異系數(shù)也大于0.25，其他三級指標(biāo)的算術(shù)平均分均大于3.50、標(biāo)準(zhǔn)差小于1.00、變異系數(shù)小于0.25，說明專家對III-1、III-13、III-27指標(biāo)持有不同意見，見表2。針對有異議的指標(biāo)，研究者與專家進行深入溝通與交流，最后達成共識。

2.質(zhì)性分析

對專家反饋的意見進行質(zhì)性分析發(fā)現(xiàn)，意見主要分為三類：修改表述、合并指標(biāo)、拆分指標(biāo)。對于“修改表述”的意見，研究者查閱相關(guān)文獻，與專家進行充分交流與討論，進一步完善表述，使指標(biāo)表述更適切、更易理解和接受。此外，結(jié)合指標(biāo)的實踐依據(jù)、合理性、準(zhǔn)確性等相關(guān)意見，對指標(biāo)進行合并和拆分。具體修改如下：一是有專家提出“I-3測試決策”較難理解，建議改成更容易理解與接受的詞語。研究者通過查閱相關(guān)文獻，發(fā)現(xiàn)國內(nèi)語言測試領(lǐng)域也都使用“測試決策”，但為了便于理解，研究用“測試結(jié)果使用”來代替“測試決策”，并在注釋中說明，本研究中“測試結(jié)果使用”即指“測試決策”。二是有專家提出可以將“I-3測試決策”和“I-4測試影響”合并，但研究者認為測試結(jié)果的使用與帶來的影響是兩個維度，不應(yīng)合并。三是關(guān)于二級指標(biāo)中“推廣性”“相關(guān)性”指標(biāo)的理解，有專家提出與教育測量與評價中“相關(guān)性”和“推廣性”的理解不同，為避免誤解，建議尋找更適切的表述。為此，研究者查閱相關(guān)資料、結(jié)合專家建議，將“推廣性”修改為“適用性”，將“相關(guān)性”修改為“關(guān)聯(lián)性”。四是有專家提出，二級指標(biāo)“一致性”可以分為“評分的一致性”和“測試工具的一致性”，研究者采納專家的意見。

綜合以上量化和質(zhì)性分析結(jié)果，研究對指標(biāo)體系進行優(yōu)化與完善，形成第二輪專家咨詢問卷。

（三）第二輪專家咨詢

針對第一輪專家咨詢修改后的指標(biāo)體系，邀請專家再次對指標(biāo)的合理性進行評分。將專家數(shù)據(jù)錄入SPSS26中，計算標(biāo)準(zhǔn)差、平均數(shù)和變異系數(shù)。計算結(jié)果顯示，指標(biāo)體系的一級、二級和三級指標(biāo)的算術(shù)平均數(shù)均大于3.50、變異系數(shù)均小于0.25、標(biāo)準(zhǔn)差小于1.00，說明專家對指標(biāo)達成一致意見。在第二輪專家咨詢問卷中，沒有專家提出問題和建議。綜上，可認為專家都認同第一輪問卷修改后的指標(biāo)體系。

經(jīng)過兩輪專家咨詢問卷，確定技能評價方法有效性框架，包括4項一級指標(biāo)、11項二級指標(biāo)和33項三級指標(biāo)，如表3所示。

四、結(jié)論與建議

（一）結(jié)論

研究借鑒語言測試的論證框架，通過文獻研究法、訪談法、修正式德爾菲法構(gòu)建職業(yè)技能評價方法的有效性框架，得到以下結(jié)論：

1.信度、效度是職業(yè)技能評價方法在評價技術(shù)上最重要的質(zhì)量標(biāo)準(zhǔn)

在教育與心理測量中，通常認為滿足教育和心理測量標(biāo)準(zhǔn)的評價方法，在技術(shù)上才是科學(xué)、可信和高質(zhì)量的。美國教育研究協(xié)會（AERA）、美國心理學(xué)協(xié)會（APA）、全美教育測量學(xué)會（NCME）共同制定的《教育和心理測試標(biāo)準(zhǔn)》，為教育和心理測量領(lǐng)域開展科學(xué)有效的測試提供“質(zhì)量準(zhǔn)則”，包括信度、效度、公平性等。其中，信度和效度被認為是衡量測試質(zhì)量的最重要指標(biāo)[11]。除了教育和心理測量，語言測試也非常關(guān)注評價方法質(zhì)量，特別是評價技術(shù)質(zhì)量，主要以教育和心理測量的相關(guān)理論（例如信度理論和效度理論）作為測試的技術(shù)理論基礎(chǔ)，開展測試有效性研究。信度與效度被認為是衡量語言測試質(zhì)量好壞的重要指標(biāo)[12]。在教育與心理測量中，效度即有效性，是評價質(zhì)量的核心[13]。通常把信度作為效度的必要不充分條件，即效度高的測試信度一定高，但信度高的測試效度不一定高[14]。高質(zhì)量的職業(yè)技能評價不僅在評價內(nèi)容和方法設(shè)計上緊隨技術(shù)和工作組織的發(fā)展，而且在評價技術(shù)上要遵循教育與心理測量的信度和效度要求。只有滿足信度和效度等測評技術(shù)標(biāo)準(zhǔn)，才能保證職業(yè)技能評價方法的科學(xué)性和有效性[15]。827AFB11-E725-4353-B6B1-98A9710221ED

2.職業(yè)技能評價方法的有效性評價不僅關(guān)注評價工具本身的有效性，還注重對評價及其結(jié)果使用的有效性評價

根據(jù)整體效度觀，好的測試不僅要求工具本身科學(xué)有效，而且還要考慮測試結(jié)果及使用的影響。“好的測試”可能會帶來糟糕的分數(shù)，“好的測試”得出的分數(shù)也有可能會被錯誤使用[16]。美國學(xué)者斯蒂金斯（R. Stiggins）研究發(fā)現(xiàn)，部分“好的測驗”并沒有提高學(xué)生成績或激發(fā)學(xué)習(xí)動機，反而對學(xué)生造成巨大傷害[17]。職業(yè)技能評價結(jié)果是否能夠獲得較高的社會認可度，不僅受評價工具本身質(zhì)量影響，而且在很大程度上是由評價結(jié)果及其使用的影響決定的。在設(shè)計和開發(fā)一項評價時，設(shè)計者應(yīng)首先明確哪些影響是期望的，并且希望利益相關(guān)者能夠從評價中獲得哪些好處。美國學(xué)者坤南（J. A. Kunnan）提出“評價的有益性原則”[18]，即評價應(yīng)該給社會帶來好處，不應(yīng)該危害社會。要想保證評價對利益相關(guān)者的影響是有益的，應(yīng)該從兩個方面出發(fā)：評價本身和評價結(jié)果使用的影響。研究所構(gòu)建的有效性框架突破以往只關(guān)注評價工具本身質(zhì)量的做法，更加關(guān)注評價及其結(jié)果使用的質(zhì)量及影響，是對職業(yè)技能評價方法全面而整體的評估。

3.對職業(yè)技能評價方法的有效性評價是基于證據(jù)的有效性論證

隨著效度理論的發(fā)展，效度驗證模式也在發(fā)生變化，更加注重基于證據(jù)或論證的效度驗證模式?；谧C據(jù)的有效性論證模式與傳統(tǒng)的有效性或元評價指標(biāo)構(gòu)建和評價過程不同，其是基于整體效度觀開展的有效性論證模式，包括有效性理論框架的構(gòu)建和基于證據(jù)的論證兩部分。有效性理論框架的構(gòu)建是搭建評價方法有效性的相關(guān)推論和假設(shè)的推理框架，基于證據(jù)的論證是根據(jù)理論框架通過收集、評估和呈現(xiàn)相關(guān)證據(jù)來闡明一種評價方法或工具的有效性。基于證據(jù)的職業(yè)技能評價方法的有效性評價，在過程上包括有效性論證框架的構(gòu)建和基于證據(jù)的論證兩個過程?？v觀國際上的相關(guān)研究，基于證據(jù)的有效性論證方式是目前國際教育與心理測量、語言測試領(lǐng)域普遍認同的有效性評價模式，但在職業(yè)教育領(lǐng)域還沒有相關(guān)研究。將基于證據(jù)的有效性論證方式引入職業(yè)教育領(lǐng)域，可以為職業(yè)技能評價方法的有效性評價提供新的思路和方法。

4.所構(gòu)建的有效性框架具有良好的應(yīng)用價值和可推廣性

研究所構(gòu)建的職業(yè)技能評價方法有效性框架，通過兩輪專家咨詢達成了專家共識，即專家認同本研究所構(gòu)建的有效性框架;專家積極系數(shù)、權(quán)威度和意見協(xié)調(diào)度也符合要求，咨詢質(zhì)量較高，具有較強的可信度。綜上，所構(gòu)建的有效性框架可應(yīng)用于現(xiàn)有的職業(yè)技能評價領(lǐng)域。目前我國已有的職業(yè)技能考試，普遍存在缺乏從評價技術(shù)上考慮評價方法質(zhì)量的問題。研究所構(gòu)建的框架是一個通用的有效性框架，一方面可以為建立有效的“職教高考”制度、完善“文化素質(zhì)+職業(yè)技能”的考試招生辦法、改進技能大賽考核方法等提供理論基礎(chǔ)和方法指導(dǎo);另一方面可以規(guī)范職業(yè)技能評價方法的設(shè)計，改善我國職業(yè)技能評價方法的質(zhì)量，提高職業(yè)技能評價結(jié)果的科學(xué)性和可信度。

（二）建議

1.職業(yè)技能評價方法的設(shè)計應(yīng)將信度和效度理論作為理論基礎(chǔ)

職業(yè)技能評價不應(yīng)只是經(jīng)驗層面的具體操作，還應(yīng)有科學(xué)層面的教育評價理論作為支撐[19]。信度和效度理論是科學(xué)的評價方法需要遵循的最基本的教育和心理測量理論。只有保證評價方法的信度和效度，評價結(jié)果才有價值。為此，設(shè)計者在設(shè)計評價方法時，應(yīng)關(guān)注信度和效度等質(zhì)量標(biāo)準(zhǔn)，將信度和效度理論作為理論基礎(chǔ)?；谛哦壤碚撻_發(fā)的評價方法首先要進行信度測算，包括評分信度和評價工具信度的測算，保證滿足信度的相關(guān)要求。評分信度包括評分者信度和評分者間信度。評價工具信度包括內(nèi)部一致性、復(fù)本信度、折半信度、重測信度的測算。不同的效度理論發(fā)展階段，效度驗證方式不同。目前國內(nèi)普遍采用單一或分類效度驗證方式，例如進行內(nèi)容效度、結(jié)構(gòu)效度或效標(biāo)關(guān)聯(lián)效度等的驗證。分類效度中每個效度的驗證都是一個巨大工程，在效度驗證中沒辦法對所有類別的效度都進行測算。隨著整體效度觀理論的提出，目前已形成一種新的基于證據(jù)或論證的效度驗證方式，其突破傳統(tǒng)效度驗證模式的局限性，不再對效度進行分類驗證，而是對整體的效度進行驗證，更關(guān)注評價及評價結(jié)果使用的有效性。目前，這種效度驗證方式已有成熟理論和實踐研究，可將其引入職業(yè)技能評價中。

2.職業(yè)技能評價方法的設(shè)計應(yīng)關(guān)注評價及其結(jié)果的使用對考生、職業(yè)院校和企業(yè)的影響

職業(yè)技能評價能否獲得社會認可，受到多方因素影響，最直接的影響來自于評價及其結(jié)果的使用對考生、職業(yè)院校和企業(yè)的影響是否有益。在評價實施后應(yīng)及時追蹤考生反饋，反饋內(nèi)容不應(yīng)只是對評價組織過程的滿意度調(diào)查，應(yīng)包括考核內(nèi)容的實用性、考核形式等與真實工作任務(wù)和情境的契合度及對未來職業(yè)發(fā)展的影響等。對于職業(yè)院校而言，應(yīng)重點追蹤評價對課程和專業(yè)教學(xué)改革的影響。對于企業(yè)而言，應(yīng)關(guān)注企業(yè)對人才的評價與職業(yè)技能評價結(jié)果的相符程度，以及企業(yè)根據(jù)評價結(jié)果招收的人才是否符合企業(yè)人才需求等方面。為此，在職業(yè)技能評價中，應(yīng)加強對評價及其結(jié)果使用的論證和跟蹤，進而增強職業(yè)技能評價及其結(jié)果的社會認可度。

3.職業(yè)技能評價方法的設(shè)計應(yīng)注重利益相關(guān)者的參與

第四代評估理論強調(diào)評價是一個與所有利益相關(guān)者共同協(xié)商、共同建構(gòu)的過程[20]。職業(yè)技能評價方法的設(shè)計不應(yīng)僅關(guān)注工具本身，還應(yīng)注重從各利益相關(guān)者的角度出發(fā)收集證據(jù)，鼓勵所有利益相關(guān)者參與到評價過程中，充分表達其價值和主張。只有這樣，才能保證利益相關(guān)者對評價結(jié)果的認同?？忌鳛樵u價中最重要、最直接的利益相關(guān)群體，經(jīng)常是被動參與評價，這不利于學(xué)生能力的自我建構(gòu)。根據(jù)建構(gòu)主義理論，知識和技能是學(xué)習(xí)者在真實工作情境下學(xué)習(xí)和完成工作任務(wù)的過程中，通過自我建構(gòu)獲得的。職業(yè)技能評價過程應(yīng)是評價主體和學(xué)生間建構(gòu)與感悟的過程[21]，不應(yīng)該只是簡單的成績評定，最重要的是促進學(xué)習(xí)者學(xué)習(xí)，應(yīng)將評價“所有權(quán)（ownership）歸還給學(xué)生”[22]。建構(gòu)主義學(xué)習(xí)理論強調(diào)學(xué)習(xí)的自我調(diào)控能力，認為該能力形成的關(guān)鍵在于自我評價能力的提供。考生主動參與評價過程是培養(yǎng)其自我評價能力的前提條件。設(shè)計者在設(shè)計職業(yè)技能評價時，不能為了評價而評價，應(yīng)該關(guān)注利益相關(guān)者的發(fā)展需求，特別是考生的發(fā)展需要。在設(shè)計職業(yè)技能評價方法時，搭建與利益相關(guān)者溝通的平臺，特別是加強對考生、職業(yè)院校、用人單位的調(diào)研與交流，為利益相關(guān)者主動參與評價創(chuàng)造空間，增強職業(yè)技能評價的適用性和針對性。827AFB11-E725-4353-B6B1-98A9710221ED

4.職業(yè)技能評價方法的設(shè)計要關(guān)注評價的公平性

評價的公平性是教育評價關(guān)注的重點，存在程序公平、條件公平和事實公平三種公平[23]。程序公平是指評價組織程序、試題、評分標(biāo)準(zhǔn)和過程對所有考生都一視同仁;條件公平是指教育條件方面的公平;事實公平是指平等分享優(yōu)質(zhì)教育資源的權(quán)利。職業(yè)技能評價一般都是全國性、大規(guī)模、高利害關(guān)系測試，在設(shè)計和開發(fā)時應(yīng)關(guān)注以上三個方面的公平性。只有保證了評價的公平性，評價結(jié)果才具有等值性和可比性。程序公平是最基本的公平，通過精心設(shè)計、控制評價組織過程是比較容易做到的，例如保證考生具有平等的機會了解考試內(nèi)容和實施程序、有同樣的報名機會，考點的便利性、考試環(huán)境、設(shè)備的熟悉程度應(yīng)對所有考生都是公平的，如提供盡可能相同的學(xué)習(xí)硬件和軟件條件、明確參加考試的最低學(xué)習(xí)和實訓(xùn)時長要求等，保證最基本的學(xué)習(xí)條件和教育資源的相對公平。

參 考 文 獻

[1]邵堅鋼，張定華，許樂清.基于綜合素質(zhì)評價的高職提前招生研究[J].中國職業(yè)技術(shù)教育，2017（18）：53-56.

[2]雷煒.深化高職院校招生模式改革的思考——以浙江省為例[J].中國高教研究，2016（10）：98-102.

[3]張厚粲，劉紅云.提高考試的科學(xué)性完善考試的功能[J].中國考試（研究版），2007（1）：9-11.

[4]TOULMIN， S. E. The uses of argument[M]. Cambridge： Cambridge University Press， 1958：11-217.

[5]KANE， M. T. An Argument-based approach to validity[J]. Psychological Bulletin， 1992（3）：527-535.

[6]BRENNAN， R. L. Educational Measurement （4th ed.） [M]. Westport， CT： Praeger， 2006：17-64.

[7]BACHMAN， L. F.， PALMER， S. A. Language assessment in practice： Developing language assessments and justifying their use in the real world[M]. Oxford： Oxford University Press， 2010：93-107.

[8]CROBACH， L. J. Designing evaluation of educational and social programs[M]. San Francisco： Jossery-Bass， 1982：279-324.

[9]SHARKEY， B.， SHARPLES， Y. An approach to consensus building using the Delphi technique： developing a learning resource in mental health[J]. Nurse Education Today， 2001，21（5）：398-408.

[10]萬崇華，許傳志.調(diào)查研究方法與分析[M].北京：中國統(tǒng)計出版社，2016：140.

[11]漆書青，戴海崎，丁樹良.現(xiàn)代教育與心理測量學(xué)原理[M].北京：高等教育出版社，2002：261-264.

[12]BACHMAN， L. F. Fundamental considerations in language testing[M]. Oxford： Oxford UniversityPress， 1990：10-35.

[13]楊惠中.有效測試、有效教學(xué)、有效使用[J].外國語，2015（1）：2-26.

[14]BACHMAN， L.F.， PALMER， S.A. Language Testing in Practice [M]. Oxford： Oxford University Press， 1996：1-24.

[15]趙志群，孫鈺林，羅喜娜.“1+X”證書制度建設(shè)對技術(shù)技能人才評價的挑戰(zhàn)——世界技能大賽試題的啟發(fā)[J].中國電化教育，2020（2）：8-14.

[16]FRISBIE， D. A. Measurement： some fundamentals revisited[J]. Educational Measurement： Issues and Practice， 2005（3）：21-28.

[17]STIGGINS， R. New assessment beliefs for new school mission[J]. Phi Dalta Kappan， 2004（9）：22-27.

[18]KUNNAN， A. J. Test fairness[C]//MILANOVIC， M.， WEIR， C. European language testing in a global context[C]. Cambridge： Cambridge University Press， 2004：27-48.

[19]姜大源.職業(yè)教育的考試方法論[J].中國職業(yè)技術(shù)教育，2007（34）：1+8.

[20]埃貢G.古貝，伊馮娜S.林肯.第四代評估[M].北京：中國人民大學(xué)出版社，2008：2-23.

[21]閆寧.高等職業(yè)教育學(xué)生學(xué)業(yè)評價研究[D].西安：陜西師范大學(xué)，2012：19.827AFB11-E725-4353-B6B1-98A9710221ED

[22]田中耕治.學(xué)習(xí)評價的挑戰(zhàn)：表現(xiàn)性評價在學(xué)校中的應(yīng)用[M].上海：華東師范大學(xué)出版社，2015：26.

[23]謝小慶.考試公平的三種不同含義[C]//謝小慶.謝小慶教育測量學(xué)論文集.北京：北京語言大學(xué)出版社，2012：81-85.

Construction of Evidence-based Validity Framework for Vocational Competence Evaluation Method

Huang Fanghui， Zhao Zhiqun

Abstract? The study draws on the Assessment Use Argument framework of language testing， takes reliability and unified validity as the theoretical basis， and uses the modified Delphi method to construct a validity framework for vocational competence evaluation methods， and the results found that： reliability and validity are the most important quality standards of vocational competence evaluation methods at the technical level; the validity evaluation of vocational competence evaluation method not only pays attention to the validity of the evaluation tool itself， but also pays attention to the evaluation of the validity of evaluation results and their use; the validity evaluation of vocational competence evaluation method is based on evidence-based validity argument; the constructed validity framework has good application value and generalizability. It is suggested that， the reliability and validity theory should be used as the theoretical basis when designing vocational competence evaluation methods， the impact of the use of evaluation and its results on candidates， colleges and enterprises should be paid attention to， the participation of stakeholders and the fairness of the evaluation should be focused on when designing the evaluation method.

Key words? competence evaluation; vocational education; validity framework; evidence; modified delphi method

Author? Huang Fanghui， lecturer of China Fire and Rescue Institute （Beijing 102202）; Zhao Zhiqun， professor of Beijing Normal University827AFB11-E725-4353-B6B1-98A9710221ED