理解和運用《教育與心理測試標準》
——ETS的案例研究

Cathy Wendler Barbara Kirsh

（美國教育考試服務(wù)中心，美國新澤西州普林斯頓 08541）

馮采譯

（北京師范大學，北京 100875）

理解和運用《教育與心理測試標準》
——ETS的案例研究

Cathy Wendler Barbara Kirsh

（美國教育考試服務(wù)中心，美國新澤西州普林斯頓 08541）

馮采譯

（北京師范大學，北京 100875）

《教育與心理測試標準》由美國心理協(xié)會（APA）、美國教育研究協(xié)會（AERA）和美國國家教育測量協(xié)會（NCME）聯(lián)合制定，美國教育考試服務(wù)中心（ETS）仿效《教育與心理測試標準》，制定了《ETS質(zhì)量和公平標準》。本文介紹這兩套標準的制定過程以及歷史發(fā)展，《ETS質(zhì)量和公平標準》的理念以及在ETS考試產(chǎn)品中的應(yīng)用。

測試標準；教育和心理測試標準；ETS質(zhì)量和公平標準

許多行業(yè)和機構(gòu)都有專業(yè)標準。為什么需要專業(yè)標準？一般而言，這些標準的設(shè)計旨在幫助確保產(chǎn)品的可靠性和一致性，旨在促進公平、道德和對這些產(chǎn)品的有效利用，旨在提供評估產(chǎn)品的基本原則。因此，標準是為在特定領(lǐng)域工作的人提供指導、幫助開發(fā)產(chǎn)品以及在相關(guān)領(lǐng)域使用產(chǎn)品。有些領(lǐng)域（如醫(yī)學、教學或工程等）有政府法規(guī)，但是在測試領(lǐng)域卻沒有指導實踐的政府法規(guī)，因此，涉足測試領(lǐng)域的機構(gòu)自行制定了一系列的指南和標準。

在教育和心理測試領(lǐng)域，標準和指南已經(jīng)存在了幾十年。許多標準和指南反映了測試環(huán)境在不斷變化。這些標準和指南重點關(guān)注測試開發(fā)和使用的具體問題，例如：公平的測試實踐和道德行為標準[1-4]，測試開發(fā)和改進方法標準[5-8]，考生的權(quán)利和責任標準[9]，測試使用標準[10-11]。

指導測試開發(fā)和使用最著名和應(yīng)用最廣泛的標準是由美國三家涉及測試的專業(yè)機構(gòu)制定的，這三家機構(gòu)是美國教育研究學會（American Educational Research Association，AERA）、美國心理學會（American Psychological Association，APA）和美國國家教育測量委員會（National Council on Measurement in Education，NCME）。多年來，這三家機構(gòu)合作倡議、創(chuàng)建和修訂了有關(guān)教育和心理測試領(lǐng)域的標準，這些標準以《教育與心理測試標準》（Standards for Educational and Psychological Testing）一書呈現(xiàn)[12]。

1 《教育與心理測試標準》的歷史沿革

若干早期的文件對目前《教育與心理測試標準》的制定起到了指導作用[12-13]。1954年，APA頒布了《心理測驗和診斷方法的技術(shù)建議》文件，該文件由APA的一個委員會撰寫，用以指導心理測驗的開發(fā)和使用。AERA和美國國家教育測量使用委員會（National Council on Measurements Used in Education，NCME的前身）也創(chuàng)建了一個委員會，撰寫了《成就測驗的技術(shù)建議》（Technical Recommendations for Achievement Tests）文件，該文件由美國國家教育學會（National Education Association，NEA）于1955年頒布[14]。這個文件的重點是指導成就測驗的開發(fā)以及為分數(shù)使用者提供的報告類型上。

20世紀60年代，APA、AERA和NCME設(shè)立了一個聯(lián)合委員會，其成員由代表三家機構(gòu)的人員組成。他們的任務(wù)是起草一個既適用于心理測驗又適用于成就測驗的標準文件。1966年，《教育與心理測驗標準和使用手冊》（Standards for Educational and Psychological Tests and Manuals）頒布，取代了1954年和1955年的文件[15]。這個文件代表了三家學會的第一次合作，此后，這三家學會又聯(lián)合開發(fā)了其他4個版本的《教育與心理測試標準》。

第二版于1974年出版[16]。這一版的內(nèi)容得到擴展，不僅包括測試開發(fā)和文件指南，還包括測試使用和成績報告。此外，還介紹了用于其他領(lǐng)域的測試標準，如求職和大學入學測試。書的標題也縮簡為《教育與心理測試標準》。

到1977年，測試領(lǐng)域出現(xiàn)了新的問題，包括技術(shù)進步、測試的新興用途以及不斷提高的對測試在社會中的作用的關(guān)注。這些表明，標準需要進一步修訂。為直面這些關(guān)切，對1974年版的《教育與心理測試標準》再次進行了修訂。另外，本次修訂也特別關(guān)注了有關(guān)效度理論的各種觀點。

1985年修訂的《教育與心理測試標準》將效度視為統(tǒng)一概念[17]，同時仍認可不同類型的證據(jù)適用于不同類型的測試成績的解釋和使用[18-19]。

1999年版的《教育與心理測試標準》則是對1985年版的進一步修訂，提出此次修訂建議的是APA的心理測驗和評價委員會。作為這次修訂的一部分，“測驗”的定義擴大到包括更大范圍的評價范疇[13]。1999年版的標準還探討了測驗在決策過程中的使用問題：“測驗的恰當使用比不使用能獲得關(guān)于個體和項目的更明智的決策?！盵20]

Plake和Wise對2014年版的《教育與心理測試標準》的修訂過程進行了詳細的描述[13]。為監(jiān)督《教育與心理測試標準》的出版和預算，成立了由三家學會的代表組成的管理委員會。這一版本的修訂工作始于2004年，應(yīng)管理委員會的要求，向三家學會的相關(guān)人員征求修改意見。2007年，收集到修改意見，由三家學會的代表組成的聯(lián)合委員會負責修改《教育與心理測試標準》。

當時，人們認為以下方面需要修訂：1）無障礙性和公平性；2）在問責中使用測試；3）技術(shù)的影響；4）職場涉及的測試問題；5）《教育與心理測試標準》本身的形式。此外，一些重要關(guān)切需要回應(yīng)。例如，《教育與心理測試標準》的目標人群，是否應(yīng)涵蓋課堂評估，以及三家學會觀點的哲學差異，這些都將直接影響修訂版的形式和內(nèi)容。

測試及測驗結(jié)果的使用會影響個人，很多關(guān)于個人、教育項目甚至機構(gòu)的決策都來源于測驗結(jié)果。因此，2014年修訂版的一個目標就是，確保非測量專業(yè)的讀者也可以明白《教育與心理測試標準》。因此，這次修訂也為這些讀者加入了額外的背景和信息[13]。

盡管所有版本的《教育與心理測試標準》（從20世紀50年代的初始文件到現(xiàn)在的版本）都是從美國的角度出發(fā)撰寫的，但Plake和Wise表示，2014年版的目的是適用于廣泛的讀者[13]。例如，Zumbo討論了標準的國際適用性，并認為這些標準在全球的測試領(lǐng)域發(fā)揮了關(guān)鍵性的作用[21]。因此，無論是應(yīng)用于各種測試，還是在不同的國家環(huán)境，這些標準對測試實踐的意義都是不可忽視的。

這三家學會成員的意見在修訂中發(fā)揮了至關(guān)重要的作用。修訂委員會還幾次對《教育與心理測試標準》的不同草稿公開征求意見，最終稿提交各學會審批。每家學會都有自己的審批程序，最終都批準了這次修訂[12]。

2 《教育與心理測試標準》2014年版概述

《教育與心理測試標準》旨在適用于心理學、教育學及其他領(lǐng)域（如執(zhí)照和證書）的專業(yè)人員。Plake認為，標準為解決測試領(lǐng)域的法律、倫理和實質(zhì)性問題提供了指導[22]。因此，《教育與心理測試標準》被解釋并用作在許多情況下的指導原則，包括測試機構(gòu)在實際工作中用它指導測試開發(fā)和成績報告[23]，用于職業(yè)測試和專業(yè)認證領(lǐng)域[24]，從事教育測量問題研究[25]，甚至用在某一國際環(huán)境中[21]。《教育與心理測試標準》還為其他在決策中使用測試成績的個人（包括政策制定者、學校行政人員、政府官員）以及教師、醫(yī)生和律師的專業(yè)認證機構(gòu)解釋了基本的測量概念，如效度、信度和公平性。

《教育與心理測試標準》由引言和三部分內(nèi)容組成?！耙浴标U述標準的目的，描述了對1999年版《教育與心理測試標準》所作的主要修訂，概述了該書的形式，并詳細列出了各項標準適用的測試、測試用途及參與者。其余三個部分涵蓋了各項標準，這些標準被分為13章。每章開頭為介紹性文字，描述了解釋和恰當?shù)厥褂酶黜棙藴仕璧年P(guān)鍵概念。各項標準還被歸類為與特定主題相關(guān)的標準簇。這三個部分的內(nèi)容如下。

第一部分：基礎(chǔ)。這個部分所含的標準舉例說明了心理測量的必要特性，這些特性存在于多種類型的測試環(huán)境的所有測試中。第1章：效度，包括測驗結(jié)果的使用和解釋、效度驗證中的樣本和背景，以及效度證據(jù)的具體形式；第2章：信度/測量精度和誤差，包括復制測試程序、記錄和評估信度/精度、影響信度/精度和測量標準誤的因素，以及決策的一致性；第3章：測試公平性，包括最大限度減少妨礙有效分數(shù)解釋的因素、為清除與構(gòu)念無關(guān)的因素所作的安排，以及防范不當分數(shù)解釋。

第二部分：操作。這個部分包含與設(shè)計、管理和成績報告相關(guān)的活動和過程的標準。與第一部分一樣，這些標準適用于各種測驗和測試環(huán)境。第4章：測驗設(shè)計與開發(fā)，包括測驗說明、命題、題目審查、考務(wù)和評分程序，以及測驗修訂；第5章：分數(shù)、量表、常模、分數(shù)關(guān)聯(lián)及分數(shù)線，含分數(shù)解釋；第6章：施測、評分、分數(shù)報告和解釋；第7章：測驗的支持性文件，包括文件的恰當使用、作為測驗開發(fā)組成部分的文件、施測、評分，以及文件發(fā)布的時效性；第8章：應(yīng)試者的權(quán)利與責任，包括測試前的準備、防止以未經(jīng)授權(quán)的方式使用測試結(jié)果、獲取公平和準確的分數(shù)，以及整個測試過程中的預期行為；第9章：測驗使用者的權(quán)利與責任，包括分數(shù)解釋的有效性、測驗結(jié)果的發(fā)布、測驗安全以及版權(quán)保護。

第三部分：測試的應(yīng)用。這個部分描述適用于特定測試環(huán)境的標準。雖然這些特定環(huán)境中使用的測試也應(yīng)遵循第一部分和第二部分的標準，但第三部分的標準是針對特定測試環(huán)境的附加標準。這些標準涉及的問題包括測驗的設(shè)計、開發(fā)和使用，考務(wù)、評分和分數(shù)報告，測驗選擇，以及測驗使用者的資格。第10章：心理測試與評價；第11章：職場測試與資格認證；第12章：教育測試與評價；第13章：測試在項目評估、政策研究及問責中的使用。

2014年版《教育與心理測試標準》反映了三家機構(gòu)所信奉的什么是測試設(shè)計、實施和使用的最佳實踐，以確保測試結(jié)果對所有考生群體都是有效、可靠和公正的。然而，《教育與心理測試標準》在測試領(lǐng)域之外的應(yīng)用是有限的。例如，Pullin報告說，《教育與心理測試標準》在法院案件或政策制定和實施中最多只是一個變量。盡管《教育與心理測試標準》可能影響法院的判決或決策者的決定，但它的使用通常并不明顯[26]。

另外，并沒有任何機制保證《教育與心理測試標準》能夠確保測試公司、測驗使用者以及其他個人在測試開發(fā)、施測、成績報告和測驗結(jié)果的使用過程中能恰當?shù)貞?yīng)用這些標準?！督逃c心理測試標準》沒有說明濫用測驗或不遵循標準可能導致的結(jié)果，也沒有解釋在實施過程中如何使用和應(yīng)用這些標準。盡管《教育與心理測試標準》指導人們開發(fā)測試、評分和報告測試結(jié)果，但它只提供一般性指導，并沒有闡述應(yīng)當運用的技術(shù)和心理測量標準。因此，一些測試公司創(chuàng)建了自己的一套標準來指導內(nèi)部運作。例如，《ETS質(zhì)量和公平標準》（ETS Standards for Quality and Fairness）就是《教育與心理測試標準》的操作說明。

3 《ETS質(zhì)量和公平標準》的歷史沿革

《ETS質(zhì)量和公平標準》（以下簡稱《ETS標準》）反映了教育考試服務(wù)中心（Educational Testing Service，ETS）測驗和產(chǎn)品的具體屬性，并與ETS所做的工作保持一致，這些標準用于界定ETS工作的基準，包括測驗和題目的開發(fā)、心理測量學、分數(shù)報告、測驗發(fā)送系統(tǒng)、客戶服務(wù)以及其他生產(chǎn)活動[27]。

早期版本的《ETS標準》被稱為《原則、政策和程序指南》，主要來源于《教育與心理測試標準》。這些早期的ETS文件以非正式的方式指導了ETS測驗和其他產(chǎn)品的開發(fā)。20世紀80年代，ETS領(lǐng)導層指出，《ETS標準》在未來應(yīng)與專業(yè)的測量標準（即《教育與心理測試標準》）保持一致。1981年，《ETS標準》第一版發(fā)布，后續(xù)的修訂版本都與《教育與心理測試標準》的修訂基本保持了一致。為什么需要兩套標準？雖然早期和目前的《ETS標準》與《教育與心理測試標準》相似，但多年來，ETS版本試圖與《教育與心理測試標準》有所區(qū)別。例如，《ETS標準》包括企業(yè)層面的要求，即促進科學測量，承認ETS對顧客、客戶和其他利益相關(guān)者的責任?！禘TS標準》還制定了一些反映ETS使命的標準，即通過提供公正有效的評價提高教育質(zhì)量和公平性，保護知識產(chǎn)權(quán)和客戶隱私，并以科學的業(yè)務(wù)流程來防范重大事故。

《ETS標準》指導ETS的實際工作，包括《教育與心理測試標準》中沒有包含的信息，例如與非測試產(chǎn)品和服務(wù)相關(guān)的資料?！禘TS標準》還剔除了包含在《教育與心理測試標準》中但不屬ETS工作范疇的一些信息，如臨床心理學家進行的個人心理測試?！禘TS標準》是為ETS工作人員使用而設(shè)計的，因此無須滿足《教育與心理測試標準》所涉及的其他測試人員（如項目評估人員，州級和區(qū)域測試主管以及心理學家）的需求。此外，《教育與心理測試標準》往往對測量方法有更多的規(guī)定，而《ETS標準》更強調(diào)希望得到的結(jié)果，而非規(guī)定如何取得這些結(jié)果。表1比較了《ETS標準》與《教育與心理測試標準》的文本結(jié)構(gòu)。

《ETS標準》自1981年啟用之后，分別于1987年和2000年發(fā)布其修訂版，2002年又進行了微調(diào)，最近一次修訂完成于2014年。十年間，盡管ETS產(chǎn)品發(fā)生了變化，2002年版《ETS標準》仍能適用于ETS的一系列產(chǎn)品。然而，測量領(lǐng)域的變化以及人們對2014年版《教育與心理測試標準》觀點的變化需要《ETS標準》作進一步修訂。2014年版的《ETS標準》更新了一些標準，目的是：1）更適用于測試領(lǐng)域的技術(shù)變革（如在線考試報名、付款以及備考資料，在測試中廣泛使用各種數(shù)字設(shè)備，自動評分）；2）反映問責在教育考試的使用；3）更加關(guān)注非英語母語者和殘障人士。

2014年版《ETS標準》的修訂過程與2014年版《教育與心理測試標準》很相似。ETS成立了一個內(nèi)部的標準指導委員會評論《教育與心理測試標準》的公開草稿，并根據(jù)該公開草稿考慮2002年版《ETS標準》所需的變化。標準指導委員會還匯總了ETS對《教育與心理測試標準》公開稿的意見，并提交給AERA、APA和NCME聯(lián)合委員會。

ETS內(nèi)部標準指導委員會由來自ETS的幾個領(lǐng)域的15名員工組成，主要為研發(fā)部門人員，其中有兩名成員也參與了2014版《教育與心理測試標準》的修訂和撰寫。有些委員會成員負責根據(jù)對《教育與心理測試標準》公開草稿的審讀意見以及來自ETS各領(lǐng)域工作人員的意見修改《ETS標準》中的具體章節(jié)。

表1《教育與心理測試標準》和《ETS標準》的文本結(jié)構(gòu)比較

這些努力的目的是制訂一份能靈活應(yīng)用于ETS所有產(chǎn)品的文件，并能成為未來10～15年的指導性專業(yè)標準。新的《ETS標準》需要具有足夠的靈活性，以保證在可預見到的技術(shù)、人口以及教育和測量環(huán)境等方面發(fā)生變化時仍能提供良好的服務(wù)。同時，該文件的內(nèi)容要清晰、具體，以指導測試項目實踐，并使ETS員工能夠評估這些實踐。這些標準還要可實施，適合ETS所有產(chǎn)品，并支持創(chuàng)新和新產(chǎn)品的開發(fā)。最后，《ETS標準》需要表明，對廣大外部利益相關(guān)者（包括考生、研究人員、客戶、媒體和公眾）而言，ETS產(chǎn)品是遵循專業(yè)測量標準的。

4 《ETS質(zhì)量和公平標準》2014年版概述

與《教育與心理測試標準》一樣，2014年版《ETS標準》也包含13章，每章包含與特定領(lǐng)域相關(guān)的一套具體標準。有些章節(jié)著重于技術(shù)標準，如效度、信度、等值和公平性，其他章節(jié)側(cè)重于重要的非技術(shù)性問題，如施測、測驗使用和安全問題。

第1章、第2章和第5章適用于所有產(chǎn)品，包括測驗和非測驗產(chǎn)品。第3章包含與非測驗產(chǎn)品（用于指導、教學或備考，而不是評估個體）相關(guān)的標準。其余章節(jié)適用于評價及與測驗相關(guān)的活動。這些章節(jié)適用于所有類型的測驗，包括紙筆測驗、計算機測試、表現(xiàn)性評價以及使用多媒體發(fā)送的測試。除了更傳統(tǒng)的多項選擇題和主觀題的測驗之外，這些章節(jié)也適用于基于評估結(jié)果而進行決策的任何類型的評估，例如基于游戲的測驗、問卷調(diào)查和非認知測試。各章的內(nèi)容如下。

第1章：企業(yè)責任，包括適用于ETS所有活動的企業(yè)層面的標準，例如支持ETS使命、法律遵循、了解客戶需求以及對產(chǎn)品的一般責任。

第2章：廣泛適用的標準，包括適應(yīng)許多其他標準的標準。這些標準包括準確和清晰的表達、文件記錄決策、為確保測試結(jié)果解釋恰當?shù)某闃臃椒ǖ目剂恳约按_保稱職的專家參與產(chǎn)品開發(fā)。

第3章：非測試產(chǎn)品及服務(wù)，用于與非測試產(chǎn)品相關(guān)的標準（如備考產(chǎn)品、指導產(chǎn)品和教師使用的教學產(chǎn)品）。本章中的標準有助于確保非測試產(chǎn)品和服務(wù)按照預定的方式服務(wù)目標人群，且它們是根據(jù)計劃和文件規(guī)定的流程進行開發(fā)或修訂的。非測試產(chǎn)品和服務(wù)同樣有責任遵循第1章、第2章和第5章的標準。

第4章：效度，包括與收集適當?shù)淖C據(jù)以支持測試項目對于如何使用測試結(jié)果以及使用后果的聲明有關(guān)的標準；還包括與識別構(gòu)念無關(guān)因素相關(guān)的標準，這些無關(guān)因素可能影響測試分數(shù)解釋的效度。

第5章：公平性，展示確保所有測試、產(chǎn)品和服務(wù)公平的標準。公平性是一個包羅萬象的概念，包括要考慮ETS測試和產(chǎn)品所服務(wù)的不同人群，如殘疾人、英語語言學習者、來自不同族裔群體的人、性取向、年齡組以及個人信仰。公平的概念應(yīng)用于整個測試過程，包括測試的設(shè)計、開發(fā)、實施、評分和分數(shù)報告。

第6章：信度，有助于保證分數(shù)或測試結(jié)果對其預期目的具有足夠的可靠性的標準。這些標準還有助于確保采用恰當程序來判定信度并提供證據(jù)。第4章和第6章都未提出具體應(yīng)該使用何種類型的方法，也未確定信度與效度的最低可接受水平，需要由為項目工作的專家作出判斷。

第7章：測試的設(shè)計與開發(fā)，包括與測試的設(shè)計和開發(fā)相關(guān)的標準。這些標準有助于確保測試是使用有計劃、有據(jù)可查的程序開發(fā)的；這些程序使測試為其預期目的及目標人群提供公平、可獲取、可靠和有效的分數(shù)解釋。開發(fā)人員要按照詳細的說明開展工作，獲取對他們工作的評論，使用有關(guān)試題和測驗質(zhì)量的實證信息，并對測驗進行評估。

第8章：等值、關(guān)聯(lián)、常模及分數(shù)線，包括與程序相關(guān)的標準，這些程序有助于確保意在可比的測驗分數(shù)是可比的，常模數(shù)據(jù)是有意義的，并且分數(shù)線的研究遵循合理、清晰的描述程序。本章沒有規(guī)定一個項目應(yīng)該使用何種分數(shù)量尺，也沒有提出等值、關(guān)聯(lián)或設(shè)定分數(shù)線的具體方法。

第9章：測驗實施，包括有助于保證測驗以適當方式實施的標準，以提供準確、可比和公正的測量。實施程序（包括所需的安全級別）隨測驗的性質(zhì)和目的而變，但是本章也未具體給出任何一個測驗的準確程序。然而，無論使用何種施測平臺或設(shè)備，本章中的標準對任何測驗都是適用的。

第10章：評分，有助于確保測試項目的建立、記錄，以及所遵循的程序使應(yīng)試者的作答得到準確、一致的評分。一個測試的所有任務(wù)和題型（不管是多項選擇題、主觀題或復雜表現(xiàn)題，也不管是人工評分還是機器評分）都應(yīng)遵循有據(jù)可查的程序，并進行準確性審查。

第11章：報告測試結(jié)果，這一章的標準有助于確保分數(shù)、測驗結(jié)果以及說明性信息對其受眾而言是清晰、易理解和有意義的。這些標準并不限制測驗結(jié)果的報告方式。

第12章：測驗的使用，包括與如何使用測試有關(guān)的標準。這些標準有助于促進正確使用測試，并幫助分數(shù)接收者公平和適當?shù)厥褂脺y驗。

第13章：應(yīng)試者的權(quán)利與責任，有助于確保應(yīng)試者明確自己的權(quán)利和責任，并明確在測試的任一階段他們的權(quán)利是受到保護的。其他章節(jié)（如第5章、第9章和第11章）中的有些標準也涉及應(yīng)試者的權(quán)利。

5 《ETS質(zhì)量和公平標準》的應(yīng)用

《ETS標準》一經(jīng)采納便被應(yīng)用于ETS所有產(chǎn)品。與沒有保障機制或程序的《教育與心理測試標準》不同，ETS要求所有產(chǎn)品都要經(jīng)由系統(tǒng)性的審查流程來評估其是否符合《ETS標準》。這種審查過程采取內(nèi)部審核的形式，并確定各個產(chǎn)品（包括測驗和非測驗）是否在事實上真正符合《ETS標準》。內(nèi)部審核是ETS提供產(chǎn)品和服務(wù)公共問責不可缺少的一環(huán)。

審核過程有助于確保開發(fā)和維護高質(zhì)量測驗和產(chǎn)品。內(nèi)部審核使用統(tǒng)一、有文獻可查的程序?qū)Ξa(chǎn)品進行評估。審核過程包括多個步驟；在這個過程中，要共享并審查信息，而且要對每一個接受審核的測驗或產(chǎn)品提供反饋。ETS專業(yè)標準遵循辦公室（ETS Office of Professional Standards Compliance，OPSC）負責監(jiān)督和管理整個審核流程，制定計劃，以使項目和產(chǎn)品能夠得到定期審核。

在審核過程中，要系統(tǒng)地應(yīng)用標準對測驗或產(chǎn)品進行評估。由不同的ETS專業(yè)人員組成的審核團隊負責這項任務(wù)。審核人必須獨立于被分配審核的測驗或產(chǎn)品。雖然不期望每個審核人具備所有與《ETS標準》相關(guān)的各項知識，但作為一個團隊，審核人員必須具備所需的知識和經(jīng)驗，以便對產(chǎn)品是否遵守各項標準進行必要的判斷。因此，《ETS標準》的解釋和應(yīng)用依賴于ETS員工的專業(yè)判斷。雖然《ETS標準》提供了專業(yè)判斷的依據(jù)，但并不能代替這一判斷。

針對《ETS標準》和審核過程本身，ETS要向?qū)徍藞F隊成員以及產(chǎn)品所有者提供特別培訓。產(chǎn)品所有者負責確保他們的測驗和產(chǎn)品符合《ETS標準》。他們要完成自我評估，以顯示他們的測驗和產(chǎn)品是如何符合每項標準的，并準備文件為之提供證據(jù)。審核人員審查這些自我評估及其支持性文件，并以小組的名義起草一份關(guān)于各項標準符合程度的報告。如果審核人員認為一個產(chǎn)品或者測驗不符合某一特定標準，他們必須解釋為什么，并提出解決這個問題的適當建議。審核人員和產(chǎn)品所有者之間要進行討論，形成一個最終報告和一個修補所有有缺陷之處的計劃。這是一個全面而有效的審核過程。

在特定審核周期內(nèi)，要向ETS領(lǐng)導層提交一份所有產(chǎn)品和測驗評估主要結(jié)論的報告。ETS高層的參與保證了對《ETS標準》給予的最高級別的關(guān)注。若產(chǎn)品所有者沒有在合理時間內(nèi)解決違反標準的相關(guān)問題，則可能導致嚴重后果，包括停止產(chǎn)品或測驗。在某些情況下，測驗或產(chǎn)品可能由ETS外部的客戶擁有。雖然客戶制定的政策不一定必須受產(chǎn)品所有者直接控制，但如其政策違反專業(yè)標準，產(chǎn)品所有者仍然有責任通知客戶。

總之，《教育與心理測試標準》通過描述測量領(lǐng)域的最佳實踐來指導那些正在開發(fā)或使用的測驗。這些標準對各種類型的測驗、測試環(huán)境和測驗用戶都非常有用。然而，它們是在一般化的層次上制定的，因而不能直接適用于實際工作。因此，ETS制定了《教育與心理測試標準》的操作例示，既與之一致，又反映了ETS開發(fā)的那些測驗和產(chǎn)品的類型。通過內(nèi)部審核程序，《ETS標準》的應(yīng)用得到系統(tǒng)監(jiān)控，以確保所有產(chǎn)品和測驗符合標準。

《ETS標準》幫助ETS員工理解ETS每個測驗或產(chǎn)品所必須遵守的準則。這些標準反映了ETS致力于生產(chǎn)高質(zhì)量的測驗和產(chǎn)品的承諾，即生產(chǎn)公平、有效、可信的測驗和產(chǎn)品。

[1]Joint Committee on Testing Practices.Code of Fair Testing Practices in Education[M].Washington,DC:Author,1988.

[2]Joint Committee on Testing Practices.Code of Fair Testing Practices in Education[M].Washington,DC:Author,2004.

[3]American Counseling Association.ACA Code of Ethics[M].Alexandria,VA:Author,2014.

[4]American Psychological Association.Ethical Principles of Psychologists and Code of Conduct[M].Washington,DC:American Psychological Association,2010.

[5]Educational Testing Service.ETS guidelines for fairness review of assessments[EB/OL].[2017-06-30].http://www.ets.org/about/fairness.

[6]Educational Testing Service.Guidelines for the Assessment of English Language Learners[EB/OL].[2017-06-30].http://www.ets.org/ about/fairness.

[7]Educational Testing Service.ETS international principles for the fairness of assessments[EB/OL].[2017-06-30].http://www.ets.org/ about/fairness.

[8]International Test Commission.ITC Guidelines for Translating and Adapting Tests[EB/OL].[2017-06-30].http://www.intesetcom.org.

[9]Joint Committee on Testing Practices.Rights and responsibilities of test takers:Guidelines and expectations[M].Washington,DC:Author,1990.

[10]Society for Industrial and Organizational Psychology,Inc.Principles for the validation and use of personnel selection procedures [M].College Park,MD:Author,1987.

[11]American Federation of Teachers,National Council on Measurement in Education,&National Education Association.Standards for Teacher Competence in Educational Assessment of Students [EB/OL].[2017-06-30].http://buros.org/competency-standardsstudent-assessment-educational-administrators.

[12]American Educational Research Association,American Psychological Association,&National Council on Measurement in Education.Standards for Educational and Psychological Testing[M]. Washington,DC:American Educational Research Association, 2014.

[13]PLAKE B S,WISE L L.What is the role and importance of the revised AERA,APA,NCME Standards for Educational and Psychological Testing?[J].Educational Measurement:Issues and Practice, 2014,33（4）:4-12.

[14]American Educational Research Association&National Council on Measurements Used in Education.Technical recommendations for achievement tests[M].Washington,DC:National Education Association,1955.

[15]American Psychological Association,American Educational Research Association,&National Council on Measurement in Education.Standards for Educational and Psychological Tests and Manuals[M].Washington,DC:American Psychological Association, 1966.

[16]American Psychological Association,American Educational Research Association,&National Council on Measurement in Education.Standards for Educational and Psychological Tests[M].Washington,DC:American Psychological Association,1974.

[17]American Educational Research Association,American Psychological Association,&National Council on Measurement in Education.Standards for Educational and Psychological Testing[M]. Washington,DC:American Psychological Association,1985.

[18]KANE M T.Validation[M]//Educational Measurement.4th ed. Westport,CT:American Council on Education and Praeger Publishers,2006.

[19]MESSICK S.Validity[M]//LINN R L.Educational Measurement. 3rd ed.New York:American Council on Education and Macmillan, 1989.

[20]American Educational Research Association,American Psychological Association,&National Council on Measurement in Education. Standards for Educational and Psychological Testing[M].Washington,DC:American Educational Research Association,1999:1.

[21]ZUMBO B D.What role does,and should,the test standards play outside of the United States of America?[J].Educational Measurement:Issues and Practice,2014,33（4）:31-33.

[22]PLAKE B S.Ready for member comment:Revised Standards for Educational and Psychological Testing[J].Educational Researcher, 2011（40）:33.

[23]CAMARA W J.Issues facing testing organizations in using the Standards for Educational and Psychological testing[J].Educational Measurement:Issues and Practice,2014,33（4）:13-15.

[24]SACKETT P R.An employment testing and credentialing perspective on the Standards for Educational and Psychological Testing[J]. Educational Measurement:Issues and Practice,2014,33（4）:22-24.

[25]SINHARAY S,RIJMEN F,CHOI S,DORANS N.The revised standards and its role in research on educational measurement[J].Educational Measurement:Issues and Practice,2014,33（4）:36-37.

[26]PULLIN D.Professional testing standards in the eyes of the law[J]. Educational Measurement:Issues and Practice,2014,33（4）:19-21.

[27]Educational Testing Service.ETS Standards for Quality and Fairness[EB/OL].[2017-06-30].http://www.ets.org/about/fairness.

Understanding and Applying theStandards for Educational and Psychological Testing: A Case Study of How the Standards are Applied at Educational Testing Service

Cathy WENDLER,Barbara KIRSH
（Educational Testing Service,Princeton,NJ 08541,USA）

The book,Standards for Educational and Psychological Testing,was developed jointly by three preeminent American-based organizations involved in testing:the American Psychological Association,the American Education Research Association,and the National Council on Measurement in Education.This article briefly presents the history of these standards and the process by which they were developed.Educational Testing Service（ETS）has created its own set of standards,theETS Standards for Quality and Fairness,modeled on theStandards for Educational and Psychological Testing.The rationale for and process of creating the ETS standards and their use at ETS are also described in this article.

Standards for Testing;Standards for Educational and Psychological Testing;ETS Standards for Quality and Fairness

陳寧）

G405

A

1005-8427（2017）10-0027-9

10.19360/j.cnki.11-3303/g4.2017.10.005

Cathy Wendler，美國教育考試服務(wù)中心，博士；Barbara Kirsh，美國教育考試服務(wù)中心，博士。