• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    多項(xiàng)選擇題中干擾項(xiàng)信息的利用

    2015-12-27 06:25:14張佳慧
    心理學(xué)探新 2015年3期
    關(guān)鍵詞:計(jì)分測(cè)驗(yàn)選擇題

    劉 拓 張佳慧 辛 濤

    (北京師范大學(xué)心理學(xué)院,北京100875)

    1 引言

    1914 年Kelly 將多項(xiàng)選擇題(multiple - choice item,MCI)的題目形式引入測(cè)驗(yàn),從而使以論文為主要形式的早期測(cè)驗(yàn)大量減少,短測(cè)驗(yàn)大量增加。經(jīng)過一個(gè)世紀(jì)的發(fā)展,多項(xiàng)選擇題已經(jīng)成為教育和心理測(cè)驗(yàn)中最為常見的題型之一。

    多項(xiàng)選擇題有諸多的優(yōu)點(diǎn),首先,它的評(píng)分規(guī)則固定、一致,因此信度較高;第二,它的計(jì)分方便,這有利于大尺度(large scale)的測(cè)驗(yàn)和計(jì)算機(jī)化測(cè)驗(yàn)的實(shí)現(xiàn);第三,它可以控制二選一題目中的猜測(cè)行為。一般而言,一道多項(xiàng)選擇題包含題干部分和選項(xiàng)部分,選項(xiàng)部分則由一個(gè)正確項(xiàng)和若干個(gè)干擾項(xiàng)(distractor)組成。許多研究中干擾項(xiàng)被籠統(tǒng)的當(dāng)作錯(cuò)誤選項(xiàng)對(duì)待,這實(shí)際上造成了被試信息的浪費(fèi)。如Levine 和Drasgow(1983)就發(fā)現(xiàn)高能力和中等能力被試選擇的干擾項(xiàng)不同,Thissen,Steinber 和Fitzpatrick(1989)發(fā)現(xiàn)干擾項(xiàng)與被試能力水平是非單調(diào)的關(guān)系。Jacobs 和Vandeventer(1970),Sigel(1963)以及Thissen(1976)也針對(duì)被試在Raven Progressive Matrices測(cè)驗(yàn)中干擾項(xiàng)的作答模式作了一系列研究。

    可見,干擾項(xiàng)包含有價(jià)值的信息,僅僅把多項(xiàng)選擇題處理成為“對(duì)錯(cuò)”題,顯然不盡合理。如何有效利用多項(xiàng)選擇題中干擾項(xiàng)的信息,一般需要三個(gè)步驟:(1)編制含有豐富干擾項(xiàng)信息的題目;(2)提取題目中的信息;(3)利用提取的信息進(jìn)行量化分析。下文將逐一介紹這些步驟中涉及的方法,并分析它們利用干擾項(xiàng)信息的思想。

    2 多項(xiàng)選擇題的設(shè)計(jì)

    為了利用干擾項(xiàng)信息,研究者們首先想到的就是設(shè)計(jì)新的題目形式。使得干擾項(xiàng)具有明顯的程度差異(Tamir,1971),能夠反映被試者對(duì)知識(shí)技能的誤用、理解錯(cuò)誤和發(fā)展層次不足等問題。最常用的題目設(shè)計(jì)是順序多項(xiàng)選擇題(ordered multiple -choice item,OMCI)設(shè)計(jì)(Briggs,Alonzo,Schwab,&Wilson,2006)。它的設(shè)計(jì)理念是:學(xué)生的理解能力是一個(gè)連續(xù)的維度,但卻可以從高到低區(qū)分成不同水平,OMCI 的選項(xiàng)就對(duì)應(yīng)著這些理解水平,這樣通過干擾項(xiàng)信息就可以了解答錯(cuò)被試的認(rèn)知層次。另外一種題目設(shè)計(jì)是Tamir(1989)推薦的雙層多項(xiàng)選擇題(two - tier multiple - choice item,two - tier MCI)設(shè)計(jì)。這種設(shè)計(jì)就是在普通MCI 中再增加第二層選項(xiàng),作為第一層選項(xiàng)的解釋和說明(Treagust,1988)。這樣通過第二層的解釋就可以了解被試選擇干擾項(xiàng)的原因。之后Liu,Lee 和Linn(2011)又建議干擾項(xiàng)應(yīng)該具有等級(jí)關(guān)系,兩層選項(xiàng)需要分開評(píng)分,并稱這種雙層MCI 為解釋性多項(xiàng)選擇題(explanation multiple-choice item,EMCI)。雙層MCI 的使用較廣,具體應(yīng)用研究可以參見Griffard 和Wandersee(2001),Tan,Taber,Goh 和Chia(2005)。新的MCI 設(shè)計(jì)一方面保持了MCI 較為客觀的優(yōu)勢(shì),同時(shí)也提供了更多的干擾項(xiàng)信息。但是由于設(shè)計(jì)更復(fù)雜,信息的編碼和量化分析也存在難度,如雙層MCI中對(duì)干擾項(xiàng)信息的解釋還主要依靠測(cè)驗(yàn)使用者主觀的邏輯和經(jīng)驗(yàn)分析。

    3 干擾項(xiàng)信息的提取

    任何題目需要進(jìn)行量化分析都需要對(duì)其進(jìn)行評(píng)分或編碼。最常用的評(píng)分方式主要有二級(jí)計(jì)分和等級(jí)計(jì)分。絕大多數(shù)的分析方法和測(cè)量模型都是基于這兩者進(jìn)行的。這兩種編碼方法關(guān)注的都是被試的正答反應(yīng),分析角度也是從被試的強(qiáng)項(xiàng)出發(fā)。如經(jīng)典測(cè)量理論(classical test theory,CTT)中的總分,項(xiàng)目反應(yīng)理論(item response theory,IRT)中的θ 值,都代表被試水平高低。Luecht(2007)闡述了一種從被試弱項(xiàng)角度出發(fā)的方法,數(shù)據(jù)增廣(data augmentation)方法。如從正確項(xiàng)出發(fā),可將3 名被試在3 道題上的作答描述為反應(yīng)矩陣U;而從干擾項(xiàng)出發(fā),則可以將他們的作答描述為增廣矩陣(augmented data matrix)V(圖1)。

    圖1 反應(yīng)矩陣與增廣矩陣

    V 的獲得遵循一定規(guī)則,比如假設(shè)干擾項(xiàng)與總分之間存在負(fù)相關(guān),若被試選擇了“與總分負(fù)相關(guān)最大”的干擾項(xiàng)則記“1”分,否則為“0”分,再由增廣矩陣出發(fā)就可以構(gòu)建新的統(tǒng)計(jì)指標(biāo)和測(cè)量模型。可見,增廣矩陣的獲得方法不同,反映的干擾項(xiàng)信息就不同,與此對(duì)應(yīng)的分析方法也不同。數(shù)據(jù)增廣的方法使用還較少,現(xiàn)有的嘗試可參見Luecht 的研究。

    4 干擾項(xiàng)信息的量化分析

    對(duì)題目中干擾項(xiàng)進(jìn)行編碼后,通過量化分析方法就可以將干擾信息應(yīng)用到測(cè)量和評(píng)估中?,F(xiàn)有干擾項(xiàng)的量化分析方法主要有三種:一是,使用統(tǒng)計(jì)學(xué)方法分析干擾項(xiàng)本身的測(cè)量特性;二是,構(gòu)建多項(xiàng)選擇題模型,通過模型參數(shù)來解釋干擾項(xiàng);三是,使用干擾項(xiàng)信息輔助其它測(cè)量與評(píng)估。

    4.1 統(tǒng)計(jì)類的分析方法

    統(tǒng)計(jì)類的分析方法是一系列方法的統(tǒng)稱,它旨在通過構(gòu)建統(tǒng)計(jì)指標(biāo)來描述干擾項(xiàng)的測(cè)量學(xué)特性,從而幫助干擾項(xiàng)的編寫和解釋,如點(diǎn)二列相關(guān)、Attali 和Fraenbel(2000)的PBDC指標(biāo),Love(1997)的干擾項(xiàng)選擇比(distractor selection ratio,DSR)等。以PBDC指標(biāo)為例,它的公式如下:

    其中,MDC和SDC分別代表選擇干擾項(xiàng)或正確項(xiàng)的被試的平均分和標(biāo)準(zhǔn)差,P 為人數(shù)比率。易見,PBDC實(shí)際是一個(gè)修正后的點(diǎn)二列相關(guān),與CTT 中的意義一致,它是一個(gè)區(qū)分度,表示干擾項(xiàng)區(qū)分被試的能力。所以在測(cè)驗(yàn)編制時(shí)可以用來檢驗(yàn)干擾項(xiàng)的優(yōu)劣。

    點(diǎn)二列相關(guān)的統(tǒng)計(jì)指標(biāo)是在整個(gè)被試能力范圍上反映被試對(duì)選項(xiàng)的選擇,無法獲得特定能力水平上被試的選項(xiàng)選擇情況,Love(1997)的DSR 解決了這一點(diǎn),其表達(dá)式如下。

    統(tǒng)計(jì)類分析方法的共同點(diǎn)是直接針對(duì)干擾項(xiàng),而不會(huì)同時(shí)考慮整個(gè)測(cè)驗(yàn)和被試的測(cè)量。模型化的方法則可以兼顧,不過,由于模型化方法需要對(duì)干擾項(xiàng)進(jìn)行參數(shù)化,CTT 無法精細(xì)到選項(xiàng)水平,因此這類的方法都是基于IRT 或認(rèn)知診斷理論(cognitive diagnostic theory,CDT)的。

    4.2 模型化方法

    4.2.1 多級(jí)計(jì)分IRT 模型

    最常用的MCI 模型是多級(jí)計(jì)分IRT 模型。它主要包括等級(jí)反應(yīng)模型、評(píng)定量尺模型、部分計(jì)分模型、名義反應(yīng)模型(nominal response model,NRM)等。前三種擬合OMCI,而NRM 則更擬合一般的MCI (Drasgow,Levine,Tsien,Williams,& Mead,1995)。為了說明NRM 對(duì)干擾項(xiàng)信息的利用,以NRM 與2PLM 為例,使用MULTILOG7.0 對(duì)詞匯理解能力測(cè)驗(yàn)(曹亦薇,1999)某一項(xiàng)目進(jìn)行分析,其項(xiàng)目反應(yīng)函數(shù)圖如下:

    圖2 某項(xiàng)目NRM(左)與2PLM(右)項(xiàng)目反應(yīng)函數(shù)圖對(duì)比

    與圖2(下)相比,圖2(上)除了能夠反映能力水平在-0.5 以上的被試更容易答對(duì)該項(xiàng)目(選第“2”項(xiàng)),還提示了干擾選項(xiàng)“1”和“3”分別對(duì)能力水平在-2 以下和能力水平在-2 到-0.5 之間的被試有較強(qiáng)的“吸引力”,如進(jìn)一步對(duì)項(xiàng)目?jī)?nèi)容進(jìn)行分析,則可能更加清晰的說明不同能力水平被試在作答時(shí)的思維過程。NRM 是擬合MCI 的基礎(chǔ)模型,之后在它的基礎(chǔ)上又發(fā)展出了納入“猜測(cè)”參數(shù)的multiple-choice 模型(Thissen & Steinberg,1984)。

    4.2.2 嵌套logit 模型

    所有的多級(jí)計(jì)分IRT 模型都是將作答反應(yīng)與被試心理特質(zhì)直接掛鉤,但Suh 和Bolt(2010)認(rèn)為干擾項(xiàng)與正確項(xiàng)并非平行關(guān)系,正確項(xiàng)反映被試達(dá)到該水平,干擾項(xiàng)共同反映被試未達(dá)到該水平,而干擾項(xiàng)中的任一選項(xiàng)則是未達(dá)到水平被試的可能選擇。由此他們提出嵌套logit 模型簇(nested logit models,NLMs),如3PLM 嵌套logit 模型(3PL -NLM)可表述為:

    公式(3)(4)可看出3PL -NLM 實(shí)際上是將選項(xiàng)區(qū)分出了兩層,第一層用3PLM 來反映被試選擇正確項(xiàng)的概率,而第二層用NRM 來反映被試選擇各個(gè)干擾項(xiàng)的概率。第二層嵌套在第一層中,干擾項(xiàng)的選擇是在被試沒有選擇正確項(xiàng)的前提之下。NLMs 的優(yōu)點(diǎn)在于既符合邏輯,又不會(huì)增加參數(shù)估計(jì)的負(fù)擔(dān)。

    4.2.3 MC-DINA

    近年來認(rèn)知診斷模型蓬勃發(fā)展,但絕大多數(shù)的認(rèn)知診斷模型都只適用“0,1”計(jì)分,為此de la Torre(2009)在DINA 模型的基礎(chǔ)上,提出了適用于MCI的MC-DINA(multiple -choice DINA,MC -DINA)模型。要定義MC-DINA 模型,需要對(duì)qj進(jìn)一步細(xì)化,將第j 題選項(xiàng)h 所包含的屬性表示為qjh。與此對(duì)應(yīng)通過αi與qjh的匹配可將被試劃分為Hj+1(Hj為題目j 的選項(xiàng)個(gè)數(shù)),可表述為以下形式:

    其中,h*=0,1,2,3,…,Hj,h*=0 代表未編碼選項(xiàng),用來表示被試掌握的屬性未涉及到任何一個(gè)選項(xiàng)所包含屬性的情況,此時(shí)ηij=0。類似DINA 模型的定義,可將MC-DINA 模型定義為:

    相對(duì)于IRT 模型,MC -DINA 模型對(duì)干擾項(xiàng)信息的利用更精細(xì),能夠促進(jìn)被試的知識(shí)狀態(tài)的診斷。但MC-DINA 模型需要估計(jì)大量的參數(shù),這極大限制了MC-DINA 的應(yīng)用。另外,MC -DINA 中的參數(shù)也難以解釋。

    4.3 使用干擾項(xiàng)信息輔助評(píng)估

    干擾項(xiàng)信息除了能夠提供更多的被試診斷信息外,還能作為輔助信息參與到其它的評(píng)估過程中去。如在個(gè)人擬合(person fit)的研究中,Drasgow,Levine和Williams(1985)提出的用于探測(cè)被試異常反應(yīng)模式的合適度指標(biāo)(appropriateness measurement),Wollack(1997)提出的用于探測(cè)被試抄襲(copying)行為的指標(biāo),都利用了干擾項(xiàng)信息。又如Lau,Lau,Hong 和Usop(2011)在計(jì)算機(jī)自適應(yīng)測(cè)驗(yàn)(computerized adaptive testing,CAT)中,利用干擾項(xiàng)對(duì)“猜測(cè)”(guessing)加以控制。

    這一類方法中研究最多的是干擾項(xiàng)功能差異(differential distractor functioning,DDF)。DDF 的概念最早由Green,Crone 和Folk(1989)提出,目的在于通過干擾項(xiàng)信息來檢測(cè)項(xiàng)目功能差異(differential item functioning,DIF)。一般的DIF 研究只關(guān)注不同組別被試在是否正確作答上的差異,但Suh 和Bolt(2011)認(rèn)為,干擾項(xiàng)既對(duì)不同組別的被試呈現(xiàn)出不同的吸引力,又對(duì)其它干擾項(xiàng)和正確項(xiàng)存在著功能差異。為了檢測(cè)DDF 研究者們開發(fā)了許多不同類型的方法,如標(biāo)準(zhǔn)化方法(Schmitt & Bleistein,1987),發(fā)生比方法(Penfield,2008),多步logistic 回歸方法(Abedi,Leon,& Kao,2008)等。這些方法大都借鑒了DIF 分析,效果也比較相近(Koon,2010),都比較一致的認(rèn)為DDF 可能導(dǎo)致DIF(Penfield,2010,2011)。

    5 評(píng)價(jià)與展望

    綜觀所有干擾項(xiàng)信息的利用方法,形式和思路上不盡相同,但目的主要有三點(diǎn),一是,了解干擾項(xiàng)的測(cè)量學(xué)特性,如統(tǒng)計(jì)類的分析方法;二是,利用干擾項(xiàng)的信息幫助評(píng)估被試的心理特質(zhì)水平,如模型類方法、題目設(shè)計(jì)方法。三是,利用干擾項(xiàng)的信息輔助其它評(píng)估,如用DDF 方法。未來干擾項(xiàng)的研究還有很大的空間,一方面,現(xiàn)有的方法還存在一些不足,如增廣矩陣的量化方法,測(cè)量模型參數(shù)估計(jì)和結(jié)果解釋等。另一方面,針對(duì)不同的評(píng)估目的,仍然需要開發(fā)更多的干擾項(xiàng)信息利用方法。

    5.1 題目的編制

    題目的編制是測(cè)量、評(píng)估的基礎(chǔ),為了利用好干擾項(xiàng)的信息,在題目編制時(shí)題目如何設(shè)計(jì),選項(xiàng)如何設(shè)置仍然值得考慮。在題目的設(shè)計(jì)上,使用不同的設(shè)計(jì)方法可能能夠挖掘出更多信息或?qū)崿F(xiàn)不同評(píng)估目標(biāo)。如Kubinger,Holocher-Ertl 和Reif(2010)使用兩個(gè)正確項(xiàng)來控制干擾項(xiàng)排除法帶來的猜測(cè)。不過,新穎的題目設(shè)計(jì)同時(shí)也需要開發(fā)與之相對(duì)應(yīng)的量化分析方法,才能有效提取和解釋干擾項(xiàng)信息。在選項(xiàng)的設(shè)置上,干擾項(xiàng)數(shù)目的設(shè)置一直未達(dá)成共識(shí),一個(gè)干擾項(xiàng)提供的信息太少,而過多的干擾項(xiàng)又會(huì)增加負(fù)擔(dān)。CCT 主要通過考察信、效度指標(biāo)來探討這個(gè)問題,而IRT 和CDT 還提示研究者需要考慮如題目?jī)?nèi)的多維、選項(xiàng)間的依存、認(rèn)知屬性的測(cè)量等因素。因此,選項(xiàng)設(shè)置的合理性問題還有待進(jìn)一步探討。

    5.2 模型的開發(fā)和解釋

    現(xiàn)代測(cè)量理論試圖解釋更復(fù)雜和精細(xì)的問題,開發(fā)更復(fù)雜的MCI 模型有助于挖掘更多干擾項(xiàng)信息,也能提高模型的擬合度,但現(xiàn)有MCI 模型依然很少,特別是在多維IRT 和CDT 框架下。當(dāng)然,復(fù)雜模型也存在參數(shù)估計(jì)、結(jié)果解釋困難的問題。比如在認(rèn)知測(cè)驗(yàn)中,干擾項(xiàng)反映被試的認(rèn)知過程、思維策略,而用NRM 的“難度”參數(shù)來解釋就有些牽強(qiáng)。又如MC-DINA 模型雖然能夠提供更精細(xì)的診斷信息,但認(rèn)知屬性稍多,其模型參數(shù)就無法估計(jì)。怎樣將數(shù)學(xué)模型與實(shí)際的心理學(xué)、教育學(xué)理論的融合則需要更多的實(shí)證性研究。

    5.3 干擾項(xiàng)信息的輔助作用

    4.3 中的方法說明了干擾項(xiàng)信息的利用不應(yīng)該限于模型和統(tǒng)計(jì)指標(biāo)的開發(fā),在心理和教育測(cè)量的其他過程中同樣可以考慮納入干擾項(xiàng)信息。用干擾項(xiàng)來評(píng)估DIF 就是很好的例子,而Kim(2006)也發(fā)現(xiàn),在鏈接(linking)中加入干擾項(xiàng)信息,可以在不影響效果的前提下減少題目的使用。這些研究都提示干擾項(xiàng)存在更多價(jià)值,今后在個(gè)人擬合研究中,可加入干擾項(xiàng)反應(yīng)模式,從而提高對(duì)異常反應(yīng)的識(shí)別效果。計(jì)算機(jī)自適應(yīng)測(cè)驗(yàn)中,可加入干擾項(xiàng)信息來提高選題過程和參數(shù)估計(jì)的準(zhǔn)確性。這些都是值得考慮的方向。

    總之,多項(xiàng)選擇題中干擾項(xiàng)信息的利用實(shí)際上是一種非常經(jīng)濟(jì)、有效的信息獲取方式。在測(cè)驗(yàn)的編制時(shí),可以節(jié)省題目量,幫助題目性能檢測(cè)。在被試評(píng)估時(shí),又可以提供更多的診斷信息。如何能夠更有效的利用干擾項(xiàng)信息,值得研究者們繼續(xù)探索。

    曹亦薇.(1999).初中詞匯理解能力量表的編制.心理學(xué)報(bào),2,215 -221.

    Abedi,J.,Leon,S.,& Kao,J.C.(2008).Examining differential distractor functioning in reading assessments for students with disabilities.Los Angeles,CA:National Center for Research on Evaluation,Standards,and Student Testing(CRESST).

    Attali,Y.,& Fraenkel,T. (2000). Thepoint -biserial as a discrimination index for distractors in multiple - choice items:Deficiencies in usage and an iternative.Journal of Educational Measurement,37,77 -86.

    Briggs,D. C.,Alonzo,A. C.,Schwab,C.,& Wilson,M.(2006).Diagnostic assessment with ordered multiple-choice items.Educational Assessment,11,33 -63.

    dela Torre,J.(2009).A cognitive diagnosis model for cognitively based multiple - choice options. Applied Psychological Measurement,33,163 -183.

    Drasgow,F(xiàn).,Levine,M. V.,& Williams,E. A. (1985). Appropriateness measurement with polychotomous item response models and standardized indices.British Journal of Mathematical and Statistical Psychology,38,67 -86.

    Drasgow,F(xiàn).,Levine,M. V.,Tsien,S.,Williams,B.,& Mead,A.D.(1995).Fitting polytomous item response theory models to multiple-choice tests.Applied Psychological Measurement,19,143 -166.

    Green,B.F.,Crone,C.R.,& Folk,V.G.(1989).Amethod for studying differential distractor functioning. Journal of Educational Measurement,26,147 -160.

    Griffard,P. B.,& Wandersee,J. H. (2001). The two - tier instrument on photosynthesis:What does it diagnose?International Journal of Science Education,23,1039 -1052.

    Jacobs,P.I.,& Vandeventer,M. (1970). Information in wrong responses.Psychological Reports,26,311 -315.

    Kim,J. (2006). Using the distractor categories of multiple -choice items to improve IRT linking. Journal of Educational Measurement,43,193 -213.

    Koon,S.(2010).A comparison of methods for detecting differential distractor functioning.Unpublished Doctorial Dissertation,The Florida State University.

    Kubinger,K.D.,Holocher -Ertl,S.,Reif,M.,Hohensinn,C.,& Frebort,M. (2010). On minimizing guessing effects on multiple - choice items:Superiority of a two solutions and three distractors item format to a one solution and five distractors item format.International Journal of Selection and Assessment,18,111 -115.

    Lau,P. N. K.,Lau,S. H.,Hong,K. S.,& Usop,H. (2011).Guessing,partial knowledge,and misconceptions in multiple-choice tests. Educational Technology & Society,14,99 -110.

    Liu,O.L.,Lee,H.S.,& Linn,M.C.(2011).Aninvestigation of explanation multiple - choice items in science assessment.Educational Assessment,16,164 -184.

    Levine,M.V.,& Drasgow,F(xiàn). (1983). The relation between incorrect option choice and estimated ability. Educational and Psychological Measurement,43,675 -685.

    Love,T. E. (1997). Distractor selection ratios. Psychometrika,62,51 -62.Luecht,R.M. (2007). Using information from multiple -choice distractors to enhance cognitive -diagnostic score reporting.In J.P.Leighton & M. J. Gierl(Eds.),Cognitive diagnostic assessment for education:Theory and practices(pp.319 -340).Cambridge University Press.

    Penfield,R.D.(2008).Anodds ratio approach for assessing differential distractor functioning effects under the nominal response model.Journal of Educational Measurement,45,247 -269.

    Penfield,R.D.(2010).Modeling DIF effects using distractor -level invariance effects:Implications for understanding the cause of DIF. Applied Psychological Measurement,34,151 -165.

    Penfield,R.D.(2011). How are theform and magnitude of DIF effects in multiple -choice items determined by distractor -level invariance effects?Educational and Psychological Measurement,71,54 -67.

    Revuelta,J. (2004). Analysis ofdistractor difficulty in multiple-choice items.Psychometrika,69,217 -234.

    Schmitt,A.P.,& Bleistein,C.A.(1987).Factors affecting differential item functioning for Black examinees on Scholastic Aptitude Test analogy items(Research Rep. NO. 87 - 23).Princeton,NJ:Educational Testing Service.

    Sigel,I.E.(1963).How intelligence tests limit understanding of intelligence.Merrill-Palmer Quarterly of Behavior and Development,9,39 -56.

    Suh,Y.,& Bolt,D.M.(2010).Nested logit models for multiple-choice item response data.Psychometrika,75,454 -473.

    Suh,Y.,& Bolt,D.M.(2011). A nested logit approach for investigating distractors as cause of different item functioning.Journal of Educational Measurement,48,188 -205.

    Tamir,P.(1971).An alternative approach to the construction of multiple choice test items.Journal of Biological Education,5,305 -307.

    Tamir,P.(1989).Some issues related to the use of justifications to multiple-choice answers.Journal of Biological Education,23,285 -292.

    Tan,D. K - C.,Taber,K. S.,Goh,N. K.,& Chia,L - S.(2005).The ionisation energy diagnostic instrument:A twotier multiple - choice instrument to determine high school students’understanding of ionisation energy. Chemical Education Research and Practice,6,180 -197.

    Thissen,D. M. (1976). Information in wrong responses to the Raven Progressive Matrices. Journal of Educational Measurement,13,201 -214.

    Thissen,D.,& Steinvberg,L.(1984).Aresponse model for multiple choice items.Psychometrika,49,501 -519.

    Thissen,D.,Steinberg,L.,& Fitzpatrick,A. R. (1989). Multiple-choice models:the distractors are also part of the item.Journal of Educational Measurement,26,161 -176.

    Treagust,D.F.(1988). The development and use of diagnostic instruments to evaluate students’misconceptions in science.International Journal of Science Education,10,159 -169.

    Wollack,J. A. (1997). Arominal response model approach for detecting answer copying.Applied Psychological Measurement,21,307 -320.

    猜你喜歡
    計(jì)分測(cè)驗(yàn)選擇題
    “因式分解”大顯身手
    帶定性判斷的計(jì)分投票制及其公理刻畫
    單項(xiàng)選擇題狂練
    數(shù)列選擇題精選精練
    引導(dǎo)素質(zhì)教育的新高考計(jì)分模式構(gòu)想:線性轉(zhuǎn)化計(jì)分模式
    基于單片機(jī)的中國(guó)式摔跤比賽計(jì)分器開發(fā)設(shè)計(jì)
    電子制作(2019年9期)2019-05-30 09:42:06
    《新年大測(cè)驗(yàn)》大揭榜
    趣味(語文)(2018年7期)2018-06-26 08:13:48
    兩個(gè)處理t測(cè)驗(yàn)與F測(cè)驗(yàn)的數(shù)學(xué)關(guān)系
    考試周刊(2016年88期)2016-11-24 13:30:50
    十種妙招握在手 破解選擇題無憂
    計(jì)分考核表在績(jī)效管理中的應(yīng)用效果
    国产探花在线观看一区二区| 欧美日本亚洲视频在线播放| 亚洲国产中文字幕在线视频| 久久久色成人| 亚洲av第一区精品v没综合| 性色av乱码一区二区三区2| 成人特级av手机在线观看| 日本精品一区二区三区蜜桃| 男女下面进入的视频免费午夜| 婷婷精品国产亚洲av在线| 黄色 视频免费看| 又紧又爽又黄一区二区| 两性午夜刺激爽爽歪歪视频在线观看| 9191精品国产免费久久| 9191精品国产免费久久| 亚洲成av人片在线播放无| 国产伦精品一区二区三区四那| 黑人欧美特级aaaaaa片| 97超级碰碰碰精品色视频在线观看| 久久精品91无色码中文字幕| 久久婷婷人人爽人人干人人爱| 一进一出抽搐gif免费好疼| 小说图片视频综合网站| 在线a可以看的网站| 国产精品亚洲一级av第二区| 久久香蕉精品热| e午夜精品久久久久久久| 国产精品爽爽va在线观看网站| 色在线成人网| 999久久久国产精品视频| 精品不卡国产一区二区三区| 精品不卡国产一区二区三区| 免费av不卡在线播放| 老熟妇乱子伦视频在线观看| 欧美高清成人免费视频www| 亚洲国产日韩欧美精品在线观看 | 最近视频中文字幕2019在线8| 国产精品爽爽va在线观看网站| av在线天堂中文字幕| 视频区欧美日本亚洲| 十八禁网站免费在线| 老汉色av国产亚洲站长工具| 五月玫瑰六月丁香| 深夜精品福利| 99在线人妻在线中文字幕| 国产三级黄色录像| 国产一区二区激情短视频| 变态另类丝袜制服| 女生性感内裤真人,穿戴方法视频| 欧美一区二区国产精品久久精品| 国产一区二区激情短视频| 久久精品综合一区二区三区| 国内毛片毛片毛片毛片毛片| 久久中文字幕人妻熟女| 免费观看人在逋| 91久久精品国产一区二区成人 | 天天躁狠狠躁夜夜躁狠狠躁| 日韩 欧美 亚洲 中文字幕| 国产精品av视频在线免费观看| 国产精品久久久人人做人人爽| 精品国产美女av久久久久小说| 国产精品一及| 一二三四社区在线视频社区8| 视频区欧美日本亚洲| 黄色视频,在线免费观看| 香蕉丝袜av| 亚洲aⅴ乱码一区二区在线播放| 日本免费a在线| 亚洲国产欧美一区二区综合| 麻豆av在线久日| 一本一本综合久久| 亚洲人与动物交配视频| 久久这里只有精品19| 老司机午夜福利在线观看视频| 欧美中文综合在线视频| 九色国产91popny在线| 免费一级毛片在线播放高清视频| 国产1区2区3区精品| 亚洲中文日韩欧美视频| 亚洲国产日韩欧美精品在线观看 | 亚洲国产欧美网| 国产熟女xx| 搡老熟女国产l中国老女人| 亚洲专区字幕在线| 欧美激情久久久久久爽电影| 国语自产精品视频在线第100页| 老熟妇乱子伦视频在线观看| 夜夜看夜夜爽夜夜摸| 亚洲人成网站在线播放欧美日韩| 老司机在亚洲福利影院| 黄色日韩在线| 欧美三级亚洲精品| 一区二区三区高清视频在线| 国产午夜福利久久久久久| 两个人的视频大全免费| 欧美一区二区精品小视频在线| 99视频精品全部免费 在线 | 啪啪无遮挡十八禁网站| 国产精品久久久久久人妻精品电影| 成人午夜高清在线视频| 精品久久久久久久末码| 俺也久久电影网| 精品熟女少妇八av免费久了| 日本撒尿小便嘘嘘汇集6| 日本黄色片子视频| 首页视频小说图片口味搜索| 亚洲男人的天堂狠狠| 成人18禁在线播放| 脱女人内裤的视频| 99国产精品99久久久久| 丁香六月欧美| 好看av亚洲va欧美ⅴa在| 免费在线观看视频国产中文字幕亚洲| 亚洲va日本ⅴa欧美va伊人久久| 国语自产精品视频在线第100页| 午夜两性在线视频| 久久欧美精品欧美久久欧美| 国产精品影院久久| 成人三级黄色视频| 五月伊人婷婷丁香| 18禁国产床啪视频网站| 国产精品久久久人人做人人爽| 变态另类丝袜制服| 天天添夜夜摸| 99国产综合亚洲精品| 男女做爰动态图高潮gif福利片| 一a级毛片在线观看| 长腿黑丝高跟| 听说在线观看完整版免费高清| 欧美激情在线99| 免费观看的影片在线观看| 18禁黄网站禁片午夜丰满| 97超级碰碰碰精品色视频在线观看| 色尼玛亚洲综合影院| 可以在线观看毛片的网站| 欧美日本视频| 夜夜看夜夜爽夜夜摸| av中文乱码字幕在线| 色在线成人网| 男女下面进入的视频免费午夜| 九色成人免费人妻av| 国产伦人伦偷精品视频| 麻豆国产av国片精品| 欧美丝袜亚洲另类 | 久久久久性生活片| 丰满人妻熟妇乱又伦精品不卡| 在线观看舔阴道视频| 黄色日韩在线| 此物有八面人人有两片| 丰满的人妻完整版| 视频区欧美日本亚洲| 香蕉丝袜av| 午夜福利视频1000在线观看| 亚洲成a人片在线一区二区| 最新美女视频免费是黄的| 国产成人精品久久二区二区免费| 欧美日韩综合久久久久久 | 黄色日韩在线| 午夜福利在线在线| 91麻豆精品激情在线观看国产| 免费看美女性在线毛片视频| 亚洲成人久久爱视频| 美女扒开内裤让男人捅视频| 99精品在免费线老司机午夜| 国产精品一区二区精品视频观看| 精品电影一区二区在线| 国产蜜桃级精品一区二区三区| 亚洲无线在线观看| 欧美黑人巨大hd| 99久久精品国产亚洲精品| 真实男女啪啪啪动态图| 一本综合久久免费| 欧美日韩黄片免| 日本五十路高清| 一进一出好大好爽视频| 国产欧美日韩精品亚洲av| 免费人成视频x8x8入口观看| 男人和女人高潮做爰伦理| 99热这里只有精品一区 | 国内精品美女久久久久久| 91av网一区二区| 哪里可以看免费的av片| 又大又爽又粗| 免费看日本二区| 99国产精品99久久久久| h日本视频在线播放| 欧美激情久久久久久爽电影| 母亲3免费完整高清在线观看| 国产高清videossex| 国产高潮美女av| 成年免费大片在线观看| 欧美xxxx黑人xx丫x性爽| 日韩av在线大香蕉| 99精品久久久久人妻精品| 成熟少妇高潮喷水视频| 国产精品野战在线观看| 亚洲va日本ⅴa欧美va伊人久久| 亚洲成人久久性| 久久精品夜夜夜夜夜久久蜜豆| 一个人免费在线观看的高清视频| 国产精品 国内视频| 日本撒尿小便嘘嘘汇集6| 两个人看的免费小视频| 天天一区二区日本电影三级| 又粗又爽又猛毛片免费看| 91麻豆精品激情在线观看国产| 两个人视频免费观看高清| 国产美女午夜福利| 国产av一区在线观看免费| 久久精品国产综合久久久| 全区人妻精品视频| 99国产极品粉嫩在线观看| 欧美黄色片欧美黄色片| 岛国视频午夜一区免费看| 亚洲精品中文字幕一二三四区| 别揉我奶头~嗯~啊~动态视频| 日韩欧美在线二视频| 搡老熟女国产l中国老女人| 身体一侧抽搐| 一a级毛片在线观看| 听说在线观看完整版免费高清| 俺也久久电影网| 国产亚洲精品久久久com| 日韩欧美在线二视频| 老司机深夜福利视频在线观看| av在线蜜桃| 免费av毛片视频| 午夜亚洲福利在线播放| 亚洲人成电影免费在线| 国产综合懂色| 国产探花在线观看一区二区| 国产精品亚洲美女久久久| 久久香蕉精品热| 国产又色又爽无遮挡免费看| 久久久精品欧美日韩精品| 午夜精品久久久久久毛片777| 熟女少妇亚洲综合色aaa.| 国产精品亚洲美女久久久| 成人av一区二区三区在线看| 国产精品av视频在线免费观看| 51午夜福利影视在线观看| 日本黄色片子视频| 日日摸夜夜添夜夜添小说| 日本黄色视频三级网站网址| 黄色女人牲交| 国产精品爽爽va在线观看网站| 亚洲成av人片免费观看| av黄色大香蕉| www日本在线高清视频| 黄色女人牲交| 国产美女午夜福利| 香蕉久久夜色| 国产三级在线视频| 综合色av麻豆| 国产麻豆成人av免费视频| 国产欧美日韩精品一区二区| 亚洲中文字幕日韩| 国产伦精品一区二区三区视频9 | 成年女人看的毛片在线观看| 精品国产三级普通话版| 18禁美女被吸乳视频| 非洲黑人性xxxx精品又粗又长| 免费在线观看日本一区| 亚洲国产高清在线一区二区三| 国产精品久久久人人做人人爽| 99久久无色码亚洲精品果冻| 日本撒尿小便嘘嘘汇集6| 看黄色毛片网站| 久久久久久人人人人人| 日本 av在线| 99久久无色码亚洲精品果冻| 亚洲一区高清亚洲精品| 国产伦一二天堂av在线观看| 国内少妇人妻偷人精品xxx网站 | 美女 人体艺术 gogo| 看片在线看免费视频| 亚洲av成人不卡在线观看播放网| 哪里可以看免费的av片| 久久九九热精品免费| 亚洲在线观看片| 夜夜看夜夜爽夜夜摸| 亚洲,欧美精品.| 18美女黄网站色大片免费观看| 特大巨黑吊av在线直播| 国产免费男女视频| 天天躁狠狠躁夜夜躁狠狠躁| 搡老妇女老女人老熟妇| 国产精品亚洲av一区麻豆| 欧美乱色亚洲激情| 欧美在线黄色| 91久久精品国产一区二区成人 | 亚洲aⅴ乱码一区二区在线播放| 久久久久国产一级毛片高清牌| 国产亚洲精品av在线| 日韩人妻高清精品专区| 亚洲精品色激情综合| 国产精华一区二区三区| 伦理电影免费视频| 国产精品亚洲一级av第二区| 国产成年人精品一区二区| 国产欧美日韩一区二区精品| 脱女人内裤的视频| 日本免费一区二区三区高清不卡| 老汉色av国产亚洲站长工具| 国产精品美女特级片免费视频播放器 | 午夜激情福利司机影院| 亚洲av成人一区二区三| 男人舔奶头视频| 久久中文字幕一级| 少妇的丰满在线观看| 久久久久国产精品人妻aⅴ院| 亚洲成人精品中文字幕电影| 18禁美女被吸乳视频| 亚洲欧美精品综合久久99| 亚洲最大成人中文| 久久这里只有精品中国| 国产精品久久久久久人妻精品电影| 一本精品99久久精品77| 全区人妻精品视频| 哪里可以看免费的av片| 操出白浆在线播放| 亚洲中文日韩欧美视频| 人人妻,人人澡人人爽秒播| 性色av乱码一区二区三区2| 精品久久蜜臀av无| 成年版毛片免费区| 日本精品一区二区三区蜜桃| 午夜激情福利司机影院| 搞女人的毛片| 日韩欧美一区二区三区在线观看| 天天躁日日操中文字幕| 黄色丝袜av网址大全| 夜夜看夜夜爽夜夜摸| 欧美日韩中文字幕国产精品一区二区三区| av片东京热男人的天堂| 欧美乱码精品一区二区三区| 美女免费视频网站| 免费人成视频x8x8入口观看| 久久国产精品人妻蜜桃| 国产一区二区三区视频了| 久久久久久大精品| 久久久国产成人精品二区| 日韩国内少妇激情av| 国产精品久久久人人做人人爽| 1024手机看黄色片| 可以在线观看毛片的网站| 久久久久亚洲av毛片大全| 国产成人精品久久二区二区91| 久久久久精品国产欧美久久久| 我的老师免费观看完整版| 视频区欧美日本亚洲| 国产成人啪精品午夜网站| 人妻夜夜爽99麻豆av| 嫩草影院精品99| 精品午夜福利视频在线观看一区| 在线a可以看的网站| 亚洲中文av在线| 精品无人区乱码1区二区| 最近在线观看免费完整版| 亚洲一区高清亚洲精品| 曰老女人黄片| 国产精品一区二区三区四区久久| 亚洲成a人片在线一区二区| 岛国在线观看网站| 国产蜜桃级精品一区二区三区| 男人和女人高潮做爰伦理| 韩国av一区二区三区四区| 天天躁狠狠躁夜夜躁狠狠躁| 一本久久中文字幕| 成人精品一区二区免费| 国产真人三级小视频在线观看| 两性夫妻黄色片| 亚洲自偷自拍图片 自拍| 欧美午夜高清在线| 亚洲国产色片| 韩国av一区二区三区四区| 久久久成人免费电影| 久久久国产成人免费| 搡老熟女国产l中国老女人| 黄片小视频在线播放| 18禁黄网站禁片午夜丰满| 国产乱人伦免费视频| 亚洲精品美女久久av网站| 欧美成人免费av一区二区三区| 日韩中文字幕欧美一区二区| 制服丝袜大香蕉在线| 级片在线观看| 婷婷精品国产亚洲av在线| av视频在线观看入口| 日韩欧美在线二视频| 1000部很黄的大片| 国产高清有码在线观看视频| 91老司机精品| 午夜免费成人在线视频| 欧美成人一区二区免费高清观看 | 国产精品香港三级国产av潘金莲| 久9热在线精品视频| 91在线观看av| 国产精品一及| 国产麻豆成人av免费视频| 老司机在亚洲福利影院| 国产一区二区激情短视频| 亚洲av电影不卡..在线观看| 亚洲国产高清在线一区二区三| 成在线人永久免费视频| 久久伊人香网站| 我的老师免费观看完整版| 亚洲欧美日韩卡通动漫| 亚洲精品乱码久久久v下载方式 | 欧美日韩黄片免| 男女之事视频高清在线观看| 制服人妻中文乱码| 亚洲乱码一区二区免费版| 亚洲欧美一区二区三区黑人| 亚洲在线观看片| 午夜福利欧美成人| 日韩有码中文字幕| 757午夜福利合集在线观看| 亚洲熟妇熟女久久| 成熟少妇高潮喷水视频| 午夜福利高清视频| 亚洲av第一区精品v没综合| 国产精品一区二区免费欧美| 午夜福利18| 99riav亚洲国产免费| 国产亚洲精品一区二区www| 亚洲国产看品久久| 一级作爱视频免费观看| h日本视频在线播放| 成人特级av手机在线观看| 中文在线观看免费www的网站| 757午夜福利合集在线观看| www国产在线视频色| 人妻夜夜爽99麻豆av| 欧美在线一区亚洲| 99久久成人亚洲精品观看| 久久久国产欧美日韩av| 亚洲欧美日韩卡通动漫| 国产激情欧美一区二区| 久久久成人免费电影| 性欧美人与动物交配| 12—13女人毛片做爰片一| 中国美女看黄片| 欧美日韩国产亚洲二区| 国产精品一区二区三区四区久久| 一卡2卡三卡四卡精品乱码亚洲| 日韩人妻高清精品专区| www.www免费av| 日韩精品中文字幕看吧| a级毛片a级免费在线| www.熟女人妻精品国产| 亚洲乱码一区二区免费版| 1024手机看黄色片| 婷婷精品国产亚洲av| 一夜夜www| 波多野结衣巨乳人妻| 岛国视频午夜一区免费看| 一卡2卡三卡四卡精品乱码亚洲| 波多野结衣高清无吗| 禁无遮挡网站| 黄色成人免费大全| 亚洲九九香蕉| 日日夜夜操网爽| 美女黄网站色视频| 法律面前人人平等表现在哪些方面| av中文乱码字幕在线| 欧美乱妇无乱码| 国产精品一区二区精品视频观看| 日本免费a在线| 国产激情偷乱视频一区二区| 1024香蕉在线观看| 久久精品国产99精品国产亚洲性色| 久久久久久九九精品二区国产| 桃红色精品国产亚洲av| 曰老女人黄片| 亚洲七黄色美女视频| 99久久99久久久精品蜜桃| 亚洲精品美女久久久久99蜜臀| 亚洲国产精品久久男人天堂| 午夜影院日韩av| 国产真实乱freesex| 国产精品亚洲一级av第二区| 99国产精品一区二区蜜桃av| 少妇的逼水好多| 久久久水蜜桃国产精品网| 日韩欧美国产在线观看| avwww免费| 夜夜夜夜夜久久久久| 色哟哟哟哟哟哟| 99riav亚洲国产免费| 欧美激情久久久久久爽电影| 欧美性猛交╳xxx乱大交人| 看免费av毛片| 亚洲av免费在线观看| 中文字幕最新亚洲高清| 国产成人啪精品午夜网站| 亚洲乱码一区二区免费版| 久久久国产成人免费| 女同久久另类99精品国产91| av视频在线观看入口| 国产精品99久久久久久久久| 亚洲精品国产精品久久久不卡| 最新美女视频免费是黄的| 一进一出好大好爽视频| 亚洲一区高清亚洲精品| 神马国产精品三级电影在线观看| 国产欧美日韩一区二区精品| 在线观看66精品国产| 亚洲黑人精品在线| 亚洲国产精品合色在线| 51午夜福利影视在线观看| 在线国产一区二区在线| 久久久久久国产a免费观看| 精品久久久久久久久久免费视频| 午夜a级毛片| 欧美中文综合在线视频| 少妇丰满av| 欧美极品一区二区三区四区| 亚洲成人中文字幕在线播放| 欧美3d第一页| 日本五十路高清| 精品一区二区三区四区五区乱码| 国产高清视频在线播放一区| 国产欧美日韩一区二区精品| 日本黄色视频三级网站网址| 中国美女看黄片| 亚洲人成网站在线播放欧美日韩| 99久久无色码亚洲精品果冻| 激情在线观看视频在线高清| 极品教师在线免费播放| 91九色精品人成在线观看| 国产精品爽爽va在线观看网站| 中文字幕av在线有码专区| 久久久久久久午夜电影| 免费在线观看日本一区| 九九久久精品国产亚洲av麻豆 | 成人欧美大片| 国产三级黄色录像| 国产v大片淫在线免费观看| 又粗又爽又猛毛片免费看| 欧美成人一区二区免费高清观看 | 90打野战视频偷拍视频| 久久久久久久久中文| 久久香蕉国产精品| 国产伦精品一区二区三区四那| 亚洲av成人av| 免费一级毛片在线播放高清视频| 欧美性猛交黑人性爽| 欧美中文综合在线视频| 99久久精品热视频| 精品久久久久久久久久久久久| 在线永久观看黄色视频| 国产高清videossex| 午夜免费观看网址| 两个人看的免费小视频| 在线永久观看黄色视频| 天堂影院成人在线观看| 色吧在线观看| 制服人妻中文乱码| 欧美黑人欧美精品刺激| 看免费av毛片| 综合色av麻豆| 欧美乱码精品一区二区三区| 久久久精品欧美日韩精品| 香蕉久久夜色| 性色av乱码一区二区三区2| 老司机深夜福利视频在线观看| 国产伦人伦偷精品视频| 免费看光身美女| 91久久精品国产一区二区成人 | 制服人妻中文乱码| 亚洲av美国av| 午夜精品一区二区三区免费看| 亚洲精品粉嫩美女一区| 国产欧美日韩精品一区二区| 90打野战视频偷拍视频| 中文资源天堂在线| 精品国产乱码久久久久久男人| 无限看片的www在线观看| а√天堂www在线а√下载| 欧美不卡视频在线免费观看| 色精品久久人妻99蜜桃| 亚洲国产高清在线一区二区三| 99在线视频只有这里精品首页| 国产三级中文精品| 国产精品亚洲av一区麻豆| 亚洲国产精品999在线| 人妻久久中文字幕网| 国产精品久久久人人做人人爽| 亚洲人成网站高清观看| 国产私拍福利视频在线观看| av黄色大香蕉| 国产精品一区二区三区四区久久| 国产激情偷乱视频一区二区| 久久久精品欧美日韩精品| 亚洲va日本ⅴa欧美va伊人久久| 亚洲五月天丁香| 亚洲 欧美 日韩 在线 免费| 别揉我奶头~嗯~啊~动态视频| 午夜福利在线在线| 婷婷丁香在线五月| 香蕉av资源在线| 一级毛片精品| 久久中文字幕一级| 国产精品一区二区精品视频观看| 久久性视频一级片| 嫩草影视91久久| 亚洲第一欧美日韩一区二区三区| 热99在线观看视频| 日本一本二区三区精品| 久久久国产精品麻豆| 日韩国内少妇激情av| 免费看十八禁软件| 国产黄片美女视频| 一边摸一边抽搐一进一小说|