• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    認(rèn)知診斷測驗的自動組卷方法*

    2023-02-27 14:46:56馬大付秦春影楊建芹徐新愛喻曉鋒
    心理學(xué)探新 2023年6期
    關(guān)鍵詞:信息量題庫測驗

    馬大付,秦春影,楊建芹,徐新愛,喻曉鋒

    (1.江西師范大學(xué)心理學(xué)院,南昌 330022;2.山東省濟南市教育教學(xué)研究院,濟南 250002;3.南昌師范學(xué)院數(shù)學(xué)與統(tǒng)計學(xué)院,南昌 330032)

    1 前言

    測驗項目是心理測量學(xué)中對被試潛在特質(zhì)進行間接測量的工具。根據(jù)被試在項目上的作答結(jié)果,選取合適的模型與分析方法可實現(xiàn)對被試潛在特質(zhì)的定量化評估(Rupp et al.,2010)。組卷是指從一個已校準(zhǔn)的題庫中選取一組同時滿足統(tǒng)計(如測驗長度和精度)與非統(tǒng)計約束(如內(nèi)容平衡,答案平衡)的項目(Becker et al.,2021;Henson &Douglas,2005)的過程。如不考慮任何約束,從題庫中組卷的數(shù)量將是巨大的,例如在一個包含20題的題庫中選擇其中10題進行組卷,共有184756種不同的組卷情況(Finkelman et al.,2009)。而隨著題庫項目數(shù)量的增加和試題管理約束的復(fù)雜化,人工組裝高質(zhì)量測驗成為一項艱巨的任務(wù)(Lin et al.,2019)。自動測驗組卷(automated test assembly,ATA;Finkelman et al.,2020)通過將組卷算法與計算機程序相結(jié)合,使根據(jù)測驗需求進行自動組卷成為可能。

    認(rèn)知診斷評估(cognitive diagnosis assessment,CDA;von Davier &Lee,2019)作為新一代的心理測量理論,與項目反應(yīng)理論(item response theory,IRT)關(guān)注被試的連續(xù)能力(θ)不同,其更關(guān)注對被試離散知識狀態(tài)(knowledge state,KS)即屬性的測量,這使得二者在構(gòu)建測驗的方法上不盡相同。首先,由于θ的連續(xù)性,IRT自動測驗組卷(IRT-ATA)常采用費舍爾信息量(fisher information,FI)作為測驗組卷的方法。測驗信息量為測驗項目信息量的和(羅照盛,2012),測驗信息量越高,測量誤差越小,測驗信度越高。而KS的離散性不滿足FI的對數(shù)似然函數(shù)具有二階導(dǎo)數(shù)的必要假設(shè)(Finkelman et al.,2009),因此基于FI的組卷方法無法直接推廣至CD-ATA(Finkelman et al.,2009;Henson &Douglas,2005);其次,二者組卷的復(fù)雜程度不同。IRT-ATA與項目參數(shù)、被試θ有關(guān),而CD-ATA則受認(rèn)知診斷模型(cognitive diagnosis model,CDM)、項目q向量、項目參數(shù)與KS分布等因素的影響(de la Torre,2011;Song &Wang,2019),并且診斷測驗項目q向量之間存在復(fù)雜的交互作用(丁樹良 等,2010;Lin et al.,2017),這使得即使測驗項目的參數(shù)相同,q向量的不同組合也會產(chǎn)生不同的診斷結(jié)果。最后,即使CD-ATA成功組卷,也不存在精確的數(shù)學(xué)表達(dá)式能夠描述測試項目與診斷準(zhǔn)確性之間的關(guān)系(Lin et al.,2017;Wang et al.,2019),從而無法探知組卷結(jié)果的優(yōu)劣??傊?因認(rèn)知診斷測量對象的獨特性,使得CD-ATA較IRT-ATA而言更加復(fù)雜。

    為將診斷測驗推向?qū)嶋H應(yīng)用,國內(nèi)外研究者針對CD-ATA問題提出多種組卷方法。Lin等人(2017)將CD-ATA方法分為:基于指標(biāo)組卷與基于模擬組卷兩類,但卻并未對各類組卷方法的發(fā)展脈絡(luò)、組卷思想等進行更深入的探討。文章通過閱讀相關(guān)CD-ATA文獻(xiàn),結(jié)合國內(nèi)外最新研究發(fā)現(xiàn)CD-ATA方法在整體上有著清晰的發(fā)展脈絡(luò),不同方法在組卷思想上存在諸多共性之處,且由于技術(shù)的發(fā)展,當(dāng)前研究越來越面向?qū)嶋H應(yīng)用,出現(xiàn)第三類組卷方法。起初,為沿用IRT-ATA使用FI組卷的方式,研究者提出基于信息量指標(biāo)的組卷方法,并開發(fā)多種適用于CDA的信息量指標(biāo)(汪文義 等,2018;Henson et al.,2008;Henson &Douglas,2005;Song &Wang,2019)。此后,基于作答模擬的方法被提出,該類方法在組卷前模擬一批作答數(shù)據(jù),基于該批數(shù)據(jù),使用啟發(fā)式算法(heuristic algorithm)尋求合適的測驗項目(Henson &Douglas,2005)。當(dāng)前,研究者越發(fā)關(guān)注診斷測驗的實際應(yīng)用,在組卷時考慮更多與實際測驗有關(guān)的信息,開發(fā)基于項目多信息的組卷方法。因此,文章擬對現(xiàn)有的CD-ATA方法進行論述,首先介紹組卷方法的發(fā)展脈絡(luò)及其組卷思想,闡述不同方法之間的聯(lián)系。其次對比不同類組卷方法之間的組卷思路、方法特征、優(yōu)缺點,為使用者在方法選用上提供參考;最后,在現(xiàn)有組卷方法的基礎(chǔ)上進行研究展望。

    2 認(rèn)知診斷測驗自動組卷方法

    2.1 基于信息量指標(biāo)的組卷方法

    信息量指標(biāo)組卷方法試圖沿用IRT基于信息量函數(shù)的組卷方式,因此定義CDA信息量指標(biāo)是研究者開發(fā)組卷方法時首要解決的問題。根據(jù)CDA信息量指標(biāo)能否直接反映項目的分類準(zhǔn)確性,可將其分為間接信息量指標(biāo)(下稱間接指標(biāo))與直接信息量指標(biāo)(下稱直接指標(biāo))兩類。間接指標(biāo)采用項目對不同KS的區(qū)分能力作為項目的信息量,直接指標(biāo)使用項目的期望分類準(zhǔn)確率表示項目的信息量。上述兩類指標(biāo)均采用程序性組卷的方式,組卷時首先選擇題庫中信息量最高的項目進入測驗,而后根據(jù)約束條件(如屬性最少測量次數(shù))篩選出題庫中滿足約束的項目,選取剩余題庫中最高信息量的項目進入測驗,以此類推,直至達(dá)到組卷長度。

    2.1.1 間接信息量指標(biāo)

    (1)CDI和ADI

    相對熵信息量(Kullback-Leibler information,KLI;Chang &Ying,1996)可用于描述兩個概率分布的差異而不假設(shè)分布連續(xù)。項目j上任意兩種知識狀態(tài)αu與αv之間的反應(yīng)概率分布距離可以描述為:

    (1)

    屬性相互獨立時,Djuv為一個T*T(T=2K)的D矩陣,K為屬性數(shù)量。Henson和Douglas(2005)基于D矩陣提出認(rèn)知診斷指標(biāo)(cognitive diagnosis index,CDI):

    (2)

    其中,h(au,av)-1為au與av之間的海明距離倒數(shù)。CDIj體現(xiàn)了項目j對所有KS的整體區(qū)分能力,項目CDI值越高表示項目的區(qū)分能力越強。

    Henson等人(2008)認(rèn)為CDI無法體現(xiàn)項目對單個屬性的區(qū)分能力,只有當(dāng)項目考察了某些屬性,該項目才在該屬性上存在區(qū)分能力,且當(dāng)某些KS對之間的差異較大時,容易對項目的區(qū)分能力造成“虛高”的假象。因此可不必考慮差異較大的KS對,僅考慮在單個屬性上存在差異的KS對?;诖硕x了屬性層面的區(qū)分度指標(biāo)(attribute diagnosis index,ADI):

    (3)

    其中qjk∈{0,1},0表示項目未考察該屬性,1表示考察。ADI指標(biāo)反映了項目在屬性層面(attribute-specific)上的區(qū)分能力。

    測驗水平的CDI與ADI可表示為:

    (4)

    (5)

    使用CDI與ADI指標(biāo)組卷時,通常設(shè)置目標(biāo)函數(shù)為Maximize(CDI),Maximize(ADI),即從題庫中選擇能使CDI與ADI和最大的項目組合,該項目組合有著最大區(qū)分能力。Zeng等人(2010)根據(jù)可達(dá)矩陣能夠提高診斷測驗準(zhǔn)確性的原理,提出在使用CDI編制測驗時添加可達(dá)矩陣,該方法提高了CDI組卷的診斷準(zhǔn)確性。

    (2)MCDI和 MADI

    Kuo等人(2016)對CDI與ADI展開修正,在原有指標(biāo)的基礎(chǔ)上增加屬性層級結(jié)構(gòu)權(quán)重與屬性最少測量次數(shù)權(quán)重。校正后的MCDI與MADI(modified CDI;modified ADI)為:

    (6)

    (7)

    (8)

    (3)RCDI和 RADI

    2.1.2 直接信息量指標(biāo)

    基于間接指標(biāo)的組卷結(jié)果僅能表明測驗項目具有較高的區(qū)分能力和可能具有較高的診斷準(zhǔn)確率,卻無法直接判斷組卷結(jié)果的屬性或模式判準(zhǔn)情況。汪文義等人(2018)以及Song和Wang(2019)提出一種可在無作答數(shù)據(jù)的情況下對項目各屬性分類準(zhǔn)確性進行預(yù)測的直接指標(biāo):期望屬性分類準(zhǔn)確率指標(biāo)(expected attribute match rate,EAMR):

    (9)

    (10)

    EAMRjk表示掌握屬性k的被試在項目上正確作答并最終分類正確與未掌握屬性k的被試在項目上錯誤作答并最終分類正確的概率之和。當(dāng)屬性k未被項目考察時,項目對該屬性的期望正確分類率為0.5。項目j的EAMRj為各屬性的EAMRjk之和。

    同樣的,測驗水平的EAMR為:

    (11)

    2.1.3 信息量指標(biāo)優(yōu)化算法組卷

    除上述兩類信息量指標(biāo)方法外,Finkelman等人(2010)認(rèn)為,在定義CDA項目信息量指標(biāo)后,CD-ATA應(yīng)回歸IRT-ATA使用優(yōu)化算法的整體性組卷方式,優(yōu)化算法的組卷結(jié)果可被證明是滿足條件下的最優(yōu)信息量指標(biāo)項目組合。

    (1)0-1整數(shù)線性規(guī)劃組卷

    0-1整數(shù)線性規(guī)劃法(binary integer liner programming,BILP)常用于在給定目標(biāo)函數(shù)與多個約束條件的情況下,優(yōu)化目標(biāo)函數(shù)值。Finkelman等人(2010)將BILP用于CD-ATA。以ADI指標(biāo)為例(也可使用其他指標(biāo)),設(shè)定目標(biāo)函數(shù):

    (12)

    (2)混合整數(shù)線性規(guī)劃組卷

    混合整數(shù)線性規(guī)劃方法(Mix Integer Linear Programming,MILP)的目標(biāo)函數(shù)中既包括整數(shù)型決定變量,也包括連續(xù)型決定變量。Wang等人(2021)將該方法與項目D矩陣相結(jié)合,將其用于CD-ATA。該方法首先去除項目D矩陣中對角線為0的元素,后將D矩陣轉(zhuǎn)換為長度為T-1的矩陣,再將其轉(zhuǎn)換為列向量后按行拼接。經(jīng)上述三步處理,將D矩陣轉(zhuǎn)換為行為T(T-1),列為1的項目列矩陣。將題庫中所有項目列向量按列合并為一個大小為行為T(T-1),列為M的題庫矩陣:V矩陣。設(shè)置目標(biāo)函數(shù)為:

    min(f1x+f2y),

    當(dāng)不考慮f2y部分時,MILP方法與BILP方法類似,兩者均是基于項目的KLI,不同的是MILP基于項目的D矩陣,而BILP則是基于項目的CDI值。當(dāng)考慮f2y部分時,相較于BILP方法,MILP方法保證了對每對KS進行足夠的區(qū)分度測量,即區(qū)分度平衡。

    2.1.4 基于信息量指標(biāo)的組卷方法評價

    基于信息量指標(biāo)的組卷方法的結(jié)果與所定義的CDA信息量指標(biāo)密切相關(guān),由于屬性的離散性,現(xiàn)有研究在定義CDA信息量指標(biāo)時始終沿用一種如何將不同KS充分區(qū)分的思路。在得到信息量指標(biāo)后,根據(jù)測驗信息量最大化的組卷思想進行確定性組卷,即在確定題庫項目、組卷指標(biāo)、測驗要求后,任一基于信息量指標(biāo)的組卷方法從題庫中所選擇的項目是確定的。因僅進行一次組卷,而未與其他可能的組卷結(jié)果進行比較,這導(dǎo)致其組卷結(jié)果未必是全局最優(yōu)。

    2.2 基于作答模擬的組卷方法

    該類方法通過事先模擬被試在項目上的作答數(shù)據(jù),通過設(shè)立目標(biāo)函數(shù),將CD-ATA問題轉(zhuǎn)換為在已有數(shù)據(jù)上尋求一組最符合目標(biāo)函數(shù)的項目組合。由于能為診斷目的設(shè)立不同的目標(biāo)函數(shù),因此相較指標(biāo)組卷方法,作答模擬組卷方法靈活度更高(Finkelman et al.,2009)。

    2.2.1 遺傳算法組卷

    遺傳算法(generic algorithm,GA)模擬自然界優(yōu)勝劣汰的進化過程:具有更強適應(yīng)能力的個體將在個體競爭中存活,并產(chǎn)生具有更強生存能力的后代。Finkelman等人(2009)將該方法用于CD-ATA。GA將題庫中測驗項目組合被視為單個個體,通過比較不同個體符合目標(biāo)函數(shù)的程度,選擇當(dāng)前數(shù)據(jù)下接近最優(yōu)的測驗組合。GA的具體組卷過程包括以下幾步:①產(chǎn)生一批包含S組初始項目的測驗即父代,每個測驗中包含數(shù)量為J的項目組合,初始項目組合可隨機產(chǎn)生也可通過使用CDI的組卷方式產(chǎn)生;②使用“變異”策略,隨機改變每個初始解中的一個項目,產(chǎn)生S*J個子代;③評估包含父代在內(nèi)的S*(J+1)組解符合目標(biāo)函數(shù)的程度;④根據(jù)③步的評估結(jié)果,選擇最符合目標(biāo)函數(shù)的前S組測驗項目組合進入下一輪迭代;⑤重復(fù)步驟②-④,直至達(dá)到最大迭代次數(shù);⑥選擇最后一次迭代中最優(yōu)項目組合做為最優(yōu)測驗。

    為使組卷結(jié)果更加符合實際,Finkelman等人(2009)提出三種目標(biāo)函數(shù):

    (13)

    (14)

    (15)

    2.2.2 蟻群算法組卷

    蟻群算法(ant colony optimization,ACO)與GA類似,均屬于求取目標(biāo)函數(shù)的啟發(fā)式算法。Lin等人(2017)將ACO用于CD-ATA,提出基于蟻群算法的測驗構(gòu)建方法(test construction method based on ant colony optimization,ACO-TC),該方法將CD-ATA視為一種路徑優(yōu)化問題,題庫中每一種測驗項目的組合均被認(rèn)為是一條路徑,通過建立目標(biāo)函數(shù),在所有路徑中尋求接近最優(yōu)解的路徑。

    ACO-TC過程大體上可分為三步:局部組卷、局部信息量更新與全局信息素更新。局部組卷時,單個螞蟻(a=1,2,…,A)從剩余題庫中選擇滿足條件約束的項目j的后驗概率可為:

    (16)

    其中T為剩余題庫中滿足約束的項目集合,τj為項目的信息素濃度(初始組卷時設(shè)置τ0=1),ηa與γa分別為項目信息量指標(biāo)與項目滿足測驗約束程度的權(quán)重,為提高組卷過程中的適應(yīng)性,可設(shè)置ηa為多種項目信息量指標(biāo)的組合。當(dāng)螞蟻a完成組卷后對其所選中的項目進行局部信息量更新:

    τj=(1-ρ)τj+ρτ0,

    (17)

    公式(17)中的ρ∈(0,1)表示信息素蒸發(fā)速率。當(dāng)所有螞蟻均完成組卷后,可設(shè)置公式(13)、公式(14)、公式(15)為目標(biāo)函數(shù),評估所有螞蟻的組卷結(jié)果,最優(yōu)項目組的目標(biāo)函數(shù)可記為fbest,最差組記為fworst。后對fbest中的項目進行全局信息量更新:

    τj=(1-ρ)τj+ρΔτ,

    (18)

    2.2.3 基于作答模擬的組卷方法評價

    作答模擬組卷方法依靠自身不斷的循環(huán)迭代,每一次的組卷結(jié)果都建立在上一次組卷結(jié)果的基礎(chǔ)之上,尋求更優(yōu)于上一次組卷結(jié)果的題目組合,當(dāng)組卷結(jié)果不再變化時,則表示尋得當(dāng)前組卷方法下的最優(yōu)題目組合。這種循環(huán)迭代的組卷方式,提高了找到全局最優(yōu)解的可能性。但由于其需要大量的迭代計算,需要耗費的組卷時間也相對更長。

    2.3 基于項目多信息的組卷方法

    在實際測驗中,測驗的項目構(gòu)成、測驗形式以及測驗的時限要求等都是測驗開發(fā)者應(yīng)當(dāng)考慮的問題。為使組卷結(jié)果與實際測驗要求更加一致,研究者進一步考慮更多可利用的項目信息,開發(fā)得到基于項目多信息的組卷方法。

    2.3.1 基于多選項項目的組卷方法

    現(xiàn)有研究對診斷數(shù)據(jù)的處理往往采用二分法(正確作答與錯誤作答兩類),多項選擇認(rèn)知診斷模型(multiple choice CDM,MC-CDM)認(rèn)為錯誤選項同樣包含著屬性的分類信息,這些信息同樣可被可用于KS判別(Henson et al.,2018)。Henson等人(2018)將DINA模型下的區(qū)分度指標(biāo):1-sj-gj,用于MC-CDM,提出一種廣義的區(qū)分度指標(biāo)(discrimination index,DI):

    (19)

    Hj表示項目j的選項數(shù)量,P(Xj=h│α)表示α的被試選擇選項h的概率,Pjh(Xj=h|α-k)表示與α僅在第k個屬性上存在差異的KS選擇選項h的概率。DIjk定義了單個項目對屬性k的區(qū)分能力。在使用DI組卷時,采用與CDI相同的指標(biāo)線性求和的方式,測驗水平的DI為:

    (20)

    2.3.2 基于反應(yīng)時的組卷方法

    Finkelman等人(2020)認(rèn)為,盡管當(dāng)前CD-ATA已能夠獲得豐富的信息,但還要保證被試所花的時間是可接受的,許多測驗也含有一定的時限要求,因此其將反應(yīng)時信息融入CD-ATA,作為測驗組卷的約束條件,提出反應(yīng)時組卷(response time assembly,RTA)?;趘an der Linden(2006)提出的項目反應(yīng)時模型:

    (21)

    (22)

    (23)

    (24)

    其中ζq,ζr與ζs分別表示q,r與s的目標(biāo)條件,δs,δs與δs分別表示q,r與s的可容忍殘差。在CD-ATA組卷時,RTA方法與BP相同,組卷時將反應(yīng)時信息作為一種額外的約束條件,使用LP求解器進行求解。

    2.3.3 基于項目多信息的組卷方法評價

    基于項目多信息的組卷方法在測驗形式、測驗要求等方面上更加貼合于實際情況,在組卷時考慮更多對測驗結(jié)果可能產(chǎn)生影響的因素,并將其納入組卷過程。但其對項目本身的要求更高,如多選項項目組卷方法需知道選擇錯誤選項的概率,反應(yīng)時組卷方法需知道作答項目的時間分布情況。

    3 組卷方法比較與選用

    3.1 組卷方法比較

    文章已對現(xiàn)有的十多種CD-ATA方法進行介紹。接下來進一步對不同組卷方法進行比較,為實際使用者以及后續(xù)研究者在選用方法與開發(fā)新方法提供思路。表1詳細(xì)呈現(xiàn)了不同組卷方法的分類情況、方法特征及優(yōu)缺點。

    表1 不同CD-ATA方法對比

    從方法的大類上可以看出:①信息量指標(biāo)組卷方法沿用IRT-ATA使用FI線性和的組卷思想,根據(jù)屬性離散的特點,在CDA中尋找Fisher信息量的替代品。在組卷時通常設(shè)置滿足約束條件的最大測驗信息量項目組合,為確定性組卷方法。然而,該類組卷方法忽視了CD-ATA與IRT-ATA的不同,未考慮項目q向量之間復(fù)雜的交互作用,缺乏靈活性。②與信息量指標(biāo)組卷不同的是,作答模擬組卷方法選擇項目時是非確定性的,題庫中的每個項目都有被選入測驗的概率,為概率性組卷方法。通過不斷地迭代更新,每次迭代后的結(jié)果均優(yōu)于上一次迭代,最終得到最優(yōu)項目組合。相較于信息量指標(biāo)組卷方法,模擬作答組卷在組卷時嘗試的項目組合類型更多(信息量指標(biāo)組卷僅嘗試一種項目組合)。但由于其算法復(fù)雜,計算量大,導(dǎo)致其組卷效率較低。③項目多信息組卷對項目信息了解程度要求高,且在組卷時部分依賴指標(biāo)組卷的方法,因此也部分具有指標(biāo)組卷存在的缺點。

    3.2 組卷方法選用

    通過對不同方法的比較,文章從組卷精度與組卷效率兩種角度,為實際使用者在選用組卷方法上提供建議。

    (1)組卷精度,診斷測驗的首要目的是為獲得較高的診斷精度(Rupp et al.,2010),盡管不同組卷方法存在一定的精度差異,但相較于隨機組卷,本文所提及的組卷方法在屬性數(shù)量較少的情況下均能夠獲得較高的判準(zhǔn)精度。但屬性數(shù)量較多時,指標(biāo)組卷方法的判準(zhǔn)率將迅速下降(Henson &Douglas,2005;唐小娟 等,2013),此時應(yīng)當(dāng)選用模擬組卷方法。另外,當(dāng)組卷的目的是為了獲得特定屬性精度的測驗時(Finkelman et al.,2009;Lin et al.,2017),指標(biāo)組卷方法將無法適用,此時僅能通過模擬組卷。

    (2)組卷效率,除組卷精度外,組卷效率也是施測人員需要考慮的問題(Finkelman et al.,2009;Lin et al.,2017)。模擬組卷因其在組卷時需不斷地迭代更新項目組合,計算要求高,組卷時間長,組卷效率低。其他方法僅需在前期計算項目信息量指標(biāo)時耗費一定的時間(郭磊 等,2016),實際組卷的時間較短,而且由于指標(biāo)組卷均屬于確定性算法,因此僅需計算一次項目信息量,即可多次運用。因此,如希望在短時間內(nèi)得到組卷結(jié)果,可選擇基于指標(biāo)組卷的方式。

    4 研究展望

    盡管現(xiàn)有的CD-ATA方法已達(dá)十余種,但面對實際測驗的多樣性,有關(guān)組卷方法的研究與應(yīng)用均有待進一步拓展,文章在已有方法基礎(chǔ)上從理論性研究和實際應(yīng)用角度出發(fā)提出幾點展望。

    融合測驗設(shè)計,基于信息量指標(biāo)的組卷方法僅關(guān)注于單個項目的q向量與項目參數(shù),未考慮診斷測驗的整體性,忽略測驗Q向量在診斷測驗中起到的重要作用。目前已有部分關(guān)于測驗構(gòu)建策略的研究(唐小娟 等,2022),而僅有少數(shù)組卷研究探討過將信息量指標(biāo)組卷方法與測驗構(gòu)建策略進行融合,融合測驗構(gòu)建策略后的結(jié)果也表明,信息量指標(biāo)組卷方法的組卷精度可獲得大幅增長(Kuo et al.,2016;Su &Chu,2021;Zeng et al.,2010)。未來可進一步探討將更多診斷測驗設(shè)計與信息量指標(biāo)組卷方法相互融合,在保證信息量指標(biāo)組卷效率的基礎(chǔ)上,進一步提高其組卷精度。

    非參數(shù)組卷,當(dāng)前CD-ATA方法均是在假定項目參數(shù)已知的情況下進行,而實際情況中,項目的實際參數(shù)是難以獲得的。尤其是對于一些具有較復(fù)雜的診斷模型而言,準(zhǔn)確的項目參數(shù)估計依賴于大量被試的作答反應(yīng)。而當(dāng)項目參數(shù)穩(wěn)健性難以保證的情況下(Veldkamp et al.,2013),使用非參數(shù)組卷方法則勢在必行,未來可開發(fā)更多非參數(shù)組卷方法。

    平行測驗組卷,平行測驗(parallel test)是一種常用的實際測驗形式,而文章所介紹組卷方法均只針對于構(gòu)建單份測驗。在查閱文獻(xiàn)后,發(fā)現(xiàn)當(dāng)前有關(guān)認(rèn)知診斷平行試卷的構(gòu)建方法僅有少數(shù)研究者(Li et al.,2021;Lin et al.,2019)有過相關(guān)探討。未來也可開發(fā)同時能構(gòu)建多份平行測驗的CD-ATA方法。

    開發(fā)組卷軟件,盡管當(dāng)前已開發(fā)了多種CD-ATA方法,但這些方法并不適用于沒有編程基礎(chǔ)的使用者,這也在一定程度上阻礙了組卷方法的實際應(yīng)用。目前,有關(guān)研究者已將IRT-ATA組卷方法開發(fā)為相應(yīng)的軟件與開源R包(Becker et al.,2021;Shao et al.,2020),使用者僅需少量操作便可進行組卷,極大的簡化了組卷過程,而CD-ATA中目前僅可通過使用R中的CDM包計算CDI與DI指標(biāo)(George et al.,2016;Shi et al.,2021),尚未見完整的組卷R包或?qū)I(yè)組卷軟件,未來可開發(fā)相應(yīng)診斷組卷軟件。

    開展實證研究,當(dāng)前CD-ATA的實證研究相對較少。這一方面是由于國內(nèi)外診斷測驗的研究尚處于起步階段,缺少系統(tǒng)性的測驗開發(fā)、題庫建設(shè)的過程,這在一定程度上阻礙了CD-ATA的實際應(yīng)用??紤]到CDA在教學(xué)評估過程中的優(yōu)良特性、未來可開發(fā)系統(tǒng)性的診斷測驗題庫,開展CD-ATA的實證研究。

    猜你喜歡
    信息量題庫測驗
    “勾股定理”優(yōu)題庫
    “軸對稱”優(yōu)題庫
    “軸對稱”優(yōu)題庫
    “整式的乘法與因式分解”優(yōu)題庫
    基于信息理論的交通信息量度量
    《新年大測驗》大揭榜
    趣味(語文)(2018年7期)2018-06-26 08:13:48
    兩個處理t測驗與F測驗的數(shù)學(xué)關(guān)系
    考試周刊(2016年88期)2016-11-24 13:30:50
    如何增加地方電視臺時政新聞的信息量
    新聞傳播(2016年11期)2016-07-10 12:04:01
    基于多尺度互信息量的數(shù)字視頻幀篡改檢測
    計算機工程(2015年4期)2015-07-05 08:29:20
    你知道嗎?
    国产亚洲欧美在线一区二区| aaaaa片日本免费| 性欧美人与动物交配| 日日夜夜操网爽| 欧美日韩精品网址| 久久久成人免费电影| 91在线精品国自产拍蜜月 | 最新美女视频免费是黄的| 国产亚洲精品一区二区www| 国产高潮美女av| 丰满人妻一区二区三区视频av | 母亲3免费完整高清在线观看| 桃色一区二区三区在线观看| 老司机午夜福利在线观看视频| 无人区码免费观看不卡| 1024手机看黄色片| 免费观看的影片在线观看| www.999成人在线观看| 欧美黄色片欧美黄色片| 十八禁人妻一区二区| 欧美中文综合在线视频| 黄色成人免费大全| 久久精品国产清高在天天线| 国产亚洲精品久久久com| 高清在线国产一区| 精品国产超薄肉色丝袜足j| 精品国产美女av久久久久小说| 欧美成人性av电影在线观看| 亚洲男人的天堂狠狠| 一个人看视频在线观看www免费 | 淫秽高清视频在线观看| 成人av在线播放网站| 黄色丝袜av网址大全| 亚洲欧美精品综合一区二区三区| 久久久成人免费电影| 亚洲国产欧美一区二区综合| 国产高清videossex| 精品福利观看| 丰满人妻一区二区三区视频av | 99久久国产精品久久久| 亚洲av片天天在线观看| 此物有八面人人有两片| 国产黄色小视频在线观看| 色视频www国产| 亚洲国产日韩欧美精品在线观看 | 久久精品综合一区二区三区| 99久久精品国产亚洲精品| 一区二区三区国产精品乱码| 精品国产超薄肉色丝袜足j| 久久久久久久久久黄片| 美女cb高潮喷水在线观看 | 成人特级av手机在线观看| 久99久视频精品免费| 国产激情欧美一区二区| 欧美+亚洲+日韩+国产| 少妇裸体淫交视频免费看高清| 久久天躁狠狠躁夜夜2o2o| 亚洲男人的天堂狠狠| 网址你懂的国产日韩在线| 男女下面进入的视频免费午夜| 51午夜福利影视在线观看| 又爽又黄无遮挡网站| 免费在线观看视频国产中文字幕亚洲| 久久精品夜夜夜夜夜久久蜜豆| 日韩av在线大香蕉| 国产又黄又爽又无遮挡在线| 男人舔女人的私密视频| 亚洲精品中文字幕一二三四区| 久久草成人影院| 日本熟妇午夜| 巨乳人妻的诱惑在线观看| 国产高清有码在线观看视频| 欧美另类亚洲清纯唯美| 亚洲 欧美 日韩 在线 免费| 色吧在线观看| 亚洲人与动物交配视频| 国产精品99久久久久久久久| 999久久久精品免费观看国产| 国产精品,欧美在线| 欧美xxxx黑人xx丫x性爽| 又爽又黄无遮挡网站| 亚洲五月天丁香| 99精品久久久久人妻精品| 国产探花在线观看一区二区| 女人高潮潮喷娇喘18禁视频| 亚洲狠狠婷婷综合久久图片| 成人三级做爰电影| 白带黄色成豆腐渣| 亚洲精品美女久久久久99蜜臀| 欧美成狂野欧美在线观看| 久久久精品大字幕| 伊人久久大香线蕉亚洲五| 成在线人永久免费视频| 91麻豆av在线| 国产精品99久久99久久久不卡| 国产高清激情床上av| 国产精品久久视频播放| 国产激情欧美一区二区| 亚洲成人中文字幕在线播放| 亚洲成av人片免费观看| 国产av麻豆久久久久久久| 午夜福利高清视频| 一夜夜www| 欧美另类亚洲清纯唯美| 身体一侧抽搐| 俄罗斯特黄特色一大片| 中出人妻视频一区二区| 中文亚洲av片在线观看爽| 日韩欧美三级三区| 精品无人区乱码1区二区| 欧美乱色亚洲激情| 免费电影在线观看免费观看| 在线观看免费午夜福利视频| 婷婷亚洲欧美| 十八禁网站免费在线| 在线观看免费午夜福利视频| 色老头精品视频在线观看| 丰满的人妻完整版| 亚洲欧美日韩高清专用| 欧美乱色亚洲激情| 亚洲激情在线av| 午夜精品在线福利| 成人精品一区二区免费| 少妇丰满av| www.www免费av| 啦啦啦观看免费观看视频高清| 午夜福利高清视频| 久久久久久久精品吃奶| 精品久久久久久久久久免费视频| 男女午夜视频在线观看| 亚洲精品久久国产高清桃花| 国内精品久久久久精免费| 波多野结衣高清无吗| 成在线人永久免费视频| 国产又黄又爽又无遮挡在线| 日本与韩国留学比较| 69av精品久久久久久| 国产aⅴ精品一区二区三区波| 999精品在线视频| 久久久久久久午夜电影| 99热这里只有精品一区 | 免费大片18禁| 久久热在线av| 最好的美女福利视频网| a在线观看视频网站| 国产av一区在线观看免费| 法律面前人人平等表现在哪些方面| 国产又黄又爽又无遮挡在线| 国产精品电影一区二区三区| 亚洲av五月六月丁香网| 悠悠久久av| 亚洲自拍偷在线| 久久久久久久午夜电影| 美女cb高潮喷水在线观看 | 97碰自拍视频| 久久婷婷人人爽人人干人人爱| 欧美日韩乱码在线| 最近在线观看免费完整版| 欧美日韩亚洲国产一区二区在线观看| 亚洲av中文字字幕乱码综合| 日本免费一区二区三区高清不卡| 欧美在线一区亚洲| 一区二区三区国产精品乱码| 他把我摸到了高潮在线观看| 免费在线观看亚洲国产| 中文亚洲av片在线观看爽| 琪琪午夜伦伦电影理论片6080| 亚洲精品456在线播放app | 我的老师免费观看完整版| 成在线人永久免费视频| 亚洲在线自拍视频| 一级a爱片免费观看的视频| 久久天躁狠狠躁夜夜2o2o| 成人欧美大片| 国产精品久久久久久精品电影| 久久久国产成人免费| 好看av亚洲va欧美ⅴa在| 草草在线视频免费看| 麻豆国产av国片精品| 搡老熟女国产l中国老女人| 日韩欧美一区二区三区在线观看| 久99久视频精品免费| 免费看光身美女| 99热只有精品国产| 精品午夜福利视频在线观看一区| 国产乱人视频| 亚洲精品久久国产高清桃花| 亚洲自偷自拍图片 自拍| 18禁国产床啪视频网站| 亚洲第一欧美日韩一区二区三区| 夜夜看夜夜爽夜夜摸| 淫秽高清视频在线观看| 日本一本二区三区精品| 国产真人三级小视频在线观看| 久久九九热精品免费| 国产亚洲精品av在线| 久久天堂一区二区三区四区| www国产在线视频色| 99视频精品全部免费 在线 | 欧美不卡视频在线免费观看| 综合色av麻豆| 久久人妻av系列| 女人高潮潮喷娇喘18禁视频| 久9热在线精品视频| 国产精品99久久久久久久久| 成年女人永久免费观看视频| 午夜福利成人在线免费观看| 欧美又色又爽又黄视频| 午夜精品在线福利| 久久国产精品影院| 亚洲av电影在线进入| 国产av一区在线观看免费| 神马国产精品三级电影在线观看| 日本一二三区视频观看| 欧美日韩精品网址| 日本免费a在线| 国产综合懂色| 亚洲精品一区av在线观看| 又大又爽又粗| 国产熟女xx| 制服人妻中文乱码| 神马国产精品三级电影在线观看| 1024手机看黄色片| 女同久久另类99精品国产91| 国产高清有码在线观看视频| 啦啦啦韩国在线观看视频| 91av网一区二区| 99在线视频只有这里精品首页| 十八禁网站免费在线| 热99re8久久精品国产| 国产精品98久久久久久宅男小说| 日本免费a在线| 一级毛片女人18水好多| 91av网一区二区| 一级作爱视频免费观看| 超碰成人久久| 亚洲无线在线观看| 亚洲欧美日韩高清在线视频| 在线永久观看黄色视频| 精品一区二区三区四区五区乱码| 日本黄大片高清| 99国产精品一区二区蜜桃av| 亚洲一区二区三区不卡视频| 女生性感内裤真人,穿戴方法视频| 国产毛片a区久久久久| 国产av不卡久久| 精品99又大又爽又粗少妇毛片 | www国产在线视频色| 我的老师免费观看完整版| 国产精品久久久久久人妻精品电影| 免费一级毛片在线播放高清视频| 深夜精品福利| 国产av一区在线观看免费| 亚洲美女黄片视频| 国内精品久久久久久久电影| 12—13女人毛片做爰片一| 天天躁日日操中文字幕| 国内精品一区二区在线观看| 黄色视频,在线免费观看| 夜夜躁狠狠躁天天躁| 男人舔女人下体高潮全视频| 亚洲欧美激情综合另类| 精品电影一区二区在线| 麻豆国产av国片精品| 一二三四在线观看免费中文在| 听说在线观看完整版免费高清| 观看免费一级毛片| 99re在线观看精品视频| 免费看日本二区| 亚洲成人久久性| 亚洲五月天丁香| 欧美乱色亚洲激情| av在线天堂中文字幕| 亚洲av成人精品一区久久| 午夜a级毛片| e午夜精品久久久久久久| 亚洲一区二区三区色噜噜| 91久久精品国产一区二区成人 | 白带黄色成豆腐渣| 岛国在线免费视频观看| 9191精品国产免费久久| 长腿黑丝高跟| 国产在线精品亚洲第一网站| 丰满的人妻完整版| 丰满人妻熟妇乱又伦精品不卡| 亚洲乱码一区二区免费版| 久9热在线精品视频| 欧美日韩综合久久久久久 | 99精品在免费线老司机午夜| 女人高潮潮喷娇喘18禁视频| 哪里可以看免费的av片| 久久午夜亚洲精品久久| 亚洲人成网站高清观看| 夜夜看夜夜爽夜夜摸| 国产av不卡久久| 99热6这里只有精品| 亚洲av片天天在线观看| 女人高潮潮喷娇喘18禁视频| 国产精品自产拍在线观看55亚洲| 国产成人欧美在线观看| 亚洲午夜精品一区,二区,三区| 久久精品aⅴ一区二区三区四区| 亚洲精华国产精华精| 法律面前人人平等表现在哪些方面| 757午夜福利合集在线观看| 久久亚洲精品不卡| 一本久久中文字幕| 久久国产精品影院| 亚洲国产欧美一区二区综合| 婷婷亚洲欧美| 免费看美女性在线毛片视频| 一本精品99久久精品77| 欧美+亚洲+日韩+国产| 成人午夜高清在线视频| 午夜激情福利司机影院| 在线国产一区二区在线| 18禁观看日本| 国内毛片毛片毛片毛片毛片| 午夜激情福利司机影院| 日韩国内少妇激情av| 国产精品久久久久久亚洲av鲁大| 色综合站精品国产| 成年女人毛片免费观看观看9| 国产精品1区2区在线观看.| 91麻豆精品激情在线观看国产| 十八禁人妻一区二区| 午夜精品一区二区三区免费看| 欧美一区二区精品小视频在线| 免费在线观看视频国产中文字幕亚洲| 国产极品精品免费视频能看的| 床上黄色一级片| e午夜精品久久久久久久| 欧美精品啪啪一区二区三区| 久久久成人免费电影| 精品一区二区三区视频在线 | 国产成人啪精品午夜网站| 黄色日韩在线| 草草在线视频免费看| АⅤ资源中文在线天堂| 熟女少妇亚洲综合色aaa.| 国产精品久久久久久久电影 | 国产一区二区在线观看日韩 | 亚洲,欧美精品.| 女警被强在线播放| 亚洲 欧美 日韩 在线 免费| 亚洲欧美一区二区三区黑人| 日日摸夜夜添夜夜添小说| 亚洲,欧美精品.| 午夜福利成人在线免费观看| 国产爱豆传媒在线观看| 欧美在线一区亚洲| 国产1区2区3区精品| 18禁国产床啪视频网站| 99热这里只有精品一区 | 观看美女的网站| 免费一级毛片在线播放高清视频| 国产精品久久久人人做人人爽| 在线看三级毛片| 亚洲精品在线美女| 亚洲欧美精品综合久久99| 亚洲av电影不卡..在线观看| 12—13女人毛片做爰片一| 亚洲欧美日韩卡通动漫| 男女那种视频在线观看| 午夜福利欧美成人| 给我免费播放毛片高清在线观看| 国产97色在线日韩免费| 成年版毛片免费区| 亚洲av电影在线进入| 国产激情久久老熟女| 国内精品美女久久久久久| 亚洲欧美日韩卡通动漫| 一区二区三区国产精品乱码| 美女免费视频网站| 精品欧美国产一区二区三| 亚洲专区字幕在线| 国产免费av片在线观看野外av| 午夜精品久久久久久毛片777| 91九色精品人成在线观看| 午夜a级毛片| 女警被强在线播放| h日本视频在线播放| 在线观看美女被高潮喷水网站 | 色噜噜av男人的天堂激情| 别揉我奶头~嗯~啊~动态视频| 曰老女人黄片| 亚洲av日韩精品久久久久久密| 日本在线视频免费播放| 国产av在哪里看| 丝袜人妻中文字幕| 激情在线观看视频在线高清| 成人特级av手机在线观看| 久久久久精品国产欧美久久久| 18禁观看日本| 99久久无色码亚洲精品果冻| 欧美乱码精品一区二区三区| 18禁国产床啪视频网站| 性欧美人与动物交配| 免费在线观看影片大全网站| 性色av乱码一区二区三区2| 国产欧美日韩精品一区二区| 国内揄拍国产精品人妻在线| 国产亚洲精品久久久com| 免费无遮挡裸体视频| 国产精品九九99| 中出人妻视频一区二区| 身体一侧抽搐| 免费看十八禁软件| 白带黄色成豆腐渣| 国产成人精品无人区| 亚洲午夜理论影院| 国产三级中文精品| 久久久国产成人免费| 99视频精品全部免费 在线 | 动漫黄色视频在线观看| 欧美黄色片欧美黄色片| 免费看日本二区| 欧美精品啪啪一区二区三区| 成人特级av手机在线观看| 国产在线精品亚洲第一网站| 麻豆成人av在线观看| 亚洲精品美女久久久久99蜜臀| 校园春色视频在线观看| 啦啦啦免费观看视频1| 少妇的丰满在线观看| 无遮挡黄片免费观看| 欧美色欧美亚洲另类二区| 悠悠久久av| 亚洲欧美日韩高清专用| 久久精品国产综合久久久| 丁香欧美五月| 亚洲色图 男人天堂 中文字幕| 老司机在亚洲福利影院| 在线永久观看黄色视频| 麻豆成人午夜福利视频| 国产精品国产高清国产av| 久久中文看片网| av片东京热男人的天堂| 亚洲色图av天堂| 美女免费视频网站| 国产成人精品无人区| 亚洲欧洲精品一区二区精品久久久| 99精品在免费线老司机午夜| 神马国产精品三级电影在线观看| 嫁个100分男人电影在线观看| 国产精品乱码一区二三区的特点| 最近视频中文字幕2019在线8| 免费观看精品视频网站| 免费电影在线观看免费观看| 欧洲精品卡2卡3卡4卡5卡区| 搡老岳熟女国产| 国产亚洲欧美98| 波多野结衣高清无吗| 最近在线观看免费完整版| 中文亚洲av片在线观看爽| 日本 欧美在线| 欧美日韩瑟瑟在线播放| 免费大片18禁| 亚洲av成人一区二区三| 久久香蕉国产精品| 免费在线观看日本一区| 亚洲av免费在线观看| 国产av一区在线观看免费| 国产一区二区在线观看日韩 | 国产高清有码在线观看视频| 亚洲无线观看免费| 亚洲精品国产精品久久久不卡| xxx96com| 免费电影在线观看免费观看| 欧美国产日韩亚洲一区| 热99在线观看视频| 成人三级做爰电影| 国产又色又爽无遮挡免费看| 美女扒开内裤让男人捅视频| 丁香欧美五月| 又爽又黄无遮挡网站| 999久久久精品免费观看国产| 成人av一区二区三区在线看| 欧美xxxx黑人xx丫x性爽| 少妇熟女aⅴ在线视频| 亚洲中文av在线| 久久热在线av| 精品国产美女av久久久久小说| 国产精品久久电影中文字幕| 亚洲国产精品sss在线观看| 桃色一区二区三区在线观看| 国产精品久久久久久亚洲av鲁大| 亚洲人成电影免费在线| 人妻夜夜爽99麻豆av| 久久久色成人| 亚洲一区二区三区色噜噜| 久久性视频一级片| 夜夜看夜夜爽夜夜摸| 男人的好看免费观看在线视频| 在线观看66精品国产| a级毛片在线看网站| 黄色日韩在线| 日本 欧美在线| 小说图片视频综合网站| 欧美xxxx黑人xx丫x性爽| 亚洲欧美精品综合一区二区三区| 欧美黑人巨大hd| 黄色成人免费大全| 中亚洲国语对白在线视频| 变态另类成人亚洲欧美熟女| 性色avwww在线观看| 99视频精品全部免费 在线 | 色综合婷婷激情| 国产一区二区三区在线臀色熟女| 久久久久久九九精品二区国产| 香蕉丝袜av| 亚洲成av人片在线播放无| 欧美性猛交黑人性爽| 国产精品电影一区二区三区| 中文字幕人妻丝袜一区二区| 免费观看精品视频网站| 亚洲av日韩精品久久久久久密| 在线国产一区二区在线| 久久中文字幕一级| 一级毛片高清免费大全| 亚洲av成人av| 精品久久久久久久久久免费视频| 国产欧美日韩一区二区三| 国产综合懂色| 国产高清视频在线观看网站| 91老司机精品| 床上黄色一级片| 欧美高清成人免费视频www| 叶爱在线成人免费视频播放| 亚洲无线观看免费| 我要搜黄色片| 国产精品一区二区三区四区免费观看 | 九九久久精品国产亚洲av麻豆 | 国产又黄又爽又无遮挡在线| 美女高潮喷水抽搐中文字幕| 国产成人av激情在线播放| 哪里可以看免费的av片| 天堂av国产一区二区熟女人妻| 色综合站精品国产| netflix在线观看网站| 午夜亚洲福利在线播放| 日韩精品中文字幕看吧| 久久久久国内视频| 国产精品亚洲一级av第二区| 亚洲欧美日韩高清专用| 日韩精品青青久久久久久| 97超级碰碰碰精品色视频在线观看| 免费av毛片视频| 午夜日韩欧美国产| 高清毛片免费观看视频网站| 女人高潮潮喷娇喘18禁视频| 两个人看的免费小视频| 制服丝袜大香蕉在线| 不卡一级毛片| 老司机福利观看| 女生性感内裤真人,穿戴方法视频| 曰老女人黄片| 99热6这里只有精品| 91麻豆精品激情在线观看国产| 亚洲无线观看免费| 男人和女人高潮做爰伦理| 巨乳人妻的诱惑在线观看| 成人欧美大片| 18美女黄网站色大片免费观看| 国产av在哪里看| 亚洲人成网站高清观看| 成人午夜高清在线视频| 伊人久久大香线蕉亚洲五| 国产高清videossex| 国产精品女同一区二区软件 | 国产成人aa在线观看| 久久99热这里只有精品18| 国产亚洲精品综合一区在线观看| 黄片大片在线免费观看| 啦啦啦免费观看视频1| 久久热在线av| 亚洲无线在线观看| 在线十欧美十亚洲十日本专区| 免费无遮挡裸体视频| 亚洲aⅴ乱码一区二区在线播放| 黄色成人免费大全| 桃红色精品国产亚洲av| 女同久久另类99精品国产91| 18禁裸乳无遮挡免费网站照片| 国产精品1区2区在线观看.| 99久久无色码亚洲精品果冻| 日韩中文字幕欧美一区二区| 亚洲欧美日韩高清专用| 神马国产精品三级电影在线观看| www国产在线视频色| 久久亚洲精品不卡| 久久人人精品亚洲av| 日本撒尿小便嘘嘘汇集6| av国产免费在线观看| 夜夜夜夜夜久久久久| 18禁黄网站禁片免费观看直播| 色综合欧美亚洲国产小说| 悠悠久久av| 熟女人妻精品中文字幕| 村上凉子中文字幕在线| 亚洲国产中文字幕在线视频| 国产精品久久久人人做人人爽| 91老司机精品| 午夜福利免费观看在线| 两性午夜刺激爽爽歪歪视频在线观看| 亚洲五月天丁香| 老司机深夜福利视频在线观看| 国产精品综合久久久久久久免费| 一本久久中文字幕| 一区二区三区高清视频在线| 国产视频内射| 午夜a级毛片| 国产成人av激情在线播放| or卡值多少钱| 婷婷精品国产亚洲av|