• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    認(rèn)知診斷測驗的自動組卷方法*

    2023-02-27 14:46:56馬大付秦春影楊建芹徐新愛喻曉鋒
    心理學(xué)探新 2023年6期
    關(guān)鍵詞:信息量題庫測驗

    馬大付,秦春影,楊建芹,徐新愛,喻曉鋒

    (1.江西師范大學(xué)心理學(xué)院,南昌 330022;2.山東省濟南市教育教學(xué)研究院,濟南 250002;3.南昌師范學(xué)院數(shù)學(xué)與統(tǒng)計學(xué)院,南昌 330032)

    1 前言

    測驗項目是心理測量學(xué)中對被試潛在特質(zhì)進行間接測量的工具。根據(jù)被試在項目上的作答結(jié)果,選取合適的模型與分析方法可實現(xiàn)對被試潛在特質(zhì)的定量化評估(Rupp et al.,2010)。組卷是指從一個已校準(zhǔn)的題庫中選取一組同時滿足統(tǒng)計(如測驗長度和精度)與非統(tǒng)計約束(如內(nèi)容平衡,答案平衡)的項目(Becker et al.,2021;Henson &Douglas,2005)的過程。如不考慮任何約束,從題庫中組卷的數(shù)量將是巨大的,例如在一個包含20題的題庫中選擇其中10題進行組卷,共有184756種不同的組卷情況(Finkelman et al.,2009)。而隨著題庫項目數(shù)量的增加和試題管理約束的復(fù)雜化,人工組裝高質(zhì)量測驗成為一項艱巨的任務(wù)(Lin et al.,2019)。自動測驗組卷(automated test assembly,ATA;Finkelman et al.,2020)通過將組卷算法與計算機程序相結(jié)合,使根據(jù)測驗需求進行自動組卷成為可能。

    認(rèn)知診斷評估(cognitive diagnosis assessment,CDA;von Davier &Lee,2019)作為新一代的心理測量理論,與項目反應(yīng)理論(item response theory,IRT)關(guān)注被試的連續(xù)能力(θ)不同,其更關(guān)注對被試離散知識狀態(tài)(knowledge state,KS)即屬性的測量,這使得二者在構(gòu)建測驗的方法上不盡相同。首先,由于θ的連續(xù)性,IRT自動測驗組卷(IRT-ATA)常采用費舍爾信息量(fisher information,FI)作為測驗組卷的方法。測驗信息量為測驗項目信息量的和(羅照盛,2012),測驗信息量越高,測量誤差越小,測驗信度越高。而KS的離散性不滿足FI的對數(shù)似然函數(shù)具有二階導(dǎo)數(shù)的必要假設(shè)(Finkelman et al.,2009),因此基于FI的組卷方法無法直接推廣至CD-ATA(Finkelman et al.,2009;Henson &Douglas,2005);其次,二者組卷的復(fù)雜程度不同。IRT-ATA與項目參數(shù)、被試θ有關(guān),而CD-ATA則受認(rèn)知診斷模型(cognitive diagnosis model,CDM)、項目q向量、項目參數(shù)與KS分布等因素的影響(de la Torre,2011;Song &Wang,2019),并且診斷測驗項目q向量之間存在復(fù)雜的交互作用(丁樹良 等,2010;Lin et al.,2017),這使得即使測驗項目的參數(shù)相同,q向量的不同組合也會產(chǎn)生不同的診斷結(jié)果。最后,即使CD-ATA成功組卷,也不存在精確的數(shù)學(xué)表達(dá)式能夠描述測試項目與診斷準(zhǔn)確性之間的關(guān)系(Lin et al.,2017;Wang et al.,2019),從而無法探知組卷結(jié)果的優(yōu)劣??傊?因認(rèn)知診斷測量對象的獨特性,使得CD-ATA較IRT-ATA而言更加復(fù)雜。

    為將診斷測驗推向?qū)嶋H應(yīng)用,國內(nèi)外研究者針對CD-ATA問題提出多種組卷方法。Lin等人(2017)將CD-ATA方法分為:基于指標(biāo)組卷與基于模擬組卷兩類,但卻并未對各類組卷方法的發(fā)展脈絡(luò)、組卷思想等進行更深入的探討。文章通過閱讀相關(guān)CD-ATA文獻(xiàn),結(jié)合國內(nèi)外最新研究發(fā)現(xiàn)CD-ATA方法在整體上有著清晰的發(fā)展脈絡(luò),不同方法在組卷思想上存在諸多共性之處,且由于技術(shù)的發(fā)展,當(dāng)前研究越來越面向?qū)嶋H應(yīng)用,出現(xiàn)第三類組卷方法。起初,為沿用IRT-ATA使用FI組卷的方式,研究者提出基于信息量指標(biāo)的組卷方法,并開發(fā)多種適用于CDA的信息量指標(biāo)(汪文義 等,2018;Henson et al.,2008;Henson &Douglas,2005;Song &Wang,2019)。此后,基于作答模擬的方法被提出,該類方法在組卷前模擬一批作答數(shù)據(jù),基于該批數(shù)據(jù),使用啟發(fā)式算法(heuristic algorithm)尋求合適的測驗項目(Henson &Douglas,2005)。當(dāng)前,研究者越發(fā)關(guān)注診斷測驗的實際應(yīng)用,在組卷時考慮更多與實際測驗有關(guān)的信息,開發(fā)基于項目多信息的組卷方法。因此,文章擬對現(xiàn)有的CD-ATA方法進行論述,首先介紹組卷方法的發(fā)展脈絡(luò)及其組卷思想,闡述不同方法之間的聯(lián)系。其次對比不同類組卷方法之間的組卷思路、方法特征、優(yōu)缺點,為使用者在方法選用上提供參考;最后,在現(xiàn)有組卷方法的基礎(chǔ)上進行研究展望。

    2 認(rèn)知診斷測驗自動組卷方法

    2.1 基于信息量指標(biāo)的組卷方法

    信息量指標(biāo)組卷方法試圖沿用IRT基于信息量函數(shù)的組卷方式,因此定義CDA信息量指標(biāo)是研究者開發(fā)組卷方法時首要解決的問題。根據(jù)CDA信息量指標(biāo)能否直接反映項目的分類準(zhǔn)確性,可將其分為間接信息量指標(biāo)(下稱間接指標(biāo))與直接信息量指標(biāo)(下稱直接指標(biāo))兩類。間接指標(biāo)采用項目對不同KS的區(qū)分能力作為項目的信息量,直接指標(biāo)使用項目的期望分類準(zhǔn)確率表示項目的信息量。上述兩類指標(biāo)均采用程序性組卷的方式,組卷時首先選擇題庫中信息量最高的項目進入測驗,而后根據(jù)約束條件(如屬性最少測量次數(shù))篩選出題庫中滿足約束的項目,選取剩余題庫中最高信息量的項目進入測驗,以此類推,直至達(dá)到組卷長度。

    2.1.1 間接信息量指標(biāo)

    (1)CDI和ADI

    相對熵信息量(Kullback-Leibler information,KLI;Chang &Ying,1996)可用于描述兩個概率分布的差異而不假設(shè)分布連續(xù)。項目j上任意兩種知識狀態(tài)αu與αv之間的反應(yīng)概率分布距離可以描述為:

    (1)

    屬性相互獨立時,Djuv為一個T*T(T=2K)的D矩陣,K為屬性數(shù)量。Henson和Douglas(2005)基于D矩陣提出認(rèn)知診斷指標(biāo)(cognitive diagnosis index,CDI):

    (2)

    其中,h(au,av)-1為au與av之間的海明距離倒數(shù)。CDIj體現(xiàn)了項目j對所有KS的整體區(qū)分能力,項目CDI值越高表示項目的區(qū)分能力越強。

    Henson等人(2008)認(rèn)為CDI無法體現(xiàn)項目對單個屬性的區(qū)分能力,只有當(dāng)項目考察了某些屬性,該項目才在該屬性上存在區(qū)分能力,且當(dāng)某些KS對之間的差異較大時,容易對項目的區(qū)分能力造成“虛高”的假象。因此可不必考慮差異較大的KS對,僅考慮在單個屬性上存在差異的KS對?;诖硕x了屬性層面的區(qū)分度指標(biāo)(attribute diagnosis index,ADI):

    (3)

    其中qjk∈{0,1},0表示項目未考察該屬性,1表示考察。ADI指標(biāo)反映了項目在屬性層面(attribute-specific)上的區(qū)分能力。

    測驗水平的CDI與ADI可表示為:

    (4)

    (5)

    使用CDI與ADI指標(biāo)組卷時,通常設(shè)置目標(biāo)函數(shù)為Maximize(CDI),Maximize(ADI),即從題庫中選擇能使CDI與ADI和最大的項目組合,該項目組合有著最大區(qū)分能力。Zeng等人(2010)根據(jù)可達(dá)矩陣能夠提高診斷測驗準(zhǔn)確性的原理,提出在使用CDI編制測驗時添加可達(dá)矩陣,該方法提高了CDI組卷的診斷準(zhǔn)確性。

    (2)MCDI和 MADI

    Kuo等人(2016)對CDI與ADI展開修正,在原有指標(biāo)的基礎(chǔ)上增加屬性層級結(jié)構(gòu)權(quán)重與屬性最少測量次數(shù)權(quán)重。校正后的MCDI與MADI(modified CDI;modified ADI)為:

    (6)

    (7)

    (8)

    (3)RCDI和 RADI

    2.1.2 直接信息量指標(biāo)

    基于間接指標(biāo)的組卷結(jié)果僅能表明測驗項目具有較高的區(qū)分能力和可能具有較高的診斷準(zhǔn)確率,卻無法直接判斷組卷結(jié)果的屬性或模式判準(zhǔn)情況。汪文義等人(2018)以及Song和Wang(2019)提出一種可在無作答數(shù)據(jù)的情況下對項目各屬性分類準(zhǔn)確性進行預(yù)測的直接指標(biāo):期望屬性分類準(zhǔn)確率指標(biāo)(expected attribute match rate,EAMR):

    (9)

    (10)

    EAMRjk表示掌握屬性k的被試在項目上正確作答并最終分類正確與未掌握屬性k的被試在項目上錯誤作答并最終分類正確的概率之和。當(dāng)屬性k未被項目考察時,項目對該屬性的期望正確分類率為0.5。項目j的EAMRj為各屬性的EAMRjk之和。

    同樣的,測驗水平的EAMR為:

    (11)

    2.1.3 信息量指標(biāo)優(yōu)化算法組卷

    除上述兩類信息量指標(biāo)方法外,Finkelman等人(2010)認(rèn)為,在定義CDA項目信息量指標(biāo)后,CD-ATA應(yīng)回歸IRT-ATA使用優(yōu)化算法的整體性組卷方式,優(yōu)化算法的組卷結(jié)果可被證明是滿足條件下的最優(yōu)信息量指標(biāo)項目組合。

    (1)0-1整數(shù)線性規(guī)劃組卷

    0-1整數(shù)線性規(guī)劃法(binary integer liner programming,BILP)常用于在給定目標(biāo)函數(shù)與多個約束條件的情況下,優(yōu)化目標(biāo)函數(shù)值。Finkelman等人(2010)將BILP用于CD-ATA。以ADI指標(biāo)為例(也可使用其他指標(biāo)),設(shè)定目標(biāo)函數(shù):

    (12)

    (2)混合整數(shù)線性規(guī)劃組卷

    混合整數(shù)線性規(guī)劃方法(Mix Integer Linear Programming,MILP)的目標(biāo)函數(shù)中既包括整數(shù)型決定變量,也包括連續(xù)型決定變量。Wang等人(2021)將該方法與項目D矩陣相結(jié)合,將其用于CD-ATA。該方法首先去除項目D矩陣中對角線為0的元素,后將D矩陣轉(zhuǎn)換為長度為T-1的矩陣,再將其轉(zhuǎn)換為列向量后按行拼接。經(jīng)上述三步處理,將D矩陣轉(zhuǎn)換為行為T(T-1),列為1的項目列矩陣。將題庫中所有項目列向量按列合并為一個大小為行為T(T-1),列為M的題庫矩陣:V矩陣。設(shè)置目標(biāo)函數(shù)為:

    min(f1x+f2y),

    當(dāng)不考慮f2y部分時,MILP方法與BILP方法類似,兩者均是基于項目的KLI,不同的是MILP基于項目的D矩陣,而BILP則是基于項目的CDI值。當(dāng)考慮f2y部分時,相較于BILP方法,MILP方法保證了對每對KS進行足夠的區(qū)分度測量,即區(qū)分度平衡。

    2.1.4 基于信息量指標(biāo)的組卷方法評價

    基于信息量指標(biāo)的組卷方法的結(jié)果與所定義的CDA信息量指標(biāo)密切相關(guān),由于屬性的離散性,現(xiàn)有研究在定義CDA信息量指標(biāo)時始終沿用一種如何將不同KS充分區(qū)分的思路。在得到信息量指標(biāo)后,根據(jù)測驗信息量最大化的組卷思想進行確定性組卷,即在確定題庫項目、組卷指標(biāo)、測驗要求后,任一基于信息量指標(biāo)的組卷方法從題庫中所選擇的項目是確定的。因僅進行一次組卷,而未與其他可能的組卷結(jié)果進行比較,這導(dǎo)致其組卷結(jié)果未必是全局最優(yōu)。

    2.2 基于作答模擬的組卷方法

    該類方法通過事先模擬被試在項目上的作答數(shù)據(jù),通過設(shè)立目標(biāo)函數(shù),將CD-ATA問題轉(zhuǎn)換為在已有數(shù)據(jù)上尋求一組最符合目標(biāo)函數(shù)的項目組合。由于能為診斷目的設(shè)立不同的目標(biāo)函數(shù),因此相較指標(biāo)組卷方法,作答模擬組卷方法靈活度更高(Finkelman et al.,2009)。

    2.2.1 遺傳算法組卷

    遺傳算法(generic algorithm,GA)模擬自然界優(yōu)勝劣汰的進化過程:具有更強適應(yīng)能力的個體將在個體競爭中存活,并產(chǎn)生具有更強生存能力的后代。Finkelman等人(2009)將該方法用于CD-ATA。GA將題庫中測驗項目組合被視為單個個體,通過比較不同個體符合目標(biāo)函數(shù)的程度,選擇當(dāng)前數(shù)據(jù)下接近最優(yōu)的測驗組合。GA的具體組卷過程包括以下幾步:①產(chǎn)生一批包含S組初始項目的測驗即父代,每個測驗中包含數(shù)量為J的項目組合,初始項目組合可隨機產(chǎn)生也可通過使用CDI的組卷方式產(chǎn)生;②使用“變異”策略,隨機改變每個初始解中的一個項目,產(chǎn)生S*J個子代;③評估包含父代在內(nèi)的S*(J+1)組解符合目標(biāo)函數(shù)的程度;④根據(jù)③步的評估結(jié)果,選擇最符合目標(biāo)函數(shù)的前S組測驗項目組合進入下一輪迭代;⑤重復(fù)步驟②-④,直至達(dá)到最大迭代次數(shù);⑥選擇最后一次迭代中最優(yōu)項目組合做為最優(yōu)測驗。

    為使組卷結(jié)果更加符合實際,Finkelman等人(2009)提出三種目標(biāo)函數(shù):

    (13)

    (14)

    (15)

    2.2.2 蟻群算法組卷

    蟻群算法(ant colony optimization,ACO)與GA類似,均屬于求取目標(biāo)函數(shù)的啟發(fā)式算法。Lin等人(2017)將ACO用于CD-ATA,提出基于蟻群算法的測驗構(gòu)建方法(test construction method based on ant colony optimization,ACO-TC),該方法將CD-ATA視為一種路徑優(yōu)化問題,題庫中每一種測驗項目的組合均被認(rèn)為是一條路徑,通過建立目標(biāo)函數(shù),在所有路徑中尋求接近最優(yōu)解的路徑。

    ACO-TC過程大體上可分為三步:局部組卷、局部信息量更新與全局信息素更新。局部組卷時,單個螞蟻(a=1,2,…,A)從剩余題庫中選擇滿足條件約束的項目j的后驗概率可為:

    (16)

    其中T為剩余題庫中滿足約束的項目集合,τj為項目的信息素濃度(初始組卷時設(shè)置τ0=1),ηa與γa分別為項目信息量指標(biāo)與項目滿足測驗約束程度的權(quán)重,為提高組卷過程中的適應(yīng)性,可設(shè)置ηa為多種項目信息量指標(biāo)的組合。當(dāng)螞蟻a完成組卷后對其所選中的項目進行局部信息量更新:

    τj=(1-ρ)τj+ρτ0,

    (17)

    公式(17)中的ρ∈(0,1)表示信息素蒸發(fā)速率。當(dāng)所有螞蟻均完成組卷后,可設(shè)置公式(13)、公式(14)、公式(15)為目標(biāo)函數(shù),評估所有螞蟻的組卷結(jié)果,最優(yōu)項目組的目標(biāo)函數(shù)可記為fbest,最差組記為fworst。后對fbest中的項目進行全局信息量更新:

    τj=(1-ρ)τj+ρΔτ,

    (18)

    2.2.3 基于作答模擬的組卷方法評價

    作答模擬組卷方法依靠自身不斷的循環(huán)迭代,每一次的組卷結(jié)果都建立在上一次組卷結(jié)果的基礎(chǔ)之上,尋求更優(yōu)于上一次組卷結(jié)果的題目組合,當(dāng)組卷結(jié)果不再變化時,則表示尋得當(dāng)前組卷方法下的最優(yōu)題目組合。這種循環(huán)迭代的組卷方式,提高了找到全局最優(yōu)解的可能性。但由于其需要大量的迭代計算,需要耗費的組卷時間也相對更長。

    2.3 基于項目多信息的組卷方法

    在實際測驗中,測驗的項目構(gòu)成、測驗形式以及測驗的時限要求等都是測驗開發(fā)者應(yīng)當(dāng)考慮的問題。為使組卷結(jié)果與實際測驗要求更加一致,研究者進一步考慮更多可利用的項目信息,開發(fā)得到基于項目多信息的組卷方法。

    2.3.1 基于多選項項目的組卷方法

    現(xiàn)有研究對診斷數(shù)據(jù)的處理往往采用二分法(正確作答與錯誤作答兩類),多項選擇認(rèn)知診斷模型(multiple choice CDM,MC-CDM)認(rèn)為錯誤選項同樣包含著屬性的分類信息,這些信息同樣可被可用于KS判別(Henson et al.,2018)。Henson等人(2018)將DINA模型下的區(qū)分度指標(biāo):1-sj-gj,用于MC-CDM,提出一種廣義的區(qū)分度指標(biāo)(discrimination index,DI):

    (19)

    Hj表示項目j的選項數(shù)量,P(Xj=h│α)表示α的被試選擇選項h的概率,Pjh(Xj=h|α-k)表示與α僅在第k個屬性上存在差異的KS選擇選項h的概率。DIjk定義了單個項目對屬性k的區(qū)分能力。在使用DI組卷時,采用與CDI相同的指標(biāo)線性求和的方式,測驗水平的DI為:

    (20)

    2.3.2 基于反應(yīng)時的組卷方法

    Finkelman等人(2020)認(rèn)為,盡管當(dāng)前CD-ATA已能夠獲得豐富的信息,但還要保證被試所花的時間是可接受的,許多測驗也含有一定的時限要求,因此其將反應(yīng)時信息融入CD-ATA,作為測驗組卷的約束條件,提出反應(yīng)時組卷(response time assembly,RTA)?;趘an der Linden(2006)提出的項目反應(yīng)時模型:

    (21)

    (22)

    (23)

    (24)

    其中ζq,ζr與ζs分別表示q,r與s的目標(biāo)條件,δs,δs與δs分別表示q,r與s的可容忍殘差。在CD-ATA組卷時,RTA方法與BP相同,組卷時將反應(yīng)時信息作為一種額外的約束條件,使用LP求解器進行求解。

    2.3.3 基于項目多信息的組卷方法評價

    基于項目多信息的組卷方法在測驗形式、測驗要求等方面上更加貼合于實際情況,在組卷時考慮更多對測驗結(jié)果可能產(chǎn)生影響的因素,并將其納入組卷過程。但其對項目本身的要求更高,如多選項項目組卷方法需知道選擇錯誤選項的概率,反應(yīng)時組卷方法需知道作答項目的時間分布情況。

    3 組卷方法比較與選用

    3.1 組卷方法比較

    文章已對現(xiàn)有的十多種CD-ATA方法進行介紹。接下來進一步對不同組卷方法進行比較,為實際使用者以及后續(xù)研究者在選用方法與開發(fā)新方法提供思路。表1詳細(xì)呈現(xiàn)了不同組卷方法的分類情況、方法特征及優(yōu)缺點。

    表1 不同CD-ATA方法對比

    從方法的大類上可以看出:①信息量指標(biāo)組卷方法沿用IRT-ATA使用FI線性和的組卷思想,根據(jù)屬性離散的特點,在CDA中尋找Fisher信息量的替代品。在組卷時通常設(shè)置滿足約束條件的最大測驗信息量項目組合,為確定性組卷方法。然而,該類組卷方法忽視了CD-ATA與IRT-ATA的不同,未考慮項目q向量之間復(fù)雜的交互作用,缺乏靈活性。②與信息量指標(biāo)組卷不同的是,作答模擬組卷方法選擇項目時是非確定性的,題庫中的每個項目都有被選入測驗的概率,為概率性組卷方法。通過不斷地迭代更新,每次迭代后的結(jié)果均優(yōu)于上一次迭代,最終得到最優(yōu)項目組合。相較于信息量指標(biāo)組卷方法,模擬作答組卷在組卷時嘗試的項目組合類型更多(信息量指標(biāo)組卷僅嘗試一種項目組合)。但由于其算法復(fù)雜,計算量大,導(dǎo)致其組卷效率較低。③項目多信息組卷對項目信息了解程度要求高,且在組卷時部分依賴指標(biāo)組卷的方法,因此也部分具有指標(biāo)組卷存在的缺點。

    3.2 組卷方法選用

    通過對不同方法的比較,文章從組卷精度與組卷效率兩種角度,為實際使用者在選用組卷方法上提供建議。

    (1)組卷精度,診斷測驗的首要目的是為獲得較高的診斷精度(Rupp et al.,2010),盡管不同組卷方法存在一定的精度差異,但相較于隨機組卷,本文所提及的組卷方法在屬性數(shù)量較少的情況下均能夠獲得較高的判準(zhǔn)精度。但屬性數(shù)量較多時,指標(biāo)組卷方法的判準(zhǔn)率將迅速下降(Henson &Douglas,2005;唐小娟 等,2013),此時應(yīng)當(dāng)選用模擬組卷方法。另外,當(dāng)組卷的目的是為了獲得特定屬性精度的測驗時(Finkelman et al.,2009;Lin et al.,2017),指標(biāo)組卷方法將無法適用,此時僅能通過模擬組卷。

    (2)組卷效率,除組卷精度外,組卷效率也是施測人員需要考慮的問題(Finkelman et al.,2009;Lin et al.,2017)。模擬組卷因其在組卷時需不斷地迭代更新項目組合,計算要求高,組卷時間長,組卷效率低。其他方法僅需在前期計算項目信息量指標(biāo)時耗費一定的時間(郭磊 等,2016),實際組卷的時間較短,而且由于指標(biāo)組卷均屬于確定性算法,因此僅需計算一次項目信息量,即可多次運用。因此,如希望在短時間內(nèi)得到組卷結(jié)果,可選擇基于指標(biāo)組卷的方式。

    4 研究展望

    盡管現(xiàn)有的CD-ATA方法已達(dá)十余種,但面對實際測驗的多樣性,有關(guān)組卷方法的研究與應(yīng)用均有待進一步拓展,文章在已有方法基礎(chǔ)上從理論性研究和實際應(yīng)用角度出發(fā)提出幾點展望。

    融合測驗設(shè)計,基于信息量指標(biāo)的組卷方法僅關(guān)注于單個項目的q向量與項目參數(shù),未考慮診斷測驗的整體性,忽略測驗Q向量在診斷測驗中起到的重要作用。目前已有部分關(guān)于測驗構(gòu)建策略的研究(唐小娟 等,2022),而僅有少數(shù)組卷研究探討過將信息量指標(biāo)組卷方法與測驗構(gòu)建策略進行融合,融合測驗構(gòu)建策略后的結(jié)果也表明,信息量指標(biāo)組卷方法的組卷精度可獲得大幅增長(Kuo et al.,2016;Su &Chu,2021;Zeng et al.,2010)。未來可進一步探討將更多診斷測驗設(shè)計與信息量指標(biāo)組卷方法相互融合,在保證信息量指標(biāo)組卷效率的基礎(chǔ)上,進一步提高其組卷精度。

    非參數(shù)組卷,當(dāng)前CD-ATA方法均是在假定項目參數(shù)已知的情況下進行,而實際情況中,項目的實際參數(shù)是難以獲得的。尤其是對于一些具有較復(fù)雜的診斷模型而言,準(zhǔn)確的項目參數(shù)估計依賴于大量被試的作答反應(yīng)。而當(dāng)項目參數(shù)穩(wěn)健性難以保證的情況下(Veldkamp et al.,2013),使用非參數(shù)組卷方法則勢在必行,未來可開發(fā)更多非參數(shù)組卷方法。

    平行測驗組卷,平行測驗(parallel test)是一種常用的實際測驗形式,而文章所介紹組卷方法均只針對于構(gòu)建單份測驗。在查閱文獻(xiàn)后,發(fā)現(xiàn)當(dāng)前有關(guān)認(rèn)知診斷平行試卷的構(gòu)建方法僅有少數(shù)研究者(Li et al.,2021;Lin et al.,2019)有過相關(guān)探討。未來也可開發(fā)同時能構(gòu)建多份平行測驗的CD-ATA方法。

    開發(fā)組卷軟件,盡管當(dāng)前已開發(fā)了多種CD-ATA方法,但這些方法并不適用于沒有編程基礎(chǔ)的使用者,這也在一定程度上阻礙了組卷方法的實際應(yīng)用。目前,有關(guān)研究者已將IRT-ATA組卷方法開發(fā)為相應(yīng)的軟件與開源R包(Becker et al.,2021;Shao et al.,2020),使用者僅需少量操作便可進行組卷,極大的簡化了組卷過程,而CD-ATA中目前僅可通過使用R中的CDM包計算CDI與DI指標(biāo)(George et al.,2016;Shi et al.,2021),尚未見完整的組卷R包或?qū)I(yè)組卷軟件,未來可開發(fā)相應(yīng)診斷組卷軟件。

    開展實證研究,當(dāng)前CD-ATA的實證研究相對較少。這一方面是由于國內(nèi)外診斷測驗的研究尚處于起步階段,缺少系統(tǒng)性的測驗開發(fā)、題庫建設(shè)的過程,這在一定程度上阻礙了CD-ATA的實際應(yīng)用??紤]到CDA在教學(xué)評估過程中的優(yōu)良特性、未來可開發(fā)系統(tǒng)性的診斷測驗題庫,開展CD-ATA的實證研究。

    猜你喜歡
    信息量題庫測驗
    “勾股定理”優(yōu)題庫
    “軸對稱”優(yōu)題庫
    “軸對稱”優(yōu)題庫
    “整式的乘法與因式分解”優(yōu)題庫
    基于信息理論的交通信息量度量
    《新年大測驗》大揭榜
    趣味(語文)(2018年7期)2018-06-26 08:13:48
    兩個處理t測驗與F測驗的數(shù)學(xué)關(guān)系
    考試周刊(2016年88期)2016-11-24 13:30:50
    如何增加地方電視臺時政新聞的信息量
    新聞傳播(2016年11期)2016-07-10 12:04:01
    基于多尺度互信息量的數(shù)字視頻幀篡改檢測
    計算機工程(2015年4期)2015-07-05 08:29:20
    你知道嗎?
    噜噜噜噜噜久久久久久91| 国产人伦9x9x在线观看| 欧美日韩国产亚洲二区| 嫩草影视91久久| 国产精品久久久久久精品电影| 听说在线观看完整版免费高清| 国产成人影院久久av| 成熟少妇高潮喷水视频| 一个人看视频在线观看www免费 | 日本 av在线| 亚洲狠狠婷婷综合久久图片| 免费在线观看亚洲国产| 中文资源天堂在线| 我的老师免费观看完整版| 日韩欧美一区二区三区在线观看| 最近最新免费中文字幕在线| 日本三级黄在线观看| 成人永久免费在线观看视频| 午夜影院日韩av| 亚洲国产欧美人成| 午夜激情福利司机影院| 国产午夜精品论理片| ponron亚洲| 亚洲av免费在线观看| 亚洲精华国产精华精| 狂野欧美激情性xxxx| 一区二区三区国产精品乱码| 日韩欧美 国产精品| 国产成年人精品一区二区| 久久久久九九精品影院| 亚洲欧洲精品一区二区精品久久久| 欧美激情久久久久久爽电影| 国产伦精品一区二区三区视频9 | 亚洲人与动物交配视频| 国产成人精品久久二区二区免费| 午夜福利高清视频| 日韩三级视频一区二区三区| 国产精品美女特级片免费视频播放器 | 成人特级黄色片久久久久久久| 一区福利在线观看| 中亚洲国语对白在线视频| 国产精品久久电影中文字幕| 熟女电影av网| 久久精品国产清高在天天线| 这个男人来自地球电影免费观看| 黑人欧美特级aaaaaa片| 免费在线观看影片大全网站| 黄色 视频免费看| 99久久精品热视频| 高清毛片免费观看视频网站| 精品国内亚洲2022精品成人| 精品电影一区二区在线| 亚洲狠狠婷婷综合久久图片| 免费在线观看成人毛片| 小蜜桃在线观看免费完整版高清| 一区二区三区高清视频在线| 90打野战视频偷拍视频| 91麻豆av在线| 激情在线观看视频在线高清| 久久久成人免费电影| 欧美zozozo另类| 久久久久国产一级毛片高清牌| 搡老熟女国产l中国老女人| 欧美一区二区精品小视频在线| 99精品欧美一区二区三区四区| 桃红色精品国产亚洲av| 国产精品一区二区免费欧美| ponron亚洲| 成年女人永久免费观看视频| 男人和女人高潮做爰伦理| 国产成人啪精品午夜网站| 岛国在线观看网站| 久久久成人免费电影| 久久精品91无色码中文字幕| 久久热在线av| 18禁观看日本| 九九热线精品视视频播放| 精品熟女少妇八av免费久了| 午夜日韩欧美国产| 美女免费视频网站| 欧美成人性av电影在线观看| www.熟女人妻精品国产| 精品一区二区三区视频在线观看免费| 女生性感内裤真人,穿戴方法视频| 国产欧美日韩一区二区精品| 亚洲午夜理论影院| 最好的美女福利视频网| 一个人免费在线观看的高清视频| 最新在线观看一区二区三区| 不卡av一区二区三区| av天堂在线播放| 听说在线观看完整版免费高清| 三级毛片av免费| 国产激情偷乱视频一区二区| 男女午夜视频在线观看| 亚洲av第一区精品v没综合| 久久精品国产99精品国产亚洲性色| 91九色精品人成在线观看| 久久国产乱子伦精品免费另类| 舔av片在线| 三级毛片av免费| 亚洲无线观看免费| 国产又色又爽无遮挡免费看| 十八禁人妻一区二区| 九色国产91popny在线| 国产亚洲精品久久久久久毛片| 免费电影在线观看免费观看| 日韩有码中文字幕| netflix在线观看网站| 波多野结衣高清无吗| 噜噜噜噜噜久久久久久91| 欧美中文日本在线观看视频| 亚洲色图av天堂| av欧美777| 国产成人精品无人区| 亚洲欧美精品综合久久99| www日本在线高清视频| 国产一区二区在线观看日韩 | 在线观看午夜福利视频| 99热这里只有是精品50| 日韩免费av在线播放| 成年女人永久免费观看视频| 91麻豆av在线| 国产一级毛片七仙女欲春2| 中文字幕人妻丝袜一区二区| 在线观看免费午夜福利视频| 天天一区二区日本电影三级| 国产不卡一卡二| 男女视频在线观看网站免费| 人妻丰满熟妇av一区二区三区| 悠悠久久av| 亚洲中文av在线| 久久这里只有精品19| 无限看片的www在线观看| 精华霜和精华液先用哪个| 99国产精品一区二区蜜桃av| 九色国产91popny在线| 亚洲成人久久性| 欧美日韩中文字幕国产精品一区二区三区| 精品一区二区三区四区五区乱码| 国内精品一区二区在线观看| 日本 av在线| 午夜福利免费观看在线| e午夜精品久久久久久久| 欧美绝顶高潮抽搐喷水| 在线免费观看的www视频| 别揉我奶头~嗯~啊~动态视频| 天堂av国产一区二区熟女人妻| 午夜免费成人在线视频| 精品久久久久久久末码| 国产 一区 欧美 日韩| 麻豆久久精品国产亚洲av| 国产黄a三级三级三级人| 国产日本99.免费观看| 欧美激情久久久久久爽电影| 色吧在线观看| 亚洲人与动物交配视频| 国产一区在线观看成人免费| 精品欧美国产一区二区三| 成人精品一区二区免费| 在线视频色国产色| 欧美黑人巨大hd| 黑人欧美特级aaaaaa片| 丁香欧美五月| 午夜精品在线福利| 韩国av一区二区三区四区| 搡老岳熟女国产| 这个男人来自地球电影免费观看| 欧美日本视频| 国产欧美日韩一区二区三| 久久久国产成人免费| 国产亚洲精品综合一区在线观看| 婷婷六月久久综合丁香| 一进一出抽搐动态| 亚洲色图av天堂| 长腿黑丝高跟| 99热这里只有精品一区 | 日日干狠狠操夜夜爽| 国产久久久一区二区三区| 身体一侧抽搐| 亚洲av熟女| 日韩欧美国产在线观看| 亚洲专区中文字幕在线| 中国美女看黄片| 99精品在免费线老司机午夜| 国产av不卡久久| 欧美色欧美亚洲另类二区| 国产精品国产高清国产av| 国产91精品成人一区二区三区| 别揉我奶头~嗯~啊~动态视频| 久久精品亚洲精品国产色婷小说| 亚洲18禁久久av| 精品一区二区三区四区五区乱码| 曰老女人黄片| 女生性感内裤真人,穿戴方法视频| www国产在线视频色| 亚洲人成网站在线播放欧美日韩| 极品教师在线免费播放| 色av中文字幕| 国内少妇人妻偷人精品xxx网站 | 国产高清视频在线播放一区| 国产亚洲欧美在线一区二区| 成人鲁丝片一二三区免费| 黄色成人免费大全| 最近视频中文字幕2019在线8| 特大巨黑吊av在线直播| 12—13女人毛片做爰片一| 男女之事视频高清在线观看| 国产欧美日韩精品一区二区| 午夜福利18| 午夜福利在线观看吧| 国产1区2区3区精品| 美女免费视频网站| 三级毛片av免费| 网址你懂的国产日韩在线| 久久久水蜜桃国产精品网| 欧美丝袜亚洲另类 | 久久午夜亚洲精品久久| 国产精品乱码一区二三区的特点| 天堂动漫精品| 熟女少妇亚洲综合色aaa.| 身体一侧抽搐| 中亚洲国语对白在线视频| 99久久精品一区二区三区| 少妇人妻一区二区三区视频| 麻豆国产av国片精品| 少妇熟女aⅴ在线视频| 色吧在线观看| 成熟少妇高潮喷水视频| 人人妻,人人澡人人爽秒播| 欧美黑人巨大hd| 精品久久久久久久人妻蜜臀av| 99re在线观看精品视频| 久99久视频精品免费| 欧美日韩瑟瑟在线播放| 视频区欧美日本亚洲| 美女扒开内裤让男人捅视频| 男女午夜视频在线观看| 在线观看日韩欧美| 亚洲电影在线观看av| av在线天堂中文字幕| 久久久久精品国产欧美久久久| 国产精品久久久久久亚洲av鲁大| 桃红色精品国产亚洲av| 免费无遮挡裸体视频| 五月伊人婷婷丁香| 亚洲中文av在线| 男人和女人高潮做爰伦理| 在线播放国产精品三级| 老熟妇乱子伦视频在线观看| 欧美+亚洲+日韩+国产| 美女高潮喷水抽搐中文字幕| a在线观看视频网站| 欧美中文综合在线视频| 国产黄片美女视频| 黄色女人牲交| 又大又爽又粗| 国产人伦9x9x在线观看| 国内精品一区二区在线观看| 午夜免费成人在线视频| 久久中文字幕人妻熟女| 国内精品久久久久久久电影| 窝窝影院91人妻| 久久久久精品国产欧美久久久| 国产单亲对白刺激| 免费在线观看视频国产中文字幕亚洲| 免费在线观看视频国产中文字幕亚洲| 国产精品一区二区精品视频观看| 国内少妇人妻偷人精品xxx网站 | 成人性生交大片免费视频hd| 久久精品国产99精品国产亚洲性色| 欧美乱码精品一区二区三区| 国产爱豆传媒在线观看| 19禁男女啪啪无遮挡网站| 18禁裸乳无遮挡免费网站照片| 成人鲁丝片一二三区免费| 中文字幕高清在线视频| 嫩草影视91久久| 88av欧美| 1024手机看黄色片| 蜜桃久久精品国产亚洲av| 国产精品乱码一区二三区的特点| 亚洲中文字幕日韩| 亚洲av免费在线观看| 午夜福利在线观看吧| 成人亚洲精品av一区二区| h日本视频在线播放| 在线永久观看黄色视频| 国产成人影院久久av| 国产av麻豆久久久久久久| 美女高潮的动态| 啦啦啦韩国在线观看视频| 国产三级在线视频| 国产精品 国内视频| 国产精品美女特级片免费视频播放器 | 国产熟女xx| 国产精品香港三级国产av潘金莲| 嫁个100分男人电影在线观看| 可以在线观看毛片的网站| 久久国产乱子伦精品免费另类| 国产成人精品久久二区二区91| 亚洲第一欧美日韩一区二区三区| 成人精品一区二区免费| 男人舔女人的私密视频| 成人特级av手机在线观看| 男人的好看免费观看在线视频| 欧洲精品卡2卡3卡4卡5卡区| 国产乱人伦免费视频| 美女免费视频网站| 免费大片18禁| 国产亚洲欧美98| 成人永久免费在线观看视频| 91字幕亚洲| 制服丝袜大香蕉在线| 亚洲国产中文字幕在线视频| 日韩中文字幕欧美一区二区| 五月玫瑰六月丁香| 黑人欧美特级aaaaaa片| 男女床上黄色一级片免费看| 啦啦啦免费观看视频1| 非洲黑人性xxxx精品又粗又长| 身体一侧抽搐| av女优亚洲男人天堂 | 女警被强在线播放| 一进一出抽搐gif免费好疼| 高清毛片免费观看视频网站| 国产精品久久久久久久电影 | 国产成人啪精品午夜网站| 国产精品久久久av美女十八| www国产在线视频色| 人人妻人人澡欧美一区二区| 在线观看免费午夜福利视频| 91字幕亚洲| 欧美日韩一级在线毛片| 亚洲 国产 在线| 99精品久久久久人妻精品| 999久久久精品免费观看国产| 亚洲欧美日韩卡通动漫| 欧美不卡视频在线免费观看| 嫩草影院入口| 精品不卡国产一区二区三区| 免费看十八禁软件| 黑人巨大精品欧美一区二区mp4| 日本 欧美在线| 婷婷亚洲欧美| 国产精品久久久久久人妻精品电影| 久久久久免费精品人妻一区二区| 嫩草影院精品99| 丁香六月欧美| 欧美日韩中文字幕国产精品一区二区三区| 人人妻人人看人人澡| 国产精品九九99| 一级毛片精品| 久久久精品欧美日韩精品| 美女被艹到高潮喷水动态| 久久精品影院6| 级片在线观看| 国产不卡一卡二| 两人在一起打扑克的视频| 免费一级毛片在线播放高清视频| 久久久水蜜桃国产精品网| 1024手机看黄色片| 夜夜看夜夜爽夜夜摸| 少妇裸体淫交视频免费看高清| 9191精品国产免费久久| 老汉色av国产亚洲站长工具| 国产日本99.免费观看| 国产精品久久久久久亚洲av鲁大| 真人一进一出gif抽搐免费| 身体一侧抽搐| 欧美xxxx黑人xx丫x性爽| 欧美高清成人免费视频www| 噜噜噜噜噜久久久久久91| 日本一本二区三区精品| 国产伦精品一区二区三区视频9 | 亚洲一区高清亚洲精品| 1000部很黄的大片| 中亚洲国语对白在线视频| 成人高潮视频无遮挡免费网站| 黄色女人牲交| 亚洲欧洲精品一区二区精品久久久| 天天躁狠狠躁夜夜躁狠狠躁| 国产麻豆成人av免费视频| 亚洲av成人不卡在线观看播放网| 久久九九热精品免费| 亚洲欧美日韩东京热| 亚洲欧美日韩卡通动漫| 特级一级黄色大片| 天堂√8在线中文| 午夜成年电影在线免费观看| 欧美日本亚洲视频在线播放| 人妻久久中文字幕网| 成人国产一区最新在线观看| 男插女下体视频免费在线播放| 动漫黄色视频在线观看| 最近最新免费中文字幕在线| 亚洲精品在线美女| 欧美成人一区二区免费高清观看 | 久久亚洲真实| 欧美乱色亚洲激情| 精品久久久久久久毛片微露脸| 日韩欧美在线乱码| 亚洲中文av在线| 亚洲avbb在线观看| 国产又色又爽无遮挡免费看| 亚洲欧美精品综合久久99| 男女下面进入的视频免费午夜| aaaaa片日本免费| 又紧又爽又黄一区二区| 久久天躁狠狠躁夜夜2o2o| 国产精品99久久久久久久久| 国产高清视频在线观看网站| 99久久精品一区二区三区| 美女高潮喷水抽搐中文字幕| 波多野结衣巨乳人妻| 他把我摸到了高潮在线观看| 午夜福利成人在线免费观看| 亚洲专区国产一区二区| 国产三级黄色录像| 欧美乱色亚洲激情| 哪里可以看免费的av片| 精品99又大又爽又粗少妇毛片 | 国产成人精品无人区| 无限看片的www在线观看| 亚洲av电影在线进入| 老司机深夜福利视频在线观看| 久久精品国产清高在天天线| 老司机午夜福利在线观看视频| 久久精品人妻少妇| 久久草成人影院| 2021天堂中文幕一二区在线观| 99久久国产精品久久久| 伊人久久大香线蕉亚洲五| 亚洲七黄色美女视频| 最新美女视频免费是黄的| av天堂在线播放| 亚洲成人中文字幕在线播放| www.www免费av| 夜夜躁狠狠躁天天躁| 亚洲精品在线观看二区| 国产成人精品久久二区二区91| 日本一本二区三区精品| www日本黄色视频网| 欧美xxxx黑人xx丫x性爽| 可以在线观看毛片的网站| 村上凉子中文字幕在线| 久久亚洲真实| 淫妇啪啪啪对白视频| 色在线成人网| 又大又爽又粗| 成人一区二区视频在线观看| 亚洲精品在线观看二区| 亚洲国产精品成人综合色| 亚洲av片天天在线观看| 国内揄拍国产精品人妻在线| 久9热在线精品视频| 麻豆一二三区av精品| 亚洲,欧美精品.| 嫩草影院精品99| 成人av在线播放网站| 亚洲最大成人中文| 五月玫瑰六月丁香| 色视频www国产| 亚洲欧美精品综合一区二区三区| 国产精品精品国产色婷婷| 窝窝影院91人妻| 一二三四社区在线视频社区8| 真人做人爱边吃奶动态| 国产三级黄色录像| 天堂av国产一区二区熟女人妻| 免费大片18禁| 不卡av一区二区三区| 日韩高清综合在线| 国产视频一区二区在线看| 国产高清有码在线观看视频| 成人永久免费在线观看视频| 免费观看人在逋| 成人国产综合亚洲| 国产欧美日韩一区二区精品| 日本黄大片高清| 毛片女人毛片| 午夜福利高清视频| 欧美一级毛片孕妇| 国产不卡一卡二| 亚洲欧美日韩卡通动漫| 成人高潮视频无遮挡免费网站| 亚洲欧美一区二区三区黑人| 免费一级毛片在线播放高清视频| 久久精品国产清高在天天线| 亚洲欧美日韩高清在线视频| 亚洲18禁久久av| 精品国内亚洲2022精品成人| 欧美日韩中文字幕国产精品一区二区三区| 又黄又爽又免费观看的视频| 亚洲av熟女| 三级国产精品欧美在线观看 | 国内久久婷婷六月综合欲色啪| 成人三级黄色视频| 黑人欧美特级aaaaaa片| 草草在线视频免费看| 亚洲国产中文字幕在线视频| 草草在线视频免费看| 精品国内亚洲2022精品成人| 成人特级av手机在线观看| 国产精品国产高清国产av| 夜夜爽天天搞| 一区二区三区高清视频在线| 亚洲成人久久爱视频| 小说图片视频综合网站| 亚洲欧美激情综合另类| 美女免费视频网站| 精品一区二区三区av网在线观看| 亚洲熟妇熟女久久| 成人高潮视频无遮挡免费网站| 欧美zozozo另类| 悠悠久久av| 国产淫片久久久久久久久 | 精品久久蜜臀av无| 国产精品影院久久| 色尼玛亚洲综合影院| 婷婷六月久久综合丁香| 久久久久久久久中文| 久久中文字幕一级| 日韩精品中文字幕看吧| 精品欧美国产一区二区三| 悠悠久久av| 色综合欧美亚洲国产小说| 亚洲成人中文字幕在线播放| 精品久久久久久成人av| 亚洲国产欧洲综合997久久,| 国产 一区 欧美 日韩| 国产精品精品国产色婷婷| 成人永久免费在线观看视频| 香蕉国产在线看| 每晚都被弄得嗷嗷叫到高潮| 熟女少妇亚洲综合色aaa.| 丰满的人妻完整版| 一区二区三区国产精品乱码| 天天添夜夜摸| 欧美日韩综合久久久久久 | 三级男女做爰猛烈吃奶摸视频| 国产精华一区二区三区| 国产乱人视频| 日本三级黄在线观看| 日韩欧美三级三区| 搞女人的毛片| a级毛片在线看网站| www.自偷自拍.com| 国产97色在线日韩免费| 国产一区二区在线观看日韩 | 别揉我奶头~嗯~啊~动态视频| 免费看a级黄色片| 黑人欧美特级aaaaaa片| 欧美性猛交黑人性爽| 国产精品国产高清国产av| 久久久久九九精品影院| 老汉色∧v一级毛片| 亚洲国产精品成人综合色| 小说图片视频综合网站| 熟女人妻精品中文字幕| av天堂在线播放| 男女那种视频在线观看| 日韩三级视频一区二区三区| 老司机在亚洲福利影院| 青草久久国产| 国产又色又爽无遮挡免费看| 国产 一区 欧美 日韩| 男女之事视频高清在线观看| 黄色日韩在线| x7x7x7水蜜桃| 91av网一区二区| 国产aⅴ精品一区二区三区波| 女生性感内裤真人,穿戴方法视频| 国产精品1区2区在线观看.| 久久午夜亚洲精品久久| 一区福利在线观看| 亚洲av成人精品一区久久| 岛国在线免费视频观看| 一级黄色大片毛片| 久久精品国产99精品国产亚洲性色| 在线永久观看黄色视频| 特级一级黄色大片| 欧美成人一区二区免费高清观看 | 亚洲av第一区精品v没综合| 欧美日韩精品网址| 老司机午夜十八禁免费视频| 五月伊人婷婷丁香| 国产成人精品久久二区二区免费| 欧美zozozo另类| 日韩欧美国产一区二区入口| 久久久久国产一级毛片高清牌| 国产三级黄色录像| 国产精品乱码一区二三区的特点| bbb黄色大片| 亚洲美女黄片视频| 一级毛片精品| 免费大片18禁| 国产高潮美女av| 亚洲第一欧美日韩一区二区三区| 久久久久久国产a免费观看| 免费看光身美女| 热99re8久久精品国产| 亚洲成人精品中文字幕电影| 脱女人内裤的视频| 日本免费a在线| 男人舔女人的私密视频| 99久久综合精品五月天人人| 亚洲av日韩精品久久久久久密| 国内精品一区二区在线观看| 久久这里只有精品19| 国产高清激情床上av| 韩国av一区二区三区四区| 国产精品 国内视频| 男女午夜视频在线观看| 国产精品久久电影中文字幕|