• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    問題解決任務(wù)中行動序列的二分類建模:單/兩參數(shù)行動序列模型*

    2023-08-04 06:36:58付顏斌陳琦鵬詹沛達
    心理學(xué)報 2023年8期
    關(guān)鍵詞:參數(shù)估計建模狀態(tài)

    付顏斌 陳琦鵬 詹沛達

    問題解決任務(wù)中行動序列的二分類建模:單/兩參數(shù)行動序列模型*

    付顏斌 陳琦鵬 詹沛達

    (浙江師范大學(xué)心理學(xué)院; 浙江省兒童青少年心理健康與心理危機干預(yù)智能實驗室; 浙江省智能教育技術(shù)與應(yīng)用重點實驗室, 金華 321004)

    行動序列作為一種典型的過程數(shù)據(jù), 可反映被試解決問題的詳細步驟。鑒于行動或狀態(tài)轉(zhuǎn)移可區(qū)分正誤, 本文基于二分類Logistic建模提出兩個復(fù)雜度相對較低的行動序列模型——單/兩參數(shù)行動序列模型(1P-/2P-ASM); 兩者差異在于是否允許自由估計問題狀態(tài)的區(qū)分度。通過實證研究和模擬研究對比探究兩個新模型與基于多分類Logistic建模的序列作答模型(SRM)的表現(xiàn)。研究結(jié)果主要發(fā)現(xiàn):(1)兩個ASM能夠獲得與SRM幾乎一致的問題解決能力估計值; (2)兩個ASM的計算耗時明顯低于SRM的; (3) 2P-ASM比1P-ASM的綜合表現(xiàn)更優(yōu)??傊? 兩個模型復(fù)雜度相對低的ASM均能夠?qū)崿F(xiàn)對行動序列的有效分析, 有益于行動序列數(shù)據(jù)分析的落地。

    過程數(shù)據(jù), 行動序列, 問題狀態(tài)轉(zhuǎn)換, 行動序列模型, 項目反應(yīng)理論

    1 引言

    問題解決是指在沒有清晰解決方案的任務(wù)情境中, 個體通過一系列認知加工過程, 應(yīng)用認知技能和認知活動, 在問題空間中進行探索, 將問題從初始狀態(tài)轉(zhuǎn)變?yōu)閱栴}解決目標(biāo)狀態(tài)的過程(Newell & Simon, 1972)。問題解決過程中, 被試需要根據(jù)問題解決的目標(biāo)構(gòu)建計劃, 選擇策略并預(yù)估該計劃的執(zhí)行能否達到期望的狀態(tài); 同時, 被試還需要根據(jù)問題目標(biāo)對行動結(jié)果進行檢查, 發(fā)現(xiàn)問題并采取補救措施, 及時調(diào)整先前的行動策略。因此, 對問題解決能力的測量, 不僅要關(guān)注問題解決的最終結(jié)果, 還需要關(guān)注問題解決過程中系列行為(劉耀輝等, 2022)。比如, 國際學(xué)生測評項目(PISA) (OECD, 2013)推出了模擬生活情境的問題解決測驗, 通過真實且具有互動性的任務(wù), 記錄學(xué)生在整個問題解決過程中行為的動態(tài)變化過程, 這為問題解決能力的測量提供了一種全新的方式。這些測驗不僅記錄了學(xué)生問題解決的結(jié)果, 還可以將學(xué)生在問題解決過程中的操作步驟實時記錄在日志文件中, 即過程數(shù)據(jù)(process data)。相較于傳統(tǒng)的結(jié)果數(shù)據(jù), 基于過程數(shù)據(jù)的挖掘分析, 可以為推斷學(xué)生的潛在問題解決能力提供更為豐富的信息。

    目前, 針對計算機化問題解決任務(wù)所產(chǎn)生的過程數(shù)據(jù)的分析方法研究, 根據(jù)研究目的主要可分為特征提取與能力評估建模兩類(Han et al., 2022; Xiao & Liu, 2023; 韓雨婷等, 2022)。其中, 特征提取可分為理論驅(qū)動和數(shù)據(jù)驅(qū)動兩類, 理論驅(qū)動的特征提取方法一般采用專家定義的行為指標(biāo)來對學(xué)生的問題解決過程進行評分(Harding et al., 2017; Rosen, 2017; Yuan et al., 2019), 這種方法依賴于專家的知識經(jīng)驗, 屬于自上而下的特征提取方法。理論驅(qū)動方法標(biāo)定的行為指標(biāo)不僅能夠用作對學(xué)生的評分依據(jù), 還可以基于一定的測量模型進一步建模分析(Liu et al., 2018; Zhan & Qiao, 2022; Zhang et al., 2022), 但該方法往往要針對不同的任務(wù)情境設(shè)定不同的特征提取規(guī)則, 使得應(yīng)用成本較高。數(shù)據(jù)驅(qū)動的方法指的是應(yīng)用數(shù)據(jù)挖掘、機器學(xué)習(xí)等算法從過程數(shù)據(jù)中提取關(guān)鍵信息, 常使用的方法包括自然語言處理(Hao et al., 2015; He & von Davier, 2016; He et al., 2021; Zhan et al., 2015)、降維算法(Tang et al., 2020, Tang et al., 2021)和網(wǎng)絡(luò)分析方法(Vista et al., 2017; Zhu et al., 2016)等。

    另外, 根據(jù)模型對行動序列順序關(guān)系的利用與否以及能否獲得連續(xù)穩(wěn)定的能力估計值, 能力評估建模可進一步分為傳統(tǒng)心理計量模型的遷移應(yīng)用、隨機過程建模以及這兩類的結(jié)合(韓雨婷等, 2022)。傳統(tǒng)心理計量模型的遷移應(yīng)用主要是先利用特征提取方法提取完成任務(wù)的關(guān)鍵指標(biāo), 然后參照這些關(guān)鍵指標(biāo)對被試呈現(xiàn)的具體操作或行動序列(action sequence)1文中, “行動序列”是指被試為完成任務(wù)而呈現(xiàn)出的一系列行動或狀態(tài)轉(zhuǎn)換(state transition), 其中“狀態(tài)轉(zhuǎn)換”在本文中與“行動”交替使用, 均指的是兩個相鄰問題狀態(tài)之間的轉(zhuǎn)換。例如, A→B或AB表示從當(dāng)前階段的問題狀態(tài)A到下一階段的問題狀態(tài)B的狀態(tài)轉(zhuǎn)換, 進而“A→B→C"表示一個包括兩個行動或狀態(tài)轉(zhuǎn)換的行動序列(AB和BC)。同時, 本文中我們根據(jù)語言場景需求交替使用“行動序列”和“狀態(tài)轉(zhuǎn)移序列”兩個含義相同的名詞。進行編碼(如, 若具體操作中包含關(guān)鍵指標(biāo)則被編碼為1, 否則為0), 最后基于題目作答理論(item response theory, IRT)模型或認知診斷模型對編碼數(shù)據(jù)進行分析, 并估計被試的問題解決能力(Han & Wilson, 2022; Liu et al., 2018; Wilson et al., 2017; Yuan et al., 2019; Zhan & Qiao, 2022; Zhang et al., 2022; 李美娟等, 2020)。然而, 這種方法會部分或完全忽視具體操作中的順序信息。與之相對, 已有研究直接對行動序列進行隨機過程建模, 如動態(tài)貝葉斯網(wǎng)絡(luò)(Levy, 2019)和隱馬爾可夫模型(Arieli-Attali et al., 2019; Bergner et al., 2017; Xiao et al., 2021)。這種方法雖然考慮到了行動序列中的順序信息, 但估計得到的潛變量通常是是離散的屬性或知識掌握狀態(tài), 無法了解被試穩(wěn)定且連續(xù)的問題解決能力(韓雨婷等, 2022)。另外, 還有研究提出了結(jié)合隨機過程思想的心理計量建模方法(Chen, 2020; Han et al., 2022; Lamar, 2018; Shu et al., 2017; Xiao & Liu, 2023)。通常, 這類方法假設(shè)在給定潛在問題解決能力的前提下, 被試的不同狀態(tài)轉(zhuǎn)換或操作轉(zhuǎn)移之間滿足條件獨立性假設(shè); 比如, 將問題狀態(tài)轉(zhuǎn)換序列看作具有一階馬爾可夫特性的離散隨機過程(Han et al., 2022; Xiao & Liu, 2023), 從而在保留序列本身順序信息的同時推斷出連續(xù)的潛在能力估計值。

    針對已有方法的局限性, Han等人(2022)將動態(tài)貝葉斯網(wǎng)絡(luò)與稱名作答模型(nominal response model, NRM) (Bock, 1972)相結(jié)合, 提出了序列作答模型(sequential response model, SRM)。SRM假設(shè)被試的問題解決能力和某狀態(tài)轉(zhuǎn)移的特征共同決定了被試呈現(xiàn)該狀態(tài)轉(zhuǎn)移的概率。相比于已有方法, SRM不僅考慮了行動序列的順序信息, 考慮了任務(wù)中不同狀態(tài)轉(zhuǎn)移的獨特性, 還可以提供問題解決能力的連續(xù)估計值, 可用于精細化了解不同被試問題解決能力之間的個體差異。與NRM類似, SRM假設(shè)被試在每個問題狀態(tài)下的所有轉(zhuǎn)移可選項(即行動可選項)都會提供測量信息, 進而為任務(wù)中每一個可能存在的狀態(tài)轉(zhuǎn)移都賦予不同的參數(shù)(如, 轉(zhuǎn)移傾向性參數(shù)和轉(zhuǎn)移區(qū)分度參數(shù))。本質(zhì)上講, SRM是對狀態(tài)轉(zhuǎn)移的多分類(或多元無序)建模, 即假設(shè)下一個階段中的所有轉(zhuǎn)移可選項之間沒有數(shù)量順序。然而, 在實際問題解決任務(wù)中, 行動或狀態(tài)轉(zhuǎn)移是有正誤之分的:可將有助于成功解決任務(wù)的狀態(tài)轉(zhuǎn)移界定為正確狀態(tài)轉(zhuǎn)移, 而將最終可能會導(dǎo)致任務(wù)失敗的狀態(tài)轉(zhuǎn)移界定為錯誤狀態(tài)轉(zhuǎn)移。因此, 被試在每個問題狀態(tài)下的所有轉(zhuǎn)移可選項是有正誤之分的, 并非完全是沒有數(shù)量順序的等價關(guān)系。

    理論上, 對于有正誤之分的數(shù)據(jù), 二分類建模更為適宜。與二分類建模相比, 多分類建模(Han et al., 2022; Xiao & Liu, 2023)的相對優(yōu)勢是可以將更豐富的測量信息納入到數(shù)據(jù)分析中, 但這勢必導(dǎo)致模型的復(fù)雜性相對更高; 更高的模型復(fù)雜性通常意味著更多的待估計參數(shù)種類和數(shù)量, 更高的參數(shù)估計計算負擔(dān), 更低的參數(shù)估計結(jié)果可解釋性(Ma et al., 2016)?;谀P捅容^與選擇的簡約原則(Beck, 1943), 本研究擬對包含正誤信息的行動序列進行二分類建模, 提出單參數(shù)和兩參數(shù)行動序列模型(one- and two-parameter action sequence model, 1P- / 2P-ASM), 以期降低行動序列分析模型的復(fù)雜性并增加計算效率; 同時, 相對簡約的模型也有助于增加模型參數(shù)估計結(jié)果的可解釋性, 進而增加行動序列模型的實踐易用性。

    首先, 闡述行動序列建?;A(chǔ); 其次, 介紹本文兩個新模型:1P-ASM和2P-ASM; 然后, 基于一則實證研究數(shù)據(jù)對比兩個新模型和SRM的參數(shù)估計結(jié)果, 以展現(xiàn)新模型的實踐可應(yīng)用性及其與SRM的參數(shù)估計結(jié)果一致性程度; 再然后, 通過模擬研究探究兩個新模型在不同模擬測驗條件的心理計量學(xué)性能; 最后, 對研究結(jié)果進行總結(jié)并探討研究局限及未來研究方向。

    2 背景知識

    2.1 行動序列建?;A(chǔ)

    本研究聚焦于任務(wù)目標(biāo)明確且已知信息完備的結(jié)構(gòu)良好(well-defined)任務(wù); 這類任務(wù)常以有限狀態(tài)自動機(finite state automata)為原型構(gòu)建。這類任務(wù)通常擁有有限的問題狀態(tài), 有限的用戶輸入信號(即行動或操作), 并且通過用戶的操作可以產(chǎn)生對應(yīng)的輸出信號, 即擁有明確的狀態(tài)轉(zhuǎn)移規(guī)則(Buchner & Funke, 1993)。圖1(a)呈現(xiàn)了一個FSA問題解決任務(wù)的例子, 該問題解決過程包含了S、A、B、C、D和E共六種問題狀態(tài)。其中S為問題解決初始狀態(tài), E為問題解決的目標(biāo)狀態(tài), 其余均為問題解決的中間狀態(tài)。由于該題目允許被試在任意中間狀態(tài)反悔回到初始狀態(tài), 所以理論上會出現(xiàn)多種行動序列, 比如, S→A→C→E、S→B→S→ A→C→E、S→B→D→E等。在眾多行動序列中, 把達到任務(wù)目標(biāo)的最短行動序列界定為最優(yōu)狀態(tài)轉(zhuǎn)移序列或最優(yōu)行動序列; 如最優(yōu)狀態(tài)轉(zhuǎn)移序列S→A→C→E包含S→A、A→C和C→E三個狀態(tài)轉(zhuǎn)移。圖中, 紅色實線箭頭表示正確狀態(tài)轉(zhuǎn)移, 即有助于正確解決問題的狀態(tài)轉(zhuǎn)移; 而黑色虛線箭頭為錯誤狀態(tài)轉(zhuǎn)移, 即最終可能導(dǎo)致遠離任務(wù)目標(biāo)的狀態(tài)轉(zhuǎn)移。

    實際上, 我們可以將被試在每個問題狀態(tài)下的行動轉(zhuǎn)移視為被試在作答一道“選擇題”。圖1(b)是與圖1(a)相對應(yīng)的問題解決流程圖。當(dāng)被試處于階段1中問題狀態(tài)S時, 他/她需要在階段2中的兩個問題狀態(tài)A和B之間做出選擇; 同理, 當(dāng)被試處于階段2中問題狀態(tài)A時, 他/她需要在階段3中三個問題狀態(tài)C、D和S之間做出選擇(S表示返回到初始狀態(tài))。此時, 我們就可將適用于題目層面作答精度數(shù)據(jù)分析的傳統(tǒng)IRT模型遷移應(yīng)用于此。比如, Han等人(2022)就將NRM遷移應(yīng)用于此, 進而基于多分類建模提出了SRM。

    圖1 問題解決任務(wù)示意圖

    注:紅色實線箭頭表示正確狀態(tài)轉(zhuǎn)移, 黑色虛線箭頭表示錯誤狀態(tài)轉(zhuǎn)移; S→A→C→E為最優(yōu)行動序列, 其中包含S→A、A→C和C→E三個狀態(tài)轉(zhuǎn)移。省略號表示問題解決流程的重復(fù)出現(xiàn)。

    2.2 SRM簡介

    圖2 序列作答模型示意圖

    3 行動序列的二分類建模:1P-ASM和2P-ASM

    3.1 模型構(gòu)建

    盡管SRM采用多分類建模將所有行動序列所提供的測量信息均納入到模型之中, 但它仍然通過一個預(yù)先設(shè)定的狀態(tài)轉(zhuǎn)移區(qū)分度參數(shù)區(qū)別對待了行動序列中狀態(tài)轉(zhuǎn)移的正確與否。針對具有正誤之分的狀態(tài)轉(zhuǎn)移, 本研究采用二分類建模思路, 使用針對二級評分數(shù)據(jù)的IRT模型對行動序列進行建模, 如單參數(shù)IRT模型/羅氏模型(Rasch, 1960)和兩參數(shù)IRT模型(Birnbaum, 1968)。對此, 圖3呈現(xiàn)了與圖1對應(yīng)的問題解決任務(wù)的二分編碼示意圖, 該圖中我們將正確狀態(tài)轉(zhuǎn)移編碼為1, 錯誤狀態(tài)轉(zhuǎn)移編碼為0。圖3(b)中, 我們可以將每一階段中的“選擇題”視為“具有正確答案的多項選擇題”; 此時, 就可以借鑒傳統(tǒng)二級評分IRT模型來構(gòu)建行動序列模型。

    圖4呈現(xiàn)了兩個ASM的建模示意圖。首先, 將任務(wù)中所有的狀態(tài)轉(zhuǎn)移進行二分編碼:將正確狀態(tài)轉(zhuǎn)移編碼為1, 將錯誤狀態(tài)轉(zhuǎn)移編碼為0。此時, 被試解決問題所呈現(xiàn)的狀態(tài)轉(zhuǎn)移向量就被編碼為僅包含0或1元素的二元向量; 比如圖1中最優(yōu)行動序列S→A→C→E所對應(yīng)的狀態(tài)轉(zhuǎn)移向量(SA, AC, CE)’可被轉(zhuǎn)換為(1,1,1)′。然后, 基于二級評分IRT模型, 假設(shè)被試的問題解決能力影響被試呈現(xiàn)正確狀態(tài)轉(zhuǎn)移的概率。

    圖3 問題解決任務(wù)二分編碼示意圖

    注:紅色實線箭頭表示正確狀態(tài)轉(zhuǎn)移, 編碼為1; 黑色虛線箭頭表示錯誤狀態(tài)轉(zhuǎn)移, 編碼為0; 省略號表示問題解決流程的重復(fù)出現(xiàn)。

    圖4 二分類行動序列模型建模示意圖

    借鑒單參數(shù)IRT模型, 1P-ASM可被表示為:

    借鑒兩參數(shù)IRT模型, 2P-ASM可被表示為:

    3.2 與相關(guān)模型的對比

    3.3 貝葉斯參數(shù)估計

    與SRM一樣, 兩個ASM也可使用全貝葉斯馬爾可夫鏈蒙特卡洛(MCMC)算法進行參數(shù)估計。詳見網(wǎng)絡(luò)版附錄7。

    4 實證數(shù)據(jù)分析

    4.1 任務(wù)描述

    與Han等人(2022)研究保持一致, 本研究也選用PISA 2012計算機化問題解決“Tickets”任務(wù)(CP038Q02)的行動序列數(shù)據(jù)進行分析。該任務(wù)要求被試操作一臺虛擬售票機, 購買一張可以乘坐2次的全價郊區(qū)火車票。圖5呈現(xiàn)了該任務(wù)的初始界面, 問題解決過程中各階段的截圖見網(wǎng)絡(luò)版附錄2。為解決問題, 被試首先需要在交通方式上選擇“城市地鐵”或“郊區(qū)火車”。其次, 根據(jù)所選的交通方式, 被試需要在“全價票”和“打折票”之間做選擇。然后, 根據(jù)所選票價類型, 再選擇購買“包日票”或“次票”; 如果選擇“次票”則還要選擇購買的乘車次數(shù)(“1次”~“5次”)。最后做出“購買”決定即可完成該任務(wù)。被試可以在任意操作界面通過點擊“取消”來返回到任務(wù)的初始界面重新進行選擇。為了解決該任務(wù), 不同被試最終呈現(xiàn)的行動序列的長度不盡相同。

    圖5 PISA 2012購票任務(wù)初始界面

    圖6 PISA 2012購票任務(wù)結(jié)構(gòu)圖

    表1從“選擇題”視角進一步整理了圖6中的操作過程??蓪?dāng)前階段所處的問題狀態(tài)視為一道被試需要作答的“選擇題”, 將下一階段的可選問題狀態(tài)視為“選項”。比如, 在初始階段被試需要在“選擇題”S的兩個“選項”A和F之間進行選擇; 其中A為正確“選項”, F為錯誤“選項”。針對這些“選擇題”, SRM將它們視為稱名作答題, ASM將它們視為二級評分選擇題。比如, 某學(xué)生的行動序列為SABCDEDJ, 則SRM分析的狀態(tài)轉(zhuǎn)移向量為(SA, AB, BC, CD, DE, ED, DJ)′, 而ASM分析的狀態(tài)轉(zhuǎn)移二分向量為(1, 1, 1, 1, 0, 1, 1)′。

    表1 PISA 2012購票任務(wù)所類比的“選擇題”

    注:括號中的1代表正確“選項”(即正確狀態(tài)轉(zhuǎn)移), 0代表錯誤“選項”(即錯誤狀態(tài)轉(zhuǎn)移)。

    4.2 數(shù)據(jù)整理與分析

    原始數(shù)據(jù)來源于PISA官網(wǎng)下載2https://www.oecd.org/pisa/pisaproducts/database-cbapisa2012.htm。在進行具體的數(shù)據(jù)分析之前, 先根據(jù)圖6中定義的任務(wù)結(jié)構(gòu)對原始數(shù)據(jù)進行重新編碼, 并對數(shù)據(jù)進行清理:(1) 刪去提前終止作答的行動序列, 即沒有點擊“購買”的行動序列; (2) 刪除包含了不可能的狀態(tài)轉(zhuǎn)移的行動序列(如網(wǎng)絡(luò)版附錄3表A2)。最終, 從記錄行動的日志文件中提取了28,851名被試的行動序列, 其中行動序列的最短長度為5, 最長長度為110, 平均長度為6.992。原始數(shù)據(jù)當(dāng)中包含了1,395種行動序列, 其中有569種行動序列完成了任務(wù)目標(biāo)(涉及15,408名被試:有10,610名被試按照最優(yōu)行動序列完成了任務(wù)目標(biāo), 另外4,798名學(xué)生在正確解決問題過程中有錯誤修正過程)。最后, 限于算力且為增加研究效率, 我們采用簡單隨機抽樣, 從28,851名被試中隨機選取了2,000名學(xué)生的行動序列用于本研究的實證分析(行動序列的最短長度為5, 最長長度為46, 平均長度為7.03; 包含了1395種行動序列, 其中有569種行動序列完成任務(wù)目標(biāo)(涉及1068名學(xué)生, 有737人按照最優(yōu)行動序列完成了任務(wù)目標(biāo))。

    分別使用1P-ASM、2P-ASM和SRM分析數(shù)據(jù)。參數(shù)估計時, 選用2條馬爾可夫鏈, 每條鏈長5,000次, 預(yù)熱(burn-in)3,000次。使用PSRF值(PSRF; Gelman & Rubin, 1992)來確定MCMC算法得到的參數(shù)估計值是否達到收斂; 當(dāng)PSRF < 1.1時, 表明參數(shù)估計收斂。此外, 采用Watanabe-Akaike信息準(zhǔn)則 (WAIC; Watanabe, 2010)和留一法交叉驗證(LOO, Vehtari et al., 2017)兩個完全貝葉斯的相對擬合指標(biāo)來衡量模型對數(shù)據(jù)的擬合情況, 為模型選擇提供證據(jù); 兩個指標(biāo)值越小, 表明模型對數(shù)據(jù)的擬合越好。值得注意的是, 由于SRM和ASM分析的數(shù)據(jù)并不相同(前者分析的是每位學(xué)生的狀態(tài)轉(zhuǎn)移向量, 后者分析的是每位學(xué)生的狀態(tài)轉(zhuǎn)移向量的二分化向量), 所以兩者的相對擬合值無法比較。因此, 我們僅能通過相對擬合指標(biāo)判斷兩個ASM之間的相對擬合優(yōu)劣, 無法用于判斷ASM和SRM的相對擬合優(yōu)劣。對此, 本研究將通過計算ASM和SRM參數(shù)估計結(jié)果的一致性來體現(xiàn)二分類建模具有與多分類建模相接近的表現(xiàn)。另外, 使用后驗預(yù)測檢驗(PPC; Gelman et al., 1996)評估模型對數(shù)據(jù)的絕對擬合; 如果模型擬合數(shù)據(jù), 則其后驗預(yù)測概率()接近0.5, 反之, 如果模型不擬合數(shù)據(jù), 則其值 < 0.025或 > 0.975。本文中PPC所使用的統(tǒng)計量見網(wǎng)絡(luò)版附錄4表A3。

    4.3 結(jié)果

    所有模型中所有參數(shù)的PSRF值均小于1.05, 表明在我們的設(shè)定下所有參數(shù)估計達到收斂標(biāo)準(zhǔn)。此外, 網(wǎng)絡(luò)版附錄5中提供了模型參數(shù)的抽樣軌跡圖。表2呈現(xiàn)了三個模型對數(shù)據(jù)的擬合情況和計算耗時。首先, 三個模型的值均接近0.5, 表明三個模型均擬合該數(shù)據(jù)。其次, 兩個相對擬合指標(biāo)表明2P-ASM對數(shù)據(jù)的擬合優(yōu)于1P-ASM, 意味著考慮狀態(tài)轉(zhuǎn)移的區(qū)分度能更好地反映該數(shù)據(jù)的特征, 即不同狀態(tài)轉(zhuǎn)移對問題解決能力的區(qū)分能力是不同的。如上文所述, ASM和SRM的相對擬合結(jié)果不具有可比性。最后, 參數(shù)估計耗時可以綜合反映模型的復(fù)雜性程度, 結(jié)果發(fā)現(xiàn)SRM的耗時最長, 2P-ASM次之, 1P-ASM的耗時最短; 這表明二分類模型的確比多分類模型簡約。下文主要研究結(jié)果圍繞兩個ASM闡述, 并呈現(xiàn)ASM和SRM對被試問題解決能力估計的一致性。

    表2 實證研究中三個模型對數(shù)據(jù)的擬合情況和計算耗時

    注: 1P-ASM = 單參數(shù)行動序列模型; 2P-ASM = 兩參數(shù)行動序列模型; SRM = 序列作答模型; LOO = 留一法交叉驗證; WAIC = Watanabe-Akaike信息準(zhǔn)則;= 后驗預(yù)測概率。

    表3中呈現(xiàn)了兩個ASM的題目參數(shù)估計結(jié)果3SRM的題目參數(shù)估計結(jié)果見于網(wǎng)絡(luò)版附錄8。(后驗均值、后驗標(biāo)準(zhǔn)差和95%最高概率密度[貝葉斯可信區(qū)間])。首先, 對于行動容易度參數(shù)而言, 正確問題解決路徑(即最優(yōu)行動序列)上的問題狀態(tài)(S、A、B、C和D)的容易度參數(shù)的后驗均值均大于0 (2P-ASM中問題狀態(tài)D的后驗均值與零無顯著差異), 表明當(dāng)被試處于正確路徑上的問題狀態(tài)時, 其更容易繼續(xù)呈現(xiàn)正確狀態(tài)轉(zhuǎn)移; 與之相對, 錯誤問題解決路徑(即非最優(yōu)行動序列)上的問題狀態(tài)(F、G、H和I)的容易度參數(shù)的后驗均值均小于0 (1P-ASM中問題狀態(tài)I的后驗均值與零無顯著差異; 2P-ASM中問題狀態(tài)H和I的后驗均值與零無顯著差異), 表明當(dāng)被試已經(jīng)處于錯誤路徑上的問題狀態(tài)時, 其更難以糾正錯誤轉(zhuǎn)向正確的問題狀態(tài)(即更易于繼續(xù)維持在錯誤路徑上)。值得注意的是, 問題狀態(tài)E和I是錯誤路徑上的問題狀態(tài), 其含義均為“選擇錯誤的乘車次數(shù)”; 相較于其他錯誤路徑上的問題狀態(tài), E和I的容易度估計值更高, 表明當(dāng)被試處于這兩個錯誤狀態(tài)時, 更有可能在下一步選擇時糾正自己的錯誤(即選擇S返回初始狀態(tài)重新作答)。其次, 對于行動區(qū)分度參數(shù)而言, 不同問題狀態(tài)的行動區(qū)分度有一定差異性。其中, 問題狀態(tài)C和I的行動區(qū)分度后驗均值相對較高, 表明不同問題解決能力的學(xué)生在這兩個問題狀態(tài)下呈現(xiàn)正確狀態(tài)轉(zhuǎn)移的概率差異相對較大。也就是說, 已處于正確問題解決路徑上的學(xué)生是否能夠選擇正確的乘車次數(shù), 以及已經(jīng)處于錯誤問題解決路徑上的學(xué)生是否能夠通過“取消”來糾正自己的錯誤, 這兩個操作對于學(xué)生的能力的區(qū)分力是相對最強的。總之, 根據(jù)行動參數(shù)估計值可發(fā)現(xiàn), 當(dāng)被試已經(jīng)處于正確問題解決路徑, 則其更易于保持在正確問題解決路徑上; 而當(dāng)被試已經(jīng)處于錯誤問題解決路徑, 則其更易于繼續(xù)錯下去, 直到末尾選擇乘車次數(shù)界面時才有一個糾正錯誤的關(guān)鍵期。

    圖7呈現(xiàn)了三個模型的問題解決能力估計值(后驗均值)的對比散點圖及概率密度圖。首先, 散點圖結(jié)果呈現(xiàn)出三個模型的問題解決能力估計值具有較高的一致性(三者之間的相關(guān)系數(shù)均在0.99以上), 表明它們測量的是同一潛在特質(zhì)且二分類建模與多分類建模一樣能夠通過分析行動序列數(shù)據(jù)測量被試的問題解決能力并反映個體之間的差異性。其次, 對比三模型的概率密度圖, 可發(fā)現(xiàn)三個模型在高能力區(qū)間和低能力區(qū)間的概率密度分布基本一致, 僅在中能力區(qū)間的分布略有差異(主要是SRM)。一個可能的原因是SRM更充分地利用了不同狀態(tài)轉(zhuǎn)移所提供的測量信息:它不僅利用了正確狀態(tài)轉(zhuǎn)移所包含的測量信息, 也利用了不同錯誤狀態(tài)轉(zhuǎn)移中的測量信息。比如, 當(dāng)多名被試同時處于問題狀態(tài)A時, 相比于選擇錯誤“選項”G的被試而言, 選擇錯誤“選項”S的被試的問題解決能力似乎要更高一些; 此時, SRM是可以區(qū)分呈現(xiàn)AG的被試和呈現(xiàn)AS的被試之間的區(qū)別的, 而ASM則將他們均視為同一類做出錯誤選擇的人。

    表3 實證研究中行動序列模型參數(shù)估計結(jié)果

    注: 1P-ASM = 單參數(shù)行動序列模型; 2P-ASM = 兩參數(shù)行動序列模型; SRM = 序列作答模型; 95% HPD = 95%最高概率密度(貝葉斯可信區(qū)間)。

    圖7 實證數(shù)據(jù)中三個模型的問題解決能力參數(shù)后驗均值對比散點圖及概率密度圖

    注: 1P-ASM = 單參數(shù)行動序列模型; 2P-ASM = 兩參數(shù)行動序列模型; SRM = 序列作答模型; r = 皮爾遜積差相關(guān)。

    從分析數(shù)據(jù)中挑選取出現(xiàn)頻率大于20次的行動序列作為典型行動序列(涵蓋了80.1%的被試)。表4呈現(xiàn)了典型行動序列在三個模型中的問題解決能力估計值的描述統(tǒng)計(按SRM的能力估計均值從高到低排序)。首先, 三個模型對呈現(xiàn)各典型行動序列的被試的能力估計的描述性統(tǒng)計具有一定的一致性。比如, 呈現(xiàn)最優(yōu)行動序列SABCDJ的被試的能力估計均值相對最高, 而呈現(xiàn)最差行動序列SFGHIJ的被試的能力估計均值相對最低。其次, 整體而言, 各典型行動序列中, 出現(xiàn)正確問題狀態(tài)的數(shù)量越多且出現(xiàn)錯誤問題狀態(tài)的數(shù)量越少則被試的能力估計值的均值就越高, 反之, 被試的能力估計值的均值就越低。然后, 對比ASM和SRM的結(jié)果, 發(fā)現(xiàn)ASM中有兩個序列下的被試的能力估計值的均值排序與SRM中的不同:SABCEDJ對應(yīng)的能力估計值的均值略低于SFGHSABCDJ對應(yīng)的。呈現(xiàn)SABCEDJ的被試盡管在狀態(tài)C上的選擇出現(xiàn)了錯誤轉(zhuǎn)移(CE)且馬上進行了糾正(ED), 而呈現(xiàn)SFGHSABCDJ的被試在初始狀態(tài)就出現(xiàn)了錯誤轉(zhuǎn)移, 直到選擇購買乘車次數(shù)時才返回初始頁面糾正自己的錯誤。ASM和SRM在這兩個序列上的排序差異可以從不同的視角解釋。首先, 從出現(xiàn)錯誤狀態(tài)的次數(shù)或問題解決效率(序列長度)看, 似乎呈現(xiàn)SABCEDJ的被試的能力估計值均值應(yīng)該高于呈現(xiàn)SFGHSABCDJ的被試的; SRM的排序結(jié)果支持該視角解釋。其次, 結(jié)合表3中的行動容易度參數(shù)可發(fā)現(xiàn), 問題狀態(tài)C的容易度較高(難度較低), 而問題狀態(tài)F、G和H的容易度較低(難度較高); 因此, 從錯誤選擇對能力估計帶來的負面影響或懲罰看, 在狀態(tài)C的錯誤選擇所帶來的懲罰高于在狀態(tài)F、G和H的錯誤選擇所帶來的, 進而導(dǎo)致SABCEDJ的被試的能力估計值均值低于呈現(xiàn)SFGHSABCDJ的被試的; ASM的排序結(jié)果支持該視角解釋。

    表4 典型行動序列對應(yīng)的問題解決能力估計值的描述統(tǒng)計

    注:1P-ASM = 單參數(shù)行動序列模型; 2P-ASM = 兩參數(shù)行動序列模型; SRM = 序列作答模型。

    5 模擬研究

    5.1 研究設(shè)計、數(shù)據(jù)生成與分析

    通過一則模擬研究進一步探究兩個ASM在理想測驗情境下的心理計量學(xué)表現(xiàn)。需要強調(diào)的是ASM本身并無法生成被試解決任務(wù)所呈現(xiàn)的行動序列(只能生成0-1向量); 因此, 模擬研究中使用SRM作為行動序列數(shù)據(jù)的生成模型。采用實證研究中的問題解決任務(wù)結(jié)構(gòu)(圖6)來生成行動序列數(shù)據(jù)。模擬研究包含兩個操縱變量:樣本量(含100、200和500人三個水平)和行動序列長度(含短和長兩個水平); 參照Han等人(2022)和Fu等人(2022)的做法, 在SRM中通過調(diào)整“取消”操作(如, A→S)的轉(zhuǎn)移傾向參數(shù)來操縱行動序列的長度:該參數(shù)取值越大行動序列長度越長。行動序列生成步驟詳見網(wǎng)絡(luò)版附錄6。最終, 本研究中生成的短行動序列和長行動序列的平均長度分別約為10.5和20.2。此外, 為減少隨機誤差影響, 六種模擬條件下均按照上述數(shù)據(jù)生成步驟重復(fù)生成50組數(shù)據(jù)。

    5.2 結(jié)果

    首先, 在所有條件下, 三模型中所有參數(shù)的PSRF均小于1.1, 表示所有模型參數(shù)估計均收斂。表5呈現(xiàn)了不同模擬條件下三個模型的問題解決能力參數(shù)估計的返真性和計算耗時。首先, 被試樣本量對能力參數(shù)估計的返真性的影響較小; 序列平均長度越長, 能力參數(shù)估計的返真性越高。從另外的角度來看, 序列的平均長度反映了題目樣本量的大小, 序列平均長度越長, 即題目的樣本量越大, 對于被試能力值的推斷則越準(zhǔn)確。其次, SRM作為數(shù)據(jù)生成模型, 其返真性理應(yīng)最好, 2P-ASM次之, 1P-ASM最差, 但三者間整體差異不大(絕大多數(shù)條件下1P-ASM的RMSE比SRM的高不到0.05, Cor低不到0.02)。最后, 在所有條件下1P-ASM的計算耗時最短, 2P-ASM次之, SRM最長; 該結(jié)果與實證研究結(jié)果吻合, 表明相比于多分類模型, 二分類建模在保證其能力參數(shù)估計精度僅有微弱下降的同時, 可大幅減少參數(shù)估計耗時。

    表6呈現(xiàn)了不同模擬條件下兩個ASM與SRM的問題解決能力參數(shù)估計的一致性。整體看, 兩個ASM與SRM的一致性均較高, 且2P-ASM與SRM的一致性高于1P-ASM與SRM的一致性。另外, 值得注意的是, 當(dāng)序列長度增加后, 1P-ASM與SRM的一致性略有下降, 而2P-ASM與SRM的一致性略有提升??赡艿脑蚴? 1P-ASM相對簡單, 其約束所有問題狀態(tài)具有相同的區(qū)分度, 而序列較短(“題目”數(shù)量較少)時這種約束帶來的負面影響比序列較長時低(序列越長, 各問題狀態(tài)之間的區(qū)分度差異越大); 而2P-ASM相對復(fù)雜, 需自由估計所有問題狀態(tài)的區(qū)分度, 此時, 隨著序列長度的增加, 各問題狀態(tài)的區(qū)分度差異隨之增加, 更符合2P-ASM的假設(shè)。

    表5 模擬研究中三個模型的問題解決能力參數(shù)的估計返真性和計算耗時

    注: 1P-ASM = 單參數(shù)行動序列模型; 2P-ASM = 兩參數(shù)行動序列模型; SRM = 序列作答模型; 均Bias = 所有被試的估計偏差的均值; 均RMSE = 所有被試的均方根誤差的均值; Cor = 真值與估計值之間的相關(guān)系數(shù); ART = 平均計算時間。當(dāng)樣本量為100時, SRM模型的計算耗時明顯多于其他較高樣本量條件下的計算耗時; 可能是因為樣本量較少的情況下, 數(shù)據(jù)提供的測量信息有限, 使復(fù)雜程度較高的SRM的MCMC抽樣更為困難。

    表6 模擬研究中兩個ASM和SRM的問題解決能力參數(shù)估計的一致性

    注: 1P-ASM = 單參數(shù)行動序列模型; 2P-ASM = 兩參數(shù)行動序列模型; SRM = 序列作答模型; 均Cbias = 所有被試的一致性偏差的均值; 均CRMSE = 所有被試的一致性誤差的均值; Ccor = SRM估計值與ASM估計值之間的相關(guān)系數(shù)。

    6 總結(jié)與討論

    與傳統(tǒng)作答精度數(shù)據(jù)相比, 諸如行動序列等過程數(shù)據(jù)能提供有關(guān)被試如何解決問題的更豐富信息。同時, 行動序列數(shù)據(jù)的非標(biāo)準(zhǔn)化格式(即不同被試的數(shù)據(jù)長度不同)也給傳統(tǒng)心理計量學(xué)模型的直接應(yīng)用帶來了困難。針對已有方法的局限, Han等人(2022)將動態(tài)貝葉斯網(wǎng)絡(luò)與NRM相結(jié)合, 提出了SRM。與NRM類似, SRM采用多分類logistic建模, 進而為任務(wù)中每一個可能存在的狀態(tài)轉(zhuǎn)移都賦予不同的參數(shù), 導(dǎo)致模型復(fù)雜性較高。鑒于問題解決任務(wù)中狀態(tài)轉(zhuǎn)移有正誤之分, 而非是沒有數(shù)量順序的等價關(guān)系, 本文基于二分類建模提出了兩個模型復(fù)雜性相對較低的行動序列模型——1P-ASM和2P-ASM。不同于SRM將NRM遷移應(yīng)用至行動序列數(shù)據(jù)分析, 1P-ASM和2P-ASM分別將更為簡單的單參數(shù)IRT模型和兩參數(shù)IRT模型遷移應(yīng)用至行動序列數(shù)據(jù)分析。實證研究結(jié)果發(fā)現(xiàn)(1)兩個ASM和SRM的問題解決能力估計值具有接近于1的相關(guān)系數(shù), 表明它們測量的是同一潛在特質(zhì); (2)兩個ASM的計算耗時明顯低于SRM的, 一定程度上表明ASM的模型復(fù)雜性低于SRM的; (3)參數(shù)估計結(jié)果揭示了本研究中任務(wù)的特征:當(dāng)被試已經(jīng)處于正確問題解決路徑, 則其更易于保持在正確問題解決路徑上; 反之, 當(dāng)被試已經(jīng)處于錯誤問題解決路徑, 則其更易于繼續(xù)錯下去; (4)與1P-ASM和SRM將區(qū)分度參數(shù)進行固定不同, 2P-ASM可以提供在當(dāng)前所處問題狀態(tài)下呈現(xiàn)正確狀態(tài)轉(zhuǎn)移的區(qū)分度參數(shù), 有助于確定相對比較重要的問題狀態(tài)(比如實證研究中的問題狀態(tài)C和I), 以便數(shù)據(jù)分析者更好地了解任務(wù)本身。模擬研究結(jié)果發(fā)現(xiàn)(1)即便不是數(shù)據(jù)生成模型, 兩個ASM也能提供較高的參數(shù)估計返真性; (2)兩個ASM的計算耗時低于SRM, 尤其是在小樣本量條件下的相對優(yōu)勢更為明顯; (3)兩個ASM的問題解決能力估計值與SRM的均具有很高的一致性, 且2P-ASM與SRM的一致性相對更高; (4)被試解決問題時最終呈現(xiàn)的行動序列的長短是影響兩個ASM以及SRM參數(shù)估計返真性的主要原因之一:序列越長, 數(shù)據(jù)所含信息越多, 對問題解決能力的估計精度更高。綜上所述, 本文基于二分類建模提出的兩個ASM能夠?qū)崿F(xiàn)對行動序列數(shù)據(jù)的有效分析, 在減少模型復(fù)雜性的同時, 還能夠提供與SRM幾乎一致的被試問題解決能力估計值。同時, 綜合模擬研究與實證研究的結(jié)果, 我們認為2P-ASM比1P-ASM的綜合表現(xiàn)更優(yōu); 但當(dāng)樣本量較小(如100人)或任務(wù)簡單(解決問題所需的操作較少)時, 則推薦使用更簡約的1P-ASM。

    當(dāng)然, 作為二分類模型, ASM與SRM相比仍有一定的理論局限。比如, 使用ASM分析行動序列數(shù)據(jù)前需要將行動序列進行二分編碼, 將所有錯誤狀態(tài)轉(zhuǎn)移視為“等價”, 進而不可避免地損失了不同錯誤狀態(tài)轉(zhuǎn)移所提供的差異化信息。另外, 由于ASM是對二分編碼后的行動序列數(shù)據(jù)進行建模的, 導(dǎo)致我們無法通過給定模型參數(shù)使其生成行動序列數(shù)據(jù)。

    盡管本文提出兩個可有效分析行動序列數(shù)據(jù)的模型, 但仍有一些不足值得在今后的研究中做進一步嘗試。比如, 首先, 與SRM一樣, ASM也假設(shè)被試的問題解決能力是單維的; 然而, 在一些問題解決任務(wù)中, 有可能需要被試使用多個不同維度的問題解決能力。后續(xù)研究也可嘗試進一步提出多維行動序列模型(Shu et al., 2017)。其次, 在過程數(shù)據(jù)中, 不僅記錄了被試在問題解決各階段所處的問題狀態(tài), 還記錄了被試在問題解決各階段上的時間戳信息; 利用時間戳信息可以計算出被試呈現(xiàn)各狀態(tài)轉(zhuǎn)移所花費的時間, 即行動時間(action times) (Fu et al., 2022)。目前, 在題目層面數(shù)據(jù)分析中, 已有大量關(guān)于題目作答時間(item response times)數(shù)據(jù)分析的以及將其與題目作答精度數(shù)據(jù)進行聯(lián)合分析的研究(e.g., van der Linden, 2006; 2007; Man et al., 2022; Peng et al., 2022; Zhan et al., 2018, Zhan et al., 2022)。后續(xù)研究也可嘗試將行動時間數(shù)據(jù)與行動序列數(shù)據(jù)相結(jié)合, 進一步挖掘過程數(shù)據(jù)中所包含的豐富信息(Fu et al., 2022)。再有, 被試在解決問題過程中必須從下一個階段的轉(zhuǎn)移可選項中選擇一個才能將任務(wù)繼續(xù)下去; 當(dāng)被試不知如何選擇時, 是有可能通過猜測來進行選擇的。后續(xù)研究也可以嘗試遷移應(yīng)用包含猜測參數(shù)的三參數(shù)IRT模型來處理行動序列數(shù)據(jù)中可能存在的猜測問題。最后, 由于篇幅、時間和精力所限, 模擬研究中所操縱的變量數(shù)量或水平數(shù)量有限, 未能充分挖掘ASM在不同理想測驗條件下的表現(xiàn)。后續(xù)研究也可嘗試通過操縱其他變量(如, 任務(wù)的復(fù)雜性[包含更多數(shù)量問題狀態(tài)])來進一步探究ASM的心理計量學(xué)性能。

    Arieli-Attali, M., Ou, L., & Simmering, V. R. (2019). Understanding test takers' choices in a self-adapted test: A hidden Markov modeling of process data.,, 83.

    Beck, L. W. (1943). The principle of parsimony in empirical science.,(23), 617?633. https://doi.org/10.2307/2019692

    Bergner, Y., Walker, E., & Ogan, A. (2017). Dynamic Bayesian network models for peer tutoring interactions. In A. A. von Davier, M.Zhu, & P. C. Kyllonen (Eds),(pp. 249?268). Cham: Springer.

    Birnbaum, A. (1968). Some latent trait models and their use in inferring an examinee's ability. In F. M. Lord & M. R. Novick (Eds.),(pp.397?124). Reading, MA: Addison-Wesley.

    Bock, R. D. (1972). Estimating item parameters and latent ability when responses are scored in two or more nominal categories.(1), 29?51. https://doi.org/10. 1007/BF02291411

    Buchner, A., & Funke, J. (1993). Finite-state automata: Dynamic task environments in problem-solving research.(1), 83?118.

    Chen, Y. (2020). A continuous-time dynamic choice measurement model for problem-solving process data.(4), 1052?1075.

    Fu, Y., Zhan, P., Chen, Q., & Jiao, H. (2022). Joint modeling of action sequences and action times in problem-solving tasks.. Retrieved from psyarxiv.com/e3nbc

    Vehtari, A., Gelman, A., & Gabry, J. (2017). Practical Bayesian model evaluation using leave-one-out cross- validation and WAIC., 1413? 1432.

    Gelman, A., Meng, X.-L., & Stern, H. (1996). Posterior predictive assessment of model fitness via realized discrepancies.,, 733?760.

    Gelman, A., & Rubin, D. B. (1992). Inference from iterative simulation using multiple sequences.,, 457?511.

    Han, Y., Liu, H., & Ji, F. (2022). A sequential response model for analyzing process data on technology-based problem- solving tasks.(6), 960-977.

    Han, Y., & Wilson, M. (2022). Analyzing student response processes to evaluate success on a technology-based problem-solving task.(1), 33?45.

    Han, Y., Xiao, Y., &Liu, H. (2022). Feature extraction and ability estimation of process data in the problem-solving test.,(6), 1393?1409.

    [韓雨婷, 肖悅, 劉紅云. (2022). 問題解決測驗中過程數(shù)據(jù)的特征抽取與能力評估.(6), 1393? 1409.]

    Hao, J., Shu, Z., & von Davier, A. (2015). Analyzing process data from game/scenario-based tasks: An edit distance approach.(1), 33? 50.

    Harding, S. M. E., Griffin, P. E., Awwal, N., Alom, B. M., & Scoular, C. (2017). Measuring collaborative problem solving using mathematics-based tasks.(3), 1-19.

    He, Q., Borgonovi, F., & Paccagnella, M. (2021). Leveraging process data to assess adults’ problem-solving skills: Using sequence mining to identify behavioral patterns across digital tasks., 104170.

    He, Q., & von Davier, M. (2016). Analyzing process data from problem-solving items with N-grams: Insights from a computer-based large-scale assessment. In R. Yigal, F. Steve, & M. Maryam (Eds.),(pp. 749?776). Hershey, PA: Information Science Reference.

    Hoffman, M. D., & Gelman, A. (2014). The No-U-Turn sampler: Adaptively setting path lengths in Hamiltonian Monte Carlo.(1), 1593?1623.

    LaMar, M. M. (2018). Markov decision process measurement model.(1), 67?88.

    Levy, R. (2019). Dynamic Bayesian network modeling of game-based diagnostic assessments.(6), 771?794.

    Li, M., Liu, Y., Liu, H. (2020). Analysis of the Problem- solving strategies in computer-based dynamic assessment: The extension and application of multilevel mixture IRT model.(4), 528?540.

    [李美娟, 劉玥, 劉紅云. (2020). 計算機動態(tài)測驗中問題解決過程策略的分析: 多水平混合IRT模型的拓展與應(yīng)用.(4), 528?540.]

    Liu, H., Liu, Y., & Li, M. (2018). Analysis of process data of PISA 2012 computer-based problem solving: Application of the modified multilevel mixture IRT model.1372.

    Liu, Y., Xu, H., Chen, Q., & Zhan, P. (2022). The measurement of problem-solving competence using process data.,(3), 522?535.

    [劉耀輝, 徐慧穎, 陳琦鵬, 詹沛達. (2022). 基于過程數(shù)據(jù)的問題解決能力測量及數(shù)據(jù)分析方法.(3), 522?535.]

    Ma, W., Iaconangelo, C., & de la Torre, J. (2016). Model similarity, model selection, and attribute classification.(3), 200?217.

    Man, K., Harring, J. R., & Zhan, P. (2022). Bridging models of biometric and psychometric assessment: A three-way joint modeling approach of item responses, response times and gaze fixation counts(5), 361?381.

    Newell, A., & Simon, H. A. (1972).(Vol. 104, No. 9). Englewood Cliffs, NJ: Prentice-hall.

    OECD. (2013).. OECD Publishing. http://dx.doi.org/10. 1787/9789264190511-en

    Peng, S., Cai, Y., Wang, D., Luo, F., & Tu, D. (2022). A generalized diagnostic classification modeling framework integrating differential speediness: Advantages and illustrations in psychological and educational testing.(6), 940?959.

    Rasch, G. (1960).. InProceedings of the Fourth Berkeley Symposium on Mathematical Statistics and Probability: Held at the Statistical Laboratory, University of California, June 20-July 30, 1960 (Vol. 4, p. 321). University of California Press.

    Rosen, Y. (2017). Assessing students in human-to-agent settings to inform collaborative problem-solving learning.(1), 36?53.

    Shu, Z., Bergner, Y., Zhu, M., Hao, J., & von Davier, A. A. (2017). An item response theory analysis of problem- solving processes in scenario-based tasks.(1), 109?131.

    Tang, X., Wang, Z., He, Q., Liu, J., & Ying, Z. (2020). Latent feature extraction for process data via multidimensional scaling.(2), 378?397.

    Tang, X., Wang, Z., Liu, J., & Ying, Z. (2021). An exploratory analysis of the latent structure of process data via action sequence autoencoders.(1), 1?33.

    van der Linden, W. J. (2006). A lognormal model for response times on test items.(2), 181?204.

    van der Linden, W. J. (2007). A hierarchical framework for modeling speed and accuracy on test items.(3), 287?308.

    Vista, A., Care, E., & Awwal, N. (2017). Visualising and examining sequential actions as behavioural paths that can be interpreted as markers of complex behaviours., 656?671.

    Watanabe, S. (2010). Asymptotic equivalence of Bayes cross validation and widely applicable information criterion in singular learning theory.(12), 3571?3594..

    Wilson, M., Gochyyev, P., & Scalise, K. (2017). Modeling data from collaborative assessments: learning in digital interactive social networks.(1), 85?102.

    Xiao, Y., He, Q., Veldkamp, B., & Liu, H. (2021). Exploring latent states of problem-solving competence using hidden Markov model on process data.(5), 1232?1247.

    Xiao, Y., & Liu, H. (2023). A state response measurement model for problem-solving process data., Online First.

    Yuan, J., Xiao, Y., & Liu, H. (2019). Assessment of collaborative problem solving based on process stream data: A new paradigm for extracting indicators and modeling dyad data., 369.

    Zhan, P., Jiao, H., & Liao, D. (2018). Cognitive diagnosis modelling incorporating item response times.(2), 262?286.

    Zhan, P., Man, K., Wind, S. A., & Malone, J. (2022). Cognitive diagnosis modeling incorporating response times and fixation counts: Providing comprehensive feedback and accurate diagnosis.(6), 736?776.

    Zhan, P., & Qiao, X. (2022). Diagnostic classification analysis of problem-solving competence using process data: An item expansion method.,(4), 1529?1547.

    Zhan, S., Hao, J., & Davier, A. V. (2015). Analyzing process data from game/scenariobased tasks: An edit distance approach.,(1), 33?50.

    Zhang, S., Wang, Z., Qi, J., Liu, J., & Ying, Z. (2022). Accurate assessment via process data.,(1), 76?97.

    Zhu, M., Shu, Z., & von Davier, A. A. (2016). Using networks to visualize and analyze process data for educational assessment.(2), 190?211.

    Binary modeling of action sequences in problem-solving tasks: One- and two-parameter action sequence model

    FU Yanbin, CHEN Qipeng, ZHAN Peida

    (School of Psychology, Zhejiang Normal University; Intelligent Laboratory of Child and Adolescent Mental Health and Crisis Intervention of Zhejiang Province; Key Laboratory of Intelligent Education Technology and Application of Zhejiang Province, Jinhua 321004, China)

    Process data refers to the human-computer or human-human interaction data recorded in computerized learning and assessment systems that reflect respondents’ problem-solving processes. Among the process data, action sequences are the most typical data because they reflect how respondents solve the problem step by step. However, the non-standardized format of action sequences (i.e., different data lengths for different participants) also poses difficulties for the direct application of traditional psychometric models. Han et al. (2021) proposed the SRM by combining dynamic Bayesian networks with the nominal response model (NRM) to address the shortcomings of existing methods. Similar to the NRM, the SRM uses multinomial logistic modeling, which in turn assigns different parameters to each possible action or state transition in the task, leading to high model complexity. Given that actions or state transitions in problem-solving tasks have correct and incorrect outcomes rather than equivalence relations without quantitative order, this paper proposes two action sequence models based on binary logistic modeling with relatively low model complexity: the one- and two-parameter action sequence models (1P and 2P-ASM). Unlike the SRM, which applies the NRM migration to action sequence analysis, the 1P-ASM and 2P-ASM migrate the simpler one- and two-parameter IRT models to action sequence analysis, respectively.

    An illustrated example was provided to compare the performance of SRM and two ASMs with a real-world interactive assessment item, “Tickets,” in the PISA 2012. The results mainly showed that: (1) the latent ability estimates of two ASMs and the SRM had high correlation; (2) ASMs took less computing time than that of SRM; (3) participants who are solving the problem correctly tend to continue to present the correct actions, and vice versa; and (4) compared with the fixed discrimination parameter of the SRM, the free estimated discrimination parameter of the 2P-ASM helped us to better understand the task.

    A simulation study was further designed to explore the psychometric performance of the proposed model in different test scenarios. Two factors were manipulated: sample size (including 100, 200, and 500) and average problem state transition sequence length (including short and long). The SRM was used to generate the state transition sequences in the simulation study. The problem-solving task structure from the empirical study was used. The results showed that: (1) two ASMs could provide accurate parameter estimates even if they were not the data-generation model; (2) the computation time of both ASMs was lower than that of SRM, especially under the condition of a small sample size; (3) the problem-solving ability estimates of both ASMs were in high agreement with the problem-solving ability estimate of the SRM, and the agreement between 2P-ASM and SRM is relatively higher; and (4) the longer the problem state transition sequence, the better the recovery of problem-solving ability parameter for both ASMs and SRM.

    Overall, the two ASMs proposed in this paper based on binary logistic modeling can achieve effective analysis of action sequences and provide almost identical estimates of participants' problem-solving ability to SRM while significantly reducing the computational time. Meanwhile, combining the results of simulation and empirical studies, we believe that the 2P-ASM has better overall performance than the 1P-ASM; however, the more parsimonious 1P-ASM is recommended when the sample size is small (e.g., 100 participants) or the task is simple (fewer operations are required to solve the problem).

    process data, action sequence, problem state transition, action sequence model, item response theory

    B841

    2023-01-04

    * 國家自然科學(xué)基金青年基金項目(31900795)資助。

    詹沛達, E-mail: pdzhan@gmail.com

    猜你喜歡
    參數(shù)估計建模狀態(tài)
    基于新型DFrFT的LFM信號參數(shù)估計算法
    聯(lián)想等效,拓展建?!浴皫щ娦∏蛟诘刃鲋凶鰣A周運動”為例
    狀態(tài)聯(lián)想
    基于PSS/E的風(fēng)電場建模與動態(tài)分析
    電子制作(2018年17期)2018-09-28 01:56:44
    不對稱半橋變換器的建模與仿真
    生命的另一種狀態(tài)
    Logistic回歸模型的幾乎無偏兩參數(shù)估計
    基于向前方程的平穩(wěn)分布參數(shù)估計
    基于競爭失效數(shù)據(jù)的Lindley分布參數(shù)估計
    熱圖
    家庭百事通(2016年3期)2016-03-14 08:07:17
    久久精品影院6| 午夜免费男女啪啪视频观看 | 亚洲无线在线观看| 97人妻精品一区二区三区麻豆| 国产精品影院久久| 日韩精品青青久久久久久| 免费在线观看影片大全网站| 小说图片视频综合网站| 欧美日韩精品网址| 日本熟妇午夜| 99久久九九国产精品国产免费| 老司机在亚洲福利影院| 999久久久精品免费观看国产| 一进一出好大好爽视频| av视频在线观看入口| e午夜精品久久久久久久| 精品久久久久久久人妻蜜臀av| 身体一侧抽搐| 婷婷六月久久综合丁香| 欧美一区二区亚洲| 国产高清有码在线观看视频| 老司机午夜福利在线观看视频| 国产激情欧美一区二区| 老司机在亚洲福利影院| 99久久久亚洲精品蜜臀av| 亚洲国产精品999在线| www日本黄色视频网| 一个人免费在线观看的高清视频| 午夜精品久久久久久毛片777| 丰满人妻熟妇乱又伦精品不卡| 又黄又爽又免费观看的视频| 男女下面进入的视频免费午夜| 少妇裸体淫交视频免费看高清| 亚洲人成伊人成综合网2020| 亚洲午夜理论影院| 人人妻人人澡欧美一区二区| 18禁在线播放成人免费| 色视频www国产| 中文字幕高清在线视频| 日韩精品青青久久久久久| 亚洲国产欧美人成| 黄色片一级片一级黄色片| 啦啦啦观看免费观看视频高清| 少妇熟女aⅴ在线视频| 午夜影院日韩av| 一个人免费在线观看的高清视频| 一级黄片播放器| 怎么达到女性高潮| 欧美一级a爱片免费观看看| 又黄又爽又免费观看的视频| 国产免费一级a男人的天堂| 午夜影院日韩av| 久久精品国产清高在天天线| 最近视频中文字幕2019在线8| 国产精品久久视频播放| 操出白浆在线播放| 51国产日韩欧美| 久久香蕉国产精品| 日韩av在线大香蕉| 高清毛片免费观看视频网站| 亚洲成人久久爱视频| 夜夜躁狠狠躁天天躁| 看黄色毛片网站| 免费一级毛片在线播放高清视频| 成人国产综合亚洲| 日本成人三级电影网站| 日韩人妻高清精品专区| 99视频精品全部免费 在线| 精品一区二区三区人妻视频| 午夜福利高清视频| 91久久精品电影网| 亚洲真实伦在线观看| 少妇人妻一区二区三区视频| 国产一区在线观看成人免费| 色噜噜av男人的天堂激情| 久久中文看片网| 免费高清视频大片| 叶爱在线成人免费视频播放| 精品久久久久久久末码| 国产精品美女特级片免费视频播放器| www国产在线视频色| 亚洲不卡免费看| 一级毛片高清免费大全| 亚洲乱码一区二区免费版| av在线天堂中文字幕| 国产亚洲欧美98| 国产精品亚洲美女久久久| 色在线成人网| 69av精品久久久久久| 一卡2卡三卡四卡精品乱码亚洲| 9191精品国产免费久久| 村上凉子中文字幕在线| 欧美zozozo另类| 亚洲avbb在线观看| h日本视频在线播放| 欧美午夜高清在线| 国产精品嫩草影院av在线观看 | 99国产综合亚洲精品| 日本黄色片子视频| 国产探花极品一区二区| 亚洲片人在线观看| 国产成人影院久久av| 亚洲不卡免费看| 国产久久久一区二区三区| 精品一区二区三区av网在线观看| www.熟女人妻精品国产| 黑人欧美特级aaaaaa片| 亚洲无线观看免费| 又紧又爽又黄一区二区| 久久精品人妻少妇| 丰满的人妻完整版| 黄色丝袜av网址大全| 国产高清videossex| 国内精品久久久久精免费| 国产熟女xx| 国产午夜福利久久久久久| 久久精品影院6| 狂野欧美白嫩少妇大欣赏| 亚洲无线观看免费| 色噜噜av男人的天堂激情| 久久久久国内视频| 国产av麻豆久久久久久久| 午夜福利在线在线| 亚洲黑人精品在线| 亚洲人成网站高清观看| 伊人久久大香线蕉亚洲五| 叶爱在线成人免费视频播放| 亚洲久久久久久中文字幕| 成年版毛片免费区| 亚洲18禁久久av| 日韩有码中文字幕| 特级一级黄色大片| 色综合亚洲欧美另类图片| 18美女黄网站色大片免费观看| 国产单亲对白刺激| 精品久久久久久久末码| 日韩人妻高清精品专区| 欧美在线黄色| 亚洲av电影在线进入| 亚洲,欧美精品.| 亚洲一区二区三区色噜噜| 精品久久久久久,| 美女高潮喷水抽搐中文字幕| 在线观看午夜福利视频| 久久久久性生活片| 怎么达到女性高潮| 久久久久久久久中文| 欧美激情久久久久久爽电影| 动漫黄色视频在线观看| 国产av在哪里看| 亚洲av免费在线观看| 51午夜福利影视在线观看| 午夜免费激情av| 成年女人毛片免费观看观看9| 亚洲在线自拍视频| 好看av亚洲va欧美ⅴa在| 不卡一级毛片| 国产高清激情床上av| 精品久久久久久久毛片微露脸| 99riav亚洲国产免费| aaaaa片日本免费| 欧美大码av| 午夜福利在线观看免费完整高清在 | 国产av一区在线观看免费| 亚洲无线观看免费| 成人三级黄色视频| 日日干狠狠操夜夜爽| 内地一区二区视频在线| 韩国av一区二区三区四区| 大型黄色视频在线免费观看| 亚洲18禁久久av| 亚洲精品久久国产高清桃花| 人妻丰满熟妇av一区二区三区| 欧美一区二区精品小视频在线| 淫秽高清视频在线观看| 美女高潮的动态| 亚洲欧美日韩东京热| 久久精品国产自在天天线| 18禁美女被吸乳视频| 免费看日本二区| 欧美乱色亚洲激情| 色在线成人网| 99国产精品一区二区蜜桃av| 99热6这里只有精品| 国产精品电影一区二区三区| 人妻夜夜爽99麻豆av| 亚洲av免费在线观看| 好男人在线观看高清免费视频| 免费在线观看日本一区| 亚洲专区中文字幕在线| 最近视频中文字幕2019在线8| 操出白浆在线播放| 国产高清三级在线| 一个人看的www免费观看视频| 99国产极品粉嫩在线观看| 国产欧美日韩精品亚洲av| 一本久久中文字幕| 成熟少妇高潮喷水视频| 午夜视频国产福利| 亚洲中文字幕一区二区三区有码在线看| 村上凉子中文字幕在线| 国产国拍精品亚洲av在线观看 | 99久久精品国产亚洲精品| 高潮久久久久久久久久久不卡| 婷婷精品国产亚洲av| 欧美bdsm另类| 日本 欧美在线| av专区在线播放| 精华霜和精华液先用哪个| 嫁个100分男人电影在线观看| 午夜日韩欧美国产| 精品国产美女av久久久久小说| 国产中年淑女户外野战色| 中文字幕高清在线视频| 网址你懂的国产日韩在线| 欧美中文综合在线视频| 国产欧美日韩精品一区二区| 欧美在线一区亚洲| 精品无人区乱码1区二区| 久久久久久久亚洲中文字幕 | 久久性视频一级片| 欧美日韩一级在线毛片| 日本三级黄在线观看| 美女被艹到高潮喷水动态| 国产一级毛片七仙女欲春2| 最新中文字幕久久久久| 男女之事视频高清在线观看| 少妇人妻精品综合一区二区 | 搡女人真爽免费视频火全软件 | 18禁在线播放成人免费| 欧美日韩一级在线毛片| 国内久久婷婷六月综合欲色啪| av福利片在线观看| 国产欧美日韩一区二区三| 丝袜美腿在线中文| 一夜夜www| 超碰av人人做人人爽久久 | 香蕉丝袜av| 国产高清有码在线观看视频| 国产成人av教育| 国产精品 欧美亚洲| 一级毛片女人18水好多| 内射极品少妇av片p| 久久久久亚洲av毛片大全| 免费高清视频大片| 精品久久久久久久毛片微露脸| 最近最新中文字幕大全免费视频| а√天堂www在线а√下载| 青草久久国产| 欧美国产日韩亚洲一区| 国产精品一区二区三区四区免费观看 | 色综合亚洲欧美另类图片| 少妇人妻一区二区三区视频| 18禁黄网站禁片免费观看直播| 亚洲av成人av| av在线天堂中文字幕| 老司机午夜十八禁免费视频| 一本综合久久免费| 免费看a级黄色片| 91麻豆精品激情在线观看国产| 舔av片在线| 男女视频在线观看网站免费| 欧美丝袜亚洲另类 | 国产一区二区三区视频了| 美女免费视频网站| 亚洲精品色激情综合| а√天堂www在线а√下载| 亚洲欧美日韩高清专用| 天堂网av新在线| 成人高潮视频无遮挡免费网站| 亚洲电影在线观看av| 国产蜜桃级精品一区二区三区| 久久亚洲精品不卡| 国产精品爽爽va在线观看网站| 成人特级av手机在线观看| 99国产精品一区二区蜜桃av| 18禁裸乳无遮挡免费网站照片| 狂野欧美激情性xxxx| av专区在线播放| 国内精品一区二区在线观看| 动漫黄色视频在线观看| 无遮挡黄片免费观看| 波多野结衣高清作品| 国产高清有码在线观看视频| 国产精品久久久久久久久免 | 国产高清激情床上av| 国产精品av视频在线免费观看| 国产精品女同一区二区软件 | 一区二区三区国产精品乱码| 亚洲国产欧美网| 女同久久另类99精品国产91| 国内精品美女久久久久久| 日韩欧美精品v在线| 搡老妇女老女人老熟妇| 欧美3d第一页| 九色国产91popny在线| 好看av亚洲va欧美ⅴa在| av天堂中文字幕网| 啦啦啦免费观看视频1| 最近视频中文字幕2019在线8| 亚洲成a人片在线一区二区| 又紧又爽又黄一区二区| 久久精品影院6| 母亲3免费完整高清在线观看| tocl精华| 熟女少妇亚洲综合色aaa.| 久久久久久久久中文| 国产免费一级a男人的天堂| 欧美黑人欧美精品刺激| 99riav亚洲国产免费| 免费人成在线观看视频色| 国产亚洲精品av在线| 在线观看免费视频日本深夜| 午夜免费成人在线视频| 国产一区二区三区在线臀色熟女| 久久久久国内视频| 91麻豆av在线| 婷婷丁香在线五月| h日本视频在线播放| 免费观看人在逋| 午夜免费男女啪啪视频观看 | 18禁黄网站禁片午夜丰满| 欧美3d第一页| 国产又黄又爽又无遮挡在线| 亚洲国产精品合色在线| 人妻夜夜爽99麻豆av| 3wmmmm亚洲av在线观看| 国产黄a三级三级三级人| 亚洲欧美日韩高清专用| 免费一级毛片在线播放高清视频| 精品人妻1区二区| 久久99热这里只有精品18| 丝袜美腿在线中文| 国内精品久久久久久久电影| svipshipincom国产片| 在线播放无遮挡| 国产精品综合久久久久久久免费| 国产av不卡久久| 操出白浆在线播放| 亚洲男人的天堂狠狠| 欧美乱码精品一区二区三区| 99视频精品全部免费 在线| 国产精品一及| 久久久久久久精品吃奶| 法律面前人人平等表现在哪些方面| 成人特级黄色片久久久久久久| 草草在线视频免费看| 午夜福利免费观看在线| 日韩有码中文字幕| 亚洲天堂国产精品一区在线| 午夜两性在线视频| 国产高清激情床上av| 久久久久久久精品吃奶| e午夜精品久久久久久久| www日本在线高清视频| 美女黄网站色视频| 99久久精品国产亚洲精品| 两性午夜刺激爽爽歪歪视频在线观看| 国产三级中文精品| 国产一区二区激情短视频| 成人无遮挡网站| 久久久久性生活片| 特大巨黑吊av在线直播| 中文资源天堂在线| 午夜福利欧美成人| 精品一区二区三区视频在线 | 亚洲av成人精品一区久久| 可以在线观看毛片的网站| 精品一区二区三区av网在线观看| 成人高潮视频无遮挡免费网站| 国产三级中文精品| 国产一区二区在线av高清观看| 夜夜夜夜夜久久久久| 好男人电影高清在线观看| 老鸭窝网址在线观看| 夜夜躁狠狠躁天天躁| 国产精品国产高清国产av| 成人三级黄色视频| 19禁男女啪啪无遮挡网站| 性色avwww在线观看| 午夜精品一区二区三区免费看| 精品不卡国产一区二区三区| 变态另类丝袜制服| 国产av一区在线观看免费| 国产三级在线视频| 久久天躁狠狠躁夜夜2o2o| 午夜免费激情av| 国产精品永久免费网站| www日本在线高清视频| 老汉色∧v一级毛片| 亚洲国产欧洲综合997久久,| 日本黄色片子视频| 国产视频一区二区在线看| 中国美女看黄片| 九九在线视频观看精品| 真人一进一出gif抽搐免费| 老汉色∧v一级毛片| 午夜精品久久久久久毛片777| 国产精品综合久久久久久久免费| 亚洲人成伊人成综合网2020| 亚洲精品一区av在线观看| 一级黄片播放器| 人人妻,人人澡人人爽秒播| 两人在一起打扑克的视频| 村上凉子中文字幕在线| 校园春色视频在线观看| 宅男免费午夜| 怎么达到女性高潮| 噜噜噜噜噜久久久久久91| 香蕉久久夜色| 一个人免费在线观看电影| 国内精品一区二区在线观看| 成人无遮挡网站| av福利片在线观看| 精品欧美国产一区二区三| 国产高清视频在线播放一区| 一级黄片播放器| 午夜影院日韩av| 国产精品亚洲av一区麻豆| 亚洲专区中文字幕在线| 国产成人影院久久av| 午夜日韩欧美国产| 男人舔奶头视频| 夜夜爽天天搞| 中文在线观看免费www的网站| 久久久久国产精品人妻aⅴ院| 啦啦啦免费观看视频1| 欧美日韩中文字幕国产精品一区二区三区| 一卡2卡三卡四卡精品乱码亚洲| av中文乱码字幕在线| 热99re8久久精品国产| 在线观看66精品国产| 久久精品综合一区二区三区| 亚洲欧美激情综合另类| 757午夜福利合集在线观看| 一进一出好大好爽视频| 国产成人aa在线观看| 久久久久免费精品人妻一区二区| 亚洲美女视频黄频| 久久久国产成人精品二区| 在线观看av片永久免费下载| 少妇人妻精品综合一区二区 | 国产真人三级小视频在线观看| 一个人免费在线观看电影| 久久久久精品国产欧美久久久| 少妇人妻一区二区三区视频| 亚洲人与动物交配视频| 国产成+人综合+亚洲专区| 国产成人福利小说| 国产在视频线在精品| 九九久久精品国产亚洲av麻豆| 最近最新中文字幕大全电影3| 国产av麻豆久久久久久久| 欧美av亚洲av综合av国产av| 在线看三级毛片| 国产精品影院久久| 亚洲人与动物交配视频| 国内少妇人妻偷人精品xxx网站| 麻豆国产av国片精品| 老汉色∧v一级毛片| 国产淫片久久久久久久久 | 91在线观看av| 亚洲熟妇熟女久久| 两个人看的免费小视频| 久久久成人免费电影| 欧美3d第一页| 亚洲av成人不卡在线观看播放网| 国产精品嫩草影院av在线观看 | 国产精品香港三级国产av潘金莲| 毛片女人毛片| 亚洲欧美日韩东京热| 亚洲精品色激情综合| 91麻豆av在线| 国产爱豆传媒在线观看| 嫩草影院入口| 久久久久免费精品人妻一区二区| АⅤ资源中文在线天堂| 免费人成在线观看视频色| 亚洲精品国产精品久久久不卡| 亚洲无线观看免费| 18美女黄网站色大片免费观看| 国产午夜福利久久久久久| 国产成人aa在线观看| av中文乱码字幕在线| 国产美女午夜福利| 12—13女人毛片做爰片一| 天天躁日日操中文字幕| 国产激情偷乱视频一区二区| av在线蜜桃| 久久久精品欧美日韩精品| 国产v大片淫在线免费观看| 日本成人三级电影网站| 欧美性猛交╳xxx乱大交人| 久久久久精品国产欧美久久久| 亚洲乱码一区二区免费版| 精品熟女少妇八av免费久了| 精品一区二区三区视频在线观看免费| 在线观看午夜福利视频| 岛国在线观看网站| 在线观看午夜福利视频| 国产黄片美女视频| 成人特级av手机在线观看| 欧洲精品卡2卡3卡4卡5卡区| 国产三级在线视频| 欧美乱妇无乱码| 激情在线观看视频在线高清| 美女高潮喷水抽搐中文字幕| 亚洲人成网站在线播| 亚洲美女黄片视频| 免费搜索国产男女视频| 国产探花极品一区二区| 国产精品女同一区二区软件 | 怎么达到女性高潮| 男女午夜视频在线观看| 免费在线观看成人毛片| 黄色丝袜av网址大全| 日韩成人在线观看一区二区三区| 国模一区二区三区四区视频| 国产激情偷乱视频一区二区| 男女做爰动态图高潮gif福利片| 中文字幕精品亚洲无线码一区| 国产精品综合久久久久久久免费| 免费观看的影片在线观看| 日本黄色视频三级网站网址| 一边摸一边抽搐一进一小说| 国产亚洲精品综合一区在线观看| 在线免费观看的www视频| 亚洲欧美精品综合久久99| 神马国产精品三级电影在线观看| 老鸭窝网址在线观看| 免费一级毛片在线播放高清视频| 午夜免费观看网址| 精品99又大又爽又粗少妇毛片 | 午夜激情欧美在线| 国产精品亚洲一级av第二区| 日本免费a在线| 窝窝影院91人妻| 哪里可以看免费的av片| svipshipincom国产片| 国产午夜精品久久久久久一区二区三区 | 久久久国产精品麻豆| 欧美乱码精品一区二区三区| 国产黄色小视频在线观看| 国产熟女xx| 极品教师在线免费播放| 在线观看舔阴道视频| 一夜夜www| 久久久久久久久中文| 欧美黑人巨大hd| 动漫黄色视频在线观看| 久9热在线精品视频| 国产三级中文精品| 久99久视频精品免费| 国产极品精品免费视频能看的| 狠狠狠狠99中文字幕| 亚洲无线观看免费| 国产一区二区三区在线臀色熟女| 亚洲av成人精品一区久久| 国产欧美日韩一区二区三| 国产成人啪精品午夜网站| 3wmmmm亚洲av在线观看| 少妇的丰满在线观看| 啦啦啦免费观看视频1| 成熟少妇高潮喷水视频| 久久这里只有精品中国| 熟女少妇亚洲综合色aaa.| 亚洲乱码一区二区免费版| 精品无人区乱码1区二区| 麻豆久久精品国产亚洲av| 男人和女人高潮做爰伦理| 精品一区二区三区视频在线观看免费| 日本一二三区视频观看| 国产精品99久久99久久久不卡| 啪啪无遮挡十八禁网站| 国产乱人伦免费视频| 国产亚洲av嫩草精品影院| 亚洲 欧美 日韩 在线 免费| 首页视频小说图片口味搜索| 热99在线观看视频| 高清在线国产一区| 亚洲18禁久久av| 精品国内亚洲2022精品成人| 十八禁网站免费在线| 一本精品99久久精品77| 99久久精品热视频| 国产精品 欧美亚洲| 男人舔女人下体高潮全视频| 亚洲国产中文字幕在线视频| 久久这里只有精品中国| 国产又黄又爽又无遮挡在线| 五月玫瑰六月丁香| 一级毛片高清免费大全| 国模一区二区三区四区视频| 色在线成人网| 成人欧美大片| 午夜老司机福利剧场| 少妇人妻一区二区三区视频| 成人欧美大片| 一个人免费在线观看电影| 欧美日韩综合久久久久久 | 免费在线观看成人毛片| 日韩欧美国产一区二区入口| 国产成人av教育| 亚洲美女黄片视频| 精品午夜福利视频在线观看一区| 欧美bdsm另类| 九色国产91popny在线| 国产高清视频在线观看网站| 久久精品国产亚洲av涩爱 | 真人一进一出gif抽搐免费| 国产精品香港三级国产av潘金莲| 日韩欧美在线乱码| 一本一本综合久久| 久久婷婷人人爽人人干人人爱| 无限看片的www在线观看|