• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    聚焦可解釋性:知識(shí)追蹤模型綜述與展望

    2024-06-03 18:29:39楊文陽(yáng)楊益慧
    現(xiàn)代教育技術(shù) 2024年5期
    關(guān)鍵詞:智慧教育

    楊文陽(yáng) 楊益慧

    摘要:模型的可解釋性是評(píng)估其實(shí)用性和實(shí)際應(yīng)用價(jià)值的重要指標(biāo),但目前基于深度學(xué)習(xí)的知識(shí)追蹤模型普遍存在可解釋性差的問(wèn)題,導(dǎo)致教學(xué)決策過(guò)程不透明。對(duì)此,文章首先介紹了知識(shí)追蹤的流程,分析了知識(shí)追蹤模型的可解釋性,并根據(jù)可解釋性方法在模型訓(xùn)練過(guò)程中作用的時(shí)間,將可解釋知識(shí)追蹤模型分為事前可解釋的知識(shí)追蹤模型和事后可解釋的知識(shí)追蹤模型。隨后,文章分別對(duì)這兩種模型進(jìn)行再分類,并從優(yōu)點(diǎn)、缺點(diǎn)兩個(gè)維度,對(duì)不同類型的事前、事后可解釋知識(shí)追蹤模型進(jìn)行了對(duì)比。最后,文章從模型可視化、融入教育規(guī)律、多模態(tài)數(shù)據(jù)融合、解釋方法探索、可解釋性評(píng)估等方面,對(duì)未來(lái)可解釋知識(shí)追蹤模型的教學(xué)應(yīng)用進(jìn)行了展望。文章的研究有助于提升知識(shí)追蹤模型在教學(xué)中的實(shí)用性,推動(dòng)教育數(shù)字化的進(jìn)程。

    關(guān)鍵詞:知識(shí)追蹤;可解釋性;全局可解釋性;局部可解釋性;智慧教育

    【中圖分類號(hào)】G40-057 【文獻(xiàn)標(biāo)識(shí)碼】A 【論文編號(hào)】1009—8097(2024)05—0053—11 【DOI】10.3969/j.issn.1009-8097.2024.05.006

    引言

    隨著人工智能、云計(jì)算、大數(shù)據(jù)等新一代信息技術(shù)的快速發(fā)展,智慧教育進(jìn)入了新的發(fā)展階段。黨的二十大報(bào)告明確提出“推進(jìn)教育數(shù)字化,建設(shè)全民終身學(xué)習(xí)型社會(huì)、學(xué)習(xí)型大國(guó)”[1],這就需要構(gòu)建智慧教育發(fā)展新生態(tài),以數(shù)據(jù)為驅(qū)動(dòng),促進(jìn)人工智能技術(shù)在教育教學(xué)中的應(yīng)用?;诖耍斜匾l(fā)展數(shù)字化教育服務(wù),利用數(shù)字技術(shù)提供個(gè)性化、定制化的教育服務(wù),包括在線學(xué)習(xí)、網(wǎng)絡(luò)輔導(dǎo)、遠(yuǎn)程教育等,來(lái)支撐智慧教育的實(shí)現(xiàn)。知識(shí)追蹤(Knowledge Tracing,KT)由美國(guó)卡內(nèi)基梅隆大學(xué)人機(jī)交互研究所專家Corbett等[2]于1995年引入智能教育領(lǐng)域,后成為個(gè)性化學(xué)習(xí)系統(tǒng)中學(xué)習(xí)者知識(shí)狀態(tài)建模的主流方法[3]。深度學(xué)習(xí)因其能夠處理大規(guī)模數(shù)據(jù)、自動(dòng)化地進(jìn)行特征提取和數(shù)據(jù)分析等優(yōu)點(diǎn),使知識(shí)追蹤模型的性能得到了顯著提升。然而,作為人工智能領(lǐng)域的關(guān)鍵技術(shù),深度學(xué)習(xí)也因其“端到端”和高度的非線性操作特點(diǎn),導(dǎo)致其模型可解釋性不足。在模型研究中,可解釋性是模型優(yōu)化的有效途徑;而在實(shí)際應(yīng)用中,可解釋性是模型應(yīng)用推廣的助力器[4]。在知識(shí)追蹤領(lǐng)域,模型的可解釋性也是衡量模型的一項(xiàng)重要指標(biāo)。

    基于上述分析,本研究嘗試從可解釋性知識(shí)追蹤的基本概念切入,深入剖析可解釋性在知識(shí)追蹤領(lǐng)域的作用;同時(shí),通過(guò)對(duì)當(dāng)前領(lǐng)域研究成果的梳理與分析,根據(jù)解釋時(shí)間和范圍的不同,對(duì)可解釋知識(shí)追蹤模型進(jìn)行分類探討;最后,探討可解釋知識(shí)追蹤模型在教學(xué)中的應(yīng)用并提出相關(guān)建議,以期為教育教學(xué)工作的開(kāi)展提供有力支持。

    一 知識(shí)追蹤模型的相關(guān)問(wèn)題

    在知識(shí)追蹤領(lǐng)域,模型的可解釋性有助于解釋模型的決策基礎(chǔ)和推理過(guò)程。而對(duì)可解釋知識(shí)追蹤模型的研究,涉及智慧教育、認(rèn)知科學(xué)、計(jì)算機(jī)科學(xué)等多個(gè)領(lǐng)域。本研究首先對(duì)知識(shí)追蹤的流程、可解釋性的概念及其在知識(shí)追蹤模型中的必要性進(jìn)行介紹。

    1 知識(shí)追蹤的流程

    知識(shí)追蹤是一項(xiàng)針對(duì)時(shí)間序列的學(xué)習(xí)任務(wù),其基于用戶的歷史答題數(shù)據(jù)進(jìn)行建模,從而獲得學(xué)習(xí)者對(duì)知識(shí)的掌握情況,并預(yù)測(cè)學(xué)習(xí)者在下一次練習(xí)中答對(duì)題目的概率。知識(shí)追蹤流程如圖1所示,其中k1、k2、k3分別表示三個(gè)不同的知識(shí)概念,k1、k2各包含3道習(xí)題,k3包含2道習(xí)題;S1、S2分別表示學(xué)習(xí)者1、學(xué)習(xí)者2的答題表現(xiàn);“√”表示學(xué)習(xí)者答對(duì)習(xí)題,“×”表示學(xué)習(xí)者答錯(cuò)習(xí)題,“?”表示學(xué)習(xí)者還未作答。知識(shí)追蹤通過(guò)學(xué)習(xí)S1、S2兩位學(xué)習(xí)者對(duì)習(xí)題e1~e7的作答表現(xiàn),預(yù)測(cè)未來(lái)某個(gè)時(shí)刻學(xué)習(xí)者對(duì)習(xí)題e8的作答表現(xiàn)。

    2 知識(shí)追蹤模型的可解釋性

    目前,學(xué)術(shù)界對(duì)“可解釋性”的定義尚未達(dá)成一致,不同研究者從不同角度對(duì)“可解釋性”賦予了不同的內(nèi)涵??山忉屝跃哂邢鄬?duì)主觀性,難以通過(guò)具體的數(shù)學(xué)公式來(lái)定義。Miller[5]表示,可解釋性是人類為了能夠理解決策原因或能夠準(zhǔn)確重現(xiàn)模型付出努力的程度。在人工智能領(lǐng)域,可解釋性是指以一種可理解的方式解釋模型或算法的決策過(guò)程、預(yù)測(cè)結(jié)果或?qū)W習(xí)到的知識(shí),涉及將復(fù)雜的模型、特征、數(shù)據(jù)轉(zhuǎn)化為人類可理解和可解釋的形式,使人們能夠理解模型的工作原理、依據(jù)和推理過(guò)程。

    從算法的角度來(lái)看,在知識(shí)追蹤任務(wù)中傳統(tǒng)的機(jī)器學(xué)習(xí)方法結(jié)構(gòu)簡(jiǎn)單,具有良好的可解釋性。隨著人工智能技術(shù)的迅速發(fā)展,深度學(xué)習(xí)已成為當(dāng)前主流的方法之一。相較于傳統(tǒng)方法,深度學(xué)習(xí)顯著提升了知識(shí)追蹤模型的性能。深度學(xué)習(xí)的過(guò)程需要經(jīng)過(guò)多層非線性變換,即每一層神經(jīng)元對(duì)輸入進(jìn)行非線性變換并傳遞給下一層,這使模型學(xué)習(xí)到的特征較為抽象、難以直觀理解。從教育的角度來(lái)看,可解釋性是模型應(yīng)用的必要條件,既是學(xué)習(xí)者與模型建立信任的關(guān)鍵方式,也是研究人員優(yōu)化模型的重要依據(jù)。然而,知識(shí)追蹤領(lǐng)域?qū)δP偷难芯扛嗟仃P(guān)注其準(zhǔn)確率,而忽視了可解釋性的重要性。在實(shí)際的教學(xué)應(yīng)用中,知識(shí)追蹤模型的可解釋性是建立學(xué)習(xí)者與教師之間信任關(guān)系以及模型長(zhǎng)期使用和推廣的重要條件。在教學(xué)中,教師不僅需要了解學(xué)習(xí)者的學(xué)習(xí)效果,還需要了解其學(xué)習(xí)過(guò)程,以幫助他們做出更好的學(xué)習(xí)決策;同時(shí),研究者也需要及時(shí)獲取知識(shí)追蹤模型的變化狀態(tài),以在后續(xù)的研究和模型訓(xùn)練中進(jìn)行改進(jìn),從而在不斷變化的學(xué)習(xí)環(huán)境中更準(zhǔn)確地評(píng)估學(xué)習(xí)者的知識(shí)掌握情況。

    綜上可知,知識(shí)追蹤模型的可解釋性對(duì)于教育教學(xué)至關(guān)重要。深度學(xué)習(xí)雖然提升了知識(shí)追蹤模型預(yù)測(cè)的精度,但其抽象性使模型的解釋變得更加困難。因此,知識(shí)追蹤研究除了要關(guān)注模型的精度,也要重視模型的可解釋性,以提高模型的實(shí)用性和推廣性。近年來(lái),研究者提出了不同的可解釋性方法,如分層關(guān)聯(lián)傳播[6]、因果解釋法[7]等。本研究根據(jù)可解釋性方法在模型訓(xùn)練過(guò)程中作用的時(shí)間,將可解釋知識(shí)追蹤模型分為兩類:事前(Ante-hoc)可解釋的知識(shí)追蹤模型和事后(Post-hoc)可解釋的知識(shí)追蹤模型。

    二 事前可解釋的知識(shí)追蹤模型

    事前可解釋性是指模型的可解釋性行為發(fā)生在模型訓(xùn)練之前,而對(duì)于一個(gè)已訓(xùn)練好的學(xué)習(xí)模型來(lái)說(shuō),無(wú)須添加額外的信息就可以解釋模型的決策過(guò)程或預(yù)測(cè)結(jié)果,因此這種解釋方式也被稱為內(nèi)置可解釋性。事前可解釋性可用于模型的設(shè)計(jì)和構(gòu)建,使其內(nèi)部工作機(jī)制相對(duì)直觀和易于理解,有助于研究者或?qū)W習(xí)者直接觀察模型組件,理解其如何根據(jù)輸入數(shù)據(jù)產(chǎn)生輸出。

    1 模型分類

    通過(guò)對(duì)當(dāng)前知識(shí)追蹤領(lǐng)域相關(guān)研究成果的分析,參考可解釋人工智能領(lǐng)域模型的分類[8],可以得出以下三類模型屬于事前可解釋知識(shí)追蹤模型的范疇:①基于貝葉斯方法的知識(shí)追蹤模型,其在進(jìn)行預(yù)測(cè)前能夠提供先驗(yàn)概率信息;②基于因素分析的知識(shí)追蹤模型,其能夠考慮潛在因素結(jié)構(gòu);③基于注意力機(jī)制的知識(shí)追蹤模型,其在預(yù)測(cè)前就確定了模型關(guān)注的重要信息。

    (1)基于貝葉斯方法的知識(shí)追蹤模型

    貝葉斯方法是一種利用先驗(yàn)知識(shí)和觀測(cè)數(shù)據(jù)來(lái)更新后驗(yàn)概率的方法。貝葉斯知識(shí)追蹤(Bayesian Knowledge Tracing,BKT)利用貝葉斯方法的原理解決知識(shí)追蹤問(wèn)題,其通過(guò)定義學(xué)習(xí)者知識(shí)狀態(tài)與答題表現(xiàn)之間的概率關(guān)系、答題數(shù)據(jù)的變化情況來(lái)更新知識(shí)狀態(tài),達(dá)到知識(shí)追蹤的目的。貝葉斯知識(shí)追蹤可以提供每個(gè)知識(shí)點(diǎn)的掌握概率和每個(gè)答題結(jié)果的后驗(yàn)概率,從而直觀地反映學(xué)習(xí)者的知識(shí)水平和答題表現(xiàn)。

    研究者將先驗(yàn)知識(shí)、教學(xué)干預(yù)措施等引入BKT模型,使模型在可解釋性方面具有更高的可信度。例如,Pardos等[9]通過(guò)引入特殊的先驗(yàn)知識(shí)模塊,為學(xué)習(xí)者賦予不同的先驗(yàn)概率參數(shù),實(shí)現(xiàn)了對(duì)學(xué)習(xí)者先驗(yàn)知識(shí)狀態(tài)的個(gè)性化建模;Lin等[10]假設(shè)不同類型的教學(xué)干預(yù)會(huì)對(duì)學(xué)習(xí)者的潛在狀態(tài)產(chǎn)生不同的影響,在此基礎(chǔ)上提出了基于干預(yù)的BKT模型(Intervention-BKT),并通過(guò)將教學(xué)干預(yù)措施引入BKT模型,對(duì)學(xué)習(xí)者的知識(shí)掌握狀態(tài)進(jìn)行了預(yù)測(cè);Nedungadi等[11]提出了基于個(gè)性化聚類的知識(shí)追蹤模型(Personalized Clustered BKT,PC-BKT),其可以通過(guò)對(duì)知識(shí)點(diǎn)賦予單獨(dú)的先驗(yàn)概率,動(dòng)態(tài)聚類學(xué)習(xí)者的行為模式和能力水平,從而為學(xué)習(xí)者提供更合適的知識(shí)內(nèi)容與學(xué)習(xí)路徑。

    整體而言,基于貝葉斯方法的知識(shí)追蹤模型具有強(qiáng)大的可解釋性且構(gòu)造相對(duì)簡(jiǎn)單,已被廣泛應(yīng)用于學(xué)習(xí)者知識(shí)狀態(tài)的診斷、教育決策的制定、個(gè)性化學(xué)習(xí)路徑的推薦等方面[12],是教育領(lǐng)域中一種有價(jià)值的工具,可為教育決策提供重要的支持和指導(dǎo)。

    (2)基于因素分析的知識(shí)追蹤模型

    因素分析(Factories Analysis,F(xiàn)A)是一種統(tǒng)計(jì)方法,可以用來(lái)分析多個(gè)變量之間的相關(guān)性,從而提取出一些潛在的因素,來(lái)解釋變量之間的共同變異?;谝蛩胤治龅闹R(shí)追蹤模型的理論基礎(chǔ)是項(xiàng)目反應(yīng)理論,此理論在教育評(píng)估和測(cè)量方面發(fā)揮了重要作用。項(xiàng)目反應(yīng)理論的核心思想是根據(jù)學(xué)習(xí)者在解決問(wèn)題過(guò)程中的影響因素,通過(guò)學(xué)習(xí)邏輯函數(shù)來(lái)評(píng)估學(xué)習(xí)者的表現(xiàn)。

    研究者將做題時(shí)間、遺忘概率等參數(shù)納入因素分析模型中,實(shí)現(xiàn)了從單參數(shù)邏輯回歸模型到多參數(shù)邏輯回歸模型的升級(jí)。例如,Cen等[13]提出了加性因子模型(Additive Factor Model,AFM),即假設(shè)各因子對(duì)響應(yīng)變量的貢獻(xiàn)是相互獨(dú)立且可累加的,通過(guò)對(duì)每個(gè)因子進(jìn)行參數(shù)估計(jì),可以對(duì)模型進(jìn)行解釋;Cen[14]提出了學(xué)習(xí)因子分析(Learning Factors Analysis,LFA)模型,此模型引入了心理測(cè)量學(xué)中的Q矩陣概念,通過(guò)先驗(yàn)知識(shí)、任務(wù)難度、任務(wù)學(xué)習(xí)率來(lái)預(yù)測(cè)學(xué)習(xí)者的表現(xiàn);Pavlik等[15]認(rèn)為L(zhǎng)FA模型動(dòng)態(tài)區(qū)分特定學(xué)習(xí)者各個(gè)知識(shí)點(diǎn)的能力非常有限,因而提出了表現(xiàn)因子分析(Performance Factors Analysis,PFA)模型,此模型具有靈活的自適應(yīng)性,能以補(bǔ)充的方式用于多個(gè)知識(shí)點(diǎn)的觀測(cè)。整體而言,基于因素分析的知識(shí)追蹤模型通過(guò)學(xué)習(xí)數(shù)據(jù)中的潛在因子并將這些因子與預(yù)測(cè)變量進(jìn)行加權(quán)組合來(lái)建模,也可以對(duì)數(shù)據(jù)中的復(fù)雜關(guān)系建模。基于因素分析的知識(shí)追蹤模型還可以為模型參數(shù)和因子權(quán)重的設(shè)計(jì)提供解釋,其解釋性依賴于數(shù)據(jù)和模型的正確假設(shè),并且解釋結(jié)果可能因數(shù)據(jù)選擇、因子提取和模型擬合等因素而有所不同。因此,因素分析模型主要適用于大規(guī)模線上學(xué)習(xí)和小規(guī)模課程教學(xué)[16]

    (3)基于注意力機(jī)制的知識(shí)追蹤模型

    注意力機(jī)制可以通過(guò)為不同的輸入特征分配權(quán)重,來(lái)指導(dǎo)知識(shí)追蹤模型的決策過(guò)程。在基于注意力機(jī)制的知識(shí)追蹤模型中,這些權(quán)重可用于表示模型在處理輸入時(shí)的關(guān)注程度。通過(guò)觀察注意力權(quán)重,可以理解模型對(duì)不同特征的關(guān)注程度,從而解釋模型在做出預(yù)測(cè)時(shí)的決策過(guò)程。

    研究者將注意力機(jī)制引入知識(shí)追蹤模型中,在提升預(yù)測(cè)準(zhǔn)確性的同時(shí)也增強(qiáng)了可解釋性。例如,Ghosh等[17]提出注意力知識(shí)追蹤(Attentive Knowledge Tracing,AKT)模型,將學(xué)習(xí)者未來(lái)對(duì)問(wèn)題的回答與其過(guò)去的回答相聯(lián)系,計(jì)算注意力的權(quán)重,并將基于注意力的神經(jīng)網(wǎng)絡(luò)模型與可解釋的模型組件相結(jié)合,對(duì)多個(gè)案例進(jìn)行研究,結(jié)果表明AKT具有可解釋性。Liu等[18]使用具有馬爾科夫?qū)傩郧揖哂凶⒁饬C(jī)制的練習(xí)增強(qiáng)循環(huán)神經(jīng)網(wǎng)絡(luò)框架,將學(xué)習(xí)者的多知識(shí)點(diǎn)狀態(tài)向量擴(kuò)展到知識(shí)狀態(tài)矩陣,從而實(shí)現(xiàn)了具有可解釋的練習(xí)增強(qiáng)的知識(shí)追蹤(Exercise-aware Knowledge Tracing,EKT)。Pandey等[19]提出了關(guān)系感知自注意力知識(shí)追蹤(Relationship-aware Self-attention for Knowledge Tracing,RKT)模型,引入具有上下文信息的關(guān)系感知自注意力層,將注意力權(quán)重與感知關(guān)系系數(shù)相結(jié)合,可視化知識(shí)點(diǎn)之間的相似度和關(guān)聯(lián)性,提升了學(xué)習(xí)者對(duì)預(yù)測(cè)結(jié)果的信任度。

    整體而言,從注意力機(jī)制能否反映輸入和輸出之間的關(guān)系角度來(lái)講,注意力機(jī)制具有可解釋性,可以幫助學(xué)習(xí)者理解模型;但從模型的透明度來(lái)講,注意力機(jī)制并不具有可以反映模型內(nèi)部機(jī)理的能力。考慮到不同的預(yù)期用戶和不同的解釋目標(biāo),可以在知識(shí)追蹤模型中引入注意力機(jī)制,通過(guò)分析注意力權(quán)重的時(shí)序變化,來(lái)理解學(xué)習(xí)者的答題策略和知識(shí)結(jié)構(gòu),有助于增強(qiáng)學(xué)習(xí)者對(duì)模型的信任感。因此,基于注意力機(jī)制的知識(shí)追蹤模型主要適用于個(gè)性化學(xué)習(xí)規(guī)劃與習(xí)題推薦。

    2 模型對(duì)比

    在上述事前可解釋性的知識(shí)追蹤模型中,基于貝葉斯方法的知識(shí)追蹤模型利用概率模型和貝葉斯推理計(jì)算后驗(yàn)概率分布,提供直觀、可解釋的模型輸出和置信度估計(jì);基于因素分析的知識(shí)追蹤模型依托項(xiàng)目反應(yīng)理論評(píng)估學(xué)習(xí)者的表現(xiàn),解釋模型參數(shù)和因子權(quán)重;而在基于注意力機(jī)制的知識(shí)追蹤模型中,注意力機(jī)制作為知識(shí)追蹤模型構(gòu)建過(guò)程中的引入模塊,可以通過(guò)分析注意力權(quán)重的分布,在一定程度上解釋模型的關(guān)注點(diǎn)和決策依據(jù)。這些模型通過(guò)提供可解釋的輸出結(jié)果,幫助教育決策者理解模型的決策過(guò)程,并進(jìn)行個(gè)性化的學(xué)習(xí)評(píng)估和反饋,故在教育決策過(guò)程中發(fā)揮了重要作用。結(jié)合上述分析,本研究從優(yōu)點(diǎn)、缺點(diǎn)兩個(gè)維度對(duì)不同類型的事前可解釋知識(shí)追蹤模型進(jìn)行了對(duì)比,具體如表1所示。

    三 事后可解釋的知識(shí)追蹤模型

    事后可解釋性是指在模型訓(xùn)練完成后,通過(guò)對(duì)已獲得的結(jié)果進(jìn)行分析和解釋,揭示模型的決策依據(jù)和推理過(guò)程。與事前可解釋性不同的是,事后可解釋性關(guān)注對(duì)模型已經(jīng)生成的輸出進(jìn)行解釋,而不是在模型訓(xùn)練過(guò)程中提供解釋或指導(dǎo)。事后可解釋性不僅可以幫助人們理解模型得出某個(gè)預(yù)測(cè)或決策結(jié)果的過(guò)程,還可以提供對(duì)模型內(nèi)部狀態(tài)、權(quán)重和特征的解釋,以及模型對(duì)輸入的響應(yīng)和預(yù)測(cè)結(jié)果的解釋。

    1 模型分類

    根據(jù)可解釋范圍的大小,即是否解釋單個(gè)實(shí)例或預(yù)測(cè)整個(gè)模型行為,本研究將事后可解釋分為全局可解釋和局部可解釋兩類。

    (1)全局可解釋

    全局可解釋是指對(duì)整個(gè)機(jī)器學(xué)習(xí)或深度學(xué)習(xí)模型在整個(gè)數(shù)據(jù)集上的預(yù)測(cè)結(jié)果進(jìn)行解釋和理解的能力,關(guān)注揭示模型整體行為、內(nèi)部結(jié)構(gòu)和決策過(guò)程的解釋,并提供對(duì)模型整體性能和特征重要性的理解。全局可解釋性重在回答以下問(wèn)題:整個(gè)模型如何學(xué)習(xí)、表示數(shù)據(jù)的特征和模式?模型的預(yù)測(cè)結(jié)果受哪些特征或因素的影響最大?通過(guò)全局解釋,可以獲得對(duì)模型整體性能的洞察,理解模型如何進(jìn)行決策,并發(fā)現(xiàn)模型的整體行為模式。通過(guò)對(duì)當(dāng)前知識(shí)追蹤領(lǐng)域相關(guān)研究成果的分析,參考人工智能領(lǐng)域可解釋模型的分類,得出以下兩類模型屬于全局可解釋知識(shí)追蹤模型的范疇:

    ①基于可解釋結(jié)構(gòu)的知識(shí)追蹤模型。在知識(shí)追蹤任務(wù)中,多知識(shí)點(diǎn)之間往往存在各種依賴關(guān)系。構(gòu)建模型時(shí)考慮不同知識(shí)點(diǎn)之間的結(jié)構(gòu)關(guān)系,可以提升模型的有效性。例如,K?ser等[20]提出了一種能夠聯(lián)合表示多種技能的動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)(Dynamic Bayesian Network,DBN),來(lái)解決BKT模型無(wú)法表示學(xué)習(xí)領(lǐng)域不同技能之間層次結(jié)構(gòu)關(guān)系的問(wèn)題。另外,通過(guò)建立知識(shí)點(diǎn)的拓?fù)浣Y(jié)構(gòu),可以增強(qiáng)知識(shí)追蹤模型的表征能力,從而更好地理解學(xué)習(xí)者的學(xué)習(xí)過(guò)程。例如,Tong等[21]提出了一種基于結(jié)構(gòu)的知識(shí)追蹤(Structure-based Knowledge Tracing,SKT)框架,可以利用知識(shí)結(jié)構(gòu)之間的關(guān)聯(lián)性模擬概念之間的傳播影響?;诳山忉尳Y(jié)構(gòu)的知識(shí)追蹤模型結(jié)構(gòu)清晰,考慮知識(shí)點(diǎn)之間的結(jié)構(gòu)關(guān)系,可以有效評(píng)估學(xué)習(xí)者對(duì)知識(shí)點(diǎn)的掌握程度,在教育教學(xué)中主要用于個(gè)性化學(xué)習(xí)路徑推薦[22]。

    ②基于可解釋參數(shù)的知識(shí)追蹤模型?;诳山忉寘?shù)的知識(shí)追蹤模型的應(yīng)用,旨在通過(guò)使用具有明確含義和解釋性的參數(shù),捕獲數(shù)據(jù)中的模式和關(guān)聯(lián),以增強(qiáng)模型的可解釋性和理解性。例如,Su等[23]提出了時(shí)間和概念增強(qiáng)多維項(xiàng)目響應(yīng)理論模型,可以將多維項(xiàng)目響應(yīng)理論(Multidimensional Item Response Theory,MIRT)參數(shù)集成到遞歸網(wǎng)絡(luò),使模型能在每個(gè)特定知識(shí)領(lǐng)域生成可解釋的參數(shù)。具體來(lái)講,MIRT考慮每個(gè)題目和每個(gè)學(xué)習(xí)者在多個(gè)知識(shí)領(lǐng)域的能力與難度,循環(huán)神經(jīng)網(wǎng)絡(luò)捕捉隨時(shí)間變化的學(xué)習(xí)者知識(shí)狀態(tài),使用EM算法、梯度下降法等優(yōu)化方法估計(jì)題目區(qū)分度、題目難度、學(xué)習(xí)者能力和作答時(shí)間等參數(shù)并將這些參數(shù)分解為不同知識(shí)領(lǐng)域的權(quán)重,以幫助師生了解每個(gè)知識(shí)領(lǐng)域?qū)︻}目的貢獻(xiàn)。Wang等[24]提出了霍克斯知識(shí)追蹤(Hawkes Knowledge Tracing,Hawkes KT)模型,可以對(duì)不同知識(shí)點(diǎn)之間的時(shí)間交叉效應(yīng)進(jìn)行顯式建模,通過(guò)對(duì)參數(shù)假設(shè)的可視化分析,驗(yàn)證了模型中的參數(shù)具有高度可解釋性??山忉寘?shù)使模型的決策過(guò)程更加透明和可解釋,并使用戶能夠理解模型對(duì)學(xué)習(xí)者狀態(tài)和學(xué)習(xí)過(guò)程的推斷。通過(guò)分析模型參數(shù),了解不同學(xué)習(xí)因素的影響程度,可以幫助學(xué)習(xí)者準(zhǔn)確定位學(xué)習(xí)過(guò)程中的影響因素,故基于可解釋參數(shù)的知識(shí)追蹤模型在教育教學(xué)中適用于學(xué)情分析與干預(yù)。

    (2)局部可解釋

    局部可解釋性是指在機(jī)器學(xué)習(xí)和深度學(xué)習(xí)模型中,對(duì)于給定的單個(gè)樣本或輸入,解釋模型對(duì)其決策或輸出的依據(jù)。局部可解釋性聚焦模型在個(gè)別樣本上的預(yù)測(cè)過(guò)程,并提供對(duì)該樣本決策依據(jù)和關(guān)鍵特征的解釋,從而幫助人們理解學(xué)習(xí)模型的決策過(guò)程和決策依據(jù)。局部可解釋性重在回答以下問(wèn)題:對(duì)于某個(gè)特定的輸入樣本,模型是如何做出決策的?模型對(duì)于該樣本的預(yù)測(cè)結(jié)果受哪些特征的影響最大?通過(guò)對(duì)當(dāng)前知識(shí)追蹤領(lǐng)域相關(guān)研究成果的分析,參考人工智能領(lǐng)域可解釋模型的分類,得出以下四類模型屬于局部可解釋知識(shí)追蹤模型的范疇:

    ①基于因果解釋法的知識(shí)追蹤模型。因果解釋法通過(guò)對(duì)知識(shí)追蹤模型的因果推斷,分析不同行為特征對(duì)學(xué)習(xí)效果的影響,探究輸入與輸出之間的因果關(guān)系。例如,Minn等[25]提出了具有因果關(guān)系的可解釋知識(shí)追蹤(Interpretable Knowledge Tracing,IKT)模型,其使用傳統(tǒng)的機(jī)器學(xué)習(xí)技術(shù)來(lái)提取有意義的特征,之后使用樹(shù)增強(qiáng)樸素貝葉斯分類器對(duì)學(xué)習(xí)者的未來(lái)表現(xiàn)進(jìn)行預(yù)測(cè),結(jié)果顯示此模型具有較高的預(yù)測(cè)性能和推理解釋性。Li等[26]提出了基于遺傳算法的因果解釋方法,稱為遺傳因果解釋器(Genetic Causal Explainer,GCE),并構(gòu)建了一個(gè)因果框架來(lái)指導(dǎo)模型預(yù)測(cè)的子序列歸因,可在不影響模型訓(xùn)練的情況下生成解釋結(jié)果。因果解釋法提供對(duì)模型因果關(guān)系的解釋,有助于人們理解模型如何根據(jù)輸入產(chǎn)生輸出,以及不同輸入對(duì)輸出的影響程度,這使模型的輸出更具可解釋性和可信度,有助于學(xué)習(xí)者更好地理解模型的內(nèi)部機(jī)制并預(yù)測(cè)結(jié)果的產(chǎn)生過(guò)程。在教育教學(xué)中,基于因果解釋法的知識(shí)追蹤模型適用于教學(xué)方法的選擇與優(yōu)化、學(xué)情的診斷等。

    ②基于分層關(guān)聯(lián)傳播的知識(shí)追蹤模型?;诜聪騻鞑サ姆謱雨P(guān)聯(lián)傳播(Layer-wise Relevance Propagation,LRP)方法的主要思想是利用深度神經(jīng)網(wǎng)絡(luò)的反向傳播機(jī)制,將模型中影響決策的重要信息從模型的輸出層傳播到輸入層。具體來(lái)講,根據(jù)各層不同的傳播規(guī)則,將傳入的相關(guān)性重新分配到下一層,直至到達(dá)輸入層——在輸入層,可以計(jì)算出神經(jīng)網(wǎng)絡(luò)中每個(gè)神經(jīng)元對(duì)輸出的影響程度,并生成對(duì)應(yīng)的熱力圖,可視化輸入特征對(duì)輸出結(jié)果的貢獻(xiàn)度,從而實(shí)現(xiàn)對(duì)模型的解釋。例如,Lu等[27]提出可采用事后解釋方法研究深度學(xué)習(xí)知識(shí)追蹤(Deep Learning for Knowledge Tracing,DLKT)模型的可解釋性,通過(guò)應(yīng)用分層關(guān)聯(lián)傳播方法將相關(guān)性從模型的輸出層反向傳播到輸入層,從而解釋各輸入特征的重要性。后來(lái),Lu等[28]又利用LRP技術(shù)從知識(shí)追蹤模型輸入中捕捉到技能級(jí)別的語(yǔ)義信息(包括技能相關(guān)的差異、距離、內(nèi)在關(guān)系等),并通過(guò)對(duì)模型進(jìn)行綜合實(shí)驗(yàn)評(píng)估,驗(yàn)證了所提出的解釋方法在“技能-答案”層面的可行性和有效性。分層關(guān)聯(lián)傳播方法的可解釋性表現(xiàn)為其能夠提供深度學(xué)習(xí)模型內(nèi)部的層級(jí)關(guān)系和重要特征,此方法能更好地理解模型的決策過(guò)程、特征作用和相互關(guān)系,從而增加模型的可解釋性和可信度。但LRP的實(shí)現(xiàn)需要根據(jù)不同的網(wǎng)絡(luò)結(jié)構(gòu)和激活函數(shù)選擇合適的傳播規(guī)則,而規(guī)則的選擇可能會(huì)影響相關(guān)性的分配和解釋的質(zhì)量。在教育教學(xué)中,基于分層關(guān)聯(lián)傳播的知識(shí)追蹤模型可以直觀地了解學(xué)習(xí)者知識(shí)掌握情況的動(dòng)態(tài)變化,適用于學(xué)習(xí)路徑推薦、薄弱知識(shí)點(diǎn)診斷等。

    ③基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)追蹤模型。圖神經(jīng)網(wǎng)絡(luò)(Graph Neural Network,GNN)的可解釋主要表現(xiàn)在三個(gè)方面:一是節(jié)點(diǎn)級(jí)別的解釋,GNN可以對(duì)每個(gè)節(jié)點(diǎn)進(jìn)行表示學(xué)習(xí),通過(guò)觀察節(jié)點(diǎn)的表示向量,了解該節(jié)點(diǎn)在圖中的特征和重要性;二是圖級(jí)別的解釋,GNN可以生成整個(gè)圖的表示向量,通過(guò)觀察圖的表示向量,來(lái)了解整個(gè)圖的拓?fù)浣Y(jié)構(gòu)和全局特征;三是信息傳遞路徑,GNN通過(guò)在圖上進(jìn)行信息傳遞來(lái)學(xué)習(xí)節(jié)點(diǎn)表示,解釋GNN的信息傳遞路徑有助于理解模型如何從圖的局部信息逐步推導(dǎo)出全局信息。研究者根據(jù)圖數(shù)據(jù)結(jié)構(gòu)自身的特點(diǎn),將圖神經(jīng)網(wǎng)絡(luò)引入知識(shí)追蹤模型表示知識(shí)之間的關(guān)聯(lián)。例如,Nakagawa等[29]提出基于圖的知識(shí)追蹤(Graph based Knowledge Tracing,GKT)模型,可以將知識(shí)結(jié)構(gòu)轉(zhuǎn)換為圖形,從而實(shí)現(xiàn)關(guān)系歸納偏差,并將知識(shí)追蹤任務(wù)重新表述為GNN中的時(shí)間序列節(jié)點(diǎn)級(jí)分類問(wèn)題;Song等[30]提出了一個(gè)基于聯(lián)合圖卷積網(wǎng)絡(luò)的深度知識(shí)追蹤(Joint Graph Convolutional Network based Deep Knowledge Tracing,JKT)框架,將多維關(guān)系建模為圖,構(gòu)建交叉概念下練習(xí)之間的關(guān)系,有助于捕捉高層次的語(yǔ)義信息。在基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)追蹤模型中,圖神經(jīng)網(wǎng)絡(luò)的信息傳遞機(jī)制可以有效學(xué)習(xí)到課程知識(shí)的隱式表示,提高了知識(shí)概念狀態(tài)的可解釋性,有助于學(xué)習(xí)者呈現(xiàn)任意時(shí)刻的知識(shí)掌握狀態(tài),故此模型主要適用于生成推理路徑、診斷知識(shí)薄弱點(diǎn)和多知識(shí)點(diǎn)習(xí)題的推薦等。

    ④基于項(xiàng)目反應(yīng)理論的知識(shí)追蹤模型。項(xiàng)目反應(yīng)理論(Item Response Theory,IRT)的可解釋性主要體現(xiàn)為其能夠直接刻畫學(xué)習(xí)者和題目之間的關(guān)系,并解釋相關(guān)變量如何影響這一關(guān)系。Rasch模型[31]通常被認(rèn)為是最簡(jiǎn)單的IRT模型,項(xiàng)目反應(yīng)函數(shù)由單參數(shù)邏輯回歸模型定義,被廣泛用于項(xiàng)目反應(yīng)數(shù)據(jù)分析。此外,Yeung[32]提出的Deep-IRT模型可以綜合項(xiàng)目反應(yīng)理論和動(dòng)態(tài)鍵值記憶網(wǎng)絡(luò),將學(xué)習(xí)結(jié)果輸入IRT中進(jìn)行預(yù)測(cè),從心理學(xué)角度為學(xué)習(xí)者提供了解釋。Gan等[33]將動(dòng)態(tài)鍵值記憶網(wǎng)絡(luò)與IRT模型相結(jié)合,對(duì)學(xué)習(xí)者的知識(shí)狀態(tài)、習(xí)題難度和嵌入三個(gè)向量進(jìn)行變換,并作為IRT的三個(gè)輸入?yún)?shù)來(lái)預(yù)測(cè)學(xué)習(xí)者的答題結(jié)果?;陧?xiàng)目反應(yīng)理論的知識(shí)追蹤模型通過(guò)將深度學(xué)習(xí)模型的輸出作為IRT模型的輸入,并利用IRT模型進(jìn)行預(yù)測(cè),可以實(shí)現(xiàn)深度模型的輸出與IRT模型中的可解釋參數(shù)相對(duì)應(yīng)。這種結(jié)合使該模型可以通過(guò)IRT模型的參數(shù)解釋來(lái)理解模型的決策依據(jù)和推斷過(guò)程,適用于小測(cè)試與習(xí)題練習(xí)、教育評(píng)估和測(cè)量等。

    2 模型對(duì)比

    綜上所述,在事后可解釋的知識(shí)追蹤模型中,無(wú)論是全局可解釋還是局部可解釋,都需要研究者后期開(kāi)發(fā)解釋技術(shù)或構(gòu)建解釋模型。其中,全局可解釋的知識(shí)追蹤模型主要圍繞可解釋結(jié)構(gòu)和可解釋參數(shù)展開(kāi),其模型能否被解釋依賴于模型自身的結(jié)構(gòu)和數(shù)據(jù);而局部可解釋的知識(shí)追蹤模型關(guān)注特定樣本或輸入的解釋,側(cè)重于可解釋技術(shù)的開(kāi)發(fā)和外部可解釋模塊的引入,因而其結(jié)果不能很好地泛化到其他模型中。另外,對(duì)模型的解釋需要大量的分析和計(jì)算,也會(huì)導(dǎo)致模型的復(fù)雜度增加。結(jié)合上述分析,本研究同樣從優(yōu)點(diǎn)、缺點(diǎn)兩個(gè)維度對(duì)不同類型的事后可解釋知識(shí)追蹤模型進(jìn)行了對(duì)比,具體如表2所示。

    四 可解釋知識(shí)追蹤模型的教學(xué)應(yīng)用展望

    隨著深度神經(jīng)網(wǎng)絡(luò)的發(fā)展,可解釋知識(shí)追蹤模型的性能得到了顯著提升,但由于其“黑盒”性質(zhì),使模型的可解釋性仍然是一個(gè)難以回避的問(wèn)題。為了更好地指導(dǎo)教育教學(xué)工作的開(kāi)展,本研究在對(duì)比分析不同類型的事前、事后可解釋知識(shí)追蹤模型之優(yōu)點(diǎn)與缺點(diǎn)的基礎(chǔ)上,對(duì)未來(lái)可解釋知識(shí)追蹤模型的教學(xué)應(yīng)用進(jìn)行了以下展望:

    1 模型可視化,圖文輔助解釋

    模型可視化是一種重要的事后解釋技術(shù),通過(guò)可視化模型結(jié)構(gòu)、權(quán)重、激活和梯度等信息,可以幫助理解模型的內(nèi)部運(yùn)作機(jī)制和學(xué)習(xí)過(guò)程。在應(yīng)用可解釋知識(shí)追蹤模型時(shí),研究者往往使用熱力圖來(lái)展示學(xué)習(xí)者的知識(shí)狀態(tài)變化情況,據(jù)此分析學(xué)習(xí)者學(xué)習(xí)過(guò)程中的薄弱點(diǎn)。與知識(shí)圖譜相結(jié)合,可解釋知識(shí)追蹤模型能夠精準(zhǔn)刻畫學(xué)習(xí)者的知識(shí)結(jié)構(gòu),實(shí)現(xiàn)可視化的認(rèn)知結(jié)構(gòu)表征,因此可以用來(lái)進(jìn)行教育診斷與干預(yù)[34]??梢暬膱D像不僅可以幫助學(xué)習(xí)者理解模型的運(yùn)作機(jī)制,還可以幫助學(xué)習(xí)者發(fā)現(xiàn)模型中存在的問(wèn)題和缺陷,從而進(jìn)行模型的調(diào)整與優(yōu)化。

    2 融入教育規(guī)律,解釋支持決策

    從認(rèn)知學(xué)習(xí)理論出發(fā),將教育規(guī)律融入知識(shí)追蹤模型的解釋過(guò)程,可以使解釋更有說(shuō)服力和可信度,并支持更明智的決策。例如,應(yīng)用相關(guān)的教育知識(shí),可以分析可解釋知識(shí)追蹤模型中特定參數(shù)以及模型輸出與學(xué)習(xí)者知識(shí)水平之間的關(guān)聯(lián),幫助教育決策者理解模型的預(yù)測(cè)結(jié)果和學(xué)習(xí)者的知識(shí)掌握狀況。此外,將模型輸出與課程設(shè)置、評(píng)估標(biāo)準(zhǔn)等進(jìn)行比較和解釋,可以更好地指導(dǎo)教育決策和教學(xué)實(shí)踐,幫助學(xué)習(xí)者提高學(xué)習(xí)成績(jī)。因此,未來(lái)可解釋知識(shí)追蹤模型可以結(jié)合教育教學(xué)規(guī)律,以做出更明智的教育決策。

    3 多模態(tài)數(shù)據(jù)融合,增強(qiáng)模型可信度

    當(dāng)前,知識(shí)追蹤領(lǐng)域常用的數(shù)據(jù)類型有學(xué)習(xí)者的題目編號(hào)、學(xué)生表現(xiàn)、技能名稱、心理特征屬性等,這些數(shù)據(jù)通常呈現(xiàn)出不同的模態(tài)。將不同模態(tài)的數(shù)據(jù)進(jìn)行融合應(yīng)用,可以提高知識(shí)追蹤模型的準(zhǔn)確度和可信度,增強(qiáng)模型的可解釋性。多模態(tài)數(shù)據(jù)融合利用不同模態(tài)數(shù)據(jù)之間的互補(bǔ)性、增強(qiáng)模型的泛化能力、提高模型的魯棒性等方式,來(lái)增強(qiáng)模型的可信度。因此,多模態(tài)數(shù)據(jù)融合是提升知識(shí)追蹤模型可解釋性的重要方向之一。后續(xù)研究可以探索研發(fā)多模態(tài)數(shù)據(jù)融合的技術(shù),促進(jìn)知識(shí)追蹤模型在學(xué)習(xí)資源推薦、自適應(yīng)學(xué)習(xí)等方面的應(yīng)用。

    4 解釋方法探索,擴(kuò)展解釋途徑

    盡管現(xiàn)有的可解釋方法能在一定程度上解釋部分知識(shí)追蹤模型的預(yù)測(cè)結(jié)果,但其泛化能力明顯不足。根據(jù)知識(shí)追蹤模型的特點(diǎn),研究者更傾向于探析學(xué)習(xí)交互過(guò)程中有哪些特征對(duì)知識(shí)掌握水平起到了關(guān)鍵作用,而這也是學(xué)習(xí)者和教師關(guān)注的重點(diǎn)。因此,比起全局可解釋方法,局部可解釋方法更適合知識(shí)追蹤模型的解釋。從模型的特征輸入角度分析,單特征的知識(shí)追蹤模型可以通過(guò)敏感性分析方法,對(duì)模型進(jìn)行局部解釋;而涉及多個(gè)特征的模型可以采用沙普利可加性解釋(SHapley Additive exPlanations,SHAP)方法計(jì)算每個(gè)特征的重要性值,據(jù)此確定特征對(duì)模型的影響程度。

    5 可解釋性評(píng)估,科學(xué)設(shè)計(jì)指標(biāo)

    目前,在知識(shí)追蹤領(lǐng)域關(guān)于模型可解釋性的評(píng)估研究相對(duì)缺乏,原因主要在于深度學(xué)習(xí)具有不透明性和復(fù)雜性,使研究者在設(shè)計(jì)評(píng)估指標(biāo)時(shí)很難對(duì)學(xué)習(xí)者提取統(tǒng)一的監(jiān)督信息。同時(shí),研究者對(duì)評(píng)價(jià)指標(biāo)的引入具有主觀性,不同模型的可解釋性評(píng)估方式也不盡相同。因此,在針對(duì)可解釋知識(shí)追蹤模型的未來(lái)研究中,開(kāi)發(fā)合理的可解釋性評(píng)估指標(biāo)也是一項(xiàng)重要的任務(wù)。對(duì)此,研究者應(yīng)充分考慮模型的算法、數(shù)據(jù)特征、知識(shí)追蹤等專業(yè)知識(shí)的應(yīng)用情況和人類的認(rèn)知水平等多方面因素,科學(xué)設(shè)計(jì)合理的可解釋性評(píng)估指標(biāo)。

    參考文獻(xiàn)

    [1]習(xí)近平.高舉中國(guó)特色社會(huì)主義偉大旗幟 為全面建設(shè)社會(huì)主義現(xiàn)代化國(guó)家而團(tuán)結(jié)奮斗——在中國(guó)共產(chǎn)黨第二十次全國(guó)代表大會(huì)上的報(bào)告[OL].

    [2]Corbett A T, Anderson J R. Knowledge tracing: Modeling the acquisition of procedural knowledge[J]. User Modeling and User-adapted Interaction, 1994,(4):253-278.

    [3][12]戴靜,顧小清,江波.殊途同歸:認(rèn)知診斷與知識(shí)追蹤——兩種主流學(xué)習(xí)者知識(shí)狀態(tài)建模方法的比較[J].現(xiàn)代教育技術(shù),2022,(4):88-98.

    [4]劉桐,顧小清.走向可解釋性:打開(kāi)教育中人工智能的“黑盒”[J].中國(guó)電化教育,2022,(5):82-90.

    [5]Miller T. Explanation in artificial intelligence: Insights from the social sciences[J]. Artificial Intelligence, 2019,267:1-38.

    [6][27]Lu Y, Wang D, Meng Q, et al. Towards interpretable deep learning models for knowledge tracing[A]. Artificial Intelligence in Education: 21st International Conference[C]. Ifrane: Springer, 2020:185-190.

    [7][25]Minn S, Vie J J, Takeuchi K, et al. Interpretable knowledge tracing: Simple and efficient student modeling with causal relations[A]. Proceedings of the AAAI Conference on Artificial Intelligence[C]. California: AAAI Press, 2022:12810-12818.

    [8]紀(jì)守領(lǐng),李進(jìn)鋒,杜天宇,等.機(jī)器學(xué)習(xí)模型可解釋性方法、應(yīng)用與安全研究綜述[J].計(jì)算機(jī)研究與發(fā)展,2019,(10):2071-2096.

    [9]Pardos Z A, Heffernan N T. Modeling individualization in a Bayesian networks implementation of knowledge tracing[A]. International Conference on User Modeling Adaptation, and Personalization[C]. Berlin: Springer, 2010:255-266.

    [10]Lin C, Chi M. Intervention-BKT: Incorporating instructional interventions into Bayesian knowledge tracing[A]. International Conference on Intelligent Tutoring Systems[C]. Cham: Springer, 2016:208-218.

    [11]Nedungadi P, Remya M S. Predicting students performance on intelligent tutoring system—Personalized clustered BKT (PC-BKT) model[A]. 2014 IEEE Frontiers in Education Conference Proceedings[C]. Madrid: IEEE Press, 2014:1-6.

    [13]Cen H, Koedinger K, Junker B. Learning factors analysis—A general method for cognitive model evaluation and improvement[A]. International Conference on Intelligent Tutoring Systems[C]. Berlin: Springer, 2006:164-175.

    [14]Cen H. Generalized learning factors analysis: Improving cognitive models with machine learning[M]. Pittsburgh: Carnegie Mellon University, 2009:1-51.

    [15]Pavlik P I, Cen H, Koedinger K R. Performance factors analysis—A new alternative to knowledge tracing[A]. The 2009 Conference on Artificial Intelligence in Education: Building Learning Systems that Care: From Knowledge Representation to Affective Modelling[C]. Netherlands: IOS Press, 2009:531-538.

    [16]盧宇,王德亮,章志,等.智能導(dǎo)學(xué)系統(tǒng)中的知識(shí)追蹤建模綜述[J].現(xiàn)代教育技術(shù),2021,(11):87-95.

    [17]Ghosh A, Heffernan N, Lan A S. Context-aware attentive knowledge tracing[A]. ACM SIGKDD Conference on Knowledge Discovery and Data Mining[C]. New York: ACM, 2020:2330-2339.

    [18]Liu Q, Huang Z, Yin Y, et al. Ekt: Exercise-aware knowledge tracing for student performance prediction[J]. IEEE Transactions on Knowledge and Data Engineering, 2019,(1):100-115.

    [19]Pandey S, Srivastava J. RKT: Relation-aware self-attention for knowledge tracing[A]. Proceedings of the 29th ACM International Conference on Information & Knowledge Management[C]. New York: ACM, 2020:1205-1214.

    [20]K?ser T, Klingler S, Schwing A G, et al. Dynamic Bayesian networks for student modeling[J]. IEEE Transactions on Learning Technologies, 2017,(4):450-462.

    [21]Tong S, Liu Q, Huang W, et al. Structure-based knowledge tracing: An influence propagation view[A]. 2020 IEEE International Conference on Data Mining[C]. Sorrento: IEEE Press, 2020:541-550.

    [22]王劍,李易清,石琦.融合多維偏好與知識(shí)追蹤的個(gè)性化學(xué)習(xí)路徑推薦——以“系統(tǒng)建?!闭n程為例[J].現(xiàn)代教育技術(shù),2023,(11):99-108.

    [23]Su Y, Cheng Z, Luo P, et al. Time-and-concept enhanced deep multidimensional item response theory for interpretable knowledge tracing[J]. Knowledge-Based Systems, 2021,218:106819.

    [24]Wang C, Ma W, Zhang M, et al. Temporal cross-effects in knowledge tracing[A]. Proceedings of the 14th ACM International Conference on Web Search and Data Mining[C]. New York: Association for Computing Machinery, 2021:517-525.

    [26]Li Q, Yuan X, Liu S, et al. A genetic causal explainer for deep knowledge tracing[J]. IEEE Transactions on Evolutionary Computation, 2023,(99):1.

    [28]Lu Y, Wang D, Chen P, et al. Interpreting deep learning models for knowledge tracing[J]. International Journal of Artificial Intelligence in Education, 2023,(3):519-542.

    [29]Nakagawa H, Iwasawa Y, Matsuo Y. Graph-based knowledge tracing: Modeling student proficiency using graph neural network[A]. IEEE/WIC/ACM International Conference on Web Intelligence[C]. Thessaloniki: ACM, 2019:156-163.

    [30]Song X, Li J, Tang Y, et al. Jkt: A joint graph convolutional network based deep knowledge tracing[J]. Information Sciences, 2021,580:510-523.

    [31]Holster T A, Lake J. Guessing and the Rasch model[J]. Language Assessment Quarterly, 2016,(2):124-141.

    [32]Yeung C K. Deep-IRT: Make deep learning based knowledge tracing explainable using item response theory[OL].

    [33]Gan W, Sun Y, Sun Y. Knowledge interaction enhanced knowledge tracing for learner performance prediction[A]. 2020 7th International Conference on Behavioural and Social Computing (BESC)[C]. Bournemouth: IEEE, 2020:1-6.

    [34]周東岱,董曉曉,顧恒年,等.基于雙流結(jié)構(gòu)和多知識(shí)點(diǎn)映射結(jié)構(gòu)改進(jìn)的深度知識(shí)追蹤模型[J].現(xiàn)代教育技術(shù),2022,(8):111-118.

    Focus on Interpretability: Overview and Prospect of Knowledge Tracking Models

    YANG Wen-Yang1,2YANG Yi-Hui1

    (1. School of Computer, Xian Shiyou University, Xian, Shaanxi, China 710065;

    2. Key Laboratory of Modern Teaching Technology, Ministry of Education, Xian, Shaanxi, China 710062)

    Abstract: The interpretability of model is an important index to evaluate its practicability and practical application value, but current knowledge tracking models based deep learning generally has the problem of poor interpretability, which leads to the opaque teaching decision-making process. Therefore, this paper firstly introduced the process of knowledge tracking, analyzed the interpretability of knowledge tracking model, and divided interpretable knowledge tracking models into Ante-hoc interpretable knowledge tracking model and Post-hoc interpretable knowledge tracking model according to the time of interpretable methods in the model training process. Then, this paper reclassified the two kinds of models, respectively, and compared different types of Ante-hoc and Post-hoc interpretable knowledge tracking models from two dimensions of advantages and disadvantages. Finally, from the aspects of model visualization, integration of education rules, multi-modal data fusion, interpretation method exploration, interpretability evaluation, the teaching application of interpretable knowledge tracking model in future was prospected. The research of this paper was helpful to enhance the practicability of knowledge tracking model in teaching and learning, and promote the process of education digitization.

    Keywords: knowledge tracking; interpretability; global interpretability; local interpretability; smart education

    *基金項(xiàng)目:本文為2023年度陜西省教師教育改革與教師發(fā)展研究重點(diǎn)項(xiàng)目“教育數(shù)字化背景下高校教師課堂教學(xué)評(píng)價(jià)創(chuàng)新路徑研究”(項(xiàng)目編號(hào):SJS2023ZD020)、現(xiàn)代教學(xué)技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室2023年開(kāi)放課題資助項(xiàng)目“融合注意力特征的腦電信號(hào)情感識(shí)別方法研究”(項(xiàng)目編號(hào):2023KF05)、西安石油大學(xué)研究生創(chuàng)新與實(shí)踐能力培養(yǎng)計(jì)劃項(xiàng)目“智慧教育環(huán)境下基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)追蹤模型研究”(項(xiàng)目編號(hào):YCS22111028)的階段性研究成果。

    作者簡(jiǎn)介:楊文陽(yáng),副教授,博士,研究方向?yàn)閿?shù)字化學(xué)習(xí)、智慧教育,郵箱為ywy80910@163.com。

    收稿日期:2023年9月12日

    編輯:小米

    猜你喜歡
    智慧教育
    我國(guó)發(fā)展智慧教育的路徑選擇
    區(qū)域智慧教育持續(xù)推進(jìn)的機(jī)制創(chuàng)新
    財(cái)務(wù)報(bào)表分析課程教學(xué)改革研究
    高校智慧教育生態(tài)發(fā)展新挑戰(zhàn)
    亞太教育(2016年31期)2016-12-12 20:44:55
    基于大數(shù)據(jù)背景下的智慧化環(huán)境藝術(shù)設(shè)計(jì)教學(xué)
    智慧教育在基礎(chǔ)教育領(lǐng)域中的應(yīng)用探究
    基于知識(shí)圖譜的智慧教育研究熱點(diǎn)與趨勢(shì)分析
    試論智慧型教師的職業(yè)素養(yǎng)
    考試周刊(2016年49期)2016-07-05 07:44:10
    踐行“智慧教育” 助推教育變革
    德才鑄就智慧
    久久久水蜜桃国产精品网| 中文字幕人妻熟女乱码| 久久久久精品人妻al黑| 国产在线观看jvid| 丝袜在线中文字幕| 国产一区二区三区在线臀色熟女 | 精品福利观看| 午夜福利视频精品| 啦啦啦中文免费视频观看日本| 国产成人免费观看mmmm| 99riav亚洲国产免费| 亚洲天堂av无毛| 日本一区二区免费在线视频| 91精品国产国语对白视频| 亚洲欧美一区二区三区久久| 水蜜桃什么品种好| 国产主播在线观看一区二区| 国产三级黄色录像| 免费人妻精品一区二区三区视频| 人人妻人人澡人人看| 久久久久视频综合| 在线十欧美十亚洲十日本专区| 美女视频免费永久观看网站| 18禁国产床啪视频网站| 欧美成狂野欧美在线观看| av又黄又爽大尺度在线免费看| 99精国产麻豆久久婷婷| 老汉色∧v一级毛片| 久久精品国产a三级三级三级| 精品人妻1区二区| videos熟女内射| 少妇精品久久久久久久| 午夜福利欧美成人| 亚洲,欧美精品.| 啦啦啦 在线观看视频| 午夜福利在线免费观看网站| 91成年电影在线观看| 大型av网站在线播放| 十八禁人妻一区二区| 99香蕉大伊视频| 精品久久蜜臀av无| 50天的宝宝边吃奶边哭怎么回事| 黄色毛片三级朝国网站| 美女国产高潮福利片在线看| 久久天堂一区二区三区四区| 欧美成狂野欧美在线观看| 9色porny在线观看| 999久久久国产精品视频| 啦啦啦 在线观看视频| 99精品久久久久人妻精品| 怎么达到女性高潮| 不卡一级毛片| 久久精品人人爽人人爽视色| 精品国产一区二区久久| 丰满少妇做爰视频| 嫩草影视91久久| 国产精品.久久久| 在线观看免费午夜福利视频| 又黄又粗又硬又大视频| av视频免费观看在线观看| 69av精品久久久久久 | 12—13女人毛片做爰片一| 久久久久精品人妻al黑| 国产成人免费观看mmmm| 岛国在线观看网站| 另类亚洲欧美激情| 如日韩欧美国产精品一区二区三区| 国产片内射在线| 精品少妇一区二区三区视频日本电影| 日韩欧美三级三区| 国产精品偷伦视频观看了| 高清在线国产一区| 三上悠亚av全集在线观看| 国产在线免费精品| 亚洲伊人久久精品综合| 热re99久久国产66热| 女人高潮潮喷娇喘18禁视频| av网站免费在线观看视频| 国产单亲对白刺激| 黄色视频在线播放观看不卡| 欧美午夜高清在线| 日本一区二区免费在线视频| 五月天丁香电影| 国产xxxxx性猛交| 欧美在线一区亚洲| 9色porny在线观看| 极品少妇高潮喷水抽搐| 久久99一区二区三区| www.精华液| 变态另类成人亚洲欧美熟女 | 天堂8中文在线网| 变态另类成人亚洲欧美熟女 | 免费在线观看日本一区| 一个人免费看片子| 日韩人妻精品一区2区三区| 亚洲欧洲精品一区二区精品久久久| 免费在线观看视频国产中文字幕亚洲| 国产精品99久久99久久久不卡| 69av精品久久久久久 | 操美女的视频在线观看| 国产精品免费大片| 人人妻人人添人人爽欧美一区卜| 在线观看免费高清a一片| 亚洲自偷自拍图片 自拍| 丰满饥渴人妻一区二区三| 免费看a级黄色片| 亚洲av美国av| 免费观看av网站的网址| 国产精品偷伦视频观看了| 99久久国产精品久久久| 高清在线国产一区| 欧美精品人与动牲交sv欧美| 国产97色在线日韩免费| 亚洲三区欧美一区| 精品国产一区二区三区久久久樱花| 色婷婷av一区二区三区视频| 老司机深夜福利视频在线观看| 免费黄频网站在线观看国产| 母亲3免费完整高清在线观看| 美女扒开内裤让男人捅视频| 一边摸一边做爽爽视频免费| videosex国产| 亚洲国产中文字幕在线视频| 飞空精品影院首页| 久久99一区二区三区| 中文字幕最新亚洲高清| 精品亚洲乱码少妇综合久久| 亚洲欧美一区二区三区黑人| 免费在线观看日本一区| 亚洲国产看品久久| 麻豆国产av国片精品| 精品高清国产在线一区| 午夜福利一区二区在线看| 久久九九热精品免费| 啦啦啦视频在线资源免费观看| 欧美日韩一级在线毛片| 狂野欧美激情性xxxx| 国产伦人伦偷精品视频| 精品国产乱码久久久久久小说| 女人精品久久久久毛片| 一级毛片女人18水好多| 曰老女人黄片| 一个人免费看片子| 亚洲精品粉嫩美女一区| 在线观看免费午夜福利视频| 人人澡人人妻人| 亚洲五月色婷婷综合| 极品少妇高潮喷水抽搐| 涩涩av久久男人的天堂| 亚洲情色 制服丝袜| 美女福利国产在线| 国产精品99久久99久久久不卡| 国产亚洲一区二区精品| 女人高潮潮喷娇喘18禁视频| 亚洲精品粉嫩美女一区| 久久亚洲真实| 在线av久久热| 国产99久久九九免费精品| 免费日韩欧美在线观看| 亚洲专区中文字幕在线| 精品人妻熟女毛片av久久网站| 十八禁人妻一区二区| 成人精品一区二区免费| 亚洲视频免费观看视频| 国产97色在线日韩免费| 亚洲精品中文字幕在线视频| 90打野战视频偷拍视频| 国产aⅴ精品一区二区三区波| 国产亚洲一区二区精品| 久久中文字幕一级| 久久99热这里只频精品6学生| 黑人巨大精品欧美一区二区蜜桃| 亚洲黑人精品在线| 免费一级毛片在线播放高清视频 | 99riav亚洲国产免费| 男男h啪啪无遮挡| 91成人精品电影| 亚洲国产欧美一区二区综合| 亚洲国产欧美网| 国产淫语在线视频| 精品国产乱码久久久久久小说| 精品久久久精品久久久| 黄片小视频在线播放| 成年人黄色毛片网站| 757午夜福利合集在线观看| 一边摸一边做爽爽视频免费| 我要看黄色一级片免费的| 亚洲三区欧美一区| www.999成人在线观看| 这个男人来自地球电影免费观看| 久久久国产一区二区| 美国免费a级毛片| 亚洲第一av免费看| 男女之事视频高清在线观看| 欧美黄色淫秽网站| 精品卡一卡二卡四卡免费| av线在线观看网站| 免费在线观看完整版高清| 在线观看免费日韩欧美大片| 高清在线国产一区| 黄色视频在线播放观看不卡| 男女午夜视频在线观看| 一个人免费在线观看的高清视频| 日本av免费视频播放| 欧美精品av麻豆av| 亚洲欧美日韩另类电影网站| 成年动漫av网址| av网站免费在线观看视频| 亚洲免费av在线视频| 女人爽到高潮嗷嗷叫在线视频| 久久久久久久国产电影| 免费在线观看完整版高清| 香蕉国产在线看| 看免费av毛片| 午夜精品国产一区二区电影| 国产欧美日韩精品亚洲av| 99香蕉大伊视频| 一区二区三区国产精品乱码| 好男人电影高清在线观看| 国产一区二区激情短视频| 亚洲国产av新网站| 国产精品欧美亚洲77777| 亚洲精品美女久久av网站| 精品免费久久久久久久清纯 | 一本—道久久a久久精品蜜桃钙片| 色综合欧美亚洲国产小说| 窝窝影院91人妻| 丝袜在线中文字幕| 99国产精品免费福利视频| 狠狠狠狠99中文字幕| 高清av免费在线| 757午夜福利合集在线观看| 久久精品熟女亚洲av麻豆精品| 国产有黄有色有爽视频| 男人操女人黄网站| 亚洲情色 制服丝袜| 亚洲精品中文字幕在线视频| 美女高潮到喷水免费观看| 国产一区二区在线观看av| 久久精品亚洲精品国产色婷小说| 乱人伦中国视频| 亚洲性夜色夜夜综合| 汤姆久久久久久久影院中文字幕| 欧美精品高潮呻吟av久久| 久久狼人影院| 日本黄色视频三级网站网址 | 一本大道久久a久久精品| 欧美 日韩 精品 国产| 久久中文看片网| 欧美成狂野欧美在线观看| 看免费av毛片| www.自偷自拍.com| 国产有黄有色有爽视频| 亚洲成国产人片在线观看| a级毛片黄视频| 国产精品免费一区二区三区在线 | 成年人免费黄色播放视频| 美女主播在线视频| 亚洲 欧美一区二区三区| 亚洲精品在线观看二区| 纵有疾风起免费观看全集完整版| 午夜成年电影在线免费观看| 国产精品98久久久久久宅男小说| 亚洲五月色婷婷综合| 九色亚洲精品在线播放| 久久精品国产亚洲av香蕉五月 | 欧美日韩中文字幕国产精品一区二区三区 | 动漫黄色视频在线观看| 纵有疾风起免费观看全集完整版| 亚洲欧美一区二区三区久久| 99国产精品免费福利视频| 大码成人一级视频| 欧美亚洲日本最大视频资源| 超色免费av| 曰老女人黄片| 国产成人精品无人区| 亚洲午夜理论影院| 90打野战视频偷拍视频| 午夜福利视频精品| 国产欧美日韩一区二区三| 精品久久蜜臀av无| 亚洲国产毛片av蜜桃av| 国产精品秋霞免费鲁丝片| av免费在线观看网站| 免费观看人在逋| 国精品久久久久久国模美| 日韩 欧美 亚洲 中文字幕| 极品人妻少妇av视频| 蜜桃国产av成人99| 久久九九热精品免费| 亚洲精品一卡2卡三卡4卡5卡| 久久国产精品大桥未久av| 50天的宝宝边吃奶边哭怎么回事| 欧美黑人精品巨大| 欧美中文综合在线视频| 日韩 欧美 亚洲 中文字幕| 色婷婷av一区二区三区视频| 999久久久国产精品视频| 中文欧美无线码| 777久久人妻少妇嫩草av网站| 90打野战视频偷拍视频| 真人做人爱边吃奶动态| 日韩熟女老妇一区二区性免费视频| svipshipincom国产片| 日本欧美视频一区| 首页视频小说图片口味搜索| 在线观看人妻少妇| 国产熟女午夜一区二区三区| 每晚都被弄得嗷嗷叫到高潮| 美女主播在线视频| 亚洲精品国产区一区二| 国产色视频综合| 亚洲精品成人av观看孕妇| 久久人妻熟女aⅴ| 亚洲 欧美一区二区三区| 午夜福利,免费看| 亚洲精品国产色婷婷电影| 搡老岳熟女国产| 极品人妻少妇av视频| 亚洲专区中文字幕在线| 一区二区av电影网| 成人av一区二区三区在线看| 久久久国产成人免费| 中文亚洲av片在线观看爽 | 国产单亲对白刺激| 国产成人系列免费观看| 久久精品国产99精品国产亚洲性色 | 亚洲精品粉嫩美女一区| 我的亚洲天堂| 99re6热这里在线精品视频| 夫妻午夜视频| av在线播放免费不卡| 久久精品国产99精品国产亚洲性色 | 国产成人精品在线电影| 99久久99久久久精品蜜桃| 日韩三级视频一区二区三区| 91精品国产国语对白视频| 深夜精品福利| xxxhd国产人妻xxx| 欧美日本中文国产一区发布| 国产1区2区3区精品| 成年人免费黄色播放视频| 50天的宝宝边吃奶边哭怎么回事| 日韩欧美三级三区| 怎么达到女性高潮| 美女高潮到喷水免费观看| 久久青草综合色| a级片在线免费高清观看视频| 2018国产大陆天天弄谢| 午夜福利欧美成人| 国产精品 欧美亚洲| 成年动漫av网址| 自拍欧美九色日韩亚洲蝌蚪91| 午夜免费成人在线视频| 成人国语在线视频| 国产精品久久久av美女十八| 美女扒开内裤让男人捅视频| 日韩精品免费视频一区二区三区| 高清av免费在线| 日本黄色视频三级网站网址 | 国产成人免费观看mmmm| 亚洲精品国产一区二区精华液| 9热在线视频观看99| 久久久水蜜桃国产精品网| 大码成人一级视频| 亚洲熟女毛片儿| 国内毛片毛片毛片毛片毛片| 久久热在线av| 脱女人内裤的视频| av天堂在线播放| a在线观看视频网站| 国产在视频线精品| 少妇被粗大的猛进出69影院| 久热爱精品视频在线9| 91成年电影在线观看| 久久人人爽av亚洲精品天堂| 欧美精品高潮呻吟av久久| 国产色视频综合| 黄色视频在线播放观看不卡| 国产成人精品无人区| 五月天丁香电影| 天堂中文最新版在线下载| 国产亚洲精品一区二区www | 欧美人与性动交α欧美精品济南到| 久久久精品区二区三区| 欧美日韩一级在线毛片| 国产男靠女视频免费网站| 最新在线观看一区二区三区| 欧美在线黄色| 黑人猛操日本美女一级片| 欧美在线黄色| www.熟女人妻精品国产| 亚洲,欧美精品.| 高潮久久久久久久久久久不卡| 欧美黄色片欧美黄色片| 脱女人内裤的视频| 日韩视频一区二区在线观看| 免费日韩欧美在线观看| 亚洲一区二区三区欧美精品| 国产日韩欧美视频二区| 国产av又大| 黄色 视频免费看| 欧美日韩福利视频一区二区| 亚洲av成人不卡在线观看播放网| 免费不卡黄色视频| 国产不卡一卡二| 久久久精品94久久精品| 人妻一区二区av| 黑人欧美特级aaaaaa片| 我的亚洲天堂| 午夜福利在线免费观看网站| 欧美国产精品va在线观看不卡| 久久人妻熟女aⅴ| 国产精品久久久久成人av| 免费女性裸体啪啪无遮挡网站| 美国免费a级毛片| 亚洲欧美一区二区三区黑人| 侵犯人妻中文字幕一二三四区| 母亲3免费完整高清在线观看| 精品福利观看| 日本av免费视频播放| 欧美亚洲日本最大视频资源| 菩萨蛮人人尽说江南好唐韦庄| av线在线观看网站| 亚洲成国产人片在线观看| 久久精品熟女亚洲av麻豆精品| 亚洲国产中文字幕在线视频| 男女床上黄色一级片免费看| 一区二区三区国产精品乱码| 国产免费福利视频在线观看| 国产精品一区二区精品视频观看| 丝袜人妻中文字幕| 飞空精品影院首页| 欧美黄色淫秽网站| 欧美变态另类bdsm刘玥| 亚洲 欧美一区二区三区| 国产男女超爽视频在线观看| 成人永久免费在线观看视频 | 麻豆乱淫一区二区| 99热国产这里只有精品6| 欧美+亚洲+日韩+国产| 日本vs欧美在线观看视频| 欧美av亚洲av综合av国产av| 正在播放国产对白刺激| 大香蕉久久网| 亚洲自偷自拍图片 自拍| 国产精品 国内视频| 亚洲熟女毛片儿| 欧美日韩一级在线毛片| 国产精品久久久av美女十八| 日韩人妻精品一区2区三区| 亚洲欧美精品综合一区二区三区| 国产黄色免费在线视频| 国产精品久久久久久精品古装| 久久香蕉激情| 亚洲美女黄片视频| 伦理电影免费视频| 精品人妻熟女毛片av久久网站| 丁香六月欧美| 天堂中文最新版在线下载| 手机成人av网站| 青草久久国产| 极品少妇高潮喷水抽搐| 一级片'在线观看视频| 日韩欧美一区视频在线观看| 亚洲精品久久午夜乱码| 国产男女超爽视频在线观看| 色婷婷久久久亚洲欧美| a级毛片在线看网站| 国产无遮挡羞羞视频在线观看| 精品国产乱码久久久久久小说| 老熟女久久久| 人妻久久中文字幕网| 国产欧美日韩一区二区三| 日日夜夜操网爽| 肉色欧美久久久久久久蜜桃| 欧美精品亚洲一区二区| 一级片免费观看大全| 蜜桃国产av成人99| 成人国语在线视频| 亚洲成人国产一区在线观看| 9191精品国产免费久久| 最近最新免费中文字幕在线| 欧美日韩亚洲高清精品| 性少妇av在线| 日韩欧美一区视频在线观看| 一级毛片精品| 纵有疾风起免费观看全集完整版| 精品少妇一区二区三区视频日本电影| 久久精品亚洲av国产电影网| 国产日韩欧美亚洲二区| 91麻豆av在线| 精品少妇黑人巨大在线播放| 99九九在线精品视频| 母亲3免费完整高清在线观看| 激情视频va一区二区三区| 亚洲伊人久久精品综合| av欧美777| 久久青草综合色| 黑丝袜美女国产一区| 国产老妇伦熟女老妇高清| 国产精品成人在线| av线在线观看网站| 亚洲avbb在线观看| 一二三四社区在线视频社区8| 美女福利国产在线| 国产精品 国内视频| 国产欧美日韩一区二区三区在线| 亚洲成国产人片在线观看| 久久中文看片网| 亚洲欧美一区二区三区久久| 丝袜人妻中文字幕| 国产男靠女视频免费网站| 国产片内射在线| 露出奶头的视频| 一二三四在线观看免费中文在| 国产av又大| 欧美精品高潮呻吟av久久| 精品第一国产精品| 成在线人永久免费视频| 变态另类成人亚洲欧美熟女 | 国产区一区二久久| 丁香六月天网| 成人国语在线视频| 国产日韩欧美在线精品| 狂野欧美激情性xxxx| 99re在线观看精品视频| 自拍欧美九色日韩亚洲蝌蚪91| 精品亚洲乱码少妇综合久久| 女警被强在线播放| 亚洲精品在线观看二区| 最新在线观看一区二区三区| 国产成人系列免费观看| 午夜激情久久久久久久| 丁香欧美五月| 一级片'在线观看视频| 国产在线观看jvid| 国产亚洲欧美精品永久| 日韩视频在线欧美| 多毛熟女@视频| 精品人妻在线不人妻| 91大片在线观看| 十八禁网站免费在线| 少妇猛男粗大的猛烈进出视频| 黄色视频不卡| 亚洲欧美一区二区三区久久| 天堂中文最新版在线下载| 一区二区三区乱码不卡18| 19禁男女啪啪无遮挡网站| 日日夜夜操网爽| 亚洲中文av在线| 国产99久久九九免费精品| 久久久国产精品麻豆| 国产1区2区3区精品| 亚洲性夜色夜夜综合| 亚洲自偷自拍图片 自拍| a级毛片在线看网站| 在线观看www视频免费| 久久香蕉激情| 精品亚洲乱码少妇综合久久| 国产成人免费观看mmmm| 国产日韩欧美亚洲二区| 亚洲人成伊人成综合网2020| 亚洲成人免费av在线播放| 欧美成人免费av一区二区三区 | 18禁裸乳无遮挡免费网站照片| 欧美日韩综合久久久久久 | 久久久久久久精品吃奶| 一二三四在线观看免费中文在| 最近最新免费中文字幕在线| 动漫黄色视频在线观看| 成人性生交大片免费视频hd| 午夜免费成人在线视频| 欧美3d第一页| 国产伦精品一区二区三区视频9 | 99精品久久久久人妻精品| 久久国产乱子伦精品免费另类| 久久人妻av系列| 黄色视频,在线免费观看| 午夜福利在线观看免费完整高清在 | 国产精品一区二区三区四区久久| 无限看片的www在线观看| 黄片大片在线免费观看| 欧美在线黄色| 可以在线观看毛片的网站| 中亚洲国语对白在线视频| 国产av在哪里看| 亚洲在线观看片| 99久久无色码亚洲精品果冻| 精品人妻1区二区| 欧美大码av| 极品教师在线免费播放| 色哟哟哟哟哟哟| 国产精品 欧美亚洲| a级毛片a级免费在线| 国产精品久久久久久久电影 | 久久久久免费精品人妻一区二区| 俺也久久电影网| 中文字幕人成人乱码亚洲影| 在线国产一区二区在线| 国产亚洲av嫩草精品影院| 国产精品香港三级国产av潘金莲| 国产伦精品一区二区三区四那| 国产精品 国内视频| 国产男靠女视频免费网站| 国内精品久久久久精免费| 久久天躁狠狠躁夜夜2o2o| 日本五十路高清| 日本一本二区三区精品| 色播亚洲综合网| 日本与韩国留学比较| 啦啦啦观看免费观看视频高清| 国产精品日韩av在线免费观看| 亚洲成av人片在线播放无| 亚洲aⅴ乱码一区二区在线播放|