基于大模型知識(shí)追蹤的多模態(tài)教育知識(shí)圖譜構(gòu)建與應(yīng)用

關(guān)鍵詞：大模型；知識(shí)追蹤；多模態(tài)；教育；知識(shí)圖譜

0 引言

知識(shí)圖譜是自然語言處理領(lǐng)域用來存儲(chǔ)和表示知識(shí)的一種可視化新技術(shù)，具有強(qiáng)大的知識(shí)查詢和語義推理能力。它可以為數(shù)字化互聯(lián)網(wǎng)平臺(tái)提供豐富的信息處理方式，成為目前互聯(lián)網(wǎng)計(jì)算平臺(tái)上知識(shí)模型和知識(shí)圖形可視化的重要理論模型。教育知識(shí)圖譜是智慧教育的重要表現(xiàn)形式，可以提供教育信息檢索、個(gè)性化學(xué)習(xí)推薦、學(xué)生畫像、智能問答、教學(xué)預(yù)警、精準(zhǔn)教學(xué)決策分析等智能服務(wù)。教育知識(shí)圖譜通過將分散碎片式的教育資源與相關(guān)實(shí)體搭建成一個(gè)聯(lián)通的語義化網(wǎng)絡(luò)，根據(jù)語義網(wǎng)絡(luò)表示實(shí)現(xiàn)教育相關(guān)的知識(shí)點(diǎn)和資源的關(guān)聯(lián)，具體包括知識(shí)點(diǎn)之間關(guān)聯(lián)、知識(shí)點(diǎn)與學(xué)習(xí)資源之間關(guān)聯(lián)、知識(shí)點(diǎn)與學(xué)生行為之間關(guān)聯(lián)等[1]。教育知識(shí)圖譜是實(shí)現(xiàn)多模態(tài)教學(xué)、自適應(yīng)學(xué)習(xí)等智能化教育信息服務(wù)的基礎(chǔ)，最終為教學(xué)決策提供優(yōu)化建議。

大語言模型提供了強(qiáng)大的數(shù)據(jù)處理能力和新數(shù)據(jù)挖掘潛力?；诖竽Ｐ蜆?gòu)建的知識(shí)圖譜具備了更豐富的專業(yè)知識(shí)背景和可解釋性，可以為應(yīng)用領(lǐng)域提供一個(gè)強(qiáng)大可靠的決策輔助工具。本文基于百度智能云千帆大模型平臺(tái)，結(jié)合知識(shí)追蹤機(jī)制，構(gòu)建了基于大模型知識(shí)追蹤的多模態(tài)教育知識(shí)圖譜，并進(jìn)行了教育知識(shí)下游應(yīng)用。

1 研究現(xiàn)狀

教育知識(shí)圖譜和多模態(tài)知識(shí)圖譜在國內(nèi)外得到了廣泛關(guān)注。陳囿任等人[2]在多模態(tài)知識(shí)圖譜中融合了視覺文本等多種源信息，對(duì)多模態(tài)知識(shí)圖譜價(jià)值及類別進(jìn)行了分析討論，從多源異構(gòu)數(shù)據(jù)文本生成、表示學(xué)習(xí)、實(shí)體對(duì)齊、實(shí)體鏈接等方面進(jìn)行對(duì)比分析，同時(shí)對(duì)跨模態(tài)知識(shí)圖譜融合技術(shù)進(jìn)行了詳細(xì)介紹。最后，他們對(duì)多模態(tài)知識(shí)圖譜的發(fā)展前景進(jìn)行了分析，提出了目前多模態(tài)知識(shí)圖譜的技術(shù)局限性，并給出了自己的見解。葉新東等人[3]針對(duì)教育環(huán)境的實(shí)際問題設(shè)計(jì)了基于多模態(tài)大模型的精準(zhǔn)教學(xué)支持平臺(tái)和面向個(gè)性化教育的云邊協(xié)同平臺(tái)架構(gòu)，兩者之間互補(bǔ)，協(xié)同工作。王文廣等人[4]總結(jié)了多模態(tài)知識(shí)圖譜以及知識(shí)圖譜在各垂直領(lǐng)域的最新應(yīng)用，綜述了GPT大模型在知識(shí)圖譜構(gòu)建過程中的應(yīng)用現(xiàn)狀，并分析了大模型、多模態(tài)與知識(shí)圖譜之間的關(guān)系。羅江華等人[5]分析了多模態(tài)、大模型與領(lǐng)域知識(shí)圖譜三者之間的關(guān)聯(lián)，探索了多模態(tài)學(xué)科知識(shí)圖譜關(guān)鍵技術(shù)與構(gòu)建流程，設(shè)計(jì)了多模態(tài)領(lǐng)域知識(shí)圖譜的教育應(yīng)用案例。車萬翔等人[6]調(diào)研分析了大模型對(duì)自然語言處理的影響，分析了大模型對(duì)自然語言處理領(lǐng)域下游任務(wù)帶來的機(jī)遇和挑戰(zhàn)，最后討論了大模型和NLP的前沿技術(shù)。余勝泉等人[7]通過增強(qiáng)大模型構(gòu)建通用人工智能教師架構(gòu)，介紹了“大模型+精調(diào)”技術(shù)路線，分析了通用大模型時(shí)代教師所面臨的機(jī)遇與挑戰(zhàn)以及應(yīng)對(duì)措施。

多模態(tài)知識(shí)圖譜的構(gòu)建是一個(gè)復(fù)雜煩瑣的任務(wù)，涉及人工智能領(lǐng)域的關(guān)鍵技術(shù)，需要數(shù)據(jù)處理、自然語言處理、計(jì)算機(jī)視覺、知識(shí)圖譜等方面的專業(yè)知識(shí)和技術(shù)支持。本文在以上學(xué)者的研究基礎(chǔ)上，提出了基于大模型知識(shí)追蹤的多模態(tài)教育知識(shí)圖譜流程，旨在更精準(zhǔn)地進(jìn)行學(xué)情分析，對(duì)學(xué)習(xí)者進(jìn)行學(xué)習(xí)路徑規(guī)劃，推薦學(xué)習(xí)資源。

2 大模型

大模型是一種包含大量訓(xùn)練參數(shù)和復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)的深度學(xué)習(xí)模型，它可以處理海量數(shù)據(jù)、輔助完成復(fù)雜任務(wù)，包括圖像識(shí)別、計(jì)算機(jī)視覺、語音識(shí)別、自然語言處理等。大模型通過海量語料進(jìn)行長時(shí)間訓(xùn)練，從而生成億級(jí)參數(shù)的大模型。其本質(zhì)是通過自監(jiān)督學(xué)習(xí)，有效利用了大量沒有標(biāo)簽的數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練。訓(xùn)練過程可以有效地從海量標(biāo)記和未標(biāo)記的數(shù)據(jù)中獲取知識(shí)并對(duì)特定任務(wù)進(jìn)行參數(shù)精調(diào)，擴(kuò)展了模型的泛化能力。大模型是未來人工智能各個(gè)領(lǐng)域發(fā)展的重要方向和關(guān)鍵技術(shù)。伴隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展和應(yīng)用場(chǎng)景的不斷拓展，大模型將會(huì)在更多領(lǐng)域展現(xiàn)其巨大的前景，更好地推動(dòng)人工智能發(fā)展。

3 多模態(tài)特征融合

多模態(tài)特征融合可以將多個(gè)模態(tài)表示進(jìn)行融合，每一種不同來源的特征信息都可以被看作一種新模態(tài)[8]。不同來源的模態(tài)信息可以交叉互補(bǔ)，模態(tài)之間可能還存在多樣化的信息交互方式，多模態(tài)融合能夠產(chǎn)生更為豐富的特征信息。目前，大部分研究學(xué)者主要是把圖像、文本和語音這三種模態(tài)進(jìn)行融合[1]。本研究的特征融合方式采用交互式融合，通過引入交互項(xiàng)來構(gòu)建不同模態(tài)之間的關(guān)系。例如，在知識(shí)點(diǎn)關(guān)系抽取任務(wù)中，可以使用交互式神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)學(xué)生發(fā)帖/教師回帖和視頻觀看記錄之間的交互信息，從而提高模型性能。

4 基于大模型知識(shí)追蹤構(gòu)建多模態(tài)教育知識(shí)圖譜

知識(shí)追蹤機(jī)制根據(jù)學(xué)生做題歷史行為序列數(shù)據(jù)，以及學(xué)生與題目的交互結(jié)果，來推算學(xué)生對(duì)于新知識(shí)狀態(tài)可能會(huì)出現(xiàn)的表現(xiàn)行為，從而可以對(duì)學(xué)生在新題目上的結(jié)果進(jìn)行預(yù)測(cè)。知識(shí)圖譜以其構(gòu)建語義關(guān)聯(lián)、智能聚合的自動(dòng)化能力，為機(jī)器學(xué)習(xí)模型理解復(fù)雜的學(xué)習(xí)資源和構(gòu)建知識(shí)語義網(wǎng)絡(luò)提供了新的方法。知識(shí)圖譜構(gòu)建的目標(biāo)是從大量的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)中進(jìn)行實(shí)體識(shí)別、關(guān)系抽取、事件抽取的過程，通過實(shí)體對(duì)齊、指代消歧等解決多種類型的數(shù)據(jù)不一致問題，并完成知識(shí)融合，將知識(shí)表示存儲(chǔ)到知識(shí)庫中，最后進(jìn)行下游知識(shí)圖譜推理和應(yīng)用。知識(shí)追蹤機(jī)制是進(jìn)行教育資源組織，實(shí)現(xiàn)教育資源整合的關(guān)鍵技術(shù)。

多模態(tài)知識(shí)圖譜與傳統(tǒng)知識(shí)圖譜的區(qū)別在于：前者主要研究文本和數(shù)據(jù)庫的實(shí)體和關(guān)系，而后者則在傳統(tǒng)知識(shí)圖譜的基礎(chǔ)上構(gòu)建多種模態(tài)下的實(shí)體，以及多種模態(tài)實(shí)體間的多模態(tài)范式。多模態(tài)數(shù)據(jù)為人們認(rèn)知世界提供了多樣化的信息化支撐。多模態(tài)知識(shí)圖譜的構(gòu)建是在知識(shí)圖譜的基礎(chǔ)上，融合多種模態(tài)知識(shí)，如視頻、文本、圖像等，構(gòu)建一個(gè)功能強(qiáng)大的領(lǐng)域知識(shí)圖譜。多模態(tài)教學(xué)利用多種渠道以及不同教學(xué)手段，借助于教師、學(xué)生肢體語言、語言交流等多種符號(hào)資源進(jìn)行互補(bǔ)，旨在更好地促進(jìn)學(xué)習(xí)者自適應(yīng)能力。

基于大模型知識(shí)追蹤構(gòu)建多模態(tài)教育知識(shí)圖譜的步驟如圖1所示：

Step 1：數(shù)據(jù)采集

利用云班課平臺(tái)導(dǎo)出多種模態(tài)的數(shù)據(jù)，如文本（教案、課件）、圖像（教學(xué)過程截圖）、視頻（教學(xué)視頻）等，并對(duì)數(shù)據(jù)進(jìn)行整理存儲(chǔ)。

Step 2：數(shù)據(jù)預(yù)處理

通過云班課導(dǎo)出的數(shù)據(jù)存在缺失異常數(shù)值，需要對(duì)數(shù)據(jù)的缺失值進(jìn)行檢測(cè)并用刪除法或插值法等方法進(jìn)行填充。對(duì)于異常值，需要對(duì)其進(jìn)行替換或者刪除處理。對(duì)于重復(fù)值，需要進(jìn)行刪除。通過數(shù)據(jù)預(yù)處理環(huán)節(jié)，可以使得數(shù)據(jù)變得更加干凈，同時(shí)還需要利用數(shù)值化、標(biāo)準(zhǔn)化、歸一化、離散化等操作將數(shù)據(jù)轉(zhuǎn)化為建模的輸入。

Step 3：多模態(tài)融合

多模態(tài)融合技術(shù)的關(guān)鍵是將來自不同模態(tài)的數(shù)據(jù)進(jìn)行統(tǒng)一。利用云班課導(dǎo)出多模態(tài)數(shù)據(jù)，包括學(xué)生簽到、資源瀏覽、頭腦風(fēng)暴、視頻觀看、教學(xué)互動(dòng)、作業(yè)提交等學(xué)生行為數(shù)據(jù)，通過CNN以及LSTM進(jìn)行特征提取，為學(xué)生行為數(shù)據(jù)分配權(quán)重，將加權(quán)求和后的特征向量作為最終的融合結(jié)果。

Step 4：多模態(tài)命名實(shí)體與關(guān)系抽取

該步驟可以從文本數(shù)據(jù)中提取實(shí)體之間的關(guān)系，并建立實(shí)體鏈接。在命名實(shí)體識(shí)別和抽取之前，采用后端平均值方法將不同模態(tài)數(shù)據(jù)進(jìn)行融合作為分類器的輸入。在命名實(shí)體識(shí)別過程中，可以利用文本、圖像、音頻等多種模態(tài)的特征進(jìn)行融合，再利用文本和圖像之間的關(guān)聯(lián)性進(jìn)行學(xué)習(xí)[9]。首先對(duì)教學(xué)資源（教材、課件、試題庫）進(jìn)行分類、標(biāo)注和整理，利用BiLSTM+CRF深度學(xué)習(xí)方法從教材、課程大綱等文本資料中提取教學(xué)過程中的基礎(chǔ)概念、知識(shí)重難點(diǎn)。關(guān)系抽取首先需要判斷一個(gè)實(shí)體對(duì)之間是否有關(guān)系，然后判斷抽取的關(guān)系屬于哪個(gè)種類。在這個(gè)環(huán)節(jié)仍然采用BiLSTM神經(jīng)網(wǎng)絡(luò)進(jìn)行關(guān)系抽取，再通過多模態(tài)關(guān)系抽取出知識(shí)之間的關(guān)聯(lián)和依賴關(guān)系[10]。

教育知識(shí)圖譜知識(shí)點(diǎn)OWL描述語言：

<EquivalentClasses>

<Class abbreviatedIRI="：數(shù)據(jù)框切片"/>

<ObjectUnionOf>

<Class IRI="#連續(xù)"/>

<Class IRI="#不連續(xù)"/>

</ObjectUnionOf>

</EquivalentClasses>

Step 5：大模型下多模態(tài)知識(shí)圖譜構(gòu)建

該步驟根據(jù)知識(shí)點(diǎn)實(shí)體和關(guān)系構(gòu)建教育知識(shí)圖譜，把教育類實(shí)體看作圖中的節(jié)點(diǎn)，關(guān)系作為節(jié)點(diǎn)之間的邊，再將節(jié)點(diǎn)連接起來。根據(jù)融合后的多模態(tài)語義信息以及知識(shí)追蹤結(jié)果，構(gòu)建多模態(tài)教育知識(shí)圖譜，最后利用圖數(shù)據(jù)庫進(jìn)行知識(shí)存儲(chǔ)和查詢。大模型可以提供更準(zhǔn)確、更穩(wěn)定的預(yù)測(cè)性能，從而在各種應(yīng)用場(chǎng)景中發(fā)揮重要作用。國內(nèi)大語言模型中文訓(xùn)練語料數(shù)據(jù)量豐富，本文使用百度智能云千帆大模型平臺(tái)對(duì)模型進(jìn)行精調(diào)，部署域內(nèi)知識(shí)檢索功能，通過輸入關(guān)鍵詞或問題，從包含大量專業(yè)領(lǐng)域知識(shí)的數(shù)據(jù)源中檢索相關(guān)答案，并生成準(zhǔn)確的回答和信息。

Step 6：知識(shí)推理與應(yīng)用

基于構(gòu)建好的多模態(tài)教育知識(shí)圖譜，進(jìn)行知識(shí)推理和下游應(yīng)用。多模態(tài)教育知識(shí)圖譜的構(gòu)建是一個(gè)系統(tǒng)工程，涉及跨領(lǐng)域的專業(yè)技術(shù)。使用圖數(shù)據(jù)庫查詢語言進(jìn)行復(fù)雜的圖查詢操作，從圖譜中獲取相關(guān)的知識(shí)。依據(jù)學(xué)生的學(xué)習(xí)行為記錄，通過教育知識(shí)圖譜規(guī)劃個(gè)性化學(xué)習(xí)路徑和推薦學(xué)習(xí)資源。基于教育知識(shí)圖譜產(chǎn)生的學(xué)生學(xué)習(xí)過程和學(xué)情分析，也可以為教師提供有效的教學(xué)支持和輔助決策。

5 結(jié)束語

本文基于大模型知識(shí)追蹤構(gòu)建了多模態(tài)教育知識(shí)圖譜，介紹了多模態(tài)實(shí)體識(shí)別、關(guān)系抽取，以及多模態(tài)融合核心技術(shù)。利用融合后的多模態(tài)數(shù)據(jù)和語義信息構(gòu)建多模態(tài)教育知識(shí)圖譜，采用圖數(shù)據(jù)庫來存儲(chǔ)和查詢多模態(tài)知識(shí)圖譜?；跇?gòu)建好的多模態(tài)知識(shí)圖譜，可以進(jìn)行教育知識(shí)推理和下游任務(wù)，如知識(shí)點(diǎn)檢索、教學(xué)決策和教學(xué)預(yù)警，最終實(shí)現(xiàn)個(gè)性化教學(xué)資源推薦與精準(zhǔn)教學(xué)決策。