摘要:大語(yǔ)言模型技術(shù)迅猛發(fā)展,在各個(gè)領(lǐng)域的應(yīng)用日益廣泛,尤其是在教育領(lǐng)域已展現(xiàn)出顯著的成效。傳統(tǒng)的教學(xué)指導(dǎo)方法往往無(wú)法根據(jù)每個(gè)學(xué)生的具體學(xué)習(xí)情況提供個(gè)性化的學(xué)習(xí)建議。探討了大語(yǔ)言模型在大學(xué)生個(gè)體指導(dǎo)中的應(yīng)用路徑,包括數(shù)據(jù)集準(zhǔn)備、大語(yǔ)言模型的部署、微調(diào)和評(píng)估。初步應(yīng)用結(jié)果表明,經(jīng)再訓(xùn)練和微調(diào)的大語(yǔ)言模型生成學(xué)習(xí)建議的能力顯著提升。
關(guān)鍵詞:大語(yǔ)言模型;個(gè)體指導(dǎo);建議生成;教育技術(shù)
一、前言
大語(yǔ)言模型等人工智能技術(shù)在教育領(lǐng)域的應(yīng)用,正日益成為推動(dòng)教育數(shù)字化轉(zhuǎn)型的重要力量。黨的二十大報(bào)告中明確指出要推動(dòng)“教育數(shù)字化”,并加強(qiáng)信息技術(shù)和人工智能在教育中的應(yīng)用[1]。在此背景下,教育部及相關(guān)部門強(qiáng)調(diào)推進(jìn)智慧校園建設(shè),打造中國(guó)版人工智能教育大模型,以促進(jìn)教育與科技的深度融合[2]。此舉旨在培養(yǎng)適應(yīng)社會(huì)發(fā)展需求的高素質(zhì)人才,確保在全球競(jìng)爭(zhēng)中保持優(yōu)勢(shì)地位。因此,研究如何對(duì)大學(xué)生進(jìn)行及時(shí)個(gè)體指導(dǎo)并生成有效的學(xué)習(xí)建議,對(duì)于提升人才培養(yǎng)質(zhì)量具有重要意義。
大語(yǔ)言模型在教育領(lǐng)域的應(yīng)用推動(dòng)了智慧學(xué)習(xí)和學(xué)校管理創(chuàng)新。EduChat、桃李、九章等[3]已在智慧學(xué)習(xí)和學(xué)校管理中展現(xiàn)出良好的教育價(jià)值[4]。其中,桃李和九章大模型尤為關(guān)注知識(shí)的持續(xù)更新,適用于教育咨詢和智能導(dǎo)學(xué)的場(chǎng)景[5]。這些先進(jìn)的應(yīng)用案例表明,大語(yǔ)言模型在教育領(lǐng)域具有廣闊的應(yīng)用潛力,不僅為教育工作提供了創(chuàng)新的解決方案,也為提升教育質(zhì)量和效率提供了強(qiáng)有力的技術(shù)支撐。
本文探討了大語(yǔ)言模型在大學(xué)生個(gè)體指導(dǎo)中的具體應(yīng)用路徑。通過(guò)大學(xué)生學(xué)習(xí)特征分析、數(shù)據(jù)集準(zhǔn)備以及基于LoRA技術(shù)對(duì)ChatGLM3模型進(jìn)行微調(diào),實(shí)現(xiàn)高效的學(xué)習(xí)建議生成,指導(dǎo)學(xué)生提升學(xué)習(xí)效果。初步研究結(jié)果表明,經(jīng)過(guò)再訓(xùn)練和微調(diào)的大語(yǔ)言模型生成學(xué)習(xí)建議的能力有了顯著提升,為教育工作者提供了有效的參考和支持。
二、大語(yǔ)言模型實(shí)現(xiàn)個(gè)體指導(dǎo)的關(guān)鍵步驟
(一)數(shù)據(jù)集的數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)
為了確保大語(yǔ)言模型能夠生成符合學(xué)生實(shí)際情況的合理建議,數(shù)據(jù)集的結(jié)構(gòu)設(shè)計(jì)至關(guān)重要,是數(shù)據(jù)采集前必須進(jìn)行的重要工作。
首先是學(xué)習(xí)成績(jī)相關(guān)特征與標(biāo)簽設(shè)計(jì)情況。學(xué)習(xí)成績(jī)是衡量學(xué)生學(xué)術(shù)表現(xiàn)的關(guān)鍵。通過(guò)隨堂測(cè)試、課堂答辯、考勤情況和綜合成績(jī)等多維度評(píng)價(jià)學(xué)生的即時(shí)和長(zhǎng)期學(xué)術(shù)表現(xiàn)。例如:隨堂測(cè)試能夠反映學(xué)生的即時(shí)掌握情況,特征是 “相對(duì)隨堂測(cè)試得分指數(shù)是90”“隨堂測(cè)試得分與平均水平相比很大”。標(biāo)簽為“隨堂測(cè)試得分高于大多數(shù)同學(xué),表現(xiàn)非常出色”。
其次是課堂表現(xiàn)相關(guān)特征與標(biāo)簽設(shè)計(jì)情況。課堂表現(xiàn)是展現(xiàn)學(xué)生學(xué)習(xí)態(tài)度的關(guān)鍵。通過(guò)學(xué)生在課堂上的答題頻次、參與討論次數(shù)及其時(shí)長(zhǎng)等來(lái)表現(xiàn)。例如,討論次數(shù)反映了學(xué)生在課堂中的參與度,特征是“相對(duì)討論次數(shù)指數(shù)是10”“答題討論次數(shù)與平均水平相比很小”。標(biāo)簽為“幾乎沒(méi)有參與討論,缺少與他人的互動(dòng)和觀點(diǎn)交換,建議多參與討論,主動(dòng)分享你的想法和問(wèn)題,這不僅能加深對(duì)知識(shí)的理解,也有助于課堂氛圍的營(yíng)造”。
最后是課堂反饋相關(guān)特征與標(biāo)簽設(shè)計(jì)情況。課堂反饋直觀反映學(xué)生學(xué)習(xí)情況,涵蓋了學(xué)生對(duì)課程內(nèi)容的接受度、教學(xué)進(jìn)度的適應(yīng)性,以及對(duì)隨堂測(cè)試難度的反饋。例如:特征是“相對(duì)隨堂測(cè)試難度指數(shù)是30”“隨堂測(cè)試難度與平均水平相比較小”,標(biāo)簽是“認(rèn)為隨堂測(cè)試的難度低于一些同學(xué)的評(píng)價(jià),這可能意味著該同學(xué)對(duì)課程內(nèi)容掌握較好,具備較強(qiáng)的學(xué)習(xí)能力”。
(二)大語(yǔ)言模型的特征工程實(shí)現(xiàn)
在大語(yǔ)言模型的應(yīng)用中,數(shù)據(jù)的質(zhì)量和預(yù)處理過(guò)程對(duì)于模型的訓(xùn)練效果至關(guān)重要。為了確保模型能夠高效地理解和處理輸入數(shù)據(jù),數(shù)據(jù)需要經(jīng)過(guò)一系列的預(yù)處理和特征工程操作。這一過(guò)程不僅有助于提升數(shù)據(jù)的結(jié)構(gòu)化程度,還能顯著增強(qiáng)模型在預(yù)測(cè)和分析過(guò)程中的表現(xiàn)。本研究中,研究人員采取了全面的特征工程方法,涵蓋了數(shù)據(jù)清洗、特征轉(zhuǎn)換和特征映射等多個(gè)環(huán)節(jié),以確保數(shù)據(jù)能夠有效支持大語(yǔ)言模型的訓(xùn)練。
首先,對(duì)收集到的數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗。原始數(shù)據(jù)中通常會(huì)存在一些無(wú)效記錄、缺失值或者異常值,這些數(shù)據(jù)如果不進(jìn)行處理,會(huì)影響后續(xù)分析和模型的訓(xùn)練效果。研究人員采用了刪除和填充相結(jié)合的策略:對(duì)于缺失值較多或包含異常值的數(shù)據(jù),會(huì)直接刪除這些記錄,以避免對(duì)模型訓(xùn)練造成負(fù)面影響。而對(duì)于缺失值較少的記錄,則根據(jù)數(shù)據(jù)的不同性質(zhì)采取相應(yīng)的填充方法。具體來(lái)說(shuō),數(shù)值型數(shù)據(jù)可以使用均值或中位數(shù)進(jìn)行填充,而類別型數(shù)據(jù)則會(huì)用最頻繁的類別來(lái)填充。此外,針對(duì)數(shù)據(jù)的分布特征,研究人員還會(huì)進(jìn)行插值處理,確保數(shù)據(jù)的完整性和準(zhǔn)確性。
其次,在完成數(shù)據(jù)清洗后,對(duì)數(shù)據(jù)進(jìn)行量化轉(zhuǎn)換,特別是針對(duì)定性數(shù)據(jù)的處理。在大語(yǔ)言模型的訓(xùn)練中,定性數(shù)據(jù),如對(duì)課程、教學(xué)內(nèi)容、教學(xué)方法的評(píng)價(jià)等,需要轉(zhuǎn)化為定量數(shù)據(jù),以便模型能夠更好地理解和處理。以課程滿意度反饋為例,研究人員們將不同的評(píng)價(jià),如“很滿意”“滿意”“較滿意”“一般”“不滿意”“很不滿意”,轉(zhuǎn)換為相應(yīng)的數(shù)值100、80、60、40、20、0。這種數(shù)值化的方式能夠?qū)⒅饔^評(píng)價(jià)轉(zhuǎn)化為客觀、可量化的指標(biāo),便于模型進(jìn)行分析和特征提取,從而提高數(shù)據(jù)處理的效率和準(zhǔn)確性,使得模型在學(xué)習(xí)過(guò)程中能夠進(jìn)行更加精準(zhǔn)的預(yù)測(cè)和判斷。
最后,需要進(jìn)行數(shù)據(jù)排名和特征映射的工作。通過(guò)對(duì)所有數(shù)據(jù)進(jìn)行百分比排名,可以直觀地展示每個(gè)學(xué)生在各個(gè)維度上的相對(duì)位置。這一過(guò)程的核心思想是將所有數(shù)據(jù)轉(zhuǎn)化為一個(gè)可比較的標(biāo)準(zhǔn),從而為特征工程提供了更多有價(jià)值的信息。例如,學(xué)生的期末成績(jī)、簽到次數(shù)、考勤成績(jī)等定量數(shù)據(jù)在進(jìn)行排名后,可以為每個(gè)學(xué)生在不同維度上賦予相應(yīng)的權(quán)重和標(biāo)簽,形成一個(gè)個(gè)性化的數(shù)據(jù)視圖。這種排名方式使得研究人員能夠清晰地識(shí)別出學(xué)生的優(yōu)勢(shì)和不足,并為后續(xù)個(gè)性化提供學(xué)習(xí)建議奠定了基礎(chǔ)。
通過(guò)這種方式,所有的數(shù)據(jù)經(jīng)過(guò)了結(jié)構(gòu)化、標(biāo)準(zhǔn)化的處理,并映射到相應(yīng)的特征和標(biāo)簽上。這一過(guò)程不僅為大語(yǔ)言模型的訓(xùn)練提供了高質(zhì)量的輸入數(shù)據(jù),還確保了數(shù)據(jù)的適應(yīng)性和一致性,使得模型能夠準(zhǔn)確地進(jìn)行學(xué)習(xí)和預(yù)測(cè)。最終,研究人員將所有處理過(guò)的數(shù)據(jù)整合為一個(gè)統(tǒng)一的數(shù)據(jù)集,并將其作為大語(yǔ)言模型訓(xùn)練的輸入數(shù)據(jù),確保模型能夠在處理和分析過(guò)程中得到更加精準(zhǔn)的結(jié)果。
(三)大語(yǔ)言模型的微調(diào)
大語(yǔ)言模型的微調(diào)是其在大學(xué)生個(gè)體指導(dǎo)中應(yīng)用的核心步驟之一,能夠提升模型的生成學(xué)習(xí)建議文本的準(zhǔn)確性。微調(diào)通過(guò)對(duì)模型進(jìn)行針對(duì)性訓(xùn)練,能夠有效調(diào)整其生成內(nèi)容的方向。在眾多微調(diào)方法中,LoRA (Low-Rank Adaptation)微調(diào)方法因在計(jì)算效率和性能優(yōu)化方面的優(yōu)勢(shì),成為了當(dāng)前大語(yǔ)言模型微調(diào)的重要手段。
LoRA是一種新興的高效微調(diào)方法,其核心理念是通過(guò)低秩矩陣分解來(lái)減少預(yù)訓(xùn)練模型微調(diào)時(shí)需要調(diào)整的參數(shù)數(shù)量。傳統(tǒng)的微調(diào)方法通常需要對(duì)整個(gè)模型的參數(shù)進(jìn)行調(diào)整,不僅計(jì)算開(kāi)銷大,還可能導(dǎo)致過(guò)擬合問(wèn)題。而LoRA通過(guò)在模型的權(quán)重矩陣中引入低秩分解項(xiàng),僅對(duì)其中少量的參數(shù)進(jìn)行微調(diào),避免了對(duì)所有參數(shù)進(jìn)行全面調(diào)整的高計(jì)算負(fù)擔(dān)。這樣的做法大大降低了計(jì)算復(fù)雜度,并且由于調(diào)整的參數(shù)量較少,能夠有效防止過(guò)擬合,從而提高微調(diào)過(guò)程的穩(wěn)定性和魯棒性。
LoRA方法在大語(yǔ)言模型的微調(diào)中具有顯著的優(yōu)勢(shì),特別是在面對(duì)數(shù)據(jù)量較大或計(jì)算資源有限的情況下。通過(guò)這種方式,能夠以較低的成本對(duì)模型進(jìn)行高效的個(gè)性化調(diào)整,尤其是在處理大學(xué)生個(gè)體指導(dǎo)時(shí),能夠更加靈活地適應(yīng)每個(gè)學(xué)生的學(xué)習(xí)特點(diǎn)和需求,意味著LoRA微調(diào)不僅可以提升模型的學(xué)習(xí)能力,還能使其在具體應(yīng)用場(chǎng)景中表現(xiàn)得更加精準(zhǔn)、智能。
在大學(xué)生個(gè)體指導(dǎo)中,LoRA微調(diào)技術(shù)展現(xiàn)出了極大應(yīng)用潛力。通過(guò)對(duì)大語(yǔ)言模型微調(diào),可以結(jié)合學(xué)生的個(gè)體差異,如課程滿意度和知識(shí)掌握情況,使模型更加精準(zhǔn)地理解學(xué)生的學(xué)習(xí)需求?;诰珳?zhǔn)理解,模型能夠根據(jù)每個(gè)學(xué)生的具體學(xué)習(xí)背景和水平,提供量身定制的學(xué)習(xí)建議和指導(dǎo)。這種個(gè)性化的教育方式,有助于提高學(xué)生的學(xué)習(xí)效率,促進(jìn)知識(shí)深入掌握,并激發(fā)其自主學(xué)習(xí)動(dòng)力,為學(xué)生的學(xué)業(yè)發(fā)展提供有針對(duì)性的支持。
三、大語(yǔ)言模型個(gè)體指導(dǎo)應(yīng)用實(shí)踐
圍繞關(guān)鍵步驟展開(kāi)個(gè)體指導(dǎo)大語(yǔ)言模型應(yīng)用實(shí)踐,成功地實(shí)現(xiàn)模型的實(shí)際應(yīng)用離不開(kāi)多個(gè)關(guān)鍵步驟的精心設(shè)計(jì)與實(shí)施。
(一)環(huán)境配置
本研究的實(shí)驗(yàn)環(huán)境基于最新穩(wěn)定版的Ubuntu操作系統(tǒng),內(nèi)核版本為5.15.0-117-generic,確保了系統(tǒng)的穩(wěn)定性和對(duì)硬件的良好支持。軟件環(huán)境使用Python 3.10.12,具有強(qiáng)大的兼容性和豐富的第三方庫(kù),適合機(jī)器學(xué)習(xí)和深度學(xué)習(xí)任務(wù)。硬件配置方面,實(shí)驗(yàn)服務(wù)器配備Intel Xeon Silver 4214處理器,具備出色的多線程計(jì)算能力,能夠高效處理并行任務(wù)。系統(tǒng)內(nèi)存為128GB,支持大規(guī)模數(shù)據(jù)處理和模型訓(xùn)練。基礎(chǔ)模型選擇了ChatGLM3-6B,提升了語(yǔ)言理解和生成能力,更好地支持實(shí)驗(yàn)中的任務(wù)需求。
(二)數(shù)據(jù)集準(zhǔn)備
在本研究中,數(shù)據(jù)集準(zhǔn)備所需的數(shù)據(jù)是通過(guò)多種形式的收集手段來(lái)獲取的,以確保大語(yǔ)言模型能夠全面學(xué)習(xí)大學(xué)生在整個(gè)課程學(xué)習(xí)中的各種學(xué)習(xí)狀態(tài)。
在整個(gè)學(xué)期的教學(xué)過(guò)程中,研究人員高度重視學(xué)生成績(jī)信息的全面收集。通過(guò)精心策劃的隨堂測(cè)試和嚴(yán)謹(jǐn)組織的期末測(cè)試,為獲取學(xué)生成績(jī)數(shù)據(jù)搭建了堅(jiān)實(shí)橋梁。每節(jié)課后,都會(huì)安排5~10分鐘的隨堂測(cè)試,題目以選擇題為主,緊密圍繞當(dāng)堂課的核心知識(shí)點(diǎn),旨在快速檢驗(yàn)學(xué)生對(duì)新知識(shí)的即時(shí)掌握程度。而期末測(cè)試則涵蓋了更為廣泛的內(nèi)容,包括組織學(xué)生進(jìn)行答辯。在答辯中,學(xué)生需展示課程項(xiàng)目成果,深入闡述解決問(wèn)題的思路以及對(duì)課程核心概念的理解,由授課教師和助教老師組成的評(píng)審團(tuán)從多個(gè)維度進(jìn)行嚴(yán)格打分。這些成績(jī)數(shù)據(jù),不僅直觀反映了學(xué)生對(duì)知識(shí)的掌握情況,還為后續(xù)分析學(xué)生的學(xué)習(xí)能力提供了關(guān)鍵依據(jù)。
教室上課系統(tǒng)在數(shù)據(jù)收集工作中發(fā)揮了至關(guān)重要的作用。一方面,借助其便利的線上平臺(tái)功能,在每節(jié)課結(jié)束后,即時(shí)向?qū)W生發(fā)放課堂反饋問(wèn)卷。問(wèn)卷內(nèi)容涵蓋對(duì)當(dāng)堂課的課程滿意度、教學(xué)內(nèi)容的理解、教師講課速度等多維度評(píng)價(jià),確保學(xué)生能基于當(dāng)堂課的切身體驗(yàn)提供準(zhǔn)確反饋。另一方面,該系統(tǒng)強(qiáng)大的數(shù)據(jù)導(dǎo)出功能,使研究人員能夠精準(zhǔn)獲取學(xué)生上課的各類信息,包括簽到情況(了解學(xué)生的出勤規(guī)律)、課堂問(wèn)答數(shù)據(jù)(洞察學(xué)生對(duì)知識(shí)的疑惑點(diǎn)),以及課堂討論的詳細(xì)信息,如討論次數(shù)、時(shí)長(zhǎng)和發(fā)言頻次等。這些數(shù)據(jù)全方位展現(xiàn)了學(xué)生在課堂上的參與度和活躍度,為研究學(xué)生的學(xué)習(xí)態(tài)度和行為模式提供了可靠支撐。
通過(guò)這些數(shù)據(jù)收集方式,最終共收集了來(lái)自多名大學(xué)生的相關(guān)學(xué)習(xí)指標(biāo)數(shù)據(jù)。經(jīng)過(guò)整理和處理后,得到了11,286條不同的指標(biāo)數(shù)據(jù)。這些數(shù)據(jù)涵蓋了學(xué)生在課堂學(xué)習(xí)中的表現(xiàn)、測(cè)試成績(jī)、反饋意見(jiàn)等多個(gè)維度,為后續(xù)分析提供了堅(jiān)實(shí)的基礎(chǔ)。數(shù)據(jù)的多樣性和豐富性使得研究人員能夠全面評(píng)估學(xué)生在本學(xué)期內(nèi)的學(xué)習(xí)進(jìn)度和效果,并為后續(xù)的學(xué)習(xí)方法和教學(xué)策略優(yōu)化提供重要參考。
(三)模型再訓(xùn)練和微調(diào)
在本研究中,為了提高大語(yǔ)言模型在大學(xué)生個(gè)體指導(dǎo)中的應(yīng)用效果,模型的訓(xùn)練和微調(diào)是至關(guān)重要的步驟。
為了提高模型在生成學(xué)習(xí)建議時(shí)的針對(duì)性和準(zhǔn)確性,研究人員使用了大量與大學(xué)生學(xué)習(xí)狀態(tài)相關(guān)的文本數(shù)據(jù)集訓(xùn)練模型。數(shù)據(jù)集包括大學(xué)生的學(xué)習(xí)反饋、課堂表現(xiàn)和學(xué)習(xí)成績(jī)等。通過(guò)這種方式,模型可以更好地理解大學(xué)生在學(xué)習(xí)過(guò)程中的表現(xiàn),并生成更符合其需求的指導(dǎo)建議。
使用LoRA方法微調(diào)大模型。微調(diào)過(guò)程的核心在于根據(jù)大學(xué)生群體的特點(diǎn)和需求,調(diào)整模型參數(shù),使其能夠更加準(zhǔn)確地捕捉到教育領(lǐng)域的細(xì)微差異。這一過(guò)程不僅提高了模型的適應(yīng)性,還能有效減少模型生成不相關(guān)或低質(zhì)量學(xué)習(xí)建議的概率。通過(guò)反復(fù)訓(xùn)練和驗(yàn)證,逐步優(yōu)化模型的性能,使模型能夠?yàn)榇罅看髮W(xué)生提供更加具有針對(duì)性的學(xué)習(xí)指導(dǎo)。
(四)學(xué)習(xí)建議生成
學(xué)習(xí)建議生成是大語(yǔ)言模型在大學(xué)生個(gè)體指導(dǎo)中的核心應(yīng)用。在本研究中,通過(guò)反復(fù)訓(xùn)練,模型能夠根據(jù)學(xué)生當(dāng)前的學(xué)習(xí)狀態(tài)、遇到的困難及潛在的學(xué)習(xí)瓶頸,生成個(gè)性化的學(xué)習(xí)建議,幫助學(xué)生提高學(xué)習(xí)效率和解決問(wèn)題。
利用大語(yǔ)言模型進(jìn)行學(xué)生個(gè)體指導(dǎo)的實(shí)際應(yīng)用舉例如下。輸入特征“課程學(xué)習(xí)的相對(duì)滿意度指數(shù)是10”的學(xué)生,模型輸出為“這名學(xué)生對(duì)課程的滿意度低于大部分同學(xué),建議分析不滿點(diǎn),可能是課程內(nèi)容、教學(xué)方式等因素影響了學(xué)習(xí)體驗(yàn)”。輸入特征“隨堂測(cè)試難度指數(shù)是90”的學(xué)生,模型輸出為“這名學(xué)生認(rèn)為隨堂測(cè)試難度較高,可能需要檢視學(xué)習(xí)方法和準(zhǔn)備策略,以便更好應(yīng)對(duì)未來(lái)的考試”。這些建議不僅基于學(xué)生的學(xué)習(xí)成績(jī),還結(jié)合課堂反饋和學(xué)習(xí)表現(xiàn)等多個(gè)因素,力求為學(xué)生提供全方位的學(xué)習(xí)指導(dǎo)。
此外,學(xué)習(xí)建議的生成還涉及自適應(yīng)調(diào)整的機(jī)制。當(dāng)學(xué)生根據(jù)初步建議反饋后,模型會(huì)根據(jù)新的輸入調(diào)整后續(xù)的指導(dǎo)策略,確保建議的持續(xù)優(yōu)化。這種反饋機(jī)制不僅使得學(xué)生的學(xué)習(xí)路徑更加靈活,也使得模型不斷自我優(yōu)化,提升其在多變的學(xué)習(xí)環(huán)境中的應(yīng)用效果。
四、大語(yǔ)言模型應(yīng)用效果與評(píng)估
對(duì)本研究模型的性能進(jìn)行了全面的評(píng)估,采用了多種標(biāo)準(zhǔn)化的自動(dòng)化評(píng)價(jià)指標(biāo),以客觀地衡量模型在文本生成任務(wù)中的表現(xiàn)。
首先,大模型BLEU-4平均得分為95.82,這一指標(biāo)反映了模型在生成文本時(shí),較長(zhǎng)詞組的準(zhǔn)確性和匹配程度。高得分意味著模型生成的文本在詞組層面的準(zhǔn)確性較高,且與參考文本的相似度極為接近,表明模型在保持語(yǔ)言流暢性和語(yǔ)義一致性方面具有較強(qiáng)的能力,能夠較好地復(fù)現(xiàn)訓(xùn)練數(shù)據(jù)中的語(yǔ)言模式。
其次,ROUGE系列指標(biāo)也顯示出模型在文本生成上的良好表現(xiàn)。大模型ROUGE-1平均得分為96.84,該指標(biāo)主要衡量了模型生成的文本與參考文本在單詞級(jí)別的重合度。較高的得分表明模型在內(nèi)容覆蓋方面表現(xiàn)突出。此外,ROUGE-2平均得分為95.52,這一指標(biāo)關(guān)注的是生成文本中雙詞短語(yǔ)的匹配程度,進(jìn)一步反映了模型在短語(yǔ)級(jí)別的生成能力。ROUGE-L平均得分為96.53,它考查了生成文本和參考文本之間的長(zhǎng)序列匹配,尤其是句子級(jí)別的結(jié)構(gòu)匹配。較高的ROUGE-L得分表明,模型能夠在句子結(jié)構(gòu)上較好地保持一致性,生成的文本在邏輯性和流暢性方面都具有較強(qiáng)的可讀性。
最后,通過(guò)對(duì)這些自動(dòng)化評(píng)估指標(biāo)的綜合分析,得出結(jié)論:該模型在文本生成任務(wù)中展現(xiàn)出了卓越的能力,尤其在詞匯覆蓋和句子結(jié)構(gòu)方面具備較強(qiáng)的能力,能夠生成與參考文本高度一致的內(nèi)容。這些結(jié)果表明模型在自動(dòng)化評(píng)估中表現(xiàn)優(yōu)秀,能夠較好地適應(yīng)復(fù)雜的語(yǔ)言生成任務(wù)。
總體而言,本模型在多個(gè)標(biāo)準(zhǔn)評(píng)估指標(biāo)上均表現(xiàn)出色,充分展示了在生成任務(wù)中的高效性和準(zhǔn)確性。未來(lái)的研究可以進(jìn)一步優(yōu)化模型的生成策略,提升模型對(duì)更復(fù)雜上下文的理解和處理能力,從而進(jìn)一步增強(qiáng)生成文本的多樣性和創(chuàng)造性。
五、結(jié)語(yǔ)
本文探討了大語(yǔ)言模型在大學(xué)生個(gè)體指導(dǎo)中的應(yīng)用,包括數(shù)據(jù)集設(shè)計(jì)、準(zhǔn)備、部署、微調(diào)與評(píng)估。實(shí)驗(yàn)表明,微調(diào)后的模型在生成學(xué)習(xí)建議上顯著增強(qiáng),但模型的建議深度受限于訓(xùn)練數(shù)據(jù)的質(zhì)量與多樣性,尤其在復(fù)雜學(xué)習(xí)場(chǎng)景下。盡管微調(diào)提升了模型在特定領(lǐng)域的效果,如何確保模型在不同學(xué)科與學(xué)習(xí)風(fēng)格下提供個(gè)性化指導(dǎo)仍是挑戰(zhàn)。未來(lái)研究應(yīng)優(yōu)化訓(xùn)練數(shù)據(jù),結(jié)合學(xué)習(xí)分析與推薦系統(tǒng),并強(qiáng)化師生互動(dòng)反饋,以提升大語(yǔ)言模型在個(gè)性化學(xué)習(xí)中的應(yīng)用效果。
參考文獻(xiàn)
[1]劉雨航,方淑敏.教育數(shù)字化轉(zhuǎn)型中的注意力治理:機(jī)制、風(fēng)險(xiǎn)及其應(yīng)對(duì)[J].中國(guó)電化教育,2024(12):31-38+47.
[2]黃璐璐,馮婷婷,李淼浩,等.數(shù)字轉(zhuǎn)型背景下的智慧教育:藍(lán)圖擘畫與關(guān)鍵路徑——2024全球智慧教育大會(huì)綜述[J].現(xiàn)代教育技術(shù),2024,34(11):36-46.
[3]劉明,吳忠明,楊簫,等.教育大語(yǔ)言模型的內(nèi)涵、構(gòu)建和挑戰(zhàn)[J].現(xiàn)代遠(yuǎn)程教育研究,2024,36(05):50-60.
[4]繆青海,王興霞,楊靜,等.從基礎(chǔ)智能到通用智能:基于大模型的GenAI和AGI之現(xiàn)狀與展望[J].自動(dòng)化學(xué)報(bào),2024,50(04):674-687.
[5]劉明,郭爍,吳忠明,等.生成式人工智能重塑高等教育形態(tài):內(nèi)容、案例與路徑[J].電化教育研究,2024,45(06):57-65.
基金項(xiàng)目:全國(guó)教育科學(xué)“十四五”規(guī)劃項(xiàng)目2022年度教育部重點(diǎn)課題“ISO+AI驅(qū)動(dòng)的線上教學(xué)質(zhì)量保障與提升體系研究”(項(xiàng)目編號(hào):DCA220448)
作者單位:首都經(jīng)濟(jì)貿(mào)易大學(xué)管理工程學(xué)院
■ 責(zé)任編輯:王穎振 楊惠娟