摘" 要:基于開源大語言模型ChatGLM,構(gòu)建一個(gè)面向教學(xué)和科研的對(duì)話語言模型。首先,介紹了ChatGLM的基本原理和在自然語言處理領(lǐng)域的優(yōu)勢(shì)。其次,探討了如何利用ChatGLM構(gòu)建適用于教學(xué)和科研場(chǎng)景的對(duì)話語言模型,包括模型的部署、模型的微調(diào)、問答系統(tǒng)的構(gòu)建等關(guān)鍵步驟。最后,對(duì)構(gòu)建完成的模型效果進(jìn)行了評(píng)估,并根據(jù)教研行業(yè)的特點(diǎn),對(duì)其在教育和科研場(chǎng)景的應(yīng)用進(jìn)行探索,實(shí)現(xiàn)AI賦能教學(xué)和科研的目標(biāo)。將大語言模型應(yīng)用于教學(xué)科研和學(xué)生管理工作中,為提升教師工作效率和質(zhì)量提供了新的思路和解決方案。
關(guān)鍵詞:ChatGLM;教研對(duì)話;大語言模型;自然語言處理;問答系統(tǒng)
中圖分類號(hào):TP18;TP391" 文獻(xiàn)標(biāo)識(shí)碼:A" 文章編號(hào):2096-4706(2025)04-0162-05
Research on Teaching and Research Dialogue Language Model Based on ChatGLM
ZOU Yanni, HE Xueqi
(Guangdong Polytechnic of Science and Technology, Zhuhai" 519090, China)
Abstract: Based on the open source Large Language Model ChatGLM, a dialogue language model for teaching and research is constructed. Firstly, the basic principles of ChatGLM and its advantages in the field of Natural Language Processing are introduced. Secondly, it discusses how to use ChatGLM to construct a dialogue language model suitable for teaching and research scenarios, including key steps such as model deployment, model fine-tuning, and question answering system construction. Finally, the effect of the constructed model is evaluated, and according to the characteristics of the teaching and research industry, its application in education and scientific research scenarios is explored to achieve the goal of AI enabling teaching and scientific research. The application of Large Language Model in teaching and scientific research and student management work provides new ideas and solutions for improving the efficiency and quality of teachers' work.
Keywords: ChatGLM; teaching and research dialogue; Large Language Model; Natural Language Processing; question answering system
0" 引" 言
隨著人工智能技術(shù)的飛速發(fā)展,自然語言處理(Natural Language Processing, NLP)在很多領(lǐng)域展現(xiàn)出了巨大的潛力和價(jià)值。特別是隨著大語言模型(Large Language Model, LLM)的興起,人工智能領(lǐng)域迎來了飛速發(fā)展,并在醫(yī)療健康、金融服務(wù)等領(lǐng)域得到了廣泛應(yīng)用。教育技術(shù)作為推動(dòng)教育現(xiàn)代化的重要力量,一直在尋求與新興技術(shù)的結(jié)合點(diǎn)。如何將這些技術(shù)有效融入教育工作中,提升教育質(zhì)量和效率,仍是教育領(lǐng)域面臨的重要挑戰(zhàn)。
2023年5月,聯(lián)合國(guó)教科文組織召開全球教育部長(zhǎng)會(huì)議,共同探討人工智能應(yīng)用在當(dāng)下和長(zhǎng)遠(yuǎn)意義上給教育系統(tǒng)帶來的機(jī)遇、挑戰(zhàn)與風(fēng)險(xiǎn)[1]。同年,發(fā)布了《生成式人工智能在教育和科研中的應(yīng)用指南》[2]。2023年5月29日,習(xí)近平總書記也在主持中共中央政治局第五次集體學(xué)習(xí)時(shí)指出:“教育數(shù)字化是我國(guó)開辟教育發(fā)展新賽道和塑造教育發(fā)展新優(yōu)勢(shì)的重要突破口”[3]。隨著人工智能時(shí)代的到來,全國(guó)頂尖高校積極應(yīng)對(duì),紛紛發(fā)布相關(guān)指南,以引領(lǐng)人工智能賦能教育教學(xué)發(fā)展前沿。使用生成式人工智能,可以幫助學(xué)生提高學(xué)習(xí)效率,輔助教師進(jìn)行教學(xué)設(shè)計(jì),提供教學(xué)資源,充當(dāng)教學(xué)助手。盡管生成式人工智能技術(shù)在教育領(lǐng)域的應(yīng)用前景廣闊,但要充分發(fā)揮其潛能,還需要進(jìn)行深入的研究。通用大模型通?;趶V泛的公開文獻(xiàn)和網(wǎng)絡(luò)信息進(jìn)行訓(xùn)練,缺乏專業(yè)知識(shí)和行業(yè)數(shù)據(jù)的積累,因此對(duì)于特定行業(yè)和領(lǐng)域在專業(yè)性、精準(zhǔn)度方面還存在一定的不足[4]。構(gòu)建教研場(chǎng)景的私有化大模型,基于專業(yè)的教學(xué)資源、科研材料,不僅能夠增強(qiáng)數(shù)據(jù)的隱私和安全性還能實(shí)現(xiàn)定制化和靈活性。
1" 教研對(duì)話語言模型的構(gòu)建
1.1" 預(yù)訓(xùn)練模型選擇
2023年,ChatGPT 3.5的問世,在全社會(huì)引起了巨大反響。OpenAI使用人類反饋強(qiáng)化學(xué)習(xí)(Reinforce-ment Learning from Human Feedbac, RLHF)技術(shù)對(duì)ChatGPT進(jìn)行訓(xùn)練,它能夠準(zhǔn)確理解和生成自然語言。國(guó)內(nèi)眾多企業(yè)和科研機(jī)構(gòu)也紛紛推出自主研發(fā)的大模型產(chǎn)品,如百度的文心一言、智譜AI的GLM大模型、中科院的紫東太初大模型、百川智能的百川大模型、科大訊飛的星火大模型等[2]。其中,由智譜AI和清華大學(xué)KEG實(shí)驗(yàn)室聯(lián)合發(fā)布的對(duì)話預(yù)訓(xùn)練模型ChatGLM備受關(guān)注。
ChatGLM是基于Transformer架構(gòu)的對(duì)話生成模型,通過自注意力機(jī)制和位置編碼來捕捉輸入序列中的長(zhǎng)距離依賴關(guān)系,能夠更好地處理長(zhǎng)距離依賴和復(fù)雜語言現(xiàn)象[5-6]。通過對(duì)大規(guī)模文本數(shù)據(jù)進(jìn)行無監(jiān)督學(xué)習(xí),構(gòu)建了一個(gè)生成式預(yù)訓(xùn)練模型。這個(gè)模型能夠生成連貫、有邏輯的文本,從而在對(duì)話中產(chǎn)生自然流暢的回復(fù)。ChatGLM 3是智譜AI和清華大學(xué)KEG實(shí)驗(yàn)室聯(lián)合發(fā)布的第三代對(duì)話預(yù)訓(xùn)練模型。ChatGLM 3-6B是ChatGLM 3系列中的開源模型,不僅對(duì)話流暢,部署門檻低,而且有更強(qiáng)大的基礎(chǔ)模型,更完整的功能支持,以及更全面的開源序列。對(duì)于10B以下模型,它在語義、數(shù)學(xué)、推理、代碼和知識(shí)等不同維度的性能都名列前茅,在中英文數(shù)據(jù)集上的表現(xiàn)也非常突出。最重要的一點(diǎn)是保持6B這種低參數(shù)量,讓我們可以在消費(fèi)級(jí)的顯卡上部署大語言模型[7]。因此,選擇ChatGLM 3-6B作為本次研究的基礎(chǔ)模型,探索其在教研領(lǐng)域的應(yīng)用價(jià)值。
1.2" 模型部署與微調(diào)
模型部署指在服務(wù)器上部署私有化模型,這種部署方式能夠完全控制其數(shù)據(jù),保證隱私及數(shù)據(jù)安全。在進(jìn)行部署之前,首先要確認(rèn)硬件環(huán)境,需要一臺(tái)或多臺(tái)高性能的個(gè)人計(jì)算機(jī)或服務(wù)器。對(duì)應(yīng)ChatGLM 3-6B模型的硬件配置說明,在選擇GPU時(shí),若量化等級(jí)為單精度,微調(diào)時(shí)GPU顯存占用需22 GB,量化等級(jí)為半精度,微調(diào)時(shí)GPU顯存占用需14 GB。若硬件顯存不夠,也可以開啟量化,量化等級(jí)為INT8,微調(diào)時(shí)GPU顯存占用需9 GB,量化等級(jí)為INT4,微調(diào)時(shí)GPU顯存占用需7 GB。同時(shí)要保證硬件和驅(qū)動(dòng)的支持,包括CUDA、PyTorch等,特別要注意CUDA和PyTorch版本的兼容性。在模型部署階段,首先要下載ChatGLM3的代碼倉庫,并進(jìn)入倉庫目錄安裝相關(guān)依賴。然后下載ChatGLM 3-6B模型的全部文件,ChatGLM 3-6B提供了兩種WebUI,分別是Gradio和Streamlit,修改變量路徑為下載模型的路徑即可啟動(dòng)服務(wù),服務(wù)啟動(dòng)后在瀏覽器中即可訪問該服務(wù)。
微調(diào)是指將預(yù)訓(xùn)練模型在特定數(shù)據(jù)集上進(jìn)一步訓(xùn)練的過程,使得模型能夠更好地適應(yīng)特定任務(wù)[8]。為了提升模型的生成效率和適應(yīng)性,讓其在教學(xué)科研場(chǎng)景中發(fā)揮更大的價(jià)值,需要收集教研語料,對(duì)模型進(jìn)行微調(diào)。微調(diào)是一個(gè)有監(jiān)督學(xué)習(xí)的過程,從微調(diào)的參數(shù)規(guī)模來說,常用的微調(diào)方法包括全量微調(diào)(Full Fine Tuning, FFT)和參數(shù)高效微調(diào)(Parameter-Efficient Fine Tuning, PEFT)等[9]。大語言模型的微調(diào)是一項(xiàng)計(jì)算密集型的任務(wù),全量微調(diào)利用特定任務(wù)數(shù)據(jù)調(diào)整預(yù)訓(xùn)練模型的所有參數(shù),以充分適應(yīng)新任務(wù)。它依賴大規(guī)模計(jì)算資源,微調(diào)過程中,內(nèi)存不僅要存儲(chǔ)模型,還要存儲(chǔ)訓(xùn)練過程中必要的參數(shù),其計(jì)算資源可能會(huì)存在挑戰(zhàn),簡(jiǎn)單的硬件無法處理這種挑戰(zhàn)。而參數(shù)高效微調(diào)主要通過最小化微調(diào)參數(shù)數(shù)量和計(jì)算復(fù)雜度,實(shí)現(xiàn)高效的遷移學(xué)習(xí)。它只更新模型中的部分參數(shù),顯著降低訓(xùn)練時(shí)間和成本,適用于計(jì)算資源有限的情況,本研究選用高效參數(shù)微調(diào),常用的參數(shù)高效微調(diào)技術(shù)有BitFit、Prefix Tuning、Prompt Tuning、P-Tuning、Adapter Tuning、LoRA(Low-Rank Adaptation of Large Language Models)等。
本研究使用LoRA微調(diào),對(duì)大型模型的權(quán)重矩陣進(jìn)行隱式的低秩轉(zhuǎn)換,提高權(quán)重的更新效率。在原始的預(yù)訓(xùn)練模型旁邊增加一個(gè)旁路做一個(gè)降維再升維的操作,該技術(shù)核心在于將模型的關(guān)鍵權(quán)重矩陣W重新參數(shù)化為一個(gè)基礎(chǔ)矩陣W0(代表原始模型的權(quán)重)與兩個(gè)低秩矩陣A和B的乘積之和的形式即:
這里,A和B作為待學(xué)習(xí)的低秩矩陣,在訓(xùn)練過程中被優(yōu)化以捕獲特定任務(wù)或數(shù)據(jù)集上所需的局部適應(yīng)性變化。通過精心設(shè)計(jì)的低秩分解,LoRA能夠在不顯著改變模型全局架構(gòu)與性能的前提下,僅通過調(diào)整這些低秩矩陣,實(shí)現(xiàn)對(duì)模型輸出的精細(xì)微調(diào)。這種方法不僅大幅減少了需要學(xué)習(xí)的參數(shù)數(shù)量,降低了計(jì)算復(fù)雜度與內(nèi)存需求,還顯著加速了訓(xùn)練過程。
在本研究中,首先準(zhǔn)備微調(diào)數(shù)據(jù)集,收集教研領(lǐng)域的專業(yè)數(shù)據(jù)將其轉(zhuǎn)化為微調(diào)的指令提示數(shù)據(jù)集,配置訓(xùn)練參數(shù)如模型路徑、數(shù)據(jù)集、學(xué)習(xí)率、訓(xùn)練輪數(shù)、最大梯度范數(shù)、截?cái)嚅L(zhǎng)度、輸出目錄等,啟動(dòng)模型的訓(xùn)練過程,訓(xùn)練完成后,就可以使用訓(xùn)練好的模型進(jìn)行推理,模型微調(diào)訓(xùn)練loss值分析如圖1所示。
1.3" 基于Lang Chain的檢索增強(qiáng)生成RAG問答系統(tǒng)
Lang Chain是一個(gè)強(qiáng)大的自然語言處理框架,它允許開發(fā)人員將大型語言模型與外部的數(shù)據(jù)源結(jié)合起來,比如數(shù)據(jù)庫、PDF文件或其他文檔等,它具備強(qiáng)大的文本生成能力和語義理解能力,可以為用戶提供高質(zhì)量的對(duì)話體驗(yàn),簡(jiǎn)化了大語言模型的應(yīng)用開發(fā)過程。使用RAG的目的是增強(qiáng)大模型,解決大語言模型知識(shí)更新困難的問題。不僅可以減少大模型在回答問題時(shí)的幻覺問題,還能讓大模型的回答基于或參考知識(shí)庫的相關(guān)資料。為了更好地輔助教師和學(xué)生,在教學(xué)、科研、學(xué)生管理等方面助力教師提效提質(zhì),在課程學(xué)習(xí)和答疑等方面為學(xué)生提供智能化的服務(wù)和支持,幫助學(xué)生更高效地學(xué)習(xí)、提高成績(jī),使用Lang Chain框架構(gòu)建RAG問答系統(tǒng),其工作流程如圖2所示。
1.3.1" 構(gòu)建知識(shí)庫
知識(shí)庫是RAG的核心基礎(chǔ),主要將本地?cái)?shù)據(jù)轉(zhuǎn)換為向量,建立索引并進(jìn)行存儲(chǔ)的詳細(xì)過程如下:
1)數(shù)據(jù)提取,數(shù)據(jù)可以來自結(jié)構(gòu)化的數(shù)據(jù)庫,如MySQL,也可以是非結(jié)構(gòu)化的文檔體系,如PDF、Word等各類文件,甚至是兩者兼具的綜合形式。本系統(tǒng)根據(jù)需要?jiǎng)?chuàng)建課程知識(shí)庫、科研知識(shí)庫、工作助手知識(shí)庫、校園百科知識(shí)庫等,并收集對(duì)應(yīng)的課程資料、科研材料、管理文件、校園百科信息等非結(jié)構(gòu)化的文檔構(gòu)成知識(shí)庫。Lang Chain架構(gòu)將文檔數(shù)據(jù)通過非結(jié)構(gòu)化加載的方式轉(zhuǎn)換為文本格式,提取知識(shí)內(nèi)容。
2)文本分割,利用分詞器將文本轉(zhuǎn)換為文本塊。這個(gè)過程能夠保證所有文本內(nèi)容能夠適應(yīng)嵌入模型所限定的輸入尺寸,同時(shí)也能夠提升檢索效率。
3)向量化,M3E(Multi-task Multi-view Multi-granularity Embedding)是一個(gè)多任務(wù)、多視角、多粒度的嵌入模型,通過該模型即可實(shí)現(xiàn)文本向量化。在Lang Chain框架中,利用該嵌入模型將文本塊轉(zhuǎn)換為文本向量。
4)向量數(shù)據(jù)入庫,將文本向量存儲(chǔ)到向量數(shù)據(jù)庫中。
1.3.2" 問題檢索
用戶查詢時(shí),系統(tǒng)首先將問題文本輸入到嵌入模型中進(jìn)行向量化處理。隨后進(jìn)行向量相似性檢索,在向量數(shù)據(jù)庫中搜索與該問題向量語義上相似的知識(shí)文本。
1.3.3" 答案生成
在Lang Chain框架中,需要指定要加載的大語言模型,此時(shí),我們可以通過model_path參數(shù)指定要加載的模型為微調(diào)后的ChatGLM 3-6B。在答案生成階段,將問題檢索階段得到的知識(shí)文本輸入到指定的大語言模型中,通過大語言模型的處理得到問題相應(yīng)的答案。以Python程序設(shè)計(jì)課程為例,創(chuàng)建課程知識(shí)庫,根據(jù)知識(shí)庫進(jìn)行問答的效果如圖3所示。
2" 模型評(píng)估
為了進(jìn)一步驗(yàn)證本文提出的教研對(duì)話語言模型的可行性,對(duì)模型的效果進(jìn)行評(píng)估。從回答效果展示和性能兩個(gè)方面進(jìn)行評(píng)估。
2.1" 回答效果展示
實(shí)驗(yàn)使用原ChatGLM 3-6B和本研究的模型進(jìn)行比較,如下所述:
1)ChatGLM 3-6B表示不使用RAG,直接將問題輸入到原ChatGLM 3-6B模型生成答案,沒有在知識(shí)庫的相關(guān)文檔中進(jìn)行檢索。
2)本模型表示微調(diào)后的模型,使用RAG,結(jié)合知識(shí)庫生成答案。
以Python程序設(shè)計(jì)課程知識(shí)庫和工作助手知識(shí)庫為例,分別收集Python程序設(shè)計(jì)課程相關(guān)數(shù)據(jù)和學(xué)校管理文件相關(guān)數(shù)據(jù)構(gòu)成測(cè)試集進(jìn)行實(shí)驗(yàn),模型回答效果示例如下:
問題1:
file=open(r'D:\python.txt','r')
file.read(20)
file.read(10)
file.read()
這段代碼中,為什么read()函數(shù)可以連續(xù)讀取文件中的內(nèi)容呢?
ChatGLM 3-6B:這段代碼中的read()函數(shù)并沒有實(shí)現(xiàn)連續(xù)讀取文件中的內(nèi)容。實(shí)際上,read()函數(shù)一次讀取一行內(nèi)容,直到文件結(jié)束。在這個(gè)例子中,read()函數(shù)被調(diào)用了三次,分別讀取了20行、10行和所有行。當(dāng)你嘗試使用read()函數(shù)連續(xù)讀取文件內(nèi)容時(shí),你將得到一個(gè)EOFError錯(cuò)誤,因?yàn)槲募呀?jīng)讀取完畢。要連續(xù)讀取文件內(nèi)容,你可以使用readline()函數(shù)或循環(huán)讀取文件,如while循環(huán)。
本模型:這是因?yàn)槲募?duì)象有一個(gè)指針(游標(biāo)),它指向了文件的某個(gè)位置。當(dāng)使用open()函數(shù)打開文件時(shí),文件指針的起始位置為0,表示位于文件的開頭處(指向第1個(gè)字符)。在上述代碼中,file.read(20)讀取20個(gè)字符后,指針的位置變?yōu)?0(即指向第21個(gè)字符);file.read(10)則繼續(xù)讀取10個(gè)字符,指針的位置變?yōu)闉?0(即指向第31個(gè)字符);file.read()讀取剩余的所有字符。要獲取文件指針當(dāng)前位置,可以通過file.tell()方法獲得。
問題2:參加期末考試,考試開始多久后才能交卷?
ChatGLM 3-6B:對(duì)于期末考試,具體的交卷時(shí)間安排因?qū)W校和老師而異。通常情況下,考試開始后的1-2小時(shí)內(nèi),您可以開始作答。考試時(shí)間結(jié)束后,您可以在老師允許的時(shí)間內(nèi)交卷。請(qǐng)務(wù)必看您的課程表或向您的老師咨詢,以獲取詳細(xì)信息。
本模型:參加期末考試,考試開始30分鐘后方允許交卷。
問題3:曠課12學(xué)時(shí)會(huì)被處分嗎?
ChatGLM 3-6B:曠課12學(xué)時(shí)是否會(huì)被處分,需要看具體的學(xué)校規(guī)定和曠課原因。通常情況下,曠課數(shù)量較多時(shí),學(xué)??赡軙?huì)采取警告、紀(jì)律處分等措施。但每個(gè)學(xué)校的規(guī)定和處理方式可能不同,因此最好還是咨詢學(xué)校相關(guān)部門了解具體的情況。同時(shí),建議學(xué)生遵守學(xué)校紀(jì)律,珍惜學(xué)習(xí)機(jī)會(huì)。
本模型:曠課12學(xué)時(shí)根據(jù)情節(jié)輕重及認(rèn)識(shí)態(tài)度,應(yīng)該給予警告以上處分。
從回答效果來看,在進(jìn)行課程知識(shí)問答時(shí),由于模型幻覺,ChatGLM 3-6B模型會(huì)生成一些不準(zhǔn)確或超出學(xué)生認(rèn)知范圍的答案,而本研究的模型,通過在知識(shí)庫中進(jìn)行檢索,能夠生成更具有引導(dǎo)意義和符合學(xué)生認(rèn)知范圍的答案,同時(shí)可以檢索相對(duì)應(yīng)的教學(xué)資料讓學(xué)生學(xué)習(xí)。在學(xué)生管理制度問答中,這個(gè)現(xiàn)象更為明顯,由于缺乏內(nèi)部資料,很多問題原ChatGLM 3-6B模型沒辦法提供準(zhǔn)確的答案,而本研究的模型,能夠從內(nèi)部知識(shí)庫中檢索到準(zhǔn)確的答案。
2.2" 性能評(píng)估
選擇準(zhǔn)確率來衡量生成答案的精準(zhǔn)程度[10],準(zhǔn)確率使用包容性匹配的方法進(jìn)行計(jì)算,包含正確答案就認(rèn)為回答是正確的,準(zhǔn)確率計(jì)算式為:
其中,tt為正確回答的數(shù)量,nums為要測(cè)評(píng)的實(shí)例數(shù)量,實(shí)驗(yàn)對(duì)比結(jié)果如表1所示。
從表1可以看出,在進(jìn)行課程知識(shí)問答時(shí),使用檢索增強(qiáng)生成技術(shù)生成的答案比原模型會(huì)更準(zhǔn)確,在學(xué)生管理制度問答中,本研究的模型準(zhǔn)確度要明顯高于原ChatGLM 3-6B模型。
3" 應(yīng)用場(chǎng)景探索
針對(duì)教學(xué)科研的需要,本模型聚焦多個(gè)應(yīng)用場(chǎng)景,解放人力資源,提高教師的工作效率,給學(xué)生提供更加準(zhǔn)確和具有引導(dǎo)意義的答案。助力教師教學(xué)科研,協(xié)助學(xué)生高效地完成課程學(xué)習(xí),其應(yīng)用方案設(shè)計(jì)圖如圖4所示。
教學(xué)助手:根據(jù)課程資源,構(gòu)建課程知識(shí)庫。協(xié)助教師快速完成授課材料及課程習(xí)題的準(zhǔn)備和梳理等,減輕教師的壓力,將教師從繁雜的課前備課和課后答疑的工作中解放出來,讓教師有更多時(shí)間去關(guān)注教學(xué)設(shè)計(jì)、教學(xué)評(píng)估等更高級(jí)別的教學(xué)任務(wù)。
科研助手:根據(jù)中英文科研文獻(xiàn)資料,構(gòu)建科研知識(shí)庫。通過知識(shí)庫問答,科研人員可以快速獲得文獻(xiàn)的關(guān)鍵信息,減輕教師的科研負(fù)擔(dān),提高科研工作的效率。
工作助手:實(shí)時(shí)上傳學(xué)校最新制度、政策法規(guī)、辦事指南,招生就業(yè)信息等文件構(gòu)建工作助手知識(shí)庫。問答內(nèi)容可以定位到制度原文,讓教師更方便地了解和遵循學(xué)校的規(guī)章制度,提高學(xué)生管理能力和水平。
學(xué)習(xí)助手:幫助學(xué)生理解復(fù)雜問題,通過自然語言處理技術(shù),解釋和闡述復(fù)雜概念,幫助學(xué)生更好地掌握知識(shí),提升學(xué)習(xí)興趣與效率。針對(duì)學(xué)生提出的問題,還可以通過知識(shí)庫問答,自動(dòng)匹配該問題的課程資源,解答學(xué)生的疑問,提高學(xué)習(xí)效率和質(zhì)量。
校園百科:根據(jù)學(xué)校簡(jiǎn)介、學(xué)校章程、?;招S?xùn)、辦學(xué)歷史、學(xué)校風(fēng)貌、地理位置等學(xué)校百科信息數(shù)據(jù),構(gòu)建校園百科知識(shí)庫,滿足學(xué)生需求,特別是幫助新生更快了解學(xué)校,熟悉校園環(huán)境。
4" 結(jié)" 論
本研究對(duì)大模型技術(shù)應(yīng)用于教學(xué)科研領(lǐng)域進(jìn)行了深入探討研究,部署開源大模型ChatGLM 3-6B,對(duì)其進(jìn)行微調(diào),并探索其與Lang Chain結(jié)合實(shí)現(xiàn)問答系統(tǒng)的構(gòu)建。通過對(duì)實(shí)際應(yīng)用場(chǎng)景的探索,該模型能夠有效提升教師工作效率,解答學(xué)生學(xué)習(xí)生活的疑問。但是該模型還有很大提升空間,受模型參數(shù)、教研語料、知識(shí)庫質(zhì)量的限制,該模型還有不斷進(jìn)行優(yōu)化和提升的空間,以更好適應(yīng)教學(xué)科研應(yīng)用場(chǎng)景。
參考文獻(xiàn):
[1] 崔爽.AIGC時(shí)代大學(xué)教育的變與不變 [N].科技日?qǐng)?bào),2023-08-09(5).
[2] 林敏,吳雨宸,宋萑.人工智能時(shí)代教師教育轉(zhuǎn)型:理論立場(chǎng)、轉(zhuǎn)型方式和潛在挑戰(zhàn)[J].開放教育研究,2024,30(4):28-36.
[3] 劉月涵,霍浩彬,金燦國(guó).構(gòu)建企業(yè)級(jí)私有化大語言模型助手基于ChatGLM3與RPA技術(shù)的實(shí)踐與探索 [J].建筑設(shè)計(jì)管理,2023,40(12):33-40.
[4] 楊興睿,馬斌,李森垚,等.基于大語言模型的教育文本冪等摘要方法 [J].計(jì)算機(jī)工程,2024,50(7):32-41.
[5] 金立,王丹.歸納與人工智能的雙向驅(qū)動(dòng)——基于對(duì)ChatGPT的考察 [J].福建論壇:人文社會(huì)科學(xué)版,2023(7):64-75.
[6] 賴鄹,吳巍,楊晨,等.ChatGPT的發(fā)展現(xiàn)狀、風(fēng)險(xiǎn)及應(yīng)對(duì) [J].中國(guó)信息安全,2023(7):86-89.
[7] 尹嫻,馮艷紅,葉仕根.基于ChatGLM的水生動(dòng)物疾病診斷智能對(duì)話系統(tǒng)的優(yōu)化研究[J].現(xiàn)代電子技術(shù),2024,47(14):177-181.
[8] 官璐,何康,斗維紅.微調(diào)大模型:個(gè)性化人機(jī)信息交互模式分析 [J].新聞界,2023(11):44-51+76.
[9] 程樂超.視覺大模型參數(shù)高效微調(diào)技術(shù)應(yīng)用與展望 [J].人工智能,2024(1):54-65.
[10] 胡志強(qiáng),李朋駿,王金龍,等.基于ChatGPT增強(qiáng)和監(jiān)督對(duì)比學(xué)習(xí)的政策工具歸類研究 [J].計(jì)算機(jī)工程與應(yīng)用,2024,60(7):292-305.
作者簡(jiǎn)介:鄒燕妮(1994—),女,漢族,湖南衡陽人,講師,碩士,研究方向:大數(shù)據(jù)技術(shù)、信息處理;何雪琪(1995—),女,錫伯族,貴州遵義人,講師,碩士,研究方向:智能信息處理、機(jī)器學(xué)習(xí)。
收稿日期:2024-08-29
基金項(xiàng)目:2023年廣東省普通高校青年創(chuàng)新人才類項(xiàng)目(2023KQNCX183);2022年廣東省教育廳特色創(chuàng)新項(xiàng)目(2022KTSCX253)