• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    面向大語(yǔ)言模型的青少年人工智能教育

    2024-06-27 00:00:00褚樂(lè)陽(yáng)王浩陳向東
    中國(guó)電化教育 2024年4期
    關(guān)鍵詞:人工智能語(yǔ)言模型

    摘要: 大語(yǔ)言模型(LLM)作為一種先進(jìn)的AI技術(shù),正對(duì)人類生活產(chǎn)生深遠(yuǎn)影響。與傳統(tǒng)AI技術(shù)相比,LLM能夠處理大量的文本數(shù)據(jù),并在自然語(yǔ)言處理等領(lǐng)域發(fā)揮著巨大作用。LLM的快速發(fā)展與應(yīng)用推進(jìn)已經(jīng)對(duì)AI教育的課程內(nèi)容、教學(xué)模式與學(xué)習(xí)平臺(tái)產(chǎn)生了顯著的影響,這些影響也迫切要求青少年AI教育課程與時(shí)俱進(jìn)的變革。為應(yīng)對(duì)這種變革,該研究從課程內(nèi)容框架、基于LLM的教學(xué)模式以及LLM輔助學(xué)習(xí)平臺(tái)三個(gè)維度設(shè)計(jì)了一個(gè)面向LLM的青少年AI課程架構(gòu),并以教學(xué)活動(dòng)設(shè)計(jì)為切入點(diǎn),深入探討了如何使該課程架構(gòu)與學(xué)科核心素養(yǎng)緊密契合?;诖思軜?gòu),設(shè)計(jì)并開(kāi)發(fā)了一門高中LLM示范課程,重點(diǎn)展示了如何利用自主開(kāi)發(fā)平臺(tái)(LLM 4 Kids)進(jìn)行人機(jī)協(xié)同教學(xué)。選取了示范課程中《面向LLM的提示與評(píng)估》的單元內(nèi)容,解釋了如何在教學(xué)過(guò)程中有效的應(yīng)用和整合LLM技術(shù)。通過(guò)提供面向LLM的青少年AI課程架構(gòu)以及解釋案例,為AI教育實(shí)踐者提供面向LLM的框架體系與課程參考,推動(dòng)最新的人工智能前沿知識(shí)進(jìn)入中小學(xué)課堂,從而有助于青少年適應(yīng)AI快速發(fā)展的時(shí)代。

    關(guān)鍵詞:大語(yǔ)言模型;人工智能課程;人機(jī)協(xié)同;LLM 4 Kids

    中圖分類號(hào):G434 文獻(xiàn)標(biāo)識(shí)碼:A

    本文系全國(guó)教育科學(xué)規(guī)劃一般課題“基于大語(yǔ)言模型的青少年人工智能教育研究”(課題編號(hào):BCA230276)階段性研究成果。

    一、引言

    近幾個(gè)月來(lái),大語(yǔ)言模型(Large Language Model,LLM)因其生成文本的流利度、連貫性和近似于人類,在社會(huì)上引發(fā)了一場(chǎng)新技術(shù)浪潮,其影響力開(kāi)始在教育、醫(yī)療、媒體、科學(xué)等領(lǐng)域逐漸顯現(xiàn)。這些領(lǐng)先的大語(yǔ)言模型是基于Transformer架構(gòu)的自我監(jiān)督學(xué)習(xí)模型。通過(guò)利用龐大的文本數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練,以及借助人類反饋的強(qiáng)化學(xué)習(xí)(Reinforce Learning Through Human Feedback)等微調(diào)方式進(jìn)一步優(yōu)化性能,這些模型在各種語(yǔ)言和知識(shí)處理任務(wù)中顯示出了強(qiáng)大的能力[1]。由于能夠捕獲豐富的語(yǔ)義和文本模式,并且在語(yǔ)言生成、信息檢索、機(jī)器翻譯、自然語(yǔ)言理解和其他任務(wù)中表現(xiàn)卓越,ChatGPT等新型應(yīng)用迅速成為公共領(lǐng)域關(guān)注的熱點(diǎn)。值得注意的是,大語(yǔ)言模型正在改變?nèi)斯ぶ悄艿募夹g(shù)范式,特別是在處理文本數(shù)據(jù)領(lǐng)域:一方面,通過(guò)自我監(jiān)督學(xué)習(xí),模型能夠從大量文本數(shù)據(jù)中學(xué)習(xí),無(wú)需顯式標(biāo)注或人工干預(yù)[2];另一方面,這些模型通過(guò)生成自然語(yǔ)言文本與用戶交互,更像是人類的對(duì)話伙伴[3]。這些變化為L(zhǎng)LM在更多場(chǎng)景中的應(yīng)用鋪平了道路。

    隨著GPT-4、PaLM2、LLaMA等大語(yǔ)言模型的不斷涌現(xiàn)和應(yīng)用推進(jìn),中小學(xué)人工智能教育也面臨著新的挑戰(zhàn)和機(jī)遇。首先,傳統(tǒng)的AI教育往往更側(cè)重于程序設(shè)計(jì)、邏輯推理和面向特定任務(wù)的模型訓(xùn)練[4],較少涉及以自然語(yǔ)言的方式與AI模型交互;或利用AI模型來(lái)獲取和理解信息。在當(dāng)前LLM盛行的背景下,如何理解這些模型的工作原理,如何與它們有效地交互,以及如何負(fù)責(zé)任地利用它們的能力來(lái)解決實(shí)際問(wèn)題,這需要幫助學(xué)生學(xué)習(xí)新的技能,適應(yīng)和利用模型的自我學(xué)習(xí)和自我改進(jìn)的能力。其次,LLM的出現(xiàn)已經(jīng)帶來(lái)了一系列新的風(fēng)險(xiǎn)和挑戰(zhàn),模型可能生成錯(cuò)誤的或有害的信息,模型的使用也已經(jīng)帶來(lái)了嚴(yán)重的隱私侵犯和數(shù)據(jù)安全的問(wèn)題等等[5]。對(duì)于這些風(fēng)險(xiǎn)的識(shí)別和管理,以及如何安全、負(fù)責(zé)任地使用這些模型顯得更為重要。第三,LLM的發(fā)展也拓展出了許多新的人機(jī)協(xié)同學(xué)習(xí)方式。像CodeX/ Copilot這些基于LLM的編程輔助插件可以直接在AI編程學(xué)習(xí)中應(yīng)用,為學(xué)生提供即時(shí)的代碼建議,幫助學(xué)生理解復(fù)雜的代碼結(jié)構(gòu)和算法[6]。學(xué)生可以通過(guò)與模型的互動(dòng)來(lái)提升他們的編程技能;同時(shí),教師可以利用這些模型的反饋來(lái)了解學(xué)生的學(xué)習(xí)進(jìn)度和難點(diǎn),從而提供更有針對(duì)性的指導(dǎo)和幫助。

    為響應(yīng)LLM的快速發(fā)展,人工智能課程的學(xué)習(xí)內(nèi)容、教學(xué)方式和學(xué)習(xí)工具都亟需變革。值得一提的是,各個(gè)國(guó)家都在推進(jìn)面向大模型的中小學(xué)AI課程的研究。例如,美國(guó)國(guó)家科學(xué)基金會(huì)(NSF)在5月8日發(fā)布了一項(xiàng)急迫的研究倡議,邀請(qǐng)研究界抓緊時(shí)間對(duì)AI在正式和非正式K-12教育環(huán)境中的使用和教學(xué)進(jìn)行研究,以響應(yīng)LLM前所未有的進(jìn)步速度,其中尤為強(qiáng)調(diào)重新厘清K-12階段學(xué)生需掌握的必要的知識(shí)結(jié)構(gòu)以及利用大語(yǔ)言模型進(jìn)行AI相關(guān)的教學(xué)[7]。新加坡的AI Singapore Goes to School計(jì)劃己經(jīng)開(kāi)設(shè)相關(guān)課程,向?qū)W生介紹AI及其應(yīng)用的基礎(chǔ)知識(shí),包括人工智能與機(jī)器學(xué)習(xí)簡(jiǎn)介、人工智能倫理基礎(chǔ)以及如何使用ChatGPT[8]。

    我國(guó)歷來(lái)重視基礎(chǔ)教育階段AI的普及,無(wú)論是2017年版2020年修訂的《普通高中信息技術(shù)課程標(biāo)準(zhǔn)》還是2022年版的《義務(wù)教育信息科技課程標(biāo)準(zhǔn)》,人工智能均占據(jù)重要的位置。需要說(shuō)明的是,此前我國(guó)大部分AI課程相關(guān)的研究側(cè)重于探索學(xué)生學(xué)科核心素養(yǎng)如何在傳統(tǒng)的AI知識(shí)體系中落地。然而,正如上文所述,大語(yǔ)言模型已經(jīng)為AI教育帶來(lái)了新的知識(shí)內(nèi)容、教學(xué)模式與平臺(tái)工具。盡管目前大語(yǔ)言模型對(duì)青少年人工智能教育影響的研究尚不多見(jiàn),但這些新的特征已經(jīng)在公眾領(lǐng)域得到了較為深入地探索。在這樣的背景下,為使青少年快速適應(yīng)LLM帶來(lái)的變化,我國(guó)的人工智能教育課程建設(shè)也需要與時(shí)俱進(jìn)[9][10]。

    綜上所述,本文旨在系統(tǒng)梳理與分析大語(yǔ)言模型對(duì)AI教育的影響,從課程內(nèi)容框架、基于LLM的教學(xué)與LLM輔助學(xué)習(xí)平臺(tái)三個(gè)維度設(shè)計(jì)面向LLM的青少年人工智能課程架構(gòu),并從教學(xué)活動(dòng)設(shè)計(jì)的角度探討與學(xué)科核心素養(yǎng)的契合方式。在此基礎(chǔ)上,以一個(gè)高中示范課程的解釋案例說(shuō)明如何利用該課程架構(gòu)設(shè)計(jì)LLM課程并開(kāi)展教學(xué)實(shí)踐。通過(guò)深入探索大語(yǔ)言模型的發(fā)展對(duì)人工智能教育的現(xiàn)實(shí)影響,本研究將為新一代青少年AI課程提供框架體系與示范課程。

    二、文獻(xiàn)綜述

    (一)面向大語(yǔ)言模型的AI通識(shí)教育現(xiàn)狀

    大語(yǔ)言模型已經(jīng)成為了一個(gè)不可忽視的趨勢(shì),由于和傳統(tǒng)人工智能的差異性,更新公眾領(lǐng)域的AI通識(shí)教育顯得尤為重要。一些社會(huì)機(jī)構(gòu)和MOOC平臺(tái)的反應(yīng)迅速,紛紛推出面向公眾的通識(shí)課程。EDX發(fā)布了有關(guān)ChatGPT的官方系列課程,這些課程涵蓋了對(duì)ChatGPT的簡(jiǎn)介、提示工程與進(jìn)階使用方法、ChatGPT在教育、商業(yè)、醫(yī)療等業(yè)務(wù)領(lǐng)域中的專門用途以及對(duì)跨業(yè)務(wù)場(chǎng)景中數(shù)據(jù)、編碼、技術(shù)維度的用例分析等等[11]。除此之外,EDX還開(kāi)設(shè)了《大語(yǔ)言模型》專業(yè)證書(shū)認(rèn)證項(xiàng)目,聚焦于如何使用流行的LLM技術(shù)框架解決實(shí)際問(wèn)題。Coursera平臺(tái)也納入了多個(gè)關(guān)于ChatGPT的課程[12],如范德堡大學(xué)提供的《ChatGPT的提示工程》,該課程主要介紹運(yùn)用提示工程有效地使用ChatGPT等LLM應(yīng)用;利用提示模板開(kāi)發(fā)利用LLM內(nèi)強(qiáng)大的功能;為個(gè)人管理、業(yè)務(wù)場(chǎng)景等創(chuàng)建基于復(fù)雜提示的應(yīng)用程序。密歇根大學(xué)在該平臺(tái)上開(kāi)設(shè)了免費(fèi)公開(kāi)課《ChatGPT教學(xué)》,圍繞ChatGPT的原理,ChatGPT的優(yōu)點(diǎn)和局限,以及使用ChatGPT帶來(lái)的社會(huì)影響與倫理議題等方面展開(kāi)教學(xué)。此外,Coursera還包括平臺(tái)自建的課程項(xiàng)目如《使用AI進(jìn)行市場(chǎng)研究》《用Dall-e寫科幻小說(shuō)》《使用ChatGPT進(jìn)行機(jī)器學(xué)習(xí):圖像分類模型》《使用GPT-2生成新方法》等課程。DeepLearning.ai創(chuàng)始人吳恩達(dá)在其平臺(tái)上開(kāi)放了4門面向LLM的短期課程[13],由淺入深地指導(dǎo)學(xué)習(xí)者掌握包括面向ChatGPT的提示工程,利用如GPT系列模型的應(yīng)用程序接口(Application Programming Interface,API)構(gòu)建系統(tǒng),結(jié)合名為L(zhǎng)angChain的LLM開(kāi)發(fā)框架實(shí)現(xiàn)更為豐富功能的LLM應(yīng)用,以及快速微調(diào)定制化的大語(yǔ)言模型等課程;值得注意的是,學(xué)習(xí)者也可以利用學(xué)習(xí)平臺(tái)內(nèi)置的編程模塊體驗(yàn)不同的開(kāi)發(fā)項(xiàng)目。

    與此對(duì)應(yīng)的是,從2023年春季開(kāi)始,普林斯頓大學(xué)、斯坦福大學(xué)和卡耐基-梅隆大學(xué)以及蘇黎世聯(lián)邦理工學(xué)院等著名大學(xué),在其正式課程中已經(jīng)開(kāi)始實(shí)施與LLM相關(guān)的通識(shí)課程。這些課程面向LLM的基礎(chǔ)知識(shí),強(qiáng)調(diào)LLM的原理、應(yīng)用與實(shí)踐。從基礎(chǔ)知識(shí)角度,普林斯頓大學(xué)的COS-597G課程[14]中涵蓋了對(duì)BERT、GPT-3等代表性LLM的深度回顧,斯坦福大學(xué)CS224n課程[15]延續(xù)從傳統(tǒng)自然語(yǔ)言處理的發(fā)展脈絡(luò),并結(jié)合語(yǔ)言學(xué)的視角新增了LLM的課程知識(shí)模塊等等。從應(yīng)用的角度,這些課程都涵蓋了LLM的提示工程、LLM的應(yīng)用擴(kuò)展和潛在風(fēng)險(xiǎn),基于檢索的語(yǔ)言模型,多模態(tài)語(yǔ)言模型等。除此之外,許多課程探討使用LLM進(jìn)行創(chuàng)新和解決實(shí)際問(wèn)題。例如,卡耐基-梅隆大學(xué)在專門設(shè)置LLM課程之余,也發(fā)起了一項(xiàng)生成式人工智能創(chuàng)新孵化器的項(xiàng)目[16],旨在通過(guò)免費(fèi)的教程、講座、小組討論和黑客馬拉松等活動(dòng)鼓勵(lì)多領(lǐng)域?qū)W習(xí)者利用LLM進(jìn)行社會(huì)創(chuàng)新。當(dāng)然,也有的課程更注重內(nèi)容的系統(tǒng)性。例如,蘇黎世聯(lián)邦理工學(xué)院的LLM-s23課程[17]涵蓋了從概率基礎(chǔ)、建模基礎(chǔ)到微調(diào)和推理等完整的知識(shí)體系。值得注意的是,這些圍繞LLM新增的課程中普遍重視LLM應(yīng)用倫理,將其作為重要的教學(xué)內(nèi)容貫穿在整個(gè)課程體系之中,涉及內(nèi)容包括LLM的技術(shù)局限產(chǎn)生的數(shù)據(jù)隱私泄露、偏見(jiàn)和毒性文本(Bias Toxicity)、幻覺(jué)(Hallucination)、模型濫用的社會(huì)危害等等??梢钥闯?,目前面向LLM的AI教育呈現(xiàn)以下幾個(gè)特點(diǎn):

    首先,相關(guān)課程的知識(shí)覆蓋面廣。目前的通識(shí)教育課程不僅關(guān)注LLM的基礎(chǔ)理論,如對(duì)GPT系列模型的深度解析,也包含在廣泛的下游任務(wù)中應(yīng)用方式的探索。這種廣泛的知識(shí)覆蓋有助于學(xué)習(xí)者全面理解LLM的潛能和應(yīng)用范圍。其次,強(qiáng)調(diào)LLM在實(shí)際場(chǎng)景中的應(yīng)用。在上述的通識(shí)教育課程中,實(shí)際應(yīng)用的訓(xùn)練顯得尤為重要。這包括教學(xué)提示工程、使用商業(yè)LLM的API構(gòu)建應(yīng)用程序和使用特定框架來(lái)開(kāi)發(fā)更豐富的LLM應(yīng)用。課程中涉及的配套資源、活動(dòng)等尤為鼓勵(lì)學(xué)習(xí)者利用LLM進(jìn)行多領(lǐng)域創(chuàng)新。第三,額外關(guān)注LLM的應(yīng)用倫理。隨著LLM在各個(gè)領(lǐng)域的深入推進(jìn),其可能對(duì)社會(huì)產(chǎn)生的影響和潛在的倫理問(wèn)題也逐漸受到重視。這在高等教育領(lǐng)域的通識(shí)課程中更為明顯,這些課程已經(jīng)開(kāi)始將LLM的應(yīng)用倫理嵌入至課程的不同環(huán)節(jié),以培養(yǎng)學(xué)生形成對(duì)LLM應(yīng)用倫理的系統(tǒng)認(rèn)識(shí),鼓勵(lì)學(xué)生負(fù)責(zé)任地使用這項(xiàng)技術(shù)。

    上述的面向公眾以及高等教育的LLM通識(shí)教育可以成為青少年AI教育的重要的借鑒。相較于公眾領(lǐng)域與高等教育機(jī)構(gòu)的快速響應(yīng),基礎(chǔ)教育階段對(duì)LLM的沖擊尚未有系統(tǒng)的反應(yīng)。雖然己經(jīng)有一些如何在中小學(xué)進(jìn)行面向LLM的人工智能教育的探討[18],但是由于ChatGPT的出現(xiàn)過(guò)于迅猛,目前除了NSF和部分國(guó)家開(kāi)始的一些小規(guī)模型的嘗試,大語(yǔ)言模型還沒(méi)有進(jìn)入中小學(xué)人工智能教育領(lǐng)域。

    (二)大語(yǔ)言模型對(duì)編程教學(xué)的變革

    大語(yǔ)言模型對(duì)人工智能教育的沖擊不僅體現(xiàn)在課程內(nèi)容框架的變化,AI教育也因LLM的出現(xiàn)發(fā)生了新的變化,集中體現(xiàn)在AI教育的重要組成部分——編程教學(xué)的各個(gè)環(huán)節(jié)。LLM經(jīng)過(guò)大量源代碼和自然語(yǔ)言數(shù)據(jù)的預(yù)先訓(xùn)練,在理解代碼結(jié)構(gòu)和生成代碼或文本方面已經(jīng)表現(xiàn)出了卓越的能力。OpenAI的Codex(Copilot)、DeepMind的Alpha Code以及亞馬遜的CodeWhisperer等基于LLM的輔助工具已開(kāi)始在各類編程教育中催生變革[19]。已有研究表明,大語(yǔ)言模型從拓展教學(xué)方式、優(yōu)化教學(xué)流程、生成學(xué)習(xí)資源和改善學(xué)習(xí)評(píng)價(jià)等維度改變了編程教育的教學(xué)方法。

    首先,利用LLM改變編程教育的教學(xué)方式。通過(guò)使用LLM,幫助教師更有效地應(yīng)對(duì)傳統(tǒng)編程教學(xué)活動(dòng)中的固有難題[20],如對(duì)編程錯(cuò)誤信息(Programming Error Messages,PEM)的處理。長(zhǎng)期以來(lái)PEM一直是困擾教師和編程新手的難題[21]。教師經(jīng)常需要花費(fèi)大量時(shí)間和精力去解釋PEM信息,而學(xué)生則會(huì)因?yàn)镻EM的可讀性差而失去學(xué)習(xí)動(dòng)力[22]。研究者利用如GPT-3等大語(yǔ)言模型,發(fā)現(xiàn)PEM信息可以被有效地轉(zhuǎn)化為易于理解的自然語(yǔ)言,從而成為教學(xué)的有力工具,幫助學(xué)生更有效地從PEM中學(xué)習(xí)。

    其次,許多LLM的編程教學(xué)探索嘗試借助模型優(yōu)化常規(guī)的算法教學(xué)流程,讓教師更專注于教授高級(jí)的算法[23]。算法教學(xué)通常會(huì)因?qū)W生難以掌握特定編程語(yǔ)言的語(yǔ)法和編程原理而被拖延,使得教學(xué)效果難以得到保障[24]。使用LLM,教師可以在教學(xué)初期更專注于教授算法和問(wèn)題解決的技巧,而將語(yǔ)法和編程原理的教學(xué)留到后期。同時(shí),LLM還能幫助學(xué)習(xí)者生成一些初級(jí)代碼,使學(xué)習(xí)者有機(jī)會(huì)擴(kuò)展代碼塊,從而提高他們的學(xué)習(xí)信心。需要說(shuō)明的是,Denny等發(fā)現(xiàn),準(zhǔn)確描述算法步驟的提示策略將輔助學(xué)習(xí)者生成更為有效的初級(jí)代碼[25];其他研究也表明,當(dāng)較為復(fù)雜的編程語(yǔ)句分解為較小的任務(wù)后,利用特定的提示技巧能使Copilot等編程輔助插件提高生成的初始代碼質(zhì)量,從而更有效地進(jìn)行編程學(xué)習(xí)[26]。這也說(shuō)明未來(lái)編程教育可能需額外需培養(yǎng)學(xué)習(xí)者的提示技能,用自然語(yǔ)言描述他們希望實(shí)現(xiàn)的計(jì)算步驟,作為指導(dǎo)模型產(chǎn)生有效輸出的一種方式。

    第三,利用LLM輔助生成新的學(xué)習(xí)資源?,F(xiàn)有研究發(fā)現(xiàn),利用LLM制作的學(xué)習(xí)資源如針對(duì)性的練習(xí)、抽象代碼的解釋以及說(shuō)明性例子等能夠進(jìn)一步提升計(jì)算機(jī)教育的學(xué)習(xí)效果。Sarsa等人發(fā)現(xiàn)Codex模型能夠從單一的啟蒙例子中產(chǎn)生新的學(xué)習(xí)資源,包括編程練習(xí)題和代碼解釋[27]。MacNeil等人探索了如何利用LLM生成高質(zhì)量的代碼解釋,發(fā)現(xiàn)LLM能夠根據(jù)特定要求生成風(fēng)格迥異的代碼解釋文本[28]。隨著LLM的進(jìn)一步發(fā)展,教師有望通過(guò)先進(jìn)的LLM制作更為系統(tǒng)的說(shuō)明性案例,降低認(rèn)知負(fù)荷,促進(jìn)學(xué)習(xí)者更有效地學(xué)習(xí)[29]。

    最后,LLM改善了編程教學(xué)過(guò)程的評(píng)價(jià)方式。在編程入門課程中,評(píng)估方法往往只關(guān)注代碼的正確性,而忽視了代碼的質(zhì)量和風(fēng)格[30]。然而,通過(guò)向LLM提交代碼片段,學(xué)習(xí)者不僅可以評(píng)估代碼的正確性,還可以比較多個(gè)正確代碼之間的差異,并對(duì)解決方案的風(fēng)格和質(zhì)量做出判斷[31]。Thompson等人的研究認(rèn)為,這種側(cè)重于比較、識(shí)別變化的評(píng)價(jià)方式有助于編程新手欣賞編寫代碼的效率和方法的差異[32]。

    綜上所述,一些研究者針對(duì)LLM在信息技術(shù)教育,尤其是編程教育領(lǐng)域進(jìn)行了一些革命性的嘗試,這種LLM輔助的教學(xué)已經(jīng)呈現(xiàn)了人機(jī)協(xié)同的特征[33]。類似于Python編程一直是人工智能教育的重要內(nèi)容,在許多開(kāi)源社區(qū)(如Github),越來(lái)越多的程序員借助Codex、Copilot等LLM生成代碼,這也為基礎(chǔ)教育領(lǐng)域的人工智能教育提出了新的挑戰(zhàn)。現(xiàn)有的證據(jù)已經(jīng)顯示,人工智能教育教育中的編程已經(jīng)轉(zhuǎn)向更重視代碼的閱讀和評(píng)估,而非僅僅是代碼的編寫。中小學(xué)人工智能教育需要關(guān)注這一工業(yè)界的變革,教師和學(xué)生需要學(xué)習(xí)如何利用LLM進(jìn)行教學(xué)和學(xué)習(xí)。

    (三)大語(yǔ)言模型的學(xué)習(xí)平臺(tái)

    作為一種變革性技術(shù),LLM使得用戶可以使用自然語(yǔ)言與其溝通,并且能夠開(kāi)發(fā)以前無(wú)法構(gòu)建的應(yīng)用程序。然而,這些功能的實(shí)現(xiàn)是建立在用戶能有效地構(gòu)造提示的基礎(chǔ)上。對(duì)于一般用戶,除此使用像ChatGPT這樣公測(cè)聊天工具,無(wú)法直接接觸LLM的應(yīng)用程序接口,通常需要借助具體應(yīng)用程序或者提示工具。因此,對(duì)于剛?cè)腴T的大模型學(xué)習(xí)者或一般用戶而言,各種提示測(cè)試工具是了解大模型的主要途徑。例如,GPT-3 Playground是OpenAI的GPT-3 API的Web界面[34],也是許多學(xué)習(xí)者第一次接觸大語(yǔ)言模型應(yīng)用程序接口的工具。GPT-3 Playground提供了一個(gè)簡(jiǎn)潔的界面,帶有幾個(gè)不同的參數(shù)撥盤,可以修改GPT-3模型的相應(yīng)參數(shù),并調(diào)試相應(yīng)的輸出。相比之下,也有研究者開(kāi)發(fā)了專門的提示測(cè)試工具Prompt IDE[35],用以輔助學(xué)習(xí)者測(cè)試提示的變體,這種專門的提示評(píng)估工具以可視化的形式展示不同措辭、結(jié)構(gòu)的提示對(duì)模型輸出準(zhǔn)確性的影響,允許學(xué)習(xí)者評(píng)估不同提示方式的效果,對(duì)特定任務(wù)的提示模板迭代優(yōu)化。這些工具的作用主要有以下二個(gè)方面。一方面,旨在讓學(xué)習(xí)者測(cè)試面向不同下游任務(wù)的提示的有效性,如何將一些被廣泛證明對(duì)LLM有效的提示策略應(yīng)用在不同的任務(wù)中,如“思維鏈”(Chain of Thought Prompting)、“知識(shí)生成”(Generated Knowledge Prompting)、“從最少到最多”(Least to Most Prompting)等提示模式[36-38]。另一方面,學(xué)習(xí)調(diào)試LLM的模型參數(shù),圍繞針對(duì)不同業(yè)務(wù)場(chǎng)景調(diào)整如GPT-3/4模型的Temperature(生成內(nèi)容的發(fā)散程度)和Top-k(在每一步中,模型將每個(gè)可能的下一個(gè)詞的概率排名,只考慮排名前k的詞進(jìn)行隨機(jī)選擇)等參數(shù),以獲得高質(zhì)量的LLM輸出內(nèi)容。

    相較于基于自然語(yǔ)言的提示構(gòu)造等初級(jí)內(nèi)容的學(xué)習(xí)支持,面向開(kāi)發(fā)者的LLM學(xué)習(xí)工具并不多見(jiàn)。較為典型的做法是在學(xué)習(xí)平臺(tái)中嵌入代碼編寫環(huán)境,以輔助學(xué)習(xí)者根據(jù)教學(xué)視頻的內(nèi)容進(jìn)行隨堂演練。例如,DeepLearning.ai學(xué)習(xí)平臺(tái)內(nèi)置了基于JupyterNotebook的Python編譯環(huán)境[39],學(xué)習(xí)者可以在教學(xué)視頻引導(dǎo)下利用這種交互式編程環(huán)境一步步熟悉如何實(shí)現(xiàn)各類應(yīng)用開(kāi)發(fā)實(shí)踐。然而,對(duì)于如大語(yǔ)言模型的微調(diào)等專業(yè)化程度較高的學(xué)習(xí)內(nèi)容,即便是提供編譯環(huán)境也難以保證初學(xué)者能夠有效學(xué)習(xí),學(xué)習(xí)者也會(huì)面臨如PEM無(wú)法解讀等常見(jiàn)的困難。不同于這樣的側(cè)重從零開(kāi)始系統(tǒng)學(xué)習(xí)LLM知識(shí)的學(xué)習(xí)平臺(tái),一些工具也被開(kāi)發(fā)用來(lái)輔助學(xué)習(xí)者利用流行的LLM技術(shù)框架來(lái)構(gòu)建自己的應(yīng)用。這些工具的設(shè)計(jì)思路是自上而下的,通過(guò)可視化的交互界面,輔助學(xué)習(xí)者直觀學(xué)習(xí)建構(gòu)LLM應(yīng)用的思路。例如,LangFlow和FlowiseAI是LangChain的可視化用戶界面[40][41],支持節(jié)點(diǎn)式編程,學(xué)習(xí)者可以將側(cè)邊欄組件拖拽至畫布上,將這些組件連接在一起即可創(chuàng)建自定義LLM軟件的流程演示。同樣,Dust平臺(tái)也具有類似的功能,它為大型語(yǔ)言模型應(yīng)用程序構(gòu)建一系列提示支架以調(diào)用外部的模型,并且提供了一個(gè)易于使用的圖形界面來(lái)構(gòu)建提示鏈,通過(guò)一組標(biāo)準(zhǔn)塊和一種自定義編程語(yǔ)言對(duì)語(yǔ)言模型輸出進(jìn)行解析和處理[42]。

    最后,一些工具可以利用開(kāi)源LLM的模型輔助學(xué)習(xí)如何本地微調(diào):針對(duì)特定任務(wù)在較小數(shù)據(jù)集上進(jìn)一步訓(xùn)練LLM,以提高LLM在專業(yè)任務(wù)上的表現(xiàn)。例如,HuggingFace平臺(tái)提供了數(shù)以千計(jì)的預(yù)訓(xùn)練LLM和不同訓(xùn)練數(shù)據(jù)集的訪問(wèn)渠道,學(xué)習(xí)者不僅可以直接與各類預(yù)訓(xùn)練的LLM進(jìn)行交互,也可以利用平臺(tái)上的數(shù)據(jù)集資源對(duì)這些開(kāi)源LLM進(jìn)行微調(diào)[43]。另一個(gè)平臺(tái)是H2O LLM Studio,這是一個(gè)無(wú)代碼的LLM圖形用戶界面,旨在為L(zhǎng)LM開(kāi)發(fā)者和學(xué)習(xí)者提供微調(diào)大語(yǔ)言模型的流程框架[44]。這些平臺(tái)工具通常配備有更多的指導(dǎo)和資源,以幫助學(xué)習(xí)者解決微調(diào)過(guò)程中可能遇到的復(fù)雜問(wèn)題。

    可以看出,LLM的發(fā)展對(duì)人工智能教育的多個(gè)維度產(chǎn)生了極大的影響,重塑了學(xué)習(xí)的內(nèi)容,變革了教與學(xué)的方式;同時(shí),要實(shí)現(xiàn)大語(yǔ)言模型背景下的有效教學(xué),也離不開(kāi)先進(jìn)的資源與工具的支持?;谏鲜稣J(rèn)識(shí),本文以LLM課程內(nèi)容框架的設(shè)計(jì)為起點(diǎn),進(jìn)一步構(gòu)建一個(gè)基于LLM的人機(jī)協(xié)同教學(xué)模式,系統(tǒng)闡釋因LLM技術(shù)發(fā)展而帶來(lái)的教與學(xué)方式的變革。同時(shí),為有效支持教學(xué)活動(dòng)的開(kāi)展,需要設(shè)計(jì)并開(kāi)發(fā)一個(gè)面向LLM知識(shí)結(jié)構(gòu)的AI輔助學(xué)習(xí)平臺(tái)。該平臺(tái)不僅能夠?qū)崿F(xiàn)教學(xué)管理和學(xué)習(xí)環(huán)境的構(gòu)建,還能用于教學(xué)效果的評(píng)估和反饋。因此,本研究也將以一個(gè)示范課程的章節(jié)案例演示如何利用自主開(kāi)發(fā)的輔助學(xué)習(xí)平臺(tái)進(jìn)行人機(jī)協(xié)同教學(xué),使其更好地服務(wù)于青少年的人工智能教育。

    三、面向大語(yǔ)言模型的青少年人工智能課程架構(gòu)

    為系統(tǒng)地梳理LLM對(duì)青少年AI課程的影響,有效地指導(dǎo)AI課程開(kāi)發(fā)與實(shí)踐,需要開(kāi)發(fā)一個(gè)整體的課程架構(gòu),這其中包含了前文提及的課程內(nèi)容框架、基于LLM的教學(xué)模式以及LLM輔助學(xué)習(xí)平臺(tái)三個(gè)核心維度。需要說(shuō)明的是,這三個(gè)維度之間相互關(guān)聯(lián):課程的內(nèi)容框架為人機(jī)協(xié)同教學(xué)提供知識(shí)模塊與對(duì)于的核心知識(shí)點(diǎn),教學(xué)的開(kāi)展將依據(jù)內(nèi)容框架設(shè)定教學(xué)目標(biāo)、學(xué)習(xí)活動(dòng)與評(píng)價(jià)方式。同時(shí),教學(xué)活動(dòng)也依賴輔助學(xué)習(xí)平臺(tái)的支持。例如,當(dāng)內(nèi)容框架涉及提示的評(píng)估時(shí),教學(xué)活動(dòng)可以設(shè)計(jì)系列鼓勵(lì)學(xué)生利用LLM解決特定的語(yǔ)言任務(wù),而輔助學(xué)習(xí)平臺(tái)則提供所需的資源與工具來(lái)支持這些活動(dòng)。值得注意的是,在開(kāi)發(fā)課程架構(gòu)時(shí),必須考慮到學(xué)科核心素養(yǎng)的契合性,并圍繞培養(yǎng)學(xué)生的綜合能力來(lái)設(shè)計(jì)教學(xué)活動(dòng),這也將確保課程的質(zhì)量和育人目標(biāo)得以實(shí)現(xiàn)。

    (一)課程內(nèi)容框架

    通過(guò)對(duì)大語(yǔ)言模型知識(shí)體系以及2.1中各類課程案例的梳理,參照2017年版2020年修訂的《普通高中信息技術(shù)課程標(biāo)準(zhǔn)》以及2022年版的《義務(wù)教育信息科技課程標(biāo)準(zhǔn)》,本研究規(guī)劃與組織了適合于青少年的面向LLM學(xué)習(xí)的課程內(nèi)容框架。整個(gè)內(nèi)容框架遵循“認(rèn)識(shí)、應(yīng)用、理解、開(kāi)發(fā)和訓(xùn)練”的常規(guī)學(xué)習(xí)階段,兼顧了學(xué)習(xí)內(nèi)容的邏輯性與綜合性。從整體上來(lái)看,初步設(shè)計(jì)的框架將LLM知識(shí)劃分為八個(gè)核心的知識(shí)模塊。在此基礎(chǔ)上,可細(xì)化不同模塊學(xué)習(xí)所需的知識(shí)結(jié)構(gòu)、能力要求、學(xué)習(xí)資源與學(xué)習(xí)建議。需要說(shuō)明的是,在內(nèi)容框架中,某些模塊被分為“A”和“B”兩個(gè)部分,其中“A”部分為該主題的基礎(chǔ)模塊,強(qiáng)調(diào)學(xué)生作為大語(yǔ)言模型的使用者學(xué)習(xí)必要的概念知識(shí),掌握基礎(chǔ)的應(yīng)用技能;“B”部分則是進(jìn)階模塊,盡管同屬于特定的主題,但相關(guān)內(nèi)容的學(xué)習(xí)通常依賴于前序模塊的知識(shí),包含了更高級(jí)的技術(shù)和開(kāi)發(fā)知識(shí)。

    具體來(lái)說(shuō),如圖1所示,模塊一為“體驗(yàn)LLM”,旨在為學(xué)生提供LLM應(yīng)用程序體驗(yàn)(類似ChatGPT、文心一言等),幫助學(xué)生初步了解LLM;模塊二為“LLM的原理A”,主要輔助學(xué)生深入理解LLM的基礎(chǔ)知識(shí),包括其發(fā)展歷程、訓(xùn)練方式和模型架構(gòu)等;模塊三為“面向LLM的提示與評(píng)估”,強(qiáng)調(diào)通過(guò)實(shí)際操作,讓學(xué)生理解提示工程在最大化大語(yǔ)言模型潛力方面的重要性;模塊四,“編程與項(xiàng)目開(kāi)發(fā)A”,是將上文綜述中提及的LLM輔助編程教學(xué)的工具嵌入至傳統(tǒng)的編程學(xué)習(xí)中,側(cè)重于利用大語(yǔ)言模型進(jìn)行編程教學(xué);模塊五,“LLM的應(yīng)用倫理A”,促使學(xué)生反思大語(yǔ)言模型的應(yīng)用帶來(lái)的各種倫理問(wèn)題。

    模塊一至五涵蓋了面向LLM基礎(chǔ)知識(shí)的學(xué)習(xí),尤其是關(guān)注如何“用好”大語(yǔ)言模型的角度組織開(kāi)展各項(xiàng)學(xué)習(xí)活動(dòng)。模塊六至模塊八則為進(jìn)階學(xué)習(xí)的模塊,聚焦于從開(kāi)發(fā)者的角度,提升學(xué)生對(duì)LLM的深度理解和開(kāi)發(fā)能力。以編程與項(xiàng)目開(kāi)發(fā)A、B兩個(gè)模塊為例,A模塊使學(xué)生形成基礎(chǔ)的算法理解;B模塊依托A模塊的涉及的基礎(chǔ)知識(shí),更注重提升學(xué)生的實(shí)際操作能力,主要培養(yǎng)學(xué)生利用各類LLM的應(yīng)用程序接口或技術(shù)框架搭建應(yīng)用程序的實(shí)踐能力。內(nèi)容框架的另外一個(gè)特點(diǎn)體現(xiàn)在對(duì)LLM應(yīng)用倫理的特殊考慮,針對(duì)LLM在內(nèi)容偏見(jiàn)與毒性、深度造假等問(wèn)題日益突出的情況,專門設(shè)置兩個(gè)對(duì)應(yīng)的知識(shí)模塊,涵蓋從使用到開(kāi)發(fā)各個(gè)學(xué)習(xí)階段的倫理議題;并且,在其他知識(shí)模塊中也融入相應(yīng)的倫理內(nèi)容,確保倫理關(guān)切貫穿始終。

    需要說(shuō)明的是,這些模塊之間并不是線性的關(guān)系,具體內(nèi)容的選擇需根據(jù)不同學(xué)段和學(xué)生特點(diǎn)進(jìn)行組合。例如,對(duì)于小學(xué)高年級(jí)人工智能學(xué)習(xí)以體驗(yàn)為主,適合模塊一、模塊三(部分),重點(diǎn)是嘗試使用簡(jiǎn)單的提示策略與各類LLM的聊天應(yīng)用交互,并能夠通過(guò)同伴交流等方式驗(yàn)證LLM生成內(nèi)容的準(zhǔn)確性,認(rèn)識(shí)LLM的基本作用與局限;對(duì)于初中學(xué)生而言,課程內(nèi)容需兼顧體驗(yàn)與實(shí)際開(kāi)發(fā),可能更適合于模塊一、模塊二(部分)、模塊三與模塊五(部分)。引導(dǎo)學(xué)生認(rèn)識(shí)LLM對(duì)人類生活、學(xué)習(xí)及未來(lái)發(fā)展帶來(lái)的影響,并能夠利用交互式學(xué)習(xí)資源初步理解LLM在文本生成方面的基本原理;對(duì)于有較好編程基礎(chǔ)的高中學(xué)生,在己經(jīng)學(xué)習(xí)了《人工智能初步》的基礎(chǔ)上,可能模塊二、模塊六、模塊七、模塊八是一個(gè)更為系統(tǒng)的內(nèi)容組合。此外,鑒于LLM知識(shí)仍然在不斷發(fā)展之中,內(nèi)容框架也需要保持一定的開(kāi)放性,教師和課程開(kāi)發(fā)者應(yīng)該根據(jù)最新的研究成果進(jìn)行適當(dāng)?shù)恼{(diào)整與補(bǔ)充,以保證內(nèi)容框架的時(shí)效性。

    (二)基于LLM的教學(xué)模式

    LLM的發(fā)展已經(jīng)為人工智能課程的教學(xué)模式帶來(lái)了新的變化,這在前文的綜述中得到了體現(xiàn),特別是在探討LLM對(duì)編程教學(xué)的影響方面。值得注意的是,在當(dāng)前的中小學(xué)信息技術(shù)或科技課程體系中,涉及人工智能的模塊往往以Python教學(xué)為核心??紤]到這一現(xiàn)狀,將基于LLM的編程輔助工具引入中小學(xué)編程課堂顯得極其重要且具有實(shí)際可行性。同時(shí),根據(jù)教育領(lǐng)域?qū)LM的廣泛討論可以發(fā)現(xiàn),LLM對(duì)AI教育的積極影響不僅限于編程教學(xué);它在其他知識(shí)的學(xué)習(xí)中也可發(fā)揮巨大作用,能夠提升學(xué)習(xí)者的參與度和學(xué)習(xí)質(zhì)量[45]。綜上所述,為了充分利用LLM的潛能,需要根據(jù)LLM的特點(diǎn)構(gòu)建一種新的人機(jī)協(xié)同教學(xué)模式,以將LLM嵌入至課堂教學(xué)的關(guān)鍵環(huán)節(jié)之中。

    本研究提出的人機(jī)協(xié)同教學(xué)模式如圖2所示。這種模式的核心是將LLM作為一個(gè)輔助學(xué)習(xí)平臺(tái)的核心功能模塊,以虛擬代理的方式嵌入到教學(xué)、學(xué)習(xí)與評(píng)價(jià)三個(gè)關(guān)鍵環(huán)節(jié)之中。例如,LLM可以用于幫助學(xué)生解決復(fù)雜的編程問(wèn)題,或者作為一個(gè)交互式聊天,通過(guò)智能對(duì)話來(lái)輔助學(xué)生掌握抽象的概念知識(shí)、提示的策略以及相關(guān)的實(shí)踐任務(wù)。具體作用如下:

    首先,LLM可以作為教師角色的代理(AI教師)。利用LLM搭建一個(gè)虛擬的教師角色,可以深度參與師生交流、題目講解和錯(cuò)因分析等實(shí)際教學(xué)場(chǎng)景,它能夠根據(jù)學(xué)生的反饋和數(shù)據(jù),動(dòng)態(tài)調(diào)整教學(xué)內(nèi)容和方式,以滿足不同學(xué)生的需求。對(duì)于人類教師而言,虛擬教師角色與現(xiàn)實(shí)中的教師可以更好地協(xié)作以提高課程教學(xué)質(zhì)量:通過(guò)與人類教師共享數(shù)據(jù)和反饋,LLM能夠生成針對(duì)性的教學(xué)資源,包括學(xué)習(xí)資源和評(píng)估工具。這可以幫助人類教師節(jié)省時(shí)間,專注于與學(xué)生的互動(dòng),為學(xué)生提供個(gè)性化的支持。

    其次,LLM也以編程學(xué)習(xí)插件的形式支持編程教學(xué),幫助學(xué)生深入理解編程概念。借助于LLM的強(qiáng)大分析和生成能力,可以將如Github Copilot和Codeium這類的LLM協(xié)同編程插件應(yīng)用到編程教學(xué)環(huán)境之中,為學(xué)習(xí)者提供即時(shí)的代碼錯(cuò)誤反饋,自動(dòng)生成代碼啟動(dòng)片段,甚至為復(fù)雜問(wèn)題提供算法解決框架。在此基礎(chǔ)上,可以引導(dǎo)學(xué)生通過(guò)人機(jī)交互的方式來(lái)生成代碼、分析代碼和優(yōu)化代碼,從而將學(xué)習(xí)的重心轉(zhuǎn)向?qū)λ惴ńY(jié)構(gòu)、代碼風(fēng)格的評(píng)估等高級(jí)編程思維的訓(xùn)練。與此同時(shí),LLM也可以AI學(xué)伴的形式輔助學(xué)習(xí)其他知識(shí),如可以通過(guò)持續(xù)的人機(jī)對(duì)話輔助學(xué)生訓(xùn)練提示技巧。

    評(píng)價(jià)是此人機(jī)協(xié)同教學(xué)模式的一個(gè)重要組成部分。例如,提示文本撰寫和程序應(yīng)用開(kāi)發(fā)是內(nèi)容框架的重要組成部分,對(duì)提示文本內(nèi)容質(zhì)量和程序代碼質(zhì)量進(jìn)行評(píng)估有助于了解學(xué)習(xí)者在課程學(xué)習(xí)上的知識(shí)技能掌握程度和素養(yǎng)培養(yǎng)狀況。由于LLM在文本分析和代碼分析方面表現(xiàn)優(yōu)異,通過(guò)部署平臺(tái)化的教學(xué)應(yīng)用,可以記錄的教學(xué)過(guò)程性數(shù)據(jù),在LLM的輔助下完成對(duì)學(xué)習(xí)者課程學(xué)習(xí)效果的評(píng)價(jià),以及對(duì)虛擬教師和AI學(xué)伴在對(duì)學(xué)習(xí)者的幫助和引導(dǎo)方面的表現(xiàn)的評(píng)價(jià)。

    綜上所述,這種LLM支持的人機(jī)協(xié)同教學(xué)模式可以從教學(xué)、學(xué)習(xí)和評(píng)價(jià)三個(gè)維度支持AI教育,形成一個(gè)完整的、互相支持的系統(tǒng)。在這個(gè)系統(tǒng)中,LLM不僅作為一個(gè)輔助工具,更是作為一個(gè)積極的參與角色,在教學(xué)的各個(gè)環(huán)節(jié)中發(fā)揮作用。然而,要使教育者能夠更加靈活地利用LLM的功能,讓學(xué)生有更為豐富的學(xué)習(xí)體驗(yàn),需要輔助學(xué)習(xí)平臺(tái)的支持,將學(xué)習(xí)資源、各類實(shí)驗(yàn)、評(píng)估工具以及過(guò)程性數(shù)據(jù)等系統(tǒng)整合。

    (三)LLM輔助學(xué)習(xí)平臺(tái)

    正如前文所述,對(duì)于大語(yǔ)言模型的學(xué)習(xí)需要借助各類LLM學(xué)習(xí)平臺(tái)。這些平臺(tái)體現(xiàn)了一種新型的學(xué)習(xí)模式——通過(guò)“LLM”來(lái)學(xué)習(xí)“LLM”;換言之,利用LLM本身來(lái)學(xué)習(xí)和理解LLM的運(yùn)行和應(yīng)用。雖然己經(jīng)有許多基于LLM的人工智能學(xué)習(xí)平臺(tái),有助于學(xué)習(xí)者體驗(yàn)、應(yīng)用、理解、開(kāi)發(fā)和訓(xùn)練LLM。然而,考慮到中小學(xué)生的特點(diǎn)和認(rèn)知發(fā)展規(guī)律,一方面現(xiàn)有的面向公眾的LLM學(xué)習(xí)平臺(tái)并不完全適合于中小學(xué)課程;另一方面,諸如LLM帶來(lái)的倫理問(wèn)題(如數(shù)據(jù)隱私保護(hù)、數(shù)據(jù)安全和深度造假等問(wèn)題)在公共平臺(tái)中也無(wú)法完全規(guī)避。因此,在現(xiàn)有這些學(xué)習(xí)平臺(tái)的基礎(chǔ)上,有必要充分考慮課程內(nèi)容框架與教學(xué)模式的特點(diǎn),開(kāi)發(fā)適合基礎(chǔ)教育人工智能課程的大語(yǔ)言模型學(xué)習(xí)平臺(tái)。

    如圖3所示,開(kāi)發(fā)這類適應(yīng)青少年教育環(huán)境的LLM輔助學(xué)習(xí)平臺(tái)需要具備資源、實(shí)驗(yàn)、評(píng)估與數(shù)據(jù)四個(gè)核心功能模塊,以滿足LLM課程中人機(jī)協(xié)同教學(xué)活動(dòng)的開(kāi)展:

    首先,實(shí)驗(yàn)?zāi)K。學(xué)習(xí)平臺(tái)可通過(guò)后臺(tái)代理服務(wù)調(diào)用如GPT-3.5-turbo等LLM的應(yīng)用程序接口,實(shí)現(xiàn)豐富的實(shí)驗(yàn)功能,滿足各項(xiàng)探究式學(xué)習(xí)活動(dòng)。通過(guò)調(diào)用這些接口,在學(xué)習(xí)平臺(tái)上可以架構(gòu)支持在線體驗(yàn)的角色模擬對(duì)話、實(shí)時(shí)情感識(shí)別、文本摘要和指定風(fēng)格的作文撰寫等功能。這些以體驗(yàn)為主的基礎(chǔ)功能模塊有助于學(xué)生建立對(duì)LLM的初步認(rèn)識(shí),增強(qiáng)其學(xué)習(xí)興趣,為進(jìn)一步的教學(xué)打下基礎(chǔ)。

    其次,資源模塊。學(xué)習(xí)平臺(tái)可向?qū)W生提供內(nèi)容豐富、形式多樣的學(xué)習(xí)資源包。這些資源包括但不限于解釋LLM基礎(chǔ)原理的文檔、提示文本撰寫的講解視頻、插件開(kāi)發(fā)的實(shí)戰(zhàn)教學(xué)視頻、模型的預(yù)訓(xùn)練數(shù)據(jù)集、適合不同下游任務(wù)的示例提示等不同實(shí)例和用于微調(diào)示范的專業(yè)領(lǐng)域語(yǔ)料等。這些學(xué)習(xí)資源能夠豐富和延伸教學(xué)內(nèi)容,幫助學(xué)生更快的上手,體驗(yàn)LLM的進(jìn)階使用技巧,并且在實(shí)踐過(guò)程中加深對(duì)LLM的作用原理的認(rèn)識(shí)。

    第三,評(píng)估模塊。學(xué)習(xí)平臺(tái)可整合Github Copilot、Codeium等LLM應(yīng)用提供的插件服務(wù)。通過(guò)充分利用這些協(xié)同編程插件的功能,能夠完成對(duì)現(xiàn)有的人工智能課程編程教學(xué)方式的轉(zhuǎn)變:在已有的編程語(yǔ)法知識(shí)和規(guī)范等課程基礎(chǔ)上,向集代碼生成、分析、糾錯(cuò)和優(yōu)化為一體的教學(xué)線路過(guò)渡,進(jìn)一步培養(yǎng)學(xué)生借助LLM發(fā)現(xiàn)問(wèn)題和解決問(wèn)題的能力,強(qiáng)化計(jì)算思維的訓(xùn)練,提升數(shù)字化學(xué)習(xí)與創(chuàng)新的能力。此外,通過(guò)將這些協(xié)同編程插件與其他模塊的整合,可充分運(yùn)用學(xué)習(xí)互動(dòng)過(guò)程中產(chǎn)生的多模數(shù)據(jù),為學(xué)生提供個(gè)性化的反饋和建議;同時(shí),教師也可以根據(jù)表征學(xué)生需求和進(jìn)步的信息來(lái)調(diào)整教學(xué)方法。

    最后,數(shù)據(jù)模塊。LLM輔助學(xué)習(xí)平臺(tái)也是學(xué)習(xí)分析的平臺(tái)。平臺(tái)可以保存學(xué)習(xí)者在與LLM交互過(guò)程中的各種數(shù)據(jù),主要包括提示文本數(shù)據(jù)和模型輸出文本等。通過(guò)進(jìn)一步分析提示文本數(shù)據(jù),可以為提高學(xué)生提示文本撰寫質(zhì)量與技能提供個(gè)性化的反饋信息。此外,還可以通過(guò)不同模型對(duì)彼此生成內(nèi)容進(jìn)行評(píng)價(jià),如使用GPT-4模型來(lái)評(píng)價(jià)GPT-3.5-turbo模型生成的文本內(nèi)容,學(xué)生可以根據(jù)多元的評(píng)價(jià)信息反思學(xué)習(xí)狀況,進(jìn)一步培養(yǎng)學(xué)生的信息意識(shí)與批判性思維。

    總體而言,通過(guò)設(shè)計(jì)和開(kāi)發(fā)一個(gè)支持LLM的輔助學(xué)習(xí)平臺(tái),能夠?qū)⑸鲜鋈藱C(jī)協(xié)同的教學(xué)模式有效落地,進(jìn)一步增強(qiáng)學(xué)生學(xué)習(xí)的交互性和參與,為進(jìn)一步變革AI教育提供新的可能性。

    (四)面向?qū)W科核心素養(yǎng)的教學(xué)活動(dòng)設(shè)計(jì)

    近年來(lái),我國(guó)愈加重視基礎(chǔ)教育階段的AI教育。2022年出臺(tái)的《義務(wù)教育信息科技課程標(biāo)準(zhǔn)》明確將信息意識(shí)、計(jì)算思維、數(shù)字化學(xué)習(xí)與創(chuàng)新以及信息社會(huì)責(zé)任在內(nèi)的學(xué)科核心素養(yǎng)作為信息科技課程的總目標(biāo)。面向大語(yǔ)言模型的青少年AI課程架構(gòu)不僅需要關(guān)注課程的時(shí)代性,也需要考慮課程的科學(xué)性[46]。具體而言,需要在學(xué)科核心素養(yǎng)導(dǎo)向下探索教學(xué)活動(dòng)的設(shè)計(jì)方式[47],在幫助學(xué)生掌握LLM基礎(chǔ)知識(shí)與技能的基礎(chǔ)上發(fā)展與培育學(xué)科核心素養(yǎng)。整體而言,面向LLM的青少年人工智能教育課程架構(gòu)與學(xué)科核心素養(yǎng)的契合需要體現(xiàn)在教學(xué)活動(dòng)的設(shè)計(jì)上,包括理論性內(nèi)容的探究式學(xué)習(xí),基于項(xiàng)目的深度實(shí)踐,以及倫理問(wèn)題和社會(huì)責(zé)任的關(guān)注。

    首先,理論性內(nèi)容的探究式學(xué)習(xí)。通過(guò)跨學(xué)科的探究式學(xué)習(xí)活動(dòng),學(xué)生能深入理解LLM的實(shí)現(xiàn)原理、訓(xùn)練方式與模型架構(gòu)等。例如,教師可以設(shè)計(jì)一個(gè)與“LLM辯論的活動(dòng)”,學(xué)生可以通過(guò)動(dòng)手創(chuàng)建一個(gè)微調(diào)后的聊天機(jī)器人程序來(lái)實(shí)現(xiàn)與不同風(fēng)格虛擬代理辯論的過(guò)程,以理解LLM的工作原理,在跨學(xué)科的活動(dòng)情境中培育學(xué)生的計(jì)算思維[48]。另一個(gè)典型的例子是,教師可以讓學(xué)生輸入一些基本的個(gè)人信息,然后讓LLM生成每個(gè)學(xué)生的個(gè)人故事,結(jié)合個(gè)人經(jīng)驗(yàn)初步評(píng)估LLM輸出的質(zhì)量,并激發(fā)學(xué)生反思輸入個(gè)人敏感信息過(guò)程的心理感受,提高使用LLM的信息社會(huì)責(zé)任。

    其次,基于項(xiàng)目的深度實(shí)踐。LLM應(yīng)用的快速推廣為課程體系的實(shí)踐活動(dòng)提供了廣泛的主題參考。通過(guò)這些綜合性實(shí)踐項(xiàng)目的學(xué)習(xí),學(xué)生將學(xué)會(huì)如何有效利用這些技術(shù)來(lái)解決現(xiàn)實(shí)問(wèn)題。例如,通過(guò)在Python環(huán)境中調(diào)用特定LLM的應(yīng)用程序接口,教師可以引導(dǎo)學(xué)生創(chuàng)建一個(gè)支持互聯(lián)網(wǎng)信息檢索的連續(xù)對(duì)話機(jī)器人,并鼓勵(lì)學(xué)生思考可能的應(yīng)用場(chǎng)景。這種深度的編程實(shí)踐可以增強(qiáng)學(xué)生的數(shù)字化學(xué)習(xí)與創(chuàng)新能力。此外,學(xué)生也可以通過(guò)使用LLM進(jìn)行內(nèi)容創(chuàng)作和編輯來(lái)增強(qiáng)創(chuàng)新能力。例如,利用LLM的文本生成功能輔助進(jìn)行內(nèi)容創(chuàng)作與編輯;或者設(shè)計(jì)自動(dòng)化程序,使用LLM來(lái)檢測(cè)和糾正自己撰寫的文本中的錯(cuò)誤。

    最后,重點(diǎn)關(guān)注倫理問(wèn)題和社會(huì)責(zé)任。LLM的大量應(yīng)用引發(fā)了更為深刻的倫理問(wèn)題。在課程中加入這些內(nèi)容,將強(qiáng)化學(xué)生在探討LLM的社會(huì)影響時(shí)的信息社會(huì)責(zé)任。例如,促使學(xué)生討論一個(gè)關(guān)于LLM誤用導(dǎo)致的社會(huì)事件,如考試作弊、深度造假或過(guò)度依賴LLM等議題,學(xué)生將建立起負(fù)責(zé)任使用新技術(shù)的倫理推理和批判性思維的能力。此外,通過(guò)專門的應(yīng)用倫理內(nèi)容模塊的學(xué)習(xí),學(xué)生可以結(jié)合大語(yǔ)言模型的原理理解LLM可能引發(fā)的偏見(jiàn)、歧視、幻覺(jué)以及隱私等問(wèn)題產(chǎn)生的技術(shù)根源,并通過(guò)小組活動(dòng)和案例研究,探討如何制定相應(yīng)的使用策略和規(guī)范來(lái)減輕這些問(wèn)題。

    綜上所述,通過(guò)設(shè)計(jì)大語(yǔ)言模型在青少年人工智能教育的課程架構(gòu),構(gòu)建面向青少年LLM學(xué)習(xí)的內(nèi)容框架,利用LLM探索人機(jī)協(xié)同AI教學(xué)模式,開(kāi)發(fā)相應(yīng)的輔助學(xué)習(xí)平臺(tái),能夠在各類教學(xué)活動(dòng)中進(jìn)一步落實(shí)學(xué)科核心素養(yǎng),為教師與學(xué)生提供一個(gè)更深入、更具參與性的AI教育環(huán)境。

    四、解釋案例:高中LLM示范課程

    基于上述初步構(gòu)建的面向LLM的青少年AI教育體系,作者所在研究團(tuán)隊(duì)選取內(nèi)容框架中的部分知識(shí)模塊,嘗試構(gòu)建一門適合于普通高中的示范課程:《面向大語(yǔ)言模型的人工智能基礎(chǔ)》。在此基礎(chǔ)上,選取《面向LLM的提示與評(píng)估》單元內(nèi)容演示如何利用自主開(kāi)發(fā)的LLM輔助學(xué)習(xí)平臺(tái)進(jìn)行人機(jī)協(xié)同教學(xué)。

    (一)課程內(nèi)容

    考慮到高中學(xué)段的青少年已經(jīng)具備基礎(chǔ)的編程、算法知識(shí),本示范課程將節(jié)選內(nèi)容框架中的模塊二、模塊三、模塊四、模塊六和模塊八的全部或部分內(nèi)容,形成五個(gè)教學(xué)單元。整體而言,課程內(nèi)容的設(shè)計(jì)兼顧了對(duì)LLM的使用與進(jìn)階開(kāi)發(fā),下面是各個(gè)單元的簡(jiǎn)介:

    單元1為大語(yǔ)言模型的原理。本單元側(cè)重于教授LLM的原理知識(shí),幫助學(xué)生深入了解LLM技術(shù),包括其發(fā)展歷程、趨勢(shì)、模型架構(gòu)以及特點(diǎn)等。由于該模塊涉及一些較為專業(yè)的AI知識(shí),需要輔助的教學(xué)資源對(duì)這些概念性知識(shí)深入闡釋。具體而言,在解釋LLM的架構(gòu)時(shí),通過(guò)設(shè)計(jì)一個(gè)文本填詞游戲的教學(xué)活動(dòng),將模型生成單詞的概率分布展示給學(xué)生,讓他們對(duì)比自己和語(yǔ)言模型的預(yù)測(cè)結(jié)果,進(jìn)而引入模型訓(xùn)練方式的相關(guān)知識(shí)。此外,單元中也包含一些交互式學(xué)習(xí)資源,這些資源展示了不同質(zhì)量、來(lái)源和規(guī)模的訓(xùn)練數(shù)據(jù)集,以幫助學(xué)生探索訓(xùn)練數(shù)據(jù)集差異如何影響模型輸出的偏差。通過(guò)這個(gè)模塊,學(xué)生將基本了解到LLM是如何利用Transformer架構(gòu)和潛在的注意力機(jī)制來(lái)預(yù)測(cè)輸入文本中單詞間的關(guān)系;同時(shí),模塊中也穿插了相關(guān)的倫理知識(shí),如訓(xùn)練數(shù)據(jù)集是導(dǎo)致LLM輸出產(chǎn)生偏見(jiàn)的一個(gè)重要因素。

    單元2為L(zhǎng)LM的提示與評(píng)估。本單元聚焦于LLM的關(guān)鍵技能:提示工程,包括其基本概念和適用于主流LLM的提示策略。單元的學(xué)習(xí)強(qiáng)調(diào)實(shí)際操作,使學(xué)生充分理解提示工程在影響LLM(如GPT-3)輸出質(zhì)量方面的重要性。更為重要的是,模塊中還嵌入了評(píng)估工具,以便在學(xué)生的實(shí)踐過(guò)程中評(píng)估他們的提示和相應(yīng)的LLM輸出的質(zhì)量,從而鼓勵(lì)他們改進(jìn)提示策略并理解LLM的局限性。通過(guò)綜合運(yùn)用提示策略的講解、實(shí)踐項(xiàng)目的訓(xùn)練以及對(duì)提示的評(píng)估,學(xué)生將掌握提示工程的基礎(chǔ)知識(shí),并逐漸認(rèn)識(shí)到提示工程在未來(lái)各個(gè)行業(yè)領(lǐng)域的重要性。

    單元3與單元4為編程與項(xiàng)目開(kāi)發(fā)。第三單元突出了LLM在輔助編程學(xué)習(xí)方面的主要知識(shí)。特色之處在于,本單元是通過(guò)利用大語(yǔ)言模型進(jìn)行人機(jī)協(xié)同的方式來(lái)教授編程:通過(guò)介紹如何使用主流的LLM插件來(lái)輔助編程學(xué)習(xí),包括PEM解讀、構(gòu)建代碼框架以及評(píng)估代碼質(zhì)量等方面,引導(dǎo)學(xué)生在不同的項(xiàng)目開(kāi)發(fā)中逐漸建立編程技能。在這個(gè)過(guò)程中,教師也需要重新思考編程教學(xué)的內(nèi)容和邏輯,例如,將與計(jì)算思維緊密相關(guān)的核心算法和數(shù)據(jù)結(jié)構(gòu)的知識(shí)前移,并通過(guò)實(shí)際項(xiàng)目的練習(xí)以及與LLM的協(xié)同教學(xué),著重培養(yǎng)學(xué)生的創(chuàng)新思維和計(jì)算能力。與此對(duì)應(yīng),第四單元更注重提升學(xué)生面向LLM的開(kāi)發(fā)能力,一些實(shí)踐訓(xùn)練的設(shè)計(jì)包括調(diào)用托管于Hugging Face平臺(tái)的或是商業(yè)的大語(yǔ)言模型的應(yīng)用程序接口進(jìn)行二次開(kāi)發(fā),也涉及利用如LangChain等技術(shù)框架構(gòu)建包含更多功能的應(yīng)用程序等等。

    第五單元旨在深入探索LLM迅速發(fā)展帶來(lái)的社會(huì)影響和倫理議題。通過(guò)跟蹤由LLM的濫用、誤用或惡意使用等行為導(dǎo)致的負(fù)面社會(huì)事件,將這些事件與LLM的技術(shù)細(xì)節(jié)和應(yīng)用方式相結(jié)合,引導(dǎo)學(xué)生思考各種社會(huì)事件背后的倫理知識(shí)。學(xué)生通過(guò)一系列交互式學(xué)習(xí)資源深入探究訓(xùn)練數(shù)據(jù)集中的隱私泄露、模型輸出的偏見(jiàn)與有毒內(nèi)容、以及由于模型幻覺(jué)而導(dǎo)致的不良后果。本單元也將教學(xué)內(nèi)容適當(dāng)延伸至開(kāi)發(fā)者的視角,促使學(xué)生理解包括常見(jiàn)的LLM應(yīng)用攻擊模式,如注入提示攻擊等,從而逐步建立起應(yīng)用程序的隱私保護(hù)機(jī)制以及如何控制LLM的偏見(jiàn)內(nèi)容輸出等方面的認(rèn)識(shí)。

    (二)“LLM 4 Kids”的設(shè)計(jì)

    為有效支持示范課程教學(xué)的開(kāi)展,需要一個(gè)專門的輔助學(xué)習(xí)平臺(tái)——LLM 4 Kids。該平臺(tái)的設(shè)計(jì)考慮了人機(jī)協(xié)同教學(xué)的需求,并致力于為學(xué)生提供豐富的學(xué)習(xí)資源和交互式工具,支持他們?cè)谡n程中掌握LLM的基本原理和應(yīng)用技能。需要說(shuō)明的是,LLM 4 Kids平臺(tái)目前仍處于開(kāi)發(fā)階段,論文中僅展示支持《面向LLM的提示與評(píng)估》單元的提示工程模塊的設(shè)計(jì)與實(shí)現(xiàn)思路。如圖4所示為平臺(tái)的提示工程模塊具體技術(shù)路線圖:

    首先,學(xué)習(xí)平臺(tái)通過(guò)后臺(tái)代理服務(wù),向?qū)W習(xí)者提供可正常訪問(wèn)的大語(yǔ)言模型API,如gpt-3.5-turbo等,使學(xué)習(xí)者能夠直接與大語(yǔ)言模型進(jìn)行交互,進(jìn)行提示策略的學(xué)習(xí)和實(shí)踐。例如,學(xué)生可以利用基于最少到最多的提示策略完成實(shí)踐活動(dòng),或利用思維鏈提示解決較為復(fù)雜的推理實(shí)驗(yàn)任務(wù)等。

    其次,該實(shí)驗(yàn)環(huán)境也可以跟蹤記錄師生在教學(xué)過(guò)程中的數(shù)據(jù)(如學(xué)習(xí)者在特定任務(wù)中向大語(yǔ)言模型發(fā)送的提示文本以及得到的返回內(nèi)容等),并在LLM的輔助下進(jìn)行評(píng)價(jià)。通過(guò)如Perspective API(生成文本的毒性檢測(cè)的應(yīng)用程序接口)對(duì)LLM的輸出內(nèi)容進(jìn)行檢測(cè),評(píng)估生成內(nèi)容是否存在偏見(jiàn)或歧視性內(nèi)容;也可以通過(guò)調(diào)用GPT-4的模型接口對(duì)使用gpt-3.5-turbo模型生成的文本內(nèi)容的質(zhì)量進(jìn)行評(píng)價(jià);以及使用LLM對(duì)學(xué)習(xí)者撰寫的提示文本質(zhì)量進(jìn)行評(píng)估等。此外,這些過(guò)程性數(shù)據(jù)的跟蹤的實(shí)現(xiàn)需要結(jié)合預(yù)先開(kāi)發(fā)的評(píng)估模塊,通過(guò)一些輕量級(jí)功能實(shí)現(xiàn)學(xué)習(xí)者學(xué)習(xí)過(guò)程的情感識(shí)別、過(guò)程數(shù)據(jù)轉(zhuǎn)換為SQL語(yǔ)句輸出和文本數(shù)據(jù)結(jié)構(gòu)化處理等。

    最后,提示工程實(shí)驗(yàn)環(huán)境需要與課程教學(xué)資源結(jié)合,平臺(tái)從開(kāi)源項(xiàng)目管理平臺(tái)、在線網(wǎng)站以及電子文獻(xiàn)數(shù)據(jù)庫(kù)中獲得部分電子資源,如LLM基礎(chǔ)原理文檔、API調(diào)用開(kāi)發(fā)的教學(xué)視頻和模型的預(yù)訓(xùn)練數(shù)據(jù)集等。然后通過(guò)篩選過(guò)濾,選擇合適的內(nèi)容重新編排,形成能夠應(yīng)用于提示教學(xué)的資源。

    (三)單元演示案例:《LLM的提示與評(píng)估》

    為進(jìn)一步解釋LLM背景下青少年AI教育的變化,本研究將選取示范課程中的《面向LLM的提示與評(píng)估》單元內(nèi)容作為案例,演示如何利用LLM 4 Kids平臺(tái)的提示工程實(shí)驗(yàn)?zāi)K進(jìn)行人機(jī)協(xié)同教學(xué)。需要說(shuō)明的是,圍繞“提示”產(chǎn)生的學(xué)習(xí)內(nèi)容在大語(yǔ)言模型的知識(shí)體系中占據(jù)了重要的位置。正如上文所述,面向公眾的LLM教育中圍繞提示設(shè)置了多樣的課程,覆蓋了多個(gè)場(chǎng)景的用例;在編程教育的領(lǐng)域,自然語(yǔ)言提示的準(zhǔn)確度也將影響LLM生成代碼或解釋的有效性;LLM輔助學(xué)習(xí)平臺(tái)中也出現(xiàn)了不少針對(duì)提示文本優(yōu)化、調(diào)試的平臺(tái)工具。

    提示學(xué)習(xí)在LLM學(xué)習(xí)中的重要性體現(xiàn)在以下幾個(gè)方面:首先,大語(yǔ)言模型的使用依賴高質(zhì)量的自然語(yǔ)言提示:LM可用于通過(guò)零樣本提示(Zero-shot Prompting)解決廣泛的臨時(shí)任務(wù)(Ad-hoc Task),但具有不同措辭、風(fēng)格的提示語(yǔ)句會(huì)導(dǎo)致模型輸出準(zhǔn)確性的差異,公眾需要學(xué)會(huì)利用不同的提示策略來(lái)提高與LLM交互的質(zhì)量[49]。其次,提示工程也將影響LLM應(yīng)用開(kāi)發(fā)的效果。在應(yīng)用開(kāi)發(fā)的實(shí)踐場(chǎng)景中,一系列提示語(yǔ)句組成的提示模板將按特定序列與LLM交互,決定著各類自動(dòng)化應(yīng)用程序的交互質(zhì)量與穩(wěn)定性[50]。最后,提示學(xué)習(xí)也是理解LLM應(yīng)用倫理的關(guān)鍵。圍繞提示產(chǎn)生的如注入提示攻擊、深度造假內(nèi)容制作等倫理風(fēng)險(xiǎn)引起了社會(huì)各界的高度重視[51],提示學(xué)習(xí)也是理解這些風(fēng)險(xiǎn)以及形成應(yīng)對(duì)策略的重要內(nèi)容。

    基于上述認(rèn)識(shí),提示學(xué)習(xí)在高中階段的青少年AI課程中需要引起重視。學(xué)生在掌握提示技能后,不僅可以在不同學(xué)科和實(shí)際生活中學(xué)會(huì)如何有效應(yīng)用LLM,也會(huì)對(duì)LLM相關(guān)的知識(shí)建立初步的認(rèn)識(shí);同時(shí),提示工程涉及到復(fù)雜的問(wèn)題解決和創(chuàng)新思考,這有助于培養(yǎng)學(xué)生的計(jì)算思維能力。通過(guò)學(xué)習(xí)如何優(yōu)化和調(diào)整提示,學(xué)生將學(xué)會(huì)抽象思維、邏輯推理和解決問(wèn)題的方法。此外,提示工程的實(shí)際應(yīng)用如生成創(chuàng)意內(nèi)容、提供智能建議等貼近學(xué)生生活情境的應(yīng)用場(chǎng)景更易吸引學(xué)生興趣。將這些引人入勝的應(yīng)用納入教學(xué)活動(dòng),能夠激發(fā)學(xué)生學(xué)習(xí)LLM的興趣和參與度。

    因此,在此基礎(chǔ)上,《LLM的提示與評(píng)估》的教學(xué)可以有以下幾個(gè)目標(biāo),包括讓學(xué)生理解提示的基本概念和術(shù)語(yǔ);通過(guò)實(shí)踐活動(dòng),讓學(xué)生掌握優(yōu)化和改進(jìn)提示的技能;通過(guò)團(tuán)隊(duì)合作,培養(yǎng)學(xué)生的創(chuàng)造力和問(wèn)題解決能力;以及使用學(xué)習(xí)平臺(tái)的評(píng)價(jià)功能,對(duì)學(xué)生的學(xué)習(xí)成果進(jìn)行評(píng)估并提供反饋?;诖耍梢詫⒔虒W(xué)分為以下幾個(gè)階段:

    階段一,介紹基本概念。通過(guò)使用平臺(tái)的課程資源建設(shè)板塊,教師可以向?qū)W生介紹提示的基本概念,使學(xué)生熟悉相關(guān)術(shù)語(yǔ),如“提示”“思維鏈”“零樣本/少樣本”等。教師可以通過(guò)平臺(tái)的提示實(shí)驗(yàn)環(huán)境,向?qū)W生展示一個(gè)簡(jiǎn)單的提示,如“告訴我一些健康的水果”,并解釋這個(gè)提示如何導(dǎo)向不同的LLM生成類似“蘋果、香蕉”等的回應(yīng)。

    階段二,動(dòng)手實(shí)踐活動(dòng)。這些實(shí)踐活動(dòng)按教學(xué)目的可以分為對(duì)提示的分析、提示的優(yōu)化和小組協(xié)作設(shè)計(jì)提示三類。首先,學(xué)生使用提示工程實(shí)驗(yàn)環(huán)境分析不同的提示,討論它們?cè)贚LM所需輸出方面的有效性。例如,學(xué)生可以比較“告訴我一些健康的食物”與“列出五種富含維生素C的水果”的兩種提示的效果;其次,教師可以介紹適用于LLM的提示模板,學(xué)生可以利用這些模板優(yōu)化原有的提示。例如,在思維鏈提示的模板中,學(xué)生可以嘗試?yán)昧銟颖舅季S鏈提示進(jìn)行優(yōu)化,將“告訴我一些健康的食物”優(yōu)化為“告訴我一些可以幫助青少年提高免疫力的水果。請(qǐng)一步步思考”。最后,教師可將學(xué)生分為小組,并為每一組分配一個(gè)特定的任務(wù)或領(lǐng)域,每組學(xué)生使用平臺(tái)創(chuàng)建和優(yōu)化對(duì)其分配任務(wù)的提示,例如,一組學(xué)生可負(fù)責(zé)創(chuàng)建關(guān)于健康飲食的提示,另一組可專注于環(huán)保主題。

    階段三,交互和評(píng)估。如圖5所示為提示工程模塊為學(xué)生在交互過(guò)程中的評(píng)估策略。平臺(tái)允許學(xué)生使用提示工程實(shí)驗(yàn)環(huán)境板塊與LLM應(yīng)用(類似ChatGPT)交互,并使用自己設(shè)計(jì)的提示進(jìn)行實(shí)驗(yàn)。在此過(guò)程中,平臺(tái)的教學(xué)評(píng)價(jià)板塊將收集學(xué)生在實(shí)踐過(guò)程中的數(shù)據(jù),對(duì)提示文本和模型生成的響應(yīng)進(jìn)行評(píng)估,學(xué)生可以根據(jù)評(píng)價(jià)結(jié)果調(diào)整和改進(jìn)各自的提示。

    階段四,反思與應(yīng)用。在這一階段,學(xué)生被鼓勵(lì)反思他們?cè)谇懊骐A段學(xué)到的知識(shí)和技能,并探討如何將這些應(yīng)用于現(xiàn)實(shí)生活中的問(wèn)題解決。在此過(guò)程中,教師可以組織一個(gè)分享會(huì),讓學(xué)生展示他們的利用提示策略完成的實(shí)踐項(xiàng)目,并分享他們?cè)趦?yōu)化提示時(shí)所遇到的挑戰(zhàn)以及如何克服這些挑戰(zhàn)的策略與經(jīng)驗(yàn)。教師可以引導(dǎo)學(xué)生思考如何將所學(xué)的提示技術(shù)應(yīng)用于日常生活和學(xué)習(xí)中。例如,學(xué)生可以探討如何使用提示技術(shù)來(lái)幫助他們?cè)趯W(xué)習(xí)上取得進(jìn)步,或者如何用它來(lái)解決生活中的實(shí)際問(wèn)題。

    上述教學(xué)活動(dòng)僅列出教學(xué)的關(guān)鍵階段。通過(guò)這種結(jié)構(gòu)化的教學(xué)活動(dòng),學(xué)生將在理論和實(shí)踐中獲得提示工程的全面理解,進(jìn)而培養(yǎng)他們的批判性思維、創(chuàng)造力和合作能力;同時(shí),學(xué)習(xí)平臺(tái)的評(píng)價(jià)功能則確保學(xué)生能夠收到有關(guān)他們的進(jìn)步和成果的有價(jià)值的反饋。需要額外說(shuō)明的是,本案例解釋對(duì)LLM背景下的人機(jī)協(xié)同教學(xué)的探索僅僅是初步嘗試。教學(xué)片段的展示主要關(guān)注了學(xué)生的參與方式,而對(duì)教師的要求和能力的變化尚未深入考慮。在實(shí)際應(yīng)用中,教師的角色和能力是至關(guān)重要的。他們需要具備一定的技術(shù)背景,以理解和有效地教授提示工程的概念。此外,教師還需要適應(yīng)新的人機(jī)協(xié)同教學(xué)模式,并能夠處理與大語(yǔ)言模型相關(guān)的復(fù)雜問(wèn)題。

    五、結(jié)語(yǔ)

    隨著技術(shù)發(fā)展與社會(huì)影響之間的耦合變得越來(lái)越緊密,技術(shù)、社會(huì)、經(jīng)濟(jì)、文化等因素相互交織,正共同影響個(gè)體對(duì)技術(shù)的理解與應(yīng)用的方式。正如克勞德·施瓦布在其《第四次工業(yè)革命》中所強(qiáng)調(diào)[52],我們正處于一個(gè)由人工智能、機(jī)器學(xué)習(xí)和其他數(shù)字技術(shù)所推動(dòng)的快速變革時(shí)代。大語(yǔ)言模型的快速發(fā)展印證了這一點(diǎn):在這類先進(jìn)的AI系統(tǒng)迅速影響人類各個(gè)生存領(lǐng)域的背景下,要使青少年能快速適應(yīng)不斷變化的未來(lái)生存世界,需要對(duì)基礎(chǔ)教育階段的AI教育進(jìn)行實(shí)質(zhì)性的改革。

    為此快速響應(yīng)大語(yǔ)言模型發(fā)展對(duì)AI教育的沖擊,本研究的首要目標(biāo)是開(kāi)發(fā)一個(gè)面向大語(yǔ)言模型的新課程架構(gòu)。這一課程架構(gòu)包括內(nèi)容框架、人機(jī)協(xié)同教學(xué)以及LLM輔助學(xué)習(xí)平臺(tái)三個(gè)維度,其特色之處在于:(1)建構(gòu)了一個(gè)相互關(guān)聯(lián)、層層遞進(jìn)的LLM課程內(nèi)容框架,內(nèi)容框架涉及了八個(gè)核心知識(shí)模塊,能夠滿足不同學(xué)段青少年的學(xué)習(xí)需求;(2)形成了一個(gè)能將LLM嵌入至AI課程教學(xué)的人機(jī)協(xié)同教學(xué)模式;(3)根據(jù)課程內(nèi)容框架、人機(jī)協(xié)同教學(xué)的特點(diǎn),提出了一個(gè)包含資源、實(shí)驗(yàn)、評(píng)估和數(shù)據(jù)四個(gè)核心功能模塊的LLM輔助學(xué)習(xí)平臺(tái)的實(shí)現(xiàn)思路。與此同時(shí),在學(xué)科核心素養(yǎng)的引領(lǐng)下,本研究也指出了教學(xué)活動(dòng)設(shè)計(jì)與課程架構(gòu)的契合之處。

    本研究的另一個(gè)核心目標(biāo)是為一線教師提供參考指南,以設(shè)計(jì)和實(shí)施面向大語(yǔ)言模型的人工智能課程。通過(guò)展示一個(gè)具體的高中示范課程和單元案例,本研究揭示了如何利用自主開(kāi)發(fā)的LLM輔助學(xué)習(xí)平臺(tái)“LLM 4 Kids”開(kāi)展人機(jī)協(xié)同的教學(xué)活動(dòng)。然而,值得注意的是,本文開(kāi)發(fā)的課程案例僅是初步的小規(guī)模應(yīng)用。為了全面評(píng)估這一課程架構(gòu)的效果,有必要在未來(lái)研究中針對(duì)不同學(xué)段和地區(qū)的推進(jìn)情況進(jìn)行深入分析,不斷評(píng)估課程的適用性、學(xué)生的核心素養(yǎng)培育情況以及教師的適應(yīng)程度。

    需要額外指出,本研究也提供了LLM輔助開(kāi)發(fā)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)方式,但主要聚焦于提示工程實(shí)驗(yàn)?zāi)K。未來(lái)的研究需進(jìn)一步開(kāi)發(fā)“LLM 4 Kids”平臺(tái)以有效整合AI編程輔助教育模塊,使學(xué)生在掌握LLM應(yīng)用方式的同時(shí),能夠更加有效地利用這些技術(shù)來(lái)解決復(fù)雜的編程問(wèn)題。

    參考文獻(xiàn):

    [1] OpenAI.GPT-4 Technical Report [EB/OL].https://arxiv.org/ abs/2303.08774,2023-06-01.

    [2] Tom B.Brown,Benjamin Mann,et al.Language models are fewshot learners [J].Advances in Neural Information Processing Systems,2020,33:1877-1901.

    [3] Luciano Floridi,Massinmo Chiriatti.GPT-3:Its nature,scope,limits,and consequences [J].Minds and Machines,2020,30(4):681-694.

    [4][25] Paul Denny,James Prather,et al.Computing Education in the Era of Generative AI [EB/OL].https://arxiv.org/abs/2306.02608,2023-06-15.

    [5] Roberto Navigli,Simone Conia,et al.Biases in Large Language Models:Origins,Inventory and Discussion [J].ACM Journal of Data and Information Quality,2023,15(2):1-21.

    [6][19][24] Brett A.Becker,Paul Denny,et al.Programming is hard-or at least it used to be:Educational opportunities and challenges of AI code generation [A]. Maureen Doyle.Proceedings of the 54th ACM Technical Symposium on Computer Science Education [C].New York:Association for Computing Machinery,2023.500-506.

    [7] U.S.National Science Foundation.Rapidly Accelerating Research in Artificial Intelligence [EB/OL].https://new.nsf.gov/funding/opportunities/ rapidly-accelerating-research-artificial,2023-06-01.

    [8] AI Singapore.AI Singapore Educators [EB/OL].https://learn.aisingapore. org/educators/#goes-to-school,2023-06-01.

    [9] 熊璋,李正福.義務(wù)教育階段信息科技課程建設(shè)路徑研究[J].中國(guó)電化教育,2023,(1):127-132.

    [10] 中小學(xué)人工智能課程指南課題組,江波.中小學(xué)人工智能課程指南[J].華東師范大學(xué)學(xué)報(bào)(教育科學(xué)版),2023,41(3):121-134.

    [11] Edx.Search Results for “chatgpt” [EB/OL].https://www.edx.org/search q= chatgpttab=course,2023-06-01.

    [12] Coursera.prompt-engineering [EB/OL].https://www.coursera.org/learn/ prompt-engineering,2023-06-01.

    [13][39] DeepLearning.AI.Short Courses [EB/OL].https://www.deeplearning.ai/short-courses/,2023-06-01.

    [14] Princeton University.COS 597G:Advanced Topics in Computer Science:Generative Models [EB/OL].https://www.cs.princeton.edu/courses/ archive/fall22/cos597G/,2023-06-01.

    [15] Stanford University.CS224N:Natural Language Processing with Deep Learning [EB/OL].https://web.stanford.edu/class/cs224n/index. html#schedule,2023-06-01.

    [16] Carnegie Mellon University.Generative AI Events [EB/OL].https://www. cs.cmu.edu/generative-ai/events,2023-06-01.

    [17] ETH Zürich.LLM S23:Large Language Models [EB/OL].https://rycolab.io/ classes/llm-s23/,2023-06-01.

    [18] Enkelejda Kasneci,Kathrin Se ler,et al.ChatGPT for good On opportunities and challenges of large language models for education [EB/OL]. https://doi.org/10.1016/j.lindif.2023.102274,2023-03-01.

    [20] Brett A.Becker,Keith Quille.50 years of CS1 at SIGCSE:A review of the evolution of introductory programming education research [A].Elizabeth K.Hawthorne.Proceedings of the 50th ACM technical symposium on computer science education [C].New York:Association for Computing Machinery,2019.338-344.

    [21] James Finnie-Ansley,Paul Denny,et al.The robots are coming:Exploring the implications of OpenAI Codex on introductory programming [A].Judy Sheard. Proceedings of the 24th Australasian Computing Education Conference [C]. New York:Association for Computing Machinery,2022.10-19.

    [22] Andreas Stefik,Susanna Siebert.An empirical investigation into programming language syntax [J].ACM Transactions on Computing Education,2013,13(4):1-40.

    [23] Yujia Li,David H.Choi,et al.Competition-level code generation with AlphaCode [J].Science,2022,378(6624):1092-1097.

    [26] James Prather,Brent N.Reeves,et al.”It’s Weird That it Knows What I Want”:Usability and Interactions with Copilot for Novice Programmers [J]. ACM Transactions on Computer-Human Interaction,2023,31(1):1-31.

    [27] Sami Sarsa,Paul Denny,et al.Automatic generation of programming exercises and code explanations using large language models [A].Jan Vahrenhold.Proceedings of the 2022 ACM Conference on International Computing Education Research [C].New York:Association for Computing Machinery,2022.27-43.

    [28] Stephen MacNeil,Andrew Tran,et al.Generating diverse code explanations using the GPT-3 large language model [A].Jan Vahrenhold.Proceedings of the 2022 ACM Conference on International Computing Education Research [C].New York:Association for Computing Machinery,2022.37-39.

    [29] Edwin M.Knorr.Reforming a Database Course to Address Cognitive Load by Using Worked Examples [A].Ben Stephenson.Proceedings of the Western Canadian Conference on Computing Education [C].New York:Association for Computing Machinery,2019.1-6.

    [30] Anna Eckerdal,Michael Thuné.Novice Java programmers’ conceptions of “object” and “class”,and variation theory [A].Jose Cunha.Proceedings of the 10th annual SIGCSE conference on Innovation and technology in computer science education [C].New York:Association for Computing Machinery,2005.89-93.

    [31] Roberto Minelli,Andrea Mocci,et al.I know what you did last summer-an investigation of how developers spend their time [A].Andrea D.Lucia.2015 IEEE 23rd international conference on program comprehension [C].Los Alamitos:Wiley-IEEE Computer Society Press,2015.25-35.

    [32][49] Errol Thompson,Jacqueline L.Whalley,et al.Code classification as a learning and assessment exercise for novice programmers [EB/OL].https:// cseweb.ucsd.edu/~bsimon/pubs/papers/NACCQQ11analysisPaperFinal. pdf,2023-06-01.

    [33] 本刊編輯,張絨.生成式人工智能技術(shù)對(duì)教育領(lǐng)域的影響——關(guān)于ChatGPT的專訪[J].電化教育研究,2023,44(2):5-14.

    [34] OpenAI.GPTPlayground [EB/OL].https://platform.openai.com/ playground,2023-06-01.

    [35] Hendrik Strobelt,Albert Webson,et al.Interactive and visual prompt engineering for ad-hoc task adaptation with large language models [J].IEEE transactions on visualization and computer graphics,2022,29(1):1146-1156.

    [36] Shizhe Diao,Pengcheng Wang,et al.Active prompting with chainof-thought for large language models [EB/OL].https://arxiv.org/ abs/2302.12246,2023-06-15.

    [37] Jiacheng Liu,Alisa Liu,et al.Generated knowledge prompting for commonsense reasoning [EB/OL].https://arxiv.org/abs/2110.08387,2023-06-15.

    [38] Denny Zhou,Nathanael Sch rli,et al.Least-to-most prompting enables complex reasoning in large language models [EB/OL].https://arxiv.org/ abs/2205.10625,2023-06-15.

    [40] Langflow.Project Langflow [EB/OL].https://pypi.org/project/ langflow/,2023-06-01.

    [41] Flowise AI.Flowise AI [EB/OL].https://flowiseai.com/,2023-06-01.

    [42] DUST.Document Understanding and Synthesis Toolkit [EB/OL].https:// dust.tt/,2023-06-01.

    [43] Hugging Face.Hugging Face [EB/OL].https://huggingface.co/,2023-06-01.

    [44] H2O.ai.H2O Documentation [EB/OL].https://docs.h2o.ai/,2023-06-01.

    [45] Tianjia Wang,Daniel Vargas-Diaz,et al.Exploring the Role of AI Assistants in Computer Science Education:Methods,Implications,and Instructor Perspectives [EB/OL].https://arxiv.org/abs/2306.03289,2023-06-15.

    [46] 熊璋,趙健等.義務(wù)教育階段信息科技課程的時(shí)代性與科學(xué)性——《義務(wù)教育信息科技課程標(biāo)準(zhǔn)(2022年版)》解讀[J].教師教育學(xué)報(bào),2022,9(4):63-69.

    [47] 梁云真,劉瑞星等.中小學(xué)“人工智能+X”跨學(xué)科融合教學(xué):理論框架與實(shí)踐策略[J].電化教育研究,2022,43(10):94-101.

    [48] 宿慶,張文蘭等.面向高中生計(jì)算思維培養(yǎng)的信息技術(shù)課程項(xiàng)目式學(xué)習(xí)研究[J].電化教育研究,2022,43(8):109-115+122.

    [50] Pengfei Liu,Weizhe Yuan,et al.Pre-train,prompt,and predict:A systematic survey of prompting methods in natural language processing [J].ACM Computing Surveys,2023,55(9):1-35.

    [51] Fabio Perez,Ian Ribeiro.Ignore previous prompt:Attack techniques for language models [EB/OL].https://arxiv.org/abs/2211.09527,2023-06-15.

    [52] [瑞士]克勞德·施瓦布.李菁譯.第四次工業(yè)革命:轉(zhuǎn)型的力量[M].北京:中信出版社,2016.

    作者簡(jiǎn)介:

    褚樂(lè)陽(yáng):在讀博士,研究方向?yàn)槿斯ぶ悄芙逃?、?jì)算機(jī)支持的協(xié)作學(xué)習(xí)、共享調(diào)節(jié)學(xué)習(xí)理論。

    王浩:在讀碩士,研究方向?yàn)槿斯ぶ悄芙逃?、?jì)算機(jī)支持的協(xié)作學(xué)習(xí)、共享調(diào)節(jié)學(xué)習(xí)理論。

    陳向東:教授,博士,學(xué)部副主任,研究方向?yàn)槿斯ぶ悄芙逃?、?jì)算機(jī)支持的協(xié)作學(xué)習(xí)、共享調(diào)節(jié)學(xué)習(xí)理論。

    AI Education for Young Learners with a Focus on Large Language Models

    Chu Leyang, Wang Hao, Chen Xiangdong

    Department of Educational Information Technology, East China Normal University, Shanghai 200062

    Abstract: Large Language Models (LLMs), as cutting-edge AI technologies, are having a profound impact on human life, which is excel in handling vast volumes of text data and play a significant role in natural language processing, compared to traditional AI. The rapid advancement of LLMs has noticeably influenced AI education in terms of curriculum content, teaching methodologies, and learning platforms. This change necessitates the modernization of AI education for young students. Addressing this need, the study develops a youth AI curriculum framework targeting LLMs, encompassing content structure, LLM-based teaching strategies, and an LLM-aided learning platform. Moreover, it dives into how to align this curriculum closely with disciplinary core literacy through innovative instructional design. Using this framework, a high school LLM demonstration course was designed and developed, with a focus on showcasing human-computer collaborative learning through a proprietary platform named LLM 4 Kids. An exemplary unit from the course, titled Prompting and Evaluating with LLMs, illustrates the effective application and integration of LLM technologies in teaching. By offering an LLM-focused AI curriculum framework for youth, alongside an illustrative case, this study provides AI educators with a structural guide and practical insights, facilitating the introduction of large language model into primary and secondary education. This endeavor is instrumental in preparing young students for the fast-paced evolution of AI.

    Keywords: Large Language Models; AI curriculum; human-computer collaboration; LLM 4 Kids

    責(zé)任編輯:李雅瑄

    猜你喜歡
    人工智能語(yǔ)言模型
    一半模型
    重要模型『一線三等角』
    重尾非線性自回歸模型自加權(quán)M-估計(jì)的漸近分布
    語(yǔ)言是刀
    文苑(2020年4期)2020-05-30 12:35:30
    2019:人工智能
    商界(2019年12期)2019-01-03 06:59:05
    人工智能與就業(yè)
    讓語(yǔ)言描寫搖曳多姿
    數(shù)讀人工智能
    小康(2017年16期)2017-06-07 09:00:59
    累積動(dòng)態(tài)分析下的同聲傳譯語(yǔ)言壓縮
    3D打印中的模型分割與打包
    狠狠精品人妻久久久久久综合| 国产一区二区在线观看av| 成人漫画全彩无遮挡| 一本大道久久a久久精品| 成人二区视频| 国产精品不卡视频一区二区| 亚洲精品久久久久久婷婷小说| 亚洲av福利一区| 咕卡用的链子| 欧美 日韩 精品 国产| 亚洲,欧美精品.| 日韩一本色道免费dvd| 各种免费的搞黄视频| 亚洲精品av麻豆狂野| 久久人人爽人人片av| 国产淫语在线视频| 久久久亚洲精品成人影院| 在线观看三级黄色| 亚洲av免费高清在线观看| 国产日韩欧美亚洲二区| 免费女性裸体啪啪无遮挡网站| 精品一区二区三区四区五区乱码 | 欧美激情极品国产一区二区三区| 91aial.com中文字幕在线观看| 国产片内射在线| 欧美日韩av久久| 欧美在线黄色| av网站免费在线观看视频| av又黄又爽大尺度在线免费看| 亚洲国产欧美网| 熟妇人妻不卡中文字幕| 夫妻性生交免费视频一级片| av免费在线看不卡| 欧美国产精品va在线观看不卡| 精品人妻一区二区三区麻豆| 大陆偷拍与自拍| 看非洲黑人一级黄片| 日本av手机在线免费观看| 性色av一级| 18禁国产床啪视频网站| 一区在线观看完整版| 亚洲情色 制服丝袜| 亚洲欧美日韩另类电影网站| 成人午夜精彩视频在线观看| 日韩一本色道免费dvd| www.精华液| 中文乱码字字幕精品一区二区三区| 久久久久久久亚洲中文字幕| 美女大奶头黄色视频| 2018国产大陆天天弄谢| 9191精品国产免费久久| 一级毛片我不卡| 最黄视频免费看| 只有这里有精品99| 哪个播放器可以免费观看大片| 欧美人与性动交α欧美精品济南到 | 香蕉丝袜av| 美女大奶头黄色视频| 日本午夜av视频| 国产97色在线日韩免费| 黑人猛操日本美女一级片| 免费观看性生交大片5| 高清欧美精品videossex| 欧美日韩av久久| 在线亚洲精品国产二区图片欧美| 国产色婷婷99| 免费大片黄手机在线观看| av网站免费在线观看视频| 久久这里只有精品19| 毛片一级片免费看久久久久| 免费黄频网站在线观看国产| 天天操日日干夜夜撸| 午夜激情久久久久久久| 三级国产精品片| a级片在线免费高清观看视频| 超色免费av| 精品第一国产精品| 欧美成人午夜免费资源| 大话2 男鬼变身卡| 中国国产av一级| 日韩一区二区三区影片| 国产精品二区激情视频| 色婷婷av一区二区三区视频| 日日爽夜夜爽网站| 国产乱来视频区| 亚洲精品久久成人aⅴ小说| 日本免费在线观看一区| 搡女人真爽免费视频火全软件| 观看美女的网站| 水蜜桃什么品种好| 免费少妇av软件| 亚洲第一区二区三区不卡| 精品一区二区免费观看| 亚洲精品av麻豆狂野| 美女视频免费永久观看网站| 午夜福利乱码中文字幕| 永久网站在线| 亚洲av男天堂| 午夜福利视频精品| 成人二区视频| 宅男免费午夜| 天堂中文最新版在线下载| 日本色播在线视频| 免费不卡的大黄色大毛片视频在线观看| 久久人人爽av亚洲精品天堂| av国产久精品久网站免费入址| 亚洲欧美精品自产自拍| 如日韩欧美国产精品一区二区三区| 日韩大片免费观看网站| 国产免费视频播放在线视频| 成人二区视频| 欧美激情 高清一区二区三区| 国产有黄有色有爽视频| 国产极品粉嫩免费观看在线| 成人影院久久| 下体分泌物呈黄色| 丝袜人妻中文字幕| 成年人免费黄色播放视频| 在线看a的网站| 亚洲欧美成人综合另类久久久| 亚洲欧洲日产国产| 午夜日韩欧美国产| 免费看av在线观看网站| 成年动漫av网址| 看免费成人av毛片| 永久网站在线| av福利片在线| av天堂久久9| 性色avwww在线观看| 亚洲精品在线美女| 高清视频免费观看一区二区| 九草在线视频观看| 大话2 男鬼变身卡| 爱豆传媒免费全集在线观看| 我的亚洲天堂| 侵犯人妻中文字幕一二三四区| 久久婷婷青草| 日韩av在线免费看完整版不卡| 日韩三级伦理在线观看| 久久青草综合色| 免费在线观看视频国产中文字幕亚洲 | 免费播放大片免费观看视频在线观看| 免费av中文字幕在线| 黄色毛片三级朝国网站| 少妇 在线观看| 91成人精品电影| 伦精品一区二区三区| 亚洲国产精品一区二区三区在线| 久久精品国产自在天天线| 欧美少妇被猛烈插入视频| 卡戴珊不雅视频在线播放| 国产无遮挡羞羞视频在线观看| 成人亚洲精品一区在线观看| 欧美另类一区| 亚洲精品一区蜜桃| 最新的欧美精品一区二区| av国产精品久久久久影院| 极品少妇高潮喷水抽搐| 欧美日韩成人在线一区二区| 国产免费一区二区三区四区乱码| 日韩在线高清观看一区二区三区| 菩萨蛮人人尽说江南好唐韦庄| www日本在线高清视频| 赤兔流量卡办理| 婷婷色综合大香蕉| 午夜福利影视在线免费观看| 人妻 亚洲 视频| 日本av免费视频播放| 精品国产国语对白av| 精品视频人人做人人爽| 制服诱惑二区| 国产精品嫩草影院av在线观看| 18+在线观看网站| 婷婷色综合大香蕉| 国产 精品1| 国产探花极品一区二区| 午夜激情久久久久久久| 久久久久久人人人人人| 亚洲第一区二区三区不卡| 国产日韩一区二区三区精品不卡| 一个人免费看片子| 日韩中字成人| 最近的中文字幕免费完整| www.av在线官网国产| 久久久久国产一级毛片高清牌| 三级国产精品片| 夫妻性生交免费视频一级片| 国产人伦9x9x在线观看 | 亚洲成国产人片在线观看| 精品少妇一区二区三区视频日本电影 | 国产日韩欧美在线精品| 一区在线观看完整版| 春色校园在线视频观看| 欧美人与善性xxx| 18禁裸乳无遮挡动漫免费视频| 一级黄片播放器| 国产精品一区二区在线观看99| 免费久久久久久久精品成人欧美视频| 免费黄网站久久成人精品| 天天操日日干夜夜撸| 91在线精品国自产拍蜜月| 免费黄频网站在线观看国产| 国产精品一国产av| 春色校园在线视频观看| 美女高潮到喷水免费观看| 又粗又硬又长又爽又黄的视频| 婷婷色av中文字幕| 香蕉丝袜av| 亚洲综合色网址| 精品久久久精品久久久| 久久久久精品人妻al黑| 少妇人妻 视频| 日日爽夜夜爽网站| 国产午夜精品一二区理论片| 日韩大片免费观看网站| 熟妇人妻不卡中文字幕| 黄片无遮挡物在线观看| 中文乱码字字幕精品一区二区三区| 亚洲在久久综合| 少妇的丰满在线观看| 另类精品久久| 91午夜精品亚洲一区二区三区| 国产成人a∨麻豆精品| 国产av一区二区精品久久| 日韩不卡一区二区三区视频在线| 热re99久久精品国产66热6| 久久人妻熟女aⅴ| 精品少妇久久久久久888优播| 天天影视国产精品| 少妇被粗大猛烈的视频| 日韩一区二区三区影片| 中文字幕人妻丝袜制服| 久久久久久久久免费视频了| 成人午夜精彩视频在线观看| 亚洲av男天堂| 欧美 日韩 精品 国产| 成人毛片a级毛片在线播放| 高清不卡的av网站| 考比视频在线观看| 自拍欧美九色日韩亚洲蝌蚪91| 蜜桃国产av成人99| 永久免费av网站大全| 啦啦啦视频在线资源免费观看| 日韩欧美一区视频在线观看| 最黄视频免费看| 欧美精品亚洲一区二区| 亚洲第一区二区三区不卡| av国产精品久久久久影院| 亚洲精品久久成人aⅴ小说| 国产麻豆69| 亚洲三区欧美一区| 午夜福利网站1000一区二区三区| 国产免费视频播放在线视频| 免费在线观看完整版高清| 久久久久久久亚洲中文字幕| 日本vs欧美在线观看视频| 热re99久久精品国产66热6| 久久99一区二区三区| 免费观看无遮挡的男女| 热99久久久久精品小说推荐| 午夜久久久在线观看| 中文字幕亚洲精品专区| 90打野战视频偷拍视频| 久久精品国产鲁丝片午夜精品| 另类亚洲欧美激情| 大香蕉久久成人网| av国产精品久久久久影院| 亚洲精品一区蜜桃| 欧美精品一区二区大全| 十分钟在线观看高清视频www| 丝袜美足系列| 久久精品国产鲁丝片午夜精品| 欧美最新免费一区二区三区| 可以免费在线观看a视频的电影网站 | 男人操女人黄网站| 一二三四中文在线观看免费高清| 亚洲av在线观看美女高潮| av.在线天堂| √禁漫天堂资源中文www| 天堂俺去俺来也www色官网| 亚洲精品美女久久av网站| 精品国产一区二区久久| 亚洲国产欧美网| 久久久久久久亚洲中文字幕| av网站免费在线观看视频| 啦啦啦视频在线资源免费观看| 亚洲视频免费观看视频| 日本猛色少妇xxxxx猛交久久| av在线app专区| 波多野结衣一区麻豆| 水蜜桃什么品种好| 免费观看在线日韩| 午夜福利视频精品| 国产一区二区激情短视频 | 久久久久国产网址| 成年av动漫网址| 国产在线视频一区二区| 久久久久人妻精品一区果冻| 考比视频在线观看| 高清av免费在线| 高清在线视频一区二区三区| 26uuu在线亚洲综合色| 青春草国产在线视频| 国产成人精品久久二区二区91 | 亚洲欧美中文字幕日韩二区| 最近最新中文字幕大全免费视频 | 日本av手机在线免费观看| 久久久欧美国产精品| 大码成人一级视频| 欧美精品高潮呻吟av久久| 精品一区二区三区四区五区乱码 | 国产免费视频播放在线视频| 日本黄色日本黄色录像| 校园人妻丝袜中文字幕| 亚洲久久久国产精品| 伦理电影免费视频| 午夜免费男女啪啪视频观看| 国产视频首页在线观看| 亚洲人成网站在线观看播放| 多毛熟女@视频| 天天影视国产精品| 精品午夜福利在线看| 国产乱人偷精品视频| 看非洲黑人一级黄片| 婷婷色av中文字幕| av免费观看日本| 精品国产超薄肉色丝袜足j| 视频在线观看一区二区三区| 亚洲欧美一区二区三区国产| 母亲3免费完整高清在线观看 | 看十八女毛片水多多多| 黄色毛片三级朝国网站| 久久久国产精品麻豆| 久久97久久精品| 99re6热这里在线精品视频| 亚洲av电影在线观看一区二区三区| 成年女人在线观看亚洲视频| 午夜久久久在线观看| 国产色婷婷99| 亚洲av福利一区| 免费黄频网站在线观看国产| av又黄又爽大尺度在线免费看| 久久久a久久爽久久v久久| 色婷婷av一区二区三区视频| 国产亚洲av片在线观看秒播厂| 日韩一卡2卡3卡4卡2021年| 欧美成人午夜免费资源| 日韩一卡2卡3卡4卡2021年| 亚洲美女搞黄在线观看| 菩萨蛮人人尽说江南好唐韦庄| 伊人久久大香线蕉亚洲五| 美女主播在线视频| 飞空精品影院首页| 国产一区二区三区av在线| 日韩中文字幕欧美一区二区 | 欧美精品高潮呻吟av久久| 日本av免费视频播放| 又黄又粗又硬又大视频| 一级毛片黄色毛片免费观看视频| 久久午夜福利片| 成人亚洲精品一区在线观看| 日韩欧美精品免费久久| 熟女电影av网| 老司机影院成人| 亚洲av日韩在线播放| 热99国产精品久久久久久7| 日本-黄色视频高清免费观看| 中文字幕精品免费在线观看视频| 男女免费视频国产| 欧美日韩精品网址| 欧美亚洲 丝袜 人妻 在线| 一级黄片播放器| 亚洲精品久久久久久婷婷小说| 亚洲精品成人av观看孕妇| 亚洲av中文av极速乱| 一级a爱视频在线免费观看| 国产精品 国内视频| 亚洲欧美一区二区三区国产| 欧美日韩成人在线一区二区| 丝袜在线中文字幕| 免费播放大片免费观看视频在线观看| 日韩制服丝袜自拍偷拍| 桃花免费在线播放| 久久国产精品男人的天堂亚洲| 又粗又硬又长又爽又黄的视频| 青春草视频在线免费观看| 国产成人精品婷婷| 久久毛片免费看一区二区三区| 亚洲精品国产色婷婷电影| a级片在线免费高清观看视频| 国产一区二区 视频在线| 人妻一区二区av| 国产成人av激情在线播放| 91精品三级在线观看| 亚洲,一卡二卡三卡| 美女高潮到喷水免费观看| 亚洲成人手机| 午夜福利在线观看免费完整高清在| 亚洲欧美一区二区三区久久| 男女免费视频国产| 免费黄色在线免费观看| 久久99蜜桃精品久久| 亚洲av综合色区一区| 日本午夜av视频| 免费黄网站久久成人精品| 少妇人妻久久综合中文| 日韩视频在线欧美| 制服人妻中文乱码| 老汉色av国产亚洲站长工具| 精品少妇内射三级| 永久网站在线| 少妇人妻精品综合一区二区| 国产一区二区三区av在线| 久久久久久人人人人人| 国产97色在线日韩免费| h视频一区二区三区| www.熟女人妻精品国产| 久久久久精品人妻al黑| 晚上一个人看的免费电影| 91aial.com中文字幕在线观看| 欧美 日韩 精品 国产| 一区二区av电影网| 亚洲图色成人| 亚洲av.av天堂| 国产精品麻豆人妻色哟哟久久| 2018国产大陆天天弄谢| 亚洲第一青青草原| 日韩成人av中文字幕在线观看| 亚洲中文av在线| 欧美日韩国产mv在线观看视频| 免费女性裸体啪啪无遮挡网站| 亚洲国产色片| 久久精品亚洲av国产电影网| 国产精品久久久久久精品古装| 最黄视频免费看| 国产乱人偷精品视频| 国产一区亚洲一区在线观看| 一区二区日韩欧美中文字幕| 黄色怎么调成土黄色| 色94色欧美一区二区| 亚洲欧美清纯卡通| 赤兔流量卡办理| 午夜久久久在线观看| 1024香蕉在线观看| 一二三四中文在线观看免费高清| 国产有黄有色有爽视频| 亚洲欧美一区二区三区国产| 国产黄频视频在线观看| 久久人人97超碰香蕉20202| av免费在线看不卡| 成人午夜精彩视频在线观看| 最近中文字幕高清免费大全6| 人人妻人人澡人人爽人人夜夜| 欧美 亚洲 国产 日韩一| 日韩人妻精品一区2区三区| 韩国高清视频一区二区三区| 久久精品国产自在天天线| 老女人水多毛片| 一边亲一边摸免费视频| 免费在线观看完整版高清| 国产1区2区3区精品| 中文字幕人妻丝袜制服| 一级黄片播放器| 欧美日韩精品成人综合77777| 亚洲国产精品国产精品| 免费久久久久久久精品成人欧美视频| 伦精品一区二区三区| 午夜日韩欧美国产| 男的添女的下面高潮视频| 精品少妇一区二区三区视频日本电影 | 免费女性裸体啪啪无遮挡网站| 亚洲欧美精品综合一区二区三区 | 亚洲一区中文字幕在线| 在线观看免费日韩欧美大片| 老熟女久久久| 欧美中文综合在线视频| 老汉色av国产亚洲站长工具| 亚洲综合精品二区| 亚洲av中文av极速乱| 欧美亚洲日本最大视频资源| av片东京热男人的天堂| 午夜免费男女啪啪视频观看| 日日摸夜夜添夜夜爱| 精品国产乱码久久久久久男人| 欧美日韩av久久| 国产一区二区三区av在线| av线在线观看网站| 熟女少妇亚洲综合色aaa.| 赤兔流量卡办理| 啦啦啦中文免费视频观看日本| 叶爱在线成人免费视频播放| 97人妻天天添夜夜摸| 日本av免费视频播放| 亚洲国产精品国产精品| 男女边吃奶边做爰视频| 亚洲成av片中文字幕在线观看 | 一区二区日韩欧美中文字幕| 亚洲,一卡二卡三卡| 午夜福利在线观看免费完整高清在| 狂野欧美激情性bbbbbb| 免费在线观看黄色视频的| 一级爰片在线观看| 亚洲欧洲精品一区二区精品久久久 | 一级爰片在线观看| 久久久久久久久免费视频了| 一级毛片黄色毛片免费观看视频| 一边摸一边做爽爽视频免费| 精品国产一区二区久久| 80岁老熟妇乱子伦牲交| 国产精品久久久久久av不卡| 亚洲av日韩在线播放| 成人二区视频| av又黄又爽大尺度在线免费看| 亚洲国产精品999| 天天躁日日躁夜夜躁夜夜| 成人毛片60女人毛片免费| 999精品在线视频| 亚洲成国产人片在线观看| 尾随美女入室| 春色校园在线视频观看| 中文欧美无线码| 一个人免费看片子| 黑人猛操日本美女一级片| 高清视频免费观看一区二区| 99久久精品国产国产毛片| 久久99蜜桃精品久久| 国产日韩欧美亚洲二区| 久久影院123| 老司机影院毛片| 一级a爱视频在线免费观看| 亚洲欧美成人综合另类久久久| 午夜福利乱码中文字幕| 久久韩国三级中文字幕| 91午夜精品亚洲一区二区三区| 久久久久久人人人人人| 午夜久久久在线观看| 亚洲中文av在线| 国产成人aa在线观看| 少妇人妻 视频| 久久久精品免费免费高清| 久久韩国三级中文字幕| 亚洲一区二区三区欧美精品| 亚洲伊人色综图| av一本久久久久| 亚洲人成77777在线视频| 亚洲欧美一区二区三区国产| 日韩制服骚丝袜av| 熟女av电影| 一本大道久久a久久精品| 香蕉国产在线看| 久久国产精品男人的天堂亚洲| 看免费av毛片| 纵有疾风起免费观看全集完整版| 久久久久久久大尺度免费视频| 熟女少妇亚洲综合色aaa.| 美女高潮到喷水免费观看| 午夜激情av网站| 一区二区av电影网| 1024香蕉在线观看| 我要看黄色一级片免费的| 成人黄色视频免费在线看| 美女中出高潮动态图| 国产成人免费无遮挡视频| 男女啪啪激烈高潮av片| 极品少妇高潮喷水抽搐| 青青草视频在线视频观看| 亚洲av日韩在线播放| 狠狠精品人妻久久久久久综合| 免费av中文字幕在线| 国产高清不卡午夜福利| 日韩中文字幕欧美一区二区 | 成人国产麻豆网| 亚洲视频免费观看视频| 高清欧美精品videossex| 国产熟女午夜一区二区三区| 成年女人在线观看亚洲视频| 精品少妇内射三级| 大香蕉久久成人网| 国产又爽黄色视频| 日日摸夜夜添夜夜爱| 亚洲精品视频女| 久久久国产欧美日韩av| 最近中文字幕高清免费大全6| 亚洲av欧美aⅴ国产| 精品亚洲乱码少妇综合久久| 9色porny在线观看| 天堂中文最新版在线下载| 在线亚洲精品国产二区图片欧美| 男女国产视频网站| 免费观看av网站的网址| 久热久热在线精品观看| 欧美国产精品一级二级三级| 国产熟女欧美一区二区| 亚洲成人一二三区av| av片东京热男人的天堂| 一区福利在线观看| 搡女人真爽免费视频火全软件| 久久久久久久久免费视频了| 亚洲久久久国产精品| av卡一久久| 天堂中文最新版在线下载| 欧美国产精品va在线观看不卡| 亚洲精品视频女| 日韩一区二区三区影片| 制服诱惑二区| 狠狠精品人妻久久久久久综合| 亚洲伊人久久精品综合| 国产成人精品一,二区| av天堂久久9| av有码第一页| 日韩免费高清中文字幕av| 一级片免费观看大全| 国产成人欧美| 桃花免费在线播放| 热99久久久久精品小说推荐|