教育領域生成式人工智能應用的倫理風險管理框架研究

[摘 要] 生成式人工智能對內(nèi)容生產(chǎn)與傳播產(chǎn)生了革命性影響，教育領域進入了智能化與風險性并存的人機協(xié)同時代，教育人工智能應用倫理風險頻繁發(fā)生，急需通過標準化的風險評估工具進行科學管控。文章從技術(shù)與教育兩個向度出發(fā)，將教育領域生成式人工智能應用的倫理風險歸納為技術(shù)本體風險、教育數(shù)據(jù)風險、機器算法風險和教育應用風險四大類。借鑒ISO31000風險管理標準與應用指南，搭建“風險識別—風險分析—風險評估—風險應對”四級流程的倫理風險管理框架。構(gòu)建風險源檢查表，以風險矩陣為主要評估工具，在實踐中統(tǒng)計得出各類倫理風險綜合等級。教育領域生成式人工智能應用的倫理風險管理框架，將為教育教學有效實施倫理風險管理工作提供借鑒價值。

[關鍵詞] 生成式人工智能； 倫理風險； 教育人工智能； 風險管理； 風險評估

[中圖分類號] G434 [文獻標志碼] A

[作者簡介] 王佑鎂（1974—），男，江西吉安人。教授，博士，主要從事人工智能教育、人工智能倫理風險研究。E-mail：wangyoumei@126.com。

一、問題的提出

2024年初，Sora的發(fā)布重燃公眾對生成式人工智能的關注。作為一種視覺生成式人工智能，Sora不僅具備理解人類話語能力，還能模擬物理世界規(guī)則，在某種程度上改變了教育資源的呈現(xiàn)方式。生成式人工智能既能夠以教為主，依據(jù)教學目標生成創(chuàng)作型教學素材，輔助教師設計有創(chuàng)新性的教學活動[1]；又能夠以學為主，根據(jù)學生能力和進度給予合適的指導和反饋，拓展學生的思維和理解能力；還能夠以管為主，為教育治理提供支持，提供改進教師教學行為和學生學習行為的反饋信息[2]?？梢?，生成式人工智能在教育中的應用能夠提升不同角色教育效能的創(chuàng)意度與完成度[3]。盡管生成式人工智能為教育的發(fā)展帶來巨大機遇，但仍會產(chǎn)生數(shù)據(jù)濫用、內(nèi)容偏見、過度依賴等倫理風險。UNESCO發(fā)布全球首份《教育和研究中的生成式人工智能指南》，指出生成式人工智能可能造成的傷害，如果缺乏公眾參與及政府必要的保障和監(jiān)管，人工智能就無法完全融入教育[4]。我國發(fā)布《生成式人工智能服務管理暫行辦法》，強調(diào)生成式人工智能應當遵守法律法規(guī)，尊重社會公德和倫理道德[5]。因此，需要在倫理風險發(fā)生之前著手開展風險管理行動，以提高生成式人工智能在教育領域應用的科學性，實現(xiàn)良性發(fā)展。

伴隨著技術(shù)智能化與自主性的發(fā)展以及教育主觀性強、復雜性突出的特點，教育領域生成式人工智能應用的倫理風險管理始終是一大難題，亟待管控化解。目前，教育領域的風險評估主要依靠專家判斷或經(jīng)驗總結(jié)，此類方法較為主觀。對于特定的倫理風險，也缺少標準的量化方式。為此，采用何種方式對教育領域中生成式人工智能應用產(chǎn)生的倫理風險進行識別、分析與評估，是本研究主要探討的議題。

二、教育領域生成式人工智能應用的倫理風險

人工智能倫理指人工智能應遵守的道德規(guī)范，使人工智能作出可為人接受的決策。智慧教育時代，人工智能倫理風險的發(fā)生極具普遍性，數(shù)據(jù)泄露、算法歧視、師生關系弱化等問題時常發(fā)生[6]。究其原因，不外乎人工智能技術(shù)本身存在風險，以及人類使用人工智能技術(shù)過程中會產(chǎn)生風險。例如，對教育者而言，生成式人工智能帶來的教學新范式易使教師將自身責任讓渡于人工智能[7]，導致教師地位消解，師生情感異化。學者往往擔憂人類與技術(shù)共同創(chuàng)作時產(chǎn)生的學術(shù)剽竊風險，以至于不斷有學者提出禁用人工智能的觀點，避免教育成為后剽竊時代的起點。

人工智能倫理風險于科技與人二者博弈的關系中產(chǎn)生[8]。管理生成式人工智能倫理風險，須首先從技術(shù)與教育兩個向度審視其實質(zhì)。生成式人工智能倫理風險，即主體與技術(shù)、自身、他人、社會之間的倫理關系由于正面或負面的影響產(chǎn)生的不確定事件，尤指倫理關系失調(diào)、機制失控、社會失序等倫理負效應[9]。分析梳理已有研究，本文將生成式人工智能倫理風險總結(jié)為如圖1所示的四大類，即技術(shù)本體風險、教育數(shù)據(jù)風險、機器算法風險和教育應用風險，并細化次要倫理風險。

（一）技術(shù)本體風險

在教育領域中，技術(shù)本體風險主要指：第一，生成式人工智能成為直接駕馭當前教育活動的元素。人工智能不再是傳統(tǒng)教育語境中工具性的存在，而成為了直接關乎教育“如何實施”的最基本元素，造成人與技術(shù)的主體錯位。第二，教育主體受到人工智能熱潮下新教學原則的支配。“人沒有技術(shù)，就缺少了對環(huán)境的作用與反作用”[10]，而技術(shù)本體風險錯在將“技術(shù)成為主體”取代“技術(shù)創(chuàng)新主體”。

技術(shù)本體風險主要誘發(fā)兩類風險情境：一是對生成式人工智能毫無保留地信任，產(chǎn)生技術(shù)拜物教風險，養(yǎng)成“技術(shù)心流”陋習[6]；二是對生成式人工智能無條件依賴，產(chǎn)生技術(shù)依賴風險。第一類情境主要指教師與學生使用生成式人工智能輔助決策的過程中，將自身真實信息全盤托出，并且對人工智能輸出信息不查偽、不審思，一方面夸大人工智能的實際能力，另一方面忽視人工智能可能存在的信息錯誤與技術(shù)局限。第二類情境主要指教師與學生對生成式人工智能的過度使用，使個體在思維與行為上對技術(shù)成癮，從而無法約束自我，滋生沒有技術(shù)就難以實現(xiàn)目標的想法。人們對人工智能工具的無條件依賴，實際是被技術(shù)所奴役，迷失了對教育目的與意義的關注[11]。

（二）教育數(shù)據(jù)風險

教育數(shù)據(jù)是教學過程、教育管理活動、教學科研活動和校園生活等數(shù)據(jù)的總和，對教育數(shù)據(jù)的分析與應用是生成式人工智能輔助決策的重要依據(jù)。然而，大數(shù)據(jù)時代前所未有的數(shù)據(jù)挖掘、數(shù)據(jù)預測和數(shù)據(jù)監(jiān)控，造成了更為嚴重的教育數(shù)據(jù)風險。

教育數(shù)據(jù)風險主要包括三類：一是數(shù)據(jù)泄露風險。由于缺乏數(shù)據(jù)保護機制與數(shù)據(jù)保護意識，導致教育敏感數(shù)據(jù)被外部實體獲取。以ChatGPT-3.5為例，DeepMind研究人員曾采用分歧攻擊讓ChatGPT逐漸偏離聊天內(nèi)容，泄露原始訓練數(shù)據(jù)。二是數(shù)據(jù)失真風險。教育之大數(shù)據(jù)，指數(shù)據(jù)數(shù)量之大，也指數(shù)據(jù)價值之大[12]。但由于前期采集教育數(shù)據(jù)渠道的單向性，使用人工智能過程中未及時更新維護數(shù)據(jù)，易使數(shù)據(jù)失去時效性與準確性。三是數(shù)據(jù)濫用風險。教育數(shù)據(jù)使用方對數(shù)據(jù)做出未經(jīng)授權(quán)的采集、超出授權(quán)范圍的使用、不正當?shù)男薷牡刃袨閬韺崿F(xiàn)教育服務之外的目的，將違背教育的初衷。因此，如何達到保障教育隱私和教育數(shù)據(jù)共享之間的巧妙平衡，將是生成式人工智能發(fā)展過程中面臨的巨大倫理挑戰(zhàn)。

（三）機器算法風險

算法是生成式人工智能的底層邏輯，用于驅(qū)動內(nèi)部數(shù)據(jù)以規(guī)范的輸入形式轉(zhuǎn)化為特定的輸出形式。人工智能機器算法推動教育展開了高效的智能化轉(zhuǎn)型，但也在預設的規(guī)則中窄化了教育思維與活動的外延。

機器算法風險表現(xiàn)為四個方面：一是算法歧視與偏見風險。兒童通過學習知識與經(jīng)驗形成三觀，同樣，人工智能對海量數(shù)據(jù)進行算法訓練得以形成大模型。然而，原始數(shù)據(jù)中對不同文化與種群根深蒂固的歧視與偏見同樣被算法繼承，并受算法本身所強化，不斷加深決策中的刻板印象[13]。二是算法同質(zhì)推薦風險。個性化的“推薦算法”以協(xié)同過濾為根本機制，將用戶選擇歸為某一標簽，算法推薦時過濾其他標簽內(nèi)容，僅推薦用戶可能偏好的資源。長此以往，面對低年齡段兒童，算法可能會推薦大量同質(zhì)且低質(zhì)內(nèi)容，為兒童織起信息繭房，影響兒童認知正常發(fā)展。國家四部門出臺《互聯(lián)網(wǎng)信息服務算法推薦管理規(guī)定》，強調(diào)要加強對信息服務中信息繭房現(xiàn)象的監(jiān)管[14]。三是算法固化風險，即由算法固有功能缺陷衍生出的風險。當使用者提出超過算法設計范圍的需求時，可能導致最終結(jié)果偏離實際需求或產(chǎn)生錯誤結(jié)果。如果不對固化算法及時改進與更新，可能導致使用受到限制或無法作出準確的決策。四是算法不透明風險，人們常用“黑箱”隱喻算法的不透明性，即無法從用戶視角直接觀測到算法的運算邏輯。由于企業(yè)或國家的保密、個人技術(shù)素養(yǎng)的不足[15]，逐漸使生成式人工智能的任何決策都缺乏解釋，最終形成難以捉摸的黑箱社會形態(tài)。

（四）教育應用風險

教育應用風險特指除生成式人工智能自身技術(shù)局限、算法邏輯等問題外，對教育主體的社會屬性和個體屬性造成的風險。進一步可以劃分為師生關系重構(gòu)風險、自主權(quán)喪失風險、教育公平損壞風險、問責逃避風險。生成式人工智能逐漸成為師生之間知識獲取與情感表達的紐帶，但是通過語音識別、眼球追蹤等設備捕捉師生生理和行為數(shù)據(jù)[16]，是對師生的過度監(jiān)管與評估。人工智能以“看管者”的角色進入校園，無疑是對師生自主權(quán)的“隱形剝削”和“軟性壓迫”，從而導致教師地位的消解和師生情感的異化。除此之外，生成式人工智能的普及也將引發(fā)新的數(shù)字鴻溝。伴隨馬太效應，具有技術(shù)優(yōu)勢的地區(qū)與個人將依靠技術(shù)的加持獲取更多優(yōu)勢。但是，在尚且缺乏技術(shù)問責機制與反饋處理通道的環(huán)境下，若是將師生視作人工智能數(shù)據(jù)訓練的“工具人”，將教育的營養(yǎng)由機器反復咀嚼以喂養(yǎng)師生，人們的思想和行為必會受到限制，教育主體的地位也將受到挑戰(zhàn)。

三、教育領域生成式人工智能應用的倫理風險識別

國際標準化組織ISO發(fā)布ISO31000風險管理標準，提供詳細的風險管理指南，幫助組織制定相應的策略和措施來評估、應對風險。在ISO31000標準中，風險評估過程包括風險識別與風險分析。風險識別是發(fā)現(xiàn)、承認和描述風險的過程，包括對風險源、風險事件的識別，風險識別的準確性將直接影響到風險管理工作的質(zhì)量和結(jié)果。風險分析是理解風險性質(zhì)和確定風險等級的過程，風險分析的結(jié)果是項目決策與行動的輸入條件，重點在于分析風險發(fā)生的可能性和對結(jié)果造成影響的嚴重程度，從而進行風險等級的劃分。

厘清教育領域生成式人工智能應用的倫理風險后，應隨之辨識導致倫理風險發(fā)生的來源。技術(shù)、數(shù)據(jù)、算法和教育之間的銜接，構(gòu)成了完整統(tǒng)一的人工智能教育生態(tài)系統(tǒng)。風險因素對教育生態(tài)系統(tǒng)產(chǎn)生的影響常常難以準確根治，因此，在風險發(fā)生之前識別風險源，有助于應對措施的精準施加。根據(jù)教育領域生成式人工智能多樣的倫理風險，需要編制條理清晰、具有普適性的風險源檢查表，以便不同教育場景下倫理風險的識別。風險的發(fā)生是一個漸進的過程，因此，需要從生成式人工智能設計與使用的全流程排查風險因素。生成式人工智能設計與使用的全流程包括設計時所依策略、所用輸入、所產(chǎn)輸出和使用時所依策略、所用輸入、所產(chǎn)輸出。設計階段主要指開發(fā)商和程序員在內(nèi)的開發(fā)人員設計生成式人工智能的過程，使用階段主要指學生、教師和教育管理者在內(nèi)的教育人員使用生成式人工智能的過程。在分析生成式人工智能設計與使用的全流程后，得到的風險因素如圖2所示。

排查設計與使用階段風險因素后，需細化風險因素至具體風險類型，以辨識倫理風險源。例如，技術(shù)本體風險主要存在于教育人員的使用階段，不同類型的生成式人工智能會對師生主體性造成不同的影響。教育數(shù)據(jù)風險與開發(fā)人員的設計和教育人員的使用均存在關聯(lián)，例如，開發(fā)過程中缺少數(shù)據(jù)保護措施會引發(fā)數(shù)據(jù)泄露風險，教育人員做好對教育數(shù)據(jù)的權(quán)限管理有利于防范數(shù)據(jù)濫用風險。機器算法風險存在于整個設計階段，策略中所用算法模型功能的片面化、輸入使用的訓練數(shù)據(jù)本身的偏見、標榜個性化的同質(zhì)內(nèi)容分別會導致算法固化、算法歧視與偏見和算法同質(zhì)推薦風險。教育應用風險受到使用與設計的共同影響，技術(shù)人員的過度監(jiān)管易使師生喪失自主權(quán)，同時，教育人員缺乏對教育目的的正確認識也將損害教育公平。教育領域生成式人工智能倫理風險源檢查表，見表1。

四、教育領域生成式人工智能應用的倫理風險分析

（一）風險分析方法選定

風險分析是在識別風險后，對風險造成的危害和風險發(fā)生的頻率進行評估，從而得到具體的風險值，綜合計算得出風險等級。長久以來，風險管理研究飛速發(fā)展，但主要存在于金融與工程行業(yè)。目前教育領域的風險分析研究，主要采用文獻分析法與德爾菲法，主觀性較強，缺乏實證數(shù)據(jù)支持。國家現(xiàn)行標準GB/T 27921-2023《風險管理 風險評估技術(shù)》涵蓋大量項目風險分析方法，如HACCP分析法、蒙特卡羅模擬分析法、風險矩陣等?！讹L險管理 風險評估技術(shù)》中指出，在風險評估的不同階段有不同的適用方法[17]，見表2。

在選擇風險分析方法時，應基于具體環(huán)境和用途，并以利益相關者需要的形式提供信息?？傮w而言，風險分析方法的選擇宜考慮下列要素：（1）評估的目的；（2）利益相關者的需求；（3）運行環(huán)境和場景；（4）法律與監(jiān)管要求；（5）既定的決策準則及其形式；（6）現(xiàn)有信息和可獲得信息；（7）情況的復雜程度；（8）可用或可獲得的專業(yè)性知識[18]。

基于已識別的風險類型，本研究將采用定性和定量相結(jié)合的風險矩陣。生成式人工智能的技術(shù)形態(tài)呈現(xiàn)多樣化的特點，其應用的靈活高效引發(fā)更多層次的倫理問題。風險矩陣一方面可以直觀地體現(xiàn)風險發(fā)生的可能性與影響程度，提供倫理風險等級的定量結(jié)果。另一方面，風險矩陣受資源、能力、環(huán)境的不確定性影響較小，相對于其他的風險等級確定方法而言復雜性較低。綜合考慮，采用風險矩陣分析教育領域生成式人工智能應用的倫理風險，能夠保障風險評估過程較高的穩(wěn)定性和可操作性。

（二）風險矩陣

風險矩陣（Risk Matrix）最初由美國空軍電子系統(tǒng)中心在1995年4月提出[19]。風險矩陣在項目風險管理方面有著廣泛的應用，一般在識別項目管理過程中可能產(chǎn)生的風險后，用于對風險的可能性與后果嚴重性進行評估[20]。

可能性（Probability）是風險發(fā)生的概率，記為P。風險可能性依據(jù)可能性準則編寫，數(shù)值呈階梯式跳躍，一般分為五個等級：（1）一級：風險發(fā)生概率為0～10%，幾乎不會發(fā)生；（2）二級：風險發(fā)生概率為11%～40%，有一定概率會發(fā)生；（3）三級：風險發(fā)生概率為41%～60%，偶爾會發(fā)生；（4）四級：風險發(fā)生概率為61%～90%，經(jīng)常多次發(fā)生；（5）五級：風險發(fā)生概率為91%～100%，會頻繁發(fā)生。

嚴重性（Impact）是風險發(fā)生后對項目產(chǎn)生負向影響的強度，記為I，可劃分為五個等級：（1）可忽略：風險發(fā)生后僅造成微不足道的負向影響；（2）可接受：風險將產(chǎn)生可接受范圍內(nèi)的負向影響；（3）需合理控制：風險將造成明顯的負向影響，接近項目可承受的邊緣；（4）需嚴格控制：風險將對項目造成重大威脅；（5）不可接受：風險將對項目造成根本性破壞。

風險等級（Risk Rating）由可能性與嚴重性共同決定，是二者的乘積，用R表示：R=P×I。風險矩陣主要描述不同風險的等級，如圖3所示。風險矩陣中風險等級準則如下：風險等級在1～2之間為可忽略風險，表示風險水平非常低，無需專門控制；風險等級在3～5之間為可接受風險，表示風險水平比較低，已有適當控制措施，可以接受；風險等級在6～10之間為可容忍風險，表示風險水平適中，已有充分的控制措施，可以容忍；風險等級在12～16之間為重要性風險，表示風險水平較高，但在有效的控制下可以被接受；風險等級在17～25之間為災難性風險，表示風險水平非常高，無法接受，需立即采取行動應對風險。

五、教育領域生成式人工智能應用的倫理風險評估

風險可能性與嚴重性的計算一般多以統(tǒng)計數(shù)據(jù)作為基礎，需要在大量數(shù)據(jù)之上進行模擬推算。因此，研究將風險發(fā)生的可能性表示為社會公眾對該風險的關注度，社會討論熱度越高，則風險發(fā)生的頻率越高。對于公眾而言，主要進行探討的平臺是各大社交媒體，可選擇“百度”平臺為代表進行數(shù)據(jù)檢索，評估各風險發(fā)生的可能性；對于專家學者而言，選擇“中國知網(wǎng)”論文數(shù)據(jù)庫為代表進行數(shù)據(jù)檢索。風險發(fā)生的嚴重性表示為社會公眾對該風險的認知態(tài)度，主要對涵蓋公眾認知調(diào)查的相關文獻進行整合，基于現(xiàn)有文獻數(shù)據(jù)，設定倫理風險嚴重性的合理范圍。認知調(diào)查數(shù)據(jù)包括專家評估的倫理風險指標數(shù)據(jù)與公眾倫理風險認知的問卷調(diào)查數(shù)據(jù)。本研究參考李夢薇等提出的計f4o0j2jK8OYkGiDrzPCyZ8nzlhMZ1cz2eOnsgV5zbrw=算方法[21]，在搜索引擎與知識資源數(shù)據(jù)庫中檢索倫理風險相關文章數(shù)量，根據(jù)風險認知調(diào)查文章歸納嚴重性平均值，得到倫理風險的綜合等級。

（一）評估方法

1. 可能性

根據(jù)圖1的倫理風險分類，將倫理風險中的四大類（技術(shù)本體風險、教育數(shù)據(jù)風險、機器算法風險、教育應用風險）依次編號為A、B、C、D；四大類風險下的具體細化項為次要風險，通過序列編碼（如A1、A2、A3等，B1、B2、B3等）進行編號；將檢索平臺百度和知網(wǎng)編號為i=1，2。在社交媒體與知識資源數(shù)據(jù)庫中，使用相應的關鍵詞進行數(shù)據(jù)檢索，重點統(tǒng)計發(fā)文時間自2022年11月30日（ChatGPT發(fā)布日）以來的文章。每一風險在各平臺選取數(shù)量為K的文章進行數(shù)據(jù)處理，為保證數(shù)據(jù)量的有效和可操作，要求K為大于等于200的定值，若數(shù)據(jù)量不足K，則按實際數(shù)據(jù)量計算。以技術(shù)本體風險（A）為例，風險A的檢索數(shù)據(jù)總量為KA，百度平臺中檢索出的文章數(shù)量為KAi （i=1）。風險A的文章總數(shù)為：∑i=1，2KAi。風險A發(fā)生的綜合可能性為：P = 。計算得出風險可能性，將可能性等比調(diào)整至1～5之間的等級范圍，以便在風險矩陣中更好地進行比較。

2. 嚴重性

風險嚴重性的主要指標為社會公眾對于不同風險認知態(tài)度的量化分析。具體而言，通過文獻調(diào)查法，統(tǒng)計現(xiàn)有人工智能倫理認知調(diào)查相關文獻數(shù)據(jù)，將結(jié)果等比轉(zhuǎn)化為1～5之間的等級范圍，以反映風險發(fā)生影響的嚴重性。以技術(shù)本體風險（A）為例，風險A綜合嚴重性為數(shù)據(jù)中等比轉(zhuǎn)換相關風險嚴重性后的平均值。

（二）實踐分析

圖4為教育領域生成式人工智能的倫理風險管理框架，分為“風險識別—風險分析—風險評估—風險應對”四級管理流程。風險識別層，根據(jù)現(xiàn)有的生成式人工智能教育倫理研究，歸納總結(jié)風險發(fā)生階段和誘發(fā)風險因素，構(gòu)建風險源檢查表。風險分析層，利用風險矩陣，統(tǒng)計以風險熱度為依據(jù)的風險可能性和以社會認知為主的風險嚴重性。風險評估層，對比倫理風險等級準則和風險綜合等級評價表，得到各倫理風險等級。風險應對層，在生成式人工智能教育過程中持續(xù)監(jiān)測并強化管理過程，逐級緩解倫理風險。

在“百度”中，檢索技術(shù)本體風險相關文章，檢索關鍵詞為“生成式人工智能”“ChatGPT”“支配”“教師”“學生”；在“知網(wǎng)”中，采用的檢索式為SU-［（ChatGPT+生成式人工智能+GAI+AIGC）AND（教育+教師+學生+主體+支配）］。檢索關鍵詞均需符合對該風險的描述。每類風險需檢索閱讀200篇文章（存在部分風險文章不滿200篇的情況），并判斷檢索文章與風險的相關程度。其中，在百度平臺中，得到各風險文章數(shù)量為A“48”、A1“84”、A2“66”、B“126”、B1“154”、B2“57”、B3“124”、C“86”、C1“164”、C2“164”、C3“31”、C4“147”、D“85”、D1“68”、D2“59”、D3“121”、D4“113”。隨后，根據(jù)公式得出各倫理風險發(fā)生的綜合可能性，得到PA=2、PB=3、PC=2、PD=3。而后，根據(jù)“知網(wǎng)”中倫理風險認知調(diào)查文章歸納公眾對風險的認知，等比計算倫理風險的綜合嚴重性，得到IA=3、IB=5、IC=5、ID=4。最后計算各倫理風險等級，得到風險綜合等級評價，見表3。

目前教育領域應用生成式人工智能的過程中，各種類型的倫理風險已經(jīng)顯現(xiàn)，大多數(shù)風險都需要充分、適當且有效的措施進行風險管理。觀察風險綜合等級評價表可知，主要倫理風險中教育數(shù)據(jù)風險的風險等級最高，其次是教育應用風險、技術(shù)本體風險與機器算法風險。對比風險矩陣可知，次要倫理風險中數(shù)據(jù)泄露風險等級最高，為災難性風險；重要性風險為算法同質(zhì)推薦風險。因此，針對最需管理的教育數(shù)據(jù)泄露風險與教育應用風險，需要加強生成式人工智能針對教育敏感數(shù)據(jù)的安全防護措施，規(guī)范數(shù)據(jù)授權(quán)范圍，謹防數(shù)據(jù)泄露[22]；在人工智能應用的過程中，還需要清晰界定責任主體，完善人工智能的法律責任規(guī)制研究，發(fā)展負責任的人工智能，防止教育主體的錯位。同時，從風險源視角可以看出，教育領域中最需加強生成式人工智能使用階段的風險管理，這需要在明確教育目的后制定生成式人工智能使用原則與規(guī)范，解決使用中的主要矛盾。

六、結(jié) 束 語

生成式人工智能是影響教育創(chuàng)新發(fā)展的關鍵性技術(shù)，實施倫理風險評估既是穩(wěn)定發(fā)展技術(shù)的必要條件，也是實現(xiàn)高質(zhì)量教學的有力支撐，更是發(fā)展負責任人工智能的根本保障。本文討論了教育領域生成式人工智能倫理風險的識別與分析問題，從設計與使用階段探究各風險發(fā)生的成因，基于倫理風險分類和風險矩陣，評估倫理風險發(fā)生的可能性與嚴重性，為管理教育中的生成式人工智能倫理風險提供了一定的參考價值。

后續(xù)的研究需要進一步考慮針對具體事件的倫理風險管理，并根據(jù)風險等級逐級提出風險應對建議。伴隨新技術(shù)、新應用的出現(xiàn)，生成式人工智能在教育領域的發(fā)展過程中會不斷出現(xiàn)新的風險。因此，還需要源源不斷吸納新的風險因素，開發(fā)合乎人工智能倫理的風險預警系統(tǒng)[23]，強化風險管理流程，助力生成式人工智能的可持續(xù)發(fā)展。

[參考文獻]

[1] 盧宇，余京蕾，陳鵬鶴，等. 生成式人工智能的教育應用與展望——以ChatGPT系統(tǒng)為例[J]. 中國遠程教育，2023，43（4）：24-31，51.

[2] 楊海燕，李濤. ChatGPT教學應用：場景、局限與突破策略[J]. 中國教育信息化，2023，29（6）：26-34.

[3] 王佑鎂，王旦，梁煒怡，等. “阿拉丁神燈”還是“潘多拉魔盒”：ChatGPT教育應用的潛能與風險[J]. 現(xiàn)代遠程教育研究，2023，35（2）：48-56.

[4] MIAO F C， HOLMES W. Guidance for generative AI in education and research[EB/OL]. （2023-09-07）[2024-02-04]. https：//unesdoc.unesco.org/ark：/48223/pf0000386693.

[5] 國家互聯(lián)網(wǎng)信息辦公室等七部門.生成式人工智能服務管理暫行辦法[EB/0L]. （2023-07-10）[2024-02-18]. https：//www.gov.cn/zhengce/zhengceku/202307/content_6891752.htm.

[6] 李世瑾，胡藝齡，顧小清. 如何走出人工智能教育風險的困局：現(xiàn)象、成因及應對[J]. 電化教育研究，2021，42（7）：19-25.

[7] 劉磊，劉瑞. 人工智能時代的教師角色轉(zhuǎn)變：困境與突圍——基于海德格爾技術(shù)哲學視角[J]. 開放教育研究，2020，26（3）：44-50.

[8] 王佑鎂，王旦，王海潔，等. 基于風險性監(jiān)管的AIGC教育應用倫理風險治理研究[J]. 中國電化教育，2023（11）：83-90.

[9] 陳愛華.高技術(shù)的倫理風險及其應對[J]. 倫理學研究，2006（4）：95-99.

[10] MITCHAM C， MACKEY R. Philosophy and technology[M]. New York： Simon and Schuster，1983：293.

[11] 汪懷君. 技術(shù)恐懼與技術(shù)拜物教——人工智能時代的迷思[J]. 學術(shù)界，2021（1）：197-209.

[12] 楊現(xiàn)民，唐斯斯，李冀紅. 發(fā)展教育大數(shù)據(jù)：內(nèi)涵、價值和挑戰(zhàn)[J]. 現(xiàn)代遠程教育研究，2016（1）：50-61.

[13] 沈苑，汪瓊. 人工智能教育應用的偏見風險分析與治理[J]. 電化教育研究，2021，42（8）：12-18.

[14] 國家互聯(lián)網(wǎng)信息辦公室，中華人民共和國工業(yè)和信息化部，中華人民共和國公安部，等. 互聯(lián)網(wǎng)信息服務算法推薦管理規(guī)定[EB/OL]. （2022-01-04）[2024-02-18]. https：//www.cac.gov.cn/2022-01/04/c_1642894606364259.htm.

[15] BURRELL J. How the machine 'thinks'： understanding opacity in machine learning algorithms[J]. Big data & society，2016，3（1）： 1-12.

[16] 趙磊磊，吳小凡，趙可云. 責任倫理：教育人工智能風險治理的時代訴求[J]. 電化教育研究，2022，43（6）：32-38.

[17] 國家市場監(jiān)督管理總局，國家標準化管理委員會. GB/T 27921-2023 風險管理 風險評估技術(shù)[S]. 北京：中國標準出版社，2023： 55-58.

[18] 李素鵬. 風險矩陣在企業(yè)風險管理中的應用[M]. 北京：人民郵電出版社， 2013.

[19] GARVEY P R， LANSDOWNE Z F. Risk matrix： an approach for identifying， assessing， and ranking program risks[J]. Air force journal of logistics，1998，22（1）：18-21.

[20] 李樹清，顏智，段瑜. 風險矩陣法在危險有害因素分級中的應用[J]. 中國安全科學學報，2010，20（4）：83-87.

[21] 李夢薇，徐峰，晏奇，等. 服務機器人領域人工智能倫理風險評估方法的設計與實踐[J]. 中國科技論壇，2023（10）：74-84.

[22] 郝祥軍，顧小清，王欣璐. 回避還是規(guī)避：風險社會中的教育危機與安全防線[J]. 電化教育研究，2023，44（1）：42-47，90.

[23] 胡小勇，黃婕，林梓柔，等. 教育人工智能倫理：內(nèi)涵框架、認知現(xiàn)狀與風險規(guī)避[J]. 現(xiàn)代遠程教育研究，2022，34（2）：21-28，36.

Research on Ethical Risk Management Framework for Generative Artificial Intelligence Application in Education

WANG Youmei， WANG Xinying， LIU Chenchen

（Research Center for Big Data and Smart Education， Wenzhou University， Wenzhou Zhejiang 325035）

[Abstract] Generative artificial intelligence has had a revolutionary impact on content production and dissemination， and education has stepped into an era of human-computer collaboration in which intelligence and risk coexist. The ethical risks of educational artificial intelligence application occur frequently， and there is an urgent need for scientific management through standardized risk assessment tools. Starting from technological and educational dimensions， this paper summarized the ethical risks of generative artificial intelligence application in education into four main categories： technological ontology risk， educational data risk， machine algorithm risk， and educational application risk. Drawing on the ISO31000 risk management standards and application guidelines， this paper built an ethical risk management framework with a four-level process of "risk identification - risk analysis - risk assessment - risk response". A checklist of risk sources was constructed， with the risk matrix as the main assessment tool to statistically conclude the comprehensive level of various ethical risks in practice. This framework can provide reference for the effective implementation of ethical risk management in teaching and education.

[Keywords] Generative Artificial Intelligence; Ethical Risks; AI Trained for Education; Risk Management; Risk Assessment