教育人工智能倫理問(wèn)題與倫理原則探討

鄧國(guó)民 李梅

[摘 ? 要] 文章旨在揭示智能化時(shí)代的教育將面臨哪些新的倫理問(wèn)題，并在人工智能倫理和教育倫理的基礎(chǔ)上，探討教育人工智能的倫理原則。運(yùn)用文獻(xiàn)研究和邏輯推理方法，系統(tǒng)梳理了教育人工智能應(yīng)用的特點(diǎn)和優(yōu)勢(shì)，及其可能引發(fā)的新的倫理問(wèn)題：（1）角色層面，系統(tǒng)創(chuàng)建者、教師、學(xué)生和監(jiān)測(cè)員等利益相關(guān)者將面臨更加復(fù)雜的倫理困境;（2）技術(shù)層面，涉及自動(dòng)化決策倫理問(wèn)責(zé)、算法倫理和數(shù)據(jù)倫理等方面的問(wèn)題;（3）社會(huì)層面，可能轉(zhuǎn)變就業(yè)市場(chǎng)、改變?nèi)穗H關(guān)系和引發(fā)新的社會(huì)不公平。因此，需要對(duì)教育人工智能倫理問(wèn)題的復(fù)雜性有充分的認(rèn)識(shí)，同時(shí)需要遵循一般的人工智能倫理原則和教育倫理原則，其中，最核心的內(nèi)容為二者之間的交集，具體包括：（1）福祉;（2）是非善惡;（3）公平正義;（4）人權(quán)和尊嚴(yán);（5）自由自治;（6）責(zé)任和問(wèn)責(zé)。

[關(guān)鍵詞] 教育人工智能; 人工智能倫理; 教育倫理; 數(shù)據(jù)倫理; 算法倫理; 倫理原則

[中圖分類(lèi)號(hào)] G434 ? ? ? ? ? ?[文獻(xiàn)標(biāo)志碼] A

[作者簡(jiǎn)介] 鄧國(guó)民（1981—），男，湖南醴陵人。教授，博士，主要從事信息化環(huán)境下的教師專(zhuān)業(yè)發(fā)展和教育人工智能研究。E-mail：dam1981@163.com。

一、引 ? 言

當(dāng)前，人工智能、大數(shù)據(jù)和物聯(lián)網(wǎng)等新技術(shù)的發(fā)展正在推動(dòng)人類(lèi)社會(huì)從信息時(shí)代進(jìn)入智能化時(shí)代。信息時(shí)代的教育仍然帶有明顯的工業(yè)化特征：借助現(xiàn)代信息技術(shù)，提高教育資源創(chuàng)建、傳遞和共享的效率，打破時(shí)空的限制，實(shí)現(xiàn)人才培養(yǎng)的批量化和效率的最大化。然而，信息時(shí)代的教師資源仍然短缺，而且教師深陷于大量瑣碎的日常工作中，使得真正意義上的因材施教難以實(shí)現(xiàn)。

教育人工智能是在教育領(lǐng)域應(yīng)用的人工智能技術(shù)及系統(tǒng)，能夠憑借其高度智能化、自動(dòng)化和高精準(zhǔn)性的數(shù)據(jù)分析處理能力與主動(dòng)學(xué)習(xí)能力，承擔(dān)一部分過(guò)去只有教師才能夠勝任的工作，從而有效地解決信息時(shí)代的教育所面臨的一系列問(wèn)題：（1）利用基于自然語(yǔ)言處理和深度學(xué)習(xí)的自動(dòng)問(wèn)答技術(shù)，能夠自動(dòng)回答學(xué)生提出的問(wèn)題[1];（2）自動(dòng)評(píng)價(jià)學(xué)生的學(xué)習(xí)與作業(yè)，并提供符合其認(rèn)知狀態(tài)的反饋和支持[2];（3）利用情感檢測(cè)技術(shù)自動(dòng)識(shí)別學(xué)生的身體動(dòng)作和面部表情，識(shí)別學(xué)生學(xué)習(xí)過(guò)程中的情感需求，提供個(gè)性化情感支持[3];（4）模擬教師、管理者、學(xué)習(xí)伙伴、合作者和競(jìng)爭(zhēng)者等不同的角色，促進(jìn)交流與合作[4];（5）構(gòu)建自適應(yīng)學(xué)習(xí)環(huán)境，分析和診斷學(xué)習(xí)者的學(xué)習(xí)風(fēng)格、學(xué)習(xí)需要，為他們提供自適應(yīng)學(xué)習(xí)支持服務(wù);（6）利用決策管理技術(shù)輔助教師的教學(xué)決策和學(xué)習(xí)者的學(xué)習(xí)決策[5]。因此，教育人工智能能夠更有效地支持個(gè)性化教學(xué)，甚至在某些學(xué)習(xí)支持服務(wù)方面的能力已經(jīng)超越了人類(lèi)教師。

然而，教育人工智能強(qiáng)大的數(shù)據(jù)整合與分析能力，同時(shí)也會(huì)引發(fā)一系列新的倫理問(wèn)題，例如：可能會(huì)給用戶(hù)的私人數(shù)據(jù)和隱私保護(hù)帶來(lái)潛在的風(fēng)險(xiǎn);模糊教師、學(xué)生和人工智能代理等角色之間的界限。因此，教育人工智能的設(shè)計(jì)、開(kāi)發(fā)和教學(xué)實(shí)踐應(yīng)用都需要對(duì)其倫理問(wèn)題的復(fù)雜性有充分的認(rèn)識(shí)，并認(rèn)真思考應(yīng)該遵循何種倫理原則。

二、教育人工智能面臨的倫理問(wèn)題

（一）利益相關(guān)者倫理問(wèn)題

探討教育人工智能的倫理問(wèn)題，首先需要確定其涉及哪些利益相關(guān)者。湯姆塞特（Tomsett）等人從人工智能的可解釋性或透明度的角度，定義了人工智能生態(tài)系統(tǒng)中的六種不同的角色，分別是系統(tǒng)創(chuàng)建者、系統(tǒng)操作員、決策執(zhí)行者、決策主體、數(shù)據(jù)主體以及系統(tǒng)監(jiān)測(cè)員[6]。教育人工智能是在教育領(lǐng)域應(yīng)用的人工智能技術(shù)及系統(tǒng)，其利益相關(guān)者同樣應(yīng)該包括這些角色。首先，創(chuàng)建者包括開(kāi)發(fā)教育人工智能的軟件公司、員工及與其合作的相關(guān)專(zhuān)業(yè)人員和研究人員。其次，教師和學(xué)生均承擔(dān)了操作員、執(zhí)行者、決策主體和數(shù)據(jù)主體等角色，因?yàn)樵诮虒W(xué)過(guò)程中，教師起主導(dǎo)作用，學(xué)生具有主體地位，他們都會(huì)直接與教育人工智能進(jìn)行交互，為系統(tǒng)提供輸入并接收系統(tǒng)輸出的信息。師生均會(huì)在教育人工智能輸出的信息的基礎(chǔ)上作出決策，而且會(huì)受到對(duì)方?jīng)Q策的影響。他們的個(gè)人信息均可能用于訓(xùn)練教育人工智能，豐富和完善其智能導(dǎo)師代理、學(xué)習(xí)者模型和教學(xué)法模型。最后，監(jiān)測(cè)員是指對(duì)教育人工智能進(jìn)行審查的代理機(jī)構(gòu)或人員，由他們對(duì)教育人工智能的應(yīng)用效果和可能產(chǎn)生的潛在風(fēng)險(xiǎn)進(jìn)行審查。因此，在構(gòu)建教育人工智能的過(guò)程中，需要同時(shí)考慮系統(tǒng)創(chuàng)建者、教師、學(xué)生和監(jiān)測(cè)員等利益相關(guān)者的倫理問(wèn)題。

1. 系統(tǒng)創(chuàng)建者倫理問(wèn)題

教育人工智能的創(chuàng)建者包括系統(tǒng)設(shè)計(jì)師、軟件架構(gòu)師、程序員等設(shè)計(jì)開(kāi)發(fā)人員。他們?cè)谠O(shè)計(jì)、開(kāi)發(fā)教育人工智能的過(guò)程中，需要在綜合考慮其教學(xué)應(yīng)用效果的同時(shí)，兼顧教師和學(xué)生的利益。他們需要在保證教育人工智能的穩(wěn)健性、安全性、可解釋性、非歧視性和公平性的同時(shí)，支持教師和學(xué)生的主觀能動(dòng)性，重視師生的身心健康和學(xué)生綜合素質(zhì)的全面發(fā)展，而且需要能夠支持問(wèn)責(zé)追因。為了滿足這些方面的要求，教育人工智能的創(chuàng)建者應(yīng)該清楚各自承擔(dān)了什么樣的倫理責(zé)任。首先，設(shè)計(jì)師需要了解不同用戶(hù)之間存在的能力、需求及社會(huì)文化等方面的差異，真正基于善良的動(dòng)機(jī)設(shè)計(jì)產(chǎn)品，避免任何形式的傷害與歧視。軟件架構(gòu)師需要構(gòu)建安全、可靠和透明的系統(tǒng)架構(gòu)體系，在保護(hù)用戶(hù)個(gè)人數(shù)據(jù)安全、保障系統(tǒng)可靠運(yùn)行的同時(shí)，更好地支持問(wèn)責(zé)追蹤。而對(duì)程序員來(lái)說(shuō)，需要設(shè)計(jì)無(wú)偏見(jiàn)的算法，使其能夠公平、公正地對(duì)待每一位用戶(hù)。

2. 教師倫理問(wèn)題

人工智能技術(shù)將會(huì)實(shí)現(xiàn)很多職業(yè)的自動(dòng)化。教師的日常工作，如教學(xué)評(píng)價(jià)、教學(xué)診斷、教學(xué)反饋以及教學(xué)決策中的很大一部分都將由教育人工智能分擔(dān)，教師角色將會(huì)不斷深化，最終發(fā)生轉(zhuǎn)變。一方面，教師將從一些重復(fù)的、瑣碎的日常事務(wù)中解放出來(lái)，能夠有更多的時(shí)間和精力投入到更具創(chuàng)造性、人性化和關(guān)鍵性的教學(xué)工作中去，例如：創(chuàng)造和部署更加復(fù)雜的智能化學(xué)習(xí)環(huán)境，利用和擴(kuò)充自身的專(zhuān)業(yè)知識(shí)，在恰當(dāng)?shù)臅r(shí)間為學(xué)習(xí)者提供更有針對(duì)性的支持。另一方面，對(duì)技術(shù)重要性的加持，將對(duì)教師工作及角色產(chǎn)生直接影響，例如：可能會(huì)掩蓋教師的個(gè)人能力、知識(shí)及人格等方面的重要性，削弱教師的主觀能動(dòng)性[5]。因此，在智能化教學(xué)環(huán)境下，教師將面臨一系列新的倫理困境：（1）如何定義和應(yīng)對(duì)自己新的角色地位及其與智能導(dǎo)師之間的關(guān)系;（2）利用教育人工智能采集和使用學(xué)生的學(xué)習(xí)行為數(shù)據(jù)為其提供教學(xué)支持服務(wù)的過(guò)程中，該如何保護(hù)他們的隱私及個(gè)人安全;（3）在新的教學(xué)實(shí)踐環(huán)境下，教師應(yīng)該具備什么樣的倫理知識(shí)，需要遵循什么樣的倫理準(zhǔn)則以作出倫理決策。因此，教育人工智能將對(duì)教師的能力素質(zhì)與知識(shí)結(jié)構(gòu)提出更多新的要求，他們不僅需要具備一定的關(guān)于教育人工智能設(shè)計(jì)、開(kāi)發(fā)和應(yīng)用方面的能力與知識(shí)，而且還需要具備一定的倫理知識(shí)，使其能夠以符合倫理原則的方式將教育人工智能融入教育實(shí)踐[7]。

3. 學(xué)生倫理問(wèn)題

智能化時(shí)代對(duì)學(xué)生的學(xué)習(xí)、能力、素養(yǎng)提出了更多新的要求，也使學(xué)生面臨的倫理問(wèn)題更加復(fù)雜化。第一，人工智能可能改變未來(lái)的就業(yè)市場(chǎng)，就業(yè)導(dǎo)向的教育很可能過(guò)時(shí)，因此，學(xué)習(xí)者對(duì)于自己所學(xué)習(xí)的內(nèi)容和目標(biāo)都需要進(jìn)行重新思考[8]。第二，人的神經(jīng)系統(tǒng)是可塑的，教育人工智能能夠給學(xué)習(xí)者提供個(gè)性化的學(xué)習(xí)支持服務(wù)，但同時(shí)也可能會(huì)剝奪他們的很多思維訓(xùn)練和學(xué)習(xí)體驗(yàn)的機(jī)會(huì)，改變他們的大腦結(jié)構(gòu)和認(rèn)知能力，尤其是在學(xué)習(xí)者大腦發(fā)育的關(guān)鍵期過(guò)度使用認(rèn)知技術(shù)，將可能帶來(lái)不可逆轉(zhuǎn)的嚴(yán)重后果，這對(duì)他們發(fā)展更高級(jí)的認(rèn)知技能和創(chuàng)新能力是非常不利的[9]。第三，教育人工智能的發(fā)展，使知識(shí)產(chǎn)權(quán)和誠(chéng)信等倫理問(wèn)題變得更加微妙和復(fù)雜。如果學(xué)生利用教育人工智能自動(dòng)生成論文、作業(yè)或作品，其中涉及的知識(shí)產(chǎn)權(quán)的歸屬問(wèn)題，目前仍缺乏明確的倫理規(guī)范[10]。第四，教育人工智能的使用會(huì)不會(huì)給學(xué)習(xí)者帶來(lái)身體的重復(fù)性勞損、視力問(wèn)題和肥胖問(wèn)題等，會(huì)不會(huì)影響他們的視覺(jué)、觸覺(jué)和聽(tīng)覺(jué)等感官的敏感性，會(huì)不會(huì)剝奪他們體驗(yàn)簡(jiǎn)單快樂(lè)生活的機(jī)會(huì)[11]。第五，教育人工智能可能會(huì)剝奪大量的學(xué)習(xí)者與教師和同伴交流的機(jī)會(huì)，這會(huì)不會(huì)影響他們參與有意義的人類(lèi)社會(huì)活動(dòng)的能力。第六，教育人工智能的認(rèn)知能力、計(jì)算能力和信息處理能力在某些方面遠(yuǎn)遠(yuǎn)超越了人類(lèi)學(xué)習(xí)者，會(huì)不會(huì)讓他們變得沮喪，降低他們的學(xué)習(xí)動(dòng)機(jī)，使其不再愿意去主動(dòng)解決問(wèn)題和進(jìn)行理性思考。

4. 監(jiān)測(cè)員倫理問(wèn)題

在教育人工智能場(chǎng)景下，監(jiān)測(cè)員包括制定教育人工智能標(biāo)準(zhǔn)的機(jī)構(gòu)或相關(guān)人員、數(shù)據(jù)專(zhuān)員等，他們主要負(fù)責(zé)對(duì)系統(tǒng)的一致性、安全性和公平性等方面進(jìn)行測(cè)試、調(diào)查和審查[6]。安全測(cè)試一般在教育人工智能部署之前進(jìn)行，而審查需要檢查系統(tǒng)過(guò)去的輸出，因此，需要一個(gè)備份系統(tǒng)存儲(chǔ)教育人工智能的數(shù)據(jù)、決策及解釋。監(jiān)測(cè)員正是通過(guò)這些數(shù)據(jù)、解釋與教育人工智能進(jìn)行交互，分析和審查教育人工智能作出教學(xué)支持服務(wù)決策的一致性、安全性和公平性，并提出相應(yīng)的整改措施。因此，保證教育人工智能的可解釋性，需要對(duì)其作出的決策、判斷和學(xué)習(xí)支持服務(wù)建立相應(yīng)的存儲(chǔ)保留機(jī)制和解釋方案，供監(jiān)測(cè)員審查，通過(guò)第三方機(jī)構(gòu)來(lái)保證教育人工智能的設(shè)計(jì)、開(kāi)發(fā)和應(yīng)用是符合教育教學(xué)倫理規(guī)范的。審查之后，監(jiān)測(cè)員還需要向創(chuàng)建者提供如何改進(jìn)教育人工智能的反饋，如重新訓(xùn)練模型、提高模型的公平性和保護(hù)學(xué)生隱私數(shù)據(jù)的安全策略。

（二）技術(shù)倫理問(wèn)題

1. 自動(dòng)化決策倫理問(wèn)責(zé)問(wèn)題

隨著教育人工智能的自主控制和自主決策能力不斷增強(qiáng)，它們也需要意識(shí)到自身行為的倫理含義，而不是依賴(lài)于設(shè)計(jì)人員預(yù)置的規(guī)則。因此，需要給教育人工智能引入倫理原則和規(guī)則，構(gòu)建智能道德代理，使其具有一定的倫理決策能力，并能夠?qū)ψ约旱臎Q策、行為和后果進(jìn)行判斷，協(xié)調(diào)各方利益，但這樣也會(huì)引發(fā)出一些新的倫理問(wèn)題[12]。首先，規(guī)則與算法是由設(shè)計(jì)者、程序員定制的，而不是由教育人工智能自主建構(gòu)的，權(quán)威、權(quán)力和影響力會(huì)越來(lái)越多地體現(xiàn)在算法的開(kāi)發(fā)和實(shí)施上。在各方利益沖突的情況下，教育人工智能應(yīng)該優(yōu)先服務(wù)于誰(shuí)的利益，設(shè)計(jì)者、程序員、教師還是學(xué)生？其次，教育人工智能的應(yīng)用可能會(huì)導(dǎo)致學(xué)習(xí)的失敗，其中潛在的責(zé)任主體包括設(shè)計(jì)開(kāi)發(fā)人員、教師、學(xué)生和智能代理等，出現(xiàn)這種情況時(shí)應(yīng)該向誰(shuí)問(wèn)責(zé)，軟件、數(shù)據(jù)、教師和學(xué)生各自應(yīng)該承擔(dān)什么樣的責(zé)任，目前還缺乏相應(yīng)的問(wèn)責(zé)機(jī)制。最后，教育人工智能本身的自動(dòng)化和復(fù)雜性，意味著我們很難確定系統(tǒng)的決策機(jī)制是如何運(yùn)行的，也很難對(duì)其進(jìn)行追溯和解釋。

2. 算法倫理問(wèn)題

目前，人工智能主要通過(guò)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)算法進(jìn)行學(xué)習(xí)和訓(xùn)練，基于過(guò)去記錄的歷史數(shù)據(jù)作出決策和判斷。如果利用教育人工智能對(duì)學(xué)習(xí)者及其學(xué)習(xí)進(jìn)行評(píng)價(jià)，那么只能根據(jù)過(guò)去的標(biāo)準(zhǔn)和方法，如特定歷史文化背景下的成功衡量標(biāo)準(zhǔn)來(lái)進(jìn)行，這將會(huì)使學(xué)習(xí)算法不可避免地產(chǎn)生歷史或文化的偏差與偏見(jiàn)，局限于依據(jù)歷史案例的平均化數(shù)據(jù)進(jìn)行處理，而在處理具有創(chuàng)造性和創(chuàng)新性的學(xué)習(xí)活動(dòng)過(guò)程方面面臨極大的挑戰(zhàn)[9]。從基本的倫理觀點(diǎn)來(lái)看，教師和學(xué)生能動(dòng)性的表達(dá)需要的不僅僅是重復(fù)過(guò)去的歷史選擇，而是需要強(qiáng)調(diào)人的創(chuàng)造性和創(chuàng)新性，不能只是停留在過(guò)去。教育人工智能可能提供更多個(gè)性化和多樣化的學(xué)習(xí)路徑和學(xué)習(xí)資源的選擇，但目前的做法一般是根據(jù)用戶(hù)過(guò)去的選擇和決定將其確定為不同的個(gè)人畫(huà)像，然后過(guò)濾掉不符合其個(gè)人畫(huà)像的學(xué)習(xí)內(nèi)容和路徑。這種方式可能會(huì)限制學(xué)習(xí)者對(duì)學(xué)習(xí)內(nèi)容多樣化的需求，忽視人的學(xué)習(xí)和發(fā)展的靈活性、多樣性和不確定性。

3. 數(shù)據(jù)倫理問(wèn)題

教育人工智能的正常運(yùn)行需要大量數(shù)據(jù)的支持，因而需要記錄大量關(guān)于學(xué)習(xí)者的能力、情緒、策略和誤解等方面的數(shù)據(jù)，其中涉及大量新的數(shù)據(jù)倫理問(wèn)題。首先，在數(shù)據(jù)的分析和處理過(guò)程中是否會(huì)涉及數(shù)據(jù)意外泄露的問(wèn)題，教師和學(xué)生應(yīng)該在何種程度上控制自己的數(shù)據(jù)，保護(hù)自己不受到傷害和歧視。其次，誰(shuí)擁有這些數(shù)據(jù)，其中涉及什么樣的隱私問(wèn)題，如果發(fā)生個(gè)人信息泄露，誰(shuí)應(yīng)該對(duì)此負(fù)責(zé)。最后，對(duì)于這些數(shù)據(jù)，應(yīng)該如何分析、解釋和共享，如何糾正可能對(duì)個(gè)別學(xué)生的合法權(quán)利產(chǎn)生負(fù)面影響的偏見(jiàn)（有意識(shí)和無(wú)意識(shí)的），尤其是在考慮到種族、社會(huì)地位和收入不平等的情況下。因此，教育人工智能的倫理原則不能被簡(jiǎn)化為關(guān)于數(shù)據(jù)或計(jì)算方法的問(wèn)題，還需要考慮數(shù)據(jù)倫理和教育倫理。教育人工智能的倫理問(wèn)題，實(shí)際上是數(shù)據(jù)倫理、計(jì)算倫理和教育倫理的綜合應(yīng)用[13]。

（三）社會(huì)倫理問(wèn)題

1. 轉(zhuǎn)變就業(yè)市場(chǎng)和人才培養(yǎng)的方向

現(xiàn)行教育系統(tǒng)的關(guān)鍵作用之一是培養(yǎng)學(xué)習(xí)者參與社會(huì)經(jīng)濟(jì)生活的能力。教育制度的歷史與工業(yè)社會(huì)的發(fā)展密切相關(guān)，雇傭勞動(dòng)仍然是當(dāng)今社會(huì)及其日常生活的核心組織原則。但是，人工智能將可能代替人類(lèi)的很多工作，這會(huì)不會(huì)導(dǎo)致失業(yè)率的上升？縱觀歷次工業(yè)革命，每次都會(huì)出現(xiàn)類(lèi)似的擔(dān)憂，但最后對(duì)人才的需求量反而越來(lái)越大，因?yàn)殡S著人口的增長(zhǎng)和社會(huì)的發(fā)展，對(duì)產(chǎn)品和服務(wù)都會(huì)提出新的需求[9]。一些簡(jiǎn)單的、重復(fù)性的勞動(dòng)將由人工智能承擔(dān)，人類(lèi)則將從事一些富有創(chuàng)造性、挑戰(zhàn)性和不可替代性的工作，例如：人工智能系統(tǒng)的設(shè)計(jì)與開(kāi)發(fā)、人工智能哲學(xué)問(wèn)題和社會(huì)問(wèn)題的研究等。他們將有更多的時(shí)間和精力投入自己感興趣的領(lǐng)域，真正實(shí)現(xiàn)人性的解放。因此，未來(lái)的就業(yè)市場(chǎng)格局將面臨根本性的轉(zhuǎn)變，社會(huì)對(duì)人才的能力和素養(yǎng)也會(huì)提出更多新的要求，這將對(duì)人才培養(yǎng)的質(zhì)量標(biāo)準(zhǔn)和規(guī)格帶來(lái)革命性的影響。

2. 改變教學(xué)過(guò)程中的人際關(guān)系

教育人工智能的技術(shù)化過(guò)程可能會(huì)忽略師生之間以及學(xué)生之間的正確關(guān)系（“我―你”而不是“我―他”），弱化我們對(duì)教育的理解，進(jìn)而只是將其理解為學(xué)習(xí)技能，而不是人的培養(yǎng)，從而容易忽略教師和教學(xué)在教育過(guò)程中的重要性[14]。教育人工智能將對(duì)師生關(guān)系產(chǎn)生重要的影響，它可能會(huì)削弱師生之間和學(xué)生之間的聯(lián)系水平，以及他們之間建立聯(lián)系的能力，同時(shí)也可能削弱教學(xué)過(guò)程和學(xué)習(xí)過(guò)程，弱化教師作為專(zhuān)業(yè)人員的地位。師生關(guān)系質(zhì)量對(duì)于學(xué)習(xí)者的個(gè)人自尊、學(xué)習(xí)動(dòng)機(jī)和挑戰(zhàn)新問(wèn)題的信心等影響學(xué)業(yè)成績(jī)的因素都具有重要的影響。教師對(duì)學(xué)生的友善態(tài)度和及時(shí)反饋有助于他們獲得自信心，促進(jìn)他們健康情感的發(fā)展。而且，我們也無(wú)法保證所有的教育人工智能使用者都是基于一種良好的意圖，教育人工智能的濫用和不良使用，例如：獲取他人的隱私數(shù)據(jù)，模仿他人的筆跡、語(yǔ)音和會(huì)話風(fēng)格去獲取非法利益，以及將教育人工智能生成的知識(shí)、報(bào)告和藝術(shù)作品據(jù)為己有，都可能降低教學(xué)過(guò)程中人與人之間的信任感。

3. 引發(fā)新的社會(huì)不公平

教育人工智能的初衷是要增進(jìn)教育系統(tǒng)內(nèi)各利益相關(guān)者的福祉，讓更多的教師和學(xué)生受益，需要盡量避免因?yàn)閿?shù)字鴻溝而導(dǎo)致的新的社會(huì)不公平。教育人工智能領(lǐng)域的數(shù)字鴻溝，不是簡(jiǎn)單地由社會(huì)經(jīng)濟(jì)地位差異而導(dǎo)致的對(duì)技術(shù)設(shè)備擁有和訪問(wèn)權(quán)的懸殊引起的，而是由一系列復(fù)雜的影響因素構(gòu)成，如信息素養(yǎng)、人工智能素養(yǎng)、對(duì)待教育人工智能的態(tài)度、應(yīng)用能力和使用意向等，它們會(huì)影響教師和學(xué)生應(yīng)用教育人工智能的目的、方法和策略，進(jìn)而影響最終的教與學(xué)效果，帶來(lái)新的教育不公平[5]。歷史經(jīng)驗(yàn)也表明，新技術(shù)的應(yīng)用往往并不會(huì)縮小教育的不平等，反而可能擴(kuò)大教育的不平等，這其中涉及技術(shù)應(yīng)用的能力、效果和效率等方面的問(wèn)題。

三、教育人工智能倫理原則

人工智能本身的自動(dòng)化、自主性和能動(dòng)性等方面的特征，使其同時(shí)扮演道德行動(dòng)者和容受者的角色，并具有一定的倫理責(zé)任和道德決策能力。教育人工智能的應(yīng)用可能會(huì)使各利益相關(guān)者面臨眾多新的倫理兩難問(wèn)題，并帶來(lái)一系列新的技術(shù)倫理和社會(huì)倫理困境。因此，教育人工智能的應(yīng)用絕不僅僅是一個(gè)技術(shù)層面的問(wèn)題，還涉及技術(shù)與人類(lèi)的關(guān)系、科技哲學(xué)及社會(huì)學(xué)等層面的問(wèn)題，如果對(duì)其倫理困境的復(fù)雜性沒(méi)有深刻的認(rèn)識(shí)，將可能帶來(lái)不可估量的負(fù)面影響。一方面，教育人工智能是人工智能技術(shù)及系統(tǒng)在教育領(lǐng)域的具體應(yīng)用，需要遵循一般的人工智能倫理原則;另一方面，它又是一種具體的教育教學(xué)實(shí)踐活動(dòng)，需要遵循教育倫理原則。

根據(jù)對(duì)國(guó)際電氣和電子工程師協(xié)會(huì)（IEEE）2019年發(fā)布的《合倫理設(shè)計(jì)：利用人工智能和自主系統(tǒng)最大化人類(lèi)福祉的愿景（第一版）》[15]、歐盟委員會(huì)2019年發(fā)布的《值得依賴(lài)的人工智能倫理準(zhǔn)則》以及其他人工智能倫理指南文件的分析[16]，可以發(fā)現(xiàn)，盡管各國(guó)存在文化傳統(tǒng)方面的差異，但在通用人工智能倫理方面表現(xiàn)出一定的趨同性，主要包括可解釋性、公平正義、責(zé)任、隱私和數(shù)據(jù)治理、善待、非惡意、自由自治、信任、尊嚴(yán)、穩(wěn)健性、福祉、有效性、慎用、勝任和人權(quán)等方面。教育倫理原則主要包括：（1）能否給教育活動(dòng)的全體利益相關(guān)者帶來(lái)福祉;（2）能否明辨是非善惡標(biāo)準(zhǔn);（3）是否尊重教育公平和教育正義;（4）是否保護(hù)人的教育權(quán)、自由權(quán)和隱私權(quán)等基本人權(quán);（5）是否尊重人，是否維護(hù)人的道德尊嚴(yán);（6）是否履行教育的道德責(zé)任與義務(wù)[17]?？梢?jiàn)，人工智能倫理和教育倫理在福祉、是非善惡、公平正義、人權(quán)和尊嚴(yán)、自由自治和責(zé)任等方面存在交叉重疊之處，如圖1所示。

? ? ?因此，教育人工智能倫理原則應(yīng)該是二者之間的交集，代表在教育情境下，人工智能系統(tǒng)的技術(shù)開(kāi)發(fā)與實(shí)踐應(yīng)用應(yīng)該遵循的具體倫理原則。

（一）福祉

福祉主要是指人工智能的設(shè)計(jì)和應(yīng)用應(yīng)該改善人類(lèi)生活質(zhì)量和外部環(huán)境，包括人類(lèi)賴(lài)以生存的各種個(gè)人、社會(huì)和環(huán)境因素。它需要評(píng)估人工智能是否會(huì)讓人類(lèi)社會(huì)和環(huán)境變得更加美好，能否促進(jìn)社會(huì)的進(jìn)步，促進(jìn)社會(huì)和環(huán)境的可持續(xù)發(fā)展，為任何地方的人所有并使其受益[15]。從教育領(lǐng)域來(lái)看，福祉主要是指教育人工智能的設(shè)計(jì)、開(kāi)發(fā)和應(yīng)用應(yīng)該能夠?yàn)榻逃顒?dòng)的所有利益相關(guān)者帶來(lái)福利，實(shí)現(xiàn)所有教育教學(xué)活動(dòng)相關(guān)人員的教育利益的最大化。例如：它能否改善現(xiàn)有的教學(xué)環(huán)境，更好地支持學(xué)習(xí)者的學(xué)習(xí)，尤其是存在學(xué)習(xí)障礙的學(xué)習(xí)者的學(xué)習(xí);能否提供更多、更好的學(xué)習(xí)機(jī)會(huì)，更好地做到因材施教，使所有學(xué)習(xí)者均能夠得到更充分的發(fā)展;能否將教師從一些低水平的重復(fù)工作中解放出來(lái)，使其更好地投入到更有價(jià)值、更有意義、更具創(chuàng)造性的教育活動(dòng)中去，讓他們的個(gè)人價(jià)值得到更充分的實(shí)現(xiàn);能否改善師生關(guān)系，使師生能夠以一種更幸福、更健康的方式投入到教與學(xué)活動(dòng)中去，實(shí)現(xiàn)個(gè)人全面和諧發(fā)展的同時(shí)，更好地保障他們的身心健康。

（二）是非善惡

人工智能的非惡意原則主要是指其設(shè)計(jì)和應(yīng)用應(yīng)該是出于仁愛(ài)而不是惡意的愿望，即絕對(duì)不應(yīng)該造成可預(yù)見(jiàn)或無(wú)意識(shí)的傷害、偏見(jiàn)和不公平，需要避免特定的風(fēng)險(xiǎn)或潛在的危害[18]。因此，人工智能產(chǎn)品的設(shè)計(jì)、開(kāi)發(fā)和部署需要基于一種良好的愿望，同時(shí)還需要有一套預(yù)防風(fēng)險(xiǎn)和潛在危害的干預(yù)機(jī)制。教育倫理則強(qiáng)調(diào)教育行為需要基于善良的動(dòng)機(jī)，遵從具有普遍價(jià)值的道德準(zhǔn)則和崇高的道德意義，履行社會(huì)和個(gè)人的道德義務(wù)。因此，教育人工智能的設(shè)計(jì)和開(kāi)發(fā)應(yīng)該基于一種善良的動(dòng)機(jī)，是真正為了實(shí)現(xiàn)教育更好的發(fā)展，為了教師能夠更好地進(jìn)行教學(xué)工作和履行育人的社會(huì)責(zé)任，學(xué)生能夠更好地進(jìn)行學(xué)習(xí)，促進(jìn)他們?nèi)婧椭C的發(fā)展，而不是出于其他的功利性甚至帶有個(gè)人私欲的某種目的。

（三）公平正義

公平正義原則要求人工智能對(duì)所有人都是公平公正的，并且要避免保留現(xiàn)有的社會(huì)偏見(jiàn)和引入新的偏見(jiàn)。因此，人工智能的決策算法和訓(xùn)練數(shù)據(jù)不應(yīng)該沿襲設(shè)計(jì)者固有的偏見(jiàn)和歧視，而是應(yīng)該通過(guò)評(píng)估確保這些數(shù)據(jù)對(duì)不同的社會(huì)文化均具有適當(dāng)?shù)拇硇裕屗腥硕加衅降仍L問(wèn)的機(jī)會(huì)[19]。教育教學(xué)活動(dòng)需要維護(hù)教育的公平和正義，受教育權(quán)是每個(gè)社會(huì)公民的基本權(quán)利，不管其社會(huì)地位的高低和財(cái)富的多寡。而且，教育本身也是實(shí)現(xiàn)社會(huì)公平的一種方式，它為階層之間的流動(dòng)提供了一個(gè)良好的通道[20]。在部署教育人工智能系統(tǒng)之前，需要仔細(xì)思考會(huì)不會(huì)帶來(lái)更多的教育機(jī)會(huì)，是促進(jìn)教育公平，還是妨礙教育公平。首先，教育人工智能的決策算法和依托的數(shù)據(jù)是否存在偏見(jiàn)與歧視，能否公平、公正地對(duì)待每一位學(xué)生。其次，教師利用教育人工智能進(jìn)行教學(xué)的能力水平的差異，會(huì)不會(huì)導(dǎo)致教學(xué)效果的差異，從而引發(fā)新的教育不公平。再次，學(xué)習(xí)者的信息素養(yǎng)和人工智能素養(yǎng)水平的不同，對(duì)于他們使用教育人工智能進(jìn)行學(xué)習(xí)會(huì)不會(huì)帶來(lái)學(xué)習(xí)效果的差異，從而擴(kuò)大學(xué)生學(xué)業(yè)成績(jī)之間的差距。最后，家庭社會(huì)地位和經(jīng)濟(jì)實(shí)力的不同，會(huì)不會(huì)造成訪問(wèn)教育人工智能機(jī)會(huì)的不均等，從而帶來(lái)新的教育不公平。

（四）人權(quán)和尊嚴(yán)

人工智能應(yīng)該優(yōu)先考慮并明確尊重人的基本人權(quán)和尊嚴(yán)。這需要在各利益相關(guān)方之間合作協(xié)商的基礎(chǔ)上制定指導(dǎo)人工智能開(kāi)發(fā)的人權(quán)框架，指導(dǎo)和規(guī)劃人工智能的未來(lái)發(fā)展方向，以確定、預(yù)防和糾正人工智能可能給基本人權(quán)和尊嚴(yán)帶來(lái)的潛在風(fēng)險(xiǎn)和危害，以維護(hù)人類(lèi)的尊嚴(yán)和固有價(jià)值[21]。教育人工智能在教育中的應(yīng)用，將可能替代教師的很多日常工作，但不能因此而動(dòng)搖教師作為能夠自主確立教學(xué)目標(biāo)的主體地位，以及忽略教師工作本身的價(jià)值和創(chuàng)造性，降低教師的地位和尊嚴(yán)。教育人工智能給學(xué)習(xí)者提供認(rèn)知支架和智能化教學(xué)支持服務(wù)，應(yīng)該讓學(xué)習(xí)者能夠根據(jù)自己的需要和個(gè)性特征做出選擇，而不是代替學(xué)生做出選擇，即應(yīng)該充分地尊重學(xué)生作為一個(gè)人的基本人權(quán)和尊嚴(yán)，而不是將其作為某種目標(biāo)對(duì)象來(lái)對(duì)待。因此，教育人工智能的創(chuàng)建者、教師和其他工作人員都應(yīng)該充分尊重師生在智能學(xué)習(xí)環(huán)境下的這些人權(quán)和尊嚴(yán)。

（五）自由自治

人工智能的發(fā)展需要在以人為主導(dǎo)的決策和以機(jī)器為主導(dǎo)的決策之間保持平衡，應(yīng)該促進(jìn)人類(lèi)的自主權(quán)和控制權(quán)，而不是傷害和破壞人類(lèi)的自由。人類(lèi)應(yīng)該選擇以何種方式賦予人工智能何種程度的決策權(quán)，以實(shí)現(xiàn)人類(lèi)自主選擇的目標(biāo)[22]。因此，人工智能應(yīng)該將使用者視為獨(dú)立自主的人，而不是被操控的對(duì)象，不能剝奪和影響人類(lèi)自由自治的權(quán)力。部署教育人工智能的學(xué)校和機(jī)構(gòu)對(duì)于預(yù)置什么樣的社會(huì)文化價(jià)值觀念具有自治權(quán)，教育人工智能的創(chuàng)建者不能把自己的社會(huì)文化價(jià)值觀念嵌入教育人工智能中，影響用戶(hù)對(duì)文化和價(jià)值體系的自治權(quán)。教師職業(yè)有其創(chuàng)造性和自主性的一面，對(duì)于自己選擇什么樣的教學(xué)方法，如何安排教學(xué)活動(dòng)和進(jìn)行教學(xué)評(píng)價(jià)，教師擁有自主權(quán)。學(xué)生對(duì)于自己在教育人工智能中的個(gè)人形象、數(shù)據(jù)和身份，擁有自主控制的權(quán)利。他們對(duì)于教育人工智能提供的教學(xué)支持服務(wù)和資源策略建議，擁有主觀能動(dòng)性，而且不應(yīng)該由于沒(méi)有遵循教育人工智能的建議而受到任何形式的懲罰。

（六）責(zé)任和問(wèn)責(zé)

當(dāng)人工智能具備了一定的行為和決策自主權(quán)后，其責(zé)任和問(wèn)責(zé)機(jī)制將會(huì)變得更加復(fù)雜，所以應(yīng)該建立一套完善的責(zé)任和問(wèn)責(zé)機(jī)制，以確保能夠?qū)θ斯ぶ悄芗捌湫袨闆Q策后果進(jìn)行問(wèn)責(zé)，明確應(yīng)該如何在制造商、設(shè)計(jì)師、運(yùn)營(yíng)商和最終用戶(hù)之間分?jǐn)傌?zé)任。明確的問(wèn)責(zé)機(jī)制需要建立在系統(tǒng)透明的基礎(chǔ)上，即應(yīng)該建立完整的數(shù)據(jù)跟蹤記錄方案，保持系統(tǒng)算法和決策推理過(guò)程的透明，以便在任何情況下均可以快速找出責(zé)任主體[15]。教育人工智能，可能會(huì)代替教師的部分教學(xué)決策和教學(xué)行為，或者向他們提供教學(xué)策略建議，為他們的決策與行為提供支持。這種決策與行為后果的責(zé)任主體和問(wèn)責(zé)機(jī)制是比較復(fù)雜的，這要求教育人工智能對(duì)于自身對(duì)教育教學(xué)工作的支持和干預(yù)具有一定的預(yù)見(jiàn)性。對(duì)于算法的決策過(guò)程、教師使用教育人工智能進(jìn)行教學(xué)的過(guò)程以及學(xué)生學(xué)習(xí)過(guò)程中的行為數(shù)據(jù)，教育人工智能要有完整的記錄保存方案，從而為后續(xù)的問(wèn)責(zé)過(guò)程提供依據(jù)。

四、結(jié) ? 語(yǔ)

毫無(wú)疑問(wèn)，人工智能將對(duì)教育產(chǎn)生深遠(yuǎn)的影響，甚至可能帶來(lái)教育教學(xué)實(shí)踐領(lǐng)域的一場(chǎng)根本性的變革，轉(zhuǎn)變教師的工作性質(zhì)和社會(huì)角色，改變學(xué)生的學(xué)習(xí)體驗(yàn)。教育人工智能的出現(xiàn)給教育技術(shù)學(xué)帶來(lái)了新的挑戰(zhàn)，它在支持教育教學(xué)實(shí)踐的過(guò)程中，體現(xiàn)出越來(lái)越強(qiáng)的自動(dòng)化和主觀能動(dòng)性，將同時(shí)扮演道德行動(dòng)者和容受者的角色。它將使教育領(lǐng)域的倫理問(wèn)題變得更加復(fù)雜化，并引發(fā)出一系列新的倫理困境。因此，在教育人工智能的大規(guī)模設(shè)計(jì)、開(kāi)發(fā)、部署和投入應(yīng)用之前，需要認(rèn)真考慮教育人工智能倫理原則的構(gòu)建，為在教育教學(xué)實(shí)踐過(guò)程中安全有效地利用教育人工智能奠定合適的倫理道德基礎(chǔ)。

[參考文獻(xiàn)]

[1] 郭天翼，彭敏，伊穆蘭，等.自然語(yǔ)言處理領(lǐng)域中的自動(dòng)問(wèn)答研究進(jìn)展[J].武漢大學(xué)學(xué)報(bào)（理學(xué)版），2019，65（5）：417-426.

[2] PERIKOS I，GRIVOKOSTOPOULOU F，HATZILYGEROUDIS I，et al. Assistance and feedback mechanism in an intelligent tutoring system for teaching conversion of natural language into logic[J]. International journal of artificial intelligence in education，2017，27（3）：475-514.

[3] MAR S，SANTOS O C，SERGIO S M，et al. Towards emotion detection in educational scenarios from facial expressions and body movements through multimodal approaches[J].Scientific world journal，2014，484873：1-14.

[4] VIZCAINO A. A simulated student can improve collaborative learning[J]. Artificial intelligence in education，2005，15（1）：3-40.

[5] LUCKIN R，HOLMES W，GRIFFITHS M，et al. Intelligence unleashed： an argument for AI in education[M].London：Pearson，2016.

[6] TOMSETT R， BRAINES D， HARBORNE D， et al. Interpretable to whom？ a role-based model for analyzing interpretable machine learning systems[C]//Proceedings of the 2018 ICML Workshop on Human Interpretability in Machine Learning. Stockholm：CoRR， 2018：8-14.

[7] 鄧國(guó)民.教師整合技術(shù)與倫理的學(xué)科教學(xué)知識(shí)框架[J].黑龍江高教研究，2018（2）：99-103.

[8] SIAU K. Education in the age of artificial intelligence： how will technology shape learning[J]. The global analyst，2018，7（3）：22-24.

[9] TUOMI I.The impact of artificial intelligence on learning， teaching， and education： policies for the future[M].Luxembourg： Publications Office of the European Union，2018.

[10] DAVIES C R. An evolutionary step in intellectual property rights-artificial intelligence and intellectual property[J]. Computer law & security review，2011，27（6）：601-619.

[11] AIKEN R M，EPSTEIN R G. Ethical guidelines for AI in education： starting a conversation[J]. International journal of artificial intelligence in education，2000，11：163-176.

[12] SIVILL T. Ethical and statistical considerations in models of moral judgments[J].Frontiers in robotics and AI，2019，6：39.

[13] HOLMES W，INIESTO F，SHARPLES M，et al. Ethics in AIED： who cares？[C]//20th International Conference on Artificial Intelligence in Education. Chicago：Open Research Online，2019.

[14] GUILHERME A. AI and education： the importance of teacher and student relations[J]. AI & Society，2019，34（1）：47-54.

[15] The IEEE Global Initiative on Ethics of Autonomous and Intelligent Systems. Ethically aligned design： a vision for prioritizing human well-being with autonomous and intelligent systems[EB/OL]. （2019-03-19） [2020-03-24]. https：//standards.ieee.org/content/dam/ieee-standards/standards/web/documents/other/ead1e.pdf.

[16] FLORIDI L. Establishing the rules for building trustworthy AI[J]. Nature machine intelligence，2019，1（6）：261.

[17] 王正平.教育倫理學(xué)的基礎(chǔ)理論探究與建構(gòu)[J].上海師范大學(xué)學(xué)報(bào)（哲學(xué)社會(huì)科學(xué)版），2017，46（6）：24-33.

[18] JOBIN A， IENCA M， VAYENA E， et al. The global landscape of AI ethics guidelines[J]. Nature machine intelligence，2019，1（9）：389-399.

[19] SHAW G. The future computed： AI and manufacturing[M]. Washington： Microsoft Corporation， 2019.

[20] 王本陸.教育公正：教育制度倫理的核心原則[J].華南師范大學(xué)學(xué)報(bào)（社會(huì)科學(xué)版），2005（4）：98-104，160.

[21] LATONERO M. Governing artificial intelligence： upholding human rights & dignity[EB/OL]. （2018-10-10）[2020-03-24]. https：//datasociety.net/wp-content/uploads/2018/10/DataSociety_Governing_Artificial_Intelligence_Upholding_Human_Rights.pdf.

[22] FLORIDI L， COWLS J， BELTRAMETTI M， et al. AI4People—an ethical framework for a good AI society： opportunities， risks， principles， and recommendations[J]. Minds and machines，2018，28（4）：689-707.

[Abstract] This paper aims to reveal what new ethical issues education will face in the intelligent age， and explore the ethical principles of educational artificial intelligence on the basis of artificial intelligence ethics and educational ethics. By means of literature research and logical reasoning， this paper systematically combs the characteristics and advantages of applications of educational artificial intelligence， as well as the new ethical problems it may cause：（1）at the role level， system creators， teachers， students， monitors and other stakeholders will face more complex ethical dilemmas;（2）at the technical level， it involves issues such as automated decision-making ethics accountability， algorithm ethics， and data ethics; （3）at the social level， the employment market may be transformed， interpersonal relationships may be changed， and a new society unfair may be triggered. Therefore， it is necessary to have a full understanding of the complexity of the ethical issues of educational artificial intelligence. It also needs to follow both the general ethical principles of artificial intelligence and educational ethics. Among them， the most core content is the intersection between the two， including：（1） well-being;（2） right and wrong， good and evil;（3） fairness and justice;（4）human rights and dignity;（5）freedom and autonomy;（6）responsibility and accountability.

[Keywords] Educational Artificial Intelligence; Ethics of Artificial Intelligence; Educational Ethics; Data Ethics; Algorithm Ethics; Ethical Principles