GenAI技術(shù)在教育評(píng)價(jià)中的算法偏見：表現(xiàn)、成因與對(duì)策

摘要：在全球創(chuàng)新驅(qū)動(dòng)發(fā)展戰(zhàn)略不斷深化的背景下，生成式人工智能（Generative AI，GenAI）技術(shù)正逐步成為推動(dòng)教育評(píng)價(jià)體系轉(zhuǎn)型升級(jí)的重要力量。然而，當(dāng)前教育領(lǐng)域?qū)χ悄芗夹g(shù)的應(yīng)用仍處于初級(jí)階段，尤其在大語言模型的可解釋性方面面臨嚴(yán)峻挑戰(zhàn)。數(shù)據(jù)偏差、算法設(shè)計(jì)缺陷和測試驗(yàn)證不足導(dǎo)致的“算法偏見”問題，已成為制約技術(shù)公平應(yīng)用的關(guān)鍵難題。對(duì)此，文章結(jié)合GenAI技術(shù)在教育評(píng)價(jià)中的實(shí)際應(yīng)用，首先系統(tǒng)梳理了算法偏見的具體表現(xiàn)，涵蓋個(gè)體差異、地域差異、社會(huì)地位差異等維度；之后深入剖析了偏見產(chǎn)生的成因，主要從數(shù)據(jù)質(zhì)量、模型設(shè)計(jì)、應(yīng)用場景三個(gè)方面展開；最后提出完善算法設(shè)計(jì)、統(tǒng)籌治理主體、促進(jìn)技術(shù)普惠等對(duì)策，以期為構(gòu)建公正、透明、包容的教育評(píng)價(jià)體系提供參考。

關(guān)鍵詞：GenAI技術(shù)；算法偏見；教育評(píng)價(jià)；數(shù)據(jù)倫理；人工智能

【中圖分類號(hào)】G40-057 【文獻(xiàn)標(biāo)識(shí)碼】A 【論文編號(hào)】1009—8097（2025）01—0053—10 【DOI】10.3969/j.issn.1009-8097.2025.01.006

引言

面向2035年建設(shè)教育強(qiáng)國的戰(zhàn)略目標(biāo)，習(xí)近平總書記關(guān)于“如何建設(shè)教育強(qiáng)國”的重要論述為新時(shí)代教育發(fā)展指明了方向^[1]。教育評(píng)價(jià)作為提升教育質(zhì)量與促進(jìn)公平發(fā)展的關(guān)鍵手段，對(duì)于實(shí)現(xiàn)這一目標(biāo)至關(guān)重要^[2]。近年來，GenAI技術(shù)迅速發(fā)展，正在逐漸改變教育評(píng)價(jià)的方式。GenAI技術(shù)基于深度學(xué)習(xí)模型和跨模態(tài)生成技術(shù)，能夠高效地處理和分析大量教育數(shù)據(jù)，結(jié)合大數(shù)據(jù)的自適應(yīng)學(xué)習(xí)能力，生成個(gè)性化教學(xué)內(nèi)容并進(jìn)行實(shí)時(shí)反饋，顯著提高了教育評(píng)價(jià)的精準(zhǔn)化、多樣化和個(gè)性化水平。

2023年7月，我國國家網(wǎng)信辦等七部門聯(lián)合公布《生成式人工智能服務(wù)管理暫行辦法》，同年8月正式實(shí)施。作為我國首部針對(duì)GenAI的行政規(guī)章，該辦法明確鼓勵(lì)GenAI在教育領(lǐng)域的深度應(yīng)用，以推動(dòng)技術(shù)創(chuàng)新與實(shí)際教育場景的融合^[3]。然而，技術(shù)的快速迭代往往伴隨著新的挑戰(zhàn)。特別是在教育評(píng)價(jià)過程中，GenAI依賴的算法和大規(guī)模數(shù)據(jù)易受訓(xùn)練數(shù)據(jù)不穩(wěn)、模型設(shè)計(jì)缺陷、生成機(jī)制偏差的影響，從而引發(fā)算法偏見（Algorithmic Bias）問題^[4]。作為GenAI技術(shù)的“引擎”，算法決定著生成內(nèi)容的類型和質(zhì)量。一旦出現(xiàn)算法偏見，其在生成過程中就可能被放大，從而導(dǎo)致教育評(píng)價(jià)結(jié)果不公正。更進(jìn)一步來說，GenAI技術(shù)中的算法偏見不僅會(huì)影響學(xué)生的自我認(rèn)知和學(xué)習(xí)意愿，也可能會(huì)損害教育系統(tǒng)的公平性和社會(huì)的和諧穩(wěn)定。因此，如何在充分利用GenAI技術(shù)提升教育評(píng)價(jià)效能的同時(shí)系統(tǒng)地識(shí)別和應(yīng)對(duì)其潛在的算法偏見，成為當(dāng)前教育研究的重要課題?；诖耍狙芯繉⒔Y(jié)合GenAI技術(shù)在教育評(píng)價(jià)中的應(yīng)用情況，梳理GenAI技術(shù)在教育評(píng)價(jià)中的算法偏見表現(xiàn)、剖析其成因，并有針對(duì)性地提出對(duì)策。

一 GenAI技術(shù)在教育評(píng)價(jià)中的應(yīng)用

當(dāng)前，GenAI技術(shù)正迅速融入教育領(lǐng)域，并在教育評(píng)價(jià)體系的革新方面顯示出了巨大的潛能。不同于人工智能（Artificial Intelligence，AI）技術(shù)側(cè)重于標(biāo)準(zhǔn)化評(píng)估、注重效率和一致性，GenAI技術(shù)強(qiáng)調(diào)個(gè)性化和創(chuàng)造性、可提供更靈活的學(xué)習(xí)支持。此外，AI技術(shù)依靠規(guī)則、算法進(jìn)行自動(dòng)評(píng)分和數(shù)據(jù)分析，而GenAI技術(shù)能夠生成個(gè)性化的學(xué)習(xí)材料和反饋，并基于學(xué)生的表現(xiàn)生成適應(yīng)性的學(xué)習(xí)內(nèi)容。為展示GenAI技術(shù)給教育評(píng)價(jià)體系帶來的雙重影響、挖掘隱于其中的算法偏見問題，本研究從應(yīng)用方式、技術(shù)基礎(chǔ)、算法偏見三個(gè)維度，對(duì)比了AI技術(shù)與GenAI技術(shù)在教育評(píng)價(jià)中的特征差異，如表1所示。

1 GenAI技術(shù)在教育評(píng)價(jià)中的應(yīng)用情況

回顧AI技術(shù)在教育領(lǐng)域的發(fā)展歷程，可劃分為誕生期、摸索期、產(chǎn)業(yè)期三個(gè)階段。在誕生期，AI技術(shù)聚焦輔助教學(xué)的實(shí)踐探索，其應(yīng)用場景廣泛，涵蓋答疑、練習(xí)、模擬測試等多個(gè)關(guān)鍵環(huán)節(jié)，初步展現(xiàn)了其在教育領(lǐng)域所蘊(yùn)含的巨大潛力。進(jìn)入摸索期后，隨著機(jī)器學(xué)習(xí)的興起，AI技術(shù)的應(yīng)用方向轉(zhuǎn)為智能導(dǎo)學(xué)和自適應(yīng)學(xué)習(xí)，實(shí)現(xiàn)了教育方式的創(chuàng)新^[5]。而進(jìn)入產(chǎn)業(yè)期后，隨著深度學(xué)習(xí)的發(fā)展，在大數(shù)據(jù)、云計(jì)算等技術(shù)的支持下，GenAI為個(gè)性化學(xué)習(xí)、評(píng)價(jià)與反饋、數(shù)據(jù)分析等提供了高效的解決方案。以ChatGPT、Sora、Suno、Kimi為代表的眾多GenAI應(yīng)用，憑借其數(shù)據(jù)獲取的便捷性、信息加工的創(chuàng)造性和應(yīng)用功能的個(gè)性化，以超越AI技術(shù)的態(tài)勢迅速進(jìn)入大眾視野，使學(xué)生學(xué)習(xí)呈現(xiàn)出精準(zhǔn)化、擬真化、個(gè)性化的發(fā)展趨勢^[6]。在此期間，數(shù)字教育系統(tǒng)逐漸向智慧教育系統(tǒng)升級(jí)，教育評(píng)價(jià)也從傳統(tǒng)的標(biāo)準(zhǔn)化評(píng)價(jià)向個(gè)性化的自適應(yīng)評(píng)價(jià)過渡，這兩種評(píng)價(jià)方式在各評(píng)價(jià)環(huán)節(jié)的特征對(duì)比如表2所示。

2 GenAI技術(shù)在教育評(píng)價(jià)中的技術(shù)基礎(chǔ)

AI技術(shù)依賴于統(tǒng)計(jì)分析模型和機(jī)器學(xué)習(xí)模型，主要用于數(shù)據(jù)分析與分類，生成標(biāo)準(zhǔn)化的評(píng)估工具。基于AI技術(shù)的系統(tǒng)雖能處理結(jié)構(gòu)化數(shù)據(jù)并根據(jù)預(yù)定義規(guī)則進(jìn)行預(yù)測，但在適應(yīng)不同學(xué)習(xí)者的需求和復(fù)雜教育情境方面存在局限。例如，Carnegie Learning’s MATHia系統(tǒng)通過分析學(xué)生的錯(cuò)誤模式，提供個(gè)性化反饋，但其效果受數(shù)據(jù)分布不均衡和算法設(shè)計(jì)中隱性假設(shè)的限制。相比之下，GenAI技術(shù)超越了傳統(tǒng)的數(shù)據(jù)分析，能通過深度學(xué)習(xí)框架下的生成模型創(chuàng)造全新內(nèi)容，提供更具個(gè)性化和互動(dòng)性的學(xué)習(xí)體驗(yàn)^[7]。例如，GANs模型能生成虛擬實(shí)驗(yàn)、模擬練習(xí)等互動(dòng)學(xué)習(xí)內(nèi)容，提升學(xué)生的興趣和參與度；VAEs模型能生成有針對(duì)性的練習(xí)題和評(píng)估任務(wù)，幫助學(xué)生精準(zhǔn)學(xué)習(xí)特定的知識(shí)點(diǎn)；而Transformers模型擅長處理實(shí)時(shí)數(shù)據(jù)，能根據(jù)學(xué)生的學(xué)習(xí)進(jìn)展動(dòng)態(tài)調(diào)整學(xué)習(xí)路徑，提供個(gè)性化的學(xué)習(xí)指導(dǎo)。GenAI技術(shù)顯著提升了教育評(píng)價(jià)的互動(dòng)性和適應(yīng)性，且在優(yōu)化資源分配、支持個(gè)性化學(xué)習(xí)路徑規(guī)劃等方面展現(xiàn)出了巨大潛力。

3 GenAI技術(shù)在教育評(píng)價(jià)中的算法偏見

隨著智能技術(shù)的發(fā)展，算法偏見問題逐漸成為機(jī)器學(xué)習(xí)和AI倫理學(xué)中的重要議題^[8]。對(duì)此，F(xiàn)loridi等^[9]從宏觀倫理學(xué)的視角，提出了“三元數(shù)據(jù)倫理框架”（Trilateral Data Ethics Framework），認(rèn)為數(shù)據(jù)科學(xué)帶來的倫理問題能夠在以數(shù)據(jù)倫理（Data Ethics）、算法倫理（Algorithm Ethics）和實(shí)踐倫理（Practical Ethics）三個(gè)維度為基礎(chǔ)的概念空間內(nèi)得到全面的闡釋和映射，且這三個(gè)維度與社會(huì)倫理相互交織、相互影響，如圖1所示。這一框架有助于深入理解算法偏見的根源，為不同階段采取相應(yīng)的倫理措施提供指導(dǎo)，以確保AI系統(tǒng)的公平性和透明性。Suresh等^[10]詳細(xì)闡述了“機(jī)器學(xué)習(xí)管道”（Machine Learning Pipeline，下文簡稱“ML管道”）的六個(gè)核心環(huán)節(jié)，分別是：明確研究目標(biāo)、數(shù)據(jù)劃分、模型開發(fā)、模型評(píng)價(jià)、決策制定與調(diào)整、模型部署。在ML管道中，算法偏見主要分為數(shù)據(jù)偏見、模型偏見和應(yīng)用偏見”^[11]。在各個(gè)環(huán)節(jié)，偏見可能通過不均衡的數(shù)據(jù)分布、模型設(shè)計(jì)選擇、結(jié)果呈現(xiàn)方式被引入或加劇，導(dǎo)致生成內(nèi)容帶有某些文化、性別或社會(huì)背景^[12]。AI技術(shù)與GenAI技術(shù)均遵循類似的機(jī)器學(xué)習(xí)基本框架，但GenAI在特征工程、模型設(shè)計(jì)、數(shù)據(jù)需求等方面更加復(fù)雜且計(jì)算密集。此外，GenAI的“黑箱”特性加大了偏見的識(shí)別和糾正難度，使教育工作者和研究人員難以對(duì)結(jié)果進(jìn)行有效的糾偏^[13]。

二 GenAI技術(shù)在教育評(píng)價(jià)中的算法偏見表現(xiàn)

社會(huì)分層理論（Stratification Theory）強(qiáng)調(diào)，社會(huì)資源、權(quán)力和地位的分配不平等往往通過教育等制度化手段被再生產(chǎn)^[14]。Bourdieu^[15]認(rèn)為，教育體系不僅是知識(shí)傳遞的工具，更是社會(huì)階層再生產(chǎn)的關(guān)鍵機(jī)制；教育通過隱性課程、評(píng)價(jià)標(biāo)準(zhǔn)和制度化實(shí)踐，鞏固了現(xiàn)有的社會(huì)等級(jí)結(jié)構(gòu)，使特定階層的文化資本得以延續(xù)。而在教育評(píng)價(jià)中，盡管GenAI技術(shù)具有革新潛力，但其算法設(shè)計(jì)和數(shù)據(jù)依賴性可能放大既有的社會(huì)不平等?；诖耍狙芯恳劳猩鐣?huì)分層理論，聚焦個(gè)體差異、地域差異和社會(huì)地位差異三個(gè)層面，探討GenAI技術(shù)在教育評(píng)價(jià)中算法偏見的具體表現(xiàn)。

1 個(gè)體差異引發(fā)的算法偏見

個(gè)體差異引發(fā)的算法偏見是指系統(tǒng)在處理數(shù)據(jù)和作出決策時(shí)，因個(gè)體特征的不同而產(chǎn)生的不公平或不準(zhǔn)確現(xiàn)象。一個(gè)公平的教育體系，應(yīng)能識(shí)別并培養(yǎng)來自不同背景、擁有多元能力的個(gè)體。然而，算法偏見可能導(dǎo)致大量具有潛力的學(xué)生被忽視，從而影響教育的公平性和社會(huì)的創(chuàng)新性，主要表現(xiàn)為：①在與種族（或族裔）有關(guān)的研究中，Bridgeman等^[16]發(fā)現(xiàn)，GRE寫作評(píng)分系統(tǒng)E-Rater對(duì)非洲裔學(xué)生的評(píng)分顯著低于人工評(píng)分員，特別是在特定類型的寫作任務(wù)中差異更為明顯。此外，Hu等^[17]發(fā)現(xiàn)，基于美國數(shù)據(jù)訓(xùn)練的模型對(duì)發(fā)達(dá)國家學(xué)生的成績預(yù)測較為準(zhǔn)確，而對(duì)欠發(fā)達(dá)國家的學(xué)生預(yù)測表現(xiàn)較差。對(duì)此，Lee等^[18]通過引入公平性校正措施，顯著改善了算法在預(yù)測少數(shù)族裔學(xué)生成績時(shí)的公平性。②在與性別有關(guān)的研究中，Anderson等^[19]發(fā)現(xiàn)，預(yù)測男生畢業(yè)情況的模型存在較高的假陰性率，模型傾向于將實(shí)際上有可能畢業(yè)的男生錯(cuò)誤地預(yù)測為無法畢業(yè)，導(dǎo)致教育資源分配出現(xiàn)偏差；Gardner等^[20]指出，在預(yù)測學(xué)術(shù)潛力的模型中，模型對(duì)女性的預(yù)測值低于男性。盡管已有許多研究關(guān)注針對(duì)男女性別差異的算法偏見問題，但針對(duì)非二元性別和跨性別群體的研究仍然不足。

2 地域差異引發(fā)的算法偏見

地域差異引發(fā)的算法偏見主要體現(xiàn)為稀缺資源如優(yōu)秀教師、先進(jìn)設(shè)備分配的不均衡，算法系統(tǒng)可能會(huì)優(yōu)先給學(xué)業(yè)成績優(yōu)秀的學(xué)生或發(fā)達(dá)地區(qū)分配資源，而忽視那些實(shí)際上需要更多支持的學(xué)困生和弱勢地區(qū)，主要表現(xiàn)為：①在國家層面的研究中，Wang等^[21]發(fā)現(xiàn)E-Rater系統(tǒng)對(duì)中國學(xué)生的評(píng)分相對(duì)較高，而對(duì)阿拉伯語和印地語使用者的評(píng)分較低，反映了該系統(tǒng)存在一定的地域偏見。Li等^[22]的研究表明，利用美國數(shù)據(jù)訓(xùn)練的模型在預(yù)測經(jīng)濟(jì)發(fā)達(dá)國家的學(xué)生成績時(shí)較為準(zhǔn)確，但在預(yù)測經(jīng)濟(jì)欠發(fā)達(dá)國家的學(xué)生成績時(shí)表現(xiàn)相對(duì)較差。②在城市層面的研究中，Ocumpaugh等^[23]發(fā)現(xiàn)，面向城市、郊區(qū)和農(nóng)村學(xué)生的自動(dòng)化探測器在不同環(huán)境下的表現(xiàn)存在差異，其中面向農(nóng)村學(xué)生的表現(xiàn)最差?？梢?，算法偏見進(jìn)一步加劇了地域之間的教育不平等，導(dǎo)致出現(xiàn)了“強(qiáng)者愈強(qiáng)，弱者愈弱”的現(xiàn)象^[24]。

3 社會(huì)地位差異引發(fā)的算法偏見

英國教育哲學(xué)家Bernstein曾指出：“一個(gè)社會(huì)如何選擇、分類、分配、傳遞和評(píng)價(jià)公認(rèn)的教育知識(shí)，既反映了社會(huì)權(quán)力的分配，也體現(xiàn)了社會(huì)控制的原則?！?sup>[^25]算法偏見問題不僅是觸及教育資源分配是否公平的問題，更是反映深層次社會(huì)結(jié)構(gòu)的重要議題^[26]。例如，Yu等^[27]發(fā)現(xiàn)，當(dāng)學(xué)生父母的教育背景被納入生成式模型時(shí)，父母未接受過高等教育的學(xué)生被預(yù)測為表現(xiàn)不佳；然而，當(dāng)模型中加入流數(shù)據(jù)和問卷調(diào)查結(jié)果后，預(yù)測結(jié)果就顯得公正多了。另外，Yudelson等^[28]對(duì)享受減免午餐的學(xué)生比例（此比例常作為衡量社會(huì)經(jīng)濟(jì)地位的替代性指標(biāo)）不同的學(xué)校進(jìn)行測試，結(jié)果顯示：當(dāng)模型在享受減免午餐高比例、低社會(huì)經(jīng)濟(jì)地位的學(xué)校進(jìn)行訓(xùn)練時(shí)，其在其他學(xué)校預(yù)測評(píng)分方面的表現(xiàn)相對(duì)較弱；而當(dāng)模型進(jìn)行更為廣泛的訓(xùn)練后，這種不公的表現(xiàn)明顯減少。由此可見，盡管社會(huì)地位差異對(duì)算法預(yù)測有一定的影響，但通過合理的數(shù)據(jù)訓(xùn)練和模型調(diào)整，算法便能保持一定的泛化能力。

三 GenAI技術(shù)在教育評(píng)價(jià)中的算法偏見成因

要想有效解決GenAI技術(shù)在教育評(píng)價(jià)中的算法偏見問題，除了梳理并識(shí)別偏見的外在表現(xiàn)，更應(yīng)從技術(shù)層面深入剖析造成偏見的內(nèi)在機(jī)制與根源，厘清偏見在數(shù)據(jù)、算法設(shè)計(jì)與應(yīng)用環(huán)境中的復(fù)雜交互關(guān)系?；诖?，本研究結(jié)合前述ML管道中算法偏見的三種類型（即數(shù)據(jù)偏見、模型偏見、應(yīng)用偏見），從數(shù)據(jù)、模型、應(yīng)用三個(gè)維度對(duì)算法偏見的成因進(jìn)行系統(tǒng)性剖析。

1 數(shù)據(jù)中的偏見：歷史遺留與代表失衡

GenAI依賴于大規(guī)模數(shù)據(jù)集的學(xué)習(xí)，故數(shù)據(jù)集的質(zhì)量將直接影響生成內(nèi)容的準(zhǔn)確性和公正性。然而，數(shù)據(jù)在采集和處理的過程中，就被嵌入了社會(huì)文化、歷史等主觀因素^[29]。這種由原始數(shù)據(jù)傳遞的隱性偏見，被稱為“病毒性歧視”（Viral Discrimination）^[30]。數(shù)據(jù)中的偏見主要表現(xiàn)為歷史偏見、代表性偏見和測量偏見^[31]。其中，歷史偏見主要源于社會(huì)長期存在的不平等，如教育資源分配不均或社會(huì)結(jié)構(gòu)中的權(quán)力失衡，這些不平等在數(shù)據(jù)記錄和使用中被延續(xù)，進(jìn)而在教育評(píng)價(jià)中使弱勢群體長期遭遇不公^[32]。代表性偏見是由于數(shù)據(jù)樣本分布的不均衡導(dǎo)致某些群體在數(shù)據(jù)中被低估或忽視，如面部分析算法對(duì)深色皮膚女性的誤分類率顯著高于淺色皮膚男性，反映了深色皮膚樣本在數(shù)據(jù)集中的代表性不足，即使通過后期抽樣優(yōu)化，仍難以完全消除這一問題^[33]。測量偏見則與數(shù)據(jù)測量過程中隱含的假設(shè)密切相關(guān)，這些假設(shè)未能充分考慮教育環(huán)境的復(fù)雜性和學(xué)生個(gè)體特質(zhì)的多樣性，導(dǎo)致統(tǒng)一測量標(biāo)準(zhǔn)無法準(zhǔn)確反映學(xué)生的真實(shí)學(xué)習(xí)情況和潛力。總之，GenAI無法準(zhǔn)確捕捉到學(xué)生的真實(shí)學(xué)習(xí)情況，其數(shù)據(jù)中的偏見不僅會(huì)影響算法對(duì)學(xué)生個(gè)體的評(píng)價(jià)，還會(huì)在教育資源分配和升學(xué)機(jī)會(huì)方面造成不公^[34]。

2 模型中的偏見：特征混淆與驗(yàn)證缺憾

GenAI基于深度學(xué)習(xí)模型（如GANs、VAEs、Transformer）處理教育數(shù)據(jù)，通過提取特征，生成個(gè)性化學(xué)習(xí)路徑、預(yù)測學(xué)生成績或優(yōu)化教育資源分配，而算法選擇和參數(shù)調(diào)整直接決定其生成結(jié)果的公平性與準(zhǔn)確性。模型中的偏見主要表現(xiàn)為聚合偏見和評(píng)價(jià)偏見：①聚合偏見產(chǎn)生于模型訓(xùn)練過程中，是將不同群體的數(shù)據(jù)一概而論，未充分考慮群體之間的差異性。例如，教育評(píng)價(jià)模型若未能區(qū)分農(nóng)村學(xué)生與城市學(xué)生的資源背景差異，而直接混合訓(xùn)練數(shù)據(jù)，就可能低估農(nóng)村學(xué)生的表現(xiàn)，從而產(chǎn)生不公平的評(píng)價(jià)結(jié)果。事實(shí)上，大多數(shù)GenAI模型并沒有考慮模型測試人群的信息，這使得公正的評(píng)價(jià)變得更加困難^[35]。當(dāng)測試數(shù)據(jù)或基準(zhǔn)數(shù)據(jù)無法充分反映實(shí)際情境的多樣性和復(fù)雜性時(shí)，就可能會(huì)引發(fā)一系列潛在的問題。例如，由于學(xué)習(xí)少數(shù)民族語言的學(xué)生樣本在訓(xùn)練和測試數(shù)據(jù)中嚴(yán)重不足，模型可能無法準(zhǔn)確評(píng)估其學(xué)業(yè)表現(xiàn)；又如，針對(duì)接受特殊教育的學(xué)生，模型若未充分考慮其行為特征的差異性，在生成學(xué)習(xí)建議時(shí)就可能忽略實(shí)際需求。②評(píng)價(jià)偏見是因?yàn)闇y試數(shù)據(jù)或基準(zhǔn)數(shù)據(jù)在代表性上存在問題，而導(dǎo)致在模型訓(xùn)練過程中出現(xiàn)的偏見。GenAI教育評(píng)價(jià)模型一旦開發(fā)完成，就會(huì)將未曾接觸過的測試數(shù)據(jù)與基準(zhǔn)數(shù)據(jù)進(jìn)行比較測試，以驗(yàn)證模型的公平性和準(zhǔn)確性，此驗(yàn)證對(duì)于提升模型在新情境下的泛化能力至關(guān)重要。

3 應(yīng)用中的偏見：布署失當(dāng)與循環(huán)加疊

在進(jìn)行教育評(píng)價(jià)時(shí)，應(yīng)用中的偏見主要表現(xiàn)為部署偏見和反饋循環(huán)偏見。其中，部署偏見是指GenAI模型進(jìn)行實(shí)際應(yīng)用時(shí)，由于模型對(duì)不同群體的適應(yīng)性和公平性未被充分驗(yàn)證，導(dǎo)致部分人群在系統(tǒng)中遭遇不公正的標(biāo)記。例如，英國政府的“預(yù)防犯罪數(shù)據(jù)庫”將低收入社區(qū)的居民標(biāo)記為高風(fēng)險(xiǎn)群體，導(dǎo)致他們被過度監(jiān)控^[36]。在教育評(píng)價(jià)系統(tǒng)中，部署偏見可能會(huì)導(dǎo)致某些特定群體的學(xué)生（如經(jīng)濟(jì)困難家庭學(xué)生或農(nóng)村學(xué)生）在整個(gè)教育生命周期中被長期低估，從而影響其學(xué)習(xí)成績和未來發(fā)展。反饋循環(huán)偏見是指模型的輸出再次成為輸入數(shù)據(jù)時(shí)，由于模型的固有偏差未得到糾正，致使偏見不斷被放大并持續(xù)存在。在教育評(píng)價(jià)系統(tǒng)中，GenAI模型生成的初步評(píng)價(jià)和學(xué)習(xí)路徑會(huì)直接影響后續(xù)教育資源的分配與個(gè)性化支持。例如，當(dāng)經(jīng)濟(jì)困難家庭學(xué)生在初期評(píng)價(jià)中被低估時(shí)，后續(xù)的反饋機(jī)制可能會(huì)進(jìn)一步強(qiáng)化這種偏見，最終形成對(duì)其長期不利的負(fù)面反饋循環(huán)^[37]。

四 GenAI技術(shù)在教育評(píng)價(jià)中的算法偏見對(duì)策

為厘清GenAI技術(shù)在教育評(píng)價(jià)中算法偏見的表現(xiàn)、成因與對(duì)策的對(duì)應(yīng)邏輯關(guān)系，本研究對(duì)其進(jìn)行了結(jié)構(gòu)化分析，如圖2所示。算法偏見表現(xiàn)為個(gè)體差異、地域差異和社會(huì)地位差異，體現(xiàn)了算法應(yīng)用于教育評(píng)價(jià)的不公平性；偏見的成因可概括為數(shù)據(jù)、模型與應(yīng)用三個(gè)層面，反映出偏見的出現(xiàn)受數(shù)據(jù)質(zhì)量不足、模型設(shè)計(jì)缺陷、應(yīng)用部署偏差等多重因素的影響。針對(duì)上述成因，本研究進(jìn)一步借鑒“三元數(shù)據(jù)倫理框架”，分別從數(shù)據(jù)倫理、算法倫理、實(shí)踐倫理三個(gè)維度提出GenAI技術(shù)在教育評(píng)價(jià)中的算法偏見對(duì)策，形成從問題診斷到對(duì)策實(shí)施的邏輯閉環(huán)。

1 數(shù)據(jù)倫理：完善算法設(shè)計(jì)

數(shù)據(jù)是GenAI技術(shù)運(yùn)行的基礎(chǔ)，其質(zhì)量直接影響算法的表現(xiàn)與公正性。然而，數(shù)據(jù)偏見往往源于采集和處理環(huán)節(jié)中的歷史偏見、代表性偏見和測量偏見等問題，導(dǎo)致某些群體在算法中無法得到充分代表和公正對(duì)待。因此，從數(shù)據(jù)倫理的角度出發(fā)，完善算法設(shè)計(jì)的關(guān)鍵在于確保數(shù)據(jù)的多樣性和代表性。為此，有必要在數(shù)據(jù)的采集和處理過程中采取有效措施，來減少數(shù)據(jù)源頭的偏見：①進(jìn)行更為廣泛和包容的數(shù)據(jù)采集，確保邊緣化群體和少數(shù)群體的相關(guān)數(shù)據(jù)得以充分覆蓋。例如，在教育評(píng)價(jià)系統(tǒng)中，增加來自農(nóng)村地區(qū)、少數(shù)民族地區(qū)和社會(huì)經(jīng)濟(jì)地位較低家庭學(xué)生的數(shù)據(jù)，使算法更全面地反映不同群體學(xué)生的真實(shí)表現(xiàn)。②在數(shù)據(jù)預(yù)處理過程中引入數(shù)據(jù)審查機(jī)制，剔除帶有性別歧視、種族歧視、宗教歧視等歷史不公特征的數(shù)據(jù)，防止數(shù)據(jù)偏見在模型訓(xùn)練中被繼承和放大^[38]。這一機(jī)制有助于糾正歷史偏見、代表性偏見和測量偏見，保障數(shù)據(jù)的質(zhì)量與公平，為算法設(shè)計(jì)提供更加公正的基礎(chǔ)。

2 算法倫理：統(tǒng)籌治理主體

算法的復(fù)雜性常常使用戶難以理解其決策機(jī)制，從而對(duì)其產(chǎn)生的偏見很少提出質(zhì)疑。這種“黑箱”現(xiàn)象的存在，使得依靠GenAI技術(shù)進(jìn)行自我優(yōu)化和調(diào)整已不足以確保算法的公正性。從算法倫理的角度出發(fā)，統(tǒng)籌治理主體實(shí)現(xiàn)多方協(xié)同，是確保算法在不同教育群體中公平性和透明性的有效措施^[39]。近年來，世界各國在加大力度進(jìn)行技術(shù)創(chuàng)新的同時(shí)，也對(duì)AI、GenAI在教育領(lǐng)域中的數(shù)據(jù)倫理問題給予了高度關(guān)注。本研究梳理了近5年內(nèi)世界一些國家或機(jī)構(gòu)關(guān)于數(shù)據(jù)倫理問題的代表性法律法規(guī)，如表3所示。其中，聯(lián)合國教科文組織發(fā)布的《關(guān)于AI倫理的建議》強(qiáng)調(diào)確保AI技術(shù)在倫理框架內(nèi)運(yùn)行；中國發(fā)布的《生成式人工智能服務(wù)管理暫行辦法》要求數(shù)據(jù)使用合法合規(guī)，內(nèi)容真實(shí)準(zhǔn)確；美國發(fā)布的《算法問責(zé)法案》提出算法開發(fā)需強(qiáng)化數(shù)據(jù)審查與風(fēng)險(xiǎn)評(píng)估；英國在《人工智能監(jiān)管白皮書》中強(qiáng)調(diào)AI治理應(yīng)遵循透明、公正原則，確保用戶的異議權(quán)利；而歐盟在《人工智能法案》中進(jìn)一步明確了AI模型的風(fēng)險(xiǎn)評(píng)估與監(jiān)管標(biāo)準(zhǔn)。此外，《英國的AI：準(zhǔn)備、意愿與能力？》報(bào)告指出，用戶應(yīng)有權(quán)通過透明、公正的流程對(duì)AI算法的決策提出異議^[40]。參考國外做法，我國教育評(píng)價(jià)系統(tǒng)應(yīng)統(tǒng)籌治理主體，如政府層面制定全面的技術(shù)管理政策并與數(shù)字中國、教育強(qiáng)國和教育現(xiàn)代化的戰(zhàn)略相對(duì)接，用戶層面加強(qiáng)對(duì)算法的倫理審查與監(jiān)管，確保所用的算法和數(shù)據(jù)能夠真實(shí)、客觀地反映評(píng)價(jià)對(duì)象的相關(guān)情況；同時(shí)，引入相關(guān)的保護(hù)機(jī)制，確保用戶對(duì)自身數(shù)據(jù)的使用和GenAI技術(shù)的自動(dòng)化決策擁有充分的知情權(quán)與控制權(quán)。

3 實(shí)踐倫理：促進(jìn)技術(shù)普惠

隨著GenAI技術(shù)在教育評(píng)價(jià)中的廣泛應(yīng)用，智能時(shí)代的邊緣群體呈現(xiàn)出更為復(fù)雜、多元的特征，若技術(shù)普惠問題未能得到有效解決，必然會(huì)引發(fā)更多的社會(huì)矛盾。聯(lián)合國教科文組織指出，全球范圍內(nèi)數(shù)字貧困加劇、技術(shù)不透明、國家政策法律滯后等問題正在削弱技術(shù)在教育中的公平性^[41]。而這些問題的出現(xiàn)，正是算法偏見未得到有效解決的結(jié)果。從實(shí)踐倫理的角度出發(fā)，促進(jìn)技術(shù)普惠的重點(diǎn)在于構(gòu)建公平的教育評(píng)價(jià)體系，以確保邊緣群體獲得公平機(jī)會(huì)。而要構(gòu)建公平的教育評(píng)價(jià)體系，其關(guān)鍵在于營造一個(gè)公正、無偏見的人類社會(huì)環(huán)境。然而，“公正、無偏見的人類社會(huì)環(huán)境”在現(xiàn)實(shí)中往往被視為“理想的烏托邦”。即使偏見在現(xiàn)實(shí)中難以被徹底消除，教育工作者仍需積極發(fā)揮主觀能動(dòng)性，秉承技術(shù)和教育互促的原則，形成教育領(lǐng)域“拿來技術(shù)-善用技術(shù)-創(chuàng)新技術(shù)-再用技術(shù)”的良性循環(huán)^[42]，化技術(shù)挑戰(zhàn)為教育機(jī)遇，使技術(shù)惠普成為教育現(xiàn)代化的紅利，從而推動(dòng)我國教育評(píng)價(jià)改革良性發(fā)展。

五"結(jié)語

在我國，黨和國家高度重視新時(shí)代教育評(píng)價(jià)體系的構(gòu)建工作，提出了“建立”“完善”“形成”三步走的戰(zhàn)略路徑^[43]。目前，我國正依據(jù)《深化新時(shí)代教育評(píng)價(jià)改革總體方案》的指引，努力實(shí)現(xiàn)“構(gòu)建富有時(shí)代特征、彰顯中國特色、體現(xiàn)世界水平的教育評(píng)價(jià)體系”的目標(biāo)。當(dāng)前，人工智能應(yīng)用正在快速普及，GenAI技術(shù)協(xié)同教育評(píng)價(jià)體系改革已成必然之勢。然而，正如習(xí)近平總書記所言：“科技是發(fā)展的利器，也可能成為風(fēng)險(xiǎn)的源頭?！?sup>[^44]在GenAI技術(shù)協(xié)同教育評(píng)價(jià)體系改革的過程中，出現(xiàn)了個(gè)體差異、地域差異、社會(huì)地位差異等引發(fā)的算法偏見。這些算法偏見不僅會(huì)誤導(dǎo)教師對(duì)學(xué)生能力的判斷，還會(huì)對(duì)教學(xué)效果的評(píng)價(jià)和教育資源的合理分配產(chǎn)生負(fù)面影響，進(jìn)而加劇社會(huì)的不公。盡管算法偏見無法完全消弭，但教育工作者仍需發(fā)揮主觀能動(dòng)性，改善和預(yù)防潛在的“算法之弊”。為此，教育工作者需結(jié)合GenAI技術(shù)在教育評(píng)價(jià)中的算法偏見表現(xiàn)，剖析GenAI技術(shù)在教育評(píng)價(jià)中的算法偏見成因，從數(shù)據(jù)倫理、算法倫理和實(shí)踐倫理三個(gè)維度出發(fā)，完善算法設(shè)計(jì)，統(tǒng)籌治理主體，促進(jìn)技術(shù)普惠，為教育評(píng)價(jià)體系改革提供更專業(yè)的支持和更全面的服務(wù)。

參考文獻(xiàn)

[1]習(xí)近平.扎實(shí)推動(dòng)教育強(qiáng)國建設(shè)[OL]. lt;http：//www.qstheory.cn/dukan/qs/2023-09/15/c_1129862386.htmgt;

[2]本刊編輯部.新時(shí)代教育評(píng)價(jià)改革向更深遠(yuǎn)處邁進(jìn)[J].人民教育，2023，（20）：14.

[3]張惠彬，許蕾.生成式人工智能在教育領(lǐng)域的倫理風(fēng)險(xiǎn)與治理路徑——基于羅素大學(xué)集團(tuán)的實(shí)踐考察[J].現(xiàn)代教育技術(shù)，2024，（6）：25-34.

[4][37]Suresh H， Guttag J. A framework for understanding sources of harm throughout the machine learning life cycle[A]. Proceedings of the 1st ACM Conference on Equity and Access in Algorithms， Mechanisms， and Optimization[C]. New York， USA："Association for Computing Machinery， 2021：1-9.

[5]（土）埃塞姆·阿培丁著.范明，昝紅英，牛常勇譯.機(jī)器學(xué)習(xí)導(dǎo)論[M].北京：機(jī)械工業(yè)出版社，2009：2.

[6]胡小勇，孫碩，楊文杰，等.人工智能賦能教育高質(zhì)量發(fā)展：需求、愿景與路徑[J].現(xiàn)代教育技術(shù)，2022，（1）：5-15.

[7]Goodfellow I， Pouget-Abadie J， Mirza M， et al. Generative adversarial nets[J]. Advances in Neural Information Processing Systems， 2014，27：2672-2680.

[8]O’neil C. Weapons of math destruction： How big data increases inequality and threatens democracy[M]. New York： Crown， 2017：3-15.

[9]Floridi L， Taddeo M. What is data ethics？[J]. Philosophical Transactions of the Royal Society A： Mathematical， Physical and Engineering Sciences， 2016，（2083）：20160360.

[10]Kizilcec R F， Lee H. Algorithmic fairness in education[M]. New York： Routledge， 2022：174-202.

[11]Suresh H， Guttag J V. A framework for understanding unintended consequences of machine learning[OL].

lt;https：//courses.cs.duke.edu/spring20/compsci342/netid/readings/suresh-guttag-framework.pdfgt;.

[12]Barocas S， Selbst A D. Big data’s disparate impact[J]. California Law Review， 2016，104：671.

[13]Radford A， Wu J， Child R， et al. Language models are unsupervised multitask learners[J]. OpenAI Blog， 2019，（8）：1-24.

[14]（美）格爾哈特·倫斯基著.關(guān)信平，陳宗顯，謝晉宇譯.權(quán)力與特權(quán)：社會(huì)分層的理論[M].社會(huì)科學(xué)文獻(xiàn)出版社，2018：500-505.

[15]Bourdieu P. The forms of capital[A]. Cultural Theory： An Anthology[C]. Malden， MA： Wiley-Blackwell， 2010：81-93.

[16]Bridgeman B， Trapani C， Attali Y. Comparison of human and machine scoring of essays： Differences by gender， ethnicity， and country[J]. Applied Measurement in Education， 2012，（1）：27-40.

[17]Hu Q， Rangwala H. Towards fair educational data mining： A case study on detecting at-risk students[A]. Proceedings of the 13th International Conference on Educational Data Mining[C]. International Educational Data Mining Society， 2020：431-437.

[18]Lee H， Kizilcec R. F. Evaluation of fairness trade-offs in predicting student success[OL]. lt;https：//arxiv.org/pdf/2007.00088gt;

[19]Anderson H， Boodhwani A， Baker R S. Assessing the fairness of graduation predictions[A]. Proceedings of the 12th International Conference on Educational Data Mining （EDM）[C]. Durham， UK： International Educational Data Mining Society， 2019：393-398.

[20]Gardner J， Brooks C， Baker R. Evaluating the fairness of predictive student models through slicing analysis[A]. Proceedings of the 9th International Conference on Learning Analytics amp; Knowledge[C]. Tempe， AZ： ACM， 2019：225-234.

[21]Wang Z， Zechner K， Sun Y. Monitoring the performance of human and automated scores for spoken responses[J]. Language Testing， 2018，（1）：101-120.

[22]Li X， Song D， Han M， et al. On the limits of algorithmic prediction across the globe[OL]. lt;https：//arxiv.org/pdf/2103.15212gt;

[23]Ocumpaugh J， Baker R， Gowda S， et al. Population validity for educational data mining models： A case study in affect detection[J]. British Journal of Educational Technology， 2014，（3）：487-501.

[24]金兼斌.數(shù)字鴻溝的概念辨析[J].新聞與傳播研究，2003，（1）：75-79.

[25]Bernstein B. On the classification and framing of educational knowledge[M]. London： Routledge， 2018：1-23.

[26]郭元祥.對(duì)教育公平問題的理論思考[J].教育研究，2000，（3）：21-24.

[27]Yu R， Li Q， Fischer C， et al. Towards accurate and fair prediction of college success： Evaluating different sources of student data[A]. Proceedings of the 13th International Conference on Educational Data Mining[C]."International Educational Data Mining Society， 2020：292-301.

[28]Yudelson M， Fancsali S， Ritter S， et al. Better data beats big data[A]. Proceedings of the 7th International Conference on Educational Data Mining[C]. London： International Educational Data Mining Society， 2014：123-128.

[29]徐端.大數(shù)據(jù)戰(zhàn)略：個(gè)人，企業(yè)，政府的思維革命與紅利洼地[M].新世界出版社，2014：176-178.

[30]Chander A. The racist algorithm？[J]. Michigan Law Review， 2017，（6）：1023-1045.

[31]Baker R S， Hawn A. Algorithmic bias in education[J]. International Journal of Artificial Intelligence in Education， 2022，（4）：665-705.

[32]Buolamwini J， Gebru T. Gender shades： Intersectional accuracy disparities in commercial gender classification[A]. Conference on Fairness， Accountability and Transparency[C]. New York， NY： Proceedings of Machine Learning Research， 2018：77-91.

[33]Holstein K， Doroudi S. Equity and artificial intelligence in education： Will “AIED” amplify or alleviate inequities in education？[OL]. lt;https：//arxiv.org/pdf/2104.12920gt;.

[34]Fischer C， Pardos Z A， Baker R S， et al. Mining big data in education： Affordances and challenges[J]. Review of Research in Education， 2020，（1）：130-160.

[35]Paquette L， Ocumpaugh J， Li Z， et al. Who’s learning？ Using demographics in EDM research[J]. Journal of Educational Data Mining， 2020，（3）：1-30.

[36]Eubanks V. Automating inequality： How high-tech tools profile， police， and punish the poor[M]. New York： St. Martin’s Press， 2018：22-24.

[38]Barocas S， Selbst A D. Big data’s disparate impact[J]. California Law Review， 2016，（3）：671-732.

[39]徐繼敏.生成式人工智能治理原則與法律策略[J].理論與改革，2023，（5）：72-83.

[40]Lords H O. AI in the UK： Ready， willing and able？[J]. Retrieved August， 2018，13：2021.

[41]UNESCO. Guidance for generative AI in education and research[R]. Paris： UNESCO， 2023：14-17.

[42]方建鋒，王克宇，房欲飛.生成式人工智能對(duì)教育的顛覆性影響和應(yīng)對(duì)[J].全球教育展望，2024，（8）：17-32.

[43]劉云生.新時(shí)代教育評(píng)價(jià)體系構(gòu)建的中國路向[J].教育與經(jīng)濟(jì)，2023，（4）：3-12.

[44]新華社.習(xí)近平：在中國科學(xué)院第二十次院士大會(huì)、中國工程院第十五次院士大會(huì)、中國科協(xié)第十次全國代表大會(huì)上的講話[OL]. lt;https：//www.gov.cn/xinwen/2021-05/28/content_5613746.htm？eqid=82192999001e3aa10000000464561893gt;

The Algorithmic Bias of"GenAI Technology"in"Educational Assessment： Manifestations， Causes， and Strategies

XIE Qi¹""""YU Ri-Ji^{1[Corresponding Author]}""""CAI Su²

（1."School of Art and Design， Hubei University， Wuhan， Hubei， China 430062;

2."Department of Education， Beijing Normal University， Beijing， China 100875）

Abstract："Under the context of deepening global innovation-driven development strategy， Generative Artificial Intelligence （GenAI） technology is increasingly becoming an important force to promote the transformation and upgrading of educational evaluation system. However， the application of intelligent technologies in the education field remains nascent， particularly facing significant challenges in the interpretability of large language model. The problem of “algorithmic bias”"stemming from data bias， algorithm design defect， and inadequate testing verification has become a key problem restricting the fair application of technology. Therefore， combined with the practical application of GenAI technology in education evaluation， this paper first systematically combed the specific manifestations of algorithm bias， including individual differences， regional differences， social status differences， and other dimensions. After that， the root causes of bias were deeply analyzed from the perspectives of data quality， model design， and application scenarios. Finally， the strategies such as refining algorithm design， coordinating governance subject， and promoting technology inclusion to provide reference for the construction of a fair， transparent， and inclusive educational evaluation system.

Keywords： GenAI technology; algorithmic bias; educational assessment; data ethics;"artificial intelligence

*基金項(xiàng)目：本文為湖北省高校人文社科重點(diǎn)研究基地湖北大學(xué)文化科技融合創(chuàng)新研究中心開放基金重點(diǎn)項(xiàng)目“文化可持續(xù)發(fā)展視閾下文化遺產(chǎn)AR游戲化教育體驗(yàn)設(shè)計(jì)研究”（項(xiàng)目編號(hào)：WK2023004）的階段性研究成果，并受國家社會(huì)科學(xué)基金教育學(xué)一般項(xiàng)目“高水平開放格局下高校海外科技人才引進(jìn)政策優(yōu)化研究”（項(xiàng)目編號(hào)：BIA230213）資助。

作者簡介：謝琦，博士后，研究方向?yàn)榻逃斯ぶ悄軕?yīng)用，郵箱為97694387@qq.com。

收稿日期：2024年8月27日

編輯：小米