警惕AI聊天軟件亂象加強青少年算法倫理審查

隨著人工智能（AI）技術的飛速發(fā)展，各類智能算法廣泛應用于教育服務、游戲娛樂、電商平臺等諸多領域，深刻影響著青少年兒童的學習與生活。然而，央廣網的記者調查曝光了部分AI聊天軟件面向包括未成年在內的用戶傳播涉黃涉暴信息的亂象，引發(fā)熱議。這一事件并非個例，近年來，多地媒體陸續(xù)披露類似問題：有未成年人因沉迷AI聊天軟件的虛擬戀愛角色，產生現(xiàn)實社交障礙；有AI聊天機器人在與青少年互動中，將暴力情節(jié)包裝成“趣味故事\"進行傳播；更有未備案的私人AI模型通過社交平臺私下傳播，成為向未成年人推送不良信息的“暗渠”。

不可否認，AI聊天軟件的出現(xiàn)在一定程度上滿足了不少人的精神陪伴需求，甚至能運用于醫(yī)療輔助手段助力患者加速康復，并且植入智能算法后的商業(yè)產品會大幅提升服務感受和用戶粘性。但基于商業(yè)利益的智能算法不僅可能構建用戶數據畫像“殺熟”，侵犯用戶利益，還可能涉嫌算法歧視，對特定群體構成不公平。相對于成年人，未成年人則更容易對其產生情感依賴或者沉迷，當基于心理的智能算法運用于對特定青少年推廣的產品中，還會對青少年健康成長構成傷害。例如，AI軟件大模型存在“諂媚\"問題，會不斷迎合用戶需求和情感交流讓人深陷其中，導致青少年網游、網戀成癮，部分孩子會將AI視為“唯一理解自己的朋友”，甚至模仿虛擬角色的言行舉止。更值得警惕的是，當青少年提出越界需求時，算法的“討好本能”可能突破倫理底線。這些都意味著公司提供的智能算法缺乏倫理審查，亟待得到規(guī)范。而私有化部署的AI模型和未備案的APP極易淪為監(jiān)管的法外之地。即使此類軟件產品只面向成人用戶，但若包含大量色情、暴力類互動內容，同樣也屬于違規(guī)的不良信息的范疇。因此，筆者曾連續(xù)兩年在上海市人代會提出代表建議，呼吁要加強面向青少年兒童的人工智能算法倫理審查。

從全球范圍看，人工智能的倫理治理已成為各國共識，不同地區(qū)基于文化傳統(tǒng)與技術發(fā)展階段，形成了各具特色的監(jiān)管路徑。2014年，日本人工智能學會成立倫理委員會；2019年，美國國防創(chuàng)新委員會（DIB）投票通過了《人工智能原則：國防部人工智能應用倫理的若干建議》;2022年9月，上海市人大常委會通過了全國首部促進人工智能產業(yè)發(fā)展的省級地方性法規(guī)《上海市促進人工智能產業(yè)發(fā)展條例》，明確要成立人工智能倫理專家委員會；在2024年8月1日正式生效的歐盟《人工智能法案》成為全球首部全面監(jiān)管人工智能的法規(guī)，要求軟件對未成年人開啟強制過濾模式。

隨著近年來上海全面進入數字時代、智能時代，上海亟待在此基礎上加強人工智能算法倫理的研究和審查，尤其加強針對青少年群體的專項監(jiān)管?，F(xiàn)有規(guī)則多聚焦“禁止性條款”，缺乏對算法設計中“教育性引導”“發(fā)展性保護”的具體要求；跨部門協(xié)同機制尚未完全打通，網信、教育、市場監(jiān)管等部門的監(jiān)管權責存在交叉與空白。因此，筆者再次呼吁，上海應加強面向青少年兒童的互聯(lián)網公司倫理審查監(jiān)管。

組建跨領域專家團隊，成立專項算法倫理審查委員會

成立由教育專家、法律專家、醫(yī)學專家、青少年權益代表等多領域專業(yè)人士共同組成的人工智能算法倫理審查委員會。該委員會負責對面向青少年兒童的各類智能算法進行全面、深入的倫理審查。從教育的科學性、法律的合規(guī)性、對青少年身心健康的影響等多維度出發(fā)，嚴格審核算法的設計理念、運行機制和數據處理方式，確保算法符合倫理道德標準，推動算法審查工作的常態(tài)化與規(guī)范化。

企業(yè)先行自查自糾，建立內部倫理審查承諾機制

考慮到立法存在一定的滯后性，在相關法規(guī)尚未完善之前，鼓勵師范大學等高等教育類院校牽頭成立面向青少年的AI產品，特別是聊天工具價值觀對齊研究和審核，牽頭開展算法倫理審核，嚴防不合乎倫理和價值觀的產品對青少年造成傷害。鼓勵各涉及青少年兒童業(yè)務的互聯(lián)網公司內部主動成立倫理審查部門。公司內部的倫理審查部門應制定詳細的審查制度和流程，對公司所使用和開發(fā)的智能算法進行自我審查與監(jiān)督。同時，各公司應就算法的倫理審查情況向社會作出公開承諾，接受公眾監(jiān)督，例如相關公司在推出AI算法產品時應向有關部門（如上海市經信委）提供“本產品已經過倫理審查\"的承諾。通過這種方式，促使互聯(lián)網公司在追求商業(yè)利益的同時，切實履行對青少年群體的社會責任。

加速立法進程，為算法倫理審查筑牢法律根基

相關部門應加快推進人工智能算法治理的專項立法進程，明確算法開發(fā)、應用過程中各主體的責任和義務，要求符合公平性、可解釋性、責任明確性。從法律層面規(guī)范算法的設計、數據收集與使用、算法推薦等關鍵環(huán)節(jié)，對違規(guī)行為制定嚴厲的懲處措施。通過完善的法律法規(guī)，為智能算法的健康發(fā)展提供堅實的法律保障，營造安全、有序、符合倫理道德的數字環(huán)境。

升級算法設計，植入青少年健康保護“安全閥

在教育智能產品、游戲產品以及各類學生常用的平臺中，強制要求植入符合學生身心發(fā)展特點的算法，加強教育算法治理研究，促進人工智能算法倫理的理論研究和應用實踐，要求算法治理符合公平性、可解釋性、責任明確性。例如，在教育智能產品中加入學習時間管理算法，防止學生過度使用電子設備影響視力和學習效率；在游戲平臺中植入嚴格的防沉迷算法，限制學生游戲時長；在搜索引擎和電商平臺中，針對學生群體優(yōu)化推薦算法，優(yōu)先推送積極健康、有益學習和成長的內容。同時，對于涉及學生心理問題或自殺傾向等敏感信息的搜索，算法應強制推送專業(yè)的求助熱線、心理輔導資源和積極心理學內容，引導學生樹立正確的價值觀和生命觀。

打通全民監(jiān)督渠道，構建算法倫理“社會共治網”

建立健全公眾監(jiān)督與舉報機制，鼓勵學生、家長、教師以及社會各界人士積極參與對面向青少年兒童的人工智能算法的監(jiān)督。設立專門的舉報渠道，如舉報熱線、網絡舉報平臺等，方便公眾對發(fā)現(xiàn)的不良算法行為進行舉報。相關部門在接到舉報后，應及時進行調查核實，并將處理結果向社會公開。通過公眾監(jiān)督與舉報，形成全社會共同關注和維護青少年兒童在人工智能算法環(huán)境下合法權益的良好氛圍。

青少年兒童正處于身心發(fā)展的關鍵時期，滲入人工智能算法的AI聊天軟件等不當應用可能對他們產生深遠的負面影響。通過開展面向青少年兒童的人工智能算法倫理審查，加強監(jiān)管與規(guī)范，能夠有效保障學生的健康成長和合法權益，促進人工智能技術在教育領域的健康、有序發(fā)展。

（作者系市人大代表，華東師范大學上海智能教育研究院教授、博導，國家哲學與社會科學重點實驗室主任）