• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    超越“共識”:教育人工智能倫理原則構(gòu)建的發(fā)展方向

    2023-06-21 16:19:21白鈞溢于偉
    中國電化教育 2023年6期
    關(guān)鍵詞:發(fā)展方向共識

    白鈞溢 于偉

    摘要:受各國人工智能發(fā)展規(guī)劃影響,教育人工智能倫理原則研究起步晚于其他領(lǐng)域,塑造了其參照已有原則“共識”的構(gòu)建取向。目前,對“共識”的反思及對教育領(lǐng)域個(gè)性要素的探尋逐漸受到研究者關(guān)注,超越“共識”成為教育人工智能倫理原則構(gòu)建的發(fā)展趨勢?!肮沧R”暗含的“非共識”要素是制約教育人工智能倫理原則實(shí)踐效果的根本原因,包括國別間的歷史與文化差異,領(lǐng)域間的結(jié)構(gòu)與指向差異,應(yīng)用間的內(nèi)容與對象差異,自身間的概念與關(guān)系差異。超越“共識”實(shí)際上便是在已有研究的基礎(chǔ)上彌合“非共識”要素。更直接的說,就是承認(rèn)教育人工智能倫理原則的有限性,即價(jià)值匹配的有限性、領(lǐng)域作用的有限性、指導(dǎo)時(shí)效的有限性,從而在構(gòu)建教育人工智能倫理原則時(shí)堅(jiān)持本土立場,明確目的導(dǎo)向,保持持續(xù)開放。

    關(guān)鍵詞:教育人工智能;倫理原則;超越共識;發(fā)展方向

    中圖分類號:G434 文獻(xiàn)標(biāo)識碼:A

    本文系2022吉林省社會(huì)科學(xué)基金項(xiàng)目“中國‘Z世代亞文化圈層語言的區(qū)隔性研究”(項(xiàng)目編號:2022C78)、2022東北師范大學(xué)教師教育“揭榜領(lǐng)題”一般項(xiàng)目“教師‘社會(huì)與情感能力的國際框架與本土轉(zhuǎn)化研究”(項(xiàng)目編號:JSJY20220302)研究成果。

    人類社會(huì)與人工智能技術(shù)的協(xié)作目前仍處于試錯(cuò)、糾錯(cuò)的探索階段[1]。隨著人工智能技術(shù)在教育領(lǐng)域的廣泛應(yīng)用,算法歧視、學(xué)生發(fā)展同質(zhì)化、隱私和安全隱患等倫理問題不斷顯現(xiàn),消解倫理風(fēng)險(xiǎn),實(shí)現(xiàn)技術(shù)向善已成為全球教育領(lǐng)域面臨的共同挑戰(zhàn)。“人工智能倫理”被認(rèn)為是尋求可信賴人工智能的重要組成部分[2]。近年來,政府、國際組織與學(xué)界不斷開展教育人工智能倫理研究,提出諸多倫理原則框架①,以期明晰教育領(lǐng)域人工智能應(yīng)用的合理邊界與正確做法。然而,現(xiàn)有的教育人工智能倫理原則框架大多來自對其他領(lǐng)域人工智能倫理原則“共識”的梳理與提取,這在當(dāng)前面臨著廣泛而尖銳的批評。越來越多的學(xué)者與研究指出,教育人工智能的倫理原則必須指向教育的個(gè)性要素,基于“共識”的倫理框架既不能明晰教育人工智能的應(yīng)用邊界,更無法影響教育人工智能的應(yīng)用實(shí)踐。在這一背景下,明晰基于“共識”的教育人工智能倫理原則研究樣態(tài),揭示“共識”隱含的“非共識”要素,探討超越“共識”的優(yōu)化路徑對于教育人工智能倫理原則的未來構(gòu)建十分必要。

    一、基于“共識”的教育人工智能倫理原則研究樣態(tài)

    教育人工智能倫理原則研究對“共識”的偏好有其特殊的形成背景。受各國人工智能發(fā)展規(guī)劃影響,教育人工智能倫理原則構(gòu)建起步晚于其他領(lǐng)域,塑造了其參照“共識”的構(gòu)建取向,表現(xiàn)為以已有倫理原則為依據(jù)、側(cè)重宏觀原則構(gòu)建、所構(gòu)建的原則與其他領(lǐng)域高度相似。但隨著人工智能教育應(yīng)用及其倫理研究的不斷深入,對“共識”的反思與超越開始得到教育研究者的關(guān)注,成為倫理原則構(gòu)建的發(fā)展趨勢。

    (一)面臨“共識”的后發(fā)背景

    國家人工智能發(fā)展規(guī)劃是人工智能倫理原則構(gòu)建的直接推動(dòng)力。2016年起,隨著人工智能技術(shù)的社會(huì)變革引領(lǐng)作用愈發(fā)突出,很多國家都發(fā)布了國家層面的人工智能發(fā)展規(guī)劃且絕大多數(shù)規(guī)劃文件都明確強(qiáng)調(diào)要重視對人工智能倫理風(fēng)險(xiǎn)的防范與治理[3]。國家層面的治理需要對人工智能倫理原則構(gòu)建的推動(dòng)力體現(xiàn)在三個(gè)方面。一是促成如歐盟委員會(huì)人工智能高級專家組、新加坡人工智能和數(shù)據(jù)的道德使用咨詢委員會(huì)及英國上議院人工智能專責(zé)委員會(huì)等特設(shè)專家委員會(huì)建立;二是獲得如電氣與電子工程師協(xié)會(huì)(IEEE)、美國計(jì)算機(jī)協(xié)會(huì)(ACM)及聯(lián)合國教科文組織(UNESCO)等專業(yè)協(xié)會(huì)與非盈利組織響應(yīng);三是得到如思愛普、谷歌等產(chǎn)業(yè)界關(guān)注。從結(jié)果上看,自2014年來,人工智能倫理相關(guān)的出版物與之前相比增加了五倍,其中近七成文獻(xiàn)發(fā)表于發(fā)展規(guī)劃集中出臺的2017—2019年[4]。

    然而,國家人工智能發(fā)展規(guī)劃卻“意外地”制約了教育領(lǐng)域人工智能倫理原則的探索。不同于其他領(lǐng)域人工智能倫理原則研究在2017—2019年的快速發(fā)展,直至2019年,與教育人工智能倫理相關(guān)的原則、政策、法規(guī)研究幾乎處于空白[5]。人工智能發(fā)展規(guī)劃對教育的“工具性定位”是造成這一情況的直接原因。雖然絕大多數(shù)國家在發(fā)展規(guī)劃中為教育設(shè)置了專門章節(jié)或給予極大關(guān)注,但由于教育人工智能具有“雙重角色”①身份,加之各發(fā)展規(guī)劃遵循的是促進(jìn)社會(huì)經(jīng)濟(jì)轉(zhuǎn)型與增長、提高國際競爭力的發(fā)展邏輯,人工智能的教育應(yīng)用主題極少受到關(guān)注,取而代之的是,規(guī)劃制定者將教育視為一種戰(zhàn)略性工具,旨在通過教育實(shí)現(xiàn)培養(yǎng)人工智能專家、培訓(xùn)人工智能相關(guān)產(chǎn)業(yè)勞動(dòng)力、提升公民人工智能素養(yǎng)等社會(huì)發(fā)展目標(biāo)。這種對教育價(jià)值的片面強(qiáng)調(diào)限制了通過人工智能技術(shù)促進(jìn)教育變革的想象力,進(jìn)而影響了對其倫理問題的關(guān)注與前瞻。

    與此同時(shí),先發(fā)的諸領(lǐng)域人工智能倫理原則框架雖然在學(xué)科與影響力上存在差異,但在原則的選擇方面已走向趨同[6]。人工智能倫理原則的趨同樣態(tài)可見于與之相關(guān)的元分析統(tǒng)計(jì)。當(dāng)前影響力較大的人工智能倫理原則元分析分為兩類,一類側(cè)重梳理權(quán)威機(jī)構(gòu)發(fā)布的倫理框架,如哈佛大學(xué)伯克曼·克萊因互聯(lián)網(wǎng)與社會(huì)研究中心的《有原則的人工智能:在基于倫理與權(quán)利下達(dá)成共識》[7]、南里奧格蘭德天主教大學(xué)人工智能機(jī)器人倫理學(xué)會(huì)的《全球人工智能倫理:治理指南和建議回顧》[8]。另一類側(cè)重對倫理框架進(jìn)行跨學(xué)科、跨主體的系統(tǒng)分析,如蘇黎世聯(lián)邦理工學(xué)院倫理與政策實(shí)驗(yàn)室的《人工智能:道德準(zhǔn)則的全球格局》[9]及奧盧大學(xué)可汗(Khan)等人的《人工智能倫理:原則和挑戰(zhàn)的系統(tǒng)綜述》[10]。由上述四份元分析(如表1所示)可知,隱私、責(zé)任與問責(zé)制、安全、透明度與可解釋性、公平、以人為本、可持續(xù)性原則出現(xiàn)在絕大多數(shù)框架中,它們已成為不同時(shí)期、不同領(lǐng)域、不同級別人工智能倫理框架的“共識性”原則。國家人工智能發(fā)展規(guī)劃與其他領(lǐng)域倫理原則的研究現(xiàn)狀塑造了教育領(lǐng)域面臨“共識”的后發(fā)背景,這一情況深深影響了教育人工智能倫理原則的構(gòu)建。

    (一)國別間“非共識”:歷史與文化差異

    當(dāng)前人工智能倫理研究再現(xiàn)了全球經(jīng)濟(jì)與政治的權(quán)力分布,以北美與西歐為代表的發(fā)達(dá)國家主導(dǎo)了人工智能倫理原則的構(gòu)建[18]。因而,所形成的“共識”更多反映的是發(fā)達(dá)國家群體的集體意志。如果原則、指南或?qū)嵺`不包括來自亞洲、非洲或拉丁美洲的任何倫理觀點(diǎn)、社區(qū)參與或社會(huì)和歷史背景,它們就無法作為“全球性共識”廣泛指導(dǎo)人工智能倫理實(shí)踐[19]。但問題是,廣泛認(rèn)可的共識背后必然掩蓋了國家間歷史與文化的差異,使得所構(gòu)建的原則清單只能流于美好但無法落實(shí)的宏觀層面。

    任何人工智能倫理框架都是個(gè)性化的框架,因?yàn)槠涮岢鲋哺谔囟ǖ臍v史與文化背景。例如,歐盟的人工智能倫理框架很大程度上是基于《歐盟基本權(quán)利憲章》(Charter of Fundamental Rights of the European Union)乃至《歐洲人權(quán)公約》(European Convention on Human Rights),它們影響了對歐洲政府與其公民之間關(guān)系的定義,并將“可解釋性”作為與人工智能相關(guān)的新元素[20]。然而,這類人權(quán)宣言和公約的內(nèi)容選擇與提出有其特殊的歷史背景,它們植根于二戰(zhàn)的經(jīng)歷,其中的諸多規(guī)定與言論可以理解為戰(zhàn)后對不應(yīng)再發(fā)生的事情的聲明,這使得其及受其影響下的人工智能倫理原則框架帶有對種族、性別、宗教、族裔血統(tǒng)以及性取向等特定歷史文化主題的關(guān)注,較難推廣至有著不同歷史及文化的地區(qū)①。此外,由于這些宣言主要強(qiáng)調(diào)政府與公民間的關(guān)系,使得據(jù)此所構(gòu)建的人工智能倫理原則既帶有較強(qiáng)的價(jià)值傾向②,也未能涵蓋所有重要的倫理議題。

    即使忽略歐盟人工智能倫理框架關(guān)注主題與涉及范圍的本土性,直接將其借鑒或套用到教育領(lǐng)域是也有問題的?!稓W盟基本權(quán)利憲章》與《歐洲人權(quán)公約》對參與國具有法律約束力,它們表達(dá)了共同的價(jià)值觀,但在其影響下,道德問題很容易變成遵守現(xiàn)有法律的問題[21]。一個(gè)突出的例子是歐洲通用數(shù)據(jù)保護(hù)條例(GDPR),該條例在法律和實(shí)踐方面定義了隱私和身份在歐洲地區(qū)的含義。而這種影響同樣體現(xiàn)在人工智能倫理框架中,進(jìn)而存在道德泛法律化風(fēng)險(xiǎn)。誠然,在教育領(lǐng)域,法律固然重要,但教師、學(xué)生和其他教育人工智能利益相關(guān)者之間是復(fù)雜的人際關(guān)系,法律僅能提供一般性約束,這也是為什么需要超越現(xiàn)有規(guī)則和條例以尋求倫理性指導(dǎo)。

    (二)領(lǐng)域間“非共識”:結(jié)構(gòu)與指向差異

    從發(fā)展歷程來看,不同領(lǐng)域的人工智能倫理研究似乎在走向趨同:提出類似的倫理原則,識別類似的倫理問題,得出類似的解決方案[22]。這在某種意義上構(gòu)成了參照其他領(lǐng)域“共識”的可行性支撐。但是,參照“共識”構(gòu)建教育人工智能倫理原則的一個(gè)方法論挑戰(zhàn)是,對“共識”的提煉基于的是各原則名稱或其表述句法的相似性,而同一原則在不同領(lǐng)域很可能有著不同的側(cè)重、關(guān)聯(lián)與內(nèi)涵[23]。這意味著通過比較與歸納構(gòu)建的教育人工智能倫理原則可能忽略了教育自身的核心目標(biāo)、邏輯結(jié)構(gòu)與研究旨趣。

    首先,不同領(lǐng)域關(guān)注的倫理原則有所側(cè)重。例如,“善意”與“非惡意”在醫(yī)學(xué)領(lǐng)域被不成比例地提及,而在法律領(lǐng)域,關(guān)注最多的則是“正義”與“問責(zé)制”?!半[私”在法律和醫(yī)學(xué)領(lǐng)域被視作一項(xiàng)重要的倫理原則,但在科學(xué)、工程和商業(yè)領(lǐng)域卻鮮有提及?!巴该鞫取敝饕獮樯婕八惴ㄅc設(shè)計(jì)的科學(xué)與工程領(lǐng)域所強(qiáng)調(diào),其他學(xué)科則較少關(guān)注重這一點(diǎn)。同時(shí),如牛津大學(xué)杰西卡·莫莉(Jessica Morley)等人所言,即使某一領(lǐng)域包含了較為全面的倫理原則,這些原則也并非同等重要,如在國家安全系統(tǒng)中,非惡意遠(yuǎn)比可解釋性重要的多[24]。

    其次,同一原則在不同領(lǐng)域中存在特定的關(guān)聯(lián)。例如,在法律領(lǐng)域,“正義”通常居于核心位置,與其它原則廣泛關(guān)聯(lián)(稱之為“正義關(guān)聯(lián)”,Justice Relevance),但醫(yī)學(xué)、商業(yè)和營銷領(lǐng)域則僅將其與“自治”結(jié)合使用。在醫(yī)學(xué)領(lǐng)域,“可解釋性”被視為醫(yī)學(xué)人工智能倫理區(qū)別于傳統(tǒng)醫(yī)學(xué)倫理的關(guān)鍵原則,并主張應(yīng)將“可解釋性”廣泛融入自主、仁慈、非惡意和正義這一醫(yī)學(xué)倫理學(xué)經(jīng)典四原則中[25]。在科學(xué)與工程領(lǐng)域,“公平”“問責(zé)制”與“透明度”往往同時(shí)出現(xiàn),但在其他領(lǐng)域則并非如此。

    最后,同一原則在不同的領(lǐng)域及倫理框架中存在指向差異。例如,“透明度”在《可信賴的人工智能倫理準(zhǔn)則》中關(guān)注“數(shù)據(jù)、系統(tǒng)及商業(yè)模式”,而在聯(lián)合國教科文組織關(guān)于人工智能倫理的建議初稿中,強(qiáng)調(diào)的則是“清晰的責(zé)任與問責(zé)措施”[26]?!耙匀藶楸尽钡摹叭恕痹凇敦?fù)責(zé)任的數(shù)據(jù)(第1卷)》中指代“人類”,而在《人工智能的日常倫理》中則將范圍縮小至“用戶”[27]?!皢栘?zé)制”在不同的框架中存在對設(shè)計(jì)(人工智能部署前)、監(jiān)控(人工智能部署期間)及補(bǔ)救(傷害發(fā)生后)等特定階段的關(guān)注偏向[28]。

    (三)應(yīng)用間“非共識”:內(nèi)容與對象差異

    即使是在同一領(lǐng)域,人工智能倫理原則的構(gòu)建與應(yīng)用也存在著極大的差異。如在教育領(lǐng)域,當(dāng)前的一個(gè)共識是,“教育人工智能開發(fā)和使用引發(fā)的倫理風(fēng)險(xiǎn)是往往是特定于環(huán)境的”[29]。這意味著雖然教育人工智能倫理原則旨在應(yīng)對、規(guī)避人工智能技術(shù)在教育領(lǐng)域應(yīng)用造成的倫理風(fēng)險(xiǎn),但由于涉及用途不同、目標(biāo)群體各異,這一愿景很難通過一套共識性倫理原則框架實(shí)現(xiàn)。

    共識性倫理框架難以實(shí)現(xiàn)一方面是由于人工智能在教育中的應(yīng)用具有多樣性。就底層模型而言,教育人工智能大體分為數(shù)據(jù)驅(qū)動(dòng)的人工智能、基于知識或符號的人工智能、混合人工智能三類,但如果就應(yīng)用而言,對其的劃分則要復(fù)雜的多。目前影響力較大的教育人工智能分類法由倫敦大學(xué)學(xué)院韋恩·霍姆斯(Wayne Holmes)于2019年提出[30]并在2022年進(jìn)行改進(jìn)[31]。該分類從學(xué)生、教師、機(jī)構(gòu)三個(gè)維度出發(fā)對現(xiàn)有教育人工智能應(yīng)用進(jìn)行歸類并從構(gòu)思(*)、研究(**)、可商用(***)三個(gè)層次評估了各應(yīng)用的發(fā)展水平(如表2所示)。由分類表可見,雖然它們都屬于教育領(lǐng)域,但發(fā)展前景、目的和運(yùn)作方式卻大不相同:它們并非都具有相同水平的(經(jīng)過驗(yàn)證的)有效性;它們并非都收集相同數(shù)量或類型的數(shù)據(jù),它們對學(xué)生或教師的生活的侵入程度也不盡相同,并且并非所有的教育人工智能應(yīng)用都會(huì)引起特別的倫理問題[32]。更為重要的是,使用不同類別的人工智能應(yīng)用通常意味著不同的哲學(xué)和教育觀念[33],這反過來又會(huì)強(qiáng)化各應(yīng)用環(huán)境的特殊性。

    共識性倫理框架難以實(shí)現(xiàn)另一方面是由于人工智能應(yīng)用所影響的教育群體具有多樣性。教育人工智能的倫理研究是一個(gè)貫穿開發(fā)、使用、評估、改進(jìn)的連續(xù)過程,涉及教育技術(shù)產(chǎn)品開發(fā)者、教師、學(xué)生、教育技術(shù)專家、管理領(lǐng)導(dǎo)者等多個(gè)利益相關(guān)者。他們有著不同的分工與特征,不能在倫理方面劃為一談。另外,即使是同一類利益相關(guān)者,在不同的背景下也有著不同的特征。例如,學(xué)生間存在不同的性別、年齡及家庭環(huán)境,在構(gòu)建教育人工智能倫理原則時(shí),需要將學(xué)段、文化背景等方面納入考量,不能簡單地歸為“學(xué)生”進(jìn)行理解。

    (四)自身間“非共識”:概念與關(guān)系差異

    即使拋開各人工智能倫理原則框架的國別、領(lǐng)域、應(yīng)用差異不論,僅在單個(gè)框架內(nèi),原則之間乃至原則自身也存在著明顯的緊張關(guān)系,表現(xiàn)為原則概念與原則關(guān)系的差異。其中,概念的差異直接制約了人工智能倫理原則的可操作性,關(guān)系的差異則對倫理目標(biāo)的整體實(shí)現(xiàn)提出了挑戰(zhàn)。

    人工智能倫理原則的概念差異表現(xiàn)為原則自身的模棱兩可。當(dāng)前人工智能倫理研究大多塑造了“模糊的、高層次的原則和價(jià)值陳述,這些原則和價(jià)值陳述試圖指導(dǎo)行動(dòng),但在實(shí)踐中幾乎沒有提供具體的建議,也未能解決嵌入關(guān)鍵概念中的基本規(guī)范”[34]。正義、福祉、非惡意、自主和可解釋性等“共識原則”為人工智能實(shí)踐勾勒了宏大且美好的理想圖景。但當(dāng)追問它們的具體含義時(shí),困難便出現(xiàn)了。例如,人工智能倫理中的“正義”原則通常并沒有說明什么是正義或不正義,而是讓行為人自己決定[35]。又如,“福祉”在教育框架中被頻繁提及,它們均認(rèn)為“人工智能要在教育中發(fā)揮作用,其設(shè)計(jì)始終要以和諧友好與共建人類命運(yùn)共同體為核心”。但這一界定同樣缺少了對“福祉”的明確解讀。福祉包含哪些方面,需要考慮哪些群體的福祉,不同群體的福祉是否存在沖突?從某種意義上說,當(dāng)前的“福祉”可以用來指代所需要的任何意思。原則中心術(shù)語的模棱兩可掩蓋了概念的復(fù)雜性和不同人群的解釋差異與道德分歧,必然會(huì)使其成為一個(gè)無法實(shí)現(xiàn)的空談。

    人工智能倫理原則的關(guān)系差異表現(xiàn)為原則之間的互相矛盾。共識性倫理框架的原則設(shè)置乍一看似乎很合理,因?yàn)樗鼈兏髯詫?yīng)了人工智能特定的問題領(lǐng)域。然而,當(dāng)前研究很少討論的一個(gè)話題是,這些框架中的許多原則間相互緊張甚至相互矛盾:公平必然以個(gè)性化與準(zhǔn)確性為代價(jià),隱私會(huì)限制服務(wù)質(zhì)量與效率,透明度會(huì)威脅安全與隱私等[36]。一個(gè)更為具體的例子是,英國上議院人工智能委員會(huì)(Artificial Intelligence Committee)在《英國人工智能發(fā)展的計(jì)劃、能力與志向》報(bào)告中指出,“部署任何可能對個(gè)人生活造成潛在影響的人工智能系統(tǒng)是不可接受的,除非它能對自己將要作出的決定提供充分且令人滿意的解釋”。這一表述固然重要,但它制造了“福祉”與“可解釋性”的緊張關(guān)系,限制了人工智能變革社會(huì)的積極作用①。實(shí)際上,“可解釋性”應(yīng)服務(wù)于“福祉”并保持一定的靈活性,在某些情況下,只要使用算法的好處足夠大,準(zhǔn)確性足夠可靠,其便是值得使用的,即使可能無法對其決策作出全面解釋[37]。

    三、超越“共識”的教育人工智能倫理原則構(gòu)建旨?xì)w

    倫理原則國別間、領(lǐng)域間、應(yīng)用間、自身間“非共識”的存在使得基于“共識”構(gòu)建出的教育人工智能倫理原則無論是在自身可靠性方面,還是在實(shí)踐指導(dǎo)力方面,都面臨著極大的挑戰(zhàn)。超越“共識”實(shí)際上便是在已有研究的基礎(chǔ)上彌合“非共識”要素。更直接的說,就是承認(rèn)教育人工智能倫理原則的有限性,即價(jià)值匹配的有限性、領(lǐng)域作用的有限性、指導(dǎo)時(shí)效的有限性,進(jìn)而構(gòu)建符合國情、目標(biāo)明確、立足當(dāng)下、面向未來的教育人工智能倫理原則。

    (一)價(jià)值匹配的有限性:堅(jiān)持原則構(gòu)建的本土立場

    堅(jiān)持本土立場是構(gòu)建教育人工智能倫理原則的根本方向。《關(guān)于加強(qiáng)科技倫理治理的意見》強(qiáng)調(diào),“必須立足我國科技發(fā)展的歷史階段及社會(huì)文化特點(diǎn),遵循科技創(chuàng)新規(guī)律,建立健全符合我國國情的科技倫理體系”[38]。在構(gòu)建教育人工智能倫理原則中體現(xiàn)本土立場,必須正確認(rèn)識技術(shù)、倫理以及二者之間的關(guān)系。

    首先,要正確認(rèn)識教育人工智能技術(shù)的本土性。任何技術(shù)都具有價(jià)值偏向性,“它承載著一定的價(jià)值內(nèi)涵并因此構(gòu)成我們難以擺脫和改變的社會(huì)環(huán)境和生活方式”[39]。也就是說,技術(shù)產(chǎn)品同時(shí)也是政治產(chǎn)品,因?yàn)樗从沉颂囟ǖ奈幕⑸鐣?huì)和政治動(dòng)態(tài)。其中,技術(shù)的每一個(gè)設(shè)計(jì)選擇都是由具有自己文化背景的設(shè)計(jì)者做出的決定,并伴隨他們有意識或無意識的偏見[40]。即使是最簡單的教育人工智能應(yīng)用,因?yàn)槠湟揽克惴?、編程、?xùn)練,所以也會(huì)包含價(jià)值導(dǎo)向。因此,教育人工智能倫理原則的構(gòu)建應(yīng)打破工具理論思維,警惕算法殖民主義,并揭示技術(shù)部署背后的權(quán)力關(guān)系,將價(jià)值審視延伸至教育人工智能設(shè)計(jì)、運(yùn)轉(zhuǎn)、應(yīng)用、評價(jià)的全過程。

    其次,要正確認(rèn)識教育人工智能倫理的本土性。教育人工智能應(yīng)用的“價(jià)值有涉”必然意味著其倫理原則同樣具有特定的文化與價(jià)值特征。在對技術(shù)倫理的分析中考慮文化價(jià)值的必要性早已得到認(rèn)可??缥幕夹g(shù)倫理學(xué)的研究已經(jīng)證明了技術(shù)、文化和倫理價(jià)值之間的相互作用[41]。它們證實(shí)了在評估信息技術(shù)的倫理這一問題上存在著來自不同文化的截然不同但同樣合理的價(jià)值體系[42]。正如哈貝馬斯(Habermas)在話語倫理學(xué)中所論證的那樣,辯護(hù)不必基于普遍認(rèn)同的價(jià)值陳述,而在于采用價(jià)值的連貫性[43]。因此,教育人工智能倫理原則構(gòu)建必須依照我國的文化背景與價(jià)值觀,在把握國際研究進(jìn)展的同時(shí)進(jìn)行本土轉(zhuǎn)化,做到原則選擇回應(yīng)我國的教育問題、內(nèi)涵話語體現(xiàn)我國的教育立場。

    最后,要正確認(rèn)識倫理與技術(shù)的關(guān)系。教育人工智能倫理原則構(gòu)建的本土化是全原則、全內(nèi)涵的本土化,要警惕倫理問題的技術(shù)解決傾向。當(dāng)前國際人工智能倫理原則研究在一定程度上出現(xiàn)了技術(shù)優(yōu)化代替價(jià)值判斷的傾向,可解釋性、隱私、安全、公平相較于其他原則得到了更多的討論,因?yàn)檫@些原則似乎能夠得到“技術(shù)解決”。例如,可解釋性可以通過簡化模型(Simplified Model)實(shí)現(xiàn)[44];隱私可以通過差別隱私(Differential Privacy)保障[45];安全可以通過紅隊(duì)測試練習(xí)(Red Teaming Exercises)加強(qiáng)[46]。但教育人工智能倫理原則的構(gòu)建不能僅尋求數(shù)據(jù)或算法這種技術(shù)層面的解決,因?yàn)殡m然技術(shù)參考的量化指標(biāo)可以使用具有明確目標(biāo)狀態(tài)和理想化的條件來量化倫理原則,但指標(biāo)本身是“被選擇的”①,選擇一種價(jià)值就是對其他價(jià)值的否定,因此所有的價(jià)值選擇都需要理由。教育人工智能的各項(xiàng)倫理原則均應(yīng)與我國的教育價(jià)值取向相契合。

    (二)領(lǐng)域作用的有限性:明確原則構(gòu)建的目的導(dǎo)向

    明確目的導(dǎo)向是構(gòu)建教育人工智能倫理原則的前提要求。教育人工智能在借鑒“共識”時(shí)面臨的諸多“非共識”沖突,如前文提到的結(jié)構(gòu)與指向差異、內(nèi)容與對象差異、概念與關(guān)系差異,很大程度上是由于原則構(gòu)建目的不明導(dǎo)致的。當(dāng)前研究對原則構(gòu)建具有的意義強(qiáng)調(diào)頗多,但對原則構(gòu)建指向的目的探討甚少?!耙?guī)避倫理風(fēng)險(xiǎn),實(shí)現(xiàn)技術(shù)向善”這一目標(biāo)固然重要,但還遠(yuǎn)遠(yuǎn)不夠。未來,需要進(jìn)一步明確教育人工智能倫理原則構(gòu)建的目的與教育人工智能應(yīng)用的目的。

    表層來看,需要明確教育人工智能倫理原則的構(gòu)建目的,即框架目的。一是要明確原則旨在影響的對象與應(yīng)用。教育人工智能應(yīng)用涉及技術(shù)開發(fā)人員和提供者、教育研究人員、教育工作者、管理人員、學(xué)生,以及政策制定者、家長和公眾等多種利益相關(guān)者。這種應(yīng)用及其利益相關(guān)者的多樣性必然會(huì)推動(dòng)對共同價(jià)值觀和規(guī)范的追求向高抽象層次發(fā)展,導(dǎo)致原則內(nèi)容成為難以實(shí)現(xiàn)的空談。未來教育人工智能倫理原則構(gòu)建可能有兩種取向,一種是構(gòu)建應(yīng)用與利益相關(guān)者指向明確的針對性框架。另一種是內(nèi)容能夠調(diào)整的整體性框架,當(dāng)它面對不同的教育人工智能應(yīng)用場景時(shí),能夠通過對自身內(nèi)涵的調(diào)整而變得繼續(xù)適用;二是要明確原則旨在發(fā)揮作用的程度。當(dāng)前教育人工智能倫理原則就其性質(zhì)而言是普遍且宏大的,它們的價(jià)值在于它們表明了適用于教育領(lǐng)域的重要道德主題與愿景。這意味著它們可以作為在教育場景中需要考慮的一組事項(xiàng)清單。然而,原則的普遍與宏大也限制了它們指導(dǎo)實(shí)際行動(dòng)的能力,甚至?xí)捎诟髟瓌t要求過高導(dǎo)致原則間互相沖突。如果不承認(rèn)這些沖突,原則標(biāo)準(zhǔn)可能會(huì)被設(shè)定的不切實(shí)際的高,或者旨在踐行一種原則的行為可能會(huì)在無意中損害其他重要目標(biāo)。這意味著各倫理原則的實(shí)用價(jià)值是有限的,因此每一項(xiàng)倫理原則都應(yīng)是“有限原則”,對其內(nèi)涵的說明或追求都是和其他原則不斷妥協(xié)的結(jié)果,只有范圍更窄、更具體的原則才可能在實(shí)踐中發(fā)揮作用。

    深層來看,需要審視教育人工智能技術(shù)的應(yīng)用目的,即教育目的。如果沒有明確清晰的教育目的,在教育中尋找“人工智能倫理”將是徒勞的。重要的倫理原則,例如“福祉”,需要對什么是“利益”或“進(jìn)步”有明確的理解。在教育人工智能倫理原則的構(gòu)建中,只有我們清楚地了解教育的目的時(shí),才能解釋這些術(shù)語及術(shù)語組成的框架結(jié)構(gòu)與指向。當(dāng)前對教育人工智能應(yīng)用目的的認(rèn)識可能是不足的。目前,諸多教育人工智能系統(tǒng)以布魯姆(Bloom)“精通學(xué)習(xí)”教學(xué)策略為起點(diǎn)或受其影響,它支撐了人們普遍認(rèn)為人工智能在個(gè)性化教學(xué)中具有巨大潛力的信念[47]。精通學(xué)習(xí)教學(xué)策略在數(shù)學(xué)與科學(xué)領(lǐng)域特別有影響力,許多領(lǐng)先的教育人工智能系統(tǒng)已廣泛建立了特定領(lǐng)域的知識模型、學(xué)習(xí)材料與知識掌握測試[48]。但是,將知識掌握視作教育人工智能的應(yīng)用目的可能是有局限的。比斯塔(Biesta)認(rèn)為,教育的目的不能被學(xué)習(xí)的目的(尤其是知識學(xué)習(xí)的目的)取代,教育的目的至少包括資質(zhì)(Qualification)、社會(huì)化(Socialization)、主體化(Subjectification)三個(gè)方面②[49]。也就是說,教育不僅僅是為了測試或積累知識而進(jìn)行教學(xué),教育人工智能傳統(tǒng)上對認(rèn)知能力的關(guān)注對于指導(dǎo)倫理原則構(gòu)建來說可能過于狹窄乃至影響對問題識別、原則選擇、內(nèi)涵闡發(fā)的把握。

    (三)指導(dǎo)時(shí)效的有限性:保持原則構(gòu)建的持續(xù)開放

    保持持續(xù)開放是構(gòu)建教育人工智能倫理原則的應(yīng)有追尋。如果說領(lǐng)域作用的有限性強(qiáng)調(diào)的是教育人工智能倫理原則如何面對當(dāng)下,那么指導(dǎo)時(shí)效的有限性討論的則是教育人工智能倫理原則如何面對未來。關(guān)于技術(shù)的社會(huì)和歷史研究指出,技術(shù)的未來用途與可能后果很難精準(zhǔn)預(yù)測。教育人工智能倫理原則的構(gòu)建需要關(guān)注未來,通過持續(xù)開放回應(yīng)教育人工智能領(lǐng)域的“科林里奇困境”(The Colling Ridges Dilemma)與“步調(diào)問題”(The Pacing Problem)。

    首先是原則內(nèi)涵的持續(xù)開放,即如何回應(yīng)科林里奇困境??屏掷锲胬Ь呈侵讣夹g(shù)的邏輯可塑性導(dǎo)致其在與社會(huì)的融合過程中充滿不確定性,這意味著對教育人工智能的倫理評估與控制總是有限的、被動(dòng)的,必須保持對個(gè)性化、復(fù)雜性倫理問題的關(guān)注與分析。正如布倫特(Brent)所言,“倫理原則構(gòu)建的真正風(fēng)險(xiǎn)在于復(fù)雜、困難的倫理辯論被過度簡化,以使手頭的概念能夠以簡單但淺薄的方式進(jìn)行計(jì)算和實(shí)施”[50]。因此,倫理原則的內(nèi)涵需要保持一定的開放性,即能夠?qū)σ延性瓌t優(yōu)化重構(gòu)或增加新的原則,以適應(yīng)教育人工智能實(shí)踐的不斷發(fā)展及在發(fā)展過程中可能出現(xiàn)的新的風(fēng)險(xiǎn)。這意味著原則構(gòu)建應(yīng)當(dāng)成為一個(gè)過程,而不只是提出一套以內(nèi)容為導(dǎo)向的倫理清單。

    其次是原則預(yù)測的持續(xù)開放,即如何回應(yīng)步調(diào)問題。步調(diào)問題是指當(dāng)前教育人工智能技術(shù)的創(chuàng)新速度遠(yuǎn)遠(yuǎn)超過了法律、倫理規(guī)范和管理?xiàng)l例的更新速度,塑造了科學(xué)技術(shù)發(fā)展與道德規(guī)范發(fā)展之間的差距。如上所述,盡管當(dāng)前教育人工智能倫理原則研究存在諸多爭議,但在原則構(gòu)建的目的上已基本達(dá)成一致,即“教育人工智能倫理原則旨在應(yīng)對、規(guī)避人工智能技術(shù)中教育領(lǐng)域應(yīng)用的倫理風(fēng)險(xiǎn),實(shí)現(xiàn)技術(shù)向善”。這一構(gòu)建目的暗含兩個(gè)前提假設(shè):一是倫理原則是能夠“確定”的;二是倫理原則能夠逐一對應(yīng)教育實(shí)踐產(chǎn)生的倫理風(fēng)險(xiǎn)。但正如步調(diào)問題所表明的那樣,人類倫理常常是滯后先于前瞻,“事后諸葛亮”式的教訓(xùn)遠(yuǎn)多于“未卜先知”式的智慧,對倫理問題的預(yù)見必定存在疏漏。因此,教育人工智能倫理原則的構(gòu)建需要堅(jiān)持滯后與前瞻的統(tǒng)一,在指向現(xiàn)實(shí)問題的同時(shí),也要把握教育人工智能技術(shù)的發(fā)展趨勢,提供預(yù)見性倫理原則。

    四、結(jié)語

    教育人工智能倫理原則構(gòu)建是一個(gè)正在生成的領(lǐng)域,目前,其逐漸從參照各領(lǐng)域倫理原則共識向關(guān)注教育領(lǐng)域的個(gè)性要素轉(zhuǎn)變,這可稱之為“超越共識”的研究轉(zhuǎn)向。超越“共識”首先需要明確“共識”中的“非共識”,雖然現(xiàn)有研究已經(jīng)提出了許多針對教育領(lǐng)域的個(gè)性化人工智能倫理原則框架,但總體來看,它們對“非共識”的認(rèn)識仍然是不足的。實(shí)際上,共識性人工智能倫理原則不僅存在國別與領(lǐng)域差異,在教育領(lǐng)域的不同應(yīng)用甚至同一框架內(nèi)部,亦存在著明顯不同。這意味著似乎難以形成一套具有普適性作用的教育人工智能倫理原則,未來相關(guān)原則的構(gòu)建很可能是個(gè)性且多樣的。從這一意義上講,對構(gòu)建原則討論的重要性超過對原則構(gòu)建的討論。堅(jiān)持本土立場、明確目的導(dǎo)向、保持持續(xù)開放是構(gòu)建教育人工智能倫理原則時(shí)的必要遵循,但可能還不夠。未來,還需要對構(gòu)建原則進(jìn)行更為全面、深入的研究。總之,構(gòu)建能夠切實(shí)影響教育實(shí)踐的人工智能倫理原則是一個(gè)必要但極其困難的研究議題,用路易斯維爾大學(xué)教授兼人工智能研究員羅曼·揚(yáng)波爾斯基(Roman Yampolskiy)的話來說:“那些說人工智能倫理很復(fù)雜的人過于樂觀了”。

    參考文獻(xiàn):

    [1] 苗逢春.教育人工智能倫理的解析與治理——《人工智能倫理問題建議書》的教育解讀[J].中國電化教育,2022,(6):22-36.

    [2] Hagendorff,T.AI ethics and its pitfalls: not living up to its own standards [J].AI and Ethics,2023,3(3):329-336.

    [3] Schiff D,Borenstein J,et al.AI ethics in the public,private,and NGO sectors:A review of a global document collection [J].IEEE Transactions on Technology and Society,2021,2(1):31-42.

    [4] Corrêa N K,Galv o C,et al.Worldwide AI Ethics:a review of 200 guidelines and recommendations for AI governance [EB/OL].https:// arxiv.org/abs/2206.11922,2023-02-28.

    [5] Holmes,W.Ethics in AIED:Who cares [C].Lausanne,Switzerland:Springer, 2019.424-425.

    [6][8] Jobin A,Ienca M,et al.The global landscape of AI ethics guidelines [J].Nature Machine Intelligence,2019,1(9):389-399.

    [7] Fjeld J,Achten N,et al.Principled Artificial Intelligence:Mapping Consensus in Ethical and Rights-Based Approaches to Principles for AI [J].Social Science Electronic Publishing,2019,22(3):20-38.

    [9] Hagerty A,Rubinov I.Global AI ethics:a review of the social impacts and ethical implications of artificial intelligence [EB/OL].https://arxiv. org/abs/1907.07892,2019-07-18.

    [10] Khan A A,Badshah S,et al.Ethics of AI:A systematic literature review of principles and challenges [C].New York:ACM,2022.383-392.

    [11] Agarwal B,Urlings C,et al.Ethical FRAPPE–an adapted draft framework for ethical AIED [C].Toulouse:CEUR-WS.org,2022.46-54.

    [12] Armstrong,M.,Dopp,C.,et al.Design-Based Research,The Students Guide to Learning Design and Research [EB/OL].https://edtechbooks. org/studentguide/design-based_research,2022-07-21.

    [13] Adams C,Pente P,et al.Artificial Intelligence ethics guidelines for K-12 education:A review of the global landscape [C]. Cham:Springer,2021.24-28.

    [14] Hong Y,Nguyen A,et al.Data Ethics Framework for Artificial Intelligence in Education (AIED) [C].New York:IEEE,2022.297-301.

    [15] Madaio M,Blodgett S L,et al.The Ethics of Artificial Intelligence in Education [M].New York:Routledge,2022.203-239.

    [16] Chaudhry M A,Cukurova M,et al.A transparency index framework for AI in education [C].Cham:Springer,2022.195-198.

    [17] Holstein K,McLaren B M,et al.Designing for complementarity:Teacher and student needs for orchestration support in AI-enhanced classrooms [C].Cham:Springer,2019.157-171.

    [18] Murphy K,Di Ruggiero E,et al.Artificial intelligence for good health:a scoping review of the ethics literature [J].BMC medical ethics,2021,22(1):1-17.

    [19] Hickok M.Lessons learned from AI ethics principles for future actions [J].AI and Ethics,2021,1(1):41-47.

    [20][21][23][48] Tuomi I.A framework for socio-developmental ethics in educational AI [C].Hawaii:University of Hawaii,2023.6208-6217.

    [22] Bakiner O.What do academics say about artificial intelligence ethics An overview of the scholarship [J].AI and Ethics,2022,1(1):1-13.

    [24] Morley J,F(xiàn)loridi L,et al.From what to how:an initial review of publicly available AI ethics tools,methods and research to translate principles into practices [J].Science and engineering ethics,2020,26(4):2141-2168.

    [25] Kempt H,F(xiàn)reyer N,et al.Justice and the Normative Standards of Explainability in Healthcare [J].Philosophy & Technology,2022,35(4):100.

    [26] Nguyen A,Ngo H N,et al.Ethical principles for artificial intelligence in education [J].Education and Information Technologies,2022,5(2):1-21.[27] IBM Corporation.Everyday ethics for artificial intelligence [EB/OL]. https://www.ibm.com/watson/advantage-reports/everyday-ethics-forai/,2019-05-07.

    [28] Berkman Klein Center for Internet & Society.Principled artificial intelligence:mapping consensus in ethical and rights-based approaches to principles for AI [EB/OL].https://dash.harvard.edu/ handle/1/42160420,2020-01-05.

    [29][32] Holmes W,Porayska-Pomsta K.The Ethics of Artificial Intelligence in Education:Practices,Challenges,and Debates [M]. London:Taylor & Francis,2022.

    [30] [美]韋恩·霍姆斯,瑪雅·比利亞克等.馮建超,舒越譯.教育中的人工智能:前景與啟示[M].上海:華東師范大學(xué)出版社,2021.

    [31] Holmes W,Tuomi I.State of the art and practice in AI in education [J]. European Journal of Education,2022,57(4):542-570.

    [33] Hwang G J,Xie H,et al.Vision,challenges,roles and research issues of Artificial Intelligence in Education [J].Computers and Education:Artificial Intelligence,2020,1(1):1-5.

    [34][50] Mittelstadt B.Principles alone cannot guarantee ethical AI [J]. Nature Machine Intelligence,2019,1(11):501-507.

    [35][36][40] Whittlestone J,Nyrup R,et al.The role and limits of principles in AI ethics:towards a focus on tensions [C].New York:ACM,2019.195-200.

    [37] Herzog C.On the risk of confusing interpretability with explicability [J]. AI and Ethics,2022,2(1):219-225.

    [38] 中共中央辦公廳 國務(wù)院辦公廳.關(guān)于加強(qiáng)科技倫理治理的意見[EB/OL].http://www.gov.cn/zhengce/2022-03/20/content_5680105. htm,2022-08-04.

    [39] 劉同舫.技術(shù)的當(dāng)代哲學(xué)視野[M].北京:人民出版社,2017.44.

    [41] Capurro R.Privacy.An intercultural perspective [J].Ethics and information technology,2005,1(7):37-47.

    [42] Ess C.Ethical pluralism and global information ethics [J].Ethics and Information Technology,2006,1(8):215-226.

    [43] Habermas J.Moral consciousness and communicative action [M]. Cambridge:MIT press,1990.

    [44] Arrieta A B,Díaz-Rodríguez N,et al.Explainable Artificial Intelligence (XAI):Concepts,taxonomies,opportunities and challenges toward responsible AI [J].Information fusion,2020,58(1):82-115.

    [45] Dwork C.Differential privacy:A survey of results [C].Berlin:Springer,2008. 1-19.

    [46] Falco G,Shneiderman B,et al.Governing AI safety through independent audits [J].Nature Machine Intelligence,2021,3(7):566-571.

    [47] Blikstein P,Zheng Y,et al.Ceci nest pas une éc ole:Discourses of artificial intelligence in education through the lens of semiotic analytics [J].European Journal of Education,2022,57(4):571-583.

    [49] Biesta G J J.Good education in an age of measurement:Ethics,politics, democracy [M].London:Routledge,2015.76.

    作者簡介:

    白鈞溢:在讀博士,研究方向?yàn)榻逃軐W(xué)。

    于偉:教授,博士生導(dǎo)師,東北師范大學(xué)附屬小學(xué)校長,研究方向?yàn)榻逃軐W(xué)。

    Beyond Consensus: Development Directions for Constructing Ethical Principles of AI in Education

    Bai Junyi, Yu Wei

    (Faculty of Education, Northeast Normal University, Changchun 130024, Jilin)

    Abstract: Influenced by the development plans of various countries on artificial intelligence, research on ethical principles of AI education started later than other areas and shaped its construction orientation with reference to existing “consensus” principles. Currently, researchers are gradually paying attention to reflecting on the “consensus” and exploring the individual elements of the education field, surpassing the “consensus” becoming the development trend for constructing ethical principles in AI education. The fundamental reason that limits the practical effect of ethical principles in AI education is the “non-consensus” element implied by the “consensus”, including historical and cultural differences between countries, structural and directional differences between fields, content and object differences between applications, and conceptual and relational differences within themselves. To surpass the “consensus” means bridging the “non-consensus” elements based on existing research. More directly, it is acknowledging the limitations of ethical principles in AI education, including the limitations in value matching,domain applicability, and guidance timeliness, thus adhering to a local stance, clarifying purpose orientation, and maintaining continuous openness when constructing ethical principles in AI education.

    Keywords: AI education; ethical principles; beyond consensus; direction of development

    責(zé)任編輯:李雅瑄

    ① 教育人工智能倫理原則在政策文件與學(xué)術(shù)研究中通常不會(huì)以單個(gè)原則的形式出現(xiàn),而是一個(gè)包含了多個(gè)倫理原則的框架,并冠以“指導(dǎo)方針”“責(zé)任”“指南”“行為準(zhǔn)則”等名稱。

    ① 教育人工智能(AIED)的雙重角色是指既可以通過人工智能技術(shù)促進(jìn)教育發(fā)展,也可以通過教育促進(jìn)人工智能技術(shù)及其相關(guān)領(lǐng)域的發(fā)展,亦即“AI for Education”與“Education for AI”。

    ① 即使是達(dá)成共識的倫理原則,不同群體對其的價(jià)值排序也有所不同。例如,“隱私”在崇尚個(gè)人主義的地區(qū)的重視優(yōu)先級可能高于崇尚集體主義的地區(qū)。

    ② 歐洲人工智能倫理的語料庫包含一套價(jià)值觀和原則體系,將規(guī)范應(yīng)用于具體案例并轉(zhuǎn)化為符合倫理的行動(dòng),即一種將道德理想融入公民和社會(huì)現(xiàn)實(shí)的機(jī)制。參見Dubber M D,Pasquale F,et al.The Oxford Handbook of Ethics of AI[M].Oxford:Oxford University Press,2020.649-666。

    ① 例如,目前人工智能可能比醫(yī)生更能準(zhǔn)確的診斷醫(yī)療狀況,但不一定能夠提供令人滿意的解釋。

    ① 例如,當(dāng)前對于公平的算法定義至少有21種,且沒有一種公平性算法能夠同時(shí)滿足不同的公平性條件。參見Mitchell S,Potash E,et al.Algorithmic fairness:Choices,assumptions,and definitions [J].Annual Review of Statistics and Its Application,2021,8(1):141-163.及Kleinberg J,Mullainathan S,et al.Inherent trade-offs in the fair determination of risk scores [EB/OL].https://arxiv.org/abs/1609.05807,2016-11-17.

    ② 即教育的目的是為了知識構(gòu)建、社會(huì)化還是自我實(shí)現(xiàn)。

    猜你喜歡
    發(fā)展方向共識
    共識 共進(jìn) 共情 共學(xué):讓“溝通之花”綻放
    商量出共識
    薪酬改革共識難達(dá)
    蘇州工業(yè)園區(qū)住宅圍墻問題探索性研究
    我國道路橋梁施工技術(shù)現(xiàn)狀與發(fā)展方向
    電子通信系統(tǒng)的探索
    探討企業(yè)工商管理現(xiàn)狀及發(fā)展方向
    分析醫(yī)藥市場營銷的策略與發(fā)展方向
    融媒體業(yè)態(tài)將決定報(bào)業(yè)未來
    中國記者(2016年6期)2016-08-26 12:17:17
    “慢養(yǎng)孩子”應(yīng)成社會(huì)普遍共識
    人生十六七(2015年3期)2015-02-28 13:08:17
    国产亚洲精品第一综合不卡 | 纵有疾风起免费观看全集完整版| 熟妇人妻不卡中文字幕| 国产成人免费无遮挡视频| 我的女老师完整版在线观看| 成年美女黄网站色视频大全免费| 精品99又大又爽又粗少妇毛片| 色婷婷久久久亚洲欧美| 黄色毛片三级朝国网站| 九色成人免费人妻av| 欧美日韩视频精品一区| 亚洲国产精品一区二区三区在线| 欧美变态另类bdsm刘玥| 麻豆乱淫一区二区| 少妇猛男粗大的猛烈进出视频| www.熟女人妻精品国产 | 好男人视频免费观看在线| 久久久久久伊人网av| 欧美精品一区二区免费开放| 男女下面插进去视频免费观看 | 国产成人91sexporn| 午夜日本视频在线| 国产精品一区二区在线观看99| 两个人免费观看高清视频| 九九爱精品视频在线观看| 一级黄片播放器| 王馨瑶露胸无遮挡在线观看| av天堂久久9| 一级片'在线观看视频| 蜜臀久久99精品久久宅男| 交换朋友夫妻互换小说| 五月开心婷婷网| 午夜视频国产福利| 国产精品久久久久久久久免| 午夜福利视频精品| 成人漫画全彩无遮挡| 精品久久国产蜜桃| 国产一区亚洲一区在线观看| 美女国产视频在线观看| 黄片无遮挡物在线观看| 国产成人精品久久久久久| 久久av网站| 日韩电影二区| 日本欧美视频一区| 亚洲伊人色综图| 如何舔出高潮| 九色亚洲精品在线播放| 午夜91福利影院| 色哟哟·www| 一级a做视频免费观看| 黑人高潮一二区| av免费在线看不卡| 国产极品粉嫩免费观看在线| 欧美精品一区二区免费开放| 成人黄色视频免费在线看| 永久免费av网站大全| 大陆偷拍与自拍| 伦理电影大哥的女人| 久久毛片免费看一区二区三区| 狠狠精品人妻久久久久久综合| 免费黄色在线免费观看| 日本欧美国产在线视频| 亚洲av免费高清在线观看| 免费观看性生交大片5| 久久久久人妻精品一区果冻| 精品午夜福利在线看| 国产极品粉嫩免费观看在线| 男人操女人黄网站| 国产福利在线免费观看视频| 五月开心婷婷网| 国产不卡av网站在线观看| 乱人伦中国视频| 欧美成人午夜精品| 九色亚洲精品在线播放| 精品午夜福利在线看| 汤姆久久久久久久影院中文字幕| 在线精品无人区一区二区三| 一区二区日韩欧美中文字幕 | 两个人免费观看高清视频| 精品亚洲成国产av| 国产无遮挡羞羞视频在线观看| 欧美3d第一页| 狂野欧美激情性bbbbbb| a级毛片黄视频| 成年人午夜在线观看视频| 美女内射精品一级片tv| 免费大片18禁| 国产精品欧美亚洲77777| 自拍欧美九色日韩亚洲蝌蚪91| 汤姆久久久久久久影院中文字幕| 免费观看av网站的网址| 国产av精品麻豆| 欧美最新免费一区二区三区| 久久精品熟女亚洲av麻豆精品| 亚洲国产欧美日韩在线播放| 国产亚洲一区二区精品| a 毛片基地| 五月天丁香电影| 精品久久久精品久久久| 欧美日韩视频高清一区二区三区二| 国产激情久久老熟女| 自拍欧美九色日韩亚洲蝌蚪91| 少妇的丰满在线观看| 国产黄频视频在线观看| 在线看a的网站| 欧美日韩一区二区视频在线观看视频在线| 99国产综合亚洲精品| 18禁国产床啪视频网站| 两个人免费观看高清视频| 久久亚洲国产成人精品v| 欧美激情国产日韩精品一区| 97超碰精品成人国产| 国产色婷婷99| 赤兔流量卡办理| 久久久欧美国产精品| av视频免费观看在线观看| 国产乱人偷精品视频| 久久精品国产亚洲av天美| 中文字幕免费在线视频6| 中文字幕亚洲精品专区| 人妻系列 视频| 欧美成人精品欧美一级黄| 自线自在国产av| 久久精品国产亚洲av天美| 国产深夜福利视频在线观看| 精品99又大又爽又粗少妇毛片| 亚洲国产精品国产精品| 成年av动漫网址| 欧美3d第一页| 纯流量卡能插随身wifi吗| 免费黄频网站在线观看国产| 久久久久久久大尺度免费视频| 国产在线一区二区三区精| 九九爱精品视频在线观看| 国产亚洲av片在线观看秒播厂| 丁香六月天网| 国产亚洲精品第一综合不卡 | 91国产中文字幕| 亚洲熟女精品中文字幕| 亚洲精品久久成人aⅴ小说| a级毛片在线看网站| 男女边摸边吃奶| 在现免费观看毛片| 大香蕉97超碰在线| 国产亚洲午夜精品一区二区久久| 欧美精品av麻豆av| 亚洲精品久久午夜乱码| 亚洲欧美日韩卡通动漫| 午夜激情久久久久久久| 日韩大片免费观看网站| 国产精品人妻久久久影院| 国产片内射在线| 男女边吃奶边做爰视频| 中文精品一卡2卡3卡4更新| 搡女人真爽免费视频火全软件| 久久这里只有精品19| 亚洲美女视频黄频| 亚洲国产精品专区欧美| 精品久久蜜臀av无| 国产极品粉嫩免费观看在线| 亚洲av男天堂| 日韩伦理黄色片| 亚洲国产欧美在线一区| 又粗又硬又长又爽又黄的视频| 久久热在线av| 亚洲综合色惰| 蜜臀久久99精品久久宅男| 香蕉国产在线看| 欧美xxⅹ黑人| 成人毛片a级毛片在线播放| 欧美精品人与动牲交sv欧美| 婷婷色麻豆天堂久久| 午夜福利网站1000一区二区三区| 看十八女毛片水多多多| 成人亚洲欧美一区二区av| 老司机影院毛片| 九九在线视频观看精品| 欧美日韩一区二区视频在线观看视频在线| 亚洲成色77777| 肉色欧美久久久久久久蜜桃| 肉色欧美久久久久久久蜜桃| 国产熟女欧美一区二区| 国产女主播在线喷水免费视频网站| 午夜福利网站1000一区二区三区| 男女边摸边吃奶| 日本午夜av视频| 色吧在线观看| 多毛熟女@视频| 看免费av毛片| 9热在线视频观看99| 黄色 视频免费看| 久久精品国产a三级三级三级| 乱码一卡2卡4卡精品| 日韩在线高清观看一区二区三区| 深夜精品福利| 大陆偷拍与自拍| 天天操日日干夜夜撸| 日韩av在线免费看完整版不卡| 国产精品一国产av| 亚洲av男天堂| 国产片内射在线| 男男h啪啪无遮挡| a级毛片黄视频| 久久久久久久国产电影| 乱码一卡2卡4卡精品| 国产精品国产av在线观看| 欧美激情极品国产一区二区三区 | 综合色丁香网| 大香蕉97超碰在线| 国产成人欧美| 日韩电影二区| 国产男女超爽视频在线观看| 精品福利永久在线观看| 日产精品乱码卡一卡2卡三| 免费播放大片免费观看视频在线观看| 啦啦啦在线观看免费高清www| 欧美性感艳星| 亚洲综合精品二区| 水蜜桃什么品种好| 免费黄网站久久成人精品| 成年女人在线观看亚洲视频| 成年人免费黄色播放视频| 久久99一区二区三区| 亚洲一区二区三区欧美精品| 久久99精品国语久久久| 观看av在线不卡| 搡女人真爽免费视频火全软件| 五月玫瑰六月丁香| 日本猛色少妇xxxxx猛交久久| 亚洲情色 制服丝袜| 黄色毛片三级朝国网站| 欧美国产精品va在线观看不卡| 国产69精品久久久久777片| av黄色大香蕉| 欧美激情 高清一区二区三区| 亚洲中文av在线| 寂寞人妻少妇视频99o| 制服诱惑二区| 日日撸夜夜添| 校园人妻丝袜中文字幕| 亚洲综合精品二区| 下体分泌物呈黄色| 高清毛片免费看| 免费在线观看完整版高清| 久久久久久久久久人人人人人人| 人成视频在线观看免费观看| 免费观看a级毛片全部| 亚洲内射少妇av| av在线播放精品| 亚洲精品第二区| 97在线人人人人妻| 深夜精品福利| 美女大奶头黄色视频| 亚洲色图 男人天堂 中文字幕 | 夫妻午夜视频| 18禁在线无遮挡免费观看视频| 久久精品久久久久久久性| 国产淫语在线视频| 国产高清不卡午夜福利| 国产精品偷伦视频观看了| 亚洲综合色网址| 男男h啪啪无遮挡| 国产亚洲一区二区精品| 午夜福利乱码中文字幕| 亚洲国产日韩一区二区| 日韩人妻精品一区2区三区| 99热国产这里只有精品6| 青春草亚洲视频在线观看| 大香蕉97超碰在线| 亚洲精品国产av蜜桃| a级片在线免费高清观看视频| 制服丝袜香蕉在线| av播播在线观看一区| 黑人猛操日本美女一级片| 亚洲精品国产av蜜桃| 亚洲av综合色区一区| 久久精品aⅴ一区二区三区四区 | 日本爱情动作片www.在线观看| 丝袜脚勾引网站| 国产精品蜜桃在线观看| 免费人成在线观看视频色| 国产高清不卡午夜福利| 欧美人与性动交α欧美精品济南到 | 欧美日韩视频高清一区二区三区二| 侵犯人妻中文字幕一二三四区| 亚洲,欧美,日韩| 看非洲黑人一级黄片| 高清av免费在线| 男男h啪啪无遮挡| 中文字幕免费在线视频6| 成年女人在线观看亚洲视频| 久久久久久久久久人人人人人人| 两性夫妻黄色片 | 欧美日韩国产mv在线观看视频| 女的被弄到高潮叫床怎么办| 一区二区日韩欧美中文字幕 | 日韩精品有码人妻一区| 高清av免费在线| 亚洲欧美清纯卡通| 久久久a久久爽久久v久久| 老司机影院毛片| 精品一区二区免费观看| 国产成人a∨麻豆精品| 纯流量卡能插随身wifi吗| 国产成人精品福利久久| 制服诱惑二区| 黄片播放在线免费| 三级国产精品片| 久久精品aⅴ一区二区三区四区 | 天天躁夜夜躁狠狠躁躁| 久久久久精品人妻al黑| 观看av在线不卡| 欧美日韩视频高清一区二区三区二| 97人妻天天添夜夜摸| 天天影视国产精品| 久久女婷五月综合色啪小说| 免费播放大片免费观看视频在线观看| 免费大片18禁| 如何舔出高潮| 国产欧美亚洲国产| 国产一区二区在线观看日韩| 视频中文字幕在线观看| 在线观看www视频免费| 久久精品aⅴ一区二区三区四区 | 亚洲图色成人| 成年人免费黄色播放视频| av福利片在线| 高清不卡的av网站| 18禁观看日本| 国产免费现黄频在线看| 成人国产麻豆网| 日日摸夜夜添夜夜爱| 伊人久久国产一区二区| 黄色配什么色好看| 中文欧美无线码| 黑人欧美特级aaaaaa片| 亚洲人与动物交配视频| 少妇被粗大的猛进出69影院 | 国产成人91sexporn| 精品少妇内射三级| 国产在线一区二区三区精| 国产高清不卡午夜福利| 亚洲成国产人片在线观看| 成人无遮挡网站| 十八禁高潮呻吟视频| 日韩,欧美,国产一区二区三区| 成人毛片a级毛片在线播放| 久久久久视频综合| 2021少妇久久久久久久久久久| 日韩制服丝袜自拍偷拍| www.av在线官网国产| 精品国产乱码久久久久久小说| 亚洲精品av麻豆狂野| 黑人巨大精品欧美一区二区蜜桃 | 两个人看的免费小视频| 国产精品国产三级国产专区5o| 青春草视频在线免费观看| 母亲3免费完整高清在线观看 | 亚洲av电影在线进入| 又大又黄又爽视频免费| 国产成人免费无遮挡视频| 极品少妇高潮喷水抽搐| 成年美女黄网站色视频大全免费| 亚洲欧洲日产国产| 丝袜脚勾引网站| 巨乳人妻的诱惑在线观看| 中文天堂在线官网| 男女高潮啪啪啪动态图| 亚洲成人一二三区av| 黑丝袜美女国产一区| 各种免费的搞黄视频| 国产精品久久久久久精品电影小说| 午夜福利乱码中文字幕| 午夜日本视频在线| 一级a做视频免费观看| 美女国产高潮福利片在线看| 国产色婷婷99| 亚洲精品自拍成人| 观看美女的网站| 亚洲美女搞黄在线观看| 免费在线观看完整版高清| 日本午夜av视频| av卡一久久| 国产精品久久久av美女十八| 边亲边吃奶的免费视频| 男女高潮啪啪啪动态图| 婷婷成人精品国产| 亚洲经典国产精华液单| 亚洲国产欧美在线一区| 天堂俺去俺来也www色官网| 成人亚洲欧美一区二区av| 99热国产这里只有精品6| 黄色视频在线播放观看不卡| 国产免费现黄频在线看| 久久国产亚洲av麻豆专区| av有码第一页| 9191精品国产免费久久| 寂寞人妻少妇视频99o| 国产老妇伦熟女老妇高清| 人体艺术视频欧美日本| 久久久久网色| 永久免费av网站大全| 欧美精品亚洲一区二区| 国产精品成人在线| 如何舔出高潮| 精品国产一区二区久久| 在线观看一区二区三区激情| 男女高潮啪啪啪动态图| 91精品三级在线观看| 一区二区三区四区激情视频| 久久国产精品大桥未久av| 夜夜骑夜夜射夜夜干| av.在线天堂| 精品一区二区三区视频在线| 亚洲激情五月婷婷啪啪| 国产一级毛片在线| 极品人妻少妇av视频| 丝袜喷水一区| 国产激情久久老熟女| 国产又色又爽无遮挡免| 免费大片18禁| 女人久久www免费人成看片| av国产久精品久网站免费入址| 中文字幕人妻丝袜制服| 一二三四在线观看免费中文在 | 最近手机中文字幕大全| 一级片免费观看大全| 亚洲五月色婷婷综合| 如日韩欧美国产精品一区二区三区| 18禁动态无遮挡网站| 国产麻豆69| 一级爰片在线观看| 欧美国产精品一级二级三级| 亚洲精品美女久久久久99蜜臀 | 制服丝袜香蕉在线| 少妇人妻精品综合一区二区| 69精品国产乱码久久久| 新久久久久国产一级毛片| 国产欧美另类精品又又久久亚洲欧美| 少妇被粗大的猛进出69影院 | 午夜视频国产福利| xxxhd国产人妻xxx| 美女脱内裤让男人舔精品视频| 色婷婷久久久亚洲欧美| 亚洲精品,欧美精品| 久热久热在线精品观看| www.色视频.com| 国产高清三级在线| 国产高清国产精品国产三级| 女性生殖器流出的白浆| www日本在线高清视频| 亚洲精品视频女| 啦啦啦啦在线视频资源| 99热全是精品| 欧美精品高潮呻吟av久久| 国产精品免费大片| 99国产精品免费福利视频| 国产精品久久久久久av不卡| 天堂中文最新版在线下载| 亚洲人与动物交配视频| 最黄视频免费看| 老女人水多毛片| 国产亚洲午夜精品一区二区久久| 不卡视频在线观看欧美| 国产免费一区二区三区四区乱码| 成人毛片a级毛片在线播放| 激情视频va一区二区三区| 人人妻人人澡人人看| 免费少妇av软件| 国产精品一区二区在线不卡| 久久久国产精品麻豆| 国产精品熟女久久久久浪| 婷婷色麻豆天堂久久| 中文字幕亚洲精品专区| 中文精品一卡2卡3卡4更新| 欧美激情 高清一区二区三区| 91精品国产国语对白视频| 制服丝袜香蕉在线| 啦啦啦啦在线视频资源| 国产成人免费观看mmmm| 午夜免费男女啪啪视频观看| 国产免费视频播放在线视频| 成年美女黄网站色视频大全免费| 国产精品一二三区在线看| 草草在线视频免费看| 日韩电影二区| 免费观看性生交大片5| 全区人妻精品视频| 少妇熟女欧美另类| 日韩制服骚丝袜av| 精品人妻在线不人妻| 一区二区三区四区激情视频| 国产成人精品久久久久久| 国产精品国产三级国产专区5o| 日韩不卡一区二区三区视频在线| h视频一区二区三区| 最近中文字幕高清免费大全6| 香蕉丝袜av| 一边摸一边做爽爽视频免费| 亚洲国产av影院在线观看| 久久精品aⅴ一区二区三区四区 | 欧美国产精品va在线观看不卡| 一区二区三区精品91| 高清在线视频一区二区三区| 亚洲精品国产色婷婷电影| 成人亚洲精品一区在线观看| 国产 精品1| 中文字幕人妻熟女乱码| 美女中出高潮动态图| 亚洲精品久久午夜乱码| 日本黄大片高清| 激情视频va一区二区三区| 亚洲av男天堂| 欧美老熟妇乱子伦牲交| 最后的刺客免费高清国语| 亚洲精品乱码久久久久久按摩| 久久久久久人妻| 日本猛色少妇xxxxx猛交久久| 日韩,欧美,国产一区二区三区| 亚洲精品国产av成人精品| freevideosex欧美| 国产乱人偷精品视频| 国产片内射在线| 国产免费现黄频在线看| 97精品久久久久久久久久精品| 少妇人妻 视频| 一区二区日韩欧美中文字幕 | 国产毛片在线视频| 亚洲综合精品二区| 欧美精品一区二区免费开放| 午夜影院在线不卡| av国产精品久久久久影院| 寂寞人妻少妇视频99o| 美女视频免费永久观看网站| 亚洲精品色激情综合| 91精品三级在线观看| 老司机亚洲免费影院| 哪个播放器可以免费观看大片| 欧美精品高潮呻吟av久久| 国产成人av激情在线播放| 午夜福利在线观看免费完整高清在| 超碰97精品在线观看| 国产一区亚洲一区在线观看| 国产一区二区三区综合在线观看 | 午夜av观看不卡| 巨乳人妻的诱惑在线观看| 久久精品久久精品一区二区三区| 高清黄色对白视频在线免费看| 女的被弄到高潮叫床怎么办| 色哟哟·www| 亚洲成色77777| 秋霞在线观看毛片| 一本—道久久a久久精品蜜桃钙片| 人人妻人人爽人人添夜夜欢视频| 久久国内精品自在自线图片| 一区在线观看完整版| 男女无遮挡免费网站观看| 久久国产亚洲av麻豆专区| 日韩一本色道免费dvd| 伊人久久国产一区二区| 国产日韩一区二区三区精品不卡| 人体艺术视频欧美日本| 婷婷色av中文字幕| 大片电影免费在线观看免费| videosex国产| a级毛色黄片| 国产一区亚洲一区在线观看| 九草在线视频观看| 久久久久国产精品人妻一区二区| 日日撸夜夜添| 久久精品国产亚洲av涩爱| 男人爽女人下面视频在线观看| 日韩精品有码人妻一区| 日韩电影二区| 久久午夜福利片| 日本与韩国留学比较| 亚洲欧美色中文字幕在线| 国精品久久久久久国模美| 亚洲激情五月婷婷啪啪| 91成人精品电影| 纯流量卡能插随身wifi吗| 97在线视频观看| 五月开心婷婷网| 中文乱码字字幕精品一区二区三区| 免费高清在线观看视频在线观看| 在线亚洲精品国产二区图片欧美| 亚洲综合色惰| 在线观看免费视频网站a站| 美女xxoo啪啪120秒动态图| 欧美激情极品国产一区二区三区 | 亚洲av电影在线进入| 亚洲av免费高清在线观看| 2022亚洲国产成人精品| 欧美成人精品欧美一级黄| 亚洲综合色惰| 欧美97在线视频| 两个人看的免费小视频| 色94色欧美一区二区| 五月天丁香电影| 久久99蜜桃精品久久| 亚洲图色成人| 又粗又硬又长又爽又黄的视频| 欧美老熟妇乱子伦牲交| 一二三四中文在线观看免费高清| 精品国产露脸久久av麻豆| 熟女人妻精品中文字幕| 国产精品无大码| 久久精品国产鲁丝片午夜精品| 又粗又硬又长又爽又黄的视频| 蜜桃在线观看..| 久久国产亚洲av麻豆专区| 中文字幕另类日韩欧美亚洲嫩草| 久久久久国产精品人妻一区二区| 中文字幕人妻熟女乱码| 国产成人精品一,二区|