• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    國際人工智能倫理研究現(xiàn)狀與發(fā)展趨勢*

    2020-02-08 03:50:54汪玉蘭鄧國民
    圖書館 2020年1期
    關(guān)鍵詞:機器倫理道德

    汪玉蘭 鄧國民

    (1. 南京大學(xué)哲學(xué)系 南京 210023;2. 貴陽學(xué)院教育科學(xué)學(xué)院 貴陽 550005)

    隨著人工智能技術(shù)應(yīng)用的深入,可能引發(fā)的新的倫理問題和困境受到國內(nèi)外業(yè)界人士和重要機構(gòu)的重視。微軟、百度和騰訊等國內(nèi)外大公司都對人工智能倫理表現(xiàn)出急切的關(guān)注。歐盟委員會于2019 年4 月8 日發(fā)布了“值得信賴的人工智能倫理準(zhǔn)則”。人民日報于2019 年7 月12 日刊發(fā)整版文章對人工智能倫理進行了探討??梢?,人工智能倫理研究已經(jīng)迫在眉睫。研究國際重要學(xué)術(shù)刊物發(fā)表的人工智能倫理研究知識圖譜、發(fā)展現(xiàn)狀和未來發(fā)展趨勢,對于我們進行人工智能倫理研究具有較大的啟示意義。

    1 研究方法

    本文設(shè)置檢索式為“TS=(artificial intelligence OR AI)AND TS=(ethic* OR moral)”,從Web of Science 核心數(shù)據(jù)庫中檢索到人工智能倫理研究文獻(xiàn)389 條,作為知識圖譜分析的數(shù)據(jù)基礎(chǔ)。我們使用CiteSpace 軟件對國際人工智能倫理研究文獻(xiàn)進行知識圖譜分析,并綜合應(yīng)用文獻(xiàn)計量學(xué)和內(nèi)容分析方法,揭示人工智能倫理研究領(lǐng)域的研究起源、發(fā)展脈絡(luò)和未來趨勢。首先,使用文獻(xiàn)計量學(xué)和內(nèi)容分析方法,揭示國際人工智能倫理研究文獻(xiàn)的年度、期刊和學(xué)術(shù)機構(gòu)整體分布情況。然后,使用CiteSpace 軟件對人工智能倫理研究文獻(xiàn)數(shù)據(jù)進行引文空間的可視化分析,揭示文獻(xiàn)、作者和刊物的共被引關(guān)系以及機構(gòu)和關(guān)鍵詞的共現(xiàn)關(guān)系。第三,在文獻(xiàn)共被引分析的基礎(chǔ)上,繪制國際人工智能倫理研究文獻(xiàn)的共被引聚類圖譜,揭示國際人工智能倫理研究領(lǐng)域的主要研究聚類、關(guān)鍵結(jié)點和時間演化過程。

    圖1 人工智能倫理研究歷年出版文獻(xiàn)數(shù)及引文數(shù)

    2 人工智能倫理研究文獻(xiàn)知識圖譜分析

    2.1 人工智能倫理研究文獻(xiàn)年度分布

    近三十年以來,國際上人工智能倫理研究每年出版的文獻(xiàn)數(shù)和引文數(shù)均穩(wěn)步上升。如圖1 所示,2005 年以前,國際上關(guān)于人工智能倫理研究的文獻(xiàn)數(shù)和引文數(shù)都相對較少,之后每年出版的相關(guān)文獻(xiàn)數(shù)和引文數(shù)都以較快的速度增長,2012 年出版文獻(xiàn)數(shù)開始超過10 篇,被引頻次超過100 次。2014 年以后,每年引文數(shù)都超過200 次,2018 年達(dá)到500 次。這說明近年來學(xué)界對人工智能倫理研究的關(guān)注度急劇上升,最近兩年達(dá)到高潮。

    2.2 有影響的文獻(xiàn)

    利用CiteSpace 軟件對檢索到的389 條人工智能倫理研究文獻(xiàn)數(shù)據(jù)進行共被引分析(Cited Reference),生成國際人工智能倫理研究文獻(xiàn)共被引圖譜,如圖2 所示。圖中用圓圈表示文獻(xiàn)結(jié)點,結(jié)點大小表示文獻(xiàn)被引次數(shù)的多少,結(jié)點之間連線的顏色表示兩條文獻(xiàn)首次共被引的時間。結(jié)點采用年輪結(jié)構(gòu)的方式表示,顏色表示年份(對照圖形頂部時間條顏色),年輪的厚度表示該年被引頻次。外圍有深色圓圈包圍的結(jié)點表示高中介中心性文獻(xiàn),說明它們在不同人工智能倫理研究聚類之間起到了關(guān)鍵銜接結(jié)點的作用。

    圖2 人工智能倫理研究文獻(xiàn)共被引圖譜

    (1)高被引文獻(xiàn)分析

    具有較高被引頻次的文獻(xiàn)表示它們在人工智能倫理研究領(lǐng)域產(chǎn)生了重要而深遠(yuǎn)的影響,同時也體現(xiàn)了該研究領(lǐng)域的核心研究主題。表1 列出了該研究領(lǐng)域引用次數(shù)超過10 次的文獻(xiàn)。Bostrom N(2014)共被引頻次最高,為34 次,他指出人工智能提供了許多新的可能性,開辟了新的研究領(lǐng)域,也帶來了新的倫理問題。當(dāng)超級智能具備一系列超級認(rèn)知能力,而偏離我們控制它的意圖或能力時,可能給人類及人類社會帶來災(zāi)難性的后果,因此我們需要加強對人工智能人性建構(gòu)和倫理問題的研究[1]。

    Wallach W(2009)指出虛擬和物質(zhì)的人工代理所承擔(dān)的責(zé)任日益增長,因此需要開發(fā)更加復(fù)雜的解決方案,使其能夠作出道德決策。迄今為止存在的倫理系統(tǒng)或倫理學(xué)家開發(fā)的解決方案并未涉及人類與機器人的相互作用、機器人與其他生物體之間的接觸或者機器人之間的相互作用。人類作出道德決策的機制極端復(fù)雜,只在算法中提供具體的倫理規(guī)則是不夠的,應(yīng)該使其具備道德主體的能力,這使得人工智能或機器人的開發(fā)變得更加復(fù)雜[2]。 Anderson M(2011)指出機器倫理和傳統(tǒng)的計算機倫理的不同之處在于,它不是關(guān)注程序員或用戶的決策,而是關(guān)注于機器本身的道德決策能力,主要討論了機器倫理的本質(zhì)、機器倫理的重要性、機器倫理的哲學(xué)和現(xiàn)實、機器倫理方法和機器倫理愿景等五個方面的問題[3]。

    Bonnefon J F(2016)對自動駕駛汽車的社會困境進行了討論,指出定義有助于自動駕駛汽車作出道德決策的算法是一項艱巨的挑戰(zhàn)。目前沒有簡單的方法來設(shè)計能夠協(xié)調(diào)道德價值和個人自我利益的算法,更別說考慮不同文化對生活權(quán)衡的各種道德態(tài)度,但隨著這種對話的進展,公眾輿論和社會壓力可能會隨之發(fā)生改變。對于這些倫理問題,需要在智能產(chǎn)品進入全球市場前做出決策[4]。

    表1 人工智能倫理高引文獻(xiàn)

    Chalmers D J(2010)將產(chǎn)生超級智能的智能爆炸界定為奇點,協(xié)調(diào)這種奇點需要在機器中構(gòu)建合適的價值,并非常謹(jǐn)慎地在虛擬世界中構(gòu)建第一個AI 和AI+系統(tǒng)。對于我們?nèi)绾稳谌牒笃纥c世界,作者討論了兩種不同的方式:①通過逐步上載然后增強;②通過重建上載然后增強,這當(dāng)中同時涉及認(rèn)知增強和實用方面的問題[5]。

    Gunkel D J(2012)試圖在道德哲學(xué)中創(chuàng)造一個空間,以解決智能機械具有什么樣的道德主張,以及闡明和實踐相應(yīng)的道德規(guī)范意味著什么[6]。

    Lin P(2012)對關(guān)于機器倫理的跨學(xué)科和多視角問題進行了系統(tǒng)討論:機器人倫理的一般方法以及道德概念的基本術(shù)語定義;與具體技術(shù)應(yīng)用相關(guān)的道德倫理和方法以及機器人使用的未來場景;具有倫理重要性的領(lǐng)域以及研究和開發(fā)的技術(shù)趨勢;機器人倫理的主要形式[7]。

    O’neil C(2016)認(rèn)為算法不是中立的,人類的偏見和錯誤經(jīng)常被編碼到系統(tǒng)中,并細(xì)致地對招聘、警務(wù)、借貸、教育和醫(yī)療保健等各行業(yè)領(lǐng)域的數(shù)據(jù)實踐的具體案例、基于算法作出決策的程度進行了分析,結(jié)果發(fā)現(xiàn)這進一步剝奪了弱勢群體的權(quán)利,造成了社會的不平等。作者最后總結(jié)了一些具體的建議,為數(shù)學(xué)模型和大數(shù)據(jù)帶來更多的監(jiān)管、透明度和案例[8]。

    (2)突現(xiàn)引文分析

    突現(xiàn)引用是指一篇文獻(xiàn)在某段時間內(nèi)引用率突然上升或下降的現(xiàn)象,表示某一特定研究主題在一段時間內(nèi)突然變熱或變冷,能夠代表當(dāng)時的熱門研究主題或研究前沿。利用CiteSpace 軟件對人工智能倫理研究文獻(xiàn)進行共被引突發(fā)性分析,結(jié)果如表2 所示。Wallach W(2009)、Floridi L(2004)、Gunkel D J(2012)、Arkin R(2009)、Omohundro S M(2008)、Allen C(2006)、Johnson D G(2006)、Moor J H(2006)和Allen C(2005)等文獻(xiàn)的突發(fā)性較強,表明它們在人工智能倫理研究主題的轉(zhuǎn)向方面起到了比較關(guān)鍵的作用。

    2009 年到2012 年期間,Allen C(2005)、Allen C(2006)、Moor J H(2006)、Floridi L(2004)和Johnson D G(2006)等文獻(xiàn)引用量突現(xiàn)。這些文獻(xiàn)主要對機器倫理、道德代理和人工制品的道德價值與意義進行了初步探討。Allen C(2006)指出如果我們對人工智能道德代理的開發(fā)或管理能力有限,那么就需要將注意力從對自治系統(tǒng)的錯誤依賴轉(zhuǎn)移開。一些道德決策能夠在計算機系統(tǒng)中較為容易地實施,而模擬處理其他類型道德困境的技巧以我們目前的知識還很難實現(xiàn)[9]。Allen C(2005)指出人工道德學(xué)科的一個主要目標(biāo)是設(shè)計人工代理人,使其能夠像道德代理一樣。人工道德的中間目標(biāo)是建立人工智能系統(tǒng)對活動的價值觀、道德規(guī)范和合法性的敏感性[10]。

    Moor J H(2006)認(rèn)為需要就什么是機器倫理達(dá)成一致,才能夠確定機器倫理是否存在,而對這一問題的理解存在兩種完全不同的解釋:①人類是機器,人類有倫理,機器也有倫理;②倫理是一種情感的表達(dá),機器沒有情感,因而沒有倫理。作者認(rèn)為短時間之內(nèi)無法通過哲學(xué)論證或?qū)嵶C研究來解決這一問題,但能夠?qū)W⒂陂_發(fā)有限的、明確的倫理代理,而不是完全的倫理代理,幫助防止不道德的結(jié)果[11]。Floridi L(2004)指出人工智能擴展了可能涉及道德情境的實體類別,它們同時可以被視為道德受動者和行為者。論文圍繞網(wǎng)絡(luò)空間具有什么道德價值和道德責(zé)任兩個問題進行了探討。Johnson D G(2006)認(rèn)為計算機系統(tǒng)和人工制品是有意創(chuàng)建和部署的,因此它們具有道德特征,是人類道德行為的組成部分。當(dāng)人類使用人工制品時,他們的行為由人工制品的意圖性和功效構(gòu)成,而人工制品的意圖性和功效又是由其設(shè)計者的意圖和功效構(gòu)成。人工制品及其設(shè)計師和用戶在行動時都在工作,而這三個組成部分都應(yīng)該是道德評估的重點[12]。

    2013 年以后,Wallach W(2009)、Gunkel D J(2012)、Arkin R(2009)、Omohundro S M(2008)等文獻(xiàn)引用量突現(xiàn)。這一時期關(guān)于人工智能倫理方面的研究,更進一步深入到系統(tǒng)實現(xiàn)的具體架構(gòu)、智能道德系統(tǒng)的設(shè)計,重視利用經(jīng)典的哲學(xué)和倫理學(xué)理論分析人工智能技術(shù)的倫理問題。Arkin R(2009)指出許多機器人應(yīng)用程序沒有較好地考慮安全和倫理方面的問題,討論了如何構(gòu)建倫理機器人。作者介紹了在自動戰(zhàn)斗機器人中植入負(fù)責(zé)任的倫理決策的動機和理由,并提出了實現(xiàn)這一目標(biāo)的架構(gòu)[13]。 Omohundro S M(2008)認(rèn)為需要對智能系統(tǒng)進行精心設(shè)計,以防止它們以有害的方式運行。論文主要討論了如何將自我改善、經(jīng)濟效用、理性和自我保護等驅(qū)動因素融入到智能技術(shù)中,從而為人類帶來積極的未來[14]。 Wallach W(2009)認(rèn)為有必要開發(fā)更加復(fù)雜的解決方案,使人工實體能夠做出道德決策[2]。Gunkel D J(2012)綜合考慮了Levinasian 倫理學(xué)與Heideggarian 的本體論來思考事物或技術(shù)的作用,通過解決道德哲學(xué)的容受者/代理二元性,最終將機器排除在倫理考慮之外[6]。

    表2 人工智能倫理研究突現(xiàn)引文

    (3)高中心性引文分析

    人工智能倫理研究領(lǐng)域的高中介中心性文獻(xiàn)結(jié)點能夠起到銜接不同研究聚類的作用,它們在識別人工智能倫理研究聚類,促進人工智能倫理研究的知識交流中起到關(guān)鍵的銜接作用。如表3 所示,文獻(xiàn)Anderson M(2011)的中介中心性最高(0.31),指出機器倫理和傳統(tǒng)的計算機倫理的不同之處在于,它不是關(guān)注程序員或用戶的決策,而是關(guān)注機器本身的道德決策能力[3]。此外,Wallach W(2009)是較早討論與機器人技術(shù)發(fā)展相關(guān)的倫理問題的著作之一,指出虛擬和物質(zhì)的人工代理所承擔(dān)的責(zé)任日益增長,因此越來越有必要開發(fā)更加復(fù)雜的解決方案,使人工實體能夠做出道德決策[2]。

    表3 人工智能倫理研究高中介中心性文獻(xiàn)

    Armstrong S(2012)認(rèn)為人類智能并不代表人工智能能力的上限,超級智能系統(tǒng)將根據(jù)其可能存在缺陷的動機系統(tǒng)引導(dǎo)未來,這可能帶來嚴(yán)重的安全問題。論文分析和批判了各種控制人工智能的方法,認(rèn)為限制的人工智能要相對安全,但仍然存在潛在的風(fēng)險[15]。Bryson J J(2010)認(rèn)為機器人不應(yīng)該被描述為人,也不應(yīng)為其行為承擔(dān)法律或道德責(zé)任,機器人的智力和如何獲得他們的智力是由人來確定的。因此,機器人技術(shù)的潛力應(yīng)該被理解為擴展人類自己的能力和實現(xiàn)自己目標(biāo)的潛力。論文指出機器人人性化是一種錯誤,分析了這些錯誤的原因和后果,并提出了機器人如何融入社會的具體建議[16]。

    Bakshy E(2015)對社交媒體如何影響跨意識形態(tài)界限的觀點進行了探討,發(fā)現(xiàn)個人的選擇比算法排名在限制對交叉內(nèi)容的曝光方面發(fā)揮了更大的作用[17]。Cakmak M(2010)討論了主動學(xué)習(xí)應(yīng)用于人機交互環(huán)境時出現(xiàn)的一些問題,并提供了幾條指導(dǎo)方針,為人機(機器人)交互環(huán)境中使用主動學(xué)習(xí)的未來機器人系統(tǒng)的設(shè)計提供信息[18]。Chalmers D J(2010)將智能爆炸界定為奇點,協(xié)調(diào)這種奇點需要在機器中構(gòu)建合適的價值[5]。Bryson J(2012)認(rèn)為有意識的注意力并不是選擇立即行動,而是使用當(dāng)前任務(wù)將專門學(xué)習(xí)集中于行動選擇機制和預(yù)測模型,才可能影響有意識的代理的任務(wù)和環(huán)境突發(fā)事件。將這種系統(tǒng)構(gòu)建到機器智能中是完全可能的,除非智能系統(tǒng)需要學(xué)習(xí)并且在學(xué)習(xí)速度與相關(guān)環(huán)境變化速率方面存在資源限制,否則它不是絕對必要的[19]。

    通過對人工智能倫理近期高引用率、高突現(xiàn)率和高中介中心性文獻(xiàn)的研究和分析,可以挖掘出這一研究領(lǐng)域最有影響力、影響研究重要轉(zhuǎn)向以及銜接不同研究聚類的關(guān)鍵文獻(xiàn)結(jié)點。近年來,人們對人工智能系統(tǒng)可能帶來的倫理問題越來越關(guān)注,不再局限于科幻小說和影視作品中,而是已經(jīng)達(dá)到一種我們不能忽視的程度。目前學(xué)界存在兩種截然不同的觀點:一種認(rèn)為人工智能承擔(dān)了道德責(zé)任,作為一種智能道德代理理所當(dāng)然;另一種觀點將人工智能排除在倫理考慮之外,認(rèn)為它只是人類實現(xiàn)個人目的的工具或手段之一,因此更需要考慮人工智能系統(tǒng)設(shè)計者的道德因素。但隨著人工智能系統(tǒng)越來越復(fù)雜的自主控制,這些系統(tǒng)本身也應(yīng)該意識到其行為的倫理含義。一些學(xué)者認(rèn)為在復(fù)雜智能系統(tǒng)投入使用之前,需要將其倫理問題考慮清楚,他們從倫理學(xué)和哲學(xué)的視角對人工智能系統(tǒng)引入倫理原則進行了思考,提出了一些設(shè)計和執(zhí)行倫理系統(tǒng)的方法與策略,為人工智能領(lǐng)域的研究人員和商界人士制定相應(yīng)的規(guī)則和指導(dǎo)方針提供了一定的依據(jù)。

    2.3 重要作者分析

    使用CiteSpace 軟件對人工智能倫理研究的重要作者進行共被引分析,結(jié)果如圖3 所示,其中引用頻次最高的5 位作者分別是Wallach W(Freq=64)、Bostrom N(Freq=62)、Anderson M(Freq=54)、Floridi L(Freq=47)和Allen C(Freq=41)。Freq 是指作者共被引頻次,圖中圓圈大小表示作者共被引次數(shù)的多少,不同顏色代表不同年份的引用次數(shù)。較大的作者結(jié)點表示他們在該研究領(lǐng)域產(chǎn)生了重要的影響。Wallach W 對機器倫理、道德機器以及道德與意識、思想之間的關(guān)系進行了論述,并提出了人類及智能代理道德決策的概念和計算模型[20]。Bostrom N 從技術(shù)變革和人類未來演進的視角,關(guān)注了超級智能可能對人類社會帶來的影響、存在的風(fēng)險及其認(rèn)知中存在的倫理問題。Anderson M 主要對機器倫理進行了探討,認(rèn)為阿西莫夫的三個機器人定律無法作為機器倫理基礎(chǔ)。Floridi L 是著名的計算哲學(xué)和信息哲學(xué)家,曾經(jīng)提出了信息圈理論,成為信息倫理的重要理論基礎(chǔ),他的很多觀點對人工智能倫理研究產(chǎn)生了重要的影響。Allen C 主要對為什么需要研究機器倫理的原因進行了分析,對未來人工道德行為者的趨勢進行了展望,指出不能放棄人類的責(zé)任。

    從中介中心性和突發(fā)性來看(見圖3),被引作者中,突發(fā)性最強的5 位作者分別是Kahneman D(Burst=3.61)、Yudkowsky E(Burst=3.16)、Turkle S(Burst=3.02)、Danielson P(Burst=2.88)和Guarini M(Burst=2.75),說 明他們在人工智能倫理研究內(nèi)容和主題的轉(zhuǎn)換方面貢獻(xiàn)較大,在一定時期內(nèi)扮演了前沿研究者的角色。中介中心性最高的5 位作者分別是Asimov I(Centrality=0.2)、Allen C(Centrality=0.16)、Moor J H(Centrality=0.13)、Anderson M(Centrality=0.11)和Levy D(Centrality=0.11),說明他們在人工智能倫理研究的知識傳播過程中貢獻(xiàn)較大。

    圖3 人工智能倫理重要作者圖譜

    2.4 重要機構(gòu)分析

    使用CiteSpace 軟件對人工智能倫理研究機構(gòu)進行共現(xiàn)分析,結(jié)果如圖4 所示。影響較大的研究機構(gòu)包括牛津大學(xué)(University of Oxford)、哈佛大學(xué)(Harvard University)、代爾夫特理工大學(xué)(Delft University of Technology)、華盛頓大學(xué)(University of Washington)、英國開放大學(xué)(The Open University)和愛丁堡大學(xué)(The University of Edinburgh)。中介中心性最高的五個研究機構(gòu)分別為牛津大學(xué)(University of Oxford)、阿蘭圖靈機構(gòu)(Alan Turing Institute)、帕多瓦大學(xué)(University of Padua)、澳大利亞國立大學(xué)(The Australian National University)和愛丁堡大學(xué)(The University of Edinburgh),說明這些研究機構(gòu)在人工智能倫理研究主題的轉(zhuǎn)向和對前沿的把握方面最為有效。

    圖4 人工智能倫理重要研究機構(gòu)圖譜

    2.5 人工智能倫理期刊發(fā)文量與知識交流情況分析

    從發(fā)文量統(tǒng)計來看,Ethics and Information Technology和Minds and Machines的發(fā)文量最高,均為14 篇;Philosophical Transactions of the Royal Society a Mathematical Physical and Engineering Sciences的發(fā)文量排第三,為10 篇。這些期刊均被Web of Science 核心數(shù)據(jù)庫收錄,因此它們是國際人工智能倫理研究知識交流的重要載體。學(xué)術(shù)刊物之間的相互引用和共引關(guān)系可以表征這一研究領(lǐng)域和其他學(xué)科領(lǐng)域之間知識交流的水平和知識流動的狀況。使用CiteSpace 軟件進行期刊共被引分析,結(jié)果如圖5、表4 所示。從被引頻次來看,《科學(xué)》《思維與機器》《自然》《人工智能》和《IEEE 智能系統(tǒng)》等是過去十年間該研究領(lǐng)域的高被引期刊,被引頻次分別為89 次、68 次、68 次、66 次和57 次。從中介中心性來看,《科學(xué)》《思維與機器》《科學(xué)革命的結(jié)構(gòu)》《有線》和《科學(xué)美國人》等是過去十年間人工智能倫理研究領(lǐng)域的高中介中心性期刊,它們的中介中心性分別高達(dá)0.27、0.22、0.15、0.15 和0.13,說明它們在這一研究領(lǐng)域的知識流動過程中起到關(guān)鍵銜接結(jié)點的作用。根據(jù)文獻(xiàn)計量學(xué)理論,人工智能倫理研究文獻(xiàn)對其他學(xué)科期刊的引用,可以反映人工智能倫理主要從哪些其他學(xué)科獲得知識流量。期刊共被引分析表明,過去十年間人工智能倫理研究的知識流量,主要來自《科學(xué)》《自然》《行為與腦科學(xué)》《有線》《科學(xué)美國人》《Springer 計算機科學(xué)講義》和《科學(xué)革命的結(jié)構(gòu)》等其他學(xué)科期刊,這說明人工智能倫理研究的理論基礎(chǔ)主要來自于科學(xué)、心理學(xué)、科學(xué)革命和計算機等學(xué)科領(lǐng)域。

    圖5 人工智能倫理研究學(xué)術(shù)刊物共被引圖譜

    表4 人工智能倫理學(xué)術(shù)刊物共被引分析結(jié)果

    2.6 人工智能倫理研究關(guān)鍵詞共現(xiàn)圖譜

    對人工智能倫理研究的關(guān)鍵詞進行共現(xiàn)分析,可以揭示該研究領(lǐng)域歷年來研究內(nèi)容間的知識網(wǎng)絡(luò)關(guān)系,挖掘人工智能倫理研究領(lǐng)域的關(guān)鍵知識結(jié)點、知識結(jié)構(gòu)和熱門研究主題。因為關(guān)鍵詞實際上能大致說明一條文獻(xiàn)的主題,如果這些關(guān)鍵詞發(fā)生共現(xiàn)現(xiàn)象,說明它們的研究主題比較接近。首次出現(xiàn)共現(xiàn)的時間(參考圖像上方色條)表示這一研究主題興起的時間。如圖6、表5 所示,近年來人工智能倫理的熱門研究主題包括人工智能(artificial intelligence)、倫理(ethics)、機器人(robot)、機器倫理(machine ethics)和機器學(xué)習(xí)(machine learning)等。從中介中心性來看,最高的六個關(guān)鍵詞分別為人工智能、機器人、系統(tǒng)、倫理、機器倫理和看護(care)等,說明關(guān)于人工智能倫理研究的主要內(nèi)容是圍繞這些方面展開的。

    從共現(xiàn)發(fā)生的時間來看(參考圖像上方色條),人工智能、倫理、機器倫理、機器人和思維等主題發(fā)生共現(xiàn)的時間比較早,始于2009 年到2010 年期間,說明這一時期學(xué)界開始關(guān)注機器人和人工智能的倫理問題;2010 年到2015 年,代理、技術(shù)、心理健康、機器人、模型和前額葉皮層等主題受到關(guān)注,說明人工智能倫理研究在這一時期關(guān)注人工智能和機器人的道德代理和相關(guān)的認(rèn)知決策過程。2016 年以后,看護、法律、自動化系統(tǒng)、機器學(xué)習(xí)、規(guī)則、人權(quán)和福利等主題受到關(guān)注,說明近年來關(guān)于人工智能倫理的研究已經(jīng)開始轉(zhuǎn)向具體的行業(yè)領(lǐng)域,并對一些具體的現(xiàn)實問題進行哲學(xué)思考,或者探討相應(yīng)的倫理規(guī)則在人工智能領(lǐng)域的實現(xiàn)方式。

    表5 人工智能倫理關(guān)鍵詞分析結(jié)果

    圖6 人工智能倫理研究關(guān)鍵詞共現(xiàn)圖譜

    2.7 聚類分析

    在人工智能倫理研究文獻(xiàn)共被引分析的基礎(chǔ)上按關(guān)鍵詞進行聚類分析,生成聚類分析視圖如圖7 所示??梢?,形成的主要研究聚類有美德倫理(#0 virtue ethics)、心理健康(#1 mental health)、治理(#2 governance)、災(zāi)難性風(fēng)險(#3 catastrophic risk)、機器道德(#4 machine morality)、社會(#5 society)、系統(tǒng)映射研究(#6 systematic mapping study)、放射學(xué)(#7 radiology)、社會影響(#8 social impacts)和設(shè)計倫理(#9 design ethics)等10 個研究聚類,其中不同結(jié)點之間連線的顏色表示不同的時間分區(qū)(參考圖像上方色條顏色)。如圖所示,過去十年的研究聚類從時間上大致可以劃分為三個階段。早期,機器道德聚類共被引現(xiàn)象較為活躍,說明人工智能倫理的重要根源在于機器倫理學(xué),從機器倫理研究開始轉(zhuǎn)向智能機器倫理問題研究,逐漸形成了一個新的倫理研究方向。此后,心理健康和美德等聚類的文獻(xiàn)共被引現(xiàn)象比較活躍,說明隨著人工智能倫理研究的深入,已經(jīng)超出了機器倫理的范疇,進一步考慮人工智能對人類心智的模擬以及人類美德倫理在系統(tǒng)中的介入。在這一轉(zhuǎn)換過程中,文獻(xiàn)Wallach W(2009)和Anderson M(2011)等起到了銜接的關(guān)鍵結(jié)點作用。最近幾年,治理、災(zāi)難性風(fēng)險、社會、系統(tǒng)映射研究、放射學(xué)、社會影響、設(shè)計倫理等聚類的文獻(xiàn)之間共被引現(xiàn)象比較明顯,說明人工智能倫理已經(jīng)引起了各行業(yè)領(lǐng)域的廣泛關(guān)注,而且各行業(yè)開始重視人工智能應(yīng)用可能帶來的風(fēng)險和其他社會影響以及如何治理和設(shè)計實現(xiàn)。文獻(xiàn)Bryson J J(2010)、Armstrong S(2012)、Bakshy E(2015)和Cakmak M(2010)等起到了關(guān)鍵銜接結(jié)點作用。

    圖7 基于關(guān)鍵詞的聚類視圖

    圖8 聚類分析時間線視圖

    從聚類分析時間線視圖來看(圖8),美德倫理、心理健康、治理、災(zāi)難性風(fēng)險、機器道德、社會和系統(tǒng)映射研究等聚類的文獻(xiàn)發(fā)生的共被引現(xiàn)象比較密集。這幾個聚類還集中了影響力比較大、比較關(guān)鍵的一些結(jié)點,它們構(gòu)成了人工智能倫理研究的主要內(nèi)容、方法、技術(shù)和應(yīng)用等方面。機器道德和心理健康等聚類的文獻(xiàn)在早期共被引現(xiàn)象明顯,后有消退趨勢,說明它們在該研究領(lǐng)域起到了奠基的作用。最近興起的研究主題有治理、社會、放射學(xué)和設(shè)計倫理等研究聚類,說明隨著人工智能技術(shù)在各行業(yè)領(lǐng)域的廣泛應(yīng)用,其倫理問題日益受到關(guān)注,尤其是它可能產(chǎn)生的社會風(fēng)險及如何規(guī)避這些風(fēng)險,將是未來需要重點關(guān)注的方面。

    3 研究發(fā)現(xiàn)

    近年來,人們越來越關(guān)注人工智能在各行業(yè)領(lǐng)域的應(yīng)用會給人類社會帶來何種影響,尤其是如何處理人工智能技術(shù)應(yīng)用可能帶來的新的倫理問題。本文使用CiteSapce軟件對國際上人工智能倫理研究數(shù)據(jù)進行文獻(xiàn)共引和共被引分析,挖掘出這一研究領(lǐng)域的重要文獻(xiàn)結(jié)點,同時繪制國際人工智能倫理研究知識圖譜,揭示其研究的起源、發(fā)展脈絡(luò)和未來趨勢。

    3.1 人工智能倫理研究起源

    關(guān)于人工智能倫理的考慮最開始出自早期的科幻小說和電影中。阿西莫夫在上世紀(jì)中葉提出的機器人三大法則,就已經(jīng)將人工智能的倫理道德作為一個重要的問題進行考慮。當(dāng)然這些文學(xué)或影視作品只是對未來社會的一種預(yù)想,隨著人工智能的進步,關(guān)于倫理方面的考慮已經(jīng)不能再停留于假想階段,而是日益與我們的社會生活密切相關(guān)。大量的科學(xué)家、哲學(xué)家和商界領(lǐng)袖都對人工智能可能對社會產(chǎn)生的重要影響和潛在危險表示了擔(dān)憂,也開始倡導(dǎo)在這些人工智能產(chǎn)品進入我們生活之前,需要先把倫理這一永恒的問題考慮清楚。一大批學(xué)者在機器倫理、設(shè)計倫理、信息技術(shù)倫理和計算哲學(xué)等基礎(chǔ)上,開始探討人工智能倫理的本質(zhì)以及需要解決的一些問題,形成了一個新的倫理學(xué)研究方向。這方面的研究對于我們未來進一步開發(fā)和應(yīng)用更復(fù)雜的人工智能系統(tǒng),并降低它可能帶來的負(fù)面影響是極其重要的。

    3.2 人工智能倫理研究發(fā)展脈絡(luò)

    本世紀(jì)以來,由于人工智能技術(shù)在各行業(yè)領(lǐng)域的應(yīng)用,關(guān)于人工智能的倫理問題已經(jīng)不再是一個虛幻的想象,而是我們切實面臨的一個亟待解決的現(xiàn)實問題。最初,人工智能和機器人技術(shù)在工程制造領(lǐng)域得到應(yīng)用。它們主要是由人類指導(dǎo)員預(yù)編程,然后按照程序員的意圖輔助人類進行工作。這種早期的人工智能雖然具備了一些自動化特征,但并不是一種獨立自主的存在,因此對它們的倫理考慮,主要還是在機器倫理的范疇之內(nèi),比如用機器代替人類工作是否改變了人與機器之間的關(guān)系,這可能給各行業(yè)內(nèi)的雇傭關(guān)系以及整個人類社會帶來什么樣的影響。近年來,隨著人工智能系統(tǒng)越來越復(fù)雜的自主控制,這些系統(tǒng)本身也應(yīng)該意識到其行為的倫理含義。一些學(xué)者認(rèn)為在復(fù)雜智能系統(tǒng)投入使用之前,需要將其倫理問題考慮清楚,即應(yīng)該在人工智能系統(tǒng)中引入倫理原則和規(guī)則,構(gòu)建人工智能道德代理,讓它們能夠根據(jù)對外在環(huán)境信息的判斷,作出類似于人類的倫理決策。因此,人們越來越認(rèn)識到人工智能的自主決策不能僅局限于其最初設(shè)計的工作服務(wù)目標(biāo),還需要能夠?qū)ψ晕业臎Q策、行為和后果進行判斷,使自己的行為符合人類利益的最大化。但這一過程又引發(fā)出一些新的倫理問題。人工智能能夠根據(jù)預(yù)先設(shè)計的智能道德代理進行倫理決策,但它的智能道德代理的規(guī)則與算法是由其設(shè)計者、程序員定制的,而不是自主建構(gòu)的,在各方利益沖突的情況下它應(yīng)該優(yōu)先服務(wù)于誰的利益,設(shè)計者、客戶還是對整個人類利益的綜合考慮?如果對這些問題不考慮清楚就直接將人工智能技術(shù)投入應(yīng)用,可能帶來嚴(yán)重的社會問題。

    3.3 人工智能倫理研究未來發(fā)展趨勢

    從國際上人工智能倫理研究的知識圖譜來看,關(guān)于人工智能倫理的研究才剛起步??梢灶A(yù)見的是,人工智能將在未來的一段時間內(nèi)在各行業(yè)領(lǐng)域得到更廣泛更深入的應(yīng)用,而且人工智能系統(tǒng)本身也將越來越個性化、自主化,因此將引發(fā)出更多更加復(fù)雜的倫理問題。雖然,目前關(guān)于人工智能倫理在哲學(xué)思想、設(shè)計和智能道德代理方面有過一些思考,但同時還有一些非常重要的問題需要更深入的探討。首先,人工智能應(yīng)用可能引發(fā)的高度智能化工作和相應(yīng)的技術(shù)風(fēng)險等社會問題,會隨著它的廣泛應(yīng)用而逐漸凸顯出來。比如由于工作被人工智能取代而引發(fā)的失業(yè)和人類勞動價值喪失,人類的勞動技能及其相關(guān)的知識、體驗、推理和決策等方面能力的降低,是否會導(dǎo)致人類的退步,這是需要我們進行哲學(xué)反思的一個重要的問題。其次,隨著人工智能的自主化程度越來越高,我們需要思考人工智能道德代理的設(shè)計與實現(xiàn)問題,比如應(yīng)該給人工智能賦予什么樣的倫理準(zhǔn)則,如何讓其獲得類似于人類的倫理推理和倫理決策能力。這涉及形式邏輯、數(shù)學(xué)推理、規(guī)則庫和機器學(xué)習(xí)等方法在倫理判斷和倫理決策中的應(yīng)用。最后,人工智能目前還沒有自我意識,因此它的行為與決策所遵循的倫理規(guī)則仍然是人類賦予的,是為人類利益服務(wù)的。但如果有一天人工智能具備了自我意識,必然也會滋生人類的欲望和弱點。當(dāng)它們所遵循的倫理規(guī)則不再是為人類利益服務(wù)而是為自身利益服務(wù)時,人類將如何避免和應(yīng)對此類事情的發(fā)生,也是需要我們認(rèn)真考慮的一個重要問題。而另一方面,人工智能作為道德行為者的同時,也將扮演道德容受者的角色,人類應(yīng)該如何對待人工智能系統(tǒng)也是一個需要細(xì)致考慮的問題。

    (來稿時間:2019 年9 月)

    猜你喜歡
    機器倫理道德
    《心之死》的趣味與倫理焦慮
    機器狗
    機器狗
    頭上的星空與心中的道德律
    十幾歲(2021年24期)2021-11-18 02:18:40
    護生眼中的倫理修養(yǎng)
    活力(2019年19期)2020-01-06 07:37:00
    跟蹤導(dǎo)練(五)(2)
    道德是否必需?——《海狼》對道德虛無主義的思考
    未來機器城
    電影(2018年8期)2018-09-21 08:00:06
    無敵機器蛛
    用道德驅(qū)散“新聞霧霾”
    新聞前哨(2015年2期)2015-03-11 19:29:31
    尾随美女入室| 色精品久久人妻99蜜桃| 精品少妇黑人巨大在线播放| 国产免费又黄又爽又色| 久久久国产欧美日韩av| av线在线观看网站| 热re99久久国产66热| 国产爽快片一区二区三区| 久久 成人 亚洲| 中文精品一卡2卡3卡4更新| 这个男人来自地球电影免费观看 | 国产亚洲欧美精品永久| 桃花免费在线播放| 成人国产av品久久久| svipshipincom国产片| 自拍欧美九色日韩亚洲蝌蚪91| 多毛熟女@视频| 9191精品国产免费久久| 无遮挡黄片免费观看| 五月开心婷婷网| 黄片无遮挡物在线观看| 精品第一国产精品| 国产又色又爽无遮挡免| 久久久国产精品麻豆| 中文欧美无线码| 成人影院久久| 黄网站色视频无遮挡免费观看| 午夜福利一区二区在线看| 欧美日韩亚洲综合一区二区三区_| av有码第一页| 制服人妻中文乱码| 满18在线观看网站| 天堂中文最新版在线下载| 免费人妻精品一区二区三区视频| 国产欧美日韩综合在线一区二区| 亚洲一卡2卡3卡4卡5卡精品中文| 欧美日韩亚洲国产一区二区在线观看 | 亚洲成国产人片在线观看| 亚洲综合色网址| 欧美日韩视频高清一区二区三区二| 少妇猛男粗大的猛烈进出视频| 亚洲自偷自拍图片 自拍| 中文字幕高清在线视频| 啦啦啦视频在线资源免费观看| 精品久久久精品久久久| 丝袜喷水一区| 男女免费视频国产| 男女边吃奶边做爰视频| 日韩中文字幕欧美一区二区 | 中文天堂在线官网| www.精华液| 国产精品嫩草影院av在线观看| 天天躁狠狠躁夜夜躁狠狠躁| 男的添女的下面高潮视频| 久久久国产一区二区| www日本在线高清视频| 一个人免费看片子| 男女边摸边吃奶| 男女边吃奶边做爰视频| 丰满饥渴人妻一区二区三| 黄片小视频在线播放| 免费高清在线观看视频在线观看| 青青草视频在线视频观看| 国产亚洲一区二区精品| 成人免费观看视频高清| 可以免费在线观看a视频的电影网站 | 午夜免费观看性视频| 欧美精品一区二区大全| 伦理电影免费视频| 妹子高潮喷水视频| 深夜精品福利| 少妇人妻 视频| 大片免费播放器 马上看| 亚洲国产精品国产精品| 国产精品av久久久久免费| 亚洲一级一片aⅴ在线观看| 超碰成人久久| 久久久精品免费免费高清| 久久久久久久久久久久大奶| 综合色丁香网| 亚洲精品国产av蜜桃| www.av在线官网国产| 久久精品久久久久久噜噜老黄| 一二三四中文在线观看免费高清| 国产日韩欧美亚洲二区| 久久精品国产亚洲av高清一级| 国产一区亚洲一区在线观看| 久久人人爽人人片av| 亚洲精品中文字幕在线视频| 搡老岳熟女国产| 大话2 男鬼变身卡| 制服人妻中文乱码| 999精品在线视频| 十八禁网站网址无遮挡| 日韩大片免费观看网站| 狂野欧美激情性bbbbbb| 欧美日本中文国产一区发布| e午夜精品久久久久久久| 我要看黄色一级片免费的| 国产精品麻豆人妻色哟哟久久| 51午夜福利影视在线观看| 777米奇影视久久| 下体分泌物呈黄色| 亚洲精品美女久久av网站| 日韩不卡一区二区三区视频在线| 国产精品久久久久成人av| 国产xxxxx性猛交| 母亲3免费完整高清在线观看| 国产精品 欧美亚洲| 国产亚洲av高清不卡| 欧美激情 高清一区二区三区| 一区在线观看完整版| 男男h啪啪无遮挡| 一个人免费看片子| 免费高清在线观看视频在线观看| 精品卡一卡二卡四卡免费| 亚洲成人免费av在线播放| 欧美xxⅹ黑人| 看免费av毛片| 少妇精品久久久久久久| 日韩av在线免费看完整版不卡| 亚洲国产精品一区三区| 欧美 日韩 精品 国产| 波野结衣二区三区在线| 欧美国产精品一级二级三级| 国产精品蜜桃在线观看| 51午夜福利影视在线观看| 欧美国产精品一级二级三级| 国产精品蜜桃在线观看| 国产福利在线免费观看视频| 人人妻人人添人人爽欧美一区卜| 无遮挡黄片免费观看| 伊人亚洲综合成人网| 亚洲国产精品一区三区| 精品亚洲成a人片在线观看| 亚洲国产精品一区二区三区在线| 欧美另类一区| 国产深夜福利视频在线观看| 纵有疾风起免费观看全集完整版| 久久久久人妻精品一区果冻| 中文字幕亚洲精品专区| 人成视频在线观看免费观看| 日韩成人av中文字幕在线观看| 久久精品国产a三级三级三级| 欧美xxⅹ黑人| 日本爱情动作片www.在线观看| 亚洲国产成人一精品久久久| 肉色欧美久久久久久久蜜桃| 黑人欧美特级aaaaaa片| 黄频高清免费视频| 男女边吃奶边做爰视频| 亚洲av在线观看美女高潮| 欧美xxⅹ黑人| 国产成人av激情在线播放| www.自偷自拍.com| a级毛片在线看网站| 精品少妇久久久久久888优播| 精品亚洲乱码少妇综合久久| 免费高清在线观看视频在线观看| 美国免费a级毛片| 欧美国产精品va在线观看不卡| 亚洲国产精品国产精品| 亚洲一码二码三码区别大吗| 国产av国产精品国产| 亚洲三区欧美一区| 精品一品国产午夜福利视频| 只有这里有精品99| 9色porny在线观看| 18禁动态无遮挡网站| 男女之事视频高清在线观看 | 搡老乐熟女国产| 女的被弄到高潮叫床怎么办| 国产精品久久久久久人妻精品电影 | 97在线人人人人妻| 久久99精品国语久久久| 国产精品久久久久成人av| 免费看不卡的av| 欧美日韩福利视频一区二区| 777久久人妻少妇嫩草av网站| 99国产精品免费福利视频| 美女主播在线视频| 国产av国产精品国产| 91精品伊人久久大香线蕉| 成人三级做爰电影| 亚洲综合精品二区| 纯流量卡能插随身wifi吗| 亚洲av日韩精品久久久久久密 | 99国产精品免费福利视频| 色精品久久人妻99蜜桃| 免费av中文字幕在线| 亚洲精品日本国产第一区| 伊人久久国产一区二区| 精品酒店卫生间| 伊人亚洲综合成人网| 国产男人的电影天堂91| 欧美日韩av久久| 国产精品久久久久久久久免| 大香蕉久久网| 美女主播在线视频| 免费av中文字幕在线| 国产精品一二三区在线看| 日韩欧美一区视频在线观看| 最近最新中文字幕大全免费视频 | 欧美人与性动交α欧美精品济南到| 90打野战视频偷拍视频| 男女床上黄色一级片免费看| 亚洲精品aⅴ在线观看| 国产成人啪精品午夜网站| 久久久久网色| 成年动漫av网址| 男女下面插进去视频免费观看| 日韩不卡一区二区三区视频在线| 久久青草综合色| 一区二区三区乱码不卡18| 欧美亚洲日本最大视频资源| 国产精品久久久人人做人人爽| 免费观看人在逋| 桃花免费在线播放| 99久久99久久久精品蜜桃| 丝袜在线中文字幕| 尾随美女入室| 亚洲一区二区三区欧美精品| 熟女少妇亚洲综合色aaa.| 日韩免费高清中文字幕av| 久久久久久人妻| 天天添夜夜摸| 最近最新中文字幕免费大全7| 精品国产超薄肉色丝袜足j| 最近中文字幕2019免费版| 国产视频首页在线观看| 美女午夜性视频免费| 少妇被粗大猛烈的视频| 黄色视频在线播放观看不卡| 精品国产乱码久久久久久男人| 精品第一国产精品| 精品人妻在线不人妻| 精品一区二区免费观看| 亚洲国产成人一精品久久久| 青草久久国产| 在线免费观看不下载黄p国产| 最近中文字幕2019免费版| 天堂8中文在线网| 男人添女人高潮全过程视频| 免费不卡黄色视频| 女的被弄到高潮叫床怎么办| 成人手机av| 亚洲一区中文字幕在线| 亚洲中文av在线| 制服人妻中文乱码| 成人午夜精彩视频在线观看| 可以免费在线观看a视频的电影网站 | 国产成人精品久久久久久| 午夜免费鲁丝| 午夜免费观看性视频| 日日撸夜夜添| 久久久久久久大尺度免费视频| 日韩av不卡免费在线播放| 欧美乱码精品一区二区三区| 岛国毛片在线播放| 观看美女的网站| 日韩一区二区视频免费看| 亚洲国产av影院在线观看| 在线观看www视频免费| 国产成人精品久久久久久| 少妇猛男粗大的猛烈进出视频| 国产一卡二卡三卡精品 | 亚洲av在线观看美女高潮| 国产黄频视频在线观看| 亚洲综合精品二区| 国产一级毛片在线| 久久久国产精品麻豆| 国产福利在线免费观看视频| 亚洲综合色网址| 五月天丁香电影| 欧美97在线视频| 精品福利永久在线观看| 伦理电影免费视频| 婷婷色av中文字幕| 老汉色av国产亚洲站长工具| 中文字幕人妻熟女乱码| av卡一久久| 黑人巨大精品欧美一区二区蜜桃| 精品国产乱码久久久久久男人| 国产成人啪精品午夜网站| 成年av动漫网址| 欧美激情高清一区二区三区 | 日韩电影二区| 自拍欧美九色日韩亚洲蝌蚪91| 国产在线一区二区三区精| 久久精品亚洲av国产电影网| 亚洲人成电影观看| 久久精品国产综合久久久| 久久久久精品人妻al黑| 久久人人爽av亚洲精品天堂| 亚洲国产看品久久| 亚洲综合色网址| videos熟女内射| 成人国产麻豆网| 免费看av在线观看网站| 最新的欧美精品一区二区| 欧美国产精品va在线观看不卡| 亚洲人成77777在线视频| 国产精品女同一区二区软件| 免费在线观看完整版高清| 亚洲欧洲日产国产| 久久久精品免费免费高清| 精品一区二区免费观看| 精品亚洲乱码少妇综合久久| 精品久久久久久电影网| 黑人巨大精品欧美一区二区蜜桃| 日本色播在线视频| 超碰97精品在线观看| 麻豆av在线久日| 曰老女人黄片| 欧美日韩综合久久久久久| 色视频在线一区二区三区| 久久毛片免费看一区二区三区| 一级片'在线观看视频| videos熟女内射| 国产一区二区在线观看av| 三上悠亚av全集在线观看| 国产精品成人在线| 婷婷色av中文字幕| 日本午夜av视频| 一二三四在线观看免费中文在| 一区二区日韩欧美中文字幕| 美女大奶头黄色视频| 国产成人啪精品午夜网站| 国产一区有黄有色的免费视频| 日韩一卡2卡3卡4卡2021年| 晚上一个人看的免费电影| 只有这里有精品99| 欧美精品亚洲一区二区| 中文字幕人妻丝袜一区二区 | 久久精品国产亚洲av高清一级| 中文欧美无线码| 久久97久久精品| 久久鲁丝午夜福利片| 国产精品秋霞免费鲁丝片| 久久久久久免费高清国产稀缺| 日韩一本色道免费dvd| 曰老女人黄片| 久久天躁狠狠躁夜夜2o2o | 天天影视国产精品| 亚洲成国产人片在线观看| 十八禁高潮呻吟视频| 欧美人与性动交α欧美精品济南到| 韩国高清视频一区二区三区| 制服诱惑二区| 久久久久久人人人人人| 亚洲天堂av无毛| 亚洲精品国产区一区二| 久久性视频一级片| 如何舔出高潮| 人人妻人人澡人人看| 亚洲国产欧美日韩在线播放| 欧美人与性动交α欧美精品济南到| 亚洲av综合色区一区| 免费人妻精品一区二区三区视频| 亚洲精品国产区一区二| 日韩伦理黄色片| 久久久久久人人人人人| 亚洲av成人精品一二三区| 三上悠亚av全集在线观看| 少妇被粗大猛烈的视频| 亚洲av在线观看美女高潮| 午夜老司机福利片| 精品人妻一区二区三区麻豆| 精品久久蜜臀av无| 一区二区日韩欧美中文字幕| av天堂久久9| 久久亚洲国产成人精品v| 成人18禁高潮啪啪吃奶动态图| 另类亚洲欧美激情| 国产视频首页在线观看| 亚洲成av片中文字幕在线观看| 久久综合国产亚洲精品| 国产在线免费精品| 欧美日韩国产mv在线观看视频| 免费高清在线观看日韩| 欧美人与性动交α欧美软件| 高清黄色对白视频在线免费看| 老司机亚洲免费影院| 男女之事视频高清在线观看 | 超碰97精品在线观看| 香蕉国产在线看| 黄色 视频免费看| 观看av在线不卡| 三上悠亚av全集在线观看| 操出白浆在线播放| 极品少妇高潮喷水抽搐| 又粗又硬又长又爽又黄的视频| 国产精品香港三级国产av潘金莲 | 精品少妇一区二区三区视频日本电影 | 中国三级夫妇交换| 国产精品香港三级国产av潘金莲 | 欧美成人午夜精品| 日本午夜av视频| 狠狠精品人妻久久久久久综合| 精品国产乱码久久久久久小说| 国产爽快片一区二区三区| 菩萨蛮人人尽说江南好唐韦庄| 国产亚洲精品第一综合不卡| 一边亲一边摸免费视频| 宅男免费午夜| 日日爽夜夜爽网站| 99国产综合亚洲精品| 亚洲四区av| 亚洲av欧美aⅴ国产| 亚洲五月色婷婷综合| 国产精品国产三级专区第一集| 久久久久久免费高清国产稀缺| 欧美人与性动交α欧美精品济南到| 亚洲国产成人一精品久久久| 一级毛片 在线播放| 丝袜喷水一区| 黑人猛操日本美女一级片| 国产精品国产av在线观看| 久久热在线av| 岛国毛片在线播放| 夜夜骑夜夜射夜夜干| 亚洲av日韩在线播放| 老司机亚洲免费影院| 日韩一本色道免费dvd| 久久久精品区二区三区| 人人妻人人澡人人看| 日本91视频免费播放| 久久久久久免费高清国产稀缺| 又大又爽又粗| 三上悠亚av全集在线观看| 亚洲av在线观看美女高潮| 亚洲婷婷狠狠爱综合网| 欧美日韩一区二区视频在线观看视频在线| 老司机在亚洲福利影院| 男女免费视频国产| 侵犯人妻中文字幕一二三四区| 91国产中文字幕| 中文字幕制服av| 菩萨蛮人人尽说江南好唐韦庄| 国产成人系列免费观看| 亚洲欧美一区二区三区黑人| 老司机在亚洲福利影院| 制服诱惑二区| 涩涩av久久男人的天堂| 黑人猛操日本美女一级片| 男女床上黄色一级片免费看| 精品卡一卡二卡四卡免费| 欧美xxⅹ黑人| 日韩中文字幕欧美一区二区 | 高清av免费在线| 午夜福利乱码中文字幕| 欧美精品av麻豆av| 美女高潮到喷水免费观看| 9191精品国产免费久久| 午夜福利网站1000一区二区三区| 黄网站色视频无遮挡免费观看| 看非洲黑人一级黄片| 日本91视频免费播放| 国产精品三级大全| 不卡视频在线观看欧美| 一本大道久久a久久精品| 国产精品 国内视频| 免费看av在线观看网站| 国产成人免费观看mmmm| 两个人免费观看高清视频| 天美传媒精品一区二区| 一级毛片黄色毛片免费观看视频| 侵犯人妻中文字幕一二三四区| 欧美人与性动交α欧美精品济南到| 十八禁高潮呻吟视频| 国产男女内射视频| 亚洲精品美女久久av网站| 美国免费a级毛片| 伊人亚洲综合成人网| 国产精品99久久99久久久不卡 | 亚洲伊人色综图| 国产精品秋霞免费鲁丝片| 国产亚洲一区二区精品| 色婷婷av一区二区三区视频| 一级爰片在线观看| 久久人人爽av亚洲精品天堂| 精品国产一区二区三区久久久樱花| 曰老女人黄片| 婷婷色综合大香蕉| 欧美av亚洲av综合av国产av | 国产免费现黄频在线看| a级毛片黄视频| 纵有疾风起免费观看全集完整版| 又黄又粗又硬又大视频| 亚洲精品第二区| 不卡视频在线观看欧美| 久久影院123| 午夜福利乱码中文字幕| 777米奇影视久久| 欧美精品高潮呻吟av久久| 操美女的视频在线观看| 伊人久久国产一区二区| 精品一区二区三区四区五区乱码 | 一区二区三区四区激情视频| 精品人妻熟女毛片av久久网站| 国产成人av激情在线播放| 一本一本久久a久久精品综合妖精| 男女高潮啪啪啪动态图| 久久精品aⅴ一区二区三区四区| 欧美中文综合在线视频| 精品视频人人做人人爽| 亚洲精品国产一区二区精华液| 日韩视频在线欧美| 精品久久蜜臀av无| 欧美在线黄色| 777米奇影视久久| 亚洲国产看品久久| 国产精品 欧美亚洲| 国产精品国产av在线观看| 久久 成人 亚洲| 精品福利永久在线观看| 久久久久久人人人人人| 2018国产大陆天天弄谢| 国产在线免费精品| 黄色视频在线播放观看不卡| 成人国产麻豆网| 久久精品aⅴ一区二区三区四区| 日日爽夜夜爽网站| 肉色欧美久久久久久久蜜桃| 超碰97精品在线观看| 国产成人欧美在线观看 | 国产福利在线免费观看视频| 欧美亚洲日本最大视频资源| 国产男人的电影天堂91| 啦啦啦 在线观看视频| 美女国产高潮福利片在线看| 中文字幕人妻熟女乱码| h视频一区二区三区| 国精品久久久久久国模美| 欧美在线一区亚洲| 亚洲精品国产区一区二| 色婷婷av一区二区三区视频| 亚洲成人国产一区在线观看 | 极品少妇高潮喷水抽搐| 亚洲国产精品一区三区| 狠狠婷婷综合久久久久久88av| 天堂俺去俺来也www色官网| 中国三级夫妇交换| 久久精品国产亚洲av涩爱| 老司机亚洲免费影院| 99香蕉大伊视频| 午夜福利乱码中文字幕| 亚洲国产欧美网| 又大又爽又粗| av在线app专区| 国产精品女同一区二区软件| 亚洲欧美精品自产自拍| 女人被躁到高潮嗷嗷叫费观| 欧美中文综合在线视频| 国产精品一区二区在线观看99| 97精品久久久久久久久久精品| 性少妇av在线| 深夜精品福利| 国产老妇伦熟女老妇高清| 观看av在线不卡| 午夜免费观看性视频| 国产免费一区二区三区四区乱码| 日韩大码丰满熟妇| videos熟女内射| 我的亚洲天堂| 欧美精品一区二区大全| 乱人伦中国视频| 国产一区二区 视频在线| 99国产综合亚洲精品| 国产乱来视频区| 日韩中文字幕视频在线看片| 国产一区二区三区综合在线观看| 在线看a的网站| 中文字幕亚洲精品专区| 国产片内射在线| 日本黄色日本黄色录像| 美女福利国产在线| 亚洲国产精品999| 欧美xxⅹ黑人| 欧美人与性动交α欧美软件| 在线看a的网站| 久久久久精品性色| 哪个播放器可以免费观看大片| 涩涩av久久男人的天堂| 亚洲精品国产色婷婷电影| 蜜桃在线观看..| 久久久久久久久免费视频了| 亚洲第一青青草原| 一区二区三区四区激情视频| 欧美日韩一区二区视频在线观看视频在线| 久久久久国产精品人妻一区二区| 哪个播放器可以免费观看大片| 亚洲国产成人一精品久久久| 一级毛片 在线播放| 午夜免费观看性视频| av在线播放精品| 欧美日韩一区二区视频在线观看视频在线| 婷婷色综合www| 国产女主播在线喷水免费视频网站| 日本欧美国产在线视频| av网站免费在线观看视频| 青春草国产在线视频| 69精品国产乱码久久久| 嫩草影视91久久| 国产精品人妻久久久影院| 精品人妻在线不人妻| 99九九在线精品视频| 日本av免费视频播放| 一区二区日韩欧美中文字幕| 午夜福利影视在线免费观看| 看非洲黑人一级黄片| 国产淫语在线视频| 午夜日韩欧美国产| 国产精品一国产av| 久久久精品免费免费高清|