• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    國際人工智能倫理研究現(xiàn)狀與發(fā)展趨勢*

    2020-02-08 03:50:54汪玉蘭鄧國民
    圖書館 2020年1期
    關(guān)鍵詞:機器倫理道德

    汪玉蘭 鄧國民

    (1. 南京大學(xué)哲學(xué)系 南京 210023;2. 貴陽學(xué)院教育科學(xué)學(xué)院 貴陽 550005)

    隨著人工智能技術(shù)應(yīng)用的深入,可能引發(fā)的新的倫理問題和困境受到國內(nèi)外業(yè)界人士和重要機構(gòu)的重視。微軟、百度和騰訊等國內(nèi)外大公司都對人工智能倫理表現(xiàn)出急切的關(guān)注。歐盟委員會于2019 年4 月8 日發(fā)布了“值得信賴的人工智能倫理準(zhǔn)則”。人民日報于2019 年7 月12 日刊發(fā)整版文章對人工智能倫理進行了探討??梢?,人工智能倫理研究已經(jīng)迫在眉睫。研究國際重要學(xué)術(shù)刊物發(fā)表的人工智能倫理研究知識圖譜、發(fā)展現(xiàn)狀和未來發(fā)展趨勢,對于我們進行人工智能倫理研究具有較大的啟示意義。

    1 研究方法

    本文設(shè)置檢索式為“TS=(artificial intelligence OR AI)AND TS=(ethic* OR moral)”,從Web of Science 核心數(shù)據(jù)庫中檢索到人工智能倫理研究文獻(xiàn)389 條,作為知識圖譜分析的數(shù)據(jù)基礎(chǔ)。我們使用CiteSpace 軟件對國際人工智能倫理研究文獻(xiàn)進行知識圖譜分析,并綜合應(yīng)用文獻(xiàn)計量學(xué)和內(nèi)容分析方法,揭示人工智能倫理研究領(lǐng)域的研究起源、發(fā)展脈絡(luò)和未來趨勢。首先,使用文獻(xiàn)計量學(xué)和內(nèi)容分析方法,揭示國際人工智能倫理研究文獻(xiàn)的年度、期刊和學(xué)術(shù)機構(gòu)整體分布情況。然后,使用CiteSpace 軟件對人工智能倫理研究文獻(xiàn)數(shù)據(jù)進行引文空間的可視化分析,揭示文獻(xiàn)、作者和刊物的共被引關(guān)系以及機構(gòu)和關(guān)鍵詞的共現(xiàn)關(guān)系。第三,在文獻(xiàn)共被引分析的基礎(chǔ)上,繪制國際人工智能倫理研究文獻(xiàn)的共被引聚類圖譜,揭示國際人工智能倫理研究領(lǐng)域的主要研究聚類、關(guān)鍵結(jié)點和時間演化過程。

    圖1 人工智能倫理研究歷年出版文獻(xiàn)數(shù)及引文數(shù)

    2 人工智能倫理研究文獻(xiàn)知識圖譜分析

    2.1 人工智能倫理研究文獻(xiàn)年度分布

    近三十年以來,國際上人工智能倫理研究每年出版的文獻(xiàn)數(shù)和引文數(shù)均穩(wěn)步上升。如圖1 所示,2005 年以前,國際上關(guān)于人工智能倫理研究的文獻(xiàn)數(shù)和引文數(shù)都相對較少,之后每年出版的相關(guān)文獻(xiàn)數(shù)和引文數(shù)都以較快的速度增長,2012 年出版文獻(xiàn)數(shù)開始超過10 篇,被引頻次超過100 次。2014 年以后,每年引文數(shù)都超過200 次,2018 年達(dá)到500 次。這說明近年來學(xué)界對人工智能倫理研究的關(guān)注度急劇上升,最近兩年達(dá)到高潮。

    2.2 有影響的文獻(xiàn)

    利用CiteSpace 軟件對檢索到的389 條人工智能倫理研究文獻(xiàn)數(shù)據(jù)進行共被引分析(Cited Reference),生成國際人工智能倫理研究文獻(xiàn)共被引圖譜,如圖2 所示。圖中用圓圈表示文獻(xiàn)結(jié)點,結(jié)點大小表示文獻(xiàn)被引次數(shù)的多少,結(jié)點之間連線的顏色表示兩條文獻(xiàn)首次共被引的時間。結(jié)點采用年輪結(jié)構(gòu)的方式表示,顏色表示年份(對照圖形頂部時間條顏色),年輪的厚度表示該年被引頻次。外圍有深色圓圈包圍的結(jié)點表示高中介中心性文獻(xiàn),說明它們在不同人工智能倫理研究聚類之間起到了關(guān)鍵銜接結(jié)點的作用。

    圖2 人工智能倫理研究文獻(xiàn)共被引圖譜

    (1)高被引文獻(xiàn)分析

    具有較高被引頻次的文獻(xiàn)表示它們在人工智能倫理研究領(lǐng)域產(chǎn)生了重要而深遠(yuǎn)的影響,同時也體現(xiàn)了該研究領(lǐng)域的核心研究主題。表1 列出了該研究領(lǐng)域引用次數(shù)超過10 次的文獻(xiàn)。Bostrom N(2014)共被引頻次最高,為34 次,他指出人工智能提供了許多新的可能性,開辟了新的研究領(lǐng)域,也帶來了新的倫理問題。當(dāng)超級智能具備一系列超級認(rèn)知能力,而偏離我們控制它的意圖或能力時,可能給人類及人類社會帶來災(zāi)難性的后果,因此我們需要加強對人工智能人性建構(gòu)和倫理問題的研究[1]。

    Wallach W(2009)指出虛擬和物質(zhì)的人工代理所承擔(dān)的責(zé)任日益增長,因此需要開發(fā)更加復(fù)雜的解決方案,使其能夠作出道德決策。迄今為止存在的倫理系統(tǒng)或倫理學(xué)家開發(fā)的解決方案并未涉及人類與機器人的相互作用、機器人與其他生物體之間的接觸或者機器人之間的相互作用。人類作出道德決策的機制極端復(fù)雜,只在算法中提供具體的倫理規(guī)則是不夠的,應(yīng)該使其具備道德主體的能力,這使得人工智能或機器人的開發(fā)變得更加復(fù)雜[2]。 Anderson M(2011)指出機器倫理和傳統(tǒng)的計算機倫理的不同之處在于,它不是關(guān)注程序員或用戶的決策,而是關(guān)注于機器本身的道德決策能力,主要討論了機器倫理的本質(zhì)、機器倫理的重要性、機器倫理的哲學(xué)和現(xiàn)實、機器倫理方法和機器倫理愿景等五個方面的問題[3]。

    Bonnefon J F(2016)對自動駕駛汽車的社會困境進行了討論,指出定義有助于自動駕駛汽車作出道德決策的算法是一項艱巨的挑戰(zhàn)。目前沒有簡單的方法來設(shè)計能夠協(xié)調(diào)道德價值和個人自我利益的算法,更別說考慮不同文化對生活權(quán)衡的各種道德態(tài)度,但隨著這種對話的進展,公眾輿論和社會壓力可能會隨之發(fā)生改變。對于這些倫理問題,需要在智能產(chǎn)品進入全球市場前做出決策[4]。

    表1 人工智能倫理高引文獻(xiàn)

    Chalmers D J(2010)將產(chǎn)生超級智能的智能爆炸界定為奇點,協(xié)調(diào)這種奇點需要在機器中構(gòu)建合適的價值,并非常謹(jǐn)慎地在虛擬世界中構(gòu)建第一個AI 和AI+系統(tǒng)。對于我們?nèi)绾稳谌牒笃纥c世界,作者討論了兩種不同的方式:①通過逐步上載然后增強;②通過重建上載然后增強,這當(dāng)中同時涉及認(rèn)知增強和實用方面的問題[5]。

    Gunkel D J(2012)試圖在道德哲學(xué)中創(chuàng)造一個空間,以解決智能機械具有什么樣的道德主張,以及闡明和實踐相應(yīng)的道德規(guī)范意味著什么[6]。

    Lin P(2012)對關(guān)于機器倫理的跨學(xué)科和多視角問題進行了系統(tǒng)討論:機器人倫理的一般方法以及道德概念的基本術(shù)語定義;與具體技術(shù)應(yīng)用相關(guān)的道德倫理和方法以及機器人使用的未來場景;具有倫理重要性的領(lǐng)域以及研究和開發(fā)的技術(shù)趨勢;機器人倫理的主要形式[7]。

    O’neil C(2016)認(rèn)為算法不是中立的,人類的偏見和錯誤經(jīng)常被編碼到系統(tǒng)中,并細(xì)致地對招聘、警務(wù)、借貸、教育和醫(yī)療保健等各行業(yè)領(lǐng)域的數(shù)據(jù)實踐的具體案例、基于算法作出決策的程度進行了分析,結(jié)果發(fā)現(xiàn)這進一步剝奪了弱勢群體的權(quán)利,造成了社會的不平等。作者最后總結(jié)了一些具體的建議,為數(shù)學(xué)模型和大數(shù)據(jù)帶來更多的監(jiān)管、透明度和案例[8]。

    (2)突現(xiàn)引文分析

    突現(xiàn)引用是指一篇文獻(xiàn)在某段時間內(nèi)引用率突然上升或下降的現(xiàn)象,表示某一特定研究主題在一段時間內(nèi)突然變熱或變冷,能夠代表當(dāng)時的熱門研究主題或研究前沿。利用CiteSpace 軟件對人工智能倫理研究文獻(xiàn)進行共被引突發(fā)性分析,結(jié)果如表2 所示。Wallach W(2009)、Floridi L(2004)、Gunkel D J(2012)、Arkin R(2009)、Omohundro S M(2008)、Allen C(2006)、Johnson D G(2006)、Moor J H(2006)和Allen C(2005)等文獻(xiàn)的突發(fā)性較強,表明它們在人工智能倫理研究主題的轉(zhuǎn)向方面起到了比較關(guān)鍵的作用。

    2009 年到2012 年期間,Allen C(2005)、Allen C(2006)、Moor J H(2006)、Floridi L(2004)和Johnson D G(2006)等文獻(xiàn)引用量突現(xiàn)。這些文獻(xiàn)主要對機器倫理、道德代理和人工制品的道德價值與意義進行了初步探討。Allen C(2006)指出如果我們對人工智能道德代理的開發(fā)或管理能力有限,那么就需要將注意力從對自治系統(tǒng)的錯誤依賴轉(zhuǎn)移開。一些道德決策能夠在計算機系統(tǒng)中較為容易地實施,而模擬處理其他類型道德困境的技巧以我們目前的知識還很難實現(xiàn)[9]。Allen C(2005)指出人工道德學(xué)科的一個主要目標(biāo)是設(shè)計人工代理人,使其能夠像道德代理一樣。人工道德的中間目標(biāo)是建立人工智能系統(tǒng)對活動的價值觀、道德規(guī)范和合法性的敏感性[10]。

    Moor J H(2006)認(rèn)為需要就什么是機器倫理達(dá)成一致,才能夠確定機器倫理是否存在,而對這一問題的理解存在兩種完全不同的解釋:①人類是機器,人類有倫理,機器也有倫理;②倫理是一種情感的表達(dá),機器沒有情感,因而沒有倫理。作者認(rèn)為短時間之內(nèi)無法通過哲學(xué)論證或?qū)嵶C研究來解決這一問題,但能夠?qū)W⒂陂_發(fā)有限的、明確的倫理代理,而不是完全的倫理代理,幫助防止不道德的結(jié)果[11]。Floridi L(2004)指出人工智能擴展了可能涉及道德情境的實體類別,它們同時可以被視為道德受動者和行為者。論文圍繞網(wǎng)絡(luò)空間具有什么道德價值和道德責(zé)任兩個問題進行了探討。Johnson D G(2006)認(rèn)為計算機系統(tǒng)和人工制品是有意創(chuàng)建和部署的,因此它們具有道德特征,是人類道德行為的組成部分。當(dāng)人類使用人工制品時,他們的行為由人工制品的意圖性和功效構(gòu)成,而人工制品的意圖性和功效又是由其設(shè)計者的意圖和功效構(gòu)成。人工制品及其設(shè)計師和用戶在行動時都在工作,而這三個組成部分都應(yīng)該是道德評估的重點[12]。

    2013 年以后,Wallach W(2009)、Gunkel D J(2012)、Arkin R(2009)、Omohundro S M(2008)等文獻(xiàn)引用量突現(xiàn)。這一時期關(guān)于人工智能倫理方面的研究,更進一步深入到系統(tǒng)實現(xiàn)的具體架構(gòu)、智能道德系統(tǒng)的設(shè)計,重視利用經(jīng)典的哲學(xué)和倫理學(xué)理論分析人工智能技術(shù)的倫理問題。Arkin R(2009)指出許多機器人應(yīng)用程序沒有較好地考慮安全和倫理方面的問題,討論了如何構(gòu)建倫理機器人。作者介紹了在自動戰(zhàn)斗機器人中植入負(fù)責(zé)任的倫理決策的動機和理由,并提出了實現(xiàn)這一目標(biāo)的架構(gòu)[13]。 Omohundro S M(2008)認(rèn)為需要對智能系統(tǒng)進行精心設(shè)計,以防止它們以有害的方式運行。論文主要討論了如何將自我改善、經(jīng)濟效用、理性和自我保護等驅(qū)動因素融入到智能技術(shù)中,從而為人類帶來積極的未來[14]。 Wallach W(2009)認(rèn)為有必要開發(fā)更加復(fù)雜的解決方案,使人工實體能夠做出道德決策[2]。Gunkel D J(2012)綜合考慮了Levinasian 倫理學(xué)與Heideggarian 的本體論來思考事物或技術(shù)的作用,通過解決道德哲學(xué)的容受者/代理二元性,最終將機器排除在倫理考慮之外[6]。

    表2 人工智能倫理研究突現(xiàn)引文

    (3)高中心性引文分析

    人工智能倫理研究領(lǐng)域的高中介中心性文獻(xiàn)結(jié)點能夠起到銜接不同研究聚類的作用,它們在識別人工智能倫理研究聚類,促進人工智能倫理研究的知識交流中起到關(guān)鍵的銜接作用。如表3 所示,文獻(xiàn)Anderson M(2011)的中介中心性最高(0.31),指出機器倫理和傳統(tǒng)的計算機倫理的不同之處在于,它不是關(guān)注程序員或用戶的決策,而是關(guān)注機器本身的道德決策能力[3]。此外,Wallach W(2009)是較早討論與機器人技術(shù)發(fā)展相關(guān)的倫理問題的著作之一,指出虛擬和物質(zhì)的人工代理所承擔(dān)的責(zé)任日益增長,因此越來越有必要開發(fā)更加復(fù)雜的解決方案,使人工實體能夠做出道德決策[2]。

    表3 人工智能倫理研究高中介中心性文獻(xiàn)

    Armstrong S(2012)認(rèn)為人類智能并不代表人工智能能力的上限,超級智能系統(tǒng)將根據(jù)其可能存在缺陷的動機系統(tǒng)引導(dǎo)未來,這可能帶來嚴(yán)重的安全問題。論文分析和批判了各種控制人工智能的方法,認(rèn)為限制的人工智能要相對安全,但仍然存在潛在的風(fēng)險[15]。Bryson J J(2010)認(rèn)為機器人不應(yīng)該被描述為人,也不應(yīng)為其行為承擔(dān)法律或道德責(zé)任,機器人的智力和如何獲得他們的智力是由人來確定的。因此,機器人技術(shù)的潛力應(yīng)該被理解為擴展人類自己的能力和實現(xiàn)自己目標(biāo)的潛力。論文指出機器人人性化是一種錯誤,分析了這些錯誤的原因和后果,并提出了機器人如何融入社會的具體建議[16]。

    Bakshy E(2015)對社交媒體如何影響跨意識形態(tài)界限的觀點進行了探討,發(fā)現(xiàn)個人的選擇比算法排名在限制對交叉內(nèi)容的曝光方面發(fā)揮了更大的作用[17]。Cakmak M(2010)討論了主動學(xué)習(xí)應(yīng)用于人機交互環(huán)境時出現(xiàn)的一些問題,并提供了幾條指導(dǎo)方針,為人機(機器人)交互環(huán)境中使用主動學(xué)習(xí)的未來機器人系統(tǒng)的設(shè)計提供信息[18]。Chalmers D J(2010)將智能爆炸界定為奇點,協(xié)調(diào)這種奇點需要在機器中構(gòu)建合適的價值[5]。Bryson J(2012)認(rèn)為有意識的注意力并不是選擇立即行動,而是使用當(dāng)前任務(wù)將專門學(xué)習(xí)集中于行動選擇機制和預(yù)測模型,才可能影響有意識的代理的任務(wù)和環(huán)境突發(fā)事件。將這種系統(tǒng)構(gòu)建到機器智能中是完全可能的,除非智能系統(tǒng)需要學(xué)習(xí)并且在學(xué)習(xí)速度與相關(guān)環(huán)境變化速率方面存在資源限制,否則它不是絕對必要的[19]。

    通過對人工智能倫理近期高引用率、高突現(xiàn)率和高中介中心性文獻(xiàn)的研究和分析,可以挖掘出這一研究領(lǐng)域最有影響力、影響研究重要轉(zhuǎn)向以及銜接不同研究聚類的關(guān)鍵文獻(xiàn)結(jié)點。近年來,人們對人工智能系統(tǒng)可能帶來的倫理問題越來越關(guān)注,不再局限于科幻小說和影視作品中,而是已經(jīng)達(dá)到一種我們不能忽視的程度。目前學(xué)界存在兩種截然不同的觀點:一種認(rèn)為人工智能承擔(dān)了道德責(zé)任,作為一種智能道德代理理所當(dāng)然;另一種觀點將人工智能排除在倫理考慮之外,認(rèn)為它只是人類實現(xiàn)個人目的的工具或手段之一,因此更需要考慮人工智能系統(tǒng)設(shè)計者的道德因素。但隨著人工智能系統(tǒng)越來越復(fù)雜的自主控制,這些系統(tǒng)本身也應(yīng)該意識到其行為的倫理含義。一些學(xué)者認(rèn)為在復(fù)雜智能系統(tǒng)投入使用之前,需要將其倫理問題考慮清楚,他們從倫理學(xué)和哲學(xué)的視角對人工智能系統(tǒng)引入倫理原則進行了思考,提出了一些設(shè)計和執(zhí)行倫理系統(tǒng)的方法與策略,為人工智能領(lǐng)域的研究人員和商界人士制定相應(yīng)的規(guī)則和指導(dǎo)方針提供了一定的依據(jù)。

    2.3 重要作者分析

    使用CiteSpace 軟件對人工智能倫理研究的重要作者進行共被引分析,結(jié)果如圖3 所示,其中引用頻次最高的5 位作者分別是Wallach W(Freq=64)、Bostrom N(Freq=62)、Anderson M(Freq=54)、Floridi L(Freq=47)和Allen C(Freq=41)。Freq 是指作者共被引頻次,圖中圓圈大小表示作者共被引次數(shù)的多少,不同顏色代表不同年份的引用次數(shù)。較大的作者結(jié)點表示他們在該研究領(lǐng)域產(chǎn)生了重要的影響。Wallach W 對機器倫理、道德機器以及道德與意識、思想之間的關(guān)系進行了論述,并提出了人類及智能代理道德決策的概念和計算模型[20]。Bostrom N 從技術(shù)變革和人類未來演進的視角,關(guān)注了超級智能可能對人類社會帶來的影響、存在的風(fēng)險及其認(rèn)知中存在的倫理問題。Anderson M 主要對機器倫理進行了探討,認(rèn)為阿西莫夫的三個機器人定律無法作為機器倫理基礎(chǔ)。Floridi L 是著名的計算哲學(xué)和信息哲學(xué)家,曾經(jīng)提出了信息圈理論,成為信息倫理的重要理論基礎(chǔ),他的很多觀點對人工智能倫理研究產(chǎn)生了重要的影響。Allen C 主要對為什么需要研究機器倫理的原因進行了分析,對未來人工道德行為者的趨勢進行了展望,指出不能放棄人類的責(zé)任。

    從中介中心性和突發(fā)性來看(見圖3),被引作者中,突發(fā)性最強的5 位作者分別是Kahneman D(Burst=3.61)、Yudkowsky E(Burst=3.16)、Turkle S(Burst=3.02)、Danielson P(Burst=2.88)和Guarini M(Burst=2.75),說 明他們在人工智能倫理研究內(nèi)容和主題的轉(zhuǎn)換方面貢獻(xiàn)較大,在一定時期內(nèi)扮演了前沿研究者的角色。中介中心性最高的5 位作者分別是Asimov I(Centrality=0.2)、Allen C(Centrality=0.16)、Moor J H(Centrality=0.13)、Anderson M(Centrality=0.11)和Levy D(Centrality=0.11),說明他們在人工智能倫理研究的知識傳播過程中貢獻(xiàn)較大。

    圖3 人工智能倫理重要作者圖譜

    2.4 重要機構(gòu)分析

    使用CiteSpace 軟件對人工智能倫理研究機構(gòu)進行共現(xiàn)分析,結(jié)果如圖4 所示。影響較大的研究機構(gòu)包括牛津大學(xué)(University of Oxford)、哈佛大學(xué)(Harvard University)、代爾夫特理工大學(xué)(Delft University of Technology)、華盛頓大學(xué)(University of Washington)、英國開放大學(xué)(The Open University)和愛丁堡大學(xué)(The University of Edinburgh)。中介中心性最高的五個研究機構(gòu)分別為牛津大學(xué)(University of Oxford)、阿蘭圖靈機構(gòu)(Alan Turing Institute)、帕多瓦大學(xué)(University of Padua)、澳大利亞國立大學(xué)(The Australian National University)和愛丁堡大學(xué)(The University of Edinburgh),說明這些研究機構(gòu)在人工智能倫理研究主題的轉(zhuǎn)向和對前沿的把握方面最為有效。

    圖4 人工智能倫理重要研究機構(gòu)圖譜

    2.5 人工智能倫理期刊發(fā)文量與知識交流情況分析

    從發(fā)文量統(tǒng)計來看,Ethics and Information Technology和Minds and Machines的發(fā)文量最高,均為14 篇;Philosophical Transactions of the Royal Society a Mathematical Physical and Engineering Sciences的發(fā)文量排第三,為10 篇。這些期刊均被Web of Science 核心數(shù)據(jù)庫收錄,因此它們是國際人工智能倫理研究知識交流的重要載體。學(xué)術(shù)刊物之間的相互引用和共引關(guān)系可以表征這一研究領(lǐng)域和其他學(xué)科領(lǐng)域之間知識交流的水平和知識流動的狀況。使用CiteSpace 軟件進行期刊共被引分析,結(jié)果如圖5、表4 所示。從被引頻次來看,《科學(xué)》《思維與機器》《自然》《人工智能》和《IEEE 智能系統(tǒng)》等是過去十年間該研究領(lǐng)域的高被引期刊,被引頻次分別為89 次、68 次、68 次、66 次和57 次。從中介中心性來看,《科學(xué)》《思維與機器》《科學(xué)革命的結(jié)構(gòu)》《有線》和《科學(xué)美國人》等是過去十年間人工智能倫理研究領(lǐng)域的高中介中心性期刊,它們的中介中心性分別高達(dá)0.27、0.22、0.15、0.15 和0.13,說明它們在這一研究領(lǐng)域的知識流動過程中起到關(guān)鍵銜接結(jié)點的作用。根據(jù)文獻(xiàn)計量學(xué)理論,人工智能倫理研究文獻(xiàn)對其他學(xué)科期刊的引用,可以反映人工智能倫理主要從哪些其他學(xué)科獲得知識流量。期刊共被引分析表明,過去十年間人工智能倫理研究的知識流量,主要來自《科學(xué)》《自然》《行為與腦科學(xué)》《有線》《科學(xué)美國人》《Springer 計算機科學(xué)講義》和《科學(xué)革命的結(jié)構(gòu)》等其他學(xué)科期刊,這說明人工智能倫理研究的理論基礎(chǔ)主要來自于科學(xué)、心理學(xué)、科學(xué)革命和計算機等學(xué)科領(lǐng)域。

    圖5 人工智能倫理研究學(xué)術(shù)刊物共被引圖譜

    表4 人工智能倫理學(xué)術(shù)刊物共被引分析結(jié)果

    2.6 人工智能倫理研究關(guān)鍵詞共現(xiàn)圖譜

    對人工智能倫理研究的關(guān)鍵詞進行共現(xiàn)分析,可以揭示該研究領(lǐng)域歷年來研究內(nèi)容間的知識網(wǎng)絡(luò)關(guān)系,挖掘人工智能倫理研究領(lǐng)域的關(guān)鍵知識結(jié)點、知識結(jié)構(gòu)和熱門研究主題。因為關(guān)鍵詞實際上能大致說明一條文獻(xiàn)的主題,如果這些關(guān)鍵詞發(fā)生共現(xiàn)現(xiàn)象,說明它們的研究主題比較接近。首次出現(xiàn)共現(xiàn)的時間(參考圖像上方色條)表示這一研究主題興起的時間。如圖6、表5 所示,近年來人工智能倫理的熱門研究主題包括人工智能(artificial intelligence)、倫理(ethics)、機器人(robot)、機器倫理(machine ethics)和機器學(xué)習(xí)(machine learning)等。從中介中心性來看,最高的六個關(guān)鍵詞分別為人工智能、機器人、系統(tǒng)、倫理、機器倫理和看護(care)等,說明關(guān)于人工智能倫理研究的主要內(nèi)容是圍繞這些方面展開的。

    從共現(xiàn)發(fā)生的時間來看(參考圖像上方色條),人工智能、倫理、機器倫理、機器人和思維等主題發(fā)生共現(xiàn)的時間比較早,始于2009 年到2010 年期間,說明這一時期學(xué)界開始關(guān)注機器人和人工智能的倫理問題;2010 年到2015 年,代理、技術(shù)、心理健康、機器人、模型和前額葉皮層等主題受到關(guān)注,說明人工智能倫理研究在這一時期關(guān)注人工智能和機器人的道德代理和相關(guān)的認(rèn)知決策過程。2016 年以后,看護、法律、自動化系統(tǒng)、機器學(xué)習(xí)、規(guī)則、人權(quán)和福利等主題受到關(guān)注,說明近年來關(guān)于人工智能倫理的研究已經(jīng)開始轉(zhuǎn)向具體的行業(yè)領(lǐng)域,并對一些具體的現(xiàn)實問題進行哲學(xué)思考,或者探討相應(yīng)的倫理規(guī)則在人工智能領(lǐng)域的實現(xiàn)方式。

    表5 人工智能倫理關(guān)鍵詞分析結(jié)果

    圖6 人工智能倫理研究關(guān)鍵詞共現(xiàn)圖譜

    2.7 聚類分析

    在人工智能倫理研究文獻(xiàn)共被引分析的基礎(chǔ)上按關(guān)鍵詞進行聚類分析,生成聚類分析視圖如圖7 所示??梢?,形成的主要研究聚類有美德倫理(#0 virtue ethics)、心理健康(#1 mental health)、治理(#2 governance)、災(zāi)難性風(fēng)險(#3 catastrophic risk)、機器道德(#4 machine morality)、社會(#5 society)、系統(tǒng)映射研究(#6 systematic mapping study)、放射學(xué)(#7 radiology)、社會影響(#8 social impacts)和設(shè)計倫理(#9 design ethics)等10 個研究聚類,其中不同結(jié)點之間連線的顏色表示不同的時間分區(qū)(參考圖像上方色條顏色)。如圖所示,過去十年的研究聚類從時間上大致可以劃分為三個階段。早期,機器道德聚類共被引現(xiàn)象較為活躍,說明人工智能倫理的重要根源在于機器倫理學(xué),從機器倫理研究開始轉(zhuǎn)向智能機器倫理問題研究,逐漸形成了一個新的倫理研究方向。此后,心理健康和美德等聚類的文獻(xiàn)共被引現(xiàn)象比較活躍,說明隨著人工智能倫理研究的深入,已經(jīng)超出了機器倫理的范疇,進一步考慮人工智能對人類心智的模擬以及人類美德倫理在系統(tǒng)中的介入。在這一轉(zhuǎn)換過程中,文獻(xiàn)Wallach W(2009)和Anderson M(2011)等起到了銜接的關(guān)鍵結(jié)點作用。最近幾年,治理、災(zāi)難性風(fēng)險、社會、系統(tǒng)映射研究、放射學(xué)、社會影響、設(shè)計倫理等聚類的文獻(xiàn)之間共被引現(xiàn)象比較明顯,說明人工智能倫理已經(jīng)引起了各行業(yè)領(lǐng)域的廣泛關(guān)注,而且各行業(yè)開始重視人工智能應(yīng)用可能帶來的風(fēng)險和其他社會影響以及如何治理和設(shè)計實現(xiàn)。文獻(xiàn)Bryson J J(2010)、Armstrong S(2012)、Bakshy E(2015)和Cakmak M(2010)等起到了關(guān)鍵銜接結(jié)點作用。

    圖7 基于關(guān)鍵詞的聚類視圖

    圖8 聚類分析時間線視圖

    從聚類分析時間線視圖來看(圖8),美德倫理、心理健康、治理、災(zāi)難性風(fēng)險、機器道德、社會和系統(tǒng)映射研究等聚類的文獻(xiàn)發(fā)生的共被引現(xiàn)象比較密集。這幾個聚類還集中了影響力比較大、比較關(guān)鍵的一些結(jié)點,它們構(gòu)成了人工智能倫理研究的主要內(nèi)容、方法、技術(shù)和應(yīng)用等方面。機器道德和心理健康等聚類的文獻(xiàn)在早期共被引現(xiàn)象明顯,后有消退趨勢,說明它們在該研究領(lǐng)域起到了奠基的作用。最近興起的研究主題有治理、社會、放射學(xué)和設(shè)計倫理等研究聚類,說明隨著人工智能技術(shù)在各行業(yè)領(lǐng)域的廣泛應(yīng)用,其倫理問題日益受到關(guān)注,尤其是它可能產(chǎn)生的社會風(fēng)險及如何規(guī)避這些風(fēng)險,將是未來需要重點關(guān)注的方面。

    3 研究發(fā)現(xiàn)

    近年來,人們越來越關(guān)注人工智能在各行業(yè)領(lǐng)域的應(yīng)用會給人類社會帶來何種影響,尤其是如何處理人工智能技術(shù)應(yīng)用可能帶來的新的倫理問題。本文使用CiteSapce軟件對國際上人工智能倫理研究數(shù)據(jù)進行文獻(xiàn)共引和共被引分析,挖掘出這一研究領(lǐng)域的重要文獻(xiàn)結(jié)點,同時繪制國際人工智能倫理研究知識圖譜,揭示其研究的起源、發(fā)展脈絡(luò)和未來趨勢。

    3.1 人工智能倫理研究起源

    關(guān)于人工智能倫理的考慮最開始出自早期的科幻小說和電影中。阿西莫夫在上世紀(jì)中葉提出的機器人三大法則,就已經(jīng)將人工智能的倫理道德作為一個重要的問題進行考慮。當(dāng)然這些文學(xué)或影視作品只是對未來社會的一種預(yù)想,隨著人工智能的進步,關(guān)于倫理方面的考慮已經(jīng)不能再停留于假想階段,而是日益與我們的社會生活密切相關(guān)。大量的科學(xué)家、哲學(xué)家和商界領(lǐng)袖都對人工智能可能對社會產(chǎn)生的重要影響和潛在危險表示了擔(dān)憂,也開始倡導(dǎo)在這些人工智能產(chǎn)品進入我們生活之前,需要先把倫理這一永恒的問題考慮清楚。一大批學(xué)者在機器倫理、設(shè)計倫理、信息技術(shù)倫理和計算哲學(xué)等基礎(chǔ)上,開始探討人工智能倫理的本質(zhì)以及需要解決的一些問題,形成了一個新的倫理學(xué)研究方向。這方面的研究對于我們未來進一步開發(fā)和應(yīng)用更復(fù)雜的人工智能系統(tǒng),并降低它可能帶來的負(fù)面影響是極其重要的。

    3.2 人工智能倫理研究發(fā)展脈絡(luò)

    本世紀(jì)以來,由于人工智能技術(shù)在各行業(yè)領(lǐng)域的應(yīng)用,關(guān)于人工智能的倫理問題已經(jīng)不再是一個虛幻的想象,而是我們切實面臨的一個亟待解決的現(xiàn)實問題。最初,人工智能和機器人技術(shù)在工程制造領(lǐng)域得到應(yīng)用。它們主要是由人類指導(dǎo)員預(yù)編程,然后按照程序員的意圖輔助人類進行工作。這種早期的人工智能雖然具備了一些自動化特征,但并不是一種獨立自主的存在,因此對它們的倫理考慮,主要還是在機器倫理的范疇之內(nèi),比如用機器代替人類工作是否改變了人與機器之間的關(guān)系,這可能給各行業(yè)內(nèi)的雇傭關(guān)系以及整個人類社會帶來什么樣的影響。近年來,隨著人工智能系統(tǒng)越來越復(fù)雜的自主控制,這些系統(tǒng)本身也應(yīng)該意識到其行為的倫理含義。一些學(xué)者認(rèn)為在復(fù)雜智能系統(tǒng)投入使用之前,需要將其倫理問題考慮清楚,即應(yīng)該在人工智能系統(tǒng)中引入倫理原則和規(guī)則,構(gòu)建人工智能道德代理,讓它們能夠根據(jù)對外在環(huán)境信息的判斷,作出類似于人類的倫理決策。因此,人們越來越認(rèn)識到人工智能的自主決策不能僅局限于其最初設(shè)計的工作服務(wù)目標(biāo),還需要能夠?qū)ψ晕业臎Q策、行為和后果進行判斷,使自己的行為符合人類利益的最大化。但這一過程又引發(fā)出一些新的倫理問題。人工智能能夠根據(jù)預(yù)先設(shè)計的智能道德代理進行倫理決策,但它的智能道德代理的規(guī)則與算法是由其設(shè)計者、程序員定制的,而不是自主建構(gòu)的,在各方利益沖突的情況下它應(yīng)該優(yōu)先服務(wù)于誰的利益,設(shè)計者、客戶還是對整個人類利益的綜合考慮?如果對這些問題不考慮清楚就直接將人工智能技術(shù)投入應(yīng)用,可能帶來嚴(yán)重的社會問題。

    3.3 人工智能倫理研究未來發(fā)展趨勢

    從國際上人工智能倫理研究的知識圖譜來看,關(guān)于人工智能倫理的研究才剛起步??梢灶A(yù)見的是,人工智能將在未來的一段時間內(nèi)在各行業(yè)領(lǐng)域得到更廣泛更深入的應(yīng)用,而且人工智能系統(tǒng)本身也將越來越個性化、自主化,因此將引發(fā)出更多更加復(fù)雜的倫理問題。雖然,目前關(guān)于人工智能倫理在哲學(xué)思想、設(shè)計和智能道德代理方面有過一些思考,但同時還有一些非常重要的問題需要更深入的探討。首先,人工智能應(yīng)用可能引發(fā)的高度智能化工作和相應(yīng)的技術(shù)風(fēng)險等社會問題,會隨著它的廣泛應(yīng)用而逐漸凸顯出來。比如由于工作被人工智能取代而引發(fā)的失業(yè)和人類勞動價值喪失,人類的勞動技能及其相關(guān)的知識、體驗、推理和決策等方面能力的降低,是否會導(dǎo)致人類的退步,這是需要我們進行哲學(xué)反思的一個重要的問題。其次,隨著人工智能的自主化程度越來越高,我們需要思考人工智能道德代理的設(shè)計與實現(xiàn)問題,比如應(yīng)該給人工智能賦予什么樣的倫理準(zhǔn)則,如何讓其獲得類似于人類的倫理推理和倫理決策能力。這涉及形式邏輯、數(shù)學(xué)推理、規(guī)則庫和機器學(xué)習(xí)等方法在倫理判斷和倫理決策中的應(yīng)用。最后,人工智能目前還沒有自我意識,因此它的行為與決策所遵循的倫理規(guī)則仍然是人類賦予的,是為人類利益服務(wù)的。但如果有一天人工智能具備了自我意識,必然也會滋生人類的欲望和弱點。當(dāng)它們所遵循的倫理規(guī)則不再是為人類利益服務(wù)而是為自身利益服務(wù)時,人類將如何避免和應(yīng)對此類事情的發(fā)生,也是需要我們認(rèn)真考慮的一個重要問題。而另一方面,人工智能作為道德行為者的同時,也將扮演道德容受者的角色,人類應(yīng)該如何對待人工智能系統(tǒng)也是一個需要細(xì)致考慮的問題。

    (來稿時間:2019 年9 月)

    猜你喜歡
    機器倫理道德
    《心之死》的趣味與倫理焦慮
    機器狗
    機器狗
    頭上的星空與心中的道德律
    十幾歲(2021年24期)2021-11-18 02:18:40
    護生眼中的倫理修養(yǎng)
    活力(2019年19期)2020-01-06 07:37:00
    跟蹤導(dǎo)練(五)(2)
    道德是否必需?——《海狼》對道德虛無主義的思考
    未來機器城
    電影(2018年8期)2018-09-21 08:00:06
    無敵機器蛛
    用道德驅(qū)散“新聞霧霾”
    新聞前哨(2015年2期)2015-03-11 19:29:31
    一卡2卡三卡四卡精品乱码亚洲| 一级作爱视频免费观看| 天天躁狠狠躁夜夜躁狠狠躁| 巨乳人妻的诱惑在线观看| 少妇粗大呻吟视频| √禁漫天堂资源中文www| 久久久国产成人免费| 欧美成人性av电影在线观看| 亚洲av日韩精品久久久久久密| 亚洲男人天堂网一区| 18禁美女被吸乳视频| 露出奶头的视频| 极品教师在线免费播放| 亚洲aⅴ乱码一区二区在线播放 | 黄色毛片三级朝国网站| 国产一区二区三区视频了| 日本欧美视频一区| 露出奶头的视频| 国产色视频综合| 久久久久国产一级毛片高清牌| 啦啦啦观看免费观看视频高清 | 日日干狠狠操夜夜爽| 三级毛片av免费| 两个人看的免费小视频| 一级黄色大片毛片| 国产不卡一卡二| 美女高潮喷水抽搐中文字幕| 波多野结衣一区麻豆| 国产麻豆69| 看免费av毛片| 好男人电影高清在线观看| 美女高潮喷水抽搐中文字幕| 国产欧美日韩一区二区精品| 看免费av毛片| 午夜福利高清视频| 19禁男女啪啪无遮挡网站| 十八禁人妻一区二区| 午夜久久久在线观看| 无限看片的www在线观看| 999久久久国产精品视频| 一级a爱片免费观看的视频| 久久精品人人爽人人爽视色| 性少妇av在线| 91在线观看av| 精品久久久久久,| 一二三四社区在线视频社区8| 麻豆av在线久日| 欧美成人免费av一区二区三区| netflix在线观看网站| 18禁观看日本| 日韩视频一区二区在线观看| 欧美丝袜亚洲另类 | 久久久精品欧美日韩精品| tocl精华| 国产精品电影一区二区三区| 久久婷婷成人综合色麻豆| 精品乱码久久久久久99久播| 免费看十八禁软件| 日韩欧美在线二视频| 亚洲va日本ⅴa欧美va伊人久久| 自线自在国产av| 亚洲av成人av| 国产av又大| 91大片在线观看| 精品福利观看| 宅男免费午夜| 一区二区三区精品91| 亚洲国产中文字幕在线视频| 久久热在线av| 国语自产精品视频在线第100页| 女人被躁到高潮嗷嗷叫费观| 无遮挡黄片免费观看| or卡值多少钱| 久久久久九九精品影院| av福利片在线| 电影成人av| 99国产精品一区二区蜜桃av| 久久精品成人免费网站| 成在线人永久免费视频| av网站免费在线观看视频| 老鸭窝网址在线观看| 日韩视频一区二区在线观看| 亚洲人成77777在线视频| 99在线人妻在线中文字幕| 日韩欧美三级三区| 国产成人精品在线电影| 好男人在线观看高清免费视频 | 亚洲国产高清在线一区二区三 | 免费高清在线观看日韩| 最新在线观看一区二区三区| 亚洲一区中文字幕在线| 国产91精品成人一区二区三区| 亚洲国产精品成人综合色| 在线观看免费午夜福利视频| 三级毛片av免费| 中出人妻视频一区二区| 在线免费观看的www视频| 亚洲,欧美精品.| 中国美女看黄片| 午夜成年电影在线免费观看| 黄色 视频免费看| 久久精品影院6| 亚洲人成电影免费在线| 天天一区二区日本电影三级 | 亚洲精品国产一区二区精华液| 欧美乱色亚洲激情| 国产精品综合久久久久久久免费 | 在线免费观看的www视频| 欧美+亚洲+日韩+国产| 久久精品国产综合久久久| 日韩中文字幕欧美一区二区| 成人三级做爰电影| 久久久国产成人精品二区| 这个男人来自地球电影免费观看| 国产伦人伦偷精品视频| 操出白浆在线播放| 国产aⅴ精品一区二区三区波| 91精品国产国语对白视频| 日韩精品中文字幕看吧| 女人被躁到高潮嗷嗷叫费观| 欧美黑人精品巨大| 日本免费a在线| 久久午夜亚洲精品久久| 十分钟在线观看高清视频www| 男女下面插进去视频免费观看| 美女高潮喷水抽搐中文字幕| 国产欧美日韩一区二区三| 国产av精品麻豆| 十八禁人妻一区二区| 国产亚洲欧美98| 我的亚洲天堂| 亚洲欧美激情在线| 97人妻精品一区二区三区麻豆 | 一区二区三区激情视频| 久久亚洲精品不卡| 免费搜索国产男女视频| 成年女人毛片免费观看观看9| 国产高清videossex| 欧美乱码精品一区二区三区| 色在线成人网| 久久中文字幕一级| 欧美色视频一区免费| 国产激情久久老熟女| 亚洲午夜理论影院| 妹子高潮喷水视频| 黄色女人牲交| 色播亚洲综合网| 狂野欧美激情性xxxx| 一级毛片精品| 999久久久国产精品视频| 男女下面进入的视频免费午夜 | 国产激情久久老熟女| 国产欧美日韩精品亚洲av| 一个人免费在线观看的高清视频| 麻豆国产av国片精品| 国内久久婷婷六月综合欲色啪| 午夜福利影视在线免费观看| 日本免费一区二区三区高清不卡 | 久久午夜综合久久蜜桃| 欧美精品啪啪一区二区三区| 精品国产一区二区三区四区第35| 久久人妻熟女aⅴ| 国产麻豆69| 欧美最黄视频在线播放免费| 国产高清视频在线播放一区| 国产欧美日韩精品亚洲av| 后天国语完整版免费观看| 一卡2卡三卡四卡精品乱码亚洲| 黄色毛片三级朝国网站| 欧美性长视频在线观看| 在线观看免费视频网站a站| 亚洲中文av在线| 一区二区三区精品91| 亚洲av电影不卡..在线观看| 岛国在线观看网站| 欧美黑人精品巨大| 色精品久久人妻99蜜桃| 国产av一区在线观看免费| 欧美绝顶高潮抽搐喷水| 免费少妇av软件| 国产一卡二卡三卡精品| 黄频高清免费视频| 精品久久蜜臀av无| 亚洲自偷自拍图片 自拍| 97碰自拍视频| 女生性感内裤真人,穿戴方法视频| 国产亚洲av嫩草精品影院| 亚洲欧洲精品一区二区精品久久久| 日韩大尺度精品在线看网址 | 国产精品一区二区三区四区久久 | 亚洲人成电影观看| √禁漫天堂资源中文www| 色婷婷久久久亚洲欧美| 色在线成人网| 国产伦人伦偷精品视频| 可以在线观看的亚洲视频| 一级毛片女人18水好多| 夜夜看夜夜爽夜夜摸| 在线观看一区二区三区| 久久久久久久精品吃奶| 精品欧美一区二区三区在线| 老熟妇乱子伦视频在线观看| 免费看a级黄色片| 90打野战视频偷拍视频| 日本一区二区免费在线视频| 在线国产一区二区在线| 在线视频色国产色| 国产av精品麻豆| 国产国语露脸激情在线看| 久久精品国产综合久久久| 欧美日本亚洲视频在线播放| 露出奶头的视频| 久9热在线精品视频| 久久性视频一级片| 国产私拍福利视频在线观看| 精品久久久久久久人妻蜜臀av | 欧美成狂野欧美在线观看| 欧美精品啪啪一区二区三区| 性色av乱码一区二区三区2| 久久中文字幕人妻熟女| 人成视频在线观看免费观看| 国产高清有码在线观看视频 | 日韩欧美国产一区二区入口| 免费在线观看日本一区| 岛国在线观看网站| 色综合亚洲欧美另类图片| 色播亚洲综合网| 成年女人毛片免费观看观看9| 搞女人的毛片| 久久婷婷人人爽人人干人人爱 | 午夜激情av网站| 午夜a级毛片| 中国美女看黄片| 久久影院123| 一区二区三区激情视频| 亚洲中文av在线| 女人精品久久久久毛片| 亚洲欧美日韩高清在线视频| 巨乳人妻的诱惑在线观看| 亚洲国产精品成人综合色| 免费久久久久久久精品成人欧美视频| 国语自产精品视频在线第100页| 久久亚洲精品不卡| 波多野结衣一区麻豆| xxx96com| 嫩草影视91久久| 国产午夜精品久久久久久| 免费在线观看亚洲国产| 国产乱人伦免费视频| 欧美午夜高清在线| 后天国语完整版免费观看| 看黄色毛片网站| 成人av一区二区三区在线看| 色综合站精品国产| 午夜福利成人在线免费观看| 不卡一级毛片| 国内毛片毛片毛片毛片毛片| √禁漫天堂资源中文www| 动漫黄色视频在线观看| 大陆偷拍与自拍| 一进一出抽搐动态| 咕卡用的链子| 日本 av在线| 天堂动漫精品| 老司机午夜十八禁免费视频| 又黄又粗又硬又大视频| 久久精品国产亚洲av香蕉五月| 国产成人影院久久av| 两个人看的免费小视频| 自线自在国产av| 欧美成人性av电影在线观看| 日本三级黄在线观看| 女人被狂操c到高潮| 国产亚洲精品一区二区www| 久久 成人 亚洲| 女人爽到高潮嗷嗷叫在线视频| 九色亚洲精品在线播放| 麻豆成人av在线观看| 亚洲av五月六月丁香网| 欧美性长视频在线观看| 看片在线看免费视频| 亚洲午夜理论影院| 亚洲国产精品合色在线| 亚洲电影在线观看av| 久久人人97超碰香蕉20202| 亚洲欧美日韩无卡精品| 欧美黄色片欧美黄色片| 淫秽高清视频在线观看| 久久久精品欧美日韩精品| 性色av乱码一区二区三区2| 禁无遮挡网站| 99香蕉大伊视频| 亚洲情色 制服丝袜| 好男人电影高清在线观看| 日本免费a在线| 国产精品一区二区免费欧美| 久热爱精品视频在线9| 男女下面进入的视频免费午夜 | 亚洲电影在线观看av| www.999成人在线观看| 18禁黄网站禁片午夜丰满| 色播在线永久视频| 自线自在国产av| 国产精品九九99| 国产成人欧美| 日日爽夜夜爽网站| 女性被躁到高潮视频| 亚洲少妇的诱惑av| 深夜精品福利| 日本免费a在线| 啪啪无遮挡十八禁网站| 久久午夜亚洲精品久久| 日日摸夜夜添夜夜添小说| 亚洲三区欧美一区| 18禁观看日本| 国产高清视频在线播放一区| 亚洲成人国产一区在线观看| 久久久精品欧美日韩精品| 变态另类丝袜制服| 两人在一起打扑克的视频| 久热爱精品视频在线9| 亚洲av美国av| 亚洲欧美激情综合另类| 成人国产综合亚洲| 人人妻人人爽人人添夜夜欢视频| 午夜久久久在线观看| 一区二区三区高清视频在线| 亚洲黑人精品在线| 可以在线观看毛片的网站| av在线播放免费不卡| 久久香蕉激情| 欧美日韩瑟瑟在线播放| 男女床上黄色一级片免费看| 国产精品美女特级片免费视频播放器 | 1024香蕉在线观看| 国产亚洲欧美98| 黑人巨大精品欧美一区二区mp4| 国产精品日韩av在线免费观看 | 免费在线观看视频国产中文字幕亚洲| 美女午夜性视频免费| 啪啪无遮挡十八禁网站| 99精品在免费线老司机午夜| 美女免费视频网站| 69精品国产乱码久久久| 色婷婷久久久亚洲欧美| 欧美激情极品国产一区二区三区| 亚洲精品国产色婷婷电影| 久久欧美精品欧美久久欧美| 午夜免费激情av| 日日爽夜夜爽网站| 国产亚洲精品第一综合不卡| 一区二区三区精品91| 女人爽到高潮嗷嗷叫在线视频| 久久精品国产清高在天天线| 狂野欧美激情性xxxx| 国产精品1区2区在线观看.| 俄罗斯特黄特色一大片| 亚洲免费av在线视频| 国语自产精品视频在线第100页| 波多野结衣av一区二区av| 日本 欧美在线| 国产精品电影一区二区三区| 美女免费视频网站| 可以在线观看的亚洲视频| 成年版毛片免费区| 露出奶头的视频| 亚洲欧美精品综合久久99| 亚洲自偷自拍图片 自拍| www.自偷自拍.com| 岛国视频午夜一区免费看| 成人特级黄色片久久久久久久| 国产精品二区激情视频| 麻豆国产av国片精品| 色综合婷婷激情| 自线自在国产av| 99国产综合亚洲精品| 久久这里只有精品19| 国产精品 欧美亚洲| 无限看片的www在线观看| 村上凉子中文字幕在线| 亚洲黑人精品在线| 国产日韩一区二区三区精品不卡| 亚洲三区欧美一区| 美女高潮到喷水免费观看| 久久久久久久精品吃奶| 中国美女看黄片| 日韩欧美国产在线观看| 亚洲中文字幕日韩| 久久久久久国产a免费观看| 国产亚洲欧美98| 超碰成人久久| 亚洲国产毛片av蜜桃av| 亚洲国产精品成人综合色| 亚洲第一电影网av| 久久精品亚洲熟妇少妇任你| 欧美日本亚洲视频在线播放| 51午夜福利影视在线观看| 精品久久蜜臀av无| 亚洲最大成人中文| 在线观看免费视频网站a站| 大型av网站在线播放| 99久久精品国产亚洲精品| 国产成人精品久久二区二区免费| 久久天堂一区二区三区四区| 成熟少妇高潮喷水视频| 日韩精品青青久久久久久| 亚洲五月天丁香| 免费久久久久久久精品成人欧美视频| 久久久国产欧美日韩av| 欧美成狂野欧美在线观看| 亚洲一区中文字幕在线| 两个人免费观看高清视频| 热99re8久久精品国产| 在线观看66精品国产| 91av网站免费观看| 黑人操中国人逼视频| 中文字幕人妻丝袜一区二区| 制服人妻中文乱码| 国产亚洲av高清不卡| 免费女性裸体啪啪无遮挡网站| 亚洲av成人一区二区三| 亚洲久久久国产精品| 日韩欧美在线二视频| 国产三级在线视频| 给我免费播放毛片高清在线观看| 国产精品国产高清国产av| 精品久久久久久久毛片微露脸| 国产在线精品亚洲第一网站| 在线观看免费视频网站a站| aaaaa片日本免费| 国产精品综合久久久久久久免费 | 国产精品av久久久久免费| 最新美女视频免费是黄的| 亚洲少妇的诱惑av| 97超级碰碰碰精品色视频在线观看| 激情视频va一区二区三区| 久久中文字幕人妻熟女| 在线观看舔阴道视频| 久久久水蜜桃国产精品网| 亚洲精品国产色婷婷电影| 精品电影一区二区在线| 国产欧美日韩精品亚洲av| 女警被强在线播放| 欧美日本视频| 美女午夜性视频免费| 午夜福利在线观看吧| 9色porny在线观看| ponron亚洲| 99国产综合亚洲精品| 久久久国产成人精品二区| 手机成人av网站| 国产精品1区2区在线观看.| 精品久久久久久,| 亚洲性夜色夜夜综合| 丰满的人妻完整版| 亚洲五月天丁香| 久久久久精品国产欧美久久久| 欧美 亚洲 国产 日韩一| 国产在线观看jvid| 老鸭窝网址在线观看| 午夜免费鲁丝| 91精品三级在线观看| 91成人精品电影| 亚洲色图 男人天堂 中文字幕| 九色亚洲精品在线播放| 国产精品久久视频播放| 久久婷婷成人综合色麻豆| 91国产中文字幕| 九色亚洲精品在线播放| 亚洲一卡2卡3卡4卡5卡精品中文| 精品国产亚洲在线| 午夜老司机福利片| 老熟妇仑乱视频hdxx| 真人一进一出gif抽搐免费| 91字幕亚洲| 99精品久久久久人妻精品| 超碰成人久久| 欧美激情高清一区二区三区| 黄色a级毛片大全视频| 久久久久久久午夜电影| 可以在线观看毛片的网站| 一进一出好大好爽视频| 一级毛片精品| 美女高潮到喷水免费观看| 黄色a级毛片大全视频| 嫩草影院精品99| 亚洲av成人一区二区三| 亚洲熟妇熟女久久| 国产精品亚洲美女久久久| 久久中文字幕一级| 99国产精品99久久久久| 大型av网站在线播放| 亚洲色图av天堂| 午夜免费激情av| 国产99白浆流出| 两人在一起打扑克的视频| 亚洲伊人色综图| 69av精品久久久久久| 国产精品免费视频内射| 最近最新免费中文字幕在线| 麻豆久久精品国产亚洲av| 午夜福利视频1000在线观看 | 99精品欧美一区二区三区四区| 日本三级黄在线观看| 91精品三级在线观看| 亚洲 欧美一区二区三区| 99精品欧美一区二区三区四区| 在线观看舔阴道视频| 99国产综合亚洲精品| 麻豆成人av在线观看| 久久久久久久精品吃奶| 国产精品电影一区二区三区| 国产成人精品在线电影| 伦理电影免费视频| 亚洲av电影在线进入| 可以在线观看毛片的网站| 国产亚洲精品久久久久5区| 欧美性长视频在线观看| 久久久久久久精品吃奶| 免费在线观看影片大全网站| 女警被强在线播放| 身体一侧抽搐| 99久久精品国产亚洲精品| 亚洲美女黄片视频| 精品第一国产精品| 长腿黑丝高跟| 老司机深夜福利视频在线观看| 亚洲七黄色美女视频| 老鸭窝网址在线观看| 国产精品免费视频内射| 给我免费播放毛片高清在线观看| 亚洲专区国产一区二区| 操出白浆在线播放| 亚洲精品在线观看二区| 国产av一区在线观看免费| 亚洲成人国产一区在线观看| 高清在线国产一区| 国产亚洲欧美在线一区二区| 久久精品国产综合久久久| 久久久久国内视频| 亚洲熟女毛片儿| 久久这里只有精品19| 男女午夜视频在线观看| 伦理电影免费视频| 亚洲美女黄片视频| e午夜精品久久久久久久| 日本黄色视频三级网站网址| 国产精品精品国产色婷婷| 又黄又粗又硬又大视频| 国产成人精品在线电影| 亚洲五月色婷婷综合| 最近最新免费中文字幕在线| 黄网站色视频无遮挡免费观看| 久久久国产成人免费| 少妇粗大呻吟视频| 99久久综合精品五月天人人| 国产一区在线观看成人免费| 一区在线观看完整版| 伊人久久大香线蕉亚洲五| 操美女的视频在线观看| 久久久国产欧美日韩av| 亚洲情色 制服丝袜| 成人免费观看视频高清| 777久久人妻少妇嫩草av网站| 人人妻人人澡人人看| 欧美黑人精品巨大| 99久久99久久久精品蜜桃| 色精品久久人妻99蜜桃| 女人高潮潮喷娇喘18禁视频| 国产精品一区二区在线不卡| 欧美激情高清一区二区三区| 999精品在线视频| 一卡2卡三卡四卡精品乱码亚洲| 久久久久久国产a免费观看| 黄色成人免费大全| 亚洲成a人片在线一区二区| 欧美黄色片欧美黄色片| 亚洲最大成人中文| 国产极品粉嫩免费观看在线| 在线永久观看黄色视频| 久久精品国产综合久久久| 久久性视频一级片| 国产真人三级小视频在线观看| 中文字幕av电影在线播放| 国产精品久久视频播放| 男女午夜视频在线观看| 50天的宝宝边吃奶边哭怎么回事| 男女下面插进去视频免费观看| 亚洲 国产 在线| 国产精品一区二区在线不卡| 性色av乱码一区二区三区2| 国产高清视频在线播放一区| 国产精品永久免费网站| 巨乳人妻的诱惑在线观看| 精品久久久久久成人av| 村上凉子中文字幕在线| 久久久久久久午夜电影| 精品一区二区三区四区五区乱码| 国产午夜福利久久久久久| 国产精品av久久久久免费| 日日爽夜夜爽网站| 亚洲av成人av| 亚洲成国产人片在线观看| 亚洲中文字幕一区二区三区有码在线看 | 亚洲精品久久成人aⅴ小说| 亚洲av电影不卡..在线观看| 国产亚洲精品第一综合不卡| 亚洲成av人片免费观看| 99热只有精品国产| 日本三级黄在线观看| 亚洲最大成人中文| 露出奶头的视频| 国产1区2区3区精品| 久久香蕉国产精品| 午夜福利影视在线免费观看|