• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    負(fù)責(zé)任創(chuàng)新框架下的人工智能倫理問題研究

    2020-01-10 01:33:57娜,陳
    科技管理研究 2020年6期
    關(guān)鍵詞:倫理定義公眾

    李 娜,陳 君

    (廣州中醫(yī)藥大學(xué)馬克思主義學(xué)院,廣東廣州 510006)

    1 研究背景

    負(fù)責(zé)任創(chuàng)新(responsible innovation),又稱負(fù)責(zé)任的研究和創(chuàng)新(responsible research and innovation,RRI),是歐盟“地平線2020”科研規(guī)劃的重要內(nèi)容,主要強(qiáng)調(diào)科學(xué)與社會之間的合作以及加強(qiáng)公眾對科學(xué)的信心,同時也是一種道德觀念、價值取向和實(shí)踐倫理經(jīng)驗(yàn),更是一種帶有倫理意義的創(chuàng)新理念[1]。“負(fù)責(zé)任創(chuàng)新”一詞首次出現(xiàn)在歐盟2002年的“第六框架計劃”(The Sixth Framework)中,此后各種機(jī)構(gòu)和活動之間的合作開始應(yīng)用“科學(xué)和技術(shù)的負(fù)責(zé)任研究和應(yīng)用”等相關(guān)詞語(條),促進(jìn)了全球背景下的對話和科學(xué)技術(shù)倫理研究?!柏?fù)責(zé)任的研究和創(chuàng)新”一詞于2013年首次應(yīng)用于歐盟“第七框架計劃”(法規(guī),EU No.1291/2013),近年來在學(xué)術(shù)出版物和歐洲層面的項(xiàng)目中進(jìn)行了討論、研究和開發(fā),逐步也在中國工程項(xiàng)目中得到應(yīng)用。

    目前,負(fù)責(zé)任創(chuàng)新理念的實(shí)際應(yīng)用已經(jīng)得到了社會的認(rèn)可。美國在2008年調(diào)整納米技術(shù)科研基金的使用中就融入了負(fù)責(zé)任創(chuàng)新的歐文四維框架,由此美國學(xué)界將負(fù)責(zé)任創(chuàng)新稱為人類共同追求的理想;荷蘭在2008 年鹿特丹港建設(shè)的馬斯弗拉克特二期項(xiàng)目(MV2),從立項(xiàng)伊始就貫穿著負(fù)責(zé)任創(chuàng)新理念;英國在2010 年提出的平流層粒子注入氣候工程項(xiàng)目(SPICE項(xiàng)目),經(jīng)協(xié)商和反思意識到此項(xiàng)目存在一定風(fēng)險,故最終取消該項(xiàng)目。以上這些案例都為負(fù)責(zé)任創(chuàng)新的實(shí)際應(yīng)用提供了重要啟示和有益經(jīng)驗(yàn)。

    人工智能(artificial intelligence,AI)自1956年在達(dá)特茅斯會議上提出至今,實(shí)現(xiàn)了前所未有的突破和發(fā)展。隨著AI技術(shù)不斷推陳出新以及快速更迭,無人駕駛技術(shù)、指紋識別、人臉識別、智能機(jī)器人、遠(yuǎn)程醫(yī)療等技術(shù)已逐步應(yīng)用到現(xiàn)實(shí)生活之中,相關(guān)一系列技術(shù)倫理問題也隨之突顯,但因AI技術(shù)發(fā)展快速,傳統(tǒng)的倫理規(guī)范道德制約和現(xiàn)有的法律法規(guī)已明顯不足以應(yīng)對當(dāng)今復(fù)雜的社會發(fā)展局面,新興科技的創(chuàng)新治理和發(fā)展規(guī)范成為當(dāng)代世界各國面臨的主要挑戰(zhàn)和困境,也是國家創(chuàng)新與發(fā)展戰(zhàn)略的重要組成部分。在中國,作為新興科技代表的人工智能,面臨著具有中國特色社會主義新時代特征的AI技術(shù)創(chuàng)新及倫理創(chuàng)新的重要挑戰(zhàn),由此AI倫理問題亟需得到解決。

    歐盟委員會強(qiáng)調(diào)RRI的6個關(guān)鍵點(diǎn)——公眾參與、道德、科學(xué)教育、性別平等、開放獲取和治理,同時負(fù)責(zé)任創(chuàng)新本身所堅(jiān)持的科學(xué)、綠色、節(jié)能、環(huán)保等理念,正好符合中國新時代的發(fā)展理念和路線。基于負(fù)責(zé)任創(chuàng)新本身的理念和實(shí)踐經(jīng)驗(yàn),本文旨在運(yùn)用負(fù)責(zé)任創(chuàng)新理念及其框架解決AI技術(shù)的倫理問題,以從科技研發(fā)源頭避免倫理問題的產(chǎn)生,并在科技創(chuàng)新實(shí)際應(yīng)用中反思和及時改正出現(xiàn)的倫理問題,促使科學(xué)技術(shù)創(chuàng)新更好地造福全人類和全社會。

    2 RRI理念的背景及內(nèi)涵

    “負(fù)責(zé)任創(chuàng)新”的概念首先在歐洲被提出,主要是基于預(yù)期治理(anticipatory governance)和美國的ELSI兩種概念。預(yù)期治理主要指在一個受限制的研究領(lǐng)域,對情景進(jìn)行預(yù)期的管理;美國的ELSI主要指新興科學(xué)和技術(shù)的倫理、法律和社會方面。

    2.1 RRI理念的背景

    RRI的出現(xiàn),根源于“預(yù)期治理”概念。預(yù)期治理的歷史可以追溯到2002年,當(dāng)時Guston等[2]學(xué)者使用了這一術(shù)語,但沒有明確提及RRI。預(yù)期治理主要是指在一個受限制的研究領(lǐng)域,包括創(chuàng)建未來可能出現(xiàn)的不同方式的情景,對其進(jìn)行預(yù)期的管理,這或許有助于對未來可能出現(xiàn)的威脅作出最小化的決策并提供可行的替代方案。

    RRI的出現(xiàn),還值得一提的概念是從美國出現(xiàn)的ELSA概念,它代表著新興科學(xué)和技術(shù)的倫理、法律和社會方面。Zwart等[3]認(rèn)為ELSA研究與RRI有著驚人的相似之處,旨在為技術(shù)發(fā)展計劃提供社會和倫理補(bǔ)充,這些補(bǔ)充最早可追溯到1994年的第四屆歐盟框架計劃。同時,ELSA研究承認(rèn)科學(xué)專業(yè)知識不能被視為開發(fā)和引進(jìn)新技術(shù)的唯一基礎(chǔ),相反,社會應(yīng)該盡早參與。RRI定義最初的出現(xiàn),并不是由專門的相關(guān)研究領(lǐng)域的學(xué)者提出,而是由科學(xué)政策制定者和歐洲委員會中大多的各種基金機(jī)構(gòu)提出。因此,關(guān)于RRI的定義不僅包括學(xué)術(shù)定義,還包括行政定義。

    2.2 RRI理念的內(nèi)涵

    目前,關(guān)于負(fù)責(zé)任創(chuàng)新的具體定義學(xué)界還尚未達(dá)成共識。根據(jù)Burget等[1]的觀點(diǎn),將負(fù)責(zé)任創(chuàng)新的定義主要分為兩種:行政定義和學(xué)術(shù)定義,行政定義主要是基于負(fù)責(zé)任創(chuàng)新概念在政策、方針、機(jī)構(gòu)等方面的定義,學(xué)術(shù)定義主要是學(xué)術(shù)界對其概念的定義。

    2.2.1 行政定義

    2011年在《關(guān)于負(fù)責(zé)任研究和創(chuàng)新的報告》中,Sutcliffe[4]認(rèn)為RRI有主要以下特點(diǎn):(1)刻意關(guān)注研究和創(chuàng)新產(chǎn)品,以實(shí)現(xiàn)社會或環(huán)境效益;(2)社會始終如一地參與創(chuàng)新過程的開始和結(jié)束,并且公眾和非政府組織也關(guān)注公共利益;(3)評估并有效地優(yōu)先考慮現(xiàn)在和未來的社會、道德和環(huán)境影響、風(fēng)險和機(jī)遇以及技術(shù)和商業(yè);(4)監(jiān)督機(jī)制能夠更好地預(yù)測和管理各種問題和機(jī)遇,并且能夠適應(yīng)和快速響應(yīng)不斷變化的知識和情況;(5)開放性和透明度是研究和創(chuàng)新過程中不可或缺的組成部分。除此之外,Sutcliffe[4]還提供了研究和創(chuàng)新的定義:研究是指一種系統(tǒng)調(diào)查方式,以便確定事實(shí)并得出新的結(jié)論;創(chuàng)新是指一種優(yōu)越的過程或產(chǎn)品,也可指發(fā)明的有效商業(yè)結(jié)果。Schomberg[5]認(rèn)為,負(fù)責(zé)任的研究和創(chuàng)新是指社會行動者和創(chuàng)新者彼此負(fù)責(zé)的一種透明和交互的過程,為了在我們的社會中適當(dāng)?shù)厍度肟茖W(xué)和技術(shù)進(jìn)步,這個過程同時會考慮到創(chuàng)新過程及其可銷售產(chǎn)品的(道德)可接受性、可持續(xù)性和社會需求。Schomberg[6]還將RRI定義為設(shè)計策略,該策略推動創(chuàng)新并為實(shí)現(xiàn)社會期望目標(biāo)提供一些引導(dǎo)。在Schomberg的第二個定義中,RRI不再僅僅是一個過程,而是一種設(shè)計策略,也就是說,RRI成為一種能夠塑造一個過程的策略。2013年,歐洲委員會[7]在其發(fā)布的政策文件《加強(qiáng)負(fù)責(zé)任研究和創(chuàng)新的選擇》中,將負(fù)責(zé)任研究和創(chuàng)新定義為:負(fù)責(zé)任的研究和創(chuàng)新是指在研究和創(chuàng)新過程中采用的綜合方法,在早期參與研究和創(chuàng)新過程的所有利益相關(guān)者(1)獲得關(guān)于他們的行動結(jié)果的后果以及對他們開放選擇范圍的相關(guān)知識;(2)在社會需求和道德價值方面有效地評估結(jié)果和選擇;(3)將(1)和(2)的因素作為設(shè)計的功能要求和新研究、產(chǎn)品和服務(wù)的發(fā)展。類似于Schomberg[5-6]的定義,RRI并不僅僅被定義為一個過程,而是指一種為研究和創(chuàng)新提供某種方向的方法。

    行政定義的特點(diǎn)是包含各種要素,例如預(yù)期、預(yù)測問題和確定替代方案及反映價值觀等等,也有學(xué)者強(qiáng)調(diào)評估、社會期望和評估社會、道德及環(huán)境影響等等,并且確定其優(yōu)先級,同時考慮技術(shù)影響、風(fēng)險和機(jī)遇、預(yù)測和管理問題,快速響應(yīng)不斷變化的環(huán)境和知識。本文采納的是Schomberg[5]的第一種RRI定義,即在面對和解決AI倫理問題的過程中,需要AI技術(shù)研發(fā)人員和社會行動者的共同參與,彼此透明溝通、相互協(xié)商,適當(dāng)嵌入科學(xué)和技術(shù)進(jìn)步理念和觀點(diǎn),這個過程同時會考慮到AI創(chuàng)新過程及AI產(chǎn)品的(道德)可接受性、可持續(xù)性和社會需求。

    2.2.2 學(xué)術(shù)定義

    在學(xué)術(shù)界,大多數(shù)學(xué)者基本肯定了Schomberg[5-6]對RRI的定義,強(qiáng)調(diào)對潛在影響和社會期望的預(yù)期,并讓利益相關(guān)者和公眾參與研究和創(chuàng)新的過程。但部分學(xué)者也有不同見解,如Roco等[8]列出了負(fù)責(zé)任創(chuàng)新的以下4個特征:(1)跨部門和學(xué)科的變革,(2)考慮公平獲取、健康、安全和環(huán)境的問題,(3)政府機(jī)構(gòu)和其他利益相關(guān)者的參與,(4)預(yù)測和適應(yīng)的長期措施;Stilgoe等[9]進(jìn)一步闡述了負(fù)責(zé)任創(chuàng)新的定義:負(fù)責(zé)任的創(chuàng)新意味著通過對當(dāng)前科學(xué)和創(chuàng)新的集體管理來關(guān)注未來;Stahl[10]將RRI視為一種元責(zé)任,將RRI定義為是一個更高層次的責(zé)任或元責(zé)任,旨在塑造、維護(hù)、發(fā)展、協(xié)調(diào)與調(diào)整現(xiàn)有的、新穎的研究和創(chuàng)新相關(guān)的過程、參與者及責(zé)任,以確保理想和可接受的研究成果;劉戰(zhàn)雄[11]認(rèn)為RRI是創(chuàng)新共同體以尊重和維護(hù)人權(quán)、增進(jìn)社會福祉為價值歸旨,以積極承擔(dān)全責(zé)任為方法特征的創(chuàng)新認(rèn)識和創(chuàng)新實(shí)踐;Spruit等[12]將RRI描述為通過評估創(chuàng)新過程結(jié)果的可取性,例如根據(jù)責(zé)任法評估法院的有害產(chǎn)品結(jié)果,評估創(chuàng)新過程的質(zhì)量;晏萍等[13]認(rèn)為RRI是繼可持續(xù)發(fā)展之后歐美國家提出的新的發(fā)展理念,其主要內(nèi)容是將企業(yè)的社會責(zé)任與技術(shù)創(chuàng)新實(shí)踐密切結(jié)合,從倫理角度有效評估和影響技術(shù)創(chuàng)新的各個環(huán)節(jié),以保證技術(shù)創(chuàng)新成果的可持續(xù)性和社會可接受性。

    關(guān)于RRI的內(nèi)涵問題一直是學(xué)術(shù)界熱烈討論的話題,但到目前為止,國內(nèi)外對其具體概念、定義、內(nèi)涵和外延還尚未達(dá)成統(tǒng)一共識。研究人員將RRI主要視為一個包括利益相關(guān)者、預(yù)測、反思、協(xié)商和反饋社會需求和價值的過程;除此之外重要的是,關(guān)于學(xué)術(shù)定義,研究結(jié)果以及作為RRI終點(diǎn)的創(chuàng)新過程的結(jié)果一直被強(qiáng)調(diào),并且將個人責(zé)任作為審議過程的一部分也被考慮在內(nèi)。“負(fù)責(zé)任創(chuàng)新”這一概念是在21世紀(jì)中后期被一些學(xué)者引介到中國,國內(nèi)學(xué)者傾向于Schomberg[5-6]對RRI定義的比較多。

    2.3 RRI的理論框架

    2013年,英國經(jīng)濟(jì)學(xué)家Owen等[14]將負(fù)責(zé)任創(chuàng)新主要通過“四維框架”將倫理因素考量納入整體考量的理論和實(shí)踐來看,即預(yù)期(anticipation)、反 思(reflexivity)、 協(xié) 商(inclusion) 和 反 應(yīng)(responsiveness)。“四維框架”以階段性方式參與作為整體的負(fù)責(zé)任創(chuàng)新過程,得到了學(xué)術(shù)界的普遍認(rèn)可。2017 年,Burget等[1]在總結(jié)了 Owen 等[14]“四維框架”的觀點(diǎn)基礎(chǔ)上,增加了兩個新興的概念:“可持續(xù)性”和“關(guān)懷”??沙掷m(xù)性是指一種可以長久維持的過程或狀態(tài),通常包括生態(tài)可持續(xù)、經(jīng)濟(jì)可持續(xù)和社會可持續(xù)3個組成部分;關(guān)懷是屬于公共領(lǐng)域的維度,指公民自己負(fù)責(zé)代表他們執(zhí)行的決策和行動。在此基礎(chǔ)上,本研究加入“無私利性”這一理論框架。無私利性主要是指科學(xué)研究人員不應(yīng)該以科學(xué)活動或者科技創(chuàng)新的過程及結(jié)果來謀取私利。綜上,構(gòu)成了RRI研究及應(yīng)用的7種理論框架,即:預(yù)期、反思、協(xié)商、反應(yīng)、可持續(xù)性、關(guān)懷和無私利性。

    3 AI定義及AI倫理問題

    如今,AI已經(jīng)從實(shí)驗(yàn)領(lǐng)域走向?qū)嵺`領(lǐng)域,逐漸發(fā)展成為當(dāng)前全球最炙手可熱的技術(shù)之一。隨著2016年和2017年由谷歌公司研發(fā)的AI圍棋軟件“阿爾法狗”分別接連戰(zhàn)勝圍棋大師李世石和柯潔之后,AI的發(fā)展開始快速走向公眾的視野,促使公眾開始思考AI到底是什么及其所帶來的倫理問題。

    3.1 AI定義

    人工智能,于1956年在美國達(dá)特茅斯人工智能夏季研討會的提案上首次被公開提出,該提案由McCarthy等[15]科學(xué)家共同發(fā)起,旨在創(chuàng)造一種機(jī)器,使其學(xué)會使用語言、模仿人類行為和形成抽象的概念,以此來解決人類專有的遇到的各種問題并進(jìn)行自我完善。其后,人工智能逐漸發(fā)展成為一種理念、一類技術(shù)和一門學(xué)科,既是理論概念又是實(shí)踐方式。廣義上,AI是研究、開發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門技術(shù)科學(xué),是計算機(jī)科學(xué)的一個分支,也是計算機(jī)科學(xué)技術(shù)的前沿領(lǐng)域。AI是對人的意識、思維的信息過程的模擬。AI不是人類智能,但能像人那樣思考、更有可能超過人類智能。狹義上,AI是計算機(jī)科學(xué)或智能科學(xué)中涉及研究、設(shè)計和應(yīng)用智能機(jī)器的一個分支,同時也是一門涉及計算機(jī)科學(xué)、信息學(xué)、神經(jīng)心理學(xué)、哲學(xué)、倫理學(xué)、語言學(xué)等學(xué)科,通過學(xué)科融合發(fā)展起來的交叉性學(xué)科。關(guān)于AI的定義,至今還沒有一個統(tǒng)一的表述,總體來看,對AI定義的不同見解都從一定程度上影射出AI的出現(xiàn)對于改善人類生活方式具有非凡的意義。

    3.2 AI倫理問題

    工業(yè)革命前后,科技都以一種正面的力量存在,它被哲學(xué)家高度贊譽(yù),被稱之為一種美德、一種人類社會進(jìn)步的標(biāo)志,但是隨著兩次世界大戰(zhàn)的出現(xiàn),科技開始呈現(xiàn)出負(fù)面的影響,催生了包括核武器在內(nèi)的威脅人類命運(yùn)的成果。即使在當(dāng)前社會AI技術(shù)得到不斷創(chuàng)新和應(yīng)用,人類和社會在享受技術(shù)創(chuàng)新所帶來的便利的同時,也不得不面對技術(shù)創(chuàng)新所帶來的倫理問題。主要概括為以下3個方面:

    (1)安全問題。AI安全問題主要是指AI技術(shù)在應(yīng)用過程中出現(xiàn),危及到人類安全及環(huán)境破壞等造成不良后果的問題。隨著自動駕駛及智能機(jī)器人等AI技術(shù)的發(fā)展,出現(xiàn)了諸如自動駕駛成為武器,人類應(yīng)該如何應(yīng)對這一類問題。2018年3月20日,美國亞利桑那州坦佩市一輛處于自動駕駛模式的Uber自動駕駛汽車在進(jìn)行路況測試時撞死一位過路的行人,這次交通事故成為全球首起自動駕駛致死案例,由此,AI技術(shù)的安全問題引起了社會廣泛的關(guān)注和討論。2019年3月10日,埃塞俄比亞航空公司一架型號為波音737MAX8的客機(jī)在起飛6分鐘后進(jìn)入無人駕駛的階段,發(fā)生墜毀導(dǎo)致機(jī)上全部人員遇難,這也是繼獅航空難事件之后該型號客機(jī)第二次發(fā)生安全事故,因此,相關(guān)專家及公眾把此次有關(guān)安全問題的矛頭指向AI自動駕駛技術(shù),其安全隱患無法使公眾放心。自動駕駛技術(shù)的研發(fā)本著方便出行,然而對創(chuàng)新的反思不足,給人類帶來便利的同時也帶來了災(zāi)難。

    (2)隱私問題。AI隱私問題主要是指AI技術(shù)在應(yīng)用過程中出現(xiàn)的私人信息或者大數(shù)據(jù)泄露等問題。隨著大數(shù)據(jù)技術(shù)、人臉識別技術(shù)、指紋識別技術(shù)、聲控識別技術(shù)及云計算技術(shù)等技術(shù)的興起,出現(xiàn)了諸如公眾個人信息能否在應(yīng)用中得到保障這一類問題。發(fā)展AI需大量數(shù)據(jù)的積累,利用大量數(shù)據(jù)訓(xùn)練算法可提高AI解決問題的能力,但這也威脅到個人隱私,成為開發(fā)數(shù)據(jù)資源價值過程中最突出的倫理挑戰(zhàn)。2017年9月,美國三大個人信用評估機(jī)構(gòu)之一的Equifax被爆出遭遇黑客攻擊,約有1.42億用戶的個人重要信息面臨泄漏。2018年11月,美國匯豐銀行通知客戶發(fā)生了數(shù)據(jù)泄露,攻擊者訪問了該金融機(jī)構(gòu)的在線賬戶,泄露信息包括用戶的詳細(xì)個人信息、賬戶信息和交易記錄。由此可見,大數(shù)據(jù)算法的研發(fā)本是方便數(shù)據(jù)管理和儲存的,然而因缺乏預(yù)測可能會出現(xiàn)的后果,造成應(yīng)用過程中的數(shù)據(jù)泄露。又如人臉識別技術(shù)的研發(fā),本是為方便刷臉解鎖及刷臉支付等私密和快捷的體驗(yàn),但如果不充分考慮和保證隱私保護(hù)問題而被不法分子肆意濫用,將帶來一系列不可預(yù)期的后果。

    (3)后果問題。AI后果問題主要是指AI在研發(fā)初期、應(yīng)用過程以及應(yīng)用之后可能會帶來的一些負(fù)面影響或者是具有爭議的復(fù)雜后果的問題。隨著智能機(jī)器人、AI金融及AI醫(yī)療等技術(shù)的不斷發(fā)展,技術(shù)創(chuàng)新既會對人類主體地位帶來威脅,又會出現(xiàn)技術(shù)倫理道德等問題,出現(xiàn)了諸如基因技術(shù)或生物工程技術(shù)是否會導(dǎo)致基因重組、對環(huán)境造成破壞之后誰來承擔(dān)責(zé)任等問題。2014年,由英國皇家學(xué)會舉行的“2014圖靈測試”大會上,一個名為尤金·古斯特曼(Eugene Goostman)的聊天程序上演了一場精彩的與人類對話,首次通過了圖靈測試,讓人誤以為尤金是個13歲的孩子,因此讓人不得不重新思考AI是否有一天會超越人類思維、是否應(yīng)該制止AI的發(fā)展。醫(yī)療機(jī)器人在降低醫(yī)療成本的同時也帶來了責(zé)任問題,如手術(shù)機(jī)器人在提高手術(shù)成功率方面表現(xiàn)優(yōu)異,但安全風(fēng)險一樣存在,如果機(jī)器人在手術(shù)中發(fā)生系統(tǒng)故障,將直接危及患者的健康甚至生命安全,此類醫(yī)療事故存在責(zé)任認(rèn)定的困難。因此,在技術(shù)研發(fā)初期就應(yīng)該充分預(yù)測其可能帶來的后果問題,以免陷入倫理困境。

    以上幾種倫理問題均指向AI技術(shù)創(chuàng)新給人類和社會所帶來的一系列影響,同時,也促使人們開始思考到底什么樣的AI才是可行、可應(yīng)用的,AI技術(shù)創(chuàng)新的每個階段需要結(jié)合什么樣的責(zé)任才可以更安全,因此,把RRI框架的各個方面和AI技術(shù)研發(fā)、創(chuàng)新和成果的每個階段結(jié)合在一起,可以完善AI技術(shù)的理論和應(yīng)用的實(shí)踐性。

    4 基于RRI框架的AI倫理問題分析

    基于已有的6種RRI框架,筆者通過學(xué)習(xí)科學(xué)的社會規(guī)范認(rèn)為,無私利性是從科研人員利益角度出發(fā)進(jìn)行分析,故新增無私利性框架。無私利性作為RRI框架,可以大大減少因科研人員和科研機(jī)構(gòu)追逐利益為目標(biāo)而產(chǎn)生的AI倫理問題??蒲腥藛T是科技創(chuàng)新的直接利益相關(guān)者,如果在科技研發(fā)之初就忽視利益問題而重視科技產(chǎn)品的價值和品質(zhì),那么將大大有益于科技創(chuàng)新的發(fā)展。

    4.1 AI技術(shù)研發(fā)之處嵌入預(yù)期維度

    預(yù)期旨在展望研究和創(chuàng)新的未來,通過對當(dāng)前狀態(tài)的分析展望未來。預(yù)期促使研究人員和組織機(jī)構(gòu)關(guān)心“如果……會怎樣?”的問題[16],還要考慮偶然事件、已知事物、可能性、合理性和可行性。預(yù)期涉及提高復(fù)原力的系統(tǒng)思考,同時揭示創(chuàng)新的新機(jī)會和為社會穩(wěn)健風(fēng)險研究制定議程。負(fù)責(zé)任創(chuàng)新把關(guān)注的重點(diǎn)從風(fēng)險轉(zhuǎn)移到創(chuàng)新本身,從對下游環(huán)節(jié)( 后果) 的關(guān)注轉(zhuǎn)移到對上游環(huán)節(jié)( 創(chuàng)新) 的關(guān)注,可以避免基于風(fēng)險的危害評估不能提供關(guān)于未來后果的早期預(yù)警的弊端[17]。因此,預(yù)期維度主要指負(fù)責(zé)任創(chuàng)新主體基于現(xiàn)有條件,對未來可能出現(xiàn)的科技創(chuàng)新和科技研究對自然社會、人類社會以及其他宇宙空間等帶來的后果給予一定的描述、分析和預(yù)測。預(yù)期維度高度關(guān)注研究和創(chuàng)新的初始階段,而非創(chuàng)新成果所帶來的影響。

    AI技術(shù)創(chuàng)新所帶來的是一種不確定的后果,或有益或有害。如果將負(fù)責(zé)任創(chuàng)新的預(yù)期維度嵌入到AI技術(shù)的創(chuàng)新和發(fā)展起始之時,那么,以個體或者小集體為單位的責(zé)任主體以及以利益為目標(biāo)的科研人員和生產(chǎn)商就顯得不足以應(yīng)對可能會出現(xiàn)后果。負(fù)責(zé)任創(chuàng)新的主體不僅僅是關(guān)乎決策機(jī)構(gòu)、研究機(jī)構(gòu)、高等院校、社會組織等主體間關(guān)系,也牽涉利益綜合、權(quán)力沖突和話語選擇間的博弈,還與技術(shù)可行性、經(jīng)濟(jì)效益和倫理考量密切相關(guān),還可包括創(chuàng)新者之外的決策者、生產(chǎn)者、銷售者、消費(fèi)者、服務(wù)者及個體之外的集體等等。對于技術(shù)創(chuàng)新可能潛在的風(fēng)險,我們可以通過預(yù)測進(jìn)行系統(tǒng)化的考察和評估,從而更好地做到未來發(fā)展規(guī)劃和風(fēng)險規(guī)避,使AI技術(shù)創(chuàng)新更具有價值性和有益性。正如Rose[18]所強(qiáng)調(diào)的,對技術(shù)潛在影響的預(yù)期有助于(1)反思研究項(xiàng)目的動機(jī)和影響,(2)更清楚地了解不確定性和困境,(3)向更廣泛的公眾開放愿景和(4)利用成果塑造研究和創(chuàng)新軌跡。因此,預(yù)測在研發(fā)開始時起著重要作用。

    4.2 AI技術(shù)創(chuàng)新過程中嵌入反思維度

    負(fù)責(zé)任意味著行動者和組織機(jī)構(gòu)需要對自身進(jìn)行反思。Stilgoe等[9]學(xué)者認(rèn)為,在RRI的背景下將反思定義為堅(jiān)持某個活動的承諾和假設(shè),了解知識的局限性并注意某個問題的特定框架可能不會普遍存在,并且意識到社會科學(xué)家和哲學(xué)家已經(jīng)開始努力參與到實(shí)驗(yàn)室過程中。Wynne[19]認(rèn)為,責(zé)任將反思性轉(zhuǎn)化為公共事務(wù),需要一種制度性的反思,由此,反思這一概念開始得到了重視。在當(dāng)前階段,概念維度的反思性旨在反映技術(shù)研究和開發(fā)過程中的價值觀和信念。一些學(xué)者認(rèn)為對反思的理解和應(yīng)用離不開公眾對話、公眾參與、科學(xué)和公共合作,強(qiáng)調(diào)了將預(yù)期與反思性聯(lián)系起來的重要性,這些都是了解反思的關(guān)鍵。一些學(xué)者認(rèn)為反思旨在對科技創(chuàng)新的研究和開發(fā)過程中的價值和信念進(jìn)行思考,反思的過程離不開公眾的參與,注重預(yù)期與反思性相結(jié)合。因此,主動反思將成為讓公眾參與討論科技倫理問題的有效工具。

    將反思維度貫穿于AI技術(shù)的研發(fā)和發(fā)展使用過程中顯得很有必要。公眾參與、公眾對話以及科學(xué)和公眾合作等,讓公眾直接參與到科技研發(fā)過程之中,讓科技不僅僅是科技發(fā)明者和創(chuàng)新者的專屬,這樣可以更加高效地提升AI技術(shù)的價值性和創(chuàng)造性,同時也有效避免因單一方面參與者的技術(shù)研發(fā)所帶來的社會問題和倫理問題。我們可以建立一套AI技術(shù)研發(fā)的科研人員行為規(guī)范準(zhǔn)則,使反思成為科研人員和科研機(jī)構(gòu)必須遵守的一種理念;公眾和機(jī)構(gòu)的參與不僅能夠促使研發(fā)者反思自己的價值體系,而且還有助于在科學(xué)和創(chuàng)新實(shí)踐中建立反思能力。反思性要求科學(xué)家們在公共場合模糊他們的角色責(zé)任與更廣泛的道德責(zé)任之間的界限,因此它要求科學(xué)和創(chuàng)新文化中的開放與領(lǐng)導(dǎo)。

    4.3 AI技術(shù)研發(fā)及應(yīng)用過程中嵌入?yún)f(xié)商維度

    協(xié)商旨在讓不同的利益相關(guān)者參與到研究和創(chuàng)新的早期階段。Schomberg[5]認(rèn)為,每個人的肩上都承擔(dān)著特定的道德責(zé)任,然后這些人形成集體參與,通過集體辯論作出決策。為了履行這一道德責(zé)任,Schomberg[5]和 Owen 等[14]學(xué)者將這一責(zé)任與確定社會期望的結(jié)果聯(lián)系起來,認(rèn)為通過公眾參與可以實(shí)現(xiàn)社會期望的結(jié)果。對于技術(shù)問題的解決,公眾參與和公眾協(xié)商同樣是必不可少的,同時,經(jīng)濟(jì)和人文環(huán)境也有其存在意義。有學(xué)者認(rèn)為,讓公眾參與到研究和開發(fā)的早期階段,將會對技術(shù)發(fā)展產(chǎn)生積極的影響?;诖?,將RRI的理念作為行為準(zhǔn)則,指引各個行為者遵循安全、道德和有效的框架原則。在實(shí)踐中,通常被采用的方法和技術(shù)有公民陪審團(tuán)和公民小組、專門小組、共識會議、科學(xué)商店等等,但不包括構(gòu)建特定種類的公眾,權(quán)力不平衡將繼續(xù)存在。

    協(xié)商是最能表征RRI的概念維度。在大多數(shù)情況下,RRI與研究和開發(fā)中的社會包容性相關(guān)聯(lián),并且概念維度的實(shí)際實(shí)施已經(jīng)開始出現(xiàn)。作為RRI的主要特征,協(xié)商需要更多反思性和批判性的學(xué)術(shù)討論,因此,AI技術(shù)的研發(fā)和創(chuàng)新也需要加入?yún)f(xié)商維度的討論。協(xié)商主體不僅應(yīng)該包含科技創(chuàng)新的直接利益相關(guān)者,也應(yīng)該包含科技創(chuàng)新的間接利益相關(guān)者。負(fù)責(zé)任創(chuàng)新本著以公共利益為導(dǎo)向,以公眾參與、信息透明、民主化治理為手段,推動公眾集體應(yīng)對技術(shù)倫理挑戰(zhàn),通過協(xié)商,可以大大降低技術(shù)創(chuàng)新的不安全后果、倫理道德責(zé)任的缺失以及對生態(tài)環(huán)境的破壞,還可以更好地解決科研人員和人民群眾之間存在的不理解和不信任,無論是科研人員還是技術(shù)的使用者、受用者,都可以通過共同探討的方式重新評估和解決AI技術(shù)多帶來的諸多倫理問題。

    4.4 AI技術(shù)成果嵌入反應(yīng)能力

    反應(yīng)能力是反饋能力和響應(yīng)能力的總稱。負(fù)責(zé)任創(chuàng)新需要具有根據(jù)利益相關(guān)者的反應(yīng)和變化情況對框架和方向進(jìn)行調(diào)整。在實(shí)踐中反應(yīng)能力主要集中在主要集中在同化、反應(yīng)或排他性的態(tài)度,而不是回應(yīng)或包容。反應(yīng)能力包含風(fēng)險識別、透明度和無障礙性。新技術(shù)涉及的風(fēng)險或是中期、或是長期,或者與經(jīng)濟(jì)有關(guān)、或者是與環(huán)境有關(guān)、抑或是與社會相關(guān)聯(lián)。歐盟通過無障礙獲取意味著開放獲取科學(xué)成果,也就是說公共資助研究的結(jié)果必須向公眾開放,具有一定的透明度。在一些分析性的文獻(xiàn)中,涉及反應(yīng)能力的討論主要與道德、風(fēng)險、透明度和可訪問性等相關(guān)。

    AI技術(shù)研發(fā)過程所需要的時間是不確定的,技術(shù)觸及的風(fēng)險類別也是不確定的,所以應(yīng)該將風(fēng)險類別、障礙程度等因素融入反應(yīng)能力中,以便在技術(shù)研發(fā)過程中不斷得到反饋,作出正確的響應(yīng),提前識別和預(yù)防技術(shù)導(dǎo)致的風(fēng)險以及帶來得危害或損失;同時,AI技術(shù)的正負(fù)作用應(yīng)該具有一定的透明性,至少是對技術(shù)操作人員來說是透明的,避免像波音737MAX客機(jī)事件的發(fā)生。此外,公眾也可以參與進(jìn)來,及時有效地提出意見,便于對創(chuàng)新過程中的方法進(jìn)行調(diào)整;同時,國家或者政府等權(quán)威機(jī)構(gòu)也可以無障礙獲取AI技術(shù)成果,以達(dá)到及時的監(jiān)管和監(jiān)督效果。

    4.5 AI技術(shù)產(chǎn)品嵌入可持續(xù)性

    可持續(xù)性通常指的是新產(chǎn)品的資源效率。雖然可持續(xù)性的概念可以在大多數(shù)文獻(xiàn)中找到,但其還沒有明確地被稱為概念維度。“歐盟2020戰(zhàn)略”強(qiáng)調(diào)了科學(xué)與技術(shù)之間的合作是保證可持續(xù)和包容性經(jīng)濟(jì)增長的關(guān)鍵因素,Galdon-Clavell[20]支持這種想法并提出了“智慧城市”這一觀點(diǎn),認(rèn)為當(dāng)社會資本和基礎(chǔ)設(shè)施投資通過預(yù)期治理來合理管理人力資源,以此支持可持續(xù)經(jīng)濟(jì)增長時,那么這個城市是“智慧”的。Owen 等[14]認(rèn)為,在討論社會需求和價值觀等問題時也應(yīng)考慮可持續(xù)性。Flipse等[21]也支持“歐盟2020戰(zhàn)略”中的觀點(diǎn),認(rèn)為研究和創(chuàng)新與社會責(zé)任密切相關(guān),因?yàn)樗鼈兛梢詭椭岣呖沙掷m(xù)性產(chǎn)品。也有觀點(diǎn)認(rèn)為,資源使用不足是資源節(jié)約型和科技創(chuàng)新需要解決的主要問題。

    AI技術(shù)產(chǎn)品如果嵌入可持續(xù)性這一觀點(diǎn),可以提升資源的有效利用和長期發(fā)展,同時大大降低“科技垃圾”的生產(chǎn),也可以提高社會經(jīng)濟(jì)的可持續(xù)增長。正如智慧城市想法的提出,以創(chuàng)造“智慧科技”,節(jié)能、環(huán)保、可持續(xù)的AI技術(shù)產(chǎn)品。AI技術(shù)的研發(fā)和創(chuàng)新應(yīng)與社會責(zé)任息息相關(guān),社會責(zé)任在提高資源可持續(xù)和技術(shù)產(chǎn)品可持續(xù)上發(fā)揮著獨(dú)特的影響力,因此,科技創(chuàng)新需要遵循可持續(xù)發(fā)展理念,以建設(shè)環(huán)境友好型社會。

    4.6 AI技術(shù)研發(fā)和創(chuàng)新過程中嵌入關(guān)懷

    關(guān)懷指的是以一種獨(dú)特的方式將道德心理學(xué)和發(fā)展與道德考慮的范圍聯(lián)系起來,面向未來的倫理學(xué)的主要問題是如何處理來自技術(shù)創(chuàng)新等社會實(shí)踐的不確定性。Owen等[14]描述了預(yù)期、反思、協(xié)商和反應(yīng)等4個概念維度,但并不專注于作為判斷環(huán)境的內(nèi)在決定者的人,因此,公民自己負(fù)責(zé)代表他們執(zhí)行的決策和行動。引入關(guān)懷的概念,人們積極采取的責(zé)任理念開始變得重要。關(guān)懷同時被解釋為人們共同發(fā)展感知、行動和判斷能力的過程。關(guān)懷作為RRI的一個單獨(dú)的概念維度是重要的,以便不將包容性視為滿足重大挑戰(zhàn)的手段,而是將人們的高目標(biāo)和日常實(shí)踐結(jié)合起來的一種方式,但并不專指將人們共同的發(fā)展感知、行動和判斷能力作為判斷環(huán)境的內(nèi)在決定者的人。因此,通過引入關(guān)懷的概念,作為主體的我們開始重視采取積極的責(zé)任理念。

    在AI技術(shù)研發(fā)和創(chuàng)新過程中,如果嵌入RRI理念中的關(guān)懷,就要求科技研發(fā)人員以及參與到技術(shù)創(chuàng)新中的人應(yīng)該關(guān)懷AI技術(shù)給人類所帶來的影響。這一理念應(yīng)該貫穿于科技創(chuàng)新的整個過程,從構(gòu)思到實(shí)際應(yīng)用的方方面面,以此有效避免在科技創(chuàng)新為人類服務(wù)及工作的同時對人類的生活質(zhì)量和社會環(huán)境可能造成的影響,也可以是AI技術(shù)與人類更好地和平共處。

    4.7 AI技術(shù)科研人員持有無私利性理念

    無私利性要求科研人員在科技研發(fā)過程中,不應(yīng)該把科技成果視為追求名譽(yù)、地位、聲望的“敲門磚”,或者是運(yùn)用不正當(dāng)?shù)氖侄卧诟偁幹刑岣咦约?,更不?yīng)該以追求科技產(chǎn)品所帶來的利益為價值指標(biāo)。無私利性規(guī)范要求科學(xué)家不以科學(xué)活動謀取私利。Groves[22]認(rèn)為,面向未來倫理學(xué)的主要問題是如何處理來自技術(shù)創(chuàng)新等社會實(shí)踐的不確定性,尤其是科技創(chuàng)新工作者或者科技創(chuàng)新機(jī)構(gòu)的不確定性。良好的研發(fā)開端才可能會產(chǎn)生有價值的科技創(chuàng)新成果。

    因此,AI技術(shù)的研發(fā)人員或科研機(jī)構(gòu)應(yīng)該在創(chuàng)新之初持有無私利性的理念,并且將此理念貫穿于科技研發(fā)的整個過程以及科技成果的使用,不應(yīng)該以單純追求經(jīng)濟(jì)利益和社會利益等為目的,而應(yīng)該首先忽略可能會帶來的利益,忽略可能因?yàn)檫@一科技創(chuàng)新成果所帶來的名譽(yù)、地位等超過科技成果本身所帶來的價值,秉持無私利性的科學(xué)態(tài)度,為科技創(chuàng)新塑造良好的價值理念。

    5 結(jié)論與展望

    RRI自被提出以來雖然只有20年的時間,在定義和概念維度仍然缺乏明確性,但其理念已經(jīng)在納米科技、環(huán)境治理等多項(xiàng)新興技術(shù)中得以應(yīng)用,是歐美前沿的科技創(chuàng)新與研究理念;并且,RRI的概念已經(jīng)開始出現(xiàn)在不同的機(jī)構(gòu)文件和研究出版物中。盡管負(fù)責(zé)任創(chuàng)新的發(fā)展存在一定的局限性,但是,負(fù)責(zé)任創(chuàng)新的責(zé)任范疇已愈加廣泛。從橫向來看(空間),負(fù)責(zé)任創(chuàng)新的應(yīng)用范圍非常廣泛,涉及人類社會、自然社會和宇宙空間等因素;從縱向來看(時間),負(fù)責(zé)任創(chuàng)新的責(zé)任范疇始終貫穿在創(chuàng)新準(zhǔn)備、創(chuàng)新過程和創(chuàng)新結(jié)果之中。根據(jù)對RRI定義、概念維度和框架的討論,可以認(rèn)為RRI本質(zhì)上是一種管理研究和創(chuàng)新的嘗試,以便在研究和開發(fā)的早期階段納入所有利益相關(guān)者和公眾;反過來,把不同的參與者和公眾都考慮在內(nèi),意味著增加預(yù)測和辨別研究創(chuàng)新如何能夠或可能使社會受益,以及防止任何負(fù)面后果發(fā)生的可能性。

    AI技術(shù)產(chǎn)品越來越成為人們?nèi)粘9ぷ骷吧畈豢扇鄙俚囊环葑?,因此,嵌入RRI框架來解決AI倫理問題成為可能,值得我們深入研究。通過預(yù)期、反思、協(xié)商、反應(yīng)、可持續(xù)性、關(guān)懷、無私利性等框架理念,可以有效減緩AI倫理問題的產(chǎn)生。但是從長遠(yuǎn)的發(fā)展?fàn)顩r來看,RRI框架不足以應(yīng)對倫理問題的解決,還需要倫理道德規(guī)范和倫理法律的實(shí)施、多元學(xué)科與多元領(lǐng)域的協(xié)作、創(chuàng)新制度和法律法規(guī)的完善。不僅如此,AI技術(shù)的發(fā)展也是任重而道遠(yuǎn)的。

    猜你喜歡
    倫理定義公眾
    《心之死》的趣味與倫理焦慮
    公眾號3月熱榜
    公眾號9月熱榜
    公眾號8月熱榜
    公眾號5月熱榜
    護(hù)生眼中的倫理修養(yǎng)
    活力(2019年19期)2020-01-06 07:37:00
    成功的定義
    山東青年(2016年1期)2016-02-28 14:25:25
    醫(yī)改莫忘構(gòu)建倫理新機(jī)制
    修辭學(xué)的重大定義
    婚姻家庭法的倫理性及其立法延展
    在线观看一区二区三区| 校园人妻丝袜中文字幕| 性高湖久久久久久久久免费观看| 亚洲欧美中文字幕日韩二区| 久久综合国产亚洲精品| 免费不卡的大黄色大毛片视频在线观看| 国产成人精品久久久久久| 亚洲精品中文字幕在线视频 | 久久久久久久久久成人| 精品99又大又爽又粗少妇毛片| 日本一二三区视频观看| 噜噜噜噜噜久久久久久91| freevideosex欧美| 欧美日韩一区二区视频在线观看视频在线| 亚洲精品一区蜜桃| 国产亚洲精品久久久com| 亚洲国产欧美人成| 亚洲欧美日韩无卡精品| av天堂中文字幕网| 国产欧美日韩精品一区二区| 欧美成人精品欧美一级黄| 亚洲成人手机| 亚洲国产欧美人成| 中国三级夫妇交换| 久久精品国产自在天天线| 国产探花极品一区二区| 内地一区二区视频在线| 熟女人妻精品中文字幕| 国产免费视频播放在线视频| 校园人妻丝袜中文字幕| 搡女人真爽免费视频火全软件| 天天躁夜夜躁狠狠久久av| 免费观看在线日韩| 日本-黄色视频高清免费观看| 欧美日本视频| 毛片女人毛片| a级毛片免费高清观看在线播放| 欧美高清性xxxxhd video| 国产精品久久久久久久久免| 狂野欧美白嫩少妇大欣赏| 免费观看无遮挡的男女| 丰满迷人的少妇在线观看| 欧美日韩精品成人综合77777| av在线蜜桃| 国产欧美亚洲国产| 80岁老熟妇乱子伦牲交| 99久久人妻综合| 精品人妻一区二区三区麻豆| av线在线观看网站| 国产美女午夜福利| 欧美国产精品一级二级三级 | 熟女电影av网| 亚洲精品一二三| 精品99又大又爽又粗少妇毛片| 水蜜桃什么品种好| 精品久久久精品久久久| 国精品久久久久久国模美| 丰满乱子伦码专区| 一级片'在线观看视频| 精品久久久久久久久亚洲| 日韩av不卡免费在线播放| 国产精品99久久久久久久久| 久久久久久人妻| 亚洲国产色片| 天美传媒精品一区二区| 爱豆传媒免费全集在线观看| 只有这里有精品99| 精品国产露脸久久av麻豆| 18+在线观看网站| 久久久久久人妻| 少妇 在线观看| 美女内射精品一级片tv| 欧美少妇被猛烈插入视频| 婷婷色综合大香蕉| 久久人妻熟女aⅴ| 国产伦理片在线播放av一区| 少妇精品久久久久久久| 免费看av在线观看网站| 中文字幕亚洲精品专区| 亚洲精品中文字幕在线视频 | 99视频精品全部免费 在线| 成人一区二区视频在线观看| av黄色大香蕉| 午夜精品国产一区二区电影| 国产一级毛片在线| 狂野欧美白嫩少妇大欣赏| 久久久久久久精品精品| 日韩强制内射视频| 激情五月婷婷亚洲| 国产亚洲午夜精品一区二区久久| 97在线视频观看| 九色成人免费人妻av| 高清av免费在线| 亚洲内射少妇av| 精品一区在线观看国产| 97在线视频观看| 亚洲国产欧美在线一区| 午夜福利在线在线| 肉色欧美久久久久久久蜜桃| 网址你懂的国产日韩在线| 国产精品一区二区性色av| 天堂中文最新版在线下载| 免费大片黄手机在线观看| 秋霞伦理黄片| 亚洲丝袜综合中文字幕| 国产高清三级在线| 亚洲不卡免费看| 乱系列少妇在线播放| 亚洲欧美中文字幕日韩二区| 国产淫片久久久久久久久| 国产精品熟女久久久久浪| 一区二区三区乱码不卡18| 一级二级三级毛片免费看| 色吧在线观看| 精品国产三级普通话版| 自拍欧美九色日韩亚洲蝌蚪91 | 国产免费一级a男人的天堂| 老司机影院毛片| 免费av不卡在线播放| 亚洲av二区三区四区| 亚洲色图av天堂| 久久久久久久久久久免费av| av天堂中文字幕网| 大香蕉久久网| 亚洲中文av在线| 亚洲色图av天堂| a级一级毛片免费在线观看| 亚洲国产毛片av蜜桃av| 直男gayav资源| 特大巨黑吊av在线直播| 成人二区视频| 婷婷色av中文字幕| 亚洲av综合色区一区| av线在线观看网站| 欧美成人午夜免费资源| 久久久久久久久久久丰满| 乱码一卡2卡4卡精品| 亚洲第一av免费看| av在线老鸭窝| 丝袜喷水一区| 久久精品熟女亚洲av麻豆精品| 一个人免费看片子| 欧美高清成人免费视频www| 黄色配什么色好看| 日韩,欧美,国产一区二区三区| 伦理电影大哥的女人| 免费av不卡在线播放| 国产乱人视频| 亚洲av成人精品一二三区| 亚洲熟女精品中文字幕| 亚洲av二区三区四区| 性高湖久久久久久久久免费观看| 成人免费观看视频高清| 中文天堂在线官网| 亚洲精品日韩av片在线观看| 男女下面进入的视频免费午夜| 国产爱豆传媒在线观看| 国产极品天堂在线| 精品国产乱码久久久久久小说| 国产伦精品一区二区三区视频9| 九九久久精品国产亚洲av麻豆| 美女国产视频在线观看| 久久人人爽人人爽人人片va| 美女xxoo啪啪120秒动态图| 欧美成人a在线观看| 国产精品一区www在线观看| 亚洲国产精品成人久久小说| 在现免费观看毛片| 国产在视频线精品| 美女cb高潮喷水在线观看| 午夜激情福利司机影院| 色视频www国产| 内地一区二区视频在线| av国产免费在线观看| 高清毛片免费看| 亚洲av在线观看美女高潮| 熟妇人妻不卡中文字幕| 亚洲国产毛片av蜜桃av| 赤兔流量卡办理| 人妻一区二区av| 国产成人一区二区在线| 久久鲁丝午夜福利片| 人人妻人人澡人人爽人人夜夜| av.在线天堂| 高清黄色对白视频在线免费看 | 小蜜桃在线观看免费完整版高清| av专区在线播放| 18+在线观看网站| 黄色一级大片看看| 大香蕉久久网| 在线观看免费日韩欧美大片 | 香蕉精品网在线| 男人添女人高潮全过程视频| 欧美激情极品国产一区二区三区 | 国产熟女欧美一区二区| 日本免费在线观看一区| 高清黄色对白视频在线免费看 | 国产av精品麻豆| 久久久亚洲精品成人影院| 99久久中文字幕三级久久日本| 免费av中文字幕在线| 国产综合精华液| 亚洲综合精品二区| 青春草国产在线视频| 18禁动态无遮挡网站| 伊人久久国产一区二区| 日本欧美视频一区| 国产在线男女| 国产精品久久久久久久电影| 日本色播在线视频| 国产精品爽爽va在线观看网站| 91精品国产国语对白视频| 日韩亚洲欧美综合| 在线免费观看不下载黄p国产| 成人二区视频| 99久久精品一区二区三区| 女人久久www免费人成看片| 亚洲中文av在线| 边亲边吃奶的免费视频| 美女中出高潮动态图| 美女中出高潮动态图| 久久鲁丝午夜福利片| 欧美最新免费一区二区三区| 中文字幕av成人在线电影| 搡女人真爽免费视频火全软件| 18禁在线播放成人免费| 欧美精品亚洲一区二区| av黄色大香蕉| 日韩成人伦理影院| 亚洲色图av天堂| 永久免费av网站大全| 在线观看免费日韩欧美大片 | 国产亚洲一区二区精品| 老熟女久久久| a级一级毛片免费在线观看| 久久鲁丝午夜福利片| 制服丝袜香蕉在线| 黄片无遮挡物在线观看| 日日撸夜夜添| 青春草亚洲视频在线观看| 97热精品久久久久久| 国产黄色视频一区二区在线观看| 欧美日韩亚洲高清精品| 日本欧美视频一区| 十八禁网站网址无遮挡 | 老司机影院毛片| 亚洲精品日韩在线中文字幕| 色吧在线观看| 最近中文字幕高清免费大全6| 少妇熟女欧美另类| 国产色爽女视频免费观看| 久久女婷五月综合色啪小说| 3wmmmm亚洲av在线观看| 久久久久视频综合| 天美传媒精品一区二区| 简卡轻食公司| 久久久久久久久久久丰满| 国产在线免费精品| 久久久午夜欧美精品| 国产国拍精品亚洲av在线观看| 毛片一级片免费看久久久久| 男人狂女人下面高潮的视频| 中文资源天堂在线| 男的添女的下面高潮视频| 久久久国产一区二区| 王馨瑶露胸无遮挡在线观看| 亚洲精品成人av观看孕妇| 亚洲av不卡在线观看| 97超碰精品成人国产| 成人毛片60女人毛片免费| 各种免费的搞黄视频| 最后的刺客免费高清国语| a级毛色黄片| 久久久精品免费免费高清| 免费观看av网站的网址| 欧美日韩精品成人综合77777| 久久久国产一区二区| 91精品伊人久久大香线蕉| 亚洲成人一二三区av| 欧美变态另类bdsm刘玥| 在线天堂最新版资源| 视频区图区小说| 青青草视频在线视频观看| 免费在线观看成人毛片| 国产在线男女| 久久精品人妻少妇| 亚洲国产精品一区三区| 热re99久久精品国产66热6| 国产伦精品一区二区三区四那| 插逼视频在线观看| 国产 一区精品| 激情 狠狠 欧美| 麻豆精品久久久久久蜜桃| 午夜免费观看性视频| 国产永久视频网站| 99久久精品热视频| 视频中文字幕在线观看| 亚洲欧美一区二区三区国产| 国产亚洲av片在线观看秒播厂| 亚洲最大成人中文| 2022亚洲国产成人精品| 久久久国产一区二区| 夜夜骑夜夜射夜夜干| 18禁动态无遮挡网站| 国产一区二区三区综合在线观看 | 夜夜看夜夜爽夜夜摸| 看非洲黑人一级黄片| 丰满乱子伦码专区| av不卡在线播放| 亚洲精品乱码久久久v下载方式| 亚洲欧美成人精品一区二区| 欧美xxⅹ黑人| av免费观看日本| 国产高清国产精品国产三级 | 欧美激情极品国产一区二区三区 | 亚洲精品视频女| 黑人高潮一二区| 91精品国产国语对白视频| 久久精品久久久久久久性| 成人午夜精彩视频在线观看| 免费观看在线日韩| 亚洲伊人久久精品综合| 国产av国产精品国产| 日本黄色片子视频| 赤兔流量卡办理| 国产高潮美女av| 最近最新中文字幕免费大全7| 啦啦啦中文免费视频观看日本| 久久久久国产精品人妻一区二区| 精品久久久噜噜| 在线观看人妻少妇| 国产av一区二区精品久久 | 亚洲成人中文字幕在线播放| 久久6这里有精品| 久久久久久久久久久丰满| 一级毛片黄色毛片免费观看视频| 自拍欧美九色日韩亚洲蝌蚪91 | 日本av手机在线免费观看| 人妻系列 视频| 人妻 亚洲 视频| 午夜日本视频在线| 免费观看性生交大片5| 亚洲精品乱码久久久v下载方式| 国产精品久久久久久久电影| 国产亚洲午夜精品一区二区久久| 少妇人妻精品综合一区二区| 久热这里只有精品99| 亚洲av欧美aⅴ国产| 中国国产av一级| 99热这里只有精品一区| 成人免费观看视频高清| 中国三级夫妇交换| 国语对白做爰xxxⅹ性视频网站| 高清在线视频一区二区三区| 岛国毛片在线播放| 免费播放大片免费观看视频在线观看| 国模一区二区三区四区视频| 高清毛片免费看| 身体一侧抽搐| 噜噜噜噜噜久久久久久91| 狠狠精品人妻久久久久久综合| 人人妻人人澡人人爽人人夜夜| 99热网站在线观看| 水蜜桃什么品种好| av专区在线播放| 日韩人妻高清精品专区| 色视频在线一区二区三区| 欧美成人午夜免费资源| 少妇高潮的动态图| 搡女人真爽免费视频火全软件| 99久久综合免费| 国产大屁股一区二区在线视频| 在线天堂最新版资源| 国产精品人妻久久久影院| 青春草国产在线视频| 三级经典国产精品| 五月玫瑰六月丁香| 久久人人爽人人片av| 内射极品少妇av片p| 日韩伦理黄色片| av在线播放精品| 亚洲美女搞黄在线观看| 久久人妻熟女aⅴ| 在线观看国产h片| 亚洲精品一区蜜桃| 日韩人妻高清精品专区| 国产高清国产精品国产三级 | 久久女婷五月综合色啪小说| 久久99热这里只有精品18| 婷婷色综合www| 午夜免费观看性视频| 国产黄频视频在线观看| 女人十人毛片免费观看3o分钟| 亚洲国产精品国产精品| 亚洲真实伦在线观看| 一二三四中文在线观看免费高清| 性色av一级| www.av在线官网国产| 色婷婷av一区二区三区视频| 黄色视频在线播放观看不卡| 女性生殖器流出的白浆| 精品午夜福利在线看| 国产视频内射| 九九在线视频观看精品| 欧美精品国产亚洲| 日韩一区二区三区影片| 亚洲,欧美,日韩| 视频区图区小说| 一本久久精品| 成年女人在线观看亚洲视频| 亚洲精品视频女| 色视频在线一区二区三区| 免费黄网站久久成人精品| 美女脱内裤让男人舔精品视频| 国产一区亚洲一区在线观看| 国产黄色视频一区二区在线观看| 国产毛片在线视频| 日韩精品有码人妻一区| 国产亚洲精品久久久com| 秋霞伦理黄片| 深夜a级毛片| 午夜老司机福利剧场| 成年女人在线观看亚洲视频| 蜜臀久久99精品久久宅男| 一区二区三区四区激情视频| 极品少妇高潮喷水抽搐| 91久久精品电影网| 观看美女的网站| 亚洲精品一区蜜桃| 国产免费一级a男人的天堂| 激情 狠狠 欧美| 精品99又大又爽又粗少妇毛片| 精品国产露脸久久av麻豆| 激情五月婷婷亚洲| 国产91av在线免费观看| 国产av精品麻豆| 91久久精品国产一区二区三区| 色婷婷久久久亚洲欧美| 国产伦精品一区二区三区四那| 欧美日韩视频精品一区| 18禁在线播放成人免费| 一级av片app| 最近中文字幕2019免费版| 成人特级av手机在线观看| 久久精品国产亚洲av天美| 夜夜看夜夜爽夜夜摸| 一级毛片久久久久久久久女| 乱码一卡2卡4卡精品| av播播在线观看一区| 国产在视频线精品| 中国美白少妇内射xxxbb| 美女国产视频在线观看| 久久99热6这里只有精品| 你懂的网址亚洲精品在线观看| 久久ye,这里只有精品| 涩涩av久久男人的天堂| 午夜日本视频在线| av在线播放精品| 最近最新中文字幕大全电影3| 婷婷色麻豆天堂久久| 99久久综合免费| 欧美老熟妇乱子伦牲交| 黑人高潮一二区| 中文字幕制服av| 亚洲精品自拍成人| 夜夜骑夜夜射夜夜干| 久久亚洲国产成人精品v| 日韩制服骚丝袜av| 人妻少妇偷人精品九色| 看免费成人av毛片| 欧美国产精品一级二级三级 | 大片免费播放器 马上看| 国产欧美日韩精品一区二区| 精品国产乱码久久久久久小说| 午夜精品国产一区二区电影| 亚洲人成网站在线观看播放| 菩萨蛮人人尽说江南好唐韦庄| 欧美xxxx性猛交bbbb| 美女脱内裤让男人舔精品视频| 欧美性感艳星| h视频一区二区三区| 亚洲国产av新网站| 国产v大片淫在线免费观看| 22中文网久久字幕| 少妇猛男粗大的猛烈进出视频| h视频一区二区三区| 少妇人妻 视频| 一级黄片播放器| 国产有黄有色有爽视频| 色视频在线一区二区三区| 大又大粗又爽又黄少妇毛片口| av国产免费在线观看| 51国产日韩欧美| 肉色欧美久久久久久久蜜桃| av国产精品久久久久影院| 人人妻人人看人人澡| 亚洲av福利一区| av黄色大香蕉| 亚洲成人中文字幕在线播放| 日韩亚洲欧美综合| 看免费成人av毛片| 九色成人免费人妻av| 亚洲av成人精品一区久久| 亚洲欧美成人综合另类久久久| 国产69精品久久久久777片| 天天躁夜夜躁狠狠久久av| 亚洲四区av| av天堂中文字幕网| 日本av手机在线免费观看| 欧美变态另类bdsm刘玥| 中国三级夫妇交换| 久久久久久人妻| 街头女战士在线观看网站| 国产成人aa在线观看| 夜夜看夜夜爽夜夜摸| 国产精品久久久久久av不卡| 蜜桃在线观看..| 亚洲国产欧美在线一区| 狠狠精品人妻久久久久久综合| 日韩人妻高清精品专区| 日韩免费高清中文字幕av| 一个人看的www免费观看视频| 午夜免费鲁丝| 人妻一区二区av| 国产精品一区二区在线不卡| 午夜免费观看性视频| 欧美精品国产亚洲| 一级爰片在线观看| 国产成人91sexporn| 国产精品久久久久久精品古装| 黄片无遮挡物在线观看| 国产无遮挡羞羞视频在线观看| 亚洲精品日韩在线中文字幕| 午夜激情久久久久久久| av在线老鸭窝| 亚洲av男天堂| 尤物成人国产欧美一区二区三区| 又大又黄又爽视频免费| 国产精品久久久久久精品古装| 久久热精品热| 在现免费观看毛片| 肉色欧美久久久久久久蜜桃| 成人无遮挡网站| 伦理电影大哥的女人| 天美传媒精品一区二区| 欧美高清成人免费视频www| 欧美国产精品一级二级三级 | 亚洲不卡免费看| 亚洲av成人精品一二三区| 国产爽快片一区二区三区| 免费观看a级毛片全部| 久久久久性生活片| 久久久亚洲精品成人影院| 国产老妇伦熟女老妇高清| 亚洲国产高清在线一区二区三| 欧美日韩国产mv在线观看视频 | 久久久久久久精品精品| 国产毛片在线视频| 美女xxoo啪啪120秒动态图| 日韩成人伦理影院| 国产高清国产精品国产三级 | 久久久久久久久大av| 亚洲精品一区蜜桃| 亚洲国产av新网站| av线在线观看网站| 亚洲怡红院男人天堂| 亚洲精品乱码久久久v下载方式| 日韩伦理黄色片| 国产91av在线免费观看| 观看av在线不卡| 亚洲成人一二三区av| 国产一区二区三区av在线| 国产亚洲一区二区精品| 免费人妻精品一区二区三区视频| 久久人人爽人人片av| 汤姆久久久久久久影院中文字幕| 国产乱来视频区| 国产真实伦视频高清在线观看| 欧美成人精品欧美一级黄| 亚洲精品日韩av片在线观看| 国产69精品久久久久777片| 国产极品天堂在线| 久久精品国产亚洲网站| freevideosex欧美| 少妇熟女欧美另类| 亚洲精品久久久久久婷婷小说| 少妇人妻精品综合一区二区| 久久久亚洲精品成人影院| 国产成人aa在线观看| 在线观看av片永久免费下载| 国产 精品1| 边亲边吃奶的免费视频| 麻豆成人午夜福利视频| 中文天堂在线官网| 国产黄色视频一区二区在线观看| 久久精品人妻少妇| 秋霞在线观看毛片| 只有这里有精品99| 亚洲成人一二三区av| 亚洲精品日韩av片在线观看| 极品教师在线视频| 男女下面进入的视频免费午夜| 亚洲人成网站在线播| 亚洲怡红院男人天堂| av黄色大香蕉| 亚州av有码| 男女无遮挡免费网站观看| 国国产精品蜜臀av免费| 少妇的逼水好多| 超碰av人人做人人爽久久| 国产欧美亚洲国产| 欧美成人一区二区免费高清观看| 全区人妻精品视频| 国产淫片久久久久久久久| 亚洲精品日韩在线中文字幕|