• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    八論以用戶(hù)為中心的設(shè)計(jì):一個(gè)智能社會(huì)技術(shù)系統(tǒng)新框架及人因工程研究展望

    2022-10-22 02:07:36
    應(yīng)用心理學(xué) 2022年5期
    關(guān)鍵詞:智能工程系統(tǒng)

    許 為

    (浙江大學(xué)心理科學(xué)研究中心,杭州 310058)

    1 引 言

    人因工程(human factors engineering)主要研究人機(jī)交互、人機(jī)界面設(shè)計(jì)以及它們對(duì)系統(tǒng)績(jī)效的影響,不注重對(duì)宏觀社會(huì)、組織環(huán)境等影響因素的考慮。進(jìn)入智能時(shí)代,基于人工智能(AI)技術(shù)的智能系統(tǒng)在給人類(lèi)帶來(lái)益處的同時(shí),也可能對(duì)人類(lèi)的工作和生活產(chǎn)生負(fù)面影響。目前,一些研究者開(kāi)始將智能系統(tǒng)研究從單純的技術(shù)性研究轉(zhuǎn)向包括社會(huì)、組織等因素的綜合研究(?gerfalk,2020;Asatiani et al.,2021)。

    社會(huì)技術(shù)系統(tǒng)(sociotechnical systems,簡(jiǎn)稱(chēng)STS)理論由Trist 及其英國(guó)塔維斯托克研究所的同事在1950 年代提出。基于引入動(dòng)力機(jī)器對(duì)工作、組織、管理、勞資關(guān)系、員工生活、員工家庭、煤礦工人協(xié)會(huì)等方面的影響,Trist 等人發(fā)現(xiàn)組織既是一個(gè)社會(huì)系統(tǒng),同時(shí)又是一個(gè)技術(shù)系統(tǒng),而技術(shù)系統(tǒng)對(duì)社會(huì)系統(tǒng)有很大的影響;個(gè)人態(tài)度和群體行為等方面都受到技術(shù)系統(tǒng)的重大影響(Hoffman&Militello,2008)。STS 理論提倡從社會(huì)和技術(shù)兩方面來(lái)考慮技術(shù)的影響,通過(guò)實(shí)現(xiàn)社會(huì)、技術(shù)、組織等子系統(tǒng)之間的協(xié)調(diào),實(shí)現(xiàn)社會(huì)和技術(shù)兩方面的協(xié)同優(yōu)化,從而達(dá)到最佳的整體系統(tǒng)績(jī)效(Eason,2011)。

    任何一個(gè)新技術(shù)的推廣使用都是在一定的STS 環(huán)境中展開(kāi)。進(jìn)入智能時(shí)代,智能系統(tǒng)以及相應(yīng)的自主化新特征使得STS 變得更加復(fù)雜,采用STS 理論的系統(tǒng)化理念有助于智能技術(shù)研發(fā)和推廣使用(許為,2020;許為,葛列眾,2018)。一方面,越來(lái)越多的智能系統(tǒng)對(duì)社會(huì)產(chǎn)生影響,例如,倫理道德、治理、社會(huì)文化等(Stahl,2021);另一方面,目前從STS 角度來(lái)開(kāi)展這方面的研究還遠(yuǎn)遠(yuǎn)不夠(Borenstein et al.,2019;Behymer&Flach,2016;Jones et al.,2013)。人因工程研究和設(shè)計(jì)通常只是針對(duì)STS 中的一個(gè)部分:人機(jī)系統(tǒng)(Hodgson,et al.,2013),因此人因工程需要拓寬工作思路和范圍,在宏觀的STS 視野中開(kāi)展人因工程研究和應(yīng)用(Dainoff et al.,2020),從而在社會(huì)與技術(shù)的宏觀環(huán)境中優(yōu)化人機(jī)系統(tǒng)的設(shè)計(jì),最大限度地發(fā)揮新技術(shù)在社會(huì)和組織中的作用。

    “以用戶(hù)為中心的設(shè)計(jì)”理念強(qiáng)調(diào)系統(tǒng)開(kāi)發(fā)要遵循“以人為中心”的流程和方法,從人類(lèi)用戶(hù)的需求出發(fā),通過(guò)有效的“以人為中心”的人因工程等方法來(lái)優(yōu)化人-機(jī)-環(huán)境系統(tǒng)的設(shè)計(jì)(許為,2003,2017)。STS理論強(qiáng)調(diào)人機(jī)系統(tǒng)的設(shè)計(jì)既要考慮技術(shù),而且要考慮處于社會(huì)、組織子系統(tǒng)環(huán)境中的人,優(yōu)化人與技術(shù)的關(guān)系,強(qiáng)調(diào)“機(jī)器適應(yīng)人”而不是“人適應(yīng)機(jī)器”的解決方案,因此STS 理論在本質(zhì)上與人因工程學(xué)科分享“以用戶(hù)為中心設(shè)計(jì)”的理念。

    本文基于“以用戶(hù)為中心的設(shè)計(jì)”理念,分析傳統(tǒng)社會(huì)技術(shù)系統(tǒng)(STS)理論在智能時(shí)代應(yīng)用的局限性以及智能時(shí)代所呈現(xiàn)的STS 新特征,提出一個(gè)針對(duì)智能時(shí)代的智能社會(huì)技術(shù)系統(tǒng)(intelligent sociotechnical systems,簡(jiǎn)稱(chēng)iSTS)概念框架,目的是充實(shí)STS 理論,助推智能系統(tǒng)的研究和應(yīng)用。針對(duì)今后iSTS 研究和應(yīng)用,本文提出人因工程方法論和研究思路兩方面的建議,進(jìn)一步發(fā)揮人因工程在“以人為中心AI”系統(tǒng)研發(fā)中的作用(許為,2019;Xu,Dainoff et al.,2022)。

    2 社會(huì)技術(shù)系統(tǒng)(STS)理論

    2.1 基本概念

    STS 包括相互獨(dú)立但又相互依存的社會(huì)和技術(shù)兩個(gè)子系統(tǒng),其中,社會(huì)子系統(tǒng)一般包括人員(如知識(shí)、技能、態(tài)度、價(jià)值觀和需求等)、角色、工作、文化和目標(biāo),涉及組織(如變革、結(jié)構(gòu)、決策、獎(jiǎng)勵(lì))等(Oosthuizen et al.,2019);技術(shù)子系統(tǒng)一般包括物理基礎(chǔ)設(shè)施、工具、技術(shù)和流程等(Bostrom&Heinen,1977)。STS 強(qiáng)調(diào)各個(gè)部分之間的協(xié)同,系統(tǒng)績(jī)效依賴(lài)于技術(shù)子系統(tǒng)與社會(huì)子系統(tǒng)之間的協(xié)同優(yōu)化和互補(bǔ)(Davis et al.,2014;Meijer & Bolívar,2016;Pasmore et al.,2019),專(zhuān)注于STS 中一個(gè)子系統(tǒng)而排除另一個(gè)子系統(tǒng)會(huì)導(dǎo)致系統(tǒng)整體績(jī)效的下降(Flach et al.,2012)。

    STS 的目的是達(dá)到“雙贏”的效果(Pasmore et al.,2019)。引進(jìn)新技術(shù)旨在促進(jìn)社會(huì)、組織環(huán)境內(nèi)新技術(shù)知識(shí)共享、學(xué)習(xí)和創(chuàng)新、優(yōu)化設(shè)計(jì)等,實(shí)現(xiàn)人機(jī)協(xié)作和靈活性以獲得競(jìng)爭(zhēng)優(yōu)勢(shì),更容易適應(yīng)環(huán)境的變化,提升組織效益。但是,新技術(shù)可能會(huì)影響人們的工作和行為方式,可能導(dǎo)致他們的價(jià)值觀、認(rèn)知結(jié)構(gòu)、工作和生活方式等方面發(fā)生變化,而優(yōu)化和可用的新技術(shù)有助于提升組織績(jī)效和員工的工作滿(mǎn)意度,最終提升人們的工作生活質(zhì)量(Oosthuizen et al.,2019;Walker et al.,2008)。

    然而,研究表明,技術(shù)和社會(huì)維度之間復(fù)雜的相互依存關(guān)系經(jīng)常被忽視(Martin et al.,2018)。盡管STS 理論的研究和應(yīng)用已經(jīng)開(kāi)展了幾十年,但是在一個(gè)大型復(fù)雜的社會(huì)環(huán)境中,STS 理論和方法對(duì)于許多行業(yè)(比如設(shè)計(jì)和系統(tǒng)工程界等)來(lái)說(shuō)仍然相對(duì)較新(Norman & Stappers,2015;Topi &Tucker,2014)。近些年針對(duì)STS 理論的研究興趣日益濃厚,但并未得到廣泛的重視(Baxter&Sommerville,2011)。

    2.2 STS 理論對(duì)人因工程的影響

    STS 理論擴(kuò)寬了傳統(tǒng)人因工程研究和應(yīng)用的范圍。傳統(tǒng)人因工程通常強(qiáng)調(diào)在特定的環(huán)境中研究人機(jī)系統(tǒng),以達(dá)到最佳的人-機(jī)-環(huán)境匹配。人因工程研究所考慮的環(huán)境通常是物理環(huán)境(照明、噪聲、振動(dòng)、溫度、微重力等)(葛列眾,許為,宋曉蕾,2022)。在過(guò)去的20 年中,STS 已經(jīng)開(kāi)始影響了人因工程和工效學(xué)一些領(lǐng)域工作的發(fā)展,特別是對(duì)宏觀工效學(xué)(macroergonomics)領(lǐng)域發(fā)展的影響(Waterson et al.,2015)。宏觀工效學(xué)提倡在人機(jī)系統(tǒng)設(shè)計(jì)中需要在STS 環(huán)境中設(shè)計(jì)整個(gè)工作系統(tǒng),要考慮如何優(yōu)化組織和管理等因素與技術(shù)之間的交互(Hendrick&Kleiner,2002)。Hendrick 和Kleiner(2002)定義宏觀工效學(xué)為“一種自上而下的STS 方法,用于分析和設(shè)計(jì)工作系統(tǒng)以及人-工作、人-機(jī)和人-軟件界面的整體工作系統(tǒng)設(shè)計(jì)的應(yīng)用”。宏觀工效學(xué)還強(qiáng)調(diào)與STS 理論分享系統(tǒng)開(kāi)發(fā)的目標(biāo),追求STS 中對(duì)社會(huì)系統(tǒng)(包括人、組織等)和技術(shù)子系統(tǒng)的協(xié)同優(yōu)化,同時(shí)強(qiáng)調(diào)要優(yōu)化各類(lèi)“以人為中心”的界面,其中包括人機(jī)界面(硬件、設(shè)備等)、人-環(huán)境交互界面(環(huán)境照明、聲音、空氣質(zhì)量等)、人- 軟件界面(軟件人機(jī)界面、軟件認(rèn)知組件等)、人-組織環(huán)境界面(工作設(shè)計(jì)等)(Hendrik&Kleiner,2000)。

    STS 理論的系統(tǒng)化方法論影響了一些人因工程新型領(lǐng)域的發(fā)展。例如,Hollnagel和Woods(2005)提出協(xié)同認(rèn)知系統(tǒng)理論,強(qiáng)調(diào)工作重點(diǎn)應(yīng)該放在人機(jī)協(xié)同的合作認(rèn)知系統(tǒng)的基礎(chǔ)上,在系統(tǒng)設(shè)計(jì)中人因工程需要注重和優(yōu)化人類(lèi)操作員與技術(shù)系統(tǒng)之間的相互依賴(lài)關(guān)系。作為一門(mén)新興領(lǐng)域,韌性工程(resilience engineering)基于STS 理論從廣泛的認(rèn)知系統(tǒng)工程框架內(nèi)關(guān)注組織中的安全和風(fēng)險(xiǎn)評(píng)估(Hollnagel,Woods,&Leveson,2006)。針對(duì)復(fù)雜STS 系統(tǒng),認(rèn)知工作分析(CWA)從全工作領(lǐng)域的STS 角度出發(fā),為領(lǐng)域工作需求定義、分析提供了一組分析建模工具和一個(gè)概念框架,開(kāi)始應(yīng)用在各種工作領(lǐng)域中(Vicente,1999)。在應(yīng)用上,人因工程研究開(kāi)始將STS 理論應(yīng)用在健康醫(yī)療和計(jì)算系統(tǒng)安全等復(fù)雜領(lǐng)域的研究和系統(tǒng)開(kāi)發(fā)中(Carayon,2006;Stedmon et al.,2016)。STS 理論給人因工程的一個(gè)重要啟示是,作為一門(mén)應(yīng)用性學(xué)科,人因工程的研究不能局限于在實(shí)驗(yàn)室內(nèi)閉門(mén)造車(chē),需要在STS 的大環(huán)境中充分考慮影響人因工程解決方案的各種因素。

    STS 理論也開(kāi)始影響智能時(shí)代人因工程研究和應(yīng)用的發(fā)展。進(jìn)入智能時(shí)代,人因工程目前所面對(duì)的研究對(duì)象是比以往任何時(shí)候更復(fù)雜的人-機(jī)-環(huán)境系統(tǒng),比如智慧城市、智慧交通、智能制造、智能醫(yī)療等。智能時(shí)代的人機(jī)關(guān)系演化呈現(xiàn)出一系列人機(jī)交互新特征(比如人機(jī)協(xié)同合作關(guān)系),智能自主化技術(shù)也帶來(lái)了一系列新特征和新問(wèn)題(比如智能體的認(rèn)知能力)(Xu,2020)。智能時(shí)代的這些新特征和新問(wèn)題促使人因工程在更廣闊的STS 大環(huán)境中開(kāi)展研究。例如,智能系統(tǒng)設(shè)計(jì)需要充分考慮人類(lèi)的各種新需求(如用戶(hù)隱私、法律和倫理、決策權(quán)、技能成長(zhǎng)等),超越以往僅注重人機(jī)用戶(hù)界面設(shè)計(jì)的點(diǎn)方案(point solution),追求端到端(end to end)的人因工程整體解決方案(許為,葛列眾,2018,2020)。近幾年,我們也試圖從STS 的角度來(lái)解決智能技術(shù)的一些人因問(wèn)題。例如,許為(2019)提出的“以人為中心AI”的理念,以及許為,葛列眾,高在峰.(2021)所提出的人-AI 交互(HAII)交叉學(xué)科新領(lǐng)域就是從宏觀的STS環(huán)境中考慮;針對(duì)智能人機(jī)交互的研究,許為(2022a)采用協(xié)同認(rèn)知系統(tǒng)理論分別分析了自動(dòng)駕駛車(chē)人機(jī)共駕的協(xié)同認(rèn)知生態(tài)系統(tǒng);針對(duì)大型商用飛機(jī)駕駛艙單人飛行操作(SPO) 的智能化系統(tǒng)設(shè)計(jì),許為(2022b)提出了一個(gè)基于STS 視野的針對(duì)SPO 的協(xié)同認(rèn)知生態(tài)系統(tǒng)框架。

    由此可見(jiàn),STS 理論拓寬了傳統(tǒng)人因工程研究和應(yīng)用的范圍,影響了一些人因工程新型領(lǐng)域的發(fā)展,也開(kāi)始影響智能時(shí)代人因工程研究和應(yīng)用的發(fā)展。STS 理論的這些影響有助于人因工程學(xué)科超越傳統(tǒng)研究和應(yīng)用的思路和范圍,從而能夠從更廣闊的社會(huì)、組織等角度來(lái)進(jìn)一步優(yōu)化人與新技術(shù)系統(tǒng)的交互和設(shè)計(jì)。然而,智能時(shí)代的STS 環(huán)境呈現(xiàn)出許多新特征,傳統(tǒng)STS 理論在智能時(shí)代的應(yīng)用中表現(xiàn)出它的局限性。為了更加有效地發(fā)揮STS 理論對(duì)智能系統(tǒng)研究和應(yīng)用的影響,STS 理論本身也需要進(jìn)一步發(fā)展。

    3 智能社會(huì)技術(shù)系統(tǒng)(iSTS)

    3.1 智能時(shí)代的STS 新特征

    進(jìn)入智能時(shí)代,物聯(lián)網(wǎng)智能網(wǎng)、智能社會(huì)、智能城市、智能交通等系統(tǒng)必將在各種因素相互依存的復(fù)雜社會(huì)技術(shù)生態(tài)系統(tǒng)中實(shí)現(xiàn),這些智能系統(tǒng)本身就是基于智能技術(shù)的各種形態(tài)的STS,它們的開(kāi)發(fā)和使用也必將受到整個(gè)生態(tài)系統(tǒng)中各種因素的影響。

    從STS 技術(shù)子系統(tǒng)的角度看,如本系列文章(“五論以用戶(hù)為中心的設(shè)計(jì):從自動(dòng)化到智能時(shí)代的自主化以及自動(dòng)駕駛車(chē)”“六論以用戶(hù)為中心設(shè)計(jì):智能人機(jī)交互的人因工程途徑”)中所討論的(許為,2020,2022a),智能時(shí)代的新型人機(jī)關(guān)系和智能人機(jī)交互新特征已經(jīng)遠(yuǎn)遠(yuǎn)超出了傳統(tǒng)人機(jī)交互研究和設(shè)計(jì)的范圍。例如,智能技術(shù)以及所具有的自主化特征促進(jìn)傳統(tǒng)的計(jì)算技術(shù)從輔助人類(lèi)工作的簡(jiǎn)單工具轉(zhuǎn)變?yōu)槿藱C(jī)合作伙伴式的復(fù)雜人機(jī)系統(tǒng),由此形成了新型的人機(jī)關(guān)系(Makarius et al.,2020;許為,2020)。這些新變化和新特征需要一種新思維和方法論來(lái)考慮如何更加有效地解決基于智能技術(shù)的人機(jī)交互等一系列新問(wèn)題(許為,2022a)。從STS 社會(huì)子系統(tǒng)的角度看,智能系統(tǒng)開(kāi)發(fā)、引進(jìn)和使用引發(fā)了一系列新的問(wèn)題,比如AI 倫理道德,用戶(hù)需求(個(gè)人隱私、技能提升、決策權(quán)等),組織和員工對(duì)AI 技術(shù)的可接受度,基于AI技術(shù)的組織決策等等。因此,智能時(shí)代的STS 呈現(xiàn)出一系列新特征。表1 概括地比較了智能與非智能時(shí)代STS 之間的特征(許為,2020;許為,葛列眾,2018,2020;許為,葛列眾,高在峰,2021)。

    如表1 所列,相對(duì)于非智能時(shí)代的STS,智能時(shí)代的STS 呈現(xiàn)出一系列新特征和新問(wèn)題。智能系統(tǒng)將促使人、機(jī)、社會(huì)、組織之間的交互和協(xié)同合作更緊密。面對(duì)復(fù)雜社會(huì)環(huán)境下更廣闊范圍內(nèi)的問(wèn)題與挑戰(zhàn),人機(jī)交互、人機(jī)智能協(xié)同等將以更加體系化的形式呈現(xiàn)(孫效華等,2020)。人因工程研究應(yīng)該探討如何有效地將智能系統(tǒng)嵌入當(dāng)前復(fù)雜的STS 環(huán)境中,以漸進(jìn)有效的方式促進(jìn)人與復(fù)雜、智能化STS 之間的融合。

    表1 智能與非智能時(shí)代社會(huì)技術(shù)系統(tǒng)的特征比較

    3.2 iSTS 概念框架

    綜上所述,我們有必要進(jìn)一步豐富傳統(tǒng)的STS 理論,這樣才能有效地解決復(fù)雜智能系統(tǒng)的一系列新特征和新問(wèn)題,從而發(fā)揮智能技術(shù)的最大優(yōu)勢(shì)和避免它對(duì)社會(huì)和人類(lèi)帶來(lái)潛在的負(fù)面影響。

    已有研究者針對(duì)智能時(shí)代的STS 理論和方法開(kāi)展了一些初步研究。例如,Winby和Mohrman(2018)初步提出了一個(gè)針對(duì)數(shù)字化STS 的設(shè)計(jì)方法,但是沒(méi)有充分考慮智能技術(shù)的新特征。Steghofer 等(2017)認(rèn)為下一代STS 應(yīng)該以智能技術(shù)為基礎(chǔ),STS的社會(huì)子系統(tǒng)要涉及受AI 影響的人類(lèi)行為變化、AI 潛在的決策不確定性、復(fù)雜的社會(huì)組織因素(如組織、文化、道德、倫理等)等。也有人從工程實(shí)現(xiàn)和設(shè)計(jì)角度提出了針對(duì)智能時(shí)代STS 的初步方案(Baxter&Sommerville,2011;Jones et al.,2013)。在Baxter 和Sommerville(2011)的社會(huì)技術(shù)系統(tǒng)工程(STSE)框架中,他們將該框架建立在工作設(shè)計(jì)、信息系統(tǒng)、技術(shù)支持的人機(jī)合作和認(rèn)知系統(tǒng)工程研究之上,試圖彌合組織變革和系統(tǒng)開(kāi)發(fā)之間的差距。針對(duì)智能時(shí)代STS 的異構(gòu)的、動(dòng)態(tài)的、不可預(yù)測(cè)以及弱可控等特性,Dalpiaz 等人(2013)提出了一種自適應(yīng)STS 的系統(tǒng)架構(gòu),試圖通過(guò)執(zhí)行監(jiān)控- 診斷- 協(xié)調(diào)補(bǔ)償循環(huán)的機(jī)制,使得STS 具有自我重構(gòu)的能力。

    盡管已有一些初步研究,但是目前還沒(méi)有完整的針對(duì)智能技術(shù)的STS 框架,以往所提出的這些STS 沒(méi)有系統(tǒng)地考慮智能時(shí)代STS 的新特征。針對(duì)智能技術(shù)和STS的新特征,本文初步提出一個(gè)智能社會(huì)技術(shù)系統(tǒng)(intelligent sociotechnical systems,簡(jiǎn)稱(chēng)iSTS)的概念框架(見(jiàn)圖1)。

    圖1 智能社會(huì)技術(shù)系統(tǒng)(iSTS)的概念框架

    如圖1 所示,iSTS 繼承了傳統(tǒng)STS 的一些基本特征。例如,iSTS 有一個(gè)內(nèi)部環(huán)境(獨(dú)立但相互依賴(lài)的技術(shù)和社會(huì)子系統(tǒng)),系統(tǒng)績(jī)效依賴(lài)于技術(shù)和社會(huì)子系統(tǒng)的協(xié)同優(yōu)化,專(zhuān)注于系統(tǒng)之一而排除另一個(gè)可能會(huì)導(dǎo)致系統(tǒng)績(jī)效下降等(Badham et al.,2000);iSTS 同樣擁有一個(gè)宏觀的外部環(huán)境以及各類(lèi)智能社會(huì)形態(tài)。但是,與傳統(tǒng)STS相比,iSTS 有助于在社會(huì)、組織環(huán)境中有效地開(kāi)發(fā)和應(yīng)用智能系統(tǒng),并且具有以下一些新特征。

    第一,“以人為中心”的理念。一方面,基于“以人為中心”的理念,iSTS 將人以及相應(yīng)的社會(huì)問(wèn)題的解決置于優(yōu)先地位,在實(shí)現(xiàn)智能技術(shù)與創(chuàng)新的同時(shí),考慮教育、健康、交通等社會(huì)問(wèn)題,通過(guò)社會(huì)技術(shù)生態(tài)的融合,解決iSTS 中獨(dú)特的人機(jī)合作、AI 倫理道德等新問(wèn)題,實(shí)現(xiàn)智能系統(tǒng)開(kāi)發(fā)和使用中人的參與、人類(lèi)與智能系統(tǒng)的協(xié)作合作和有效交互,最終提高人類(lèi)工作生活質(zhì)量。另一方面,不同于傳統(tǒng)STS,iSTS 強(qiáng)調(diào)智能系統(tǒng)將改變傳統(tǒng)的組織決策流程,AI、大數(shù)據(jù)等技術(shù)更加有效地輔助人類(lèi)和組織的決策,也可能呈現(xiàn)人機(jī)決策分享等應(yīng)用場(chǎng)景,但是系統(tǒng)設(shè)計(jì)需要定義決策權(quán)限等級(jí),必須保證人類(lèi)擁有最終決策操控權(quán)(Herrmann et al.,2018;Baxter & Sommerville,2011)。

    第二,人機(jī)團(tuán)隊(duì)協(xié)作。圖1 中社會(huì)子系統(tǒng)與智能技術(shù)子系統(tǒng)兩個(gè)圓圈重疊的部分示意了兩子系統(tǒng)之間的協(xié)同合作關(guān)系,這是iSTS 區(qū)別于傳統(tǒng)STS 所特有的新型人機(jī)關(guān)系(許為,葛列眾,2020)。在iSTS 中,團(tuán)隊(duì)由人和智能系統(tǒng)機(jī)器組成,強(qiáng)調(diào)智能系統(tǒng)也是人機(jī)團(tuán)隊(duì)協(xié)同合作的成員,而不僅僅是傳統(tǒng)STS 中支持人類(lèi)作業(yè)的簡(jiǎn)單工具,iSTS 中相互依賴(lài)的人機(jī)團(tuán)隊(duì)是分享共同目標(biāo)的團(tuán)體(Salas et al.,2008)。人類(lèi)與智能系統(tǒng)(機(jī)器代理)之間的團(tuán)隊(duì)合作、互信、信息和決策分享等應(yīng)該是iSTS 成功的重要因素之一。

    第三,人機(jī)優(yōu)勢(shì)互補(bǔ)的工作設(shè)計(jì)。實(shí)施AI 新技術(shù)會(huì)改變既定的工作系統(tǒng),可能導(dǎo)致用戶(hù)陷入困境。iSTS 中的工作系統(tǒng)設(shè)計(jì)需要將人類(lèi)和智能系統(tǒng)作為一個(gè)新型的工作系統(tǒng)重新設(shè)計(jì),根據(jù)人與智能技術(shù)之間的優(yōu)勢(shì)互補(bǔ),調(diào)整優(yōu)化人機(jī)之間的功能和任務(wù)分配,其中包括人機(jī)角色分配、工作流程、作業(yè)環(huán)境等,從而有助于制定人機(jī)團(tuán)隊(duì)的工作和任務(wù),保證人機(jī)功能的最佳分配,提升整體系統(tǒng)績(jī)效。在引進(jìn)智能技術(shù)的同時(shí),要充分考慮員工的崗位重新分配、公平、技能成長(zhǎng)等社會(huì)問(wèn)題。iSTS 強(qiáng)調(diào)在智能系統(tǒng)設(shè)計(jì)中,需要人類(lèi)的協(xié)同參與,將人類(lèi)和技術(shù)無(wú)縫集成到優(yōu)化的iSTS 中(Behymer&Flach,2016)。

    第四,人機(jī)代理的共同學(xué)習(xí)。在復(fù)雜智能化社會(huì)環(huán)境中,iSTS 中社會(huì)和技術(shù)子系統(tǒng)之間存在復(fù)雜的相互作用和關(guān)系,它們跨越了傳統(tǒng)的網(wǎng)絡(luò)和物理、人和機(jī)器的界限,可以實(shí)現(xiàn)技術(shù)系統(tǒng)(硬件、軟件和基于AI 自主化技術(shù)的機(jī)器代理) 和人類(lèi)代理(在個(gè)人、社會(huì)和組織層面)之間的動(dòng)態(tài)交互。智能代理是促進(jìn)iSTS 中社會(huì)和技術(shù)子系統(tǒng)之間動(dòng)態(tài)交互的新資源,這種交互在短期內(nèi)會(huì)調(diào)整智能代理自身的行為(基于機(jī)器學(xué)習(xí)算法等),并且會(huì)導(dǎo)致人類(lèi)使用和期望模式的長(zhǎng)期變化(社會(huì)學(xué)習(xí))。同時(shí),iSTS 的社會(huì)和技術(shù)子系統(tǒng)包含不同類(lèi)型和層次的人類(lèi)和智能代理自主權(quán),從而使iSTS 的學(xué)習(xí)成長(zhǎng)、靈活性和自適應(yīng)能力成為系統(tǒng)的基本特征。因此,iSTS 設(shè)計(jì)中必須考慮這種人機(jī)共同學(xué)習(xí)成長(zhǎng)、不斷共同發(fā)展的新特征,通過(guò)有效的設(shè)計(jì)和治理,這些代理的交互和合作可以為提高系統(tǒng)級(jí)別的靈活性和自適應(yīng)能力創(chuàng)造新的機(jī)會(huì)(Heydari et al.,2019)。

    第五,智能人機(jī)交互?;贏I 技術(shù)的智能人機(jī)交互表現(xiàn)出一系列新特征,比如“人機(jī)雙向式”交互,“人機(jī)協(xié)同合作式”交互,“情境化”交互,“多模態(tài)模糊推理式”交互等(許為,2022a)。一方面,基于智能人機(jī)交互、大數(shù)據(jù)等技術(shù)的智能系統(tǒng)將有效地增強(qiáng)人機(jī)交互的自然性和有效性、系統(tǒng)的決策能力等;另一方面,相對(duì)于傳統(tǒng)人機(jī)交互,智能系統(tǒng)會(huì)出現(xiàn)AI“黑匣子”效應(yīng),導(dǎo)致系統(tǒng)輸出難以解釋和理解、決策透明度、不確定性、可解釋性等方面的問(wèn)題(許為,2019)。因此,iSTS 的設(shè)計(jì)開(kāi)發(fā)需要考慮在充分發(fā)揮智能人機(jī)交互潛力的同時(shí),也要避免智能技術(shù)給智能人機(jī)交互帶來(lái)的潛在負(fù)面影響。

    第六,開(kāi)放式生態(tài)系統(tǒng)。在非智能時(shí)代,傳統(tǒng)STS 中的分析單元通常是一個(gè)組織或整個(gè)組織的有界部分,并且相對(duì)獨(dú)立。在智能時(shí)代,物聯(lián)網(wǎng)智能網(wǎng)、智能社會(huì)、智能城市、智能交通等各類(lèi)iSTS 的設(shè)計(jì)開(kāi)發(fā)都存在于復(fù)雜的、相互依存的整個(gè)社會(huì)技術(shù)生態(tài)系統(tǒng)中,智能時(shí)代的iSTS 與傳統(tǒng)STS 的區(qū)別之一在于智能機(jī)器代理的存在(Van de Poel,2020)。在動(dòng)態(tài)發(fā)展的社會(huì)環(huán)境中,智能代理的存在會(huì)增加,智能系統(tǒng)中的不確定性和不可預(yù)測(cè)性比傳統(tǒng)STS 系統(tǒng)更高,智能技術(shù)的認(rèn)知學(xué)習(xí)、輸出的不確定性等自主化特征帶來(lái)了動(dòng)態(tài)和模糊的iSTS邊界。這些開(kāi)放性特征給iSTS 設(shè)計(jì)帶來(lái)創(chuàng)新設(shè)計(jì)機(jī)遇的同時(shí),也給系統(tǒng)設(shè)計(jì)、系統(tǒng)規(guī)則和價(jià)值觀等方面帶來(lái)了挑戰(zhàn)(Hodgson et al.,2013)。因此,iSTS 的設(shè)計(jì)開(kāi)發(fā)需要從一個(gè)開(kāi)放式的人類(lèi)、技術(shù)、社會(huì)、組織生態(tài)系統(tǒng)的角度考慮。

    4 人因工程對(duì)今后iSTS 研發(fā)的學(xué)科支持

    今后iSTS 的研究、設(shè)計(jì)、開(kāi)發(fā)和應(yīng)用的工作需要包括人因工程在內(nèi)的跨學(xué)科協(xié)同合作,作為交叉學(xué)科的人因工程可以從方法論和研究思路兩方面提供學(xué)科支持。

    4.1 人因工程的方法論支持

    針對(duì)智能時(shí)代的iSTS 研究和設(shè)計(jì),研究者已經(jīng)嘗試一些方法。例如,Jones 等(2013)強(qiáng)調(diào)針對(duì)社會(huì)子系統(tǒng),建議采用抽象分析方法為計(jì)算框架的開(kāi)發(fā)提供社會(huì)層面的信息,為STS 的系統(tǒng)實(shí)施提供一個(gè)合適的平臺(tái)。Kafali 等(2019)進(jìn)一步提出了一個(gè)兩層次的STS 概念,由提供控制機(jī)制的技術(shù)層和表征利益相關(guān)者在規(guī)范方面需求的社會(huì)層所組成。不同于以往的方法,該研究采用智能代理作為計(jì)算實(shí)體,將社會(huì)維度納入了實(shí)驗(yàn)驗(yàn)證過(guò)程?;谠撃P偷默F(xiàn)場(chǎng)研究表明,該模型在一個(gè)智能代理環(huán)境中能夠有效地模擬醫(yī)院急診場(chǎng)景的應(yīng)用概念模式。針對(duì)復(fù)雜STS 的研究,Tsvetovat 和Carley(2014)認(rèn)為需要一種綜合的方法來(lái)解釋這些系統(tǒng)內(nèi)的心理學(xué)和社會(huì)學(xué)原理、交流模式和技術(shù),并且采用多智能體系統(tǒng)的高保真模型方法,將分析模型與基于經(jīng)驗(yàn)的模型相結(jié)合,從而為研究復(fù)雜的STS創(chuàng)建一個(gè)初步的模擬工具箱。

    從STS 開(kāi)發(fā)流程和多學(xué)科合作的角度看,F(xiàn)iadeiro(2008)提出了“參與式多學(xué)科研究”的途徑,Huang 等(2019)進(jìn)一步提出STS 的設(shè)計(jì)流程應(yīng)該是一個(gè)參與式的決策過(guò)程,需要用戶(hù)、開(kāi)發(fā)人員和其他利益相關(guān)者的積極參與,這樣的流程能夠保證新技術(shù)與社會(huì)和組織環(huán)境相匹配。本文提出的iSTS 框架強(qiáng)調(diào)跨學(xué)科的團(tuán)隊(duì)合作,iSTS 的設(shè)計(jì)不是一個(gè)純粹的技術(shù)項(xiàng)目,需要“以人為中心”的設(shè)計(jì)理念,通過(guò)人因工程迭代式的原型化和測(cè)試設(shè)計(jì)流程來(lái)逐步優(yōu)化系統(tǒng)的設(shè)計(jì)和構(gòu)建(Norman&Stappers,2015)。

    近年來(lái),人因工程中的許多領(lǐng)域采用了STS 理論和方法(Waterson et al.,2015),其中包括宏觀工效學(xué)(Hendrick & Kleiner,2002)、協(xié)同認(rèn)知系統(tǒng)(Hollnagel & Woods,2005)、韌性工程(Hollnagel,Woods,&Leveson,2006)等。這些理論和方法都試圖在傳統(tǒng)人因工程研究范圍和方法的基礎(chǔ)上考慮宏觀的社會(huì)、生態(tài)、組織和技術(shù)等因素。國(guó)際工效學(xué)協(xié)會(huì)(IEA)定義了組織工效學(xué),它涉及與STS 及其組織結(jié)構(gòu)、政策和流程的優(yōu)化,其中包含STS 的許多方面,比如工作設(shè)計(jì)、團(tuán)隊(duì)設(shè)計(jì)、參與式設(shè)計(jì)、組織文化、虛擬組織和質(zhì)量管理等(Mumford,2006;Baxter&Sommerville,2011)。

    針對(duì)今后iSTS 的研發(fā),表2 概括了一些優(yōu)先考慮的人因工程方法(Baxter &Sommerville,2011;許為,葛列眾,2020)。表2 同時(shí)還進(jìn)一步列出了這些方法與iSTS 設(shè)計(jì)開(kāi)發(fā)流程階段之間的關(guān)系,并且示意了這些方法在iSTS 研發(fā)流程的各階段中能夠提供貢獻(xiàn)的相對(duì)程度,其中“++”表示貢獻(xiàn)程度高、“+”表示有貢獻(xiàn)、“N/A”表示該方法一般不適合該階段的工作。這些方法需要在今后iSTS 的實(shí)踐中進(jìn)一步優(yōu)化和充實(shí)。

    表2 人因工程類(lèi)方法與iSTS 開(kāi)發(fā)階段的關(guān)系

    4.2 人因工程的研究思路

    Dul 等人(2002)在國(guó)際工效學(xué)聯(lián)合會(huì)(IEA)的人因工程(工效學(xué))發(fā)展戰(zhàn)略建議中提出,人因工程的價(jià)值主張主要包含三個(gè)部分:(1)系統(tǒng)方法;(2)設(shè)計(jì)驅(qū)動(dòng);(3)績(jī)效和福祉的設(shè)計(jì)目的。本文提出iSTS 框架的目的是為了強(qiáng)調(diào)和優(yōu)化人與新技術(shù)之間的相互關(guān)系,提升人類(lèi)工作生活質(zhì)量。針對(duì)今后iSTS 的研究和應(yīng)用,本文提出以下一些策略和建議。

    第一,發(fā)揮學(xué)科優(yōu)勢(shì)。針對(duì)人因工程交叉學(xué)科的特點(diǎn),美國(guó)人因和工效學(xué)會(huì)(HFES)2016—2017 年度主席Nancy Cooke(2017)總結(jié)了人因工程學(xué)科成功的三大要素,呼吁領(lǐng)域?qū)I(yè)人員從三方面努力發(fā)揮學(xué)科的作用:(1)從“以人為中心設(shè)計(jì)”理念出發(fā),找準(zhǔn)所要解決問(wèn)題的切入點(diǎn);(2)從人-機(jī)-環(huán)境的角度出發(fā),采用系統(tǒng)的思維和方法來(lái)全面考慮解決方案;(3)充分考慮人因工程交叉學(xué)科的特點(diǎn),加強(qiáng)與其他學(xué)科的協(xié)同合作?;凇耙匀藶橹行摹崩砟?、立足于多學(xué)科合作、站在系統(tǒng)層面上的iSTS體現(xiàn)了這三大要素,因此開(kāi)展iSTS 研究和應(yīng)用將有助于推動(dòng)人因工程學(xué)科的進(jìn)一步發(fā)展。

    第二,分享“以人為中心”的理念。作為一門(mén)應(yīng)用學(xué)科,人因工程必須能在應(yīng)用中解決社會(huì)的實(shí)際問(wèn)題。作為一門(mén)年輕的學(xué)科,人因工程要進(jìn)一步發(fā)揮學(xué)科影響力。美國(guó)人因和工效學(xué)會(huì)(HFES)2000—2001 年度主席William Howell(2001)提出了“分享理念”的模型,即人因工程需要與其他相近學(xué)科共同分享“以人為中心設(shè)計(jì)”的理念,而不是獨(dú)自占有該理念的“封閉獨(dú)享”模型。過(guò)去的20 年,人因工程(包括工程心理學(xué)等)將該學(xué)科理念、方法和專(zhuān)業(yè)人才融入人機(jī)交互、用戶(hù)體驗(yàn)等領(lǐng)域的發(fā)展實(shí)踐中,有力地促進(jìn)了人機(jī)交互、用戶(hù)體驗(yàn)等新領(lǐng)域的興起和發(fā)展。這種實(shí)踐充分體現(xiàn)了“分享理念”模型的主張。在智能時(shí)代,“以人為中心的AI”和“人-AI 交互”新領(lǐng)域的提出正是對(duì)“分享模型”模型的進(jìn)一步實(shí)踐(Xu,2019;許為,葛列眾,高在峰,2021),而Xu和Furie 等(2019)提出的交互、流程、集成和 智 能(interaction,process,integration,and intelligence,IPII)的人因工程新方法以及該方法在智能化供應(yīng)鏈數(shù)字解決方案中的應(yīng)用,以及本文提出的iSTS 框架則是在更大的范圍內(nèi)分享和實(shí)踐“以人為中心”的理念。因此,開(kāi)展iSTS 研究和應(yīng)用將有助于進(jìn)一步分享人因工程的“以人為中心”學(xué)科理念,解決更多的人類(lèi)和社會(huì)的實(shí)際問(wèn)題。

    第三,堅(jiān)持方法創(chuàng)新。人因工程研究和應(yīng)用的方法要與時(shí)俱進(jìn)(許為,2017,2018;許為,葛列眾,2020)。iSTS 框架強(qiáng)調(diào)的是在智能時(shí)代開(kāi)展人因工程研究和應(yīng)用的一種設(shè)計(jì)新思維和新途徑。針對(duì)iSTS 框架的有效研究和應(yīng)用實(shí)踐需要?jiǎng)?chuàng)新的方法。近些年,人因工程涌現(xiàn)出一些新方法并且越來(lái)越多地被采用。例如,認(rèn)知工作分析(Vicente 1999)、協(xié)同認(rèn)知系統(tǒng)(Hollnagel &Woods,2005)等方法從不同的角度為分析和設(shè)計(jì)STS 提供了有效的方法。作為實(shí)例,基于認(rèn)知工作分析的認(rèn)知工程方法對(duì)大型商用飛機(jī)自動(dòng)化駕駛艙中人-自動(dòng)化交互這一STS 環(huán)境的分析獲得了有效的研究結(jié)果(Xu,2007);針對(duì)自動(dòng)駕駛車(chē)人機(jī)共駕和大型商用飛機(jī)駕駛艙單人飛行操作的協(xié)同認(rèn)知生態(tài)系統(tǒng)框架為人因工程解決方案提出了一種新的工作思路(許為,2022a,2022b)。我們需要更多有效的能夠系統(tǒng)化地分析和設(shè)計(jì)人、社會(huì)、組織以及技術(shù)因素的方法,幫助更好地了解人類(lèi)、社會(huì)和組織因素如何影響開(kāi)發(fā)和使用智能新技術(shù),最終設(shè)計(jì)出優(yōu)化的iSTS。

    第四,充實(shí)iSTS 理論。本文所提出的僅僅是一個(gè)初步的iSTS 概念框架,需要在今后的研究和應(yīng)用中進(jìn)一步充實(shí)。iSTS 框架本身還有許多問(wèn)題需要解決。例如,在智能時(shí)代,在社會(huì)和技術(shù)子系統(tǒng)之間動(dòng)態(tài)交互的基礎(chǔ)上兩者如何協(xié)同演化?人與智能系統(tǒng)的交互將如何影響社會(huì)和組織環(huán)境中的人類(lèi)行為、組織變革、組織學(xué)習(xí)、組織認(rèn)知等?如何有效地開(kāi)展iSTS 的集成設(shè)計(jì)和治理?另外,我們還可以借助其他的理論來(lái)豐富iSTS 框架,比如采用基于協(xié)同認(rèn)知系統(tǒng)理論的協(xié)同認(rèn)知生態(tài)系統(tǒng)研究范式對(duì)自動(dòng)駕駛?cè)藱C(jī)共駕、大型商用飛機(jī)單人飛行操作的STS 宏觀環(huán)境的研究分析就是實(shí)例(許為,2022a;許為,2022b)。

    第五,開(kāi)展基于iSTS 的人因工程研究和應(yīng)用。人因工程研究和應(yīng)用要超越傳統(tǒng)的人機(jī)交互和人機(jī)界面設(shè)計(jì)的視野,在更廣闊的STS 視野中開(kāi)展系統(tǒng)化的研究。我們面對(duì)的智能系統(tǒng)是復(fù)雜的,所處的STS環(huán)境也是復(fù)雜的。在人因工程研究和應(yīng)用中如何運(yùn)用iSTS 還有許多問(wèn)題需要解決。例如,如何將iSTS 框架的理念有效地應(yīng)用在智能系統(tǒng)的具體研發(fā)中?如何深入研究智能技術(shù)對(duì)人機(jī)交互、社會(huì)和組織的影響,尤其是智能系統(tǒng)對(duì)組織決策的影響(Pasmore et al.,2019;Keding,2021)。iSTS 框架強(qiáng)調(diào)從宏觀角度出發(fā),通過(guò)從文化、心理、組織、社會(huì)、技術(shù)等多學(xué)科角度來(lái)研究倫理化AI,人因工程如何為倫理化AI 治理做出 貢 獻(xiàn)(Chopra & Singh,2018;Fiore,2020)?未來(lái)智能社會(huì)形態(tài)正在形成,例如,“工業(yè)4.0”(Sony&Naik,2020),“社會(huì)5.0”(周利敏,鐘海欣,2019),網(wǎng)絡(luò)物理系統(tǒng)(cyber-physical system,CPS)(Kant,2016),人因工程應(yīng)該如何在智能時(shí)代發(fā)展傳統(tǒng)的STS 理論并且應(yīng)用iSTS 框架來(lái)作出學(xué)科貢獻(xiàn)?

    5 總 結(jié)

    (1)人因工程通常強(qiáng)調(diào)人機(jī)交互和人機(jī)界面等方面的研究和設(shè)計(jì),不注重宏觀社會(huì)、組織環(huán)境等因素。進(jìn)入智能時(shí)代,智能技術(shù)在給人類(lèi)帶來(lái)益處的同時(shí),也可能對(duì)人類(lèi)、社會(huì)、組織等方面帶來(lái)影響。社會(huì)技術(shù)系統(tǒng)(STS)理論有助于從宏觀的角度綜合研究智能技術(shù)與各種因素之間的交互和協(xié)同優(yōu)化。

    (2)智能時(shí)代的STS 呈現(xiàn)出一系列新特征和新問(wèn)題。基于“以用戶(hù)為中心”的理念,本文提出一個(gè)針對(duì)智能時(shí)代的智能社會(huì)技術(shù)系統(tǒng)(iSTS)概念框架。該iSTS 框架突出了一些新特征,其中包括“以人為中心”的理念、人機(jī)團(tuán)隊(duì)協(xié)作、人機(jī)優(yōu)勢(shì)互補(bǔ)的工作設(shè)計(jì)、人機(jī)代理的共同學(xué)習(xí)、智能人機(jī)交互以及開(kāi)放式生態(tài)系統(tǒng)。

    (3)今后iSTS 研究、設(shè)計(jì)、開(kāi)發(fā)和應(yīng)用的工作需要包括人因工程在內(nèi)的跨學(xué)科協(xié)同合作。本文從人因工程方法論和研究思路兩方面提出建議,希望通過(guò)充實(shí)智能時(shí)代的STS 理論,開(kāi)拓智能時(shí)代人因工程研究和應(yīng)用的新思路。

    猜你喜歡
    智能工程系統(tǒng)
    Smartflower POP 一體式光伏系統(tǒng)
    WJ-700無(wú)人機(jī)系統(tǒng)
    ZC系列無(wú)人機(jī)遙感系統(tǒng)
    智能前沿
    文苑(2018年23期)2018-12-14 01:06:06
    智能前沿
    文苑(2018年19期)2018-11-09 01:30:14
    智能前沿
    文苑(2018年17期)2018-11-09 01:29:26
    智能前沿
    文苑(2018年21期)2018-11-09 01:22:32
    連通與提升系統(tǒng)的最后一塊拼圖 Audiolab 傲立 M-DAC mini
    子午工程
    太空探索(2016年6期)2016-07-10 12:09:06
    工程
    丰满迷人的少妇在线观看| 国产av国产精品国产| 青青草视频在线视频观看| 人人妻人人添人人爽欧美一区卜| 人人澡人人妻人| 国产免费视频播放在线视频| 午夜福利视频精品| 国产在视频线精品| 卡戴珊不雅视频在线播放| 午夜老司机福利剧场| 最近手机中文字幕大全| 免费观看无遮挡的男女| 久久人人爽av亚洲精品天堂| 久久久久人妻精品一区果冻| 久久99热这里只频精品6学生| 国产综合精华液| 亚洲婷婷狠狠爱综合网| 在线观看免费高清a一片| 国产亚洲精品久久久com| 久久久久精品性色| 99久国产av精品国产电影| 日韩 亚洲 欧美在线| 国产无遮挡羞羞视频在线观看| 亚洲精品乱码久久久v下载方式| 新久久久久国产一级毛片| 精品一区二区三卡| 亚洲精品一二三| 欧美激情国产日韩精品一区| 五月开心婷婷网| 日本黄大片高清| 久久免费观看电影| 久久99蜜桃精品久久| 亚洲欧美成人综合另类久久久| 亚洲精品乱久久久久久| 丰满乱子伦码专区| 免费观看性生交大片5| 一区二区三区免费毛片| 大香蕉97超碰在线| 在现免费观看毛片| 狂野欧美白嫩少妇大欣赏| 香蕉精品网在线| 在线观看人妻少妇| 午夜视频国产福利| 国产精品99久久久久久久久| 人人妻人人澡人人爽人人夜夜| 在线看a的网站| 亚洲一区二区三区欧美精品| av福利片在线| 大码成人一级视频| 亚洲av电影在线观看一区二区三区| 9色porny在线观看| av国产久精品久网站免费入址| av不卡在线播放| a级毛色黄片| 乱人伦中国视频| 80岁老熟妇乱子伦牲交| 看免费成人av毛片| 中文字幕人妻丝袜制服| 视频在线观看一区二区三区| 看非洲黑人一级黄片| 亚洲精品色激情综合| 日韩强制内射视频| 久久韩国三级中文字幕| 精品一区二区三区视频在线| 亚洲av综合色区一区| 99久久人妻综合| 久久精品熟女亚洲av麻豆精品| 亚洲性久久影院| 插逼视频在线观看| 免费高清在线观看视频在线观看| 日韩精品有码人妻一区| 啦啦啦在线观看免费高清www| 9色porny在线观看| 国产在视频线精品| 久久久久国产精品人妻一区二区| 简卡轻食公司| 超碰97精品在线观看| 乱码一卡2卡4卡精品| 久久亚洲国产成人精品v| 波野结衣二区三区在线| 日韩一本色道免费dvd| 亚洲欧美成人综合另类久久久| 高清av免费在线| 少妇猛男粗大的猛烈进出视频| 欧美日韩av久久| 特大巨黑吊av在线直播| 中文字幕人妻熟人妻熟丝袜美| 在线播放无遮挡| 国产一区二区三区综合在线观看 | 性高湖久久久久久久久免费观看| 各种免费的搞黄视频| 久久久久人妻精品一区果冻| 中文字幕精品免费在线观看视频 | 亚洲精品一区蜜桃| 久久久欧美国产精品| 精品国产露脸久久av麻豆| 亚洲精品日韩av片在线观看| 777米奇影视久久| 亚洲色图综合在线观看| 欧美日韩av久久| 久久精品国产鲁丝片午夜精品| kizo精华| 国产精品久久久久久久电影| 国产精品无大码| 午夜激情久久久久久久| 黄色怎么调成土黄色| 色婷婷久久久亚洲欧美| 亚洲av不卡在线观看| 久久精品熟女亚洲av麻豆精品| 久久女婷五月综合色啪小说| 午夜日本视频在线| 久久久久久伊人网av| 美女xxoo啪啪120秒动态图| 美女国产高潮福利片在线看| 狠狠精品人妻久久久久久综合| 99久久精品一区二区三区| 最近中文字幕2019免费版| 又大又黄又爽视频免费| 久久国产亚洲av麻豆专区| 青春草国产在线视频| 丁香六月天网| 亚洲精品久久成人aⅴ小说 | 97超视频在线观看视频| 久久精品久久精品一区二区三区| 下体分泌物呈黄色| 极品少妇高潮喷水抽搐| 国产成人freesex在线| 22中文网久久字幕| 国产欧美另类精品又又久久亚洲欧美| av国产精品久久久久影院| 国产精品久久久久久精品电影小说| 久久久久久人妻| 99国产精品免费福利视频| 亚洲av欧美aⅴ国产| www.色视频.com| 久久精品久久精品一区二区三区| 久久人人爽人人片av| 亚洲欧美色中文字幕在线| 少妇高潮的动态图| 欧美日韩成人在线一区二区| 国产男女内射视频| 亚洲高清免费不卡视频| 久久久精品区二区三区| 国产淫语在线视频| 久久久久久久久久人人人人人人| av播播在线观看一区| 日本猛色少妇xxxxx猛交久久| 18禁在线无遮挡免费观看视频| 在线观看www视频免费| 秋霞伦理黄片| 肉色欧美久久久久久久蜜桃| 欧美日韩精品成人综合77777| 搡老乐熟女国产| 欧美日韩av久久| 一级爰片在线观看| 久久久久久久久久人人人人人人| 观看av在线不卡| 中国国产av一级| 少妇人妻精品综合一区二区| 亚洲国产毛片av蜜桃av| 国产白丝娇喘喷水9色精品| 日本与韩国留学比较| 国产精品三级大全| 一本大道久久a久久精品| av线在线观看网站| 99国产精品免费福利视频| 18在线观看网站| 国产男女内射视频| 成年人午夜在线观看视频| 97在线人人人人妻| 黄色一级大片看看| 91aial.com中文字幕在线观看| 有码 亚洲区| 日韩免费高清中文字幕av| 久久精品国产鲁丝片午夜精品| 十八禁网站网址无遮挡| 亚洲精品日韩在线中文字幕| 亚洲av福利一区| 人妻人人澡人人爽人人| 国产在线一区二区三区精| 大香蕉久久网| 国产精品一国产av| 色视频在线一区二区三区| 久久人人爽人人片av| 久久这里有精品视频免费| 日本-黄色视频高清免费观看| 亚洲怡红院男人天堂| 亚洲精品久久午夜乱码| 久久久精品区二区三区| 18+在线观看网站| 久久热精品热| 九色成人免费人妻av| 99久久精品国产国产毛片| 老女人水多毛片| 日本免费在线观看一区| 亚洲综合色惰| 一本久久精品| 涩涩av久久男人的天堂| 在线天堂最新版资源| 精品久久久久久电影网| 91久久精品国产一区二区成人| 91精品国产九色| 久久亚洲国产成人精品v| 只有这里有精品99| 免费大片18禁| 如何舔出高潮| 欧美日本中文国产一区发布| 欧美人与性动交α欧美精品济南到 | 黄色毛片三级朝国网站| 飞空精品影院首页| 精品人妻在线不人妻| 伊人久久精品亚洲午夜| 国产极品天堂在线| 精品久久久久久久久亚洲| 9色porny在线观看| 婷婷色av中文字幕| 高清视频免费观看一区二区| 欧美日韩成人在线一区二区| 国产亚洲最大av| 国产成人aa在线观看| 日韩电影二区| 国产精品 国内视频| 午夜久久久在线观看| 精品一区二区三区视频在线| 日韩电影二区| 一级,二级,三级黄色视频| 一级a做视频免费观看| 丝袜脚勾引网站| 欧美变态另类bdsm刘玥| 亚洲精品乱码久久久久久按摩| 日本猛色少妇xxxxx猛交久久| 水蜜桃什么品种好| 秋霞伦理黄片| 婷婷色麻豆天堂久久| 制服人妻中文乱码| 亚洲人与动物交配视频| 久久久欧美国产精品| 超色免费av| xxxhd国产人妻xxx| 91精品国产九色| 国产精品.久久久| 国产精品国产三级专区第一集| 在线观看三级黄色| 国产老妇伦熟女老妇高清| 成年女人在线观看亚洲视频| 伊人亚洲综合成人网| 精品久久国产蜜桃| 久久精品国产亚洲网站| 尾随美女入室| av又黄又爽大尺度在线免费看| 亚洲精品456在线播放app| 成人毛片a级毛片在线播放| 精品少妇内射三级| 91精品三级在线观看| 精品久久国产蜜桃| 天天影视国产精品| 久久久久久伊人网av| 999精品在线视频| 国产永久视频网站| 日韩亚洲欧美综合| 大陆偷拍与自拍| 黑人欧美特级aaaaaa片| 久久这里有精品视频免费| 亚洲av.av天堂| 免费看av在线观看网站| 亚洲精品乱码久久久久久按摩| 亚洲综合精品二区| 国产精品一区二区在线观看99| 久久午夜综合久久蜜桃| 考比视频在线观看| 精品久久久久久久久av| 一个人免费看片子| 亚洲av成人精品一二三区| 久久精品久久久久久久性| 在线看a的网站| 久久午夜福利片| 高清视频免费观看一区二区| 免费久久久久久久精品成人欧美视频 | 国产黄色视频一区二区在线观看| 欧美三级亚洲精品| 免费观看无遮挡的男女| 国产一区二区三区综合在线观看 | 国产日韩欧美视频二区| 一级,二级,三级黄色视频| 欧美 亚洲 国产 日韩一| 看免费成人av毛片| 国产黄片视频在线免费观看| 中国美白少妇内射xxxbb| 中文精品一卡2卡3卡4更新| 99热这里只有精品一区| 日本av免费视频播放| 国产精品久久久久久精品电影小说| 精品国产一区二区三区久久久樱花| av在线播放精品| 欧美精品高潮呻吟av久久| 91久久精品电影网| 亚洲内射少妇av| 精品一区二区三区视频在线| 在线播放无遮挡| 亚洲欧美成人综合另类久久久| 国产精品久久久久成人av| 久久久精品免费免费高清| av福利片在线| 99久久精品国产国产毛片| 国产白丝娇喘喷水9色精品| 人人妻人人添人人爽欧美一区卜| 欧美人与善性xxx| 狂野欧美激情性xxxx在线观看| 日韩精品免费视频一区二区三区 | 又黄又爽又刺激的免费视频.| 亚洲人成网站在线播| 日韩,欧美,国产一区二区三区| 五月伊人婷婷丁香| 一本久久精品| 久久毛片免费看一区二区三区| 欧美人与性动交α欧美精品济南到 | 成年美女黄网站色视频大全免费 | 伊人亚洲综合成人网| 免费观看的影片在线观看| 久久女婷五月综合色啪小说| videossex国产| 国产在线免费精品| 国产黄片视频在线免费观看| 国产成人一区二区在线| 日本av手机在线免费观看| 久久久欧美国产精品| 国产亚洲午夜精品一区二区久久| 日韩精品免费视频一区二区三区 | 国产成人av激情在线播放 | 一边亲一边摸免费视频| 男人添女人高潮全过程视频| 精品久久久久久久久av| 国产色婷婷99| 色哟哟·www| 大又大粗又爽又黄少妇毛片口| 各种免费的搞黄视频| 91成人精品电影| 99热网站在线观看| 少妇精品久久久久久久| 国产成人精品婷婷| 在线观看免费视频网站a站| 自拍欧美九色日韩亚洲蝌蚪91| tube8黄色片| 色婷婷av一区二区三区视频| 久久久a久久爽久久v久久| 亚洲av男天堂| 日韩一区二区三区影片| 涩涩av久久男人的天堂| 在线观看免费视频网站a站| 国产精品一国产av| 2021少妇久久久久久久久久久| 熟女av电影| 国产成人免费观看mmmm| 最近的中文字幕免费完整| 国产精品.久久久| 激情五月婷婷亚洲| 狠狠精品人妻久久久久久综合| 国产在线视频一区二区| 亚洲国产精品专区欧美| 日本欧美国产在线视频| 国产成人一区二区在线| 我的女老师完整版在线观看| 人妻系列 视频| 人妻制服诱惑在线中文字幕| 成人国产av品久久久| 久久久久人妻精品一区果冻| 久久久久久久久久久丰满| 久久久亚洲精品成人影院| av国产久精品久网站免费入址| 日韩精品免费视频一区二区三区 | 亚洲人成77777在线视频| 中文字幕最新亚洲高清| 欧美日韩亚洲高清精品| 全区人妻精品视频| 中文字幕最新亚洲高清| 美女中出高潮动态图| 成人黄色视频免费在线看| 中文乱码字字幕精品一区二区三区| 亚洲国产日韩一区二区| 国产精品三级大全| 九九爱精品视频在线观看| 亚洲av中文av极速乱| 丝袜美足系列| 久久久欧美国产精品| 一本—道久久a久久精品蜜桃钙片| 啦啦啦啦在线视频资源| 在线天堂最新版资源| 综合色丁香网| 亚洲丝袜综合中文字幕| 视频区图区小说| 麻豆乱淫一区二区| 国产熟女欧美一区二区| 高清av免费在线| 亚洲精品中文字幕在线视频| 99精国产麻豆久久婷婷| 久久ye,这里只有精品| 国产成人精品一,二区| 久久久久精品久久久久真实原创| 欧美精品亚洲一区二区| 国产精品一区二区三区四区免费观看| 一级a做视频免费观看| 国产乱人偷精品视频| 欧美日韩成人在线一区二区| 老司机影院成人| 精品国产露脸久久av麻豆| 综合色丁香网| 国产日韩欧美在线精品| 观看av在线不卡| 亚洲精品第二区| 精品熟女少妇av免费看| 国产黄片视频在线免费观看| 成人午夜精彩视频在线观看| 最近最新中文字幕免费大全7| 亚洲国产欧美日韩在线播放| 永久免费av网站大全| videossex国产| 成年人免费黄色播放视频| 精品一区在线观看国产| 国产日韩欧美在线精品| 搡女人真爽免费视频火全软件| 青春草国产在线视频| 中文字幕人妻丝袜制服| 日日摸夜夜添夜夜爱| 亚洲无线观看免费| 少妇的逼好多水| 中文字幕免费在线视频6| 国产黄色免费在线视频| 免费日韩欧美在线观看| 老司机影院毛片| 国产综合精华液| 精品人妻在线不人妻| 黑人高潮一二区| 内地一区二区视频在线| 午夜av观看不卡| 少妇熟女欧美另类| 永久免费av网站大全| 日韩欧美精品免费久久| 亚洲久久久国产精品| 欧美另类一区| 天天影视国产精品| 色婷婷av一区二区三区视频| 飞空精品影院首页| 欧美日韩成人在线一区二区| 国产 精品1| 欧美xxⅹ黑人| 国语对白做爰xxxⅹ性视频网站| 岛国毛片在线播放| 国产成人av激情在线播放 | 亚洲美女黄色视频免费看| 人妻少妇偷人精品九色| 国产熟女欧美一区二区| 嫩草影院入口| 大香蕉久久网| 天美传媒精品一区二区| 国产午夜精品一二区理论片| 一级片'在线观看视频| 丝袜喷水一区| 色婷婷av一区二区三区视频| 99热这里只有精品一区| 观看av在线不卡| 成人二区视频| 街头女战士在线观看网站| 秋霞在线观看毛片| 久久久亚洲精品成人影院| 亚洲国产精品成人久久小说| 插逼视频在线观看| 久久午夜福利片| 日韩熟女老妇一区二区性免费视频| 国产综合精华液| 熟女av电影| 狂野欧美激情性xxxx在线观看| 成年女人在线观看亚洲视频| 国产精品人妻久久久影院| 丝袜喷水一区| 哪个播放器可以免费观看大片| 建设人人有责人人尽责人人享有的| 日韩av不卡免费在线播放| 日本欧美国产在线视频| 你懂的网址亚洲精品在线观看| 久久韩国三级中文字幕| 看免费成人av毛片| 日本爱情动作片www.在线观看| 亚洲精华国产精华液的使用体验| 亚洲内射少妇av| 男女无遮挡免费网站观看| 在线观看三级黄色| 国产一区有黄有色的免费视频| 中国三级夫妇交换| 涩涩av久久男人的天堂| 日韩伦理黄色片| 久久精品久久久久久久性| 久久99精品国语久久久| 国产老妇伦熟女老妇高清| 制服丝袜香蕉在线| 2021少妇久久久久久久久久久| 你懂的网址亚洲精品在线观看| 能在线免费看毛片的网站| 国产高清不卡午夜福利| 91精品伊人久久大香线蕉| 五月开心婷婷网| 卡戴珊不雅视频在线播放| 国产精品.久久久| 91久久精品国产一区二区成人| 人妻制服诱惑在线中文字幕| 久久青草综合色| 精品少妇黑人巨大在线播放| 一级二级三级毛片免费看| 热99久久久久精品小说推荐| 久久ye,这里只有精品| 97超碰精品成人国产| 多毛熟女@视频| 我的女老师完整版在线观看| 国产在线一区二区三区精| 最黄视频免费看| 日本欧美国产在线视频| videosex国产| 91精品国产国语对白视频| 中文字幕久久专区| 日韩伦理黄色片| 高清毛片免费看| 亚洲美女视频黄频| 内地一区二区视频在线| 草草在线视频免费看| 自线自在国产av| 精品一区二区免费观看| 91成人精品电影| 777米奇影视久久| 一级毛片aaaaaa免费看小| 男女边吃奶边做爰视频| 免费人成在线观看视频色| 精品久久久久久久久av| 久久婷婷青草| 亚洲欧洲日产国产| 午夜免费观看性视频| 国国产精品蜜臀av免费| 久久精品夜色国产| 男女啪啪激烈高潮av片| 一边摸一边做爽爽视频免费| 久久99精品国语久久久| 香蕉精品网在线| 国产国语露脸激情在线看| 高清在线视频一区二区三区| 亚洲精品乱久久久久久| 亚洲三级黄色毛片| 国产亚洲欧美精品永久| 亚洲丝袜综合中文字幕| 国产亚洲最大av| 欧美+日韩+精品| 91久久精品国产一区二区成人| 免费av不卡在线播放| 中文字幕精品免费在线观看视频 | 国产午夜精品久久久久久一区二区三区| 婷婷成人精品国产| 69精品国产乱码久久久| 久热久热在线精品观看| 国产熟女午夜一区二区三区 | 国产欧美日韩综合在线一区二区| 99久久人妻综合| av又黄又爽大尺度在线免费看| 99久久精品一区二区三区| 久久影院123| 黄色一级大片看看| 丰满少妇做爰视频| 国产女主播在线喷水免费视频网站| 久久精品夜色国产| 欧美日韩视频精品一区| 国产深夜福利视频在线观看| 日韩大片免费观看网站| 秋霞伦理黄片| 国产综合精华液| 久久精品人人爽人人爽视色| 99久久精品国产国产毛片| 日韩人妻高清精品专区| 啦啦啦啦在线视频资源| 视频区图区小说| 国产精品麻豆人妻色哟哟久久| 少妇的逼好多水| 又粗又硬又长又爽又黄的视频| 99久久精品一区二区三区| 99九九线精品视频在线观看视频| 成年人免费黄色播放视频| 丰满少妇做爰视频| 亚洲精品aⅴ在线观看| 亚洲欧美日韩另类电影网站| 哪个播放器可以免费观看大片| 乱人伦中国视频| 久久人人爽人人爽人人片va| 成人午夜精彩视频在线观看| 欧美日韩视频高清一区二区三区二| 女性生殖器流出的白浆| 99久久精品国产国产毛片| 一级,二级,三级黄色视频| 美女视频免费永久观看网站| 亚洲欧美成人综合另类久久久| 亚洲国产毛片av蜜桃av| 激情五月婷婷亚洲| 人妻制服诱惑在线中文字幕| 性色avwww在线观看| 国产成人精品无人区| 国产亚洲一区二区精品| 日韩不卡一区二区三区视频在线| 又黄又爽又刺激的免费视频.| 欧美国产精品一级二级三级| 国产毛片在线视频| 国产免费视频播放在线视频| 成年美女黄网站色视频大全免费 | av在线观看视频网站免费| 18禁动态无遮挡网站| 日韩中文字幕视频在线看片| 亚洲欧美成人精品一区二区| 免费观看性生交大片5| 99视频精品全部免费 在线| 精品人妻熟女av久视频| 日本午夜av视频| av在线app专区|