人工智能設(shè)計(jì)的道德意蘊(yùn)探析

閆坤如

人工智能正在引發(fā)繼蒸汽革命、電力革命、信息革命之后的第四次革命。人工智能革命既是科技革命，也是社會(huì)倫理實(shí)驗(yàn)；既是社會(huì)革命，也是認(rèn)識(shí)論革命。人工智能正在改變著人類認(rèn)知，重塑人與自身以及人與世界之間的聯(lián)系。人類是否能夠設(shè)計(jì)出具有思維的機(jī)器進(jìn)入了人工智能專家的視野，設(shè)計(jì)的機(jī)器是否能夠嵌入人類價(jià)值也引發(fā)人們思考。價(jià)值并非經(jīng)驗(yàn)性描述，價(jià)值往往不是描述性陳述，而是規(guī)范性陳述，價(jià)值依賴于人類生存的人文環(huán)境，包含了人類的價(jià)值觀。人工智能設(shè)計(jì)也不是簡(jiǎn)單的結(jié)構(gòu)—功能關(guān)系，其中蘊(yùn)涵了人類價(jià)值。2017 年，西蒙（J.Simon）在《價(jià)值敏感設(shè)計(jì)與負(fù)責(zé)任研究與創(chuàng)新》中提出：“明確地說(shuō)，我們并不否認(rèn)有必要研究技術(shù)中蘊(yùn)含的價(jià)值觀，以及設(shè)計(jì)和構(gòu)建具有符合人類利益的價(jià)值觀的技術(shù)的重要性?！雹賁imon,J.“Value-sensitive design and responsible research and innovation,”in S.O.Hansson ed.,The Ethics of Technologymethods and Approaches,London:Rowman &Littlefield.2017:pp.219-235.

一、人工智能設(shè)計(jì)蘊(yùn)涵價(jià)值

（一）人工智能設(shè)計(jì)嵌入了主體價(jià)值

設(shè)計(jì)是為了達(dá)到主體目的創(chuàng)造出新的人工物的活動(dòng)，人工智能設(shè)計(jì)是為了達(dá)到主體意愿創(chuàng)造出會(huì)思考、能推理、能自主學(xué)習(xí)、甚至能夠具有情感的智能機(jī)器的活動(dòng)。人工智能設(shè)計(jì)目的是設(shè)計(jì)出智能的技術(shù)人工物——機(jī)器。人工智能專家西蒙（Hubert A Simon）提出：“（設(shè)計(jì)）考慮的是人工物（artifacts）應(yīng)該是怎樣的，也就是什么樣的人工物才能實(shí)現(xiàn)目的，才能發(fā)揮其作用?！雹赟imon H A.The sciences of the artificial,Cambridge:MIT press,1996:pp.4-5.人工智能設(shè)計(jì)是為了達(dá)到主體目的的活動(dòng)，它以設(shè)計(jì)主體的事實(shí)認(rèn)知與價(jià)值評(píng)價(jià)為基礎(chǔ)。在設(shè)計(jì)主體看來(lái)，人工智能不僅僅局限于制造簡(jiǎn)單的機(jī)器，從圖靈開(kāi)始就意圖設(shè)計(jì)出“會(huì)思考”的機(jī)器。不同研究背景的人工智能專家從不同視角設(shè)計(jì)智能機(jī)器，以鈕厄爾（Allen Newell）、西蒙等人基于符號(hào)主義（symbolicism）進(jìn)路，用符號(hào)系統(tǒng)模擬人類智能活動(dòng)來(lái)設(shè)計(jì)機(jī)器；以魯梅爾哈特（David Everett Rumelhart）和桑代克（Edward Thorndike）等人為代表的聯(lián)結(jié)主義(connectionism)進(jìn)路主要的研究方向是人腦的神經(jīng)網(wǎng)絡(luò)，人腦的神經(jīng)元是人類認(rèn)識(shí)自然、發(fā)展知識(shí)的基本物質(zhì)結(jié)構(gòu)，認(rèn)識(shí)的基本過(guò)程是神經(jīng)元對(duì)外界信息進(jìn)行分析和處理的過(guò)程，聯(lián)結(jié)主義的理論預(yù)設(shè)是同樣結(jié)構(gòu)具有同樣功能，人工智能的行為由算法結(jié)構(gòu)來(lái)決定；行為主義(actionism)的主要代表是維納（Norbert Wiener），主要研究方向是計(jì)算機(jī)如何模擬人類的各種控制行為。人工智能專家不管從哪種進(jìn)路出發(fā)，都通過(guò)對(duì)人類行為的模擬來(lái)設(shè)計(jì)、制造機(jī)器，因此，為誰(shuí)設(shè)計(jì)機(jī)器、設(shè)計(jì)什么樣的機(jī)器、設(shè)計(jì)的機(jī)器具有何種功能都依賴于設(shè)計(jì)主體。機(jī)器并非價(jià)值中立的，人工智能的設(shè)計(jì)包含了設(shè)計(jì)主體意愿，主體價(jià)值受主體信念、知識(shí)背景、社會(huì)價(jià)值等主觀價(jià)值的影響。人工智能設(shè)計(jì)涉及利益相關(guān)者之間的利益協(xié)調(diào)和博弈。人工智能致力于制造出會(huì)思維的機(jī)器，特別是制造出具有類人智能的機(jī)器，這樣的機(jī)器蘊(yùn)涵主體價(jià)值觀，人工智能設(shè)計(jì)更關(guān)涉人類價(jià)值取向。

（二）社會(huì)價(jià)值觀影響人工智能設(shè)計(jì)

社會(huì)價(jià)值觀念會(huì)影響人工智能的設(shè)計(jì)。如中世紀(jì)之前，歐洲人信仰天主教禁止解剖，阻礙醫(yī)學(xué)技術(shù)發(fā)展，人類價(jià)值觀影響了技術(shù)的發(fā)展。手機(jī)的智能化影響交通安全，在智慧設(shè)計(jì)中必須考慮到安全性的社會(huì)價(jià)值。社會(huì)公平性的價(jià)值觀念也會(huì)影響技術(shù)設(shè)計(jì)。人工智能領(lǐng)域一般遵守長(zhǎng)期以來(lái)制定的研究倫理行為規(guī)范和指南，如計(jì)算機(jī)編程規(guī)范、傳統(tǒng)倫理的公平性、安全性、隱私觀等問(wèn)題，但人工智能作為新技術(shù)帶來(lái)新的倫理觀念和價(jià)值觀念的改變。人工智能的兩個(gè)要素是算法和數(shù)據(jù)，算法一般是基于數(shù)據(jù)驅(qū)動(dòng)的，數(shù)據(jù)是人工智能時(shí)代的重要資源。因此，人工智能技術(shù)需要搜集人類數(shù)據(jù)，引發(fā)人類對(duì)于隱私權(quán)的關(guān)注，人工智能時(shí)代人類隱私權(quán)增強(qiáng)了。2019 年，美國(guó)舊金山市頒布《反監(jiān)控條例》（Anti-surveillance Ordinance），發(fā)布了人臉識(shí)別技術(shù)禁令，全面禁止使用人臉識(shí)別技術(shù)。如果每個(gè)城市都禁止人臉識(shí)別的應(yīng)用，將會(huì)阻礙人工智能識(shí)別算法的發(fā)展。在汽車設(shè)計(jì)中，不同時(shí)代考慮也不相同，汽車設(shè)計(jì)在內(nèi)燃機(jī)動(dòng)力時(shí)代主要考慮快速、便捷，現(xiàn)在汽車設(shè)計(jì)主要考慮安全、舒適。不僅如此，汽車設(shè)計(jì)安全性受時(shí)代價(jià)值的影響，根據(jù)西姆斯（Simms C）和伍德（Wood D）的研究，汽車一開(kāi)始考慮駕駛員安全，后來(lái)因?yàn)槠囏?zé)任歸屬的變遷，汽車撞人需要駕駛?cè)藛T承擔(dān)責(zé)任，因此，汽車設(shè)計(jì)也要考慮行人或者他人的安全。①Simms C,Wood D,Pedestrian and Cyclist Impact,Dordrecht:Spring Netherlands,2009,p.166.社會(huì)的價(jià)值觀影響人工智能設(shè)計(jì)，現(xiàn)在的無(wú)人駕駛汽車要充分考慮乘客和行人的安全。因此，在人工智能設(shè)計(jì)中必須考慮到設(shè)計(jì)蘊(yùn)涵的價(jià)值，即使最簡(jiǎn)單的機(jī)器也涉及倫理問(wèn)題，掃地機(jī)器人可以自動(dòng)清潔房間，但也會(huì)面臨道德挑戰(zhàn)：抽成真空來(lái)殺死蟲子還是繞開(kāi)蟲子或者趕走蟲子呢？這就需要設(shè)計(jì)者在設(shè)計(jì)之初就要進(jìn)行價(jià)值判斷才能有合乎倫理的設(shè)計(jì)理念。自動(dòng)服藥機(jī)器人如果強(qiáng)制讓病人服藥則干涉病人的自由；如果不強(qiáng)制服藥，則危害健康。這些都依賴于設(shè)計(jì)者的道德決策，在設(shè)計(jì)之初也須考慮倫理問(wèn)題，即使簡(jiǎn)單的機(jī)器也并非價(jià)值中立的，如果使用一組不恰當(dāng)?shù)膬r(jià)值觀作為設(shè)計(jì)行動(dòng)的基礎(chǔ)，那就是機(jī)器作惡的“罪魁禍?zhǔn)住薄?/p>

（三）人工智能技術(shù)具有價(jià)值導(dǎo)向性

人工智能技術(shù)具有價(jià)值導(dǎo)向性表現(xiàn)為人工智能技術(shù)促進(jìn)社會(huì)價(jià)值觀變革。技術(shù)改變了人類的價(jià)值觀。如避孕藥技術(shù)的出現(xiàn)改變了有關(guān)“性”的價(jià)值框架，它讓性與生殖之間失去必然聯(lián)系。技術(shù)進(jìn)步也會(huì)導(dǎo)致人類價(jià)值觀的改變。鯊魚泳衣和興奮劑在體育賽事中的應(yīng)用引發(fā)人類對(duì)于比賽公平性的思考；B 超的發(fā)明與應(yīng)用，使得腹中胚胎清晰可見(jiàn)，這種技術(shù)讓人類觀察到胎兒具有生命體征，可以觀察到胎兒會(huì)根據(jù)孕婦的行為做出相應(yīng)的反應(yīng)，在很多國(guó)家和地區(qū)把胎兒作為獨(dú)立的法律主體和道德主體，隨意墮胎有悖道德，也違反法律；等等?！凹夹g(shù)破壞了道德慣例，而道德慣例又引發(fā)了道德反思和討論，從而產(chǎn)生或不產(chǎn)生新的道德規(guī)范，”②Swierstra T,“Nanotechnology and technomoral change,”Etica e Politica,Vol.15,No.1(2013)pp.200-219.社會(huì)價(jià)值觀念會(huì)影響技術(shù)發(fā)展，如基因編輯除了技術(shù)的不確定性、脫靶的后果不可知、不可控之外，基因編輯也會(huì)導(dǎo)致人與人之間的不公平，因此，很多國(guó)家不支持對(duì)人類進(jìn)行基因編輯。技術(shù)改變?nèi)藗儗?duì)世界秩序的認(rèn)識(shí)以及人類在世界秩序中的地位的既定認(rèn)知方式。X 光技術(shù)的發(fā)展讓人們意識(shí)到肺中的焦油和腫瘤，人工智能技術(shù)的發(fā)展揭示了吸煙和癌癥之間的統(tǒng)計(jì)關(guān)系，使得人類認(rèn)識(shí)到吸煙的危害。技術(shù)進(jìn)步也會(huì)導(dǎo)致人類價(jià)值觀和倫理規(guī)范的變革。隨著社交軟件的流行，人們的隱私觀念正在發(fā)生變化，B.Debatin 等人通過(guò)對(duì)美國(guó)人的調(diào)研發(fā)現(xiàn)，F(xiàn)acebook 的使用已經(jīng)導(dǎo)致人們對(duì)隱私的態(tài)度更加寬松。①Debatin,B.,Lovejoy,J.P.,Horn,A.-K.,&Hughes,B.N.,“ Face-book and online privacy:Attitudes,behaviors,and unintended consequences,”Journal of Computer-Mediated Communication, Vol.15,No.1(2009),pp.83-108.在人工智能時(shí)代，社交網(wǎng)絡(luò)用戶熱衷于曬家庭住址、旅游地點(diǎn)、收入以及其他的個(gè)人隱私。1980 年，英國(guó)學(xué)者科林格里奇（David Collingridge）提出科林格里奇困境（Collingridge Delimma），它指的是某項(xiàng)技術(shù)發(fā)展的后果在初期難以預(yù)測(cè)，人們不知道它將如何影響社會(huì)。平板電腦、手機(jī)本來(lái)為了便捷，結(jié)果引來(lái)生活方式的改變；計(jì)算機(jī)本來(lái)是為了數(shù)據(jù)處理迅速，卻帶來(lái)生產(chǎn)方式的變革；等等。技術(shù)會(huì)影響價(jià)值，價(jià)值又會(huì)促進(jìn)或阻礙技術(shù)的發(fā)展。

人工智能技術(shù)帶來(lái)新的倫理問(wèn)題，同時(shí)也會(huì)促進(jìn)道德意識(shí)的變革、道德規(guī)則改變，甚至道德主體的變革。隨著機(jī)器人自主性增強(qiáng)和自我推理、自我決策能力的提高，一旦人工智能具有了自我意識(shí)、能夠承擔(dān)獨(dú)立的責(zé)任，道德的主體范疇是否將不僅僅局限于人類，還會(huì)拓展到機(jī)器呢？機(jī)器權(quán)利如何保障？機(jī)器人必須承擔(dān)哪些責(zé)任呢？不管是人工智能技術(shù)發(fā)展帶來(lái)的道德標(biāo)準(zhǔn)的改變，還是道德主體的重新定義與思考，都是人工智能發(fā)展帶來(lái)的結(jié)果。技術(shù)影響人理解世界，以及人如何與世界互動(dòng)。社會(huì)價(jià)值具有動(dòng)態(tài)性，技術(shù)常常改變?nèi)藗冇脕?lái)評(píng)估它們的價(jià)值框架。人工智能設(shè)計(jì)應(yīng)該能夠考慮到主體價(jià)值和社會(huì)價(jià)值觀，更要明確其中的道德和倫理因素。人工智能在社會(huì)中的地位是一個(gè)規(guī)范性問(wèn)題，而不是描述性的倫理問(wèn)題，從人工智能設(shè)計(jì)之初，就應(yīng)該規(guī)范人工智能技術(shù)的發(fā)展。

二、人工智能蘊(yùn)涵價(jià)值的設(shè)計(jì)進(jìn)路

對(duì)于人工智能設(shè)計(jì)關(guān)注的是人的道德還是物的道德呢？學(xué)界具有不同意見(jiàn)，對(duì)于人工智能的設(shè)計(jì)，應(yīng)該從兩個(gè)層面進(jìn)行分析：第一，人工智能算法設(shè)計(jì)者的倫理規(guī)范（人的道德）；第二，設(shè)計(jì)的智能機(jī)器的價(jià)值導(dǎo)向（物的道德）。對(duì)于物的道德，指的是設(shè)計(jì)的機(jī)器這個(gè)人工物具有道德約束作用，讓機(jī)器來(lái)調(diào)節(jié)和規(guī)范人類遵守道德，或者人類授權(quán)機(jī)器具有某種道德，承擔(dān)某種責(zé)任。人工智能力圖于制造能夠思維的機(jī)器，可能具有道德主體地位，可能既具有人的道德也具有物的道德，被稱之為機(jī)器道德（Machine ethics）。下面就從人的道德和物的道德以及機(jī)器道德這三個(gè)層面來(lái)分析人工智能蘊(yùn)涵價(jià)值的設(shè)計(jì)進(jìn)路。

（一）設(shè)計(jì)者的價(jià)值敏感性設(shè)計(jì)理論分析

美國(guó)的弗里德曼（Batya Friedman）關(guān)注計(jì)算機(jī)系統(tǒng)設(shè)計(jì)中的人為因素，1992 年他與卡恩（Kahn P H）在論文《人類主體與負(fù)責(zé)任計(jì)算：計(jì)算機(jī)系統(tǒng)設(shè)計(jì)啟示（Human agency and responsible computing:Implications for computer system design）》中提出“價(jià)值敏感性設(shè)計(jì)（Value Sensitive Design）”方法②Friedman B,Kahn P H,“Human agency and responsible computing:Implications for computer system design,”Journal of Systems &Software, Vol.17,No.1(1992),7-14.，他們主張應(yīng)該在設(shè)計(jì)中系統(tǒng)全面地考慮人類價(jià)值，如人類福祉、人類尊嚴(yán)、隱私安全、公平公正等。他們關(guān)注信息系統(tǒng)設(shè)計(jì)，提倡在人機(jī)交互領(lǐng)域的設(shè)計(jì)中嵌入道德價(jià)值，全面系統(tǒng)地考量設(shè)計(jì)中的人類價(jià)值，“價(jià)值敏感設(shè)計(jì)是一種基于理論的技術(shù)設(shè)計(jì)方法，在整個(gè)設(shè)計(jì)過(guò)程中以一種原則和全面的方式考慮人類價(jià)值”③Friedman B,Kahn P H,Borning A,“Value Sensitive Design and Information Systems,”in the Handbook of Information and Computer Ethics, John Wiley &Sons,Inc,2006,pp.69-101.。弗里德曼在其倫理的基礎(chǔ)上提出設(shè)計(jì)的“三重方法論”，即概念性方法、經(jīng)驗(yàn)性方法和技術(shù)性方法，該方法可以為人工智能技術(shù)設(shè)計(jì)過(guò)程提供借鑒。首先是概念性方法，需要哲學(xué)家和倫理學(xué)家的介入，主要解決在人工智能技術(shù)的設(shè)計(jì)環(huán)節(jié)中經(jīng)常出現(xiàn)的倫理沖突和價(jià)值取向的次序問(wèn)題；其次是經(jīng)驗(yàn)性方法，在人工智能技術(shù)的設(shè)計(jì)環(huán)節(jié)，需要通過(guò)多種方式獲得社會(huì)因素對(duì)于該項(xiàng)技術(shù)的具體期待和要求，以避免出現(xiàn)設(shè)計(jì)目的與需求的偏離，在人工智能技術(shù)的運(yùn)行階段，要考慮技術(shù)設(shè)計(jì)的目的是否滿足了實(shí)際需求，這是溝通技術(shù)設(shè)計(jì)者與社會(huì)因素的關(guān)鍵環(huán)節(jié)，雙方可以建立有效的對(duì)話，以明確傳遞和表達(dá)各自不同的訴求，減少設(shè)計(jì)偏差和設(shè)計(jì)失誤；再次是技術(shù)性方法，指的是通過(guò)專業(yè)的技術(shù)設(shè)計(jì)將取得的經(jīng)驗(yàn)轉(zhuǎn)化為技術(shù)可以讀取的邏輯數(shù)據(jù)，它是概念性方法與經(jīng)驗(yàn)性方法最終在技術(shù)層面的體現(xiàn)。人工智能技術(shù)在技術(shù)層面面臨的數(shù)據(jù)泄露、算法權(quán)力本質(zhì)上仍是技術(shù)發(fā)展不全面的問(wèn)題，而通過(guò)概念性方法與經(jīng)驗(yàn)性方法可以完善技術(shù)的發(fā)展。價(jià)值敏感性設(shè)計(jì)的三種主要方法并不是單一存在的，而是共同作用的。弗里德曼認(rèn)為“在設(shè)計(jì)過(guò)程中，以一定的原則和系統(tǒng)性方法來(lái)解釋人類價(jià)值并保障價(jià)值的實(shí)現(xiàn)”①Friedman,B,Kahn PHjr,Boming a value sensitive design:theory andmethods, Washington,D.C.:University of Washington,2003,pp.1-25.。在人工智能的設(shè)計(jì)中，人工智能的設(shè)計(jì)者應(yīng)該預(yù)測(cè)到設(shè)計(jì)的機(jī)器可能帶來(lái)的社會(huì)影響和倫理問(wèn)題，在設(shè)計(jì)之初，評(píng)估人工智能可能帶來(lái)的一些倫理問(wèn)題或者經(jīng)過(guò)人工智能協(xié)會(huì)的倫理審查，對(duì)人工智能技術(shù)進(jìn)行哲學(xué)反思，通過(guò)人工智能設(shè)計(jì)者的專業(yè)設(shè)計(jì)，協(xié)調(diào)不同人工智能主體的利益訴求，確保設(shè)計(jì)出來(lái)的機(jī)器合乎倫理規(guī)范。

（二）“物道德”中的人工智能設(shè)計(jì)方法

技術(shù)哲學(xué)家安德魯·芬伯格（Andrew Feenberg）將技術(shù)的本質(zhì)界定為兩類：工具論（instrumental theory）和實(shí)體論（substantive theory）。工具論認(rèn)為技術(shù)是價(jià)值中立的，不負(fù)載主體價(jià)值和社會(huì)價(jià)值，技術(shù)工具論者支持在人與物之間進(jìn)行一種嚴(yán)格的劃分：人可以成為道德分析的主體，而物則不能，而實(shí)體理論認(rèn)為技術(shù)是獨(dú)立于人的實(shí)體，具有價(jià)值負(fù)載。一些技術(shù)哲學(xué)家沿襲技術(shù)實(shí)體論的觀點(diǎn)，認(rèn)為技術(shù)設(shè)計(jì)的人工物具有道德調(diào)節(jié)作用。拉圖爾（B.Latour）提供了一個(gè)關(guān)于人與技術(shù)互動(dòng)的視角，他認(rèn)為不管是警察還是減速帶都能讓司機(jī)減速，因此，影響人的人與影響人的技術(shù)之間的差異變得無(wú)關(guān)緊要。拉圖爾認(rèn)為人類把責(zé)任“授權(quán)”給人工物才使得人工物具有了道德責(zé)任。司機(jī)在減速帶前會(huì)減速，否則會(huì)損壞汽車，也可能傷害到乘客的背部。所以，人類賦權(quán)給減速帶讓司機(jī)減速的責(zé)任，道路上的減速帶也被稱為“熟睡的警察”②Latour,B.Pandora’s Hope:Essays on the reality of Science Studies. Cambridge,mA:Harvard University Press.1999,pp.186-189.，與道路上的交警發(fā)揮著同樣的道德調(diào)節(jié)作用。因此，技術(shù)不僅僅干擾行動(dòng)，而是影響人類行動(dòng)的理由。

荷蘭后現(xiàn)象學(xué)技術(shù)哲學(xué)家維貝克（P.P.Verbeek）繼承美國(guó)技術(shù)哲學(xué)家伊德（Don Ihde）的技術(shù)意向性與拉圖爾的行動(dòng)者網(wǎng)絡(luò)理論，提出“道德物化（Materializingmorality）”思想，他在《道德物化：設(shè)計(jì)倫理與道德中介（Materializingmorality—design ethics and technologicalmediation）》③Verbeek P P .“Materializingmorality -Design ethics and technologicalmediation,”Science,Technology and Human Values, Vol.34,No.3(2006),pp.361-380.中闡釋了“物道德”觀點(diǎn)，他認(rèn)為技術(shù)作為人與世界的中介具有道德調(diào)節(jié)作用，主張把抽象的道德理念嵌入到具體的設(shè)計(jì)過(guò)程中，讓設(shè)計(jì)出的技術(shù)人工物具有道德調(diào)節(jié)作用。如減速帶可以讓司機(jī)養(yǎng)成剎車慢行的習(xí)慣、投幣使用的超市手推車讓人們養(yǎng)成整齊排列擺放的習(xí)慣等等，通過(guò)設(shè)計(jì)來(lái)培養(yǎng)使用者的良好習(xí)慣，從而起到道德約束作用。維貝克認(rèn)為設(shè)計(jì)師通過(guò)將道德規(guī)范嵌入到技術(shù)人工物來(lái)提出和回答道德問(wèn)題，而且這些道德規(guī)范可以對(duì)用戶的道德生活產(chǎn)生影響。密勒（J.Millar）也堅(jiān)持“物”具有道德調(diào)節(jié)作用，“設(shè)計(jì)師、人工物和使用者之間存在著復(fù)雜的道德關(guān)系。設(shè)計(jì)師可以將道德規(guī)范嵌入到人工物中，為道德問(wèn)題提供實(shí)質(zhì)性的答案。”④Millar Jason,“Technology asmoral Proxy:Autonomy and Paternalism by Design,”IEEE Technology &Societymagazine, Vol.34,No.2(2015),pp.47-55.福格（B.J.Fogg）沿襲物具有道德規(guī)范作用的觀點(diǎn)，提出勸導(dǎo)技術(shù)(persuasive technology)，提倡利用計(jì)算機(jī)和軟件來(lái)影響人們的想法和行為，“當(dāng)被視為社會(huì)行為體時(shí)，計(jì)算機(jī)產(chǎn)品可以利用這些社會(huì)影響原則來(lái)激勵(lì)和說(shuō)服人?！雹軧.J.Fogg.Persuasive technology:using computers to change what we think and do. ACM,2002,p.90.人工智能領(lǐng)域的設(shè)計(jì)在討論人工智能體成為道德主體（moral agents）的標(biāo)準(zhǔn)和條件的同時(shí)，也要多關(guān)注設(shè)計(jì)出具有道德調(diào)節(jié)作用的智能體。

（三）機(jī)器道德中的人工智能設(shè)計(jì)方法

最初的機(jī)器是工具，是人類器官的投影，手機(jī)是耳朵和嘴巴作用的延伸，汽車是人腿作用的延伸。人工智能如果處于弱人工智能階段，便是工具的延伸，如果處于強(qiáng)人工智能階段，機(jī)器不是簡(jiǎn)單的工具，智能機(jī)器是人腦的延伸。目前的人工智能技術(shù)發(fā)展處于弱人工智能階段，機(jī)器不具有思維能力。在強(qiáng)人工智能階段，機(jī)器能夠思考，這個(gè)階段的倫理問(wèn)題比較復(fù)雜，設(shè)計(jì)這樣的機(jī)器也涉及更多倫理問(wèn)題，“制造會(huì)思考的機(jī)器的可能性可能引發(fā)一系列的倫理問(wèn)題，這些問(wèn)題既與確保機(jī)器不傷害人類有關(guān)，也與其他道德上關(guān)聯(lián)的存在者有關(guān)，也與機(jī)器本身的道德地位有關(guān)”①Bostrom N，Yudkowsky E,“The Ethics of Artificial Intelligence,”in Frankish K，Ramsey W.eds.,The Cambridge Handbook of Artificial Intelligence,New York:Cambridge University Press，2014,pp.316-334.，這既涉及機(jī)器是否是道德主體的討論，這也涉及道德主體標(biāo)準(zhǔn)的界定，這還涉及人工智能與人類智能的區(qū)別問(wèn)題。研究以人為核心的倫理還是以機(jī)器為核心的倫理是區(qū)分機(jī)器倫理與機(jī)器人倫理的重要標(biāo)志，機(jī)器倫理（machine ethics）研究是以機(jī)器具有了道德主體能力為前提的，以道德主體（moral agents）標(biāo)準(zhǔn)的討論為核心內(nèi)容。機(jī)器人倫理（robot ethics或者是roboethics）以機(jī)器人設(shè)計(jì)者的倫理規(guī)范為前提，討論設(shè)計(jì)中的倫理問(wèn)題。人工智能是潛在具有人類智能的機(jī)器，在弱人工智能階段，機(jī)器的屬性是工具的延伸，這個(gè)時(shí)候的機(jī)器負(fù)載著人類價(jià)值，智能體也具有道德約束作用，因此，人工智能設(shè)計(jì)者應(yīng)該在設(shè)計(jì)之初就具有價(jià)值敏感性，把人類價(jià)值嵌入到設(shè)計(jì)出的智能體中，使得設(shè)計(jì)的智能機(jī)器具有道德約束作用。當(dāng)人工智能技術(shù)能夠提供類似人類的智能時(shí)，便不得不考慮給予它們權(quán)利?！盁o(wú)論程序的機(jī)械特性在多大程度上是透明的，人們都會(huì)把機(jī)器人當(dāng)作不僅僅是工具。”②Prescott,T.J,“Robots are not just tools,”Connection Science, Vol.29,No.2(2017),pp.142-149.機(jī)器不僅可以像人一樣感知、思考，可以模擬人類行為。機(jī)器甚至可以自主的思考，可以智能的感知、控制、理解和執(zhí)行，這樣的機(jī)器就不僅僅是工具，而是具有道德調(diào)節(jié)作用的道德主體。在設(shè)計(jì)人工智能機(jī)器時(shí)，應(yīng)該考慮到它是否具有道德主體地位，然后再利用不同的設(shè)計(jì)方法來(lái)設(shè)計(jì)。

三、人工智能的合乎倫理設(shè)計(jì)

設(shè)計(jì)的研究對(duì)象是物，倫理學(xué)研究的對(duì)象是人。設(shè)計(jì)倫理就是研究人在創(chuàng)造新的人工物中的倫理規(guī)范。如果人工智能設(shè)計(jì)的約束對(duì)象是人，那就需要對(duì)設(shè)計(jì)者的行為規(guī)范進(jìn)行約束；如果人工智能設(shè)計(jì)的約束對(duì)象是物，那就對(duì)設(shè)計(jì)出的機(jī)器及其影響進(jìn)行規(guī)約。因此，人工智能合乎倫理設(shè)計(jì)應(yīng)該基于三個(gè)層面進(jìn)行分析：第一，設(shè)計(jì)者的規(guī)范，通過(guò)提倡設(shè)計(jì)者的責(zé)任與設(shè)計(jì)師群體的規(guī)范來(lái)實(shí)現(xiàn)；第二，設(shè)計(jì)的人工物規(guī)范，應(yīng)該基于對(duì)人工智能技術(shù)發(fā)展的經(jīng)驗(yàn)性的觀察，考慮設(shè)計(jì)過(guò)程本身的動(dòng)態(tài)性并探討該語(yǔ)境下設(shè)計(jì)出的機(jī)器的倫理問(wèn)題。

（一）提倡人工智能設(shè)計(jì)者的責(zé)任

對(duì)于設(shè)計(jì)者的責(zé)任，應(yīng)該區(qū)分不同語(yǔ)境下的責(zé)任。2018年，荷蘭代爾夫特理工大學(xué)的學(xué)者迪格紐姆（Virginia Dignum）在《人工智能倫理》對(duì)“經(jīng)由設(shè)計(jì)的倫理”（ethics by design）、“設(shè)計(jì)中的倫理”（Ethics in Design）和“為了設(shè)計(jì)的倫理”(ethics for design)進(jìn)行了區(qū)分③Dignum V .“Ethics in artificial intelligence:introduction to the special issue,”Ethics &Information Technology, Vol.20,No.1(2018),pp.1-3.。其中“經(jīng)由設(shè)計(jì)的倫理”指的是“將倫理推理能力作為人工自主系統(tǒng)行為的一部分進(jìn)行技術(shù)或者算法整合”，特指的人工智能設(shè)計(jì)中的倫理理論反思；“設(shè)計(jì)中的倫理”指的是“當(dāng)人工智能系統(tǒng)整合或取代傳統(tǒng)社會(huì)結(jié)構(gòu)時(shí)，支持分析和評(píng)估其倫理含義的監(jiān)管和工程方法”。指的是人工智能系統(tǒng)中的分析方法；“為了設(shè)計(jì)的倫理”指的是“確保開(kāi)發(fā)人員和用戶在研究、設(shè)計(jì)、建造、使用和管理人工智能系統(tǒng)時(shí)的完整性的行為準(zhǔn)則、標(biāo)準(zhǔn)和認(rèn)證程序”。上述三個(gè)部分都應(yīng)該包括在人工智能的設(shè)計(jì)倫理范疇之內(nèi)，其中“為了設(shè)計(jì)的倫理”指的是人工智能設(shè)計(jì)師為了合乎倫理設(shè)計(jì)必須尊重的規(guī)范、追責(zé)和標(biāo)準(zhǔn)，也就是人工智能職業(yè)標(biāo)準(zhǔn)、職業(yè)準(zhǔn)則和認(rèn)證程序等。“經(jīng)由設(shè)計(jì)的倫理”和“設(shè)計(jì)中的倫理”指的是設(shè)計(jì)中的理論與方法，關(guān)注的是設(shè)計(jì)者或者自動(dòng)機(jī)器對(duì)其決策的倫理方法進(jìn)行推理的能力所需要的方法、算法和工具等，確保機(jī)器在給定的倫理范圍內(nèi)活動(dòng)。人工智能倫理關(guān)注設(shè)計(jì)者的責(zé)任，關(guān)注設(shè)計(jì)者制造的機(jī)器可能帶來(lái)的社會(huì)影響和倫理變革。設(shè)計(jì)師個(gè)人倫理強(qiáng)調(diào)個(gè)體的責(zé)任和美德，設(shè)計(jì)師群體倫理強(qiáng)調(diào)設(shè)計(jì)的后果與正義。2015年，塞西（Sethy S S）在論文《設(shè)計(jì)倫理：工程倫理教育（Ethics in Design:Teaching Engineering Ethics）》①Sethy SS,“Ethics in Design:Teaching Engineering Ethics,”contemporary Ethical Issues in Engineering,2015.中探討工程師將對(duì)人的理解融入到他們的技術(shù)創(chuàng)新中，以及在技術(shù)設(shè)計(jì)中涉及的一些風(fēng)險(xiǎn)、責(zé)任和社會(huì)價(jià)值，還討論了在工程設(shè)計(jì)過(guò)程中納入社會(huì)道德價(jià)值觀的重要性以及在機(jī)械工程中遵守職業(yè)道德規(guī)范的優(yōu)勢(shì)。人類為算法承擔(dān)責(zé)任，人類是算法設(shè)計(jì)者，算法的后果自然由人類來(lái)承擔(dān)。喬安娜·布萊森（Bryson，Joanna J）在《道德受體不是美德：智能系統(tǒng)和倫理體系的設(shè)計(jì)（Patiency Is Not a Virtue：The Design of Intelligent Systems and Systems of Ethics）》中提出“人工智能在社會(huì)中的地位是一個(gè)規(guī)范的問(wèn)題，而不是描述性的倫理問(wèn)題”②Bryson,Joanna J,“Patiency is not a virtue:the design of intelligent systems and systems of ethics,”Ethics &Information Technology, Vol.20,No.1(2018),pp.15-26.。設(shè)計(jì)者應(yīng)該對(duì)于設(shè)計(jì)的機(jī)器負(fù)有責(zé)任。數(shù)據(jù)和算法是人工智能的兩個(gè)基本要素，算法黑箱導(dǎo)致算法歧視和偏見(jiàn)的出現(xiàn)。人工智能系統(tǒng)的行為可能會(huì)導(dǎo)致意想不到的負(fù)面后果，除非它們的目標(biāo)與人類的利益準(zhǔn)確一致。設(shè)計(jì)者應(yīng)該提前評(píng)估機(jī)器風(fēng)險(xiǎn)，盡量規(guī)避人工智能技術(shù)本身的風(fēng)險(xiǎn)以及使用風(fēng)險(xiǎn)等，人工智能設(shè)計(jì)者應(yīng)該具有責(zé)任意識(shí)，使人工智能的行為與設(shè)計(jì)師的目標(biāo)直接一致。人工智能設(shè)計(jì)者應(yīng)該對(duì)機(jī)器可能帶來(lái)的后果負(fù)責(zé)。

（二）發(fā)揮人工智能職業(yè)協(xié)會(huì)的倫理作用

為了規(guī)范人工智能合乎倫理的發(fā)展，不同國(guó)家、行業(yè)協(xié)會(huì)或者企業(yè)制定了人工智能的職業(yè)準(zhǔn)則與標(biāo)準(zhǔn)，來(lái)規(guī)范人工智能工程師的行為。“據(jù)不完全統(tǒng)計(jì)，迄今為止國(guó)際上由不同國(guó)家、機(jī)構(gòu)和團(tuán)體公布的人工智能和機(jī)器人倫理標(biāo)準(zhǔn)文件已多達(dá)50余份。”③北京大學(xué)國(guó)家機(jī)器人標(biāo)準(zhǔn)化總體組編著：《中國(guó)機(jī)器人倫理標(biāo)準(zhǔn)化前瞻（2019）》，北京：北京大學(xué)出版社，2019 年，第1 頁(yè)。2015 年，美國(guó)電氣與電子工程師協(xié)會(huì)首次提出“合乎倫理設(shè)計(jì)”（Ethically Aligned Design，也有學(xué)者譯為“倫理基準(zhǔn)設(shè)計(jì)”，簡(jiǎn)稱EAD）理念；2017 年12 月14 日，IEEE 發(fā)布《合乎倫理設(shè)計(jì)：利用人工智能和自主系統(tǒng)優(yōu)化人類福祉的愿景》，主動(dòng)解決人工智能和自主系統(tǒng)設(shè)計(jì)中的倫理問(wèn)題；2018 年，歐盟執(zhí)行《通用數(shù)據(jù)保護(hù)條例（GDPR）》提出數(shù)據(jù)保護(hù)的風(fēng)險(xiǎn)評(píng)估模型；2016 年，英國(guó)標(biāo)準(zhǔn)學(xué)會(huì)（British Standards Institution）通過(guò)《機(jī)器人和機(jī)器人系統(tǒng)的倫理設(shè)計(jì)指南》；2018 年，新加坡政府設(shè)咨詢委員會(huì)，探討使用人工智能與數(shù)據(jù)的道德標(biāo)準(zhǔn)；印度研究人工智能應(yīng)用可能產(chǎn)生的問(wèn)題，并計(jì)劃設(shè)立道德委員聯(lián)合會(huì)，以制定有關(guān)隱私、安全和道德的行業(yè)特定準(zhǔn)則等；2019 年4 月，澳大利亞工業(yè)創(chuàng)新和科技部頒布《人工智能：澳大利亞的倫理框架》。2018 年，歐盟發(fā)布了《可信人工智能倫理指南草案》，該指南提出一個(gè)可信人工智能框架，強(qiáng)調(diào)倫理規(guī)范性和技術(shù)健壯性；2019 年，世界經(jīng)濟(jì)與發(fā)展組織成員國(guó)采納了首個(gè)由各國(guó)政府簽署的AI 原則，即“可信賴人工智能的負(fù)責(zé)任管理原則（Principles for responsible stewardship of trustworthy AI）”，成為首個(gè)人工智能治理方面的政府間國(guó)際共識(shí)。2019 年4 月，中國(guó)國(guó)家人工智能標(biāo)準(zhǔn)化總體組通過(guò)《人工智能開(kāi)源與標(biāo)準(zhǔn)化研究報(bào)告》和《人工智能倫理風(fēng)險(xiǎn)分析報(bào)告》兩個(gè)政策性文件，對(duì)人工智能算法風(fēng)險(xiǎn)、數(shù)據(jù)風(fēng)險(xiǎn)以及人工智能引發(fā)的社會(huì)倫理風(fēng)險(xiǎn)進(jìn)行分析，為了保障人工智能的安全應(yīng)該對(duì)人工智能倫理風(fēng)險(xiǎn)進(jìn)行定期評(píng)估，提出人工智能開(kāi)源與標(biāo)準(zhǔn)化聯(lián)動(dòng)的思考。2019 年，騰訊研究院和騰訊人工智能實(shí)驗(yàn)室聯(lián)合發(fā)布人工智能倫理報(bào)告《智能時(shí)代的技術(shù)倫理觀——重塑數(shù)字社會(huì)的信任》，倡導(dǎo)“科技向善”，報(bào)告提出人工智能技術(shù)發(fā)展需要價(jià)值引導(dǎo)，提出人工智能的“四可（ARCC）”理念，即可用（Available）、可靠（Reliable）、可理解（Comprehensible）、可控（Controllable）的人工智能技術(shù)倫理理念。不同職業(yè)組織和設(shè)計(jì)群體提出職業(yè)規(guī)范或者職業(yè)準(zhǔn)則來(lái)規(guī)范人工智能發(fā)展，使得人工智能設(shè)計(jì)合乎倫理的規(guī)范。

（三）保證設(shè)計(jì)的人工智能機(jī)器安全可控

人工智能倫理是一個(gè)工程倫理，安全是人工智能設(shè)計(jì)的首要之義。按照皮特森（Petersonm）的觀點(diǎn)，“人工智能倫理中的一個(gè)基本問(wèn)題可以表述為一個(gè)價(jià)值取向問(wèn)題：我們?nèi)绾螛?gòu)建與社會(huì)持有的價(jià)值觀相一致的自主人工智能。”①Petersonm,“The value alignment problem:ageometric approach,”Ethics &Information Technology, (2018),pp.19-28.人工智能合乎倫理設(shè)計(jì)就是要設(shè)計(jì)安全可控的人工智能機(jī)器。

首先，保證人工智能設(shè)計(jì)的安全性。要保證人工智能技術(shù)的安全性，就要在設(shè)計(jì)之初對(duì)人工智能技術(shù)本身可能潛在的風(fēng)險(xiǎn)進(jìn)行合理評(píng)估，盡量規(guī)避人工智能技術(shù)風(fēng)險(xiǎn)；對(duì)技術(shù)自身存在的風(fēng)險(xiǎn)、技術(shù)對(duì)于人類的危害、技術(shù)對(duì)于社會(huì)的負(fù)面影響等進(jìn)行充分的評(píng)估，如果這項(xiàng)人工智能技術(shù)的應(yīng)用弊大于利，則這種機(jī)器將禁止制造出來(lái)危害人類。強(qiáng)人工智能階段，人工智能具有自我推理、決策能力，具有與人同樣的自主性，因此，設(shè)計(jì)的機(jī)器應(yīng)該自主地分辨信息，“構(gòu)建一個(gè)道德人工智能的技術(shù)挑戰(zhàn)在于，它能夠在給定上下文中的大量可用信息中有效地區(qū)分道德相關(guān)信息和道德無(wú)關(guān)信息?！雹贑ave S,Nyrup R,Vold K,et al.,“Motivations and Risks ofmachine Ethics,”Proceedings of the IEEE, Vol.107,No.3(2019),pp.562-574.并把這些信息轉(zhuǎn)化為道德代碼，嵌入到人工智能設(shè)計(jì)中。但如何把人類道德嵌入到機(jī)器中是一個(gè)難題，“用一整套人類價(jià)值觀對(duì)人工智能進(jìn)行編程將被證明是一項(xiàng)極其困難的任務(wù)。”③Yudkowsky,Eliezer,“Artificial Intelligence as a Positive and Negative Factor inglobal Risk,”Global Catastrophic Risks,2008,pp.308-345.2019 年，賓夕法尼亞大學(xué)計(jì)算機(jī)與信息科學(xué)系的教授（Michael Kearns）和（Aaron Roth）在《倫理算法：社會(huì)感知算法設(shè)計(jì)的科學(xué)（The Ethical Algorithm:The Science of Socially Aware Algorithm Design）》一書中提出：“僅僅將我們所關(guān)心的社會(huì)價(jià)值形式化并將其設(shè)計(jì)成我們的算法是不夠的?！雹躆ichael Kreans,Arron Roth,The Ethical Algorithm:The Science of Socially Aware Algorithm Design,Oxford:Oxford University Press,2020,p.8.一方面要審查人工智能的道德問(wèn)題；另一方面要為人工智能的設(shè)計(jì)制定具體的道德準(zhǔn)則和建議。荷蘭技術(shù)哲學(xué)家珀?duì)枺≒oel I V D）認(rèn)為“在設(shè)計(jì)中實(shí)現(xiàn)價(jià)值的一種方法是將其轉(zhuǎn)化為規(guī)范和設(shè)計(jì)要求”⑤Poel I V D,“Translating Values into Design Requirements,”in Philosophy and Engineering:Reflections on Practice,Principles and Process.Springer Netherlands,2013.。根據(jù)具體的規(guī)范設(shè)計(jì)合乎倫理的智能機(jī)器。

其次，保證人工智能使用安全。設(shè)計(jì)的智能機(jī)器對(duì)于人類來(lái)說(shuō)是安全的，機(jī)器不能傷害人類，甚至威脅人類生存。人工智能設(shè)計(jì)問(wèn)題是一個(gè)工程倫理問(wèn)題，工程的第一要?jiǎng)?wù)是安全性。設(shè)計(jì)的人工智能機(jī)器不能威脅到人類存在，不能對(duì)社會(huì)的公平、正義、和平、穩(wěn)定造成危害，更不能對(duì)環(huán)境和生態(tài)造成危害。設(shè)計(jì)的人工智能機(jī)器盡量避免因?yàn)樗惴ǘ鴮?dǎo)致的人員損失、工人失業(yè)等現(xiàn)象，不應(yīng)該使得人類上癮，不應(yīng)該讓機(jī)器控制人類，人工智能設(shè)計(jì)也應(yīng)該盡量減少能源消耗，保證環(huán)境安全。如果發(fā)現(xiàn)人工智能有潛在風(fēng)險(xiǎn)，可以設(shè)置緊急制動(dòng)裝置，為了應(yīng)對(duì)人工智能系統(tǒng)的潛在危害，學(xué)者已經(jīng)開(kāi)始研究在系統(tǒng)變得具有破壞性之前阻止它的方法。阿諾德（Arnold T）和舒茨（Scheutzm）在《“大紅色按鈕”為時(shí)已晚：人工智能系統(tǒng)倫理評(píng)估的另一種模式（The' big red button' is too late:an alternativemodel for the ethical evaluation of Al system）》⑥Arnold T,Scheutzm,“The ‘big red button' is too late:an alternativemodel for the ethical evaluation of Al systems,”Ethics &Information Technology, 2018.https://www.onacademic.com/detail/journal_1000040190183710_a9e7.html.提出了人工智能系統(tǒng)中裝配應(yīng)急按鈕的建議，并討論緊急停止機(jī)制的可行性。該機(jī)制使操作人員能夠中斷或轉(zhuǎn)移系統(tǒng)，同時(shí)防止系統(tǒng)得知此類干預(yù)對(duì)其自身存在構(gòu)成威脅。通過(guò)這種緊急制動(dòng)裝置，保證設(shè)計(jì)的人工智能機(jī)器使用安全性。

再次，保證人工智能倫理安全。人工智能技術(shù)的發(fā)展不應(yīng)該挑戰(zhàn)和改變?nèi)祟惞逃械膫惱硪?guī)范，應(yīng)該遵守人類長(zhǎng)期以來(lái)遵守和執(zhí)行的倫理規(guī)范。人工智能設(shè)計(jì)不應(yīng)該擴(kuò)大社會(huì)差距，不應(yīng)該帶來(lái)新的倫理問(wèn)題?！八惴ú豢杀苊獾貢?huì)做出有偏見(jiàn)的決定。一個(gè)算法的設(shè)計(jì)和功能反映了它的設(shè)計(jì)者和預(yù)期用途的價(jià)值，如果只是在某種程度上，一個(gè)特定的設(shè)計(jì)是首選的最佳或最有效的選擇。”①Winfield A F,michael K,Pitt J,et al.“Machine Ethics:The Design andgovernance of Ethical AI and Autonomous Systems,”Proceedings of the IEEE, Vol.107,No.3(2019),pp.509-517.不應(yīng)該把社會(huì)中存在的倫理問(wèn)題嵌入到算法中，如社會(huì)中存在的性別歧視、種族歧視等，在算法中應(yīng)該剔除這種歧視；算法也不應(yīng)帶來(lái)新的倫理問(wèn)題，如數(shù)據(jù)鴻溝、算法鴻溝等問(wèn)題就是因?yàn)閷?duì)于數(shù)據(jù)、算法技術(shù)的國(guó)家間、地區(qū)間差異帶來(lái)的新問(wèn)題。必須確保這種算法至少是非歧視性的，而且在理想情況下也是公平的。倫理用以維持一個(gè)社會(huì)的一系列行為，機(jī)器倫理學(xué)的目標(biāo)是建立一個(gè)自主的人工智能，它可以在沒(méi)有人為干預(yù)的情況下做出合乎道德的決定和行為。要想保證人工智能合乎倫理設(shè)計(jì)，就須盡量保證算法的透明性，避免算法黑箱存在，“人工智能推理應(yīng)該能夠考慮到社會(huì)價(jià)值觀、道德和倫理因素；權(quán)衡不同利益相關(guān)者在不同多元文化背景下持有的價(jià)值觀各自的優(yōu)先次序；解釋其推理；并保證透明度。”②Turiel Elliot,“The culture ofmorality:Social development,context,and conflict,”in the culture ofmorality :social development,context, and conflict,Cambridge University Press,2008.透明度的主要組成部分是信息的可獲得性和可理解性，只有保證人工智能算法的透明度，才能明確其中的倫理問(wèn)題，從而保證人工智能的倫理安全。

綜上所述，人工智能設(shè)計(jì)不是一個(gè)描述性問(wèn)題，而是一個(gè)規(guī)范性問(wèn)題，人工智能機(jī)器具有價(jià)值導(dǎo)向，負(fù)載著設(shè)計(jì)者價(jià)值，技術(shù)也需要道德強(qiáng)化。因此，人工智能應(yīng)該在設(shè)計(jì)之初就要考慮到其蘊(yùn)涵的價(jià)值，更要考慮到其應(yīng)用可能帶來(lái)的社會(huì)影響，通過(guò)約束和規(guī)范設(shè)計(jì)者的行為，通過(guò)發(fā)揮人工智能職業(yè)協(xié)會(huì)的作用，設(shè)計(jì)合乎倫理規(guī)范的人工智能機(jī)器。