人工智能場(chǎng)景下公共行政技術(shù)責(zé)任審視

顏佳華 王張華

〔摘要〕 當(dāng)前，人工智能的廣泛嵌入引發(fā)了公共行政技術(shù)責(zé)任問(wèn)題。可從技術(shù)責(zé)任的負(fù)載主體（誰(shuí)負(fù)責(zé)任）、負(fù)載對(duì)象（向誰(shuí)負(fù)責(zé)）、具體樣態(tài)（負(fù)何責(zé)任）和落實(shí)策略（如何負(fù)責(zé)）四個(gè)維度出發(fā)，建構(gòu)人工智能場(chǎng)景下公共行政技術(shù)責(zé)任體系。從公共行政的性質(zhì)看，人工智能場(chǎng)景下公共行政技術(shù)責(zé)任的負(fù)載主體仍是政府及其公務(wù)人員，負(fù)有“應(yīng)用者”和“治理者”的雙重責(zé)任，以確?！叭祟?lèi)（公眾）不受侵害”為根本目的。政府和公務(wù)人員應(yīng)樹(shù)立居安思危的責(zé)任意識(shí)、完善技術(shù)責(zé)任的相關(guān)制度以及運(yùn)用“商談倫理”的原則化解沖突，以確保人工智能場(chǎng)景下公共行政技術(shù)責(zé)任得以落實(shí)。

〔關(guān)鍵詞〕 人工智能，技術(shù)責(zé)任，責(zé)任倫理，政府治理

〔中圖分類(lèi)號(hào)〕D630?? ?〔文獻(xiàn)標(biāo)識(shí)碼〕A〔文章編號(hào)〕1004-4175（2019）03-0088-07

人工智能作為新一代信息技術(shù)中的代表性技術(shù)，其觸角已經(jīng)深入人類(lèi)社會(huì)生活的方方面面。隨著“智慧政府”倡議的提出，以弱人工智能和強(qiáng)人工智能 ① 為主的新一代信息技術(shù)正在加速嵌入公共行政的各個(gè)環(huán)節(jié)，在政府內(nèi)部辦公、在線智能客服、信息搜索、身份認(rèn)證等政務(wù)服務(wù)場(chǎng)景中已隨處可見(jiàn)人工智能的身影，其在許多方面已經(jīng)展現(xiàn)出了超越人類(lèi)和替代人類(lèi)的技術(shù)能力，極大地提升了政府治理能力和治理水平，但同時(shí)也給政府行政實(shí)踐帶來(lái)了多種倫理風(fēng)險(xiǎn)和困境，涉及個(gè)人隱私、安全與責(zé)任、算法歧視和失業(yè)問(wèn)題等方面。其中安全與責(zé)任問(wèn)題最為關(guān)鍵，這是由于人工智能自身具有很強(qiáng)的自主進(jìn)化和自主決策能力，使得由人工智能所引發(fā)的安全與責(zé)任問(wèn)題已經(jīng)超出了傳統(tǒng)基于人類(lèi)行為所設(shè)計(jì)的行政責(zé)任體系的解釋范圍。例如，面對(duì)一些由人工智能程序漏洞造成的公眾隱私泄露、精神損害以及公共財(cái)產(chǎn)損失等問(wèn)題，到底是由政府還是由企業(yè)、技術(shù)開(kāi)發(fā)者乃至人工智能自身承擔(dān)責(zé)任？對(duì)此問(wèn)題的回答尚處于爭(zhēng)論階段。隨著政府公共行政過(guò)程中人工智能嵌入的不斷加深和擴(kuò)展，這種責(zé)任主體模糊、責(zé)任追究困難的尷尬爭(zhēng)論可能會(huì)越來(lái)越多，越來(lái)越突出。因此，盡快設(shè)計(jì)出合理的適用規(guī)則和方案，有效應(yīng)對(duì)和解決由人工智能應(yīng)用所引發(fā)的責(zé)任問(wèn)題，成為擺在學(xué)術(shù)界和政府面前的重要課題。鑒于此，本文結(jié)合強(qiáng)弱人工智能的技術(shù)特征和公共行政的內(nèi)在屬性，構(gòu)建了公共行政過(guò)程中人工智能技術(shù)應(yīng)用和治理的整體責(zé)任框架，回答了誰(shuí)負(fù)責(zé)任、向誰(shuí)負(fù)責(zé)、負(fù)何責(zé)任以及如何負(fù)責(zé)的關(guān)鍵問(wèn)題，以期為有效解決由人工智能應(yīng)用所引發(fā)的倫理風(fēng)險(xiǎn)和責(zé)任問(wèn)題提供借鑒。

一、公共行政技術(shù)責(zé)任的概念及特征

（一）公共行政技術(shù)責(zé)任的概念界定

學(xué)界較早地關(guān)注了公共行政技術(shù)責(zé)任問(wèn)題。王美文認(rèn)為：“技術(shù)責(zé)任也稱(chēng)作為崗位責(zé)任，它是一種客觀責(zé)任，客觀責(zé)任來(lái)自外部要求，是由他人或組織對(duì)其完成組織目標(biāo)，在現(xiàn)有的規(guī)章程序和法律框架內(nèi)的一種外在壓力性任務(wù)?！?〔1 〕她將技術(shù)責(zé)任納入行政責(zé)任領(lǐng)域進(jìn)行討論，認(rèn)為其表現(xiàn)為一種技術(shù)性責(zé)任，具體包括制度、程序和崗位設(shè)計(jì)等操作層面，并沒(méi)有關(guān)注技術(shù)本身。然而，脫離技術(shù)本身談技術(shù)責(zé)任是不全面的。隨著公共行政過(guò)程中技術(shù)權(quán)重的逐漸加大，離開(kāi)技術(shù)支撐的公共行政幾乎是難以想象的，有學(xué)者開(kāi)始注意到這一點(diǎn)，對(duì)公共行政技術(shù)責(zé)任作了進(jìn)一步界定。朱迪儉運(yùn)用屬加種差法和發(fā)生定義法對(duì)公共行政“技術(shù)責(zé)任”一詞進(jìn)行了較為詳細(xì)的梳理和界定，他認(rèn)為，“技術(shù)責(zé)任就是行政組織及其工作人員為了提高政府能力和行政績(jī)效，遵照一定條件及時(shí)應(yīng)用技術(shù)，以及按照一定標(biāo)準(zhǔn)、程序和方法明確責(zé)任，履行責(zé)任并進(jìn)行責(zé)任評(píng)價(jià)，即技術(shù)應(yīng)用的責(zé)任和技術(shù)性責(zé)任” 〔2 〕。他將“技術(shù)責(zé)任”中的技術(shù)應(yīng)用責(zé)任和技術(shù)性責(zé)任的雙重屬性進(jìn)行了統(tǒng)一，使得“技術(shù)責(zé)任”的概念譜系逐漸明朗。綜合上述研究，結(jié)合公共行政的內(nèi)在屬性，我們認(rèn)為，人工智能場(chǎng)景下公共行政技術(shù)責(zé)任是集應(yīng)用責(zé)任和治理責(zé)任于一體的。從應(yīng)用者角度看，公共行政技術(shù)責(zé)任是指公共行政組織及其工作人員在應(yīng)用弱人工智能和強(qiáng)人工智能時(shí)，對(duì)其所帶來(lái)的消極后果所承擔(dān)的義務(wù);從治理者的角度看，公共行政技術(shù)責(zé)任主要表現(xiàn)為一種治理責(zé)任，是行政組織作為治理主體應(yīng)當(dāng)對(duì)人工智能的發(fā)展、應(yīng)用和規(guī)制承擔(dān)的相應(yīng)治理義務(wù)。我們?cè)趨⒖忌鲜鰧W(xué)者研究的基礎(chǔ)上，重新編制了公共行政技術(shù)責(zé)任的概念譜系（見(jiàn)圖1）。

（二）公共行政技術(shù)責(zé)任的特征

公共行政論域中的技術(shù)責(zé)任同企業(yè)管理領(lǐng)域、工程管理領(lǐng)域、科技管理領(lǐng)域以及其他具體行業(yè)的技術(shù)責(zé)任有著本質(zhì)上的差異，為了更好地凸顯公共行政技術(shù)責(zé)任的特殊性，也為了區(qū)別于其他領(lǐng)域的技術(shù)責(zé)任，我們有必要對(duì)其主要特征進(jìn)行進(jìn)一步的分析和闡釋。

其一，政治性。政治性是公共行政技術(shù)責(zé)任的本質(zhì)特征。從公共行政的屬性看，公共行政本質(zhì)上是國(guó)家政治上層建筑的一部分，這也就決定了公共行政脫離不了其自身的政治屬性。張國(guó)慶認(rèn)為：“公共行政的本質(zhì)沒(méi)有改變，基本功能沒(méi)有改變。作為國(guó)家上層建筑的一部分，只有在國(guó)家的作用逐漸弱化，以至開(kāi)始消亡的時(shí)候，政府（公共行政）的作用才會(huì)隨之弱化以至逐漸消亡?！?〔3 〕4可見(jiàn)，政治性天生植根于公共行政技術(shù)責(zé)任機(jī)體內(nèi);此外，從建設(shè)責(zé)任政府的訴求看，技術(shù)責(zé)任是建設(shè)責(zé)任政府的內(nèi)在要求。張成福在其《責(zé)任政府論》中就將“行政責(zé)任”列為責(zé)任政府建設(shè)的重要維度，同時(shí)從概念譜系看，重視對(duì)公共行政技術(shù)責(zé)任的關(guān)注和落實(shí)也是完善行政責(zé)任內(nèi)容結(jié)構(gòu)，推進(jìn)責(zé)任政府建設(shè)的重要內(nèi)容。

其二，應(yīng)用性。應(yīng)用性特征取決于公共行政技術(shù)責(zé)任承擔(dān)主體和自身屬性。一方面，從公共行政技術(shù)責(zé)任主體的屬性看，技術(shù)責(zé)任的承載主體是多樣的，具體可分為技術(shù)發(fā)明者和技術(shù)應(yīng)用者，公共行政技術(shù)責(zé)任主體是由政府組織和公務(wù)員個(gè)體構(gòu)成，而政府組織和公務(wù)員個(gè)人并不從事任何技術(shù)發(fā)明，更多地是以技術(shù)應(yīng)用者的角色出現(xiàn);另一方面，從技術(shù)責(zé)任自身的屬性看，公共行政技術(shù)責(zé)任是集技術(shù)應(yīng)用責(zé)任和技術(shù)性責(zé)任的雙重構(gòu)成。就具體的技術(shù)應(yīng)用而言，當(dāng)前互聯(lián)網(wǎng)、大數(shù)據(jù)、云計(jì)算和人工智能等新技術(shù)逐漸在公共行政中廣泛應(yīng)用，在具體的公共行政實(shí)踐活動(dòng)中扮演著重要的角色，而這些實(shí)踐活動(dòng)本身就自帶應(yīng)用屬性。

其三，多樣性。公共行政技術(shù)責(zé)任的多樣性來(lái)自于技術(shù)本身，當(dāng)我們把“技術(shù)”一詞具象化，技術(shù)的現(xiàn)實(shí)樣態(tài)就是豐富多彩的，諸如網(wǎng)絡(luò)技術(shù)、核電技術(shù)、汽車(chē)技術(shù)、數(shù)據(jù)技術(shù)和人工智能技術(shù)等等。隨著社會(huì)生產(chǎn)力的發(fā)展，新的技術(shù)就會(huì)不斷出現(xiàn)，中國(guó)古代的四大發(fā)明改變了世界，而現(xiàn)代社會(huì)的第一、二、三次工業(yè)革命，直至現(xiàn)在的信息革命和智能革命交疊的時(shí)代，所產(chǎn)生的新技術(shù)更是豐富多樣。因此，當(dāng)我們聚焦技術(shù)本身考慮其應(yīng)用所帶來(lái)的責(zé)任時(shí)，相應(yīng)的責(zé)任也就呈現(xiàn)出多樣性特征。此外，當(dāng)談及責(zé)任時(shí)，就離不開(kāi)應(yīng)負(fù)何責(zé)的問(wèn)題，這個(gè)時(shí)候責(zé)任的劃定，就應(yīng)基于一定的社會(huì)規(guī)范之上。只有當(dāng)社會(huì)整體上認(rèn)為某項(xiàng)技術(shù)的應(yīng)用帶來(lái)了一定的社會(huì)危害，或者破壞了人類(lèi)某種既定的共識(shí)和規(guī)范，此時(shí)才會(huì)存在“負(fù)責(zé)”一說(shuō)，而這種共識(shí)和規(guī)范伴隨著社會(huì)的發(fā)展越來(lái)越多，越來(lái)越全，涉及社會(huì)生活的方方面面。因此，以是否違背社會(huì)規(guī)范為標(biāo)準(zhǔn)而言，技術(shù)責(zé)任應(yīng)該是多樣的。

其四，歷史性。技術(shù)責(zé)任為何具有歷史性？同人類(lèi)歷史一樣，技術(shù)發(fā)展所留下的足跡，可以稱(chēng)之為技術(shù)歷史。雖然未來(lái)技術(shù)的走向是難以預(yù)測(cè)和準(zhǔn)確預(yù)知的，但是我們反觀技術(shù)的發(fā)展歷史，就不難理解技術(shù)責(zé)任的歷史性了。正如杜寶貴指出的那樣：“技術(shù)責(zé)任的發(fā)展是根植于特定的社會(huì)歷史階段的，在不同的社會(huì)歷史階段，‘技術(shù)責(zé)任就表現(xiàn)出不同的歷史形態(tài);不同的技術(shù)發(fā)展模式，‘技術(shù)責(zé)任的特征也就不盡一致。” 〔4 〕31當(dāng)前，技術(shù)的進(jìn)步和發(fā)展進(jìn)入了前所未有的繁榮時(shí)期，人工智能技術(shù)的成熟和發(fā)展勢(shì)必推動(dòng)人類(lèi)社會(huì)邁向智能時(shí)代，技術(shù)已經(jīng)不僅僅是從屬于人類(lèi)的輔助工具了，按強(qiáng)人工智能和超人工智能所預(yù)設(shè)的場(chǎng)景，未來(lái)的人工智能可能是具備意識(shí)和自主性的“個(gè)體”，那個(gè)時(shí)候再討論技術(shù)責(zé)任，可能又是另一番標(biāo)準(zhǔn)。

二、人工智能場(chǎng)景下公共行政技術(shù)責(zé)任的理性審視

從政府公共行政過(guò)程中技術(shù)應(yīng)用的歷史來(lái)看，我國(guó)政府的技術(shù)形態(tài)是多樣的，先后經(jīng)歷了電子政府、網(wǎng)絡(luò)政府、數(shù)據(jù)政府等多種形態(tài)，都是在一定的技術(shù)支撐下所形成的。當(dāng)前，隨著人工智能在政府公共行政過(guò)程中的不斷深入應(yīng)用，政府正在朝著一種集精細(xì)化、互聯(lián)化、智能化于一體的智慧形態(tài)發(fā)展即智慧政府，它以人工智能技術(shù)為核心主體。由于公共行政中的各個(gè)環(huán)節(jié)都離不開(kāi)人工智能的身影，相應(yīng)地也帶來(lái)了公共行政技術(shù)責(zé)任問(wèn)題，具體涉及誰(shuí)負(fù)責(zé)任、向誰(shuí)負(fù)責(zé)、負(fù)何責(zé)任以及如何負(fù)責(zé)（“如何負(fù)責(zé)”將在第三部分闡述）的問(wèn)題（詳見(jiàn)圖2）。

（一）誰(shuí)負(fù)責(zé)任：具有“主體性”的人工智能體能否擔(dān)責(zé)？

如果僅從行政責(zé)任的視角來(lái)探究公共行政技術(shù)責(zé)任主體的話，似乎是一項(xiàng)多余的工作，因?yàn)榛究梢源_定，公共行政技術(shù)責(zé)任主體應(yīng)當(dāng)由政府及其公務(wù)人員構(gòu)成，這一點(diǎn)由大多數(shù)相關(guān)文獻(xiàn)和教科書(shū)的介紹也可以得到支持和證實(shí)（如張國(guó)慶的《公共行政學(xué)》、夏書(shū)章的《行政管理學(xué)》及李志平的《地方政府責(zé)任倫理研究》）。我們這里聚焦的是，當(dāng)大家都在驚呼人工智能將要替代人類(lèi)的時(shí)候，我們可曾想過(guò)，人工智能能否像人一樣成為擔(dān)責(zé)的主體呢？這個(gè)問(wèn)題對(duì)于政府來(lái)說(shuō)異常重要。美國(guó)電氣和電子工程師協(xié)會(huì)在《人工智能設(shè)計(jì)的倫理準(zhǔn)則》（2017年第2版）中就指出，要“確保他們的設(shè)計(jì)者和操作者負(fù)責(zé)任且可問(wèn)責(zé)”。然而，從人工智能技術(shù)正在廣泛嵌入公共行政的具體實(shí)踐場(chǎng)景看，在“奇點(diǎn)”理論（這里主要指電腦智能與人腦智能兼容的那個(gè)神妙時(shí)刻）的支撐下，人工智能“主體性”地位的獲得成為可能，并使得公共行政技術(shù)責(zé)任的負(fù)載主體逐漸變得模糊起來(lái)，引發(fā)了學(xué)界對(duì)具有“主體性”的人工智能能否成為擔(dān)責(zé)主體的疑問(wèn)，這也就成為審視公共行政技術(shù)責(zé)任所必須解決的關(guān)鍵問(wèn)題。對(duì)于人工智能體的“主體性”而言，學(xué)者們或樂(lè)觀或悲觀，但是無(wú)論對(duì)人工智能的這種“主體性”抱有何種態(tài)度，不少學(xué)者似乎對(duì)這種“主體性”的存在都深信不疑。以溫納和呂埃爾為代表的技術(shù)哲學(xué)家們就認(rèn)為現(xiàn)代技術(shù)具有了自主性，并指出這種自主性根源于技術(shù)的“逆向適應(yīng)” ②，而人工智能技術(shù)則進(jìn)一步強(qiáng)化了現(xiàn)代技術(shù)的這種自主性，使得“機(jī)器的智能化讓機(jī)器獲得了一定的主體地位，獲得了某種‘類(lèi)人性，人與機(jī)器的關(guān)系從主從關(guān)系變成了主體之間的共處關(guān)系” 〔5 〕。從技術(shù)發(fā)展的規(guī)律來(lái)看，人工智能獲得“主體地位”似乎不可逆轉(zhuǎn)。

那么，具有“主體性”的人工智能體能否像人類(lèi)一樣擔(dān)負(fù)起它們應(yīng)當(dāng)擔(dān)負(fù)的責(zé)任呢？從計(jì)算機(jī)倫理學(xué)創(chuàng)始人摩爾（James H.Moor）那里可以得到一定的啟發(fā)，他將機(jī)器人分為四類(lèi)：（1）有倫理影響的智能體;（2）隱含的倫理智能體;（3）明確的倫理智能體;（4）完全的倫理智能體 〔6 〕。這種劃分思路的背后所暗含的邏輯是，智能體在不同的發(fā)展階段，其價(jià)值和倫理的影響力是不同的，可以理解為不同階段的智能體，其“主體性”也有強(qiáng)弱之分。依據(jù)這種思路，反觀當(dāng)下人工智能所處的發(fā)展階段，基本可以斷定現(xiàn)階段的人工智能體大多屬于“有倫理影響的智能體”，尚不具備完全的“主體性”，正如段偉文所指出的那樣：“目前人工智能體所呈現(xiàn)的‘主體性是功能性的模仿而非基于有意識(shí)的能動(dòng)性、自我意識(shí)與自我意志，故應(yīng)稱(chēng)之為擬主體性……智能體的價(jià)值與倫理影響力迄今是無(wú)法獨(dú)立地主動(dòng)施加的?！?〔7 〕這些論述充分說(shuō)明，現(xiàn)階段的人工智能體尚不具備同人類(lèi)同等的“主體性”，目前的人工智能大致處于弱人工智能和強(qiáng)人工智能并存的階段 〔8 〕28-52。我們可以判斷，現(xiàn)階段的人工智能體并不具備像人類(lèi)一樣對(duì)自身行為完全負(fù)責(zé)的主體地位，反而應(yīng)該將其置于人類(lèi)的責(zé)任體系之下，每一個(gè)人工智能體都應(yīng)該有相應(yīng)的責(zé)任人或機(jī)構(gòu)，這一判斷在很長(zhǎng)一段時(shí)間內(nèi)應(yīng)當(dāng)是不會(huì)改變的。當(dāng)然，隨著技術(shù)進(jìn)化到超人工智能階段，這一判斷能否繼續(xù)成立是不好斷定的。

（二）向誰(shuí)負(fù)責(zé)：“絕對(duì)不可拿整個(gè)人類(lèi)的存在去冒險(xiǎn)”

漢斯·約納斯（Hans Jonas）、漢斯·昆（Hans Kung）、喬爾·費(fèi)因伯格（Joel Feinberg）、漢斯·倫克（Hans Lenk）等人在建立責(zé)任倫理學(xué)的過(guò)程中，就給其確立了一個(gè)根本原則即“絕對(duì)不可拿整個(gè)人類(lèi)的存在去冒險(xiǎn)” 〔9 〕16。從技術(shù)責(zé)任的概念譜系來(lái)看，這一原則同樣適用于分析公共行政技術(shù)責(zé)任的負(fù)載對(duì)象，我們要做的就是將這個(gè)根本原則所指稱(chēng)的“人類(lèi)的存在”具體化和對(duì)象化。探究公共行政技術(shù)責(zé)任，必然繞不開(kāi)“公共行政”這一限定語(yǔ)，要將技術(shù)責(zé)任的分析場(chǎng)景置于現(xiàn)實(shí)的公共行政實(shí)踐過(guò)程當(dāng)中，以及人工智能的具體應(yīng)用場(chǎng)景之中。從公共行政的價(jià)值歸宿來(lái)看，一方面，無(wú)外乎對(duì)公共利益的追求，確保公眾的利益不受侵害，維持公共秩序;另一方面，確保政府自身的合法性地位以及公信力不受損害。由此可見(jiàn)，公共行政技術(shù)責(zé)任的負(fù)載對(duì)象也應(yīng)當(dāng)由公眾和政府自身兩部分構(gòu)成。目前，人工智能的責(zé)任倫理規(guī)約在確保公眾利益上所作出的努力是有目共睹的，由中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院發(fā)布的《人工智能標(biāo)準(zhǔn)化白皮書(shū)》（2018）就明確指出，“對(duì)個(gè)人數(shù)據(jù)管理應(yīng)該采取延伸式保護(hù)，保護(hù)公眾隱私”;《人工智能設(shè)計(jì)的倫理準(zhǔn)則》中提出的首要原則就是“確保他們不侵犯國(guó)際公認(rèn)的人權(quán)”;“阿西莫夫法則”（Isaac Asimov）認(rèn)為人類(lèi)高于機(jī)器人， “第一條，機(jī)器人不得傷害人類(lèi)個(gè)體，不能目睹人類(lèi)受到傷害而不干預(yù);第二條，機(jī)器人必須服從人類(lèi)的命令，命令與第一條沖突除外;第三條，機(jī)器人在不違反第一條、第二條原則的情況下，要保護(hù)自身安全” 〔10 〕15。從目前對(duì)人工智能責(zé)任倫理的設(shè)計(jì)來(lái)看，涉及人的隱私、人權(quán)以及個(gè)體的生物性，核心仍然是確?！叭祟?lèi)不受侵害”，可見(jiàn)，人工智能場(chǎng)景下公共行政技術(shù)責(zé)任的首要負(fù)載對(duì)象應(yīng)當(dāng)是公眾。

此外，人工智能體的應(yīng)用除了作用于政府公共行政的“外部顧客”，同時(shí)也對(duì)政府組織內(nèi)部肌體有著重要的影響?？梢钥隙ǖ氖?，未來(lái)的政府內(nèi)部將隨處可見(jiàn)人工智能的身影，未來(lái)的政府也會(huì)朝著一種智慧的形態(tài)邁進(jìn)。然而，在大規(guī)模建設(shè)智能政府和智慧政府的同時(shí)，有兩個(gè)方面的問(wèn)題不能忽視：一方面，由人工智能應(yīng)用所引發(fā)的諸如公民個(gè)人隱私泄露、信息安全失控等問(wèn)題，如何定責(zé)和歸責(zé)到行政個(gè)體或者政府組織自身;另一方面，在政府組織內(nèi)部將會(huì)出現(xiàn)人工智能體所帶來(lái)的“替代效應(yīng)”和“擠壓效應(yīng)”，大規(guī)模人工智能體的應(yīng)用一定程度上也會(huì)帶來(lái)智能體對(duì)人類(lèi)工作的“替代”，同時(shí)也會(huì)“擠壓”原本屬于人類(lèi)的生活空間，引發(fā)政府組織內(nèi)部系統(tǒng)的人員“失業(yè)”和“分流”等實(shí)際問(wèn)題。因此，在公共行政過(guò)程中引入人工智能也應(yīng)該充分考慮和顧及其對(duì)組織內(nèi)部的“負(fù)效應(yīng)”。當(dāng)然，這在一定意義上仍然沒(méi)有超出對(duì)“人類(lèi)的存在”的責(zé)任負(fù)載范疇。

（三）負(fù)何責(zé)任：兼具“應(yīng)用性”和“技術(shù)性”雙重屬性

責(zé)任的本質(zhì)屬性內(nèi)在地決定了責(zé)任的具體樣態(tài)，人工智能場(chǎng)景下公共行政技術(shù)責(zé)任兼具“應(yīng)用性”和“技術(shù)性”雙重屬性。那么，技術(shù)責(zé)任的這種“應(yīng)用性”屬性是如何產(chǎn)生的呢？這種“應(yīng)用性”屬性內(nèi)嵌于人工智能應(yīng)用的整個(gè)過(guò)程，由于任何技術(shù)的應(yīng)用都存在“技術(shù)失控”的可能，會(huì)帶來(lái)相應(yīng)的責(zé)任問(wèn)題，葉立國(guó)從科學(xué)技術(shù)理論、科學(xué)技術(shù)功能、科學(xué)技術(shù)研究以及科學(xué)家與科技成果使用者主觀意志四個(gè)維度論證了科學(xué)技術(shù)的不確定性 〔11 〕，這種不確定性在一定程度上可以理解為技術(shù)是失控的。這也充分說(shuō)明，應(yīng)用者（使用者）是造成技術(shù)失控風(fēng)險(xiǎn)的因素之一，這一點(diǎn)在馬克思的技術(shù)思想中也能夠獲得支持。馬克思認(rèn)為，技術(shù)本身并不具有善惡之分，而是取決于應(yīng)用者（操控者）的價(jià)值取向， “一個(gè)毫無(wú)疑問(wèn)的事實(shí)——機(jī)器本身對(duì)于把工人從生活資料中‘游離出來(lái)是沒(méi)有責(zé)任的……這些矛盾和對(duì)抗不是機(jī)器本身產(chǎn)生的，而是機(jī)器的資本主義應(yīng)用產(chǎn)生的！” 〔12 〕483顯然，技術(shù)本身并不具有責(zé)任屬性，而現(xiàn)階段的人工智能體自身同樣是沒(méi)有責(zé)任的，其在公共行政中的應(yīng)用所帶來(lái)的一切后果并不能歸咎于人工智能本身，只能從技術(shù)應(yīng)用者（政府和公務(wù)人員）那里得到答案。此外，技術(shù)責(zé)任又是“技術(shù)性”的，因?yàn)榧夹g(shù)責(zé)任不僅僅在于需要恰當(dāng)?shù)匾种萍夹g(shù)的“惡”，同時(shí)還需要最大限度地闡揚(yáng)技術(shù)的“善”。如果說(shuō)抑制技術(shù)的“惡”是技術(shù)責(zé)任內(nèi)在要求的話，那么闡揚(yáng)技術(shù)的“善”則可以認(rèn)為是技術(shù)責(zé)任內(nèi)涵的延伸，責(zé)任主體則是一種治理者角色。按照韋伯對(duì)官僚制的設(shè)計(jì)，“技術(shù)性”表現(xiàn)為一種規(guī)則、方法和程序，具體到技術(shù)責(zé)任的技術(shù)性，可以視為一種集定責(zé)、履責(zé)和問(wèn)責(zé)于一體的系統(tǒng)過(guò)程?？傊?，人工智能場(chǎng)景下公共行政技術(shù)責(zé)任應(yīng)該由技術(shù)應(yīng)用責(zé)任（應(yīng)用者）和技術(shù)性責(zé)任（治理者）兩個(gè)維度構(gòu)成。

那么，這種責(zé)任的具體樣態(tài)是怎樣的呢？從“應(yīng)用性”屬性看，人工智能嵌入下的政府正在走向智慧形態(tài)，具體包括智能辦公、智能監(jiān)管、智能服務(wù)和智能決策四個(gè)大的應(yīng)用領(lǐng)域。相應(yīng)地，技術(shù)責(zé)任存在兩種樣態(tài)：（1）業(yè)務(wù)責(zé)任。在智能辦公、智能服務(wù)和智能決策場(chǎng)景下，傳統(tǒng)的咨詢服務(wù)、信息搜索與獲取、表單填寫(xiě)、取號(hào)打印、申報(bào)領(lǐng)證等業(yè)務(wù)可以完全通過(guò)人工智能技術(shù)實(shí)現(xiàn)自動(dòng)化、智能化。然而，目前最成熟的語(yǔ)音識(shí)別、圖像識(shí)別、智能交通系統(tǒng)以及智能決策系統(tǒng)等人工智能技術(shù)都無(wú)法確保完全準(zhǔn)確，這種極小概率發(fā)生的失誤，所帶來(lái)的責(zé)任應(yīng)當(dāng)劃歸于公務(wù)員個(gè)人的業(yè)務(wù)責(zé)任體系之下。（2）安全（監(jiān)管）責(zé)任。具體表現(xiàn)為數(shù)據(jù)安全責(zé)任和隱私安全責(zé)任。一方面，政府作為公眾數(shù)據(jù)的合法擁有者和使用者，由智能系統(tǒng)漏洞、黑客攻擊等因素造成的公眾個(gè)人數(shù)據(jù)和個(gè)人隱私泄露的責(zé)任同樣應(yīng)該劃歸為政府責(zé)任體系之下。從“技術(shù)性”屬性看，技術(shù)責(zé)任表現(xiàn)為一種集定責(zé)、履責(zé)和問(wèn)責(zé)于一體的系統(tǒng)過(guò)程，其中包括人工智能應(yīng)用的相關(guān)制度設(shè)計(jì)責(zé)任、危機(jī)應(yīng)對(duì)責(zé)任、行為選擇責(zé)任和價(jià)值倡導(dǎo)責(zé)任導(dǎo)四個(gè)層面。

三、人工智能場(chǎng)景下公共行政技術(shù)責(zé)任的審慎應(yīng)對(duì)

人工智能場(chǎng)景下公共行政技術(shù)責(zé)任的本質(zhì)就在于抑制技術(shù)的“惡”、闡揚(yáng)技術(shù)的“善”。政府和公務(wù)人員作為技術(shù)責(zé)任的負(fù)載主體，必須從意識(shí)、制度和行為三個(gè)層面思考如何實(shí)現(xiàn)責(zé)任的落實(shí)。

（一）居安思危謀長(zhǎng)遠(yuǎn)：約納斯的“憂懼啟迪法”

責(zé)任意識(shí)的樹(shù)立是技術(shù)責(zé)任落實(shí)的前提。人工智能的時(shí)代潮流已經(jīng)不可逆轉(zhuǎn)，人工智能會(huì)越來(lái)越廣泛地嵌入政府治理的各個(gè)環(huán)節(jié)，作為集“應(yīng)用者”和“治理者”雙重角色于一體的政府，如何抑制技術(shù)的“惡”、闡揚(yáng)技術(shù)的“善”則成為政府最根本的技術(shù)責(zé)任，而這種責(zé)任的實(shí)現(xiàn)有賴于政府主體自身所具有的后果意識(shí)和防范意識(shí)，因?yàn)?，“在智慧治理的過(guò)程中，人的主體意識(shí)的增強(qiáng)，無(wú)疑有助于防止技術(shù)對(duì)人的僭越、技術(shù)理性對(duì)價(jià)值理性的僭越，從而走出數(shù)字技術(shù)對(duì)人性的扭曲，把人當(dāng)作目的而不僅是手段，實(shí)現(xiàn)人之為人的自由和尊嚴(yán)” 〔13 〕。對(duì)于如何培養(yǎng)這種后果意識(shí)和防范意識(shí)，進(jìn)而實(shí)現(xiàn)這種責(zé)任，漢斯·約納斯（Hans Jonas）的責(zé)任倫理學(xué)似乎給出了一種可行方案，可概括為“憂懼啟迪法”，他認(rèn)為應(yīng)該積極地預(yù)測(cè)技術(shù)的善惡，且惡的預(yù)測(cè)比善更重要，他將原因歸于，邪惡“更加生動(dòng)具體，更加具有緊迫感，在觀念和區(qū)位上也更少不同，最重要的是，無(wú)需我們尋找，它自己就會(huì)跳出來(lái)。邪惡僅僅通過(guò)它的存在就能使我們察覺(jué)到，而善良總是默默地存在著，并不為人知……我不相信人們沒(méi)有哪怕至少見(jiàn)識(shí)過(guò)疾病就贊美健康的，沒(méi)有經(jīng)歷過(guò)欺詐就贊揚(yáng)真誠(chéng)的，沒(méi)體會(huì)到戰(zhàn)爭(zhēng)的災(zāi)難就謳歌和平的。我們對(duì)自己不想要的比想要的知道得要快得多。所以道德哲學(xué)應(yīng)該先于我們的希望考慮我們的恐懼，以了解我們真正渴望什么” 〔14 〕。這是一種“居安思?！钡呢?zé)任建構(gòu)思路，啟示政府乃至組織成員從長(zhǎng)遠(yuǎn)的角度來(lái)看待人工智能技術(shù)的發(fā)展和應(yīng)用，避免過(guò)分沉迷于人工智能技術(shù)所帶來(lái)的便利，而忽視其“為惡”的可能，激發(fā)我們樹(shù)立憂患意識(shí)，以一種負(fù)責(zé)任的態(tài)度來(lái)修正政府的行政行為，為人類(lèi)社會(huì)的可持續(xù)發(fā)展承擔(dān)應(yīng)有的責(zé)任。同樣的邏輯，人工智能場(chǎng)景下公共行政技術(shù)責(zé)任的落實(shí)，首要之策就在于樹(shù)立居安思危的責(zé)任意識(shí)，謹(jǐn)慎地對(duì)待和應(yīng)用人工智能技術(shù)，時(shí)刻以一種“負(fù)責(zé)任”的態(tài)度來(lái)應(yīng)用和監(jiān)管人工智能，建構(gòu)起公共行政技術(shù)責(zé)任倫理規(guī)范。

（二）建章立制樹(shù)規(guī)則：發(fā)揮制度對(duì)人類(lèi)行為的規(guī)范作用

制度建設(shè)對(duì)于技術(shù)責(zé)任的落實(shí)可起到根本性的作用。2017年發(fā)布的《新一代人工智能發(fā)展規(guī)劃》明確指出，要開(kāi)展與人工智能應(yīng)用相關(guān)的民事與刑事責(zé)任確認(rèn)、隱私和產(chǎn)權(quán)保護(hù)、信息安全利用等法律問(wèn)題研究，建立追溯和問(wèn)責(zé)制度，明確人工智能法律主體以及相關(guān)權(quán)利、義務(wù)和責(zé)任等?？梢?jiàn)，人工智能技術(shù)所帶來(lái)的法律、刑事、隱私以及財(cái)產(chǎn)保護(hù)等多個(gè)方面的責(zé)任問(wèn)題開(kāi)始受到重視。在公共行政領(lǐng)域，人工智能作為一種新興的技術(shù)形態(tài)，正在廣泛應(yīng)用到政府內(nèi)部管理、政務(wù)服務(wù)以及公共事務(wù)管理等各個(gè)環(huán)節(jié)，未來(lái)這種應(yīng)用的程度只會(huì)更加深入，勢(shì)必會(huì)給傳統(tǒng)的公共行政責(zé)任體系帶來(lái)沖擊和挑戰(zhàn)，尤以技術(shù)責(zé)任為首要。因此，針對(duì)人工智能應(yīng)用可能帶來(lái)的相關(guān)責(zé)任問(wèn)題，作為集“應(yīng)用者”和“治理者”雙重角色于一體的政府，必須積極開(kāi)展相關(guān)論證和制度設(shè)計(jì)，盡快形成得到大家共同遵守的辦事規(guī)程和行動(dòng)準(zhǔn)則，為人工智能場(chǎng)景下公共行政技術(shù)責(zé)任的定責(zé)、履責(zé)和追責(zé)環(huán)節(jié)提供依據(jù)和保障。

具體來(lái)說(shuō)，可在整合傳統(tǒng)公共行政責(zé)任體系的基礎(chǔ)上，重新設(shè)計(jì)技術(shù)責(zé)任認(rèn)定的相關(guān)標(biāo)準(zhǔn)，輔以配套的法律、法規(guī)，修正責(zé)任的內(nèi)部構(gòu)成要件。目前，在人工智能最成熟的“自動(dòng)駕駛”領(lǐng)域，就遭遇了責(zé)任區(qū)分和責(zé)任認(rèn)定的棘手問(wèn)題，我們可以試想，當(dāng)公共行政中的政務(wù)服務(wù)、內(nèi)部管理等環(huán)節(jié)也進(jìn)化到這種“無(wú)人化”場(chǎng)景時(shí)，是否會(huì)遭遇同樣的責(zé)任困境？相應(yīng)地，作為“治理者”的政府，又如何協(xié)調(diào)公共事務(wù)管理過(guò)程中的這種“棘手問(wèn)題”？這就需要政府從頂層設(shè)計(jì)的角度出發(fā)，重構(gòu)公共行政責(zé)任體系和制度體系。此外，盡快建立第三方責(zé)任評(píng)估機(jī)構(gòu)。瓦爾波斯在研究前瞻性技術(shù)責(zé)任倫理的時(shí)候，就特別強(qiáng)調(diào)了對(duì)技術(shù)的評(píng)估和評(píng)價(jià)問(wèn)題，人工智能技術(shù)所引發(fā)的技術(shù)責(zé)任同樣面臨評(píng)估和評(píng)價(jià)問(wèn)題。然而，由于人工智能是由諸如信息技術(shù)、算法技術(shù)以及數(shù)據(jù)技術(shù)等諸多復(fù)雜的技術(shù)構(gòu)成，其自身的技術(shù)復(fù)雜性決定了政府乃至個(gè)人不可能準(zhǔn)確預(yù)估其未來(lái)的技術(shù)走向、技術(shù)風(fēng)險(xiǎn)以及技術(shù)責(zé)任等問(wèn)題，因此要確保公共行政技術(shù)責(zé)任的落實(shí)，就離不開(kāi)作為輔助角色存在的第三方評(píng)估機(jī)構(gòu)。

（三）積極協(xié)商化沖突：哈貝馬斯的“商談倫理”原則

隨著人工智能的嶄露頭角，世界各國(guó)政府和相關(guān)組織團(tuán)體在意識(shí)到其對(duì)經(jīng)濟(jì)發(fā)展、社會(huì)進(jìn)步、武器革新等諸多領(lǐng)域?qū)?huì)帶來(lái)重大發(fā)展契機(jī)的同時(shí)，也開(kāi)始注意設(shè)計(jì)和頒布各種政策、法規(guī)和倫理準(zhǔn)則來(lái)規(guī)范人工智能的發(fā)展和應(yīng)用。就目前而言，政策的全面性和有效性遠(yuǎn)遠(yuǎn)不能適應(yīng)人工智能技術(shù)的發(fā)展速度，在現(xiàn)有責(zé)任倫理和制度框架下，尚不能完全解決人工智能所引發(fā)的技術(shù)責(zé)任問(wèn)題，許多現(xiàn)實(shí)問(wèn)題仍然處于爭(zhēng)論階段，尚無(wú)定法。目前，較為通用的責(zé)任劃分原則是從利益相關(guān)者角度出發(fā)，建構(gòu)起多元主體攜手合作、共同參與、責(zé)任分擔(dān)的應(yīng)對(duì)體系，將責(zé)任分別歸結(jié)到生產(chǎn)者、銷(xiāo)售者和使用者身上。對(duì)政府而言，無(wú)論是針對(duì)“應(yīng)用”還是“監(jiān)管”所應(yīng)負(fù)有的技術(shù)責(zé)任（諸如數(shù)據(jù)、隱私和人身等安全問(wèn)題），各國(guó)政府都沒(méi)有形成一套完整、系統(tǒng)、科學(xué)的應(yīng)對(duì)方案，許多具體問(wèn)題的解決也是“邊走邊看”，使得許多由人工智能所引發(fā)的技術(shù)責(zé)任問(wèn)題都進(jìn)入了一種“現(xiàn)場(chǎng)協(xié)商”的狀態(tài)，這時(shí)候以應(yīng)對(duì)科技時(shí)代的人類(lèi)困境為出發(fā)點(diǎn)的“商談倫理”原則，則成為解決責(zé)任沖突和矛盾的可行方案和有效策略。方秋明認(rèn)為：“技術(shù)責(zé)任是這樣通過(guò)商談實(shí)現(xiàn)的：一個(gè)愿意負(fù)責(zé)任的技術(shù)主體會(huì)認(rèn)識(shí)到他（們）可能要作出影響他人的權(quán)利或利益的決定，那么在行動(dòng)之前他（們）就不得不和他人商談。” 〔15 〕此外，要確保協(xié)商的順利實(shí)現(xiàn)，并得到滿意的結(jié)果，必須滿足哈貝馬斯所倡導(dǎo)的“兩個(gè)原則”和“三個(gè)準(zhǔn)則”。當(dāng)然，也有學(xué)者指出“商談倫理”的原則過(guò)于“理想主義”，對(duì)于實(shí)踐的指導(dǎo)作用較小。我們這里關(guān)注的是，它所傳遞的這種“協(xié)商”原則能夠?yàn)槲覀兘鉀Q矛盾沖突提供一個(gè)很好的視角和啟發(fā)。政府在應(yīng)對(duì)人工智能引發(fā)的技術(shù)責(zé)任的時(shí)候，也應(yīng)該充分發(fā)揮“協(xié)商”手段，避免使用過(guò)于直接和生硬的方式。

概言之，技術(shù)進(jìn)步給政府治理帶來(lái)的機(jī)遇和挑戰(zhàn)是并存的，隨著以人工智能為代表的新技術(shù)嵌入政府治理的不斷深入，人工智能對(duì)政府治理的影響越來(lái)越廣、越來(lái)越深，也對(duì)傳統(tǒng)政府治理中的責(zé)任體系帶來(lái)了挑戰(zhàn)和沖擊。人工智能技術(shù)由于其所展現(xiàn)出的“替代人類(lèi)”的技術(shù)走向，使得傳統(tǒng)圍繞人和實(shí)體組織（政府）所建構(gòu)的責(zé)任體系存在面臨解構(gòu)的風(fēng)險(xiǎn)，因此本文聚焦人工智能這一特定的技術(shù)場(chǎng)景，建構(gòu)人工智能時(shí)代政府公共行政技術(shù)責(zé)任體系。從上述論證可以看出，就人工智能目前所處的發(fā)展階段來(lái)看（弱人工智能和強(qiáng)人工智能并存），傳統(tǒng)圍繞人和政府實(shí)體組織所建構(gòu)的技術(shù)責(zé)任體系暫時(shí)不會(huì)出現(xiàn)根本上的重構(gòu)，但是由于人工智能應(yīng)用已經(jīng)呈現(xiàn)出“無(wú)人化”的趨勢(shì)，對(duì)傳統(tǒng)公共行政技術(shù)責(zé)任的定責(zé)、問(wèn)責(zé)和履責(zé)以及相關(guān)標(biāo)準(zhǔn)和程序等各個(gè)環(huán)節(jié)都帶來(lái)了一定的沖擊，迫使政府在相應(yīng)的規(guī)則、制度和程序上必須作出一定的調(diào)整。當(dāng)然，我們這里所進(jìn)行的分析建立在強(qiáng)弱人工智能并存階段的技術(shù)場(chǎng)景之上，這并不足以讓我們完整地刻畫(huà)出人工智能場(chǎng)景下公共行政技術(shù)責(zé)任體系的立體圖像，因?yàn)榘凑占夹g(shù)專(zhuān)家的預(yù)測(cè)，進(jìn)入超人工智能階段，人工智能是可以完全替代人類(lèi)的，具備同人一樣的“智識(shí)”。那時(shí)，代替行政主體行使治理行為的人工智能體，是否具有完全的“責(zé)任屬性”呢？在這一點(diǎn)上，暫時(shí)不能給予確切的答案。正如有學(xué)者指出：“人工智能時(shí)代的到來(lái)，亦或是人類(lèi)經(jīng)受不住誘惑打開(kāi)的潘多拉魔盒，亦或是新時(shí)期造福人類(lèi)福祉的蒸汽機(jī)?！?〔16 〕因此，我們只有在人工智能技術(shù)不斷進(jìn)化的同時(shí)，加強(qiáng)對(duì)其可能帶來(lái)的影響進(jìn)行提前研判和前瞻性研究。

注 釋?zhuān)?/p>

①瑪克麗特·博登在《AI：人工智能的本質(zhì)與未來(lái)》一書(shū)中指出，人工智能大致經(jīng)歷了兩個(gè)發(fā)展階段：弱人工智能和強(qiáng)人工智能。弱人工智能階段依靠單臺(tái)機(jī)器或小型局域網(wǎng)絡(luò)，只能完成簡(jiǎn)單的程序和任務(wù);強(qiáng)人工智能階段是依靠全球互聯(lián)網(wǎng)、大數(shù)據(jù)覆蓋、終端及云端協(xié)同運(yùn)作，云存儲(chǔ)云計(jì)算同步開(kāi)啟，已經(jīng)具備接近人類(lèi)的思考方式和處理復(fù)雜任務(wù)的能力。

②技術(shù)能夠自我組織、自我決定，但過(guò)去的非智能機(jī)器只是因?yàn)闄C(jī)器缺乏智能，需要人類(lèi)配合，而在配合機(jī)器的過(guò)程中，智慧的人被機(jī)器所牽制，例如為了機(jī)器不停歇，人不得不三班倒，技術(shù)的這種“逆向適應(yīng)”讓其似乎獲得了某種自主性。

參考文獻(xiàn)：

〔1〕王美文.論技術(shù)責(zé)任與道德責(zé)任在行政責(zé)任中的統(tǒng)一性〔J〕.湖北大學(xué)學(xué)報(bào)（哲學(xué)社會(huì)科版），2005（01）：41-44.

〔2〕朱迪儉.公共行政中的“技術(shù)責(zé)任”〔J〕.理論探索，2015（04）：93-98.

〔3〕張國(guó)慶.公共行政學(xué)〔M〕.北京：北京大學(xué)出版社，2007.

〔4〕杜寶貴.論技術(shù)責(zé)任主體的缺失與重構(gòu)〔M〕.沈陽(yáng)：東北大學(xué)出版社，2005.

〔5〕黃欣榮.人工智能與人類(lèi)未來(lái)〔J〕.新疆師范大學(xué)學(xué)報(bào)（哲學(xué)社會(huì)科學(xué)版），2018（04）：101-108+2.

〔6〕Moor J H . Four Kinds of Ethical Robots〔J〕. Philosophy Now， 2009（72）：12-14.

〔7〕段偉文.人工智能時(shí)代的價(jià)值審度與倫理調(diào)適〔J〕.中國(guó)人民大學(xué)學(xué)報(bào)，2017（06）：98-108.

〔8〕瑪格麗特·博登.AI：人工智能的本質(zhì)與未來(lái)〔M〕.孫詩(shī)惠，譯.北京：中國(guó)人民大學(xué)出版社，2017.

〔9〕Jonas H. The Imperative of Responsibility：In Search of an Ethics for the Technological Age〔M〕.Chicago ：University of Chicago Press，1984.

〔10〕詹姆斯·巴拉特.我們最后的發(fā)明：人工智能與人類(lèi)時(shí)代的終結(jié)〔M〕.閭佳，譯.北京：電子工業(yè)出版社，2016.

〔11〕葉立國(guó).科學(xué)技術(shù)的四種不確定性及其風(fēng)險(xiǎn)規(guī)避路徑——基于約納斯“責(zé)任倫理”的考察〔J〕.中國(guó)石油大學(xué)學(xué)報(bào)（社會(huì)科學(xué)版），2018（02）：78-82.

〔12〕馬克思恩格斯全集：第23卷〔M〕.北京：人民出版社，1972.

〔13〕郭 蓉.從技術(shù)理性到行政倫理——大數(shù)據(jù)時(shí)代智慧治理的倫理反思〔J〕.道德與文明，2018（06）：17-23.

〔14〕方秋明.漢斯·約納斯的責(zé)任倫理學(xué)研究〔D〕.上海：復(fù)旦大學(xué)，2004.

〔15〕方秋明.論技術(shù)責(zé)任及其落實(shí)——走責(zé)任倫理與商談倫理之路〔J〕.科技進(jìn)步與對(duì)策，2007（05）：47-50.

〔16〕姚志偉，沈 燚.論人工智能創(chuàng)造物的著作權(quán)歸屬〔J〕.湘潭大學(xué)學(xué)報(bào)（哲學(xué)社會(huì)科學(xué)版），2018（03）：29-33.

責(zé)任編輯 周 榮