• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    算法審計(jì)內(nèi)容論

    2024-10-08 00:00:00田斌鄭石橋
    財(cái)會(huì)月刊·下半月 2024年9期

    【摘要】以經(jīng)典審計(jì)理論為基礎(chǔ), 提出算法審計(jì)內(nèi)容的一個(gè)理論框架。算法審計(jì)對(duì)象是算法責(zé)任履行情況, 主要包括: 代理人(算法使用者)的算法全面責(zé)任、 算法開(kāi)發(fā)者的算法開(kāi)發(fā)責(zé)任、 算法營(yíng)運(yùn)者的算法營(yíng)運(yùn)責(zé)任和算法監(jiān)管者的算法監(jiān)管責(zé)任。算法審計(jì)對(duì)象要落實(shí)到算法審計(jì)主題, 算法全面責(zé)任、 算法開(kāi)發(fā)責(zé)任、 算法營(yíng)運(yùn)責(zé)任的審計(jì)主題都是算法系統(tǒng), 算法監(jiān)管責(zé)任的審計(jì)主題包括算法監(jiān)管信息、 算法監(jiān)管行為和算法監(jiān)管制度?;诓煌乃惴▽徲?jì)主題形成不同類(lèi)型的算法審計(jì)業(yè)務(wù), 基于算法系統(tǒng)形成算法系統(tǒng)審計(jì), 基于算法監(jiān)管信息、 算法監(jiān)管行為和算法監(jiān)管制度分別形成算法監(jiān)管信息審計(jì)、 算法監(jiān)管行為審計(jì)和算法監(jiān)管制度審計(jì)。在算法審計(jì)業(yè)務(wù)實(shí)施中, 必須將各個(gè)審計(jì)業(yè)務(wù)的審計(jì)主題分解為審計(jì)標(biāo)的, 算法系統(tǒng)的審計(jì)標(biāo)的包括輸入數(shù)據(jù)、 算法設(shè)計(jì)和算法影響, 每一個(gè)有獨(dú)立計(jì)算方法的算法監(jiān)管信息都可以成為獨(dú)立的審計(jì)標(biāo)的, 每一個(gè)有獨(dú)立規(guī)則的算法監(jiān)管行為都可以成為獨(dú)立的審計(jì)標(biāo)的, 每一項(xiàng)有獨(dú)立規(guī)范對(duì)象的算法監(jiān)管制度都可以成為獨(dú)立的審計(jì)標(biāo)的。

    【關(guān)鍵詞】算法審計(jì)內(nèi)容;算法審計(jì)對(duì)象;算法審計(jì)主題;算法審計(jì)業(yè)務(wù)類(lèi)型;算法審計(jì)標(biāo)的

    【中圖分類(lèi)號(hào)】F239.44" " " 【文獻(xiàn)標(biāo)識(shí)碼】A" " " 【文章編號(hào)】1004-0994(2024)18-0086-6

    一、 引言

    未來(lái)已來(lái), 智能社會(huì)正以加速度到來(lái), 算法越來(lái)越深入人們的生活和工作, 甚至成為經(jīng)濟(jì)社會(huì)運(yùn)行的靈魂。然而, 算法在給人們的生活工作帶來(lái)福祉的同時(shí), 也帶來(lái)了一系列的問(wèn)題, 因此, 必須建構(gòu)算法治理體系來(lái)應(yīng)對(duì)這些問(wèn)題。算法審計(jì)以審計(jì)固有功能成為算法治理體系的重要成員。然而, 要讓算法審計(jì)真正在應(yīng)對(duì)算法負(fù)面問(wèn)題中發(fā)揮作用, 必須建構(gòu)科學(xué)的算法審計(jì)制度, 而理論自信是制度自信的基礎(chǔ), 從理論上正確地認(rèn)知算法審計(jì)的各個(gè)基礎(chǔ)性問(wèn)題, 是科學(xué)建構(gòu)算法審計(jì)制度的基礎(chǔ)。在諸多的算法審計(jì)基礎(chǔ)性問(wèn)題中, 本文聚焦于算法審計(jì)內(nèi)容, 即算法審計(jì)究竟審計(jì)什么。

    現(xiàn)有文獻(xiàn)將算法審計(jì)內(nèi)容區(qū)分為算法技術(shù)審計(jì)、 算法合規(guī)審計(jì)和算法風(fēng)險(xiǎn)審計(jì), 但由于這三類(lèi)算法審計(jì)存在內(nèi)容上的交叉和融合, 因此, 從審計(jì)內(nèi)容角度將三者分開(kāi)未必恰當(dāng)。整體來(lái)說(shuō), 現(xiàn)有文獻(xiàn)關(guān)于算法審計(jì)內(nèi)容的研究還是碎片化的, 未能貫通經(jīng)典審計(jì)理論。關(guān)于算法審計(jì)內(nèi)容, 尚缺乏一個(gè)貫通經(jīng)典審計(jì)理論且系統(tǒng)化的理論框架。本文以經(jīng)典審計(jì)理論為基礎(chǔ), 厘清算法委托代理關(guān)系, 提出算法審計(jì)內(nèi)容的一個(gè)理論框架, 以深化人們對(duì)算法審計(jì)內(nèi)容的認(rèn)知, 并為建構(gòu)和完善算法審計(jì)內(nèi)容相關(guān)制度提供理論參考。

    二、 文獻(xiàn)綜述

    多數(shù)文獻(xiàn)將算法審計(jì)內(nèi)容區(qū)分為算法技術(shù)審計(jì)、 算法合規(guī)審計(jì)和算法風(fēng)險(xiǎn)審計(jì)(張永忠和張寶山,2022)。在此基礎(chǔ)上, 已有文獻(xiàn)分別討論了這三類(lèi)算法審計(jì)的審計(jì)內(nèi)容。

    關(guān)于算法技術(shù)審計(jì), 多數(shù)文獻(xiàn)認(rèn)為其審計(jì)內(nèi)容包括輸入數(shù)據(jù)、 算法設(shè)計(jì)和算法影響三個(gè)方面, 不同的文獻(xiàn)有不同的表述。張永忠和張寶山(2022)認(rèn)為, 輸入數(shù)據(jù)是算法審計(jì)的重要內(nèi)容, 算法模型是算法審計(jì)的首要對(duì)象和核心內(nèi)容, 算法設(shè)計(jì)開(kāi)發(fā)運(yùn)行活動(dòng)是算法審計(jì)的必要內(nèi)容。沈艷(2022)提出, 要重視對(duì)輸入輸出和結(jié)果的評(píng)估算法審計(jì)思路, 算法內(nèi)部審計(jì)的重點(diǎn)可以包括數(shù)據(jù)是如何被運(yùn)用的、 算法的執(zhí)行流程和技術(shù)控制等。Beckstrom(2022)指出, 當(dāng)數(shù)據(jù)被收集并用于訓(xùn)練/再訓(xùn)練時(shí), 模型也可能“中毒”, 機(jī)器學(xué)習(xí)算法中的質(zhì)量確認(rèn)可以看作三個(gè)維度, 分別是數(shù)據(jù)質(zhì)量、 代碼質(zhì)量和模型質(zhì)量。付冉冉(2023)認(rèn)為, 需要進(jìn)行算法運(yùn)行的全過(guò)程審計(jì), 包括應(yīng)用領(lǐng)域、 數(shù)據(jù)端、 算法設(shè)計(jì)以及算法結(jié)果運(yùn)用。劉建業(yè)(2023)認(rèn)為, 算法審計(jì)主要關(guān)注“前端”的輸入數(shù)據(jù)和“末端”的算法影響評(píng)估。史普潤(rùn)等(2023)認(rèn)為, 算法審計(jì)的審查對(duì)象包括算法模型、 數(shù)據(jù)及與之有關(guān)的設(shè)計(jì)開(kāi)發(fā)運(yùn)行活動(dòng)。

    關(guān)于算法合規(guī)審計(jì), 其實(shí)質(zhì)是“為了對(duì)算法是否合乎法律法規(guī)、 社會(huì)道德等的價(jià)值規(guī)范要求進(jìn)行鑒定、 分析, 是法律對(duì)算法技術(shù)理性的規(guī)制監(jiān)督和規(guī)范措施”(張永忠和張寶山,2022)。對(duì)此, 不同的文獻(xiàn)有不同的具體表述。沈艷(2022)認(rèn)為, 算法外部審計(jì)要評(píng)估某些算法是否合法合規(guī)。Beckstrom(2022)指出, 機(jī)器學(xué)習(xí)算法的審計(jì)可以包含績(jī)效審計(jì)和合規(guī)審計(jì)兩部分。英國(guó)數(shù)字監(jiān)管合作論壇(DRCF)認(rèn)為算法合規(guī)審計(jì)主要是審核系統(tǒng)是否符合當(dāng)?shù)胤ㄒ?guī)或發(fā)展標(biāo)準(zhǔn)(DRCF,2022)。胡堅(jiān)波(2022)認(rèn)為, 算法審查是由監(jiān)管部門(mén)對(duì)算法的流程、 要素進(jìn)行合規(guī)性審查, 旨在揭示算法是否遵循了適當(dāng)程序, 并發(fā)現(xiàn)侵害事實(shí)與算法損害結(jié)果的關(guān)聯(lián)性, 以實(shí)現(xiàn)有效追責(zé)的監(jiān)管方式。王玉鳳(2023)認(rèn)為, 國(guó)家審計(jì)機(jī)關(guān)審計(jì)模型算法時(shí), 模型算法的合規(guī)性應(yīng)該作為重點(diǎn)關(guān)注內(nèi)容之一。

    關(guān)于算法風(fēng)險(xiǎn)審計(jì), 現(xiàn)有文獻(xiàn)有多種表述。沈艷(2022)提出, 通過(guò)算法審計(jì)來(lái)評(píng)估相應(yīng)企業(yè)面臨的道德和聲譽(yù)風(fēng)險(xiǎn), 以及在出現(xiàn)風(fēng)險(xiǎn)時(shí)的補(bǔ)救能力。張永忠和張寶山(2022)提出, 根據(jù)算法對(duì)個(gè)人或群體權(quán)利、 健康福祉、 經(jīng)濟(jì)利益、 生態(tài)可持續(xù)性等因素的影響級(jí)別從低到高分為沒(méi)有影響、 適度影響、 重大影響、 非常大的影響四個(gè)等級(jí), 對(duì)于沒(méi)有影響的算法不需要同行評(píng)審, 對(duì)于具有適度影響、 重大影響的算法要求至少一個(gè)同行評(píng)審, 而對(duì)于非常大的影響則至少要求兩個(gè)同行評(píng)審。王玉鳳(2023)認(rèn)為, 國(guó)家審計(jì)機(jī)關(guān)在審計(jì)模型算法時(shí), 模型算法的風(fēng)險(xiǎn)要作為重點(diǎn)關(guān)注內(nèi)容之一, 模型算法的風(fēng)險(xiǎn)不僅包含數(shù)據(jù)、 假設(shè)、 樣本等自身的風(fēng)險(xiǎn), 還包括管理風(fēng)險(xiǎn)。

    此外, 有的文獻(xiàn)認(rèn)為, 算法審計(jì)無(wú)法歸入現(xiàn)行的財(cái)政審計(jì)、 金融審計(jì)、 企業(yè)審計(jì)、 資源環(huán)境審計(jì)、 經(jīng)濟(jì)責(zé)任審計(jì)、 涉外審計(jì)等審計(jì)業(yè)務(wù), 而應(yīng)該作為獨(dú)立的審計(jì)業(yè)務(wù), 其原因有三個(gè)方面: 一是審計(jì)對(duì)象不同, 算法審計(jì)的對(duì)象包括數(shù)據(jù)和社會(huì)影響, 不同于現(xiàn)行審計(jì)業(yè)務(wù); 二是算法審計(jì)的審計(jì)方法異于現(xiàn)行審計(jì)業(yè)務(wù); 三是從算法審計(jì)的承載效能來(lái)看, 算法審計(jì)不僅追求商業(yè)算法企業(yè)的良好規(guī)則, 而且旨在規(guī)制算法治理實(shí)踐的“科技為惡”。因此, 我國(guó)應(yīng)當(dāng)在未來(lái)的制度審計(jì)中確立算法審計(jì)為獨(dú)立審計(jì)類(lèi)型(劉建業(yè),2023)。

    從審計(jì)內(nèi)容的角度將算法審計(jì)區(qū)分為算法技術(shù)審計(jì)、 算法合規(guī)審計(jì)和算法風(fēng)險(xiǎn)審計(jì), 這種分類(lèi)未必恰當(dāng)。算法合規(guī)需要算法技術(shù)來(lái)實(shí)現(xiàn), 因此, 算法合規(guī)審計(jì)實(shí)質(zhì)上無(wú)法與算法技術(shù)審計(jì)分離。算法風(fēng)險(xiǎn)也無(wú)法與算法技術(shù)分離, 比如存在算法技術(shù)未能實(shí)現(xiàn)既定目標(biāo)的風(fēng)險(xiǎn)。同時(shí), 算法風(fēng)險(xiǎn)與算法合規(guī)也無(wú)法分離, 未能遵守算法相關(guān)法律法規(guī)也是一種風(fēng)險(xiǎn)。整體來(lái)說(shuō), 算法技術(shù)審計(jì)、 算法合規(guī)審計(jì)和算法風(fēng)險(xiǎn)審計(jì)存在內(nèi)容上的交叉和融合, 實(shí)質(zhì)性的審計(jì)內(nèi)容都是輸入數(shù)據(jù)、 算法設(shè)計(jì)和算法影響。

    認(rèn)為算法審計(jì)應(yīng)該作為一種獨(dú)立的審計(jì)業(yè)務(wù)類(lèi)型, 而不能融于其他審計(jì)業(yè)務(wù)之中, 這種觀點(diǎn)也是值得商榷的。從邏輯上來(lái)說(shuō), 無(wú)論何種審計(jì)客體, 如果在其業(yè)務(wù)活動(dòng)中使用了算法, 則算法審計(jì)也就成為對(duì)該單位審計(jì)內(nèi)容的組成部分。例如, 金融機(jī)構(gòu)在其業(yè)務(wù)中使用了人工智能, 則對(duì)金融機(jī)構(gòu)進(jìn)行審計(jì)時(shí)就無(wú)法避開(kāi)算法審計(jì), 必須將金融機(jī)構(gòu)使用的算法作為對(duì)該機(jī)構(gòu)進(jìn)行審計(jì)的內(nèi)容之一。當(dāng)然, 由于算法審計(jì)內(nèi)容和方法具有特殊性, 單獨(dú)開(kāi)展算法審計(jì)也是具有可行性的, 但是, 這種可行性并不意味著算法審計(jì)必須獨(dú)立開(kāi)展。

    整體來(lái)說(shuō), 現(xiàn)有文獻(xiàn)關(guān)于算法審計(jì)內(nèi)容的研究還是碎片化的, 未能貫通經(jīng)典審計(jì)理論。關(guān)于算法審計(jì)內(nèi)容, 尚缺乏一個(gè)貫通經(jīng)典審計(jì)理論且系統(tǒng)化的理論框架。

    三、 理論框架

    本文以經(jīng)典審計(jì)理論為基礎(chǔ), 提出算法審計(jì)內(nèi)容的一個(gè)理論框架。算法審計(jì)也是審計(jì), 因此, 其審計(jì)內(nèi)容也應(yīng)該基于審計(jì)內(nèi)容的一般框架來(lái)分析。根據(jù)經(jīng)典審計(jì)理論, 審計(jì)內(nèi)容通常分為五個(gè)層級(jí): 審計(jì)對(duì)象、 審計(jì)主題、 審計(jì)業(yè)務(wù)類(lèi)型、 審計(jì)標(biāo)的、 審計(jì)載體(鄭石橋,2021)。算法審計(jì)內(nèi)容也應(yīng)該分為上述五個(gè)層級(jí)。由于算法審計(jì)載體顯然是電子數(shù)據(jù), 所以, 本文僅闡釋前四個(gè)層級(jí)的內(nèi)容。委托代理關(guān)系是闡釋審計(jì)基礎(chǔ)性問(wèn)題的基礎(chǔ), 因此, 本文先梳理算法審計(jì)中的委托代理關(guān)系。

    (一) 算法委托代理關(guān)系

    算法技術(shù)復(fù)雜, 因此, 需要由多方協(xié)作來(lái)開(kāi)發(fā)、 營(yíng)運(yùn)和使用, 也需要政府對(duì)算法進(jìn)行監(jiān)管。與算法相關(guān)的各方之間都存在一定程度的信息不對(duì)稱(chēng), 因此, 根據(jù)信息經(jīng)濟(jì)學(xué), 算法相關(guān)各方之間的關(guān)系都屬于委托代理關(guān)系。但是, 這些關(guān)系中的權(quán)責(zé)安排不同, 導(dǎo)致這些關(guān)系的性質(zhì)也不同, 主要包括資源類(lèi)委托代理關(guān)系、 合約類(lèi)委托代理關(guān)系和監(jiān)管類(lèi)委托代理關(guān)系。簡(jiǎn)化的算法委托代理關(guān)系的基本情況如圖1所示。

    圖1中, 關(guān)系1是經(jīng)典意義上的資源類(lèi)委托代理關(guān)系。在這種關(guān)系中存在信息不對(duì)稱(chēng)、 激勵(lì)不相容、 合約不完備和環(huán)境不確定, 因而為應(yīng)對(duì)代理人代理問(wèn)題和次優(yōu)問(wèn)題, 需要建構(gòu)一整套治理機(jī)制, 審計(jì)是這套治理機(jī)制的重要成員。由于代理人在履行其經(jīng)管責(zé)任時(shí)使用了算法, 因此, 算法審計(jì)也就成為審計(jì)機(jī)制的重要內(nèi)容。

    關(guān)系2是算法使用者與算法相對(duì)人之間的關(guān)系。這里的算法相對(duì)人是指在代理人履行其經(jīng)管責(zé)任時(shí)所發(fā)生經(jīng)濟(jì)活動(dòng)的對(duì)方, 由于這些經(jīng)濟(jì)活動(dòng)是通過(guò)算法來(lái)實(shí)施的, 因此, 將經(jīng)濟(jì)活動(dòng)的對(duì)方稱(chēng)為算法相對(duì)人。代理人作為算法使用者是算法提供者, 算法相對(duì)人如果不同意算法使用者使用算法, 則可能拒絕發(fā)生經(jīng)濟(jì)活動(dòng)。若算法使用者提供的算法與其承諾的算法不同, 則視同違約行為, 算法相對(duì)人可以通過(guò)司法訴訟來(lái)維權(quán)。關(guān)系2中雖然存在信息不對(duì)稱(chēng)、 激勵(lì)不相容, 甚至還有環(huán)境不確定, 但合約是完備的, 因此, 這種關(guān)系中不存在審計(jì)需求, 當(dāng)然也不存在算法審計(jì)需求。

    關(guān)系3是算法使用者與算法開(kāi)發(fā)者的關(guān)系。由于算法技術(shù)存在復(fù)雜性, 大多數(shù)算法使用者可能并不具備開(kāi)發(fā)算法的技術(shù)能力(如果具備這種能力,則算法開(kāi)發(fā)者與算法使用者合二為一,關(guān)系3消失), 故而通常會(huì)委托具有勝任能力的專(zhuān)業(yè)機(jī)構(gòu)來(lái)開(kāi)發(fā)算法。算法使用者會(huì)顯性或隱性地要求算法開(kāi)發(fā)者開(kāi)發(fā)的算法符合以下要求: 不存在違反國(guó)家有關(guān)算法的法律法規(guī)的合法性問(wèn)題, 不存在違反公序良俗的倫理性問(wèn)題, 不存在不能有效完成任務(wù)的效率效果性問(wèn)題。但是, 同樣由于受到技術(shù)能力的限制, 算法使用者無(wú)法在算法移交時(shí)對(duì)是否符合上述要求進(jìn)行驗(yàn)收, 只能通過(guò)在后期應(yīng)用中是否出現(xiàn)上述問(wèn)題來(lái)檢驗(yàn)算法開(kāi)發(fā)者所開(kāi)發(fā)的算法是否符合上述要求。在這種背景下, 雖然算法開(kāi)發(fā)者與關(guān)系1中的委托人并無(wú)關(guān)系, 但是, 算法使用者將算法開(kāi)發(fā)責(zé)任轉(zhuǎn)移給算法開(kāi)發(fā)者, 后者在算法方面要向算法使用者負(fù)責(zé), 進(jìn)而也就成為在算法方面向關(guān)系1中委托人承擔(dān)責(zé)任的算法共同責(zé)任者之一, 關(guān)系1中以算法使用者作為審計(jì)客體的算法審計(jì)會(huì)延伸到算法開(kāi)發(fā)者。

    關(guān)系4是算法使用者與算法營(yíng)運(yùn)者的關(guān)系。同樣是由于算法具有技術(shù)復(fù)雜性, 算法使用者無(wú)力營(yíng)運(yùn)算法(如果算法使用者具備營(yíng)運(yùn)能力,則算法使用者與算法營(yíng)運(yùn)者合二為一,關(guān)系4消失), 委托算法營(yíng)運(yùn)者負(fù)責(zé)算法的具體營(yíng)運(yùn), 可能也無(wú)法提出算法營(yíng)運(yùn)的具體要求。但是, 可以約定的是, 如果因?yàn)樗惴I(yíng)運(yùn)不當(dāng)導(dǎo)致負(fù)面后果, 則算法營(yíng)運(yùn)者應(yīng)該承擔(dān)責(zé)任。在這種背景下, 算法營(yíng)運(yùn)者與算法使用者之間實(shí)質(zhì)上也形成了完備合約, 算法使用者可以將算法營(yíng)運(yùn)者的不當(dāng)行為訴諸司法機(jī)關(guān)。算法營(yíng)運(yùn)者雖然與關(guān)系1中的委托人沒(méi)有關(guān)系, 但由于算法營(yíng)運(yùn)者對(duì)算法使用者承擔(dān)了算法營(yíng)運(yùn)責(zé)任, 而算法使用者作為代理人實(shí)質(zhì)上將算法營(yíng)運(yùn)責(zé)任轉(zhuǎn)移給算法營(yíng)運(yùn)者, 而算法使用者要向其委托人承擔(dān)算法營(yíng)運(yùn)責(zé)任, 因此, 關(guān)系1中以算法使用者作為審計(jì)客體的算法審計(jì)會(huì)延伸到算法營(yíng)運(yùn)者。

    關(guān)系5是算法監(jiān)管部門(mén)對(duì)算法開(kāi)發(fā)者的監(jiān)管, 關(guān)系6是算法監(jiān)管部門(mén)對(duì)算法使用者的監(jiān)管, 關(guān)系7是算法監(jiān)管部門(mén)對(duì)算法營(yíng)運(yùn)者的監(jiān)管。在這些關(guān)系中, 監(jiān)管方只能按算法相關(guān)法律法規(guī)的要求進(jìn)行監(jiān)管, 法無(wú)明文不可為; 而被監(jiān)管方則必須按算法相關(guān)法律法規(guī)的要求接受監(jiān)管, 算法相關(guān)法律法規(guī)發(fā)揮了類(lèi)似完備合約的作用。在這種關(guān)系中解決矛盾的有效機(jī)制是行政制裁、 行政申訴和行政訴訟, 并不存在審計(jì)需求。當(dāng)然, 并不排除算法監(jiān)管部門(mén)借助算法審計(jì)來(lái)履行其監(jiān)管職責(zé), 這只是利用審計(jì)技術(shù)功能, 并不是經(jīng)典意義上的算法審計(jì)。

    關(guān)系8是本級(jí)政府與其設(shè)立的算法監(jiān)管部門(mén)之間的關(guān)系, 屬于政府與設(shè)立的部門(mén)之間的關(guān)系。很顯然, 這種關(guān)系的性質(zhì)是資源類(lèi)委托代理關(guān)系, 只是這種關(guān)系中政府部門(mén)的職責(zé)是算法監(jiān)管。這種關(guān)系中存在信息不對(duì)稱(chēng)、 激勵(lì)不相容、 合約不完備和環(huán)境不確定。根據(jù)經(jīng)典審計(jì)理論, 這種關(guān)系中存在算法審計(jì)需求。

    綜合以上分析, 圖1中關(guān)系1和關(guān)系8是資源類(lèi)委托代理關(guān)系, 存在算法審計(jì)需求, 同時(shí), 關(guān)系1還會(huì)延伸審計(jì)到關(guān)系3和關(guān)系4。那么, 在這些算法審計(jì)中審計(jì)什么呢?

    (二) 算法審計(jì)對(duì)象

    根據(jù)經(jīng)典審計(jì)理論, 在資源類(lèi)委托代理關(guān)系中, 代理人對(duì)委托人承擔(dān)了最大善意地使用所接受的資源來(lái)履行所要求職責(zé)的責(zé)任, 這種責(zé)任通常稱(chēng)為經(jīng)管責(zé)任。但是, 在這種關(guān)系中存在信息不對(duì)稱(chēng)、 合約不完備、 激勵(lì)不相容和環(huán)境不確定。在此條件下, 由于人性自利, 會(huì)產(chǎn)生代理問(wèn)題; 由于人的有限理性, 會(huì)產(chǎn)生次優(yōu)問(wèn)題。為了應(yīng)對(duì)代理問(wèn)題和次優(yōu)問(wèn)題, 必須由一定的審計(jì)機(jī)構(gòu)對(duì)代理人經(jīng)管責(zé)任履行情況進(jìn)行檢查, 因此, 代理人經(jīng)管責(zé)任履行情況成為審計(jì)對(duì)象(鄭石橋,2021)。

    算法審計(jì)對(duì)象也不例外, 是算法責(zé)任履行情況。在資源類(lèi)委托代理關(guān)系中, 代理人履行其算法責(zé)任時(shí), 同樣可能出現(xiàn)代理問(wèn)題和次優(yōu)問(wèn)題。因此, 必須對(duì)代理人的算法責(zé)任履行情況進(jìn)行審計(jì), 以發(fā)現(xiàn)其中的代理問(wèn)題和次優(yōu)問(wèn)題并推動(dòng)整改, 以促使代理人更好地履行其承擔(dān)的算法責(zé)任(鄭石橋,2024)。算法委托代理關(guān)系的算法責(zé)任者及其算法責(zé)任的基本情況如表1所示。

    關(guān)系1中, 代理人在履行其經(jīng)管責(zé)任時(shí)使用了算法, 算法狀況決定了代理人經(jīng)管責(zé)任履行情況, 也決定了委托人利益的實(shí)現(xiàn)狀況, 因此, 代理人要良好地履行其經(jīng)管責(zé)任, 必須建構(gòu)良好的算法, 建構(gòu)良好的算法成為代理人良好地履行其經(jīng)管責(zé)任的基礎(chǔ), 算法責(zé)任成為代理人經(jīng)管責(zé)任的重要內(nèi)容之一。就算法責(zé)任的內(nèi)容來(lái)說(shuō), 良好的算法至少體現(xiàn)在以下四個(gè)方面: 不存在違反國(guó)家有關(guān)算法的法律法規(guī)的合法性問(wèn)題, 不存在違反公序良俗的倫理性問(wèn)題, 不存在不能有效完成任務(wù)的效率效果性問(wèn)題, 不存在算法營(yíng)運(yùn)不當(dāng)問(wèn)題。上述四個(gè)方面涵蓋了算法責(zé)任的各個(gè)方面, 相對(duì)于其他算法責(zé)任者承擔(dān)的算法責(zé)任來(lái)說(shuō), 這種算法責(zé)任是全面的, 因此, 可以稱(chēng)為算法全面責(zé)任。

    關(guān)系3中, 關(guān)系1中的代理人作為算法使用者無(wú)力開(kāi)發(fā)算法, 要委托具有專(zhuān)業(yè)勝任能力的機(jī)構(gòu)來(lái)開(kāi)發(fā)算法, 這種關(guān)系本質(zhì)上是合約類(lèi)委托代理關(guān)系。算法使用者會(huì)通過(guò)顯性或隱性合約要求算法開(kāi)發(fā)者開(kāi)發(fā)的算法符合法律法規(guī)、 完成任務(wù)具有效率效果性、 不存在違反公序良俗的倫理性問(wèn)題。但是, 同樣由于算法使用者的技術(shù)能力限制, 在算法移交時(shí), 算法使用者無(wú)法對(duì)算法是否符合上述要求進(jìn)行驗(yàn)收, 只能通過(guò)算法使用過(guò)程中是否存在上述問(wèn)題來(lái)檢驗(yàn)算法開(kāi)發(fā)者是否按上述要求來(lái)開(kāi)發(fā)算法。在這種背景下, 算法開(kāi)發(fā)者不只在算法開(kāi)發(fā)階段承擔(dān)合約責(zé)任, 在算法使用階段也承擔(dān)合約責(zé)任, 實(shí)質(zhì)上是與算法使用者成為算法的共同責(zé)任主體, 算法使用者將其承擔(dān)的算法全面責(zé)任中的算法開(kāi)發(fā)責(zé)任轉(zhuǎn)移給算法開(kāi)發(fā)者。本文將算法開(kāi)發(fā)者向關(guān)系1中代理人進(jìn)而向關(guān)系1中委托人承擔(dān)的算法責(zé)任稱(chēng)為算法開(kāi)發(fā)責(zé)任, 其具體內(nèi)容是: 不存在違反國(guó)家有關(guān)算法的法律法規(guī)的合法性問(wèn)題, 不存在違反公序良俗的倫理性問(wèn)題, 不存在不能有效完成任務(wù)的效率效果性問(wèn)題。

    關(guān)系4中, 關(guān)系1中的代理人作為算法使用者無(wú)法營(yíng)運(yùn)算法, 因此, 要良好履行其承擔(dān)的算法責(zé)任, 必須將算法營(yíng)運(yùn)托付給專(zhuān)業(yè)機(jī)構(gòu), 這種關(guān)系本質(zhì)上也是合約類(lèi)委托代理關(guān)系。算法使用者會(huì)通過(guò)顯性或隱性合約條款對(duì)算法營(yíng)運(yùn)提出要求, 但是, 算法營(yíng)運(yùn)者是否履行了這些合約條款則無(wú)法在某一個(gè)時(shí)點(diǎn)驗(yàn)收, 而必須伴隨算法營(yíng)運(yùn)的全過(guò)程。因此, 從實(shí)質(zhì)上來(lái)說(shuō), 算法使用者將其算法全面責(zé)任中的算法營(yíng)運(yùn)責(zé)任移交給算法營(yíng)運(yùn)者, 算法營(yíng)運(yùn)者與算法使用者成為向關(guān)系1中委托人承擔(dān)算法責(zé)任的共同責(zé)任主體。算法營(yíng)運(yùn)責(zé)任的具體內(nèi)容依賴(lài)于算法使用者與算法營(yíng)運(yùn)者的合約條款, 但是, 無(wú)論具體條款如何確定, 基本原則都是不存在算法營(yíng)運(yùn)不當(dāng)問(wèn)題。

    關(guān)系8中, 本級(jí)政府將本區(qū)域內(nèi)的算法監(jiān)管責(zé)任授予算法監(jiān)管部門(mén), 算法監(jiān)管部門(mén)向本級(jí)政府承擔(dān)算法監(jiān)管責(zé)任。算法監(jiān)管的基本原則是謙抑原則, 要求算法監(jiān)管機(jī)構(gòu)在不影響技術(shù)創(chuàng)新和發(fā)展的前提下, 對(duì)算法的使用進(jìn)行必要的規(guī)范和約束, 以保護(hù)公共利益和算法相對(duì)人權(quán)益。所以, 從算法監(jiān)管的內(nèi)容來(lái)說(shuō), 主要是保障算法法律法規(guī)得到遵守, 這也是算法向善的最低要求。算法監(jiān)管的手段較多, 算法備案、 算法檢查、 算法風(fēng)險(xiǎn)監(jiān)測(cè)、 算法安全評(píng)估都是可能的監(jiān)管手段, 也可能借鑒算法審計(jì)的技術(shù)功能來(lái)實(shí)施算法監(jiān)管。監(jiān)管實(shí)踐中, 通常要實(shí)行分類(lèi)監(jiān)管, 不同風(fēng)險(xiǎn)等級(jí)的人工智能系統(tǒng)的監(jiān)管力度應(yīng)該存在差別。例如, 歐盟發(fā)布的《人工智能法案》將AI系統(tǒng)分為四個(gè)類(lèi)別, 不同類(lèi)型的AI系統(tǒng)的監(jiān)管力度存在差異。算法監(jiān)管責(zé)任不屬于關(guān)系1中代理人作為算法使用者承擔(dān)的算法全面責(zé)任的組成部分, 它是算法監(jiān)管部門(mén)向本級(jí)政府承擔(dān)的保障本區(qū)域內(nèi)算法向善的責(zé)任, 并不是向關(guān)系1中委托人承擔(dān)的責(zé)任。同時(shí), 算法監(jiān)管責(zé)任也不同于算法開(kāi)發(fā)責(zé)任和算法營(yíng)運(yùn)責(zé)任, 后二者都是關(guān)系1中代理人作為算法使用者所承擔(dān)算法全面責(zé)任的分解和轉(zhuǎn)移, 而算法監(jiān)管責(zé)任并不依賴(lài)于關(guān)系1中算法使用者所承擔(dān)的算法全面責(zé)任。本級(jí)政府通過(guò)其審計(jì)機(jī)關(guān)對(duì)算法監(jiān)管部門(mén)的算法監(jiān)管責(zé)任履行情況進(jìn)行審計(jì), 目的是發(fā)現(xiàn)算法監(jiān)管責(zé)任履行中存在的問(wèn)題并推動(dòng)整改, 促使算法監(jiān)管部門(mén)更好地履行其算法監(jiān)管責(zé)任, 進(jìn)而為本區(qū)域內(nèi)算法向善奠定一定的基礎(chǔ)。

    (三) 算法審計(jì)主題

    根據(jù)經(jīng)典審計(jì)理論, 審計(jì)對(duì)經(jīng)管責(zé)任履行情況的檢查也不是萬(wàn)能的, 必須基于審計(jì)固有功能, 從特定的維度進(jìn)行檢查。這些特定的維度就是審計(jì)檢查經(jīng)管責(zé)任履行情況時(shí)所能關(guān)注的中心事項(xiàng)。這些中心事項(xiàng)就是審計(jì)主題, 通常包括經(jīng)濟(jì)行為、 經(jīng)濟(jì)信息和經(jīng)濟(jì)制度(鄭石橋,2021)。

    算法審計(jì)也不例外, 對(duì)算法責(zé)任履行情況進(jìn)行檢查時(shí), 也必須基于審計(jì)固有功能, 從而也只能從特定的維度來(lái)檢查算法責(zé)任履行情況。這些特定的維度也就是算法審計(jì)主題。那么, 算法審計(jì)主題有哪些呢?在不同的算法責(zé)任中, 其審計(jì)主題不同。

    表1中, 算法使用者承擔(dān)算法全面責(zé)任, 算法開(kāi)發(fā)者承擔(dān)算法開(kāi)發(fā)責(zé)任, 算法營(yíng)運(yùn)者承擔(dān)算法營(yíng)運(yùn)責(zé)任, 而算法開(kāi)發(fā)責(zé)任和算法營(yíng)運(yùn)責(zé)任是從算法全面責(zé)任中分解和轉(zhuǎn)移出來(lái)的, 這三者的審計(jì)主題相同, 都是人工智能中的算法系統(tǒng)。在經(jīng)濟(jì)行為、 經(jīng)濟(jì)信息和經(jīng)濟(jì)制度中, 算法系統(tǒng)屬于經(jīng)濟(jì)制度, 而不屬于經(jīng)濟(jì)行為和經(jīng)濟(jì)信息。這是因?yàn)榻?jīng)濟(jì)制度是有關(guān)經(jīng)濟(jì)行為和經(jīng)濟(jì)信息生產(chǎn)的規(guī)則, 算法系統(tǒng)本身不是經(jīng)濟(jì)行為和經(jīng)濟(jì)信息, 而是約束經(jīng)濟(jì)行為和經(jīng)濟(jì)信息的規(guī)則, 所以, 從本質(zhì)上來(lái)說(shuō), 算法系統(tǒng)類(lèi)同于經(jīng)濟(jì)制度, 是數(shù)智時(shí)代的經(jīng)濟(jì)制度之載體。雖然經(jīng)濟(jì)行為在算法系統(tǒng)中履行, 經(jīng)濟(jì)信息在算法系統(tǒng)中生產(chǎn), 但是, 算法系統(tǒng)本身并不是經(jīng)濟(jì)行為, 也不是經(jīng)濟(jì)信息, 只是約束經(jīng)濟(jì)行為和經(jīng)濟(jì)信息的規(guī)則。所以, 總體來(lái)說(shuō), 算法系統(tǒng)屬于經(jīng)濟(jì)制度類(lèi)審計(jì)主題。

    表1中, 算法監(jiān)管者承擔(dān)算法監(jiān)管責(zé)任, 這種責(zé)任并不依賴(lài)于算法全面責(zé)任, 其實(shí)質(zhì)是算法監(jiān)管部門(mén)的業(yè)務(wù)責(zé)任。從審計(jì)主題來(lái)說(shuō), 可以涉及經(jīng)濟(jì)行為、 經(jīng)濟(jì)信息和經(jīng)濟(jì)制度, 體現(xiàn)為算法監(jiān)管信息、 算法監(jiān)管行為和算法監(jiān)管制度。算法監(jiān)管信息是算法監(jiān)管部門(mén)履行其算法監(jiān)管責(zé)任所形成的各種定量信息, 這些定量信息很大程度上表征了算法監(jiān)管部門(mén)的監(jiān)管績(jī)效, 屬于其業(yè)務(wù)績(jī)效信息, 因此, 算法監(jiān)管部門(mén)很有可能操縱這些定量信息。為了核實(shí)清楚算法監(jiān)管部門(mén)的監(jiān)管責(zé)任履行情況, 必須對(duì)這些定量信息進(jìn)行審計(jì), 以鑒證其真實(shí)性。算法監(jiān)管行為是算法監(jiān)管部門(mén)根據(jù)算法監(jiān)管相關(guān)法律法規(guī)實(shí)際開(kāi)展的算法監(jiān)管活動(dòng)。例如, 接受算法備案、 組織實(shí)施算法檢查、 組織實(shí)施算法風(fēng)險(xiǎn)監(jiān)測(cè)、 組織實(shí)施算法安全評(píng)估都屬于算法監(jiān)管行為。這類(lèi)行為的基本要求是合法, 即必須嚴(yán)格按算法相關(guān)法律法規(guī)的規(guī)定來(lái)履行算法監(jiān)管職責(zé), 對(duì)這些監(jiān)管行為進(jìn)行審計(jì)的目的是檢查其合法性。算法監(jiān)管制度是指算法監(jiān)管部門(mén)為履行其算法監(jiān)管職責(zé), 必須建構(gòu)一些規(guī)章制度, 規(guī)范算法監(jiān)管行為, 為保障算法監(jiān)管的效率效果奠定基礎(chǔ)。對(duì)算法監(jiān)管制度進(jìn)行審計(jì)的目的是保障這些制度的健全性, 為算法監(jiān)管責(zé)任的良好履行奠定制度基礎(chǔ)。

    (四) 算法審計(jì)業(yè)務(wù)類(lèi)型

    根據(jù)經(jīng)典審計(jì)理論, 審計(jì)業(yè)務(wù)類(lèi)型可以從不同的視角來(lái)考察, 算法審計(jì)的基本業(yè)務(wù)類(lèi)型如表2所示。

    表2中: 按算法審計(jì)客體不同, 算法審計(jì)可以分為算法使用者審計(jì)、 算法開(kāi)發(fā)者審計(jì)、 算法營(yíng)運(yùn)者審計(jì)和算法監(jiān)管者審計(jì); 按算法審計(jì)對(duì)象不同, 算法審計(jì)可以分為算法全面責(zé)任審計(jì)、 算法開(kāi)發(fā)責(zé)任審計(jì)、 算法營(yíng)運(yùn)責(zé)任審計(jì)、 算法監(jiān)管責(zé)任審計(jì); 按算法審計(jì)主題不同, 算法審計(jì)可以分為算法系統(tǒng)審計(jì)、 算法監(jiān)管信息審計(jì)、 算法監(jiān)管行為審計(jì)和算法監(jiān)管制度審計(jì)。

    此外, 各類(lèi)審計(jì)主體職責(zé)范圍內(nèi)的審計(jì)客體都有可能使用算法, 因此, 針對(duì)這些審計(jì)客體的審計(jì)都可能涉及算法審計(jì), 故算法審計(jì)可以分為政府審計(jì)機(jī)關(guān)的算法審計(jì)、 民間審計(jì)機(jī)構(gòu)的算法審計(jì)、 內(nèi)部審計(jì)機(jī)構(gòu)的算法審計(jì)和軍隊(duì)審計(jì)機(jī)關(guān)的算法審計(jì)。

    (五) 算法審計(jì)標(biāo)的

    根據(jù)經(jīng)典審計(jì)理論, 在審計(jì)業(yè)務(wù)實(shí)施過(guò)程中, 必須將各個(gè)審計(jì)業(yè)務(wù)的審計(jì)主題分解為審計(jì)標(biāo)的(鄭石橋,2021), 并圍繞審計(jì)標(biāo)的來(lái)設(shè)計(jì)審計(jì)方案和收集審計(jì)證據(jù)。算法審計(jì)也是如此, 必須將算法審計(jì)主題分解為算法審計(jì)標(biāo)的。

    1. 算法系統(tǒng)的審計(jì)標(biāo)的。算法系統(tǒng)審計(jì)的審計(jì)主題是算法系統(tǒng), 可以分解為輸入數(shù)據(jù)、 算法設(shè)計(jì)和算法影響三個(gè)方面。

    在算法審計(jì)中, 通常需要審計(jì)的輸入數(shù)據(jù)包括三類(lèi): 一是算法設(shè)計(jì)所用的數(shù)據(jù), 包括算法設(shè)計(jì)時(shí)使用的原始數(shù)據(jù)集, 以及這些數(shù)據(jù)集的來(lái)源、 質(zhì)量和代表性等信息; 二是算法訓(xùn)練數(shù)據(jù), 即算法在訓(xùn)練過(guò)程中使用的數(shù)據(jù), 這些數(shù)據(jù)可能經(jīng)過(guò)特定的處理或篩選, 以確保算法能夠更好地學(xué)習(xí)和預(yù)測(cè); 三是算法評(píng)估數(shù)據(jù), 這是在算法開(kāi)發(fā)過(guò)程中為了測(cè)試和評(píng)估算法性能而使用的數(shù)據(jù)。對(duì)算法輸入數(shù)據(jù)進(jìn)行審計(jì)的原因有三個(gè)方面: 一是確保數(shù)據(jù)質(zhì)量和代表性, 通過(guò)審計(jì)算法設(shè)計(jì)所用的數(shù)據(jù), 可以確保這些數(shù)據(jù)是高質(zhì)量的, 并且對(duì)所有利益相關(guān)方都是公平和有代表性的, 這對(duì)于防止算法產(chǎn)生偏見(jiàn)和由此導(dǎo)致不公平的決策至關(guān)重要; 二是評(píng)估算法的有效性和公正性, 通過(guò)對(duì)算法訓(xùn)練數(shù)據(jù)和評(píng)估數(shù)據(jù)的審計(jì), 可以評(píng)估算法是否有效地學(xué)習(xí)了正確的模式, 以及是否公正地對(duì)待了所有算法相對(duì)人; 三是遵守法律法規(guī)和道德標(biāo)準(zhǔn), 算法審計(jì)還可以確保算法的使用符合相關(guān)法律法規(guī)和道德標(biāo)準(zhǔn), 例如保護(hù)個(gè)人隱私、 避免歧視等。

    算法設(shè)計(jì)審計(jì)是對(duì)算法本身的設(shè)計(jì)進(jìn)行審計(jì), 這種審計(jì)對(duì)于確保算法的合規(guī)性、 倫理性、 效率效果性, 提高透明度和可解釋性, 保護(hù)算法相對(duì)人權(quán)益以及促進(jìn)數(shù)字經(jīng)濟(jì)的健康發(fā)展都至關(guān)重要。算法設(shè)計(jì)審計(jì)的內(nèi)容主要包括五個(gè)方面: 一是算法設(shè)計(jì)和開(kāi)發(fā)的合規(guī)性, 檢查算法設(shè)計(jì)是否遵循了相關(guān)的法律法規(guī)和行業(yè)標(biāo)準(zhǔn), 是否存在侵犯隱私權(quán)、 知識(shí)產(chǎn)權(quán)等風(fēng)險(xiǎn); 二是算法的透明度和可解釋性, 評(píng)估是否能夠清晰地向算法相對(duì)人解釋算法中的決策過(guò)程, 以及是否能夠讓算法相對(duì)人理解算法的行為和結(jié)果; 三是算法的公平性和無(wú)偏性, 檢驗(yàn)算法是否對(duì)所有算法相對(duì)人群體一視同仁, 是否存在對(duì)特定群體的不利影響, 如在性別、 種族、 年齡等方面是否存在偏見(jiàn); 四是算法的安全性和隱私保護(hù), 確保算法在處理個(gè)人數(shù)據(jù)時(shí)能夠保護(hù)算法相對(duì)人的隱私, 并且在設(shè)計(jì)上能夠防止惡意攻擊和數(shù)據(jù)泄露; 五是算法的效果和效率, 評(píng)估算法在實(shí)際應(yīng)用中的效果, 如預(yù)測(cè)準(zhǔn)確率、 響應(yīng)時(shí)間等, 以及算法是否高效地使用了資源和數(shù)據(jù)。

    有了輸入數(shù)據(jù)和算法設(shè)計(jì)審計(jì), 為什么還要審計(jì)算法影響呢?主要是因?yàn)樗惴ㄓ袃深?lèi), 一是基于規(guī)則的算法, 二是基于機(jī)器學(xué)習(xí)的算法。對(duì)于前者來(lái)說(shuō), 因?yàn)橐?guī)則已經(jīng)體現(xiàn)在算法設(shè)計(jì)中, 對(duì)算法設(shè)計(jì)進(jìn)行審計(jì)之后, 如果認(rèn)為算法設(shè)計(jì)無(wú)缺陷, 則無(wú)須再審計(jì)算法影響。但是, 對(duì)基于機(jī)器學(xué)習(xí)的算法來(lái)說(shuō), 只有監(jiān)督學(xué)習(xí)狀態(tài)下的算法才在設(shè)計(jì)者的掌控之下, 對(duì)于無(wú)監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)而言, 結(jié)果是無(wú)法預(yù)測(cè)的(鄭戈,2018)。即使算法設(shè)計(jì)審計(jì)未發(fā)現(xiàn)其存在缺陷, 也不能保證算法結(jié)果就不存在負(fù)面影響。因此, 必須對(duì)算法影響單獨(dú)予以審計(jì)或評(píng)估, 對(duì)算法在特定應(yīng)用場(chǎng)景中的表現(xiàn)進(jìn)行審計(jì)或評(píng)估, 以評(píng)價(jià)算法是否對(duì)人們的某些利益或權(quán)利產(chǎn)生負(fù)面影響。通常來(lái)說(shuō), 算法影響審計(jì)的內(nèi)容主要包括以下四個(gè)方面: 一是算法的合規(guī)性, 檢查算法是否符合現(xiàn)行法律法規(guī)的要求, 是否存在違法行為; 二是算法的社會(huì)影響, 分析算法是否對(duì)社會(huì)產(chǎn)生積極或消極的影響, 特別是對(duì)弱勢(shì)群體的影響; 三是算法的透明度和可解釋性, 確保算法的決策過(guò)程是透明的, 用戶(hù)能夠理解算法的邏輯和決策依據(jù); 四是算法的安全性和隱私保護(hù), 確保算法在處理個(gè)人數(shù)據(jù)時(shí)遵守了相關(guān)的隱私保護(hù)規(guī)定, 以保障用戶(hù)的數(shù)據(jù)安全。

    2. 算法監(jiān)管責(zé)任審計(jì)的審計(jì)標(biāo)的。算法監(jiān)管責(zé)任審計(jì)是針對(duì)算法監(jiān)管部門(mén)的監(jiān)督職責(zé)履行情況來(lái)實(shí)施的, 其審計(jì)主題包括算法監(jiān)管信息、 算法監(jiān)管行為和算法監(jiān)管制度。根據(jù)不同的審計(jì)主題, 分解為不同的審計(jì)標(biāo)的。算法監(jiān)管信息是算法監(jiān)管部門(mén)履行其算法監(jiān)管責(zé)任所形成的各種定量信息, 每一個(gè)有獨(dú)立計(jì)算方法的算法監(jiān)管信息都可以成為獨(dú)立的審計(jì)標(biāo)的, 基本類(lèi)似于經(jīng)典意義上的財(cái)務(wù)信息審計(jì)。算法監(jiān)管行為是算法監(jiān)管部門(mén)根據(jù)算法監(jiān)管相關(guān)法律法規(guī)實(shí)際履行的算法監(jiān)管活動(dòng), 每一個(gè)有獨(dú)立規(guī)則的算法監(jiān)管行為都可以成為獨(dú)立的審計(jì)標(biāo)的, 基本類(lèi)似于經(jīng)典意義上的合規(guī)審計(jì)。算法監(jiān)管制度是指算法監(jiān)管部門(mén)為履行其算法監(jiān)管職責(zé), 必須建構(gòu)一些規(guī)章制度, 每一項(xiàng)有獨(dú)立規(guī)范對(duì)象的算法監(jiān)管制度都可以成為獨(dú)立的審計(jì)標(biāo)的, 基本類(lèi)似于經(jīng)典審計(jì)意義上的內(nèi)部控制審計(jì)。

    四、 結(jié)論

    本文聚焦于算法審計(jì)內(nèi)容這個(gè)基礎(chǔ)性問(wèn)題, 以經(jīng)典審計(jì)理論為基礎(chǔ), 提出算法審計(jì)內(nèi)容的一個(gè)理論框架。

    算法委托代理關(guān)系主要包括資源類(lèi)委托代理關(guān)系、 合約類(lèi)委托代理關(guān)系和監(jiān)管類(lèi)委托代理關(guān)系, 只有資源類(lèi)委托代理關(guān)系中存在算法審計(jì)需求, 具體有兩種情形: 一是經(jīng)典意義上的資源類(lèi)委托代理關(guān)系中, 代理人在履行其經(jīng)管責(zé)任時(shí)使用了算法, 產(chǎn)生了算法審計(jì)需求。同時(shí), 代理人作為算法使用者不具備開(kāi)發(fā)和營(yíng)運(yùn)算法的能力時(shí), 要委托專(zhuān)業(yè)機(jī)構(gòu)來(lái)開(kāi)發(fā)和營(yíng)運(yùn)算法, 這些專(zhuān)業(yè)機(jī)構(gòu)也成為延伸的算法審計(jì)客體。二是本級(jí)政府與其設(shè)立的算法監(jiān)管部門(mén)之間的關(guān)系中, 存在以算法監(jiān)管部門(mén)作為算法審計(jì)客體的審計(jì)需求。

    算法審計(jì)對(duì)象是算法責(zé)任履行情況, 不同的審計(jì)客體承擔(dān)的算法責(zé)任不同, 主要包括經(jīng)典意義上的資源類(lèi)委托代理關(guān)系中代理人(算法使用者)的算法全面責(zé)任、 算法開(kāi)發(fā)者的算法開(kāi)發(fā)責(zé)任、 算法營(yíng)運(yùn)者的算法營(yíng)運(yùn)責(zé)任、 算法監(jiān)管者的算法監(jiān)管責(zé)任。

    算法審計(jì)對(duì)象要落實(shí)到算法審計(jì)主題。算法全面責(zé)任、 算法開(kāi)發(fā)責(zé)任、 算法營(yíng)運(yùn)責(zé)任的審計(jì)主題相同, 都是算法系統(tǒng)。算法監(jiān)管責(zé)任的審計(jì)主題包括算法監(jiān)管信息、 算法監(jiān)管行為和算法監(jiān)管制度。

    基于不同的算法審計(jì)主題形成不同類(lèi)型的算法審計(jì)業(yè)務(wù), 基于算法系統(tǒng)這個(gè)審計(jì)主題形成算法系統(tǒng)審計(jì), 基于算法監(jiān)管信息、 算法監(jiān)管行為和算法監(jiān)管制度這些審計(jì)主題, 分別形成算法監(jiān)管信息審計(jì)、 算法監(jiān)管行為審計(jì)和算法監(jiān)管制度審計(jì)。

    算法審計(jì)業(yè)務(wù)實(shí)施中, 必須將各個(gè)審計(jì)業(yè)務(wù)的審計(jì)主題分解為審計(jì)標(biāo)的。算法系統(tǒng)審計(jì)的審計(jì)主題是算法系統(tǒng), 可以分解為輸入數(shù)據(jù)、 算法設(shè)計(jì)和算法影響; 算法監(jiān)管信息審計(jì)的審計(jì)主題是算法監(jiān)管信息, 每一個(gè)有獨(dú)立計(jì)算方法的監(jiān)管信息都可以成為獨(dú)立的審計(jì)標(biāo)的; 算法監(jiān)管行為審計(jì)的審計(jì)主題是算法監(jiān)管行為, 每一個(gè)有獨(dú)立規(guī)則的算法監(jiān)管行為都可以成為獨(dú)立的審計(jì)標(biāo)的; 算法監(jiān)管制度審計(jì)的審計(jì)主題是算法監(jiān)管制度, 每一項(xiàng)有獨(dú)立規(guī)范對(duì)象的算法監(jiān)管制度都可以成為獨(dú)立的審計(jì)標(biāo)的。

    【 主 要 參 考 文 獻(xiàn) 】

    付冉冉.大數(shù)據(jù)時(shí)代算法審計(jì)構(gòu)想[ J].網(wǎng)絡(luò)安全與數(shù)據(jù)治理,2023(2):48 ~ 52.

    胡堅(jiān)波.多措并舉推進(jìn)我國(guó)算法治理[ J].人民論壇·學(xué)術(shù)前沿,2022(10):20 ~ 28.

    劉建業(yè).論我國(guó)算法審計(jì)的法治化建構(gòu)[ J].河南財(cái)經(jīng)政法大學(xué)學(xué)報(bào),2023(3):14 ~ 23.

    沈艷.推行算法審計(jì)大有可為[EB/OL].https://www.sohu.com/a/573683189_120913760?scm=1005.1002.0.0.0,2022-08-02.

    史普潤(rùn),劉曉紅,賈軍.?dāng)?shù)字經(jīng)濟(jì)時(shí)代平臺(tái)型企業(yè)非價(jià)格競(jìng)爭(zhēng)存在的問(wèn)題及對(duì)策優(yōu)化研究——基于算法審計(jì)的視角[ J].商展經(jīng)濟(jì),2023(24):89 ~ 92.

    王玉鳳.模型算法審計(jì):理論內(nèi)涵、國(guó)際經(jīng)驗(yàn)與審計(jì)框架[ J].審計(jì)研究,2023(3):11 ~ 18.

    張永忠,張寶山.算法規(guī)制的路徑創(chuàng)新:論我國(guó)算法審計(jì)制度的構(gòu)建[ J].電子政務(wù),2022(10):48 ~ 61.

    鄭戈.算法的法律與法律的算法[ J].中國(guó)法律評(píng)論,2018(2):66 ~ 85.

    鄭石橋.審計(jì)基礎(chǔ)理論[M].北京:中國(guó)人民大學(xué)出版社,2021.

    鄭石橋.算法審計(jì)需求論[ J].財(cái)會(huì)月刊,2024(16):77 ~ 82.

    Beckstrom J. R.. Auditing machine learning algorithms:A white paper for public auditors[EB/OL].http://intosaijournal.org/auditing-machine-learning-algorithms/,2022-06-20.

    DRCF. Auditing algorithms: The existing role of regulators and future outlook[EB/OL].https://www.gov.uk/government/publications/findings-from-the-drcf-algorithmic-processing-workstream-spring-2022,2022-09-23.

    (責(zé)任編輯·校對(duì): 黃艷晶" 許春玲)

    DOI:10.19641/j.cnki.42-1290/f.2024.18.013

    【基金項(xiàng)目】國(guó)家社會(huì)科學(xué)基金重大項(xiàng)目“百年審計(jì)理論創(chuàng)新研究”(項(xiàng)目編號(hào):21amp;ZD027)

    一级黄片播放器| 国产免费福利视频在线观看| 免费观看a级毛片全部| 国产国拍精品亚洲av在线观看| 卡戴珊不雅视频在线播放| 秋霞在线观看毛片| 免费av观看视频| 在线看a的网站| 成人国产麻豆网| 美女xxoo啪啪120秒动态图| 国产淫片久久久久久久久| 国产乱人偷精品视频| 国产一区二区三区综合在线观看 | 亚洲一区二区三区欧美精品 | 国产精品国产av在线观看| h日本视频在线播放| 深夜a级毛片| 亚洲精品国产成人久久av| 老司机影院成人| 亚洲图色成人| 欧美最新免费一区二区三区| 最新中文字幕久久久久| 卡戴珊不雅视频在线播放| 国产精品久久久久久久久免| 久久鲁丝午夜福利片| 国产亚洲5aaaaa淫片| 麻豆国产97在线/欧美| 高清欧美精品videossex| 别揉我奶头 嗯啊视频| 国产成人freesex在线| 蜜臀久久99精品久久宅男| 麻豆国产97在线/欧美| 老司机影院成人| 一级爰片在线观看| 两个人的视频大全免费| 欧美另类一区| 人妻系列 视频| av专区在线播放| 身体一侧抽搐| 有码 亚洲区| 男人和女人高潮做爰伦理| 国产日韩欧美亚洲二区| 肉色欧美久久久久久久蜜桃 | 秋霞伦理黄片| 午夜福利在线在线| 亚洲精品国产色婷婷电影| 下体分泌物呈黄色| 日韩欧美一区视频在线观看 | 在线a可以看的网站| 久久精品久久久久久噜噜老黄| 青青草视频在线视频观看| 少妇 在线观看| 久久久精品免费免费高清| 1000部很黄的大片| 日本猛色少妇xxxxx猛交久久| 毛片女人毛片| 成人一区二区视频在线观看| 免费高清在线观看视频在线观看| 国产综合精华液| 麻豆精品久久久久久蜜桃| a级一级毛片免费在线观看| 国产精品久久久久久久电影| 自拍欧美九色日韩亚洲蝌蚪91 | 国产精品久久久久久av不卡| 亚洲美女搞黄在线观看| 九草在线视频观看| av免费观看日本| 国产91av在线免费观看| 久久99热6这里只有精品| 成人鲁丝片一二三区免费| 青春草国产在线视频| 国产视频内射| 国产精品嫩草影院av在线观看| 最近的中文字幕免费完整| 一个人看的www免费观看视频| 免费大片黄手机在线观看| 欧美高清成人免费视频www| 久久久精品免费免费高清| 人妻 亚洲 视频| 91狼人影院| 免费人成在线观看视频色| 国产一区二区三区综合在线观看 | 国产中年淑女户外野战色| 久久精品国产亚洲网站| 日韩亚洲欧美综合| 成人鲁丝片一二三区免费| 国产在线一区二区三区精| 成人午夜精彩视频在线观看| 日韩国内少妇激情av| 身体一侧抽搐| 日日撸夜夜添| 卡戴珊不雅视频在线播放| 成年人午夜在线观看视频| 国产大屁股一区二区在线视频| 国产老妇女一区| 国产精品一及| 亚洲欧美一区二区三区国产| 伊人久久精品亚洲午夜| 国产精品久久久久久精品电影| 一区二区三区乱码不卡18| 在线观看人妻少妇| 成人毛片a级毛片在线播放| 国产av不卡久久| 好男人视频免费观看在线| 久久久a久久爽久久v久久| 肉色欧美久久久久久久蜜桃 | 精品少妇黑人巨大在线播放| 国产成人91sexporn| 一级毛片我不卡| videos熟女内射| 熟女电影av网| 91久久精品国产一区二区三区| 熟女人妻精品中文字幕| 国产成人freesex在线| 亚洲美女视频黄频| 亚洲成人久久爱视频| 色5月婷婷丁香| av免费观看日本| 好男人视频免费观看在线| 国产成人精品一,二区| 日韩欧美 国产精品| av一本久久久久| 性色av一级| 不卡视频在线观看欧美| 99久久精品热视频| 老司机影院成人| 亚洲精华国产精华液的使用体验| 免费播放大片免费观看视频在线观看| 国产精品嫩草影院av在线观看| 人妻 亚洲 视频| 深夜a级毛片| 久久午夜福利片| 观看免费一级毛片| 国产精品偷伦视频观看了| 国精品久久久久久国模美| 中文字幕免费在线视频6| 欧美最新免费一区二区三区| 又粗又硬又长又爽又黄的视频| 精品人妻熟女av久视频| 国产毛片a区久久久久| 国产伦精品一区二区三区视频9| 国产亚洲精品久久久com| 联通29元200g的流量卡| 免费看a级黄色片| 舔av片在线| 女人被狂操c到高潮| 色综合色国产| 久久久久久国产a免费观看| 韩国高清视频一区二区三区| 肉色欧美久久久久久久蜜桃 | 看十八女毛片水多多多| 国产精品三级大全| 啦啦啦啦在线视频资源| 成年版毛片免费区| 激情五月婷婷亚洲| 国产欧美日韩一区二区三区在线 | 一级黄片播放器| www.av在线官网国产| 国产精品av视频在线免费观看| 18禁裸乳无遮挡免费网站照片| 天堂网av新在线| 午夜福利高清视频| 女人十人毛片免费观看3o分钟| av在线老鸭窝| 日韩中字成人| 简卡轻食公司| 亚洲av二区三区四区| 精品午夜福利在线看| 韩国av在线不卡| 九草在线视频观看| 一本色道久久久久久精品综合| 国产美女午夜福利| 97超碰精品成人国产| 精华霜和精华液先用哪个| 高清欧美精品videossex| 日韩电影二区| 看十八女毛片水多多多| av又黄又爽大尺度在线免费看| 国产成人免费无遮挡视频| 中文字幕制服av| 亚洲国产高清在线一区二区三| 亚洲伊人久久精品综合| 少妇熟女欧美另类| 91精品一卡2卡3卡4卡| 久久精品久久久久久噜噜老黄| 欧美激情在线99| 嘟嘟电影网在线观看| 美女脱内裤让男人舔精品视频| 国产精品人妻久久久影院| 麻豆乱淫一区二区| 网址你懂的国产日韩在线| 免费观看的影片在线观看| 国产欧美日韩一区二区三区在线 | 午夜亚洲福利在线播放| 国产精品伦人一区二区| 黄色日韩在线| 18禁在线播放成人免费| 国产91av在线免费观看| 男人舔奶头视频| 18禁在线播放成人免费| 大又大粗又爽又黄少妇毛片口| 久久久久久九九精品二区国产| 校园人妻丝袜中文字幕| 久久精品国产a三级三级三级| 精品熟女少妇av免费看| 一边亲一边摸免费视频| 国产亚洲一区二区精品| 人体艺术视频欧美日本| 一级a做视频免费观看| 久热久热在线精品观看| 免费观看在线日韩| av在线天堂中文字幕| 婷婷色av中文字幕| 岛国毛片在线播放| 欧美一区二区亚洲| 新久久久久国产一级毛片| 亚洲精品亚洲一区二区| 男男h啪啪无遮挡| 国产欧美日韩精品一区二区| 精品国产乱码久久久久久小说| 亚洲最大成人手机在线| av在线亚洲专区| 免费播放大片免费观看视频在线观看| 亚洲精品成人av观看孕妇| 特级一级黄色大片| 精品久久久久久久久av| 亚洲av不卡在线观看| 国产男女超爽视频在线观看| 欧美另类一区| 在线亚洲精品国产二区图片欧美 | 偷拍熟女少妇极品色| 丝袜喷水一区| 亚洲精品乱码久久久久久按摩| 久久韩国三级中文字幕| 成年女人在线观看亚洲视频 | 极品教师在线视频| 黄色日韩在线| 女人十人毛片免费观看3o分钟| 国产探花在线观看一区二区| 国产精品国产三级国产av玫瑰| 国产亚洲一区二区精品| 国产午夜福利久久久久久| 午夜亚洲福利在线播放| 午夜精品一区二区三区免费看| 成人毛片a级毛片在线播放| 大片免费播放器 马上看| av在线老鸭窝| 国产成人91sexporn| 亚洲成人久久爱视频| av天堂中文字幕网| 免费大片18禁| av线在线观看网站| 日本午夜av视频| videossex国产| 欧美+日韩+精品| 最近最新中文字幕免费大全7| 国产亚洲一区二区精品| 成人亚洲欧美一区二区av| 青春草亚洲视频在线观看| 中文字幕亚洲精品专区| 国产成人精品久久久久久| 国产成人免费无遮挡视频| 成人美女网站在线观看视频| 亚洲av男天堂| 色视频www国产| 女人久久www免费人成看片| 欧美少妇被猛烈插入视频| 成人二区视频| 免费高清在线观看视频在线观看| 午夜福利视频1000在线观看| 精品国产一区二区三区久久久樱花 | 丝袜美腿在线中文| 成人二区视频| 国内精品美女久久久久久| 女人十人毛片免费观看3o分钟| 99热这里只有是精品50| 久久久成人免费电影| 乱系列少妇在线播放| 人妻一区二区av| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 欧美97在线视频| 又大又黄又爽视频免费| 麻豆乱淫一区二区| 91午夜精品亚洲一区二区三区| 国产黄片视频在线免费观看| 午夜免费男女啪啪视频观看| 亚洲国产精品专区欧美| 蜜桃久久精品国产亚洲av| 天天躁夜夜躁狠狠久久av| 观看美女的网站| 欧美潮喷喷水| 亚洲怡红院男人天堂| 美女高潮的动态| 熟女电影av网| 卡戴珊不雅视频在线播放| 99久久精品一区二区三区| 国产精品无大码| 99久久精品国产国产毛片| 欧美高清成人免费视频www| 高清av免费在线| 国产精品伦人一区二区| 少妇人妻一区二区三区视频| 国产成人aa在线观看| 肉色欧美久久久久久久蜜桃 | 看免费成人av毛片| 亚洲精品自拍成人| 久久女婷五月综合色啪小说 | 国产精品精品国产色婷婷| 男女边吃奶边做爰视频| 亚洲色图综合在线观看| 大片免费播放器 马上看| 毛片女人毛片| 秋霞在线观看毛片| 波多野结衣巨乳人妻| 国产免费一级a男人的天堂| 26uuu在线亚洲综合色| 搡老乐熟女国产| 欧美xxxx性猛交bbbb| 国产又色又爽无遮挡免| 99视频精品全部免费 在线| www.色视频.com| 亚洲精品影视一区二区三区av| 国产日韩欧美亚洲二区| 久久女婷五月综合色啪小说 | 久久久久久久久大av| 国产精品久久久久久av不卡| 99热这里只有是精品50| 亚洲av电影在线观看一区二区三区 | 麻豆乱淫一区二区| 国产老妇女一区| 久久综合国产亚洲精品| 国产大屁股一区二区在线视频| 午夜福利在线观看免费完整高清在| 亚洲综合色惰| 毛片女人毛片| 老师上课跳d突然被开到最大视频| 岛国毛片在线播放| 国产亚洲5aaaaa淫片| 亚洲欧洲日产国产| 最后的刺客免费高清国语| 99热这里只有是精品在线观看| 免费av观看视频| 亚洲自拍偷在线| 青青草视频在线视频观看| 少妇熟女欧美另类| 九草在线视频观看| 五月伊人婷婷丁香| 午夜免费鲁丝| 中文字幕人妻熟人妻熟丝袜美| 黄色一级大片看看| 日韩伦理黄色片| 国模一区二区三区四区视频| 精品久久久久久久人妻蜜臀av| 边亲边吃奶的免费视频| 国产成人福利小说| 国产爽快片一区二区三区| 久久鲁丝午夜福利片| 视频区图区小说| 国产中年淑女户外野战色| 久久久久国产网址| 午夜亚洲福利在线播放| 国产伦在线观看视频一区| xxx大片免费视频| 在线观看一区二区三区激情| 亚洲美女视频黄频| 高清在线视频一区二区三区| 日韩伦理黄色片| 国产91av在线免费观看| 欧美最新免费一区二区三区| 亚洲自偷自拍三级| 午夜爱爱视频在线播放| 日韩一区二区视频免费看| 亚洲国产日韩一区二区| 午夜福利在线观看免费完整高清在| 97人妻精品一区二区三区麻豆| 偷拍熟女少妇极品色| 狂野欧美白嫩少妇大欣赏| 国产伦精品一区二区三区四那| 亚洲欧美精品专区久久| 亚洲,一卡二卡三卡| 欧美高清性xxxxhd video| 精品人妻偷拍中文字幕| 狂野欧美激情性xxxx在线观看| 免费看日本二区| 中文天堂在线官网| 久久人人爽av亚洲精品天堂 | av卡一久久| 最近最新中文字幕大全电影3| 91aial.com中文字幕在线观看| 啦啦啦中文免费视频观看日本| 美女视频免费永久观看网站| 交换朋友夫妻互换小说| 国产精品爽爽va在线观看网站| 热re99久久精品国产66热6| 国产高潮美女av| 亚洲av一区综合| 男女那种视频在线观看| 国产 一区精品| 国产精品久久久久久av不卡| 真实男女啪啪啪动态图| tube8黄色片| 国产成人精品一,二区| freevideosex欧美| 国精品久久久久久国模美| 狠狠精品人妻久久久久久综合| 交换朋友夫妻互换小说| 亚洲欧洲国产日韩| 亚洲天堂av无毛| 免费观看的影片在线观看| 国产精品一区二区三区四区免费观看| 久久久成人免费电影| 97精品久久久久久久久久精品| 大陆偷拍与自拍| 免费电影在线观看免费观看| 亚洲四区av| 99久久人妻综合| 欧美日韩在线观看h| av卡一久久| 大又大粗又爽又黄少妇毛片口| 日本wwww免费看| 精品人妻熟女av久视频| 欧美日韩一区二区视频在线观看视频在线 | 91狼人影院| 亚洲内射少妇av| 国产v大片淫在线免费观看| 九九在线视频观看精品| 午夜激情久久久久久久| 一级av片app| 亚洲成色77777| 国产黄片视频在线免费观看| 国产一区有黄有色的免费视频| 亚洲精品亚洲一区二区| 在现免费观看毛片| 搞女人的毛片| 亚洲欧洲国产日韩| 国产一级毛片在线| 欧美日韩一区二区视频在线观看视频在线 | 97人妻精品一区二区三区麻豆| 最近的中文字幕免费完整| 女人久久www免费人成看片| 国产一区亚洲一区在线观看| 亚洲不卡免费看| 边亲边吃奶的免费视频| av在线播放精品| 乱码一卡2卡4卡精品| av在线app专区| .国产精品久久| 一级a做视频免费观看| 亚洲人成网站在线播| 日韩成人伦理影院| 免费看a级黄色片| 嫩草影院新地址| 国产综合懂色| 一级毛片黄色毛片免费观看视频| 777米奇影视久久| 国产人妻一区二区三区在| 97在线人人人人妻| 亚洲成人精品中文字幕电影| 少妇丰满av| 日本爱情动作片www.在线观看| 高清在线视频一区二区三区| 国产乱人视频| 麻豆成人午夜福利视频| 精品少妇黑人巨大在线播放| 免费电影在线观看免费观看| 亚洲色图av天堂| 三级国产精品欧美在线观看| 欧美xxⅹ黑人| 深夜a级毛片| 精品久久久精品久久久| 中文字幕久久专区| 大陆偷拍与自拍| 国产免费视频播放在线视频| 一级毛片aaaaaa免费看小| 看非洲黑人一级黄片| 99热全是精品| 亚洲av二区三区四区| 午夜激情久久久久久久| 啦啦啦啦在线视频资源| 交换朋友夫妻互换小说| 91在线精品国自产拍蜜月| 亚洲av在线观看美女高潮| 蜜臀久久99精品久久宅男| 一区二区三区免费毛片| 精品一区二区三卡| 成人国产av品久久久| 午夜激情久久久久久久| 女的被弄到高潮叫床怎么办| 日韩欧美 国产精品| 美女cb高潮喷水在线观看| 搞女人的毛片| 日韩av免费高清视频| 精品一区二区三卡| 看非洲黑人一级黄片| 国产中年淑女户外野战色| 亚洲精品自拍成人| 毛片女人毛片| 制服丝袜香蕉在线| 久久精品久久精品一区二区三区| 18+在线观看网站| 亚洲国产精品成人综合色| 国产欧美亚洲国产| 男人爽女人下面视频在线观看| 国产女主播在线喷水免费视频网站| 超碰97精品在线观看| 日韩av在线免费看完整版不卡| 久久精品夜色国产| 日本黄大片高清| 久久国内精品自在自线图片| 中文资源天堂在线| 狂野欧美激情性xxxx在线观看| 中文字幕亚洲精品专区| 国产伦在线观看视频一区| 日日撸夜夜添| 日韩一区二区三区影片| 国产乱人视频| 国模一区二区三区四区视频| 熟女av电影| 亚洲内射少妇av| 狠狠精品人妻久久久久久综合| 在线观看av片永久免费下载| 国产精品一区www在线观看| 久久鲁丝午夜福利片| 免费电影在线观看免费观看| 国产 一区 欧美 日韩| 国产一区二区在线观看日韩| 亚洲精品国产av蜜桃| 蜜臀久久99精品久久宅男| 久久久久九九精品影院| 免费观看av网站的网址| 91精品伊人久久大香线蕉| 人妻制服诱惑在线中文字幕| a级毛片免费高清观看在线播放| 丝袜喷水一区| 亚洲国产欧美在线一区| 欧美成人午夜免费资源| 亚洲综合色惰| 女的被弄到高潮叫床怎么办| 午夜福利网站1000一区二区三区| 大片免费播放器 马上看| 亚洲欧美成人精品一区二区| 又大又黄又爽视频免费| 日本欧美国产在线视频| 中国美白少妇内射xxxbb| 国产成年人精品一区二区| av在线app专区| 国产黄频视频在线观看| 国产精品久久久久久精品电影小说 | xxx大片免费视频| 欧美成人午夜免费资源| 亚洲欧美精品专区久久| 香蕉精品网在线| av播播在线观看一区| 超碰97精品在线观看| 亚洲精品自拍成人| 在线免费十八禁| 亚洲激情五月婷婷啪啪| 在现免费观看毛片| 久久久久久九九精品二区国产| 亚洲国产最新在线播放| 国产又色又爽无遮挡免| 色视频在线一区二区三区| 国产在线男女| 国产精品爽爽va在线观看网站| 亚洲三级黄色毛片| 欧美日韩在线观看h| 国产精品久久久久久久久免| 日韩伦理黄色片| 国产午夜精品一二区理论片| 黄色怎么调成土黄色| 国产高潮美女av| 久久久久性生活片| 亚洲av免费在线观看| 新久久久久国产一级毛片| 欧美国产精品一级二级三级 | 久久人人爽人人片av| 七月丁香在线播放| 精品久久久久久久人妻蜜臀av| 欧美性感艳星| a级一级毛片免费在线观看| 亚洲欧洲日产国产| 国产亚洲av片在线观看秒播厂| 亚洲精品日韩av片在线观看| 美女视频免费永久观看网站| 久久久亚洲精品成人影院| 亚洲四区av| 精品熟女少妇av免费看| 六月丁香七月| 成人一区二区视频在线观看| 国产国拍精品亚洲av在线观看| 国产91av在线免费观看| 国产精品福利在线免费观看| 特大巨黑吊av在线直播| 一区二区三区精品91| 欧美极品一区二区三区四区| 日本色播在线视频| 最近的中文字幕免费完整| 少妇人妻一区二区三区视频| 热re99久久精品国产66热6| 日韩不卡一区二区三区视频在线| 蜜桃亚洲精品一区二区三区| 亚洲av国产av综合av卡| 特大巨黑吊av在线直播| 国产一区二区三区av在线| 99久久人妻综合| 久久久久精品久久久久真实原创| 欧美成人精品欧美一级黄| 麻豆久久精品国产亚洲av| 国产成人免费无遮挡视频| 午夜福利在线观看免费完整高清在| 日韩欧美精品免费久久| 久久久久久九九精品二区国产| 最近2019中文字幕mv第一页| 日韩中字成人| 亚洲综合精品二区|