• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    揭開“算法的面紗”:關(guān)于構(gòu)建算法解釋框架的思考

    2023-11-16 10:49:34
    關(guān)鍵詞:解釋性決策算法

    劉 燁

    (同濟(jì)大學(xué) 法學(xué)院,上海 200092)

    0 引言

    在人工智能領(lǐng)域,算法得以持續(xù)運(yùn)作、生成決策的前提在于算法可解釋??山忉屝允潜U纤惴杀恍刨嚨陌踩卣?,連通著算法自動(dòng)化決策與法律規(guī)制。近年來(lái),算法模型復(fù)雜度的大幅提升,算法使用者與決策最終受眾之間的“解釋鴻溝”也隨之?dāng)U大。而就算法這種尚未能夠?yàn)槿藗兯浞掷斫馀c把握的事物而言,出于對(duì)法律規(guī)范的可預(yù)測(cè)性和可接受性的考量,立法者需要謹(jǐn)慎考慮是否作出法律上的要求或安排。因此,如何有效解釋算法,成為解決治理問(wèn)題的重要環(huán)節(jié)。

    在如何更好地解釋算法本身及其自動(dòng)化決策,尤其在如何讓用戶有效理解算法的基本原理和運(yùn)行機(jī)制方面仍待進(jìn)一步完善?;诖耍疚脑噲D以“場(chǎng)景化分析”為切入口,梳理算法可解釋性在算法治理中的現(xiàn)實(shí)困境,思考在具體場(chǎng)景之下的優(yōu)化方案。

    1 “可解釋性”的提出

    關(guān)于算法“可解釋性”的準(zhǔn)確內(nèi)涵,迄今人們尚未達(dá)成統(tǒng)一認(rèn)識(shí),一度產(chǎn)生“可解釋性”(Explainability)和“可詮釋性”(Interpretability)混用的局面。學(xué)界主流觀點(diǎn)分析認(rèn)為,“可詮釋性”被定義為解釋能力,即算法供以可理解的術(shù)語(yǔ)向人類闡釋其決策意義的能力;而 “可解釋性”重在對(duì)“解釋”概念的理解,“解釋”作為人類和算法之間的一個(gè)連接點(diǎn),既是對(duì)算法決策的準(zhǔn)確概述,同時(shí)又能夠?yàn)槿祟愃斫?comprehensible)[1-2]。本文重點(diǎn)圍繞“可解釋性”展開討論。

    在“可解釋性”的法律規(guī)制上,當(dāng)前立法尚處在初步探索階段,立法者通常以算法使用者的解釋義務(wù)或其他任意性規(guī)定來(lái)解決算法不可解釋的問(wèn)題。《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》第12條鼓勵(lì)算法推薦服務(wù)提供者優(yōu)化算法規(guī)則的透明度和可解釋性,避免對(duì)用戶產(chǎn)生不良影響,預(yù)防和減少爭(zhēng)議糾紛,然未創(chuàng)設(shè)法定義務(wù)?!督咕W(wǎng)絡(luò)不正當(dāng)競(jìng)爭(zhēng)行為規(guī)定(公開征求意見稿)》第13條更是明確禁止經(jīng)營(yíng)者利用算法“影響用戶選擇”,而 “影響”概念之寬泛與模糊,經(jīng)營(yíng)者即使履行其充分解釋義務(wù),還是可能被錯(cuò)誤認(rèn)定為侵犯用戶依據(jù)主觀意愿自主選擇商品的權(quán)利。因此,是否履行充分解釋義務(wù)的認(rèn)定標(biāo)準(zhǔn)尚需厘定。比較法層面,歐盟在《人工智能道德準(zhǔn)則》(AI Ethics Guidelines)構(gòu)建的實(shí)現(xiàn)可信賴人工智能全生命周期框架中提出發(fā)展“可信賴 AI” (Trustworthy AI)在可解釋方面的要求,還在《關(guān)于人工智能道德原則的立法倡議》(Framework of ethical aspects of artificial intelligence,robotics and related technologies)中明確要求算法應(yīng)當(dāng)具有“可解釋性、可詮釋性、透明度和可識(shí)別性等安全特征”,以確保算法決策安全且可以為人類所信賴。

    以上規(guī)定均未明確義務(wù)履行內(nèi)容以及相關(guān)主體不作解釋或者解釋不全面、不充分、不真實(shí)的法律后果及責(zé)任。對(duì)此,立法也在試圖回應(yīng)。美國(guó)《過(guò)濾氣泡透明度法案》(Filter Bubble Transparency Act)規(guī)定:數(shù)字科技企業(yè)應(yīng)當(dāng)允許用戶訪問(wèn)其不受算法影響的平臺(tái)版本,換言之,讓用戶有權(quán)選擇打開或者關(guān)閉被算法秘密操縱的功能,從而揭開“無(wú)知之幕”。我國(guó)《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》第8條明確要求“算法推薦服務(wù)提供者應(yīng)當(dāng)定期審核、評(píng)估、驗(yàn)證算法機(jī)理、模型、數(shù)據(jù)和應(yīng)用結(jié)果”。近期公布的《生成式人工智能服務(wù)管理暫行辦法》第7條也進(jìn)一步規(guī)定了算法服務(wù)提供者的法律責(zé)任。問(wèn)責(zé)的核心在于解釋與溝通。至此,唯有先反思算法解釋困境的形成原因,才能突破自動(dòng)化決策的局限性,明晰相關(guān)主體的法律責(zé)任。

    2 算法解釋困境的原因探求

    如今的算法決策依賴的不單是對(duì)規(guī)則的簡(jiǎn)單推理,而是算法模型通過(guò)深度學(xué)習(xí)訓(xùn)練而產(chǎn)生近乎人類直覺(jué)的智能[3]。而一個(gè)真正達(dá)到人類水平的算法難免會(huì)面臨更多且更進(jìn)階的問(wèn)題。正如人類直覺(jué)往往難以言表,算法決策常常令人捉摸不透。從算法運(yùn)行起始的數(shù)據(jù)識(shí)別、決策形成過(guò)程中依據(jù)的缺失到事后決策應(yīng)用的慣性,無(wú)不存在算法不透明的風(fēng)險(xiǎn)。

    2.1 決策依據(jù):數(shù)據(jù)識(shí)別的失衡

    算法模型運(yùn)作程序的在先步驟是數(shù)據(jù)識(shí)別。算法模型首先需要自動(dòng)識(shí)別數(shù)據(jù),搭建數(shù)據(jù)庫(kù),然后根據(jù)預(yù)先設(shè)定的參數(shù),就數(shù)據(jù)庫(kù)中的信息進(jìn)行判斷,最終作出決策。算法并非萬(wàn)能,而是有其局限性,其對(duì)數(shù)據(jù)質(zhì)量有著高度的依賴性,數(shù)據(jù)本身一旦出現(xiàn)問(wèn)題,意味著決策結(jié)果有所偏頗。而數(shù)據(jù)本身包含各種復(fù)雜性因素,隱含著社會(huì)偏見、現(xiàn)實(shí)狀況、民眾心理等事實(shí),看似合理的數(shù)據(jù)疊加,也并不排除“算法失準(zhǔn)”的存在可能,因?yàn)槟壳八惴ㄉ胁痪邆洹皵?shù)據(jù)修正”的功能特性。因此,不排除算法的運(yùn)行會(huì)重演甚至強(qiáng)化這些“數(shù)據(jù)鴻溝”,同時(shí)造成決策失衡。在美國(guó),一些警務(wù)預(yù)測(cè)系統(tǒng)基于數(shù)據(jù)分析結(jié)果,高頻次向相關(guān)部門建議往少數(shù)族裔聚居的社區(qū)增派警力;執(zhí)法部門還基于面部識(shí)別技術(shù)構(gòu)建算法模型來(lái)預(yù)測(cè)警務(wù),結(jié)果由于犯罪數(shù)據(jù)庫(kù)本身不完整,存在缺漏,致使算法決策放大了對(duì)非裔美國(guó)人的固有偏見,而算法關(guān)聯(lián)進(jìn)而影響保險(xiǎn)公司的評(píng)估決策,致使針對(duì)非裔美國(guó)人的保險(xiǎn)費(fèi)率存在價(jià)格歧視,這明顯違反了平等保護(hù)原則??梢姡芏嗨惴P椭猿霈F(xiàn)決策偏差,問(wèn)題出在推演數(shù)據(jù)本身的不完善,進(jìn)而產(chǎn)生差異性結(jié)果的質(zhì)疑和挑戰(zhàn)。

    2.2 決策形成:證明依據(jù)的不足

    一個(gè)決定的作出需要有依據(jù)和論證,包括理論和實(shí)踐經(jīng)驗(yàn)的支撐。受害方若要主張行為人構(gòu)成侵權(quán),須提供證據(jù)證明,且達(dá)到證明標(biāo)準(zhǔn),法院方才可能支持其訴求。但在算法自動(dòng)化決策場(chǎng)景下,目前缺乏明顯的證據(jù)理論來(lái)解釋和論證算法決策行為的合理性[4]。對(duì)于搜索結(jié)果排序,百度公司特別建立了一套復(fù)雜的動(dòng)態(tài)算法,不斷自檢產(chǎn)品算法并進(jìn)行技術(shù)迭代,但搜索結(jié)果排序所依據(jù)的參考因素包括網(wǎng)站的質(zhì)量、網(wǎng)站的瀏覽量、網(wǎng)站擁有的友鏈數(shù)量、網(wǎng)站內(nèi)容是否屬于專一領(lǐng)域等能否均作為決策形成的有效依據(jù)有待考量。算法失誤往往隱秘而隨機(jī),即便是專業(yè)人士亦難以保證及時(shí)發(fā)現(xiàn)算法失誤并修正。而且這些算法漏洞往往還被第三方不當(dāng)利用。換言之,針對(duì)算法決策、行為及最終結(jié)論,目前缺乏專門的理由或證據(jù)來(lái)完整有效地解釋,“算法直覺(jué)”更無(wú)法作為支撐其決策的理由,因?yàn)樗惴ú](méi)有人類的“關(guān)聯(lián)感”。

    2.3 決策應(yīng)用:損害結(jié)果的泛化

    從風(fēng)險(xiǎn)預(yù)測(cè)、貸款評(píng)估到醫(yī)療診斷、司法審判,多種事項(xiàng)都成為算法決策應(yīng)用的對(duì)象。相對(duì)于人的主觀決策,算法的自動(dòng)化決策具有相對(duì)客觀、公正、高效等特點(diǎn)[5]。但需要警覺(jué)的是,每一項(xiàng)技術(shù)自有其“陰暗的背面”。帶有缺陷的算法模型一旦被泛化使用,給社會(huì)公眾帶來(lái)的危害不容小覷。比如,澳大利亞實(shí)行的“機(jī)器債” 計(jì)劃(Robodebt)中,自動(dòng)追債系統(tǒng)通過(guò)數(shù)據(jù)匹配算法,旨在幫助政府追蹤社會(huì)福利欺詐者。但該系統(tǒng)自動(dòng)生成的債務(wù)賬單中20%都是基于錯(cuò)誤信息。盡管事后查明,該算法基于稅務(wù)局(ATO)的年度收入數(shù)據(jù)與澳洲福利局(Centrelink)發(fā)放的福利補(bǔ)助進(jìn)行交叉比對(duì),是不充分的,存在系統(tǒng)性缺陷,但這些系統(tǒng)性缺陷和計(jì)算錯(cuò)誤最終導(dǎo)致2 030人在收到自動(dòng)債務(wù)賬單后由于心理健康壓力而選擇自殺[6]。而這絕非個(gè)例。遺憾的是,對(duì)于這些“糟糕決定”的成因,目前尚且沒(méi)有研發(fā)出一種完美的理論框架用來(lái)解釋,更不必說(shuō)快速糾正錯(cuò)誤。因此,實(shí)踐中,當(dāng)算法一開始出現(xiàn)偏差時(shí),即使初始結(jié)果的用戶發(fā)現(xiàn)并及時(shí)反饋,由于決策涉及的海量?jī)?nèi)容信息,往往也難以迅速被修正,因此造成登記信息錯(cuò)誤、駕駛執(zhí)照被吊銷、用人單位解雇等不同程度上的消極后果。

    3 體系思維在算法解釋中的價(jià)值

    由于實(shí)踐中尚未形成統(tǒng)一規(guī)范和評(píng)價(jià)標(biāo)準(zhǔn),解釋主體作出的回應(yīng)與用戶的解釋需求之間存在偏差,其解釋內(nèi)容的完整度、有效性仍待提升,因而需要以體系思維完善算法可解釋性,將算法解釋的對(duì)象、方法、標(biāo)準(zhǔn)整合到算法解釋體系之中。

    3.1 解釋需求的差異

    現(xiàn)今,人工智能通過(guò)深度學(xué)習(xí)和算法訓(xùn)練提高了表示能力,但與此同時(shí)算法模型的復(fù)雜度也在不斷加碼,即使作為專業(yè)人士的研發(fā)者、使用者得以破解,但承受算法決策結(jié)果的用戶往往“一臉茫然”。另一方面,不同領(lǐng)域的用戶基于不同的分析視角,對(duì)算法決策的解讀各有側(cè)重,由此產(chǎn)生在解釋內(nèi)容方面的需求差異。技術(shù)工作者往往關(guān)注不同的深度神經(jīng)網(wǎng)絡(luò)的解釋理論和方法;信息工程研究者著眼于提供可解釋的深度模型內(nèi)容以及預(yù)測(cè)結(jié)果的決策依據(jù)[7];生物學(xué)家則傾向于為生物體的不同內(nèi)部結(jié)構(gòu)構(gòu)建算法模型,以解讀不同種類的動(dòng)物行為、身體的發(fā)育、生物進(jìn)化和生命的本質(zhì)[3]。而從法教義學(xué)視角,算法決策的公平性是重點(diǎn),可解釋的算法模型則是保證決策公平性必不可少的一部分。近年來(lái),將公平性納入決策受到極大的關(guān)注。因此,在解決“算法黑箱”問(wèn)題過(guò)程中,首先需要明確“對(duì)誰(shuí)解釋”,即目標(biāo)對(duì)象的劃分與選擇,然后才是“怎么解釋”,即解釋方法與解釋標(biāo)準(zhǔn)。

    3.2 各種解釋方法之間缺乏統(tǒng)一評(píng)估指標(biāo)

    面對(duì)一個(gè)亟待被解釋的算法決策,存在哪些解釋方法可供選擇、何種解釋方法更能深入解釋問(wèn)題本質(zhì)以及不同解釋方法的同時(shí)適用會(huì)否導(dǎo)致結(jié)論不同甚至觀點(diǎn)沖突,這都需要根據(jù)具體場(chǎng)域進(jìn)行判斷。但就各種解釋方法的評(píng)判、取舍,由于解釋方法的邏輯原理、解釋范疇的差異性,難以達(dá)成評(píng)估指標(biāo)的統(tǒng)一。問(wèn)題的關(guān)鍵在于,一個(gè)非常成功的算法可能并不適合讓其他人工智能程序“借用”[3]。部分解釋方法盡管運(yùn)行原理簡(jiǎn)單,易于實(shí)現(xiàn)可解釋目標(biāo),但適用場(chǎng)域十分有限;另有一些解釋方法即使結(jié)構(gòu)復(fù)雜,可解釋實(shí)現(xiàn)難度大,但這類解釋方法泛化能力較強(qiáng),可供多場(chǎng)域廣泛適用。有學(xué)者試圖從自解釋模型、特定模型解釋、不可知模型解釋、因果可解釋性四個(gè)方面對(duì)解釋方法進(jìn)行分類[8]。還有學(xué)者基于解釋“算法黑盒”模型的原理,將解釋方法大致分為模型內(nèi)部可視化、特征統(tǒng)計(jì)分析、本質(zhì)上可解釋模型[7]。但學(xué)界目前尚無(wú)統(tǒng)一評(píng)估依據(jù)。就此問(wèn)題,本文認(rèn)為,解釋方法之間并無(wú)優(yōu)劣,解釋主體在解釋算法模型本身或決策結(jié)果時(shí),不妨有效結(jié)合多種解釋方法,充分發(fā)揮其各自優(yōu)勢(shì),至于具體方法的選取,則取決于具體的應(yīng)用場(chǎng)域。

    3.3 解釋標(biāo)準(zhǔn)尚未明晰

    算法無(wú)法完全像人一樣針對(duì)各類情況進(jìn)行靈活應(yīng)對(duì),如果算法設(shè)定向嚴(yán),會(huì)導(dǎo)致用戶無(wú)法獲取真正有價(jià)值的內(nèi)容,如果算法設(shè)定向松,則無(wú)法發(fā)揮應(yīng)有的作用。因此,需要根據(jù)不同的意涵,設(shè)定不同程度的算法解釋,通過(guò)對(duì)解釋內(nèi)容的準(zhǔn)確把握,促使算法模型從不可解釋狀態(tài)向具備可解釋性特征的方向轉(zhuǎn)化。解釋標(biāo)準(zhǔn)的確定往往出于對(duì)特定算法透明化程度的慎重考量,這也是對(duì)比例原則、公平性原則的貫徹。在法律規(guī)制上,現(xiàn)行法律呈現(xiàn)多元化、開放性的基本取向,比如《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》第12條雖明確了算法透明度和可解釋性的要求及目標(biāo)對(duì)象,但未規(guī)定二者異同,留下了多種解釋方法和標(biāo)準(zhǔn)的空間。一個(gè)能夠具象化的預(yù)設(shè)標(biāo)準(zhǔn)至關(guān)重要。羅馬法中的“善良家父”便是構(gòu)建標(biāo)準(zhǔn)的典型。發(fā)展至今,私法中的理性人標(biāo)準(zhǔn)以一個(gè)人格化的形象作為參照,個(gè)案評(píng)判中需要將理性人標(biāo)準(zhǔn)具象化,從而合理解決主體間利益沖突[9]。得鑒于此,有學(xué)者根據(jù)算法透明化程度,將解釋內(nèi)容區(qū)分為算法運(yùn)用的告知義務(wù)、算法參數(shù)報(bào)備、算法參數(shù)公開以及源代碼公開[10]。還有學(xué)者依據(jù)解釋內(nèi)容的層次性,提出通常情況下默認(rèn)應(yīng)達(dá)到適當(dāng)解釋的水平,初步解釋與充分解釋均作為特殊情況下的例外[11]。

    綜上分析,依據(jù)體系思維解決算法可解釋性問(wèn)題不僅可能而且可行,只是需要深度探尋各種典型場(chǎng)域下算法可解釋性的實(shí)現(xiàn)路徑,在探索過(guò)程中,構(gòu)建算法解釋分析框架以指導(dǎo)相關(guān)主體對(duì)可解釋性問(wèn)題的解決,具備現(xiàn)實(shí)意義。

    4 算法解釋框架的制度構(gòu)想

    針對(duì)個(gè)性化、多樣化的算法模型,仍應(yīng)結(jié)合算法模型的應(yīng)用場(chǎng)域考慮其透明化程度。以體系思維為分析視角,基于“場(chǎng)景公正”理念構(gòu)建算法解釋框架,針對(duì)不同業(yè)務(wù)、不同場(chǎng)域中的算法決策,在此框架中選取適宜的解釋方法并適用特定解釋標(biāo)準(zhǔn)進(jìn)行論證分析(如圖1所示)。

    圖1 算法解釋框架制度的構(gòu)建思路

    4.1 解釋對(duì)象的確定:明確解釋方法的前提

    算法解釋的目標(biāo)對(duì)象大致包括受算法自動(dòng)化決策結(jié)果影響的特定主體、一般性社會(huì)公眾以及政府機(jī)構(gòu),本文依此將解釋方法劃分為“定向告知”模式、“公開披露”模式和“行政報(bào)備”模式。

    4.1.1 “定向告知”模式

    “定向告知”模式僅限于可能受到算法決策影響的特定用戶或特定群體,例如,美國(guó)《公平信用報(bào)告法》(Fair Credit Reporting Act)和《信用機(jī)會(huì)平等法》(Equal Credit Opportunity Act)均規(guī)定“不利行動(dòng)告知”(adverse action notice)條款,要求貸款方或授信人必須就不利的算法評(píng)分向消費(fèi)者或申請(qǐng)人進(jìn)行解釋,并且消費(fèi)者或申請(qǐng)人有權(quán)就此問(wèn)題進(jìn)一步提問(wèn)。歐盟《通用數(shù)據(jù)保護(hù)條例》賦予數(shù)據(jù)主體以“算法解釋權(quán)”,在算法決策得出的結(jié)果與自己預(yù)期不相符合的情形下,數(shù)據(jù)主體有權(quán)要求算法使用者對(duì)算法模型設(shè)計(jì)以及運(yùn)行過(guò)程(即數(shù)據(jù)的分析處理)進(jìn)行解釋。 不同于“公開披露”模式下算法使用者向不特定對(duì)象作出泛化解釋,“定向告知”模式的特殊之處在于:(1)注重個(gè)人信息保護(hù)和隱私安全,尤其是高風(fēng)險(xiǎn)算法,這類算法運(yùn)行過(guò)程中不可避免涉及敏感數(shù)據(jù)信息的處理。在解釋該處理和最終結(jié)論得出時(shí),特別需要預(yù)防敏感數(shù)據(jù)信息被不可控地大規(guī)模擴(kuò)散。(2)能夠面向目標(biāo)用戶作出精細(xì)化解釋,有的放矢,更有利于彌補(bǔ)“解釋鴻溝”,并進(jìn)一步建立解釋不準(zhǔn)確或不充分時(shí)特定主體的救濟(jì)權(quán)利。(3)一定程度上節(jié)約公示成本,算法使用者可以選擇以合同條款形式履行告知提示義務(wù)。

    4.1.2 “公開披露”模式

    該模式將解釋對(duì)象聚焦于“一個(gè)具有平均水準(zhǔn)的知情度、注意力、明智性的普通用戶”,不拘泥于個(gè)案中具體用戶的特殊情況,“公開披露”模式的典型適用便是“電商平臺(tái)二選一”場(chǎng)景,平臺(tái)經(jīng)營(yíng)者通過(guò)調(diào)整算法權(quán)重,對(duì)不接受“二選一”的平臺(tái)內(nèi)經(jīng)營(yíng)者徑直采取搜索降序、屏蔽店鋪、干擾排名等措施,就此,《電子商務(wù)法》明確了平臺(tái)經(jīng)營(yíng)者的公開公示義務(wù),禁止其利用包括算法在內(nèi)的技術(shù)手段和優(yōu)勢(shì)實(shí)施不公平交易行為,以滿足一般公眾的普遍期待。類似地,歐盟《平臺(tái)和商戶間公平性和透明度法》要求平臺(tái)向公眾披露對(duì)算法決策起決定性的主要參數(shù)及其采納理由,并說(shuō)明影響。最具爭(zhēng)議的便是強(qiáng)制要求經(jīng)營(yíng)者公開算法模型采用的源代碼??紤]到政府機(jī)構(gòu)逐漸傾向采購(gòu)經(jīng)營(yíng)者研發(fā)的算法產(chǎn)品和服務(wù),2016年美國(guó)紐約州便嘗試通過(guò)算法立法要求政府公布其適用算法產(chǎn)品的源代碼,該法案從動(dòng)議提出到最終通過(guò)遭到多方強(qiáng)烈反對(duì),尤其是算法產(chǎn)品相關(guān)服務(wù)商。在此延申到“公開披露”模式存在的問(wèn)題:(1)一旦被披露的源代碼被不法利用,其后果難以預(yù)料,尤其是對(duì)公共安全的損害修復(fù)存在不確定性。(2)立足于保護(hù)公眾知情權(quán)的社會(huì)本位,立法者就商品或服務(wù)的垂直檢索算法,對(duì)平臺(tái)經(jīng)營(yíng)者課以最低程度的公開義務(wù),類似于證券法上的上市公司信息披露義務(wù),二者同樣存在的現(xiàn)實(shí)問(wèn)題是,公開披露的內(nèi)容能否有效回應(yīng)公眾疑問(wèn)和不滿,這些內(nèi)容是否真正觸及爭(zhēng)議的實(shí)質(zhì)。實(shí)際上,平臺(tái)經(jīng)營(yíng)者往往只是初步披露其使用算法技術(shù)的客觀事實(shí),沒(méi)有正面解答算法模型的運(yùn)行機(jī)制本身,最終導(dǎo)致各方在算法解釋上的爭(zhēng)議并未得到實(shí)質(zhì)性解決。

    4.1.3 “行政報(bào)備”模式

    相較于“公開披露”模式,“行政報(bào)備”模式下行政機(jī)關(guān)作為中立第三方,更能平衡商業(yè)利益和社會(huì)公共利益,一方面是考慮到對(duì)經(jīng)營(yíng)者經(jīng)營(yíng)自主權(quán)和商業(yè)秘密的保護(hù),另一方面,在事關(guān)市場(chǎng)環(huán)境、社會(huì)秩序、公民福利等關(guān)鍵領(lǐng)域和行業(yè),需要公權(quán)力的適當(dāng)介入。金融領(lǐng)域,《關(guān)于規(guī)范金融機(jī)構(gòu)資產(chǎn)管理業(yè)務(wù)的指導(dǎo)意見》(銀發(fā)〔2018〕106號(hào) )明確規(guī)定金融機(jī)構(gòu)如果使用算法技術(shù)開展資產(chǎn)管理業(yè)務(wù),應(yīng)當(dāng)向金融監(jiān)督管理部門報(bào)備算法模型的主要參數(shù)和邏輯。算法自動(dòng)化決策不單純是技術(shù)運(yùn)行是否公平、邏輯是否合理的問(wèn)題,還涉及法律后果和社會(huì)效果。因此,為確保算法決策的公平性,在決策結(jié)果出來(lái)之前,算法模型的設(shè)計(jì)、部署和運(yùn)行機(jī)制應(yīng)當(dāng)向行政主管機(jī)關(guān)提前報(bào)備,以便事后爭(zhēng)議產(chǎn)生時(shí)進(jìn)行人工審查。

    當(dāng)然,上述模式在實(shí)踐中完全可以結(jié)合應(yīng)用,前述《關(guān)于規(guī)范金融機(jī)構(gòu)資產(chǎn)管理業(yè)務(wù)的指導(dǎo)意見》針對(duì)金融機(jī)構(gòu)不僅規(guī)定了算法模型主要參數(shù)的報(bào)備義務(wù),同時(shí)要求其向投資者充分提示算法的固有缺陷和使用風(fēng)險(xiǎn)。

    4.2 解釋方法的場(chǎng)景化應(yīng)用

    不同場(chǎng)域中,解釋需求和解釋目的也會(huì)發(fā)生相應(yīng)變化。在金融風(fēng)控領(lǐng)域,產(chǎn)品推薦系統(tǒng)根據(jù)市場(chǎng)波動(dòng)、政策導(dǎo)向,能夠幫助投資者更好作出理性選擇,目的在于風(fēng)險(xiǎn)預(yù)測(cè)與防控。醫(yī)療場(chǎng)域下,智能診斷系統(tǒng)可以基于醫(yī)療圖像特征和診斷標(biāo)準(zhǔn)進(jìn)行推理,在醫(yī)生之間的診斷結(jié)果不一致時(shí)提供參考性意見,目的在于避免主觀錯(cuò)誤。在司法審判領(lǐng)域,算法賦能智慧量刑輔助,針對(duì)特定案件提供量刑建議,目的在于促進(jìn)司法量刑統(tǒng)一,限制主觀裁判的濫用;算法更進(jìn)一步賦能特定類型案件的自動(dòng)化處理,并非僅是對(duì)法官的裁判輔助,對(duì)于部分類型固定、法律關(guān)系簡(jiǎn)單、爭(zhēng)議點(diǎn)明確的案件,完全能夠交由以規(guī)則驅(qū)動(dòng)邏輯的算法模型處理,從而解決“案多人少”的問(wèn)題。而在信息推薦場(chǎng)景中,算法推薦服務(wù)提供者應(yīng)當(dāng)生成并提供量化影響分析報(bào)告,以便相關(guān)用戶知曉算法推薦的基本原理和運(yùn)行邏輯,目的在于維護(hù)公平競(jìng)爭(zhēng)環(huán)境以及消費(fèi)者權(quán)益保障。據(jù)此,根據(jù)不同解釋需求和目的,在具體解釋方法選取上,也應(yīng)有所側(cè)重,本文以金融、醫(yī)療、司法、信息檢索及推薦等實(shí)踐中算法高頻應(yīng)用的場(chǎng)域?yàn)槔M(jìn)行逐一分析。

    金融風(fēng)控場(chǎng)域下,算法運(yùn)行的核心在于評(píng)估潛在交易的風(fēng)險(xiǎn)回報(bào)率,算法的區(qū)別在于研發(fā)者對(duì)市場(chǎng)理解不同、采用的算法模型不同,本質(zhì)上都是圍繞技術(shù)分析規(guī)則、統(tǒng)計(jì)方法和機(jī)器學(xué)習(xí)技術(shù),研究最優(yōu)的交易策略。因此,算法的中立性和客觀性往往并非解釋重點(diǎn),應(yīng)當(dāng)更加側(cè)重?cái)?shù)據(jù)抓取的合理性、市場(chǎng)和公司數(shù)據(jù)的可用性、預(yù)測(cè)結(jié)果的準(zhǔn)確性。鑒于市場(chǎng)波動(dòng)預(yù)測(cè)的實(shí)效性,解釋金融算法多數(shù)情況下屬于事前解釋,即圍繞風(fēng)險(xiǎn)告知義務(wù)展開。

    醫(yī)療保健場(chǎng)域下,解釋思路的重點(diǎn)在于相關(guān)算法的采用和運(yùn)行能否輔助醫(yī)生為患者選擇適合的治療方案,能否有效提高病患的治愈率、提高護(hù)理質(zhì)量。由于患者群體不特定,容易出現(xiàn)算法偏差,因此醫(yī)療算法的預(yù)測(cè)結(jié)果可能無(wú)法一概適用。據(jù)此,就醫(yī)療場(chǎng)域,個(gè)性化、精準(zhǔn)化的解釋方法更為適宜。同時(shí),考慮到治療結(jié)果的不可逆性,解釋醫(yī)療算法也屬于事前解釋,即“知情-同意”原則:臨床醫(yī)生告知患者積極治療方案并披露相應(yīng)風(fēng)險(xiǎn),同時(shí)告知采取保守治療甚至放棄治療的風(fēng)險(xiǎn)和好處,以獲得患者同意,免受追責(zé)。此外,患者還應(yīng)當(dāng)被告知算法可能出現(xiàn)的診斷失誤,包括過(guò)度診斷和技術(shù)誤診。

    司法審判場(chǎng)域下,算法決策的公平非歧視性是關(guān)鍵。司法實(shí)踐中,算法模型的應(yīng)用并不十分深入,多集中于刑事案件的審理和執(zhí)行,輔助法官更合理地對(duì)保釋金額、判刑等做出決策。美國(guó)判刑委員會(huì)(USSC)利用人工智能來(lái)制定和實(shí)施判刑指南,幫助法官確定對(duì)不同罪行的公平一致的懲罰;新西蘭利用算法可解釋性,研發(fā)量刑預(yù)測(cè)人工智能算法應(yīng)用,一方面幫助法官理解其量刑決定,另一方面能夠就有爭(zhēng)議的裁判決定為司法透明度創(chuàng)造條件[10]。由此產(chǎn)生的算法解釋爭(zhēng)議多集中于刑事犯罪風(fēng)險(xiǎn)預(yù)測(cè)。美國(guó)法院借用COMPAS算法來(lái)評(píng)估罪犯再犯風(fēng)險(xiǎn),由于訓(xùn)練和測(cè)試模型時(shí)所用樣本不足或是無(wú)關(guān)統(tǒng)計(jì)相關(guān)等原因,該算法模型存在潛在的人種偏見、性別歧視,或是其他各種主觀偏見,從而引發(fā)大量爭(zhēng)議。有鑒于此,解決司法審判算法的可解釋性問(wèn)題,重點(diǎn)在于解決可能產(chǎn)生的法律效果和社會(huì)影響,其中不乏倫理和道德因素,因此,可以考慮“社會(huì)技術(shù)”的解釋方法來(lái)減輕可能具有的算法偏見、算法歧視,分析算法運(yùn)行機(jī)制的公平性、可靠性。

    而在信息檢索、信息推薦場(chǎng)域下,智能推薦算法的邏輯本質(zhì)是在用戶逐漸減少的主動(dòng)行為中尋找可能的關(guān)聯(lián)關(guān)系。推薦算法模型在擬合準(zhǔn)確用戶行為的基礎(chǔ)上,通過(guò)用戶目標(biāo)的權(quán)重的控制,達(dá)到多推A類信息而少推B類信息,抑或是C類商品排名優(yōu)先的目的。平臺(tái)經(jīng)營(yíng)者希望以此提供個(gè)性化服務(wù),提高用戶體驗(yàn),更高效地觸達(dá)潛在受眾,從而增加用戶粘性,有利于平臺(tái)持續(xù)良好運(yùn)營(yíng)。普通用戶則期待借此快速找到目標(biāo)商品或信息,提高信息過(guò)濾效率。算法推薦的精準(zhǔn)度尤為重要,不排除用戶偏好和推薦結(jié)果存在誤差,結(jié)果不足以滿足用戶需求,甚至讓用戶產(chǎn)生消極的體驗(yàn)感。因此,對(duì)于算法推薦得到的排名結(jié)果,算法推薦服務(wù)提供者應(yīng)當(dāng)解釋算法運(yùn)行過(guò)程中主要參考因素,并且關(guān)于這些參考因素的說(shuō)明應(yīng)該保持更新。解釋方式的選取上,關(guān)鍵要看能否讓用戶更好了解算法排名機(jī)制,從而比較算法推薦服務(wù)提供者之間的排名方式,同時(shí)不損害排名機(jī)制的正當(dāng)運(yùn)行,在不影響排名機(jī)制的情況下幫助商業(yè)用戶更好理解商品排名結(jié)果。

    可見,實(shí)現(xiàn)算法的可解釋,并非只有完全打開“算法黑箱”這一種可能對(duì)策,在多數(shù)使用場(chǎng)域中要求算法使用者達(dá)到“打開黑箱式的全局解釋”完全沒(méi)有必要[11]。事實(shí)上,只有特定使用者要求掌握算法決策程序中的全部運(yùn)行機(jī)理,這主要集中于軍工、國(guó)防領(lǐng)域,比如美國(guó)國(guó)防高級(jí)研究計(jì)劃局(Defense Advanced Research Projects Agency)曾提出“可解釋的人工智能計(jì)劃”(XAI),試圖構(gòu)建或完善形成一個(gè)具備高度可解釋性、更易讓人理解的算法模型[12]。

    4.3 解釋標(biāo)準(zhǔn)具化:基于算法透明化程度的考量

    技術(shù)層面,針對(duì)算法可解釋性問(wèn)題,由于算法模型的種類、復(fù)雜程度、運(yùn)行機(jī)制各不相同,解釋方法的選擇及解釋程度也需要作出相應(yīng)調(diào)整。倘若涉及算法模型整體搭建的系統(tǒng)性問(wèn)題,需要同時(shí)適用多種解釋方法進(jìn)行深度剖析,讓用戶更好明確算法模型的知識(shí)邊界,了解算法模型在哪些情形下能夠得出理想決策,從而對(duì)該算法賦予恰當(dāng)信任并進(jìn)行合理使用。但若只是針對(duì)其中部分決策內(nèi)容,相關(guān)用戶產(chǎn)生困惑,解釋主體不妨采用簡(jiǎn)單且直觀的方式(例如線性回歸、決策樹)進(jìn)行解釋,需要注意解釋的精確度。

    事實(shí)上,部分國(guó)家標(biāo)準(zhǔn)和行業(yè)標(biāo)準(zhǔn)已經(jīng)試圖針對(duì)不同業(yè)務(wù)和場(chǎng)景區(qū)分可解釋性程度,并以此為基礎(chǔ)提出具體要求,這是適度干預(yù)原則的體現(xiàn)。《人工智能算法金融應(yīng)用評(píng)價(jià)規(guī)范》(JR/T 0221—2021)作為人工智能領(lǐng)域的行業(yè)標(biāo)準(zhǔn),對(duì)“可解釋性評(píng)價(jià)”要求區(qū)分資金類場(chǎng)景和非資金類場(chǎng)景,資金類場(chǎng)景中的解釋標(biāo)準(zhǔn)遠(yuǎn)高于非資金類場(chǎng)景中的解釋標(biāo)準(zhǔn)。也有學(xué)者提出圍繞算法邏輯維度和數(shù)據(jù)維度構(gòu)建解釋標(biāo)準(zhǔn)[13],認(rèn)為解釋主體不僅需要滿足證明算法模型與運(yùn)行邏輯、對(duì)公平競(jìng)爭(zhēng)秩序可能產(chǎn)生的影響等基本解釋要求,還應(yīng)當(dāng)進(jìn)一步解釋算法運(yùn)行的市場(chǎng)透明度、數(shù)據(jù)信息的處理過(guò)程以及數(shù)據(jù)與決策的關(guān)聯(lián)性、決策的合法合規(guī)性等。

    以解釋推薦算法或搜索算法中的排名機(jī)制為例,對(duì)于算法決策所適用的排名機(jī)制,其解釋內(nèi)容主要圍繞排名依據(jù)的主要參考因素,應(yīng)遵循一定的邏輯順序,解釋主體不能夠?qū)⑿畔⒑鷣y堆給用戶,擺出“任君挑選”的消極姿態(tài)。通過(guò)考察歐盟《提高商業(yè)用戶使用線上中介服務(wù)的公平性和透明度的第2019/1150條例》的規(guī)定,本文認(rèn)為,解釋內(nèi)容大體上可以包括以下幾點(diǎn):第一,解釋主體應(yīng)當(dāng)在其統(tǒng)一制定的相關(guān)規(guī)則中事先公示檢索排名的主要考慮因素,并評(píng)估這些因素對(duì)人們的潛在影響。同時(shí),說(shuō)明算法分析的內(nèi)在機(jī)理,具體包括推薦決策的判斷標(biāo)準(zhǔn)、各標(biāo)準(zhǔn)的權(quán)重大小等內(nèi)容。鑒于算法模型驚人的迭代速度,前述參考因素及其說(shuō)明應(yīng)當(dāng)實(shí)時(shí)更新改進(jìn),與實(shí)際使用情形相同步,也即“事后的更新解釋”。第二,前述考慮范圍中的一個(gè)關(guān)鍵因素是,商品經(jīng)營(yíng)者或信息提供者是否為了取得優(yōu)先排名推薦而支付一定的費(fèi)用,這關(guān)系到排名結(jié)果是否與客觀事實(shí)(即未經(jīng)算法排名機(jī)制而客觀形成的優(yōu)先級(jí)順序)相符。如果支付費(fèi)用確定會(huì)影響排名,則支付金額的多少、支付方式(包括直接或間接支付)以及該筆費(fèi)用對(duì)排名的影響程度也應(yīng)納入解釋范疇。同時(shí),鑒于該類排名結(jié)果面向的是不特定群體,解釋主體應(yīng)當(dāng)適用“公開披露”模式對(duì)相關(guān)事實(shí)予以明確。第三,倘若排名機(jī)制在特定情形下發(fā)生變化,解釋主體應(yīng)告知用戶具體變動(dòng)內(nèi)容及其理由。第四,前述解釋內(nèi)容均應(yīng)達(dá)到讓用戶足夠理解排名結(jié)果如何作出的程度,解釋過(guò)程中需要注意排序?qū)ο蟮奶卣?,例如商品種類或服務(wù)特點(diǎn),以及這些特征與用戶的相關(guān)程度。第五,對(duì)于排名結(jié)果的分析,解釋主體也要注意第三方惡意干擾或者操縱排名的情形?!叭f(wàn)詞霸屏”案中,閃速推公司利用百度公司算法漏洞,故意破壞百度搜索引擎正常的關(guān)鍵詞收錄和排名秩序,生成大量關(guān)鍵詞和非人工編寫的“垃圾頁(yè)面”并與業(yè)內(nèi)搜索關(guān)鍵詞關(guān)聯(lián),產(chǎn)生相關(guān)頁(yè)面占據(jù)搜索結(jié)果首頁(yè)的效果。結(jié)合技術(shù)進(jìn)步、公共服務(wù)以及市場(chǎng)效率等綜合性判斷因素,該行為屬于惡意干擾、操縱搜索引擎搜索結(jié)果排名,構(gòu)成不正當(dāng)競(jìng)爭(zhēng)。

    5 結(jié)束語(yǔ)

    盡管有學(xué)者對(duì)算法可解釋性的未來(lái)持悲觀看法,一度將此視為一個(gè)“注定是人類不切實(shí)際的夢(mèng)想”[14]。在這種理念的影響下,人們更愿意相信“算法黑箱”如同自然界的力量一樣不可避免,至多被馴服,無(wú)法被控制。然而,隨著算法學(xué)習(xí)模型的拆解、透明度規(guī)則的優(yōu)化以及學(xué)科間壁壘被弱化并逐步被擊破,可以想見,未來(lái)的算法決策可解釋性將是完整的,通過(guò)多學(xué)科協(xié)作等方式,最終將實(shí)現(xiàn)為其用戶建立完整且清晰的解釋框架,并增強(qiáng)用戶對(duì)其輸出的信任感。至此,相比于“算法黑箱”的隱喻,借用“算法面紗”來(lái)形容算法可解釋性問(wèn)題或許更為貼切,二者的不同之處在于通過(guò)解釋可以隨時(shí)揭開算法神秘的面紗,露出其自動(dòng)化決策背后的客觀真實(shí)與價(jià)值判斷。

    猜你喜歡
    解釋性決策算法
    著力構(gòu)建可解釋性模型
    為可持續(xù)決策提供依據(jù)
    論行政自由裁量的“解釋性控權(quán)”
    法律方法(2021年4期)2021-03-16 05:35:16
    基于MapReduce的改進(jìn)Eclat算法
    Travellng thg World Full—time for Rree
    決策為什么失誤了
    進(jìn)位加法的兩種算法
    融媒體時(shí)代解釋性報(bào)道的發(fā)展之路
    傳播力研究(2017年5期)2017-03-28 09:08:30
    一種改進(jìn)的整周模糊度去相關(guān)算法
    非解釋性憲法適用論
    神马国产精品三级电影在线观看 | 久久久国产成人精品二区| 国产成人av激情在线播放| 激情在线观看视频在线高清| 国产av在哪里看| 亚洲熟妇中文字幕五十中出| 久久性视频一级片| 亚洲欧洲精品一区二区精品久久久| 欧美乱码精品一区二区三区| 婷婷精品国产亚洲av在线| 亚洲熟妇熟女久久| 亚洲人成电影免费在线| 国产探花在线观看一区二区| 一区二区三区高清视频在线| 国产一区二区激情短视频| 男插女下体视频免费在线播放| 亚洲国产中文字幕在线视频| 在线a可以看的网站| 色噜噜av男人的天堂激情| 免费观看人在逋| 免费在线观看成人毛片| 无限看片的www在线观看| 日韩欧美国产一区二区入口| 亚洲中文av在线| 久9热在线精品视频| 淫妇啪啪啪对白视频| 亚洲熟女毛片儿| 午夜福利欧美成人| 精品久久久久久久末码| 久久热在线av| 精品国产亚洲在线| 亚洲熟妇熟女久久| 在线看三级毛片| 色综合婷婷激情| 999久久久国产精品视频| 久久精品影院6| 成人手机av| 精品久久久久久久久久久久久| 白带黄色成豆腐渣| 婷婷六月久久综合丁香| 十八禁人妻一区二区| 亚洲第一电影网av| 一边摸一边做爽爽视频免费| 亚洲av美国av| 国产亚洲av嫩草精品影院| 中文字幕最新亚洲高清| 国产一级毛片七仙女欲春2| 亚洲成人国产一区在线观看| 最近在线观看免费完整版| 亚洲在线自拍视频| 日本免费一区二区三区高清不卡| 国产一区二区三区在线臀色熟女| 首页视频小说图片口味搜索| 日本熟妇午夜| 男女下面进入的视频免费午夜| а√天堂www在线а√下载| 国产精品亚洲av一区麻豆| 久久久久免费精品人妻一区二区| 亚洲成人中文字幕在线播放| 免费人成视频x8x8入口观看| 国产人伦9x9x在线观看| 国产午夜福利久久久久久| av在线播放免费不卡| 岛国在线免费视频观看| 在线看三级毛片| 亚洲在线自拍视频| 99国产极品粉嫩在线观看| 久久精品综合一区二区三区| 国产69精品久久久久777片 | 少妇人妻一区二区三区视频| 亚洲五月天丁香| 日本三级黄在线观看| 国产精品一区二区精品视频观看| 欧美黑人欧美精品刺激| 18禁黄网站禁片午夜丰满| 免费一级毛片在线播放高清视频| 国产三级在线视频| 亚洲一码二码三码区别大吗| 中文字幕最新亚洲高清| 999久久久精品免费观看国产| 欧美黑人欧美精品刺激| 亚洲欧美激情综合另类| 搡老熟女国产l中国老女人| 国产亚洲精品第一综合不卡| 日韩欧美免费精品| 日本三级黄在线观看| 久久国产精品影院| 亚洲精品美女久久av网站| 免费在线观看黄色视频的| 中文字幕高清在线视频| www日本黄色视频网| 久久久久久久精品吃奶| 精品第一国产精品| 嫩草影视91久久| 一个人免费在线观看的高清视频| 欧美色欧美亚洲另类二区| 搞女人的毛片| 黄色女人牲交| 欧美人与性动交α欧美精品济南到| 丁香六月欧美| 国产精品久久久av美女十八| 日韩高清综合在线| 国产激情偷乱视频一区二区| 少妇人妻一区二区三区视频| 亚洲五月婷婷丁香| 日日摸夜夜添夜夜添小说| 日韩精品青青久久久久久| 国产精品av久久久久免费| 狂野欧美激情性xxxx| 欧美性长视频在线观看| 免费电影在线观看免费观看| 免费在线观看成人毛片| 免费无遮挡裸体视频| 18禁国产床啪视频网站| 精品一区二区三区四区五区乱码| 色老头精品视频在线观看| 精品国产美女av久久久久小说| 桃红色精品国产亚洲av| 亚洲av片天天在线观看| 国产一区二区在线观看日韩 | 午夜免费观看网址| 三级毛片av免费| 久久久久免费精品人妻一区二区| 男女做爰动态图高潮gif福利片| 久久久久国内视频| 亚洲中文日韩欧美视频| 亚洲片人在线观看| 久久久国产成人免费| 中文字幕高清在线视频| 丰满的人妻完整版| x7x7x7水蜜桃| av免费在线观看网站| 精品乱码久久久久久99久播| 在线看三级毛片| 激情在线观看视频在线高清| 麻豆国产97在线/欧美 | 无遮挡黄片免费观看| 国产精品 国内视频| 亚洲人成网站高清观看| 久久人人精品亚洲av| 亚洲av熟女| 国产av一区在线观看免费| 亚洲 欧美 日韩 在线 免费| 国内毛片毛片毛片毛片毛片| 欧美久久黑人一区二区| 色在线成人网| 成人手机av| 在线国产一区二区在线| 国产高清激情床上av| 禁无遮挡网站| 亚洲最大成人中文| 变态另类丝袜制服| 亚洲avbb在线观看| 伊人久久大香线蕉亚洲五| 18禁美女被吸乳视频| 国产人伦9x9x在线观看| 天天躁狠狠躁夜夜躁狠狠躁| 亚洲欧美日韩高清专用| 少妇熟女aⅴ在线视频| 宅男免费午夜| 欧美中文日本在线观看视频| 精品国产超薄肉色丝袜足j| 国产一区二区三区在线臀色熟女| 最近最新中文字幕大全电影3| 成人av一区二区三区在线看| 国产成人精品无人区| 制服人妻中文乱码| 久久国产乱子伦精品免费另类| 99久久无色码亚洲精品果冻| 精品高清国产在线一区| 国产私拍福利视频在线观看| 欧美日韩福利视频一区二区| 婷婷精品国产亚洲av| 十八禁网站免费在线| 最新在线观看一区二区三区| 熟女电影av网| 亚洲狠狠婷婷综合久久图片| 最新美女视频免费是黄的| 99久久久亚洲精品蜜臀av| 俄罗斯特黄特色一大片| 看免费av毛片| 国产成人系列免费观看| 日本一区二区免费在线视频| 亚洲熟女毛片儿| 最近视频中文字幕2019在线8| 久久伊人香网站| 亚洲成人久久性| 午夜亚洲福利在线播放| 可以在线观看毛片的网站| 久久人人精品亚洲av| 俺也久久电影网| 精品高清国产在线一区| 婷婷六月久久综合丁香| 国产单亲对白刺激| 欧美一区二区精品小视频在线| 两个人视频免费观看高清| 精品国产乱子伦一区二区三区| 色在线成人网| 麻豆国产av国片精品| 不卡av一区二区三区| 久久中文看片网| 免费在线观看成人毛片| 悠悠久久av| 黄频高清免费视频| 久久 成人 亚洲| 久久精品aⅴ一区二区三区四区| 欧美人与性动交α欧美精品济南到| 天天一区二区日本电影三级| 国产三级黄色录像| 在线播放国产精品三级| 97碰自拍视频| 一边摸一边抽搐一进一小说| 黄频高清免费视频| 窝窝影院91人妻| 精华霜和精华液先用哪个| 最近在线观看免费完整版| 亚洲国产精品合色在线| 90打野战视频偷拍视频| 制服人妻中文乱码| 久久精品夜夜夜夜夜久久蜜豆 | 亚洲人成网站在线播放欧美日韩| 久久精品国产亚洲av高清一级| 50天的宝宝边吃奶边哭怎么回事| 少妇被粗大的猛进出69影院| 色综合欧美亚洲国产小说| 老汉色∧v一级毛片| 日本免费a在线| 午夜精品一区二区三区免费看| 一级a爱片免费观看的视频| 精品欧美国产一区二区三| 成人高潮视频无遮挡免费网站| 床上黄色一级片| 欧美另类亚洲清纯唯美| 日韩欧美精品v在线| 国产亚洲av嫩草精品影院| 亚洲最大成人中文| 国产精品av久久久久免费| 淫妇啪啪啪对白视频| 亚洲国产看品久久| 亚洲一区高清亚洲精品| 大型黄色视频在线免费观看| 国产亚洲av嫩草精品影院| 欧美日韩瑟瑟在线播放| 香蕉丝袜av| 两个人看的免费小视频| 国产av一区二区精品久久| 非洲黑人性xxxx精品又粗又长| 久久香蕉精品热| 午夜亚洲福利在线播放| 91在线观看av| 亚洲av日韩精品久久久久久密| 一本精品99久久精品77| 国产精品香港三级国产av潘金莲| 成年免费大片在线观看| 久久精品人妻少妇| 给我免费播放毛片高清在线观看| 精品福利观看| av在线天堂中文字幕| 人妻丰满熟妇av一区二区三区| 欧美在线黄色| 亚洲人成伊人成综合网2020| 亚洲全国av大片| 免费看十八禁软件| 亚洲精品一卡2卡三卡4卡5卡| 嫩草影院精品99| xxx96com| 日韩欧美一区二区三区在线观看| 99热这里只有精品一区 | 两个人免费观看高清视频| 非洲黑人性xxxx精品又粗又长| 在线观看www视频免费| 国产高清有码在线观看视频 | 深夜精品福利| 在线播放国产精品三级| 两个人免费观看高清视频| 欧美3d第一页| 人人妻,人人澡人人爽秒播| 91国产中文字幕| 免费无遮挡裸体视频| 丝袜美腿诱惑在线| netflix在线观看网站| 99精品欧美一区二区三区四区| 成熟少妇高潮喷水视频| 精品久久久久久,| 一进一出抽搐动态| 色哟哟哟哟哟哟| 欧美黑人巨大hd| 欧美绝顶高潮抽搐喷水| 黄色视频,在线免费观看| 啦啦啦韩国在线观看视频| 婷婷六月久久综合丁香| 欧洲精品卡2卡3卡4卡5卡区| av在线播放免费不卡| 欧美3d第一页| 无遮挡黄片免费观看| 无人区码免费观看不卡| 99久久久亚洲精品蜜臀av| a在线观看视频网站| 757午夜福利合集在线观看| 90打野战视频偷拍视频| 久久久久久久久中文| 老汉色av国产亚洲站长工具| 中文字幕久久专区| АⅤ资源中文在线天堂| 久久久精品大字幕| 国产高清视频在线观看网站| 精品第一国产精品| 日韩欧美三级三区| 两个人看的免费小视频| 亚洲av美国av| 久久久精品大字幕| 亚洲av成人av| 最新美女视频免费是黄的| 婷婷六月久久综合丁香| 色尼玛亚洲综合影院| 中文字幕人成人乱码亚洲影| 国产v大片淫在线免费观看| 亚洲av成人不卡在线观看播放网| 别揉我奶头~嗯~啊~动态视频| 亚洲电影在线观看av| 久久精品成人免费网站| 免费无遮挡裸体视频| 亚洲av第一区精品v没综合| 搡老熟女国产l中国老女人| 琪琪午夜伦伦电影理论片6080| 久久久久久久久免费视频了| 久久久久久久久久黄片| 观看免费一级毛片| 黄片小视频在线播放| 国产成人啪精品午夜网站| 国产在线观看jvid| 狂野欧美激情性xxxx| 2021天堂中文幕一二区在线观| 免费在线观看黄色视频的| 色哟哟哟哟哟哟| 久久九九热精品免费| 久久国产精品影院| 一本久久中文字幕| 亚洲中文字幕日韩| 在线观看免费日韩欧美大片| 国产一级毛片七仙女欲春2| 俺也久久电影网| 女同久久另类99精品国产91| 久久久久国内视频| 精品国产亚洲在线| 麻豆成人午夜福利视频| 每晚都被弄得嗷嗷叫到高潮| 国产熟女午夜一区二区三区| 日韩免费av在线播放| 99精品久久久久人妻精品| 麻豆久久精品国产亚洲av| 亚洲五月婷婷丁香| 人妻夜夜爽99麻豆av| 欧美成狂野欧美在线观看| 国产精品免费视频内射| 1024视频免费在线观看| 女同久久另类99精品国产91| 毛片女人毛片| 亚洲一区二区三区色噜噜| 嫁个100分男人电影在线观看| 亚洲精品一卡2卡三卡4卡5卡| 老鸭窝网址在线观看| 精品福利观看| 高清毛片免费观看视频网站| 一区二区三区激情视频| 国产av又大| 我的老师免费观看完整版| 成人手机av| 国产99白浆流出| 香蕉国产在线看| 亚洲精品中文字幕在线视频| 最近在线观看免费完整版| 悠悠久久av| 在线观看日韩欧美| 亚洲精品在线观看二区| www国产在线视频色| 美女免费视频网站| 法律面前人人平等表现在哪些方面| 国产精品香港三级国产av潘金莲| 精品久久久久久久久久久久久| 一进一出好大好爽视频| 午夜精品一区二区三区免费看| 亚洲精品美女久久久久99蜜臀| 亚洲av成人精品一区久久| 国产成年人精品一区二区| 国产精品一区二区免费欧美| 久久香蕉国产精品| 亚洲国产日韩欧美精品在线观看 | 欧美一区二区国产精品久久精品 | 亚洲熟妇熟女久久| 亚洲av片天天在线观看| 精品免费久久久久久久清纯| 国产精品一区二区三区四区免费观看 | 中文字幕久久专区| videosex国产| 韩国av一区二区三区四区| 日韩欧美免费精品| 欧美日韩精品网址| 午夜福利视频1000在线观看| 久久婷婷成人综合色麻豆| 成人av在线播放网站| 三级国产精品欧美在线观看 | 国内精品久久久久精免费| 九色成人免费人妻av| 丁香六月欧美| 免费观看人在逋| www日本在线高清视频| 久久久久久久精品吃奶| 久久香蕉精品热| 成年人黄色毛片网站| 老熟妇仑乱视频hdxx| 亚洲人与动物交配视频| 2021天堂中文幕一二区在线观| 久久草成人影院| 亚洲精品久久成人aⅴ小说| 蜜桃久久精品国产亚洲av| 香蕉av资源在线| 精品久久久久久久久久免费视频| 久久久国产精品麻豆| 亚洲av成人一区二区三| а√天堂www在线а√下载| 国产乱人伦免费视频| 久久久久九九精品影院| 免费在线观看影片大全网站| 热99re8久久精品国产| 人人妻,人人澡人人爽秒播| 久久精品国产99精品国产亚洲性色| av在线播放免费不卡| 日韩欧美国产在线观看| 亚洲精品国产精品久久久不卡| 在线国产一区二区在线| 国产成人精品久久二区二区91| 成年版毛片免费区| 亚洲五月婷婷丁香| 午夜福利高清视频| 性欧美人与动物交配| 啦啦啦免费观看视频1| 日韩欧美在线二视频| 91麻豆精品激情在线观看国产| 国产成人av激情在线播放| 亚洲国产欧洲综合997久久,| 一区二区三区国产精品乱码| 国产精品av久久久久免费| 日本熟妇午夜| 亚洲五月婷婷丁香| 国产精品久久久久久亚洲av鲁大| 久久草成人影院| 国产在线观看jvid| 黄色丝袜av网址大全| 亚洲av美国av| 国内精品久久久久精免费| 熟女少妇亚洲综合色aaa.| 久久亚洲精品不卡| 脱女人内裤的视频| 国产伦人伦偷精品视频| 国产精品免费视频内射| 在线观看日韩欧美| 丁香欧美五月| 午夜久久久久精精品| 久久香蕉国产精品| 成人高潮视频无遮挡免费网站| 99riav亚洲国产免费| 亚洲精品中文字幕在线视频| 成年免费大片在线观看| 少妇被粗大的猛进出69影院| 日日摸夜夜添夜夜添小说| 一个人免费在线观看电影 | 免费av毛片视频| 高潮久久久久久久久久久不卡| 精品久久久久久久毛片微露脸| www日本在线高清视频| 高清毛片免费观看视频网站| 欧美又色又爽又黄视频| √禁漫天堂资源中文www| 亚洲男人天堂网一区| 亚洲精品av麻豆狂野| 性色av乱码一区二区三区2| 又紧又爽又黄一区二区| 香蕉国产在线看| 国产男靠女视频免费网站| 欧美中文综合在线视频| 亚洲熟妇熟女久久| 天天一区二区日本电影三级| 久久九九热精品免费| 亚洲真实伦在线观看| 欧美另类亚洲清纯唯美| 国产av不卡久久| 欧美乱码精品一区二区三区| 免费看十八禁软件| 久久欧美精品欧美久久欧美| 欧美国产日韩亚洲一区| 亚洲av日韩精品久久久久久密| 亚洲国产精品合色在线| 好男人在线观看高清免费视频| 99国产极品粉嫩在线观看| 日韩欧美在线二视频| 国产黄a三级三级三级人| 国产伦一二天堂av在线观看| 中国美女看黄片| 999久久久国产精品视频| 亚洲欧美精品综合久久99| 岛国视频午夜一区免费看| 中文字幕av在线有码专区| 99国产精品一区二区蜜桃av| 成人av一区二区三区在线看| 精品日产1卡2卡| 久久久久久久久久黄片| 一本大道久久a久久精品| 一级片免费观看大全| 国产高清视频在线播放一区| 老司机福利观看| 老汉色av国产亚洲站长工具| www日本在线高清视频| tocl精华| 亚洲成人中文字幕在线播放| 啦啦啦观看免费观看视频高清| 黄频高清免费视频| 999精品在线视频| 亚洲第一欧美日韩一区二区三区| 免费在线观看完整版高清| 日韩欧美在线乱码| av超薄肉色丝袜交足视频| 午夜视频精品福利| 亚洲欧美精品综合久久99| 亚洲国产欧洲综合997久久,| 在线十欧美十亚洲十日本专区| 国产av又大| 五月伊人婷婷丁香| 国内精品久久久久精免费| 日本a在线网址| 三级国产精品欧美在线观看 | 白带黄色成豆腐渣| 亚洲人与动物交配视频| 少妇被粗大的猛进出69影院| 久久精品国产综合久久久| 一边摸一边抽搐一进一小说| 免费看a级黄色片| 久久热在线av| 18禁美女被吸乳视频| 国产一区二区三区视频了| 欧美一级毛片孕妇| 国产一区二区在线av高清观看| 曰老女人黄片| 无人区码免费观看不卡| 久久天堂一区二区三区四区| 国产午夜精品论理片| 给我免费播放毛片高清在线观看| 国产精品久久久av美女十八| 精品国内亚洲2022精品成人| 最近最新中文字幕大全免费视频| 黄色 视频免费看| 一卡2卡三卡四卡精品乱码亚洲| 国产一区二区激情短视频| 婷婷精品国产亚洲av| 免费在线观看成人毛片| 久久久久久久久久黄片| 天天一区二区日本电影三级| 在线观看免费午夜福利视频| 在线观看一区二区三区| 日日摸夜夜添夜夜添小说| 中亚洲国语对白在线视频| 男人舔奶头视频| 欧洲精品卡2卡3卡4卡5卡区| 嫩草影院精品99| 精品一区二区三区视频在线观看免费| 成人国语在线视频| 99在线人妻在线中文字幕| 精品福利观看| 国产视频内射| 88av欧美| 99国产精品一区二区三区| 欧美色视频一区免费| 国产一区二区在线观看日韩 | 两人在一起打扑克的视频| 久久精品国产清高在天天线| 国产成+人综合+亚洲专区| 欧美人与性动交α欧美精品济南到| 亚洲片人在线观看| 中文资源天堂在线| 亚洲欧美日韩高清专用| 国产精品av视频在线免费观看| 久久精品国产综合久久久| 久久午夜亚洲精品久久| www日本黄色视频网| 一区二区三区国产精品乱码| 男人的好看免费观看在线视频 | 男女那种视频在线观看| 欧美zozozo另类| 男人舔女人的私密视频| 一本精品99久久精品77| 亚洲七黄色美女视频| 又粗又爽又猛毛片免费看| 欧美大码av| 亚洲av熟女| 99国产极品粉嫩在线观看| 50天的宝宝边吃奶边哭怎么回事| 99久久无色码亚洲精品果冻| 最好的美女福利视频网| 精品国内亚洲2022精品成人| 欧美成人一区二区免费高清观看 | 免费人成视频x8x8入口观看| av天堂在线播放| 一级毛片女人18水好多| 麻豆av在线久日| 97人妻精品一区二区三区麻豆| 精品久久久久久久人妻蜜臀av| www.www免费av| 欧美在线黄色| 黑人操中国人逼视频| 最近在线观看免费完整版| 国产精品久久久人人做人人爽| 两性午夜刺激爽爽歪歪视频在线观看 | 精品少妇一区二区三区视频日本电影| 两人在一起打扑克的视频| 亚洲精品粉嫩美女一区|