• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    社會監(jiān)管理念下金融科技算法黑箱的制度因應(yīng)

    2020-01-08 20:45:26袁康
    關(guān)鍵詞:黑箱運營者決策

    袁康

    在大數(shù)據(jù)、人工智能、區(qū)塊鏈等技術(shù)創(chuàng)新蓬勃發(fā)展的驅(qū)動下,金融科技開始被寄予推動金融行業(yè)變革升級的厚望。量化交易、大數(shù)據(jù)征信、智能投顧等創(chuàng)新應(yīng)用已經(jīng)逐步投入實踐,成為金融科技加速融入現(xiàn)代金融體系的重要標(biāo)志,金融科技的創(chuàng)新應(yīng)用也為中國金融行業(yè)實現(xiàn)彎道超車提供了有利契機。根據(jù)埃森哲的調(diào)查,2018 年金融科技全球投資達到533 億美元,中國投資額同比增長近9 倍,達到255億美元,幾乎達到2017 年的全球投資總額[1]。KPMG 發(fā)布的2018 金融科技100 強榜單中,中國金融科技企業(yè)在前10 強中占據(jù)4 席[2]。然而,在金融科技應(yīng)用過程中,市場大都關(guān)注數(shù)字化、自動化和智能化所帶來的效率提升結(jié)果,卻忽略了大數(shù)據(jù)和人工智能技術(shù)所依賴的算法系統(tǒng)中輸入數(shù)據(jù)與輸出結(jié)果之間存在著無法洞悉的“隱層”,即所謂“黑箱”(black box)[3]?!八惴ê谙洹痹谑聦嵣险诒瘟藬?shù)據(jù)處理和交易決策的運行過程。金融科技自身的創(chuàng)新價值和進步意義自不待言,但金融科技的算法黑箱所造成的透明度缺失會加劇信息不對稱,容易為欺詐提供滋生的土壤。因此有效因應(yīng)和破解金融科技應(yīng)用的算法黑箱,是防范金融科技應(yīng)用風(fēng)險的重要前提。

    當(dāng)前探討本文相關(guān)主題的文獻主要集中于兩個層面:一是從金融和法律的視角對金融科技的監(jiān)管問題進行宏觀架構(gòu)和頂層設(shè)計的研究,這些研究認(rèn)識到金融科技帶來的泛金融化、金融風(fēng)險頻發(fā)、金融體系內(nèi)生和外生風(fēng)險等問題需要以金融監(jiān)管范式的轉(zhuǎn)變予以回應(yīng)[4],除了借鑒監(jiān)管科技和監(jiān)管沙箱等手段之外[5],引入多元主體、多元規(guī)范、多元機制的合作治理模式對金融監(jiān)管進行適應(yīng)性變革,避免過度依賴行政監(jiān)管并且發(fā)揮社會力量的積極性和專業(yè)優(yōu)勢,也成為應(yīng)對復(fù)雜的金融科技應(yīng)用的可行方案[6]。二是從技術(shù)的角度探討算法黑箱的治理路徑,對于算法的不可解釋隱憂、自我強化困境與主體性難題予以高度關(guān)注[7],而金融科技中算法交易的有效性和安全性也備受質(zhì)疑[8]。有學(xué)者提出要通過算法有效性測試、算法有限公開、算法備案等制度降低算法的透明度風(fēng)險[9]。而對于如何治理金融科技中的算法黑箱問題,雖有學(xué)者提出關(guān)切但并未形成有效的思路[10]。

    相比于以往研究,本文將視角聚焦于金融科技應(yīng)用中算法黑箱這一具體問題,在分析金融科技中算法黑箱的生成機理和主要風(fēng)險的基礎(chǔ)上,厘清破解算法黑箱的核心要素,并且集中從社會監(jiān)管理念出發(fā),探討通過賦權(quán)與規(guī)范的方式引導(dǎo)社會力量參與金融科技監(jiān)管,以協(xié)同治理框架破解算法黑箱。概言之,本文的貢獻與創(chuàng)新在于避免過于宏大敘事地泛談金融科技監(jiān)管,而是針對算法黑箱的風(fēng)險及其治理,開辟出未來金融科技監(jiān)管中不容忽視的一條可行路徑。

    一、金融科技運用中的算法黑箱及其法律風(fēng)險

    (一)金融科技伴生的算法黑箱難題

    金融科技應(yīng)用的終極目標(biāo),是借助日新月異的技術(shù)進步實現(xiàn)金融活動的高效和普惠。傳統(tǒng)金融活動中信息的傳遞、匹配和處理受到人類思維和認(rèn)知的諸多局限,金融科技的出現(xiàn)和應(yīng)用為計算機在一定程度上替代人類搜集、分析相關(guān)信息并作出交易決策提供了可能,使得金融活動能夠以自動化、智能化的方式完成,從而能夠不斷提高金融服務(wù)的普惠性與便捷性,有效促進生產(chǎn)效率的提升[11]。例如,智能投顧能夠在充分評估投資者的投資偏好和風(fēng)險承受能力的基礎(chǔ)上,建議甚至替代投資者作出最優(yōu)的投資決策;商業(yè)銀行亦可以通過大數(shù)據(jù)技術(shù)的應(yīng)用,對借款人的資信狀況進行測評,從而在線上計算出相應(yīng)的信貸額度并自動完成貸款發(fā)放流程。以大數(shù)據(jù)、人工智能等技術(shù)為代表的金融科技,已充分展示出應(yīng)用于未來金融市場的廣泛前景,也體現(xiàn)了降低金融交易成本、提高金融效率并拓展金融服務(wù)覆蓋范圍的巨大潛力。然而,實現(xiàn)智能化和自動化的前提和基礎(chǔ)是以計算機網(wǎng)絡(luò)系統(tǒng)替代人腦人力,即以技術(shù)理性替代人類思維,這便意味著“算法”將在很大程度上成為金融市場活動所遵循的基本邏輯。易言之,金融科技的應(yīng)用將強化計算機系統(tǒng)網(wǎng)絡(luò)在金融市場活動中的角色和地位,算法或?qū)⒊蔀榻鹑隗w系運行的驅(qū)動力量。

    算法(Algorithm)是指對解題方案準(zhǔn)確而完整的描述,是一系列解決問題的清晰指令。算法代表著用系統(tǒng)的方法描述解決問題的策略機制。作為大數(shù)據(jù)技術(shù)和人工智能的基礎(chǔ),算法是金融科技應(yīng)用過程中對金融市場主體和交易信息等數(shù)據(jù)進行搜集和處理的核心邏輯。當(dāng)前人工智能和機器學(xué)習(xí)的發(fā)展尚處在起步階段,計算機自身并不具備自主思維,其對信息的處理都是依賴于人工設(shè)置的算法,因此算法在金融科技應(yīng)用中具有關(guān)鍵性地位。金融科技應(yīng)用中算法的基本工作原理是按照算法設(shè)計的運算邏輯搜集符合條件的相關(guān)信息作為輸入數(shù)據(jù),根據(jù)設(shè)定的規(guī)則和流程進行處理并輸出計算結(jié)果。例如,在大數(shù)據(jù)征信應(yīng)用中,系統(tǒng)在抓取征信對象的交易信息、履約信息、財產(chǎn)信息等數(shù)據(jù)后,按照預(yù)先設(shè)置的評價體系和評分標(biāo)準(zhǔn)對征信對象進行數(shù)據(jù)化評價,最后得出征信對象的信用評分。從運行的原理和流程來看,算法具有兩個方面的特征需要我們在享受其帶來的巨大便利的同時加以警惕:其一,盡管輸入信息和輸出結(jié)果是可見的,但算法對數(shù)據(jù)進行處理和運算的過程封裝在算法黑箱之中,是不可見、不透明的。而算法本身又是以程序代碼的形式存在,其高度的復(fù)雜性和專業(yè)性使得一般人幾乎不可能獨立自主地了解其設(shè)計理念和運行邏輯。其二,盡管算法運用所意味的自動化和智能化能夠在一定程度上排除人工的干預(yù),可以得到更為客觀的結(jié)果,但是算法的設(shè)置仍然無法脫離人為干預(yù),即算法規(guī)則如何確定等依然具有被人為操縱的可能性。易言之,算法本身并非是完全“價值中立”的,其在設(shè)計之時可能已經(jīng)受到設(shè)計者的價值判斷的影響,從而帶有某種難以避免的偏見、局限。這種操縱與歧視又因為算法自身的不透明性而更為隱蔽,從而更易造成難以察覺的損害。概言之,算法自身的復(fù)雜性和不透明性導(dǎo)致了算法黑箱的形成,而算法編寫過程中的“非中立性”本質(zhì)在“黑箱”掩蓋下蘊藏著人為操縱的巨大風(fēng)險。

    (二)算法黑箱帶來的欺詐風(fēng)險

    算法取代人工決策存在欺詐風(fēng)險。與傳統(tǒng)機器被動學(xué)習(xí)不同,以算法為基礎(chǔ)的大數(shù)據(jù)、智能投顧等金融科技遵循數(shù)據(jù)輸入、特征提取、特征選擇、邏輯推理、預(yù)測的過程,由計算機從事物原始特征出發(fā),自動學(xué)習(xí)和生成高級的認(rèn)知結(jié)果。算法應(yīng)用于金融活動決策的初衷是為了消除人類決策受諸多有意或無意的偏見以及信息不充分等因素影響,因此利用數(shù)學(xué)模型將投資交易決策量化、客觀化,可以消除決策程序中的人類偏見。智能算法的設(shè)計目的、數(shù)據(jù)運用、結(jié)果表征等都是開發(fā)者、設(shè)計者的主觀價值選擇,他們可能會把自己持有的利益導(dǎo)向嵌入智能算法之中,而智能算法又可能會把這種傾向進一步放大或者固化[12],難以確保算法系統(tǒng)公正性而帶來欺詐風(fēng)險。在算法規(guī)則設(shè)置及數(shù)據(jù)輸入中,都存在著欺詐的風(fēng)險可能。以智能投顧為例,智能投顧公司與負(fù)責(zé)算法設(shè)計的科技公司利用后者技術(shù)優(yōu)勢在算法中設(shè)置不公平規(guī)則,使某類金融產(chǎn)品總能獲得優(yōu)勢評估而被廣泛推薦給不知情消費者[13];抑或在數(shù)據(jù)輸入中存在強烈導(dǎo)向,系統(tǒng)基于不合理的數(shù)據(jù)演算得出不公平的金融產(chǎn)品評估結(jié)果,對廣大投資者存在著相當(dāng)?shù)臐撛诶媲趾赡埽a(chǎn)生欺詐風(fēng)險。

    算法將決策過程隱藏在黑箱中,其流程的隱蔽性和不透明性存在欺詐風(fēng)險?!昂谙洹辈粌H意味著不能觀察,還意味著即使將作出這一決策的代碼向普通民眾公開,其也難以被理解。換言之,算法黑箱中的決策產(chǎn)生過程不但不可見,一般人也難以對黑箱中的流程進行合理的質(zhì)疑與查驗。除了此種因技術(shù)文盲而產(chǎn)生的不透明性之外,金融科技所應(yīng)用的算法還有其他兩種不透明性,即因公司商業(yè)秘密或者國家秘密而產(chǎn)生的不透明性,以及從機器學(xué)習(xí)算法的特征以及要求對它們進行有效適用的測量中產(chǎn)生的不透明性[14]。黑箱的存在使決策過程缺乏合理監(jiān)管,同時黑箱中數(shù)據(jù)操作流程的復(fù)雜性與專業(yè)性,與具有不同基礎(chǔ)的主體之間存在著顯著的數(shù)字鴻溝,普通消費者甚至金融機構(gòu)都處于被動接受結(jié)果狀態(tài)而無法主動介入、了解決策程序,這給予了算法設(shè)計者、開發(fā)者及運營者極大的自治空間。由于算法的不透明性,如果不加以監(jiān)管,任其參與金融活動的宣傳或決策過程,無疑會增加市場主體受欺詐的風(fēng)險。

    算法成為決策責(zé)任主體剝離責(zé)任的理由,從而存在欺詐風(fēng)險。法律責(zé)任認(rèn)定中的核心問題為應(yīng)由何者來承擔(dān)因過錯行為和損害結(jié)果所產(chǎn)生的損害賠償問題。2017 年10 月,機器人Sophia 被沙特阿拉伯王國授予公民身份,這意味著人工智能系統(tǒng)被賦予法律上的獨立人格已有先例[15]。人工智能機器人能否獨立承擔(dān)民事責(zé)任仍存爭議[16],我國目前尚無相關(guān)法律法規(guī)予以明確規(guī)定,然而隨著人工智能的不斷深入發(fā)展,存在著人工智能獨立成為法律主體、享有權(quán)利、履行義務(wù)的可能。在金融科技的應(yīng)用中,隨著人工智能在法律關(guān)系中的地位從客體到主體的轉(zhuǎn)變,既有責(zé)任分配的方式也勢必會受到一定程度的影響。以金融科技運用較為成熟的智能投顧為例,以算法為基礎(chǔ)的智能投顧事實上已經(jīng)能在一定程度上取代人類投資顧問,可以向投資者直接提供投資顧問服務(wù)。在傳統(tǒng)侵權(quán)責(zé)任法下,智能投顧機器人作為受金融服務(wù)公司直接支配的物,若在提供服務(wù)的過程中對第三人造成了損失,則由金融服務(wù)公司承擔(dān)直接責(zé)任。但如果智能投顧等人工智能在法律上實現(xiàn)了從客體到主體的轉(zhuǎn)變,金融交易的法律關(guān)系將在一定程度上被重塑。在此種情形下,智能投顧等人工智能作為法律擬制的“人”,其與金融服務(wù)公司之間的法律關(guān)系將從支配關(guān)系變?yōu)楣蛡蜿P(guān)系,相應(yīng)地,若其引致?lián)p害事實的發(fā)生,金融服務(wù)公司所承擔(dān)的責(zé)任也從直接責(zé)任轉(zhuǎn)變?yōu)榱颂娲?zé)任。而承擔(dān)替代責(zé)任的前提是,雇員因執(zhí)行工作任務(wù)而造成他人損害。對于強人工智能,其具有較強的自我學(xué)習(xí)能力,不排除其存在偏離既定的“工作任務(wù)”,自主開展其他任務(wù)的可能性,進而使得作為智能投顧等人工智能背后的委托人或雇主的自然人或法人可以通過算法學(xué)習(xí)過程中的不可控制性為自身的行為進行辯解。智能投顧的核心是算法,在算法和程序支配之下,智能投顧機器人通過對大數(shù)據(jù)的分析提供投資顧問服務(wù)。相較于金融消費者,開發(fā)者、運營者對智能投顧等人工智能的設(shè)計和進化有著絕對的專業(yè)優(yōu)勢,如果開發(fā)者、運營者在設(shè)置算法時進行有違公平的操作,對投資者進行欺詐,并以人工智能的法律人格獨立性為由逃脫追責(zé),勢必會給市場各主體帶來巨大的欺詐風(fēng)險及損失。

    二、破解算法黑箱的核心要素

    算法因其自身的復(fù)雜性和不透明性而導(dǎo)致算法黑箱的產(chǎn)生,算法黑箱的存在使部分開發(fā)者和運營者的不法目的得以實現(xiàn),給金融市場帶來巨大風(fēng)險。根據(jù)算法黑箱的產(chǎn)生及其存在的風(fēng)險誘因,破解算法黑箱的核心要素在于解決算法的可靠性、透明性、可解釋性及可問責(zé)性問題,完善核心要素機制,降低算法黑箱存在的風(fēng)險可能性。

    (一)算法的可靠性:破解黑箱的前置要素

    算法的可靠性要素本質(zhì)上即算法公平。在理想情況下,數(shù)據(jù)系統(tǒng)將有助于消除不恰當(dāng)?shù)娜祟惼姟=鹑诳萍妓鶓?yīng)用的算法大部分是機構(gòu)開發(fā)和推廣的,主動權(quán)并不取決于用戶個體的力量。作為機構(gòu)意志的模型,算法的實施初衷、數(shù)據(jù)運用、程序開發(fā)、代碼嵌入、結(jié)果表征往往與機構(gòu)掌控者的利益追求緊密相連,換言之,算法因與人的干預(yù)有關(guān)聯(lián)而無法絕對客觀[17],因此算法在很大程度上存在著產(chǎn)生帶有歧視和偏見的決策結(jié)果,從而對金融市場投資者的利益產(chǎn)生負(fù)面影響,例如對無經(jīng)驗的投資者進行價格歧視。經(jīng)驗豐富的投資者能夠撇開產(chǎn)品的復(fù)雜性,選擇風(fēng)險收益較高的金融產(chǎn)品,而無經(jīng)驗的投資者對復(fù)雜產(chǎn)品的平均預(yù)期收益水平的估計較高,從而選擇復(fù)雜產(chǎn)品而非簡單產(chǎn)品,為產(chǎn)品的復(fù)雜性支付溢價。同時通過算法技術(shù),價格歧視從以往的二級或三級提升至理想化的一級水平,即數(shù)據(jù)處理者挖掘消費者足跡,完全掌握消費者的消費意愿和預(yù)期價格[18],將產(chǎn)品依據(jù)消費者不同而進行不同定價,按照每一位消費者的最高支付意愿進行差異化定價,作為消費者的個體卻無絲毫反抗之力。完善算法的可靠性機制即促進算法公平性調(diào)整,追求算法的程序公平和結(jié)果公平,減少算法中存在的偏見與歧視,能夠真正實現(xiàn)為投資者利益服務(wù)的目的,降低黑箱風(fēng)險發(fā)生可能性。

    (二)算法的透明性與可解釋性:破解黑箱的過程要素

    算法黑箱產(chǎn)生的一大關(guān)鍵因素即算法的不透明性。傳統(tǒng)形式上的一般決策都能夠反映決策主體的說理與論證,然而以算法為基礎(chǔ)的人工智能、大數(shù)據(jù)的自動決策系統(tǒng)往往直接得出結(jié)果,一般人只能接收決策結(jié)果而對決策產(chǎn)出的規(guī)則、相關(guān)理論、模型依據(jù)等處理過程一無所知。投資者對算法的透明性的要求實際上是“知情權(quán)”這一傳統(tǒng)消費者權(quán)利在金融科技領(lǐng)域的具像化展開,算法的不透明性擴大了算法開發(fā)者、運營者與普通消費者之間的信息鴻溝,使金融市場上的信息不對稱情況惡化,加劇了市場各主體地位不平等的現(xiàn)狀。例如,國內(nèi)目前的智能投顧公司大都對其模型依據(jù)和關(guān)鍵參數(shù)語焉不詳,在費率等關(guān)鍵問題上也并未明確告知投資者[19]。這種由于技術(shù)因素引發(fā)的信息不對稱,必然會影響投資者作出合理判斷。提高算法的透明度不失為解決此種信息不對稱的一種有益嘗試。當(dāng)算法的操作規(guī)則、創(chuàng)建、驗證過程完全公開,此時才屬于完全透明算法。然而由于算法技術(shù)的專業(yè)性與特殊性,尤其是算法自身涉及知識產(chǎn)權(quán)、商業(yè)秘密等問題,要求算法的完全透明不現(xiàn)實也無根本意義。追求合理程度的、有意義的算法透明性,能夠保障市場主體應(yīng)有的知情權(quán),也能為算法的公平性提供相應(yīng)的根據(jù),為算法的監(jiān)管與運用提供良好背景。

    算法可解釋性關(guān)涉市場主體的主人翁地位,其含義是算法開發(fā)者對算法的決策機制作出解釋,依據(jù)算法系統(tǒng)對其決策過程作出闡述[20]。對算法的安全感、認(rèn)同度取決于算法的可解釋性。從內(nèi)部視角來看,算法在金融市場具體應(yīng)用場景的局限以及對糾正算法決策偏差的需求,使得算法的開發(fā)者和運營者需要尋求算法的可解釋性以推動其應(yīng)用;從外部視角來看,由于金融市場上傳統(tǒng)的約束機制如信息披露等難以對算法產(chǎn)生足夠約束并常常失靈,投資者、社會公眾以及監(jiān)管部門會要求確認(rèn)算法決策的可信度和正當(dāng)性,從而產(chǎn)生對算法可解釋性的需求。算法可解釋性在本質(zhì)上是算法理性問題,追求算法可解釋性的背后是尋求理性結(jié)果,算法程序和系統(tǒng)只是途徑和手段,算法決策過程中的價值判斷是核心。目前金融科技中運用的算法決策的可解釋性主要分為兩類,第一類是執(zhí)行性的自動化程序決策場景,在此種程序下,代碼的作用僅是根據(jù)設(shè)計者設(shè)定的決策程序執(zhí)行。例如,大數(shù)據(jù)抓取數(shù)據(jù)得出統(tǒng)計結(jié)論,此類算法決策具有較高可解釋性,能夠反映出決策理性。第二類是具有深度學(xué)習(xí)能力的人工智能,其結(jié)構(gòu)、算法的復(fù)雜性決定其可解釋性難度較高,因此存在著黑箱風(fēng)險。例如,智能投顧的主要決策建議均涉及人工智能的參與。在目前算法透明度規(guī)制還未存有共識的情況下,針對算法黑箱風(fēng)險的解決,對于算法提出一般化的可解釋性原則殊為必要。

    (三)算法的可問責(zé)性:破解黑箱的責(zé)任要素

    算法可問責(zé)性對于破解算法黑箱具有重要意義。根據(jù)美國智庫“數(shù)據(jù)創(chuàng)新中心”(CFDI)的《算法問責(zé)框架報告》,算法可問責(zé)性的定義為算法系統(tǒng)應(yīng)采用各種控制措施來確保運營者(即負(fù)責(zé)部署算法的一方)可以驗證其是否按預(yù)期運行,并確定和糾正有害后果[21]。首先,算法可問責(zé)性旨在使運營者對于算法造成的任何危害負(fù)責(zé),本質(zhì)上屬于無過錯責(zé)任。由于運營者在金融科技的使用上能夠?qū)鹑谑袌霎a(chǎn)生最大的影響力,因此對運營者的問責(zé)能夠確保其使用算法提供金融服務(wù)時的合法性。其次,要求運營者對算法造成的結(jié)果而非算法決策過程負(fù)責(zé),能夠使運營者對算法的部署及實際運用效果給予具體且足夠的關(guān)切,并采取相關(guān)配套措施以降低風(fēng)險發(fā)生的可能性。當(dāng)算法的缺陷或漏洞導(dǎo)致了損害結(jié)果,算法的開發(fā)者與運營者往往會以算法決策過程的自動化和智能化作為免責(zé)事由,決策主體與責(zé)任主體相脫離會加劇算法黑箱導(dǎo)致欺詐風(fēng)險的可能。加強算法的可問責(zé)性,使算法的開發(fā)者和運營者在合理的范圍內(nèi)承擔(dān)責(zé)任,能夠有助于金融科技的負(fù)責(zé)任應(yīng)用,在一定程度上減少算法黑箱的空間。

    三、社會監(jiān)管理念及其破解算法黑箱的可能性

    在金融科技逐漸被廣泛運用到金融市場的過程中,由于算法技術(shù)的專業(yè)性與復(fù)雜性,并且存在知識產(chǎn)權(quán)和商業(yè)秘密的諸多因素影響,對其進行審查非常困難,且對于非專業(yè)人士而言執(zhí)行成本較高。同時,由于未來金融服務(wù)的發(fā)展趨勢是個性化、定制化,算法黑箱的產(chǎn)生將更加隱蔽,僅由金融監(jiān)管部門通過傳統(tǒng)的行政監(jiān)管的方式對算法黑箱問題加以規(guī)制,其作用有限,不能滿足迅速發(fā)展的市場需求及當(dāng)前巨大的監(jiān)管空白。根據(jù)我國國情及金融市場發(fā)展現(xiàn)狀,基于通過單一主體的力量無法解決算法黑箱問題的現(xiàn)實,我國應(yīng)引入社會監(jiān)管理念以破解算法黑箱。

    (一)社會監(jiān)管理念的引入

    社會監(jiān)管理念是指監(jiān)管主體和監(jiān)管方式的社會化,是社會共治理論在市場監(jiān)管領(lǐng)域的具體表現(xiàn)。監(jiān)管主體的社會化即履行監(jiān)管義務(wù)的主體不局限于監(jiān)管部門,而是各類社會主體通過溝通、協(xié)商、調(diào)和、合作的方式進行共同監(jiān)管,政府、社會組織、企業(yè)、公民個人等主體都可以在一定規(guī)則的約束下,以不同形式共同行使監(jiān)管權(quán)力。企業(yè)自治、行業(yè)自律、社會監(jiān)督、政府監(jiān)管共同組成社會監(jiān)管體系,任何一個主體都難以單槍匹馬地行動,而必須尋求與其他主體的通力合作、共同治理,以實現(xiàn)治理力量的合理均衡[22]。監(jiān)管方式的社會化即各主體履行監(jiān)管義務(wù)的方式各不相同,政府通過具有執(zhí)行權(quán)的監(jiān)管部門進行事前出臺相應(yīng)規(guī)定和事后處罰,企業(yè)通過自我審查機制檢驗合法性,社會組織以第三方身份進行必要監(jiān)督,公民以消費者身份要求行使對相關(guān)信息的知情權(quán)。社會監(jiān)管理念激發(fā)和引導(dǎo)多元市場主體參與監(jiān)管,能夠彌補傳統(tǒng)監(jiān)管的空白,適應(yīng)市場發(fā)展的現(xiàn)實需求,是提升社會監(jiān)管水平和效率的必要途徑。在金融領(lǐng)域,社會監(jiān)管理論也正日益受到重視,中介機構(gòu)、新聞媒體等社會機構(gòu)直接或間接參與金融監(jiān)管,能夠通過金融監(jiān)管的社會化增強監(jiān)管力量,實現(xiàn)監(jiān)管效能的提升[23]。

    (二)社會監(jiān)管理念的實現(xiàn)

    在社會監(jiān)管模式中,政府仍需發(fā)揮主導(dǎo)作用,與此同時,政府在社會監(jiān)管模式中必須重視各社會主體的合作監(jiān)督,發(fā)揮各市場主體的最大效用。社會監(jiān)管理念在金融科技算法領(lǐng)域的運用即聯(lián)合政府、市場投資者、第三方專業(yè)機構(gòu)及算法開發(fā)者和運營者對算法決策開展監(jiān)督管理,采用多種監(jiān)管方式,有效推動算法的核心要素實現(xiàn),從而達到破解算法黑箱的目的。

    政府有關(guān)部門對算法進行監(jiān)管,推動算法透明性和可問責(zé)性要素的實現(xiàn)。2017 年2 月歐盟議會通過《機器人民事法律規(guī)則》,強調(diào)算法透明原則,即對某個人或更多人的生活可能產(chǎn)生實質(zhì)性的影響、借助人工智能所做出的決策,必須在任何情況下都可以提供其決策背后的算法設(shè)計規(guī)則。這自然也包括金融科技應(yīng)用領(lǐng)域中的決策算法。2017 年12 月美國紐約市議會通過了算法問責(zé)法案,根據(jù)此法案將成立一個由自動化決策系統(tǒng)專家和受自動化決策系統(tǒng)影響的公民組織代表組成的工作組,專門監(jiān)督市政機構(gòu)使用的自動決策算法的公平性、可問責(zé)性和透明性。雖然這項法案并未涉及金融市場領(lǐng)域,但可見國外相關(guān)監(jiān)管部門對算法決策的透明性問題逐步重視,其關(guān)于算法透明性的規(guī)制亦將完善。相關(guān)部門出臺相應(yīng)的針對算法透明性范圍及問責(zé)機制的法律法規(guī)具有強制效力和法律剛性,根據(jù)這些法律法規(guī),通過事前規(guī)制與事后處罰相結(jié)合,明確對于算法透明性的要求,厘清算法的責(zé)任主體、決策行為、損害后果和因果關(guān)系,從而確定和分配算法責(zé)任[24]。算法的透明性要求及可問責(zé)性的完善能夠?qū)λ惴ㄩ_發(fā)者和運營者起到威懾作用,促使其合法合規(guī)地開發(fā)、運營算法,提高算法決策的公平性。

    金融市場投資者對算法進行監(jiān)督,能夠推動算法可解釋性和可靠性要素的實現(xiàn)。金融消費者與一般消費者同樣享有知情權(quán),即公平、自由、不受歧視地享有全面、真實、準(zhǔn)確獲取金融信息的權(quán)利[25]。2017 年1 月,美國計算機協(xié)會(ACM)下屬的公共政策委員會發(fā)布《算法透明性和可問責(zé)性聲明》(Statement on Algorithmic Transparency and Accountability),提出了七項基本原則,其中一項為“解釋”,希望鼓勵使用算法決策的系統(tǒng)和機構(gòu),對算法的過程和特定的決策提供解釋。2018 年5 月歐盟正式實施的《通用數(shù)據(jù)保護條例》中提出“解釋權(quán)”,賦予歐盟國家公民“審查某項特定服務(wù)中如何作出特定算法決策”的權(quán)利。從國外的實踐來看,就智能金融自動化算法規(guī)制來說,知情權(quán)可以延伸為對算法的“獲解釋權(quán)”,即對于智能金融算法得出的決策過程及結(jié)果可以請求運營者給出必要的解釋。金融消費者對于算法的“獲解釋權(quán)”自算法信息搜集階段始,對于個人數(shù)據(jù)的使用和處理及算法系統(tǒng)所可能產(chǎn)生的黑箱、歧視、隱私泄露等倫理和法律問題均有知情及獲解釋的權(quán)利。金融消費者因涉及其自身利益而對“獲解釋權(quán)”的積極行使,將使算法時刻處于消費者的監(jiān)督之下,從而促使算法開發(fā)者及運營者對算法進行更為準(zhǔn)確與公平的設(shè)置,這將有效提升算法可靠性,降低黑箱風(fēng)險。

    第三方專業(yè)機構(gòu)對算法進行監(jiān)督,可以推動算法透明性和可靠性的實現(xiàn)。專業(yè)監(jiān)督即對算法設(shè)計制定具有可操作性的技術(shù)和行業(yè)規(guī)范以及算法運行及決策全過程進行監(jiān)督,讓算法開發(fā)者在進行設(shè)計之前、運營者在算法運行之時均能受到有效制約。由于算法的專業(yè)性和復(fù)雜性,監(jiān)管部門難以對其實行有效的審查,一般公眾也難以承擔(dān)對算法進行解密或透明化的高成本,因此,算法的監(jiān)督及檢查可以由政府或政府委托的機構(gòu)承擔(dān),尤其是對于復(fù)雜算法的監(jiān)督可以委托專門的機構(gòu)協(xié)助進行審查。互聯(lián)網(wǎng)領(lǐng)域存在大量“白帽”黑客,即專門研究或者從事網(wǎng)絡(luò)、計算機技術(shù)開發(fā)的人,通常受雇于各大公司維護其系統(tǒng)安全。而在“白帽”黑客的范疇中存在“紅帽”黑客,“紅帽”黑客利用其技術(shù)維護國家總體網(wǎng)絡(luò)安全而非為某特定市場主體服務(wù),以堅持正義為宗旨,關(guān)注設(shè)計公共利益的網(wǎng)絡(luò)事項,具有價值中立性?!凹t帽”黑客作為第三方專業(yè)機構(gòu)對算法進行測試檢查,能夠更加容易洞悉設(shè)計者的理念并了解具體的操作程序,通過同行專家的評價和信息披露,可以對設(shè)計者開發(fā)的算法進行有效監(jiān)督,同時第三方專業(yè)機構(gòu)價值中立,其不會偏向任何一方,對于有損決策公平性的算法黑箱零容忍。智能金融算法與普通消費者之間存在的巨大的信息鴻溝在“紅帽”黑客處并不存在,“紅帽”黑客利用其技術(shù)優(yōu)勢能夠?qū)λ惴ㄟM行有效監(jiān)督,提升其透明度和公平性。

    算法開發(fā)者、運營者進行內(nèi)部自我監(jiān)督,能夠推動算法的可靠性和可解釋性的實現(xiàn)。內(nèi)部自我監(jiān)督既包括對于具體算法系統(tǒng)的檢驗設(shè)置,也包括行業(yè)內(nèi)算法技術(shù)設(shè)計原則的審視。美國計算機協(xié)會(ACM)提出算法的驗證和測試原則[26],即算法開發(fā)者應(yīng)該使用嚴(yán)格的方法來驗證它們的算法模型,記錄這些方法和結(jié)果并定期進行測試,以評估和確定該算法模型是否產(chǎn)生了歧視性損害,同時鼓勵機構(gòu)公開這些測試的結(jié)果。這一原則同樣適用于智能金融算法領(lǐng)域,算法開發(fā)者、運營者在將智能金融算法投入市場使用前、使用過程中應(yīng)對其進行驗證,以確保在為消費者提供金融服務(wù)或作出金融決策時已最大化消除歧視偏見。算法開發(fā)者對于算法的了解程度最高,發(fā)現(xiàn)并糾正算法漏洞和不合理設(shè)置的效率更高。由于受到法律規(guī)制及外部監(jiān)督,為維護其競爭優(yōu)勢及聲譽,算法開發(fā)者和運營者有足夠的動機主動對算法進行檢測。算法技術(shù)可能產(chǎn)生黑箱問題,那么改良技術(shù)本身也是推動、破解黑箱的核心要素實現(xiàn)的重要途徑。通過設(shè)計算法系統(tǒng)來促進公平,可以從算法運轉(zhuǎn)的第一步防止歧視。利用設(shè)計和基礎(chǔ)工程的平等機會原則,采用合理的道德要求和專業(yè)的最佳做法(best practice),也將有助于減少算法長期的歧視性現(xiàn)象,增強包容性。例如,以羅爾斯的機會平等理念(fair equality of opportunity)為基礎(chǔ)設(shè)計的機會平等的技術(shù)模型,在一個在線決策模型中提出滿足平等和效率平衡的算法技術(shù)約束,并開發(fā)“歧視指數(shù)”(discrimination index),對算法技術(shù)的歧視行為提供評判標(biāo)準(zhǔn),提出如何設(shè)計“公平算法”的方法[27]。智能金融算法的開發(fā)者、運營者對于算法的內(nèi)部檢查及對行業(yè)設(shè)計原則的遵守能夠促進算法決策的公平性。因此在金融機構(gòu)應(yīng)用金融科技時,完善數(shù)字化渠道和流程,加強數(shù)字化風(fēng)險控制[28],在算法設(shè)計和應(yīng)用環(huán)節(jié)做好風(fēng)險防范,對于應(yīng)對算法黑箱能夠發(fā)揮重要作用。

    四、賦權(quán)與規(guī)范:社會監(jiān)管力量參與的路徑與制度

    社會監(jiān)管理念的運用對于金融科技算法黑箱的破解具有深刻意義,其基本內(nèi)涵在于由多元化主體采取多元化方式對算法進行監(jiān)督,從而有效推進和實現(xiàn)破解算法黑箱的核心要素。但社會監(jiān)管力量的參與并非隨意無序,而是以法律法規(guī)賦權(quán)為基礎(chǔ)。換言之,在政府相關(guān)監(jiān)管部門進行行政監(jiān)管的基礎(chǔ)上,各社會主體依據(jù)相關(guān)法律法規(guī)賦予的權(quán)利進行監(jiān)督,在法律法規(guī)許可范圍內(nèi)行使相應(yīng)權(quán)利。各類社會力量參與金融科技的合作治理,能夠彌補政府在監(jiān)管資源、能力、機制方面的局限,提高監(jiān)管效能。為了消解金融科技應(yīng)用中算法黑箱帶來的欺詐風(fēng)險和不公平后果,必然要求算法核心要素的實現(xiàn)。從社會監(jiān)管參與力量最大化的角度而言,算法的透明性和可問責(zé)性是最佳發(fā)力點。優(yōu)先解決算法的透明性和可問責(zé)性是推動算法核心要素完善的基礎(chǔ),也是破解算法黑箱的最優(yōu)方案。

    算法的完全透明化并不現(xiàn)實,在金融科技運用過程中尋求有意義的算法透明性規(guī)制能夠?qū)崿F(xiàn)對算法黑箱的消解?!坝幸饬x的透明性”允許算法的利益相關(guān)者對算法本身、算法使用和算法實現(xiàn)進行干預(yù),保證算法的過程是負(fù)責(zé)任的[29]。這種有意義的算法公開,既對算法的開發(fā)者和運營者在程序編寫過程中的規(guī)范性提出了更高的要求,也賦予了部分金融消費者深入了解算法深層次邏輯的能力。具體而言,“有意義的透明性”有著相對嚴(yán)格的標(biāo)準(zhǔn)要求:首先,算法能夠以數(shù)學(xué)邏輯符號和自然語言的某種組合形式進行披露;其次,算法的基礎(chǔ)數(shù)據(jù)或?qū)ζ溥M行的描述,有助于外部了解其特征與結(jié)果之間的相關(guān)性和基本邏輯;最后,算法目的、數(shù)據(jù)管理權(quán)和訪問權(quán)、智能合約、算法驗證和跟蹤計劃等可以被評估和檢驗。在社會監(jiān)管力量參與的前提下,為了在實現(xiàn)合理的透明性方案的同時兼顧各方主體的合法權(quán)益,應(yīng)當(dāng)建立算法的開發(fā)與應(yīng)用環(huán)節(jié)的基礎(chǔ)規(guī)則。首先,應(yīng)要求開發(fā)者將其算法設(shè)計的基本情況向監(jiān)管部門進行登記或備案,并向社會公開,滿足公眾行使知情權(quán)的現(xiàn)實需求。其次,由于算法技術(shù)的特殊性,其信息并非主動公開,而應(yīng)由利益相關(guān)的社會主體依法申請查詢,在規(guī)定的范圍內(nèi)對算法信息進行披露,對于涉及商業(yè)秘密、知識產(chǎn)權(quán)的部分應(yīng)做適當(dāng)保護。最后,為了保護算法開發(fā)者的合法權(quán)益,即防止同業(yè)惡性競爭及算法信息不當(dāng)泄露,申請查詢者也應(yīng)進行身份信息備案并說明查詢理由,同時查詢者也應(yīng)履行適當(dāng)?shù)谋C芰x務(wù),違反義務(wù)者對于算法開發(fā)者的合法權(quán)益的損害應(yīng)承擔(dān)賠償責(zé)任。

    算法的可問責(zé)性要素的實現(xiàn),同樣需要借助社會監(jiān)管的力量。一方面,可以通過行政監(jiān)管權(quán)力的行使,追究違法的算法開發(fā)者和運營者的行政責(zé)任,以規(guī)范其商業(yè)行為。具體而言,行政監(jiān)管部門應(yīng)該充分采用多種監(jiān)管手段進行全過程的審查與監(jiān)管:既包括事前算法設(shè)計者向?qū)iT機構(gòu)提供算法相關(guān)技術(shù)及決策依據(jù)的說明并進行備案,又包括事中由專門機構(gòu)加大對算法與決策的隨機抽查力度,從技術(shù)上對算法進行審查檢驗,對錯誤決策進行糾正,還包括事后通過構(gòu)建算法問責(zé)追溯機制,為公眾建立對算法決策申訴的渠道,接受公眾對算法的質(zhì)疑,要求算法設(shè)計者針對算法進行必要解釋和說明[30]。另一方面,要清理金融消費者提起私人訴訟的法律障礙,對金融消費者進行賦能,使其能夠通過訴訟的方式,對因金融科技算法錯誤決策而導(dǎo)致的損失請求賠償。私人訴訟不僅是彌補金融消費者的途徑,也能夠通過巨額的民事賠償對算法的開發(fā)者和運營者形成有效震懾。承擔(dān)這一賠償責(zé)任的主體應(yīng)為將智能金融算法投入使用的運營者:首先,運營者擁有提供金融服務(wù)許可牌照,而金融科技算法參與金融活動的前提條件即基于牌照許可;其次,算法在金融科技中的使用最終受益者仍為運營者,例如開發(fā)智能投顧業(yè)務(wù)的獲利者仍為提供相應(yīng)金融服務(wù)的金融機構(gòu);最后,運營者對于算法的投入使用負(fù)有管理義務(wù)和誠信義務(wù),違反相應(yīng)義務(wù)也應(yīng)承擔(dān)責(zé)任。

    五、結(jié)論與對策

    金融科技的運用對金融市場服務(wù)效率的提升有著顯著的積極作用,然而支撐其運行的算法卻因自身的不透明性而存在產(chǎn)生“算法黑箱”的可能性。“算法黑箱”引發(fā)的價值偏離、信息不對稱、責(zé)任錯配,皆會增加金融交易中的欺詐風(fēng)險。算法的可靠性、可解釋性、透明性和可問責(zé)性要素正是破解“算法黑箱”問題的核心,而其中對算法透明度加以規(guī)制和對可問責(zé)制度的完善更是重中之重。社會監(jiān)管理念的引入對于算法透明度和可問責(zé)的推進有著重要意義,聯(lián)合社會多元主體協(xié)同進行監(jiān)管,充分發(fā)揮各類主體基于特定身份權(quán)利在相應(yīng)環(huán)節(jié)的監(jiān)督能力,對金融科技應(yīng)用中的算法黑箱進行多維度的監(jiān)管,從而發(fā)揮有效消解算法黑箱并防范欺詐風(fēng)險的積極效果。具體對策建議如下所述。

    第一,建立金融科技算法備案制度,以強制備案和有限公開為推動算法透明度提供制度保障。要求對算法進行備案,能夠確保監(jiān)管部門對算法的核心邏輯和風(fēng)險要點進行整體把握,為社會公眾了解算法規(guī)則提供權(quán)威信息和數(shù)據(jù),在一定程度上實現(xiàn)算法的公開透明,避免因算法黑箱造成的欺詐風(fēng)險。2018年4 月27 日,金融監(jiān)管當(dāng)局發(fā)布了《關(guān)于規(guī)范金融機構(gòu)資產(chǎn)管理業(yè)務(wù)的指導(dǎo)意見》,其中就要求算法的備案,即金融機構(gòu)要向監(jiān)管部門報備人工智能模型的主要參數(shù)及資產(chǎn)配置的主要邏輯。這一規(guī)定開啟了金融科技算法備案制度的先河,然而備案主管部門、備案的內(nèi)容和程序、備案資料的精細(xì)化要求、備案信息公開查詢以及未履行備案義務(wù)的法律后果等細(xì)化規(guī)定仍尚付闕如,這都需要在法律和監(jiān)管規(guī)則制定過程中予以明確。尤其是在要求金融科技應(yīng)用主體在對算法進行備案和公開的過程中,如何平衡信息披露和商業(yè)秘密(或更廣義層面的知識產(chǎn)權(quán))保護之間的關(guān)系,并據(jù)以確定備案內(nèi)容和公開程度,是設(shè)計算法備案制度需要妥善考慮并充分協(xié)調(diào)的問題。

    第二,制定金融科技算法行業(yè)標(biāo)準(zhǔn),以行業(yè)自律監(jiān)管維護算法的可靠性和可解釋性。金融科技應(yīng)用主體在研發(fā)和設(shè)計算法時,會基于自身業(yè)務(wù)模式和商業(yè)邏輯而形成千差萬別的算法,不同主體的算法之間的差異性一方面體現(xiàn)著研發(fā)主體的技術(shù)特征和優(yōu)勢,但另一方面也可能因缺乏統(tǒng)一標(biāo)準(zhǔn)而導(dǎo)致算法出現(xiàn)錯誤和漏洞,從而導(dǎo)致投資者和金融消費者的權(quán)益陷入風(fēng)險,也妨礙了金融產(chǎn)品和業(yè)務(wù)之間的有效聯(lián)通。行政監(jiān)管部門受限于自身角色定位,不宜直接介入和干預(yù)金融市場主體的算法設(shè)計,因此充分發(fā)揮中國互聯(lián)網(wǎng)金融協(xié)會等行業(yè)組織的自律監(jiān)管角色,鼓勵其制定兼具指導(dǎo)性和約束性的算法標(biāo)準(zhǔn),確立金融科技算法設(shè)計的底線要求,從而保證算法在運行安全上的可靠性以及在應(yīng)用實踐上的可解釋性。

    第三,設(shè)置金融科技算法質(zhì)詢與舉報制度,以全社會的廣泛參與和監(jiān)督倒逼算法的透明與可靠。社會監(jiān)管理念的核心在于充分發(fā)動各類社會力量參與監(jiān)管實踐,投資者和金融消費者、新聞媒體、技術(shù)專家等均可以在專業(yè)知識和獲知信息的基礎(chǔ)上對金融科技算法的有效性和可靠性進行判斷,披露和舉報算法中存在的缺陷和漏洞,以此作為行政監(jiān)管和自律監(jiān)管的有效補充,從而對金融科技算法進行有效監(jiān)督。從這個層面來看,有必要在算法有限公開制度的基礎(chǔ)上,結(jié)合信息披露制度和知情權(quán)保護制度設(shè)置算法質(zhì)詢制度,賦予市場主體要求金融科技運營者披露算法邏輯的權(quán)利,同時借鑒證券市場“吹哨人”制度建立有獎舉報和保護舉報人的相關(guān)規(guī)則,從而系統(tǒng)性地保障一般市場主體能夠了解和舉報隱藏在算法黑箱中的漏洞,豐富社會力量參與算法治理的渠道。

    第四,完善金融科技應(yīng)用主體的法律責(zé)任,以合理且有效的追責(zé)體系確保算法的可問責(zé)性。隱藏在算法黑箱中的缺陷和漏洞,是導(dǎo)致投資者和金融消費者權(quán)益受損的重要原因。但由于算法的專業(yè)性和復(fù)雜性,金融科技應(yīng)用主體是否具有主觀故意,即該缺陷和漏洞是否源自人為,往往成為金融科技應(yīng)用主體主張免除責(zé)任的依據(jù)。因此在進行責(zé)任認(rèn)定時宜采嚴(yán)格責(zé)任原則而非過錯責(zé)任原則,以更加直接和嚴(yán)格的歸責(zé)原則對金融科技應(yīng)用主體施加更為有效的約束,充分保障金融消費者的合法權(quán)益。當(dāng)然,也需要充分考慮鼓勵創(chuàng)新的制度考量,在責(zé)任范圍確定時適當(dāng)考慮算法缺陷和漏洞的形成原因,將其作為計算賠償數(shù)額的參考因素。通過明確法律責(zé)任以及暢通救濟渠道,引導(dǎo)受損投資者通過依法追償?shù)姆绞?,形成對算法黑箱的有效社會監(jiān)管。

    猜你喜歡
    黑箱運營者決策
    為可持續(xù)決策提供依據(jù)
    公眾號再增視頻號入口
    綜藝報(2021年21期)2021-08-28 14:13:19
    拒絕黑箱
    失蹤的黑箱
    決策為什么失誤了
    網(wǎng)絡(luò)運營者不得泄露個人信息
    鏈接:網(wǎng)絡(luò)運營者不得泄露其收集的個人信息
    資訊網(wǎng)站低調(diào)而華麗地轉(zhuǎn)身
    活力(2009年15期)2009-06-17 03:37:20
    這道電學(xué)黑箱題有誤嗎?
    電學(xué)黑箱問題例析
    少妇的逼水好多| 亚洲在久久综合| 日韩欧美国产在线观看| 中文在线观看免费www的网站| kizo精华| 你懂的网址亚洲精品在线观看| av免费观看日本| 丰满乱子伦码专区| 亚洲国产色片| 亚洲三级黄色毛片| 日本-黄色视频高清免费观看| 3wmmmm亚洲av在线观看| 国产黄色小视频在线观看| 亚洲精品第二区| 免费观看精品视频网站| 身体一侧抽搐| www.色视频.com| 国产高清国产精品国产三级 | 十八禁网站网址无遮挡 | 精品一区二区免费观看| videossex国产| 99热这里只有精品一区| 人妻一区二区av| 2022亚洲国产成人精品| 深爱激情五月婷婷| 久久精品夜色国产| 99久国产av精品国产电影| 99久久中文字幕三级久久日本| 国产综合精华液| 成年人午夜在线观看视频 | av天堂中文字幕网| 午夜日本视频在线| 国产精品三级大全| 亚洲婷婷狠狠爱综合网| 国产色爽女视频免费观看| 内射极品少妇av片p| 日韩欧美 国产精品| 精品国产三级普通话版| 一区二区三区乱码不卡18| 色视频www国产| 精品久久久久久久久久久久久| 高清视频免费观看一区二区 | 最近的中文字幕免费完整| videos熟女内射| 久久久久免费精品人妻一区二区| 午夜福利网站1000一区二区三区| 日本猛色少妇xxxxx猛交久久| 美女内射精品一级片tv| 亚洲久久久久久中文字幕| 国产精品不卡视频一区二区| 亚洲欧美精品自产自拍| 男女边吃奶边做爰视频| 最近手机中文字幕大全| 国产在视频线在精品| 三级男女做爰猛烈吃奶摸视频| 国产三级在线视频| 日日干狠狠操夜夜爽| 三级毛片av免费| 97在线视频观看| 大香蕉97超碰在线| 国产色爽女视频免费观看| 99久久九九国产精品国产免费| 免费观看a级毛片全部| 97在线视频观看| 春色校园在线视频观看| videos熟女内射| 尾随美女入室| 日本色播在线视频| 成人午夜高清在线视频| 欧美 日韩 精品 国产| 80岁老熟妇乱子伦牲交| 男女边摸边吃奶| 97超视频在线观看视频| 午夜免费激情av| 成人亚洲精品av一区二区| 国产午夜精品一二区理论片| 91午夜精品亚洲一区二区三区| 精品久久国产蜜桃| 国产人妻一区二区三区在| 老女人水多毛片| 99久久九九国产精品国产免费| 免费高清在线观看视频在线观看| 噜噜噜噜噜久久久久久91| 亚洲欧美清纯卡通| 欧美成人精品欧美一级黄| 伊人久久精品亚洲午夜| 久久精品久久久久久噜噜老黄| 久久久精品94久久精品| 午夜精品在线福利| av黄色大香蕉| 99视频精品全部免费 在线| 3wmmmm亚洲av在线观看| 性插视频无遮挡在线免费观看| 亚洲精品日本国产第一区| 卡戴珊不雅视频在线播放| 日韩 亚洲 欧美在线| 国产一区有黄有色的免费视频 | 自拍偷自拍亚洲精品老妇| 日韩av免费高清视频| 欧美zozozo另类| 成年免费大片在线观看| 免费看不卡的av| 国产精品一区二区性色av| 国产成人91sexporn| 欧美激情在线99| 最近的中文字幕免费完整| 国产一区有黄有色的免费视频 | 久久久精品欧美日韩精品| 六月丁香七月| a级毛色黄片| 午夜免费观看性视频| 成人美女网站在线观看视频| 成年女人看的毛片在线观看| 国产一区亚洲一区在线观看| 春色校园在线视频观看| 亚洲人与动物交配视频| 日韩在线高清观看一区二区三区| 男女啪啪激烈高潮av片| 国产精品爽爽va在线观看网站| 国产精品美女特级片免费视频播放器| 国产在线男女| 男女下面进入的视频免费午夜| 亚洲高清免费不卡视频| 日韩一区二区视频免费看| 亚洲精品久久久久久婷婷小说| 免费看美女性在线毛片视频| 亚洲精品国产av成人精品| 久久精品熟女亚洲av麻豆精品 | 七月丁香在线播放| 丝袜美腿在线中文| 亚洲精品国产av蜜桃| 三级经典国产精品| 亚洲最大成人中文| 国产亚洲5aaaaa淫片| 91久久精品国产一区二区三区| 亚洲国产色片| 亚洲人成网站高清观看| 深夜a级毛片| 听说在线观看完整版免费高清| 国产黄色视频一区二区在线观看| 免费黄频网站在线观看国产| 亚洲电影在线观看av| 丰满人妻一区二区三区视频av| 免费观看性生交大片5| 婷婷色av中文字幕| 伊人久久精品亚洲午夜| 免费观看a级毛片全部| 国产精品女同一区二区软件| 成人二区视频| 免费av不卡在线播放| 免费看a级黄色片| 日韩不卡一区二区三区视频在线| 性插视频无遮挡在线免费观看| 99热这里只有是精品50| 久久精品人妻少妇| 在线观看美女被高潮喷水网站| 日韩一区二区三区影片| 久久鲁丝午夜福利片| 看免费成人av毛片| 国产精品一及| 一个人观看的视频www高清免费观看| 观看免费一级毛片| 中文天堂在线官网| 亚洲av一区综合| 午夜亚洲福利在线播放| 亚洲欧美中文字幕日韩二区| 国产精品不卡视频一区二区| 26uuu在线亚洲综合色| 一区二区三区四区激情视频| 久久精品国产鲁丝片午夜精品| 99久久精品一区二区三区| 黄色日韩在线| 街头女战士在线观看网站| 婷婷色麻豆天堂久久| 18禁在线无遮挡免费观看视频| 久久精品国产亚洲网站| 内地一区二区视频在线| 欧美变态另类bdsm刘玥| 亚洲av国产av综合av卡| 日韩三级伦理在线观看| 色吧在线观看| 六月丁香七月| 狠狠精品人妻久久久久久综合| 亚洲精品456在线播放app| 国产精品人妻久久久久久| 亚洲精品亚洲一区二区| 精品久久国产蜜桃| 国产精品一及| 亚洲精品国产av成人精品| 午夜精品国产一区二区电影 | 亚洲精品视频女| 天堂√8在线中文| 毛片一级片免费看久久久久| 亚洲人成网站在线播| 尾随美女入室| 国产有黄有色有爽视频| 国产成人精品久久久久久| 日韩av在线免费看完整版不卡| 亚洲美女视频黄频| 床上黄色一级片| 日本爱情动作片www.在线观看| 亚洲av免费高清在线观看| 三级毛片av免费| 天堂俺去俺来也www色官网 | 亚洲人成网站高清观看| h日本视频在线播放| 欧美日韩精品成人综合77777| 床上黄色一级片| 色哟哟·www| 激情五月婷婷亚洲| 一本一本综合久久| 欧美极品一区二区三区四区| 久久久精品免费免费高清| 青春草视频在线免费观看| 色网站视频免费| 亚洲av男天堂| 亚洲一区高清亚洲精品| 22中文网久久字幕| 亚洲综合精品二区| 欧美激情久久久久久爽电影| 国产成人福利小说| 别揉我奶头 嗯啊视频| 日韩一本色道免费dvd| 18禁在线无遮挡免费观看视频| 赤兔流量卡办理| 国产伦精品一区二区三区视频9| 久99久视频精品免费| 久久久久国产网址| 成人特级av手机在线观看| 伊人久久国产一区二区| 国产精品福利在线免费观看| 国产精品嫩草影院av在线观看| 国内精品一区二区在线观看| 一边亲一边摸免费视频| 亚洲天堂国产精品一区在线| 亚洲精品视频女| 国语对白做爰xxxⅹ性视频网站| 联通29元200g的流量卡| 看非洲黑人一级黄片| 精品欧美国产一区二区三| 亚洲人成网站在线观看播放| 草草在线视频免费看| 国产精品美女特级片免费视频播放器| h日本视频在线播放| 亚洲av成人av| ponron亚洲| 亚洲精品色激情综合| 亚洲精品456在线播放app| 美女脱内裤让男人舔精品视频| or卡值多少钱| 精品国内亚洲2022精品成人| eeuss影院久久| 日本爱情动作片www.在线观看| 精品亚洲乱码少妇综合久久| 国产一级毛片七仙女欲春2| 亚洲18禁久久av| 一区二区三区四区激情视频| 欧美+日韩+精品| 国产精品av视频在线免费观看| 成人av在线播放网站| 天天一区二区日本电影三级| 色综合站精品国产| 亚洲国产精品国产精品| 麻豆精品久久久久久蜜桃| 精品少妇黑人巨大在线播放| 在线免费观看的www视频| 精品久久久久久久末码| 精品国内亚洲2022精品成人| 亚洲精品乱久久久久久| 中文字幕免费在线视频6| 成人毛片a级毛片在线播放| 深爱激情五月婷婷| 午夜免费观看性视频| 亚洲av男天堂| 天堂俺去俺来也www色官网 | 国产黄片视频在线免费观看| 日韩电影二区| 日韩欧美精品v在线| 亚洲欧美一区二区三区国产| 99视频精品全部免费 在线| 黑人高潮一二区| 欧美日韩亚洲高清精品| 欧美精品一区二区大全| 色播亚洲综合网| 国产午夜精品论理片| 国产精品一及| 中文字幕制服av| 国产亚洲5aaaaa淫片| 一级毛片我不卡| 一级毛片aaaaaa免费看小| 精品久久久久久电影网| 久久精品久久久久久久性| 欧美日韩综合久久久久久| 日本爱情动作片www.在线观看| 十八禁国产超污无遮挡网站| 丰满人妻一区二区三区视频av| 少妇熟女欧美另类| 成人亚洲欧美一区二区av| 亚洲av一区综合| 亚洲在线观看片| 日韩欧美精品v在线| 日韩欧美精品免费久久| 欧美+日韩+精品| 亚洲精品国产成人久久av| 啦啦啦啦在线视频资源| 国产精品一区二区性色av| 精品一区在线观看国产| 18禁动态无遮挡网站| 永久网站在线| 亚洲熟妇中文字幕五十中出| 国产单亲对白刺激| 亚洲电影在线观看av| 欧美日韩视频高清一区二区三区二| 午夜视频国产福利| www.色视频.com| 亚洲欧美一区二区三区国产| 国产有黄有色有爽视频| 女人十人毛片免费观看3o分钟| 99久久人妻综合| av网站免费在线观看视频 | 亚洲丝袜综合中文字幕| 看非洲黑人一级黄片| 日韩亚洲欧美综合| 色5月婷婷丁香| 22中文网久久字幕| 婷婷色综合www| 国产成人freesex在线| 亚洲精品亚洲一区二区| 一本久久精品| 80岁老熟妇乱子伦牲交| 久久99热这里只有精品18| 日韩一区二区三区影片| 身体一侧抽搐| 一本久久精品| 亚洲国产欧美人成| 日韩欧美国产在线观看| 亚洲精品成人久久久久久| 女人被狂操c到高潮| 美女脱内裤让男人舔精品视频| 狂野欧美激情性xxxx在线观看| 欧美高清性xxxxhd video| 日韩av在线免费看完整版不卡| 国产精品久久视频播放| 免费大片黄手机在线观看| 国国产精品蜜臀av免费| 日日啪夜夜爽| 久久99精品国语久久久| 99久久精品国产国产毛片| 久久鲁丝午夜福利片| 亚洲av福利一区| 欧美日韩亚洲高清精品| 街头女战士在线观看网站| 成人无遮挡网站| 特级一级黄色大片| 亚洲欧美成人综合另类久久久| 国产麻豆成人av免费视频| 国内少妇人妻偷人精品xxx网站| 婷婷色综合www| 中国美白少妇内射xxxbb| 国产欧美另类精品又又久久亚洲欧美| 亚洲欧美清纯卡通| 看免费成人av毛片| 丝袜美腿在线中文| 国产成人一区二区在线| 国产高清国产精品国产三级 | 最近的中文字幕免费完整| www.av在线官网国产| 日韩三级伦理在线观看| 中文字幕制服av| 日韩精品青青久久久久久| 春色校园在线视频观看| 国产高清不卡午夜福利| 最后的刺客免费高清国语| 不卡视频在线观看欧美| 最近视频中文字幕2019在线8| 国产成人精品一,二区| 精品国产三级普通话版| 精品一区二区三区视频在线| 99久久九九国产精品国产免费| 国产亚洲午夜精品一区二区久久 | 精品久久久久久久久久久久久| 久久久午夜欧美精品| 97热精品久久久久久| 国产探花极品一区二区| 国产黄片视频在线免费观看| 久久久久久久久中文| 精品久久久久久电影网| 久久精品国产亚洲网站| 我的老师免费观看完整版| 国产亚洲精品久久久com| 波野结衣二区三区在线| av一本久久久久| 乱码一卡2卡4卡精品| 汤姆久久久久久久影院中文字幕 | 少妇的逼水好多| 国产精品一区二区三区四区久久| av线在线观看网站| 2021天堂中文幕一二区在线观| 国产淫片久久久久久久久| 你懂的网址亚洲精品在线观看| 午夜精品在线福利| 免费观看av网站的网址| 国产成人aa在线观看| 国产精品一区二区在线观看99 | 国产亚洲一区二区精品| 国产免费福利视频在线观看| 性色avwww在线观看| 欧美+日韩+精品| 免费观看性生交大片5| 久久亚洲国产成人精品v| 日本黄大片高清| 亚洲av福利一区| 99热这里只有是精品在线观看| 中文字幕久久专区| 亚洲精华国产精华液的使用体验| 男的添女的下面高潮视频| 亚洲av一区综合| 18+在线观看网站| 国内精品一区二区在线观看| 我的女老师完整版在线观看| 人妻系列 视频| 欧美日本视频| 丰满人妻一区二区三区视频av| 午夜爱爱视频在线播放| 丝瓜视频免费看黄片| 亚洲精品aⅴ在线观看| 亚洲精品久久午夜乱码| 中文资源天堂在线| 热99在线观看视频| 精品人妻熟女av久视频| 99视频精品全部免费 在线| 国产精品日韩av在线免费观看| av在线老鸭窝| 日本与韩国留学比较| 能在线免费看毛片的网站| 免费观看精品视频网站| 欧美xxⅹ黑人| 91久久精品国产一区二区成人| 亚洲av中文字字幕乱码综合| 亚洲国产精品专区欧美| 午夜福利成人在线免费观看| 麻豆久久精品国产亚洲av| or卡值多少钱| 日本一本二区三区精品| 夜夜看夜夜爽夜夜摸| 青春草亚洲视频在线观看| 日韩欧美国产在线观看| 黄片无遮挡物在线观看| 国模一区二区三区四区视频| 看十八女毛片水多多多| 婷婷六月久久综合丁香| 久久久久久久久久久丰满| 在线观看免费高清a一片| 亚洲国产成人一精品久久久| 伦精品一区二区三区| 99热网站在线观看| 少妇人妻精品综合一区二区| 欧美最新免费一区二区三区| 国产黄a三级三级三级人| 精品人妻熟女av久视频| 特级一级黄色大片| 国产一区亚洲一区在线观看| 午夜激情欧美在线| 免费av不卡在线播放| 色综合站精品国产| 亚洲精品乱码久久久v下载方式| 亚洲精品aⅴ在线观看| 丝袜美腿在线中文| 啦啦啦韩国在线观看视频| 国产成人精品久久久久久| 国产一区二区在线观看日韩| 嫩草影院入口| 免费人成在线观看视频色| 哪个播放器可以免费观看大片| 国语对白做爰xxxⅹ性视频网站| 欧美潮喷喷水| 婷婷色综合大香蕉| 国内精品宾馆在线| 夜夜爽夜夜爽视频| 亚洲精品,欧美精品| 免费观看的影片在线观看| 伊人久久精品亚洲午夜| 精品一区二区免费观看| 国产乱来视频区| 在线a可以看的网站| 亚洲av福利一区| 亚洲人成网站在线播| 2022亚洲国产成人精品| 久久久久九九精品影院| 亚洲性久久影院| 亚洲内射少妇av| 狠狠精品人妻久久久久久综合| 亚洲精品aⅴ在线观看| 卡戴珊不雅视频在线播放| 免费观看精品视频网站| 亚洲怡红院男人天堂| 日韩一区二区三区影片| 永久网站在线| 久久综合国产亚洲精品| 丝袜喷水一区| 自拍偷自拍亚洲精品老妇| 国产 亚洲一区二区三区 | 国产高清国产精品国产三级 | 美女大奶头视频| 免费在线观看成人毛片| 91午夜精品亚洲一区二区三区| 男人和女人高潮做爰伦理| www.av在线官网国产| 一级片'在线观看视频| 嘟嘟电影网在线观看| 国产高清不卡午夜福利| 视频中文字幕在线观看| 亚洲丝袜综合中文字幕| 2022亚洲国产成人精品| 久久久久久久久大av| 少妇熟女欧美另类| 熟女电影av网| 欧美一区二区亚洲| 午夜视频国产福利| 亚洲真实伦在线观看| 亚洲欧美中文字幕日韩二区| 国产精品1区2区在线观看.| 激情五月婷婷亚洲| 亚洲av成人精品一区久久| 美女主播在线视频| 亚洲精品成人av观看孕妇| 你懂的网址亚洲精品在线观看| 国产黄色小视频在线观看| 国产在线男女| 国产成年人精品一区二区| 亚洲成人一二三区av| 三级经典国产精品| 久久精品综合一区二区三区| 熟妇人妻不卡中文字幕| 国产精品一区二区性色av| 久久韩国三级中文字幕| 国产亚洲精品av在线| 亚洲真实伦在线观看| 国内精品宾馆在线| 人人妻人人澡人人爽人人夜夜 | 国产伦在线观看视频一区| 天堂√8在线中文| 99热这里只有精品一区| 国产亚洲5aaaaa淫片| 精品一区二区三区视频在线| 中文字幕亚洲精品专区| 22中文网久久字幕| 日本一二三区视频观看| 欧美+日韩+精品| 日韩强制内射视频| 大又大粗又爽又黄少妇毛片口| av免费在线看不卡| 国产色婷婷99| 精品久久久久久久久av| 精品久久久久久久人妻蜜臀av| 综合色av麻豆| 国产成人一区二区在线| 亚洲精品久久午夜乱码| 免费av不卡在线播放| 日本一二三区视频观看| 老司机影院毛片| 欧美xxxx黑人xx丫x性爽| 亚洲电影在线观看av| 亚洲国产色片| 亚洲精品日韩在线中文字幕| 亚洲成人一二三区av| 少妇丰满av| 亚洲天堂国产精品一区在线| 欧美精品国产亚洲| 国产欧美日韩精品一区二区| 舔av片在线| 搞女人的毛片| 国产成人a∨麻豆精品| 精品一区二区三区人妻视频| 亚洲精品第二区| 久久99蜜桃精品久久| 韩国av在线不卡| 国产一级毛片七仙女欲春2| 好男人视频免费观看在线| 看免费成人av毛片| 亚洲av一区综合| 国产又色又爽无遮挡免| 少妇的逼好多水| 国产精品麻豆人妻色哟哟久久 | 麻豆乱淫一区二区| 不卡视频在线观看欧美| 日韩强制内射视频| a级一级毛片免费在线观看| 日韩不卡一区二区三区视频在线| 亚洲精品中文字幕在线视频 | 99九九线精品视频在线观看视频| 亚洲在线观看片| 亚洲自偷自拍三级| 日日啪夜夜爽| 免费av毛片视频| 日韩一区二区三区影片| 亚洲欧美一区二区三区黑人 | 身体一侧抽搐| 麻豆精品久久久久久蜜桃| 免费观看a级毛片全部| 直男gayav资源| 天堂√8在线中文| 国产伦理片在线播放av一区| 国产成人a∨麻豆精品| 午夜福利在线观看免费完整高清在| 熟女人妻精品中文字幕| 人人妻人人澡欧美一区二区| 极品教师在线视频| 久久久成人免费电影| 啦啦啦韩国在线观看视频| 欧美性感艳星| 免费av不卡在线播放| 成人av在线播放网站| 免费观看a级毛片全部| 日韩欧美国产在线观看|