• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    人工智能介入董事會的董事義務(wù)與責(zé)任重釋

    2022-11-25 14:21:27
    關(guān)鍵詞:董事董事會義務(wù)

    程 威

    (清華大學(xué) 法學(xué)院, 北京 100084)

    近些年,人工智能對于現(xiàn)有社會運作機制形成全方位沖擊,并有望重塑未來的法律體系[1]。以營利性為本質(zhì)的公司自然也逃脫不了技術(shù)發(fā)展的介入。一方面,擁抱人工智能將改進生產(chǎn)工序、促進信息傳遞,極大提升運營效率,所以企業(yè)對于人工智能技術(shù)在基礎(chǔ)部門的部署愈加重視,并試圖通過技術(shù)投入替代人力成本[2];另一方面,隨著人工智能深度學(xué)習(xí)算法的不斷優(yōu)化,智能機器介入董事會已然呈現(xiàn),從邊緣性的量化工具漸次介入決策過程,即影響到企業(yè)運營的大腦。前者僅是流水線意義上的效率改進,而后者涉及決策選擇與長期運營等結(jié)構(gòu)化安排。董事會作為公司經(jīng)營管理的中樞機關(guān),其義務(wù)實現(xiàn)與責(zé)任約束關(guān)乎代理成本縮減及公司治理績效[3],從更廣泛的意義上來說,如果未能對智能算法之于董事會機關(guān)的決策風(fēng)險加以識別和管控,企業(yè)內(nèi)部流程化的運營機制或可無礙,但公司作為法人實體其組織性功能如機關(guān)權(quán)衡、利益分配等將受到不利影響。

    人工智能法學(xué)在前瞻性地討論技術(shù)應(yīng)用的預(yù)測之外,對于現(xiàn)實而緊迫的算法實踐亦應(yīng)有所消化。在公司治理的規(guī)范場域,人工智能介入董事會的具體場景為何?人工智能對傳統(tǒng)董事會的義務(wù)架構(gòu)和責(zé)任機制形成什么挑戰(zhàn)?如何重塑董事會的義務(wù)體系與責(zé)任安排?這些問題牽動公司法研究的主線,也涉及目前及今后不遠(yuǎn)的公司治理實踐。筆者認(rèn)為,應(yīng)在現(xiàn)有技術(shù)成熟的條件限度內(nèi)對人工智能作用于董事會的可能場景加以明確,解析其對董事會法律義務(wù)與責(zé)任的沖擊,并結(jié)合其技術(shù)特點和公司法理的最新進展,探尋人工智能介入董事會的公司法應(yīng)對。本文將以前述問題和理念為主軸,具體探討人工智能技術(shù)介入董事會場景下所涉及到的基本法律關(guān)系。

    一、 人工智能介入董事會的場景與限度

    通常來說,公司管理事務(wù)根據(jù)介入的心智程度可分為勤務(wù)類事項(administrative tasks)與決策類事項。勤務(wù)類事項在公司治理背景下主要指行政協(xié)調(diào)和例行事務(wù),包括但不限于日程規(guī)劃、資源收集和信息報告等。這類事務(wù)的特點在于重復(fù)性、流程化,其工作內(nèi)容相對單一,不需要復(fù)雜的心智投入。目前流行的人工智能解放勞動力的觀點,主要指這類事務(wù)被大規(guī)模取代的可能性日漸提高。

    與勤務(wù)類事項參與之目的在于簡化升級運營流程不同,決策工作的核心是判辨力的投入(judgement work),即通過運用理智、洞察力以及人情世故等判斷決議方案通過與否,其事項包括與戰(zhàn)略、創(chuàng)新、創(chuàng)造性思維和人員管理相關(guān)的公司領(lǐng)導(dǎo)任務(wù)[2]。這類工作的特點是團隊協(xié)作頻密、待處理情景復(fù)雜、心智投入較高。在公司治理語境下,體現(xiàn)比較突出的便是公司董事會的事務(wù),而人工智能介入董事會主要就是指以算法驅(qū)動為導(dǎo)向的智能機器參與,其涉及到對具體利益的評價過程,所以對參與主體的要求并不僅限于人力智能,還包括其他能力。進而言之,決策工作雖有獨立判斷的空間,但一般以集體共治呈現(xiàn),它需要團隊協(xié)作的配合能力、事務(wù)規(guī)劃的人際溝通能力,以及各自的社會網(wǎng)絡(luò)聯(lián)系等技巧。比如公司治理實踐中董事會成員的身份一般較為多元化,甚至在美國公司中獨立董事成員居多數(shù),且多為其他公司的高管[4]90,他們往往有比較豐富的社會聯(lián)系,這正是為了拓展董事會戰(zhàn)略決策所需要的信息資源。盡管人工智能對各類工作的取代有加快趨勢,但對決策工作而言,其難以廣泛獲取與決策相關(guān)的成員所具有的特質(zhì)與信息,因此介入的空間受限與難度加大。不過技術(shù)始終處于發(fā)展的過程中,根據(jù)人工智能發(fā)展水平和技術(shù)自主性的高低,智能機器參與董事會的程度將呈現(xiàn)以下嬗變樣態(tài)。

    1. 協(xié)助董事模式

    協(xié)助董事是指智能機器承擔(dān)董事會的助手職能,協(xié)助處理一般程序性和信息收集的事務(wù),其自主性水平較低甚至沒有自主性。相應(yīng)地,其對公司績效的輔助實現(xiàn)也頗為受限。董事會中的人工智能除了借助移動端進行協(xié)助服務(wù),更主要的應(yīng)用場景體現(xiàn)在智能化會議服務(wù)系統(tǒng),該系統(tǒng)在董事會的會議記錄、音頻處理、線上統(tǒng)籌等方面提升了辦公效率。利用這一協(xié)助模式的原因在于,相關(guān)算法在特定的任務(wù)范圍內(nèi)比自然人做得更好,但本質(zhì)上來看,其并不具備自主性,仍然隸屬于勤務(wù)類事項范疇,其所取代的是董事會的會議秘書等工作。

    2. 董事顧問模式

    董事的智能顧問模式下,對智能系統(tǒng)要求更高,人工智能可以“通過提問和回復(fù)以及構(gòu)建場景和模擬,為解決更復(fù)雜的問題和決策提供支持”。英國特許會計師協(xié)會在一份名為《公司顧問中的人工智能》報告中,對人工智能為公司提供顧問服務(wù)抱以期待,預(yù)計其將對投資策略的設(shè)計、專業(yè)意見的咨詢等提供優(yōu)化方案。事實上,在投資顧問領(lǐng)域,智能投資顧問已經(jīng)有充分實踐[5]。相比于協(xié)助董事模式,智能顧問對于公司績效的輔助實現(xiàn)功能更為顯著,其自主性水平也更高。但就具體的決議事項而言,智能顧問的自主性依附于董事,其并未取代自然人,而是通過匯集對自然人而言無法輕易獲取或進行計算處理的信息內(nèi)容,增強并改善人類智能,所以毋寧說是將自然人的智能與人工智能進行了充分糅合,而自然人始終居于主導(dǎo)和控場的地位。就本質(zhì)而言,董事顧問模式與協(xié)助董事模式屬于同一種樣態(tài),僅僅是協(xié)助的深化程度不同而已。

    人工智能為董事會提供協(xié)助顧問服務(wù)的業(yè)務(wù)模式主要有兩種。第一種是市場上存在專業(yè)生產(chǎn)并銷售人工智能機器的企業(yè),不同的公司基于自身條件選擇購買,以納入內(nèi)部決策系統(tǒng)。該種模式下,生產(chǎn)者提供的是物理機器、操作程序,智能計算所需的數(shù)據(jù)由企業(yè)自行提供。這種業(yè)務(wù)模式主要應(yīng)用于經(jīng)營規(guī)模較大、數(shù)據(jù)樣本較多的企業(yè)中。另一種是專業(yè)的第三方公司治理顧問機構(gòu)設(shè)計人工智能機器,從而為不同公司提供個性化的治理意見,它并不銷售人工智能機器,僅僅輸出治理意見,其特點在于第三方機構(gòu)自己匯集信息,并專于分析數(shù)據(jù)[6]。實際上,人工智能顧問服務(wù)和外包機制天然地具有相似性和契合度,外包服務(wù)依賴于公司需要利用其內(nèi)部不具有的專業(yè)技能,而人工智能依賴于公司需要利用其人力資源無法提供的能力。在此情況下,人工智能顧問的外包服務(wù)應(yīng)運而生。這種模式多發(fā)生在無法提供機器學(xué)習(xí)所需的海量樣本的小數(shù)據(jù)規(guī)模企業(yè)。兩種模式均不同程度上影響到董事會的機制運作。

    3. 替代董事模式

    人工智能替代自然人成為董事會獨立成員,這種模式是關(guān)于智能技術(shù)大膽假設(shè)的合理演繹?!凹夹g(shù)實踐可能很快就會為人工智能取代董事而非僅僅扮演輔助功能提供可能性。”[7]在這一形態(tài)下,算法初步具備獨立的實體資格,可以針對具體的商業(yè)決策作出專業(yè)選擇。此時人工智能將根據(jù)意見評估積極自主地參與到董事會決策中,且決策權(quán)切實落于機器之手。

    從協(xié)助、顧問到替代模式,伴隨著決策權(quán)的移交。其中人工智能替代董事模式是質(zhì)的變化,它從依附于董事轉(zhuǎn)向自主決定,而自主性的前提問題是人工智能法律人格的承認(rèn)與否。從目前整體的研究而言,盡管有論者認(rèn)為智能機器人自主性日漸提升,工具屬性式微,而應(yīng)將其視為獨立于所有人或使用人的法律實體[8],而且,只有賦予其權(quán)利義務(wù)承擔(dān)者身份才能解決法律工具主義視野下的歸責(zé)困局[9],但保守的私法立場和未臻成熟的技術(shù)動向均表明該問題應(yīng)進一步觀察而非提前定調(diào)。因為人工智能的主體性地位問題事涉?zhèn)惱碓u價:人類如何為一個可能比自己更智能的主體立法?為之立法是事實上不可能還是法律上無意義?聚訟紛呈,破解之途仍有賴技術(shù)反饋。鑒此,本文所議焦點僅限于“協(xié)助—顧問”這樣一種由自然人董事主導(dǎo)的情境。

    由于董事會是公司生產(chǎn)團隊模型中的“協(xié)調(diào)性層級制度”(mediating hierarchy),對于事前防范激勵機制失靈、事后約束集體行動困境具有核心作用[10],董事成員的義務(wù)體系和責(zé)任分配關(guān)乎股東利益實現(xiàn)和一般社會責(zé)任的遵守,嵌入人工智能后,必然撼動現(xiàn)存的董事會制度,以適應(yīng)性為專長的公司法應(yīng)當(dāng)認(rèn)真對待人工智能介入。

    二、 人工智能對傳統(tǒng)董事會義務(wù)與責(zé)任的挑戰(zhàn)

    現(xiàn)代公司制以所有權(quán)與經(jīng)營權(quán)分離為典型特征,執(zhí)掌經(jīng)營權(quán)的董事會被視為公司(股東)受托人,由此形成股東與董事間利益偏離即代理成本發(fā)生之可能性[11]。為了更好地敦促董事履行其職責(zé),公司法規(guī)定董事會須遵守信義義務(wù)限制,并以其義務(wù)之適當(dāng)履行豁免違信責(zé)任之追究。人工智能輔助強化董事決策,使得決策行為的作出變成人機混合過程,董事意志隱身其后,算法決策走向臺前,準(zhǔn)確界定董事義務(wù)履行的難度增加,傳統(tǒng)上對于董事會施加的義務(wù)要求和責(zé)任構(gòu)成由此面臨困境。

    1. 傳統(tǒng)模式下董事會義務(wù)體系與責(zé)任機制

    傳統(tǒng)公司治理中,董事會被視為專業(yè)管理能力的出售者,其與股東之間因為專業(yè)關(guān)系而形成了信義關(guān)系,并對股東負(fù)擔(dān)信義義務(wù)。董事會的相關(guān)決策以其成員集體意志作出,不同成員根據(jù)自身的知識背景、與特定資源的具體聯(lián)系、邏輯推理等個性化因素形成判斷的基礎(chǔ)。為了盡可能消除個別董事成員的認(rèn)知偏見對決策效果的影響,獨立董事的平衡機制也發(fā)揮一定效用[12],董事對股東福利影響甚巨。公司法為了保護股東利益,設(shè)置了針對不同語境下的權(quán)利機制,即合同機制與非合同機制。通過合同機制約束代理成本的方式主要在于模擬董事與股東之間形成委托合同關(guān)系,進而以選任權(quán)與任意解除權(quán)管控董事的遴選與撤職,但其對董事行為的約束效果不彰。如選任權(quán)的行使一般只涉及結(jié)果,即被選入董事會的成員在選任程序完成后,其具體履職不一定以選任前的承諾等為準(zhǔn),股東對其控制力也隨之下降;而任意解除權(quán)也不構(gòu)成對董事行為的震懾,因為一般而言,除非董事存在明顯不當(dāng)行為,否則股東不應(yīng)當(dāng)輕易解除董事職務(wù)[4]95。在此條件下,作為非合同機制的信義義務(wù)成為一項有效的事后規(guī)制手段。

    我國《公司法》第147條原則性規(guī)定了董事等管理層對公司所負(fù)有的信義義務(wù),內(nèi)容上包括忠實義務(wù)與注意義務(wù)。忠實義務(wù)要求董事必須善意地為股東利益服務(wù),避免利益沖突或利益沖突交易須經(jīng)股東批準(zhǔn),它是公司治理中董事對股東所負(fù)擔(dān)的基礎(chǔ)性義務(wù)。注意義務(wù)則要求董事必須善盡職守,“盡到處于相似位置的普通理性人在類似情況下所應(yīng)盡到的注意”。如果董事在處理一項待決議案時,是在充分知情(informed)的基礎(chǔ)上進行的決策判斷,即便最終的交易結(jié)果對公司利益構(gòu)成損害,也無需承擔(dān)責(zé)任。易言之,忠實義務(wù)限定了董事行為的倫理要求,不得損公肥私、不當(dāng)妄為,注意義務(wù)關(guān)注董事行為的專業(yè)水準(zhǔn),不得消極懈怠、懶惰無為。信義義務(wù)之所以能夠有效地保護股東利益,在于其模糊而嚴(yán)厲的“威懾作用”[13]。其模糊性在于僅有宣示性的規(guī)定,并無特別清晰的配套指引,原因在于,假如為董事設(shè)定了輪廓明顯的行為邊界,反而使其得以借道突破、規(guī)避之,但該模糊性并非意指完全無跡可循,通過長期積累的經(jīng)驗,附屬規(guī)則與實施規(guī)則的形成逐步幫助確定了法律適用的邏輯,亦即在具體案件中,法官得根據(jù)案情特殊性結(jié)合法理一般性加以認(rèn)定[13]。信義義務(wù)使得董事“戴著鐐銬起舞”,激勵與約束并舉,不斷以實現(xiàn)股東利益為行為準(zhǔn)繩。

    在責(zé)任構(gòu)成上,信義義務(wù)違反由違法行為、主觀過錯、損害發(fā)生及因果關(guān)系構(gòu)成。其中,主觀過錯的認(rèn)定頗具特別法性格且居于核心地位。相較于一般侵權(quán)法理論,其特殊之處在于:第一,公司法對董事過失責(zé)任的認(rèn)定傾向于采客觀標(biāo)準(zhǔn),即借助程序性規(guī)則檢視董事行為的可責(zé)性。第二,確認(rèn)董事違信責(zé)任時更傾向于重大過失標(biāo)準(zhǔn),防止限縮董事的決策行為進而影響公司正常的經(jīng)營展開。

    公司法上的信義義務(wù)與違信責(zé)任追究機制雖在不同法域有成熟度的差異,但均有效地實現(xiàn)了董事專業(yè)經(jīng)管與股東利益保護之間的平衡。但傳統(tǒng)模式下公司法所限定的描述場景是以自然人為主,法官可以通過外觀行為辨明自然人決策過程的合法性與合理性,對責(zé)任的認(rèn)定往往有可信賴和可操作的程序,但人工智能介入董事會后,改變了董事會本來的運作生態(tài),傳統(tǒng)規(guī)則將面臨適用上的困境。

    2. 人工智能介入下義務(wù)逃避和責(zé)任模糊問題

    (1) 義務(wù)逃避

    人工智能介入董事會后,使得董事決策環(huán)境變得復(fù)雜,算法決策的“黑箱”問題凸顯,在決策所依據(jù)的原始數(shù)據(jù)信息與最終的決策結(jié)果之間存在人們所無法洞悉的“隱層”[14],這不僅可能為董事卸責(zé)大開方便之門,也使得董事決策的考量因素疊加,進一步加重了其履職難度,反過來會強化董事的義務(wù)逃避行為。

    首先,算法中立性沖淡乃至消解忠實義務(wù)之履行環(huán)境,使得董事逃避忠實義務(wù)約束更為便利。一般認(rèn)為人工智能以機器學(xué)習(xí)為其主要特征。機器學(xué)習(xí)是一種典型算法,使得計算機模擬人腦挖掘數(shù)據(jù)信息并進行轉(zhuǎn)化獲取相應(yīng)結(jié)果[15]。深度學(xué)習(xí)作為機器學(xué)習(xí)中的前沿算法模型,突破了傳統(tǒng)手工選取數(shù)據(jù)的限制,從原始特征出發(fā),自動學(xué)習(xí)高級特征組合,實現(xiàn)端到端的跨越,直接保證最終輸出最優(yōu)解[16]。在最優(yōu)解的達(dá)成中,算法被認(rèn)為是始終處于中立狀態(tài),它只對數(shù)據(jù)負(fù)責(zé),但假如原始數(shù)據(jù)本身被有意識地引導(dǎo)性修改,其最終決策結(jié)果將顯然失真,但該失真的計算過程難以被溯源。人工智能不會違反忠誠的標(biāo)準(zhǔn),但并不意味著作為最終決策者的人類不會逃避忠實義務(wù)約束。典型的情形是董事在處理涉身利益有關(guān)的決策時,并未對智能機器坦誠相待,而是剔除或隱瞞了對自己不利的信息,進而導(dǎo)致最終的決策結(jié)果可能會損害公司的利益。

    其次,算法介入使得董事“知情”的判斷環(huán)境復(fù)雜化,注意義務(wù)的履行難度隨之增加。知情基礎(chǔ)上的謹(jǐn)慎決策是董事豁免結(jié)果損害歸因的避風(fēng)港,但該義務(wù)履行與個人地位緊密結(jié)合,并且對于不同的職位,有其不同的期許與規(guī)制[17]。個人地位因客觀環(huán)境的變化而有所調(diào)整,所以注意義務(wù)履行必須充分考慮所處環(huán)境的變更,人工智能就是重要的環(huán)境變更因素,這主要體現(xiàn)在以下方面。第一,人工智能得否進入董事會本身就構(gòu)成一項重大的影響因素??紤]到人工智能的優(yōu)點,圍繞著具有自由裁量權(quán)的新型決策如建立和測試自動化系統(tǒng)本身的決策等變得重要,人工決策的剩余代理成本將越來越多地與戰(zhàn)略選擇相關(guān),即判斷是否選擇適用以及如何規(guī)劃人工智能的決策成本隨之推高,“與其說總代理成本會下降,不如說是代理成本本身發(fā)生了轉(zhuǎn)化”[18]。第二,董事會在接受智能機器介入后,理直氣壯地將所有決策事項的選定權(quán)限交由后者,盡管名義上自然人是最終的決策者,但其僅僅是復(fù)述、執(zhí)行智能機器意見,沒有對智能機器提供的治理意見進行審慎監(jiān)督、細(xì)致排查,董事的知情基礎(chǔ)貌似得到智能機器輔助而滿足,但該知情是不假思索的執(zhí)行,是一種瑕疵的知情狀態(tài),同樣難以認(rèn)定合乎注意義務(wù)本旨。綜上而言,算法介入不可避免地改變了對注意義務(wù)“知情”這一前提性要件的判斷環(huán)境,特別當(dāng)事后的公共執(zhí)法機制也未能準(zhǔn)確界定知情履行標(biāo)準(zhǔn)的情況下,對于董事而言,逃避這一義務(wù)顯然變得更加容易。

    (2) 責(zé)任模糊

    義務(wù)違反直接觸發(fā)責(zé)任承擔(dān),與逃避信義義務(wù)緊密關(guān)聯(lián)的是責(zé)任的模糊。這主要體現(xiàn)在兩個方面,即過錯認(rèn)定的模糊與歸責(zé)主體的模糊。

    在過錯認(rèn)定層面,人工智能介入影響主觀過錯的檢驗標(biāo)準(zhǔn)。其中,違反忠實義務(wù)的過錯認(rèn)定較少存在模糊地帶,這與檢驗標(biāo)準(zhǔn)的客觀屬性有關(guān),即法律預(yù)先設(shè)定了義務(wù)并對違反行為樣態(tài)初步具體化,一旦違反法定義務(wù),便構(gòu)成過失。對應(yīng)到程序上,一般要求董事事先披露涉身利益,經(jīng)股東會批準(zhǔn)方可滿足公平要求。智能機器介入下,設(shè)若人工智能作出的決策確實涉及到董事個人利益,董事作為最后的決策者,必須悉數(shù)披露方可免責(zé),否則就構(gòu)成忠實義務(wù)的違反。簡言之,由于忠實義務(wù)本旨在于促進董事對股東的信息披露[13],董事向股東隱瞞或不披露相關(guān)信息,即有產(chǎn)生義務(wù)違反的風(fēng)險,智能機器介入僅僅是延長了問責(zé)過程,并未消除其問責(zé)的確定性。

    與忠實義務(wù)相比,注意義務(wù)認(rèn)定的難度將大幅增加,模糊地帶也隨之拓展。具體來看,注意義務(wù)一般采“理性人”的注意標(biāo)準(zhǔn)。關(guān)于理性人在公司治理語境中的理解,顯然不能按照普通大眾的認(rèn)知水平進行評判?!袄硇匀说膬?nèi)在結(jié)構(gòu)的核心部分是知識和能力問題”,“為了保護投資人的合理信賴……當(dāng)具體董事因?qū)I(yè)或職業(yè)等原因具備更高的知識儲備時,標(biāo)準(zhǔn)會被提高,那些超出普通商人應(yīng)擁有的知識也應(yīng)納入理性標(biāo)準(zhǔn)中”[19]。人工智能介入董事會后,注意義務(wù)的理性人標(biāo)準(zhǔn)也應(yīng)按照技術(shù)條件而有所調(diào)高,對于董事成員而言,其在進行決策過程中采取的謹(jǐn)慎注意程度如何適應(yīng),并無可資借鑒的范本。在目前的董事會結(jié)構(gòu)中,成員一般以專業(yè)的財會、法律和商業(yè)背景為主,熟悉技術(shù)特別是人工智能技術(shù)的董事成員較少,即便是存在智能系統(tǒng)專家,基于同業(yè)互敬的董事會結(jié)構(gòu)傳統(tǒng)[12],信任其他董事往往比提出反對意見更符合董事自身利益,董事會最終作出的決策所負(fù)載的參考信息能否精準(zhǔn)歸因于董事會所履行的注意義務(wù),并不容易判斷,進而也難以準(zhǔn)確識別人工智能提供的意見本身是否符合公司利益。此時,對于董事違反注意義務(wù)過錯的認(rèn)定,將變得模糊不清。

    在歸責(zé)主體層面,因人工智能顧問的業(yè)務(wù)形態(tài)差異而更趨復(fù)雜。在董事會購置獨立人工智能顧問系統(tǒng)的條件下,智能顧問機器的產(chǎn)品屬性決定了生產(chǎn)者/銷售者與作為買受人的公司及其董事會,在特定不利決策產(chǎn)生的損害結(jié)果上均有擔(dān)責(zé)風(fēng)險。董事對智能顧問機器輸出意見的監(jiān)督和評價、智能機器本身的認(rèn)識錯誤或者是自主學(xué)習(xí)條件下擅自修改程序造成損害、公司對董事吸收智能顧問機器決策過程的監(jiān)督等,不同程度上構(gòu)成了最終責(zé)任認(rèn)定的決斷參考因素,公司作為不利結(jié)果承受者很可能因無法找到真正的責(zé)任主體而自吞苦果。

    在由第三方外包的智能顧問業(yè)務(wù)模式下,對于最終損害結(jié)果,公司及其董事、第三方機構(gòu)亦均有苛責(zé)的可能性。隨著智能機器的成熟和行業(yè)倫理與規(guī)則的發(fā)展,第三方獨立機構(gòu)在治理意見輸出的交易關(guān)系力量對比中扮演由弱到強的角色,進而從主要責(zé)任承擔(dān)者轉(zhuǎn)化為次要責(zé)任承擔(dān)者甚至不承擔(dān)責(zé)任。具言之,行業(yè)發(fā)展初期,為了獲取客戶資源及進行機器學(xué)習(xí)的訓(xùn)練數(shù)據(jù),第三方機構(gòu)不得不承諾提供定制化的專屬治理意見,且愿意為治理意見不當(dāng)后果承擔(dān)最終責(zé)任,這種承諾減輕了董事責(zé)任。行業(yè)發(fā)展成熟后,為了減輕問責(zé)壓力,第三方機構(gòu)可能會在服務(wù)合同中明確限制、排除自己所提供的治理意見造成的損害結(jié)果歸責(zé),彼時,公司及其董事會特別是后者需要承擔(dān)的風(fēng)險將隨之加重。歸責(zé)主體在此背景下存在模糊不定的狀態(tài)。

    三、 重構(gòu)人工智能語境下的董事義務(wù)體系與責(zé)任機制

    我國公司治理機制在實踐引領(lǐng)與制度借鑒的過程中不斷地趨于完善。實踐中紛繁多樣的公司糾紛促進治理機制演繹,域外的治理進化趨勢也影響我國相關(guān)制度建構(gòu)。2018年修訂的《上市公司治理準(zhǔn)則》即屬對治理實踐的最新回應(yīng),但其內(nèi)容并未涉及對智能工具介入的規(guī)范??紤]到董事會質(zhì)量的推進是全球性的關(guān)鍵議題,因此,在人工智能介入后,董事義務(wù)體系和責(zé)任分配問題,需要系統(tǒng)研究。

    1. 人工智能語境下董事義務(wù)的新意與拓展

    針對董事逃避義務(wù)的行為,一般有兩種策略予以回應(yīng)。一種是限權(quán)策略,指的是最小化董事的自主權(quán);另一種是股東介入策略,即對董事已經(jīng)無法充分履職且對公司利益有損害之虞,股東積極介入予以干預(yù)。兩種策略均建立在傳統(tǒng)的代理法基礎(chǔ)上,將委托人對代理人權(quán)限的限制手段復(fù)制到公司法中,但這僅僅是短期而非常態(tài)化的,而且“策略本身在保護委托人免受代理人過失或瀆職行為侵害的同時,也使得代理人無法實施對委托人有利的行為”[13]。將規(guī)范的焦點置于董事義務(wù)之上仍應(yīng)是今后處理人工智能介入問題的主要手段,在具體內(nèi)容的設(shè)定上,應(yīng)以促進董事問責(zé)與實現(xiàn)激勵的有效平衡為依歸,所以應(yīng)當(dāng)對董事義務(wù)體系予以更新。

    (1) 董事信義義務(wù)的新意

    人工智能語境下,董事逃避信義義務(wù)的原因在于決策環(huán)境的改變,這一方面激勵董事以人工智能顧問機器為“替罪羊”,另一方面抬升注意義務(wù)履行標(biāo)準(zhǔn)使得董事無法適切定位自身角色。因此,規(guī)制的問題重點在于,算法本身根據(jù)既定程序輸出的適當(dāng)結(jié)果,是建立在并不透明的無監(jiān)督學(xué)習(xí)基礎(chǔ)之上,無監(jiān)督運算造成了算法與人類之間信息對稱性的失衡。對于無監(jiān)督學(xué)習(xí),應(yīng)有技術(shù)和法律兩個維度的規(guī)管機制。就技術(shù)維度而言,理想的情況是采用對技術(shù)參數(shù)進行嚴(yán)格檢測的方式,通過設(shè)定事先確認(rèn)的標(biāo)準(zhǔn)對每一項人工智能產(chǎn)品加以嚴(yán)格的倫理審查,以防止脫離人類監(jiān)管。歐盟人工智能專家委員會在2019年發(fā)布的《可信賴的人工智能倫理準(zhǔn)則》(EthicsGuidelinesforTrustworthyAI)便是應(yīng)對智能機器風(fēng)險審查的一項努力,準(zhǔn)則中對可信賴AI強調(diào)應(yīng)具備合法性、倫理性、魯棒性(即穩(wěn)健性)三個必要條件,在“設(shè)計倫理”(ethicsby design)的主導(dǎo)原則下推進AI發(fā)展策略,將人類優(yōu)先與技術(shù)安全置于優(yōu)位考量。所以,對人工智能這一風(fēng)險敞口,技術(shù)層面的嚴(yán)格規(guī)制先于技術(shù)自身的發(fā)展程度。法律維度是對技術(shù)維度的立法實現(xiàn)與表達(dá)。如為了貫徹人類主導(dǎo)和防范人工智能反噬的危害,刑事法律層面可以將未經(jīng)審查的人工智能技術(shù)研制定性為犯罪行為從而施以刑事處罰[20],私法層面則嚴(yán)格拒斥賦予其主體地位并對其運營管理施加人力控制以保護市民社會運作的基本秩序。在公司法的視域下,強化對人工智能的監(jiān)督主要體現(xiàn)為董事的監(jiān)督義務(wù),而這在公司法理中已有歷史基礎(chǔ)。

    傳統(tǒng)的信義義務(wù)雖主要以忠實義務(wù)與注意義務(wù)為核心,但在其漫長的發(fā)展演變過程中,隨著事權(quán)分配的彌散化、去中心化,董事監(jiān)督義務(wù)也隨之興起并擴充了信義義務(wù)內(nèi)容。以董事違反監(jiān)督義務(wù)提起訴訟最早緣于美國特拉華州的Graham案,股東認(rèn)為涉案公司董事因未對部門經(jīng)理與其他公司聯(lián)合定價的違法行為作出適當(dāng)監(jiān)督,令公司蒙受處罰,應(yīng)對此承擔(dān)責(zé)任。雖然最終原告敗訴,但監(jiān)督義務(wù)作為一項概念仍然被提出來而受到重視,也就是說,當(dāng)董事將一定的決策與具體經(jīng)營權(quán)分離、下放至經(jīng)理層時,對于后者的行為,董事是否有積極監(jiān)督、偵查的義務(wù),這將構(gòu)成董事承擔(dān)對公司責(zé)任的重要因素。多年以后,在Caremark案中,與Graham案類似,針對股東提起的董事未妥善監(jiān)督雇員違法推銷醫(yī)療產(chǎn)品造成公司損失而應(yīng)擔(dān)責(zé)的問題,特拉華州衡平法院對監(jiān)督義務(wù)進行了進一步的展開討論,認(rèn)為董事會實際上有義務(wù)主動采取積極措施規(guī)避風(fēng)險,“一個合理設(shè)計的組織,其目的是向管理層與董事會本身提供及時、準(zhǔn)確的信息,以使管理層和董事會在各自的職責(zé)范圍內(nèi)就公司的守法情況和經(jīng)營業(yè)績作出知情的判斷”。因缺乏持續(xù)或系統(tǒng)性監(jiān)督是一種重大過失,使得信息匯報機制無從適用,對此導(dǎo)致的損害后果顯然要負(fù)擔(dān)責(zé)任。該案的裁判立場得到衡平法院的廣泛接受。

    應(yīng)當(dāng)認(rèn)為,在代理權(quán)不斷下沉、董事會形式化特點突出、外部董事席卷的治理實踐中,美國法的董事監(jiān)督義務(wù)是合理而必要的,這有利于將董事從具體經(jīng)營事務(wù)中解放出來,從而在治理框架內(nèi)的角色扮演中專于公司宏觀戰(zhàn)略設(shè)計及對經(jīng)理層等執(zhí)行團隊的績效評價上[21],以推升專業(yè)分工機制下的公司治理效率。人工智能介入公司后的治理場景改變實際上與代理權(quán)下沉的影響是一致的,這主要是因為:第一,人工智能介入董事會在很大程度上減輕了董事對具體運營決策及其他瑣細(xì)事務(wù)的工作量,使其得以將主要的工作投放在公司長遠(yuǎn)戰(zhàn)略的設(shè)計上,這與董事會下放執(zhí)行權(quán)限不謀而合;第二,董事依靠人工智能進行決策實際上也是釋放權(quán)力的一種形式,其主要目的在于決策系統(tǒng)的功能改進,這與董事將部分治理權(quán)限交由經(jīng)理層執(zhí)行屬于同種類型。據(jù)此,在這一條件下,承認(rèn)人工智能介入背景下的董事監(jiān)督義務(wù)將有機會修正其逃避義務(wù)的傾向,因為這使其在減輕責(zé)任的前提下抬升了監(jiān)督公司事務(wù)運行的要求。

    董事監(jiān)督義務(wù)的設(shè)定在中國法上具有必要性和可能性。首先,我國公司法上負(fù)責(zé)監(jiān)督的機制主要是監(jiān)事會和股份公司中可能存在的獨立董事,遭詬病的是,兩者在實踐中往往發(fā)生職能沖突,由于存在監(jiān)督義務(wù)的重疊,為了減少自身的責(zé)任,兩方都不愿意積極履行監(jiān)督義務(wù),以致一邊耗費合規(guī)成本,一邊無法對頻發(fā)的運營問題產(chǎn)生有效規(guī)制。當(dāng)人工智能介入后,在監(jiān)督機制不彰的情況下,有可能會影響公司治理的穩(wěn)定性,所以有必要確立董事監(jiān)督義務(wù)。由董事承擔(dān)監(jiān)督義務(wù)的好處在于,董事因經(jīng)營管理行為始終處于治理的金字塔頂尖,對公司內(nèi)部的組織架構(gòu)更為熟悉,監(jiān)督起來更為便利;而在追責(zé)過程中,董事必須證明其履職的具體行為標(biāo)準(zhǔn),私人執(zhí)法機制展開也更為暢通。除了必要性之外,設(shè)定董事監(jiān)督義務(wù)的可能性也至為明顯。因為,我國對于信義義務(wù)制度雖有明文規(guī)范和學(xué)理論證,但在司法裁判的適用上始終處于“半沉睡”狀態(tài),特別是注意義務(wù)條款經(jīng)常淪落為宣示性的規(guī)定而不具備實踐品格[22]。以人工智能介入為契機,引入董事監(jiān)督義務(wù),并在其原則性范例下具體列示行為準(zhǔn)則,不僅擴充了董事信義義務(wù)內(nèi)涵,也便于激活信義義務(wù)的司法適用。

    (2) 合規(guī)義務(wù)之具體化

    在當(dāng)前普遍強調(diào)公司合規(guī)建設(shè)的環(huán)境下,人工智能介入實際上催生了董事會合規(guī)義務(wù)。按照Caremark案的理解,監(jiān)督義務(wù)要求董事在注意到發(fā)生或可能發(fā)生不當(dāng)行為時,有責(zé)任采取行動,但事后責(zé)任的調(diào)查取決于提交給董事會的信息質(zhì)量,也就是說董事須確保合規(guī)層面的信息得以流動[23]。易言之,董事合規(guī)義務(wù)是監(jiān)督義務(wù)的具體化,面對人工智能技術(shù)介入,從董事會層面建構(gòu)合規(guī)制度也是公司多元化合規(guī)體系形塑的應(yīng)有之義。關(guān)于人工智能背景下的董事會合規(guī)義務(wù),主要從組織結(jié)構(gòu)設(shè)計、成員資格要求兩方面展開。

    第一,組織結(jié)構(gòu)設(shè)計上應(yīng)補強現(xiàn)有董事會的短板,特別是技術(shù)監(jiān)督上的不足。公司董事會成員一般來源于不同的知識背景,但總體上以商業(yè)、財會、法律等為主,董事會框架內(nèi),專業(yè)委員會治理是突出特點,一般公司中有三個委員會:提名、薪酬和審計。每個委員會都處理特定領(lǐng)域管理上的利益沖突。法律、審計雖然與合規(guī)有關(guān),但是人工智能介入條件下,對于人工智能的技術(shù)細(xì)節(jié)和監(jiān)督顯然鞭長莫及,而將有些合規(guī)業(yè)務(wù)納入審計委員會職能中也無法產(chǎn)生預(yù)期效用[24]。在數(shù)據(jù)治理的宏觀背景下,對于有關(guān)技術(shù)和分析的專門知識變得越來越重要。所以,至少在規(guī)模較大的股份有限公司董事會中,技術(shù)或合規(guī)委員會應(yīng)當(dāng)成為今后設(shè)計上重點考慮的內(nèi)容。技術(shù)委員會功能在于監(jiān)管智能機器無監(jiān)督學(xué)習(xí)的計算結(jié)果是否違反一定的操作規(guī)程或標(biāo)準(zhǔn),其目的在于補強董事會相關(guān)領(lǐng)域知識的缺陷,防止董事會成員形成結(jié)構(gòu)性偏見而無法妥當(dāng)識別機器造成的錯漏。比較法上,如截至2016年,美國的董事會中設(shè)置技術(shù)委員會的數(shù)量已達(dá)到6%[25],這一比例將會隨著人工智能引入而繼續(xù)增長。

    第二,成員資格要求上應(yīng)重視技術(shù)背景的專業(yè)人士入駐董事會。專業(yè)治理是董事會的鮮明特征,人工智能介入董事會后,對董事自身提出的知識與能力要求也會提上議程。法律應(yīng)當(dāng)為公司使用人工智能顧問情況下董事會的成員資格要求設(shè)置缺省性條款,要求一定比例或數(shù)量的董事應(yīng)當(dāng)具備特定人工智能知識,除非公司已經(jīng)通過其他機制如尋求第三方技術(shù)監(jiān)管機構(gòu)協(xié)助。對于是否具備特定人工智能知識的勝任資格,應(yīng)當(dāng)由監(jiān)管部門通過設(shè)置智能算法考試的方式予以確認(rèn),且在通過考試后進行持續(xù)性的督導(dǎo),以保證該董事專注于技術(shù)監(jiān)督從而可以持續(xù)勝任。在小規(guī)模的有限責(zé)任公司中,如果缺乏設(shè)立技術(shù)委員會的條件,則輔以技術(shù)背景董事的要求即可實現(xiàn)同等目的。證監(jiān)會在2018年發(fā)布的新《上市公司治理準(zhǔn)則》第25條規(guī)定“鼓勵董事成員的多元化”,可以視為對我國董事會包容技術(shù)專才并賦之以決策職責(zé)提供了規(guī)范性指引。

    2. 人工智能語境下責(zé)任認(rèn)定與分配的重釋

    (1) 責(zé)任認(rèn)定的客觀化

    人工智能語境下,確認(rèn)董事的過失責(zé)任將更傾向于客觀標(biāo)準(zhǔn)為宜。在追究董事違反注意義務(wù)的責(zé)任時對理性人標(biāo)準(zhǔn)的界定并不好判斷,但是監(jiān)督義務(wù)概念的引入將有機會使得過錯認(rèn)定客觀化,這涉及到對監(jiān)督義務(wù)性質(zhì)的界定。美國公司法裁判上對于董事監(jiān)督義務(wù)性質(zhì)的定位存有分歧。在Graham案中,特拉華州最高法院認(rèn)為,董事監(jiān)督義務(wù)屬于注意義務(wù)之一環(huán),其適用前提是企業(yè)內(nèi)部的不法行為有被察覺的可能性,在董事沒有理由懷疑存在不法行為的情況下,沒有義務(wù)去設(shè)置公司內(nèi)部控制制度。法官在Caremark案中也延續(xù)了將監(jiān)督義務(wù)定位于注意義務(wù)之一的理念,Allen法官強調(diào),董事有義務(wù)建立一個有效的合規(guī)制度,這是基于注意義務(wù)的要求[26]。然而,在2003年的Guttman案中,法院的立場有所轉(zhuǎn)變,認(rèn)為董事善意建立并有效、持續(xù)地維持公司內(nèi)控監(jiān)督系統(tǒng)才能盡到監(jiān)督義務(wù)的基本要求,也就是說,因怠于監(jiān)督而生的損害賠償責(zé)任,應(yīng)建立在違反善意的要求之上,而這是違反忠實義務(wù)的前提條件。2006年的Stone案也進一步鞏固了這一認(rèn)識,認(rèn)為監(jiān)督義務(wù)之違反屬于善意行為的欠缺,董事在面對已知行為義務(wù)而未采取行動時,將違反忠實義務(wù)。將監(jiān)督義務(wù)從注意義務(wù)內(nèi)容轉(zhuǎn)為忠實義務(wù)成分,實際上強調(diào)對董事善意的要求,且出于對其行為認(rèn)定客觀化的便利性考慮。

    結(jié)合其性質(zhì)界定的分歧可知,對監(jiān)督義務(wù)違反采取綜合要素認(rèn)定是比較妥當(dāng)?shù)?也就是一方面強調(diào)董事對建立合規(guī)系統(tǒng)的注意要求,另一方面也重視董事善意履職的行為標(biāo)準(zhǔn)。我國采取的立場應(yīng)當(dāng)?shù)O(jiān)督義務(wù)的性質(zhì)歸屬,而以更務(wù)實的精神注重監(jiān)督義務(wù)違反的查證便利性,盡量以行為而非主觀意識為義務(wù)違反的標(biāo)準(zhǔn),這與轉(zhuǎn)向忠實義務(wù)認(rèn)定有立場上的相似性,但不宜將其列為忠實義務(wù)內(nèi)容,當(dāng)然也與注意義務(wù)相區(qū)分,而是作為一項以善意為前提的獨立義務(wù)。這對于我國董事義務(wù)更新具有重要參考價值,原因在于:首先,忠實義務(wù)的具體違反樣態(tài)相對固定,將監(jiān)督義務(wù)違反類型納入其中會不當(dāng)?shù)貨_擊忠實義務(wù)認(rèn)定的穩(wěn)定性;其次,注意義務(wù)本身在我國激活不多,加入監(jiān)督義務(wù)使得注意義務(wù)成分復(fù)雜、認(rèn)定困難;最后,我國并無美國豐富的案例演變實踐,完全可以將監(jiān)督義務(wù)作為信義義務(wù)具體化內(nèi)容之一種,以行為標(biāo)準(zhǔn)予以確認(rèn)。人工智能介入后呼喚合規(guī)體系的完善,妥當(dāng)?shù)囊?guī)劃應(yīng)是對合規(guī)義務(wù)的類型化進行更細(xì)致的規(guī)定,如果未能達(dá)到合規(guī)義務(wù)履行的必要行為條件,即可認(rèn)為其違反監(jiān)督義務(wù)從而需為此擔(dān)責(zé)。

    (2) 責(zé)任主體的厘定

    為消除董事會在人工智能輔助強化決策過程中產(chǎn)生的最終責(zé)任承擔(dān)主體的模糊性,防止公司承擔(dān)兜底性的不利損害,對責(zé)任主體應(yīng)予清晰化。這需要從人工智能介入的業(yè)務(wù)模式上展開討論。

    在董事會購置獨立人工智能顧問系統(tǒng)的業(yè)務(wù)模式下,對于責(zé)任主體的認(rèn)定應(yīng)具體化為以下情形:第一,當(dāng)董事會在借助人工智能決策過程中,善意地履行了董事監(jiān)督義務(wù),采取了謹(jǐn)慎的措施控制決策風(fēng)險,可確定其對最終的不利損害不具備可歸責(zé)性,此外,對于生產(chǎn)者/銷售者而言,其技術(shù)符合《產(chǎn)品質(zhì)量法》相關(guān)規(guī)定,特別是投入流通時不存在該法第46條所強調(diào)的不合理風(fēng)險,且以彼時的技術(shù)標(biāo)準(zhǔn)無法發(fā)現(xiàn)設(shè)計缺陷從而使用發(fā)展風(fēng)險抗辯原則,那么,最終的損害后果應(yīng)由公司按照正常商業(yè)風(fēng)險承擔(dān)。第二,如果經(jīng)過第三方專業(yè)技術(shù)機構(gòu)鑒定發(fā)現(xiàn)不利后果乃由機器本身的計算故障所產(chǎn)生,且該故障非可由董事監(jiān)督義務(wù)所能排除,在這種條件下,公司可獲得對人工智能機器生產(chǎn)者/銷售者進行追償?shù)臋?quán)利。第三,如果是因董事會成員未能善意地履行監(jiān)督職責(zé),產(chǎn)生了最終的損害后果,且人工智能機器并無設(shè)計上的故障,董事應(yīng)當(dāng)對此結(jié)果承擔(dān)賠償責(zé)任。至于董事承擔(dān)責(zé)任的形態(tài)是僅由技術(shù)背景董事?lián)?zé)還是包括與其他非技術(shù)背景董事承擔(dān)連帶責(zé)任,這一問題與待決議案對智能機器的依賴程度、技術(shù)董事的解釋必要性與清晰度等等因素有關(guān),應(yīng)根據(jù)特定案情加以厘定,不應(yīng)設(shè)定“一刀切”的規(guī)范基準(zhǔn),否則將破壞商事法靈活調(diào)整復(fù)雜商事關(guān)系的功能。

    在第三方提供外包治理意見服務(wù)的模式下,雖然智能機器輸出治理意見,但可將其比照為電子代理人的行為,將其行為歸諸于使用者[5]。這里的使用者應(yīng)當(dāng)是運營者而非服務(wù)接受者,因為該業(yè)務(wù)的具體運作是先由董事會提供需求,然后由運營者將該需求轉(zhuǎn)化為智能機器所能識別的代碼加以運算,操控機器的是運營者而非董事會。在該模式下,首先,如果董事會對于智能機器輸出的治理結(jié)果進行了技術(shù)層面的審查,如復(fù)盤和檢測了記錄治理意見計算過程的信息載體,可視為已經(jīng)完成監(jiān)督義務(wù),對于最后的商業(yè)風(fēng)險,如果不存在外包機構(gòu)的技術(shù)缺陷,公司應(yīng)承受其風(fēng)險。其次,如果損害確因技術(shù)本身未臻成熟或運營者出于為相類似企業(yè)提供差異化服務(wù)以謀取算法歧視下的不當(dāng)利益所致,毫無疑問應(yīng)當(dāng)由運營者為此承擔(dān)責(zé)任。最后,對于董事承擔(dān)責(zé)任的情形,仍應(yīng)限定在未能妥善履行監(jiān)督義務(wù)、盲信外包公司治理意見所導(dǎo)致的損害,此時仍能為商業(yè)判斷規(guī)則留下適用空間,保持法律規(guī)則的穩(wěn)定性和適應(yīng)性。

    四、 結(jié) 語

    人工智能介入董事會改變了決策所依據(jù)的生態(tài)環(huán)境,進而對義務(wù)體系與責(zé)任機制產(chǎn)生沖擊。以忠實義務(wù)和注意義務(wù)為核心的傳統(tǒng)信義義務(wù)及責(zé)任追究未能適切地防范智能機器風(fēng)險,以董事監(jiān)督義務(wù)充實信義義務(wù)內(nèi)容并通過客觀化的行為違反責(zé)任加強追責(zé),將有利于鎖定智能顧問機器使用的風(fēng)險并維護人類在決策上的優(yōu)先權(quán)。人工智能算法在董事會決策過程中的運用,一方面具備改善傳統(tǒng)信息匯集工具的渠道效能,另一方面則作為一種新穎的決策機制本身構(gòu)成對傳統(tǒng)模式的突破,這將可能對公司治理結(jié)構(gòu)特別是股東會與董事會之間的關(guān)系構(gòu)造產(chǎn)生深遠(yuǎn)影響。未雨綢繆、提前設(shè)定義務(wù)與責(zé)任規(guī)則,可以防止智能技術(shù)提前到來產(chǎn)生的系統(tǒng)性風(fēng)險。

    猜你喜歡
    董事董事會義務(wù)
    國辦:進一步優(yōu)化上市公司獨立董事制度 提升獨立董事履職能力
    中國機械工程雜志社第四屆董事會
    中國機械工程雜志社第四屆董事會
    中國機械工程雜志社第四屆董事會
    中國機械工程雜志社第四屆董事會
    幸福的人,有一項獨特的義務(wù)
    海峽姐妹(2020年12期)2021-01-18 05:53:12
    論董事勤勉義務(wù)的判斷與歸責(zé)
    法大研究生(2019年1期)2019-11-16 00:37:46
    三十載義務(wù)普法情
    跟蹤導(dǎo)練(一)(4)
    兼職獨立董事對上市公司一視同仁嗎?
    久久人人爽人人片av| 久久久久久久久久久丰满| 成人18禁高潮啪啪吃奶动态图 | 毛片一级片免费看久久久久| 3wmmmm亚洲av在线观看| 女人久久www免费人成看片| 亚洲图色成人| 我要看黄色一级片免费的| √禁漫天堂资源中文www| 91久久精品电影网| 97超碰精品成人国产| 香蕉精品网在线| 99九九在线精品视频 | 妹子高潮喷水视频| 亚洲国产最新在线播放| 亚洲色图综合在线观看| 国内揄拍国产精品人妻在线| 久久精品国产亚洲av涩爱| 色94色欧美一区二区| 又爽又黄a免费视频| 久久久久网色| 国产精品免费大片| 天天躁夜夜躁狠狠久久av| 国产在线视频一区二区| 99久久精品一区二区三区| 极品少妇高潮喷水抽搐| 在线免费观看不下载黄p国产| 国产精品久久久久久av不卡| 毛片一级片免费看久久久久| 嫩草影院入口| 国产综合精华液| a级毛片免费高清观看在线播放| 啦啦啦在线观看免费高清www| 亚洲美女黄色视频免费看| a级片在线免费高清观看视频| 一个人免费看片子| 亚洲人成网站在线播| 99热这里只有精品一区| 啦啦啦啦在线视频资源| 欧美xxxx性猛交bbbb| 国产精品久久久久久av不卡| 99九九线精品视频在线观看视频| 偷拍熟女少妇极品色| 多毛熟女@视频| av福利片在线| 国产女主播在线喷水免费视频网站| 波野结衣二区三区在线| 亚洲久久久国产精品| 人人妻人人看人人澡| 在线观看免费视频网站a站| 中文在线观看免费www的网站| 香蕉精品网在线| 亚洲欧美一区二区三区国产| 在现免费观看毛片| 久久午夜福利片| 欧美性感艳星| 一级a做视频免费观看| 日韩大片免费观看网站| freevideosex欧美| 精品一品国产午夜福利视频| 日日爽夜夜爽网站| 丰满人妻一区二区三区视频av| 国产精品成人在线| 99久久精品一区二区三区| 桃花免费在线播放| 国产伦精品一区二区三区视频9| 国产日韩欧美视频二区| 国产一区亚洲一区在线观看| 最近的中文字幕免费完整| 国内揄拍国产精品人妻在线| 国产成人午夜福利电影在线观看| 老司机影院成人| 午夜激情久久久久久久| 男女免费视频国产| 老女人水多毛片| 中文字幕精品免费在线观看视频 | 五月玫瑰六月丁香| 亚洲欧美精品自产自拍| 99久久精品一区二区三区| 免费看av在线观看网站| 国产男人的电影天堂91| 日本免费在线观看一区| 久热这里只有精品99| 久久久久网色| 色视频在线一区二区三区| 欧美精品人与动牲交sv欧美| 国产精品人妻久久久久久| av女优亚洲男人天堂| 久久影院123| 妹子高潮喷水视频| 欧美性感艳星| 精品卡一卡二卡四卡免费| 亚洲经典国产精华液单| 日本黄色片子视频| 成人特级av手机在线观看| 欧美日韩一区二区视频在线观看视频在线| 亚洲成人一二三区av| 少妇的逼好多水| 波野结衣二区三区在线| 丰满饥渴人妻一区二区三| 日韩av免费高清视频| 欧美三级亚洲精品| 一个人免费看片子| 一本一本综合久久| 99久久中文字幕三级久久日本| 新久久久久国产一级毛片| 在线观看免费高清a一片| 少妇丰满av| 国产白丝娇喘喷水9色精品| 亚洲av不卡在线观看| 久久久精品94久久精品| 国产永久视频网站| 在线观看免费视频网站a站| 亚洲综合精品二区| 亚洲国产精品专区欧美| 日韩,欧美,国产一区二区三区| 国产日韩欧美视频二区| 99九九线精品视频在线观看视频| 久久久午夜欧美精品| 赤兔流量卡办理| 51国产日韩欧美| 久久ye,这里只有精品| a级毛片在线看网站| 欧美 日韩 精品 国产| 日日摸夜夜添夜夜爱| 少妇被粗大猛烈的视频| 免费大片黄手机在线观看| 欧美 日韩 精品 国产| 成人漫画全彩无遮挡| 国产真实伦视频高清在线观看| 少妇被粗大的猛进出69影院 | 9色porny在线观看| av免费观看日本| 欧美日本中文国产一区发布| 午夜精品国产一区二区电影| 91在线精品国自产拍蜜月| 波野结衣二区三区在线| 99热全是精品| 精品久久久久久久久av| 男女无遮挡免费网站观看| 美女国产视频在线观看| 久久久久久久久久人人人人人人| 免费黄频网站在线观看国产| 国产av国产精品国产| 久久精品国产自在天天线| 熟女电影av网| 国产免费福利视频在线观看| 久久久午夜欧美精品| 看非洲黑人一级黄片| 黑人高潮一二区| 亚洲情色 制服丝袜| 丰满少妇做爰视频| 久久久久精品性色| 亚洲av综合色区一区| 精品亚洲成国产av| 午夜视频国产福利| www.av在线官网国产| 欧美三级亚洲精品| 2022亚洲国产成人精品| 又大又黄又爽视频免费| 国产国拍精品亚洲av在线观看| 国产成人免费无遮挡视频| 国产成人aa在线观看| 蜜桃久久精品国产亚洲av| 日韩精品免费视频一区二区三区 | 日韩伦理黄色片| 亚洲av福利一区| 91在线精品国自产拍蜜月| 欧美日韩av久久| 狠狠精品人妻久久久久久综合| 国产精品麻豆人妻色哟哟久久| 人妻一区二区av| 人妻夜夜爽99麻豆av| 精品国产乱码久久久久久小说| 伊人久久精品亚洲午夜| 色94色欧美一区二区| 亚洲真实伦在线观看| 一边亲一边摸免费视频| 国产高清有码在线观看视频| 久久久久精品性色| 高清在线视频一区二区三区| 欧美+日韩+精品| av.在线天堂| 欧美日韩视频精品一区| 97超视频在线观看视频| 有码 亚洲区| 成人无遮挡网站| 日韩一区二区三区影片| 国产精品麻豆人妻色哟哟久久| 看免费成人av毛片| 国产女主播在线喷水免费视频网站| 久久精品国产自在天天线| 一级a做视频免费观看| av国产久精品久网站免费入址| 青春草国产在线视频| 国产91av在线免费观看| 观看免费一级毛片| 97超碰精品成人国产| 欧美日韩一区二区视频在线观看视频在线| 国产高清不卡午夜福利| 婷婷色麻豆天堂久久| 精品久久久久久电影网| 成人漫画全彩无遮挡| 成年人午夜在线观看视频| 午夜精品国产一区二区电影| 国产精品国产av在线观看| 高清午夜精品一区二区三区| 欧美日韩视频精品一区| 多毛熟女@视频| 日韩欧美精品免费久久| 精品一区二区三区视频在线| 中文字幕亚洲精品专区| 久热这里只有精品99| 亚洲欧美日韩东京热| 日韩av在线免费看完整版不卡| 亚洲国产av新网站| 人人澡人人妻人| 成人无遮挡网站| 亚洲av综合色区一区| 中国美白少妇内射xxxbb| 高清黄色对白视频在线免费看 | 久久精品夜色国产| 亚洲美女搞黄在线观看| 伦精品一区二区三区| 我的老师免费观看完整版| 日本午夜av视频| 中国国产av一级| 国产淫片久久久久久久久| 纯流量卡能插随身wifi吗| 午夜福利,免费看| 久久人妻熟女aⅴ| av免费观看日本| 一级毛片久久久久久久久女| 国产 精品1| 成人美女网站在线观看视频| 黄色配什么色好看| 男人舔奶头视频| 在线观看三级黄色| 欧美日韩国产mv在线观看视频| 嘟嘟电影网在线观看| 亚洲人成网站在线观看播放| 男的添女的下面高潮视频| 成人国产av品久久久| 自拍偷自拍亚洲精品老妇| 亚洲国产欧美在线一区| 欧美日韩国产mv在线观看视频| 中文字幕亚洲精品专区| 亚洲欧美成人精品一区二区| 交换朋友夫妻互换小说| 精品午夜福利在线看| 99九九在线精品视频 | 美女大奶头黄色视频| 一级片'在线观看视频| 久久国内精品自在自线图片| 中文字幕亚洲精品专区| 精品人妻熟女毛片av久久网站| 天天躁夜夜躁狠狠久久av| 日韩三级伦理在线观看| 丰满少妇做爰视频| 午夜精品国产一区二区电影| 亚洲性久久影院| 亚洲真实伦在线观看| 欧美少妇被猛烈插入视频| 我要看黄色一级片免费的| av在线老鸭窝| 看十八女毛片水多多多| 国产熟女午夜一区二区三区 | 日本猛色少妇xxxxx猛交久久| 热re99久久国产66热| 女的被弄到高潮叫床怎么办| 国产精品人妻久久久久久| 交换朋友夫妻互换小说| 亚洲av福利一区| 国产精品嫩草影院av在线观看| 又爽又黄a免费视频| 99精国产麻豆久久婷婷| 亚洲欧洲国产日韩| 中文字幕av电影在线播放| 日本黄色片子视频| 亚洲人成网站在线观看播放| 日韩欧美 国产精品| 亚洲精品乱久久久久久| 美女福利国产在线| 免费黄网站久久成人精品| 国产欧美亚洲国产| 久久精品久久久久久噜噜老黄| 国产黄片视频在线免费观看| 国产毛片在线视频| 久久女婷五月综合色啪小说| 哪个播放器可以免费观看大片| 国产精品女同一区二区软件| 国产爽快片一区二区三区| 三级经典国产精品| 少妇人妻 视频| 久久国产亚洲av麻豆专区| 九九爱精品视频在线观看| 成人免费观看视频高清| 精品久久久久久久久亚洲| 美女福利国产在线| 国产乱人偷精品视频| 国产成人精品福利久久| 亚洲美女视频黄频| 91精品伊人久久大香线蕉| 成年av动漫网址| 夫妻性生交免费视频一级片| 五月伊人婷婷丁香| 欧美性感艳星| 成人无遮挡网站| 在线观看免费视频网站a站| 在线观看av片永久免费下载| 在线观看国产h片| 欧美日韩亚洲高清精品| 女人久久www免费人成看片| 人人妻人人澡人人看| 丰满迷人的少妇在线观看| 丝袜在线中文字幕| 三级经典国产精品| 亚洲一级一片aⅴ在线观看| av女优亚洲男人天堂| 日韩在线高清观看一区二区三区| 自拍偷自拍亚洲精品老妇| 国产成人a∨麻豆精品| 一级爰片在线观看| 亚洲精品亚洲一区二区| 噜噜噜噜噜久久久久久91| 特大巨黑吊av在线直播| 欧美日韩一区二区视频在线观看视频在线| 亚洲av国产av综合av卡| 视频中文字幕在线观看| 亚洲精品乱码久久久v下载方式| 国产有黄有色有爽视频| 一级片'在线观看视频| 免费在线观看成人毛片| 国产黄片美女视频| av又黄又爽大尺度在线免费看| 建设人人有责人人尽责人人享有的| 国产欧美亚洲国产| 国产成人免费观看mmmm| 国产精品99久久99久久久不卡 | a 毛片基地| 国产成人一区二区在线| 少妇人妻 视频| 女性被躁到高潮视频| 在线播放无遮挡| 日韩精品有码人妻一区| 美女cb高潮喷水在线观看| 大又大粗又爽又黄少妇毛片口| 国产精品偷伦视频观看了| 少妇猛男粗大的猛烈进出视频| 少妇精品久久久久久久| 久久久午夜欧美精品| 嫩草影院入口| 日韩视频在线欧美| 亚洲精品自拍成人| 日日摸夜夜添夜夜爱| 亚洲国产毛片av蜜桃av| 日韩欧美 国产精品| 久久综合国产亚洲精品| 丝瓜视频免费看黄片| 国产成人精品久久久久久| 9色porny在线观看| 伊人久久国产一区二区| 男女边摸边吃奶| 一级毛片久久久久久久久女| 下体分泌物呈黄色| av线在线观看网站| 色5月婷婷丁香| 制服丝袜香蕉在线| 最新中文字幕久久久久| av天堂久久9| 老司机亚洲免费影院| 九九爱精品视频在线观看| 亚洲在久久综合| 国产精品偷伦视频观看了| √禁漫天堂资源中文www| videossex国产| 免费看日本二区| 另类亚洲欧美激情| 全区人妻精品视频| 亚洲国产精品专区欧美| 色视频在线一区二区三区| 国产黄色视频一区二区在线观看| 国产成人精品一,二区| 亚洲成色77777| 蜜臀久久99精品久久宅男| 亚洲内射少妇av| 日韩亚洲欧美综合| 涩涩av久久男人的天堂| 99国产精品免费福利视频| 日韩人妻高清精品专区| 18禁裸乳无遮挡动漫免费视频| 国产成人a∨麻豆精品| 建设人人有责人人尽责人人享有的| av专区在线播放| 久久99一区二区三区| 国产精品国产三级国产av玫瑰| 日本av手机在线免费观看| 能在线免费看毛片的网站| 欧美xxxx性猛交bbbb| 人妻少妇偷人精品九色| 欧美性感艳星| 高清不卡的av网站| 日本av手机在线免费观看| 亚洲,一卡二卡三卡| 另类精品久久| 亚洲av二区三区四区| 国产精品免费大片| 男人狂女人下面高潮的视频| 免费观看av网站的网址| 成人18禁高潮啪啪吃奶动态图 | 99久久综合免费| 亚洲人成网站在线观看播放| 亚洲av成人精品一二三区| 国产中年淑女户外野战色| 久久久久久久久久人人人人人人| av天堂久久9| 一个人免费看片子| 日本91视频免费播放| 国内少妇人妻偷人精品xxx网站| 久久 成人 亚洲| av专区在线播放| 国产一区二区在线观看av| 99热这里只有是精品在线观看| 人体艺术视频欧美日本| 视频中文字幕在线观看| 欧美精品高潮呻吟av久久| 3wmmmm亚洲av在线观看| 国产精品久久久久久精品电影小说| www.av在线官网国产| 国产亚洲午夜精品一区二区久久| 欧美 日韩 精品 国产| 国产成人精品无人区| 日日爽夜夜爽网站| 亚洲人成网站在线观看播放| 少妇人妻久久综合中文| 色视频www国产| 午夜福利网站1000一区二区三区| 久久99热这里只频精品6学生| 国产一区有黄有色的免费视频| 午夜av观看不卡| 一本大道久久a久久精品| 国产成人freesex在线| 高清av免费在线| 国产乱人偷精品视频| 国产精品福利在线免费观看| 精品国产国语对白av| 99re6热这里在线精品视频| 免费av中文字幕在线| 精品亚洲成a人片在线观看| 国产黄色免费在线视频| 亚洲av免费高清在线观看| 国产在线免费精品| 国产精品一区二区在线不卡| 免费人成在线观看视频色| 国产一区二区三区av在线| 一区二区三区免费毛片| 麻豆成人av视频| 亚洲内射少妇av| 亚洲不卡免费看| 日韩人妻高清精品专区| 精品久久久精品久久久| 日韩,欧美,国产一区二区三区| 亚洲精品国产色婷婷电影| videos熟女内射| 亚洲精品日韩av片在线观看| 亚洲欧美中文字幕日韩二区| 国产欧美亚洲国产| 一级a做视频免费观看| 乱系列少妇在线播放| 插逼视频在线观看| 男男h啪啪无遮挡| 内射极品少妇av片p| 男女边吃奶边做爰视频| 中文在线观看免费www的网站| 国产熟女午夜一区二区三区 | 国产成人aa在线观看| 一级毛片黄色毛片免费观看视频| 一区二区三区四区激情视频| av视频免费观看在线观看| 亚洲av福利一区| 丁香六月天网| 国产极品粉嫩免费观看在线 | 一二三四中文在线观看免费高清| 日韩一区二区视频免费看| 日韩三级伦理在线观看| 久久精品国产鲁丝片午夜精品| 亚洲精品,欧美精品| 欧美xxxx性猛交bbbb| 亚洲av欧美aⅴ国产| 美女cb高潮喷水在线观看| 人人妻人人澡人人爽人人夜夜| 综合色丁香网| 久久久欧美国产精品| 国产国拍精品亚洲av在线观看| 高清在线视频一区二区三区| 日韩伦理黄色片| 国产精品久久久久久精品古装| 亚洲av国产av综合av卡| 男人爽女人下面视频在线观看| 国产成人精品福利久久| 成人漫画全彩无遮挡| 秋霞伦理黄片| 免费不卡的大黄色大毛片视频在线观看| 成人无遮挡网站| 国产精品一区二区三区四区免费观看| 噜噜噜噜噜久久久久久91| 午夜免费观看性视频| 午夜激情久久久久久久| 国产免费又黄又爽又色| 国产成人91sexporn| 久久精品国产a三级三级三级| 日韩伦理黄色片| 如何舔出高潮| 精华霜和精华液先用哪个| 97精品久久久久久久久久精品| 亚洲精品aⅴ在线观看| 在现免费观看毛片| 在线天堂最新版资源| 成人无遮挡网站| 黄色日韩在线| 黄色毛片三级朝国网站 | 在线观看国产h片| 一级毛片aaaaaa免费看小| 一本—道久久a久久精品蜜桃钙片| 国产在线一区二区三区精| 亚洲欧美成人综合另类久久久| 极品教师在线视频| 成人黄色视频免费在线看| 在线观看www视频免费| 久久久午夜欧美精品| 日韩 亚洲 欧美在线| 国产女主播在线喷水免费视频网站| 春色校园在线视频观看| 色网站视频免费| 毛片一级片免费看久久久久| 久久久久国产网址| 18禁在线播放成人免费| 亚洲欧美成人精品一区二区| 日韩强制内射视频| 赤兔流量卡办理| a级毛片免费高清观看在线播放| 久久久精品免费免费高清| 国产成人精品婷婷| 日韩电影二区| 国产精品人妻久久久影院| 99热这里只有是精品50| 在线观看三级黄色| 一级爰片在线观看| 我的女老师完整版在线观看| 丁香六月天网| 18禁裸乳无遮挡动漫免费视频| 国产在线一区二区三区精| 国产伦精品一区二区三区视频9| 十八禁高潮呻吟视频 | 狠狠精品人妻久久久久久综合| 久久久久精品久久久久真实原创| 亚洲精品国产av蜜桃| 国内揄拍国产精品人妻在线| 亚洲不卡免费看| 亚洲美女视频黄频| 国产在线一区二区三区精| 亚洲综合色惰| 观看免费一级毛片| 日韩三级伦理在线观看| 一级爰片在线观看| 一级片'在线观看视频| 在线观看免费视频网站a站| 久久人人爽人人爽人人片va| 久久精品熟女亚洲av麻豆精品| 亚洲国产欧美在线一区| 久热这里只有精品99| 日本黄色片子视频| 婷婷色麻豆天堂久久| 国产精品嫩草影院av在线观看| 久久鲁丝午夜福利片| 一级毛片电影观看| 少妇精品久久久久久久| 3wmmmm亚洲av在线观看| 99热6这里只有精品| 色网站视频免费| 免费大片18禁| h视频一区二区三区| 久久久久久久久大av| 色视频www国产| 纵有疾风起免费观看全集完整版| 毛片一级片免费看久久久久| 97超碰精品成人国产| 一本—道久久a久久精品蜜桃钙片| 免费看日本二区| 亚洲精品亚洲一区二区| 免费观看的影片在线观看| 亚洲中文av在线| 成人影院久久| 亚洲av成人精品一区久久| 国产 一区精品| 亚洲精品成人av观看孕妇| av天堂中文字幕网| 一级毛片久久久久久久久女| 中文字幕久久专区| 精品国产一区二区久久| 国产无遮挡羞羞视频在线观看| 日韩欧美 国产精品| 国产亚洲精品久久久com| 成年人免费黄色播放视频 | av天堂久久9| 亚洲性久久影院| 国产成人a∨麻豆精品| 肉色欧美久久久久久久蜜桃| 国产精品一区www在线观看| 蜜臀久久99精品久久宅男| 久热久热在线精品观看| 极品人妻少妇av视频| 男女无遮挡免费网站观看| 丰满迷人的少妇在线观看| 国产在线免费精品|