• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    算法治理研究述評(píng):演進(jìn)脈絡(luò)分析與理論體系構(gòu)建*

    2023-03-22 04:31:44許曉東
    情報(bào)雜志 2023年3期
    關(guān)鍵詞:算法研究

    鄺 巖 許曉東

    (華中科技大學(xué)公共管理學(xué)院 武漢 430074)

    0 引 言

    隨著信息技術(shù)的不斷發(fā)展和網(wǎng)絡(luò)平臺(tái)的逐漸普及,算法正在深度地嵌入到社會(huì)生活的各個(gè)方面。在公共治理領(lǐng)域,算法因其強(qiáng)大的信息收集和決策分析能力,在公眾需求獲取及行政效率提升等方面可以成為強(qiáng)大的治理工具。然而,算法在廣泛參與治理的同時(shí)也產(chǎn)生了相應(yīng)的風(fēng)險(xiǎn),其固有的技術(shù)特性及運(yùn)轉(zhuǎn)方式會(huì)導(dǎo)致“算法歧視”“算法霸權(quán)”“算法黑箱”等問(wèn)題的出現(xiàn),給公民權(quán)利及公共利益的實(shí)現(xiàn)帶來(lái)不同程度的損害,其治理問(wèn)題也引起了學(xué)術(shù)界的廣泛關(guān)注。

    算法作為計(jì)算機(jī)科學(xué)的靈魂,其應(yīng)用早在20世紀(jì)辦公自動(dòng)化的過(guò)程中便已開(kāi)始,但關(guān)于算法治理的研究在最近十年才開(kāi)始凸顯。不同學(xué)科背景的學(xué)者對(duì)算法治理的研究目標(biāo)都是為了更好地利用算法來(lái)解決社會(huì)中存在的各類(lèi)問(wèn)題,同時(shí)盡可能規(guī)避算法引入治理所產(chǎn)生的風(fēng)險(xiǎn),其本質(zhì)都是治理體系在算法嵌入后的完善研究。治理體系的構(gòu)建是一個(gè)復(fù)雜的系統(tǒng)性工程,需要不同學(xué)科間的充分交流及研究成果的融合應(yīng)用。雖然當(dāng)前不同學(xué)科的研究在各自領(lǐng)域都取得了豐富的成果,但針對(duì)算法治理研究的整體性、系統(tǒng)性梳理較為少見(jiàn),一定程度上制約了學(xué)科間的交流融合。鑒于此,本文采用文獻(xiàn)計(jì)量分析的方法對(duì)國(guó)內(nèi)外以算法治理為主題的文獻(xiàn)進(jìn)行系統(tǒng)分析,通過(guò)對(duì)算法治理研究演進(jìn)脈絡(luò)的分析,引出當(dāng)前算法治理研究的基本框架,并在此框架下對(duì)已有研究主題及內(nèi)容進(jìn)行梳理,進(jìn)而對(duì)算法治理研究的理論體系進(jìn)行構(gòu)建,旨在推進(jìn)對(duì)算法治理的全面理解,為后續(xù)研究提供參考借鑒。

    1 研究方法與描述性分析

    1.1 研究方法及數(shù)據(jù)來(lái)源

    本文以Web of Science中的核心合集數(shù)據(jù)庫(kù)以及中國(guó)知網(wǎng)中的CSSCI(含擴(kuò)展版)索引分別作為國(guó)際和國(guó)內(nèi)的文獻(xiàn)數(shù)據(jù)來(lái)源,分別以“算法治理(algorithmic governance)”“算法規(guī)制(algorithmic regulation)”和“算法權(quán)力(algorithmic power)”為主題詞,文獻(xiàn)類(lèi)型選擇論文,不限定發(fā)表年份,共檢索到外文文獻(xiàn)2865篇,中文420篇。根據(jù)標(biāo)題、摘要以及學(xué)科分類(lèi)等對(duì)文獻(xiàn)進(jìn)行梳理,剔除純技術(shù)分析、主題明顯不相關(guān)、非學(xué)術(shù)類(lèi)的文獻(xiàn),最終共篩選出算法治理的外文文獻(xiàn)530篇,中文文獻(xiàn)416篇。在此基礎(chǔ)上,利用citespace軟件對(duì)中外文獻(xiàn)進(jìn)行關(guān)鍵詞等內(nèi)容的知識(shí)圖譜可視化分析,進(jìn)而對(duì)算法治理的研究脈絡(luò)及主要研究維度進(jìn)行梳理。

    1.2 文獻(xiàn)的描述性分析

    a.文獻(xiàn)發(fā)表的時(shí)間趨勢(shì)。從文獻(xiàn)發(fā)表的時(shí)間分布來(lái)看,關(guān)于算法治理的論文數(shù)量在近些年呈現(xiàn)出顯著的上升趨勢(shì)(見(jiàn)圖1),表明該領(lǐng)域正逐漸成為研究熱點(diǎn)。國(guó)外與國(guó)內(nèi)的相關(guān)研究分別開(kāi)始于2012年和2017年,并在2018年進(jìn)入了快速增長(zhǎng)的階段,當(dāng)前每年發(fā)表數(shù)量均已達(dá)到上百篇。

    b.相關(guān)研究的學(xué)科分布。通過(guò)Web of Science和中國(guó)知網(wǎng)中的學(xué)科統(tǒng)計(jì)工具對(duì)算法治理研究文獻(xiàn)的學(xué)科分布進(jìn)行梳理,表明相關(guān)的研究具有明顯的多學(xué)科分布特點(diǎn),表1為國(guó)內(nèi)外發(fā)表文獻(xiàn)前10位的學(xué)科。

    圖1 算法治理國(guó)內(nèi)外文獻(xiàn)發(fā)表時(shí)間趨勢(shì)(至2022年9月)

    表1 算法治理國(guó)內(nèi)外文獻(xiàn)的學(xué)科分布

    2 演進(jìn)脈絡(luò)分析與研究框架梳理

    2.1 基于時(shí)間序列的研究脈絡(luò)分析

    利用Citespace的時(shí)間序列分析功能對(duì)相關(guān)研究文獻(xiàn)關(guān)鍵詞用LLR算法進(jìn)行聚類(lèi),可以顯示不同類(lèi)別研究主題所集中的年份(見(jiàn)圖2和圖3),進(jìn)而梳理出算法治理研究的大致演進(jìn)脈絡(luò)。通過(guò)時(shí)間序列分析可以看出,算法治理領(lǐng)域的研究始于人工智能等新型算法技術(shù)的應(yīng)用,隨著這些技術(shù)與社會(huì)的深度融合,進(jìn)而關(guān)注一些隨之而來(lái)的理論和現(xiàn)實(shí)問(wèn)題,并在對(duì)問(wèn)題分析的基礎(chǔ)上尋求治理路徑的構(gòu)建。具體而言,算法治理研究的演進(jìn)脈絡(luò)可以分為以下3個(gè)階段:一是對(duì)算法技術(shù)創(chuàng)新應(yīng)用的關(guān)注。此階段研究主要關(guān)注新型算法技術(shù)在不同領(lǐng)域的應(yīng)用,出現(xiàn)的熱點(diǎn)研究類(lèi)別包含算法、人工智能、算法控制等方面,具體的研究主題有智能推薦、媒體融合、情報(bào)認(rèn)知等。二是對(duì)算法嵌入所產(chǎn)生問(wèn)題的關(guān)注。此階段研究主要聚焦于算法在廣泛應(yīng)用過(guò)程中所產(chǎn)生的各類(lèi)理論和現(xiàn)實(shí)問(wèn)題,而國(guó)內(nèi)外研究的側(cè)重點(diǎn)略有不同,其中國(guó)外研究更多注重的是理念層面的探討,人工智能倫理、人權(quán)、文化等議題構(gòu)成了主要研究類(lèi)別;國(guó)內(nèi)研究則更多關(guān)注的是實(shí)踐應(yīng)用層面出現(xiàn)的問(wèn)題,算法偏見(jiàn)、算法歧視等問(wèn)題構(gòu)成了主要的研究類(lèi)別。三是對(duì)如何有效治理算法相關(guān)問(wèn)題的關(guān)注。此階段研究主要關(guān)注的是如何對(duì)算法嵌入所產(chǎn)生的各類(lèi)問(wèn)題進(jìn)行有效治理,出現(xiàn)的熱點(diǎn)研究類(lèi)別包含算法治理、算法規(guī)制等方面,具體的研究主題有技術(shù)治理、倫理規(guī)約、協(xié)同治理等。值得注意的是,算法治理的研究會(huì)隨著算法技術(shù)的迭代應(yīng)用而出現(xiàn)周期性的特征,在算法技術(shù)或應(yīng)用創(chuàng)新的推動(dòng)下形成對(duì)相關(guān)風(fēng)險(xiǎn)問(wèn)題、治理路徑構(gòu)建的進(jìn)一步探討。

    圖2 算法治理國(guó)外文獻(xiàn)的時(shí)間序列分析

    圖3 算法治理國(guó)內(nèi)文獻(xiàn)的時(shí)間序列分析

    2.2 基于關(guān)鍵詞的研究框架分析

    文獻(xiàn)的關(guān)鍵詞是對(duì)相關(guān)研究文獻(xiàn)中出現(xiàn)的高頻、高中心性關(guān)鍵詞進(jìn)行梳理,可以體現(xiàn)本領(lǐng)域的研究熱點(diǎn)。利用Citespace中的“Keyword”分析功能,可以得出算法治理領(lǐng)域的關(guān)鍵詞共現(xiàn)圖譜,表2列舉了國(guó)內(nèi)外文獻(xiàn)中關(guān)鍵詞出現(xiàn)頻次排序前10位的頻次及中心度。

    表2 算法治理國(guó)內(nèi)外文獻(xiàn)的熱點(diǎn)關(guān)鍵詞統(tǒng)計(jì)

    基于對(duì)相關(guān)研究文獻(xiàn)關(guān)鍵詞的梳理,同時(shí)結(jié)合上文中時(shí)間序列分析的結(jié)果,將算法治理領(lǐng)域現(xiàn)有研究主題分為5個(gè)維度:算法技術(shù)、應(yīng)用場(chǎng)景、運(yùn)轉(zhuǎn)特征、風(fēng)險(xiǎn)問(wèn)題和路徑構(gòu)建。在此基礎(chǔ)上,總結(jié)出算法治理的研究框架如圖4所示。

    圖4 算法治理的研究框架

    3 算法治理的研究主題與內(nèi)容分析

    當(dāng)前,針對(duì)算法治理問(wèn)題的研究已有相當(dāng)多的成果積累,而對(duì)算法治理的內(nèi)涵界定卻尚未形成明確共識(shí)。算法治理中的“算法”往往并不特指某種算法技術(shù),一個(gè)算法系統(tǒng)不僅僅是代碼和數(shù)據(jù),更是人類(lèi)和非人類(lèi)行為者的集合,涉及各種各樣的人、過(guò)程、材料和機(jī)器[1]。算法治理領(lǐng)域的研究往往關(guān)注算法如何在特定社會(huì)背景下重新組織和轉(zhuǎn)變社會(huì)結(jié)構(gòu)和交互方式,相關(guān)研究?jī)?nèi)容涉及算法技術(shù)、應(yīng)用場(chǎng)景、運(yùn)轉(zhuǎn)特征、風(fēng)險(xiǎn)問(wèn)題以及路徑構(gòu)建等多個(gè)方面。

    3.1 算法技術(shù)

    早期的算法由于受計(jì)算機(jī)發(fā)展水平的制約,其應(yīng)用多偏向于科學(xué)計(jì)算、工程設(shè)計(jì)、數(shù)據(jù)處理等數(shù)值應(yīng)用領(lǐng)域[2]。此后,得益于不斷增長(zhǎng)的計(jì)算能力和數(shù)據(jù)集,算法逐漸能夠執(zhí)行很多人類(lèi)無(wú)法完成的大規(guī)模復(fù)雜性任務(wù)[3],算法技術(shù)完成了由“代碼驅(qū)動(dòng)”向“數(shù)據(jù)驅(qū)動(dòng)”的發(fā)展,進(jìn)一步提升了其信息處理的速度和易用性,通過(guò)將離散的事務(wù)聚合成大數(shù)據(jù)并進(jìn)行處理,可以產(chǎn)生新的知識(shí)甚至預(yù)測(cè)未來(lái)的行為[4]。有學(xué)者將上述兩種算法稱(chēng)為“確定性算法”和“學(xué)習(xí)型算法”。當(dāng)前,兩種類(lèi)型的算法根據(jù)實(shí)際的場(chǎng)景需求都有著廣泛的應(yīng)用,其中數(shù)據(jù)驅(qū)動(dòng)的學(xué)習(xí)型算法因其對(duì)應(yīng)用場(chǎng)景的適應(yīng)性以及出色的性能正經(jīng)歷著爆發(fā)增長(zhǎng)的階段。

    在學(xué)習(xí)型算法之中,人工智能技術(shù)是最具代表性的一種,在當(dāng)前社會(huì)中所產(chǎn)生的影響也最為顯著。人工智能所具備的數(shù)據(jù)驅(qū)動(dòng)、自動(dòng)化決策、高級(jí)推斷處理功能使其被認(rèn)為在提升能力和增進(jìn)福祉方面為個(gè)人和社會(huì)提供了新的機(jī)會(huì)[5]。同時(shí),基于人工智能的各類(lèi)算法系統(tǒng)也逐漸開(kāi)始支配著社會(huì)的運(yùn)轉(zhuǎn),通過(guò)影響日常個(gè)體對(duì)現(xiàn)實(shí)的構(gòu)建(個(gè)體意識(shí))進(jìn)而影響集體意識(shí),使它們成為社會(huì)秩序的來(lái)源和要素,產(chǎn)生一個(gè)社會(huì)中所共享的現(xiàn)實(shí)[6]。

    算法技術(shù)研究的另一個(gè)主要內(nèi)容是如何更好地理解算法系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)過(guò)程,特別是當(dāng)政策目標(biāo)需要轉(zhuǎn)換成計(jì)算機(jī)代碼時(shí)出現(xiàn)的“翻譯”問(wèn)題[7]這個(gè)“翻譯”過(guò)程需要對(duì)所需解決的問(wèn)題有著深入了解。算法系統(tǒng)的設(shè)計(jì)實(shí)現(xiàn)需要清楚地理解問(wèn)題的數(shù)學(xué)本質(zhì)并根據(jù)問(wèn)題的結(jié)構(gòu)來(lái)確定適當(dāng)?shù)乃惴?,在此過(guò)程中有4個(gè)特征要素:對(duì)預(yù)期結(jié)果的深刻理解、實(shí)時(shí)測(cè)量以確定是否實(shí)現(xiàn)了該結(jié)果、基于新數(shù)據(jù)進(jìn)行算法的調(diào)整,以及定期深入分析算法本身是否正確并按預(yù)期執(zhí)行[8]。雖然算法原則上獨(dú)立于編程語(yǔ)言和執(zhí)行程序的機(jī)器,但設(shè)計(jì)一個(gè)執(zhí)行特定任務(wù)的算法往往需要簡(jiǎn)化所面臨的問(wèn)題,在具體操作過(guò)程中很大程度上是基于技術(shù)方面的考慮,包括效率、處理時(shí)間和內(nèi)存負(fù)載的減少,同時(shí)也需要考慮所寫(xiě)代碼的規(guī)范性[9]。從數(shù)據(jù)的采集和校準(zhǔn)、篩選和解釋?zhuān)骄唧w算法的選擇、設(shè)計(jì)以及輸出的解釋?zhuān)惴ㄏ到y(tǒng)在開(kāi)發(fā)應(yīng)用的各個(gè)階段都可能會(huì)出現(xiàn)誤差,且這些過(guò)程本質(zhì)上都具有一定程度的主觀性[10]。因而,這些主觀性所導(dǎo)致的自由裁量權(quán)往往會(huì)產(chǎn)生新的算法官僚問(wèn)題[11],相關(guān)的利益群體可以通過(guò)算法系統(tǒng)來(lái)影響人們的行為,從而對(duì)傳統(tǒng)的治理體系產(chǎn)生難以忽視的沖擊。

    3.2 應(yīng)用場(chǎng)景

    算法產(chǎn)生于具體的社會(huì)環(huán)境中,其設(shè)計(jì)和運(yùn)轉(zhuǎn)是社會(huì)力量的產(chǎn)物,對(duì)社會(huì)的影響也有賴(lài)于與社會(huì)系統(tǒng)的深度融合,因而對(duì)算法治理的研究也應(yīng)結(jié)合具體的應(yīng)用場(chǎng)景[12]。在當(dāng)前的理論與實(shí)踐中,算法決策、社交媒體、平臺(tái)經(jīng)濟(jì)與社會(huì)治理是幾個(gè)典型的應(yīng)用場(chǎng)景,其中基于數(shù)據(jù)的算法決策更是成為了各類(lèi)應(yīng)用的重要支撐。在大數(shù)據(jù)時(shí)代,社會(huì)生活的各個(gè)領(lǐng)域都充斥著海量的數(shù)據(jù),這些數(shù)據(jù)也構(gòu)成了各種決策行為的基石。然而,在搜集和處理海量數(shù)據(jù)時(shí),人類(lèi)受限于自身的思維和運(yùn)算能力,往往非常依賴(lài)算法對(duì)數(shù)據(jù)進(jìn)行挖掘、解析、排序和配置來(lái)獲取有用信息,使得越來(lái)越多的人愿意將決策權(quán)外包給基于算法的決策系統(tǒng)[13]。算法決策系統(tǒng)根據(jù)人類(lèi)的剩余控制可以分為3種情況:一是參與決策過(guò)程并完全處于控制地位,如一般的決策支持系統(tǒng);二是參與決策過(guò)程并能夠在必要時(shí)進(jìn)行干預(yù),如各類(lèi)算法推薦系統(tǒng);三是在決策過(guò)程之外且沒(méi)有任何干預(yù)選項(xiàng),如自動(dòng)化決策系統(tǒng)[14]。當(dāng)前,這些系統(tǒng)已經(jīng)廣泛地嵌入到不同的應(yīng)用場(chǎng)景,其中應(yīng)用最為廣泛同時(shí)也備受研究者關(guān)注的有社交媒體、平臺(tái)經(jīng)濟(jì)及公共治理。

    在人工智能等算法普及的過(guò)程中,社交媒體無(wú)疑是受影響最為深遠(yuǎn)的應(yīng)用場(chǎng)景之一。與傳統(tǒng)媒體向人們展示他們應(yīng)當(dāng)了解的內(nèi)容不同,智能算法更偏向于提供它認(rèn)為每個(gè)人想要知道的內(nèi)容,通過(guò)內(nèi)容的受歡迎程度、與用戶(hù)的關(guān)聯(lián)度、發(fā)布時(shí)間以及用戶(hù)之前的偏好等因素來(lái)決定推薦或者隱藏哪些內(nèi)容[15]。這往往會(huì)把用戶(hù)引向他們過(guò)去喜歡的東西,從而產(chǎn)生“過(guò)濾氣泡”來(lái)限制用戶(hù)接觸到不同的觀點(diǎn)?!斑^(guò)濾氣泡”的產(chǎn)生正在限制廣泛社會(huì)聯(lián)系的構(gòu)建,將人們推向更小的輿論圈并導(dǎo)致了明顯的受眾分化,有學(xué)者甚至將這種碎片化的現(xiàn)象視為公共領(lǐng)域的終結(jié)[16]。批評(píng)者傾向于將用戶(hù)視為被愚弄的人,認(rèn)為其會(huì)受到算法操縱者的擺布并改變自己的行為以適應(yīng)算法的邏輯。也有學(xué)者認(rèn)為,算法并未規(guī)定人們應(yīng)當(dāng)如何思考或行動(dòng),用戶(hù)在實(shí)踐中既非被動(dòng)地服從算法也非完全不受影響,而是通過(guò)一種與算法持續(xù)“協(xié)商”的機(jī)制形成了他們的習(xí)慣[17]。然而,無(wú)論算法與用戶(hù)之間的關(guān)系是愚弄或是協(xié)商,社交媒體中算法的廣泛應(yīng)用都會(huì)不可避免的帶來(lái)很多問(wèn)題;尤其是當(dāng)前社交媒體平臺(tái)已經(jīng)發(fā)展成為具有社會(huì)、政治和經(jīng)濟(jì)意義的新聞生產(chǎn)、傳播和消費(fèi)場(chǎng)所,使得這些問(wèn)題的治理更加不容忽視。平臺(tái)的崛起不僅體現(xiàn)在社交媒體領(lǐng)域,其在生產(chǎn)、生活和流通各個(gè)經(jīng)濟(jì)細(xì)分領(lǐng)域也都產(chǎn)生了深遠(yuǎn)影響,隨之形成的平臺(tái)經(jīng)濟(jì)已經(jīng)成為當(dāng)前數(shù)字經(jīng)濟(jì)的核心形態(tài)[18]。依托人工智能等技術(shù),“大數(shù)據(jù)+算法”正逐漸成為各類(lèi)平臺(tái)的技術(shù)標(biāo)配,算法邏輯也成為了平臺(tái)經(jīng)濟(jì)運(yùn)轉(zhuǎn)的重要基礎(chǔ)架構(gòu)之一[19]。在平臺(tái)經(jīng)濟(jì)中,算法被定義為“一種智能控制系統(tǒng)”,在沒(méi)有人類(lèi)參與或監(jiān)督的情況下組織、指導(dǎo)、協(xié)調(diào)和監(jiān)控經(jīng)濟(jì)活動(dòng)的各個(gè)過(guò)程,其大多數(shù)成功案例都以科技公司為中介且以解決信任問(wèn)題為主要功能[20]。在電子商務(wù)領(lǐng)域,平臺(tái)通過(guò)算法的助力可以降低服務(wù)搜尋成本、提升服務(wù)多樣化程度并充分挖掘消費(fèi)潛力,已經(jīng)成為橋接服務(wù)供需雙方的關(guān)鍵基礎(chǔ)設(shè)施,發(fā)揮著承載數(shù)據(jù)信息、創(chuàng)新生態(tài)網(wǎng)絡(luò)等作用[21]。同時(shí),平臺(tái)利用算法快速匹配供需的優(yōu)勢(shì),對(duì)勞動(dòng)力市場(chǎng)運(yùn)轉(zhuǎn)也產(chǎn)生了巨大影響,形成了“零工經(jīng)濟(jì)”這種新的經(jīng)濟(jì)模式。在這種經(jīng)濟(jì)模式中,算法成為平臺(tái)在勞動(dòng)過(guò)程中連接、指導(dǎo)和監(jiān)控勞動(dòng)者的一種工具,推動(dòng)著勞動(dòng)者在地理分散的生產(chǎn)中網(wǎng)絡(luò)化并形成一種虛擬的勞動(dòng)組織形式。整個(gè)雇傭過(guò)程在這種勞動(dòng)組織形式中被明確地逐步劃分,每一步都被平臺(tái)徹底規(guī)范,算法也成為統(tǒng)一的規(guī)則嵌入到了基于平臺(tái)的勞動(dòng)過(guò)程中[22]。這種運(yùn)轉(zhuǎn)模式會(huì)導(dǎo)致平臺(tái)與勞動(dòng)者之間信息和權(quán)力的不對(duì)稱(chēng),平臺(tái)在某些情況下不僅可以選擇工人和分配工作,還可以通過(guò)對(duì)勞動(dòng)過(guò)程的實(shí)時(shí)監(jiān)控來(lái)評(píng)估其表現(xiàn),進(jìn)而通過(guò)替換和獎(jiǎng)勵(lì)來(lái)規(guī)范其行為[23]。

    技術(shù)總是反映和重組社會(huì),因此它改變了國(guó)家、社會(huì)和社區(qū)的治理方式。公共治理中的算法一直被視為一種強(qiáng)大的工具,通過(guò)減少人類(lèi)對(duì)公共管理程序的參與來(lái)降低人為錯(cuò)誤的發(fā)生率和時(shí)間消耗,從而提升公共服務(wù)的準(zhǔn)確性、透明度和有效性[24]。基于算法的跨部門(mén)協(xié)作及服務(wù)自動(dòng)化模式可以顯著提升公共部門(mén)的工作效率,同時(shí)為促進(jìn)公眾參與、提升社會(huì)包容性和多樣性提供新的機(jī)會(huì)[25],其實(shí)現(xiàn)過(guò)程可以被理解為公共機(jī)構(gòu)對(duì)傳統(tǒng)制度指導(dǎo)和監(jiān)督的延伸[26]。算法系統(tǒng)在公共部門(mén)的部署往往依賴(lài)于新的人口監(jiān)測(cè)及分類(lèi)形式,因而其應(yīng)用會(huì)產(chǎn)生很多難以預(yù)期的潛在后果[27]。一方面,在具體的治理實(shí)踐中,算法在支配公共利益、維護(hù)公共秩序等方面正發(fā)揮著愈發(fā)重要的作用,這會(huì)在一定程度上動(dòng)搖人類(lèi)在公共治理中的主體地位;另一方面,隨著實(shí)施過(guò)程的算法化和數(shù)據(jù)化,治理將變得更為強(qiáng)大,其侵入性和無(wú)處不在的特征也將對(duì)現(xiàn)有治理體系的正常運(yùn)轉(zhuǎn)帶來(lái)不可忽視的威脅。

    3.3 運(yùn)轉(zhuǎn)特征

    算法治理反映了治理在數(shù)字時(shí)代的發(fā)展,改變了傳統(tǒng)的治理模式并形成了一種新的社會(huì)秩序。由于算法技術(shù)的深度嵌入,治理在這種社會(huì)秩序中也有著不同于傳統(tǒng)治理模式的運(yùn)轉(zhuǎn)特征。首先,得益于互聯(lián)網(wǎng)的普及和數(shù)據(jù)獲取分析能力的提升,治理的廣度和深度都有了深刻的變化。在數(shù)字時(shí)代,社會(huì)生產(chǎn)生活過(guò)程中產(chǎn)生的海量數(shù)據(jù)成為了各類(lèi)智能算法的應(yīng)用支撐,使得算法在此基礎(chǔ)上得以廣泛應(yīng)用于社會(huì)資源生產(chǎn)、分配、使用、消失的整個(gè)過(guò)程。這為社會(huì)帶來(lái)了更加便捷、精準(zhǔn)的信息傳播和決策支持,同時(shí)也使得人們對(duì)這種便捷生活逐漸習(xí)以為常并形成了一定的依賴(lài)性[28],算法也在此過(guò)程中擴(kuò)展了其影響范圍。同時(shí),算法系統(tǒng)提升了信息處理的速度和易用性,通過(guò)將離散的事務(wù)聚合成大數(shù)據(jù)來(lái)推斷新的系統(tǒng)性知識(shí),以達(dá)到對(duì)當(dāng)前事務(wù)的深度分析,甚至可以預(yù)測(cè)未來(lái)事務(wù)的發(fā)展趨勢(shì),這使得治理的深度也有了極大的增強(qiáng)。在此背景下,算法治理也可能會(huì)通過(guò)其侵入性和無(wú)處不在的特征來(lái)放大社會(huì)中原有的不平等現(xiàn)象[29],現(xiàn)有的不平等現(xiàn)象會(huì)轉(zhuǎn)化為有偏見(jiàn)的數(shù)據(jù)集,并通過(guò)基于這些數(shù)據(jù)集的決策算法而放大。同時(shí),隨著時(shí)間的推移,算法治理平臺(tái)在融入人們?nèi)粘I畹倪^(guò)程中可能被視為理所當(dāng)然的社會(huì)基礎(chǔ)設(shè)施,這會(huì)使得不平等變得更為長(zhǎng)久[30]。有學(xué)者指出,算法治理中的數(shù)據(jù)轉(zhuǎn)化及算法選擇等因素可能會(huì)導(dǎo)致或放大種族偏見(jiàn)等歧視行為[31]。還有研究表明,盲目應(yīng)用智能算法有放大數(shù)據(jù)中存在偏見(jiàn)的風(fēng)險(xiǎn),如性別刻板印象[32]、用工歧視[33]等。

    與傳統(tǒng)的治理模式相比,算法治理需要將社會(huì)規(guī)范和組織目標(biāo)闡明并轉(zhuǎn)化為代碼,這可能增加社會(huì)可觀察到的信息總量。然而在實(shí)踐中,由于認(rèn)知邊界,算法治理往往伴隨著可理解和獲取信息量的實(shí)際減少,從而使得治理過(guò)程的不透明成為算法治理的一個(gè)顯著特征[34]。算法透明性問(wèn)題的產(chǎn)生有著多方面的成因:一方面,算法自身的技術(shù)特性使得其應(yīng)用細(xì)節(jié)涉及龐雜的數(shù)據(jù)原料和繁復(fù)的計(jì)算方法且以代碼的形式呈現(xiàn),非技術(shù)人員往往難以理解;另一方面,算法在應(yīng)用過(guò)程中會(huì)由于商業(yè)機(jī)密、安全問(wèn)題、隱私保護(hù)以及法律規(guī)范模糊等原因產(chǎn)生非技術(shù)原因的不透明現(xiàn)象[35]。有學(xué)者指出,如果系統(tǒng)是不透明的,總有可能會(huì)出現(xiàn)“算法權(quán)力的裂縫”,進(jìn)而對(duì)治理預(yù)期成效的達(dá)成產(chǎn)生不利影響[36],因而算法透明性也成為了算法治理領(lǐng)域的一個(gè)重要且普遍存在的問(wèn)題,通常伴隨著對(duì)更多透明度的呼吁。算法治理對(duì)透明性的追求存在著一種假設(shè),即看到一種現(xiàn)象就會(huì)創(chuàng)造機(jī)會(huì)和義務(wù),使相應(yīng)的系統(tǒng)負(fù)起責(zé)任并進(jìn)而改進(jìn)它。這種假設(shè)往往要求可見(jiàn)的信息容易識(shí)別和辨認(rèn),且相關(guān)主體有能力理解這些信息并采取相應(yīng)行動(dòng),進(jìn)而實(shí)現(xiàn)透明性所帶來(lái)的潛在改進(jìn)[37]。然而,在實(shí)際的治理過(guò)程中,這種假設(shè)所需的條件往往難以達(dá)到,算法黑箱的透明化并不一定可以實(shí)現(xiàn)有效的問(wèn)責(zé)機(jī)制。越來(lái)越多的學(xué)者認(rèn)為,絕對(duì)的透明往往是不可能也是不可取的,透明可以為用戶(hù)提供一些關(guān)于算法的特征和限制的關(guān)鍵信息,但它也可以用大量的信息淹沒(méi)用戶(hù),從而使算法更加不透明[38]。還有學(xué)者指出,過(guò)度關(guān)注透明度可能不利于創(chuàng)新,并不必要地轉(zhuǎn)移本可用于提高安全性、性能和準(zhǔn)確性的資源,只有一定程度的透明才能使決策系統(tǒng)及固有的社會(huì)規(guī)范更好的接受監(jiān)管和改進(jìn)[39]。此外,將社會(huì)規(guī)范進(jìn)行算法化在產(chǎn)生不透明性的同時(shí),也會(huì)揭示之前隱藏的規(guī)范細(xì)節(jié),因?yàn)樗惴ɑ倪^(guò)程需要明確定義的指標(biāo)和步驟。

    3.4 風(fēng)險(xiǎn)問(wèn)題

    隨著算法治理影響范圍的不斷擴(kuò)大,其帶來(lái)的風(fēng)險(xiǎn)及不確定性也逐漸顯現(xiàn)并引入了新的治理問(wèn)題。首先,算法技術(shù)嵌入治理會(huì)導(dǎo)致公共性減損風(fēng)險(xiǎn)以及公平性問(wèn)題。算法治理的普及推動(dòng)著算法進(jìn)入了公共領(lǐng)域,使其成為社會(huì)運(yùn)行過(guò)程中的一種重要規(guī)則,并因此演進(jìn)為了一種新的權(quán)力形態(tài)[40],可以影響甚至代替公權(quán)力進(jìn)行決策。然而,算法權(quán)力的公共性與算法設(shè)計(jì)的占有性之間難免會(huì)產(chǎn)生矛盾,進(jìn)而引發(fā)公共價(jià)值與商業(yè)利益的沖突。作為算法治理過(guò)程中技術(shù)與數(shù)據(jù)的重要掌控主體,科技公司在獲取部分公共權(quán)力的同時(shí)卻難以充分履行相應(yīng)的公共職能,其以營(yíng)利為目的的組織目標(biāo)往往會(huì)使其忽視公共利益的實(shí)現(xiàn),從而導(dǎo)致算法歧視、算法霸權(quán)、消費(fèi)誘導(dǎo)等社會(huì)問(wèn)題的產(chǎn)生。同時(shí),由于算法治理所帶來(lái)的問(wèn)題與其產(chǎn)生的社會(huì)效益往往相伴而生,很多問(wèn)題被認(rèn)為是不可避免的“雙重效應(yīng)”,即伴隨新技術(shù)而來(lái)的“過(guò)渡性負(fù)面副作用”[41],相關(guān)的科技公司也往往會(huì)以商業(yè)秘密等理由來(lái)規(guī)避審查和監(jiān)管,這些現(xiàn)象都會(huì)不同程度地消解社會(huì)正義,帶來(lái)治理的現(xiàn)實(shí)困境。此外,在公共部門(mén)治理工作算法化的過(guò)程中,也會(huì)由于基礎(chǔ)設(shè)施、設(shè)計(jì)缺陷、數(shù)字鴻溝等因素導(dǎo)致治理的效率及公平性難以得到有效保障。

    智能算法運(yùn)轉(zhuǎn)的自動(dòng)化及不透明也會(huì)引入一些算法倫理問(wèn)題。一方面,治理的算法化運(yùn)轉(zhuǎn)會(huì)改變傳統(tǒng)治理模式中的人機(jī)關(guān)系。智能算法通常識(shí)別基礎(chǔ)數(shù)據(jù)中變量之間的關(guān)聯(lián)和相關(guān)性,但不識(shí)別因果關(guān)系,從而形成一種“機(jī)械客觀性”并使得支持人類(lèi)決策的證據(jù)存在不確定性。這種不確定的證據(jù)可能導(dǎo)致嚴(yán)重的風(fēng)險(xiǎn),例如專(zhuān)注于非因果指標(biāo)可能會(huì)分散對(duì)給定問(wèn)題根本原因的注意力[42]。而由于數(shù)據(jù)的及時(shí)性、完整性和準(zhǔn)確性等因素對(duì)數(shù)據(jù)質(zhì)量的限制,即使使用因果方法,可用的數(shù)據(jù)也并不總是包含足夠的信息來(lái)證明決策行為的合理性[43]。對(duì)算法系統(tǒng)的過(guò)度依賴(lài)還可能使人類(lèi)決策者忽略他們自己的經(jīng)驗(yàn)評(píng)估,產(chǎn)生所謂的“自動(dòng)化偏差”[44],進(jìn)而影響到算法決策的質(zhì)量。另一方面,算法治理還改變了傳統(tǒng)治理模式中權(quán)力與責(zé)任的劃分方式,使得追溯由人類(lèi)和算法混合的執(zhí)行系統(tǒng)中的行為責(zé)任變得更加困難。行業(yè)專(zhuān)家和智能算法之間的相互作用可能引發(fā)“認(rèn)知惡習(xí)”,如教條主義或輕信,并使人類(lèi)主體可以以此為借口來(lái)逃避部分責(zé)任,從而影響整個(gè)算法治理系統(tǒng)中的責(zé)任劃分[45]。同時(shí),算法黑箱的現(xiàn)象會(huì)導(dǎo)致在治理出現(xiàn)偏差的時(shí)候無(wú)法找出依據(jù)進(jìn)行修正,從而損害到公民的基本權(quán)力,而利益受損的個(gè)體在這個(gè)過(guò)程中可能會(huì)被剝奪通過(guò)正當(dāng)程序?qū)λ惴ńY(jié)果提出異議的機(jī)會(huì)。

    作為算法治理體系的基礎(chǔ)資源,數(shù)據(jù)的獲取和使用同樣是一個(gè)關(guān)鍵性的治理問(wèn)題。關(guān)于算法治理的研究一直關(guān)注著數(shù)據(jù)化運(yùn)轉(zhuǎn)所帶來(lái)的諸多風(fēng)險(xiǎn),主要涉及對(duì)公民隱私權(quán)的侵犯和因此而產(chǎn)生的自主權(quán)受損問(wèn)題。算法的分析和預(yù)測(cè)往往需要大量的敏感數(shù)據(jù),并以此為基礎(chǔ)對(duì)公眾進(jìn)行某種程度的監(jiān)視,這給公眾的信息隱私帶來(lái)了嚴(yán)重的威脅,而信息隱私與用戶(hù)的自主權(quán)密切相關(guān),它保障了人們思考、交流和建立關(guān)系的自由[46]。在當(dāng)前的算法系統(tǒng)中,用戶(hù)經(jīng)常面臨著個(gè)人數(shù)據(jù)一攬子授權(quán)、軟件過(guò)度收集用戶(hù)信息等行為[47],這些行為的合法性很大程度上依賴(lài)于“通知-同意”范式。然而,由于用戶(hù)雖然表示擔(dān)心自己的隱私問(wèn)題,但卻不傾向于閱讀所安裝應(yīng)用程序的條款及隱私政策,這種范式往往并不能充分的保障用戶(hù)的數(shù)據(jù)安全。用戶(hù)這種行為的出現(xiàn)多是為了順利使用算法系統(tǒng)所做的妥協(xié),即心甘情愿地允許自己受到算法監(jiān)視,通過(guò)交換個(gè)人數(shù)據(jù)來(lái)?yè)Q取算法工具帶來(lái)的效率和便利[48]。但隨著公眾與算法系統(tǒng)的互動(dòng)越來(lái)越多,他們可能并不會(huì)刻意關(guān)注或沒(méi)有能力了解關(guān)于他們的信息類(lèi)型以及這些信息的用途,導(dǎo)致其控制誰(shuí)有權(quán)訪問(wèn)與自己有關(guān)的信息以及如何處理這些信息的能力有了實(shí)質(zhì)性降低??紤]到算法系統(tǒng)通過(guò)干預(yù)個(gè)人選擇來(lái)促進(jìn)了個(gè)人身份的動(dòng)態(tài)構(gòu)建,這種控制能力的缺乏往往會(huì)轉(zhuǎn)化為自主權(quán)的喪失[49]。

    3.5 路徑構(gòu)建

    如何對(duì)治理過(guò)程中產(chǎn)生的各類(lèi)風(fēng)險(xiǎn)進(jìn)行有效規(guī)避,也是算法治理研究的一個(gè)重要議題,學(xué)者們從技術(shù)、制度、協(xié)作等多方面進(jìn)行了闡述。算法的設(shè)計(jì)應(yīng)用一般都會(huì)經(jīng)歷反復(fù)的迭代,在不斷收集問(wèn)題、解決問(wèn)題的過(guò)程中進(jìn)行優(yōu)化調(diào)整。尤其在算法治理體系中,對(duì)治理過(guò)程中產(chǎn)生的結(jié)果偏差、偏見(jiàn)歧視等問(wèn)題及時(shí)進(jìn)行檢視調(diào)整,有助于降低算法治理過(guò)程中的不確定性[50]。很多計(jì)算機(jī)和計(jì)算社會(huì)科學(xué)領(lǐng)域的學(xué)者認(rèn)為,設(shè)計(jì)良好并及時(shí)優(yōu)化的算法可以克服無(wú)輔助人類(lèi)判斷的偏差和不一致性,并有助于確保所有人獲得公平的結(jié)果。除了對(duì)算法技術(shù)本身的優(yōu)化,針對(duì)算法治理風(fēng)險(xiǎn)設(shè)計(jì)的各類(lèi)監(jiān)管算法也得到了一定關(guān)注,這些應(yīng)用當(dāng)前多集中在社交媒體領(lǐng)域。隨著政府對(duì)平臺(tái)企業(yè)的不斷施壓,相關(guān)公司和監(jiān)管者都在尋找技術(shù)方案,以解決仇恨言論、虛假信息等治理難題。在此背景下,算法審核系統(tǒng)正越來(lái)越多地被主要平臺(tái)用于對(duì)用戶(hù)生成的內(nèi)容進(jìn)行大規(guī)模的審核,已然成為滿(mǎn)足日益增長(zhǎng)的公眾對(duì)平臺(tái)責(zé)任、安全和保障期望的必要條件。然而,雖然社會(huì)對(duì)算法審核系統(tǒng)的應(yīng)用前景普遍看好,也有學(xué)者指出其可能會(huì)加劇而不是緩解算法治理過(guò)程中存在的許多問(wèn)題[51]。一方面,算法審核系統(tǒng)本身也是一種基于智能算法的自動(dòng)化系統(tǒng),其運(yùn)轉(zhuǎn)過(guò)程中也不可避免的會(huì)出現(xiàn)透明性、公平性這些普遍存在的問(wèn)題,從而在一定程度上增加治理過(guò)程的復(fù)雜性;另一方面,一些需要審核的模糊概念很難被自動(dòng)準(zhǔn)確識(shí)別,會(huì)導(dǎo)致算法系統(tǒng)在執(zhí)行大規(guī)模審核任務(wù)時(shí)難免出錯(cuò),影響其預(yù)期效果的實(shí)現(xiàn)。

    在技術(shù)手段之外,建立有效的法律規(guī)范體系是規(guī)避算法治理風(fēng)險(xiǎn)最為重要的手段,可以解決很多技術(shù)自身難以解決的問(wèn)題。學(xué)者們指出,應(yīng)當(dāng)針對(duì)算法設(shè)計(jì)、研發(fā)及應(yīng)用的全過(guò)程,從業(yè)務(wù)要求、責(zé)任劃分、隱私保護(hù)、缺陷防范、事故問(wèn)責(zé)等方面進(jìn)一步對(duì)法律規(guī)范體系進(jìn)行完善細(xì)化[52]。此外,行業(yè)規(guī)范也是綜合性的算法風(fēng)險(xiǎn)防控措施,通過(guò)制定行業(yè)標(biāo)準(zhǔn)、建立倫理委員會(huì)等手段,有助于結(jié)合技術(shù)和價(jià)值層面的需求,為算法治理提供相對(duì)清晰的規(guī)范框架[53]。

    算法治理本質(zhì)上是代表公共利益、商業(yè)利益和個(gè)人利益的政府、企業(yè)和公民等主體間互動(dòng)與博弈的過(guò)程,其目標(biāo)是妥善協(xié)調(diào)不同主體間的利益分配。因而,通過(guò)建立多元合作機(jī)制,充分融合不同利益群體、不同學(xué)科領(lǐng)域的力量,也是解決算法治理問(wèn)題的有效手段。一方面,算法治理的研究與實(shí)踐涉及計(jì)算機(jī)、法律和社會(huì)學(xué)等不同學(xué)科的知識(shí),需要跨領(lǐng)域的融合交流,而這種交流機(jī)制的構(gòu)建有賴(lài)于政府統(tǒng)合各方資源,由公共組織、專(zhuān)家學(xué)者、企業(yè)主體及社會(huì)公眾組成跨領(lǐng)域的治理結(jié)構(gòu)[54];另一方面,治理過(guò)程中各參與主體的知識(shí)素養(yǎng)也是算法治理體系良好運(yùn)轉(zhuǎn)的基礎(chǔ)保障。當(dāng)前,業(yè)務(wù)人員不懂技術(shù)、技術(shù)人員不懂業(yè)務(wù)、用戶(hù)算法素養(yǎng)不高的現(xiàn)實(shí)困境仍普遍存在,提升公共管理人員的技術(shù)理論水平、培養(yǎng)算法從業(yè)人員的公共價(jià)值理念、提升公眾的算法素養(yǎng)有助于規(guī)避算法從設(shè)計(jì)到應(yīng)用過(guò)程中各類(lèi)風(fēng)險(xiǎn)的產(chǎn)生[55]。

    4 理論體系構(gòu)建與研究展望

    4.1 算法治理理論體系的構(gòu)建

    算法治理領(lǐng)域的研究往往被分為“用算法治理”和“對(duì)算法治理”,前者強(qiáng)調(diào)算法作為治理工具帶來(lái)的治理效能提升,而后者關(guān)注算法作為治理對(duì)象產(chǎn)生的潛在治理風(fēng)險(xiǎn)。無(wú)論是將算法作為治理工具還是治理對(duì)象,其目的都是通過(guò)算法與治理的融合來(lái)推進(jìn)治理體系的優(yōu)化,且在此過(guò)程中既要保證算法設(shè)計(jì)應(yīng)用時(shí)技術(shù)潛能的充分釋放,也要規(guī)避算法系統(tǒng)運(yùn)轉(zhuǎn)時(shí)可能出現(xiàn)的不可控風(fēng)險(xiǎn)。因而,算法治理的理論體系應(yīng)當(dāng)覆蓋算法系統(tǒng)從設(shè)計(jì)應(yīng)用到評(píng)估優(yōu)化的全生命周期。從前文對(duì)國(guó)內(nèi)外算法治理研究文獻(xiàn)的系統(tǒng)性梳理來(lái)看,當(dāng)前算法治理領(lǐng)域的研究也是遵循著技術(shù)產(chǎn)生、應(yīng)用、評(píng)估、優(yōu)化的發(fā)展邏輯來(lái)展開(kāi)。具體而言,算法治理的理論體系構(gòu)建由算法技術(shù)的產(chǎn)生開(kāi)始,經(jīng)歷算法場(chǎng)景嵌入、系統(tǒng)運(yùn)轉(zhuǎn)監(jiān)測(cè)、風(fēng)險(xiǎn)問(wèn)題分析等不同階段,最終通過(guò)治理路徑的探索來(lái)提升算法治理體系的整體效能,同時(shí)還會(huì)在算法技術(shù)的迭代更新中不斷進(jìn)行理論的優(yōu)化完善(見(jiàn)圖5)?;诖?,本文將算法治理的理論體系具體歸納為算法技術(shù)、應(yīng)用場(chǎng)景、運(yùn)轉(zhuǎn)特征、風(fēng)險(xiǎn)問(wèn)題和路徑構(gòu)建5個(gè)維度,并對(duì)每個(gè)維度的研究?jī)?nèi)容和相關(guān)主題進(jìn)行總結(jié)如表3所示。

    圖5 算法治理研究的理論體系構(gòu)建

    表3 算法治理研究的理論體系構(gòu)成

    4.2 算法治理的未來(lái)研究展望

    盡管算法治理領(lǐng)域的研究已積累了豐富的成果并形成了較為清晰的理論體系,但由于算法技術(shù)發(fā)展迅速且對(duì)社會(huì)影響巨大,未來(lái)還有較大的研究空間,包含但不限于以下兩個(gè)方面:

    一是對(duì)新算法技術(shù)影響的研究。

    當(dāng)前社會(huì)仍處于技術(shù)爆發(fā)增長(zhǎng)的階段,日益復(fù)雜和無(wú)處不在的算法軟件對(duì)治理的影響將在未來(lái)日益增長(zhǎng)。算法治理問(wèn)題的產(chǎn)生及相關(guān)研究都始于突破性算法技術(shù)的產(chǎn)生和應(yīng)用,因而算法技術(shù)的發(fā)展也會(huì)帶來(lái)更新的研究議題。例如,“元宇宙”的概念在近兩年成為了熱點(diǎn)話(huà)題,政府、相關(guān)企業(yè)以及學(xué)者們都對(duì)其都有著充分的關(guān)注。然而,對(duì)其概念的界定仍然相對(duì)模糊,具體的應(yīng)用和研究也處于探索階段,其研究領(lǐng)域主要集中在技術(shù)特征和有限的應(yīng)用場(chǎng)景。而在技術(shù)的成熟和普及過(guò)程中,難免會(huì)出現(xiàn)如虛擬財(cái)產(chǎn)歸屬、現(xiàn)實(shí)法律適用性等與其技術(shù)特征相對(duì)應(yīng)的新問(wèn)題,需要針對(duì)性的進(jìn)行分析及治理研究。

    二是對(duì)現(xiàn)有治理模式重構(gòu)的研究。

    算法系統(tǒng)的發(fā)展應(yīng)用在數(shù)據(jù)處理、決策制定、社會(huì)交往等方面都對(duì)現(xiàn)有的治理體系產(chǎn)生著深刻的影響。然而,將算法治理與現(xiàn)有治理模式結(jié)合并深入分析的研究仍相對(duì)較少,需要更多的關(guān)注智能算法如何影響治理模式(如層級(jí)結(jié)構(gòu)、自治、合作治理等模式),并具體分析它們的影響在哪些維度較為顯著。將算法技術(shù)與治理模式相結(jié)合,構(gòu)建一種較為通用的研究范式,有助于分析各類(lèi)算法在重構(gòu)治理體系過(guò)程中的能力和影響,也可以在新的算法技術(shù)出現(xiàn)時(shí),及時(shí)分析其可能的應(yīng)用場(chǎng)景及治理風(fēng)險(xiǎn),更好的發(fā)揮算法技術(shù)對(duì)社會(huì)發(fā)展的賦能作用。

    猜你喜歡
    算法研究
    FMS與YBT相關(guān)性的實(shí)證研究
    2020年國(guó)內(nèi)翻譯研究述評(píng)
    遼代千人邑研究述論
    視錯(cuò)覺(jué)在平面設(shè)計(jì)中的應(yīng)用與研究
    科技傳播(2019年22期)2020-01-14 03:06:54
    基于MapReduce的改進(jìn)Eclat算法
    Travellng thg World Full—time for Rree
    EMA伺服控制系統(tǒng)研究
    進(jìn)位加法的兩種算法
    算法初步兩點(diǎn)追蹤
    新版C-NCAP側(cè)面碰撞假人損傷研究
    午夜精品国产一区二区电影| 99九九在线精品视频 | 日韩,欧美,国产一区二区三区| 22中文网久久字幕| 777米奇影视久久| 国产黄片视频在线免费观看| 在线免费观看不下载黄p国产| 日日啪夜夜爽| 久久久久久久久久久免费av| 最黄视频免费看| √禁漫天堂资源中文www| 欧美 亚洲 国产 日韩一| 亚洲不卡免费看| 亚洲欧美日韩东京热| 国产黄频视频在线观看| 精品少妇久久久久久888优播| 秋霞在线观看毛片| 欧美高清成人免费视频www| 日本-黄色视频高清免费观看| 国产一区二区在线观看av| 中文字幕av电影在线播放| 成人二区视频| 女性生殖器流出的白浆| 亚洲国产精品专区欧美| 日韩免费高清中文字幕av| 国产无遮挡羞羞视频在线观看| 两个人免费观看高清视频 | 国产中年淑女户外野战色| 日韩视频在线欧美| 三级国产精品欧美在线观看| 亚洲精品色激情综合| 性色avwww在线观看| 午夜精品国产一区二区电影| 亚洲中文av在线| 五月伊人婷婷丁香| 美女福利国产在线| 伊人久久国产一区二区| 午夜福利在线观看免费完整高清在| 日本vs欧美在线观看视频 | 午夜福利网站1000一区二区三区| 777米奇影视久久| 99久国产av精品国产电影| 免费黄频网站在线观看国产| 插逼视频在线观看| 亚洲精品乱久久久久久| av女优亚洲男人天堂| 日韩精品免费视频一区二区三区 | h视频一区二区三区| 两个人的视频大全免费| 我要看日韩黄色一级片| 欧美3d第一页| 成人免费观看视频高清| 七月丁香在线播放| 久久久久精品性色| 亚洲丝袜综合中文字幕| 国产黄频视频在线观看| 久久99热这里只频精品6学生| 国产无遮挡羞羞视频在线观看| 欧美激情国产日韩精品一区| 一区在线观看完整版| 久久99热这里只频精品6学生| 久热久热在线精品观看| 91精品一卡2卡3卡4卡| 免费av不卡在线播放| 岛国毛片在线播放| 肉色欧美久久久久久久蜜桃| 午夜老司机福利剧场| 午夜免费鲁丝| 校园人妻丝袜中文字幕| 中文字幕精品免费在线观看视频 | 国产熟女午夜一区二区三区 | a级毛片免费高清观看在线播放| 啦啦啦视频在线资源免费观看| av不卡在线播放| 另类精品久久| 97在线人人人人妻| 中国美白少妇内射xxxbb| 十八禁网站网址无遮挡 | 全区人妻精品视频| av专区在线播放| 人妻一区二区av| 免费观看av网站的网址| 交换朋友夫妻互换小说| 看十八女毛片水多多多| 国产女主播在线喷水免费视频网站| 久久久午夜欧美精品| 一区二区av电影网| 午夜激情久久久久久久| 国产综合精华液| 美女cb高潮喷水在线观看| 少妇熟女欧美另类| 丝瓜视频免费看黄片| 99热这里只有是精品50| 亚洲无线观看免费| 女性生殖器流出的白浆| 亚洲av日韩在线播放| 亚洲天堂av无毛| 我的女老师完整版在线观看| 国产高清国产精品国产三级| 亚洲婷婷狠狠爱综合网| 插阴视频在线观看视频| 国产精品熟女久久久久浪| 国产 精品1| 久久久久久人妻| 中文资源天堂在线| 国产男女超爽视频在线观看| 国产免费一级a男人的天堂| 亚洲美女黄色视频免费看| 日韩制服骚丝袜av| 有码 亚洲区| 久久99热这里只频精品6学生| videossex国产| 国产片特级美女逼逼视频| 中文字幕精品免费在线观看视频 | 亚洲av.av天堂| 精品一区在线观看国产| 亚洲色图综合在线观看| 欧美日韩国产mv在线观看视频| a 毛片基地| videos熟女内射| 麻豆成人av视频| 中文字幕人妻丝袜制服| 欧美日韩精品成人综合77777| 一级片'在线观看视频| 欧美日韩视频高清一区二区三区二| 日日爽夜夜爽网站| 麻豆成人午夜福利视频| 亚洲精品中文字幕在线视频 | 高清午夜精品一区二区三区| 22中文网久久字幕| av免费观看日本| 日韩av免费高清视频| 亚洲欧洲精品一区二区精品久久久 | 又粗又硬又长又爽又黄的视频| 中国国产av一级| 最近手机中文字幕大全| 免费大片18禁| 国产免费一区二区三区四区乱码| 下体分泌物呈黄色| 91精品国产九色| 成年女人在线观看亚洲视频| 在线播放无遮挡| 五月开心婷婷网| 国产精品国产三级专区第一集| 菩萨蛮人人尽说江南好唐韦庄| 成人18禁高潮啪啪吃奶动态图 | 亚洲欧洲日产国产| 亚洲高清免费不卡视频| 国产精品久久久久久精品电影小说| 国产精品蜜桃在线观看| 国产欧美日韩精品一区二区| 精品酒店卫生间| 如日韩欧美国产精品一区二区三区 | 高清毛片免费看| 两个人免费观看高清视频 | 亚洲情色 制服丝袜| 亚洲va在线va天堂va国产| 麻豆精品久久久久久蜜桃| 又爽又黄a免费视频| 国产精品国产av在线观看| 国产毛片在线视频| 国产成人精品无人区| 午夜av观看不卡| 午夜激情久久久久久久| 国内揄拍国产精品人妻在线| 日韩伦理黄色片| 在线观看三级黄色| 卡戴珊不雅视频在线播放| 卡戴珊不雅视频在线播放| 亚洲欧美清纯卡通| 国产精品久久久久久精品古装| 亚洲丝袜综合中文字幕| 黑丝袜美女国产一区| 国产黄色免费在线视频| 99久久精品热视频| 久久精品久久精品一区二区三区| 亚洲av免费高清在线观看| 精品99又大又爽又粗少妇毛片| 久久婷婷青草| 精品国产露脸久久av麻豆| 中文欧美无线码| 亚州av有码| 嫩草影院入口| 欧美3d第一页| av专区在线播放| 久久国产精品大桥未久av | 国产亚洲精品久久久com| 香蕉精品网在线| 久久久国产欧美日韩av| 久久久久国产网址| 永久免费av网站大全| 99久久中文字幕三级久久日本| 天堂8中文在线网| 美女福利国产在线| 日本黄色片子视频| 男人添女人高潮全过程视频| 看十八女毛片水多多多| 亚洲精品日韩在线中文字幕| 久久久久视频综合| 啦啦啦中文免费视频观看日本| 国产美女午夜福利| 国产亚洲av片在线观看秒播厂| 久热这里只有精品99| 性高湖久久久久久久久免费观看| .国产精品久久| 亚洲精品久久久久久婷婷小说| 日韩大片免费观看网站| 免费大片18禁| 中文字幕精品免费在线观看视频 | 欧美亚洲 丝袜 人妻 在线| 免费高清在线观看视频在线观看| 久久精品国产自在天天线| 男女国产视频网站| 卡戴珊不雅视频在线播放| a级毛色黄片| 久久久精品免费免费高清| 最近中文字幕2019免费版| 国产一区二区三区av在线| 免费久久久久久久精品成人欧美视频 | 嫩草影院新地址| 色婷婷久久久亚洲欧美| 丝瓜视频免费看黄片| 不卡视频在线观看欧美| 久久国产精品大桥未久av | 久热久热在线精品观看| 亚洲人成网站在线观看播放| 看十八女毛片水多多多| 久久99蜜桃精品久久| 欧美少妇被猛烈插入视频| 午夜激情久久久久久久| 美女福利国产在线| a 毛片基地| 精品亚洲成国产av| 十八禁网站网址无遮挡 | 色视频www国产| 免费少妇av软件| 亚洲中文av在线| 国内少妇人妻偷人精品xxx网站| 日韩制服骚丝袜av| 王馨瑶露胸无遮挡在线观看| 99热全是精品| 三级国产精品片| 一级爰片在线观看| 一级毛片黄色毛片免费观看视频| 婷婷色综合大香蕉| 狂野欧美激情性xxxx在线观看| 曰老女人黄片| 国产深夜福利视频在线观看| 麻豆成人av视频| 最新的欧美精品一区二区| 色哟哟·www| 国产淫片久久久久久久久| av在线app专区| 国产白丝娇喘喷水9色精品| 国产精品无大码| 一级毛片电影观看| 丝袜脚勾引网站| 99热这里只有是精品50| 精品酒店卫生间| 成人黄色视频免费在线看| 欧美少妇被猛烈插入视频| 午夜91福利影院| 国产精品伦人一区二区| 亚洲性久久影院| 久久99精品国语久久久| 亚洲内射少妇av| 一本久久精品| 日日啪夜夜爽| 看十八女毛片水多多多| 观看av在线不卡| 国产免费视频播放在线视频| 欧美成人精品欧美一级黄| 不卡视频在线观看欧美| 最新中文字幕久久久久| 热re99久久国产66热| 精品人妻一区二区三区麻豆| 色网站视频免费| 国产在线一区二区三区精| 国产伦精品一区二区三区四那| 三级国产精品欧美在线观看| 亚州av有码| 久久久久网色| 黄色欧美视频在线观看| 纵有疾风起免费观看全集完整版| 亚洲内射少妇av| 欧美xxxx性猛交bbbb| 中文资源天堂在线| 国产精品无大码| 免费大片18禁| 丝袜在线中文字幕| 成年人免费黄色播放视频 | 亚洲国产精品一区三区| 亚洲国产色片| 国产免费又黄又爽又色| 五月开心婷婷网| 女人精品久久久久毛片| 婷婷色综合www| 午夜免费观看性视频| 男人舔奶头视频| 亚洲欧洲精品一区二区精品久久久 | 高清毛片免费看| a级片在线免费高清观看视频| 欧美三级亚洲精品| 2018国产大陆天天弄谢| 老司机亚洲免费影院| 久久狼人影院| 亚洲一区二区三区欧美精品| 9色porny在线观看| 一级av片app| 看十八女毛片水多多多| 最近最新中文字幕免费大全7| 99久久综合免费| 久久精品国产鲁丝片午夜精品| 欧美区成人在线视频| 国产亚洲91精品色在线| 亚洲国产精品成人久久小说| 久久久a久久爽久久v久久| 免费大片黄手机在线观看| 婷婷色综合大香蕉| 美女内射精品一级片tv| 国产在线一区二区三区精| 国产成人精品久久久久久| 免费久久久久久久精品成人欧美视频 | 18禁在线无遮挡免费观看视频| 又黄又爽又刺激的免费视频.| 久久女婷五月综合色啪小说| 3wmmmm亚洲av在线观看| 最后的刺客免费高清国语| 国产高清三级在线| 在线看a的网站| 免费av中文字幕在线| 国产中年淑女户外野战色| 欧美激情国产日韩精品一区| 欧美精品一区二区免费开放| 精品久久久久久久久av| 乱系列少妇在线播放| 日韩成人伦理影院| 精品久久久久久久久亚洲| 日韩欧美精品免费久久| 成人美女网站在线观看视频| av网站免费在线观看视频| 中国国产av一级| 三上悠亚av全集在线观看 | 天美传媒精品一区二区| 久久精品国产亚洲av天美| 你懂的网址亚洲精品在线观看| 色哟哟·www| 欧美日韩av久久| 国产成人精品一,二区| 国产有黄有色有爽视频| 一级片'在线观看视频| 亚洲欧美日韩另类电影网站| 亚洲国产日韩一区二区| 亚洲美女视频黄频| 2021少妇久久久久久久久久久| 在线观看免费视频网站a站| 午夜日本视频在线| 亚洲欧美日韩卡通动漫| 亚洲第一av免费看| 国产亚洲5aaaaa淫片| 一级二级三级毛片免费看| 97在线人人人人妻| 免费高清在线观看视频在线观看| 国产亚洲最大av| 亚洲av综合色区一区| 国产一区二区三区综合在线观看 | 极品教师在线视频| 国产男女超爽视频在线观看| 欧美精品国产亚洲| 亚洲精品456在线播放app| 成人亚洲欧美一区二区av| 黑人猛操日本美女一级片| 特大巨黑吊av在线直播| 三级国产精品欧美在线观看| 一级毛片久久久久久久久女| av黄色大香蕉| 久久99一区二区三区| 欧美日韩视频高清一区二区三区二| 久久精品国产a三级三级三级| 久久久久久久久久久久大奶| 校园人妻丝袜中文字幕| 新久久久久国产一级毛片| 久久免费观看电影| 91精品国产国语对白视频| 亚洲丝袜综合中文字幕| 日本wwww免费看| 精品人妻熟女av久视频| 黄色一级大片看看| 国产欧美另类精品又又久久亚洲欧美| 韩国高清视频一区二区三区| 亚洲成人av在线免费| 九色成人免费人妻av| 99热这里只有是精品在线观看| 在线天堂最新版资源| av一本久久久久| 国产乱人偷精品视频| 亚洲一区二区三区欧美精品| 毛片一级片免费看久久久久| 国产免费又黄又爽又色| 久久久久精品久久久久真实原创| 熟女人妻精品中文字幕| 久久久久国产网址| 97在线视频观看| 中文字幕亚洲精品专区| 成年美女黄网站色视频大全免费 | 18禁在线播放成人免费| 精品人妻一区二区三区麻豆| 国产亚洲最大av| 嘟嘟电影网在线观看| 边亲边吃奶的免费视频| 少妇裸体淫交视频免费看高清| av在线老鸭窝| 亚洲精品日韩av片在线观看| av女优亚洲男人天堂| 五月开心婷婷网| 国国产精品蜜臀av免费| 97在线人人人人妻| freevideosex欧美| 国语对白做爰xxxⅹ性视频网站| 人妻一区二区av| 日韩三级伦理在线观看| 国产精品一二三区在线看| 最近中文字幕2019免费版| 男女国产视频网站| 十八禁高潮呻吟视频 | 日韩 亚洲 欧美在线| 九草在线视频观看| 国产成人免费观看mmmm| 久久人人爽人人片av| 国产白丝娇喘喷水9色精品| 男女国产视频网站| 亚洲不卡免费看| 国产精品福利在线免费观看| 国产精品久久久久成人av| 欧美+日韩+精品| 精品久久久久久久久av| 亚洲精品中文字幕在线视频 | 多毛熟女@视频| 91成人精品电影| 日韩伦理黄色片| 日韩亚洲欧美综合| 国产成人精品福利久久| 国产精品国产三级国产av玫瑰| 成人二区视频| 成人毛片a级毛片在线播放| 91精品伊人久久大香线蕉| 国产高清三级在线| 哪个播放器可以免费观看大片| 热99国产精品久久久久久7| 伊人久久精品亚洲午夜| 精品午夜福利在线看| 久久精品国产亚洲av天美| 婷婷色麻豆天堂久久| 六月丁香七月| 亚洲人成网站在线观看播放| 国产黄频视频在线观看| av不卡在线播放| h视频一区二区三区| 国产一区二区在线观看av| 妹子高潮喷水视频| 国产成人精品无人区| 毛片一级片免费看久久久久| 久久婷婷青草| 免费播放大片免费观看视频在线观看| 亚洲人与动物交配视频| 日本-黄色视频高清免费观看| 久久精品久久精品一区二区三区| 日韩中字成人| 久久这里有精品视频免费| 少妇被粗大猛烈的视频| 亚洲人与动物交配视频| 一级毛片黄色毛片免费观看视频| 久久午夜综合久久蜜桃| 国产色爽女视频免费观看| 伊人亚洲综合成人网| 最近手机中文字幕大全| 免费大片黄手机在线观看| 日韩av免费高清视频| videos熟女内射| 极品人妻少妇av视频| 香蕉精品网在线| 一区二区三区精品91| 熟女人妻精品中文字幕| 欧美xxⅹ黑人| 日韩欧美精品免费久久| 久久久久久久久久久免费av| 校园人妻丝袜中文字幕| 久久亚洲国产成人精品v| 色吧在线观看| 亚洲av在线观看美女高潮| 99热国产这里只有精品6| 欧美3d第一页| 亚洲真实伦在线观看| 51国产日韩欧美| 亚洲精华国产精华液的使用体验| 亚洲国产欧美在线一区| 免费黄频网站在线观看国产| 国产欧美日韩综合在线一区二区 | 久久毛片免费看一区二区三区| 又粗又硬又长又爽又黄的视频| 国产日韩欧美亚洲二区| 久久久久精品久久久久真实原创| 欧美 日韩 精品 国产| 久久99蜜桃精品久久| 亚洲欧美中文字幕日韩二区| 免费观看在线日韩| 99久久综合免费| 人妻一区二区av| 狂野欧美激情性xxxx在线观看| 一级毛片aaaaaa免费看小| 一本—道久久a久久精品蜜桃钙片| 亚洲精品国产av蜜桃| 一区在线观看完整版| 成人二区视频| 欧美亚洲 丝袜 人妻 在线| 水蜜桃什么品种好| 午夜福利网站1000一区二区三区| 欧美日韩国产mv在线观看视频| 国产白丝娇喘喷水9色精品| 91在线精品国自产拍蜜月| 中文资源天堂在线| 成人影院久久| 免费看不卡的av| 我的女老师完整版在线观看| 女性被躁到高潮视频| 乱码一卡2卡4卡精品| 欧美最新免费一区二区三区| 日本av免费视频播放| 久久久久久久精品精品| 97精品久久久久久久久久精品| 免费黄网站久久成人精品| 午夜免费男女啪啪视频观看| 伊人亚洲综合成人网| 多毛熟女@视频| 欧美 日韩 精品 国产| 看非洲黑人一级黄片| 免费黄网站久久成人精品| 久久精品久久久久久噜噜老黄| 少妇熟女欧美另类| 高清黄色对白视频在线免费看 | 国产男女超爽视频在线观看| 美女福利国产在线| 性高湖久久久久久久久免费观看| 91久久精品国产一区二区三区| 各种免费的搞黄视频| 国产无遮挡羞羞视频在线观看| 免费高清在线观看视频在线观看| 少妇人妻精品综合一区二区| freevideosex欧美| 国产精品国产三级国产专区5o| 午夜日本视频在线| 日韩一区二区三区影片| 只有这里有精品99| 亚洲成人一二三区av| 国产精品国产三级专区第一集| 久久久久国产精品人妻一区二区| 伊人亚洲综合成人网| 水蜜桃什么品种好| 日韩人妻高清精品专区| 黄色视频在线播放观看不卡| 国产免费一级a男人的天堂| 国产精品久久久久久精品电影小说| 中文天堂在线官网| 国内精品宾馆在线| 大话2 男鬼变身卡| 国模一区二区三区四区视频| 全区人妻精品视频| 亚洲综合精品二区| 国产av码专区亚洲av| 午夜福利影视在线免费观看| 国产精品.久久久| 美女福利国产在线| 熟女电影av网| 日韩亚洲欧美综合| 久久久久久久久久久久大奶| 少妇 在线观看| 国产 一区精品| 亚洲精品国产av蜜桃| 亚洲伊人久久精品综合| 91成人精品电影| 又粗又硬又长又爽又黄的视频| 日韩精品免费视频一区二区三区 | 三上悠亚av全集在线观看 | 高清毛片免费看| 国产成人免费观看mmmm| 一级爰片在线观看| 在线观看三级黄色| 久久这里有精品视频免费| 激情五月婷婷亚洲| 中文资源天堂在线| 久久6这里有精品| 久久久久久久久久人人人人人人| 一本久久精品| 国内少妇人妻偷人精品xxx网站| 人妻系列 视频| 国产熟女午夜一区二区三区 | 国产乱人偷精品视频| 国产伦精品一区二区三区视频9| videos熟女内射| 亚洲内射少妇av| 日日摸夜夜添夜夜添av毛片| 久久人人爽av亚洲精品天堂| 成人综合一区亚洲| 99久久中文字幕三级久久日本| 男人添女人高潮全过程视频| √禁漫天堂资源中文www| 久久久精品免费免费高清| 国产视频首页在线观看| 在线观看一区二区三区激情| 草草在线视频免费看| 黑人巨大精品欧美一区二区蜜桃 | 五月天丁香电影| 亚洲精品乱码久久久久久按摩| 在线观看www视频免费| 人人妻人人澡人人看|