• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    速度與智能
    ——人工智能時代的三重哲學反思

    2019-02-11 08:58:53吳冠軍
    山東社會科學 2019年6期
    關(guān)鍵詞:斯蒂格競速馬斯克

    吳冠軍

    (華東師范大學 政治學系暨中國現(xiàn)代思想文化研究所,上海 200026)

    一、引言: 人工智能時代的“樂戴分子”

    生活在當下時代,我們以目不暇接的方式見證著技術(shù)的加速發(fā)展。[注]即便物理規(guī)律會框定一個終極的界限,然而著名的“摩爾定律”以及雷·庫茲韋爾提出的“加速回報定律”一次又一次地讓我們見證其不斷持續(xù)著的有效性。從2016年“阿爾法狗”(AlphaGo)以4比1擊敗世界頂級圍棋棋手李世石并隨后一路連敗(并且完敗)所有頂尖人類棋手開始,“人工智能”(artificial intelligence)迅速從一個技術(shù)領(lǐng)域?qū)I(yè)論題,變成為引爆媒體與社交媒體的公共話題。在上海召開的“2018世界人工智能大會”集中地展示了人工智能在教育、健康、金融、零售、交通、制造、服務(wù)等各個領(lǐng)域的“全面賦能”。時至今天,不管對“人工智能”抱持怎樣的態(tài)度,恐怕誰都會至少承認:它已然無可爭議地成為了定義這個時代的關(guān)鍵詞之一。在各種公共討論中,SpaceX創(chuàng)始人埃隆·馬斯克(Elon Musk)以人工智能領(lǐng)域?qū)I(yè)人士身份提出的“人工智能威脅論”無疑是極具影響力的一種聲音。

    馬斯克把人工智能稱之為“人類面對的最大威脅”,并將開發(fā)人工智能的努力比作“召喚惡魔”之舉。早在2015年,馬斯克就聯(lián)合去年離世的斯蒂芬·霍金(Stephen Hawking)一起發(fā)出公開信,宣稱危險的人工智能軍備競賽已經(jīng)開打。在2017年8月,馬斯克則帶領(lǐng)一百多位人工智能領(lǐng)域?qū)<野l(fā)出公開信,呼吁限制人工智能的開發(fā)。馬斯克甚至以聳人聽聞的語調(diào)在推特上聲稱:人類的第三次世界大戰(zhàn)將會由人工智能開啟。就在今年2月,因理念分歧,馬斯克宣布退出了他與其他硅谷巨頭共同創(chuàng)立的非營利性人工智能實驗室OpenAI,他說“我不同意OpenAI團隊想做的一些事,綜合各種因素我們最好還是好說好散”[注]馬斯克與硅谷知名創(chuàng)業(yè)孵化器Y Combinator的總裁薩姆·奧爾特曼于2015年12月共同成立非營利性AI技術(shù)研發(fā)組織OpenAI,并宣布將會以“推動AI技術(shù)造福人類”為己任,通過向社會無償分享自己的AI技術(shù),來規(guī)避由于科技巨頭壟斷AI技術(shù)而導致的潛在威脅因素。參見《埃隆·馬斯克:人工智能將引發(fā)三戰(zhàn)》,新浪新聞中心,;《馬斯克宣布徹底退出AI研究組織OpenAI》,鳳凰網(wǎng)科技,(于2019年3月7日訪問)。。

    盡管得到霍金、比爾·蓋茨(Bill Gates)以及許多專家的聲援,馬斯克的人工智能威脅論仍是遭到了激烈的反對。信息、技術(shù)和創(chuàng)新基金會(ITIF)在2015就把馬斯克稱作“危言聳聽者”,指責他不負責任地激起了對即將到來的人工智能革命的擔憂。該基金會每年評選“樂戴獎”(Luddite Award),專門頒發(fā)給那些試圖阻礙技術(shù)創(chuàng)新的人?!皹反鳌币辉~原指19世英國紡織工人發(fā)起的一個秘密社團,他們摧毀棉紡機器,聲稱新技術(shù)將毀滅世界。2015年馬斯克與霍金因人工智能威脅論而獲得“樂戴獎”(蓋茨亦被提名該獎項)。2017年Facebook創(chuàng)始人馬克·扎克伯格(Mark Zuckerberg)甚至直接在推特上指名道姓地批評馬斯克關(guān)于人工智能的言論,認為這些言論是“消極而且不負責任”的。而馬斯克則回嗆扎克伯格,聲稱后者對人工智能的理解“太有限”[注]參見《馬斯克霍金獲“阻礙科技創(chuàng)新”獎》,網(wǎng)易科技,;《英雄所見不略同:馬斯克和扎克伯格就AI問題吵起來了》,新浪科技,(于2019年3月7日訪問)。。

    然而真正值得我們追問的問題是:馬斯克的人工智能威脅論是否只是故作驚人之語,作為當代“樂戴分子”的馬氏,其言論是否值得認真對待。在我看來,即便馬斯克因把人工智能比作“惡魔”而引來一片噓聲,即便第三次世界大戰(zhàn)之“禍首”聽上去像極了嘩眾之音,但在哲學層面上,該論題仍是值得我們認真對待的。經(jīng)由競速學、藥學、政治哲學的層層遞進分析,我們將會看到:人工智能對人類的當代挑戰(zhàn)并非在整體文明的層面上,亦即并非代表一種更智慧的文明從“外部”整體性地挑戰(zhàn)人類文明。[注]美劇《西部世界》就描繪了這樣一種“外部挑戰(zhàn)”的恐怖前景,而在現(xiàn)實中,歐盟委員會“人工智能高級別專家組”于2018年12月18日制定的《可信任的人工智能倫理準則草案》,亦代表了這樣一種努力——通過使人工智能變成“可信任的人工智能”(trustworthy AI),防止人工智能在文明層面上挑戰(zhàn)人類。參見《歐盟委員會發(fā)布〈可信賴的人工智能道德準則草案〉》,騰訊網(wǎng),(于2019年3月7日訪問)。人工智能最深層次的挑戰(zhàn)恰恰是從人類文明——人類既有政治—經(jīng)濟—意識形態(tài)建制——“內(nèi)部”刺出。

    二、速度與激情:“生物算法”遭遇“競速革命”

    2018年辭世的法國哲學家保羅·維利里奧(Paul Virilio)提出“競速學”(dromology),提議要把速度作為核心研究對象,“速度是肇因性理念,理念之前的那個理念”[注]Paul Virilio, The Aesthetics of Disappearance, trans. Philip Beitchman, New York: Semiotext(e), 2009, p. 32.。在維利里奧看來,人類文明的變化根本上便是速度的變化:技術(shù)的演進所帶來的實質(zhì)上就是速度的提升(人和物位移速度、信息傳遞速度等等);政治組織的變化(譬如從奴隸制、封建制到官僚制)歸根結(jié)底也正是協(xié)作速度的變化。維氏聲稱:“實際上并沒有‘工業(yè)革命’,有的只是一個‘競速革命’;并沒有民主制,有的只是競速制;并不存在戰(zhàn)略,有的只是競速學”。[注]Paul Virilio, Speed and Politics: An Essay on Dromology, trans. Mark Polizzotti, New York: Semiotext(e), 2006, p. 69.

    人類文明的變遷,就是由一個又一個“競速革命”所逼使,而所謂的“戰(zhàn)略”就是在競速學層面上去獲取優(yōu)勢。反過來,人類文明所遭遇的各種危機,亦根本上是由速度提升所帶來的挑戰(zhàn)。維利里奧在其師梅洛-龐蒂(Maurice Merleau-Ponty)奠基性著作《知覺現(xiàn)象學》基礎(chǔ)上提出如下論點:事情發(fā)生的速度會影響人們對現(xiàn)象的知覺,而溝通與運輸?shù)乃俣忍嵘齽t會深層次地帶來知覺場的變異,亦即劇烈地改變頭腦環(huán)境。質(zhì)言之,速度影響的是“知覺的后勤”(logistics of perception)。高速飆車容易出車禍,最質(zhì)樸的原因就是駕駛員的知覺后勤補給跟不上他/她加給自己的“激情”速度。

    速度的提升所造成的最根本的知覺場變異,是嚴格現(xiàn)象學意義上的“時空壓縮”:無論是信息與數(shù)據(jù)的高速流動,還是人與物的高速移動,都導致時間與空間在知覺層面上遭到壓縮(甚至地球被壓縮成一個“村落”)。[注]“地球村”的提法麥克盧漢在上個世紀六十年代便已提出。See Marshall McLuhan, Understanding Media: the Extensions of Man, Cambridge, Mass.: The MIT Press, 1994,pp. 34, 93.知覺場變異在給人類以及人類文明帶來“激情”(從騎馬到騎摩托、從磁懸浮到超音速飛機……)的同時,亦帶來巨大的挑戰(zhàn)。一頭麋鹿的“生物算法”能夠?qū)σ?10公里/小時時速奔向它的獵豹作出反應(yīng),然而它的“知覺后勤”完全跟不上狙擊槍射出的子彈的速度。而較之麋鹿(以及其它鄰近物種),人的“生物算法”同樣無法跟上這樣的速度,否則1999年科幻片《黑客帝國》(片中英雄Neo可以從容地躲避子彈)當時就不會如此激起觀眾視覺(知覺)上的劇烈震撼并一舉斬獲“奧斯卡最佳視覺效果獎”——該片實質(zhì)上通過“視覺特效”重新把子彈的速度減慢到我們知覺后勤的舒適區(qū)。換言之,當人類文明不斷以加速的方式迎來一個又一個“競速革命”,但人體的“生物算法”卻是更新緩慢的,因而應(yīng)對加速涌來的知覺場變異時就顯得越來越捉襟見肘了。

    從競速學角度來看,人工智能所帶來的挑戰(zhàn),恰恰亦正是落在速度提升上:人工智能在“深度學習”上的速度、對大數(shù)據(jù)的處理速度完敗人的“生物算法”。這輪“競速革命”的社會性結(jié)果,生活在當下的我們已經(jīng)開始見證到:從購物、獲取資訊到擇偶、招聘人才……,人們正在把越來多的決斷權(quán)交給人工智能算法。面對人工智能帶來的速度,人的“知覺的后勤”已經(jīng)徹底坍塌;在“阿爾法狗”的學習速度面前,人類頂級棋手已徹底跟不上……當代世界各種事件快速發(fā)生、“信息炸彈”(information bomb)不斷涌來,人不再確信自身能夠有效地應(yīng)對與處理,在“競速場域”中,越來越多的人已經(jīng)把曾經(jīng)建立在自身“知覺”(“生物算法”)上的信心讓渡給了人工智能。2019年3月10日,一架隸屬埃塞俄比亞航空的波音737 Max-8在埃塞俄比亞境內(nèi)墜毀,機上157名乘客和機組人員全部罹難。基于黑匣子數(shù)據(jù)的初步調(diào)查分析顯示此次空難同5個月前印尼獅航空難如出一轍,都源于該型號飛機上新增的“自動防失速系統(tǒng)”(專業(yè)名稱為“機動特性增強系統(tǒng)”,Maneuvering Characteristics Augmentation System):當它綜合各種傳感器讀數(shù)而判斷飛機處于失速狀態(tài)時,該智能系統(tǒng)便接管飛機;飛行員與該系統(tǒng)爭奪飛機控制權(quán)但最終沒能獲得成功,導致飛機在高速撞擊地面時解體。[注]See Luz Lazo et al., “Investigators find 2nd piece of key evidence in crash of Boeing 737 Max 8 in Ethiopia”, The Washington Post, March 15, 2019.波音737MAX 8配備的自動防失速系統(tǒng)的工作原理是:飛機飛行時機頭越高,攻角(氣流與機翼弦線之間夾角)越大,當攻角超出一定范圍時,飛機面臨失速風險。該系統(tǒng)一旦判斷飛機失速,可以無需飛行員介入即接管飛機控制,并使飛機低頭飛行,以糾正失速。如果這個調(diào)查是可靠的,那么,這兩場空難便可以被理解為人把決斷權(quán)讓渡給人工智能(“自動防失速系統(tǒng)”截斷了坐在駕駛艙里的飛行員的“知覺的后勤”)后所導致的慘劇。

    人/物、信息/數(shù)據(jù)移動速度的巨幅提升(并且是加速提升),導致在當下人類文明內(nèi)部,人工智能算法已然快速地、全方位地在淘汰人體的“生物算法”(“智能”)。在這個意義上,“人工智能革命”實則正是“競速革命”的最新形態(tài)。從競速學出發(fā),我們可以重新審視馬斯克“第三次世界大戰(zhàn)”論題:人工智能帶來的威脅,并不是它如“惡魔”那樣“有意”發(fā)動世界戰(zhàn)爭、毀滅人類文明,而是在當下主權(quán)性的民族國家格局下,人工智能所帶來的速度變化正在使它實質(zhì)性地拿到越來越多的決斷權(quán)。我們完全可以設(shè)想如下的場景(不少影視作品已然模擬過):國家領(lǐng)導人面對突然而來的警信,一小時后(甚至更短時間)各主要軍事基地將會受到另一國家全面的導彈襲擊,而緊急趕到軍情室的高官、參謀們?nèi)紵o法快速判斷出究竟真有襲擊還是錯誤警報抑或黑客入侵,最后領(lǐng)導人只能倚賴人工智能的判斷來決定是否立即讓己方武器升空(以免太晚而全部被對方摧毀)……而現(xiàn)實的情況是,正如邁克斯·泰格馬克(Max Tegmark)所說:“發(fā)展正朝著徹底自主選擇和襲擊目標的全自動武器前進,把所有人拉出決策圈以取得速度,這在軍事上是極具吸引力的?!盵注]Max Tegmark, Life 3.0: Being Human in the Age of Artificial Intelligence,New York: Alfred A. Knopf, 2017 (ebook), p. 145.確實,既然人類的判斷早已跟不上今天信息與武器的發(fā)展速度,那么徹底讓人工智能來直接決斷(以省下人作為“虛假決策者”所浪費掉的那些邊際時間)更符合“競速統(tǒng)治”(dromocracy)。維利里奧在四十多年前便宣稱人類文明已經(jīng)進入“競速統(tǒng)治”,而“競速統(tǒng)治”的實質(zhì)便是速度的專政。正是“競速統(tǒng)治”使馬斯克關(guān)于人工智能那聳人聽聞的命題具有了現(xiàn)實性——如果有第三次世界大戰(zhàn),它很可能是“全自動”發(fā)生的。

    事情發(fā)生速度的加速提升,使得人類對事情作出反應(yīng)的時間(決斷時間)變得加速縮短。這就是維利里奧說的“速度的暴力”:“世界變得越小(作為遠程通訊的相對主義效應(yīng)的一個結(jié)果),情境就越發(fā)被暴力性地折疊?!盵注]Paul Virilio, The Information Bomb, trans. Chris Turner. London: Verso, 2000, p. 67.事情越快地發(fā)生,它帶來的危險也就越大,當人的“智能”(“知覺后勤”)跟不上時,人們就進入了永恒的“緊急狀態(tài)”(state of emergency)。維利里奧生造“競速學”這個詞(以及“競速統(tǒng)治”、“競速革命”),就是提示其讀者應(yīng)該從“競賽”(race)角度來思考速度。速度就是戰(zhàn)爭:“速度的原初性,同時就是軍事的原初性?!盵注]Paul Virilio and SylvereLotringer, Pure War, trans. PhilipBeitchman, B. O’Keefe and MarkPolizzotti, New York: Semiotext(e), 2008, p. 51.維氏在上個世紀七十年代就已經(jīng)指出,戰(zhàn)爭已經(jīng)從殺死敵人變成消滅敵人的知覺場,戰(zhàn)場就是知覺場。倒計時的畫面已經(jīng)變成戰(zhàn)場的場景:地點在消失,戰(zhàn)士在消失,空間向度上的“圍攻狀態(tài)”(state of siege)被時間向度上的“緊急狀態(tài)”所取代。正是這種時間上的永恒的“緊急狀態(tài)”,使得人類決策者們心甘情愿乃至無可奈何地把決斷權(quán)一點點地交出去。

    生活在當代的我們,實際上在見證著知覺的后勤補給正在加速地被人工智能切斷——從日常生活到國際政治,從信息獲取、信息處理到最終決策,人類文明正在一條龍式地被人工智能接管。人們(作為有限個體)此前都是在有限信息與條件下做決策。諾貝爾經(jīng)濟學獎與圖靈獎雙重得主赫伯特·西蒙(Herbert Simon)把人所具有的理性稱作“受約束的理性”(bounded rationality):人的“理性決策”根本性地受限于所掌握的信息、思考的時間以及思考者的智力與知識。[注]決策所導致的結(jié)果、手段與目的之間的匹配度以及潛在的替代方案,全都受限于思考者的信息、時間及其能力。SeeHerbert Simon, Administrative Behavior, 3rd edition, New York: The Free Press, 1976.故此,從來就不存在自由主義所預(yù)設(shè)的那種永遠能做出最理性決策的“理性—經(jīng)濟人”。在本體論層面上,每一個決策,實際上都是德里達(Jacques Derrida)意義上的基于“無可決斷性”(the undecidable)的決斷。[注]關(guān)于“無可決斷性”的政治哲學分析,請參見吳冠軍:《政治哲學的根本問題》,《開放時代》2011年第2期。人工智能雖未在本體論意義上破除有限性,亦即擁有“不受約束的理性”,然而卻已然被認為遠遠勝過人類“知覺現(xiàn)象學”意義上的有限性,并因此開始實質(zhì)性地接管人類的決斷權(quán)。正是在這個意義上,人工智能實已深層參與乃至逐漸主導人類世界的變化。我們可以試問:肯尼迪與赫魯曉夫倘若生于一個世紀之后,他們是否還能以當年的方式化解“古巴危機”?未來的領(lǐng)導人是否能夠無視人工智能的判斷而聲言——我了解對方,他(們)絕對不會讓導彈升空?如果一個領(lǐng)導人要不同意人工智能的判斷而以自己的判斷來做決定,即便他/她本人愿意擔負所有的責任,其部下們會不會執(zhí)行其命令,其國民會有多少人愿意站在其身后?人工智能的算法使得基于知覺場的“(人的)視角”徹底被剝奪。當維利里奧說“現(xiàn)今,不再有勝利,所有人都失敗”[注]Paul Virilio and John Armitage, “The Kosovo W@r Did Take Place”, in John Armitage (ed.), Virilio Live: Selected Interviews, London: Sage, 2001, p. 188.時,他指的還是核導彈的速度,而今天人工智能的速度則使得這句論斷獲得更無從辯駁的力量:所有“人”都已經(jīng)失敗。

    三、人工非智能:從格林斯潘到“特朗普紀”

    在這個人工智能聲稱比你更了解你的時代,人們不再自己耗費精力去了解戀愛對象而交給婚戀APP算法來定位“最適合的TA”,國家領(lǐng)導人不再自己耗費精力去深入了解其在國際上的伙伴與對手而依賴人工智能的大數(shù)據(jù)分析……這才是人工智能對人類文明的真正挑戰(zhàn)。2018年有一本暢銷書題為《人工非智能》(Artificial Unintelligence),作者用“人工非智能”這個詞來形容計算機,意即媒體和專家們夸大了人工智能的智能程度。[注]作者主要聚焦在人工智能處理人類事務(wù)時的短板。See Meredith Broussard, Artificial Unintelligence: How Computers Misunderstand the World, Cambridge, Mass.: The MIT Press, 2018.然而,在我看來,這個詞更好地形容了生活在“人工智能時代”中的人類。結(jié)合法國哲學家貝爾納·斯蒂格勒(Bernard Stiegler)近年來頻繁所使用的“系統(tǒng)性愚蠢”(systemic stupidity)這個概念,我的論點便是:“人工智能時代”人類文明自身恰恰會進入“人工非智能”——一種人為導致的“系統(tǒng)性愚蠢”。

    對于“人工非智能”,我們可以以手機(還用不著智能手機登場)為例來解釋:我們大概都有這樣的感受吧,曾有一個時期我們擁有記住許多親友電話號碼的能力,然而自從用慣手機之后,再要去記住新認識朋友那由十來個數(shù)字組成的號碼,卻是變成一件難上加難的事。恰恰是手機使我們變得更蠢了(記憶能力下降)。同樣地,那很早之前就已經(jīng)進入我們生活的計算器(還用不著計算機登場)使得我們大幅度喪失“心算”的能力。晚近在市場上出現(xiàn)并且已經(jīng)有了多次迭代的智能翻譯機使我們的跨語際溝通變得容易,然而已經(jīng)有人在聲稱不再需要“費力”學習外語[注]典型如作家花千芳2019年3月17日在其個人微博上發(fā)表的學習英語無用論:“對于絕大多數(shù)中國人來說,英語都是一件廢物技能。浪費了我們無數(shù)人力財力,犧牲了孩子們的寶貴童年”。了,亦即不再由自己來理解他人說的話,而完全交由智能翻譯機來掌控溝通……當越來越多此類“智能技術(shù)”在各個面向上深層次地滲入我們?nèi)粘I顣r候的,我們的“變蠢”正在越來越變成系統(tǒng)性的了。

    人們以為自己只是在使用技術(shù)產(chǎn)品,然而后者恰恰在改變著人。根據(jù)布魯諾·拉圖爾(Bruno Latour)等人提出的著名的“行動者—網(wǎng)絡(luò)理論”(actor-network theory),物同樣是行動者,和其他行動者處于彼此“觸動”(affect)與“被觸動”的網(wǎng)絡(luò)結(jié)構(gòu)中。譬如,當一個人身上帶著一把槍,他/她就“被攜槍所轉(zhuǎn)型(transformed)”,“你變得不同,當槍在你的手中”[注]Bruno Latour, Pandora’s Hope: Essays on the Reality of Science Studies, Cambridge, Mass.: Harvard University Press, 1999, pp. 177, 179, emphasis in original.。可能本來酒吧里一個小口角,瞪兩眼說兩句狠話也就結(jié)束了,但其中一方身上有槍時,槍會讓自己參與進來。我們可以進一步給拉圖爾的“行動者—網(wǎng)絡(luò)理論”添加入維利里奧與斯蒂格勒的色彩:當一個人拿了槍,(a)他/她就進入槍的速度而非人的速度(事情發(fā)生速度會大幅躥升),(b)他/她大幅度地變蠢(不拿把槍就不知道怎樣和別人交流)。正是在互動觸動的意義上,技術(shù)能夠根本性地改變?nèi)恕?/p>

    維利里奧和斯蒂格勒都把技術(shù)物視作“義肢”(prosthesis):在維利里奧這里,義肢改變了“知覺后勤”(譬如望遠鏡改變了我們對距離和維度的體驗);在斯蒂格勒這里,義肢則是一種“藥”(同時是良藥和毒藥),當人們不加思考地肆用義肢,那就形同“磕藥”。這兩年,世界各地都有報道有人直接開車開進海里,僅僅因為GPS指示繼續(xù)保持直行……這樣的蠢人,恰恰是裝備很多技術(shù)義肢的人。所以斯蒂格勒提出“藥學”(pharmacology):作為“藥”的技術(shù)能治療人,也能毒害人。衣服能幫助我們御寒,但讓我們自身逐漸喪失御寒的能力;我們做筆記幫助記憶,但逐漸喪失復雜記憶能力;我們使用GPS幫助認路,但逐漸喪失認路能力;我們使用計算機幫助貯存和處理信息,卻使我們快速喪失這些關(guān)鍵能力,最終一步步走向“系統(tǒng)性愚蠢”。

    其實“系統(tǒng)性愚蠢”早有端倪,斯蒂格勒最喜歡用的例子是美國前聯(lián)邦財長格林斯潘(Alan Greenspan)2008年10月23日在國會對全球金融危機所作的解釋——他說任何人包括他自己在內(nèi)都無法理解金融市場正在發(fā)生什么,因為沒有人跟得上算法的速度。那一刻清晰地標識出:金融精英竟被自己的邏輯剝奪了關(guān)于自己邏輯的知識,金融市場已經(jīng)成為“蠢人們的市場”(a market of fools)。[注]BernardStiegler, For a New Critique of Political Economy, trans. Daniel Ross, Cambridge: Polity Press, 2010, p. 47; BernardStiegler, Taking Care of Youth and the Generations, trans. Stephen Barker, Stanford: Stanford University Press, 2010, p. 22.斯蒂格勒據(jù)此提出“普遍化了的無產(chǎn)階級化”(generalizedproletarianization)命題,人的所有知識正在被清空:人的工作知識,被自動化機器的物質(zhì)化了的知識所取代;人的生活知識,被那比所有人更了解所有人的“大數(shù)據(jù)”所吞蝕;而人的理論知識,則變成一種無產(chǎn)階級化的偽知識。恰恰是這種偽知識,生產(chǎn)出系統(tǒng)性愚蠢。[注]BernardStiegler, States of Shock: Stupidity and Knowledge in the 21st Century, trans. Daniel Ross, Cambridge: Polity, 2015, p. 133.斯氏表示他完全不同意格林斯潘關(guān)于金融危機的說辭,但卻很明白這是一個被無產(chǎn)階級化的人所說的。知識(工作知識、生活知識、理論知識)被系統(tǒng)性抹除的后果便是,人的“能力”(capabilities)——在諾貝爾經(jīng)濟學獎得主阿瑪?shù)賮啞ど?Amartya Sen)意義上作為自由的保障的能力——被徹底剝除了,從而導致全面的貧困。森指出,貧困不僅僅指收入低下,而必須被視為對能力的剝奪。[注]Amartya Sen, Commodities and Capabilities, 2nd ed., Oxford: Oxford University Press, 1999.由能力的全面被剝奪所導致的貧困,便正是斯蒂格勒意義上的無產(chǎn)階級化——個體陷入真正的一貧如洗。

    斯蒂格勒認為:“人類紀”發(fā)展出的諸種認知技術(shù),恰恰把認知領(lǐng)域本身無產(chǎn)階級化了,換言之,把人系統(tǒng)性地變蠢?!罢J知資本主義”(資本主義系統(tǒng)+認知技術(shù))所導致的最大問題就是理論知識被系統(tǒng)性地清除掉了。[注]Stiegler, For a New Critique of Political Economy, pp. 45-46.故此,伴隨著認知技術(shù),在市場上所有人似乎變得更“聰明”,但恰恰是“普遍化的愚蠢”。“系統(tǒng)性愚蠢由普遍化了的無產(chǎn)階級化所產(chǎn)生,在消費主義工業(yè)系統(tǒng)中,任何行動者都無法逃離。”[注]Stiegler, States of Shock, p. 45;Stiegler, Taking Care of Youth and the Generations, p. 22, emphasis in original.“認知資本主義”誠然是圍繞獲取智能而展開經(jīng)濟性活動的資本主義形態(tài),然而在斯蒂格勒看來,“有必要知道的是,在這種經(jīng)濟性的戰(zhàn)斗(盡管同時也是獲得智能的戰(zhàn)斗)中,一個人為之戰(zhàn)斗的東西,并不等同于智能,并且有時完全是它的反面。經(jīng)濟性戰(zhàn)斗原則上只能是達至獲得智能這個目標的一個‘手段’。但在這場戰(zhàn)斗的過程中,某種反轉(zhuǎn)似乎出現(xiàn)了,以至于那只可能是‘手段’的東西變成了‘目的’,而目的成了手段。更進一步,看上去是一場關(guān)于智能的經(jīng)濟性戰(zhàn)斗,通過智能,生產(chǎn)出了其反面:愚蠢、注意力的潰散、無響應(yīng)性、非文明性、‘思考的零度’”[注]Stiegler, Taking Care of Youth and the Generations, p. 31, emphasis in original.。在資本主義系統(tǒng)中展開的經(jīng)濟性的戰(zhàn)斗,吞噬了獲得智能的戰(zhàn)斗——所有投身這場戰(zhàn)斗的參與者們集體地走向智能的反面。而經(jīng)由數(shù)字科技所開啟的總體自動化“認知資本主義”在二十一世紀初期業(yè)已發(fā)展成了“計算性資本主義”(“算法資本主義”+“網(wǎng)絡(luò)化資本主義”)。關(guān)于智能的經(jīng)濟性戰(zhàn)斗已經(jīng)抵達“人工智能”階段,而人本身則普遍地擁抱“人工非智能”。知識(尤其是生活知識與理論知識)無法計算、無法被算法兼容,故此在計算性資本主義中沒有它們的位置。在今天,“技術(shù)已經(jīng)抵達數(shù)字語法化的階段,它分析并綜合整個世界”,而這導致“系統(tǒng)性愚蠢與瘋狂的普遍散播”。通過智能穿戴裝備、植入物、云端計算等等“體外器官”,人現(xiàn)在可以放心地讓自己變蠢。[注]BernardStiegler, Automatic Society: The Future of Work, trans. Daniel Ross, Cambridge: Polity, 2016, p. 25; Stiegler, States of Shock, p. 123;BernardStiegler, The Neganthropocene, trans. Daniel Ross, London: Open Humanities Press, 2018, p. 145.

    斯蒂格勒在其2018年新著《負人類紀》中寫道:“人工的、自動化了的愚蠢,是反知識的具化,它徹徹底底是計算性的(算法的和網(wǎng)絡(luò)化的)資本主義。在這種資本主義中,‘后真相’苦痛作為普遍化了的去—知化(它本身是普遍化了的無產(chǎn)階級化的產(chǎn)物)的末世論而強加于人們,這個進程恰恰當我們進入熵紀(Entropocene)而發(fā)生,而晚近這被《衛(wèi)報》稱作特朗普紀(Trumpocene)。”[注]Stiegler, The Neganthropocene, p. 143.“后真相”社會恰恰是普遍化了的去—知化的產(chǎn)物,建立在人工的、自動化了的愚蠢之上。而特朗普這個人物,典范性地標識出這個時代的“人工非智能”特性:作為《像冠軍一樣思考》、《思想牛人》、《登頂之道》等暢銷書的作者,特朗普看上去極其“聰明”,能在認知資本主義的市場上縱橫自如,在國內(nèi)和國際政治中似乎亦總能“如愿以償”,但恰恰是他不折不扣地成為系統(tǒng)性愚蠢的標志性人物。而就是這樣的人物,今天領(lǐng)導著世界上最強大的國家。

    聯(lián)合國2018年10月8日發(fā)布報告指出,倘若全球繼續(xù)按照目前的速度暖化下去,而又未能采取迅速和史無前例的相應(yīng)措施遏制升溫現(xiàn)象,到了2030年至2052年全球氣溫可能上升1.5攝氏度。而在2030年以后,即便各國政府采取更大規(guī)模和更雄心勃勃的減排計劃來落實在2015年《巴黎協(xié)定》中定下的目標(即將全球平均氣溫升幅限制在前工業(yè)水平的攝氏2度以內(nèi),同時尋求將升幅收窄至攝氏1.5度),那也是不足夠的——要把全球暖化控制在1.5攝氏度以內(nèi),全球凈二氧化碳排放量必須在2030年之前較2010年的水平減少45%,同時在本世紀中達到“凈零”水平。聯(lián)合國政府間氣候變化專門委員會(IPCC)董事會成員阿卜杜拉(Amjad Abdulla)表示:“聯(lián)合國這份報告顯示,我們只有很渺茫的機會,避免對我們目前所知、維持生命的氣候系統(tǒng)造成不可想像的破壞?!盵注]《全球氣溫2030至2052年上升1.5度,聯(lián)合國吁控制碳排放》,果樂頭條,(于2019年3月7日訪問)。而特朗普在成為美國總統(tǒng)后,就動用其行政權(quán)力直接作出退出《巴黎協(xié)定》的決定。特朗普曾在推特上聲稱:“全球變暖這個概念是中國人編造出來以使得美國制造業(yè)不具競爭力?!?,“紐約很冷還在飄雪,我們需要全球變暖!”

    特朗普很“聰明”(他多次公開表示自己比奧巴馬等前任們“聰明”得多),但恰恰典范式地“具化”了去—知化了的愚蠢,而恐怖的是人類文明真的會因為這樣的愚蠢而進入“特朗普紀”。在斯蒂格勒看來,資本主義系統(tǒng)導致了技術(shù)創(chuàng)新變成永遠在加速的、看不見其帶來變化(去-知化)的逐利過程,人類紀也正因此變成“熵紀”。而在今天,“熵紀”更好的名稱就是“特朗普紀”。[注]在劉慈欣獲得雨果獎的科幻作品《三體》中,正是對世界大國之間因利益沖突無法就環(huán)境問題達成法律意義上的協(xié)議,導致“三體地球組織”中的降臨派領(lǐng)袖人物麥克·伊文斯對人類文明徹底產(chǎn)生絕望:“我們不知道外星文明是什么樣子,但知道人類?!眳⒁妱⒋刃溃骸度w》,重慶出版社2008年版,第240頁。

    四、系統(tǒng)性愚蠢與“納什均衡”

    從“熵紀”(“特朗普紀”)角度來審察馬斯克的“第三次世界大戰(zhàn)”命題,我們便能清晰地看到,那份可能使這個命題成真的“人工的、自動化了的愚蠢”——誠然,當下正在鋪開的人工智能軍備競賽正在使所有國家都集體加速陷入系統(tǒng)性愚蠢。馬斯克把人工智能比作“惡魔”也許不甚恰當,但“人工非智能”確實是人工智能深度社會化所帶來的一個無可回避的效應(yīng):一方面是速度導致的永恒的“緊急狀態(tài)”,另一方面則是普遍化了的去—知化。那些應(yīng)對永恒“緊急狀態(tài)”的未來的領(lǐng)導人,只需要有一張俊俏的臉蛋(這個趨勢已經(jīng)在發(fā)生),而不需要他/她有多智慧——人工智能代替人的“智慧”,后者只需要根據(jù)人工智能的“GPS導航”來行動即可。

    馬斯克希望用公開呼吁的方式,甚至不惜滿口“危言”以達“聳聽”的效果,來阻止人工智能軍備競賽:“國家間對人工智能優(yōu)勢的爭奪,很可能引發(fā)第三次世界大戰(zhàn)。”[注]參見前引《埃隆·馬斯克:人工智能將引發(fā)三戰(zhàn)》。馬氏這個努力除了使他成功地榮獲“樂戴獎”外,顯然沒能有其他實質(zhì)性的效果。馬斯克本人晚近投入巨資成立了研發(fā)“腦機接口”的新公司Neuralink,他給出的說法是:“既然我之前對人工智能的警告收效甚微,那么好的,我們自己來塑造人工智能的發(fā)展,讓它走向好的一面。”[注]參見前引《埃隆·馬斯克:人工智能將引發(fā)三戰(zhàn)》。盡管馬斯克已放棄了繼續(xù)呼吁,但值得我們進一步去分析的是:為什么馬斯克(以及其他重量級人物如蓋茨、霍金)這些年來公開呼吁的努力會徹底無果?[注]針對馬斯克以“腦機接口”方案應(yīng)對人工智能威脅的專門分析,請參見吳冠軍:《神圣人、機器人與“人類學機器”——二十世紀大屠殺與當代人工智能討論的政治哲學反思》,《上海師范大學學報(哲學社會科學版)》2018年第6期,以及吳冠軍:《人工智能與未來社會:三個反思》,《探索與爭鳴》2017年第10期。

    在我看來,內(nèi)嵌于當下人類文明的兩個結(jié)構(gòu)性元素使馬氏這個呼吁注定無效。這意味著,人工智能軍備競賽會導致所有國家集體加速陷入系統(tǒng)性愚蠢,而人類文明的當下政治—經(jīng)濟格局卻已然配置好了確保通向系統(tǒng)性愚蠢的環(huán)境參數(shù)。

    第一,我們的世界仍然處于全球資本主義秩序下。晚近這些年來,人工智能(a)在各個產(chǎn)業(yè)內(nèi)巨幅降低成本,從而大幅增加利潤空間;(b)對人類生活不斷提供各種優(yōu)質(zhì)服務(wù),并且服務(wù)的潛力無可窮盡。這兩者使得它具有廣闊的商業(yè)化前景。在資本主義系統(tǒng)中,只要有贏利空間,資本就會源源不斷地涌入,更何況是高額贏利的空間。[注]缺乏贏利性投資,則是資本主義經(jīng)濟危機的真正核心。當盈余資本找不到贏利性出口,經(jīng)濟便陷入停滯,并隨之引起大規(guī)模失業(yè)、資本貶值……參見吳冠軍:《“歷史終結(jié)”時代的“伊斯蘭國”:一個政治哲學分析》,《探索與爭鳴》2016年第2期。這一點赫拉利(Yuval N. Harari)看得就很清楚:“只要讓他們獲得新發(fā)現(xiàn)、贏得巨大利潤,大多數(shù)的科學家和銀行家并不在乎要做的是什么事情?!盵注]赫拉利:《未來簡史》,林俊宏譯,中信出版社2017版,第25頁。馬斯克對此可謂剛剛收獲了慘痛體驗:他所創(chuàng)建的OpenAI這個非營利性組織在他離開后,已于2019年3月12日宣布重大重組,正式成立營利性公司。娜奧米·克萊恩(Naomi Klein)曾經(jīng)提出“災(zāi)難資本主義”(disaster capitalism)一詞,意指資本主義把災(zāi)難變成“激動人心的市場機會”[注]Naomi Klein, The Shock Doctrine: The Rise of Disaster Capitalism, New York: Metropolitan, 2007, p. 6.。在我看來,這個詞同樣精準地勾勒出如下狀況:資本主義系統(tǒng)內(nèi)的行動者們都是“聰明人”(理性經(jīng)濟人),最后卻是集體性地導致災(zāi)難。

    第二,我們的世界仍然處在民族國家格局中。“主權(quán)”(sovereignty)更妥當?shù)淖g法是“至高狀態(tài)”,在由主權(quán)國家組成的政治場域中,即便有覺得馬斯克言之有理的領(lǐng)導人,亦無法實質(zhì)性地采納其建議,使本國自外于人工智能軍備競賽之外。這種所有行動者都具有至高的自主決定權(quán)但實際上卻無法自主作出決定的狀況,便是一種經(jīng)典的“納什均衡”(Nash equilibrium)。數(shù)學家、諾貝爾經(jīng)濟學獎得主約翰·納什(John Nash)論證了存在著一類策略對局狀況,在其中沒有任何局中人可以因為單獨改變自己的策略而獲利。資本主義邏輯(利益最大化)加上主權(quán)國家格局(至高決斷權(quán)),就創(chuàng)建出此種狀況。

    以下例子構(gòu)成了一個反思性的參照。1967年美國聯(lián)邦傳播委員會(FCC,F(xiàn)ederal Communications Commission)發(fā)布規(guī)定,煙草公司可以在電視上做廣告,但每條煙草廣告必須搭配一條公益廣告告知公眾“吸煙有害健康”。煙草公司此時便陷入到同類“納什均衡”中:它可以選擇不做廣告,但這樣顧客就會被對手搶走;而大家越做廣告,整體顧客卻越流失,因為會有越來越多的人知曉吸煙的危害,并被反復提醒。于是,沒有公司敢放棄做廣告,明知該舉措會整體上使所有公司都受害?;谕瑯拥脑?,人工智能軍備競賽的前景即便是災(zāi)難性的,但賽場內(nèi)的玩家們誰也無法承受輕易退出所帶來的風險——大家表面上都很“睿智”,卻導致系統(tǒng)性愚蠢。

    是以,因當下世界全球資本主義秩序和主權(quán)民族國家格局這兩個結(jié)構(gòu)性因素,馬斯克的人工智能威脅論即便用詞再激烈,最后只能徒勞無功。馬斯克的“危言”真正帶來的思想激蕩,不在于人工智能在可預(yù)見的未來是否真的能引發(fā)第三次世界大戰(zhàn),而是在于如果他是對的,這個世界當下這套支配性的政治—經(jīng)濟—意識形態(tài)建制,卻只能逼使所有人一起眼睜睜地看著它一步步發(fā)生……。

    斯蒂格勒的批判性矛頭主要針對資本主義系統(tǒng)(“消費資本主義”、“認知資本主義”、“計算性資本主義”),故此他提議一種“新的政治經(jīng)濟學批判”,然而,當代世界的主權(quán)國家格局同樣是系統(tǒng)性愚蠢的重要肇因。當年美國煙草公司針對“納什均衡”想出的破局方法是推動國會通過法案(1970年)禁止所有煙草公司在電視上做廣告,結(jié)果一年之內(nèi)煙草業(yè)整體利潤提高了30%。該策略質(zhì)言之就是訴諸更高的力量,由它來取消所有行動者的至高狀態(tài)。

    返觀當代世界,今天的聯(lián)合國并不具備高于主權(quán)國家的“至高性”。今年已90歲的德國哲學家哈貝馬斯(Jürgen Habermas)在2015年著作中還在努力呼吁,要以超民族國家的政治體來馴服“技術(shù)統(tǒng)治”。[注]Jürgen Habermas, The Lure of Technocracy, trans. Ciaran Cronin, Cambridge: Polity, 2015, p. 57.然而,2016年以來的英國脫歐、特朗普造墻、美俄《中導條約》廢除、美國退出《巴黎協(xié)定》等等一系列變化,則實是標識了這個世界越來越無力抵抗系統(tǒng)性愚蠢。當這個世界的“聰明人”全都“像冠軍一樣思考”時,大家便會集體眼睜睜看著自己的愚蠢將整個世界吞沒。格雷漢姆·阿利森(Graham Allison)提出“修昔底德陷阱”(Thucydides Trap)[注]See for example Graham Allison, “The Thucydides Trap: Are the U.S. and China Headed for War?” The Atlantic, Sep 24, 2015.后,該論迅即被很多政界與學術(shù)界的“聰明人”競相追捧,甚至被視作主導世界的永恒“鐵律”。然而,在當代競速場域中,堅持“新崛起大國與既有大國必有一戰(zhàn)”之論實則是愚蠢到無可救藥,要知道(可能那些“聰明人”不知道)“理論”從來就具有構(gòu)塑“現(xiàn)實”的能力!在當代世界,恰恰因為理論知識已被系統(tǒng)性地剝奪,那么多“聰明人”(實則是被無產(chǎn)階級化的人)才會把阿利森的論調(diào)奉為鐵律,并不惜讓整個世界為自己的愚蠢買單。很不幸的是,我們正在見證的不是“修昔底德陷阱”,而是——借用斯蒂格勒“蠢人們的市場”之喻——一個“蠢人們的世界”的陷阱。愛因斯坦大半個世紀前曾說:“只有兩樣東西是無限的:宇宙,和人類的愚蠢。而我對前者還無法確認?!盵注]當然,和許多愛因斯坦的名句一樣,關(guān)于這句話的出處目前存有爭議,請參見Andrew Robinson,“We Just Can’t Stop Misquoting Einstein”,Primemind, Mar 14, 2016.在當下這個“人工智能時代”里,這份愚蠢已然無需愛因斯坦級別的頭腦來確認了。

    五、結(jié)語:作為愛智實踐/貢獻性實踐的哲學

    前面三節(jié)分別從競速學、藥學和政治哲學的分析性視角出發(fā),來考察當下這個“人工智能時代”——所謂人工智能時代恰恰是人正在加速性地喪失自身智能的時代,恰恰是一個人類文明正在全面陷入系統(tǒng)性愚蠢的時代。在人工智能面前,當下整個人類文明(“特朗普紀”),實是“其智可及,其愚不可及也”[注]《論語·公冶長》:“寧武子,邦有道則知,邦無道則愚。其知可及也,其愚不可及也?!?。在2019年動畫劇集《愛、死亡、機器人》中,當人類文明終結(jié)很久之后,有三個機器人探索一個廢棄城市,并最后得出如下結(jié)論:“他們只是通過成為一幫傻人(a bunch of morons)而作死了自己?!盵注]《愛、死亡、機器人》第一季第二集《三個機器人》?!按廊藗兊氖澜纭笔侨斯ぶ悄軙r代的真正陷阱。

    美國著名解構(gòu)派學者艾維托·羅內(nèi)爾(Avital Ronell)曾在2002年出版了一部專著:《愚蠢》。在羅內(nèi)爾看來,愚蠢無法被戰(zhàn)勝——人類可以發(fā)起一場針對毒品的戰(zhàn)爭,卻無法發(fā)起一場針對愚蠢的戰(zhàn)爭。[注]Avital Ronell, Stupidity, Urbana: University of Illinois Press, 2002, p. 3.斯蒂格勒拒絕愚蠢無“藥”可救這種看法。在他看來,我們必須立即發(fā)起針對愚蠢的斗爭,爭分奪秒地去努力改變“特朗普紀”——在今天,“唯一值得去生活的事情,就是反抗愚蠢的斗爭”。愚蠢就像不正義(injustice),盡管不能徹底將之消除,但卻必須與之為戰(zhàn);一旦停止戰(zhàn)斗,愚蠢就將統(tǒng)治一切——“系統(tǒng)性愚蠢結(jié)構(gòu)性地阻止長期視野的重新構(gòu)建”[注]Stiegler, Taking Care of Youth and the Generations, p. 132;Stiegler, For a New Critique of Political Economy, p. 5.。斯氏把同愚蠢進行斗爭的實踐稱作“貢獻性實踐”:每一個拒絕變蠢的人,都是這個時代的貢獻者。而所謂的“別無它路”、“不再有別的替代方案”,這種思維本身就是系統(tǒng)性愚蠢的一個結(jié)果。作為哲學家的斯蒂格勒提出:“哲學誕生下來,就是和智術(shù)性的愚蠢做斗爭?!盵注]Stiegler, States of Shock, pp. 44, 174; Stiegler, TheNeganthropocene, p. 83.今天的特朗普、格林斯潘們?nèi)缤畔ED時代的智者(sophists),個個看上去都極為“睿智”,然而帶給人類文明的卻恰恰是“智術(shù)性的愚蠢”。在斯氏眼里,他們不但“無—能”,而且“無—意識”。[注]Stiegler, Automatic Society, p. 161.

    哲學家(愛智者)能做什么?哲學家無法改變“競速革命”帶來的時空壓縮,無法改變技術(shù)的加速發(fā)展,但哲學家們可以通過介入性—批判性的分析,去改變技術(shù)的社會—政治效應(yīng)(socio-political effects)。用斯蒂格勒的話說,就是去“同一種導致愚蠢之統(tǒng)治的經(jīng)濟與政治情境做斗爭”[注]Stiegler, States of Shock, p. 32.。斯氏強調(diào)資本主義系統(tǒng)必須被改變[注]Ibid., pp. 62-63.關(guān)于對“數(shù)字資本”的進一步分析,可參見藍江:《數(shù)字資本、一般數(shù)據(jù)與數(shù)字異化:數(shù)字資本的政治經(jīng)濟學批判導引》,《華中科技大學學報(社會科學版)》2018年第4期。,而值得進一步補充的是,民族國家的主權(quán)格局同樣必須要被改變。這種介入性的愛智慧實踐,用馬克思的話說,就是哲學家的“第十一論綱”:“哲學家們以往都僅僅是在以不同的方式解釋世界;但關(guān)鍵在于,去改變這個世界。”[注]Karl Marx, “Theses on Feuerbach”, in Eugene Kamenka (ed.), The Portable Marx, New York: Penguin, 1983, p.158.而改變資本主義秩序與民族國家格局這兩者,恰恰都是馬克思當年提出的改變世界的方向。

    在人工智能時代,改變世界的出路絕不會是拒絕加速發(fā)展的技術(shù)、讓一切回歸到前人工智能的“生物算法”上——在這個意義上,“樂戴分子”實際上從來無法改變世界。真正能夠改變世界的實踐必然是哲學性的,亦即需要實踐者投入自身的智能。首先,(a)追問和思考如下問題:我們能用加速發(fā)展的技術(shù)產(chǎn)生出怎樣的新的知識來?進而,(b)在新知識的基礎(chǔ)上,不斷激進地——加速地——更新既有的政治—經(jīng)濟—意識形態(tài)建制。這種哲學性實踐(愛智者的實踐)才是唯一的能同系統(tǒng)性愚蠢展開真正有效斗爭——有效擺脫人工智能時代的“第三次世界大戰(zhàn)”、擺脫“特朗普紀”、擺脫“修昔底德陷阱”(……)——的貢獻性實踐。[注]關(guān)于人工智能時代貢獻性實踐的進一步討論,請參見吳冠軍:《后人類狀況與中國教育實踐:教育終結(jié)抑或終身教育?——人工智能時代的教育哲學思考》,《華東師范大學學報(教育科學版)》2019年第1期。而這篇文章,則旨在成為這種哲學性—貢獻性實踐中的一個微小但具體的努力。

    猜你喜歡
    斯蒂格競速馬斯克
    氫能“競速”
    法人(2022年5期)2022-05-23 02:30:11
    技術(shù)話語的歷史時空:貝爾納·斯蒂格勒的敘事之場
    馬斯克打臉簡史
    海外星云(2021年9期)2021-10-14 07:26:02
    斯蒂格勒技術(shù)哲學思想研究綜述
    梅耶·馬斯克的“育兒經(jīng)”
    海峽姐妹(2020年10期)2020-10-28 08:08:28
    搶過銀行蹲過牢,法國另類哲學家去世
    馬斯克預(yù)計“獵鷹”9可在12月復飛
    太空探索(2016年12期)2016-07-18 11:13:43
    只因他是馬斯克
    太空探索(2016年11期)2016-07-12 10:32:30
    競速大挑戰(zhàn)
    幼兒園(2016年10期)2016-06-22 19:21:10
    極北之地
    全體育(2016年2期)2016-03-02 11:33:22
    国产亚洲精品综合一区在线观看| 一区二区三区免费毛片| 欧美性猛交黑人性爽| 亚洲国产欧洲综合997久久,| www.999成人在线观看| 2021天堂中文幕一二区在线观| 三级男女做爰猛烈吃奶摸视频| 日本黄色视频三级网站网址| 国产精品国产高清国产av| 国产精品乱码一区二三区的特点| 搡老熟女国产l中国老女人| 又黄又爽又刺激的免费视频.| 人妻久久中文字幕网| 毛片女人毛片| 99热6这里只有精品| 热99re8久久精品国产| bbb黄色大片| 中国美女看黄片| 午夜老司机福利剧场| 国产三级黄色录像| 久久久精品欧美日韩精品| 午夜福利免费观看在线| 久久人人爽人人爽人人片va | 一级黄色大片毛片| 日日摸夜夜添夜夜添av毛片 | 在线播放国产精品三级| 国产av一区在线观看免费| 男插女下体视频免费在线播放| 久久久久久大精品| 97超视频在线观看视频| 久久精品国产清高在天天线| 亚洲内射少妇av| 国产国拍精品亚洲av在线观看| 一级a爱片免费观看的视频| 91字幕亚洲| 九九在线视频观看精品| 国产成+人综合+亚洲专区| 免费在线观看日本一区| 日日夜夜操网爽| 熟妇人妻久久中文字幕3abv| 欧美绝顶高潮抽搐喷水| 无遮挡黄片免费观看| 国产男靠女视频免费网站| 丁香欧美五月| 亚洲成人精品中文字幕电影| 小说图片视频综合网站| 精品久久久久久久人妻蜜臀av| 搡老熟女国产l中国老女人| 免费看光身美女| 小蜜桃在线观看免费完整版高清| 一卡2卡三卡四卡精品乱码亚洲| 成年免费大片在线观看| 很黄的视频免费| 性欧美人与动物交配| 老师上课跳d突然被开到最大视频 久久午夜综合久久蜜桃 | 亚洲不卡免费看| 亚洲av中文字字幕乱码综合| 欧美绝顶高潮抽搐喷水| 欧美+日韩+精品| 国产精品国产高清国产av| 午夜免费成人在线视频| 他把我摸到了高潮在线观看| 日本精品一区二区三区蜜桃| 听说在线观看完整版免费高清| 香蕉av资源在线| 免费看a级黄色片| 国产男靠女视频免费网站| 国产不卡一卡二| 国产精品,欧美在线| 波多野结衣高清作品| 国产精品自产拍在线观看55亚洲| а√天堂www在线а√下载| 美女高潮喷水抽搐中文字幕| 久久精品国产自在天天线| 亚洲美女视频黄频| 国产av不卡久久| 日韩欧美免费精品| 两个人视频免费观看高清| 日韩高清综合在线| 国产美女午夜福利| 给我免费播放毛片高清在线观看| 十八禁人妻一区二区| 麻豆成人午夜福利视频| 熟女人妻精品中文字幕| 国产真实乱freesex| 欧美成人免费av一区二区三区| 精品久久久久久久人妻蜜臀av| 一级黄色大片毛片| 亚洲人成网站在线播放欧美日韩| 久久久久国产精品人妻aⅴ院| 女同久久另类99精品国产91| 国产高清视频在线播放一区| 亚洲精品在线美女| 国产精品影院久久| 老熟妇仑乱视频hdxx| 亚洲精品在线观看二区| avwww免费| 免费电影在线观看免费观看| 美女xxoo啪啪120秒动态图 | 国产精品永久免费网站| 一本精品99久久精品77| 高潮久久久久久久久久久不卡| a级一级毛片免费在线观看| 精品久久久久久久人妻蜜臀av| 国产伦一二天堂av在线观看| 一个人看的www免费观看视频| 国产精品亚洲一级av第二区| 亚洲第一区二区三区不卡| 99国产极品粉嫩在线观看| ponron亚洲| 黄色配什么色好看| 内射极品少妇av片p| 一个人看的www免费观看视频| ponron亚洲| 久久婷婷人人爽人人干人人爱| 有码 亚洲区| 欧美日韩中文字幕国产精品一区二区三区| 美女xxoo啪啪120秒动态图 | 日韩大尺度精品在线看网址| 亚洲av不卡在线观看| 亚洲中文日韩欧美视频| 一区二区三区激情视频| 日本免费一区二区三区高清不卡| 亚洲乱码一区二区免费版| 亚洲精品色激情综合| 在线观看美女被高潮喷水网站 | 久久草成人影院| 成人一区二区视频在线观看| 久久久久久久久久成人| 在线天堂最新版资源| 一级a爱片免费观看的视频| 俄罗斯特黄特色一大片| 成年人黄色毛片网站| 午夜久久久久精精品| 韩国av一区二区三区四区| 特级一级黄色大片| 熟女电影av网| 亚洲自拍偷在线| 亚洲内射少妇av| 99久久无色码亚洲精品果冻| 亚洲欧美日韩高清专用| 精品日产1卡2卡| 欧美黑人巨大hd| 久久久久九九精品影院| 亚洲一区高清亚洲精品| 亚洲欧美日韩高清在线视频| 天天一区二区日本电影三级| 老熟妇仑乱视频hdxx| 久久婷婷人人爽人人干人人爱| 国产黄a三级三级三级人| 丝袜美腿在线中文| 国产成人aa在线观看| 亚洲欧美精品综合久久99| 精品一区二区三区av网在线观看| 亚洲无线观看免费| 三级国产精品欧美在线观看| 欧美一区二区亚洲| av在线老鸭窝| 欧美+亚洲+日韩+国产| 日本免费a在线| 日韩欧美在线二视频| 日本黄色视频三级网站网址| 露出奶头的视频| 中出人妻视频一区二区| av在线蜜桃| 99国产综合亚洲精品| 欧美另类亚洲清纯唯美| 中文字幕av成人在线电影| 欧美日韩乱码在线| 九色国产91popny在线| 国产精品综合久久久久久久免费| 天天躁日日操中文字幕| 午夜免费男女啪啪视频观看 | 人妻夜夜爽99麻豆av| 亚洲性夜色夜夜综合| 精品99又大又爽又粗少妇毛片 | www.999成人在线观看| 国内精品久久久久久久电影| 精品福利观看| 亚洲国产欧洲综合997久久,| 成熟少妇高潮喷水视频| 又粗又爽又猛毛片免费看| 天美传媒精品一区二区| 国产精品一区二区免费欧美| 最好的美女福利视频网| 欧美成狂野欧美在线观看| 在线国产一区二区在线| 美女黄网站色视频| 亚洲av不卡在线观看| 亚洲精品在线美女| 欧美激情在线99| 又黄又爽又刺激的免费视频.| 亚洲精品在线观看二区| 老鸭窝网址在线观看| 国产探花在线观看一区二区| 男女做爰动态图高潮gif福利片| 欧美成狂野欧美在线观看| 91狼人影院| 国产免费av片在线观看野外av| 好男人在线观看高清免费视频| 好看av亚洲va欧美ⅴa在| 久久久久久久久大av| 美女 人体艺术 gogo| 白带黄色成豆腐渣| 精品久久久久久久久av| av黄色大香蕉| 亚洲精品日韩av片在线观看| 国产亚洲av嫩草精品影院| 好看av亚洲va欧美ⅴa在| 一进一出好大好爽视频| 国产v大片淫在线免费观看| 日韩中文字幕欧美一区二区| 岛国在线免费视频观看| 午夜视频国产福利| 深夜精品福利| 亚洲美女搞黄在线观看 | 在线a可以看的网站| 亚洲精品粉嫩美女一区| 国产久久久一区二区三区| 国产精品99久久久久久久久| 精品国产亚洲在线| 成人欧美大片| 成人av一区二区三区在线看| 丰满乱子伦码专区| 成人鲁丝片一二三区免费| 国产精品亚洲美女久久久| 丁香欧美五月| 18美女黄网站色大片免费观看| 国产成人啪精品午夜网站| 欧美最黄视频在线播放免费| 99国产精品一区二区三区| 日本与韩国留学比较| 毛片一级片免费看久久久久 | 亚洲成av人片免费观看| 欧美一级a爱片免费观看看| 色哟哟哟哟哟哟| 变态另类丝袜制服| 国产成人av教育| 国产午夜精品论理片| 日本 av在线| 青草久久国产| 国产在线男女| 亚洲自拍偷在线| 亚洲av熟女| 乱码一卡2卡4卡精品| 每晚都被弄得嗷嗷叫到高潮| 丰满乱子伦码专区| 国产亚洲欧美98| 久久久久国产精品人妻aⅴ院| 国产91精品成人一区二区三区| 最近在线观看免费完整版| 国产亚洲欧美98| 欧美激情久久久久久爽电影| 3wmmmm亚洲av在线观看| 亚洲精品影视一区二区三区av| 国产av一区在线观看免费| 午夜两性在线视频| 他把我摸到了高潮在线观看| 亚洲精华国产精华精| 久久人妻av系列| 全区人妻精品视频| 国产一区二区激情短视频| 99热6这里只有精品| 成人永久免费在线观看视频| 亚洲精品一区av在线观看| 久久久久久久久久黄片| 一本久久中文字幕| 亚洲人成网站在线播| 99热精品在线国产| 在线观看av片永久免费下载| 我要看日韩黄色一级片| 成年免费大片在线观看| 国产精品电影一区二区三区| 男人舔奶头视频| 国产一区二区三区在线臀色熟女| 少妇人妻精品综合一区二区 | 成人高潮视频无遮挡免费网站| 亚洲av成人不卡在线观看播放网| 精品午夜福利在线看| 国产亚洲精品久久久com| 淫妇啪啪啪对白视频| 午夜福利在线观看免费完整高清在 | 成年女人看的毛片在线观看| 最近最新中文字幕大全电影3| 精品福利观看| 天堂动漫精品| 欧美成人a在线观看| 欧美潮喷喷水| 999久久久精品免费观看国产| avwww免费| 在现免费观看毛片| 国产亚洲精品综合一区在线观看| 丁香欧美五月| www.999成人在线观看| 51国产日韩欧美| 波多野结衣巨乳人妻| 色在线成人网| а√天堂www在线а√下载| 国产aⅴ精品一区二区三区波| 日本黄色视频三级网站网址| 亚洲欧美日韩无卡精品| 亚洲欧美清纯卡通| 看黄色毛片网站| 色噜噜av男人的天堂激情| 最后的刺客免费高清国语| 精品久久久久久久久久免费视频| 精品人妻1区二区| а√天堂www在线а√下载| 夜夜躁狠狠躁天天躁| 精品一区二区三区人妻视频| 久久久久免费精品人妻一区二区| 国产三级中文精品| 亚洲av一区综合| 欧洲精品卡2卡3卡4卡5卡区| 国产老妇女一区| 搡女人真爽免费视频火全软件 | 久久久久免费精品人妻一区二区| 久久国产乱子免费精品| 禁无遮挡网站| 18+在线观看网站| 一区福利在线观看| 久久久色成人| 在线播放无遮挡| 久久99热这里只有精品18| 性插视频无遮挡在线免费观看| 久久久精品大字幕| 国产爱豆传媒在线观看| 久久久久久久午夜电影| 女人被狂操c到高潮| 精品国内亚洲2022精品成人| 在线a可以看的网站| 免费高清视频大片| 国产精品美女特级片免费视频播放器| 可以在线观看毛片的网站| 激情在线观看视频在线高清| 色噜噜av男人的天堂激情| 久久午夜福利片| 亚洲第一欧美日韩一区二区三区| 婷婷精品国产亚洲av| 国产精品,欧美在线| 很黄的视频免费| av福利片在线观看| 国产精品三级大全| 欧美高清性xxxxhd video| 熟女电影av网| 亚洲av日韩精品久久久久久密| bbb黄色大片| 天天一区二区日本电影三级| 我的女老师完整版在线观看| 99热这里只有是精品在线观看 | 午夜福利在线观看吧| 国内精品久久久久精免费| 婷婷精品国产亚洲av在线| 免费观看人在逋| 国产又黄又爽又无遮挡在线| 精品久久久久久,| 国模一区二区三区四区视频| 亚洲精品乱码久久久v下载方式| 激情在线观看视频在线高清| 久久久久久久久久黄片| 成人性生交大片免费视频hd| netflix在线观看网站| 精华霜和精华液先用哪个| 制服丝袜大香蕉在线| 高清在线国产一区| 夜夜看夜夜爽夜夜摸| a级毛片a级免费在线| 性欧美人与动物交配| 国产老妇女一区| 久久久久久久午夜电影| 校园春色视频在线观看| 色哟哟哟哟哟哟| 亚洲av电影在线进入| 成人美女网站在线观看视频| 国产精品一区二区三区四区久久| 成人一区二区视频在线观看| a级毛片免费高清观看在线播放| 真人做人爱边吃奶动态| 我要看日韩黄色一级片| 熟妇人妻久久中文字幕3abv| 久久6这里有精品| 欧美精品啪啪一区二区三区| 男女视频在线观看网站免费| 又紧又爽又黄一区二区| 久久性视频一级片| 亚洲一区二区三区色噜噜| 国产精华一区二区三区| 成人av一区二区三区在线看| 午夜激情福利司机影院| 亚洲自拍偷在线| 国产单亲对白刺激| av欧美777| 国产久久久一区二区三区| 久久这里只有精品中国| 国产av一区在线观看免费| 久久久久久久久大av| 中文在线观看免费www的网站| 国产精品久久久久久精品电影| 亚洲人成网站在线播| 搡女人真爽免费视频火全软件 | 毛片一级片免费看久久久久 | 日韩欧美 国产精品| 国产人妻一区二区三区在| 一区二区三区高清视频在线| 热99re8久久精品国产| 又粗又爽又猛毛片免费看| 中文字幕精品亚洲无线码一区| 91午夜精品亚洲一区二区三区 | 看黄色毛片网站| 欧美性猛交黑人性爽| 久久久久久久久中文| 亚洲性夜色夜夜综合| 91狼人影院| 国产一区二区激情短视频| 看黄色毛片网站| 极品教师在线免费播放| 又黄又爽又免费观看的视频| 最后的刺客免费高清国语| 亚洲中文字幕日韩| 午夜精品久久久久久毛片777| 中文字幕av成人在线电影| 免费在线观看成人毛片| 日本与韩国留学比较| 国产日本99.免费观看| 波多野结衣高清无吗| 亚洲成a人片在线一区二区| 久久国产乱子免费精品| 直男gayav资源| 高清日韩中文字幕在线| 欧美潮喷喷水| 美女xxoo啪啪120秒动态图 | 免费观看的影片在线观看| 欧美三级亚洲精品| 久99久视频精品免费| ponron亚洲| 在线免费观看不下载黄p国产 | 日本免费a在线| 激情在线观看视频在线高清| 午夜免费激情av| 国产精品一区二区性色av| bbb黄色大片| 日本与韩国留学比较| 亚洲av不卡在线观看| 久久精品国产亚洲av香蕉五月| 真实男女啪啪啪动态图| 久久精品综合一区二区三区| 欧美乱色亚洲激情| 亚洲五月天丁香| 亚洲国产高清在线一区二区三| 麻豆成人午夜福利视频| 日韩欧美 国产精品| 久久久成人免费电影| 亚洲在线自拍视频| 亚洲最大成人av| 两性午夜刺激爽爽歪歪视频在线观看| 一区二区三区免费毛片| 国产高潮美女av| 亚洲人成伊人成综合网2020| 亚洲成人中文字幕在线播放| 国产大屁股一区二区在线视频| АⅤ资源中文在线天堂| 9191精品国产免费久久| 啪啪无遮挡十八禁网站| 身体一侧抽搐| aaaaa片日本免费| eeuss影院久久| 国产久久久一区二区三区| 88av欧美| 日韩欧美在线乱码| 99国产精品一区二区蜜桃av| 国产精品久久久久久久电影| 在线观看午夜福利视频| 成年版毛片免费区| 最近中文字幕高清免费大全6 | 成人性生交大片免费视频hd| 久久国产精品影院| 欧美zozozo另类| 久久人妻av系列| 亚洲专区中文字幕在线| 亚洲最大成人手机在线| 国产伦在线观看视频一区| 国产免费av片在线观看野外av| 国产单亲对白刺激| av中文乱码字幕在线| 国产成人aa在线观看| 精品一区二区三区视频在线观看免费| 国产欧美日韩精品亚洲av| 久久久久久久精品吃奶| 午夜日韩欧美国产| 舔av片在线| 黄色丝袜av网址大全| 九色国产91popny在线| 99久久精品热视频| 精品午夜福利视频在线观看一区| 精品人妻视频免费看| 久99久视频精品免费| 日韩中文字幕欧美一区二区| 99久久无色码亚洲精品果冻| 特级一级黄色大片| 欧美一区二区亚洲| 欧美日韩国产亚洲二区| 我要看日韩黄色一级片| 韩国av一区二区三区四区| or卡值多少钱| 午夜免费男女啪啪视频观看 | 国产亚洲精品av在线| 嫩草影院精品99| 波多野结衣巨乳人妻| 最近视频中文字幕2019在线8| 国产在线男女| 听说在线观看完整版免费高清| 91九色精品人成在线观看| 极品教师在线免费播放| 天天一区二区日本电影三级| 狠狠狠狠99中文字幕| 日韩精品中文字幕看吧| 91久久精品国产一区二区成人| 免费av不卡在线播放| 日韩高清综合在线| 中文亚洲av片在线观看爽| 一本一本综合久久| 又黄又爽又免费观看的视频| 男女视频在线观看网站免费| 女同久久另类99精品国产91| 日本一二三区视频观看| 熟女电影av网| 亚洲五月婷婷丁香| 三级国产精品欧美在线观看| 成人性生交大片免费视频hd| 国产精品久久久久久亚洲av鲁大| 非洲黑人性xxxx精品又粗又长| 日本与韩国留学比较| 亚洲欧美精品综合久久99| 精品人妻视频免费看| 国产精品久久久久久久久免 | 女人十人毛片免费观看3o分钟| 又黄又爽又免费观看的视频| 国产精品久久久久久人妻精品电影| 日本成人三级电影网站| 欧美色视频一区免费| 亚洲专区中文字幕在线| 两人在一起打扑克的视频| 亚洲美女黄片视频| 国产精品伦人一区二区| 亚洲精品亚洲一区二区| 可以在线观看的亚洲视频| 免费在线观看影片大全网站| 日韩有码中文字幕| 人人妻人人澡欧美一区二区| 一级av片app| 热99在线观看视频| 亚洲欧美清纯卡通| 99久久成人亚洲精品观看| 日本五十路高清| 可以在线观看的亚洲视频| 午夜福利在线在线| 亚洲人与动物交配视频| 日韩欧美国产一区二区入口| 一级作爱视频免费观看| 久久久久亚洲av毛片大全| 亚洲成人久久爱视频| 午夜福利在线观看免费完整高清在 | 可以在线观看毛片的网站| 亚洲国产欧美人成| 欧美日本视频| 超碰av人人做人人爽久久| 国内精品一区二区在线观看| 精品人妻熟女av久视频| 嫩草影视91久久| 久久草成人影院| 国产主播在线观看一区二区| 国产 一区 欧美 日韩| 亚洲av免费在线观看| 美女xxoo啪啪120秒动态图 | 久久这里只有精品中国| 观看免费一级毛片| 国产国拍精品亚洲av在线观看| 免费在线观看日本一区| 色哟哟·www| 搡老熟女国产l中国老女人| 美女黄网站色视频| 成人一区二区视频在线观看| 亚洲无线在线观看| 久久久久免费精品人妻一区二区| 制服丝袜大香蕉在线| 亚洲av五月六月丁香网| 女人十人毛片免费观看3o分钟| 国产精品1区2区在线观看.| 嫁个100分男人电影在线观看| 永久网站在线| bbb黄色大片| 欧美日本亚洲视频在线播放| 婷婷丁香在线五月| 国产主播在线观看一区二区| 日本一本二区三区精品| 国产一区二区亚洲精品在线观看| 91九色精品人成在线观看| 成人午夜高清在线视频| 在线a可以看的网站| 最近在线观看免费完整版| 亚洲 国产 在线| 成年免费大片在线观看| ponron亚洲| 桃色一区二区三区在线观看| 最新中文字幕久久久久| 最近最新中文字幕大全电影3| 天堂√8在线中文| 人妻丰满熟妇av一区二区三区| 丰满乱子伦码专区| 国产精品亚洲美女久久久| 成人午夜高清在线视频| 麻豆成人av在线观看| 99精品久久久久人妻精品| 国内精品美女久久久久久| 在线免费观看不下载黄p国产 |