• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      速度與智能
      ——人工智能時代的三重哲學反思

      2019-02-11 08:58:53吳冠軍
      山東社會科學 2019年6期
      關(guān)鍵詞:斯蒂格競速馬斯克

      吳冠軍

      (華東師范大學 政治學系暨中國現(xiàn)代思想文化研究所,上海 200026)

      一、引言: 人工智能時代的“樂戴分子”

      生活在當下時代,我們以目不暇接的方式見證著技術(shù)的加速發(fā)展。[注]即便物理規(guī)律會框定一個終極的界限,然而著名的“摩爾定律”以及雷·庫茲韋爾提出的“加速回報定律”一次又一次地讓我們見證其不斷持續(xù)著的有效性。從2016年“阿爾法狗”(AlphaGo)以4比1擊敗世界頂級圍棋棋手李世石并隨后一路連敗(并且完敗)所有頂尖人類棋手開始,“人工智能”(artificial intelligence)迅速從一個技術(shù)領(lǐng)域?qū)I(yè)論題,變成為引爆媒體與社交媒體的公共話題。在上海召開的“2018世界人工智能大會”集中地展示了人工智能在教育、健康、金融、零售、交通、制造、服務(wù)等各個領(lǐng)域的“全面賦能”。時至今天,不管對“人工智能”抱持怎樣的態(tài)度,恐怕誰都會至少承認:它已然無可爭議地成為了定義這個時代的關(guān)鍵詞之一。在各種公共討論中,SpaceX創(chuàng)始人埃隆·馬斯克(Elon Musk)以人工智能領(lǐng)域?qū)I(yè)人士身份提出的“人工智能威脅論”無疑是極具影響力的一種聲音。

      馬斯克把人工智能稱之為“人類面對的最大威脅”,并將開發(fā)人工智能的努力比作“召喚惡魔”之舉。早在2015年,馬斯克就聯(lián)合去年離世的斯蒂芬·霍金(Stephen Hawking)一起發(fā)出公開信,宣稱危險的人工智能軍備競賽已經(jīng)開打。在2017年8月,馬斯克則帶領(lǐng)一百多位人工智能領(lǐng)域?qū)<野l(fā)出公開信,呼吁限制人工智能的開發(fā)。馬斯克甚至以聳人聽聞的語調(diào)在推特上聲稱:人類的第三次世界大戰(zhàn)將會由人工智能開啟。就在今年2月,因理念分歧,馬斯克宣布退出了他與其他硅谷巨頭共同創(chuàng)立的非營利性人工智能實驗室OpenAI,他說“我不同意OpenAI團隊想做的一些事,綜合各種因素我們最好還是好說好散”[注]馬斯克與硅谷知名創(chuàng)業(yè)孵化器Y Combinator的總裁薩姆·奧爾特曼于2015年12月共同成立非營利性AI技術(shù)研發(fā)組織OpenAI,并宣布將會以“推動AI技術(shù)造福人類”為己任,通過向社會無償分享自己的AI技術(shù),來規(guī)避由于科技巨頭壟斷AI技術(shù)而導致的潛在威脅因素。參見《埃隆·馬斯克:人工智能將引發(fā)三戰(zhàn)》,新浪新聞中心,;《馬斯克宣布徹底退出AI研究組織OpenAI》,鳳凰網(wǎng)科技,(于2019年3月7日訪問)。。

      盡管得到霍金、比爾·蓋茨(Bill Gates)以及許多專家的聲援,馬斯克的人工智能威脅論仍是遭到了激烈的反對。信息、技術(shù)和創(chuàng)新基金會(ITIF)在2015就把馬斯克稱作“危言聳聽者”,指責他不負責任地激起了對即將到來的人工智能革命的擔憂。該基金會每年評選“樂戴獎”(Luddite Award),專門頒發(fā)給那些試圖阻礙技術(shù)創(chuàng)新的人?!皹反鳌币辉~原指19世英國紡織工人發(fā)起的一個秘密社團,他們摧毀棉紡機器,聲稱新技術(shù)將毀滅世界。2015年馬斯克與霍金因人工智能威脅論而獲得“樂戴獎”(蓋茨亦被提名該獎項)。2017年Facebook創(chuàng)始人馬克·扎克伯格(Mark Zuckerberg)甚至直接在推特上指名道姓地批評馬斯克關(guān)于人工智能的言論,認為這些言論是“消極而且不負責任”的。而馬斯克則回嗆扎克伯格,聲稱后者對人工智能的理解“太有限”[注]參見《馬斯克霍金獲“阻礙科技創(chuàng)新”獎》,網(wǎng)易科技,;《英雄所見不略同:馬斯克和扎克伯格就AI問題吵起來了》,新浪科技,(于2019年3月7日訪問)。。

      然而真正值得我們追問的問題是:馬斯克的人工智能威脅論是否只是故作驚人之語,作為當代“樂戴分子”的馬氏,其言論是否值得認真對待。在我看來,即便馬斯克因把人工智能比作“惡魔”而引來一片噓聲,即便第三次世界大戰(zhàn)之“禍首”聽上去像極了嘩眾之音,但在哲學層面上,該論題仍是值得我們認真對待的。經(jīng)由競速學、藥學、政治哲學的層層遞進分析,我們將會看到:人工智能對人類的當代挑戰(zhàn)并非在整體文明的層面上,亦即并非代表一種更智慧的文明從“外部”整體性地挑戰(zhàn)人類文明。[注]美劇《西部世界》就描繪了這樣一種“外部挑戰(zhàn)”的恐怖前景,而在現(xiàn)實中,歐盟委員會“人工智能高級別專家組”于2018年12月18日制定的《可信任的人工智能倫理準則草案》,亦代表了這樣一種努力——通過使人工智能變成“可信任的人工智能”(trustworthy AI),防止人工智能在文明層面上挑戰(zhàn)人類。參見《歐盟委員會發(fā)布〈可信賴的人工智能道德準則草案〉》,騰訊網(wǎng),(于2019年3月7日訪問)。人工智能最深層次的挑戰(zhàn)恰恰是從人類文明——人類既有政治—經(jīng)濟—意識形態(tài)建制——“內(nèi)部”刺出。

      二、速度與激情:“生物算法”遭遇“競速革命”

      2018年辭世的法國哲學家保羅·維利里奧(Paul Virilio)提出“競速學”(dromology),提議要把速度作為核心研究對象,“速度是肇因性理念,理念之前的那個理念”[注]Paul Virilio, The Aesthetics of Disappearance, trans. Philip Beitchman, New York: Semiotext(e), 2009, p. 32.。在維利里奧看來,人類文明的變化根本上便是速度的變化:技術(shù)的演進所帶來的實質(zhì)上就是速度的提升(人和物位移速度、信息傳遞速度等等);政治組織的變化(譬如從奴隸制、封建制到官僚制)歸根結(jié)底也正是協(xié)作速度的變化。維氏聲稱:“實際上并沒有‘工業(yè)革命’,有的只是一個‘競速革命’;并沒有民主制,有的只是競速制;并不存在戰(zhàn)略,有的只是競速學”。[注]Paul Virilio, Speed and Politics: An Essay on Dromology, trans. Mark Polizzotti, New York: Semiotext(e), 2006, p. 69.

      人類文明的變遷,就是由一個又一個“競速革命”所逼使,而所謂的“戰(zhàn)略”就是在競速學層面上去獲取優(yōu)勢。反過來,人類文明所遭遇的各種危機,亦根本上是由速度提升所帶來的挑戰(zhàn)。維利里奧在其師梅洛-龐蒂(Maurice Merleau-Ponty)奠基性著作《知覺現(xiàn)象學》基礎(chǔ)上提出如下論點:事情發(fā)生的速度會影響人們對現(xiàn)象的知覺,而溝通與運輸?shù)乃俣忍嵘齽t會深層次地帶來知覺場的變異,亦即劇烈地改變頭腦環(huán)境。質(zhì)言之,速度影響的是“知覺的后勤”(logistics of perception)。高速飆車容易出車禍,最質(zhì)樸的原因就是駕駛員的知覺后勤補給跟不上他/她加給自己的“激情”速度。

      速度的提升所造成的最根本的知覺場變異,是嚴格現(xiàn)象學意義上的“時空壓縮”:無論是信息與數(shù)據(jù)的高速流動,還是人與物的高速移動,都導致時間與空間在知覺層面上遭到壓縮(甚至地球被壓縮成一個“村落”)。[注]“地球村”的提法麥克盧漢在上個世紀六十年代便已提出。See Marshall McLuhan, Understanding Media: the Extensions of Man, Cambridge, Mass.: The MIT Press, 1994,pp. 34, 93.知覺場變異在給人類以及人類文明帶來“激情”(從騎馬到騎摩托、從磁懸浮到超音速飛機……)的同時,亦帶來巨大的挑戰(zhàn)。一頭麋鹿的“生物算法”能夠?qū)σ?10公里/小時時速奔向它的獵豹作出反應(yīng),然而它的“知覺后勤”完全跟不上狙擊槍射出的子彈的速度。而較之麋鹿(以及其它鄰近物種),人的“生物算法”同樣無法跟上這樣的速度,否則1999年科幻片《黑客帝國》(片中英雄Neo可以從容地躲避子彈)當時就不會如此激起觀眾視覺(知覺)上的劇烈震撼并一舉斬獲“奧斯卡最佳視覺效果獎”——該片實質(zhì)上通過“視覺特效”重新把子彈的速度減慢到我們知覺后勤的舒適區(qū)。換言之,當人類文明不斷以加速的方式迎來一個又一個“競速革命”,但人體的“生物算法”卻是更新緩慢的,因而應(yīng)對加速涌來的知覺場變異時就顯得越來越捉襟見肘了。

      從競速學角度來看,人工智能所帶來的挑戰(zhàn),恰恰亦正是落在速度提升上:人工智能在“深度學習”上的速度、對大數(shù)據(jù)的處理速度完敗人的“生物算法”。這輪“競速革命”的社會性結(jié)果,生活在當下的我們已經(jīng)開始見證到:從購物、獲取資訊到擇偶、招聘人才……,人們正在把越來多的決斷權(quán)交給人工智能算法。面對人工智能帶來的速度,人的“知覺的后勤”已經(jīng)徹底坍塌;在“阿爾法狗”的學習速度面前,人類頂級棋手已徹底跟不上……當代世界各種事件快速發(fā)生、“信息炸彈”(information bomb)不斷涌來,人不再確信自身能夠有效地應(yīng)對與處理,在“競速場域”中,越來越多的人已經(jīng)把曾經(jīng)建立在自身“知覺”(“生物算法”)上的信心讓渡給了人工智能。2019年3月10日,一架隸屬埃塞俄比亞航空的波音737 Max-8在埃塞俄比亞境內(nèi)墜毀,機上157名乘客和機組人員全部罹難。基于黑匣子數(shù)據(jù)的初步調(diào)查分析顯示此次空難同5個月前印尼獅航空難如出一轍,都源于該型號飛機上新增的“自動防失速系統(tǒng)”(專業(yè)名稱為“機動特性增強系統(tǒng)”,Maneuvering Characteristics Augmentation System):當它綜合各種傳感器讀數(shù)而判斷飛機處于失速狀態(tài)時,該智能系統(tǒng)便接管飛機;飛行員與該系統(tǒng)爭奪飛機控制權(quán)但最終沒能獲得成功,導致飛機在高速撞擊地面時解體。[注]See Luz Lazo et al., “Investigators find 2nd piece of key evidence in crash of Boeing 737 Max 8 in Ethiopia”, The Washington Post, March 15, 2019.波音737MAX 8配備的自動防失速系統(tǒng)的工作原理是:飛機飛行時機頭越高,攻角(氣流與機翼弦線之間夾角)越大,當攻角超出一定范圍時,飛機面臨失速風險。該系統(tǒng)一旦判斷飛機失速,可以無需飛行員介入即接管飛機控制,并使飛機低頭飛行,以糾正失速。如果這個調(diào)查是可靠的,那么,這兩場空難便可以被理解為人把決斷權(quán)讓渡給人工智能(“自動防失速系統(tǒng)”截斷了坐在駕駛艙里的飛行員的“知覺的后勤”)后所導致的慘劇。

      人/物、信息/數(shù)據(jù)移動速度的巨幅提升(并且是加速提升),導致在當下人類文明內(nèi)部,人工智能算法已然快速地、全方位地在淘汰人體的“生物算法”(“智能”)。在這個意義上,“人工智能革命”實則正是“競速革命”的最新形態(tài)。從競速學出發(fā),我們可以重新審視馬斯克“第三次世界大戰(zhàn)”論題:人工智能帶來的威脅,并不是它如“惡魔”那樣“有意”發(fā)動世界戰(zhàn)爭、毀滅人類文明,而是在當下主權(quán)性的民族國家格局下,人工智能所帶來的速度變化正在使它實質(zhì)性地拿到越來越多的決斷權(quán)。我們完全可以設(shè)想如下的場景(不少影視作品已然模擬過):國家領(lǐng)導人面對突然而來的警信,一小時后(甚至更短時間)各主要軍事基地將會受到另一國家全面的導彈襲擊,而緊急趕到軍情室的高官、參謀們?nèi)紵o法快速判斷出究竟真有襲擊還是錯誤警報抑或黑客入侵,最后領(lǐng)導人只能倚賴人工智能的判斷來決定是否立即讓己方武器升空(以免太晚而全部被對方摧毀)……而現(xiàn)實的情況是,正如邁克斯·泰格馬克(Max Tegmark)所說:“發(fā)展正朝著徹底自主選擇和襲擊目標的全自動武器前進,把所有人拉出決策圈以取得速度,這在軍事上是極具吸引力的?!盵注]Max Tegmark, Life 3.0: Being Human in the Age of Artificial Intelligence,New York: Alfred A. Knopf, 2017 (ebook), p. 145.確實,既然人類的判斷早已跟不上今天信息與武器的發(fā)展速度,那么徹底讓人工智能來直接決斷(以省下人作為“虛假決策者”所浪費掉的那些邊際時間)更符合“競速統(tǒng)治”(dromocracy)。維利里奧在四十多年前便宣稱人類文明已經(jīng)進入“競速統(tǒng)治”,而“競速統(tǒng)治”的實質(zhì)便是速度的專政。正是“競速統(tǒng)治”使馬斯克關(guān)于人工智能那聳人聽聞的命題具有了現(xiàn)實性——如果有第三次世界大戰(zhàn),它很可能是“全自動”發(fā)生的。

      事情發(fā)生速度的加速提升,使得人類對事情作出反應(yīng)的時間(決斷時間)變得加速縮短。這就是維利里奧說的“速度的暴力”:“世界變得越小(作為遠程通訊的相對主義效應(yīng)的一個結(jié)果),情境就越發(fā)被暴力性地折疊?!盵注]Paul Virilio, The Information Bomb, trans. Chris Turner. London: Verso, 2000, p. 67.事情越快地發(fā)生,它帶來的危險也就越大,當人的“智能”(“知覺后勤”)跟不上時,人們就進入了永恒的“緊急狀態(tài)”(state of emergency)。維利里奧生造“競速學”這個詞(以及“競速統(tǒng)治”、“競速革命”),就是提示其讀者應(yīng)該從“競賽”(race)角度來思考速度。速度就是戰(zhàn)爭:“速度的原初性,同時就是軍事的原初性?!盵注]Paul Virilio and SylvereLotringer, Pure War, trans. PhilipBeitchman, B. O’Keefe and MarkPolizzotti, New York: Semiotext(e), 2008, p. 51.維氏在上個世紀七十年代就已經(jīng)指出,戰(zhàn)爭已經(jīng)從殺死敵人變成消滅敵人的知覺場,戰(zhàn)場就是知覺場。倒計時的畫面已經(jīng)變成戰(zhàn)場的場景:地點在消失,戰(zhàn)士在消失,空間向度上的“圍攻狀態(tài)”(state of siege)被時間向度上的“緊急狀態(tài)”所取代。正是這種時間上的永恒的“緊急狀態(tài)”,使得人類決策者們心甘情愿乃至無可奈何地把決斷權(quán)一點點地交出去。

      生活在當代的我們,實際上在見證著知覺的后勤補給正在加速地被人工智能切斷——從日常生活到國際政治,從信息獲取、信息處理到最終決策,人類文明正在一條龍式地被人工智能接管。人們(作為有限個體)此前都是在有限信息與條件下做決策。諾貝爾經(jīng)濟學獎與圖靈獎雙重得主赫伯特·西蒙(Herbert Simon)把人所具有的理性稱作“受約束的理性”(bounded rationality):人的“理性決策”根本性地受限于所掌握的信息、思考的時間以及思考者的智力與知識。[注]決策所導致的結(jié)果、手段與目的之間的匹配度以及潛在的替代方案,全都受限于思考者的信息、時間及其能力。SeeHerbert Simon, Administrative Behavior, 3rd edition, New York: The Free Press, 1976.故此,從來就不存在自由主義所預(yù)設(shè)的那種永遠能做出最理性決策的“理性—經(jīng)濟人”。在本體論層面上,每一個決策,實際上都是德里達(Jacques Derrida)意義上的基于“無可決斷性”(the undecidable)的決斷。[注]關(guān)于“無可決斷性”的政治哲學分析,請參見吳冠軍:《政治哲學的根本問題》,《開放時代》2011年第2期。人工智能雖未在本體論意義上破除有限性,亦即擁有“不受約束的理性”,然而卻已然被認為遠遠勝過人類“知覺現(xiàn)象學”意義上的有限性,并因此開始實質(zhì)性地接管人類的決斷權(quán)。正是在這個意義上,人工智能實已深層參與乃至逐漸主導人類世界的變化。我們可以試問:肯尼迪與赫魯曉夫倘若生于一個世紀之后,他們是否還能以當年的方式化解“古巴危機”?未來的領(lǐng)導人是否能夠無視人工智能的判斷而聲言——我了解對方,他(們)絕對不會讓導彈升空?如果一個領(lǐng)導人要不同意人工智能的判斷而以自己的判斷來做決定,即便他/她本人愿意擔負所有的責任,其部下們會不會執(zhí)行其命令,其國民會有多少人愿意站在其身后?人工智能的算法使得基于知覺場的“(人的)視角”徹底被剝奪。當維利里奧說“現(xiàn)今,不再有勝利,所有人都失敗”[注]Paul Virilio and John Armitage, “The Kosovo W@r Did Take Place”, in John Armitage (ed.), Virilio Live: Selected Interviews, London: Sage, 2001, p. 188.時,他指的還是核導彈的速度,而今天人工智能的速度則使得這句論斷獲得更無從辯駁的力量:所有“人”都已經(jīng)失敗。

      三、人工非智能:從格林斯潘到“特朗普紀”

      在這個人工智能聲稱比你更了解你的時代,人們不再自己耗費精力去了解戀愛對象而交給婚戀APP算法來定位“最適合的TA”,國家領(lǐng)導人不再自己耗費精力去深入了解其在國際上的伙伴與對手而依賴人工智能的大數(shù)據(jù)分析……這才是人工智能對人類文明的真正挑戰(zhàn)。2018年有一本暢銷書題為《人工非智能》(Artificial Unintelligence),作者用“人工非智能”這個詞來形容計算機,意即媒體和專家們夸大了人工智能的智能程度。[注]作者主要聚焦在人工智能處理人類事務(wù)時的短板。See Meredith Broussard, Artificial Unintelligence: How Computers Misunderstand the World, Cambridge, Mass.: The MIT Press, 2018.然而,在我看來,這個詞更好地形容了生活在“人工智能時代”中的人類。結(jié)合法國哲學家貝爾納·斯蒂格勒(Bernard Stiegler)近年來頻繁所使用的“系統(tǒng)性愚蠢”(systemic stupidity)這個概念,我的論點便是:“人工智能時代”人類文明自身恰恰會進入“人工非智能”——一種人為導致的“系統(tǒng)性愚蠢”。

      對于“人工非智能”,我們可以以手機(還用不著智能手機登場)為例來解釋:我們大概都有這樣的感受吧,曾有一個時期我們擁有記住許多親友電話號碼的能力,然而自從用慣手機之后,再要去記住新認識朋友那由十來個數(shù)字組成的號碼,卻是變成一件難上加難的事。恰恰是手機使我們變得更蠢了(記憶能力下降)。同樣地,那很早之前就已經(jīng)進入我們生活的計算器(還用不著計算機登場)使得我們大幅度喪失“心算”的能力。晚近在市場上出現(xiàn)并且已經(jīng)有了多次迭代的智能翻譯機使我們的跨語際溝通變得容易,然而已經(jīng)有人在聲稱不再需要“費力”學習外語[注]典型如作家花千芳2019年3月17日在其個人微博上發(fā)表的學習英語無用論:“對于絕大多數(shù)中國人來說,英語都是一件廢物技能。浪費了我們無數(shù)人力財力,犧牲了孩子們的寶貴童年”。了,亦即不再由自己來理解他人說的話,而完全交由智能翻譯機來掌控溝通……當越來越多此類“智能技術(shù)”在各個面向上深層次地滲入我們?nèi)粘I顣r候的,我們的“變蠢”正在越來越變成系統(tǒng)性的了。

      人們以為自己只是在使用技術(shù)產(chǎn)品,然而后者恰恰在改變著人。根據(jù)布魯諾·拉圖爾(Bruno Latour)等人提出的著名的“行動者—網(wǎng)絡(luò)理論”(actor-network theory),物同樣是行動者,和其他行動者處于彼此“觸動”(affect)與“被觸動”的網(wǎng)絡(luò)結(jié)構(gòu)中。譬如,當一個人身上帶著一把槍,他/她就“被攜槍所轉(zhuǎn)型(transformed)”,“你變得不同,當槍在你的手中”[注]Bruno Latour, Pandora’s Hope: Essays on the Reality of Science Studies, Cambridge, Mass.: Harvard University Press, 1999, pp. 177, 179, emphasis in original.。可能本來酒吧里一個小口角,瞪兩眼說兩句狠話也就結(jié)束了,但其中一方身上有槍時,槍會讓自己參與進來。我們可以進一步給拉圖爾的“行動者—網(wǎng)絡(luò)理論”添加入維利里奧與斯蒂格勒的色彩:當一個人拿了槍,(a)他/她就進入槍的速度而非人的速度(事情發(fā)生速度會大幅躥升),(b)他/她大幅度地變蠢(不拿把槍就不知道怎樣和別人交流)。正是在互動觸動的意義上,技術(shù)能夠根本性地改變?nèi)恕?/p>

      維利里奧和斯蒂格勒都把技術(shù)物視作“義肢”(prosthesis):在維利里奧這里,義肢改變了“知覺后勤”(譬如望遠鏡改變了我們對距離和維度的體驗);在斯蒂格勒這里,義肢則是一種“藥”(同時是良藥和毒藥),當人們不加思考地肆用義肢,那就形同“磕藥”。這兩年,世界各地都有報道有人直接開車開進海里,僅僅因為GPS指示繼續(xù)保持直行……這樣的蠢人,恰恰是裝備很多技術(shù)義肢的人。所以斯蒂格勒提出“藥學”(pharmacology):作為“藥”的技術(shù)能治療人,也能毒害人。衣服能幫助我們御寒,但讓我們自身逐漸喪失御寒的能力;我們做筆記幫助記憶,但逐漸喪失復雜記憶能力;我們使用GPS幫助認路,但逐漸喪失認路能力;我們使用計算機幫助貯存和處理信息,卻使我們快速喪失這些關(guān)鍵能力,最終一步步走向“系統(tǒng)性愚蠢”。

      其實“系統(tǒng)性愚蠢”早有端倪,斯蒂格勒最喜歡用的例子是美國前聯(lián)邦財長格林斯潘(Alan Greenspan)2008年10月23日在國會對全球金融危機所作的解釋——他說任何人包括他自己在內(nèi)都無法理解金融市場正在發(fā)生什么,因為沒有人跟得上算法的速度。那一刻清晰地標識出:金融精英竟被自己的邏輯剝奪了關(guān)于自己邏輯的知識,金融市場已經(jīng)成為“蠢人們的市場”(a market of fools)。[注]BernardStiegler, For a New Critique of Political Economy, trans. Daniel Ross, Cambridge: Polity Press, 2010, p. 47; BernardStiegler, Taking Care of Youth and the Generations, trans. Stephen Barker, Stanford: Stanford University Press, 2010, p. 22.斯蒂格勒據(jù)此提出“普遍化了的無產(chǎn)階級化”(generalizedproletarianization)命題,人的所有知識正在被清空:人的工作知識,被自動化機器的物質(zhì)化了的知識所取代;人的生活知識,被那比所有人更了解所有人的“大數(shù)據(jù)”所吞蝕;而人的理論知識,則變成一種無產(chǎn)階級化的偽知識。恰恰是這種偽知識,生產(chǎn)出系統(tǒng)性愚蠢。[注]BernardStiegler, States of Shock: Stupidity and Knowledge in the 21st Century, trans. Daniel Ross, Cambridge: Polity, 2015, p. 133.斯氏表示他完全不同意格林斯潘關(guān)于金融危機的說辭,但卻很明白這是一個被無產(chǎn)階級化的人所說的。知識(工作知識、生活知識、理論知識)被系統(tǒng)性抹除的后果便是,人的“能力”(capabilities)——在諾貝爾經(jīng)濟學獎得主阿瑪?shù)賮啞ど?Amartya Sen)意義上作為自由的保障的能力——被徹底剝除了,從而導致全面的貧困。森指出,貧困不僅僅指收入低下,而必須被視為對能力的剝奪。[注]Amartya Sen, Commodities and Capabilities, 2nd ed., Oxford: Oxford University Press, 1999.由能力的全面被剝奪所導致的貧困,便正是斯蒂格勒意義上的無產(chǎn)階級化——個體陷入真正的一貧如洗。

      斯蒂格勒認為:“人類紀”發(fā)展出的諸種認知技術(shù),恰恰把認知領(lǐng)域本身無產(chǎn)階級化了,換言之,把人系統(tǒng)性地變蠢?!罢J知資本主義”(資本主義系統(tǒng)+認知技術(shù))所導致的最大問題就是理論知識被系統(tǒng)性地清除掉了。[注]Stiegler, For a New Critique of Political Economy, pp. 45-46.故此,伴隨著認知技術(shù),在市場上所有人似乎變得更“聰明”,但恰恰是“普遍化的愚蠢”。“系統(tǒng)性愚蠢由普遍化了的無產(chǎn)階級化所產(chǎn)生,在消費主義工業(yè)系統(tǒng)中,任何行動者都無法逃離。”[注]Stiegler, States of Shock, p. 45;Stiegler, Taking Care of Youth and the Generations, p. 22, emphasis in original.“認知資本主義”誠然是圍繞獲取智能而展開經(jīng)濟性活動的資本主義形態(tài),然而在斯蒂格勒看來,“有必要知道的是,在這種經(jīng)濟性的戰(zhàn)斗(盡管同時也是獲得智能的戰(zhàn)斗)中,一個人為之戰(zhàn)斗的東西,并不等同于智能,并且有時完全是它的反面。經(jīng)濟性戰(zhàn)斗原則上只能是達至獲得智能這個目標的一個‘手段’。但在這場戰(zhàn)斗的過程中,某種反轉(zhuǎn)似乎出現(xiàn)了,以至于那只可能是‘手段’的東西變成了‘目的’,而目的成了手段。更進一步,看上去是一場關(guān)于智能的經(jīng)濟性戰(zhàn)斗,通過智能,生產(chǎn)出了其反面:愚蠢、注意力的潰散、無響應(yīng)性、非文明性、‘思考的零度’”[注]Stiegler, Taking Care of Youth and the Generations, p. 31, emphasis in original.。在資本主義系統(tǒng)中展開的經(jīng)濟性的戰(zhàn)斗,吞噬了獲得智能的戰(zhàn)斗——所有投身這場戰(zhàn)斗的參與者們集體地走向智能的反面。而經(jīng)由數(shù)字科技所開啟的總體自動化“認知資本主義”在二十一世紀初期業(yè)已發(fā)展成了“計算性資本主義”(“算法資本主義”+“網(wǎng)絡(luò)化資本主義”)。關(guān)于智能的經(jīng)濟性戰(zhàn)斗已經(jīng)抵達“人工智能”階段,而人本身則普遍地擁抱“人工非智能”。知識(尤其是生活知識與理論知識)無法計算、無法被算法兼容,故此在計算性資本主義中沒有它們的位置。在今天,“技術(shù)已經(jīng)抵達數(shù)字語法化的階段,它分析并綜合整個世界”,而這導致“系統(tǒng)性愚蠢與瘋狂的普遍散播”。通過智能穿戴裝備、植入物、云端計算等等“體外器官”,人現(xiàn)在可以放心地讓自己變蠢。[注]BernardStiegler, Automatic Society: The Future of Work, trans. Daniel Ross, Cambridge: Polity, 2016, p. 25; Stiegler, States of Shock, p. 123;BernardStiegler, The Neganthropocene, trans. Daniel Ross, London: Open Humanities Press, 2018, p. 145.

      斯蒂格勒在其2018年新著《負人類紀》中寫道:“人工的、自動化了的愚蠢,是反知識的具化,它徹徹底底是計算性的(算法的和網(wǎng)絡(luò)化的)資本主義。在這種資本主義中,‘后真相’苦痛作為普遍化了的去—知化(它本身是普遍化了的無產(chǎn)階級化的產(chǎn)物)的末世論而強加于人們,這個進程恰恰當我們進入熵紀(Entropocene)而發(fā)生,而晚近這被《衛(wèi)報》稱作特朗普紀(Trumpocene)。”[注]Stiegler, The Neganthropocene, p. 143.“后真相”社會恰恰是普遍化了的去—知化的產(chǎn)物,建立在人工的、自動化了的愚蠢之上。而特朗普這個人物,典范性地標識出這個時代的“人工非智能”特性:作為《像冠軍一樣思考》、《思想牛人》、《登頂之道》等暢銷書的作者,特朗普看上去極其“聰明”,能在認知資本主義的市場上縱橫自如,在國內(nèi)和國際政治中似乎亦總能“如愿以償”,但恰恰是他不折不扣地成為系統(tǒng)性愚蠢的標志性人物。而就是這樣的人物,今天領(lǐng)導著世界上最強大的國家。

      聯(lián)合國2018年10月8日發(fā)布報告指出,倘若全球繼續(xù)按照目前的速度暖化下去,而又未能采取迅速和史無前例的相應(yīng)措施遏制升溫現(xiàn)象,到了2030年至2052年全球氣溫可能上升1.5攝氏度。而在2030年以后,即便各國政府采取更大規(guī)模和更雄心勃勃的減排計劃來落實在2015年《巴黎協(xié)定》中定下的目標(即將全球平均氣溫升幅限制在前工業(yè)水平的攝氏2度以內(nèi),同時尋求將升幅收窄至攝氏1.5度),那也是不足夠的——要把全球暖化控制在1.5攝氏度以內(nèi),全球凈二氧化碳排放量必須在2030年之前較2010年的水平減少45%,同時在本世紀中達到“凈零”水平。聯(lián)合國政府間氣候變化專門委員會(IPCC)董事會成員阿卜杜拉(Amjad Abdulla)表示:“聯(lián)合國這份報告顯示,我們只有很渺茫的機會,避免對我們目前所知、維持生命的氣候系統(tǒng)造成不可想像的破壞?!盵注]《全球氣溫2030至2052年上升1.5度,聯(lián)合國吁控制碳排放》,果樂頭條,(于2019年3月7日訪問)。而特朗普在成為美國總統(tǒng)后,就動用其行政權(quán)力直接作出退出《巴黎協(xié)定》的決定。特朗普曾在推特上聲稱:“全球變暖這個概念是中國人編造出來以使得美國制造業(yè)不具競爭力?!?,“紐約很冷還在飄雪,我們需要全球變暖!”

      特朗普很“聰明”(他多次公開表示自己比奧巴馬等前任們“聰明”得多),但恰恰典范式地“具化”了去—知化了的愚蠢,而恐怖的是人類文明真的會因為這樣的愚蠢而進入“特朗普紀”。在斯蒂格勒看來,資本主義系統(tǒng)導致了技術(shù)創(chuàng)新變成永遠在加速的、看不見其帶來變化(去-知化)的逐利過程,人類紀也正因此變成“熵紀”。而在今天,“熵紀”更好的名稱就是“特朗普紀”。[注]在劉慈欣獲得雨果獎的科幻作品《三體》中,正是對世界大國之間因利益沖突無法就環(huán)境問題達成法律意義上的協(xié)議,導致“三體地球組織”中的降臨派領(lǐng)袖人物麥克·伊文斯對人類文明徹底產(chǎn)生絕望:“我們不知道外星文明是什么樣子,但知道人類?!眳⒁妱⒋刃溃骸度w》,重慶出版社2008年版,第240頁。

      四、系統(tǒng)性愚蠢與“納什均衡”

      從“熵紀”(“特朗普紀”)角度來審察馬斯克的“第三次世界大戰(zhàn)”命題,我們便能清晰地看到,那份可能使這個命題成真的“人工的、自動化了的愚蠢”——誠然,當下正在鋪開的人工智能軍備競賽正在使所有國家都集體加速陷入系統(tǒng)性愚蠢。馬斯克把人工智能比作“惡魔”也許不甚恰當,但“人工非智能”確實是人工智能深度社會化所帶來的一個無可回避的效應(yīng):一方面是速度導致的永恒的“緊急狀態(tài)”,另一方面則是普遍化了的去—知化。那些應(yīng)對永恒“緊急狀態(tài)”的未來的領(lǐng)導人,只需要有一張俊俏的臉蛋(這個趨勢已經(jīng)在發(fā)生),而不需要他/她有多智慧——人工智能代替人的“智慧”,后者只需要根據(jù)人工智能的“GPS導航”來行動即可。

      馬斯克希望用公開呼吁的方式,甚至不惜滿口“危言”以達“聳聽”的效果,來阻止人工智能軍備競賽:“國家間對人工智能優(yōu)勢的爭奪,很可能引發(fā)第三次世界大戰(zhàn)。”[注]參見前引《埃隆·馬斯克:人工智能將引發(fā)三戰(zhàn)》。馬氏這個努力除了使他成功地榮獲“樂戴獎”外,顯然沒能有其他實質(zhì)性的效果。馬斯克本人晚近投入巨資成立了研發(fā)“腦機接口”的新公司Neuralink,他給出的說法是:“既然我之前對人工智能的警告收效甚微,那么好的,我們自己來塑造人工智能的發(fā)展,讓它走向好的一面。”[注]參見前引《埃隆·馬斯克:人工智能將引發(fā)三戰(zhàn)》。盡管馬斯克已放棄了繼續(xù)呼吁,但值得我們進一步去分析的是:為什么馬斯克(以及其他重量級人物如蓋茨、霍金)這些年來公開呼吁的努力會徹底無果?[注]針對馬斯克以“腦機接口”方案應(yīng)對人工智能威脅的專門分析,請參見吳冠軍:《神圣人、機器人與“人類學機器”——二十世紀大屠殺與當代人工智能討論的政治哲學反思》,《上海師范大學學報(哲學社會科學版)》2018年第6期,以及吳冠軍:《人工智能與未來社會:三個反思》,《探索與爭鳴》2017年第10期。

      在我看來,內(nèi)嵌于當下人類文明的兩個結(jié)構(gòu)性元素使馬氏這個呼吁注定無效。這意味著,人工智能軍備競賽會導致所有國家集體加速陷入系統(tǒng)性愚蠢,而人類文明的當下政治—經(jīng)濟格局卻已然配置好了確保通向系統(tǒng)性愚蠢的環(huán)境參數(shù)。

      第一,我們的世界仍然處于全球資本主義秩序下。晚近這些年來,人工智能(a)在各個產(chǎn)業(yè)內(nèi)巨幅降低成本,從而大幅增加利潤空間;(b)對人類生活不斷提供各種優(yōu)質(zhì)服務(wù),并且服務(wù)的潛力無可窮盡。這兩者使得它具有廣闊的商業(yè)化前景。在資本主義系統(tǒng)中,只要有贏利空間,資本就會源源不斷地涌入,更何況是高額贏利的空間。[注]缺乏贏利性投資,則是資本主義經(jīng)濟危機的真正核心。當盈余資本找不到贏利性出口,經(jīng)濟便陷入停滯,并隨之引起大規(guī)模失業(yè)、資本貶值……參見吳冠軍:《“歷史終結(jié)”時代的“伊斯蘭國”:一個政治哲學分析》,《探索與爭鳴》2016年第2期。這一點赫拉利(Yuval N. Harari)看得就很清楚:“只要讓他們獲得新發(fā)現(xiàn)、贏得巨大利潤,大多數(shù)的科學家和銀行家并不在乎要做的是什么事情?!盵注]赫拉利:《未來簡史》,林俊宏譯,中信出版社2017版,第25頁。馬斯克對此可謂剛剛收獲了慘痛體驗:他所創(chuàng)建的OpenAI這個非營利性組織在他離開后,已于2019年3月12日宣布重大重組,正式成立營利性公司。娜奧米·克萊恩(Naomi Klein)曾經(jīng)提出“災(zāi)難資本主義”(disaster capitalism)一詞,意指資本主義把災(zāi)難變成“激動人心的市場機會”[注]Naomi Klein, The Shock Doctrine: The Rise of Disaster Capitalism, New York: Metropolitan, 2007, p. 6.。在我看來,這個詞同樣精準地勾勒出如下狀況:資本主義系統(tǒng)內(nèi)的行動者們都是“聰明人”(理性經(jīng)濟人),最后卻是集體性地導致災(zāi)難。

      第二,我們的世界仍然處在民族國家格局中。“主權(quán)”(sovereignty)更妥當?shù)淖g法是“至高狀態(tài)”,在由主權(quán)國家組成的政治場域中,即便有覺得馬斯克言之有理的領(lǐng)導人,亦無法實質(zhì)性地采納其建議,使本國自外于人工智能軍備競賽之外。這種所有行動者都具有至高的自主決定權(quán)但實際上卻無法自主作出決定的狀況,便是一種經(jīng)典的“納什均衡”(Nash equilibrium)。數(shù)學家、諾貝爾經(jīng)濟學獎得主約翰·納什(John Nash)論證了存在著一類策略對局狀況,在其中沒有任何局中人可以因為單獨改變自己的策略而獲利。資本主義邏輯(利益最大化)加上主權(quán)國家格局(至高決斷權(quán)),就創(chuàng)建出此種狀況。

      以下例子構(gòu)成了一個反思性的參照。1967年美國聯(lián)邦傳播委員會(FCC,F(xiàn)ederal Communications Commission)發(fā)布規(guī)定,煙草公司可以在電視上做廣告,但每條煙草廣告必須搭配一條公益廣告告知公眾“吸煙有害健康”。煙草公司此時便陷入到同類“納什均衡”中:它可以選擇不做廣告,但這樣顧客就會被對手搶走;而大家越做廣告,整體顧客卻越流失,因為會有越來越多的人知曉吸煙的危害,并被反復提醒。于是,沒有公司敢放棄做廣告,明知該舉措會整體上使所有公司都受害?;谕瑯拥脑?,人工智能軍備競賽的前景即便是災(zāi)難性的,但賽場內(nèi)的玩家們誰也無法承受輕易退出所帶來的風險——大家表面上都很“睿智”,卻導致系統(tǒng)性愚蠢。

      是以,因當下世界全球資本主義秩序和主權(quán)民族國家格局這兩個結(jié)構(gòu)性因素,馬斯克的人工智能威脅論即便用詞再激烈,最后只能徒勞無功。馬斯克的“危言”真正帶來的思想激蕩,不在于人工智能在可預(yù)見的未來是否真的能引發(fā)第三次世界大戰(zhàn),而是在于如果他是對的,這個世界當下這套支配性的政治—經(jīng)濟—意識形態(tài)建制,卻只能逼使所有人一起眼睜睜地看著它一步步發(fā)生……。

      斯蒂格勒的批判性矛頭主要針對資本主義系統(tǒng)(“消費資本主義”、“認知資本主義”、“計算性資本主義”),故此他提議一種“新的政治經(jīng)濟學批判”,然而,當代世界的主權(quán)國家格局同樣是系統(tǒng)性愚蠢的重要肇因。當年美國煙草公司針對“納什均衡”想出的破局方法是推動國會通過法案(1970年)禁止所有煙草公司在電視上做廣告,結(jié)果一年之內(nèi)煙草業(yè)整體利潤提高了30%。該策略質(zhì)言之就是訴諸更高的力量,由它來取消所有行動者的至高狀態(tài)。

      返觀當代世界,今天的聯(lián)合國并不具備高于主權(quán)國家的“至高性”。今年已90歲的德國哲學家哈貝馬斯(Jürgen Habermas)在2015年著作中還在努力呼吁,要以超民族國家的政治體來馴服“技術(shù)統(tǒng)治”。[注]Jürgen Habermas, The Lure of Technocracy, trans. Ciaran Cronin, Cambridge: Polity, 2015, p. 57.然而,2016年以來的英國脫歐、特朗普造墻、美俄《中導條約》廢除、美國退出《巴黎協(xié)定》等等一系列變化,則實是標識了這個世界越來越無力抵抗系統(tǒng)性愚蠢。當這個世界的“聰明人”全都“像冠軍一樣思考”時,大家便會集體眼睜睜看著自己的愚蠢將整個世界吞沒。格雷漢姆·阿利森(Graham Allison)提出“修昔底德陷阱”(Thucydides Trap)[注]See for example Graham Allison, “The Thucydides Trap: Are the U.S. and China Headed for War?” The Atlantic, Sep 24, 2015.后,該論迅即被很多政界與學術(shù)界的“聰明人”競相追捧,甚至被視作主導世界的永恒“鐵律”。然而,在當代競速場域中,堅持“新崛起大國與既有大國必有一戰(zhàn)”之論實則是愚蠢到無可救藥,要知道(可能那些“聰明人”不知道)“理論”從來就具有構(gòu)塑“現(xiàn)實”的能力!在當代世界,恰恰因為理論知識已被系統(tǒng)性地剝奪,那么多“聰明人”(實則是被無產(chǎn)階級化的人)才會把阿利森的論調(diào)奉為鐵律,并不惜讓整個世界為自己的愚蠢買單。很不幸的是,我們正在見證的不是“修昔底德陷阱”,而是——借用斯蒂格勒“蠢人們的市場”之喻——一個“蠢人們的世界”的陷阱。愛因斯坦大半個世紀前曾說:“只有兩樣東西是無限的:宇宙,和人類的愚蠢。而我對前者還無法確認?!盵注]當然,和許多愛因斯坦的名句一樣,關(guān)于這句話的出處目前存有爭議,請參見Andrew Robinson,“We Just Can’t Stop Misquoting Einstein”,Primemind, Mar 14, 2016.在當下這個“人工智能時代”里,這份愚蠢已然無需愛因斯坦級別的頭腦來確認了。

      五、結(jié)語:作為愛智實踐/貢獻性實踐的哲學

      前面三節(jié)分別從競速學、藥學和政治哲學的分析性視角出發(fā),來考察當下這個“人工智能時代”——所謂人工智能時代恰恰是人正在加速性地喪失自身智能的時代,恰恰是一個人類文明正在全面陷入系統(tǒng)性愚蠢的時代。在人工智能面前,當下整個人類文明(“特朗普紀”),實是“其智可及,其愚不可及也”[注]《論語·公冶長》:“寧武子,邦有道則知,邦無道則愚。其知可及也,其愚不可及也?!?。在2019年動畫劇集《愛、死亡、機器人》中,當人類文明終結(jié)很久之后,有三個機器人探索一個廢棄城市,并最后得出如下結(jié)論:“他們只是通過成為一幫傻人(a bunch of morons)而作死了自己?!盵注]《愛、死亡、機器人》第一季第二集《三個機器人》?!按廊藗兊氖澜纭笔侨斯ぶ悄軙r代的真正陷阱。

      美國著名解構(gòu)派學者艾維托·羅內(nèi)爾(Avital Ronell)曾在2002年出版了一部專著:《愚蠢》。在羅內(nèi)爾看來,愚蠢無法被戰(zhàn)勝——人類可以發(fā)起一場針對毒品的戰(zhàn)爭,卻無法發(fā)起一場針對愚蠢的戰(zhàn)爭。[注]Avital Ronell, Stupidity, Urbana: University of Illinois Press, 2002, p. 3.斯蒂格勒拒絕愚蠢無“藥”可救這種看法。在他看來,我們必須立即發(fā)起針對愚蠢的斗爭,爭分奪秒地去努力改變“特朗普紀”——在今天,“唯一值得去生活的事情,就是反抗愚蠢的斗爭”。愚蠢就像不正義(injustice),盡管不能徹底將之消除,但卻必須與之為戰(zhàn);一旦停止戰(zhàn)斗,愚蠢就將統(tǒng)治一切——“系統(tǒng)性愚蠢結(jié)構(gòu)性地阻止長期視野的重新構(gòu)建”[注]Stiegler, Taking Care of Youth and the Generations, p. 132;Stiegler, For a New Critique of Political Economy, p. 5.。斯氏把同愚蠢進行斗爭的實踐稱作“貢獻性實踐”:每一個拒絕變蠢的人,都是這個時代的貢獻者。而所謂的“別無它路”、“不再有別的替代方案”,這種思維本身就是系統(tǒng)性愚蠢的一個結(jié)果。作為哲學家的斯蒂格勒提出:“哲學誕生下來,就是和智術(shù)性的愚蠢做斗爭?!盵注]Stiegler, States of Shock, pp. 44, 174; Stiegler, TheNeganthropocene, p. 83.今天的特朗普、格林斯潘們?nèi)缤畔ED時代的智者(sophists),個個看上去都極為“睿智”,然而帶給人類文明的卻恰恰是“智術(shù)性的愚蠢”。在斯氏眼里,他們不但“無—能”,而且“無—意識”。[注]Stiegler, Automatic Society, p. 161.

      哲學家(愛智者)能做什么?哲學家無法改變“競速革命”帶來的時空壓縮,無法改變技術(shù)的加速發(fā)展,但哲學家們可以通過介入性—批判性的分析,去改變技術(shù)的社會—政治效應(yīng)(socio-political effects)。用斯蒂格勒的話說,就是去“同一種導致愚蠢之統(tǒng)治的經(jīng)濟與政治情境做斗爭”[注]Stiegler, States of Shock, p. 32.。斯氏強調(diào)資本主義系統(tǒng)必須被改變[注]Ibid., pp. 62-63.關(guān)于對“數(shù)字資本”的進一步分析,可參見藍江:《數(shù)字資本、一般數(shù)據(jù)與數(shù)字異化:數(shù)字資本的政治經(jīng)濟學批判導引》,《華中科技大學學報(社會科學版)》2018年第4期。,而值得進一步補充的是,民族國家的主權(quán)格局同樣必須要被改變。這種介入性的愛智慧實踐,用馬克思的話說,就是哲學家的“第十一論綱”:“哲學家們以往都僅僅是在以不同的方式解釋世界;但關(guān)鍵在于,去改變這個世界。”[注]Karl Marx, “Theses on Feuerbach”, in Eugene Kamenka (ed.), The Portable Marx, New York: Penguin, 1983, p.158.而改變資本主義秩序與民族國家格局這兩者,恰恰都是馬克思當年提出的改變世界的方向。

      在人工智能時代,改變世界的出路絕不會是拒絕加速發(fā)展的技術(shù)、讓一切回歸到前人工智能的“生物算法”上——在這個意義上,“樂戴分子”實際上從來無法改變世界。真正能夠改變世界的實踐必然是哲學性的,亦即需要實踐者投入自身的智能。首先,(a)追問和思考如下問題:我們能用加速發(fā)展的技術(shù)產(chǎn)生出怎樣的新的知識來?進而,(b)在新知識的基礎(chǔ)上,不斷激進地——加速地——更新既有的政治—經(jīng)濟—意識形態(tài)建制。這種哲學性實踐(愛智者的實踐)才是唯一的能同系統(tǒng)性愚蠢展開真正有效斗爭——有效擺脫人工智能時代的“第三次世界大戰(zhàn)”、擺脫“特朗普紀”、擺脫“修昔底德陷阱”(……)——的貢獻性實踐。[注]關(guān)于人工智能時代貢獻性實踐的進一步討論,請參見吳冠軍:《后人類狀況與中國教育實踐:教育終結(jié)抑或終身教育?——人工智能時代的教育哲學思考》,《華東師范大學學報(教育科學版)》2019年第1期。而這篇文章,則旨在成為這種哲學性—貢獻性實踐中的一個微小但具體的努力。

      猜你喜歡
      斯蒂格競速馬斯克
      氫能“競速”
      法人(2022年5期)2022-05-23 02:30:11
      技術(shù)話語的歷史時空:貝爾納·斯蒂格勒的敘事之場
      馬斯克打臉簡史
      海外星云(2021年9期)2021-10-14 07:26:02
      斯蒂格勒技術(shù)哲學思想研究綜述
      梅耶·馬斯克的“育兒經(jīng)”
      海峽姐妹(2020年10期)2020-10-28 08:08:28
      搶過銀行蹲過牢,法國另類哲學家去世
      馬斯克預(yù)計“獵鷹”9可在12月復飛
      太空探索(2016年12期)2016-07-18 11:13:43
      只因他是馬斯克
      太空探索(2016年11期)2016-07-12 10:32:30
      競速大挑戰(zhàn)
      幼兒園(2016年10期)2016-06-22 19:21:10
      極北之地
      全體育(2016年2期)2016-03-02 11:33:22
      浦江县| 安多县| 尼勒克县| 莆田市| 清徐县| 含山县| 木里| 锡林浩特市| 台前县| 监利县| 许昌市| 香格里拉县| 安泽县| 工布江达县| 闸北区| 聂拉木县| 永和县| 伽师县| 繁昌县| 申扎县| 翁源县| 利津县| 蓬溪县| 湖州市| 区。| 岳普湖县| 大城县| 牡丹江市| 修文县| 荥经县| 毕节市| 邵阳县| 内江市| 孙吴县| 岱山县| 福海县| 紫金县| 嘉峪关市| 孝义市| 鄂伦春自治旗| 香港|