數(shù)據(jù)密集型科研第四范式

編者按：本刊2013年第7期推出《大數(shù)據(jù)問題》一文，受到讀者廣泛好評。為推進計算機前沿技術(shù)的傳播，我刊特開辟“前瞻技術(shù)”專欄，邀請陳明教授主持并撰文，后續(xù)將推出《NoSQL數(shù)據(jù)庫》《大數(shù)據(jù)處理的利器Hadoop》《分布計算中的CAP理論》等文章。期望本欄目能以精練的文字為廣大讀者展現(xiàn)相關(guān)領(lǐng)域的最新技術(shù)和研究成果。

專欄作家：陳明，男，中國石油大學(xué)教授，博士生導(dǎo)師，特聘教授，研究方向為分布式并行計算、計算智能、軟件工程、大數(shù)據(jù)計算等，chenming@cup.edu.cn。

摘要：由于數(shù)據(jù)爆炸式增長，為了解決數(shù)據(jù)密集型知識發(fā)現(xiàn)，出現(xiàn)了科學(xué)研究的第四范式。文章介紹第四范式的產(chǎn)生背景、核心內(nèi)容、格雷法則、范式轉(zhuǎn)變和第四范式時代等內(nèi)容。

關(guān)鍵詞：數(shù)據(jù)密集；知識發(fā)現(xiàn)；第四范式

1.背景

萬物之靈的人類對外部世界的認識已達到令人驚嘆的高度，在宏觀上放眼億萬光年的宇宙，在微觀上已深入層子、夸克世界。隨著科學(xué)的發(fā)展，人們發(fā)現(xiàn)蘊藏著科學(xué)理論的科學(xué)數(shù)據(jù)經(jīng)常被掩埋在零散的實驗記錄中，很容易丟失，只有少數(shù)大項目的數(shù)據(jù)被存儲在磁介質(zhì)中。如何獲取、管理與分布保存科研群體數(shù)據(jù)成為科學(xué)發(fā)展面臨的巨大挑戰(zhàn)。

1962年美國著名科學(xué)哲學(xué)家托馬斯·庫恩（Thomas Samuel Kuhn）在《科學(xué)革命的結(jié)構(gòu)》一書中闡述了范式的概念與理論，認為范式就是一種公認的模型和模式，是常規(guī)科學(xué)的理論基礎(chǔ)和實踐規(guī)范，是研究者在從事科學(xué)研究時共同遵守的世界觀和行為方式，是共同接受的一組假說、理論、準則和方法的總和。

圖靈獎獲得者、美國計算機科學(xué)家詹姆斯·格雷（James Gray）于2007年1月11日在加州山景城召開的計算機科學(xué)與電信委員會會議上的最后一次演講中描繪了關(guān)于科學(xué)研究第四范式的愿景。這個新的范式成為由實驗、理論與仿真所主宰的歷史階段的符合邏輯的自然延伸。

科學(xué)研究的前兩個范式是實驗和理論。實驗法可以追溯到古希臘和古中國。那時，人們嘗試通過自然法則來解釋觀察到的現(xiàn)象。現(xiàn)代理論科學(xué)則起源于17世紀的艾薩克·牛頓（1saacNewton）。20世紀下半葉高性能計算機問世之后，諾貝爾獎得主肯尼思·威爾遜（Kenneth Wilson）又把計算和模擬確立為科學(xué)研究的第三范式。第四范式同樣要用到性能強大的計算機，與第三范式的差別在于科學(xué)家們不是根據(jù)已知的規(guī)則編制程序，而是以數(shù)據(jù)為中心編程。

2.科學(xué)研究第四范式的核心內(nèi)容

科學(xué)研究的范式不等同于科學(xué)知識的各種范式，是一種新的科研模式，主要用于數(shù)據(jù)密集型科學(xué)研究。相比庫恩科學(xué)動力學(xué)理論，網(wǎng)絡(luò)可以幫助我們更好地理解海量數(shù)據(jù)策略。

2.1科學(xué)研究范式的演化過程

在漫長的科學(xué)研究范式進化過程中，最初只有實驗科學(xué)范式，主要描述自然現(xiàn)象，是以觀察和實驗為依據(jù)的研究，也稱為經(jīng)驗范式。后來出現(xiàn)的理論范式是以建模和歸納為基礎(chǔ)的，是對某種經(jīng)驗現(xiàn)象或事實的科學(xué)解說和系統(tǒng)解釋，是由一系列特定的概念、原理（命題）以及對這些概念、原理（命題）的嚴密論證組成的知識體系。開普勒定律、牛頓運動定律、麥克斯韋方程式等正是利用了模型和歸納而誕生的。但是對于許多問題，用這些理論模型分析解決過于復(fù)雜，科學(xué)家們只好走上了計算模擬的道路，提出了第三范式。第三范式是以模擬復(fù)雜現(xiàn)象為基礎(chǔ)的計算科學(xué)范式，又可稱為模擬范式。模擬方法已經(jīng)引領(lǐng)我們走過了上個世紀后半期的全部時間?，F(xiàn)在，數(shù)據(jù)爆炸又將理論、實驗和計算仿真統(tǒng)一起來，出現(xiàn)了新的密集型數(shù)據(jù)的生態(tài)環(huán)境。計算模擬正在生成大量數(shù)據(jù)，同時實驗科學(xué)也出現(xiàn)了巨大數(shù)據(jù)增長。研究者已經(jīng)不用望遠鏡來觀看，取而代之的是通過把數(shù)據(jù)傳遞到數(shù)據(jù)中心的大規(guī)模復(fù)雜儀器上來觀看，開始研究計算機上存儲的信息。

無需質(zhì)疑，科學(xué)世界發(fā)生了變化，新的研究模式是通過儀器收集數(shù)據(jù)或通過模擬方法產(chǎn)生數(shù)據(jù)，然后利用計算機軟件進行處理，再將形成的信息和知識存于計算機中?？茖W(xué)家通過數(shù)據(jù)管理和統(tǒng)計方法分析數(shù)據(jù)和文檔，只是在這個工作流中靠后的步驟才開始審視數(shù)據(jù)?？梢钥闯?，這種密集型科學(xué)研究范式與前三種范式截然不同，將數(shù)據(jù)密集型科學(xué)研究范式從其他研究范式中區(qū)分出來，作為一個新的、科學(xué)探索的第四種范式，其意義與價值是重大的。

2.2數(shù)據(jù)密集型科學(xué)研究的基本活動

數(shù)據(jù)密集型科學(xué)研究由數(shù)據(jù)的采集、管理和分析三個基本活動組成。數(shù)據(jù)的來源構(gòu)成了密集型科學(xué)數(shù)據(jù)的生態(tài)環(huán)境，主要有大型國際實驗，跨實驗室、單一實驗室或個人觀察實驗，個人生活，等等。各種實驗涉及多學(xué)科的大規(guī)模數(shù)據(jù)，如澳大利亞的平方公里陣列射電望遠鏡、歐洲粒子中心的大型強子對撞機、天文學(xué)領(lǐng)域的泛STARRS天體望遠鏡陣列等每天能產(chǎn)生幾個千萬億字節(jié)（PB）的數(shù)據(jù)。特別是它們的高數(shù)據(jù)通量，對常規(guī)的數(shù)據(jù)采集、管理與分析工具形成巨大的挑戰(zhàn)。為此，需要創(chuàng)建一系列通用工具來支持從數(shù)據(jù)采集、驗證到管理、分期和長期保存等整個流程。

2.3學(xué)科的發(fā)展

格雷認為所有學(xué)科x都分有兩個進化分支，一個分支是模擬的x學(xué)，另一個分支是x信息學(xué)。如生態(tài)學(xué)可以分為計算生態(tài)學(xué)和生態(tài)信息學(xué)，前者與模擬生態(tài)的研究有關(guān)，后者與收集和分析生態(tài)信息有關(guān)。在x信息學(xué)中，把由實驗和設(shè)備、檔案、文獻、模擬產(chǎn)生的事實以編碼和表達知識的方式存貯在一個空間中，用戶通過計算機向這個空間提出問題，并由系統(tǒng)給出答案。為了完成這一過程，需要解決的一般問題有：數(shù)據(jù)獲取、管理PB級大容量的數(shù)據(jù)、公共模式、數(shù)據(jù)組織、數(shù)據(jù)重組、數(shù)據(jù)分享、查找和可視化工具、建立與實施模型、數(shù)據(jù)與文獻集成、記錄實驗、數(shù)據(jù)管理與長期保存等?？梢钥闯觯茖W(xué)家需要更好的工具來實現(xiàn)大數(shù)據(jù)的捕獲、分類管理、分析和可視化。

3.以數(shù)據(jù)為中心發(fā)展的格雷法則

數(shù)據(jù)爆炸式的增長對前沿科學(xué)帶來了巨大挑戰(zhàn)，但科學(xué)家還沒有掌握管理和分析大數(shù)據(jù)的方法，而小數(shù)據(jù)的管理和分析方法已不能勝任，數(shù)據(jù)密集型計算面臨著難以克服的挑戰(zhàn)。正是在這種情況下，對于大型科學(xué)數(shù)據(jù)集的大數(shù)據(jù)工程，格雷制定了如下的非正式法則，代表了一系列設(shè)計數(shù)據(jù)密集系統(tǒng)的優(yōu)秀指導(dǎo)原則。

1）科學(xué)計算趨于數(shù)據(jù)密集型。

計算平臺的I/O性能限制了觀測數(shù)據(jù)集的分析與高性能的數(shù)值模擬，當數(shù)據(jù)集超出系統(tǒng)隨機存儲器的能力，多層高速緩存的本地化將不再發(fā)揮作用，僅有很少的高端平臺能提供足夠快的I/O子系統(tǒng)。

高性能、可擴展的數(shù)值計算也對算法提出了挑戰(zhàn)，傳統(tǒng)的數(shù)值分析包只能在適合RAM的數(shù)據(jù)集上運行。為了進行大數(shù)據(jù)的分析，需要對問題進行分解，通過解決小問題獲得大問題解決的還原論方法是一種重要方法。

2）解決方案為“橫向擴展”的體系結(jié)構(gòu)。

對網(wǎng)絡(luò)存儲系統(tǒng)進行擴容并將它們連接到計算節(jié)點群中并不能解決問題，因為網(wǎng)絡(luò)的增長速度不足以應(yīng)對必要存儲逐年倍增的速度。橫向擴展的解決方案提倡采用簡單的結(jié)構(gòu)單元。在這些結(jié)構(gòu)單元中，數(shù)據(jù)被本地連接的存儲節(jié)點所分割，這些較小的結(jié)構(gòu)單元使得CPU、磁盤和網(wǎng)絡(luò)之間的平衡性增強。格雷提出了網(wǎng)絡(luò)磚塊的概念，使得每一個磁盤都有自己的CPU和網(wǎng)絡(luò)。盡管這類系統(tǒng)的節(jié)點數(shù)將遠大于傳統(tǒng)的縱向擴展體系結(jié)構(gòu)中的節(jié)點數(shù)，但每一個節(jié)點的簡易性、低成本和總體性能足以補償額外的復(fù)雜性。

3）將計算用于數(shù)據(jù)，而不是數(shù)據(jù)用于計算。

大多數(shù)數(shù)據(jù)分析以分級步驟進行。首先對數(shù)據(jù)子集進行抽取，通過過濾某些屬性或抽取數(shù)據(jù)列的垂直子集完成，然后以某種方式轉(zhuǎn)換成聚合數(shù)據(jù)。

近年來，MapReduce已經(jīng)成為分布式數(shù)據(jù)分析和計算的普遍范式，具有分布式分組和聚合的功能。根據(jù)這一原理構(gòu)造的Hadoop開源軟件已成為目前大數(shù)據(jù)處理的最好的工具，Hadoop技術(shù)成為推動大數(shù)據(jù)安全計劃的引擎。企業(yè)使用Hadoop技術(shù)收集、共享和分析來自網(wǎng)絡(luò)的大量結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。

Hadoop是一個開源框架，它實現(xiàn)了MapReduce算法，用以查詢在互聯(lián)網(wǎng)上的分布數(shù)據(jù)。在MapReduce算法中，Map（映射）功能是將查詢操作和數(shù)據(jù)集分解成組件，Reduce功能是指在查詢中映射的組件可以被同時處理（即約簡），以快速地返回結(jié)果。

Hadoop具有方便、健壯、可擴展、簡單等一系列特性。Hadoop處理數(shù)據(jù)是以數(shù)據(jù)為中心，而不是傳統(tǒng)的以程序為中心。在處理數(shù)據(jù)密集型任務(wù)時，由于數(shù)據(jù)規(guī)模太大，數(shù)據(jù)遷移變得十分困難，Hadoop強調(diào)把代碼向數(shù)據(jù)遷移。

4）以“20個詢問”開始設(shè)計。

格雷提出了“20個詢問”的啟發(fā)式規(guī)則，在他參與的每一個項目中，他都尋求研究人員讓數(shù)據(jù)系統(tǒng)回答最重要的20個問題。他認為5個問題不足以識別廣泛的模式，100個問題將導(dǎo)致重點不突出。由于與人類選擇有關(guān)的大多數(shù)決定都遵循長尾理論，詢問中的相關(guān)信息根據(jù)重要性排序顯然是呈對數(shù)分布。長尾理論是網(wǎng)絡(luò)時代興起的一種新理論。長尾實際上是統(tǒng)計學(xué)中冪律和帕累托分布特征的一個口語化表達。過去人們只能關(guān)注重要的人或重要的事，如果用正態(tài)分布曲線來描繪這些人或事，人們只能關(guān)注曲線的“頭部”，忽略處于曲線“尾部”、需要更多精力和成本才能關(guān)注到的大多數(shù)人或事。例如，在銷售產(chǎn)品時，廠商關(guān)注的是少數(shù)幾個所謂“VIP”客戶，“無暇”顧及大多數(shù)普通消費者。長尾理論是對傳統(tǒng)的二八定律的徹底叛逆。

20個詢問規(guī)則是一個設(shè)計步驟，使領(lǐng)域科學(xué)家與數(shù)據(jù)庫設(shè)計者可以對話。這些詢問定義了專門領(lǐng)域科學(xué)家期望對數(shù)據(jù)庫提出的有關(guān)實體與關(guān)系方面的精確問題集，填補科學(xué)領(lǐng)域使用的動詞與名詞之間、數(shù)據(jù)庫中存儲的實體與關(guān)系之間的語義鴻溝。這種重復(fù)實踐的結(jié)果是專門領(lǐng)域科學(xué)家和數(shù)據(jù)庫之間可以使用共同語言。

這種方法非常成功地使設(shè)計過程集中于系統(tǒng)必須支持的最重要特征，同時幫助領(lǐng)域科學(xué)家理解數(shù)據(jù)庫系統(tǒng)的折中，從而限制特征的蠕動。

5）工作至工作。

工作至工作是指工作版本的升級，這是另一個設(shè)計法則。無論數(shù)據(jù)驅(qū)動的計算體系結(jié)構(gòu)變化多么迅速，尤其是當涉及分布數(shù)據(jù)的時候，新的分布計算模式每年都出現(xiàn)新的變化，使其很難停留在多年的自上而下的設(shè)計和實施周期中。當項目完成之時，最初的假設(shè)已經(jīng)變得過時。如果要建立只有每個組件都發(fā)揮作用才開始運行的系統(tǒng)，那么我們將永遠無法完成這個系統(tǒng)。在這樣的背景下，唯一方法就是構(gòu)建模塊化系統(tǒng)。隨著潛在技術(shù)的發(fā)展，這些模塊化系統(tǒng)的組件可以被代替，現(xiàn)在以服務(wù)為導(dǎo)向的體系結(jié)構(gòu)是模塊化系統(tǒng)的優(yōu)秀范例。

4.范式的轉(zhuǎn)變

庫恩認為范式的演變是科學(xué)研究的方法及觀念的取代過程，科學(xué)的發(fā)展不是靠知識的積累而是靠范式的轉(zhuǎn)換完成的，新范式形成表明建立起了常規(guī)科學(xué)。庫恩的模型描述了這樣一種關(guān)于科學(xué)的圖景：一組觀念成為特定科學(xué)領(lǐng)域的主流和共識，創(chuàng)造了一種關(guān)于這個領(lǐng)域的觀念（所謂范式），進而擁有了自我發(fā)展的動力和對這個領(lǐng)域發(fā)展的控制力。這種觀念之所以強有力是因為它代表了對觀察到的現(xiàn)象的合理解釋。這種觀念或范式從漸進發(fā)展的機制中獲得啟發(fā)和力量，同時被科學(xué)家逐漸完善。當現(xiàn)有范式無法解釋觀察到的現(xiàn)象，或者實驗最終證明范式出錯時，那么范式失敗、被解體，轉(zhuǎn)變范式的機會也就到了。數(shù)據(jù)泛濫是第四范式出現(xiàn)的導(dǎo)火索。處理、存儲、分析可視化數(shù)據(jù)的能力是科學(xué)必須具備和適應(yīng)的新事實，數(shù)據(jù)是這個新范式的核心，它與實驗、理論、模擬共同成為現(xiàn)代科學(xué)方法的統(tǒng)一體。在科學(xué)發(fā)展的長河中，前三種范式作出了巨大的不可磨滅的貢獻，在歷史上已成功地將科學(xué)的發(fā)展引領(lǐng)至今天的輝煌，而且模擬仍處于現(xiàn)代科學(xué)的核心。毫無疑問，依據(jù)現(xiàn)有的范式與技術(shù)，科學(xué)研究還將獲得增量型進展，但是如果需要更重大的突破，就需要新的方法，需要接納和開創(chuàng)新的范式。數(shù)據(jù)密集型科學(xué)研究將會給科學(xué)家?guī)砑夹g(shù)挑戰(zhàn)，IT技術(shù)和計算機科學(xué)將在推動未來科學(xué)發(fā)現(xiàn)中發(fā)揮作用。

5.第四范式時代

第四范式時代的序幕已經(jīng)揭開，其核心是各領(lǐng)域科學(xué)家與計算機科學(xué)家協(xié)同研究工作需求，他們之間的關(guān)系不是主從關(guān)系，而是平等的關(guān)系，兩個領(lǐng)域的專家共同努力，推動和豐富科學(xué)發(fā)現(xiàn)。幾十年前，科學(xué)是以學(xué)科為中心，今天，重大進展是多學(xué)科協(xié)作的結(jié)果，未來也將如此。在需要利用科學(xué)認識去實現(xiàn)事關(guān)人類生存的重要目標階段中，還需要科學(xué)知識淵博的科學(xué)家和技術(shù)經(jīng)驗豐富的工程師密切合作，實現(xiàn)科學(xué)與技術(shù)的結(jié)合，實現(xiàn)理論和技術(shù)創(chuàng)新。

將數(shù)據(jù)丟進巨大的計算機群中，只要有相互關(guān)系的數(shù)據(jù)，統(tǒng)計分析算法就可以發(fā)現(xiàn)過去的科學(xué)方法發(fā)現(xiàn)不了的新模式、新知識以及新規(guī)律。對于PB級的數(shù)據(jù)，沒有模型和假設(shè)就可以分析數(shù)據(jù)。如谷歌的廣告優(yōu)化配置、戰(zhàn)勝人類的沃森回答系統(tǒng)都是這樣實現(xiàn)的。又如沃爾瑪百貨公司分析顧客資料與天氣相互關(guān)系時，發(fā)現(xiàn)暴風(fēng)雨之前，人們會買更多的手電、也會買更多夾心派，盡管市場營銷人員無法確定天氣與糕點之間的關(guān)系。也就是說，第四范式既不能像理論和模擬那樣在一定程度上告訴“為什么”，更不能像實驗?zāi)菢用鞔_地告訴“是什么”，只能告訴“大概是什么”，其精髓就是“客觀”，從海量的數(shù)據(jù)中發(fā)現(xiàn)數(shù)據(jù)的共性和客觀性，這展現(xiàn)了第四范式的應(yīng)用潛力和吸引力。

6.結(jié)語

科學(xué)研究第四范式是科學(xué)家從事科學(xué)研究的一種新型范式，也是一種新的觀念和新的思維方式。其主要特點是以數(shù)據(jù)考察為基礎(chǔ)，是理論、實驗和模擬一體化的數(shù)據(jù)密集計算的范式，它在多學(xué)科研究及數(shù)據(jù)密集型科學(xué)研究中發(fā)揮越來越重要的作用。

參考文獻：

[1]李國杰，天數(shù)據(jù)研完的科學(xué)價值叨，中國計算機學(xué)會通訊，2012，8（9）：8-15.

[2]Hey L Tansley S，Tolle S.The fourth paradigm：data-intensive scientific discovery[EB/OL].[2012-04-02].http：//www.amazon.de/The-Fourth-Paradigm-Data-Intensive-ebook/dp/B00318D9Y2#reader_B00318D9Y2.

（編輯：彭遠紅）