如何抓住一片“云”
——科研云計(jì)算指南

丁翔宇/編譯

如何抓住一片“云”
——科研云計(jì)算指南

丁翔宇/編譯

●為什么云計(jì)算如此吸引科學(xué)家，在這篇文章中，經(jīng)驗(yàn)豐富的科學(xué)家將教你如何使用云。

二月，計(jì)算機(jī)科學(xué)家馬克·豪伊森準(zhǔn)備分析從兩打管水母類動(dòng)物（同水母和珊瑚有密切聯(lián)系的海洋動(dòng)物）身上分離出的RNA物質(zhì)。位于當(dāng)?shù)氐牟祭蚀髮W(xué)有一臺(tái)高性能計(jì)算機(jī)，然而它在維護(hù)后并不完全可靠。因此豪伊森決定使用亞馬遜的EC2云計(jì)算平臺(tái)，并參與一些“spot instances”的競(jìng)價(jià)，“spot instances”是亞馬遜以折扣價(jià)競(jìng)價(jià)銷售的空余計(jì)算能力。折騰了兩個(gè)小時(shí)之后，他終于設(shè)置成功一臺(tái)用于運(yùn)行軟件的虛擬機(jī)，并上傳了管水母類動(dòng)物的RNA序列。歷時(shí)14個(gè)小時(shí)，花費(fèi)了61美元之后，他最終完成了RNA序列分析。

豪伊森這樣的科學(xué)家正在越來(lái)越多地租借亞馬遜、谷歌以及微軟等互聯(lián)網(wǎng)服務(wù)商提供的計(jì)算資源，而不只是作為應(yīng)急措施。正如一份由美國(guó)國(guó)家科學(xué)基金會(huì)(NSF)資助的調(diào)查報(bào)告所指出的，云服務(wù)的運(yùn)營(yíng)商們給實(shí)驗(yàn)室提供了無(wú)法通過(guò)其他途徑獲得的計(jì)算能力（詳見(jiàn)go.nature.com/mxh4xy）。

某些領(lǐng)域的科學(xué)家需要強(qiáng)大的計(jì)算能力，如地震學(xué)家，需要在地震過(guò)后整理來(lái)自傳感器的數(shù)據(jù)，如天文學(xué)家，需要處理太空望遠(yuǎn)鏡的觀測(cè)數(shù)據(jù)。他們可以按自身需求租借額外的計(jì)算能力，而不是購(gòu)買昂貴的硬件設(shè)備。

科學(xué)家可以通過(guò)配置云環(huán)境，以適應(yīng)自身的需求。盡管并不足以完成需要使用先進(jìn)的超級(jí)計(jì)算機(jī)或設(shè)備間快速通信才能完成的分析，但或許云計(jì)算正適合處理哪些臺(tái)式機(jī)無(wú)法搞定，而勞駕超級(jí)計(jì)算機(jī)又過(guò)于浪費(fèi)的項(xiàng)目。而且在網(wǎng)上工作還能共享數(shù)據(jù)、軟件和運(yùn)算的配置，使組員間的合作更加方便。

但將科學(xué)研究移至云端并非易事?！澳阈枰屑夹g(shù)背景，因?yàn)樵撇⒉皇菫榭茖W(xué)家這樣的終端用戶設(shè)計(jì)的，”豪伊森說(shuō)道。盡管入門困難，但通過(guò)學(xué)習(xí)一些攻略，科學(xué)家為自己的研究團(tuán)隊(duì)和實(shí)驗(yàn)室設(shè)置云環(huán)境并非難事。

云計(jì)算DIY攻略

大多數(shù)的云平臺(tái)要求使用者具備一些基礎(chǔ)的計(jì)算機(jī)技能，比如理解如何使用命令行，并且熟悉操作系統(tǒng)以及文件結(jié)構(gòu)。一旦科學(xué)家具備了扎實(shí)的計(jì)算機(jī)基礎(chǔ)，下一步就是嘗試在云環(huán)境中工作。

植物生物學(xué)家安德里亞斯·馬德隆認(rèn)為最便于使用的云當(dāng)屬Atmosphere平臺(tái)，它是名叫iPlant的協(xié)作型網(wǎng)絡(luò)設(shè)施工程的一部分。iPlant由美國(guó)科學(xué)基金會(huì)資助，由三所美國(guó)大學(xué)以及紐約州長(zhǎng)島的冷泉港實(shí)驗(yàn)室牽頭研發(fā)。從2008年開(kāi)始，科學(xué)家就開(kāi)始使用iPlant共享軟件和免費(fèi)運(yùn)行分析程序了。

Atmosphere平臺(tái)的設(shè)計(jì)充分考慮了科學(xué)家的需求，平臺(tái)的界面附帶預(yù)加載的軟件，全套的訓(xùn)練數(shù)據(jù)集以及使用者交流的論壇。麥德隆在位于華盛頓塔科馬市的普吉特灣大學(xué)任教，負(fù)責(zé)教授本科生一門生物信息學(xué)課程，課程中有一節(jié)是關(guān)于云計(jì)算。他首先介紹了Unix操作系統(tǒng)，然后讓學(xué)生們使用Atmosphere平臺(tái)分析RNA序列。

用戶訂購(gòu)了iPlant后，將會(huì)自動(dòng)獲得每個(gè)月大約168小時(shí)的處理時(shí)間，而且如果需要更多時(shí)間，也可以申請(qǐng)。用戶可以根據(jù)需要加載帶有任何軟件的虛擬機(jī)，而且當(dāng)標(biāo)準(zhǔn)設(shè)備不足以完成工作，任務(wù)會(huì)被移交給德克薩斯州先進(jìn)計(jì)算研究中心的一臺(tái)超級(jí)計(jì)算機(jī)，在該計(jì)算機(jī)中，iPlant有專屬的處理空間。

麥克·科溫頓是加利福利亞大學(xué)戴維斯分校的一名生物學(xué)家，在服務(wù)器多次因?yàn)椴豢爸刎?fù)而崩潰之后，他將實(shí)驗(yàn)室的計(jì)算工作轉(zhuǎn)移至iPlant平臺(tái)。他還復(fù)制了自己的虛擬機(jī)上傳至平臺(tái)，這樣他的同事（其實(shí)所有的iPlant用戶）可以登錄并獲得完全一致的軟件、數(shù)據(jù)和計(jì)算設(shè)置?！叭绻一ㄙM(fèi)數(shù)個(gè)小時(shí)設(shè)置虛擬機(jī)，使之能完成從頭測(cè)序（用很短的DNA片段重構(gòu)完整長(zhǎng)度的DNA序列），那么其他想用自己的數(shù)據(jù)進(jìn)行從頭測(cè)序的科學(xué)家都能按照我的設(shè)置完成任務(wù)。”

這種虛擬副本或許會(huì)成為需要計(jì)算的項(xiàng)目的標(biāo)準(zhǔn)解決方案。比如，一篇論文中描述了微生物基因的分析，任何想重復(fù)分析過(guò)程的人只需購(gòu)買亞馬遜的計(jì)算時(shí)間，就能從亞馬遜的云端下載論文作者的虛擬機(jī)副本。

云的挑選

對(duì)于一些研究者，云的選擇很簡(jiǎn)單。歐洲粒子研究中心粒子物理實(shí)驗(yàn)室的科學(xué)家們從2013年開(kāi)始就能享受到大容量、內(nèi)部專用的云，它在軟件平臺(tái)OpenStack上運(yùn)行。還有幾所大學(xué)，如位于紐約州的康奈爾大學(xué)和位于印第安納州的圣母大學(xué)，也開(kāi)發(fā)了計(jì)算云，包括圣母大學(xué)在內(nèi)的一些研究機(jī)構(gòu)甚至將自己的云外包給Rackspace Private Cloud之類的云服務(wù)公司，Rackspace Private Cloud是一家位于德克薩斯州圣安東尼奧市的跨國(guó)公司，為用戶構(gòu)建和管理云。但對(duì)于另一些科學(xué)家，他們所在的研究機(jī)構(gòu)無(wú)法提供可靠的校園云平臺(tái)，在“云堆”中苦苦尋找合適的云是非常痛苦的過(guò)程（詳見(jiàn)“致困惑者的指南”）。云系統(tǒng)的設(shè)置方法也千差萬(wàn)別，熟悉其中一家服務(wù)商的云系統(tǒng)并不能保證可以輕松使用其他服務(wù)商的云。

凱西·頓恩是一位進(jìn)化生物學(xué)家，同豪伊森一樣都在布朗大學(xué)工作。他喜歡讓學(xué)生使用商業(yè)平臺(tái)?！爱?dāng)學(xué)生們?nèi)テ渌胤阶霾┦亢蠡蚴莿?chuàng)建自己的實(shí)驗(yàn)室時(shí)，他們依然可以登錄亞馬遜?！彼f(shuō)。

索馬里·達(dá)塔是斯坦福大學(xué)基因?qū)W及個(gè)人化醫(yī)療研究中心生物信息學(xué)部的負(fù)責(zé)人，她并沒(méi)有選擇完全依賴斯坦福校內(nèi)的服務(wù)器，而是使用谷歌的云平臺(tái)，以滿足研究中心海量基因數(shù)據(jù)的維護(hù)和計(jì)算需求。她陳述了選擇谷歌的幾個(gè)原因：谷歌的研發(fā)人員非常積極地改進(jìn)平臺(tái)工具，使其更方便基因科學(xué)家使用；谷歌對(duì)醫(yī)療保健研究非常感興趣；還有，谷歌的報(bào)價(jià)也很合理。

對(duì)云平臺(tái)的顧慮

對(duì)于達(dá)塔以及其他人，云計(jì)算的關(guān)鍵問(wèn)題是它的安全性?！拔覀儗?duì)此很擔(dān)心，”她說(shuō)到，“黑客們知道有價(jià)值的信息在哪，并會(huì)關(guān)注它們。”盡管如此，達(dá)塔仍然認(rèn)為同其他任何計(jì)算機(jī)網(wǎng)絡(luò)相比，云的安全性并不遜色。舉例來(lái)說(shuō)，大學(xué)云系統(tǒng)的安全性取決于學(xué)校防火墻的安全性能。雖然斯坦福有專門的工程師團(tuán)隊(duì)監(jiān)控網(wǎng)絡(luò)安全，但達(dá)塔還是認(rèn)為：“如果我單干，在不知名的大學(xué)或小企業(yè)工作，也許我會(huì)覺(jué)得谷歌云更安全?！笔聦?shí)上，任何與絕密數(shù)據(jù)打交道的工作，最好能在網(wǎng)絡(luò)完全斷開(kāi)的條件下進(jìn)行。

對(duì)冒險(xiǎn)進(jìn)入云計(jì)算領(lǐng)域的人來(lái)說(shuō)，另一個(gè)關(guān)鍵問(wèn)題是技術(shù)支持。軟件在新系統(tǒng)上運(yùn)行可能需要數(shù)天時(shí)間，而確定一臺(tái)虛擬機(jī)所需要的計(jì)算能力和內(nèi)存則需要反復(fù)嘗試。所有云服務(wù)商都會(huì)提供培訓(xùn)和指導(dǎo)，但專職的技術(shù)支持人員更多是在大學(xué)里，負(fù)責(zé)維護(hù)學(xué)校的云。

盡管面臨這些挑戰(zhàn)，云計(jì)算越來(lái)越受到科學(xué)家們的歡迎?！斑^(guò)去幾年中，人們大多對(duì)這項(xiàng)前沿技術(shù)一無(wú)所知，”Rackspace PrivateCloud公司的副總裁說(shuō)，“而現(xiàn)在人們開(kāi)始爭(zhēng)相使用它?！?/p>

頓恩表示這并不奇怪，我們對(duì)云其實(shí)并沒(méi)有想象的那么陌生?！皫缀跛械南M(fèi)電子產(chǎn)品都有云部件，或是手機(jī)應(yīng)用，或是類似Netflix的流媒體服務(wù)，或是類似于Dropbox的桌面工具，”他說(shuō)，“云應(yīng)用于科學(xué)研究計(jì)算并不屬于瘋狂冒險(xiǎn)的前沿科技，它只是科研領(lǐng)域和其他行業(yè)以及消費(fèi)市場(chǎng)一樣，正在經(jīng)歷一場(chǎng)由互聯(lián)網(wǎng)帶來(lái)的變革而已。

[資料來(lái)源：Nature][責(zé)任編輯：粒灰]

●致困惑者的指南●

可供科學(xué)家使用的云

關(guān)于云計(jì)算的最大的幾家服務(wù)商包括：

亞馬遜的ElasticComputeCloud，微軟的Azure以及谷歌的CloudPlatform (附帶詳細(xì)的基因分析程序)。

其他的服務(wù)商還有Terminal.com（為科研提供云服務(wù)）；美國(guó)國(guó)家科學(xué)基金會(huì)支持，iPlant共同開(kāi)發(fā)的免費(fèi)平臺(tái)Atmosphere；SageMathCloud；康奈爾大學(xué)的RedCloud；以云應(yīng)用快速部署而著稱的Digital Ocean;還有使用OpenStack設(shè)置云的公司Rackspace，OpenStack是由該公司和美國(guó)宇航局（NASA）合作開(kāi)發(fā)的開(kāi)源云軟件平臺(tái)。

對(duì)云開(kāi)發(fā)人員有用的信息

StarCluster是由麻省理工學(xué)院開(kāi)發(fā)，用于在亞馬遜平臺(tái)上搭建虛擬研究計(jì)算集群的軟件。Docker是一個(gè)研究者們共享分析所需的代碼、計(jì)算環(huán)境和數(shù)據(jù)的開(kāi)源平臺(tái)。Project Jupyter是可共享的云筆記，使數(shù)據(jù)、代碼和分析程序變得方便獲取和交互(詳見(jiàn)H.Shen,Nature 515,151–152; 2014)。還有Nimbus，Nimbus，部分由伊利諾伊州的阿貢國(guó)家實(shí)驗(yàn)室開(kāi)發(fā)，它可將普通的計(jì)算集群轉(zhuǎn)變成可供遠(yuǎn)程用戶使用的云系統(tǒng)。

其他資源

《生物科學(xué)家計(jì)算實(shí)例》凱西·頓恩，史蒂文·哈多克合著（帕爾格雷夫·麥克米蘭出版社,2011年）

Software Carpentry計(jì)算工作室（詳見(jiàn)go.nature.com/jg86jj）

華盛頓大學(xué)的科研信息化研究所關(guān)于計(jì)算平臺(tái)的建議“我該使用哪種計(jì)算平臺(tái)？”（“Which compute platform should I use？”）