淺談運(yùn)用云計(jì)算處理生物醫(yī)學(xué)大數(shù)據(jù)的解決方法

王治學(xué)

摘要：隨著社會的發(fā)展和科學(xué)技術(shù)的進(jìn)步，云計(jì)算已經(jīng)逐步廣泛應(yīng)用于各領(lǐng)域，在生物醫(yī)學(xué)大數(shù)據(jù)的處理方面更是得到了廣泛的應(yīng)用。目前中國的生物學(xué)大數(shù)據(jù)處于飛速增長的階段，生物學(xué)數(shù)據(jù)非常龐大，處理非常復(fù)雜，工作量也非常大，因此，需要數(shù)據(jù)處理非?？焖俚囊豁?xiàng)技術(shù)來解決這一問題。云計(jì)算的出現(xiàn)，對解決生物學(xué)大數(shù)據(jù)有非常重要的作用，對大數(shù)據(jù)的分配、計(jì)算等環(huán)節(jié)能夠快速處理，幫助生物醫(yī)學(xué)解決大數(shù)據(jù)的處理問題。該文淺談運(yùn)用云計(jì)算處理生物醫(yī)學(xué)大數(shù)據(jù)的解決方法進(jìn)行分析研究，希望能夠?qū)ζ涮峁┛尚行缘慕ㄗh。

關(guān)鍵詞：云計(jì)算；生物醫(yī)學(xué)；大數(shù)據(jù)；解決方法

中圖分類號：TP393 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2015）36-0005-02

最近這幾年，我國的生物醫(yī)學(xué)取得了飛速的發(fā)展，生命科學(xué)推動著生物醫(yī)學(xué)不斷向前發(fā)展，使生物醫(yī)學(xué)的數(shù)據(jù)非常龐大，處理起來非常困難。因此，誕生了云計(jì)算，云計(jì)算能夠?qū)Υ罅康臄?shù)據(jù)進(jìn)行快速、精確的計(jì)算，因此，被廣泛應(yīng)用于各個大數(shù)據(jù)領(lǐng)域。云計(jì)算對大數(shù)據(jù)的處理，主要是通過云計(jì)算的供應(yīng)商，提供對數(shù)據(jù)的存儲和計(jì)算等，并提供給云計(jì)算的用戶，用戶可以根據(jù)供應(yīng)商提供的大數(shù)據(jù)處理平臺和數(shù)據(jù)處理技術(shù)，對具體的數(shù)據(jù)進(jìn)行處理、利用，解決數(shù)據(jù)的存儲、計(jì)算、保存等問題。云計(jì)算用于生物醫(yī)學(xué)的大數(shù)據(jù)處理，利用數(shù)據(jù)處理方式對生物醫(yī)學(xué)的大數(shù)據(jù)進(jìn)行計(jì)算。本文從云計(jì)算對生物醫(yī)學(xué)的大數(shù)據(jù)處理方面進(jìn)行論述。

1 簡述云計(jì)算數(shù)據(jù)處理技術(shù)

數(shù)據(jù)處理技術(shù)從計(jì)算機(jī)處理逐漸演變成云計(jì)算數(shù)據(jù)處理技術(shù)。云技術(shù)大數(shù)據(jù)處理技術(shù)，主要是指利用計(jì)算機(jī)互聯(lián)網(wǎng)技術(shù)，對處理數(shù)據(jù)可以進(jìn)行隨時隨地保存、利用、共享等，實(shí)現(xiàn)數(shù)據(jù)之間的快速轉(zhuǎn)化，方便云用戶對數(shù)據(jù)進(jìn)行運(yùn)用，實(shí)現(xiàn)云計(jì)算技術(shù)中對數(shù)據(jù)的共享[1]。云計(jì)算大數(shù)據(jù)處理技術(shù)體系可以根據(jù)體系的結(jié)構(gòu)，分為以下幾個層次：云計(jì)算大數(shù)據(jù)處理的服務(wù)管理層、云用戶的訪問接口層、云計(jì)算大數(shù)據(jù)處理技術(shù)的核心服務(wù)層。云技術(shù)數(shù)據(jù)處理技術(shù)的核心理念，主要是指云技術(shù)大數(shù)據(jù)處理技術(shù)的資源和各個功能服務(wù)，對與該技術(shù)的硬件基礎(chǔ)設(shè)施，和云計(jì)算服務(wù)平臺以及云計(jì)算大數(shù)據(jù)處理技術(shù)的應(yīng)用程序等，都是以服務(wù)管理的方式，通過計(jì)算機(jī)互聯(lián)網(wǎng)技術(shù)傳遞給云計(jì)算數(shù)據(jù)處理技術(shù)的用戶，實(shí)現(xiàn)大數(shù)據(jù)處理的目的[2]。

2 云計(jì)算處理生物醫(yī)學(xué)大數(shù)據(jù)的解決方法

隨著生物醫(yī)學(xué)的不斷發(fā)展，生物醫(yī)學(xué)研究的問題也越來越多，生物醫(yī)學(xué)產(chǎn)生的數(shù)據(jù)也越來越龐大，要對這些復(fù)雜的數(shù)據(jù)進(jìn)行處理，必須借助高效的計(jì)算技術(shù)，云計(jì)算為大數(shù)據(jù)處理發(fā)展提供了技術(shù)支持。

生物醫(yī)學(xué)的發(fā)展以及目前生物醫(yī)學(xué)涉及的領(lǐng)域較多，產(chǎn)生了大量的待處理數(shù)據(jù)，這些數(shù)據(jù)就成為生物醫(yī)學(xué)的大數(shù)據(jù)。比如，高通量測序，這個測序程序一次的測序可以達(dá)到109的量級，如果是數(shù)據(jù)測試試驗(yàn)所進(jìn)行測序，所得出的量級就會遠(yuǎn)遠(yuǎn)大于單一測序的量級[3]。大數(shù)據(jù)的獲得方式除了實(shí)驗(yàn)外，還包括在公共數(shù)據(jù)庫中獲得的大量數(shù)據(jù)，這些數(shù)據(jù)合起來構(gòu)成了生物醫(yī)學(xué)上的大數(shù)據(jù)。我國目前的公共數(shù)據(jù)庫包括分為兩類，一是大數(shù)據(jù)的初級公共數(shù)據(jù)庫，這個公共數(shù)據(jù)庫中包含的都是原始的生物數(shù)據(jù)，能夠了解到的原始生物數(shù)據(jù)庫，比如，美國國立生物技術(shù)信息中心NCBI的GenBank、歐洲的生物信息研究所EBI、DDBJ、GEO等；二是二級公共數(shù)據(jù)庫，這個公共數(shù)據(jù)庫是對出具數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行分析處理得到的數(shù)據(jù)組成的，經(jīng)過處理的數(shù)據(jù)，比如，蛋白質(zhì)結(jié)構(gòu)等領(lǐng)域的數(shù)據(jù)處理信息，對這些處理數(shù)據(jù)具有保存、利用等方面的功能。目前常見的二級公共數(shù)據(jù)庫包括Ensem-bl、UCSC基因組瀏覽器等二級公共數(shù)據(jù)庫，公共數(shù)據(jù)庫還包括了數(shù)據(jù)下載積累的數(shù)據(jù)信息。

在進(jìn)行大數(shù)據(jù)的處理方面，小型的計(jì)算機(jī)已經(jīng)無法滿足對現(xiàn)在大數(shù)據(jù)的處理，現(xiàn)在很多研究所在對大數(shù)據(jù)進(jìn)行處理時，依然使用的是小型的服務(wù)器和數(shù)據(jù)計(jì)算器，這樣雖然可以保留一定的數(shù)據(jù)保存空間，但是對研究數(shù)據(jù)過程中出現(xiàn)的數(shù)據(jù)卻沒有空間進(jìn)行保存，導(dǎo)致數(shù)據(jù)存儲空房間不足，很可能會出現(xiàn)數(shù)據(jù)丟失的現(xiàn)象，因此，很多的研究所選擇連接外被設(shè)備，進(jìn)行大數(shù)據(jù)的保存。但是這種方法不能夠從根本上解決問題，還出現(xiàn)了大數(shù)據(jù)處理上更加嚴(yán)重的問題，無法對大數(shù)據(jù)處理的準(zhǔn)確性和可靠性進(jìn)行把握。為了保證大數(shù)據(jù)的可靠性和精確性，必須對大數(shù)據(jù)進(jìn)行備份，一般都會保留3到5個大數(shù)據(jù)副本，這就是生物醫(yī)學(xué)上的大數(shù)據(jù)冗余備份策略。比如，現(xiàn)在我國使用比較廣泛的云計(jì)算技術(shù)平臺的基礎(chǔ)是AWS技術(shù)，AWS技術(shù)可以對大數(shù)據(jù)進(jìn)行存儲，并且對大數(shù)據(jù)進(jìn)行及時備份，一般的本分為3份。在對生物醫(yī)學(xué)大數(shù)據(jù)進(jìn)行處理的過程中，一般會產(chǎn)生處理過程中的中間數(shù)據(jù)，因此，云計(jì)算數(shù)據(jù)處理技術(shù)，對數(shù)據(jù)處理平臺的數(shù)據(jù)存儲器以及云計(jì)算大數(shù)據(jù)處理技術(shù)的性能提出了更高的要求[4]。

一般的大數(shù)據(jù)處理往往采用的是數(shù)據(jù)集中處理的辦法，對數(shù)據(jù)計(jì)算上的多個節(jié)點(diǎn)進(jìn)行存儲，比如，磁盤數(shù)據(jù)儲存，但是數(shù)據(jù)處理器上的保存空間比較小，或者一般不能使用，本地?cái)?shù)據(jù)存儲器一般的數(shù)據(jù)儲存能力比較小，但是云計(jì)算大數(shù)據(jù)處理計(jì)算的供應(yīng)商，比如，亞馬遜、谷歌等，能夠通過虛擬化的技術(shù)，通過計(jì)算機(jī)互聯(lián)網(wǎng)等，將大數(shù)據(jù)處理節(jié)點(diǎn)上的每一個數(shù)據(jù)資源，進(jìn)行整合，包括數(shù)據(jù)的儲存節(jié)點(diǎn)、計(jì)算機(jī)數(shù)據(jù)的處理節(jié)點(diǎn)等數(shù)據(jù)資源進(jìn)行整合，轉(zhuǎn)換為各種數(shù)據(jù)資源，通過方便、快捷、透明的方式，對云計(jì)算大數(shù)據(jù)處理技術(shù)的用戶進(jìn)行數(shù)據(jù)提供，方便用戶對數(shù)據(jù)的使用。云計(jì)算大數(shù)據(jù)處理技術(shù)的對處理數(shù)據(jù)主要是通過用戶對數(shù)據(jù)的需求，進(jìn)行數(shù)據(jù)資源支配，比如，CPU、內(nèi)存、數(shù)據(jù)操作系統(tǒng)、系統(tǒng)數(shù)據(jù)軟件等，云計(jì)算大數(shù)據(jù)處理技術(shù)的用戶在獲取資源的同時，可以隨時對數(shù)據(jù)進(jìn)行利用，但是要及時付款，也就是隨用隨付。如果云計(jì)算大數(shù)據(jù)處理技術(shù)的用戶采用的是云平臺進(jìn)行數(shù)據(jù)處理利用，生物醫(yī)學(xué)研究組織只需要支付非常少的錢，就可以對數(shù)據(jù)資源進(jìn)行利用，無須在數(shù)據(jù)存儲、計(jì)算等環(huán)節(jié)上進(jìn)行大數(shù)據(jù)保存的空間購買、對數(shù)據(jù)資源進(jìn)行優(yōu)化配置。另一方面，云計(jì)算大數(shù)據(jù)處理技術(shù)的用戶，在對數(shù)據(jù)進(jìn)行使用的過程中，可以隨時對數(shù)據(jù)進(jìn)行更改和建材，直到更改為自己需要的數(shù)據(jù)，這體現(xiàn)了云計(jì)算大數(shù)據(jù)處理技術(shù)的靈活性[5]。

傳統(tǒng)的生物醫(yī)學(xué)大數(shù)據(jù)處理平臺，最大的問題就是數(shù)據(jù)儲存空間太小，不能滿足大數(shù)據(jù)儲存的要求，因此，在云計(jì)算大數(shù)據(jù)處理技術(shù)的發(fā)展中，被逐步代替。云計(jì)算是現(xiàn)在生物醫(yī)學(xué)大數(shù)據(jù)處理的主要平臺，這個數(shù)據(jù)處理平臺的核心觀念是數(shù)據(jù)的并行運(yùn)算策略。通過研究發(fā)現(xiàn)，云計(jì)算的性能優(yōu)于其他的數(shù)據(jù)計(jì)算技術(shù)。生物醫(yī)學(xué)的大數(shù)據(jù)處理主要是依據(jù)MapReduce的并行計(jì)算策略對大數(shù)據(jù)進(jìn)行運(yùn)算。通過高通量測序技術(shù)的讀段映射技術(shù)進(jìn)行處理，測序讀段數(shù)據(jù)被分配到數(shù)據(jù)處理的各個節(jié)點(diǎn)，通過運(yùn)算，最后將各節(jié)點(diǎn)的運(yùn)算數(shù)據(jù)結(jié)果進(jìn)行歸并，實(shí)現(xiàn)大數(shù)據(jù)的處理的目標(biāo)。

3 結(jié)束語

通過文章介紹，我們了解到云計(jì)算對生物醫(yī)學(xué)的大數(shù)據(jù)處理有非常重要的意義。隨著生物醫(yī)學(xué)的發(fā)展，生物醫(yī)學(xué)的數(shù)據(jù)發(fā)展變化較快，數(shù)據(jù)系統(tǒng)非常龐大，因此，大數(shù)據(jù)計(jì)算起來比較困難，云計(jì)算在這樣的背景下，為生物醫(yī)學(xué)的大數(shù)據(jù)處理提供了非常大的幫助，對生物醫(yī)學(xué)的數(shù)據(jù)存儲、技術(shù)、保存、利用等提供了方便。相對于傳統(tǒng)的生物醫(yī)學(xué)數(shù)據(jù)計(jì)算環(huán)境，云計(jì)算在大數(shù)據(jù)處理方面具有絕對優(yōu)勢，云計(jì)算能夠在大數(shù)據(jù)處理的過程中，提供最科學(xué)可行的數(shù)據(jù)計(jì)算方案，分析數(shù)據(jù)信息的各個方面，為數(shù)據(jù)處理打好基礎(chǔ)。隨著云計(jì)算的不斷發(fā)展，未來云計(jì)算發(fā)展會建立數(shù)據(jù)處理的多資源生物醫(yī)學(xué)數(shù)據(jù)處理體系，為大數(shù)據(jù)處理提供技術(shù)支持。

參考文獻(xiàn)：

[1] 孫磊， 胡學(xué)龍， 張曉斌， 等. 生物醫(yī)學(xué)大數(shù)據(jù)處理的云計(jì)算解決方案[J]. 電子測量與儀器學(xué)報(bào)， 2014（11）： 1190-1197.

[2] 王相偉， 史玉良， 張建林， 等. 基于Hadoop的用電信息大數(shù)據(jù)計(jì)算服務(wù)及應(yīng)用[J]. 電網(wǎng)技術(shù)， 2015（11）： 3128-3133.

[3] 吳昊， 彭正洪. 城市規(guī)劃中的大數(shù)據(jù)應(yīng)用構(gòu)想[J]. 城市規(guī)劃， 2015（9）： 93-99.

[4] 林永青. “互聯(lián)網(wǎng)+”的技術(shù)元素：大數(shù)據(jù)和小數(shù)據(jù)[J]. 金融博覽， 2015（11）： 42-43.

[5] 孟潤堂， 羅藝， 宇傳華， 等. 健康大數(shù)據(jù)在公共衛(wèi)生領(lǐng)域中的應(yīng)用與挑戰(zhàn)[J]. 中國全科醫(yī)學(xué)， 2015（35）： 4388-4392.