基于Hadoop的心電數(shù)據(jù)庫(kù)存儲(chǔ)研究*

熊艷，陳宇，蔣文濤，王冠石，舒敬恒

（1.四川大學(xué)制造與工程學(xué)院，創(chuàng)新方法與創(chuàng)新設(shè)計(jì)實(shí)驗(yàn)室，成都610065；2.四川大學(xué)工程力學(xué)系，生物力學(xué)工程實(shí)驗(yàn)室，成都610065）

1 引 言

心血管疾病、傳染病和癌癥是當(dāng)前人類死亡的三大主要原因，其中心血管疾病是人類死亡首要原因[1]。心臟疾病的快速檢測(cè)因此顯得尤為重要。目前心臟遠(yuǎn)程檢測(cè)系統(tǒng)在國(guó)內(nèi)外已經(jīng)應(yīng)用于臨床，對(duì)心臟病患者進(jìn)行長(zhǎng)時(shí)間心電監(jiān)護(hù)是治療心臟病的重要手段，同時(shí)也是預(yù)防突發(fā)性心臟病導(dǎo)致嚴(yán)重后果的重要途徑[2]。隨著移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等技術(shù)，大數(shù)據(jù)時(shí)代（Big Data）已經(jīng)來(lái)臨，大數(shù)據(jù)有四個(gè)特點(diǎn)：規(guī)模性、多樣性、高速型和靈活性。大數(shù)據(jù)是繼云計(jì)算和物聯(lián)網(wǎng)之后IT行業(yè)的又一次顛覆性技術(shù)變革[3]。

2 Hadoop平臺(tái)

Hadoop是大數(shù)據(jù)平臺(tái)的代名詞，具有分布性、高可靠、通用性、高效率、成本低等特點(diǎn)，是Apache下的一個(gè)項(xiàng)目，也是Google云計(jì)算模型的開(kāi)源實(shí)現(xiàn)。Hadoop的文件系統(tǒng)[4]、MapReduce框架[5]和Bigtable[6]都是根據(jù)這些核心技術(shù)來(lái)實(shí)現(xiàn)，其中兩個(gè)非常重要部分就是HDFS（hadoop distributed file system，HDFS）和MapReduce并行計(jì)算框架。經(jīng)過(guò)多年發(fā)展，已經(jīng)形成了以Hadoop為核心的大數(shù)據(jù)生態(tài)系統(tǒng)，也是通用的大數(shù)據(jù)處理基礎(chǔ)構(gòu)架平臺(tái)。Hadoop增加了數(shù)據(jù)管理和信息提取的困難性和復(fù)雜性，因此，對(duì)大數(shù)據(jù)的存儲(chǔ)管理非常重要。

考慮到安裝配置的方便，使用Linux作為Hadoop的開(kāi)發(fā)測(cè)試環(huán)境，在Windows下安裝VMWare虛擬機(jī)，在虛擬機(jī)上安裝 Ubuntu／Linux環(huán)境，然后再依次安裝 Hadoop，NoSQL數(shù)據(jù)庫(kù)HBase，數(shù)據(jù)倉(cāng)庫(kù)HIVE和分布式系統(tǒng)的協(xié)調(diào)服務(wù)Zookeeper，完成整個(gè)系統(tǒng)的搭建。

3 心電數(shù)據(jù)庫(kù)設(shè)計(jì)

3.1 心電數(shù)據(jù)格式

心電圖數(shù)據(jù)格式采用Philips公司的Trim II型心電圖機(jī)，記錄的心電信息數(shù)據(jù)和心電圖機(jī)測(cè)量的波形參數(shù)，存放為大小200～250 K的XML格式數(shù)據(jù)文件[7]。心電數(shù)據(jù)中，其中一部分?jǐn)?shù)據(jù)格式和設(shè)備中導(dǎo)聯(lián)數(shù)量密切相關(guān)，另外包含數(shù)據(jù)量在200 K左右的一個(gè)波形文件[8]。

3.2 數(shù)據(jù)庫(kù)設(shè)計(jì)

Hadoop采用HBase數(shù)據(jù)庫(kù)。HBase適用于存儲(chǔ)松散型非結(jié)構(gòu)化數(shù)據(jù)，面向列的Key-value數(shù)據(jù)庫(kù)，表索引由行關(guān)鍵字、列關(guān)鍵字和時(shí)間戳組成，HBase只有字符串類型，以HDFS為底層框架[9]，是Bigtable在Hadoop框架上的實(shí)現(xiàn)。

HBase二維表結(jié)構(gòu)中，Column Family（CF）包含多個(gè)Column Key（CK），CK可以動(dòng)態(tài)增加，CK是列標(biāo)示，RowKey是行標(biāo)示。在傳統(tǒng)數(shù)據(jù)庫(kù)一對(duì)多的處理上，可以以相同患者在一個(gè)時(shí)間點(diǎn)作為RowKey，達(dá)到一對(duì)多的效果。比如患者ID為ID00010的患者，在2015年10月10日上午10點(diǎn)正的采集數(shù)據(jù)的RowKey就是“ID00010-1444442400”，前面是患者ID，后面是timestamp，主表信息和12導(dǎo)聯(lián)的信息都采用相同的RowKey，實(shí)現(xiàn)一對(duì)多的主從關(guān)系表。

3.3 應(yīng)用場(chǎng)景設(shè)計(jì)

假設(shè)醫(yī)院有50名患者需要進(jìn)行心電監(jiān)控，遠(yuǎn)程心電監(jiān)控儀每分鐘發(fā)送一次數(shù)據(jù)，需要保存一個(gè)月的數(shù)據(jù)，同時(shí)需要及時(shí)呈現(xiàn)每天的實(shí)時(shí)數(shù)據(jù)。因此，針對(duì)每位患者每天1440次采集，需要記錄的數(shù)據(jù)量每月就是4.32萬(wàn)次。50位患者的記錄數(shù)就是216萬(wàn)次。如果采用12導(dǎo)聯(lián)的心電儀，以剛剛分析的數(shù)據(jù)庫(kù)設(shè)計(jì)來(lái)看，每一導(dǎo)聯(lián)需要一次記錄，這樣記錄數(shù)是兩千多萬(wàn)個(gè)記錄。同樣，記錄一年的數(shù)據(jù)量將達(dá)到3億條。

圖1 JSON格式的心電數(shù)據(jù)[10]Fig 1 The format of JSON for ECG data[9]

如果同時(shí)記錄的患者人數(shù)再增加的話，那么每年將產(chǎn)生幾十億條記錄的心電數(shù)據(jù)，這樣海量的數(shù)據(jù)，將成為醫(yī)院極大的負(fù)擔(dān)。如何實(shí)時(shí)監(jiān)控患者的信息，當(dāng)患者心電數(shù)據(jù)出現(xiàn)問(wèn)題如何報(bào)警？如何對(duì)海量數(shù)據(jù)進(jìn)行預(yù)測(cè)？都將面臨極大的問(wèn)題，這些問(wèn)題，同時(shí)也是大數(shù)據(jù)普遍存在的問(wèn)題。

3.4 測(cè)試結(jié)果及分析

本次測(cè)試在下面環(huán)境完成：

硬件環(huán)境：DELL XPS 8700-R38N6型主機(jī)，內(nèi)存 16G，主頻3.6GHz。

系統(tǒng)環(huán)境：Windows8.1系統(tǒng)。

軟件環(huán)境：VMWare Workstation 8.0，Hadoop 2.5.0，HBase1.1.2，HIVE1.2.1，ZooKeeper3.4.6

3.4.1 數(shù)據(jù)存儲(chǔ)時(shí)間 向HBase數(shù)據(jù)庫(kù)寫入50位患者在一個(gè)月中以每分鐘采集一次的間隔，進(jìn)行實(shí)時(shí)心電數(shù)據(jù)的收集。

圖2 Hadoop心電數(shù)據(jù)入庫(kù)時(shí)間Fig 2 Hadoop ECG data storage time

從測(cè)試結(jié)果來(lái)看，每10萬(wàn)條記錄寫入的時(shí)間是1 000 s，完成也就是每秒可以寫入100位患者的心電數(shù)據(jù)，完成50位患者一個(gè)月的數(shù)據(jù)記錄的數(shù)據(jù)庫(kù)寫入時(shí)間是375 min。也就是說(shuō)，平臺(tái)可支持的最大容量是每分鐘對(duì)六千位患者的心電數(shù)據(jù)進(jìn)行實(shí)時(shí)記錄，即每分鐘采集一次的采樣頻率，可以達(dá)到支持6 000位患者的并發(fā)能力，完全滿足實(shí)際要求。

3.4.2 數(shù)據(jù)查詢時(shí)間 采用scan Rowkey的方式，從數(shù)據(jù)庫(kù)取得1 min，1 h，1 d的數(shù)據(jù)量，調(diào)查數(shù)據(jù)查詢的時(shí)間。

從上面測(cè)試結(jié)果可以看出，取得一位患者一天的心電數(shù)據(jù)需要4 s時(shí)間，數(shù)據(jù)庫(kù)的總記錄數(shù)是3千萬(wàn)條，按此效率進(jìn)行讀取可以滿足實(shí)際需求，能夠?qū)崟r(shí)提取數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)分析。

HIVE是基于Hadoop的數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)，HIVE定義了類似SQL的查詢語(yǔ)言，能夠?qū)QL轉(zhuǎn)化為相應(yīng)的Mapreduce程序執(zhí)行。下面是HIVE執(zhí)行結(jié)果：

可以看出，對(duì)于一條記錄的查詢時(shí)間，HIVE都經(jīng)歷了Map和Reduce階段，時(shí)間大約是2 min，比Hbase shell的執(zhí)行時(shí)間慢了兩個(gè)數(shù)量級(jí)，并不適合實(shí)時(shí)查詢。因此，HIVE適合做離線分析，類似SQL的語(yǔ)法更便于分析。

3.4.3 數(shù)據(jù)存儲(chǔ)空間 HBase是Apache下Hadoop的子項(xiàng)目，是一個(gè)分布式、面向列的開(kāi)源數(shù)據(jù)庫(kù)，Rowkey是HBase的主鍵，每次寫入Column的時(shí)候，都會(huì)帶上Rowkey和Timestamp，因此，HBase的存儲(chǔ)空間利用不及 MySQL等結(jié)構(gòu)化數(shù)據(jù)庫(kù)，也不及MongoDB等文檔數(shù)據(jù)庫(kù)。

HDFS是Hadoop分布式文件系統(tǒng)，HDFS可以使用廉價(jià)的硬件搭建系統(tǒng)，并能提供可容錯(cuò)的高性能服務(wù)和高吞吐量的數(shù)據(jù)訪問(wèn)，非常適合在大規(guī)模數(shù)據(jù)集群上應(yīng)用。HDFS為了保證高可靠性和高可用性，采用了冗余存儲(chǔ)的方式，一份數(shù)據(jù)至少保存3個(gè)以上的備份，所以存儲(chǔ)空間上，Hadoop和傳統(tǒng)數(shù)據(jù)庫(kù)相比，有很大的劣勢(shì)，但是保證了數(shù)據(jù)存儲(chǔ)的可靠，即使有數(shù)據(jù)節(jié)點(diǎn)壞掉，也不會(huì)造成數(shù)據(jù)的丟失。

4 結(jié)束語(yǔ)

從大數(shù)據(jù)的角度來(lái)看，Hadoop無(wú)疑是目前應(yīng)用最為廣泛的大數(shù)據(jù)庫(kù)平臺(tái)，對(duì)海量數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)挖掘和并發(fā)響應(yīng)等，在處理心電大數(shù)據(jù)方面有自身的優(yōu)勢(shì)。只有解決大數(shù)據(jù)存儲(chǔ)才能使實(shí)時(shí)采集心電監(jiān)控?cái)?shù)據(jù)成為可能。通過(guò)本文的研究，針對(duì)心電大數(shù)據(jù)的存儲(chǔ)，以Hadoop分布式集群技術(shù)，在存儲(chǔ)時(shí)間和訪問(wèn)效率上都能很好滿足心電數(shù)據(jù)的存儲(chǔ)要求。