基于HDFS的分布式區(qū)域電子病歷存儲(chǔ)策略

伍貴富　何葵　王益新

摘要：區(qū)域醫(yī)療信息化平臺(tái)的建設(shè)和推廣是目前醫(yī)療信息化發(fā)展的一個(gè)重要方向和研究熱點(diǎn)。在平臺(tái)建設(shè)過(guò)程中，首先面臨的問(wèn)題是解決如何在基于Hadoop的云計(jì)算環(huán)境中，高效地操作和存儲(chǔ)電子病歷等小文件。針對(duì)這一問(wèn)題，提出一種基于AHP方法的存儲(chǔ)策略，利用Hadoop系統(tǒng)自身的Sequence File技術(shù)將小文件以隊(duì)列的形式合并為大文件，從而節(jié)省了Master Node用戶文件管理所占的內(nèi)存空間，同時(shí)通過(guò)OQ隊(duì)列保證了系統(tǒng)在合并文件之后對(duì)小文件操作的透明性。仿真實(shí)驗(yàn)表明該策略在不影響云計(jì)算系統(tǒng)運(yùn)行狀況的基礎(chǔ)上，可提高小文件的存儲(chǔ)效率。

關(guān)鍵詞：HDFS；云計(jì)算；電子病歷；層次分析法；文件合并

DOIDOI：10.11907/rjdk.151191

中圖分類號(hào)：TP301

文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：16727800（2015）006003003

基金項(xiàng)目基金項(xiàng)目：深圳市科技創(chuàng)新委員會(huì)項(xiàng)目（20120618102906924）

作者簡(jiǎn)介作者簡(jiǎn)介：伍貴富（1963-），男，四川資陽(yáng)人，博士，深圳市福田區(qū)人民醫(yī)院教授，研究方向?yàn)獒t(yī)療信息化。

0 引言

隨著計(jì)算機(jī)網(wǎng)絡(luò)與信息技術(shù)的快速發(fā)展，以及國(guó)際醫(yī)學(xué)信息標(biāo)準(zhǔn)化、電子化進(jìn)程的推進(jìn)，使區(qū)域醫(yī)療信息化平臺(tái)的建設(shè)和推廣成為可能。電子病歷系統(tǒng)（EHRS）[1]作為醫(yī)療信息化平臺(tái)的重要組成部分，受到越來(lái)越多人們的關(guān)注。

在眾多云存儲(chǔ)的研究中，Hadoop項(xiàng)目的分布式文件系統(tǒng)HDFS作為Google File System 的開(kāi)源實(shí)現(xiàn)已成為業(yè)界研究云計(jì)算、實(shí)現(xiàn)云服務(wù)的參考模型。因此，本文也將Hadoop系統(tǒng)作為云服務(wù)的基礎(chǔ)架構(gòu)，研究如何將云服務(wù)的優(yōu)勢(shì)與區(qū)域醫(yī)療信息化平臺(tái)相結(jié)合，利用云平臺(tái)的計(jì)算能力和存儲(chǔ)能力為電子病歷、區(qū)域PACS等系統(tǒng)提供相關(guān)服務(wù)。

由于HDFS文件系統(tǒng)中的每個(gè)目錄和文件的相關(guān)數(shù)據(jù)信息都存放在各云服務(wù)節(jié)點(diǎn)的內(nèi)存中，當(dāng)系統(tǒng)中存在大量的小文件（通常指那些遠(yuǎn)小于HDFS默認(rèn)數(shù)據(jù)塊大小的文件）時(shí)，則會(huì)降低整個(gè)存儲(chǔ)系統(tǒng)的存儲(chǔ)效率和存儲(chǔ)能力。為了解決HDFS文件系統(tǒng)中小文件的存儲(chǔ)效率問(wèn)題，目前的主流方案是將小文件合并或組合為大文件，采用的方法大致可分為2類[2]，一類是基于Hadoop archive技術(shù)實(shí)現(xiàn)小文件合并的方法，另一類則是針對(duì)具體的應(yīng)用而提出的文件組合方法。例如文獻(xiàn)[3]結(jié)合WebGIS訪問(wèn)模式的特點(diǎn)，將系統(tǒng)中的小文件組合為大文件并為其建立全局索引，以提高小文件的存儲(chǔ)效率；而文獻(xiàn)[4]中假設(shè)每個(gè)HDFS系統(tǒng)用戶被分配了固定存儲(chǔ)空間和文件數(shù)目，并利用Hadoop提供的harballing技術(shù)對(duì)文件進(jìn)行合并，以提高了系統(tǒng)中元數(shù)據(jù)的存儲(chǔ)效率。

這些研究工作取得了一定成績(jī)，但是沒(méi)有從系統(tǒng)角度考慮在提高小文件存儲(chǔ)效率的同時(shí)，如何優(yōu)化云計(jì)算系統(tǒng)的負(fù)載狀況。因此，本文主要研究了在基于Hadoop的架構(gòu)中，如何將電子病歷等小文件進(jìn)行存儲(chǔ)優(yōu)化的同時(shí)，保證云平臺(tái)整體負(fù)載均衡的問(wèn)題。并提出了一種基于層次分析法（AHP）的文件存儲(chǔ)策略， 通過(guò)引入與系統(tǒng)狀態(tài)關(guān)聯(lián)的特征值判斷規(guī)則，來(lái)優(yōu)化系統(tǒng)對(duì)小文件進(jìn)行合并執(zhí)行的時(shí)間，防止系統(tǒng)負(fù)載過(guò)高，以保證在運(yùn)行小文件較多的情況下，云服務(wù)平臺(tái)的整體性能不會(huì)受到太大影響。仿真實(shí)驗(yàn)表明了該方法具有較好的性能。

1 基于HDFS的區(qū)域電子病歷存儲(chǔ)策略設(shè)計(jì)

1.1 HDFS 文件系統(tǒng)

作為Hadoop 系統(tǒng)中的一個(gè)核心組件，HDFS系統(tǒng)通常由一個(gè)Name Node節(jié)點(diǎn)和一定數(shù)目的 Data Node節(jié)點(diǎn)組成。Name Node是HDFS文件系統(tǒng)的中心服務(wù)器，在Hadoop架構(gòu)中通常由Master Node擔(dān)任，主要工作是負(fù)責(zé)管理文件系統(tǒng)的名稱空間。而數(shù)據(jù)節(jié)點(diǎn)都是由單臺(tái)計(jì)算機(jī)負(fù)責(zé)，每個(gè)節(jié)點(diǎn)負(fù)責(zé)管理自身的數(shù)據(jù)存儲(chǔ)服務(wù)。

在實(shí)際應(yīng)用中，發(fā)現(xiàn)綜合性醫(yī)院的電子病歷的相關(guān)數(shù)據(jù)具有高吞吐量的特點(diǎn)，因此本文設(shè)計(jì)電子病歷在云平臺(tái)中創(chuàng)建之后，并不立即保存到HDFS文件系統(tǒng)中，而是經(jīng)過(guò)一定周期之后，由系統(tǒng)自動(dòng)提交保存病歷數(shù)據(jù)的請(qǐng)求。由于采用XML格式的電子病歷數(shù)據(jù)量相對(duì)較小，因此本文借鑒了文獻(xiàn)[4]、[5]的思想，對(duì)電子病歷等小文件的存儲(chǔ)策略進(jìn)行優(yōu)化，以提高對(duì)數(shù)據(jù)的處理效率。本策略為每個(gè)用戶文件建立了2種隊(duì)列：第1種為序列文件隊(duì)列（Sequence File queue，SFQ），第2種為序列文件操作隊(duì)列（Operation queue，OQ）。其中，SFQ用于小文件的合并，OQ用于對(duì)合并后小文件的操作。通過(guò)實(shí)驗(yàn)設(shè)定每種隊(duì)列的動(dòng)態(tài)合并閾值，當(dāng)系統(tǒng)中所存的文件數(shù)量超過(guò)設(shè)定的合并閾值后，Name Node將按層次分析法（AHP）判斷是否進(jìn)行文件合并，并在系統(tǒng)負(fù)載允許的情況下對(duì)電子病歷的相關(guān)數(shù)據(jù)進(jìn)行壓縮，否則到SFQ隊(duì)列耗盡時(shí)再對(duì)文件進(jìn)行合并。

在本策略運(yùn)行過(guò)程中，Name Node將對(duì)各節(jié)點(diǎn)的CPU利用率、內(nèi)存利用率、帶寬利用率和系統(tǒng)平均吞吐量等屬性進(jìn)行檢測(cè)，并對(duì)系統(tǒng)運(yùn)行狀態(tài)進(jìn)行多屬性決策。負(fù)載計(jì)算得到一個(gè)即時(shí)值，對(duì)小文件的操作是在系統(tǒng)負(fù)載計(jì)算之后，因此在SFQ隊(duì)列超過(guò)合并閾值之后，系統(tǒng)將采用AHP算法不斷檢測(cè)負(fù)載狀態(tài)，如果滿足執(zhí)行合并的條件，或者SFQ隊(duì)列耗盡后，將執(zhí)行文件合并。

1.2 基于AHP的系統(tǒng)負(fù)載算法

名稱節(jié)點(diǎn)在管理系統(tǒng)負(fù)載值時(shí)，根據(jù)設(shè)定的系統(tǒng)屬性的重要性構(gòu)造比較矩陣C，并由步驟1-4計(jì)算各時(shí)刻的決策屬性值d1，d2，…dn的權(quán)重wi。通過(guò)該策略，云平臺(tái)可以實(shí)現(xiàn)對(duì)各節(jié)點(diǎn)系統(tǒng)負(fù)載的監(jiān)測(cè)，將合并電子病歷等小文件的操作控制在能夠均衡系統(tǒng)負(fù)載時(shí)進(jìn)行。

2 性能評(píng)估

為了測(cè)試改進(jìn)后的HDFS系統(tǒng)對(duì)電子病歷等小文件的處理能力，搭建了兩組對(duì)比測(cè)試環(huán)境，一個(gè)是未經(jīng)修改的HDFS架構(gòu)，另一個(gè)是經(jīng)過(guò)AHP存儲(chǔ)策略優(yōu)化后的架構(gòu)，用以檢測(cè)系統(tǒng)的讀取文件時(shí)間與合并文件時(shí)間。

測(cè)試將首先生成需要的電子病歷文件，分別生成50、100、500、1 000份個(gè)人電子病歷文件，而這些文件的大小都小于64MB，平均大小約為100KB；其次分別在兩種架構(gòu)上讀寫(xiě)這幾組文件并記錄下讀取和合并的時(shí)間進(jìn)行比對(duì)；最后都重復(fù)進(jìn)行10次獨(dú)立實(shí)驗(yàn)，并以平均值作為結(jié)果得出結(jié)論。

從表1中，不難發(fā)現(xiàn)經(jīng)過(guò)存儲(chǔ)策略優(yōu)化后的HDFS 架構(gòu)讀取小文件的平均時(shí)間隨著文件的增多，效率要高于原有的HDFS 架構(gòu)。但是由于文件的增多，Name Node對(duì)各數(shù)據(jù)節(jié)點(diǎn)執(zhí)行合并時(shí)間的計(jì)算也增多，使系統(tǒng)的整體執(zhí)行時(shí)間有所增加。

圖1描述了在不同電子病歷數(shù)量的情況下，系統(tǒng)合并文件執(zhí)行的平均時(shí)間。從實(shí)驗(yàn)結(jié)果中不難發(fā)現(xiàn)，電子病歷合并的規(guī)模越大，Name Node消耗的管理時(shí)間將越多，與此同時(shí)，對(duì)小文件的讀寫(xiě)操作以及合并文件所花費(fèi)的時(shí)間代價(jià)也將越大。在基于HDFS的存儲(chǔ)系統(tǒng)中采用本文的存儲(chǔ)策略進(jìn)行分析和部署，可在時(shí)間消耗和系統(tǒng)利用率之間實(shí)現(xiàn)一種最優(yōu)平衡，既可以提高電子病歷等小文件的存儲(chǔ)效率，同時(shí)也不太影響系統(tǒng)性能。

3 結(jié)語(yǔ)

本文針對(duì)醫(yī)療信息化過(guò)程中，在基于HDFS的云存儲(chǔ)系統(tǒng)中電子病歷等小文件存儲(chǔ)效率不高的問(wèn)題，提出一套優(yōu)化策略。在該策略中，利用Hadoop系統(tǒng)自身的Sequence File技術(shù)，將小文件以隊(duì)列的形式合并為大文件，從而節(jié)省了Name Node用戶文件管理所占的內(nèi)存空間。同時(shí)通過(guò)OQ隊(duì)列保證了系統(tǒng)在合并文件之后，對(duì)小文件操作的透明性。在判斷系統(tǒng)何時(shí)執(zhí)行合并操作時(shí)，采用數(shù)據(jù)標(biāo)準(zhǔn)化方法和層次分析法確定系統(tǒng)的負(fù)載性能，使小文件的合并能在合并時(shí)間、文件操作時(shí)間和節(jié)省內(nèi)存空間之間達(dá)到一種平衡。實(shí)驗(yàn)表明本文設(shè)計(jì)的策略具有較好性能。

參考文獻(xiàn)：

[1] LEHMANN HP ABBOTT PA. Aspects of electronic health record systems[M].USA： Springer， 2006.

[2] 余思，桂小林，黃汝維，等.一種提高云存儲(chǔ)中小文件存儲(chǔ)效率的方案[J].西安交通大學(xué)學(xué)報(bào)，2011（6）：5963.

[3] LIU XUHUI，HAN JIZHONG，ZHONG YUNQIN，et al. Implementing webGIS on hadoop： a case study of improving small file I/O performance on HDFS[Z].200918.

[4] MACKEY GRANT，SEHRISH SABA，WANG JUN. Improving metadata management for small files in HDFS[Z].200914.

[5] SAATY THOMAS L.Axiomatic foundation of the analytic hierarchy process[M].1986.

責(zé)任編輯（責(zé)任編輯：黃 ?。?/p>

英文摘要Abstract：One of the key technologies of construction the regional medical information system is efficient operations and storing small files such as electronic health records（EHR）in a Hadoopbased cloud computing environments. To solve this problem， this paper proposed a storage strategy based on AHP（Analytic Hierarchy Process）method. By employed Hadoop Sequence File technology， small files will be combined to make a large file. This method will save the occupation of the memory space in Master Node， and using operation queue to ensure that the operation of those combined small file is correct. Simulation experiments show that this policy will improve small files storage efficiency， and without affect the State of cloud computing systems.

英文關(guān)鍵詞Key Words： HDFS； Cloud Computing； EHR；AHP； Combined Files