基于云服務的信息共享平臺研究

曾 丹，許小龍，薛勝軍

(1.武漢理工大學 圖書館，湖北 武漢430070;2.南京大學 計算機科學與技術系，江蘇 南京210093;3.南京信息工程大學 計算機與軟件學院，江蘇 南京210044)

隨著全球信息化的不斷發(fā)展，近幾年全球數(shù)字化信息量增長了近10 倍，企業(yè)級數(shù)據(jù)中心存儲需求量從TB 級上升到PB 級甚至EB 級，大數(shù)據(jù)的時代已經(jīng)到來［1-2］。Google 提出“云計算”概念后，這一新技術得到了業(yè)界和學術界的廣泛關注。美國國家標準與技術研究院(national institute of standards and technology，NIST)將云計算定義為：“云計算是一種能夠通過網(wǎng)絡以便利的、按需的方式獲取計算資源(網(wǎng)絡、服務器、存儲、應用和服務)的模式，這些資源來自一個共享的、可配置的資源池，并能夠快速獲取和釋放”［3］。云計算技術的出現(xiàn)給大數(shù)據(jù)時代的互聯(lián)網(wǎng)企業(yè)帶來了新的發(fā)展格局，信息共享中心作為企業(yè)和個人的信息傳播媒介也面臨著空前的機遇和挑戰(zhàn)［4］。

信息共享中心已經(jīng)在多個行業(yè)領域得到應用，如教育、交通、醫(yī)療等，同時也帶來相應的挑戰(zhàn)和機遇。教育行業(yè)信息共享系統(tǒng)構(gòu)建，以高校圖書館建設為例，應對讀者不斷增長的信息服務需求，構(gòu)建學科信息共享中心已成為高校圖書館亟待拓展的服務功能［5］。交通行業(yè)信息共享中心構(gòu)建過程，以鐵路運輸企業(yè)的信息共享中心構(gòu)建為例，網(wǎng)絡虛擬集中造成企業(yè)內(nèi)部財務信息失真、傳遞滯后等問題，同時給管理層決策帶來不利影響［6］。而對于醫(yī)療行業(yè)而言，區(qū)域醫(yī)療信息共享和協(xié)同是醫(yī)療信息化和自主診斷系統(tǒng)發(fā)展的必然趨勢，同時信息共享和交換是醫(yī)療信息資源價值最大化的重要途徑［7］。隨著信息化進程和大數(shù)據(jù)時代的到來，信息共享中心將面對龐大的數(shù)據(jù)存儲與數(shù)據(jù)檢索挑戰(zhàn)，傳統(tǒng)的數(shù)據(jù)庫已經(jīng)無法應對日益增長的數(shù)據(jù)記錄和用戶信息化需求。

云計算是一個理想的網(wǎng)絡應用模式，自從提出了云計算的概念后，陸續(xù)就有很多IT 廠商推出了自家的云計算平臺。如IBM 的藍云、微軟的Azure和亞馬遜的AWS 等是比較典型的代表。但遺憾的是這些平臺無一例外都是商業(yè)性平臺，從而限制了他們的推廣和應用。而Hadoop 平臺則是根據(jù)Google 的MapReduce 技術設計的一款可以更容易開發(fā)和并行處理大規(guī)模數(shù)據(jù)的云計算開源系統(tǒng)［8］，可以最大限度地滿足用戶對云計算的需求。

1 開源云平臺Hadoop 技術

Hadoop 最重要的兩個模塊是分布式文件系統(tǒng)HDFS［9］和調(diào)度作業(yè)的MapReduce 模型［10］，圍繞這兩個核心模塊的還有支持查詢語言的數(shù)據(jù)倉庫Hive［11］以及可以與分布式數(shù)據(jù)庫進行互操作的HBase［12］。Hadoop 具有高效率、高可靠性、低成本和擴容能力強等特點［13］，在國內(nèi)已被淘寶、中國移動大云、中興、華為等公司作為云平臺廣泛使用。

1.1 分布式文件系統(tǒng)HDFS

HDFS 是Hadoop 分布式文件系統(tǒng)(hadoop distributed file system)的縮寫，用于存儲海量數(shù)據(jù)的開源分布式文件系統(tǒng)，也是Google GFS 基于列存儲模型的分布式數(shù)據(jù)庫的開源實現(xiàn)。它是分布式計算的存儲數(shù)據(jù)基礎，提供高吞吐量的海量數(shù)據(jù)訪問。HDFS 具有很高的容錯性，可以方便地部署在廉價的硬件設備上，特別是用于處理海量數(shù)據(jù)應用，并且支持高吞吐率的數(shù)據(jù)讀寫功能。HDFS 也能支持對大數(shù)據(jù)訪問的可擴展性，只是簡單地向集群里增加節(jié)點就能解決大量客戶端同時訪問節(jié)點的問題。HDFS 同時也支持傳統(tǒng)的層次式文件組織結(jié)構(gòu)，與現(xiàn)有的一些文件系統(tǒng)的操作功能類似，也支持對文件進行相應的增刪改查等操作。

1.2 MapReduce 模型

MapReduce 是處理海量數(shù)據(jù)的分布式處理模型，也是Google 的MapReduce 模型的開源實現(xiàn)，它可以在大型的數(shù)據(jù)集群上運行分布式應用，并且以其簡單性和可用性而著稱。MapReduce 是一種簡化了的并行計算模型，抽象出了兩個簡單且強大的接口，分別是Map 和Reduce。這兩個接口分別對任務進行分解和對結(jié)果進行匯總輸出?；谶@種模型，大大簡化了分布式程序編寫的難度，用戶甚至不需要多少并行計算的開發(fā)經(jīng)驗，就可以非常方便地開發(fā)出高質(zhì)量的分布式程序，實現(xiàn)大數(shù)據(jù)的計算。

2 基于云服務的信息共享平臺CBISP

2.1 CBISP 角色

云計算技術在數(shù)據(jù)存儲、資源共享、可靠性和分布式數(shù)據(jù)庫檢索方面具有較大的優(yōu)勢。隨著社會的發(fā)展，未來行業(yè)內(nèi)部的信息資源將會向共享方面發(fā)展?；谠品盏男畔⒐蚕砥脚_CBISP可以為行業(yè)內(nèi)部的各個下級部門提供資源存儲和檢索功能。圖1 顯示了CBISP 應用場景，主要由以下3 類角色組成：

(1)平臺支持個體。平臺支持個體指提供共享資源的部門，如行業(yè)內(nèi)部各個下級單位。平臺支持個體是CBISP 的最基本組成部分，也是平臺信息的基本提供者。CBISP 自身擁有分布式可擴展的數(shù)據(jù)庫，數(shù)據(jù)庫中存放的主要數(shù)據(jù)由平臺支持個體提供。平臺支持個體將自身的信息分為可共享信息和不可共享信息。不可共享信息由平臺支持個體內(nèi)部使用，不對外開放;共享信息將提交給CBISP 以提供共享服務。不同平臺支持個體提供的數(shù)據(jù)結(jié)構(gòu)是不同的，CBISP 開發(fā)過程中需要建立統(tǒng)一標準的數(shù)據(jù)結(jié)構(gòu)。圖1 中包含n個平臺支持個體{部門1，部門2，…，部門n}。

(2)用戶。用戶是與CBISP 交互的基本個體，如外部用戶、部門內(nèi)部用戶，以及管理員等。CBISP 為廣大用戶提供了不同的外部接口。外部用戶是CBISP 最廣泛的用戶群體，此類用戶可以通過接口向CBISP 發(fā)送信息檢索、信息預訂(申請平臺中沒有的資源)，以及個人資源請求記錄查詢等請求。平臺管理員是CBISP 的管理用戶，主要工作是進行平臺用戶權限的設定、接受并匯編支持個體的數(shù)據(jù)記錄，以及數(shù)據(jù)庫管理等功能。部門內(nèi)部用戶可以根據(jù)權限獲取更高級別的信息檢索能力。集群管理員是管理CBISP 底層數(shù)據(jù)中心的用戶，主要操作包括：節(jié)點管理(動態(tài)增加和刪除)、狀態(tài)監(jiān)控，以及節(jié)點信息管理。圖1 中將用戶表示為{用戶1，用戶2，…，用戶m}。

(3)信息共享個體。信息共享個體是與CBISP 交互的個體，接受來自CBISP 的資源預定請求，同時為其提供整編后的信息資源。圖1 中信息共享個體包括資源提供用戶和資源提供部門。對于專有行業(yè)而言，信息共享個體為資源提供部門，它不向外部提供所有的資源共享接口，也不接受來自外部個體的共享資源。對于公共信息共享中心而言，信息共享個體為資源提供個體，資源提供者可以來自信息共享中心的外部。信息共享個體是CBISP 不可或缺的一部分，其可輔助完善CBISP 共享信息數(shù)據(jù)庫，更好地為用戶提供服務，進而提升整體的信息化服務水平。

圖1 基于云服務的信息共享平臺應用場景

2.2 CBISP 體系結(jié)構(gòu)

云服務供應商所提供的解決方案中，根據(jù)云服務的特征通常將其分為：基礎設施即服務(infrastructure as a service，IAAS)、平臺即服務(platform as a service，PAAS)和軟件即服務(software as a service，SAAS)。筆者提出的CBISP 是基于Hadoop 開源云計算技術構(gòu)建，其體系結(jié)構(gòu)從下至上可分為4 層，如圖2 所示。

圖2 CBISP 體系結(jié)構(gòu)圖

(1)硬件層。硬件層中的基礎設施由計算資源、存儲資源和網(wǎng)絡資源組成。CBISP 數(shù)據(jù)中心可以由現(xiàn)有的服務器構(gòu)建，可以由平臺支持個體的閑置機器組成，也可以由高校和企事業(yè)單位現(xiàn)有的服務器組合而成。數(shù)據(jù)中心的硬件可以有不同型號和配置，當數(shù)據(jù)中心無法滿足用戶需求時，硬件可以動態(tài)地擴充。硬件層可以實現(xiàn)現(xiàn)有行業(yè)內(nèi)部軟硬件資源的整合以及資源共享。

(2)平臺層。平臺層主要由分布式文件系統(tǒng)HDFS、分布式數(shù)據(jù)庫HBase、數(shù)據(jù)倉庫Hive，以及計算模型MapReduce 組成。HDFS 作為底層的分布式文件系統(tǒng)，采用副本策略，具有高可靠性。HBase 是典型的分布式數(shù)據(jù)庫，適用于非結(jié)構(gòu)化數(shù)據(jù)存儲，是Google BigTable 的開源產(chǎn)品。Big-Table 已經(jīng)應用于Google 地球，證明其對于圖像檢索是高效的。信息共享中心管理系統(tǒng)中保存了海量的圖像信息，可以選擇使用HBase 進行存儲，便于用戶檢索。Hive 適用于靜態(tài)結(jié)構(gòu)化數(shù)據(jù)檢索，可以用于構(gòu)建歷史資料數(shù)據(jù)庫、用戶信息庫，以及共享個體庫等。MapReduce 分布式計算架構(gòu)可以進行高效的數(shù)據(jù)處理，使用MapReduce中的Map 函數(shù)和Reduce 函數(shù)可以統(tǒng)計、分析CBISP 信息處理的整體狀態(tài)。

(3)應用層。應用層主要包括共享資料管理、資料信息檢索、資料整合、節(jié)點管理和狀態(tài)監(jiān)控等功能。共享資料管理主要是平臺管理員對數(shù)據(jù)庫中資料信息進行管理，包括增加、刪除和修改等操作。資料整合供平臺管理員根據(jù)不同平臺支持個體提供的信息進行數(shù)據(jù)整合入庫。資料信息檢索主要是針對外部用戶設計的，外部用戶根據(jù)搜索條件從數(shù)據(jù)庫中檢索自己所需要的資料清單。節(jié)點管理和狀態(tài)監(jiān)控均由集群管理員操作，節(jié)點管理主要用于數(shù)據(jù)中心增加、刪除數(shù)據(jù)節(jié)點。狀態(tài)監(jiān)控主要用于查看整個數(shù)據(jù)中心的運行狀態(tài)。上述功能是CBISP 的基本功能，除此之外，還可以根據(jù)不同用戶需求設計相應的功能模塊。

(4)用戶層。用戶層包含可以與CBISP 進行交互的所有用戶，如所提到的平臺用戶、平臺支持個體、信息共享個體、平臺管理員和集群管理員。用戶層處于架構(gòu)的頂層，集群管理員具有底層數(shù)據(jù)中心管理權限，對于其他用戶而言硬件層是透明的。根據(jù)用戶層不同需求，CBISP 可以利用平臺層提供的接口開發(fā)相應的應用，以提供信息共享服務。

3 結(jié)論

云計算在信息共享中心中的應用，不僅是技術上的革新，而且也是對生存和發(fā)展環(huán)境的深刻變革。因而，筆者提出了在開源云平臺Hadoop 構(gòu)建基于云的信息共享平臺CBISP，從而解決目前區(qū)域范圍內(nèi)存儲和計算資源利用率低下、信息共享能力不強，以及信息化進程緩慢等問題。CBISP 對于提升信息共享中心服務水平和信息共享能力具有積極的支持和推動作用。

［1］JOHN P D，GANTZ F，CHUTE C，et al. The diverse and exploding digital universe：an updated forecast of worldwide information growth through 2011 ［R］.［S.l.］：［s.n.］，2008.

［2］孟小峰，慈祥. 大數(shù)據(jù)管理：概念，技術與挑戰(zhàn)［J］.計算機研究與發(fā)展，2013，50(1)：146 -169.

［3］潘文字，段勇.云計算在電信行業(yè)的應用研究［J］.電信科學，2010(6)：25 -29.

［4］潘天怡. 公共信息共享初探［J］. 中國科技資源導刊，2010(3)：87 -89.

［5］李蓉芳.高校圖書館應建設學科信息共享中心［J］.天津市經(jīng)理學院學報，2012(1)：44 -45.

［6］王啟東.鐵路運輸企業(yè)財務信息共享中心診斷及改進研究［J］.財經(jīng)界，2013(18)：188 -189.

［7］萬瑩.區(qū)域醫(yī)療信息共享協(xié)同平臺技術研究及應用［D］.長沙：中南大學圖書館，2012.

［8］苗秀，俞俊生，劉紹華，等.基于云計算平臺的移動IPTV 系統(tǒng)設計及負載均衡技術研究［J］. 軟件，2011，32(1)：46 -53.

［9］佚名.HDFS［EB/OL］. ［2014 -04 -16］.http：//hadoop.apache.org/docs/r1.0.4/hdfs_design.htm.

［10］佚名.MapReduce［EB/OL］. ［2014 -04 -16］.http：//wiki.apache.org/hadoop/MapReduc.

［11］佚名.Apache Hive［EB/OL］. ［2014 -04 -16］.http：//hive.apache.org/.

［12］佚名.Apache HBase［EB/OL］. ［2014 -04 -16］.http：//hbase.apache.org/.

［13］孫牧. 云端的小飛象：Hadoop［J］. 程序員，2008(2)：100 -102.