基于HDFS的遠程教育課件資源管理

王月春

（石家 莊郵電職業(yè)技術(shù)學院 河北 050021）

0 引言

遠程教育經(jīng)過近10年的發(fā)展，積累了大量的課件資源，這些課件資源主要是流媒體文件及相關(guān)的講義資料等。據(jù)統(tǒng)計，按照在互聯(lián)網(wǎng)上點播效果比較好的要求，視頻碼流在400Kbps左右，依據(jù)這樣的數(shù)據(jù)計算，一門30分鐘的課程需要占用存儲空間約100M，若按照每年增加10000門課程計算，每年需要存儲空間1T，其對硬盤空間的占用是相當驚人的。傳統(tǒng)的遠程教育課件資源管理方式主要是通過NAS、SAN等方式實現(xiàn)，這些實現(xiàn)方式普遍存在設(shè)備投入大、環(huán)境部署復雜、大并發(fā)下性能問題以及單點故障等問題。

而開源的Hadoop云計算體系架構(gòu)，其分布式文件系統(tǒng)HDFS具有大數(shù)據(jù)存儲的先天優(yōu)勢，適合存儲大數(shù)據(jù)文件，滿足一次存儲，多次讀取的模式，這正是遠程教育課件資源管理所需要的。

1 HDFS簡介

Hadoop是Apache軟件基金會旗下的一個開源分布式計算平臺。以Hadoop分布式文件系統(tǒng)（Hadoop Distirbuted File System，HDFS）和MapReduce（Google MapReduce的開源實現(xiàn)）為核心，為用戶提供了系統(tǒng)底層細節(jié)透明的分布式基礎(chǔ)架構(gòu)。

1.1 HDFS體系結(jié)構(gòu)

HDFS采用了主從（Master/Slave）結(jié)構(gòu)模型，一個HDFS集群是由一個NameNode和若干個DataNode組成的。其中NameNode作為主服務(wù)器，管理文件系統(tǒng)的命名空間和客戶端對文件的訪問操作；集群中的DataNode管理存儲的數(shù)據(jù)。HDFS允許用戶以文件的形式存儲數(shù)據(jù)。Name Node執(zhí)行文件系統(tǒng)的命名空間操作，比如打開、關(guān)閉、重命名文件或目錄等，它也負責數(shù)據(jù)塊到具體DataNode的映射。DataNode負責處理文件系統(tǒng)客戶端的文件讀寫請求，并在NameNode的統(tǒng)一調(diào)度下進行數(shù)據(jù)塊的創(chuàng)建、刪除和復制工作。HDFS體系結(jié)構(gòu)如圖1所示。

NameNode和DataNode都可以在普通商用計算機上運行，服務(wù)器運行不是必須的，這大大降低了運行成本。

1.2 HDFS數(shù)據(jù)安全

HDFS 文件系統(tǒng)假設(shè)系統(tǒng)故障（服務(wù)器、網(wǎng)絡(luò)、存儲故障等）是常態(tài)，而不是異常，因此，通過多方面的措施來保證數(shù)據(jù)可靠性。

圖1 HDFS體系結(jié)構(gòu)

（1）多個副本

數(shù)據(jù)在寫入時被復制多份，并且可以通過用戶自定義的復制策略分布到物理位置不同的服務(wù)器上；數(shù)據(jù)在讀寫時將自動進行數(shù)據(jù)的校驗，一旦發(fā)現(xiàn)數(shù)據(jù)校驗錯誤將重新進行復制；HDFS采取了副本策略，HDFS的副本放置策略是三個副本，一個放在本節(jié)點上，一個放在同一機架中的另一個節(jié)點上，還有一個副本放在另一個不同的機架中的一個節(jié)點上。

（2）心跳機制

每個DataNode周期性發(fā)送心跳信息給NameNode。網(wǎng)絡(luò)中斷可能會導致一批Data Node連不上Name Node。NameNode檢測到一段時間沒有上報心跳后，把這個DataNode標識為dead，不再分配新的io請求給它。在這個DataNode上的所有數(shù)據(jù)都不能訪問了，這就會導致一些block的備份數(shù)量會少于指定的值。NameNode會經(jīng)常檢查block備份數(shù)量，發(fā)起重新備份。

2 基于HDFS的遠程教育課件資源管理

基于HDFS的遠程教育課件資源管理的核心在于用HDFS集群文件系統(tǒng)代替了傳統(tǒng)的NAS或SAN存儲系統(tǒng)。體系結(jié)構(gòu)如圖2所示。

2.1 系統(tǒng)實現(xiàn)

利用HDFS文件系統(tǒng)存儲遠程教育課件資源，從HDFS存儲大數(shù)據(jù)的原理上來講是非常合適的，也是容易實現(xiàn)的，但是如何使媒體服務(wù)器能夠訪問HDFS上的文件并發(fā)布到網(wǎng)絡(luò)上，是需要解決的問題。本文通過FUSE-dfs[3]解決了HDFS文件系統(tǒng)訪問的問題。

圖2 基于HDFS的遠程教育課件資源管理

（1）fuse介紹

用戶空間文件系統(tǒng)（Filesystem in Userspace，簡稱FUSE）是操作系統(tǒng)中的概念，指完全在用戶態(tài)實現(xiàn)的文件系統(tǒng)。傳統(tǒng)上操作系統(tǒng)在內(nèi)核層面對文件系統(tǒng)提供支持，難以調(diào)試，生產(chǎn)率低。通過在用戶空間實現(xiàn)文件系統(tǒng)能夠大幅提高生產(chǎn)率，簡化了為操作系統(tǒng)提供新的文件系統(tǒng)的工作量，特別適用于各種虛擬文件系統(tǒng)和網(wǎng)絡(luò)文件系統(tǒng)。但是，在用戶態(tài)實現(xiàn)文件系統(tǒng)會引入額外的內(nèi)核態(tài)/用戶態(tài)切換帶來的開銷，對性能會產(chǎn)生一定影響。

FUSE-dfs就是通過FUSE訪問HDFS的實現(xiàn)方式。通過FUSE-dfs，用戶就可以像訪問本地文件系統(tǒng)一樣來訪問HDFS文件系統(tǒng)了。

（2）安裝并編譯FUSE-dfs

在媒體服務(wù)器上安裝FUSE-dfs，并編譯。普通用戶如下操作。

（3）掛載HDFS文件系統(tǒng)

編譯完成后，在媒體服務(wù)器上掛載Hadoop集群文件系統(tǒng)HDFS。

HDFS文件系統(tǒng)掛載成功后，就可以像訪問本地文件系統(tǒng)一樣訪問HDFS了。若需要系統(tǒng)啟動時自動掛載，可以通過修改/etc/fstab文件，在系統(tǒng)啟動時掛載HDFS文件系統(tǒng)。

（4）上傳媒體文件

HDFS文件系統(tǒng)成功掛載后，將媒體文件上傳到HDFS上，上傳成功后，可以看到，媒體文件被切割并分布到三個節(jié)點上。

（5）發(fā)布多媒體文件目錄

參照不同流媒體服務(wù)器的發(fā)布步驟，將/mnt/dfs發(fā)布到流媒體服務(wù)器上，完成對HDFS文件系統(tǒng)上對媒體文件的發(fā)布工作。至此，基于Hadoop的課件資源管理調(diào)試完成。

圖3 媒體服務(wù)器訪問HDFS文件系統(tǒng)

2.2 HDFS存儲課件資源的優(yōu)勢

（1）高可靠性

HDFS在副本保存、冗余備份以及DataNode節(jié)點異常檢測方面，有設(shè)計了完善的機制，具備存儲海量課件資源的優(yōu)勢。

（2）低成本

Hadoop集群的底層硬件完全運行在普通PC機上，不需要高端的存儲設(shè)備及服務(wù)器，大大降低了數(shù)據(jù)存儲成本。按照每個課件100M，共10000個課件計算，存儲空間在1T左右，如果采用NAS或SAN實現(xiàn)課件資源管理，至少需要存儲設(shè)備1套、課件管理服務(wù)器1臺；而采用HDFS，只需要4臺低檔PC服務(wù)器甚至是PC機，每臺配置2塊1T存儲空間的硬盤，組成RAID0+1，在HDFS冗余存儲的基礎(chǔ)上，實現(xiàn)了單臺硬盤RAID，大大提高了數(shù)據(jù)安全性，成本至少降低50%。課件數(shù)量越大，成本降低越明顯。

（3）擴展性強

當HDFS存儲空間不足時，既可以通過對DataNode節(jié)點擴充磁盤的方式擴展容量，也可以通過增加DataNode節(jié)點的方式擴展容量。

（4）高效訪問

Hadoop能夠在DataNode之間動態(tài)地移動數(shù)據(jù)，以保證各節(jié)點動態(tài)平衡。單個較大的課件文件被分割成若干數(shù)據(jù)塊，以冗余備份的方式保存在多個DataNode節(jié)點中，客戶端訪問時從多個DataNode節(jié)點并行讀取，提高了并發(fā)訪問吞吐量。

3 結(jié)束語

基于Hadoop的遠程課件資源管理系統(tǒng)，從技術(shù)底層解決了大量課件資源存儲的問題，降低了單位數(shù)據(jù)存儲成本，但是在系統(tǒng)的可管理性、易用性、用戶界面友好性等方面還需要深入研究。

[1] 陸嘉恒. Hadoop實戰(zhàn) 北京 機械工業(yè)出版社，2012：3-15

[2] 文艾 王磊 Hadoop分布式文件系統(tǒng)深度實踐. 北京 清華大學出版社 2012：4-6

[3] http://sourceforge.net/projects/fuse/

[4] 劉統(tǒng)閣，劉波，楊志文. Hadoop 在VOD 系統(tǒng)中的應(yīng)用研究計算機與現(xiàn)代化 2012，6 195-198

[5] 劉琨，李愛菊，董龍江基于Hadoop 的云存儲的研究及實現(xiàn)微計算機信息 2011，27（7） 220-221

[6] 陳玉云，柳先輝，趙曉東 基于Hadoop平臺資源調(diào)度策略的研究 電腦知識與技術(shù)2012，8（19）4687-4690

[7] 劉鵬． 實戰(zhàn)Hadoop——開啟通向云計算的捷徑．北京: 電子工業(yè)出版社，2011