基于Hadoop高校教育資源云存儲(chǔ)平臺(tái)構(gòu)建研究

王鳳領(lǐng)

(黑龍江財(cái)經(jīng)學(xué)院 財(cái)經(jīng)信息工程系，黑龍江 哈爾濱 150025)

基于Hadoop高校教育資源云存儲(chǔ)平臺(tái)構(gòu)建研究

王鳳領(lǐng)

(黑龍江財(cái)經(jīng)學(xué)院 財(cái)經(jīng)信息工程系，黑龍江 哈爾濱 150025)

云計(jì)算在整合高校教育資源方面的關(guān)鍵是海量的數(shù)據(jù)存儲(chǔ)，把云存儲(chǔ)的技術(shù)和方法運(yùn)用到高校教育資源整合的建設(shè)中，節(jié)約高校教育資源，有效地提高高校教育資源的利用率，從而提高高校的教學(xué)水平。文中闡述了云計(jì)算和云存儲(chǔ)的概念和特點(diǎn)，介紹了高校教育資源中存在的問(wèn)題和優(yōu)勢(shì)，簡(jiǎn)單介紹了主流的云計(jì)算平臺(tái)，重點(diǎn)介紹了Hadoop的HDFS存儲(chǔ)系統(tǒng)的特點(diǎn)和結(jié)構(gòu)；結(jié)合基于云體系結(jié)構(gòu)，設(shè)計(jì)出高校教育云體系結(jié)構(gòu)，實(shí)現(xiàn)基于Hadoop平臺(tái)的高校教育資源網(wǎng)架構(gòu)，使用Hadoop平臺(tái)進(jìn)行數(shù)據(jù)的存儲(chǔ)和傳輸。實(shí)驗(yàn)結(jié)果表明，利用Hadoop云計(jì)算平臺(tái)，為大規(guī)模高校數(shù)據(jù)處理提供良好的解決方法，有效提高海量數(shù)據(jù)的處理速度。

云計(jì)算；Hadoop；云存儲(chǔ)；分布式文件系統(tǒng)；教育資源

0 引 言

整合教育資源，有效合理地使用教育資源，有利于高等教育的發(fā)展。云計(jì)算時(shí)代的來(lái)臨，對(duì)于建立一個(gè)統(tǒng)一、開(kāi)放和靈活的教育資源平臺(tái)，實(shí)現(xiàn)資源共享，縮小教育信息化差距具有深遠(yuǎn)的影響。

把云存儲(chǔ)技術(shù)和方法，運(yùn)用到高校教育資源的整合建設(shè)中，有效地節(jié)約高校教育資源，并且提高高校資源的利用率。

1 云計(jì)算和云存儲(chǔ)的概述

1.1 云計(jì)算的概念和特點(diǎn)

云計(jì)算作為一種新型的服務(wù)交付和使用模式，是基于互聯(lián)網(wǎng)的計(jì)算方式，通過(guò)這種方式能夠向用戶提供所需的軟硬件平臺(tái)和網(wǎng)絡(luò)資源[1]。

(1)可擴(kuò)展性：為滿足用戶的增長(zhǎng)和需要，云計(jì)算的規(guī)?？梢詣?dòng)態(tài)擴(kuò)展和伸縮。

(2)虛擬化：用戶通過(guò)終端設(shè)備登錄到Internet中

的云服務(wù)平臺(tái)，即可得到所需要的服務(wù)，不需要知道資源的具體所在位置。云計(jì)算將虛擬化的異構(gòu)分布式的數(shù)字和物理資源，通過(guò)虛擬化技術(shù)統(tǒng)一存儲(chǔ)在數(shù)字中心。

(3)穩(wěn)定性：用戶可將自己的數(shù)字資源放心存儲(chǔ)在云服務(wù)平臺(tái)，云計(jì)算通過(guò)虛擬化技術(shù)將數(shù)據(jù)資源存儲(chǔ)在虛擬資源池中，有效地保證了數(shù)據(jù)的安全性。

(4)通用性：在云計(jì)算的支持下，可以支撐不同應(yīng)用的運(yùn)行，構(gòu)造出各種功能的應(yīng)用。

(5)運(yùn)行成本低：用其廉價(jià)的節(jié)點(diǎn)構(gòu)成云體系，通過(guò)云計(jì)算的特殊容錯(cuò)措施。云計(jì)算的通用性和公用性有效地提升了物理資源的利用率，由于云計(jì)算的自動(dòng)化管理，也使其管理中心數(shù)據(jù)的成本大幅降低。

1.2 云存儲(chǔ)的概念和特點(diǎn)

云存儲(chǔ)把存儲(chǔ)設(shè)備看作一個(gè)資源池，通過(guò)虛擬化技術(shù)，根據(jù)需要分配這些資源。云存儲(chǔ)將龐大的數(shù)據(jù)自動(dòng)拆分成若干個(gè)小數(shù)據(jù)塊，并進(jìn)行分布式存儲(chǔ)，最后，交由存儲(chǔ)資源組成的計(jì)算機(jī)集群系統(tǒng)[2]。

云存儲(chǔ)是將網(wǎng)絡(luò)不同類型的存儲(chǔ)設(shè)備，通過(guò)應(yīng)用軟件集合來(lái)協(xié)同工作，通過(guò)分布式文件系統(tǒng)、網(wǎng)格技術(shù)或集群應(yīng)用等功能，來(lái)共同對(duì)外提供的業(yè)務(wù)訪問(wèn)和數(shù)據(jù)存儲(chǔ)功能的系統(tǒng)[3]。

(1)可靠性：云存儲(chǔ)把數(shù)據(jù)備份到多個(gè)硬件存儲(chǔ)設(shè)備中，保證數(shù)據(jù)的安全可靠性。

(2)服務(wù)性：云當(dāng)中的數(shù)據(jù)是進(jìn)行分布式存儲(chǔ)的，能夠有效分擔(dān)存儲(chǔ)和訪問(wèn)過(guò)程中的壓力，提高系統(tǒng)性能。

(3)存儲(chǔ)效率：云存儲(chǔ)為避免個(gè)別服務(wù)器由于工作量過(guò)大造成的瓶頸問(wèn)題，能夠?qū)⒐ぷ髁亢芎玫鼐鶆蚍峙湓诓煌拇鎯?chǔ)服務(wù)器上，使存儲(chǔ)系統(tǒng)發(fā)揮最大的效能。

(4)硬件冗余：云存儲(chǔ)將文件復(fù)制并保存到不同的服務(wù)器，來(lái)解決硬件損壞所帶來(lái)的難題[4]。在硬件發(fā)生損壞時(shí)，云存儲(chǔ)知道文件具體存放的位置，而保持服務(wù)的繼續(xù)。

(5)管理性：將高校教育資源統(tǒng)一存儲(chǔ)在云中，方便教育資源的管理，節(jié)省了人力和物力[5]。

2 高校教育資源存在的主要問(wèn)題

(1)教育資源分布不均勻。對(duì)有充足資金提供支持的著名大學(xué)，就有更好的教育資源。地方院校存在設(shè)備老化，資金有限，資源不足等問(wèn)題。

(2)基礎(chǔ)設(shè)施的閑置。由于多方面原因，對(duì)多數(shù)高校在基礎(chǔ)設(shè)施購(gòu)入后，設(shè)備在多數(shù)情況下一直處于閑置和浪費(fèi)狀態(tài)，對(duì)設(shè)備本身也是一種浪費(fèi)[6]。同時(shí)，也提高了設(shè)備的運(yùn)行成本，浪費(fèi)電力資源、資金等。

(3)軟硬件投入的不均衡。這是多數(shù)高校教育資源建設(shè)過(guò)程中，所普遍存在面臨的共同問(wèn)題[7]。

(4)基礎(chǔ)設(shè)施重復(fù)購(gòu)置。因高校自身教育資源建設(shè)的需要等原因，重新建立或者更換陳舊的基礎(chǔ)設(shè)施，都需要花費(fèi)大量資金購(gòu)入新設(shè)施。

(5)教育資源共享程度低。各院校、職能部門之間的資源共享手段較單一，效率也比較低，跨部門、院系的教學(xué)和科研合作受制于教育資源管理水平。

3 云計(jì)算在資源平臺(tái)建設(shè)的優(yōu)勢(shì)

3.1 云計(jì)算技術(shù)

云計(jì)算構(gòu)建的目的在于同時(shí)為許多用戶服務(wù)。云計(jì)算系統(tǒng)運(yùn)用了很多技術(shù)，其中以虛擬化、數(shù)據(jù)存儲(chǔ)、云計(jì)算平臺(tái)管理最為關(guān)鍵。云計(jì)算系統(tǒng)用冗余存儲(chǔ)方式保證數(shù)據(jù)的可靠性，采用分布式存儲(chǔ)方式能有效存儲(chǔ)數(shù)據(jù)[8-9]。

(1)數(shù)據(jù)存儲(chǔ)技術(shù)。為滿足用戶需要，云計(jì)算系統(tǒng)并行為用戶提供服務(wù)。云計(jì)算的數(shù)據(jù)存儲(chǔ)技術(shù)需具有較高的傳輸率、吞吐率和分布式的特點(diǎn)。

(2)虛擬化技術(shù)。虛擬化技術(shù)能夠?qū)崿F(xiàn)底層硬件與軟件應(yīng)用之間的隔離，包括聚合模式(是把多個(gè)資源整合成一個(gè)虛擬資源)和裂分模式(是將單個(gè)資源劃分成多個(gè)虛擬資源)[10]。

(3)云計(jì)算平臺(tái)管理技術(shù)。云計(jì)算系統(tǒng)平臺(tái)管理能使多個(gè)服務(wù)器協(xié)同工作，快速發(fā)現(xiàn)系統(tǒng)故障和恢復(fù)系統(tǒng)，方便進(jìn)行工作部署和開(kāi)通，系統(tǒng)通過(guò)智能化、自動(dòng)化的方法達(dá)到可靠運(yùn)營(yíng)。

3.2 可行性分析

基于云計(jì)算的開(kāi)放性教育資源平臺(tái)的建設(shè)，率先邁出了重要的一步，云計(jì)算為高校教育資源的建設(shè)提供了重要機(jī)遇。其可行性分析如下：

(1)擴(kuò)大教育資源的共享度，避免資源重復(fù)建設(shè)，有效提高基礎(chǔ)設(shè)施利用率。由于云計(jì)算對(duì)終端設(shè)備支持跨平臺(tái)，可以隨時(shí)隨地使用網(wǎng)絡(luò)共享資源[11]。

(2)提高教育資源管理。通過(guò)分布式和并行計(jì)算，云計(jì)算對(duì)高校教育資源進(jìn)行分析管理、存儲(chǔ)和計(jì)算，高可靠性能夠保證開(kāi)放教育資源平臺(tái)的高效運(yùn)行。

4 云計(jì)算平臺(tái)

目前主要的云計(jì)算平臺(tái)有：微軟Azure平臺(tái)、Hadoop(Apache基金會(huì))、阿里巴巴的阿里云、AbiCloud(Abiquo公司)、谷歌Google AppEngine、Amazon的EC2和中國(guó)移動(dòng)的BigCloud等[6]。

文中采用Hadoop平臺(tái)，實(shí)現(xiàn)分布式文件系統(tǒng)，簡(jiǎn)稱HDFS。HDFS具有高容錯(cuò)性，使其可在廉價(jià)的硬件設(shè)備上部署，不僅提供了適合那些擁有大數(shù)據(jù)集的應(yīng)用平臺(tái)，而且還提供了高吞吐率的數(shù)據(jù)讀寫。

1)HDFS文件系統(tǒng)特點(diǎn)。

(1)HDFS源代碼是全球開(kāi)發(fā)者共同研究探討，是開(kāi)放的，不收取任何費(fèi)用。

(2)支持超大規(guī)模數(shù)據(jù)集。HDFS經(jīng)過(guò)Yahoo公司的驗(yàn)證，能夠支持大規(guī)模數(shù)據(jù)集合[11]。HDFS上的文件由幾GB到幾TB，甚至到PB級(jí)別大小不等。

(3)HDFS認(rèn)為硬件錯(cuò)誤不是異常，是常態(tài)。對(duì)每個(gè)部分都有出現(xiàn)錯(cuò)誤的可能性，HDFS的一個(gè)重要特點(diǎn)是它的故障檢測(cè)和快速自動(dòng)恢復(fù)[5]。

(4)具有很強(qiáng)的擴(kuò)展性。HDFS中的節(jié)點(diǎn)增加、退出時(shí)，都不會(huì)影響用戶的正常使用。

(5)HDFS容錯(cuò)能力很強(qiáng)。HDFS以塊序列形式存儲(chǔ)每一個(gè)文件，HDFS存儲(chǔ)眾多的文件，設(shè)計(jì)在集群中的大量機(jī)器之間。

(6)HDFS平臺(tái)移植性。HDFS運(yùn)行在Windows和Linux等操作平臺(tái)，是由Java語(yǔ)言實(shí)現(xiàn)的，具有很好的可移植性[12]。

(7)提高數(shù)據(jù)訪問(wèn)性能。HDFS設(shè)計(jì)不是用戶交互處理，從而提高了吞吐量，節(jié)約收發(fā)數(shù)據(jù)的時(shí)間，數(shù)據(jù)就不會(huì)在網(wǎng)絡(luò)上造成堵塞。

(8)HDFS簡(jiǎn)化文件訪問(wèn)模型。文件一旦被創(chuàng)建，就不能再進(jìn)行修改，以提高吞吐量，增加文件的一致性[13]。

2)HDFS系統(tǒng)架構(gòu)。

HDFS集群是一種典型的主從式架構(gòu)，是由多個(gè)DataNode的數(shù)據(jù)節(jié)點(diǎn)和一個(gè)NameNode的控制節(jié)點(diǎn)組成。HDFS群中還有一個(gè)SecondaryNameNode，它配合NameNode進(jìn)行檢查點(diǎn)(checkpoint)操作，不與DataNode或Client交互。NameNode將文件系統(tǒng)的元數(shù)據(jù)存儲(chǔ)在內(nèi)存之中，維護(hù)整個(gè)文件系統(tǒng)的命名空間，以控制和管理文件的相關(guān)操作，見(jiàn)圖1。

圖1 HDFS系統(tǒng)架構(gòu)示意圖

HDFS的系統(tǒng)架構(gòu)中，單一控制節(jié)點(diǎn)NameNode提供一個(gè)統(tǒng)一文件命名空間，負(fù)責(zé)對(duì)文件系統(tǒng)樹(shù)、目錄和文件等元數(shù)據(jù)信息的維護(hù)和管理；眾多數(shù)量的數(shù)據(jù)節(jié)點(diǎn)DataNode具有計(jì)算能力，管理自身攜帶的存儲(chǔ)資源，也具有存儲(chǔ)能力。在HDFS中，一個(gè)文件將被分成若干個(gè)數(shù)據(jù)塊，數(shù)據(jù)塊能夠通過(guò)DataNode相互之間進(jìn)行復(fù)制，這些數(shù)據(jù)塊被分散在不同的DataNode上存儲(chǔ)。DataNode與NameNode定期保持聯(lián)系，以便NameNode掌握自身的工作狀態(tài)[14]。由NameNode向DataNode發(fā)送控制指令，例如，對(duì)文件數(shù)據(jù)塊的創(chuàng)建、復(fù)制和刪除等操作。

5 云存儲(chǔ)在整合高校資源的體系結(jié)構(gòu)

5.1 云存儲(chǔ)體系結(jié)構(gòu)

云存儲(chǔ)的體系結(jié)構(gòu)由應(yīng)用層、平臺(tái)層、資源層組成，如圖2所示。

圖2 云計(jì)算體系結(jié)構(gòu)

(1)應(yīng)用層。主要為用戶提供相關(guān)軟件服務(wù)。

(2)資源層。主要是指基礎(chǔ)架構(gòu)的云計(jì)算服務(wù)，用戶可以基于這些服務(wù)來(lái)搭建自己的應(yīng)用，它把基礎(chǔ)架構(gòu)的各種功能都提供給用戶。這種服務(wù)隱藏物理資源的復(fù)雜性，可提供虛擬化的資源。

(3)平臺(tái)層。中間件服務(wù)為用戶提供可擴(kuò)展的事務(wù)處理中間件等服務(wù)。數(shù)據(jù)庫(kù)服務(wù)為用戶提供可擴(kuò)展的數(shù)據(jù)庫(kù)處理能力。

5.2 高校教育資源云結(jié)構(gòu)

首先建立云計(jì)算數(shù)據(jù)中心，整合高校教育資源，通過(guò)虛擬化技術(shù)來(lái)提高虛擬化資源池和硬件設(shè)備的利用率。文中采用Hadoop平臺(tái)實(shí)現(xiàn)數(shù)據(jù)傳輸[15]，具體如圖3所示。

圖3 高校教育資源云結(jié)構(gòu)

5.3 基于Hadoop平臺(tái)的高校教育資源網(wǎng)架構(gòu)

用戶想從高校教育資源網(wǎng)上得到自己要的資源，首先要向云計(jì)算服務(wù)的提供商發(fā)送請(qǐng)求，從云存儲(chǔ)里通過(guò)NameNode找到相應(yīng)Block的ID，并根據(jù)Block的ID獲得自己所要的數(shù)據(jù)資源，具體如圖4所示。

圖4 基于Hadoop平臺(tái)高校教育資源網(wǎng)的架構(gòu)

由圖4可知，高等學(xué)校相當(dāng)于DataNode，由所在高等學(xué)校管理員向云存儲(chǔ)服務(wù)系統(tǒng)發(fā)送數(shù)據(jù)，為節(jié)省高校服務(wù)器的存儲(chǔ)空間，由管理員決定是否刪除已發(fā)送的數(shù)據(jù)。NameNode把數(shù)據(jù)發(fā)送給云服務(wù)提供商的DataNode，同時(shí)由NameNode進(jìn)行記錄，來(lái)保存到映像文件里，由Secondary NameNode來(lái)對(duì)NameNode中的元數(shù)據(jù)進(jìn)行相應(yīng)備份，并把數(shù)據(jù)備份文件更新在NameNode中，保存最新的映射文件和事務(wù)日志。當(dāng)用戶需要數(shù)據(jù)時(shí)，要向云服務(wù)提供商發(fā)送數(shù)據(jù)請(qǐng)求，NameNode根據(jù)映射文件找到Block編號(hào)，發(fā)送給Client，DataNode數(shù)據(jù)根據(jù)用戶發(fā)送的對(duì)應(yīng)編號(hào)找到Block，最后，再把數(shù)據(jù)發(fā)送給客戶端。

可以通過(guò)Hadoop平臺(tái)模擬實(shí)現(xiàn)由高校向NameNode發(fā)送數(shù)據(jù)的傳輸過(guò)程，NameNode從HDFS拿到數(shù)據(jù)，該數(shù)據(jù)由DataNode上傳到HDFS。

在Hadoop API里涉及到如下接口：

public void mkdir(String src)

throws IOException{

//Create the given dir

//Throws:

//IOException

}

后臺(tái)代碼的編寫是實(shí)現(xiàn)云存儲(chǔ)平臺(tái)將數(shù)據(jù)文件上傳到HDFS集群上的關(guān)鍵。使用HDFS中的類DistributedFileSystem的copyFromLocalFile方法，使用小文件處理模塊，來(lái)調(diào)用HDFSAPI，將本地文件上傳到HDFS上，根據(jù)所給的文件路徑，實(shí)現(xiàn)文件由本地用戶上傳到HDFS集群。通過(guò)調(diào)用該類的相關(guān)方法來(lái)實(shí)現(xiàn)對(duì)元數(shù)據(jù)的相關(guān)操作?？蛻舳艘朐L問(wèn)HDFS集群，必須使用該類來(lái)實(shí)現(xiàn)相關(guān)文件操作[16]。

在云存儲(chǔ)平臺(tái)中，用戶根據(jù)需要下載或上傳文件。在Java中，通過(guò)下面的代碼，實(shí)現(xiàn)文件的上傳功能。

public static void uploadLocalFile2HDFS(String s, String d)

throws IOException

{

Configuration config = new Configuration();

FileSystem hdfs = FileSystem.get(config);

Path src = new Path(s);

Path dst = new Path(d);

hdfs. copyFromLocalFile(src, dst);

hdfs. close();

}

public static void uploadLocalFile2HDFS(String s, String d)

throws IOException

{

Configuration config = new Configuration();

FileSystem hdfs = FileSystem.get(config);

Path src = new Path(s);

Path dst = new Path(d);

hdfs. copyFromLocalFile(src, dst);

hdfs. close();

}

在Java中，通過(guò)如下代碼讀取文件：

public static byte[] readHDFSFile(String dst) throws Exception

{

Configuration conf = new Configuration();

FileSystem fs = FileSystem.get(conf);

Path path = new Path(dst);

if ( fs. exists(path) )

{

FSDataInputStream is = fs. open(path);

FileStatus stat = fs. getFileStatus(path);

byte[] buffer = new byte[Integer. parseInt(String. valueOf(stat. getLen()))];

is. readFully(0, buffer);

is. close();

fs. close();

return buffer;

}

else

{

throw new Exception(" the file is not found. ");

}

}

以上代碼，描寫了一個(gè)DataNode向NameNode發(fā)送數(shù)據(jù)和接收數(shù)據(jù)的過(guò)程，與高校向云服務(wù)提供商發(fā)送數(shù)據(jù)的基本原理相同。

6 結(jié)束語(yǔ)

云存儲(chǔ)作為一個(gè)新興的概念，運(yùn)用云存儲(chǔ)的技術(shù)和方法整合高校資源，能夠有效地提高高校資源的利用率，節(jié)約高校教育資源。構(gòu)建高校教育資源共享云平臺(tái)，結(jié)合云計(jì)算技術(shù)，對(duì)其體系架構(gòu)和實(shí)現(xiàn)進(jìn)行深入剖析，在Hadoop平臺(tái)下，實(shí)現(xiàn)數(shù)據(jù)的傳輸與存儲(chǔ)。該平臺(tái)的實(shí)現(xiàn)借助于現(xiàn)有較成熟的云平臺(tái)應(yīng)用實(shí)例，需要多租戶、分布式計(jì)算和虛擬化等多種技術(shù)之間的協(xié)同，構(gòu)建高校教育資源共享云服務(wù)平臺(tái)。此方案能夠?yàn)楦咝ＹY源的共建和共享提供一個(gè)新的思路。

[1] 朱曉蒙.基于云存儲(chǔ)的高校教育資源平臺(tái)[D].西安:西安科技大學(xué),2012.

[2] 沈丹丹，江 正.對(duì)高校教育信息資源共享策略的思考[J].軟件導(dǎo)刊·教育技術(shù),2010(11):80-82.

[3] 褚軍亮，宋立榮.云計(jì)算用于網(wǎng)絡(luò)科技信息資源整合服務(wù)初探[J].中國(guó)科技資源導(dǎo)刊,2010(6):42-47.

[4] 王文清，陳 凌.CALIS數(shù)字圖書館云服務(wù)平臺(tái)模型[J].大學(xué)圖書館學(xué)報(bào),2009，27(4):13-18.

[5] 高宏卿,汪 浩.基于云存儲(chǔ)的教學(xué)資源整合研究與實(shí)現(xiàn)[J].現(xiàn)代教育技術(shù),2010,20(3):97-101.

[6] 王勝川.基于云計(jì)算的存儲(chǔ)技術(shù)研究[J].石油工業(yè)計(jì)算機(jī)應(yīng)用,2011(2):53-55.

[7] 張建勛,古志民,鄭 超.云計(jì)算研究進(jìn)展綜述[J].計(jì)算機(jī)應(yīng)用研究,2010,27(2):429-430.

[8] 張 興.基于Hadoop的云儲(chǔ)存平臺(tái)的研究與實(shí)現(xiàn)[D].成都:電子科技大學(xué),2013.

[9] Likhterov B，Kopeika N S.Motion-Blurred image restoration using modified inverse all-pole filters[C]//Proceedings of SPIE.[s.l.]:[s.n.],2002:56-62．

[10] Chen Kang，Yin Yubing，Zheng Weimin．Teaching large seale data processing：the five-week course and two years’experiences[C]//Proc of the first ACM summit on computing education.Beijing，China:ACM，2008.

[11] White T．Hadoop The definitive guide[M]．[s.l.]:O’Reilly Media,Inc．,2009．

[12] Sultan N.Cloud computing for education:a new dawn?[J].International Journal of Information Management,2010,30(2):109-116.

[13] Holger Scroll Stefan Wind.Requirementsengineering for cloud computing[J].Journal of Communication and Computer,2011,8(9):707-715.

[14] Bordas M.Application of cloud computing in the public sector in hungary[J].Journal of US-China Public Administration,2012,9(5):534-551.

[15] 李偉林,陳 戍.廣播電視大學(xué)云計(jì)算教學(xué)平臺(tái)的構(gòu)建探索[J].湖南廣播電視大學(xué)學(xué)報(bào),2012(1):5-8.

[16] 喻 昕，王敬一．基于云計(jì)算技術(shù)的數(shù)字圖書館云服務(wù)平臺(tái)架構(gòu)研究[J]．情報(bào)科學(xué)，2011,29(7):1049-1053.

Study on Construction of Cloud Storage Platform for College Education Resources Based on Hadoop

WANG Feng-ling

(Department of Financial Information Engineering,Heilongjiang University of Finance and Economics,Harbin 150025,China)

The key for cloud computing in the integration of university education resources is the mass data storage.The technology and method of cloud storage can be used in the construction of university resources integration.It can improve the utilization rate of resources,save resources and improve the teaching level.In this paper,it expounds concept and characteristics of cloud computing and cloud storage,presenting the existing problems and advantages in the higher education resources,then simply introducing the mainstream cloud computing platform,and focusing on the characteristics and structure of HDFS Hadoop storage system.With the combination of cloud system structure based on the system structure,the cloud system structure of education in colleges and universities is designed to realize the higher education resource network framework based on Hadoop platform.The data transmission and storage is conducted by Hadoop platform.Experimental results show that the use of Hadoop cloud computing platform can effectively improve the speed of mass data processing,which provides a good solution for large-scale and efficient data processing.

cloud computing;Hadoop;cloud storage;HDFS;educational resources

2015-04-04

2015-07-07

時(shí)間：2016-02-

黑龍江省哲學(xué)社會(huì)科學(xué)年度規(guī)劃項(xiàng)目(13E106)

王鳳領(lǐng)(1976-)，男，教授，碩士，研究方向?yàn)橛?jì)算機(jī)應(yīng)用、教育技術(shù)學(xué)。

http://www.cnki.net/kcms/detail/61.1450.TP.20160218.1619.010.html

G64

A

1673-629X(2016)03-0176-05

10.3969/j.issn.1673-629X.2016.03.041