分布式網(wǎng)絡(luò)文件系統(tǒng)的研究

黃 澤

(1.廣西師范大學(xué) 計息機(jī)與信息工程學(xué)院，廣西 桂林 541004;

2.河池學(xué)院 計算機(jī)與信息科學(xué)系，廣西 宜州 546300)

分布式網(wǎng)絡(luò)文件系統(tǒng)的研究

黃 澤1，2

(1.廣西師范大學(xué) 計息機(jī)與信息工程學(xué)院，廣西 桂林 541004;

2.河池學(xué)院 計算機(jī)與信息科學(xué)系，廣西 宜州 546300)

分布式網(wǎng)絡(luò)文件系統(tǒng)能夠?qū)⑽募Y源有效整合，實現(xiàn)文件資源的存儲與傳輸。首先對文件系統(tǒng)進(jìn)行了需求分析，接著重點探討了分布式網(wǎng)絡(luò)文件系統(tǒng)的設(shè)計與實現(xiàn)，涉及到:文件存儲與傳輸?shù)脑O(shè)計、用戶空間服務(wù)的實現(xiàn)以及文件視圖終端的實現(xiàn)。

分布式網(wǎng)絡(luò);文件系統(tǒng);存儲;傳輸

0 引言

通常情況下，分布式網(wǎng)絡(luò)文件系統(tǒng)都是將文件保存到服務(wù)器，并且能夠?qū)崿F(xiàn)客戶終端像訪問本地一樣進(jìn)行有效訪問。服務(wù)需要擁有大量的存儲空間，如果網(wǎng)絡(luò)中的每個客戶終端都具備這樣一個大的存儲空間，顯然投資太大，并不現(xiàn)實。因此，當(dāng)有一些用戶進(jìn)行文檔共享時，分布式網(wǎng)絡(luò)文件系統(tǒng)的優(yōu)越性就體現(xiàn)出來了?？梢姡芯糠植际骄W(wǎng)絡(luò)文件系統(tǒng)，可以將網(wǎng)絡(luò)上分散的文件資源整合成一個空間，是一個具有諸多好處的工作。

1 分布式網(wǎng)絡(luò)文件系統(tǒng)的需求分析

針對分布式網(wǎng)絡(luò)文件系統(tǒng)，用戶并不關(guān)注相關(guān)資源保存在哪個空間，他們只關(guān)注資源的正常上傳以及下載即可。系統(tǒng)用戶的直接需求就是要保證文件資源的持久性，其次要保證文件資源瀏覽的完整性。

對于分布式網(wǎng)絡(luò)文件系統(tǒng)的存儲而言，用戶的需求主要對應(yīng)于各類操作，包括:瀏覽、建立、獲取等等。系統(tǒng)應(yīng)該為每個用戶提供一個虛擬的數(shù)據(jù)空間，這些操作就可以與數(shù)據(jù)空間的操作對應(yīng)起來。而系統(tǒng)傳輸主要是指用戶與文件系統(tǒng)之間的數(shù)據(jù)通信，用戶可以根據(jù)文件名或者文件源地址等關(guān)鍵參數(shù)，實現(xiàn)文件的定位以及傳輸，該用戶還應(yīng)該可以實現(xiàn)整個傳輸流程的監(jiān)控。

2 分布式網(wǎng)絡(luò)文件系統(tǒng)的設(shè)計與實現(xiàn)

2.1 系統(tǒng)的設(shè)計原則

針對系統(tǒng)的存儲，設(shè)計原則主要體現(xiàn)在可用性、透明性以及完整性三個方面。其中，可用性就是用戶對文件系統(tǒng)資源的可達(dá)性;透明性是指用戶不需要關(guān)心存儲技術(shù)的細(xì)節(jié)，而只需實現(xiàn)上傳或者下載操作的正常完成;完整性就是用戶定位的文件資源是可獲取、可操作的。

針對系統(tǒng)的傳輸，設(shè)計原則主要體現(xiàn)在穩(wěn)定性以及高效性兩個方面。其中，穩(wěn)定性就是保證用戶發(fā)出傳輸任務(wù)都可以正常完成，有故障出現(xiàn)時，可以通過斷點續(xù)傳方式進(jìn)行任務(wù)的恢復(fù)。高效性是在穩(wěn)定性基礎(chǔ)上的一個提升要求，保證更高的傳輸速率。

2.2 系統(tǒng)主要模塊的設(shè)計

分布式網(wǎng)絡(luò)文件系統(tǒng)涉及到的功能主要是存儲與傳輸，針對這兩大功能，本文通過設(shè)計若干個子功能模塊保證文件系統(tǒng)工作流程的正常實現(xiàn)，涉及到:元數(shù)據(jù)管理模塊、存儲資源管理模塊、策略分析模塊、可靠傳輸終端模塊、文件視圖終端模塊等，如圖1所示。

圖1 分布式網(wǎng)絡(luò)文件系統(tǒng)的功能模塊圖

2.3 系統(tǒng)文件存儲的流程設(shè)計

分布式網(wǎng)絡(luò)文件系統(tǒng)的文件存儲工作流程設(shè)計如下描述:

首先，文件系統(tǒng)終端直接向系統(tǒng)元數(shù)據(jù)管理模塊發(fā)出文件創(chuàng)建的請求;管理模塊接收到請求，將會創(chuàng)建該文件和相關(guān)的目錄關(guān)系，同時將這個文件的狀態(tài)設(shè)置成“正在傳輸”;

其次，元數(shù)據(jù)管理模塊向文件系統(tǒng)存儲服務(wù)器發(fā)出資源返回的請求，存儲模塊做出響應(yīng)，并向策略分析模塊發(fā)出分析資源的請求，資源請求分析好后，傳送至元數(shù)據(jù)管理模塊以及策略分析模塊;

接著，元數(shù)據(jù)管理模塊生成對應(yīng)的傳輸任務(wù)，并傳遞到文件系統(tǒng)終端，文件系統(tǒng)終端將該傳輸任務(wù)進(jìn)行轉(zhuǎn)發(fā)至可靠傳輸終端，傳輸成功后返回確認(rèn)信息;

最后，文件系統(tǒng)終端將文件狀態(tài)進(jìn)行更新，并反饋給元數(shù)據(jù)管理模塊，并進(jìn)行最后的確認(rèn)操作即可。

2.4 系統(tǒng)文件傳輸?shù)牧鞒淘O(shè)計

分布式網(wǎng)絡(luò)文件系統(tǒng)的文件傳輸工作流程設(shè)計如下描述:

首先，文件視圖終端將文件傳輸請求發(fā)送到元數(shù)據(jù)管理模塊，元數(shù)據(jù)管理模塊將相關(guān)的下載副本資源轉(zhuǎn)送到策略分析模塊進(jìn)行分析;

其次，策略分析模塊經(jīng)過分析后生成副本列表后，元數(shù)據(jù)管理模塊生成傳輸任務(wù)的計劃，并反饋給文件視圖終端;

最后，文件視圖終端直接將傳輸任務(wù)計劃傳給可靠傳輸終端，傳輸完成之后反饋成功確認(rèn)操作即可。

2.5 用戶空間服務(wù)的實現(xiàn)

針對分布式網(wǎng)絡(luò)文件系統(tǒng)中的用戶空間服務(wù)，本文是通過MySQL實現(xiàn)的。MySQL中的每一個文件都與一條記錄對應(yīng)起來，而記錄中的每個字段都有著對應(yīng)的特殊含義。比如:File ID表示文件的標(biāo)識，Parenet ID用來表示文件在建立樹結(jié)構(gòu)時父節(jié)點的一些信息，通過這個字段可以很容易檢索到相關(guān)的倒查節(jié)點。File Name用來表示文件具體的名字。File Path用來保存相關(guān)的路徑信息，可以涉及到根目錄直至節(jié)點。Is Dir則是一個布爾量，有兩種狀態(tài)，分別表示文件還是文件夾。如果一個根節(jié)點的File Name是root，分布式網(wǎng)絡(luò)文件系統(tǒng)可以通過自上而下的方式，從Parent ID進(jìn)行檢索，并建立對應(yīng)的文件樹型，文件樹型如圖2所示。

圖2 文件系統(tǒng)的結(jié)構(gòu)示意圖

2.6 文件視圖終端的實現(xiàn)

文件視圖終端如果在獲取文件樹結(jié)構(gòu)時，都生成數(shù)據(jù)處理的記錄樹，那顯然會造成很大的性能損耗，因此本文通過將文件樹結(jié)構(gòu)信息暫保存至客戶端，這樣就可以只維護(hù)一些暫存信息即可。在具體的實現(xiàn)過程中，本文借助于XML文檔來暫存樹結(jié)構(gòu)，如下描述:

3 總結(jié)

隨著分布式網(wǎng)絡(luò)的高速發(fā)展，它不再是一個步止于象牙塔的學(xué)術(shù)構(gòu)想，而已經(jīng)將其觸角伸向技術(shù)領(lǐng)域、服務(wù)領(lǐng)域，不局限于初始的應(yīng)用背景科學(xué)計算，將分布式網(wǎng)絡(luò)推向網(wǎng)絡(luò)服務(wù)是大勢所趨。而此時作為分布式網(wǎng)絡(luò)架構(gòu)底層的數(shù)據(jù)模塊逐漸向一個相對自治，能夠在提供他模塊數(shù)據(jù)功能的同時提供終端用戶穩(wěn)定高效數(shù)據(jù)服務(wù)的獨立系統(tǒng)轉(zhuǎn)變。本文主要設(shè)計了一個分布式網(wǎng)絡(luò)環(huán)境下的分布式文件系統(tǒng)，有效保證了文件系統(tǒng)資源的有效存儲以及傳輸。

［1］杜松.一種基于局域網(wǎng)絡(luò)的分布式文件系統(tǒng)［J］.微計算機(jī)信息，2008，(27).

［2］鮑捷.分布式網(wǎng)絡(luò)計算機(jī)域的一種系統(tǒng)模型及其文件系統(tǒng)［J］.計算機(jī)應(yīng)用與軟件，2006，(5).

［3］林木輝.基于可擴(kuò)展、高性能分布式文件系統(tǒng)的網(wǎng)絡(luò)存儲方式的研究與實現(xiàn)［J］.福建電腦，2010，(9).

［4］吳英.基于網(wǎng)絡(luò)軟RAID的分布式文件系統(tǒng)的設(shè)計與實現(xiàn)［J］.計算機(jī)工程與應(yīng)用，2005，(16).

A Research into the File System Based on Distributed Network

HUANG Ze1，2
(1.School of Computer and Information Engineering，Guangxi Normal University，Guilin，Guangxi 541004;
2.Department of Computer and Information Science，Hechi University，Yizhou，Guangxi 546300，China)

The file system based on distributed network can integrate the file resources，and achieve the storage and transmission of file resources.The paper first analyzes the requirement of the system，then designs and implements the file system based on distributed network，which involves the design of file storage and transmision，the implementation of user space service and the realization of file view terminal.

distributed network;file system;storage;transimssion

TP316.4

A

1672－9021(2011)02－0046－03

黃澤(1980－)，男(壯族)，廣西貴港人，河池學(xué)院計算機(jī)與信息科學(xué)系講師，主要研究方向:計算機(jī)網(wǎng)絡(luò)，計算機(jī)輔助教學(xué)。

2010－03－10

［責(zé)任編輯 劉景平］