基于網(wǎng)絡(luò)分布式文件系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)路徑

白祎花

摘 要：?設(shè)計(jì)了一款網(wǎng)絡(luò)分布式文件系統(tǒng)。該系統(tǒng)基于軟件定義網(wǎng)絡(luò)，通過(guò)充分應(yīng)用其底層網(wǎng)絡(luò)動(dòng)態(tài)數(shù)據(jù)資源完成實(shí)時(shí)數(shù)據(jù)傳輸最佳路徑的獲取，使分布式文件系統(tǒng)的性能通過(guò)有效導(dǎo)引分布式文件系統(tǒng)中的大數(shù)據(jù)流而得以顯著提高。通過(guò)構(gòu)建的分布式文件系統(tǒng)原型對(duì)文件讀寫(xiě)及修復(fù)操作進(jìn)行測(cè)試，同傳統(tǒng)網(wǎng)絡(luò)環(huán)境相比，基于軟件定義網(wǎng)絡(luò)環(huán)境的分布式文件系統(tǒng)的讀寫(xiě)及修復(fù)能力均得以顯著提升，更適用于網(wǎng)絡(luò)數(shù)據(jù)流量大且異構(gòu)明顯的情況。

關(guān)鍵詞：?分布式文件系統(tǒng); 軟件定義網(wǎng)絡(luò); 實(shí)現(xiàn)路徑

中圖分類號(hào)： TP 316.4? ? ? 文獻(xiàn)標(biāo)志碼： A

Design and Implementation Path of Distributed File System Based on Network

BAI Yihua

（School of Administration， Shanxi Technical College of Finance & Economics， Xianyang， Shanxi 712000， China）

Abstract：

This paper mainly designs a network distributed file system. The system is based on the software-defined network. By fully applying the underlying network dynamic data resources to complete the acquisition of the best path for real-time data transmission， the performance of the distributed file system is effectively guided. The large data stream in the distributed file system is significantly improved. The file read and write and repair operations are tested by the built-in distributed file system prototype. Compared with the traditional network environment， the read/write and repair capabilities of the distributed file system based on the software-defined network environment are significantly improved， and are more suitable for the network. The case where the data traffic is large and the heterogeneity is obvious.

Key words：

distributed file system; software-defined network; implementation path

0 引言

快速發(fā)展的移動(dòng)互聯(lián)網(wǎng)帶來(lái)了網(wǎng)絡(luò)數(shù)據(jù)量的爆炸式增長(zhǎng)，在復(fù)雜龐大的數(shù)據(jù)中通常隱藏著巨大的潛在價(jià)值，需采用技術(shù)手段收集、分析、挖掘和處理以獲取有價(jià)值的信息，傳統(tǒng)的超級(jí)計(jì)算機(jī)已經(jīng)難以滿足處理海量數(shù)據(jù)的需求，增加了處理的時(shí)間和經(jīng)濟(jì)成本還，上層用戶需求對(duì)網(wǎng)絡(luò)架構(gòu)提出了更高的要求，在多個(gè)設(shè)備上存儲(chǔ)數(shù)據(jù)可有效解決這些問(wèn)題，隨著新型技術(shù)的普及應(yīng)用（包括云計(jì)算、虛擬化等）網(wǎng)絡(luò)中協(xié)議復(fù)雜程度不斷提高，對(duì)網(wǎng)絡(luò)服務(wù)質(zhì)量的要求隨著不斷提高。

1 現(xiàn)狀分析

提高底層網(wǎng)絡(luò)的智能程度以迅速感知并適應(yīng)上層應(yīng)用的變化，是提升應(yīng)用性能及用戶體驗(yàn)的有效手段，因此如何高效的管理分布式的存儲(chǔ)設(shè)備成為急需解決的問(wèn)題，構(gòu)建分布式文件系統(tǒng)使各存儲(chǔ)設(shè)備協(xié)同工作并將良好的數(shù)據(jù)訪問(wèn)性能提供給用戶成為研究的重點(diǎn)。通過(guò)了解和控制底層網(wǎng)絡(luò)狀況并在此基礎(chǔ)上對(duì)其核心操作算法進(jìn)行改進(jìn)是提升DFS性能的有效手段，將 SDN應(yīng)用于數(shù)據(jù)中心網(wǎng)絡(luò)中的研究較多，例如，對(duì)基于流的網(wǎng)絡(luò)監(jiān)控在OpenFlow網(wǎng)絡(luò)中的實(shí)現(xiàn)路徑的研究（包括吞吐率、延遲和數(shù)據(jù)包丟失等），實(shí)現(xiàn)細(xì)粒度的數(shù)據(jù)中心流量工程的建立;Google B4作為首個(gè)在實(shí)際系統(tǒng)中應(yīng)用軟件定義網(wǎng)絡(luò)，對(duì)在全球數(shù)據(jù)中心傳輸和備份數(shù)據(jù)及其對(duì)WAN 范圍流量工程的要求進(jìn)行了研究，并設(shè)計(jì)了基于SDN的負(fù)載均衡方案以便提供更好的云服務(wù)[1]。將網(wǎng)絡(luò)資源服務(wù)（可配置）利用軟件定義網(wǎng)絡(luò)提供給用戶，獲取實(shí)時(shí)網(wǎng)絡(luò)情況為大數(shù)據(jù)應(yīng)用創(chuàng)造有利條件。本文完成了基于軟件定義網(wǎng)絡(luò)環(huán)境的分布式文件系統(tǒng)原型的構(gòu)建，采用彈性樹(shù)修復(fù)（FTR）算法，針對(duì)異構(gòu)的存儲(chǔ)節(jié)點(diǎn)基于網(wǎng)絡(luò)編碼思想對(duì)實(shí)際存儲(chǔ)環(huán)境異構(gòu)性（包括數(shù)據(jù)存儲(chǔ)量和可用帶寬等）作為重點(diǎn)考慮。

2 系統(tǒng)設(shè)計(jì)

2.1 軟件定義網(wǎng)絡(luò)和分布式文件系統(tǒng)的連接

軟件定義網(wǎng)絡(luò)能夠高度抽象和解耦網(wǎng)絡(luò)（包括設(shè)備控制層、數(shù)據(jù)轉(zhuǎn)發(fā)層等），結(jié)合高度虛擬化的網(wǎng)絡(luò)硬件，實(shí)現(xiàn)對(duì)整個(gè)網(wǎng)絡(luò)通過(guò)軟件編程重新定義，能夠獲取動(dòng)態(tài)的網(wǎng)絡(luò)變化信息，有效彌補(bǔ)了傳統(tǒng)網(wǎng)絡(luò)的不足，提高了網(wǎng)絡(luò)的智能性和靈活性，SDN可實(shí)時(shí)監(jiān)控和管理網(wǎng)絡(luò)資源，將具有參考價(jià)值的信息提供給上層應(yīng)用，根據(jù)上層應(yīng)用要求實(shí)時(shí)配置網(wǎng)絡(luò)資源。由網(wǎng)絡(luò)文件系統(tǒng)發(fā)展而來(lái)的分布式文件系統(tǒng)（DFS）屬于網(wǎng)絡(luò)資源密集型應(yīng)用，具備強(qiáng)大的數(shù)據(jù)存儲(chǔ)能力及可擴(kuò)展性，分布式文件系統(tǒng)通常由多個(gè)存儲(chǔ)節(jié)點(diǎn)、一個(gè)以上的控制節(jié)點(diǎn)及運(yùn)行軟件構(gòu)成，整個(gè)數(shù)據(jù)中心受到分布式文件系統(tǒng)性能的直接影響。SDN的接口結(jié)構(gòu)同DFS均采用C/S架構(gòu)與集中控制易于結(jié)合使用，SDN具備底層網(wǎng)絡(luò)通信及自定義數(shù)據(jù)流向（以上層業(yè)務(wù)邏輯為依據(jù)）功能。DFS的節(jié)點(diǎn)同SDN網(wǎng)絡(luò)通過(guò)OpenFlow（SDN網(wǎng)絡(luò)的南向接口協(xié)議）交換機(jī)互連，由SDN Controller控制DFS產(chǎn)生的數(shù)據(jù)流量，OpenFlow交換機(jī)以流表（由多條由匹配字段及轉(zhuǎn)發(fā)操作構(gòu)成的流表項(xiàng)按優(yōu)先級(jí)排列組成）作為核心，在設(shè)計(jì)Controller和DFS的NameNode這兩個(gè)中央控制的節(jié)點(diǎn)時(shí)采用了結(jié)合式和分離式，結(jié)合式在同一邏輯節(jié)點(diǎn)上實(shí)現(xiàn)2個(gè)中心控制節(jié)點(diǎn)（作為不同的進(jìn)程），信息交換以進(jìn)程間通信的方式完成，然后通過(guò)分離式在兩個(gè)邏輯節(jié)點(diǎn)上實(shí)現(xiàn)將2個(gè)中心控制節(jié)點(diǎn)（位于不同的實(shí)體機(jī)）[2]。

2.2 SDN在分布式文件系統(tǒng)中的應(yīng)用

通過(guò)SDN 網(wǎng)絡(luò)對(duì)上層應(yīng)用進(jìn)行及時(shí)感知和反饋以優(yōu)化系統(tǒng)的性能，在SDN Controller通過(guò)一組 API即中間件（Middleware）實(shí)現(xiàn)對(duì)DFSNameNode的調(diào)用，包括底層網(wǎng)絡(luò)信息的獲取及按照指定路徑發(fā)送數(shù)據(jù)等，如圖1所示[3]。

本文的設(shè)計(jì)特點(diǎn)在于：（1）在后臺(tái)基于 SDN Controller對(duì)動(dòng)態(tài)更新的拓?fù)淞鲌D（底層網(wǎng)絡(luò)，包括連接信息、各節(jié)點(diǎn)信息、節(jié)點(diǎn)間的最短路徑信息等）進(jìn)行維護(hù)，以便真實(shí)反映出底層網(wǎng)絡(luò)的變化情況，每次查詢可在常數(shù)時(shí)間內(nèi)給出答復(fù)，同時(shí)提供相應(yīng)的API訪問(wèn)DFS;（2）OpenFlow協(xié)議中存在包括id及priority字段在內(nèi)的VLAN標(biāo)志，可實(shí)現(xiàn)包括傳統(tǒng)網(wǎng)絡(luò)隔離在內(nèi)的多種功能，通過(guò)匹配這2個(gè)字段對(duì)特定的流表項(xiàng)進(jìn)行指定，實(shí)現(xiàn)在保證已有網(wǎng)絡(luò)功能的基礎(chǔ)上特定流量按指定路徑的傳輸過(guò)程;（3）在分布式文件系統(tǒng)插入流表有超時(shí)機(jī)制，需通過(guò)計(jì)算估計(jì)超時(shí)時(shí)間，從節(jié)點(diǎn)A、B簡(jiǎn)的路徑經(jīng)過(guò)交換機(jī)即會(huì)下發(fā)對(duì)應(yīng)流表，通過(guò)本次傳輸時(shí)間和會(huì)話保護(hù)時(shí)間相加得到各流表項(xiàng)的超時(shí)時(shí)間;（4）本文分布式文件系統(tǒng)中包含控制流（包括指令交互流和元數(shù)據(jù)信息交換流，流量小而持續(xù)）和數(shù)據(jù)流（流量大而集中），在本文的系統(tǒng)中只對(duì)優(yōu)化路徑在數(shù)據(jù)流傳輸前進(jìn)行計(jì)算并下發(fā)流表;（5）本文設(shè)計(jì)包括提供控制流的通信功能的傳統(tǒng)基于IP 路由、提供系統(tǒng)數(shù)據(jù)流通信功能的基于SDN的智能路由兩種路由策略[4]。

2.3 系統(tǒng)架構(gòu)設(shè)計(jì)

本文所設(shè)計(jì)的分布式文件系統(tǒng)的整體架構(gòu)，如圖2所示。

SDN網(wǎng)絡(luò)結(jié)構(gòu)位于中間層，其主要功能在于底層網(wǎng)絡(luò)數(shù)據(jù)的傳輸;圍繞中間層部署的是DFS的各種角色節(jié)點(diǎn)，客戶端（Client）和數(shù)據(jù)節(jié)點(diǎn)（DN，以Rack為單位部署）通過(guò)OpenFlow交換機(jī)實(shí)現(xiàn)互連，各DataNode（位于DFS中）在數(shù)據(jù)中心中均同ToR交換機(jī)連接，若各交換機(jī)均支持OpenFlow協(xié)議則DFS中的網(wǎng)絡(luò)流量能夠運(yùn)行于SDN網(wǎng)絡(luò)中，即可實(shí)現(xiàn)監(jiān)控和管理等優(yōu)化效果，本文在同一臺(tái)服務(wù)器上實(shí)現(xiàn)NameNode（命名空間）和Controlle（控制點(diǎn)）的整合即ControlNode（控制節(jié)點(diǎn)）[5]。

3 網(wǎng)絡(luò)分布式文件系統(tǒng)主要功能的實(shí)現(xiàn)

（1） 讀文件操作

在 SDN 網(wǎng)絡(luò)上完成全部網(wǎng)絡(luò)通信過(guò)程，文件讀寫(xiě)的具體步驟為：首先由Client 將具體的一個(gè)讀文件請(qǐng)求發(fā)送至ControlNode，并由其負(fù)責(zé)對(duì)該文件信息進(jìn)行查詢完成數(shù)據(jù)傳輸?shù)钠鹗己湍康墓?jié)點(diǎn)的確定，在此基礎(chǔ)上完成最佳路徑的計(jì)算及流表的下發(fā)，實(shí)現(xiàn)路徑的部署;接下來(lái)ControlNode將處理完的需讀取文件的信息返回給用戶Client，提示文件可開(kāi)始讀取;然后Client將數(shù)據(jù)傳輸請(qǐng)求發(fā)送給目標(biāo) DataNode ，DataNode完成處理后將數(shù)據(jù)返回給Client ，以剛建立的路徑作為其數(shù)據(jù)傳輸路徑;接收到數(shù)據(jù)后Client對(duì)其進(jìn)行解碼、校驗(yàn)后將讀取成功標(biāo)志返回至ControlNode，ControlNode據(jù)此將本次建立的路徑刪除[6]。

（2） 寫(xiě)文件操作

結(jié)合SDN 的文件上傳功能，寫(xiě)文件的具體步驟為：ControlNode在接收到由Client發(fā)送的寫(xiě)文件請(qǐng)求后，據(jù)此完成目標(biāo)存儲(chǔ)節(jié)點(diǎn)的確定及用戶同目標(biāo)節(jié)點(diǎn)間最佳路徑的計(jì)算，并向交換機(jī)下發(fā)流表;接下來(lái)Client會(huì)接收到ControlNode返回的成功準(zhǔn)備路徑標(biāo)志，并在此基礎(chǔ)上完成同目標(biāo)存儲(chǔ)節(jié)點(diǎn)間連接的建立以有效滿足數(shù)據(jù)傳輸需求;數(shù)據(jù)中心中接收到Client數(shù)據(jù)傳輸?shù)氖讉€(gè)存儲(chǔ)節(jié)點(diǎn)后，接下來(lái)通過(guò)Pipeline形式的運(yùn)用完成數(shù)據(jù)到其他節(jié)點(diǎn)的傳輸過(guò)程;ControlNode在接收到成功寫(xiě)數(shù)據(jù)標(biāo)志后（由目標(biāo)存儲(chǔ)節(jié)點(diǎn)返回）對(duì)新添加的流表項(xiàng)進(jìn)行刪除操作[7]。

（3） 文件修復(fù)操作

本文文件系統(tǒng)采用了FTR 算法對(duì)文件進(jìn)行修復(fù)，文件修復(fù)的具體步驟為：完成一條修復(fù)任務(wù)的讀取后（位于修復(fù)隊(duì)列中），修復(fù)的目標(biāo)節(jié)點(diǎn)（newcomer）的選擇及數(shù)據(jù)提供節(jié)點(diǎn)的確定均通過(guò) ControlNode完成從而計(jì)算出最佳路徑并下發(fā)流表，在此基礎(chǔ)上完成對(duì)數(shù)據(jù)傳輸路徑的部署;參與修復(fù)的各節(jié)點(diǎn)會(huì)接收到來(lái)自ControlNode的開(kāi)始修復(fù)消息，據(jù)此完成實(shí)際的數(shù)據(jù)傳輸和計(jì)算過(guò)程;最終ControlNode會(huì)接收到來(lái)自Newcomer的修復(fù)完成消息，然后對(duì)建立的路徑進(jìn)行刪除操作[8]。

4 系統(tǒng)測(cè)試及結(jié)果分析

4.1 實(shí)驗(yàn)設(shè)計(jì)

為了測(cè)試本文所設(shè)計(jì)的分布式文件系統(tǒng)的有效性，通過(guò)一個(gè)系統(tǒng)原型的建立與實(shí)現(xiàn)，客戶端和數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)采用PC四臺(tái)（搭載Ubuntu系統(tǒng)），具體配置如表1所示。

系統(tǒng)主要由ControlNode（包括Floodlight Controller和NameNode）、SDN網(wǎng)絡(luò)、DataNode部分及Client構(gòu)成，網(wǎng)絡(luò)的動(dòng)態(tài)拓?fù)淞鲌D位于對(duì)底層OpenFlow交換機(jī)起到控制作用的Controller節(jié)點(diǎn)上，SDN網(wǎng)絡(luò)使用輕量級(jí)的網(wǎng)絡(luò)仿真平臺(tái)Mininet（含有強(qiáng)大的API，支持OpenFlow協(xié)議）搭建實(shí)現(xiàn)虛擬較為真實(shí)的網(wǎng)絡(luò)環(huán)境，Mininet的VM使用PC運(yùn)行。將文件的讀、寫(xiě)、修復(fù)（FTR 算法）操作作為主要測(cè)試對(duì)象完成實(shí)驗(yàn)[9]。

4.2 實(shí)驗(yàn)結(jié)果分析

測(cè)試文件讀寫(xiě)時(shí)，基于IP的路由只以鏈路連接信息為依據(jù)計(jì)算最短路徑路由，基于可用帶寬的路由的最短路徑根據(jù)鏈路上帶寬的權(quán)值計(jì)算。帶寬隨機(jī)分布于指定范圍，多次測(cè)量文件取平均值，針對(duì)帶寬差異性的測(cè)試結(jié)果，如圖3所示。

每隔十秒微小改動(dòng)網(wǎng)絡(luò)的帶寬，多次測(cè)量大小相同的文件取平均值，采集拓?fù)湫畔㈩l率對(duì)文件讀寫(xiě)的影響情況如圖4所示。

測(cè)試文件修復(fù)時(shí)，針對(duì)不同的參數(shù)對(duì)比了FTR 算法和 STAR算法，如圖5所示，證明了FTR算法更適用于SDN提供的網(wǎng)絡(luò)數(shù)據(jù)[10]。

實(shí)驗(yàn)結(jié)果表明使用SDN提供的底層網(wǎng)絡(luò)數(shù)據(jù)使分布式文件系統(tǒng)的讀寫(xiě)性能得以顯著提高，計(jì)算最短路徑和下發(fā)流表所需時(shí)間對(duì)系統(tǒng)不產(chǎn)生影響的同時(shí)提高了系統(tǒng)效率，每次只需查詢和少量的計(jì)算，文件修復(fù)的測(cè)試對(duì)比結(jié)果表明在網(wǎng)絡(luò)環(huán)境異構(gòu)情況下使用FTR算法可顯著較少數(shù)據(jù)修復(fù)時(shí)間，證明了基于SDN的分布式文件系統(tǒng)的處理效率得以顯著提升，能夠達(dá)到控制整個(gè)網(wǎng)絡(luò)的目的。

5 總結(jié)

傳統(tǒng)分布式文件系統(tǒng)對(duì)底層網(wǎng)絡(luò)考慮不足，降低了其讀寫(xiě)性能及文件修復(fù)性能，本文通過(guò)設(shè)計(jì)分布式文件系統(tǒng)原型有效實(shí)現(xiàn)了讀/寫(xiě)文件和文件修復(fù)的基本操作功能，以SDN

的底層網(wǎng)絡(luò)信息為依據(jù)優(yōu)化算法使系統(tǒng)性能得以顯著提升，實(shí)驗(yàn)測(cè)試結(jié)果表明基于軟件定義網(wǎng)絡(luò)環(huán)境的分布式文件系統(tǒng)的讀寫(xiě)及修復(fù)能力均得以顯著提升，具有較高的實(shí)際應(yīng)用價(jià)值。

參考文獻(xiàn)

[1] 林朝熾.基于Elastic Stack的分布式數(shù)據(jù)采集與分析平臺(tái)探索[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2019（2）：378-379.

[2] 陳付梅，韓德志，畢坤，等.大數(shù)據(jù)環(huán)境下的分布式數(shù)據(jù)流處理關(guān)鍵技術(shù)探析[J].計(jì)算機(jī)應(yīng)用，2017（3）：620-627.

[3] Sun Lili， Yang Yang， Xiong Zenggang， et al. Intelligent Block Placement Strategy in Heterogeneous Hadoop Clusters[J]. Journal of Convergence Information Technology， 2013（8）：1142-1150.

[4] S R Balasundaram， S Vengadeswaran. An Optimal Data Placement Strategy for Improving System Performance of Massive Data Applications Using Graph Clustering[J].International Journal of Ambient Computing and Intelligence， 2018， 9（3）：15-30.

[5] Xiong Fu， Wenjie Liu， Yeliang Cang， et al. Optimized Data Replication for Small Files in Cloud Storage Systems[J]. Mathematical Problems in Engineering， 2016（8）：837-894.

[6] 劉澤華，趙文琦，張楠.基于Scrapy技術(shù)的分布式爬蟲(chóng)的設(shè)計(jì)與優(yōu)化[J]. 信息技術(shù)與信息化， 2018（Z1）：121-126.

[7] 徐時(shí)芳，羅曉賓，陳陽(yáng)華.基于Spark的分布式大數(shù)據(jù)分析建模系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].現(xiàn)代電子技術(shù)，2018（20）：172-175.

[8] 廖先富，劉俊男.基于Django與HDFS的分布式三維模型文件數(shù)據(jù)庫(kù)構(gòu)建[J].電子技術(shù)與軟件工程，2018（18）：189-191.

[9] 鄒振宇，鄭烇，王嵩，等.基于HDFS的云存儲(chǔ)系統(tǒng)小文件優(yōu)化方案[J]. 計(jì)算機(jī)工程， 2016（3）：34-40.

[10] 袁麗娜.HDFS數(shù)據(jù)副本均衡放置策略的改進(jìn)[J]. 計(jì)算機(jī)科學(xué)， 2017（S2）：397-400.

（收稿日期： 2019.07.10）