分布式儲存中的網(wǎng)絡(luò)通信探究

孫林檀，韓 維，呂靜賢

（國家電網(wǎng)有限公司客戶服務(wù)中心信息運維中心，天津 300300）

在分布式儲存技術(shù)實際應(yīng)用期間，需要將各儲存節(jié)點利用網(wǎng)絡(luò)連接方式構(gòu)建成統(tǒng)一集群，向外部提供可靠高性能服務(wù)，分布式儲存實則是一種網(wǎng)絡(luò)儲存方式，實際應(yīng)用期間效果也會受到網(wǎng)絡(luò)環(huán)境影響。為最大限度發(fā)揮出分布式儲存技術(shù)在網(wǎng)絡(luò)通信優(yōu)化中的積極作用，還需要結(jié)合分布式網(wǎng)絡(luò)通信系統(tǒng)特征，對分布式儲存技術(shù)以及網(wǎng)絡(luò)通信進(jìn)行不斷優(yōu)化與完善。

1 概述分布式儲存技術(shù)

相較于普通集中式儲存技術(shù)而言，分布式儲存技術(shù)并不是將數(shù)據(jù)儲存在某個或多個特定節(jié)點上，借助網(wǎng)絡(luò)連接各磁盤空間，將分散的儲存資源構(gòu)成虛擬儲存設(shè)備，使設(shè)備分散儲存到網(wǎng)絡(luò)平臺各角落。

海量數(shù)據(jù)依照結(jié)構(gòu)可以分為結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)三種類型，不同數(shù)據(jù)應(yīng)用分布式儲存技術(shù)的要點不同。

1.1 結(jié)構(gòu)化數(shù)據(jù)分布式儲存

結(jié)構(gòu)化數(shù)據(jù)是一種用戶定義的數(shù)據(jù)模型，包括一系列屬性，每個屬性都有一個數(shù)據(jù)類型儲存在關(guān)系數(shù)據(jù)庫內(nèi)，可用二維表結(jié)構(gòu)表達(dá)數(shù)據(jù)內(nèi)容。大部分系統(tǒng)均為結(jié)構(gòu)化數(shù)據(jù)，在單一節(jié)點數(shù)據(jù)庫無法支撐大量數(shù)據(jù)的情況下，可使用垂直擴(kuò)展與水平擴(kuò)展方式。

垂直擴(kuò)張就是依照功能劃分?jǐn)?shù)據(jù)庫，將不同功能數(shù)據(jù)儲存在不同數(shù)據(jù)庫中，使大數(shù)據(jù)庫被切分為多個小數(shù)據(jù)庫，從而實現(xiàn)數(shù)據(jù)庫拓展目標(biāo)。在企業(yè)網(wǎng)絡(luò)系統(tǒng)架構(gòu)中，總功能需要由多個核功能模塊組成，不同功能模塊的數(shù)據(jù)對應(yīng)到數(shù)據(jù)庫中會以一張或多張表的形式儲存。各功能模塊之間交互越少就越統(tǒng)一，系統(tǒng)耦合度就越低，更容易實現(xiàn)垂直切分。

水平擴(kuò)展主要就是將數(shù)據(jù)水平切分為數(shù)據(jù)行，使表中的某些行切分到數(shù)據(jù)庫中，另外某些行切分到其他數(shù)據(jù)庫中。為了更加容易地判別不同行數(shù)據(jù)切分?jǐn)?shù)據(jù)庫種類，切分工作需要依照某種特定規(guī)則進(jìn)行，如某個數(shù)字字段范圍、某個時間類型字段范圍。

1.2 非結(jié)構(gòu)化數(shù)據(jù)分布式儲存技術(shù)

不方便使用數(shù)據(jù)庫二維邏輯表表現(xiàn)的數(shù)據(jù)就是非結(jié)構(gòu)化數(shù)據(jù)，具體可包括所有格式辦公文檔、文本、圖片、各類報表等。分布式文檔需要以GFS為主要構(gòu)架。

具體而言，GFS構(gòu)架主要由客戶端、主服務(wù)器、數(shù)據(jù)模塊組成。其中，客戶端是GFS提供應(yīng)用程序的訪問接口，是一組專用接口，以庫文件形式提供。應(yīng)用程序直接調(diào)用此些庫函數(shù)，并將該庫鏈接在一起；主服務(wù)器是GFS的管理節(jié)點，需要儲存與數(shù)據(jù)文件相關(guān)的元數(shù)據(jù)，如命名空間等；數(shù)據(jù)塊服務(wù)器負(fù)責(zé)數(shù)據(jù)儲存工作，借助GFC系統(tǒng)，將文件依照固定大小分類。GFS采用副本方式實現(xiàn)容錯目標(biāo)，每一個數(shù)據(jù)塊中均有多個儲存副本，數(shù)據(jù)塊的數(shù)目直接決定了GFS規(guī)模。

1.3 半結(jié)構(gòu)化數(shù)據(jù)分布式儲存技術(shù)

半結(jié)構(gòu)化數(shù)據(jù)介于結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)之間，半結(jié)構(gòu)化數(shù)據(jù)模型具有結(jié)構(gòu)性特征，但面向的對象更為靈活。半結(jié)構(gòu)數(shù)據(jù)模型不同于傳統(tǒng)數(shù)據(jù)庫模式，不適用于傳統(tǒng)關(guān)系型數(shù)據(jù)庫儲存，需要使用非關(guān)系型、分布式、輕量級數(shù)據(jù)儲存系統(tǒng)。

借助松耦合類型、可擴(kuò)展數(shù)據(jù)模式對數(shù)據(jù)進(jìn)行邏輯建模，不是使用固定關(guān)系模式構(gòu)建數(shù)據(jù)模型。遵循CAP定理開展跨多節(jié)點數(shù)據(jù)分布模型設(shè)計工作，支持水平伸縮，滿足多數(shù)據(jù)中心與動態(tài)供應(yīng)要求。

分布式儲存技術(shù)能夠應(yīng)用在磁盤與內(nèi)存中，從根本上提升數(shù)據(jù)持久化能力，實現(xiàn)可熱拔插定制儲存目標(biāo)。

2 分布式儲存中網(wǎng)絡(luò)通信建設(shè)現(xiàn)狀

分布式儲存技術(shù)應(yīng)用過程中，傳統(tǒng)網(wǎng)絡(luò)各儲存節(jié)點之間的網(wǎng)絡(luò)互聯(lián)性很容易出現(xiàn)網(wǎng)絡(luò)瓶頸。同時，分布式儲存技術(shù)在數(shù)據(jù)傳輸環(huán)節(jié)也容易出現(xiàn)延時問題，導(dǎo)致網(wǎng)絡(luò)開銷進(jìn)一步增大。

隨著網(wǎng)絡(luò)帶寬高速增長，軟件上的消耗成為制約分布式儲存技術(shù)應(yīng)用的重要原因之一，可以借助CPU高性能傳輸與遠(yuǎn)程直接數(shù)據(jù)儲存方式，打造分布式儲存網(wǎng)絡(luò)通信。

遠(yuǎn)程直接數(shù)據(jù)儲存主要就是指網(wǎng)卡完全繞過CPU，實現(xiàn)兩個服務(wù)器之間的內(nèi)存數(shù)據(jù)交換。遠(yuǎn)程直接數(shù)據(jù)技術(shù)是一種硬件實現(xiàn)網(wǎng)絡(luò)傳輸?shù)募夹g(shù)手段，能夠大幅度提升網(wǎng)絡(luò)傳輸效率，幫助網(wǎng)絡(luò)完成密集性業(yè)務(wù)，如分布式儲存、分布式數(shù)據(jù)庫構(gòu)建，控制網(wǎng)絡(luò)數(shù)據(jù)傳輸時延，獲得更高的吞吐量。

傳統(tǒng)遠(yuǎn)程直接數(shù)據(jù)技術(shù)的硬件成本高，需要使用高性能計算機(jī)，實際應(yīng)用范圍較小。隨著現(xiàn)階段網(wǎng)絡(luò)技術(shù)發(fā)展速度不斷加快，以太網(wǎng)上就可以靈活使用遠(yuǎn)程直接數(shù)據(jù)傳輸方式。

現(xiàn)有遠(yuǎn)程直接數(shù)據(jù)儲存在以太網(wǎng)上需要遵循特定的傳輸協(xié)議，相較于傳統(tǒng)網(wǎng)絡(luò)協(xié)議而言，UDP協(xié)議更加快速，占CPU資源較少，也不會利用滑動窗口、應(yīng)答機(jī)制實現(xiàn)數(shù)據(jù)可靠傳輸。在數(shù)據(jù)出現(xiàn)丟包情況下，可以借助上層應(yīng)用設(shè)備檢查并重傳，一定程度影響到，分布式儲存技術(shù)實際應(yīng)用期間的數(shù)據(jù)傳輸效率。

3 分布式儲存中遠(yuǎn)程直接數(shù)據(jù)儲存技術(shù)應(yīng)用問題

在遠(yuǎn)程直接數(shù)據(jù)儲存技術(shù)使用過程中，需要使用程序代碼配合。同時，遠(yuǎn)程直接數(shù)據(jù)儲存操作語義更加貼近硬件實現(xiàn)的語意形態(tài)，與傳統(tǒng)網(wǎng)絡(luò)形態(tài)相比存在較大差異，不能夠直接應(yīng)用于儲存接口，且遠(yuǎn)程直接數(shù)據(jù)儲存的編程更為復(fù)雜，具有異步性特征。現(xiàn)有網(wǎng)絡(luò)通信開發(fā)者沒有掌握適配遠(yuǎn)程直接數(shù)據(jù)儲存技術(shù)的相關(guān)操作技能，在編寫全新儲存原生應(yīng)用程序期間的難度更大。

4 分布式儲存在網(wǎng)絡(luò)通信中的實際應(yīng)用

4.1 在RPC模塊中的應(yīng)用

分布式儲存技術(shù)通常會使用RPC框架進(jìn)行網(wǎng)絡(luò)通信， RPC框架性能可直接影響到分布式儲存性能?，F(xiàn)階段構(gòu)建 RPC模塊需要滿足多種數(shù)據(jù)傳輸協(xié)議、支持?jǐn)y程快速處理要求，應(yīng)用在各類高性能場所中。RPC模塊需要同時滿足傳統(tǒng)集中數(shù)據(jù)儲存以及遠(yuǎn)程直接數(shù)據(jù)儲存?zhèn)鬏斠蟆Ｔ谶h(yuǎn)程直接數(shù)據(jù)儲存中注冊統(tǒng)一管理內(nèi)存，采用雙邊操作開展數(shù)據(jù)傳輸，制定支持事件以及輪詢請求檢測機(jī)制。

通過對比分析傳統(tǒng)數(shù)據(jù)傳輸與遠(yuǎn)程直接數(shù)據(jù)傳輸方式，發(fā)現(xiàn)遠(yuǎn)程直接數(shù)據(jù)傳輸技術(shù)應(yīng)用期間的優(yōu)勢更加明顯，在低深度性能下能夠獲得更加良好的性能。通過RPC對接業(yè)務(wù)進(jìn)行測試，發(fā)現(xiàn)在多副本數(shù)據(jù)儲存業(yè)務(wù)中，遠(yuǎn)程直接數(shù)據(jù)傳輸沒有充分展現(xiàn)出其優(yōu)異的使用性能，反而在里程切換、數(shù)據(jù)復(fù)制、IO路徑的其他模塊中引入中出現(xiàn)了額外開銷。

借助Ceph雙邊編程方式，在傳輸環(huán)節(jié)并沒有繞開CPU。同時，Ceph內(nèi)部使用的數(shù)據(jù)結(jié)構(gòu)需要進(jìn)行多次內(nèi)存拷貝，沒有充分發(fā)揮出遠(yuǎn)程直接數(shù)據(jù)傳輸工作中的拷貝特征。

因遠(yuǎn)程直接數(shù)據(jù)為異步編程模型，需要使用特定程序檢驗數(shù)據(jù)操作的完成效果。借助單獨到線程輪詢不僅無法降低CPU，反之會產(chǎn)生更多CPU開銷。如果使用事件機(jī)制，會增加延遲并降低傳輸性能。

4.2 在 NVMe-oF中使用

NVMe-oF主要就是借助遠(yuǎn)程直接數(shù)據(jù)或者光纖通道架構(gòu)等方式，將本地高速傳輸訪問優(yōu)勢暴露給遠(yuǎn)程應(yīng)用的一種傳輸技術(shù)，能夠有效實現(xiàn)相關(guān)邏輯。通過對比分析 NVMe-oF與傳統(tǒng)SSD實驗性能，發(fā)現(xiàn)通過使用遠(yuǎn)程直接數(shù)據(jù)傳輸方式的網(wǎng)絡(luò)傳輸性能與原始網(wǎng)絡(luò)傳輸性能十分接近，深度情況下的延時性只增加了11 us、寫延時只增加了18 us。通過多深度研究遠(yuǎn)程直接數(shù)據(jù)傳輸技術(shù)的應(yīng)用性能，發(fā)現(xiàn)在NVMe-oF情境下，遠(yuǎn)程數(shù)據(jù)傳輸方式能夠有效發(fā)揮出自身的硬件性能。

結(jié)合SPDK中NVMe-oF應(yīng)用效果，發(fā)現(xiàn)遠(yuǎn)程直接數(shù)據(jù)編程應(yīng)用過程中，可以充分利用內(nèi)存注冊機(jī)制，使IO路徑中使用的內(nèi)存實現(xiàn)全流程零拷貝。

在控制信息內(nèi)使用雙邊編程方法，對數(shù)據(jù)信息使用單邊編程方法。遠(yuǎn)程直接數(shù)據(jù)儲存在應(yīng)用期間沒有線程切換，為全用戶態(tài)IO處理。

4.3 EDS內(nèi)遠(yuǎn)程直接數(shù)據(jù)儲存實際應(yīng)用

通過分析分布式儲存中遠(yuǎn)程直接儲存技術(shù)的實際應(yīng)用要點，發(fā)現(xiàn)僅單純增加分布式儲存硬件設(shè)施，難以充分發(fā)揮出設(shè)備優(yōu)秀儲存性能。在網(wǎng)絡(luò)通訊設(shè)計環(huán)節(jié)，需要對整體框架進(jìn)行遠(yuǎn)程直接數(shù)據(jù)儲存的適配，通過開展IO路徑上各模塊的聯(lián)動優(yōu)化工作，才能夠充分發(fā)揮出分布式儲存技術(shù)實際應(yīng)用期間的最優(yōu)化性能。

在EDS中，可以針對遠(yuǎn)程直接數(shù)據(jù)儲存技術(shù)設(shè)計出低延遲高并發(fā)儲存架構(gòu)，將儲存節(jié)點前后端使用專用接口接入，實現(xiàn)低延遲極速網(wǎng)絡(luò)傳輸目標(biāo)，對IO上的各模塊進(jìn)行優(yōu)化設(shè)計。由于EDS儲存架構(gòu)無鎖化編程模型，正好優(yōu)化了各模塊之間的數(shù)據(jù)處理方式，進(jìn)一步提升了系統(tǒng)運行期間的各項性能。

在前端協(xié)議網(wǎng)關(guān)運行期間，網(wǎng)關(guān)可以接收來自用戶的多種協(xié)議要求。將不同協(xié)議要求借助SRPC模塊發(fā)送到儲存服務(wù)端內(nèi)，儲存服務(wù)端解析請求后需要由儲存引擎進(jìn)行處理與訪問，做好數(shù)據(jù)的寫入與讀取工作。

前端 PGW請求發(fā)送與回調(diào)，儲存服務(wù)端請求處理run to complete方式，極大程度提高單個請求處理速度。采用無鎖化編程手段，啟動多個線程分組處理請求，設(shè)計統(tǒng)一數(shù)據(jù)暫緩管理機(jī)制，在請求處理過程中，數(shù)據(jù)由遠(yuǎn)程直接數(shù)據(jù)儲存硬件設(shè)施接收后經(jīng)過各模塊處理，在通過硬件設(shè)施發(fā)送出去，不必對設(shè)備進(jìn)行內(nèi)存卡被，有效控制了系統(tǒng)開銷，進(jìn)一步降低了分布式儲存環(huán)節(jié)的網(wǎng)絡(luò)延遲。

4.4 SRPC通信模塊設(shè)計

在構(gòu)建通信架構(gòu)環(huán)節(jié)，需要面向儲存系統(tǒng)信息傳輸設(shè)置專用網(wǎng)絡(luò)通信模塊，將上層多類型請求信息封裝，并使用遠(yuǎn)程直接數(shù)據(jù)儲存硬件開展數(shù)據(jù)傳輸，進(jìn)一步擴(kuò)大多類型網(wǎng)絡(luò)協(xié)議，對信息封裝展開抽象與簡化處理，控制數(shù)據(jù)包大小，縮短數(shù)據(jù)處理時間。

在 SRPC架構(gòu)上，需要一個服務(wù)端進(jìn)程綁定一個監(jiān)聽連接。監(jiān)聽連接可以設(shè)置多個程序并開展處理請求工作，請求處理以及回調(diào)過程可以在同一線程內(nèi)完成。客戶端創(chuàng)建鏈接方式，可指定連接線程。SRPC也可以同時支持TCP協(xié)議，兼容未配置的遠(yuǎn)程直接數(shù)據(jù)儲存網(wǎng)卡場景。

SRPC通信架構(gòu)的數(shù)據(jù)傳輸方式設(shè)定過程中，使用遠(yuǎn)程直接數(shù)據(jù)儲存硬件開展數(shù)據(jù)傳輸工作，通常使用雙邊操作傳輸以及單雙邊操作傳輸相結(jié)合方式。在使用雙邊操作傳輸數(shù)據(jù)過程中，數(shù)據(jù)傳輸方式與傳統(tǒng)數(shù)據(jù)網(wǎng)絡(luò)傳輸方式基本相似，數(shù)據(jù)在發(fā)送端以及接收端內(nèi)傳輸。但在發(fā)送端進(jìn)行數(shù)據(jù)傳輸操作前，接收端需要做好準(zhǔn)備接收數(shù)據(jù)內(nèi)存的方式，并發(fā)起遠(yuǎn)程直接數(shù)據(jù)儲存操作，以免在數(shù)據(jù)傳輸期間出現(xiàn)發(fā)送失敗問題。雙方需要約定一次傳輸?shù)淖畲髷?shù)據(jù)大小值，通常需要在創(chuàng)建遠(yuǎn)程直接數(shù)據(jù)傳輸硬件設(shè)施期間協(xié)商，接收端以該大小準(zhǔn)備接收內(nèi)存區(qū)，發(fā)送端以數(shù)據(jù)大小請求進(jìn)行切分。配合使用雙邊數(shù)據(jù)儲存的發(fā)送端與接收端，需要對數(shù)據(jù)大小請求展開切分。使用遠(yuǎn)程直接數(shù)據(jù)儲存硬件開展數(shù)據(jù)傳輸過程中，應(yīng)當(dāng)避免請求小于約定大小時出現(xiàn)接收端內(nèi)存浪費問題。請求大于約定大小期間，需要借助發(fā)送端切分多次傳輸機(jī)組，對接收端進(jìn)行重組處理。

在單雙邊結(jié)合的傳輸方式下，雙邊數(shù)據(jù)傳輸可應(yīng)用在控制類信息傳輸中，實際設(shè)計傳輸可以使用單邊數(shù)據(jù)傳輸完成。由于數(shù)據(jù)的實際場景每次需要使用的傳輸數(shù)據(jù)大小并不固定，因此單邊操作前需要做好數(shù)據(jù)長度以及儲存信息的協(xié)商工作。使用雙邊數(shù)據(jù)傳輸方式，將帶傳輸數(shù)據(jù)的內(nèi)存地址、大小值等控制信息進(jìn)行傳輸，而后根據(jù)數(shù)據(jù)傳輸類型，選擇單邊傳輸或者雙邊傳輸方式。

數(shù)據(jù)發(fā)送到實際場景中，需要傳輸?shù)臄?shù)據(jù)大小值不固定，因此在單邊操作前需要做好數(shù)據(jù)長度以及區(qū)域內(nèi)存信息的儲存工作。單雙邊結(jié)合傳輸方式具有靈活性強(qiáng)、適用數(shù)據(jù)種類較多等特征，在傳輸大請求數(shù)據(jù)期間的優(yōu)勢更加明顯，可以使用一次單邊操作完成數(shù)據(jù)全部傳輸。同時，使用單雙邊相結(jié)合的方式也使得數(shù)據(jù)傳輸期間實現(xiàn)零拷貝目標(biāo)，進(jìn)一步控制了分布式儲存環(huán)節(jié)的開銷值以及網(wǎng)絡(luò)延遲情況。

在 SRPC內(nèi)部設(shè)置單雙邊兩種檢測與處理方式，并配合使用性能模式與經(jīng)濟(jì)模式。在性能模式下，SRPC不間斷輪詢獲取請求，可以更加快速的響應(yīng)請求，并對請求內(nèi)容進(jìn)行處理。在經(jīng)濟(jì)模式下，SRPC可以使用事件觸發(fā)以及低頻率輪詢相結(jié)合手段請求檢測處理。

5 總結(jié)

總之，在分布式儲存中網(wǎng)絡(luò)通信建設(shè)期間，可以借助遠(yuǎn)程直接數(shù)據(jù)儲存方式，控制內(nèi)核協(xié)議棧處理機(jī)內(nèi)存拷貝成本，有效控制數(shù)據(jù)在網(wǎng)絡(luò)上的傳輸延遲。數(shù)據(jù)訪問需要經(jīng)過軟件內(nèi)多個模塊開展處理工作，采集與處理成本較高。在儲存設(shè)備的訪問延遲以及網(wǎng)絡(luò)延遲較高情況下，軟件開銷對整體性能的影響家更為顯著。傳統(tǒng)傳輸控制協(xié)議與網(wǎng)際協(xié)議轉(zhuǎn)向分布式儲存期間，不僅需要替換數(shù)據(jù)輸入法網(wǎng)絡(luò)接口，更需要對整體網(wǎng)絡(luò)架構(gòu)展開優(yōu)化設(shè)計。從根本上提升網(wǎng)絡(luò)通訊路徑各模塊與分布式儲存技術(shù)的聯(lián)動能力，確保分布式儲存技術(shù)能夠充分發(fā)揮出自身優(yōu)勢，與其他高性能低延遲設(shè)備實現(xiàn)有機(jī)結(jié)合目標(biāo)，進(jìn)一步提升系統(tǒng)整體儲存性能。