大數(shù)據存儲系統(tǒng)I/O性能優(yōu)化技術研究進展

樓飛燕

（浙江廣廈建設職業(yè)技術學院，東陽 322100）

大數(shù)據存儲系統(tǒng)架構是目前大數(shù)據管理所面臨的重要問題之一，由于磁盤讀寫性能的挑戰(zhàn)，和主存速度差距不斷增加，傳統(tǒng)主存-磁盤存儲架構已無法適應大數(shù)據管理需求，無法構建有效的大數(shù)據存儲性能。新型存儲如固態(tài)盤、PCM等技術則具有價格與壽命的劣勢，目前混合利用新型存儲介質與傳統(tǒng)存儲介質架構存儲系統(tǒng)是應用廣泛的一種技術[1]，但該技術面臨的關鍵問題則在于I/O性能的不足，直接影響了大數(shù)據的存儲效率，進而影響了系統(tǒng)整體性能，如何提高大數(shù)據存儲系統(tǒng)的I/O性能是目前大數(shù)據存儲的重要研究方向之一。本研究對目前存儲系統(tǒng)架構優(yōu)化、I/O性能優(yōu)化等方面的技術進行簡要總結。

1 存儲架構優(yōu)化技術

1.1 基于負載特性的存儲系統(tǒng)架構

負載多樣性是目前大數(shù)據存儲系統(tǒng)的主要負載特征之一，在并發(fā)訪問中，I/O負載性能的優(yōu)化是存儲系統(tǒng)架構的新要求，對I/O高層庫、中間層、存儲系統(tǒng)層分別給予相應的優(yōu)化是主要優(yōu)化方法。高層庫的優(yōu)化可以通過應用程序接口（API）的靈活化設計完成，可有效應對用戶在運行系統(tǒng)時對I/O負載特征復雜性描述的需求，如非連續(xù)內存訪問模式（NUSA）[2]，負載特征能夠直接向中間件層與存儲系統(tǒng)層進行傳遞，便于各層后續(xù)進行針對性優(yōu)化。在中間件層中，由于大數(shù)據存在請求數(shù)據量少、非對稱性與非連續(xù)性等負載特征，可通過列表I/O、數(shù)據類型I/O、聚集I/O、MPI-I/O、遠程過程調用協(xié)議庫等優(yōu)化方法，提高不同I/O訪問模式應用所需要的I/O負載性能。在存儲系統(tǒng)層，可采用相應的緩存替換策略或相應存儲系統(tǒng)優(yōu)化策略的配置，動態(tài)化調整并優(yōu)化存儲系統(tǒng)架構與存儲策略，以解決存儲系統(tǒng)對復雜負載特征的負載適用性。如基于對象存儲技術，是一種分布式并行存儲系統(tǒng)，包括客戶端、元數(shù)據服務器與存儲節(jié)點3個部分，數(shù)據通路與控制通路相分離，每個對象存儲設備對自身設備數(shù)據對象分布進行智能管理，該存儲體系架構充分實現(xiàn)了元數(shù)據與文件數(shù)據的并行性及文件數(shù)據在對象存儲設備中的并行性，優(yōu)化了系統(tǒng)I/O性能[3]。

1.2 密集型元數(shù)據I/O緩存架構

緩存是元數(shù)據I/0性能優(yōu)化的主要方法之一，隨著固態(tài)硬盤（SSD）在大數(shù)據存儲系統(tǒng)中的廣泛應用，大量緩存讀寫對于SSD壽命的影響成為一個重要問題，I/O密集型應用的不斷發(fā)展需要緩存架構的持續(xù)優(yōu)化，以解決SSD壽命和元數(shù)據訪問性能問題。目前的技術中，可通過就地更新策略減輕SSD寫負載[4]?；旌洗鎯Y構或異構存儲是目前解決元數(shù)據存儲與讀寫速度的一種熟練的技術。利用f l ash作為元數(shù)據服務器（MDS）的存儲介質，提高元數(shù)據讀寫速度，Lustre、Hybrid MDSL等均是該技術的有效應用，結合日志文件，按照訪問熱度，制定元數(shù)據遷移機制，能夠有效提高SSD利用效率，優(yōu)化I/O性能。SSD與DRAM協(xié)作式技術也是解決方法之一，DRAM是SSD的調整緩沖，SSD則是主存，可架設一個基于對象數(shù)據的存儲系統(tǒng)。為降低寫放大，還可以log結構順序塊組織SSD，在這種混合架構中融入Memcached，以提升性能[5]。

1.3 基于flash的存儲系統(tǒng)架構

Flash是目前隨機I/O性能良好的一種存儲介質，可廣泛應用于HDD與SSD的混合架構或閃存轉換層（FTL）是文件系統(tǒng)與閃存芯片之間的中間層，可掩蓋閃存特性，能夠使文件系統(tǒng)以訪問傳統(tǒng)磁盤的方法訪問閃存，能夠執(zhí)行地址轉換、損耗均衡與垃圾回收等功能，設計一種基于新型FTL接口的f l ash存儲系統(tǒng)架構，既能發(fā)揮f l ash的隨機讀寫優(yōu)勢，又能夠提升I/O性能。也可采取降低SSD垃圾回收負載的方法提高I/O性能[6]。還可通過日志文件系統(tǒng)的改善，根據數(shù)據塊熱度差異進行劃分，以減少SSD的隨機寫操作[7]。Facebook的Flashcache是目前混合分層存儲系統(tǒng)應用較為廣泛的一種塊設備緩存模塊，在使用時能夠以內核模塊形式實施動態(tài)加載，無需修改內核，能夠很好地維持磁盤原有數(shù)據布局，對于SSD讀寫性能優(yōu)勢與硬盤廉價且耐久的優(yōu)勢良好地結合在一起，從而構建了一個特有的存儲塊設備，SSD是硬盤的一個緩存，可提高塊設備訪存速度，虛擬塊設備一一對應磁盤邏輯地址，文件系統(tǒng)層對虛擬設備的訪問模式與磁盤相同[8]。

1.4 新型元數(shù)據存儲系統(tǒng)架構

目前PCM、STT-RAM、FRAM等新型非易失存儲介質應用范圍也在逐步擴大，這些存儲介質較f l ash更快，企業(yè)級中廣泛應用的PCIe即屬于該存儲介質的應用，在這一存儲系統(tǒng)中，I/O棧面臨更大的瓶頸，針對此問題，有研究提出了優(yōu)化設計I/O協(xié)議棧，以構建一個高性能閃存SSD，進一步提高I/O性能，該方法主要從設備驅動層與硬件設備上入手，基于原型系統(tǒng)，加入了內核緩存旁路優(yōu)化技術、多請求隊列與多中斷優(yōu)化技術、本地命令隊列優(yōu)化技術等，大幅提升了PCIe閃存SSD性能，讀寫寬帶進一步提升[9]。也可采用PCM與DRAM協(xié)作式的存儲架構，較小的DRAM可作PCM緩存使用，通過DRAM緩存延遲PCM寫操作，進而降低PCM寫次數(shù)[10]。

2 元數(shù)據I/O性能優(yōu)化技術

2.1 元數(shù)據查找技術

第一，基于散列的數(shù)據查詢方法。該方法是通過散列文件訪問路徑對文件所在MDS進行定位?；诖思夹g，可引入分布式哈希表與Chord結構對分布式文件系統(tǒng)進行查詢，存儲節(jié)點和數(shù)據均采取環(huán)形分布式散列技術，數(shù)據能夠均勻地散列于各個節(jié)點中，可應用于并行性數(shù)據查詢，減少了查詢時延，同時有利于數(shù)據遷移[11]。第二，Bloom filter+k-d-tree技術，利用Bloom filter技術建立各分區(qū)目錄表，快速縮小數(shù)據查找空間，利用k-d-tree在分區(qū)內建立內在索引，為多維屬性查找提供便利[12]。

2.2 元數(shù)據搜索技術

目錄樹是目前數(shù)據存儲系統(tǒng)的主要顯示形式，大數(shù)據需要龐大的目錄樹支撐，嚴重降低了元數(shù)據搜索性能。目前，針對元數(shù)據搜索性能的I/O優(yōu)化技術主要包括三種：第一，基于索引式的元數(shù)據搜索技術。如Compact、BitMap、C-index分布式索引等技術，其中C-index分布式索引是一種基于樹結構的索引技術，可應用于云平臺，能夠支持一維或多維范圍的查詢，能夠在合理時間內構建大數(shù)據集的索引，且索引獨立于文件系統(tǒng)之外[13]。第二，基于語義相似性搜索技術，該技術目前包括了M-Chord、R-Chord、MCAN、SIMIPEER、RT-CAN、DiST、DKDT、P2RP-tree、NR-tree、pSearch、SSW等技術，主要是通過聚類劃分、RPC劃分、R-tree、k-d-tree、CAN等方法進行空間劃分，基于Chord、拓撲、CAN、Super-peer、樹形、DHT、SSW等拓撲結構，可提供范圍查詢、窗口查詢、KNN查詢等方法，部分搜索技術可支持數(shù)據更新[14]。第三，基于采樣的搜索技術，該技術是對目錄樹中的各個分支給予采樣打分后，根據分值，對目錄分支進行快速剪切，不斷縮小分層目錄的搜索范圍，進而提高搜索速度。第四，基于事件通知的搜索技術。該技術可利用時間通知機制，替換不活躍的緩存文件，提高緩存利用率。

2.3 元數(shù)據創(chuàng)建技術

元數(shù)據存儲是大數(shù)據存儲系統(tǒng)中最為關鍵的一種元數(shù)據訪問操作，其I/O優(yōu)化技術主要包括兩種：第一，優(yōu)化文件創(chuàng)建交互協(xié)議。在文件創(chuàng)建時利用子操作合并、數(shù)據文件句柄出租、數(shù)據文件預創(chuàng)建等方法，確保文件創(chuàng)建的過程保持數(shù)據一致性，減少非必要的數(shù)據交互操作，提升元數(shù)據創(chuàng)建性能。第二，優(yōu)化元數(shù)據存儲方法，即對元數(shù)據在MDS上的存儲方式進行優(yōu)化，以提高元數(shù)據的持久存儲寫入性能，進而提升文件創(chuàng)建性能。

3 數(shù)據I/O優(yōu)化技術

3.1 數(shù)據I/O負載均衡優(yōu)化技術

I/O負載均衡是充分發(fā)揮各個數(shù)據服務器性能的重要方法，其優(yōu)化方法主要包括兩種：第一，靜態(tài)負載均衡，該方法是在程序運行之間，根據負載比例對文件數(shù)據進行分塊處理，向不同I/O服務器進行映射，使各服務器實現(xiàn)負載均衡，如NCUC方案，對分布式NameNode集群通過Chord協(xié)議實施快速、一致性的哈希計算，該方案能夠自動向NameNode節(jié)點分配元數(shù)據。第二，動態(tài)負載均衡，即對文件負載特征信息未知的前提下，結合系統(tǒng)運行的動態(tài)負載信息，對數(shù)據服務器之間的負載分布進行實時調整，進而消除負載熱點，提高I/O性能。該方法對于異構性能差異存儲系統(tǒng)有良好的適應性，如，基于時間預測模式的優(yōu)化方法，在I/O調度前，構建一個時間預測模型評估各節(jié)點性能，按照節(jié)點性能分布I/O任務，確保各節(jié)點任務完成時間的均衡性；基于主動負載復制與被動負載遷移的分布式NameNode算法動態(tài)負載均衡策略；基于模塊化結構的對象存儲系統(tǒng)動態(tài)負載均衡優(yōu)化方法等。

3.2 數(shù)據I/O寫優(yōu)化技術

寫操作是I/O負載占用比例很高的一個操作，在HDD、SSD中均會被放大，進而影響I/O性能，優(yōu)化寫操作是優(yōu)化I/O性能的重要途徑。目前的優(yōu)化方法主要是：通過非阻塞寫操作，消除異步預取頁，增加寫操作并行化運行速率；加入一個基于Flash的寫加速層，或建立一個應用型訪問負載模型，將應用數(shù)據劃分至一個獨立的Flash存儲空間中，進而提升I/O寫操作性能；也可利用索引結構進行優(yōu)化，如采用未修改過的操作系統(tǒng)內核架構，將寫優(yōu)化的負面影響降低到最小化，或將日志延遲綁定、分區(qū)與范圍刪除等技術，同時確保寫操作性能的優(yōu)化與其他操作性能的正常進行；也可通過垃圾收集機制的研究減少寫操作的干擾因素。如基于固態(tài)盤的一種非對稱I/O路徑混合緩存方法MOLAR，該方法采用內在驅逐計數(shù)篩選算法，能夠使SSD選擇緩存數(shù)據塊，設定閾值后，該緩存數(shù)據塊可緩存到SSD，既不會犧牲緩存命中率，又能夠減輕SSD寫負載壓力，優(yōu)化寫性能；系統(tǒng)將SSD邏輯地址分為兩個獨立區(qū)域，即長活躍與短活躍數(shù)據塊區(qū)域，短活躍數(shù)據塊的被替換可能性較高，可聚合在一個集中度相對較高的地址空間內，進而減少SSD垃圾回收對寫操作的影響，優(yōu)化I/O性能；該系統(tǒng)對于SSD寫負載壓力的降低至少達到一個數(shù)量級，提高了讀/寫性能與I/O吞吐率。又如通過靜態(tài)條帶化技術優(yōu)化隨機寫操作的CD-RAIS，將SSD連續(xù)或非連續(xù)請求分配到同一個條帶中，盡量減少靜態(tài)條帶對于校驗信息的頻繁更新，通過滯后數(shù)據置無效操作與不同條帶更新合并的操作，減少了檢驗信息數(shù)據塊的更新，對于隨機小寫操作有更強的優(yōu)化性。

3.3 數(shù)據I/0緩存容量擴展方法

I/O轉發(fā)架構是一種新型的基于Flash存儲介質的緩存容量擴展方法，是一種利用分層I/O架構，對計算資源中的I/O請求進行逐層規(guī)約，利用聚合、重組與緩存I/O請求等方法減少計算節(jié)點與文件系統(tǒng)之間的交互操作，以縮小CPU與I/O組件性能之間的差距，同時有利于并行文件系統(tǒng)和計算節(jié)點日益增長之間的互連提出的可擴展性需求問題。該方法可在I/O中轉節(jié)點中建立一個基于主存與SSD之間的異構緩沖區(qū)，接入一個高速存儲介質，以提高緩存容量，提升I/O性能。同時，利用主動數(shù)據處理技術，發(fā)揮I/O中轉節(jié)點中全功能多核CPU的強大計算能力，主動處理傳輸至I/O中轉節(jié)點中的各類數(shù)據，可提供加密、壓縮、數(shù)表轉換與字符統(tǒng)計等服務。該主動數(shù)據處理塊與多線程并發(fā)數(shù)據處理服務能夠加速處理I/O中轉節(jié)點中的數(shù)據，計算可縮小的數(shù)據大小，降低I/O中轉節(jié)點與磁盤之間的I/O路徑數(shù)據傳送量，減少磁盤訪問次數(shù)，增加帶寬，提高I/O吞吐率。

3.4 數(shù)據I/O的客戶端緩存優(yōu)化技術

緩存技術對于改善數(shù)據訪問性能有廣泛的適用性，客戶端數(shù)據緩存技術能夠提高大數(shù)據存儲系統(tǒng)I/O性能。第一，緩存數(shù)據結構優(yōu)化，該方法是基于數(shù)據塊的優(yōu)化技術。第二，緩存管理方法。通過緩存管理優(yōu)化緩存分配，是調節(jié)各存儲設備I/O負載分布的有效方法，可使存儲設備獲得與其自身服務能力相匹配的負載，進而消除性能瓶頸。有研究設計了一種基于負載特征識別與訪問性能預測的緩存分配技術Caper，該算法首先要建立CART模型，預測I/O請求對不同存儲設備的性能要求。該算法將應用負載劃分為隨機訪問、順序訪問與循環(huán)訪問三類負載進行分析，能夠減少異構存儲設備的性能差異；同時，該算法還改進了時鐘算法，不同I/O訪問特征對應的緩存塊有不同權值大小的設置，能夠進一步改善緩存效益?；蛘呋诜答伣Y構與公平隊列建立一種緩存分配方法，如Qaca算法，主要由基于開始時間公平隊列的服務請求順序控制模塊與基于反饋結構的緩存管理模塊組成，可通過Qos控制I/O請求服務順序，通過緩存分區(qū)方法周期性調整緩存分區(qū)大小。

4 結束語

大數(shù)據存儲系統(tǒng)I/O性能優(yōu)化在未來仍然面對更快的技術進步及相應的技術優(yōu)化，存儲平臺、存儲管理、混合存儲緩存技術、I/O寬帶、快速存儲介質應用及系統(tǒng)優(yōu)化、數(shù)據I/O寫性能優(yōu)化等將成為未來大數(shù)據存儲系統(tǒng)性能優(yōu)化的重要路徑及重要研究方向。