隨著大數(shù)據(jù)時代的到來,各領域的數(shù)據(jù)呈現(xiàn)出爆炸式增長態(tài)勢,數(shù)據(jù)資源得到了各行各業(yè)的廣泛關(guān)注.如何挖掘大數(shù)據(jù)價值,進而充分發(fā)揮大數(shù)據(jù)效益?大數(shù)據(jù)的4V特征使得數(shù)據(jù)獲取、數(shù)據(jù)存儲、數(shù)據(jù)搜索、數(shù)據(jù)共享、數(shù)據(jù)分析、數(shù)據(jù)可視化等各個環(huán)節(jié)對存儲系統(tǒng)構(gòu)建帶來了新的技術(shù)挑戰(zhàn).同時,伴隨著人工智能的崛起,智能存儲與智能分析逐漸成為發(fā)揮大數(shù)據(jù)效益的有效技術(shù)途徑.
基于上述背景,為促進存儲領域技術(shù)交流,《計算機研究與發(fā)展》推出了本期“大數(shù)據(jù)時代的存儲系統(tǒng)與智能存儲技術(shù)”專題.本專題收錄了9篇論文,分別展示了大數(shù)據(jù)存儲和智能存儲等存儲領域研究熱點的研究現(xiàn)狀和最新研究成果,希望能為從事相關(guān)工作的讀者提供借鑒和幫助.
徐光偉等作者的論文“基于多級網(wǎng)絡編碼的多副本云數(shù)據(jù)存儲”針對糾刪碼容錯在數(shù)據(jù)恢復時產(chǎn)生的計算和通信開銷問題,研究提出了一種基于多級網(wǎng)絡編碼的多副本生成和損壞數(shù)據(jù)恢復算法,利用多級編碼矩陣的數(shù)據(jù)編碼信息和云存儲中保存的數(shù)據(jù)塊進行數(shù)據(jù)恢復,避免從云存儲中遠程下載數(shù)據(jù),有效減少數(shù)據(jù)恢復時的通信開銷,提高數(shù)據(jù)可用性.
李乾等作者的論文“基于蟻群優(yōu)化算法的糾刪碼存儲系統(tǒng)數(shù)據(jù)更新方案”針對糾刪碼的更新效率問題,研究提出了基于蟻群優(yōu)化算法的多數(shù)據(jù)節(jié)點更新方案,采用兩階段數(shù)據(jù)更新方式以優(yōu)化多數(shù)據(jù)節(jié)點更新過程,有效進行數(shù)據(jù)增量收集和校驗增量分發(fā),從而降低更新延遲.
林霄等作者的論文“面向跨數(shù)據(jù)中心網(wǎng)絡的節(jié)點約束存儲轉(zhuǎn)發(fā)調(diào)度方法”針對跨數(shù)據(jù)中心間大數(shù)據(jù)傳輸難題,量化分析存儲節(jié)點數(shù)量對調(diào)度問題性能與復雜度的影響,進一步研究提出了節(jié)點約束SnF調(diào)度方法,將部分數(shù)據(jù)途經(jīng)節(jié)點納入調(diào)度決策,降低調(diào)度問題求解難度,引入拓撲抽象壓縮被選節(jié)點間鏈路狀態(tài),縮小調(diào)度問題規(guī)模,提高算法求解效率.
劉渝等作者的論文“基于語義相似性的跨模態(tài)圖文內(nèi)容篩選存儲機制研究”針對云端數(shù)據(jù)呈現(xiàn)出大規(guī)模多模態(tài)混合并存的特性,在傳統(tǒng)存儲系統(tǒng)之上研究提出了一種跨模態(tài)圖文數(shù)據(jù)內(nèi)容篩選存儲機制,用于提供大規(guī)模在線相似性內(nèi)容篩選服務,從存儲系統(tǒng)層面緩解數(shù)據(jù)分析時必須從存儲中讀出所有數(shù)據(jù)的讀帶寬壓力,有效降低讀取延遲.
韓書楷等作者的論文“基于持久化內(nèi)存的索引設計重新思考與優(yōu)化”針對非易失性內(nèi)存的特性,深入分析已有的持久化索引工作,對混合索引工作進行了優(yōu)化,研究提出了一種基于混合內(nèi)存的異步緩存方法,有效降低訪問延遲.
閆瑋等作者的論文“基于持久性內(nèi)存的單向移動B+樹”深入研究了持久性內(nèi)存的索引更新問題,通過分析B+樹節(jié)點利用率、不同更新模式下持久化開銷以及更新操作之間的關(guān)系,提出了一種基于節(jié)點內(nèi)數(shù)據(jù)真實分布的數(shù)據(jù)單向移動算法,通過原地刪除的方式,減少刪除帶來的持久化開銷;利用刪除操作在節(jié)點內(nèi)留下的空位,減少后續(xù)插入操作造成的數(shù)據(jù)移動,減少數(shù)據(jù)持久化開銷,有效提高單一負載與混合負載性能.
陳茂棠等作者的論文“一種基于RDMA 多播機制的分布式持久性內(nèi)存文件系統(tǒng)”針對現(xiàn)有的基于RDMA 的分布式系統(tǒng)的性能問題,研究設計了一種基于RDMA 多播機制的分布式持久性內(nèi)存文件系統(tǒng).利用低延遲多播通信機制、多模式多播遠程過程調(diào)用機制和輕量級一致性保障機制等降低傳輸延遲,保證了數(shù)據(jù)的可靠性和一致性.
汪慶等作者的論文“一種多核友好的持久性內(nèi)存鍵值系統(tǒng)”針對持久性內(nèi)存具有容量大和非易失的特點,深入分析在多核服務器架構(gòu)下設計持久性內(nèi)存鍵值系統(tǒng)面臨的并發(fā)控制帶來的CPU 緩存抖動、對持久性內(nèi)存有限寫帶寬的消耗和競爭以及持久性內(nèi)存高延遲帶來的線程沖突加劇等諸多挑戰(zhàn),研究設計了一種多核友好的持久性內(nèi)存鍵值系統(tǒng).通過設計高效并發(fā)控制方法和減少對持久性內(nèi)存的寫操作,充分提高多核并發(fā)性能.
屠要峰等作者的論文“基于持久性內(nèi)存和SSD 的后端存儲MixStore”充分利用持久性內(nèi)存的技術(shù)優(yōu)勢,研究提出了一種基于持久性內(nèi)存和SSD的后端存儲MixStore,通過易失區(qū)段標記和待刪除列表技術(shù)實現(xiàn)了適用于持久性內(nèi)存的并發(fā)跳表,通過結(jié)合元數(shù)據(jù)管理機制的數(shù)據(jù)對象存儲優(yōu)化設計,把非對齊的小數(shù)據(jù)對象存放在PMEM 中,把對齊的大塊數(shù)據(jù)對象存儲在SSD上,充分發(fā)揮了PMEM 的字節(jié)尋址、持久性特性和SSD的大容量低成本優(yōu)勢.
本專題所錄用的9篇論文中,2篇論文重點關(guān)注糾刪碼存儲的性能優(yōu)化,2篇論文重點關(guān)注云存儲的訪問效率,2篇論文重點關(guān)注持久存儲的數(shù)據(jù)結(jié)構(gòu)優(yōu)化,3篇論文重點關(guān)注持久性內(nèi)存存儲系統(tǒng)的設計與性能優(yōu)化.既有關(guān)注前沿熱點,又有關(guān)注實用系統(tǒng).由于稿源豐富和專題篇幅有限等原因,本專題無法全面覆蓋存儲領域各方面的最新研究進展,不當之處請同行學者批評指正!感謝各位作者、審稿專家和編輯部的全力支持和辛勤付出!
舒繼武(清華大學)
王意潔(國防科技大學)
吳晨濤(上海交通大學)2020年元月