大數(shù)據(jù)存儲研究“大有可為”

文／鄭緯民

數(shù)據(jù)存儲的意義，用一句話概括就是“記錄當(dāng)下，相約未來”。

數(shù)據(jù)存儲完成了數(shù)據(jù)在時間維度的傳播和跨越，將今天人的智慧、故事、喜怒哀樂、悲歡離愁忠實地記錄下來，供未來的人體驗、學(xué)習(xí)、借鑒和欣賞。

在計算機產(chǎn)生之前，人們記載這些故事和智慧的手段是紙和筆，能夠承載和傳遞的信息量十分有限，在現(xiàn)代電子計算機誕生這半個多世紀(jì)以來，存儲介質(zhì)發(fā)生了天翻地覆的變化，從早期的打孔紙帶、磁帶到磁盤、固態(tài)盤，再到近些年新涌現(xiàn)的非易失存儲等，負載特征和訪問模式也早已今非昔比，唯一不變的是計算機存儲系統(tǒng)研究在整個計算機領(lǐng)域中的基礎(chǔ)地位和重要意義。

從學(xué)科建設(shè)的角度來看，幾乎沒有一個應(yīng)用和數(shù)據(jù)訪問完全沒有關(guān)系的，所以對于任何一個應(yīng)用來說，在給定訪問模式的前提下，如果希望能夠在現(xiàn)有的硬件上充分發(fā)揮數(shù)據(jù)的讀寫性能，就離不開高效的存儲系統(tǒng)。

從時代特點來看，我們已經(jīng)進入一個大數(shù)據(jù)時代，全球的數(shù)據(jù)量積累速度加快，數(shù)據(jù)來源和種類多樣、可信度低、價值密度低，所以在這樣一個時代，研究設(shè)計新的存儲系統(tǒng)大有可為。

從國家需求和戰(zhàn)略發(fā)展來看，數(shù)據(jù)是影響國計民生的戰(zhàn)略資源，我國在“十三五”期間集中建設(shè)數(shù)字中國、網(wǎng)絡(luò)強國，經(jīng)過近五年的開拓創(chuàng)新和銳意進取，我國數(shù)字產(chǎn)業(yè)、網(wǎng)絡(luò)產(chǎn)業(yè)蓬勃發(fā)展，數(shù)字經(jīng)濟、共享經(jīng)濟、人工智能、大數(shù)據(jù)、云計算等已經(jīng)飛入尋常百姓家。

例如在這次抗擊新冠肺炎疫情的過程中，基于大數(shù)據(jù)的密切接觸者追蹤、篩查技術(shù)就為迅速控制住疫情作出重大貢獻。但從另一方面來說，這也意味著我國經(jīng)濟社會對于數(shù)據(jù)的依存度在不斷上升，盡管我們在計算機領(lǐng)域已經(jīng)取得長足發(fā)展，但是在一些關(guān)鍵技術(shù)上依舊和發(fā)達國家差距較大，其中就包括大數(shù)據(jù)存儲系統(tǒng)，不斷上升的數(shù)據(jù)依存度意味著這些技術(shù)短板帶來潛在國家信息安全隱患和發(fā)生系統(tǒng)性重大風(fēng)險挑戰(zhàn)的可能性也在不斷上升。站在風(fēng)口浪尖之上，推動我國存儲技術(shù)的持續(xù)發(fā)展，成為這一代計算機人責(zé)無旁貸的使命與擔(dān)當(dāng)。

結(jié)合大數(shù)據(jù)存儲的新特點和新挑戰(zhàn)，我認為研究工作應(yīng)主要圍繞存儲系統(tǒng)擴展性、可靠性和集約性三個方面展開。

存儲的可擴展性的主要問題在于，存儲系統(tǒng)的建設(shè)往往無法一步建設(shè)到位，特別是在大數(shù)據(jù)時代，數(shù)據(jù)的增長速度往往遠遠超過預(yù)期，因此必須要實現(xiàn)存儲容量隨著數(shù)據(jù)量的增加能夠逐步動態(tài)擴展。

這個問題主要的挑戰(zhàn)有兩個，一個是設(shè)備和網(wǎng)絡(luò)選擇方面，往往擴展時必須選擇原來類型的磁盤，新型號的磁盤不行，不同的廠家更不行；二是在線擴展的效率較低，在給一個系統(tǒng)增加了空的磁盤之后，需要在新舊磁盤之間重新分布數(shù)據(jù)，從而提高整個系統(tǒng)的讀寫性能，但是在線擴展過程非常慢。

針對第一個問題，我們團隊設(shè)計了一種可擴展的網(wǎng)絡(luò)存儲系統(tǒng)結(jié)構(gòu)，實現(xiàn)了系統(tǒng)和存儲設(shè)備的解耦，可以把異構(gòu)的存儲設(shè)備、IO網(wǎng)絡(luò)集成到一個系統(tǒng)中。針對第二個問題，我們團隊通過觀察發(fā)現(xiàn)一種可重排序窗口特性，基于這一特性采用數(shù)據(jù)批量并行遷移、元數(shù)據(jù)懶惰更新、數(shù)據(jù)遷移量最小化等方法，顯著提高了擴展的執(zhí)行速度。

存儲的可靠性的主要問題在于，在大數(shù)據(jù)存儲系統(tǒng)中，存儲設(shè)備類多量大，設(shè)備出錯成為一種常態(tài)，可靠性不足造成的損失越來越大。IBM對400家公司的調(diào)研表明，由于數(shù)據(jù)損失和宕機給這些企業(yè)帶來的損失高達7000億美元。

存儲的可靠性保證方法有兩種類型，一種是容災(zāi)，基本思路是做跨數(shù)據(jù)中心的異地備份，主要用于避免各種因為災(zāi)害、戰(zhàn)爭、恐怖襲擊導(dǎo)致的系統(tǒng)總體毀損；另一種是容錯，基本思路是通過增加設(shè)備冗余、數(shù)據(jù)恢復(fù)等手段，主要用于避免因為存儲部件失效造成的部分?jǐn)?shù)據(jù)丟失。

針對容災(zāi)框架一致性保證困難，數(shù)據(jù)依賴關(guān)系復(fù)雜的挑戰(zhàn)，我們團隊提出了一種結(jié)構(gòu)無關(guān)的容災(zāi)框架，實現(xiàn)了進程狀態(tài)和用戶數(shù)據(jù)一起備份的全系統(tǒng)保護思想，設(shè)計了并行流水的恢復(fù)機制。針對容錯問題，我們提出了一種輕量編碼方法，設(shè)計了一整套防止數(shù)據(jù)丟失、無需管理員維護的自維護系統(tǒng)，能夠用較少的存儲空間使得數(shù)據(jù)不會丟失，系統(tǒng)在生命周期內(nèi)免人工維護。

存儲的集約性的主要問題在于，面對數(shù)據(jù)產(chǎn)生的速度遠快于磁盤生產(chǎn)速度造成的數(shù)據(jù)產(chǎn)生和存儲容量之間的缺口，如何能夠去除系統(tǒng)中的重復(fù)文件和冗余數(shù)據(jù)塊，盡量降低存儲開銷。例如通過調(diào)研，我們發(fā)現(xiàn)在蘭州大學(xué)、清華大學(xué)校園網(wǎng)絡(luò)存儲的數(shù)據(jù)中，相同的文件存儲副本數(shù)平均達20個，單個文件存儲備份最高達1萬個，因此利用不同用戶之間存在很多內(nèi)容相同的文件這一特點，我們可以通過用戶共享來去掉這些重復(fù)的文件，從而節(jié)省存儲空間。

在此基礎(chǔ)之上，我們團隊在云存儲系統(tǒng)中引入實體化社區(qū)，采用面向共享的存儲資源自適應(yīng)組織和數(shù)據(jù)共享管控等關(guān)鍵技術(shù)，實現(xiàn)了數(shù)十倍的數(shù)據(jù)共享率，大幅節(jié)省了存儲空間和主干網(wǎng)的流量費用。此外，針對現(xiàn)有主存儲中存有大量相似數(shù)據(jù)塊的問題，我們提出通過位置敏感哈希識別數(shù)據(jù)段的主存儲內(nèi)嵌刪冗方法，刪冗率達到30-70%，基于該方法，我們設(shè)計實現(xiàn)了高效刪冗的存儲系統(tǒng)。

我們的研究工作就是研究并設(shè)計可以高效擴展、高可靠、既能夠抵御一般性錯誤也能夠抵御各類災(zāi)難、同時還高度集約，能夠高效存儲大量數(shù)據(jù)的大數(shù)據(jù)存儲系統(tǒng)。近年來，我們的研究成果用于影響國計民生和社會發(fā)展的近數(shù)千家單位，惠及數(shù)千萬用戶，取得顯著經(jīng)濟和社會效益。未來，我們還將繼續(xù)厚植大數(shù)據(jù)存儲系統(tǒng)的科學(xué)研究，爭取做出更多有價值、有分量的成果，經(jīng)得起時代、歷史和人民的檢驗。