高速存取數(shù)據(jù)藍(lán)光存儲(chǔ)系統(tǒng)架構(gòu)設(shè)計(jì)

文 | 北京易華錄信息技術(shù)股份有限公司 賈寧波、吳娜、孫琢

隨著5G、社交網(wǎng)絡(luò)、自媒體的發(fā)展，全社會(huì)數(shù)據(jù)總量呈現(xiàn)爆發(fā)式增長(zhǎng)，2020 年全球數(shù)據(jù)產(chǎn)生量預(yù)計(jì)達(dá)到 47ZB（1ZB 即 10的12次方GB），而到 2035 年，這一數(shù)字將達(dá)到2142ZB，即年均增速平均為 1.3 倍，也就是約每3年翻一番，努力降低全社會(huì)長(zhǎng)期保存數(shù)據(jù)的能耗和成本，成為需要迫切解決的問題，基于藍(lán)光技術(shù)的存儲(chǔ)系統(tǒng)，可以有效解決數(shù)據(jù)低成本、低功耗、長(zhǎng)期存儲(chǔ)問題。

隨著ChatGPT的興起，人工智能作為未來主要的信息技術(shù)應(yīng)用方向備受關(guān)注，深度學(xué)習(xí)是人工智能不斷迭代的主要方式，歸檔文件是深度學(xué)習(xí)重要的學(xué)習(xí)樣本數(shù)據(jù)，歸檔文件的存取速度將直接影響人工智能的迭代速度，藍(lán)光存儲(chǔ)是歸檔文件的主要存儲(chǔ)載體，解決藍(lán)光存儲(chǔ)的存取速度問題，可以有效支持人工智能的快速進(jìn)步。

系統(tǒng)對(duì)軟件、服務(wù)器和網(wǎng)絡(luò)設(shè)備進(jìn)行整體設(shè)計(jì)，通過高速網(wǎng)絡(luò)設(shè)備對(duì)磁存儲(chǔ)和光存儲(chǔ)進(jìn)行整合，既保留了磁存儲(chǔ)高速存取的特性，又避免了磁存儲(chǔ)設(shè)備容易老化消磁不利于數(shù)據(jù)長(zhǎng)期存儲(chǔ)的缺點(diǎn)，既保留了藍(lán)光存儲(chǔ)海量存儲(chǔ)、長(zhǎng)壽命、低能耗的特性，又避免了藍(lán)光存儲(chǔ)存取速度慢的缺點(diǎn)，讓藍(lán)光存儲(chǔ)在醫(yī)療、金融、高性能計(jì)算等對(duì)數(shù)據(jù)存取有較高要求的應(yīng)用場(chǎng)景也能充分發(fā)揮作用。

一、目前藍(lán)光存儲(chǔ)系統(tǒng)現(xiàn)狀

藍(lán)光光盤庫是一種海量數(shù)據(jù)的綠色存儲(chǔ)設(shè)備，適合數(shù)據(jù)的長(zhǎng)期和安全存儲(chǔ)，一般適用在數(shù)據(jù)歸檔、備份、冷數(shù)據(jù)存儲(chǔ)領(lǐng)域。藍(lán)光存儲(chǔ)技術(shù)的海量存儲(chǔ)、長(zhǎng)壽命、低能耗的特點(diǎn)是歸檔存儲(chǔ)的最佳選擇，為數(shù)據(jù)的全生命周期提供服務(wù)，有效解決大數(shù)據(jù)使用場(chǎng)景下的快速響應(yīng)、長(zhǎng)期存儲(chǔ)、低碳節(jié)能的嚴(yán)格要求。

（一）藍(lán)光存儲(chǔ)系統(tǒng)的主要廠商

松下在光存儲(chǔ)領(lǐng)域處于全球領(lǐng)先地位，擁有從光存儲(chǔ)介質(zhì)、設(shè)備到解決方案的全線產(chǎn)品，松下與Facebook推出了freeze-ray光存儲(chǔ)數(shù)據(jù)歸檔系統(tǒng)，用于解決數(shù)據(jù)中心“冷數(shù)據(jù)”存儲(chǔ)問題。索尼推出光存儲(chǔ)系統(tǒng)Everspan，目前其光存儲(chǔ)解決方案主要應(yīng)用于廣播電視系統(tǒng)，擁有較高的市場(chǎng)占有率。

中國(guó)華錄集團(tuán)基于藍(lán)光的大容量綠色光存儲(chǔ)等數(shù)字核心技術(shù)為基礎(chǔ)，研究開發(fā)自主可控光存儲(chǔ)技術(shù)，打造以光存儲(chǔ)核心關(guān)鍵件、光存儲(chǔ)硬件產(chǎn)品、光存儲(chǔ)基礎(chǔ)軟件為主的藍(lán)光存儲(chǔ)產(chǎn)業(yè)鏈。

紫晶存儲(chǔ)在大數(shù)據(jù)時(shí)代冷熱數(shù)據(jù)分層存儲(chǔ)背景下推出光磁電混合存儲(chǔ)，開展藍(lán)光數(shù)據(jù)存儲(chǔ)系統(tǒng)核心技術(shù)的研發(fā)、設(shè)計(jì)、開發(fā)，提供基于藍(lán)光數(shù)據(jù)存儲(chǔ)系統(tǒng)核心技術(shù)的光存儲(chǔ)介質(zhì)、光存儲(chǔ)設(shè)備和解決方案。

（二）藍(lán)光存儲(chǔ)系統(tǒng)存在的主要問題

藍(lán)光存儲(chǔ)以大容量的藍(lán)光光盤為存儲(chǔ)介質(zhì)，依托大型自動(dòng)化的光盤庫設(shè)備，通過內(nèi)置機(jī)械手自動(dòng)完成裝載光盤到光驅(qū)中以達(dá)到數(shù)據(jù)自動(dòng)向光盤讀寫等基本操作的一種現(xiàn)代化技術(shù)，藍(lán)光光盤庫是一種海量數(shù)據(jù)的綠色存儲(chǔ)設(shè)備，適合數(shù)據(jù)的長(zhǎng)期和安全存儲(chǔ)，一般適用在數(shù)據(jù)歸檔、備份、冷數(shù)據(jù)存儲(chǔ)領(lǐng)域。

從以上工作原理可以分析得知，藍(lán)光存儲(chǔ)在存取數(shù)據(jù)的過程中，需要機(jī)械手先完成取放光盤的動(dòng)作，才能進(jìn)行數(shù)據(jù)存取操作，不可避免的出現(xiàn)延時(shí)，通常的延時(shí)在110秒左右。另外，由于藍(lán)光存儲(chǔ)在設(shè)計(jì)之初主要面向歸檔存儲(chǔ)，在硬件架構(gòu)設(shè)計(jì)方面主要考慮數(shù)據(jù)的存儲(chǔ)安全以及能夠長(zhǎng)期存儲(chǔ)的問題，很少考慮數(shù)據(jù)的快速存取問題，造成目前面對(duì)快速存取數(shù)據(jù)的使用場(chǎng)景應(yīng)對(duì)不足的問題，很難滿足以短視頻為代表的既要滿足存儲(chǔ)歸檔需求又對(duì)存取速度有一定要求的使用場(chǎng)景。

（三）藍(lán)光存儲(chǔ)的存取速度

ZL1080存儲(chǔ)系統(tǒng)是紫晶為滿足中小型企業(yè)對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)的長(zhǎng)期保存、異地異質(zhì)災(zāi)備、高效綠色等使用場(chǎng)景推出的機(jī)架式設(shè)備，可安裝到標(biāo)準(zhǔn)EIA 19英寸機(jī)柜，高度13U，支持光驅(qū)數(shù)2-6臺(tái)，最大裝載量1080張藍(lán)光光盤，最大傳輸速度162MB/S。ZL6120 存儲(chǔ)系統(tǒng)單節(jié)點(diǎn)支持6120張碟片的超大容量，滿足大型企業(yè)對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)的長(zhǎng)期保存的需求，支持光驅(qū)數(shù)2-24臺(tái)，最大傳輸速度648MB/S。以上速度為不考慮文件大小、是否為隨時(shí)存取還是順序讀寫等情況的最大傳輸速度，如果考慮機(jī)械手的響應(yīng)時(shí)間、光盤的運(yùn)輸時(shí)間等因素，實(shí)際速度會(huì)更慢。

為解決以上問題本系統(tǒng)用存儲(chǔ)服務(wù)器作為數(shù)據(jù)緩存，采用最大數(shù)量裝載光驅(qū)、小文件歸并，大文件拆分、文件預(yù)讀、斷點(diǎn)續(xù)傳等技術(shù)提高藍(lán)光存儲(chǔ)系統(tǒng)的數(shù)據(jù)存取速度。

高速存取數(shù)據(jù)藍(lán)光存儲(chǔ)系統(tǒng)架構(gòu)圖

藍(lán)光光盤庫設(shè)計(jì)圖

二、硬件系統(tǒng)架構(gòu)

系統(tǒng)從應(yīng)用程序快速存取數(shù)據(jù)的需求出發(fā)，采用分布式橫向平滑擴(kuò)展架構(gòu)，發(fā)揮萬兆交換機(jī)的帶寬優(yōu)勢(shì)，把藍(lán)光存儲(chǔ)技術(shù)的海量存儲(chǔ)、長(zhǎng)壽命、低能耗的特點(diǎn)與磁盤存儲(chǔ)快速讀寫、實(shí)時(shí)響應(yīng)的優(yōu)勢(shì)相結(jié)合，可以有效解決用戶快速高效安全存取歸檔數(shù)據(jù)的難題。

系統(tǒng)架構(gòu)方面，在47U機(jī)柜內(nèi)放置基本單元A和基本單元B，同時(shí)放置兩組溫?cái)U(kuò)單元，為了提高讀寫效率把原來不含光驅(qū)的冷擴(kuò)單元，替換成含有光驅(qū)的溫?cái)U(kuò)單元，最大限度擴(kuò)展光驅(qū)數(shù)量到18個(gè)，以達(dá)到并行讀寫的最高速度。同時(shí)在機(jī)柜內(nèi)放置存儲(chǔ)服務(wù)器、機(jī)柜電源、底部單元。

軟件系統(tǒng)架構(gòu)圖

基本單元A和基本單元B之間、存儲(chǔ)服務(wù)器和基本單元之間、溫?cái)U(kuò)單元之間、存儲(chǔ)服務(wù)器與溫?cái)U(kuò)單元之間都采用SAS線進(jìn)行連接，每個(gè)藍(lán)光光盤庫通過存儲(chǔ)服務(wù)器的萬兆光纖卡與萬兆交換機(jī)進(jìn)行連接，管理終端連接到萬兆交換機(jī)的控制口。

應(yīng)用程序服務(wù)器通過匯聚交換機(jī)與萬兆交換機(jī)進(jìn)行連接，為避免單點(diǎn)故障，萬兆交換機(jī)采用冗余設(shè)計(jì)，萬兆交換機(jī)之間采用堆疊線纜進(jìn)行連接。

根據(jù)目前的歸檔數(shù)據(jù)存儲(chǔ)容量估算，一般不會(huì)超過10PB，系統(tǒng)采用分布式架構(gòu)設(shè)計(jì)，系統(tǒng)采用單張500G藍(lán)光光盤，每個(gè)光盤匣裝載12張光盤，每個(gè)單元裝載76個(gè)光盤匣，每個(gè)藍(lán)光光盤庫裝載456個(gè)光盤匣，3套藍(lán)光光盤庫，總?cè)萘繛?.21PB。

三、軟件系統(tǒng)架構(gòu)

軟件系統(tǒng)架構(gòu)主要由三個(gè)部分組成，最底層是光盤庫機(jī)械手驅(qū)動(dòng)，上一層是光盤庫管理軟件，最上層由藍(lán)光存儲(chǔ)應(yīng)用系統(tǒng)向應(yīng)用程序提供S3接口和CIFS、NFS文件接口。

光盤庫機(jī)械手驅(qū)動(dòng)主要提供光盤匣的運(yùn)輸控制功能，接受盤庫管理軟件的指令，將光盤匣從指定位置取出，運(yùn)送到指定加載位置，等待光驅(qū)分盤機(jī)械手的分盤動(dòng)作，為光驅(qū)讀寫做準(zhǔn)備。

光盤庫管理軟件負(fù)責(zé)光盤庫地讀寫處理、Raid控制、分盤機(jī)械手控制，同時(shí)也包括光盤庫的監(jiān)視、配置、管理、運(yùn)維。

藍(lán)光存儲(chǔ)應(yīng)用系統(tǒng)提供了對(duì)象歸檔存儲(chǔ)、生命周期管理、數(shù)據(jù)抽取、容量擴(kuò)展、數(shù)據(jù)讀寫等功能，數(shù)據(jù)統(tǒng)一以AWS S3協(xié)議接口暴露給上層應(yīng)用。系統(tǒng)提供用戶管理、光盤庫信息查詢、光盤庫狀態(tài)監(jiān)控、光盤庫注冊(cè)刪除，存儲(chǔ)桶狀態(tài)監(jiān)控，以RESTfulapi 為用戶提供監(jiān)控運(yùn)維服務(wù)。同時(shí)系統(tǒng)支持容量擴(kuò)展功能，可根據(jù)實(shí)際的存儲(chǔ)需求進(jìn)行容量的擴(kuò)展，支持?jǐn)?shù)據(jù)讀寫功能，能夠?qū)σ曨l、圖片等大容量數(shù)據(jù)進(jìn)行讀寫以及數(shù)據(jù)加密、多并發(fā)等數(shù)據(jù)操作。

四、系統(tǒng)工作原理

藍(lán)光存儲(chǔ)系統(tǒng)為了提高數(shù)據(jù)存取速度，用存儲(chǔ)服務(wù)器作為數(shù)據(jù)緩存，采用最大數(shù)量裝載光驅(qū)、小文件歸并，大文件拆分、文件預(yù)讀、斷點(diǎn)續(xù)傳等技術(shù)提高存取速度。同時(shí)，為了保證數(shù)據(jù)安全采用了元數(shù)據(jù)備份與數(shù)據(jù)反向重建技術(shù)。

（一）存儲(chǔ)服務(wù)器作為數(shù)據(jù)緩存

藍(lán)光存儲(chǔ)由于數(shù)據(jù)存取方式的限制，速度無法達(dá)到應(yīng)用程序的要求，磁盤存儲(chǔ)相比藍(lán)光存儲(chǔ)具有高速存取的特性，磁盤存儲(chǔ)作為藍(lán)光存儲(chǔ)系統(tǒng)的緩存，與藍(lán)光存儲(chǔ)形成互補(bǔ)。藍(lán)光存儲(chǔ)系統(tǒng)在應(yīng)用服務(wù)器存取數(shù)據(jù)時(shí)通過存儲(chǔ)服務(wù)器作為數(shù)據(jù)緩存，可以達(dá)到應(yīng)用程序高速存取數(shù)據(jù)的需求。

（二）數(shù)據(jù)并發(fā)實(shí)現(xiàn)高速存取

藍(lán)光光盤庫光驅(qū)數(shù)量的不足影響數(shù)據(jù)存取速度，藍(lán)光存儲(chǔ)系統(tǒng)內(nèi)數(shù)據(jù)線帶寬是數(shù)據(jù)快速存取的瓶頸。藍(lán)光存儲(chǔ)系統(tǒng)內(nèi)，藍(lán)光光盤庫最大數(shù)量裝載光驅(qū)，以達(dá)到數(shù)據(jù)快速并行存取的目的，同時(shí)通過SAS線連接到存儲(chǔ)服務(wù)器，避免帶寬傳輸瓶頸，藍(lán)光存儲(chǔ)系統(tǒng)通過萬兆交換機(jī)與應(yīng)用服務(wù)器進(jìn)行連接，將快速并發(fā)數(shù)據(jù)高效提供給應(yīng)用系統(tǒng)。

（三）小文件歸并，大文件拆分

小文件數(shù)量過多，過于頻繁地存取會(huì)嚴(yán)重影響業(yè)務(wù)系統(tǒng)性能，將小文件合并后再進(jìn)行數(shù)據(jù)存取，以提高整體性能水平。小文件歸并功能，支持預(yù)先定義文件大小，并將小于閾值的文件，合并到指定大小文件后再進(jìn)行數(shù)據(jù)存取。單個(gè)大文件過大，需要對(duì)大文件進(jìn)行拆分，把任務(wù)分配到多個(gè)光驅(qū)并行存取，拆分后的文件放在不同的光盤上。大文件拆分功能，支持預(yù)先定義文件大小，并將大于閾值的文件，拆分到指定大小文件后再進(jìn)行數(shù)據(jù)存取。

對(duì)于小于64KB的小文件，合并為4MB的大文件，最終所有文件打包成200GB的數(shù)據(jù)包，由存儲(chǔ)服務(wù)器傳輸給光盤庫管理軟件進(jìn)行藍(lán)光光盤燒錄。對(duì)于大于10GB的大文件，拆分成100個(gè)100MB的小文件，最終所有文件打包成200GB的數(shù)據(jù)包，也由存儲(chǔ)服務(wù)器傳輸給光盤庫管理軟件進(jìn)行藍(lán)光光盤燒錄。

（四）文件預(yù)讀

歸檔文件的小文件在短時(shí)間內(nèi)多次讀取時(shí)，可依據(jù)訪問頻次的多少，將整個(gè)歸并文件加載到存儲(chǔ)服務(wù)器內(nèi)存中，提升后續(xù)讀取文件效率。文件預(yù)讀功能，支持預(yù)先定義讀取頻度，并將大于閾值的文件，預(yù)先加載到存儲(chǔ)服務(wù)器內(nèi)存中。

（五）斷點(diǎn)續(xù)傳

斷點(diǎn)續(xù)傳技術(shù)可以將一個(gè)大文件分割成若干個(gè)小文件，客戶端上傳這些小文件，服務(wù)器收到小文件后按照一定的規(guī)則將這些小文件合并成一個(gè)大文件。當(dāng)出現(xiàn)網(wǎng)絡(luò)故障導(dǎo)致傳輸中斷的時(shí)候，下次上傳只需要從中斷時(shí)的小文件部分繼續(xù)上傳即可，不需要重新從頭傳輸之前的大文件，增加了文件傳輸?shù)男省?/p>

（六）元數(shù)據(jù)備份與數(shù)據(jù)反向重建

通常的存儲(chǔ)系統(tǒng)中，數(shù)據(jù)的索引和元數(shù)據(jù)信息會(huì)保存在磁存儲(chǔ)服務(wù)器中，當(dāng)存儲(chǔ)服務(wù)器發(fā)生故障時(shí)，數(shù)據(jù)的安全等級(jí)會(huì)降低甚至出現(xiàn)數(shù)據(jù)丟失現(xiàn)象。藍(lán)光存儲(chǔ)系統(tǒng)通過將元數(shù)據(jù)信息同時(shí)寫入到藍(lán)光中進(jìn)行備份來提升數(shù)據(jù)安全等級(jí)，當(dāng)磁存儲(chǔ)節(jié)點(diǎn)發(fā)生故障后，可通過藍(lán)光上保存的副本元數(shù)據(jù)進(jìn)行數(shù)據(jù)反向重建，在新的集群中重建索引和元數(shù)據(jù)，并對(duì)外提供訪問。

五、高速存取數(shù)據(jù)藍(lán)光存儲(chǔ)系統(tǒng)的創(chuàng)新點(diǎn)

系統(tǒng)在架構(gòu)完成光磁融合的基礎(chǔ)上，實(shí)現(xiàn)對(duì)高速應(yīng)用需求的快速響應(yīng)，把單體庫體歸檔數(shù)據(jù)最大寫入速度375MB每秒、最大讀取速度540MB每秒，提高到單體庫體最大寫入速度1125MB每秒、最大讀取速度1620MB每秒，并實(shí)現(xiàn)數(shù)據(jù)存取速度線性增長(zhǎng)和存儲(chǔ)容量的平滑擴(kuò)展。

藍(lán)光存儲(chǔ)系統(tǒng)每個(gè)藍(lán)光光盤庫裝載18個(gè)光驅(qū)，并發(fā)寫入速度提高到1125MB每秒、最大讀取速度提高到1620MB每秒，3個(gè)機(jī)柜組成的藍(lán)光存儲(chǔ)系統(tǒng)并發(fā)最大寫入速度約為3.375GB/秒，最大讀取速度約為4.86GB/秒。相比原有架構(gòu)單機(jī)柜存取速度，本專利理論上實(shí)現(xiàn)單機(jī)柜3倍的速度增長(zhǎng)，考慮到分布式架構(gòu)的設(shè)計(jì)，如果采用3個(gè)藍(lán)光光盤庫，理論上實(shí)現(xiàn)9倍的速度增長(zhǎng)，極大的拓展藍(lán)關(guān)存儲(chǔ)系統(tǒng)的使用場(chǎng)景。

六、未來存儲(chǔ)技術(shù)發(fā)展的展望

社交媒體、高清視頻、大數(shù)據(jù)分析、云計(jì)算等新型產(chǎn)業(yè)的快速發(fā)展帶來高速訪問的數(shù)據(jù)存儲(chǔ)需求，尤其是以長(zhǎng)江存儲(chǔ)為代表的國(guó)產(chǎn)廠商迅速成長(zhǎng)以后，以固態(tài)硬盤為基礎(chǔ)的存儲(chǔ)系統(tǒng)在未來的在線存儲(chǔ)應(yīng)用場(chǎng)景一定會(huì)成為主流。

機(jī)械硬盤由于在功耗、故障率、讀寫速度等方面相比固態(tài)硬盤都有比較明顯的劣勢(shì)，會(huì)隨著固態(tài)硬盤成本的下降，逐漸在在線存儲(chǔ)等高速存取的使用場(chǎng)景成為固態(tài)硬盤的補(bǔ)充，以固態(tài)硬盤為基礎(chǔ)的存儲(chǔ)系統(tǒng)也逐漸會(huì)淡出主要的在線應(yīng)用場(chǎng)景。

以藍(lán)光光盤為基礎(chǔ)的藍(lán)光存儲(chǔ)系統(tǒng)，在海量、綠色、安全、長(zhǎng)期等方面具有優(yōu)勢(shì)，雖然由于其設(shè)計(jì)原理帶來的讀寫速度問題制約藍(lán)光存儲(chǔ)的大規(guī)模應(yīng)用，但是藍(lán)光存儲(chǔ)在歸檔備份領(lǐng)域會(huì)長(zhǎng)期占據(jù)一席之地，并且由于在磁光電融合的基礎(chǔ)上，形成的滿足熱數(shù)據(jù)、溫?cái)?shù)據(jù)、冷數(shù)據(jù)的能力優(yōu)勢(shì)，也將在多種應(yīng)用場(chǎng)景得到采用。