自主可控的數(shù)據(jù)存儲(chǔ)系統(tǒng)開(kāi)發(fā)

吳洪成+金亮亮

當(dāng)前信息系統(tǒng)對(duì)數(shù)據(jù)安全的要求不斷增加，其數(shù)據(jù)存儲(chǔ)系統(tǒng)愈加重要，國(guó)產(chǎn)化尤其是國(guó)產(chǎn)處理器勢(shì)在必行。這幾年，國(guó)內(nèi)CPU自主研發(fā)進(jìn)展也較快，如申威、龍芯、飛騰等CPU器件，在性能上已經(jīng)得到大幅提升。因此，筆者在此提出一種基于國(guó)產(chǎn)處理器的數(shù)據(jù)存儲(chǔ)系統(tǒng)，立足于國(guó)產(chǎn)申威處理器為基礎(chǔ)的自主研發(fā)的服務(wù)器、盤(pán)陣，采用萬(wàn)兆網(wǎng)絡(luò)組網(wǎng)，部署與運(yùn)行自主開(kāi)發(fā)的存儲(chǔ)軟件平臺(tái)，構(gòu)成一整套自主可控、高性能、安全可靠的數(shù)據(jù)存儲(chǔ)系統(tǒng)，為信息系統(tǒng)的“自主可控、安全可信、高效可用、好用”可起到重要支撐作用。

系統(tǒng)構(gòu)架設(shè)計(jì)原理

按照信息系統(tǒng)“以網(wǎng)絡(luò)為中心，面向服務(wù)”的架構(gòu)發(fā)展趨勢(shì)，基于國(guó)產(chǎn)處理器的數(shù)據(jù)存儲(chǔ)系統(tǒng)在對(duì)數(shù)據(jù)的采集、交換、存儲(chǔ)、處理以及應(yīng)用等方面進(jìn)行統(tǒng)一規(guī)劃，并著重考慮數(shù)據(jù)安全可靠存儲(chǔ)的基礎(chǔ)上，圍繞以網(wǎng)絡(luò)為中心的數(shù)據(jù)策略，對(duì)數(shù)據(jù)管理、交換、服務(wù)進(jìn)行研究。

組成原理

基于國(guó)產(chǎn)處理器的數(shù)據(jù)存儲(chǔ)系統(tǒng)的組成，主要包括數(shù)據(jù)訪問(wèn)服務(wù)器、數(shù)據(jù)管理服務(wù)器、存儲(chǔ)陣列及相關(guān)配套的交換機(jī)（萬(wàn)兆網(wǎng)絡(luò)）。（如圖1所示）

數(shù)據(jù)存儲(chǔ)系統(tǒng)的核心設(shè)備如數(shù)據(jù)訪問(wèn)服務(wù)器、數(shù)據(jù)管理服務(wù)器、存儲(chǔ)陣列等，都采用基于國(guó)產(chǎn)化CPU（申威處理器）的自主研制開(kāi)發(fā)的計(jì)算服務(wù)平臺(tái)，并適配國(guó)產(chǎn)化操作系統(tǒng)及應(yīng)用，服務(wù)器實(shí)現(xiàn)從處理器、平臺(tái)設(shè)計(jì)到軟件系統(tǒng)的自主可控。

主要功能

基于國(guó)產(chǎn)處理器的數(shù)據(jù)存儲(chǔ)系統(tǒng)在國(guó)產(chǎn)自主計(jì)算機(jī)系統(tǒng)架構(gòu)設(shè)計(jì)、國(guó)產(chǎn)軟、硬件兼容適配、系統(tǒng)性能優(yōu)化、系統(tǒng)可靠性及穩(wěn)定性設(shè)計(jì)、集群高可用管理、監(jiān)控管理等技術(shù)攻關(guān)基礎(chǔ)上完成設(shè)計(jì)與實(shí)現(xiàn)。

該系統(tǒng)針對(duì)小型系統(tǒng)應(yīng)用、記錄轉(zhuǎn)儲(chǔ)、私有云進(jìn)行性能優(yōu)化，提供高速訪問(wèn)、高速導(dǎo)入導(dǎo)出能力；為保障數(shù)據(jù)安全可靠，支持多種備份手段；實(shí)現(xiàn)統(tǒng)一的、多樣化的數(shù)據(jù)服務(wù)；完善鑒權(quán)加密機(jī)制；支持多中心訪問(wèn)及備份以及動(dòng)態(tài)重構(gòu)及擴(kuò)展。

基于國(guó)產(chǎn)處理器的服務(wù)器

在基于國(guó)產(chǎn)處理器的數(shù)據(jù)存儲(chǔ)系統(tǒng)中，數(shù)據(jù)訪問(wèn)服務(wù)器、數(shù)據(jù)管理服務(wù)器采用自主研制開(kāi)發(fā)的計(jì)算服務(wù)平臺(tái)，并適配國(guó)產(chǎn)化嵌入式操作系統(tǒng)及應(yīng)用。

服務(wù)器硬件平臺(tái)采用國(guó)產(chǎn)處理器申威4核64位處理器（SW410），配有板載嵌入式GPU和存儲(chǔ)單元，通過(guò)高帶寬PCIe總線擴(kuò)展IO，具有高處理性能、高帶寬和高可靠性等特點(diǎn)；支持多存儲(chǔ)控制器交換式架構(gòu)，提供對(duì)主要存儲(chǔ)總線、交換總線、網(wǎng)卡、加密設(shè)備等的驅(qū)動(dòng)支持。

基于國(guó)產(chǎn)處理器的存儲(chǔ)陣列

自主可控存儲(chǔ)陣列由國(guó)產(chǎn)化主控模塊（基于國(guó)產(chǎn)處理器平臺(tái)）、磁盤(pán)盤(pán)陣、高速接口模塊、PCIe交換模塊、RAID控制模塊組成。

存儲(chǔ)陣列硬件平臺(tái)借鑒基于國(guó)產(chǎn)處理器的服務(wù)器的設(shè)計(jì)思路，仍采用國(guó)產(chǎn)化處理器申威4核64位處理器（SW410），配有板載嵌入式GPU和存儲(chǔ)單元，同時(shí)適配國(guó)產(chǎn)化中標(biāo)麒麟操作系統(tǒng)及國(guó)產(chǎn)化數(shù)據(jù)庫(kù)、中間件。

目前，基于國(guó)產(chǎn)處理器的存儲(chǔ)陣列已實(shí)現(xiàn)了2U、3U、4U等不同的機(jī)箱形式，可掛載12盤(pán)位、16盤(pán)位、24盤(pán)位、36盤(pán)位，實(shí)現(xiàn)數(shù)據(jù)讀寫(xiě)訪問(wèn)能力600MB/s以上，容量（單柜，每盤(pán)4TB）最大支持144TB的數(shù)據(jù)盤(pán)陣。

自主存儲(chǔ)軟件平臺(tái)

自主存儲(chǔ)軟件平臺(tái)為數(shù)據(jù)存儲(chǔ)系統(tǒng)的研制提供支撐，并提供多樣化的數(shù)據(jù)服務(wù)。自主存儲(chǔ)軟件平臺(tái)通過(guò)開(kāi)放的分布式架構(gòu)設(shè)計(jì)提供可擴(kuò)展、可重構(gòu)、高可靠、高安全的數(shù)據(jù)存儲(chǔ)、管理、服務(wù)運(yùn)行環(huán)境，進(jìn)一步提高數(shù)據(jù)存儲(chǔ)系統(tǒng)的自主可控能力。自主存儲(chǔ)軟件平臺(tái)總體框架如圖2所示。

自主存儲(chǔ)操作系統(tǒng)

自主存儲(chǔ)操作系統(tǒng)平臺(tái)集成自主存儲(chǔ)軟件，運(yùn)行在自主研制的自主可控服務(wù)器上，共同構(gòu)成自主存儲(chǔ)陣列產(chǎn)品。

分布式存儲(chǔ)平臺(tái)軟件

分布式存儲(chǔ)平臺(tái)軟件部署在多臺(tái)自主存儲(chǔ)陣列產(chǎn)品上（基于自主存儲(chǔ)操作系統(tǒng)），將這些多存儲(chǔ)陣列結(jié)合為一個(gè)整體，實(shí)現(xiàn)存儲(chǔ)資源統(tǒng)一管理、并行存儲(chǔ)服務(wù)等功能，形成對(duì)象存儲(chǔ)系統(tǒng)、高性能并行存儲(chǔ)系統(tǒng)產(chǎn)品。

數(shù)據(jù)服務(wù)軟件

根據(jù)國(guó)產(chǎn)化存儲(chǔ)陣列的特點(diǎn)，并結(jié)合相應(yīng)特殊應(yīng)用的需求，自主研制了對(duì)應(yīng)的數(shù)據(jù)服務(wù)軟件。數(shù)據(jù)服務(wù)軟件包括三個(gè)部分：數(shù)據(jù)管理服務(wù)軟件、海量數(shù)據(jù)高速轉(zhuǎn)儲(chǔ)服務(wù)軟件、海量數(shù)據(jù)Web服務(wù)軟件。

數(shù)據(jù)管理服務(wù)軟件：數(shù)據(jù)管理服務(wù)軟件實(shí)現(xiàn)數(shù)據(jù)管理、數(shù)據(jù)轉(zhuǎn)儲(chǔ)/歸檔、數(shù)據(jù)Web服務(wù)等，其形態(tài)為相對(duì)獨(dú)立的軟件模塊，可集成到自主存儲(chǔ)陣列、分布式存儲(chǔ)系統(tǒng)中實(shí)現(xiàn)多種數(shù)據(jù)服務(wù)，并可根據(jù)用戶的需求進(jìn)行定制，例如實(shí)現(xiàn)情報(bào)數(shù)據(jù)轉(zhuǎn)儲(chǔ)、情報(bào)數(shù)據(jù)Web服務(wù)等。

海量數(shù)據(jù)高速轉(zhuǎn)儲(chǔ)服務(wù)軟件：海量數(shù)據(jù)轉(zhuǎn)儲(chǔ)服務(wù)軟件，提供海量數(shù)據(jù)的高速導(dǎo)入和導(dǎo)出接口，可充分根據(jù)數(shù)據(jù)特點(diǎn)優(yōu)化數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)與歸檔方式，加快查詢效率。

海量數(shù)據(jù)Web服務(wù)軟件：海量數(shù)據(jù)Web服務(wù)軟件運(yùn)行于存儲(chǔ)系統(tǒng)，為存儲(chǔ)系統(tǒng)增加基于Web的私有網(wǎng)盤(pán)服務(wù)，提供用戶可視化的人機(jī)訪問(wèn)及查詢界面。軟件支持多用戶的數(shù)據(jù)上傳、下載、共享、查詢、分類管理等功能。

安全機(jī)制、安全保護(hù)及審計(jì)

在存儲(chǔ)系統(tǒng)原有安全機(jī)制的基礎(chǔ)上，采用多安全級(jí)強(qiáng)制訪問(wèn)控制、加密、審計(jì)等安全機(jī)制，并融入到平臺(tái)的相關(guān)存儲(chǔ)訪問(wèn)、數(shù)據(jù)存儲(chǔ)、存儲(chǔ)備份、終端訪問(wèn)各環(huán)節(jié)，在保證計(jì)算、傳輸、存儲(chǔ)性能的前提下實(shí)現(xiàn)多級(jí)安全機(jī)制緊密耦合一體化技術(shù)，提供安全防護(hù)能力。

對(duì)外應(yīng)用服務(wù)

基于國(guó)產(chǎn)處理器的數(shù)據(jù)存儲(chǔ)系統(tǒng)對(duì)外提供多種存儲(chǔ)服務(wù)，包括標(biāo)準(zhǔn)的iSCSI/NAS接口（可擴(kuò)展支持FC、FCOE）、定制的數(shù)據(jù)訪問(wèn)接口、定制的Web數(shù)據(jù)服務(wù)。

存儲(chǔ)接口服務(wù)

支持NAS存儲(chǔ)服務(wù)，支持包括CIFS、NFS文件共享訪問(wèn)協(xié)議提供存儲(chǔ)服務(wù)；

支持IP-SAN存儲(chǔ)服務(wù)，支持iSCSI協(xié)議，提供基于網(wǎng)絡(luò)的虛擬盤(pán)服務(wù)；

支持分布式存儲(chǔ)服務(wù)，提供文件系統(tǒng)API接口，可實(shí)現(xiàn)對(duì)存儲(chǔ)系統(tǒng)進(jìn)行并行文件訪問(wèn)；

支持對(duì)象存儲(chǔ)服務(wù)，支持對(duì)象存儲(chǔ)接口，支持定制接口。

數(shù)據(jù)冗余/備份

支持存儲(chǔ)設(shè)備間的熱備存儲(chǔ)功能，設(shè)備間存儲(chǔ)空間可組成實(shí)時(shí)鏡像，提供高可靠、高可用的存儲(chǔ)服務(wù)；

支持RAID功能，支持RAID等級(jí)包括RAID0、RAID1、RAID5、RAID6、RAID10；

支持存儲(chǔ)設(shè)備間文件副本備份功能。

系統(tǒng)管理服務(wù)

用戶通過(guò)使用瀏覽器登陸配置管理界面，查看系統(tǒng)狀態(tài)并對(duì)系統(tǒng)的空間劃分、虛擬卷、分布式存儲(chǔ)、網(wǎng)絡(luò)參數(shù)、用戶管理等進(jìn)行配置和管理。

云存儲(chǔ)服務(wù)

系統(tǒng)可支持B/S方式的云存儲(chǔ)服務(wù)，用戶可通過(guò)瀏覽器對(duì)數(shù)據(jù)進(jìn)行上傳、查詢、訪問(wèn)，主要服務(wù)包括分布式存儲(chǔ)服務(wù)、網(wǎng)盤(pán)服務(wù)、海量數(shù)據(jù)管理服務(wù)和多中心數(shù)據(jù)查詢服務(wù)。

基于國(guó)產(chǎn)處理器的數(shù)據(jù)存儲(chǔ)統(tǒng)，采用國(guó)產(chǎn)化申威計(jì)算平臺(tái)、國(guó)產(chǎn)化存儲(chǔ)管理軟件、中間件，通過(guò)多臺(tái)服務(wù)器（4臺(tái)）、存儲(chǔ)機(jī)柜（3U，24盤(pán)位，6臺(tái)）的組網(wǎng)試驗(yàn)，采用分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)的分布式交換架構(gòu)，將物理上多臺(tái)服務(wù)器、存儲(chǔ)陣列在邏輯上構(gòu)成了統(tǒng)一的存儲(chǔ)空間。目前，該數(shù)據(jù)存儲(chǔ)系統(tǒng)的有效容量超過(guò)500TB，讀寫(xiě)訪問(wèn)帶寬達(dá)到3000MB/s（剔除疊加效應(yīng)），并提供統(tǒng)一的數(shù)據(jù)存儲(chǔ)、訪問(wèn)定制、范文等服務(wù)，具有良好的通用性、擴(kuò)展性、可靠性和可用性。

未來(lái)，隨著國(guó)產(chǎn)處理器及國(guó)產(chǎn)操作系統(tǒng)的進(jìn)一步發(fā)展，基于國(guó)產(chǎn)處理器的數(shù)據(jù)存儲(chǔ)性能將得到進(jìn)一步提升，從而滿足大多數(shù)應(yīng)用需求。

（作者單位：中國(guó)電子科技集團(tuán)公司第五十二研究所）