一種自主可控的加固型存儲(chǔ)陣列設(shè)計(jì)

金亮亮　吳洪成　祝緒東

摘 要： 介紹一種滿足車載工作環(huán)境的加固型存儲(chǔ)陣列設(shè)計(jì)，該存儲(chǔ)陣列采用國(guó)產(chǎn)CPU作為存儲(chǔ)控制器，利用可編程邏輯自主開(kāi)發(fā)了RAID控制器，實(shí)現(xiàn)了面向網(wǎng)絡(luò)的iSCSI等通用存儲(chǔ)服務(wù)。雙機(jī)熱備技術(shù)的采用進(jìn)一步確保了數(shù)據(jù)存儲(chǔ)的安全性和數(shù)據(jù)服務(wù)的不間斷性。

關(guān)鍵詞： 存儲(chǔ)陣列； iSCSI； 自主可控； 雙機(jī)熱備

中圖分類號(hào)：TP399 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1006-8228（2015）11-01-03

Abstract： This paper introduces a design of vehicular ruggedized storage array. The storage array adopts domestic CPU as the controller， the RAID controller is developed by using FPGA， and iSCSI and other network-oriented general storage services are realized. The use of hot standby technology further ensures the security of data storage and uninterrupted data service.

Key words： storage array； iSCSI； autonomous controllable； hot standby

0 引言

由于網(wǎng)絡(luò)存儲(chǔ)在存儲(chǔ)速率、數(shù)據(jù)可用性、I/O服務(wù)方面具有良好的性能，使其逐漸成為高性能信息處理系統(tǒng)的關(guān)鍵設(shè)施。目前，高性能網(wǎng)絡(luò)存儲(chǔ)設(shè)備的制造技術(shù)主要掌握在國(guó)外廠商手中，如EMC、HP、IBM等供應(yīng)商，這些廠商不僅能夠提供高性能與高可靠性的存儲(chǔ)產(chǎn)品[1]，而且可以提供整套的存儲(chǔ)解決方案。雖然國(guó)內(nèi)存儲(chǔ)產(chǎn)品供應(yīng)商如華為、浪潮、曙光占據(jù)了網(wǎng)絡(luò)存儲(chǔ)產(chǎn)品的一定市場(chǎng)份額，但核心存儲(chǔ)技術(shù)仍采用國(guó)外技術(shù)，存儲(chǔ)控制器一般依賴Intel的XEON等產(chǎn)品。

在軍事應(yīng)用等敏感領(lǐng)域，技術(shù)自主可控的要求日益強(qiáng)烈，核心存儲(chǔ)控制器設(shè)計(jì)國(guó)產(chǎn)化已經(jīng)迫在眉睫。現(xiàn)有的基于XEON等控制器的存儲(chǔ)產(chǎn)品，在飛機(jī)、越野車等工作環(huán)境中，穩(wěn)定性大幅降低，無(wú)法滿足高低溫、濕熱、低氣壓、抗振等試驗(yàn)要求。由于處理器、RAID卡等核心部件均是采購(gòu)?fù)鈬?guó)產(chǎn)品，無(wú)法修改，加固設(shè)計(jì)也很難進(jìn)行。

本文介紹一種滿足車載工作環(huán)境的加固型存儲(chǔ)陣列設(shè)計(jì)，該存儲(chǔ)陣列對(duì)外提供SAN和NAS融合的統(tǒng)一網(wǎng)絡(luò)存儲(chǔ)服務(wù)[2]，支持RAID5，容量達(dá)到24TB（熱備模式下有效容量為12TB）。設(shè)備采取標(biāo)準(zhǔn)上架式設(shè)計(jì)，要求工作溫度-10℃～55℃，并可支持高原低氣壓工作。

1 總體設(shè)計(jì)

為滿足振動(dòng)、高低溫、低氣壓等車載的環(huán)境適應(yīng)性要求，存儲(chǔ)陣列采用CPCI技術(shù)架構(gòu)，將PCIe等高速總線集成在背板，從而避免商用存儲(chǔ)陣列中大底板和金手指等技術(shù)形式在惡劣環(huán)境下容易出現(xiàn)的接觸不可靠、傳輸不穩(wěn)定、易熱脹冷縮等問(wèn)題。加固型存儲(chǔ)陣列式示意如圖1所示。

存儲(chǔ)陣列選用電子盤作為存儲(chǔ)介質(zhì)，并采取整體加固安裝形式，所有SAS/SATA總線均自主設(shè)計(jì)在背板中，消除了普通盤接口接觸的易松動(dòng)特性，整機(jī)內(nèi)部沒(méi)有線纜。而且，電子盤沒(méi)有機(jī)械磁頭，不受振動(dòng)影響，對(duì)低氣壓也不敏感。

存儲(chǔ)陣列所有功能模塊均自主設(shè)計(jì)，包括CPU板、RAID卡、電源、電子盤等，對(duì)器件選型和PCB設(shè)計(jì)等均可遵照GJB等相關(guān)規(guī)范，增加設(shè)計(jì)冗余以滿足寬溫工作要求，并執(zhí)行板級(jí)篩選。其中，CPU板選擇國(guó)產(chǎn)處理器SW410，RAID算法在FGPA內(nèi)實(shí)現(xiàn)。

由于車載空間限制，設(shè)備機(jī)箱深度要求不超過(guò)460mm，普通的商用存儲(chǔ)陣列設(shè)計(jì)方法無(wú)法滿足要求（深度一般均超過(guò)500mm）。本設(shè)計(jì)采取了前后通風(fēng)式的統(tǒng)一布局[3]，模塊傳導(dǎo)與整體強(qiáng)迫風(fēng)冷結(jié)合散熱，所有模塊均衡分布，機(jī)箱深度降低至440mm，防止模塊間熱串?dāng)_，設(shè)備散熱效果也大幅提升，提高高溫工作的可靠性。

2 存儲(chǔ)控制器設(shè)計(jì)

存儲(chǔ)控制器是網(wǎng)絡(luò)存儲(chǔ)陣列產(chǎn)品的核心部件，含存儲(chǔ)管理單元、RAID處理器、嵌入式的操作系統(tǒng)和專業(yè)的存儲(chǔ)管理軟件。

2.1 存儲(chǔ)管理單元

本設(shè)計(jì)中，選擇國(guó)產(chǎn)處理器SW410作為存儲(chǔ)控制器，自主設(shè)計(jì)了SW410的CPCI形式的主控板[4]，以適應(yīng)設(shè)備結(jié)構(gòu)要求。如圖3。

在實(shí)際測(cè)試中發(fā)現(xiàn)，SW410兼顧讀寫控制與服務(wù)的響應(yīng)較慢，對(duì)I/O控制過(guò)程耗時(shí)較長(zhǎng)，不能及時(shí)響應(yīng)外部服務(wù)。因此在本設(shè)計(jì)中，將存儲(chǔ)控制遷移至SCSI Target中層，直接向塊設(shè)備驅(qū)動(dòng)建立地址映射，調(diào)用MD驅(qū)動(dòng)建立邏輯卷，再掛載外部PCIe總線上的DMA通路，由硬件電路自主完成數(shù)據(jù)塊經(jīng)RAID控制器寫入磁盤過(guò)程，SW410僅負(fù)責(zé)管理邏輯卷映射表，集中精力響應(yīng)存儲(chǔ)服務(wù)。

2.2 RAID控制器

RAID是獨(dú)立磁盤冗余陣列的英文簡(jiǎn)稱，有RAID0、RAID1、RAID5、RAID6、RAID10等多種RAID等級(jí)。RAID技術(shù)原理雖然很成熟，但目前市面上能夠購(gòu)買的高性能RAID卡均是LSI金手指形式，抗振動(dòng)性能較差，而且無(wú)法集成DMA控制器。

本設(shè)計(jì)的RAID算法基于XINLINX V6系列FPGA來(lái)實(shí)現(xiàn)，性能可以與RAID芯片保持一致，編碼速率可達(dá)900MB/s以上。FPGA內(nèi)部還集成了DMA控制器，利用DirectIO技術(shù)掛載PCIe IP核，連接多個(gè)SAS/SATA IP核。FPGA掛載了高速、大容量DDR3緩存，將寫通路緩存和讀通路緩存獨(dú)立分開(kāi)，各自建立FIFO隊(duì)列，避免讀/寫切換時(shí)緩存清空開(kāi)銷，減小讀/寫過(guò)程轉(zhuǎn)換CPU等待時(shí)間。

3 雙機(jī)熱備技術(shù)

為保證數(shù)據(jù)存儲(chǔ)的安全性和數(shù)據(jù)服務(wù)的不間斷性，存儲(chǔ)陣列集成了完整的兩套存儲(chǔ)管理電路，可將電子盤分為兩組進(jìn)行配置，組建兩個(gè)RAID陣列，執(zhí)行雙機(jī)熱備的集群工作方式，數(shù)據(jù)自動(dòng)被鏡像復(fù)制并分別存儲(chǔ)在兩組陣列中，以保證存儲(chǔ)數(shù)據(jù)的絕對(duì)安全。存儲(chǔ)對(duì)外服務(wù)執(zhí)行主從模式，任意一個(gè)服務(wù)若發(fā)生中斷，另一個(gè)存儲(chǔ)管理器自動(dòng)接管服務(wù)，保證對(duì)外存儲(chǔ)服務(wù)不間斷。

通過(guò)配置管理軟件可將其中一個(gè)存儲(chǔ)分機(jī)配置成“主服務(wù)器”，另一個(gè)配置成“從服務(wù)器”，主從服務(wù)器有各自的IP地址，主從服務(wù)器通過(guò)集群軟件虛擬出有一個(gè)共同的虛擬IP，這個(gè)虛IP就是客戶端訪問(wèn)該系統(tǒng)時(shí)用的IP地址。這種措施是高可靠集群[5]的首要技術(shù)保證，可確保集群服務(wù)的切換不會(huì)影響客戶IP層的訪問(wèn)。

心跳和同步線是高可靠集群系統(tǒng)中主從節(jié)點(diǎn)通訊的物理通道，通過(guò)集群軟件的控制來(lái)確保服務(wù)數(shù)據(jù)和狀態(tài)同步。心跳和同步線可采用串并口、USB口或TCP/IP網(wǎng)口，基于TCP/IP技術(shù)的心跳線因通用性和高性能而被廣泛采用。若僅有主從兩臺(tái)服務(wù)器，心跳和同步線刻可以采用直連的方式，無(wú)需通過(guò)交換機(jī)。

熱備集群軟件負(fù)責(zé)實(shí)現(xiàn)兩個(gè)存儲(chǔ)分機(jī)的同步狀態(tài)檢測(cè)、主備切換。當(dāng)主服務(wù)器出現(xiàn)故障時(shí)，從服務(wù)器及時(shí)接管主服務(wù)器資源，這些資源包括處理器、內(nèi)存數(shù)據(jù)列表和磁盤數(shù)據(jù)。為了支撐高可靠集群系統(tǒng)故障時(shí)順利接管磁盤數(shù)據(jù)，引入了磁盤鏡像技術(shù)。磁盤鏡像類似于在設(shè)備間實(shí)現(xiàn)一個(gè)RAID1的功能，當(dāng)主服務(wù)器將數(shù)據(jù)寫入本地磁盤時(shí)，數(shù)據(jù)將被磁盤鏡像軟件捕獲并通過(guò)網(wǎng)絡(luò)發(fā)送到網(wǎng)絡(luò)中從服務(wù)器上，且以相同的形式記錄在磁盤中，保證主從存儲(chǔ)分機(jī)內(nèi)的數(shù)據(jù)實(shí)時(shí)同步。當(dāng)主服務(wù)器出現(xiàn)故障時(shí)，從服務(wù)器利用已同步的磁盤數(shù)據(jù)接管服務(wù)。

4 結(jié)束語(yǔ)

面對(duì)國(guó)外網(wǎng)絡(luò)存儲(chǔ)廠商設(shè)置的技術(shù)壁壘，自主可控高可靠存儲(chǔ)陣列的研制顯得尤為重要。本文介紹的加固型存儲(chǔ)陣列就是在自主可控的大背景下針對(duì)抗惡劣環(huán)境需求而提出的一種自主可控存儲(chǔ)陣列的典型架構(gòu)。經(jīng)測(cè)試和試驗(yàn)驗(yàn)證，該加固型存儲(chǔ)陣列在FC接口下iSCSI讀寫速率大于700MB/s；千兆網(wǎng)接口下CIFS和iSCSI讀寫速率均不低于70MB/s；組RAID5模式后有效存儲(chǔ)容量不低于24TB，雙機(jī)熱備時(shí)有效容量不低于12TB，熱備服務(wù)切換時(shí)間小于1s。

在國(guó)產(chǎn)CPU性能無(wú)法快速提升的情況下，如何優(yōu)化流程控制、構(gòu)建旁路系統(tǒng)以減輕CPU負(fù)載是存儲(chǔ)陣列進(jìn)一步研究的內(nèi)容。同時(shí)，還需在此基礎(chǔ)上研究網(wǎng)絡(luò)IO加速卡，創(chuàng)建從網(wǎng)絡(luò)服務(wù)端口至讀寫控制端口的直接映射，集成多級(jí)RAID控制技術(shù)，進(jìn)一步釋放CPU負(fù)載，以提升存儲(chǔ)陣列性能。

參考文獻(xiàn)（References）：

[1] 國(guó)內(nèi)網(wǎng)絡(luò)存儲(chǔ)發(fā)展現(xiàn)狀[J].http：//wenku.baidu.com.

[2] 張冬.網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)原理精解與最佳實(shí)踐[M].清華大學(xué)出版

社，2008.

[3] 田云均.車載式數(shù)字圖像固態(tài)存儲(chǔ)技術(shù)協(xié)議的研究[J].長(zhǎng)春

理工大學(xué)，2010：21-25

[4] 張忠濤等.抗惡劣環(huán)境高性能計(jì)算機(jī)[J].計(jì)算機(jī)工程，2008.9.

[5] 鞏天寧，周書明.基于DRBD的Linux高可用集群[J].電腦與

信息技術(shù)，2012.1.