基于Nandflash陣列的高速存儲(chǔ)技術(shù)

張 峰

(中國西南電子技術(shù)研究所,成都610036)

1 引 言

高速數(shù)據(jù)存儲(chǔ)廣泛應(yīng)用于機(jī)載高分辨率對(duì)地觀測和地面對(duì)空跟蹤測量設(shè)備中。以典型大視場面陣CCD數(shù)字?jǐn)z像機(jī)為例,按像元數(shù)10k×10k(全色),2幅/秒,其單幅圖像數(shù)據(jù)量將達(dá)到300 MB/s;而光電精緯儀、高分辨率合成孔徑雷達(dá)(SAR)成像等地面測量設(shè)備能夠產(chǎn)生每秒吉比特量級(jí)數(shù)據(jù),如何完成這些高速數(shù)據(jù)的實(shí)時(shí)存儲(chǔ),成為日益緊迫的研究課題。在傳統(tǒng)存儲(chǔ)方式中,通常選用磁盤(ATA、SATA接口)[1-4]作為存儲(chǔ)介質(zhì),但磁盤是通過磁頭高速旋轉(zhuǎn)與磁道接觸實(shí)現(xiàn)數(shù)據(jù)存取,在高空空氣稀薄不能提供足夠的動(dòng)力使磁頭與磁道充分接觸,易丟失數(shù)據(jù),限制了這種存儲(chǔ)方式在航空航天領(lǐng)域的應(yīng)用。而本文提出的基于Nandflash陣列的存儲(chǔ)方式,不依靠空氣動(dòng)力,是以電信號(hào)作為訪問方式,存取數(shù)據(jù)穩(wěn)定可靠,是航空航天等領(lǐng)域復(fù)雜情況下實(shí)現(xiàn)高速數(shù)據(jù)存儲(chǔ)的理想選擇[5]。國內(nèi)中科院、清華及北理工等單位也進(jìn)行了對(duì)Nandflash存儲(chǔ)技術(shù)的研究。

本文提出的高速大容量基于Nandflash陣列的存儲(chǔ)方式,充分利用了陣列間的并行流水方式,發(fā)揮出了此種方式的讀寫速度極致,實(shí)驗(yàn)表明,存儲(chǔ)速度可達(dá)900 MB/s,讀取速度可達(dá)1200MB/s,可完全滿足CCD相機(jī)及SAR成像G數(shù)量級(jí)的數(shù)據(jù)存儲(chǔ)需求。

2 高速大容量Nandflash存儲(chǔ)陣列硬件設(shè)計(jì)

與Norflash相比,Nandflash強(qiáng)調(diào)降低每比特的成本,并提高數(shù)據(jù)存儲(chǔ)密度,目前主流單片Nandflash容量可達(dá)到 8 GB、16 GB或 32 GB,因此,采用Nandlflash陣列實(shí)現(xiàn)高速海量數(shù)據(jù)存儲(chǔ)成為可能,并逐漸成為一種趨勢(shì)。

按照數(shù)據(jù)采集-緩存-存儲(chǔ)-下傳的數(shù)據(jù)流程,存儲(chǔ)陣列硬件設(shè)計(jì)考慮如下。

(1)數(shù)據(jù)采集

采用多通道FC光纖接口,作為數(shù)據(jù)輸入端,目前主流FC速度可達(dá)到2 Gb/s及4 Gb/s,若以四通道FC接口,則數(shù)據(jù)輸入總速度可達(dá)8Gb/s或16 Gb/s,考慮8B/10B變換及協(xié)議包開銷,有效數(shù)據(jù)速率在6.0～12 Gb/s之間,可滿足高分辨率高幀頻CCD相機(jī)和SAR成像數(shù)據(jù)采集帶寬需求。

(2)數(shù)據(jù)緩存

采用乒乓交叉緩存技術(shù)[6],保證相機(jī)數(shù)據(jù)的實(shí)時(shí)連續(xù)采集與存儲(chǔ),存儲(chǔ)器可采用DDR2或DDR3,數(shù)據(jù)位寬以64位或32位為宜。

(3)數(shù)據(jù)存儲(chǔ)

采用Nandflash陣列為存儲(chǔ)介質(zhì),以每組8片或4片為宜,與乒乓緩存的數(shù)據(jù)位寬對(duì)應(yīng)。若以8組Nandflash組成一個(gè)存儲(chǔ)陣列(稱為存儲(chǔ)陣列A),則需要Nandflash顆粒為8×8=64個(gè),可考慮有多個(gè)存儲(chǔ)陣列,分別為存儲(chǔ)陣列B、C、D。存儲(chǔ)陣列個(gè)數(shù)以實(shí)際工程項(xiàng)目需求為主,并考慮數(shù)據(jù)的冗余及備份。

(4)數(shù)據(jù)下傳

采用CPCIE接口或網(wǎng)絡(luò),若采用CPCIE接口,可將存儲(chǔ)模塊視為一個(gè)CPCIE總線的外設(shè)板,通過交換板與其他功能模塊實(shí)現(xiàn)數(shù)據(jù)交互;若采用網(wǎng)絡(luò)接口傳輸數(shù)據(jù),增加了存儲(chǔ)陣列的靈活性,但網(wǎng)絡(luò)接口下傳速度慢(千兆網(wǎng)利用率最高約80%,即80 MB/s左右)。

基于以上考慮,設(shè)計(jì)的高速大容量Nandlflash存儲(chǔ)陣列如圖1所示。存儲(chǔ)模塊共由兩個(gè)Nandflash陣列組成,每一個(gè)存儲(chǔ)陣列含有8組共64片Nandflash顆粒 ,緩存 DDR2為 64位 、512 MB 、266 MHz工作時(shí)鐘;每個(gè)存儲(chǔ)陣列含有二通道FC接口,實(shí)現(xiàn)數(shù)據(jù)輸入;四通道CPCIE接口,實(shí)現(xiàn)數(shù)據(jù)輸出;一個(gè)網(wǎng)絡(luò)接口,用于接收命令或下傳數(shù)據(jù);Flash用于存儲(chǔ)陣列的壞塊(Bad Block)信息。兩個(gè)存儲(chǔ)陣列之間通過高速串行總線如FC、PCIE、SRIO接口以及多路LVTTL電平信號(hào)進(jìn)行數(shù)據(jù)交互,實(shí)現(xiàn)存儲(chǔ)陣列間的數(shù)據(jù)同步。

圖1 高速大容量Nandflash存儲(chǔ)陣列硬件框圖Fig.1 The structure of Nandflash-based arrays recoring system

3 高速大容量Nandflash存儲(chǔ)陣列軟件設(shè)計(jì)

軟件設(shè)計(jì)主要在FPGA內(nèi)實(shí)現(xiàn)各種功能接口,下面分別介紹。

(1)數(shù)據(jù)采集

在FPGA內(nèi)實(shí)現(xiàn)光纖FC接口控制器。此處可基于FPGA內(nèi)自帶的高速串行收發(fā)器GTX,實(shí)現(xiàn)FC協(xié)議;例如一個(gè)先進(jìn)先出緩存器FIFO(稱為FIFO-A),FIFO-A數(shù)據(jù)位寬為64位,深度為1024。FIFOA的數(shù)據(jù)輸入端接FC接口,用于接收經(jīng)FC接口進(jìn)入FPGA內(nèi)的數(shù)據(jù);FIFO-A數(shù)據(jù)輸出端接乒乓緩存DDR2控制器。

(2)數(shù)據(jù)緩存

在FPGA內(nèi)實(shí)現(xiàn)乒乓緩存DDR2控制器[7]。DDR2控制器利用Xilinx公司的IP core generater產(chǎn)生,在產(chǎn)生過程中,配置DDR2數(shù)據(jù)位寬為64位,時(shí)鐘為266MHz,使能差錯(cuò)校驗(yàn)(ECC),突發(fā)長度為4 byte,信號(hào)電平為SSTL18-ClassII;FIFO(稱為FIFOB),FIFO-B數(shù)據(jù)位寬64位,深度為1024。FIFO-B的數(shù)據(jù)輸入端接DDR2控制器,數(shù)據(jù)輸出端接Nandflash,按照Nandflash的分組Group1～Group8,分別接到FIFO-B的數(shù)據(jù)位,如Group1接FIFO-B數(shù)據(jù)位Data0～data7,Group2接FIFO-B數(shù)據(jù)位Data8～data15,Group8接FIFO-B數(shù)據(jù)位Data56～data63。

(3)數(shù)據(jù)存儲(chǔ)

在FPGA內(nèi)用硬件邏輯語言VHDL實(shí)現(xiàn)存儲(chǔ)介質(zhì)Nandflash陣列控制器。Nandflash陣列按組(Group)分布,每組8片,共8組。組內(nèi)地址數(shù)據(jù)線共用,控制信號(hào)共用,組內(nèi)數(shù)據(jù)并行存儲(chǔ),組間采用串行流水結(jié)構(gòu),提高數(shù)據(jù)存儲(chǔ)速率;在FPGA內(nèi)實(shí)現(xiàn)Norflash控制器,Norflash用于存儲(chǔ)并映射Nandflash的壞塊信息,Nandflash顆粒為 4 GB,16384個(gè)塊(Block),每一個(gè)塊對(duì)應(yīng)Norflash中的一個(gè)地址,若為壞塊,則相應(yīng)數(shù)據(jù)置1(高電平);反之,置0;當(dāng)DDR2中的數(shù)據(jù)寫入到Nandflash存儲(chǔ)陣列時(shí),需先查詢壞塊映射表,若對(duì)應(yīng)的地址數(shù)據(jù)為0,表示Nandflash中的對(duì)應(yīng)塊可以將數(shù)據(jù)寫入;若數(shù)據(jù)為1,表明Nandflash中的對(duì)應(yīng)塊是壞塊,需要跳過,并將數(shù)據(jù)寫入到下一個(gè)非壞塊。如何設(shè)計(jì)并映射壞塊信息是軟件實(shí)現(xiàn)的難點(diǎn)。

(4)數(shù)據(jù)下傳

在FPGA內(nèi)實(shí)現(xiàn)CPCIE控制器。CPCIE協(xié)議即為PCIE協(xié)議,是對(duì)PCIE協(xié)議的機(jī)械結(jié)構(gòu)加強(qiáng),可利用FPGA內(nèi)帶的PCIE End Point硬核簡化工程難度。若采用網(wǎng)絡(luò)接口實(shí)現(xiàn)數(shù)據(jù)下傳,則可利用FPGA中內(nèi)嵌的網(wǎng)絡(luò)硬核。數(shù)據(jù)下傳完畢后,可供其他功能模塊進(jìn)行分析、判讀、處理、回放。

4 測試結(jié)果

實(shí)驗(yàn)條件如下。

(1)Nandflash存儲(chǔ)陣列性能指標(biāo):FPGA為XC5VFX70T-1136,Nandflash為K9WBG08U1M 。

(2)測試環(huán)境指標(biāo):PC機(jī)CPU為Pentium(R)Dual-Core E5200@2.50 Hz,內(nèi)存2GB,操作系統(tǒng)Windows XP Professional Service Pack 3,ISE版本10.1.03。

實(shí)驗(yàn)數(shù)據(jù)來自程序產(chǎn)生的模擬數(shù)據(jù),通過寫滿Nandflash陣列存儲(chǔ)后,再讀出,并比較數(shù)據(jù)完整性。表1列出了測試出的系統(tǒng)主要性能,表中值為10次實(shí)驗(yàn)平均值。

表1 系統(tǒng)性能Table 1 System performance

結(jié)果分析,基于Nandflash陣列的存儲(chǔ)方式相比于硬盤存儲(chǔ)方式,就存儲(chǔ)速度而言,有很大的提高;因?yàn)樗薪涌诰杂布Z言VHDL實(shí)現(xiàn),減少了對(duì)操作系統(tǒng)的依賴,同時(shí)也降低了存儲(chǔ)陣列的配置靈活性。下一步考慮在FPGA中內(nèi)嵌的PowerPC440上加載操作系統(tǒng),以增加系統(tǒng)的靈活性?；贜andflash陣列實(shí)現(xiàn)的高速存儲(chǔ)已在某星載項(xiàng)目中實(shí)現(xiàn)應(yīng)用與驗(yàn)證。

5 結(jié)束語

本文研究設(shè)計(jì)的高速大容量Nandflash存儲(chǔ)陣列,主要利用了Nandflash高密度存儲(chǔ)的優(yōu)點(diǎn),以陣列方式滿足了大容量存儲(chǔ)要求,以并行流水方式,實(shí)現(xiàn)了高速存儲(chǔ)。設(shè)計(jì)中的主要難點(diǎn)在于對(duì)壞塊信息的管理與映射。文中不僅實(shí)現(xiàn)了Nandflash陣列的控制器,還基于FPGA內(nèi)嵌高速收發(fā)器實(shí)現(xiàn)了FC及PCIE協(xié)議,以及網(wǎng)絡(luò)通信功能。由于本文提出的存儲(chǔ)方案在速度及抗振動(dòng)方面的優(yōu)異表現(xiàn),在寬帶及衛(wèi)星通信中有廣泛的應(yīng)用前景。下一步的工作考慮在數(shù)據(jù)存儲(chǔ)后,實(shí)現(xiàn)圖像數(shù)據(jù)的實(shí)時(shí)壓縮,供數(shù)據(jù)的判讀、回放或其他處理。

[1]李志鵬.連續(xù)數(shù)據(jù)記錄系統(tǒng)中IDE數(shù)據(jù)接口的實(shí)現(xiàn)[J].無線電工程,2010,40(2):48-50.LI Zhi-peng.Implementation of IDE Interface in Sustained Data Recording System[J].Radio Engineering,2010,40(2):48-50.(in Chinese)

[2]張峰.基于SATA的高速CCD存儲(chǔ)方案設(shè)計(jì)[J].半導(dǎo)體光電,2010,31(5):782-786.ZHANG Feng.A High-speed Method of CCD Image Data Storage System Based on SATA[J].Semiconductor Opto-Electronics,2010,31(5):782-786.(in Chinese)

[3]趙濤.基于SCSI總線的高速數(shù)據(jù)存儲(chǔ)系統(tǒng)軟件設(shè)計(jì)[J].現(xiàn)代電子技術(shù),2008(14):59-62.ZHAO Tao.Software Design of High Speed Data Storage System Based on SCSI Bus[J].Modern Electronic Technology,2008(14):59-62.(in Chinese)

[4]ZHANGFeng,WU Qin-zhang,REN Guo-qiang.A High-speed Method of CCD Image Data Storage System[C]//Proceedings of 2010 Second International Conference on Advanced Computer Control.Shenyang:IEEE,2010:45-48.

[5]王燁,張峰,李燕斌.SATA高速存儲(chǔ)的FPGA實(shí)現(xiàn)[J].電訊技術(shù),2012,52(11):1801-1804.WANG Ye,ZHANG Feng,LI Yan-bin.A high-speed recording system of SATA based on FPGA[J].Telecommunication Engineering,2012,52(11):1801-1804.(in Chinese)

[6]張峰.基于SRIO的高速圖像串行傳輸系統(tǒng)設(shè)計(jì)[J].光電工程,2010,37(10):89-92.ZHANG Feng.A High-speed Serial Transport Platform Based on SRIO for High-resolution Image[J].Opto-Electronic Engineering,2010,37(10):89-92.(in Chinese)