一種高效高速采集存儲系統(tǒng)設(shè)計

許烈華

（中國西南電子技術(shù)研究所,成都 610036）

一種高效高速采集存儲系統(tǒng)設(shè)計

許烈華

（中國西南電子技術(shù)研究所,成都 610036）

針對寬帶接收和小型化的應(yīng)用,設(shè)計并實現(xiàn)了一種新的高效、高速采集存儲系統(tǒng)。采用了大帶寬大動態(tài)采樣技術(shù),提出了有損、無損、智能采樣數(shù)據(jù)壓縮技術(shù)和多維數(shù)據(jù)管理技術(shù)。工程試驗結(jié)果表明,該系統(tǒng)能有效解決采集存儲系統(tǒng)中的高速率采樣、高效率存儲和高效數(shù)據(jù)管理等問題,具有一定的參考價值。

寬帶接收機(jī);高速采樣;高效壓縮;存儲系統(tǒng);數(shù)據(jù)檢索

1 引 言

隨著電子裝備技術(shù)的飛速發(fā)展（比如寬帶通信、現(xiàn)代雷達(dá)等）,信號的數(shù)字化不斷的靠近天線端,瞬時處理帶寬越來越寬[1],相應(yīng)地對后續(xù)的信號處理要求大大提高。然而,受器件水平和實現(xiàn)代價的限制,后端的實時處理能力往往不能達(dá)到要求,因此,“準(zhǔn)實時處理”（先采集、存儲,然后處理）成為減輕實時處理壓力的一種有效方式。但是,傳統(tǒng)的采集存儲系統(tǒng)對采樣數(shù)據(jù)的處理比較少,信號采樣后直接送入存儲器,大量無用的數(shù)據(jù)占用了存儲空間,存儲體的使用效率不高,當(dāng)需要長時間的信號采集存儲時,導(dǎo)致了設(shè)備的體積和功耗非常龐大,以至于在某些對小型化要求較高的場合無法使用,因此,在傳統(tǒng)采集存儲系統(tǒng)的基礎(chǔ)上,需要解決信號的高速采集、數(shù)據(jù)的高效存儲和高效率使用等問題。針對這種應(yīng)用需求,本文設(shè)計實現(xiàn)了一種新的采集存儲系統(tǒng),重點對其中的關(guān)鍵技術(shù)進(jìn)行了分析和設(shè)計。

2 系統(tǒng)的組成及工作原理

高效高速采集存儲系統(tǒng)由采集壓縮模塊、存儲管理模塊、存儲模塊和電源模塊構(gòu)成,如圖1所示,圖中虛線框為與該系統(tǒng)密切關(guān)聯(lián)的設(shè)備。

圖1 系統(tǒng)組成框圖Fig.1 Block diagram of the system

采集壓縮模塊主要完成高速率的信號采樣、采樣數(shù)據(jù)的高效率壓縮、數(shù)據(jù)回放、高速數(shù)據(jù)接口和CAN總線通信功能;存儲模塊主要完成輸入/輸出數(shù)據(jù)接收/發(fā)送、數(shù)據(jù)流緩存管理、FLASH的讀/寫/擦/自檢等操作控制以及與存儲管理模塊交互實現(xiàn)FLASH文件系統(tǒng)的操作等功能;存儲管理模塊主要完成存儲控制,實現(xiàn)基于NandFlash的文件系統(tǒng),文件系統(tǒng)可實現(xiàn)隨機(jī)存儲管理和特征數(shù)據(jù)檢索;電源模塊為其他各模塊供電和提供加斷電控制。系統(tǒng)工作原理如圖2所示。

圖2 系統(tǒng)工作原理Fig.2 The working principle of the system

在采集壓縮模塊中,對中頻信號高速率采樣后,執(zhí)行采樣數(shù)據(jù)壓縮。有損壓縮為基于信號特征的壓縮,它首先進(jìn)行信號的檢測,信號檢測在時域、頻域或能量域完成,信號檢測完畢后,只對滿足條件的采樣數(shù)據(jù)輸出到下一級;無損壓縮采用改進(jìn)的LZW算法對數(shù)據(jù)無失真壓縮。不管采用哪種壓縮方式,目的是減少無用或冗余的數(shù)據(jù),減少后端存儲的數(shù)據(jù)量,提高存儲效率。壓縮后的數(shù)據(jù)打上參數(shù)信息標(biāo)識后,按照一定的幀格式送往存儲模塊,同時往存儲管理模塊發(fā)送存儲命令,開辟存儲空間,存儲上述數(shù)據(jù)。

存儲后的數(shù)據(jù)可隨機(jī)回放或順序回放,回放的數(shù)據(jù)可進(jìn)行兩種處理:一是送給通用處理設(shè)備進(jìn)行處理,處理后的結(jié)果可存入存儲模塊,為減少存儲空間,可把原始數(shù)據(jù)刪除;二是直接送給數(shù)據(jù)接收設(shè)備,在數(shù)據(jù)接收設(shè)備中進(jìn)行事后分析處理。

3 關(guān)鍵技術(shù)

3.1 大帶寬、大動態(tài)采樣技術(shù)

整機(jī)的性能好壞與系統(tǒng)中ADC的性能有直接的關(guān)系。ADC有兩個重要指標(biāo):采樣率和有效位數(shù),采樣率決定了系統(tǒng)的瞬時帶寬,有效位數(shù)決定了系統(tǒng)的動態(tài)范圍。

本課題中,指標(biāo)要求600Msample/s采樣速率、60 dB以上的動態(tài)范圍,對大帶寬、大動態(tài)采樣提出了更高的要求,設(shè)計中除了選取高性能的AD器件以外,工程實現(xiàn)上重點考慮采樣時鐘抖動和印制電路板布局布線。

（1）采樣時鐘抖動

信號采樣時,采樣時鐘具有不可避免的不確定周期,成為采樣抖動[2]。采樣抖動造成了信號的非均勻采樣,引起誤差,產(chǎn)生抖動噪聲,抖動噪聲為高速采樣時最重要的噪聲來源之一。抖動噪聲功率可用下式計算:

式中,A為輸入模擬信號的幅度,f1為輸入模擬信號的頻率,f2為采樣時鐘頻率,NP為采樣時鐘的相位噪聲,σ為采樣時鐘抖動均方根值（單位ps）。采用ADI公司的仿真工具,在輸入中頻375 MHz、采樣率600MHz、信號輸入幅度為-1 dBFs時,在時鐘抖動為1 ps和5 ps不同條件下,信噪比相差10 dB以上。因此,在設(shè)計上必須高度重視采樣時鐘孔徑抖動（或時鐘相位噪聲）。在本方案中,采樣時鐘選用差分信號,選取了抖動小的時鐘源,采用了專門的時鐘分配器,鎖相環(huán)電路實現(xiàn)時鐘的降噪。采取以上措施后,時鐘抖動的實測值小于2 ps。

（2）印制電路板布局布線

印制電路板布局布線主要從板級的信號完整性方面考慮,電路中都存在共模電流和差模電流。根據(jù)右手法則,差模電流在環(huán)路內(nèi)磁場增強(qiáng),環(huán)路外沒有磁場。共模電流在環(huán)路外磁場增強(qiáng),環(huán)路內(nèi)沒有磁場。差模干擾與環(huán)路面積成正比,共模干擾與電流路徑長度成正比。在PCB布局和布線設(shè)計時,強(qiáng)干擾源遠(yuǎn)離接插件和敏感電路,盡可能減少關(guān)鍵信號的環(huán)路面積從而減小差模干擾,盡量減少共模信號的電流路徑長度,從而減小共模干擾。

3.2 采樣數(shù)據(jù)高效壓縮技術(shù)

（1）時域壓縮技術(shù)

該技術(shù)對信號進(jìn)行時域檢測,針對過門限的采樣數(shù)據(jù)進(jìn)行存儲,從而達(dá)到數(shù)據(jù)壓縮效果。該方法對雷達(dá)或短時信號有較好的壓縮效果。本文通過高速脈沖檢測方法,根據(jù)參數(shù)測量結(jié)果將采樣數(shù)據(jù)中的脈內(nèi)有效數(shù)據(jù)打包緩存,再送至存儲模塊中存儲。其流程如圖3所示。

圖3 時域壓縮流程Fig.3 Time domain compression process

（2）能量域壓縮技術(shù)

該技術(shù)針對AD采樣的位數(shù)進(jìn)行分析,分析信號能量后,舍棄沒有使用的AD位數(shù),從而達(dá)到數(shù)據(jù)壓縮效果。它主要針對于信號持續(xù)時間較長、信號幅度較弱的信號,比如常見的通信信號。其流程如圖4所示。

圖4 能量域壓縮流程Fig.4 Energy domain compression process

（3）頻域壓縮技術(shù)

該技術(shù)是在頻域?qū)π盘栠M(jìn)行檢測,頻域檢測后,只針對頻譜過門限的信號才存儲,達(dá)到減少數(shù)據(jù)量效果。頻域檢測方法有兩種:一是基于DDC的方式,該方法主要針對通信信號,采樣質(zhì)量較高,地面無需信號重建;二是基于數(shù)字信道化[3]的方式,該方法對通信信號（比如頻分復(fù)用信號）、雷達(dá)信號、短時信號都具有較好的效果,缺點是若信號跨子信道,信號重建有一定損失。其流程如圖5所示。

圖5 頻域壓縮流程Fig.5 Frequency domain compression process

DDC首先進(jìn)行頻譜占用分析,針對檢測到的信號選擇合適的濾波器帶寬和采樣率進(jìn)行濾波,存儲濾波后的數(shù)據(jù)。如果有信號的先驗信息,也可以指定頻率與帶寬進(jìn)行采樣。數(shù)字信道化方式對整個帶寬內(nèi)進(jìn)行數(shù)字信道化,并對各個子信道進(jìn)行信號檢測,僅存儲有信號的子信道數(shù)據(jù)。

（4）無損壓縮技術(shù)

以上3種壓縮技術(shù)依賴信號的特征,壓縮后不可無失真地恢復(fù)原始信號,但是在某些高保真度應(yīng)用場合,需要無損壓縮,本系統(tǒng)采用了改進(jìn)型的LZW算法[4-5],具體為采樣數(shù)據(jù)的高字節(jié)采用霍夫曼編碼算法,低字節(jié)數(shù)據(jù)采用LZW壓縮算法。該方法對信號的特征不敏感,適用的信號范圍較廣。其流程如圖6所示。LZW算法是根據(jù)數(shù)據(jù)本身包含短語式重復(fù)的特性,用前面已經(jīng)出現(xiàn)過的字符串的代碼來代替后面相同字符串的內(nèi)容,從而實現(xiàn)數(shù)據(jù)壓縮。采用一種字典編碼的方式,即用字典的序號來表達(dá)這種重復(fù)性,序號所對應(yīng)的字典空間存儲了相應(yīng)的重復(fù)字節(jié)。

圖6 無損壓縮流程Fig.6 Lossless compression process

（5）智能壓縮技術(shù)

在智能壓縮時,用戶不需要指定使用哪種壓縮方式,而只需指定哪種壓縮效果,一是高壓縮比效果,二是高保真度效果,給定壓縮效果條件后,自動匹配壓縮方式,流程圖如圖7所示。

圖7 智能壓縮工作流程Fig.7 Intelligent data compression process

信號采樣后,若為高保真度條件,則選擇無損壓縮,之后的流程與無損壓縮流程一樣;若為高壓縮比條件,首先對信號進(jìn)行能量域檢測,若信號幅度較弱,滿足能量域壓縮條件,則進(jìn)行能量域壓縮,否則跳過此過程,接下來對能量域壓縮后的信號進(jìn)行時域檢測,若信號為脈沖信號,則進(jìn)行時域壓縮,壓縮后的數(shù)據(jù)組幀并存儲。若不是脈沖信號,則進(jìn)行頻域檢測,若帶寬內(nèi)只存在一個信號,則使用頻域的DDC方式壓縮,否則使用頻域的數(shù)字信道化方式壓縮,壓縮后的數(shù)據(jù)組幀并存儲。

3.3 高速率、大容量存儲管理技術(shù)

（1）存儲技術(shù)[6]

本課題的存儲容量為512GB,記錄速率為9.6 Gb/s。為達(dá)到512 GB容量,存儲模塊選用72片F(xiàn)LASH芯片,總存儲容量為72×8GB=576 GB,去除壞塊后容量大于512 GB。同時為了達(dá)到9.6 Gb/s的存取速率,72片F(xiàn)LASH芯片分為36組并行工作,每組兩片,最大存取速率為400Mb/s×36=14.4 Gb/s,其中單片F(xiàn)LASH的存取速率為400 Mb/s。考慮FLASH工作頻率的設(shè)計余量、讀寫控制等待時間,實際能達(dá)到的存取速率大于10 Gb/s。

存儲模塊的數(shù)據(jù)來源于采集壓縮模塊,兩模塊間數(shù)據(jù)傳輸速率大于9.6 Gb/s,經(jīng)過對并行LVDS、TLK2711和FPGA內(nèi)部的GTX分析對比,最終選擇GTX作為模塊間的物理傳輸通道,模塊間共8個lane,每個lane工作在2.5Gb/s速率。在物理傳輸通道上采用aurora協(xié)議,該協(xié)議是一種可配置的、簡便的數(shù)據(jù)鏈路層協(xié)議,可使用一條或多條高速串行通道實現(xiàn)點對點的數(shù)據(jù)傳輸。

（2）數(shù)據(jù)管理技術(shù)

數(shù)據(jù)管理是數(shù)據(jù)存儲設(shè)備靈活使用的關(guān)鍵,該方案采用基于Vxworks的文件系統(tǒng)進(jìn)行數(shù)據(jù)管理[7]?；赩xWorks的文件系統(tǒng)設(shè)計在文件系統(tǒng)功能擴(kuò)展、實時任務(wù)調(diào)度、多文件并行管理方面都有較大的優(yōu)勢。利用操作系統(tǒng)本身的文件功能來完成數(shù)據(jù)管理,同時針對NandFlash存儲介質(zhì)的固有特點改寫相關(guān)底層部分。數(shù)據(jù)系統(tǒng)按層次劃分為物理層、映射層和應(yīng)用層,物理層實現(xiàn)存儲單元的基本操作,映射層實現(xiàn)邏輯地址與物理地址轉(zhuǎn)換,應(yīng)用層實現(xiàn)數(shù)據(jù)的管理應(yīng)用。

當(dāng)存儲的數(shù)據(jù)量較大時,快速定位所需要的數(shù)據(jù)變得非常復(fù)雜。為高效使用大容量存儲體中的數(shù)據(jù),必須具備有效的檢索回放機(jī)制,該方案中采用了一種基于多維的數(shù)據(jù)檢索技術(shù),數(shù)據(jù)檢索過程如圖8所示。

圖8 數(shù)據(jù)檢索流程Fig.8 Data retrieval p rocess

檢索回放分為兩種,一是順序檢索回放,二是隨機(jī)檢索回放。順序檢索回放時,指定起始位置后,從該位置回放數(shù)據(jù),回放完畢后記錄當(dāng)前位置,作為下一次回放的起始點。順序檢索回放的缺點是耗時過長,不能有效利用存儲體中的數(shù)據(jù)。隨機(jī)回放檢索時,可按時間、任務(wù)號、文件號或結(jié)果類型對數(shù)據(jù)快速定位,提高數(shù)據(jù)的使用效率。為方便數(shù)據(jù)檢索,在數(shù)據(jù)存儲的時候,建立了一張數(shù)據(jù)索引表,索引表中的內(nèi)容包括以上基本信息。

4 結(jié)束語

本文提出的技術(shù)方案對信號采集、存儲和處理進(jìn)行統(tǒng)籌設(shè)計,有效解決了寬帶、小型化條件下信號的高速采集、數(shù)據(jù)的高效存儲和存儲后數(shù)據(jù)的高效管理等問題,可為采集存儲系統(tǒng)設(shè)計者提供一定的幫助。然而,在工程實現(xiàn)過程中,發(fā)現(xiàn)該方案涉及的智能采樣數(shù)據(jù)壓縮,對復(fù)雜電磁環(huán)境（時域、頻域、能量、空域上密集重疊）的適應(yīng)能力一般,在未來工作中需針對該問題進(jìn)行進(jìn)一步研究和改進(jìn)。

[1] 楊小牛,樓才義,徐建良.軟件無線電技術(shù)與應(yīng)用[M].北京:北京理工大學(xué)出版社,2010:9-13.

YANG Xiao-niu,LOU Cai-yi,XU Jian-liang.Software Defined Radio Technology and Application[M].Beijing:Beijing Institute of Technology Press,2010:9-13.（in Chinese）

[2] 張瑞永,趙海云,陳國海.寬帶數(shù)據(jù)采集系統(tǒng)的相位噪聲分析[J].雷達(dá)科學(xué)與技術(shù),2009,7（2）:147-150.

ZHANG Rui-yong,ZHAO Hai-yun,CHEN Guo-hai.Analysis of Phase Noise in Wideband Data Acquisition System[J].Radar Science and T echnology,2009,7（2）:147-150.（in Chinese）

[3] 李學(xué)軍,陳建安.基于復(fù)多相濾波器組的信道化接收機(jī)[J].電訊技術(shù),2005,45（4）:158-161.

LI Xue-jun,CHEN Jian-an.A Channel Receiver Based on Complex Multiphase Filter Group[J].Telecommunication Engineering,2005,45（4）:158-161.（in Chinese）

[4] Welch T A.A Technique for High-performance Data Compression[J].IEEE Computer,1984,17（6）:8-18.

[5] 王平.LZW無損壓縮算法的實現(xiàn)與研究[J].計算機(jī)工程,2002,28（7）:98-99.

WANG Ping.Realization and Research of LZW Lossless Compression Algorithm[J].Computer Engineering,2002,28（7）:98-99.（in Chinese）

[6] 朱知博.基于NANDFlash的高速大容量存儲系統(tǒng)設(shè)計[J].現(xiàn)代電子技術(shù),2011,34（8）:170-173.

ZHU Zhi-bo.Design of H igh speed and Mass Storage System Based on NANDFlash[J].Modern Electronics Technique,2011,34（8）:170-173.（in Chinese）

[7] 薛原.基于VxWorks的文件系統(tǒng)的研究與實現(xiàn)[J].電子設(shè)計工程,2009,17（8）:107-109.

XUE Yuan.Research and imp lementation of TrueFFS based on VxWorks[J].Electronic Design Engineering,2009,17（8）:107-109.（in Chinese）

XU Lie-hua was born in Hengdong,Hunan Province,in 1979.He received the B.S.degree in 2002.He is now an engineer.His research concerns high speed embedded system,communication signal processing.

Email:lhxu-02@163.com

Design of a High Efficiency and High Speed Data Acquisition and Storage System

XU Lie-hua

（Southwest China Institute of Electronic Technology,Chengdu 610036,China）

Aiming at the application of broadband receiver and miniaturization,a high efficiency and high speed data acquisition and storage system is designed and realized.By using large bandwidth and large dynamic sampling technique,lossy,lossless,intelligent samp ling data compression technology and multidimensional data management technology are proposeel.Engineering test results show that the system can effectively solve the problems of high speed sampling,efficient storage and efficient data management in data acquisition and storage system,and it has a certain reference value.

broad band receiver;high speed samp ling;high efficient compression;storage system;data retrieval

TN911

A

1001-893X（2013）06-0763-05

10.3969/j.issn.1001-893x.2013.06.018

2012-11-02;

2013-03-18

date:2012-11-02;Revised date:2013-03-18

lhxu-02@163.com Cor responding author:lhxu-02@163.com

許烈華（1979—）,男,湖南衡東人,2002年獲學(xué)士學(xué)位,現(xiàn)為工程師,主要從事高速嵌入式系統(tǒng)、通信信號處理等方面的研究。