大數(shù)據(jù)存儲中的優(yōu)化架構(gòu)結(jié)構(gòu)的設(shè)計與實現(xiàn)

姜學(xué)東　孫海民

摘 要： 為了降低存儲系統(tǒng)的空間開銷和抗干擾能力對大數(shù)據(jù)存儲系統(tǒng)進(jìn)行優(yōu)化設(shè)計，提出一種基于時鐘同步與高速模塊內(nèi)部觸發(fā)的大數(shù)據(jù)存儲優(yōu)化結(jié)構(gòu)設(shè)計方法。采用數(shù)據(jù)動態(tài)增益碼調(diào)度和編碼方法，將存儲系統(tǒng)中的大數(shù)據(jù)送到環(huán)形RAM緩沖區(qū)，對主控機(jī)下載緩沖區(qū)的數(shù)據(jù)作頻譜分析，進(jìn)行大數(shù)據(jù)存儲系統(tǒng)的硬件模塊設(shè)計，主要有時鐘同步電路、復(fù)位電路、高速模塊內(nèi)部觸發(fā)電路、程序加載電路和存儲終端接口電路等。軟件設(shè)計中，利用匯編指令PORTW，PORTR進(jìn)行串口控制，配置引腳寄存器，執(zhí)行大數(shù)據(jù)的寫入請求，降低存儲開銷。仿真實驗結(jié)果表明，該存儲系統(tǒng)具有較好的數(shù)據(jù)寫入和存儲性能，執(zhí)行效率較高，存儲開銷較小。

關(guān)鍵詞： 大數(shù)據(jù)存儲； 系統(tǒng)設(shè)計； 時鐘同步； 優(yōu)化結(jié)構(gòu)

中圖分類號： TN911?34； TP391 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2016）24?0066?05

Design and implementation of optimized architecture for large data storage

JIANG Xuedong， SUN Haimin

（Faculty of Mathmatics and Computer Science， Hebei Normal University for Nationalities， Chengde 067000， China）

Abstract： To reduced space overhead of the storage system and improve anti?jamming capacity by the optimization design of large data storage system， a kind of design method of large data storage structure optimization based on clock synchronization and high?speed module internal trigger is put forward. The scheduling and coding method of data dynamic gain code are adopted to send the big data in storage system to the annular RAM buffer. The spectrum analysis for the buffer data download by main control computer is conducted. The hardware modules （such as clock synchronization circuit， reset circuit， high?speed module internal trigger circuit， program loading circuit and storage terminal interface circuit） of the large data storage system are designed. In software design， the assembly instruction PORTW and PORTR is used to executed serial port control， and the pin register is deployed to carry out the written request of big data and reduce the store cost. The analysis on the system simulation experiment results indicates the data storage system has good data writing and storage performances， high execution efficiency， and less storage overhead.

Keywords： big data storage； system design； clock synchronization； optimal structure

0 引 言

隨著計算機(jī)與信息技術(shù)的快速發(fā)展，海量的數(shù)據(jù)需要在計算機(jī)和網(wǎng)絡(luò)系統(tǒng)中進(jìn)行數(shù)據(jù)交換和信息交互，實現(xiàn)網(wǎng)絡(luò)通信和數(shù)據(jù)共享。大數(shù)據(jù)通過網(wǎng)絡(luò)存儲和本地存儲的方式寄存在網(wǎng)絡(luò)和本地計算機(jī)上，通常對海量數(shù)據(jù)的存儲都是采用云存儲構(gòu)架的方式，云存儲構(gòu)架是采用層次化的網(wǎng)格結(jié)構(gòu)，復(fù)制文件到具有執(zhí)行任務(wù)的站點，在云存儲網(wǎng)格中，每個站點控制數(shù)據(jù)傳輸，然后通過PCI總線接口為存儲空間提供所需副本，進(jìn)行數(shù)據(jù)調(diào)度和訪問。大數(shù)據(jù)云存儲系統(tǒng)的架構(gòu)結(jié)構(gòu)的優(yōu)化可以降低存儲開銷，提高數(shù)據(jù)的存儲空間和數(shù)據(jù)調(diào)度效率，研究大數(shù)據(jù)存儲的優(yōu)化加工結(jié)構(gòu)設(shè)計方法，在優(yōu)化大數(shù)據(jù)信息處理和存儲優(yōu)化中具有積極重要的意義，相關(guān)的系統(tǒng)設(shè)計方法受到人們的極大重視[1?3]。

傳統(tǒng)方法中，對大數(shù)據(jù)存儲中的優(yōu)化架構(gòu)結(jié)構(gòu)的設(shè)計方法通過任務(wù)發(fā)生器生成LRU排序列表，副本管理器在每個站點控制數(shù)據(jù)的傳輸，通過副本相關(guān)檢測器進(jìn)行干擾抑制，實現(xiàn)對大數(shù)據(jù)存儲的優(yōu)化結(jié)構(gòu)設(shè)計，結(jié)合這一設(shè)計思想，取得了一定的研究成果。其中，文獻(xiàn)[4]提出一種基于海量數(shù)據(jù)存儲的時間和空間領(lǐng)域匹配的數(shù)據(jù)存儲方法，采用線性突發(fā)的數(shù)據(jù)傳輸模式進(jìn)行數(shù)據(jù)調(diào)度，在存儲架構(gòu)模型中，允許PCI總線擴(kuò)展，進(jìn)行了存儲軟件設(shè)計，提高了數(shù)據(jù)網(wǎng)格調(diào)度和存儲的能力，但是該方法在系統(tǒng)架構(gòu)中總線協(xié)議比較復(fù)雜，數(shù)據(jù)計算的開銷較大。文獻(xiàn)[5]提出一種基于綜合調(diào)度策略的動態(tài)數(shù)據(jù)復(fù)制的海量數(shù)據(jù)存儲方法，在負(fù)載均衡條件的C/S客戶端控制下，對海量數(shù)據(jù)存儲優(yōu)化架構(gòu)系統(tǒng)中的類似數(shù)據(jù)進(jìn)行分塊存儲，實現(xiàn)了數(shù)據(jù)的聚類分析和優(yōu)化調(diào)度，但是該系統(tǒng)在進(jìn)行海量數(shù)據(jù)存儲過程中，受到存儲系統(tǒng)的吞吐容量和性能的約束，導(dǎo)致存儲開銷成幾何倍級增長[6?8]。

針對上述問題，本文對傳統(tǒng)的大數(shù)據(jù)存儲結(jié)構(gòu)進(jìn)行改進(jìn)設(shè)計，提出一種基于時鐘同步與高速模塊內(nèi)部觸發(fā)的大數(shù)據(jù)存儲中的優(yōu)化架構(gòu)結(jié)構(gòu)設(shè)計方法。

1 大數(shù)據(jù)存儲系統(tǒng)總體設(shè)計架構(gòu)和指標(biāo)分析

1.1 大數(shù)據(jù)存儲系統(tǒng)總體設(shè)計架構(gòu)

大數(shù)據(jù)存儲系統(tǒng)的優(yōu)化結(jié)構(gòu)設(shè)計中，數(shù)據(jù)觸發(fā)和采集是整個系統(tǒng)的基礎(chǔ)，采用觸發(fā)總線、模擬總線構(gòu)建緩沖區(qū)，數(shù)據(jù)傳輸?shù)街骺赜嬎銠C(jī)的過程通過模擬信息預(yù)處理模塊實現(xiàn)，采用數(shù)據(jù)動態(tài)增益碼調(diào)度和編碼方法，將存儲系統(tǒng)中的大數(shù)據(jù)送到環(huán)形RAM緩沖區(qū)，對主控機(jī)下載緩沖區(qū)的數(shù)據(jù)作頻譜分析，進(jìn)行采樣點模擬。

大數(shù)據(jù)存儲系統(tǒng)主要包括如下幾個部分：局部總線傳輸數(shù)據(jù)處理器、PCI總線及橋接電路、VXI系統(tǒng)總線控制設(shè)備、主控計算機(jī)讀取時域數(shù)據(jù)、外部存儲器以及零號插槽復(fù)位電路。

局部總線是采集系統(tǒng)的基礎(chǔ)，它負(fù)責(zé)信號采集、通信總線觸發(fā)、與上位機(jī)通信、資源管理等任務(wù)。通過數(shù)據(jù)管理調(diào)度和評價器分析數(shù)據(jù)存儲中的抗干擾能力，數(shù)據(jù)存儲節(jié)點通過QoS值進(jìn)行數(shù)據(jù)跟蹤，QoS值直接與VXI總線通信，通過對數(shù)據(jù)存儲任務(wù)的評價，進(jìn)行存儲系統(tǒng)的故障排除和干擾抑制。

大數(shù)據(jù)存儲系統(tǒng)的功能任務(wù)流程如圖1所示。

根據(jù)上述任務(wù)流程，進(jìn)行大數(shù)據(jù)存儲系統(tǒng)的功能分析，主要有：

（1） 應(yīng)用程序加載，即把存儲VXI總線系統(tǒng)的應(yīng)用程序通過外置式系統(tǒng)控制器加載到DSP處理器內(nèi)部RAM中運行。

（2） 通過數(shù)字信號處理芯片和32 MB的外部存儲空間，實現(xiàn)人機(jī)對話。

（3） 自動增益控制，通過把計算任務(wù)分配到多個處理器，設(shè)計動態(tài)增益控制碼，使得主控計算機(jī)的信號能使大數(shù)據(jù)存儲系統(tǒng)穩(wěn)定在所需的范圍。

（4） 設(shè)置外部信號調(diào)理，控制A/D轉(zhuǎn)換器進(jìn)行正常大數(shù)據(jù)存儲的空間采樣。

（5） 讀取A/D采樣值中斷主控計算機(jī)，包括局部總線傳輸數(shù)據(jù)主控計算機(jī)進(jìn)行頻譜分析、信息模擬等。

（6） 與外部SRAM通信，進(jìn)行PCI橋接和D/A轉(zhuǎn)換。

（7） 按照系統(tǒng)所需頻率控制D/A轉(zhuǎn)換器工作。

綜上分析，得到本文設(shè)計的大數(shù)據(jù)存儲的架構(gòu)結(jié)構(gòu)總體設(shè)計框圖如圖2所示。

1.2 大數(shù)據(jù)存儲系統(tǒng)的功能指標(biāo)分析與網(wǎng)格調(diào)度

根據(jù)上述構(gòu)建的數(shù)據(jù)存儲的架構(gòu)結(jié)構(gòu)總體設(shè)計進(jìn)行系統(tǒng)設(shè)計，本文設(shè)計的大數(shù)據(jù)存儲系統(tǒng)的指標(biāo)參數(shù)描述如下：

（1） 數(shù)據(jù)存儲和環(huán)形RAM緩沖區(qū)內(nèi)數(shù)據(jù)捕獲的幅度動態(tài)范圍：-43～50 dB，噪聲疊加放大量為87 dB，輸出D/A轉(zhuǎn)換器的幅度為[±10 V]。

（2） DSP中數(shù)據(jù)傳輸?shù)牟蓸油ǖ罏?2通道同步、異步輸入。

（3） 樣數(shù)據(jù)在緩沖區(qū)循環(huán)壓控放大器的采樣率：[≥200 Hz]。

（4） DSP控制DAC的A/D分辨率：15位（至少）。

（5） 功率放大器的D/A分辨率：13位（至少）。

（6） D/A轉(zhuǎn)換速率：[≥200 Hz]。

大數(shù)據(jù)云存儲架構(gòu)結(jié)構(gòu)設(shè)計中，采用層次化網(wǎng)格調(diào)度模型，通過站點訪問和網(wǎng)格區(qū)域分區(qū)，將使用動態(tài)分級式復(fù)制算法計算最佳區(qū)域，實現(xiàn)副本放置和數(shù)據(jù)的快速復(fù)制，每個網(wǎng)格站點有多通道任務(wù)請求文件的區(qū)域，實現(xiàn)對大數(shù)據(jù)云存儲的優(yōu)化架構(gòu)。

大數(shù)據(jù)云存儲架構(gòu)結(jié)構(gòu)設(shè)計中層次化網(wǎng)格調(diào)度訪問的過程描述如圖3所示。

2 大數(shù)據(jù)存儲系統(tǒng)的硬件設(shè)計和軟件設(shè)計實現(xiàn)

2.1 大數(shù)據(jù)云存儲優(yōu)化構(gòu)架系統(tǒng)的硬件

根據(jù)上述設(shè)計思想和指標(biāo)參量分析，進(jìn)行大數(shù)據(jù)存儲系統(tǒng)的硬件模塊設(shè)計，硬件模塊主要有時鐘同步電路、復(fù)位電路、高速模塊內(nèi)部觸發(fā)電路、程序加載電路和存儲終端接口電路等，系統(tǒng)設(shè)計過程描述如下：

大數(shù)據(jù)存儲系統(tǒng)的時鐘同步電路由多路開關(guān)選擇12位A/D數(shù)據(jù)采樣模塊，通過自適應(yīng)調(diào)制電路進(jìn)行自適應(yīng)增益連續(xù)反饋采樣。大數(shù)據(jù)存儲系統(tǒng)的線性動態(tài)范圍為-40～40 dB，通過Emulator由JTAG選擇引腳、時鐘信號。根據(jù)MAX7425的電子特性，采用PCI 接口功能模塊，設(shè)計SCSI?68反饋動態(tài)增益模塊，在第一級放大之后進(jìn)行高通濾波去除干擾數(shù)據(jù)的誤差增益，在接收電路中加入濾波電路，實現(xiàn)大數(shù)據(jù)的時鐘同步采樣，得到時鐘同步電路如圖4所示。

大數(shù)據(jù)的時鐘同步采樣的運放端口，選用AD8021進(jìn)行5階開關(guān)電容低通濾波，從而使輸出電壓趨于穩(wěn)定的直流電壓。通過自定義總線SCSI?68共享雙端口RAM，實現(xiàn)PC機(jī)與數(shù)據(jù)傳輸系統(tǒng)的實時通信。功率放大器通過三級放大器進(jìn)行D/A轉(zhuǎn)換信號的逐級放大，得到數(shù)據(jù)存儲命令，數(shù)據(jù)輸出信號的范圍在合理程度，可提高系統(tǒng)的發(fā)射響應(yīng)和接收靈敏度。當(dāng)存儲器處于接收狀態(tài)時，通過設(shè)計的帶通濾波器對存儲的數(shù)據(jù)進(jìn)行降噪處理，根據(jù)上述分析，構(gòu)建復(fù)位電路，在系統(tǒng)上電、初始化、出現(xiàn)異常斷電時，采用看門狗復(fù)位方法實現(xiàn)對DSP芯片的復(fù)位，得到復(fù)位電路設(shè)計如圖5所示。

在大數(shù)據(jù)存儲系統(tǒng)中，通過中斷復(fù)位，使得數(shù)據(jù)長度可以為 8，12，20，經(jīng)DMA 控制器實現(xiàn)外部脈沖源驅(qū)動，按照DSP串口0的引腳引出通過（R/X）DATDLY設(shè)置數(shù)據(jù)運算和存儲。采用5409A串口硬件發(fā)送采樣值，進(jìn)行程序加載，5409A串口引腳分配如圖6所示。

通過5409A串口引腳分配，利用串口在兩塊DSP之間傳送數(shù)據(jù)，大數(shù)據(jù)存儲系統(tǒng)的頂層文件的部分VerilogHDL代碼如下：

PWM_controlu1 （External data memory design， .clk（clk）， . reset（reset）. en（en）， . ek （m1））；

//PCI9054之間進(jìn)行數(shù)據(jù)通信模塊的實例

Data_operationand_storage（.ek（m1）， .kp（kp）， .clk（clk），. reset（reset）， .en（en），.ek_1（），.s1（s1））； //增益模塊的實例

jifen_controlu3（.ek（m1），.ki（ki），.clk（clk），.reset（reset），.en（en），.s2（s2））；

Postel_ectric_system_controlu4（.ek（m1），.kd（kd），.clk（clk），

.reset（reset）， Data communication between PCI9054）；

assignout=s1+s2+s3 //誤差反饋控制實例

基于時鐘同步與高速模塊內(nèi)部觸發(fā)進(jìn)行系統(tǒng)的優(yōu)化設(shè)計，通過外部I/O設(shè)備進(jìn)行大數(shù)據(jù)存儲系統(tǒng)的接口設(shè)計，大數(shù)據(jù)存儲系統(tǒng)的A/D采樣轉(zhuǎn)換器AD8582四片，將通過通道數(shù)設(shè)置，把12位的A/D結(jié)果轉(zhuǎn)換成16位，采用[±10 V]的雙極性輸入法，利用[EOC]信號作一通道轉(zhuǎn)換，為TOUT→[CNVST]，A4～A0，采用轉(zhuǎn)換序列完成大數(shù)據(jù)存儲系統(tǒng)對應(yīng)碼的編碼和符號擴(kuò)展，I/O設(shè)備的外部接口采用AD8582是兩通道的動態(tài)增益控制電路，依次與5409A數(shù)據(jù)總線連接，通過外部接口電源和內(nèi)核電源協(xié)調(diào)供電，實現(xiàn)對數(shù)據(jù)的不間斷采樣和存儲，輸出的波形幅度數(shù)據(jù)具有較好的自適應(yīng)性。綜上分析，本文設(shè)計的大數(shù)據(jù)云存儲優(yōu)化構(gòu)架系統(tǒng)的硬件集成電路的實現(xiàn)過程如圖7所示。

2.2 系統(tǒng)的軟件設(shè)計與實現(xiàn)

在上述進(jìn)行了大數(shù)據(jù)存儲系統(tǒng)的硬件設(shè)計的基礎(chǔ)上，進(jìn)行大數(shù)據(jù)存儲系統(tǒng)架構(gòu)結(jié)構(gòu)的軟件設(shè)計，軟件設(shè)計建立在ALTERA公司新推出的MAX7000AE軟件開發(fā)平臺基礎(chǔ)上，軟件設(shè)計的流程包括中斷服務(wù)程序的開發(fā)、串口配置程序的設(shè)計、DSP串口初始化程序等，首先創(chuàng)建LabWindows/CVI工程文件，根據(jù)編寫的PCI卡驅(qū)動程序，通知DSP取數(shù)，采用時鐘同步模塊進(jìn)行大數(shù)據(jù)的多通道采樣，返回的HANDLE（句柄），采用DeviceIoControl（）、ReadFile（）控制系統(tǒng)硬件和設(shè)定參數(shù)。外部接口片選信號利用匯編指令PORTW，PORTR進(jìn)行串口控制，配置引腳寄存器，設(shè)定RCR[1，2]和XCR[1，2]，先對SPCR1（串口接收控制寄存器）和SPCR2（串口發(fā)送控制寄存器）執(zhí)行大數(shù)據(jù)的寫入請求，接收堆棧彈出返回指令后，大數(shù)據(jù)存儲系統(tǒng)內(nèi)的CVI面板實時顯示大數(shù)據(jù)的采樣結(jié)果和存儲空間，根據(jù)上述思想，實現(xiàn)對大數(shù)據(jù)存儲的軟件設(shè)計，大數(shù)據(jù)存儲系統(tǒng)軟件設(shè)計實現(xiàn)流程如圖8所示。

3 系統(tǒng)調(diào)試與實驗結(jié)果分析

為了測試本文設(shè)計的大數(shù)據(jù)存儲系統(tǒng)架構(gòu)模型的性能，進(jìn)行仿真實驗。實驗中，大數(shù)據(jù)的存儲主機(jī)的PC機(jī)為32/64位保護(hù)模式，在 600 MHz的時鐘速率下執(zhí)行大數(shù)據(jù)的采樣和寫入，外部設(shè)備接口、DMA控制器支持 32位和40位的浮點運算，內(nèi)核邏輯電流為2.90 A，內(nèi)核邏輯電壓為1.3 V，參考電壓VREF設(shè)置為VDD_IO的[12]，調(diào)節(jié) SCLK1和SCLK2之間的時序偏差，通過時鐘同步控制和鏈路數(shù)據(jù)的配置，實驗中，數(shù)據(jù)量為100 MB～1 GB，以100 MB為單位實現(xiàn)數(shù)據(jù)的寫入和存儲，根據(jù)上述實驗環(huán)境和參數(shù)設(shè)定，結(jié)合本文設(shè)計的系統(tǒng)硬件電路和軟件模塊，進(jìn)行程序加載寫入，進(jìn)行數(shù)據(jù)存儲性能分析和對比，為了對比系統(tǒng)的性能，采用本文方法和傳統(tǒng)方法，在不同的存儲開銷和干擾下，以大數(shù)據(jù)存儲的信息融合的歸一化投影值為測試指標(biāo)，得到大數(shù)據(jù)存儲的性能對比結(jié)果如圖9所示。

由圖9可見，采用本文設(shè)計的大數(shù)據(jù)存儲系統(tǒng)進(jìn)行大數(shù)據(jù)存儲，具有較好的抗干擾性和數(shù)據(jù)融合性能，降低數(shù)據(jù)存儲開銷，提高數(shù)據(jù)存儲系統(tǒng)的數(shù)據(jù)調(diào)度效率，展示了較好的應(yīng)用價值。

4 結(jié) 語

通過對大數(shù)據(jù)存儲系統(tǒng)的優(yōu)化設(shè)計，降低了存儲系統(tǒng)的空間開銷和抗干擾能力。提出一種基于時鐘同步與高速模塊內(nèi)部觸發(fā)的大數(shù)據(jù)存儲中的優(yōu)化架構(gòu)結(jié)構(gòu)設(shè)計方法。采用時鐘同步技術(shù)進(jìn)行存儲系統(tǒng)的總線實時調(diào)度，采用高速模塊內(nèi)部觸發(fā)機(jī)制取得總線控制權(quán)，提高了數(shù)據(jù)的轉(zhuǎn)發(fā)傳送性能，系統(tǒng)設(shè)計包括了硬件模塊設(shè)計和軟件設(shè)計兩大部分。由系統(tǒng)設(shè)計和仿真實驗分析得出，該系統(tǒng)具有較好的數(shù)據(jù)存儲性能，執(zhí)行效率較高，穩(wěn)定性較好。

參考文獻(xiàn)

[1] CAO Junwei， LI Keqin， STOJMENOVIC I. Optimal power allocation and load distribution for multiple heterogeneous multi?core server processors across clouds and data centers [J]. IEEE transactions on computers， 2014， 63（1）： 45?58.

[2] 田剛，何克清，王健，等.面向領(lǐng)域標(biāo)簽輔助的服務(wù)聚類方法[J].電子學(xué)報，2015，43（7）：1266?1274.

[3] 衛(wèi)星，張建軍，石雷，等.云計算數(shù)據(jù)中心服務(wù)器數(shù)量動態(tài)配置策略[J].電子與信息學(xué)報，2015，37（8）：2007?2013.

[4] URGAONKAR R， KOZAT U C， IGARASHI K， et al. Dynamic resource allocation and power management in virtualized data centers [C]// Proceedings of IEEE/IFIP Network Operations and Management Symposium （NOMS）. Osaka， Japan： IEEE， 2010： 479?486.

[5] CHONG F T， HECK M J R， RANGANATHAN P， et al. Data center energy efficiency： improving energy efficiency in data centers beyond technology scaling [J]. IEEE design & test， 2014， 31（1）： 93?104.

[6] LI Jian， SHUANG Kai， SU Sen， et al. Reducing operational costs through consolidation with resource prediction in the cloud [C]// Proceedings of 12th IEEE/ACM International Symposium on Cloud and Grid Computing （CCGrid）. Ottawa， Canada： IEEE， 2012： 793?798.

[7] WANG Lin， ZHANG Fa， ARJONA A J， et al. GreenDCN： a general framework for achieving energy efficiency in data center networks [J]. IEEE journal on selected areas in communications， 2014， 32（1）： 4?15.

[8] 崔永君，張永花.基于特征尺度均衡的Linux系統(tǒng)雙閾值任務(wù)調(diào)度算法[J].計算機(jī)科學(xué)，2015，42（6）：181?184.