基于中間件技術(shù)的網(wǎng)絡(luò)處理器氣候大數(shù)據(jù)多級(jí)存儲(chǔ)系統(tǒng)

尚宇輝 趙彥明

摘? 要： 由于常規(guī)存儲(chǔ)系統(tǒng)的存儲(chǔ)容量低，以增加數(shù)據(jù)存儲(chǔ)容量為目的，該文提出基于中間件技術(shù)的網(wǎng)絡(luò)處理器氣候大數(shù)據(jù)多級(jí)存儲(chǔ)系統(tǒng)。通過氣候大數(shù)據(jù)多級(jí)存儲(chǔ)控制器設(shè)計(jì)和數(shù)據(jù)存儲(chǔ)器設(shè)計(jì)，完成了系統(tǒng)的硬件設(shè)計(jì);在接收數(shù)據(jù)讀取命令后，采用中間件技術(shù)讀取了網(wǎng)絡(luò)處理器氣候大數(shù)據(jù)信息，并結(jié)合氣候大數(shù)據(jù)存儲(chǔ)算法的優(yōu)化設(shè)計(jì)，完成了系統(tǒng)的軟件設(shè)計(jì)，實(shí)現(xiàn)了基于中間件技術(shù)的網(wǎng)絡(luò)處理器氣候大數(shù)據(jù)的多級(jí)存儲(chǔ)。仿真測(cè)試結(jié)果表明，基于中間件技術(shù)的存儲(chǔ)系統(tǒng)與常規(guī)存儲(chǔ)系統(tǒng)相比，數(shù)據(jù)的存儲(chǔ)能力更強(qiáng)。

關(guān)鍵詞： 網(wǎng)絡(luò)處理器; 氣候大數(shù)據(jù); 多級(jí)存儲(chǔ)系統(tǒng); 系統(tǒng)設(shè)計(jì); 中間件技術(shù); 仿真測(cè)試

中圖分類號(hào)： TN926?34; TP311? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼： A? ? ? ? ? ? ? ? ? ? ? ?文章編號(hào)： 1004?373X（2020）22?0053?04

Abstract： As the storage capacity of conventional storage system is low， a middleware technology based multilevel storage system for climate big data of network processor is proposed to increase the data storage capacity. The climate big data multi?level storage controller and data storage are designed， and then the hardware design of the system is completed. After receiving the data read command， the middleware technology is used to read climate big data information of network processor. The software design of the system is completed by combing with the optimization design of climate big data storage algorithm. The middleware technology based multilevel storage for climate big data of network processor is realized. The simulation testing results show that， in combination with conventional storage system， the storage system based on middleware technology has stronger data storage capacity.

Keywords： network processor; climate big data; multilevel storage system; system design; middleware technology; simulation testing

0? 引? 言

信息技術(shù)的發(fā)展使網(wǎng)絡(luò)處理器逐漸從信息時(shí)代走向大數(shù)據(jù)時(shí)代，網(wǎng)絡(luò)處理器對(duì)數(shù)據(jù)的處理和存儲(chǔ)需求急劇上升[1]。生活和工作中的很多重要數(shù)據(jù)信息都存儲(chǔ)在計(jì)算機(jī)中，有些企業(yè)存儲(chǔ)的信息可能是商業(yè)機(jī)密，因此存儲(chǔ)系統(tǒng)的好壞直接關(guān)系到企業(yè)的存亡，重要數(shù)據(jù)一旦丟失或損壞，一定會(huì)給企業(yè)帶來巨大損失[2]。

隨著網(wǎng)絡(luò)處理器中氣候大數(shù)據(jù)的不斷增長(zhǎng)，大數(shù)據(jù)多級(jí)存儲(chǔ)系統(tǒng)的高性價(jià)比和高可靠性變得越來越重要。傳統(tǒng)的存儲(chǔ)系統(tǒng)已經(jīng)不能滿足數(shù)據(jù)存儲(chǔ)性能的需要，網(wǎng)絡(luò)處理器一般都是利用比較復(fù)雜的氣候大數(shù)據(jù)控制結(jié)構(gòu)來開發(fā)應(yīng)用程序內(nèi)部的相應(yīng)指令，這對(duì)于數(shù)據(jù)復(fù)雜、存儲(chǔ)指令依賴明顯的應(yīng)用程序有著直接的效果[3]。從對(duì)氣候大數(shù)據(jù)多級(jí)存儲(chǔ)系統(tǒng)結(jié)構(gòu)的需求來講，數(shù)據(jù)多級(jí)存儲(chǔ)需要的是一種簡(jiǎn)單的指令[4]，復(fù)雜的控制邏輯無用武之地。

針對(duì)傳統(tǒng)存儲(chǔ)系統(tǒng)的缺點(diǎn)，本文將中間件技術(shù)應(yīng)用到了網(wǎng)絡(luò)處理器氣候大數(shù)據(jù)多級(jí)存儲(chǔ)系統(tǒng)設(shè)計(jì)中，在不影響氣候大數(shù)據(jù)查詢和寫入的情況下，實(shí)現(xiàn)網(wǎng)絡(luò)處理器氣候大數(shù)據(jù)的存儲(chǔ)及整合，使氣候大數(shù)據(jù)按照不同的查詢需求進(jìn)行不同方式的存儲(chǔ)。

1? 網(wǎng)絡(luò)處理器氣候大數(shù)據(jù)多級(jí)存儲(chǔ)系統(tǒng)硬件設(shè)計(jì)

1.1? 氣候大數(shù)據(jù)多級(jí)存儲(chǔ)控制器設(shè)計(jì)

存儲(chǔ)控制器可以控制氣候大數(shù)據(jù)存儲(chǔ)的速度，為讀取數(shù)據(jù)提供更多時(shí)間，從而增加系統(tǒng)數(shù)據(jù)存儲(chǔ)的容量。氣候大數(shù)據(jù)多級(jí)存儲(chǔ)控制器是由初始化數(shù)據(jù)控制模塊、存儲(chǔ)命令控制模塊、氣候大數(shù)據(jù)通路模塊、氣候大數(shù)據(jù)刷新控制模塊以及模式控制模塊組成[5]。其結(jié)構(gòu)如圖1所示。

初始化數(shù)據(jù)控制模塊可以設(shè)置網(wǎng)絡(luò)處理器內(nèi)部的參數(shù)，當(dāng)系統(tǒng)啟動(dòng)時(shí)通過行列復(fù)用地址線實(shí)現(xiàn)參數(shù)設(shè)置;數(shù)據(jù)存儲(chǔ)命令控制模塊是整個(gè)存儲(chǔ)控制器的核心，負(fù)責(zé)接收網(wǎng)絡(luò)處理器的訪問請(qǐng)求，并將請(qǐng)求信號(hào)轉(zhuǎn)換成控制信號(hào)，還會(huì)根據(jù)存儲(chǔ)控制器所處的狀態(tài)來控制氣候大數(shù)據(jù)通路的方向[6];氣候大數(shù)據(jù)通路模塊主要負(fù)責(zé)氣候大數(shù)據(jù)存儲(chǔ)操作的數(shù)據(jù)傳輸，通過采集網(wǎng)絡(luò)處理器中的氣候大數(shù)據(jù)信息，將其傳輸?shù)较蚓W(wǎng)絡(luò)處理器返回?cái)?shù)據(jù)的FIFO中;刷新控制模塊采用計(jì)數(shù)器來控制系統(tǒng)刷新請(qǐng)求的發(fā)起，每一個(gè)刷新操作的時(shí)間間隔都是根據(jù)DDR設(shè)備更新后的時(shí)間進(jìn)行計(jì)算的，當(dāng)控制器進(jìn)行刷新操作時(shí)，此模塊不會(huì)發(fā)起其他操作，從而向控制器發(fā)出刷新請(qǐng)求[7]。

1.2? 數(shù)據(jù)存儲(chǔ)器設(shè)計(jì)

數(shù)據(jù)存儲(chǔ)控制器解析過的氣候大數(shù)據(jù)字符長(zhǎng)，常規(guī)存儲(chǔ)系統(tǒng)不足以存儲(chǔ)，必須設(shè)計(jì)數(shù)據(jù)存儲(chǔ)器，增加系統(tǒng)的存儲(chǔ)容量。存儲(chǔ)器通過外部通道觸發(fā)存儲(chǔ)操作，完成對(duì)氣候大數(shù)據(jù)存儲(chǔ)信號(hào)的編碼及存儲(chǔ)，自動(dòng)將存儲(chǔ)方式覆蓋[8]。完整的數(shù)據(jù)存儲(chǔ)器是由遙測(cè)裝置、數(shù)據(jù)讀取裝置和存儲(chǔ)器組成，數(shù)據(jù)讀取裝置負(fù)責(zé)檢測(cè)與控制整個(gè)數(shù)據(jù)存儲(chǔ)器的工作過程。存儲(chǔ)器主要負(fù)責(zé)網(wǎng)絡(luò)處理器發(fā)來的氣候大數(shù)據(jù)，并在氣候大數(shù)據(jù)回收后將被存儲(chǔ)的數(shù)據(jù)信號(hào)重現(xiàn)[9]。

數(shù)據(jù)存儲(chǔ)器選用ML6F78B3作為存儲(chǔ)系統(tǒng)的主控模塊，內(nèi)部具有很多集成的RAM接收模塊，數(shù)據(jù)存儲(chǔ)器內(nèi)部工作原理框圖如圖2所示。

數(shù)據(jù)存儲(chǔ)器的內(nèi)部主要包括信號(hào)接收處理模塊、信號(hào)采集控制模塊、編幀模塊、FIFO模塊、數(shù)據(jù)輸出控制模塊等。其中，信號(hào)采集控制模塊主要負(fù)責(zé)控制切換開關(guān)的模擬、通道采集氣候大數(shù)據(jù)編幀的模擬，并將編幀后的氣候大數(shù)據(jù)發(fā)送到FIFO模塊;信號(hào)接收處理模塊是根據(jù)具體的存儲(chǔ)協(xié)議對(duì)網(wǎng)絡(luò)處理器中的氣候大數(shù)據(jù)進(jìn)行采集控制;編幀模塊是將其他不同模塊的存儲(chǔ)信號(hào)進(jìn)行編幀，包括為存儲(chǔ)信號(hào)添加幀頭和幀尾以及幀計(jì)數(shù)等操作[10]。數(shù)據(jù)存儲(chǔ)器的設(shè)計(jì)可以為后續(xù)的氣候大數(shù)據(jù)處理提供方便。

2? 網(wǎng)絡(luò)處理器氣候大數(shù)據(jù)多級(jí)存儲(chǔ)系統(tǒng)軟件設(shè)計(jì)

2.1? 讀取網(wǎng)絡(luò)處理器氣候大數(shù)據(jù)信息

網(wǎng)絡(luò)處理器中的氣候大數(shù)據(jù)在存儲(chǔ)過程中會(huì)失效，在數(shù)據(jù)存儲(chǔ)之前必須先讀取數(shù)據(jù)信息，以免數(shù)據(jù)存儲(chǔ)空間不足導(dǎo)致數(shù)據(jù)存儲(chǔ)失敗。網(wǎng)絡(luò)處理器氣候大數(shù)據(jù)信息的讀取包括數(shù)據(jù)復(fù)位、設(shè)置參數(shù)、氣候大數(shù)據(jù)信息的讀取及FLASH數(shù)據(jù)信息的讀取[11]。網(wǎng)絡(luò)處理器氣候大數(shù)據(jù)信息的讀取流程如圖3所示。

當(dāng)接收到氣候大數(shù)據(jù)讀取命令時(shí)，系統(tǒng)要判斷命令是否可以被執(zhí)行，如果可以被執(zhí)行，則根據(jù)復(fù)位流程對(duì)氣候大數(shù)據(jù)信息進(jìn)行復(fù)位操作，利用參數(shù)設(shè)置結(jié)果讀取網(wǎng)絡(luò)處理器氣候大數(shù)據(jù)信息。

2.2? 氣候大數(shù)據(jù)存儲(chǔ)算法優(yōu)化設(shè)計(jì)

氣候大數(shù)據(jù)存儲(chǔ)算法通過實(shí)現(xiàn)布局優(yōu)化達(dá)到增加系統(tǒng)存儲(chǔ)容量的目的。數(shù)據(jù)存儲(chǔ)算法根據(jù)網(wǎng)絡(luò)處理器已有的氣候大數(shù)據(jù)在存儲(chǔ)體上的布局狀態(tài)，選擇合適的存儲(chǔ)實(shí)體作為氣候大數(shù)據(jù)存儲(chǔ)目的地[12]。

3? 仿真測(cè)試

3.1? 搭建系統(tǒng)測(cè)試環(huán)境

為了驗(yàn)證系統(tǒng)運(yùn)行的可靠性，在中間件技術(shù)的背景下搭建氣候大數(shù)據(jù)解析平臺(tái)。在氣候大數(shù)據(jù)解析部分，利用數(shù)據(jù)存儲(chǔ)框架來實(shí)現(xiàn)系統(tǒng)的測(cè)試，系統(tǒng)測(cè)試環(huán)境部署架構(gòu)如圖4所示。

3.2? 測(cè)試過程分析

測(cè)試過程中，設(shè)置不同的系統(tǒng)運(yùn)行環(huán)境狀態(tài)，包括模擬不同的系統(tǒng)運(yùn)行速度、響應(yīng)時(shí)間、內(nèi)存大小。定義不同的系統(tǒng)運(yùn)行環(huán)境條件，利用常規(guī)存儲(chǔ)系統(tǒng)作為測(cè)試對(duì)比對(duì)象，進(jìn)行仿真測(cè)試。其系統(tǒng)運(yùn)行環(huán)境條件模擬曲線如圖5所示。

根據(jù)兩種存儲(chǔ)系統(tǒng)獲取的數(shù)據(jù)信息，采用抽樣分析的方法獲取數(shù)據(jù)節(jié)點(diǎn)，并根據(jù)存儲(chǔ)容量的計(jì)算公式，得出不同運(yùn)行環(huán)境下的數(shù)據(jù)存儲(chǔ)容量。

3.3? 實(shí)驗(yàn)結(jié)果分析

根據(jù)兩種存儲(chǔ)系統(tǒng)在不同運(yùn)行環(huán)境下獲取的數(shù)據(jù)存儲(chǔ)容量，得到存儲(chǔ)容量對(duì)比結(jié)果，如圖6所示。

由測(cè)試結(jié)果知，同樣存儲(chǔ)1 000 B氣候大數(shù)據(jù)，常規(guī)存儲(chǔ)系統(tǒng)在存儲(chǔ)過程中的存儲(chǔ)容量都低于50 B，數(shù)據(jù)的存儲(chǔ)率僅有35.8%;而采用基于中間件技術(shù)的存儲(chǔ)系統(tǒng)，每一個(gè)數(shù)據(jù)庫的氣候大數(shù)據(jù)存儲(chǔ)容量都接近90 B，數(shù)據(jù)的存儲(chǔ)率達(dá)到92.3%。因此，可以得出基于中間件技術(shù)的存儲(chǔ)系統(tǒng)具有良好的數(shù)據(jù)存儲(chǔ)能力。

4? 結(jié)? 語

本文提出基于中間件技術(shù)的網(wǎng)絡(luò)處理器氣候大數(shù)據(jù)多級(jí)存儲(chǔ)系統(tǒng)。系統(tǒng)硬件設(shè)計(jì)采用多級(jí)存儲(chǔ)控制器和數(shù)據(jù)存儲(chǔ)器，軟件設(shè)計(jì)采用存儲(chǔ)算法的優(yōu)化設(shè)計(jì)。仿真測(cè)試及對(duì)比實(shí)驗(yàn)的結(jié)果表明，基于中間件技術(shù)的存儲(chǔ)系統(tǒng)比常規(guī)存儲(chǔ)系統(tǒng)的數(shù)據(jù)存儲(chǔ)能力更強(qiáng)。

參考文獻(xiàn)

[1] 劉斌.基于云環(huán)境下的海量大數(shù)據(jù)存儲(chǔ)系統(tǒng)設(shè)計(jì)[J].電子世界，2017（18）：99.

[2] 潘力.激光數(shù)據(jù)存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].激光雜志，2018，39（5）：156?159.

[3] 郭天文，惠強(qiáng)，潘元洪，等.井下人員生理數(shù)據(jù)采集與處理系統(tǒng)設(shè)計(jì)[J].工礦自動(dòng)化，2017，43（12）：86?89.

[4] 劉全飛，彭凌云.海量光纖通信數(shù)據(jù)的云存儲(chǔ)系統(tǒng)設(shè)計(jì)[J].激光雜志，2018，39（8）：183?187.

[5] 郭會(huì)云，房俊，李冬.基于負(fù)載均衡的多源流數(shù)據(jù)實(shí)時(shí)存儲(chǔ)系統(tǒng)[J].計(jì)算機(jī)工程與科學(xué)，2017，39（4）：641?647.

[6] 郁濱，馮力，龔碧，等.多密級(jí)交互存儲(chǔ)控制器設(shè)計(jì)與實(shí)現(xiàn)[J].電子與信息學(xué)報(bào)，2018，40（1）：18?24.

[7] 盛賢君，許才，張亞鵬.基于交叉耦合結(jié)構(gòu)的輪廓控制器設(shè)計(jì)[J].組合機(jī)床與自動(dòng)化加工技術(shù)，2017（4）：85?88.

[8] 王彥光，趙元.電動(dòng)輪車輛分布式控制系統(tǒng)設(shè)計(jì)分析[J].機(jī)械設(shè)計(jì)與制造，2019（7）：9?12.

[9] 李曉云，陳后鵬，雷宇，等.一種基于相變存儲(chǔ)器的高速讀出電路設(shè)計(jì)[J].上海交通大學(xué)學(xué)報(bào)，2019，53（8）：936?942.

[10] 孟博，王文廉.動(dòng)爆環(huán)境下的多增益沖擊波存儲(chǔ)測(cè)試系統(tǒng)設(shè)計(jì)[J].電子技術(shù)應(yīng)用，2017，43（9）：83?86.

[11] 石永彪，黃飛，楊龍，等.基于DM8148的紅外視頻采集存儲(chǔ)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].激光與紅外，2017，47（5）：582?585.

[12] 關(guān)兆雄.云存儲(chǔ)下的混合存儲(chǔ)算法設(shè)計(jì)[J].自動(dòng)化與儀器儀表，2018（4）：157?159.

[13] 王東強(qiáng)，王曉霞.云存儲(chǔ)中大數(shù)據(jù)優(yōu)化粒子群聚類算法[J].電子設(shè)計(jì)工程，2017，25（2）：26?30.

[14] 韋存存.激光數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)穩(wěn)定性分布模型設(shè)計(jì)[J].激光雜志，2018，39（10）：111?114.

[15] 黃正鵬，王力，張仕學(xué)，等.基于傳統(tǒng)遺傳和數(shù)據(jù)壓縮算法的冗余光纖數(shù)據(jù)存儲(chǔ)優(yōu)化[J].激光雜志，2019，40（3）：135?139.