大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)存儲系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

倫冠民 康輝英 王妞

摘? 要： 傳統(tǒng)網(wǎng)絡(luò)數(shù)據(jù)存儲系統(tǒng)存在各種各樣的缺陷，因此設(shè)計(jì)并實(shí)現(xiàn)了大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)存儲系統(tǒng)。該系統(tǒng)通過A/D網(wǎng)絡(luò)數(shù)據(jù)采集模塊使用A/D變換器轉(zhuǎn)化網(wǎng)絡(luò)模擬信號為數(shù)字信號，傳遞至FPGA網(wǎng)絡(luò)數(shù)據(jù)接收模塊展開接收并處理，處理后的網(wǎng)絡(luò)數(shù)據(jù)傳遞至FLASH數(shù)據(jù)存儲模塊，該模塊通過讀取、擦除、編程等操作保證網(wǎng)絡(luò)數(shù)據(jù)的完整性和可靠性實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)存儲。系統(tǒng)軟件采用超高密度數(shù)據(jù)存儲分布空間結(jié)構(gòu)模型，通過尺度伸縮降低存儲冗余，在網(wǎng)絡(luò)數(shù)據(jù)集合空間范圍內(nèi)分割網(wǎng)絡(luò)數(shù)據(jù)存儲特征，優(yōu)化網(wǎng)絡(luò)數(shù)據(jù)存儲。經(jīng)實(shí)驗(yàn)分析，該系統(tǒng)大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)存儲速度良好，響應(yīng)速度快，負(fù)載均衡存儲性能良好。

關(guān)鍵詞： 網(wǎng)絡(luò)數(shù)據(jù)存儲; 系統(tǒng)設(shè)計(jì); 數(shù)據(jù)采集; 數(shù)據(jù)處理; FLASH存儲; 系統(tǒng)實(shí)現(xiàn)

中圖分類號： TN711?34; TP311? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識碼： A? ? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2020）14?0062?05

Design and implementation of large?scale network data storage system

LUN Guanmin， KANG Huiying， WANG Niu

（Huaxin College Hebei University of Geosciences， Shijiazhuang 050700， China）

Abstract： As the traditional network data storage system has a variety of defects， a large?scale network data storage system is designed and implemented. The A/D converter is used in the system to convert network analog signals into digital signals by A/D network data acquisition module， and transmit it to FPGA network data receiving module for receiving and processing. The processed network data is transmitted to Flash data storage module to ensure the integrity and reliability of network data by means of the reading， erasure， programming and other operations， and realize the storage of network data. In the system′s software， the spatial distribution structure model of ultra?high density data storage is adopted to reduce the storage redundancy by scaling， segment the features of network data storage in the network data set spatial range， and optimize the network data storage. The experimental analysis results show that the system has high storage velocity， fast response speed and exellent load balancing storage performance for large?scale network data.

Keywords： network data storage; system design; data collection; data processing; Flash storage; system implementation

0? 引? 言

現(xiàn)今網(wǎng)絡(luò)技術(shù)飛速發(fā)展，網(wǎng)絡(luò)用戶增長迅速，網(wǎng)絡(luò)數(shù)據(jù)量呈現(xiàn)指數(shù)級上升，大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)快速聚合，云計(jì)算技術(shù)大量使用[1]。當(dāng)前全世界已經(jīng)進(jìn)入數(shù)字信息時(shí)代，需要在網(wǎng)絡(luò)中傳輸和存儲的數(shù)據(jù)日益攀升，在這些前提下，對通信技術(shù)類產(chǎn)業(yè)技術(shù)能力也是重大挑戰(zhàn)[2?3]。若對大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行處理，很容易增加處理時(shí)長，但是在當(dāng)今的網(wǎng)絡(luò)環(huán)境下，使用者無法接受數(shù)據(jù)響應(yīng)時(shí)間過長的情況，大部分使用者認(rèn)為，即使數(shù)據(jù)存儲量不斷增長，網(wǎng)絡(luò)數(shù)據(jù)響應(yīng)時(shí)間也應(yīng)該不斷縮短。在這種要求面前，需要不斷優(yōu)化系統(tǒng)性能，提升數(shù)據(jù)響應(yīng)速度。大規(guī)模數(shù)據(jù)越來越多，各種因素導(dǎo)致系統(tǒng)設(shè)備存在一定程度的差異性，但是若要在這些設(shè)備中保證實(shí)時(shí)監(jiān)控和快速管理卻困難重重[4]。目前已有的研究表明，軟件與硬件的兼容性也存在一定問題，數(shù)據(jù)存儲呈現(xiàn)網(wǎng)絡(luò)化發(fā)展趨勢，云技術(shù)便是其中的代表，互聯(lián)網(wǎng)媒介與網(wǎng)絡(luò)數(shù)據(jù)存儲相融合，有機(jī)結(jié)合共同存儲大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)[5?7]。

已有研究中顯示，大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)存儲系統(tǒng)存在著各種缺陷。使用IP資源存儲網(wǎng)絡(luò)數(shù)據(jù)設(shè)計(jì)系統(tǒng)，在對網(wǎng)絡(luò)數(shù)據(jù)資源展開存儲時(shí)使用IP網(wǎng)絡(luò)管理設(shè)備，使用控制手段對要求寫入的網(wǎng)絡(luò)數(shù)據(jù)做出反應(yīng)實(shí)現(xiàn)網(wǎng)絡(luò)存儲，但是在這種IP資源存儲網(wǎng)絡(luò)數(shù)據(jù)系統(tǒng)中，IP數(shù)據(jù)網(wǎng)具有復(fù)雜性，系統(tǒng)不具備拓展性，不能滿足現(xiàn)今的網(wǎng)絡(luò)狀態(tài)和存儲需要[8]。傳統(tǒng)的多模式下數(shù)據(jù)并行存儲系統(tǒng)，安裝多個(gè)中央處理器和同一時(shí)間下共同運(yùn)行的硬件，并同時(shí)運(yùn)行各硬件，實(shí)行最大化網(wǎng)絡(luò)數(shù)據(jù)存儲，但是該系統(tǒng)存在過多硬件的問題，會出現(xiàn)混亂分配資源的情況，常常出現(xiàn)數(shù)據(jù)丟失或存儲失敗的問題，實(shí)際使用時(shí)性能并不佳[9?10]。

為了滿足日益升高的網(wǎng)絡(luò)數(shù)據(jù)存儲需求，研究適用于大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)存儲的系統(tǒng)，是目前學(xué)界的主要研究方向。為了解決以上系統(tǒng)存在的問題，本文設(shè)計(jì)并實(shí)現(xiàn)了大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)存儲系統(tǒng)。

1? 大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)存儲系統(tǒng)的設(shè)計(jì)

1.1? 系統(tǒng)結(jié)構(gòu)體系

為實(shí)現(xiàn)大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)存儲，要求系統(tǒng)中具備高效網(wǎng)絡(luò)數(shù)據(jù)采集模塊和容量巨大的存儲模塊，系統(tǒng)整體架構(gòu)見圖1。

通過圖1能夠看出，系統(tǒng)主要分為3部分，包括A/D網(wǎng)絡(luò)數(shù)據(jù)采集模塊、FPGA網(wǎng)絡(luò)數(shù)據(jù)接收模塊以及FLASH網(wǎng)絡(luò)數(shù)據(jù)存儲模塊。

1） A/D網(wǎng)絡(luò)數(shù)據(jù)采集模塊

A/D網(wǎng)絡(luò)數(shù)據(jù)采集模塊承擔(dān)著采集網(wǎng)絡(luò)數(shù)據(jù)的任務(wù)，其效率極高，能夠達(dá)到1.5 GSPS。

2） FPGA網(wǎng)絡(luò)數(shù)據(jù)接收模塊

FPGA網(wǎng)絡(luò)數(shù)據(jù)接收模塊負(fù)責(zé)接收網(wǎng)絡(luò)數(shù)據(jù)，并將各模塊的信息交互。該模塊分別連接互聯(lián)網(wǎng)、電腦端、兩個(gè)DDR2內(nèi)存條和4個(gè)配備同步動態(tài)隨機(jī)存取存儲器（ADRAM）的數(shù)字信號接收器（DSO），DSO能夠處理A/D網(wǎng)絡(luò)數(shù)據(jù)采集模塊采集到的數(shù)據(jù)并存儲[11]。

3） FLASH網(wǎng)絡(luò)數(shù)據(jù)存儲模塊

FLASH網(wǎng)絡(luò)數(shù)據(jù)存儲模塊連接若干FLASH存儲器，即使網(wǎng)絡(luò)數(shù)據(jù)存儲規(guī)模過大時(shí)也能夠?qū)崿F(xiàn)良好的存儲效果，實(shí)用性高，最高存儲量能夠達(dá)到1 024 GB。

1.2? 系統(tǒng)模塊分析

1.2.1? A/D數(shù)據(jù)采集模塊

A/D數(shù)據(jù)采集模塊由A/D轉(zhuǎn)換器、精密放大器、驅(qū)動電路和模擬多路轉(zhuǎn)換器組成，具體工作流程見圖2。

從圖2可以看出，放大器放大模擬多路轉(zhuǎn)換器收集到的模擬信號，可編程器件向A/D轉(zhuǎn)換器提供一個(gè)轉(zhuǎn)換控制信號后，A/D轉(zhuǎn)換器將模擬信號轉(zhuǎn)換，使其成為數(shù)字信號，傳遞給邏輯門驅(qū)動。

在A/D數(shù)據(jù)采集模塊中，最重要的部分就是A/D轉(zhuǎn)換器，在本文系統(tǒng)中選用深圳友利通電子有限公司提供的24位A/D轉(zhuǎn)換芯片PCM1690DCAR，性能良好。該芯片有暫存/三態(tài)輸出緩沖器，能夠直接連接微處理器總線接口，該芯片內(nèi)部具備10 V基準(zhǔn)電壓源、采樣保持器（SHA）、時(shí)鐘源等性能，采樣分辨率和采樣頻率分別為14 bit和110 kHz，包含兩種操作模式，分別為單一操作模式和全控制操作模式，支持四種單、雙級電壓輸入。在設(shè)計(jì)本文系統(tǒng)時(shí)，采用的操作模式為單一操作模式，輸入電壓選擇單級電壓[12?13]。

1.2.2? FLASH數(shù)據(jù)存儲模塊

系統(tǒng)中FLASH數(shù)據(jù)存儲模塊包含兩部分芯片，分別是NAND512W3A與XC3S1600E，由意法半導(dǎo)體公司和XILINX公司提供。A/D數(shù)據(jù)采集模塊采集網(wǎng)絡(luò)數(shù)據(jù)后傳遞至FPGA網(wǎng)絡(luò)數(shù)據(jù)接收模塊，再由FLASH數(shù)據(jù)存儲模塊存儲，F(xiàn)LASH模塊與返回的信號和片選信號實(shí)現(xiàn)模塊控制。外圍設(shè)備采集的數(shù)據(jù)與FLASH操作地址分別存儲在數(shù)據(jù)存儲空間和地址存儲空間。FLASH數(shù)據(jù)存儲模塊結(jié)構(gòu)圖見圖3。

FLASH數(shù)據(jù)存儲模塊與FPGA網(wǎng)絡(luò)數(shù)據(jù)接收模塊相連部分包含：狀態(tài)信號線、I/O接口、鎖存信號線。其中狀態(tài)信號線包含狀態(tài)位信號（[CF]）與片選信號（[DK]）;鎖存信號線包含讀使能（[UK]）、寫使能（[CK]）、指令鎖存（[PQK]）和地址鎖存（[SQK]）。狀態(tài)位信號的高電平和低電平分別表示FLASH的忙碌和空閑。

FLASH數(shù)據(jù)存儲模塊與FPGA網(wǎng)絡(luò)數(shù)據(jù)接收模塊之間信息傳遞通過I/O接口實(shí)現(xiàn)，[SQK]表示地址鎖存，[PQK]表示指令鎖存，這兩個(gè)鎖存狀態(tài)對通信內(nèi)容實(shí)現(xiàn)判斷。[SQK]高電平狀態(tài)下地址信息為其傳輸內(nèi)容，[PQK]高電平狀態(tài)下表示指令信息為其傳輸內(nèi)容，[SQK]和[PQK]均為低電平狀態(tài)下，數(shù)據(jù)為其通信內(nèi)容。低電平狀態(tài)下片選信號有效，狀態(tài)位信號在高、低電平狀態(tài)下分別顯示就緒（Ready）和忙碌（Busy）[14?15]。A/D數(shù)據(jù)采集模塊采集數(shù)據(jù)傳遞至FPGA網(wǎng)絡(luò)數(shù)據(jù)接收模塊，F(xiàn)PGA網(wǎng)絡(luò)數(shù)據(jù)接收模塊將數(shù)據(jù)傳遞至FLASH數(shù)據(jù)存儲模塊存儲。FLASH數(shù)據(jù)存儲模塊包含讀取、擦除、編程等操作，其內(nèi)部結(jié)構(gòu)中的硬件決定擦除操作將塊（Block）作為操作單位，讀取和編程操作以頁（Page）作為操作單位。FLASH數(shù)據(jù)存儲模塊實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的存儲，前提是保證網(wǎng)絡(luò)數(shù)據(jù)的完整性和可靠性。

1.3? 網(wǎng)絡(luò)數(shù)據(jù)存儲優(yōu)化

為了使本文設(shè)計(jì)的系統(tǒng)均衡性得到提高，網(wǎng)絡(luò)數(shù)據(jù)存儲優(yōu)化，需將A/D數(shù)據(jù)采集模塊采集到的網(wǎng)絡(luò)數(shù)據(jù)中冗余部分施以特征壓縮處理，再通過FLASH網(wǎng)絡(luò)數(shù)據(jù)存儲模塊實(shí)現(xiàn)數(shù)據(jù)存儲。詳細(xì)的存儲優(yōu)化過程如下：

本文設(shè)計(jì)系統(tǒng)時(shí)，以負(fù)載均衡控制為基礎(chǔ)，以大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)為對象，設(shè)計(jì)超高密度信息存儲模型作為系統(tǒng)的軟件。在大規(guī)模網(wǎng)絡(luò)環(huán)境中，假設(shè)云存儲空間里，大規(guī)模數(shù)據(jù)負(fù)載均衡響應(yīng)函數(shù)[g]以式（1）表示：

[g（n）=ixi（n）expη（n-iNs）] （1）

式中：[n]和[xi]分別表示數(shù)據(jù)采集時(shí)間和大規(guī)模網(wǎng)絡(luò)環(huán)境中超高密度數(shù)據(jù)存儲發(fā)散幅值;[η]和[Ns]分別表示負(fù)載均衡控制響應(yīng)函數(shù)和數(shù)量龐大的數(shù)據(jù)分布存儲帶寬。按照數(shù)據(jù)所具備的時(shí)間散布特性可以得到式（2），即大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)多普勒頻率散布輸出。

[db=d0uccos ψ] （2）

式中：[d0]為冗余數(shù)據(jù)的特征壓縮維數(shù)表示;[u]和[c]是多普勒參數(shù)。使用頻率標(biāo)準(zhǔn)差[O]表示特征壓縮代價(jià)系數(shù)，如下：

[O2=4πFa-∞+∞（ν-νm）2A（ν）2] （3）

式中：[ν]，[Fa]和[A（ν）]分別表示信息傳遞函數(shù)、大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)初始能量幅值和大規(guī)模網(wǎng)絡(luò)環(huán)境中超高密度數(shù)據(jù)存儲節(jié)點(diǎn)的負(fù)載。經(jīng)控制負(fù)載均衡得到式（4），即壓縮處理后大規(guī)模網(wǎng)絡(luò)冗余數(shù)據(jù)特征所輸出的特征子集。

[Q=q1，q2，…，qm，? m∈Y] （4）

式中，[Y]和[m]分別表示數(shù)據(jù)采樣個(gè)數(shù)和隨機(jī)概率分布維數(shù)。耦合控制大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)，數(shù)據(jù)存儲自適應(yīng)校驗(yàn)時(shí)使用多源近程節(jié)點(diǎn)管理方法，得出：

[τy（tε0）=-∞+∞f（n）tε0*（n）tn] （5）

式中，大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)存儲器中校驗(yàn)塊存儲節(jié)點(diǎn)管理模型以[f（n）]表示。該模型中包含負(fù)載均衡輸出參量[m]個(gè)，輸入負(fù)載均衡的控制參量[y]個(gè)，假設(shè)[a（n）]作為數(shù)據(jù)信息量，校驗(yàn)波束校驗(yàn)和特征約束時(shí)使用子集校驗(yàn)。由此得到式（6），即超高密度數(shù)據(jù)存儲分布空間結(jié)構(gòu)模型：[Uδd（x，o）=d，δx，o? ? ? ? ? ? ? ? ? ?=-∞+∞d（n）1xδ×n-oxtn] （6）

式中，冗余數(shù)據(jù)分布族表示為[δx，o]。使用[δ（n）]平滑處理數(shù)據(jù)，通過尺度伸縮保證存儲冗余得到降低，使用式（7）定義大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)四階累積量切片：

[b4a（?1，?2，?3）=1Yi=1Ya（i）a（i+?1）a（i+?2）·? ? ? ? ? ? ? ? ? a（i+?3）-b2a（?1）·b2a（?2-?3）-? ? ? ? ? ?b2a（?2）b2a（?3-?1）-b2a（?2）b2a（?1-?2）]

（7）

式中，[b2a（?）=1Yi=1Ya（i）a（i+?）]，對處于云存儲內(nèi)存儲節(jié)點(diǎn)的分布空間加以分析，獲得對角切片，該對角切片屬于存儲節(jié)點(diǎn)局部交叉項(xiàng)[b4a（?1，?2，?3）]。在網(wǎng)絡(luò)數(shù)據(jù)集合空間[G]范圍內(nèi)，分割網(wǎng)絡(luò)數(shù)據(jù)存儲特征，優(yōu)化網(wǎng)絡(luò)數(shù)據(jù)存儲，經(jīng)循環(huán)分段計(jì)算實(shí)現(xiàn)特征壓縮，將分布式緩存空間作為傳輸范圍，在所有儲存節(jié)點(diǎn)中展開數(shù)據(jù)傳輸，實(shí)現(xiàn)大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)存儲優(yōu)化。

2? 大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)存儲系統(tǒng)的實(shí)現(xiàn)

為驗(yàn)證本文系統(tǒng)性能，以河北省石家莊市某高校數(shù)字化圖書館為實(shí)驗(yàn)對象，驗(yàn)證本文系統(tǒng)性能。采用Windows 10服務(wù)器，物理磁盤驅(qū)動器：UDMA4，PENTIUM41G處理器，2 GB NEICUNning，200 Mb/s以太網(wǎng)。

網(wǎng)絡(luò)數(shù)據(jù)存儲速度是驗(yàn)證系統(tǒng)的重要指標(biāo)，分析實(shí)驗(yàn)對象在本文系統(tǒng)與分布式網(wǎng)絡(luò)數(shù)據(jù)存儲系統(tǒng)、地海雜波數(shù)據(jù)存儲系統(tǒng)內(nèi)不同使用人數(shù)情況下大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)存儲速度，結(jié)果見表1。

通過表1可以看出，本文系統(tǒng)大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)存儲速度始終保持在900 KB/s以上，隨著系統(tǒng)使用人數(shù)的增加，大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)存儲速度只有微小波動，并沒有發(fā)生明顯變化，說明本文系統(tǒng)較穩(wěn)定，數(shù)據(jù)存儲情況良好，即使使用人數(shù)增加，也能保持良好的穩(wěn)定情況，存儲效率高。分布式網(wǎng)絡(luò)數(shù)據(jù)存儲系統(tǒng)在使用人數(shù)為50人時(shí)，大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)存儲速度低于本文系統(tǒng)，且隨著使用人數(shù)的不斷增加，該系統(tǒng)的大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)存儲速度不斷下降，說明該系統(tǒng)不能承受使用人數(shù)過多的情況，存儲效率低。地海雜波數(shù)據(jù)存儲系統(tǒng)在使用人數(shù)為50人時(shí)，大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)存儲速度低于本文系統(tǒng)和分布式網(wǎng)絡(luò)數(shù)據(jù)存儲系統(tǒng)，隨著使用人數(shù)的增加，存儲速度下降不斷增高，當(dāng)系統(tǒng)人數(shù)增加至500人時(shí)，數(shù)據(jù)存儲速度下降至598.46 KB/s，與本文系統(tǒng)相比，數(shù)據(jù)存儲速度緩慢，說明該系統(tǒng)分布式網(wǎng)絡(luò)數(shù)據(jù)存儲系統(tǒng)效率較差。

在實(shí)驗(yàn)對象實(shí)際使用時(shí)，系統(tǒng)響應(yīng)時(shí)間是檢驗(yàn)使用者滿意度的一個(gè)重要指標(biāo)，對比本文方法與分布式網(wǎng)絡(luò)數(shù)據(jù)存儲系統(tǒng)、地海雜波數(shù)據(jù)存儲系統(tǒng)響應(yīng)時(shí)間，結(jié)果見圖4。

由圖4可以看出，本文系統(tǒng)響應(yīng)時(shí)間始終保持在3 s以內(nèi)，隨著系統(tǒng)使用人數(shù)的增加，響應(yīng)時(shí)間趨勢始終保持在平穩(wěn)的范圍內(nèi)，說明本文系統(tǒng)性能良好，即使面對使用人數(shù)龐大的情況，依然能夠保持穩(wěn)定的響應(yīng)時(shí)間。分布式網(wǎng)絡(luò)數(shù)據(jù)存儲系統(tǒng)和地海雜波數(shù)據(jù)存儲系統(tǒng)隨著系統(tǒng)使用人數(shù)增加，響應(yīng)時(shí)間不斷上升，在使用人數(shù)達(dá)到50人時(shí)響應(yīng)時(shí)間已經(jīng)超過3 s，但是分布式網(wǎng)絡(luò)數(shù)據(jù)存儲系統(tǒng)響應(yīng)時(shí)間始終保持在5 s以下，符合響應(yīng)時(shí)間的允許范圍內(nèi)。地海雜波數(shù)據(jù)存儲系統(tǒng)在使用人數(shù)達(dá)到300人時(shí)，響應(yīng)速度已經(jīng)超出了5 s的范圍內(nèi)，且隨著使用人數(shù)的增加，響應(yīng)時(shí)間依舊不斷上升，說明該系統(tǒng)性能不穩(wěn)定，如果使用人數(shù)繼續(xù)增加，系統(tǒng)將面臨崩潰的情況。

對比本文系統(tǒng)與分布式網(wǎng)絡(luò)數(shù)據(jù)存儲系統(tǒng)、地海雜波數(shù)據(jù)存儲系統(tǒng)在大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)表?xiàng)l件下插入性能，通常情況下，大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)單條記錄比較大，故本文展開測試時(shí)修改記錄條數(shù)，根據(jù)記錄條數(shù)不同，觀察時(shí)間變化情況，對比結(jié)果見圖5。

由圖5可以看出，實(shí)驗(yàn)對象在大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)表?xiàng)l件下展開插入操作后，本文系統(tǒng)和另外兩種系統(tǒng)的時(shí)間趨勢呈現(xiàn)上升狀態(tài)，但是本文系統(tǒng)時(shí)間略低于另外兩種系統(tǒng)，說明本文系統(tǒng)設(shè)計(jì)合理性能優(yōu)異。

標(biāo)準(zhǔn)差用于描述網(wǎng)絡(luò)數(shù)據(jù)同平均數(shù)間差異的均數(shù)，可描述大型網(wǎng)絡(luò)數(shù)據(jù)集的離散程度，該值大小同網(wǎng)絡(luò)數(shù)據(jù)節(jié)點(diǎn)間的負(fù)載均衡程度具有反比例關(guān)系。通過實(shí)驗(yàn)分析本文與另外兩種系統(tǒng)存儲空間標(biāo)準(zhǔn)差，對比結(jié)果見圖6。

通過圖6可以看出，在網(wǎng)絡(luò)數(shù)據(jù)量相同的情況下，隨著網(wǎng)絡(luò)數(shù)據(jù)量的增加，存儲空間標(biāo)準(zhǔn)差呈現(xiàn)上升趨勢，但是本文系統(tǒng)存儲空間標(biāo)準(zhǔn)差較穩(wěn)定，總體波動不大，在大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)存儲時(shí)，實(shí)現(xiàn)了負(fù)載均衡存儲。分布式網(wǎng)絡(luò)數(shù)據(jù)存儲系統(tǒng)和地海雜波數(shù)據(jù)存儲系統(tǒng)隨著網(wǎng)絡(luò)數(shù)據(jù)量的增加，存儲空間標(biāo)準(zhǔn)差增加較大，出現(xiàn)明顯波動，在存儲網(wǎng)絡(luò)數(shù)據(jù)時(shí)不能達(dá)到負(fù)載均衡的效果，說明性能較差。

3? 結(jié)? 語

本文設(shè)計(jì)了大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)存儲系統(tǒng)，通過A/D網(wǎng)絡(luò)數(shù)據(jù)采集模塊、FPGA網(wǎng)絡(luò)數(shù)據(jù)接收模塊、FLASH網(wǎng)絡(luò)數(shù)據(jù)存儲模塊相互協(xié)作，并使用超高密度數(shù)據(jù)存儲分布空間結(jié)構(gòu)模型優(yōu)化網(wǎng)絡(luò)數(shù)據(jù)存儲。該系統(tǒng)具備存儲數(shù)據(jù)速度和響應(yīng)速度快等特點(diǎn)，插入性能較高，存儲空間標(biāo)準(zhǔn)差低，在同類系統(tǒng)中具有優(yōu)勢。

在本文系統(tǒng)中，未考慮時(shí)下最常用的大數(shù)據(jù)與云計(jì)算技術(shù)，在今后的研究中可以將這些技術(shù)加以考慮，以此為研究方向，添加云計(jì)算技術(shù)，提升數(shù)據(jù)存儲速度;同時(shí)還需要注重系統(tǒng)使用者信息的私密性，在數(shù)據(jù)采集和傳輸過程中，展開加密處理，對用戶數(shù)據(jù)安全實(shí)行保護(hù)。

注：本文通訊作者為王妞。

參考文獻(xiàn)

[1] 杜文略，李紅薇，高越，等.水下試驗(yàn)圖像數(shù)據(jù)采集存儲系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].電子器件，2019，42（3）：733?739.

[2] 譚喜堂，劉榕雄，朱琴躍，等.動車組機(jī)械師實(shí)訓(xùn)系統(tǒng)通信控制網(wǎng)絡(luò)的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用，2017，37（z2）：11?14.

[3] 郭會云，房俊，李冬，等.基于負(fù)載均衡的多源流數(shù)據(jù)實(shí)時(shí)存儲系統(tǒng)[J].計(jì)算機(jī)工程與科學(xué)，2017，39（4）：641?647.

[4] 宿殿鵬，陽凡林，馮成凱，等.船載多傳感器一體化測量數(shù)據(jù)實(shí)時(shí)存儲方法研究[J].大地測量與地球動力學(xué)，2018，38（6）：591?597.

[5] 馬濤，岳敏，袁超，等.基于MongoDB的HIAF Archive Engine設(shè)計(jì)與實(shí)現(xiàn)[J].原子能科學(xué)技術(shù)，2019，53（9）：1724?1728.

[6] 童一飛，王紅亮.低功耗IEPE傳感器數(shù)據(jù)采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].信息與能源，2019，56（5）：101?104.

[7] 呂衛(wèi)，王粟瑤.三維成像激光雷達(dá)高帶寬數(shù)據(jù)采集與存儲系統(tǒng)[J].激光與光電子學(xué)進(jìn)展，2019，56（10）：259?268.

[8] 季一木，張寧，堯海昌，等.HOS：一種基于HBase的分布式存儲系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].南京郵電大學(xué)學(xué)報(bào)（自然科學(xué)版），2019，39（5）：63?71.

[9] 曾潔，詹明，羅小紅，等.一種低存儲容量Turbo碼譯碼器結(jié)構(gòu)設(shè)計(jì)及FPGA實(shí)現(xiàn)[J].電子技術(shù)應(yīng)用，2019，45（7）：72?76.

[10] 張浙東，田霞，夏曉云，等.基于集群架構(gòu)的地海雜波數(shù)據(jù)存儲系統(tǒng)[J].現(xiàn)代雷達(dá)，2019，41（5）：52?57.

[11] 鐘鳳艷，王艷，李念爽，等.異構(gòu)環(huán)境下糾刪碼的數(shù)據(jù)修復(fù)方法綜述[J].計(jì)算機(jī)應(yīng)用研究，2019，36（8）：2241?2249.

[12] 冉曉斌，劉躍文，姜錦虎，等.社交網(wǎng)絡(luò)活躍行為的大數(shù)據(jù)分析：網(wǎng)絡(luò)外部性的視角[J].管理科學(xué)，2017，30（5）：77?86.

[13] 陳宇翔，郝堯，趙越，等.面向制造大數(shù)據(jù)的安全存儲交換技術(shù)[J].電子技術(shù)應(yīng)用，2019，45（12）：38?41.

[14] 徐毅，王建民，黃向東，等.一種基于最大流的分布式存儲系統(tǒng)中查詢?nèi)蝿?wù)最優(yōu)分配算法[J].計(jì)算機(jī)學(xué)報(bào)，2019，42（8）：1858?1872.

[15] 萬迪凱，豐大軍.神經(jīng)網(wǎng)絡(luò)關(guān)聯(lián)存儲器的設(shè)計(jì)及應(yīng)用[J].電子技術(shù)應(yīng)用，2019，45（11）：10?12.