工業(yè)現(xiàn)場(chǎng)傳感器實(shí)時(shí)數(shù)據(jù)存儲(chǔ)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

劉冠群，馬 萍, 張汝波

(大連民族大學(xué) a.機(jī)電工程學(xué)院；b.智能感知與先進(jìn)控制國(guó)家民委重點(diǎn)實(shí)驗(yàn)室，遼寧 大連 116605)

工業(yè)現(xiàn)場(chǎng)傳感器實(shí)時(shí)數(shù)據(jù)存儲(chǔ)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

劉冠群a,b，馬 萍a, 張汝波a,b

(大連民族大學(xué) a.機(jī)電工程學(xué)院；b.智能感知與先進(jìn)控制國(guó)家民委重點(diǎn)實(shí)驗(yàn)室，遼寧 大連 116605)

針對(duì)工業(yè)現(xiàn)場(chǎng)中大量的傳感器以連續(xù)高并發(fā)的方式所產(chǎn)生的海量實(shí)時(shí)數(shù)據(jù)難以高效可靠存儲(chǔ)的問(wèn)題，設(shè)計(jì)了基于 Hadoop 與 HBase 的工業(yè)現(xiàn)場(chǎng)傳感器實(shí)時(shí)數(shù)據(jù)存儲(chǔ)系統(tǒng)，并利用5臺(tái)服務(wù)器和1個(gè)磁盤(pán)陣列構(gòu)建了數(shù)據(jù)存儲(chǔ)系統(tǒng)原型，最后通過(guò)仿真程序模擬工業(yè)現(xiàn)場(chǎng)傳感器實(shí)時(shí)數(shù)據(jù)的高并發(fā)特性，對(duì)所提出的數(shù)據(jù)存儲(chǔ)系統(tǒng)性能進(jìn)行了驗(yàn)證。實(shí)驗(yàn)表明，所提出的工業(yè)現(xiàn)場(chǎng)傳感器實(shí)時(shí)數(shù)據(jù)存儲(chǔ)系統(tǒng)數(shù)據(jù)存儲(chǔ)可靠、運(yùn)行穩(wěn)定、并發(fā)處理能力強(qiáng)。

數(shù)據(jù)存儲(chǔ)；傳感器；工業(yè)現(xiàn)場(chǎng)；HBase；Hadoop

Abstract:For the problem to store mass real-time data efficiently and reliably which are produced continuously and concurrently by a large number of sensors in the industrial field, a data storage system based on Hadoop and HBase for industrial field sensor real-time data is designed. The data storage system prototype is constructed with 5 servers and 1 disk array. Finally, the performance of the proposed data storage system is verified with the simulation program which simulates the high concurrency of the real-time data of industrial field sensors. The experimental results show that the real-time data storage system of the industrial field sensor in this paper is reliable in data storage, stable in operation and has a high concurrent processing capability.

Keywords:data storage; sensor; industrial field; HBase; Hadoop

隨著“中國(guó)制造2025”的提出，智慧工廠概念的加強(qiáng)和物聯(lián)網(wǎng)技術(shù)的使用，使得工業(yè)現(xiàn)場(chǎng)中傳感器的種類和數(shù)量日益增多。數(shù)據(jù)對(duì)于智能化生產(chǎn)的作用愈顯重要，數(shù)量龐大的傳感器每時(shí)每刻都在產(chǎn)生大量的數(shù)據(jù)。傳統(tǒng)的實(shí)時(shí)數(shù)據(jù)庫(kù)在處理高時(shí)效數(shù)據(jù)方面存在較強(qiáng)的優(yōu)勢(shì)，但是隨著大數(shù)據(jù)技術(shù)的應(yīng)用，暴露出實(shí)時(shí)數(shù)據(jù)庫(kù)在處理大規(guī)模傳感數(shù)據(jù)方面存在存儲(chǔ)量低、不便于擴(kuò)展的缺點(diǎn)[1]，人們開(kāi)始尋找新的技術(shù)途徑以解決工業(yè)現(xiàn)場(chǎng)傳感器實(shí)時(shí)數(shù)據(jù)存儲(chǔ)所遇到的問(wèn)題。

HBase在處理海量數(shù)據(jù)方面具有很多優(yōu)點(diǎn)，如高讀寫(xiě)性能、高擴(kuò)展性、高可靠性和高存儲(chǔ)性等[2], 是架設(shè)在分布式文件系統(tǒng)HDFS(Hadoop Distributed File System)之上的開(kāi)源數(shù)據(jù)庫(kù)，而Hadoop具有底層細(xì)節(jié)透明、易于擴(kuò)容和硬件要求低等特點(diǎn)，因此得到了廣泛的應(yīng)用[3]。人們?cè)诶肏Base處理工業(yè)傳感器數(shù)據(jù)方面做了較多的研究。文獻(xiàn)[4]為解決大規(guī)模無(wú)線傳感器網(wǎng)絡(luò)數(shù)據(jù)的存儲(chǔ)問(wèn)題，使用HBase實(shí)現(xiàn)了一個(gè)近實(shí)時(shí)的存儲(chǔ)系統(tǒng)。文獻(xiàn)[5]針對(duì)交通流數(shù)據(jù)具有多來(lái)源、高速率和體量大的特點(diǎn)，設(shè)計(jì)并實(shí)現(xiàn)了一套基于HBase的交通流數(shù)據(jù)實(shí)時(shí)存儲(chǔ)系統(tǒng)。文獻(xiàn)[4-5]表明HBase可對(duì)實(shí)時(shí)數(shù)據(jù)進(jìn)行有效存儲(chǔ)。文獻(xiàn)[1]將實(shí)時(shí)數(shù)據(jù)庫(kù)與HBase相結(jié)合，設(shè)計(jì)并實(shí)現(xiàn)了基于融合數(shù)據(jù)庫(kù)的海量傳感器信息存儲(chǔ)框架，實(shí)驗(yàn)結(jié)果表明HBase具有較高的讀寫(xiě)性能以及良好的擴(kuò)燕尾服性。文獻(xiàn)[6]設(shè)計(jì)了基于Hadoop的海量海洋科學(xué)數(shù)據(jù)存儲(chǔ)平臺(tái)解決方案，并驗(yàn)證了系統(tǒng)的可靠性、易維護(hù)性和良好的可擴(kuò)展性。本文針對(duì)具有高并發(fā)特性的生產(chǎn)現(xiàn)場(chǎng)傳感器數(shù)據(jù)高效可靠性存儲(chǔ)的問(wèn)題，提出以Hadoop和 HBase為基礎(chǔ)搭建分布式實(shí)時(shí)數(shù)據(jù)存儲(chǔ)系統(tǒng)的方法，其中，利用Hadoop實(shí)現(xiàn)文件的分布式存儲(chǔ)，利用HBase作為數(shù)據(jù)庫(kù)實(shí)現(xiàn)對(duì)數(shù)據(jù)的存儲(chǔ)以及查詢操作。

1 工業(yè)現(xiàn)場(chǎng)傳感器實(shí)時(shí)數(shù)據(jù)存儲(chǔ)系統(tǒng)設(shè)計(jì)

工業(yè)現(xiàn)場(chǎng)中各種傳感器產(chǎn)生的大量實(shí)時(shí)數(shù)據(jù)對(duì)企業(yè)具有重要的作用：一方面，可利用實(shí)時(shí)數(shù)據(jù)處理技術(shù)對(duì)這些數(shù)據(jù)進(jìn)行處理，以實(shí)現(xiàn)對(duì)生產(chǎn)過(guò)程的實(shí)時(shí)監(jiān)控和預(yù)警等；另一方面，可對(duì)歷史數(shù)據(jù)進(jìn)行分析，為企業(yè)決策提供支持。

隨著工業(yè)現(xiàn)場(chǎng)所使用的傳感器種類和數(shù)量的增多，可靠存儲(chǔ)和有效使用這些數(shù)據(jù)是智能化生產(chǎn)所關(guān)注的一個(gè)重要問(wèn)題。這類數(shù)據(jù)的主要特點(diǎn)是稀疏的、非結(jié)構(gòu)化的和高并發(fā)的，而且隨時(shí)間的延長(zhǎng)，數(shù)據(jù)量巨大。針對(duì)該類數(shù)據(jù)的可靠、高效存儲(chǔ)問(wèn)題，并兼顧對(duì)大規(guī)模歷史數(shù)據(jù)分析的支持，本文使用的分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)如圖1，用于工業(yè)現(xiàn)場(chǎng)各類傳感器實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)。利用HBase與Hadoop來(lái)實(shí)現(xiàn)大數(shù)據(jù)的存儲(chǔ)具有一個(gè)優(yōu)勢(shì)，即可直接利用Hadoop的MapReduce計(jì)算框架對(duì)所搜集的歷史數(shù)據(jù)進(jìn)行高效地挖掘分析。

圖1 分布式存儲(chǔ)系統(tǒng)結(jié)構(gòu)圖

1.1 支撐層

圖1中的支撐層由HDFS和ZooKeeper兩部分組成。

Hadoop是現(xiàn)今大數(shù)據(jù)項(xiàng)目的事實(shí)標(biāo)準(zhǔn)，它通過(guò)其核心部件HDFS來(lái)實(shí)現(xiàn)分布式存儲(chǔ)任務(wù)。HDFS具有高容錯(cuò)性，可以用低價(jià)的硬件設(shè)備存儲(chǔ)海量數(shù)量集，并且具有很高的數(shù)據(jù)讀寫(xiě)吞吐率[6]。HDFS的體系結(jié)構(gòu)如圖2，采用主/從(Mater/Slave)式體系結(jié)構(gòu)，包括一個(gè)NameNode服務(wù)器和多個(gè)DataNode服務(wù)器。

圖2 HDFS體系結(jié)構(gòu)

NameNode是主控服務(wù)器，管理文件系統(tǒng)元數(shù)據(jù)，執(zhí)行文件系統(tǒng)的命名空間操作，決定數(shù)據(jù)塊到DataNode的映射(Block Map)。DataNode負(fù)責(zé)實(shí)際數(shù)據(jù)的存儲(chǔ)，依據(jù)NameNode的命令，處理客戶端(Client)的讀寫(xiě)請(qǐng)求，執(zhí)行數(shù)據(jù)塊的存儲(chǔ)工作。NameNode使用事務(wù)日志來(lái)記錄元數(shù)據(jù)的變化，使用映像文件存儲(chǔ)文件系統(tǒng)的命名空間。但隨著時(shí)間的推移，事務(wù)日志和映象文件變得龐大。為此，Secondary NameNode用來(lái)輔助NameNode處理事務(wù)日志和映象文件，使得事務(wù)日志大小始終保持在限值之下。

但基于下面的原因，使得HDFS不適合直接存儲(chǔ)傳感器數(shù)據(jù)：(1)HDFS數(shù)據(jù)訪問(wèn)延遲較大，難以應(yīng)對(duì)高并發(fā)的傳感器數(shù)據(jù)；(2)當(dāng)存儲(chǔ)大量小文件(<64 MB)時(shí)，會(huì)因?yàn)槊止?jié)點(diǎn)占用太多內(nèi)存而影響性能，但直接存儲(chǔ)傳感器所需的文件數(shù)量卻是巨大的。利用HBase與傳感器數(shù)據(jù)進(jìn)行直接交互，并通過(guò)HBase 的數(shù)據(jù)持久化機(jī)制將傳感器數(shù)據(jù)保存文件可靠地存儲(chǔ)到HDFS，則可彌補(bǔ)HDFS的劣勢(shì)。

ZooKeeper是HBase關(guān)鍵的協(xié)同服務(wù)組件，它利用HBase集群中各節(jié)點(diǎn)服務(wù)器狀態(tài)信息，對(duì)HBase集群的各節(jié)點(diǎn)進(jìn)行管理。當(dāng)集群中有新的服務(wù)器節(jié)點(diǎn)出現(xiàn)時(shí)，ZooKeeper可以幫助HBase發(fā)現(xiàn)新的可用節(jié)點(diǎn)。當(dāng)HBase中某服務(wù)器崩潰時(shí)，ZooKeeper可幫助系統(tǒng)恢復(fù)到服務(wù)器崩潰前的狀態(tài)。

1.2 服務(wù)層

對(duì)于稀疏的、非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)，關(guān)系型數(shù)據(jù)庫(kù)受其存儲(chǔ)結(jié)構(gòu)的限制，性能受限。而HBase是面向列的非關(guān)系型數(shù)據(jù)庫(kù)，在存儲(chǔ)異構(gòu)類型數(shù)據(jù)方面具有較大的優(yōu)勢(shì)。HBase作為一款免費(fèi)開(kāi)源的分布式數(shù)據(jù)庫(kù)，具有很強(qiáng)的一致性和近似最優(yōu)的讀寫(xiě)性能，可以充分利用磁盤(pán)空間。HBase與Hadoop進(jìn)行集成，可實(shí)現(xiàn)對(duì)傳感器數(shù)據(jù)的可靠高效存儲(chǔ)。

HBase也采用主/從式體系結(jié)構(gòu)。HBase集群主要包括一個(gè)Master主節(jié)點(diǎn)和多個(gè)RegionServer工作節(jié)點(diǎn)。Master與ZooKeeper的緊密合作，負(fù)責(zé)協(xié)調(diào)管理RegionServer工作節(jié)點(diǎn)，對(duì)其進(jìn)行區(qū)域分配、負(fù)載均衡和運(yùn)行情況監(jiān)控等。RegionServer通過(guò)Master所提供的信息處理用戶的讀寫(xiě)操作，并向Master反饋?zhàn)陨磉\(yùn)行狀態(tài)等。用戶可以利用HBase所提供的API進(jìn)行數(shù)據(jù)存儲(chǔ)和獲取集群狀態(tài)信息等。

1.3 應(yīng)用層

應(yīng)用層是用戶根據(jù)項(xiàng)目要求，通過(guò)調(diào)用HDFS以及HBase所提供的API所實(shí)現(xiàn)的各類應(yīng)用程序。HDFS 和HBase提供了多種類型語(yǔ)言接口，其中Java API是最常規(guī)高效的方式。

2 工業(yè)現(xiàn)場(chǎng)傳感器實(shí)時(shí)數(shù)據(jù)存儲(chǔ)系統(tǒng)實(shí)現(xiàn)

本文基于實(shí)驗(yàn)室現(xiàn)有設(shè)備搭建了一個(gè)系統(tǒng)原型驗(yàn)證存儲(chǔ)系統(tǒng)的性能。系統(tǒng)原型硬件配置環(huán)境見(jiàn)表1，共有 5臺(tái)服務(wù)器(分為1個(gè)主節(jié)點(diǎn)和4個(gè)工作節(jié)點(diǎn))與1個(gè)磁盤(pán)陣列，根據(jù)HDFS與HBase的結(jié)構(gòu)特點(diǎn)對(duì)該設(shè)備進(jìn)行了角色分配。將其中具有較大內(nèi)存的服務(wù)器作為主節(jié)點(diǎn)，在主節(jié)點(diǎn)服務(wù)器上部署 HDFS NameNode、HBase Master和ZooKeeper, 主節(jié)點(diǎn)完成相當(dāng)于管理層的工作。4臺(tái)工作節(jié)點(diǎn)服務(wù)器配置相同，并行部署HDFS DataNode和HBase RegionServer，完成傳感器數(shù)據(jù)的分布式存儲(chǔ)工作。工作節(jié)點(diǎn)服務(wù)器需要大量的存儲(chǔ)空間用于數(shù)據(jù)存儲(chǔ)，為擴(kuò)展其存儲(chǔ)空間，將磁盤(pán)陣列的12塊磁盤(pán)(每塊磁盤(pán)的容量為2 TB)平均分配給4臺(tái)工作節(jié)點(diǎn)服務(wù)器，每個(gè)工作節(jié)點(diǎn)具有6 TB的存儲(chǔ)空間。

表1 硬件配置環(huán)境

該系統(tǒng)原型的整體系統(tǒng)架構(gòu)如圖3，圖中的設(shè)備與表1的設(shè)備一致。整個(gè)集群處于一個(gè)局域網(wǎng)中，設(shè)備之間通過(guò)以太網(wǎng)線連接通信，磁盤(pán)陣列通過(guò)iSCSI協(xié)議掛載到各工作節(jié)點(diǎn)服務(wù)器?？蛻舳送ㄟ^(guò)互聯(lián)網(wǎng)與該集群進(jìn)行通信。

圖3 系統(tǒng)整體框架圖

為保障集群中各軟件系統(tǒng)之間交互的一致性，本分布式存儲(chǔ)系統(tǒng)所用Hadoop組件均為CDH5.7版本。服務(wù)器操作系統(tǒng)為CentOS 7。JDK的版本由Hadoop版本決定。本系統(tǒng)所用Hadoop組件版本以及服務(wù)器操作系統(tǒng)版本見(jiàn)表2。

表2 系統(tǒng)軟件版本列表

3 仿真測(cè)試

3.1 實(shí)驗(yàn)場(chǎng)景設(shè)置

為驗(yàn)證所構(gòu)建的分布式存儲(chǔ)系統(tǒng)在存儲(chǔ)可靠性、運(yùn)行穩(wěn)定性、存儲(chǔ)均衡性和并發(fā)處理能力等方面的表現(xiàn)，本文不同實(shí)驗(yàn)場(chǎng)景的設(shè)定見(jiàn)表3。在每個(gè)場(chǎng)景中，令每個(gè)傳感器節(jié)點(diǎn)每秒產(chǎn)生100個(gè)數(shù)據(jù)，以體現(xiàn)傳感器所產(chǎn)生數(shù)據(jù)的高頻特性。從場(chǎng)景一到場(chǎng)景三，通過(guò)傳感器數(shù)量的逐步增多來(lái)增加數(shù)據(jù)的并發(fā)性，驗(yàn)證存儲(chǔ)系統(tǒng)的并發(fā)處理能力。每個(gè)場(chǎng)景分為三個(gè)實(shí)驗(yàn)階段，每個(gè)階段的實(shí)驗(yàn)時(shí)長(zhǎng)不斷加長(zhǎng)，分別為24 h、48 h和168 h，以驗(yàn)證存儲(chǔ)系統(tǒng)長(zhǎng)時(shí)間運(yùn)行的穩(wěn)定性。在每次寫(xiě)入傳感器數(shù)據(jù)后，將寫(xiě)入數(shù)據(jù)再次從存儲(chǔ)系統(tǒng)中取回，以驗(yàn)證存儲(chǔ)系統(tǒng)數(shù)據(jù)存儲(chǔ)的可靠性，同時(shí)驗(yàn)證系統(tǒng)的并發(fā)處理能力。最后通過(guò)分析存儲(chǔ)系統(tǒng)中每個(gè)數(shù)據(jù)節(jié)點(diǎn)的存儲(chǔ)量，以驗(yàn)證分布式存儲(chǔ)系統(tǒng)在每個(gè)數(shù)據(jù)節(jié)點(diǎn)上進(jìn)行數(shù)據(jù)存儲(chǔ)的均衡性。

表3 實(shí)驗(yàn)仿真多場(chǎng)景列表

3.2 仿真測(cè)試系統(tǒng)

本文構(gòu)建的仿真測(cè)試系統(tǒng)如圖4，仿真測(cè)試程序由Java語(yǔ)言編寫(xiě)，主要功能是模擬傳感器數(shù)據(jù)的生成、實(shí)現(xiàn)數(shù)據(jù)庫(kù)的訪問(wèn)等。仿真測(cè)試程序根據(jù)實(shí)驗(yàn)場(chǎng)景的設(shè)定，為每個(gè)傳感器創(chuàng)建一個(gè)Java線程進(jìn)行模擬。傳感器線程被創(chuàng)建后，通過(guò)調(diào)用HBase相關(guān)Java API為該傳感器創(chuàng)建一張數(shù)據(jù)存儲(chǔ)表，傳感器所產(chǎn)生的數(shù)據(jù)信息將存儲(chǔ)在此表中。每個(gè)傳感器線程通過(guò)設(shè)置定時(shí)器，每秒產(chǎn)生100個(gè)單精度浮點(diǎn)數(shù)據(jù)，并為每個(gè)數(shù)據(jù)加上產(chǎn)生時(shí)間等其他數(shù)據(jù)描述信息，構(gòu)成一個(gè)數(shù)據(jù)記錄，并調(diào)用 HBase API將數(shù)據(jù)記錄寫(xiě)入對(duì)應(yīng)的數(shù)據(jù)表中，然后再將寫(xiě)入的數(shù)據(jù)從數(shù)據(jù)庫(kù)中取出，以驗(yàn)證寫(xiě)入數(shù)據(jù)的完整性。仿真程序以一定的概率隨機(jī)結(jié)束某個(gè)傳感器線程，并重新創(chuàng)建一個(gè)傳感器線程，以模擬工業(yè)現(xiàn)場(chǎng)中傳感器數(shù)據(jù)的突發(fā)性和隨機(jī)性。

圖4 仿真測(cè)試系統(tǒng)結(jié)構(gòu)圖(線程2)

3.3 實(shí)驗(yàn)結(jié)果分析

經(jīng)過(guò)測(cè)試，與每個(gè)實(shí)驗(yàn)場(chǎng)景中不同實(shí)驗(yàn)時(shí)長(zhǎng)對(duì)應(yīng)的數(shù)據(jù)節(jié)點(diǎn)存活量見(jiàn)表4。在場(chǎng)景一的24h實(shí)驗(yàn)設(shè)置中，HBase數(shù)據(jù)節(jié)點(diǎn)存活數(shù)量為3個(gè)，說(shuō)明有一個(gè)數(shù)據(jù)節(jié)點(diǎn)已經(jīng)掉線，經(jīng)過(guò)查看日志，分析掉線原因?yàn)樵摴?jié)點(diǎn)所在服務(wù)器的系統(tǒng)時(shí)間與整個(gè)集群的時(shí)間相差較大，導(dǎo)致該節(jié)點(diǎn)與集群溝通不順暢。對(duì)該節(jié)點(diǎn)所在服務(wù)器的時(shí)間進(jìn)行調(diào)整后，隨后的實(shí)驗(yàn)中沒(méi)有發(fā)生類似情況，HBase節(jié)點(diǎn)和HDFS節(jié)點(diǎn)都完全存活，說(shuō)明HBase集群對(duì)時(shí)間一致性問(wèn)題較為敏感。在大量傳感器實(shí)時(shí)并發(fā)產(chǎn)生數(shù)據(jù)的條件下，存儲(chǔ)系統(tǒng)能在較長(zhǎng)的實(shí)驗(yàn)周期中正常運(yùn)行，表示分布式集群的穩(wěn)定性較強(qiáng)。

表4 多場(chǎng)景仿真測(cè)試存儲(chǔ)數(shù)據(jù)節(jié)點(diǎn)統(tǒng)計(jì)

實(shí)驗(yàn)中，HDFS的replication因子設(shè)置為3，NameNode節(jié)點(diǎn)根據(jù)相關(guān)信息選取數(shù)據(jù)節(jié)點(diǎn)進(jìn)行數(shù)據(jù)存儲(chǔ)。每個(gè)數(shù)據(jù)節(jié)點(diǎn)存儲(chǔ)數(shù)據(jù)量見(jiàn)表5，從表中的數(shù)據(jù)可知，每個(gè)數(shù)據(jù)節(jié)點(diǎn)的數(shù)據(jù)存儲(chǔ)量大致是均衡的。如果數(shù)據(jù)存儲(chǔ)不夠均衡，可運(yùn)行HDFS的balancer程序來(lái)進(jìn)行均衡。

表5 HDFS 工作節(jié)點(diǎn)存儲(chǔ)量統(tǒng)計(jì) G

實(shí)驗(yàn)表明，本文所構(gòu)建的分布式存儲(chǔ)系數(shù)能夠?qū)I(yè)現(xiàn)場(chǎng)傳感器產(chǎn)生的高并發(fā)性實(shí)時(shí)數(shù)據(jù)進(jìn)行有效、可靠存儲(chǔ)。

4 結(jié) 論

生產(chǎn)智能化程度的提高和大數(shù)據(jù)技術(shù)的應(yīng)用，使得工業(yè)現(xiàn)場(chǎng)各種傳感器數(shù)據(jù)對(duì)于企業(yè)的作用越顯重要。本文針對(duì)傳統(tǒng)工業(yè)數(shù)據(jù)庫(kù)在大規(guī)模傳感器數(shù)據(jù)處理方面具有存儲(chǔ)量低、不便于擴(kuò)展的缺點(diǎn)，研究了工業(yè)現(xiàn)場(chǎng)大量傳感器所產(chǎn)生的連續(xù)并發(fā)海量實(shí)時(shí)數(shù)據(jù)的高效可靠存儲(chǔ)方法，基于Hadoop與HBase構(gòu)建了傳感器實(shí)時(shí)數(shù)據(jù)存儲(chǔ)系統(tǒng)，并通過(guò)仿真實(shí)驗(yàn)對(duì)所構(gòu)建的存儲(chǔ)系統(tǒng)原型進(jìn)行了性能驗(yàn)證。實(shí)驗(yàn)表明，本文所設(shè)計(jì)的存儲(chǔ)系統(tǒng)數(shù)據(jù)存儲(chǔ)可靠、運(yùn)行穩(wěn)定、并行處理能力強(qiáng)、數(shù)據(jù)存儲(chǔ)均衡，對(duì)服務(wù)器硬件配置要求不高，對(duì)于實(shí)際生產(chǎn)具有較大的應(yīng)用價(jià)值。

[1] 類興邦, 房俊. 基于融合數(shù)據(jù)庫(kù)的海量傳感器信息存儲(chǔ)架構(gòu)[J]. 計(jì)算機(jī)科學(xué), 2016, 43(6):68-71.

[2] GEORGE L. HBase: The Definitive Guide[M].O’reilly Media, Inc. 2010.

[3] WHITE T. Hadoop: The Definitive Guide[M].O’reilly Media, Inc. 2012.

[4] 陳慶奎, 周利珍. 基于HBase的大規(guī)模無(wú)線傳感器網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)系統(tǒng)[J]. 計(jì)算機(jī)應(yīng)用, 2012, 32(7):1920-1923.

[5] 陸婷, 房俊, 喬彥克. 基于HBase的交通流數(shù)據(jù)實(shí)時(shí)存儲(chǔ)系統(tǒng)[J]. 計(jì)算機(jī)應(yīng)用,2015, 35(1) : 103 - 107.

[6] 崔杰,李陶深,蘭紅星.基于Hadoop的海量數(shù)據(jù)存儲(chǔ)平臺(tái)設(shè)計(jì)與開(kāi)發(fā)[J]. 計(jì)算機(jī)研究與發(fā)展, 2012, 49(S1): 12-18.

(責(zé)任編輯 趙環(huán)宇)

DesignandImplementationoftheDataStorageSystemforIndustrialFieldSensorReal-timeData

LIUGuan-quna,b,MAPinga,ZHANGRu-boa,b

(a. School of Electromechanical Engineering, b. Key Laboratory of Intelligent Perception and Advanced Control of State Ethnic Affairs Commission, Dalian Minzu University, Dalian Liaoning 116605, China)

張汝波 (1963-)，男，吉林省吉林人，教授，博士，主要從事傳感器與機(jī)器人技術(shù)研究, Email:zhangrubo@dlnu.edu.cn。

TP274

A

2017-05-15；

2017-06-15

遼寧省教育廳科學(xué)研究一般項(xiàng)目 (L2014542)；遼寧省博士科研啟動(dòng)基金 (201501164)；中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金資助項(xiàng)目 (DC201502010404)。

劉冠群 (1980-)，男，湖南衡東人，講師，博士，主要從事傳感器技術(shù)、聲源定位和機(jī)器人技術(shù)研究。

2096-1383(2017)05-0456-05