車輛通行數(shù)據(jù)的分布式存儲系統(tǒng)淺析

郭旭+衛(wèi)彪+江建宇

摘 要 卡口車輛通行數(shù)據(jù)的分布式存儲方法，包括配置計算節(jié)點和數(shù)據(jù)節(jié)點服務器，搭建并行計算集群環(huán)境；按照需要采集的車輛特征建立表結構，在表結構中選取至少兩個特征作為主鍵，由主鍵組成一條卡口數(shù)據(jù)信息；對主鍵和常用查詢字段建立分布式可變索引，再針對車牌號建立分布式檢索索引；接入待存儲的各個卡口的過車信息數(shù)據(jù)源；用戶以包含索引的字段進行查詢，系統(tǒng)在100m/s之內(nèi)返回相應數(shù)據(jù)。滿足日常業(yè)務中卡口系統(tǒng)對海量過車信息數(shù)據(jù)存儲的需求，而且通過對過車信息的數(shù)據(jù)結構的索引數(shù)據(jù)結構設計實現(xiàn)了快速查詢的功能，大大提高了查詢速率，增強了用戶體驗。

關鍵詞 分布式存儲；Hadoop分布式計算框架；海量過車信息

中圖分類號 TP31 文獻標識碼 A 文章編號 1674-6708（2016）166-0074-01

1 系統(tǒng)架構和實現(xiàn)步驟

1.1 系統(tǒng)架構圖

1.2 系統(tǒng)實現(xiàn)步驟

1）配置計算節(jié)點和數(shù)據(jù)節(jié)點服務器，搭建并行計算集群環(huán)境，安裝與集群環(huán)境版本匹配的數(shù)據(jù)訪問中間件。

2）按照需要采集的車輛特征建立表結構，在表結構中選取至少2個特征作為主鍵，由主鍵組成一條卡口數(shù)據(jù)信息。

3）對主鍵和常用查詢字段建立分布式可變索引，再針對車牌號建立分布式檢索索引。

4）接入待存儲的各個卡口的過車信息數(shù)據(jù)源。

2 系統(tǒng)實現(xiàn)功能綜述

2.1 過車數(shù)量統(tǒng)計

卡口車輛通行數(shù)據(jù)的分布式存儲方法，其特征在于：設定定時任務，自動統(tǒng)計前一天各個卡口的過車數(shù)據(jù)總量。

2.2 過車信息格式

卡口車輛通行數(shù)據(jù)的分布式存儲方法，其特征在于：將車牌號、通過時間、卡口編號這3個特征作為主鍵，由車牌號、通過時間和卡口編號共同組成一條能被用戶查詢到的卡口數(shù)據(jù)信息，卡口數(shù)據(jù)信息格式為：車牌號+通過時間取反+卡口編號。

2.3 模糊查詢

卡口車輛通行數(shù)據(jù)的分布式存儲方法，其特征在于：用戶輸入一個車牌號的其中任意一段連續(xù)字符，便可通過分布式索引文件的查詢返回相似度最高的前20個車牌號；返回車牌號之后，系統(tǒng)再根據(jù)相似度最高的車牌號列表進行全字段的匹配查詢；車牌號的分布式索引存儲在大數(shù)據(jù)集群中的分布式文件系統(tǒng)中。

3 具體實施方式

3.1 配置計算節(jié)點和數(shù)據(jù)節(jié)點服務器

首先，配置計算節(jié)點和數(shù)據(jù)節(jié)點服務器，搭建并行計算集群環(huán)境，安裝與集群環(huán)境版本匹配的數(shù)據(jù)訪問中間件，Apache Phoenix數(shù)據(jù)訪問中間件把傳統(tǒng)數(shù)據(jù)庫的SQL語句編譯成HBase存儲所需要的操作語句，加快了開發(fā)效率，降低了開發(fā)難度；其次，按照需要采集的車輛特征建立表結構，在表結構中選取至少兩個特征作為主鍵，由主鍵組成一條卡口數(shù)據(jù)信息。

3.2 表結構建立

如圖1所示，按照業(yè)務需求采集的車輛特征建立表結構，采集到字段有“車牌號”“通信時間”“卡口編號”，“車輛顏色”“車輛大小”“通行方向”“數(shù)據(jù)來源”等存儲字段；根據(jù)具體業(yè)務需求，整理需要持久化的所有數(shù)據(jù)信息字段，同時選取能夠唯一標志一條記錄的字段作為主鍵，這里將車牌號、通過時間、卡口編號這3個特征作為主鍵，由車牌號、通過時間和卡口編號共同組成一條能被用戶查詢到的卡口數(shù)據(jù)信息。

3.3 大數(shù)據(jù)集群配置

大數(shù)據(jù)集群運行在Linux內(nèi)核的服務器，計算節(jié)點、備份計算節(jié)點和數(shù)據(jù)節(jié)點使用Hadoop分布式計算框架，采用HDFS的分布式文件系統(tǒng)，利用MapReduce算法實現(xiàn)“分而治之”的計算模型，所有數(shù)據(jù)通過Phoenix中間件存儲在HBase數(shù)據(jù)庫內(nèi)，整個Hadoop框架內(nèi)的計算轉發(fā)、監(jiān)控和策略決定都由ZooKeeper管理。

參考文獻

[1]Tom Wbite.hadoop權威指南第三版[M].北京：人民教育出版社，2014（7）.

[2]涂子沛.大數(shù)據(jù)應用實例[M].桂林：廣西師范大學出版社，2015（6）.