淺談交通管理大數(shù)據(jù)分布式管理應(yīng)用平臺的架構(gòu)設(shè)計方案

王艷

（無錫商業(yè)職業(yè)技術(shù)學(xué)院，江蘇 無錫 214000）

淺談交通管理大數(shù)據(jù)分布式管理應(yīng)用平臺的架構(gòu)設(shè)計方案

王艷

（無錫商業(yè)職業(yè)技術(shù)學(xué)院，江蘇 無錫 214000）

基于當(dāng)前公安交通管理綜合應(yīng)用平臺的主要特征，迫切需要建立一個具有較強(qiáng)的管理能力、具備先進(jìn)技術(shù)，能夠高效快速實(shí)現(xiàn)的綜合應(yīng)用平臺分布式數(shù)據(jù)庫。主要談?wù)摿嗽摲植际焦芾響?yīng)用平臺的架構(gòu)設(shè)計方案，并概括了該平臺的主要特點(diǎn)。

分布式數(shù)據(jù)庫；統(tǒng)一監(jiān)控；駕駛?cè)斯芾恚豢萍夹畔⒒?/p>

1 項(xiàng)目背景

近年來，隨著公安交通管理科技信息化水平的逐步提升，依托于公安主干網(wǎng)，已經(jīng)全面建成了覆蓋部、省、市三級的公安交通管理綜合應(yīng)用平臺，建設(shè)了包括機(jī)動車管理、駕駛?cè)斯芾怼⒔煌ㄊ鹿侍幚?、交通證據(jù)處理等業(yè)務(wù)功能，并實(shí)現(xiàn)了對交通攝像頭數(shù)據(jù)的采集和初步處理，形成了較為完整的交通管理數(shù)據(jù)鏈條。當(dāng)前，隨著交通的快速發(fā)展，交通管理單位的數(shù)據(jù)管理工作主要呈現(xiàn)以下特征。

1.1 積累了大量數(shù)據(jù)資源

一個省的交通管理綜合應(yīng)用平臺數(shù)據(jù)量已到達(dá)近幾十億條，非結(jié)構(gòu)化數(shù)據(jù)（證據(jù)圖片等）約為60 TB，交通管理數(shù)據(jù)體量較大，且從數(shù)據(jù)類型來看，大量的非結(jié)構(gòu)化數(shù)據(jù)存儲在數(shù)據(jù)庫中，占據(jù)了存儲容量的90%以上。

1.2 數(shù)據(jù)管理和服務(wù)面臨著巨大挑戰(zhàn)

隨著道路交通業(yè)務(wù)的不斷深化，交通數(shù)據(jù)內(nèi)容龐雜、存儲分散、訪問困難、結(jié)構(gòu)不統(tǒng)一、編碼不一致等問題，限制了科技管理部門對交通管理數(shù)據(jù)的管理和維護(hù)，海量數(shù)據(jù)的存儲、備份、擴(kuò)容和日志信息的管理都成為目前較為嚴(yán)峻和亟待解決的問題。

1.3 對數(shù)據(jù)的科學(xué)利用提出了更高的要求

隨著城鎮(zhèn)化的發(fā)展，交通管理基礎(chǔ)設(shè)施（設(shè)備）已進(jìn)入了大規(guī)模建設(shè)的時期。同時，社會轉(zhuǎn)型的壓力迫使交通管理部門需要在交管工作機(jī)制、交通管理方式、服務(wù)群眾思路等方面進(jìn)行創(chuàng)新和改革。如何通過數(shù)據(jù)資源使用進(jìn)一步提升道路交通管理水平，成為了交通管理部門迫切需要面對的問題之一。基于以上背景，迫切需要建立一個具有較強(qiáng)的管理能力、具備先進(jìn)技術(shù)、能夠快速實(shí)現(xiàn)的綜合應(yīng)用平臺分布式數(shù)據(jù)庫，通過綜合應(yīng)用平臺分布式數(shù)據(jù)庫，全面實(shí)現(xiàn)各業(yè)務(wù)與管理數(shù)據(jù)的整合，解決交通管理行業(yè)科技管理問題，達(dá)到建以致用、深化科技強(qiáng)警的戰(zhàn)略目標(biāo)。

2 項(xiàng)目需求

搭建大數(shù)據(jù)基礎(chǔ)平臺及部署分布式數(shù)據(jù)庫，技術(shù)要點(diǎn)為：①海量非結(jié)構(gòu)化數(shù)據(jù)存儲，比如證據(jù)圖片、日志數(shù)據(jù)；②批量歷史數(shù)據(jù)遷移和現(xiàn)有數(shù)據(jù)實(shí)時同步復(fù)制，比如熱點(diǎn)業(yè)務(wù)數(shù)據(jù)；③實(shí)時數(shù)據(jù)檢索及統(tǒng)計分析；④在元數(shù)據(jù)管理中對圖片數(shù)據(jù)、日志數(shù)據(jù)定義屬性，添加索引；⑤在元數(shù)據(jù)管理中管理業(yè)務(wù)關(guān)系數(shù)據(jù)和文檔數(shù)據(jù)；⑥對外部應(yīng)用程序提供檢索應(yīng)用接口，提供資產(chǎn)目錄和手冊；⑦云搜索、業(yè)務(wù)數(shù)據(jù)的報表統(tǒng)計和分析；⑧對平臺系統(tǒng)運(yùn)行環(huán)境和使用維護(hù)情況的監(jiān)控，同時，大數(shù)據(jù)基礎(chǔ)平臺還應(yīng)該具備集監(jiān)控、管理和典型故障處理于一身的統(tǒng)一監(jiān)控運(yùn)維管理平臺，以及具備數(shù)據(jù)存儲安全、訪問安全、網(wǎng)絡(luò)安全等的安全管理系統(tǒng)。

3 架構(gòu)設(shè)計方案

系統(tǒng)采用3層架構(gòu)：底層是大數(shù)據(jù)操作系統(tǒng)（BD-OS），中間層是數(shù)據(jù)服務(wù)層，頂層是系統(tǒng)應(yīng)用層。底層BD-OS（大數(shù)據(jù)操作系統(tǒng)）主要包括大數(shù)據(jù)技術(shù)平臺和服務(wù)支撐技術(shù)兩方面。大數(shù)據(jù)技術(shù)平臺的主要技術(shù)有：①大數(shù)據(jù)存儲HDFS。整個分布式大數(shù)據(jù)的存儲基礎(chǔ)。②數(shù)據(jù)倉庫HBase。保存業(yè)務(wù)數(shù)據(jù)、圖片數(shù)據(jù)和日志數(shù)據(jù)。③編程模型MapReduce。面向大規(guī)模數(shù)據(jù)處理的并行計算模型和方法。④分布式協(xié)作服務(wù)ZooKeeper。數(shù)據(jù)管理服務(wù)，如統(tǒng)一命名服務(wù)、狀態(tài)同步服務(wù)、集群管理、分布式應(yīng)用配置項(xiàng)的管理等。⑤數(shù)據(jù)倉庫工具Hive。將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供簡單的sql查詢功能，可以將sql語句轉(zhuǎn)換為MapReduce任務(wù)進(jìn)行運(yùn)行。⑥全文檢索引擎ElasticSearch。可擴(kuò)展的開源全文搜索和分析引擎。⑦NoSQL數(shù)據(jù)庫MongoDB、關(guān)系型數(shù)據(jù)庫MySQL。⑧獨(dú)有的分布式數(shù)據(jù)倉庫CsiDRD技術(shù)。服務(wù)支撐是為中間數(shù)據(jù)服務(wù)層提供支撐的，更偏重于技術(shù)方案，主要包括以下幾個方面：①數(shù)據(jù)采集ETL。從Oracle數(shù)據(jù)庫中獲取圖片、日志和業(yè)務(wù)數(shù)據(jù)，并導(dǎo)入到分布式數(shù)據(jù)庫中。②PL/SQL支持。支持Oracle數(shù)據(jù)庫中PL/SQL語言，從而可以將原有的Oracle綜合平臺復(fù)雜的數(shù)據(jù)倉庫類分析，基本不用修改或者做少量修改之后就可以移植到綜合平臺分布式數(shù)據(jù)庫中。③全文檢索。開源的全文檢索引擎ES，提供對業(yè)務(wù)和圖片數(shù)據(jù)的檢索服務(wù)。④安全管理。提供對于Hadoop大數(shù)據(jù)庫的安全管理服務(wù)。⑤運(yùn)維管理。實(shí)時監(jiān)控Hadoop大數(shù)據(jù)庫的運(yùn)行情況，用圖表等直觀的方式，方便監(jiān)控和維護(hù)管理。中間數(shù)據(jù)服務(wù)層更多的是面向系統(tǒng)應(yīng)用的，主要包括對訪問大數(shù)據(jù)庫用戶提供授權(quán)、認(rèn)證、審計和監(jiān)控；通過技術(shù)手段對大數(shù)據(jù)平臺的運(yùn)行狀況進(jìn)行記錄；提供Oracle和Hadoop大數(shù)據(jù)庫雙向間的數(shù)據(jù)接口，方便數(shù)據(jù)的采集、匯集、分發(fā)和同步等。頂層是系統(tǒng)應(yīng)用層，運(yùn)行各種需要從分布式大數(shù)據(jù)系統(tǒng)進(jìn)行數(shù)據(jù)交互的應(yīng)用系統(tǒng)，比如公安交管綜合平臺（六合一平臺）等。

4 平臺特點(diǎn)

平臺特點(diǎn)有：①數(shù)據(jù)處理能力。具體具有平臺運(yùn)維監(jiān)控能力、平臺安全處理能力、多源異構(gòu)的數(shù)據(jù)接入整合能力、一站式數(shù)據(jù)處理能力、豐富的底層技術(shù)組件支持。②高可用性和可靠性。③可擴(kuò)展性。包括組件可擴(kuò)展、容量可擴(kuò)展、數(shù)據(jù)接口可擴(kuò)展、應(yīng)用可擴(kuò)展、數(shù)據(jù)庫可擴(kuò)展。④開放性。⑤安全性。包括訪問安全、環(huán)境安全、數(shù)據(jù)安全。

5 未來展望

應(yīng)根據(jù)不同的數(shù)據(jù)內(nèi)容和特點(diǎn)分門別類存儲結(jié)構(gòu)化數(shù)據(jù)和交通管理圖片等非結(jié)構(gòu)化數(shù)據(jù)、日志數(shù)據(jù)，全面整合各業(yè)務(wù)與管理數(shù)據(jù)，檢索機(jī)動車、駕駛?cè)恕⒆C據(jù)、業(yè)務(wù)日志等實(shí)時數(shù)據(jù)并進(jìn)行統(tǒng)計分析，提高交通事故處理、交通證據(jù)處理的效率和精準(zhǔn)性，優(yōu)化道路交通管理水平；同時，保證數(shù)據(jù)的安全性，系統(tǒng)的穩(wěn)定性和高可用性；協(xié)助交通管理部門解決交通管理行業(yè)科技管理難題，達(dá)到建以致用、深化科技強(qiáng)警的戰(zhàn)略目標(biāo)。

〔編輯：張思楠〕

TP311.13

A

10.15913/j.cnki.kjycx.2017.23.076

2095－6835（2017）23－0076－02