淺析分布式管理交通平臺的應(yīng)用特點(diǎn)

王艷

?

淺析分布式管理交通平臺的應(yīng)用特點(diǎn)

王艷

（無錫商業(yè)職業(yè)技術(shù)學(xué)院，江蘇 無錫 214000）

簡單概述了分布式管理交通平臺的應(yīng)用背景及基本架構(gòu)，著重介紹了基于當(dāng)前公安交通管理綜合應(yīng)用平臺的主要特征而建立的分布式管理交通平臺的應(yīng)用特點(diǎn)，并對每個特點(diǎn)進(jìn)行了詳細(xì)分析。

分布式管理交通平臺；數(shù)據(jù)處理能力；可靠性；安全性

1 分布式管理交通平臺的應(yīng)用背景

以前交通管理行業(yè)主要以傳統(tǒng)的關(guān)系型數(shù)據(jù)庫（Oracle數(shù)據(jù)庫）進(jìn)行數(shù)據(jù)的存儲與管理。而傳統(tǒng)的關(guān)系型數(shù)據(jù)庫主要通過傳統(tǒng)的數(shù)據(jù)組織形式、模型，以及傳統(tǒng)的查詢語言和分析技術(shù)，聚焦于事務(wù)性結(jié)構(gòu)化數(shù)據(jù)處理。然而隨著海量數(shù)據(jù)時代的到來，數(shù)據(jù)積累數(shù)量和速度已超出了關(guān)系型數(shù)據(jù)庫的管理范疇。隨著道路交通業(yè)務(wù)的不斷深化，交通數(shù)據(jù)內(nèi)容龐雜、存儲分散、訪問困難、結(jié)構(gòu)不統(tǒng)一、編碼不一致等問題，限制了科技管理部門對交通管理數(shù)據(jù)的管理和維護(hù)，海量數(shù)據(jù)的存儲、備份、擴(kuò)容和日志信息的管理都成為目前亟待解決的問題。在這樣的大背景下，搭建一個具有較強(qiáng)的管理能力、具備先進(jìn)技術(shù)、能夠高效快速實(shí)現(xiàn)的綜合應(yīng)用平臺分布式數(shù)據(jù)庫尤為必要。根據(jù)不同的數(shù)據(jù)內(nèi)容和特點(diǎn)，分門別類存儲結(jié)構(gòu)化數(shù)據(jù)和交通管理圖片等非結(jié)構(gòu)化數(shù)據(jù)、日志數(shù)據(jù)；全面整合各業(yè)務(wù)與管理數(shù)據(jù)；檢索機(jī)動車、駕駛?cè)?、證據(jù)、業(yè)務(wù)日志等實(shí)時數(shù)據(jù)并進(jìn)行統(tǒng)計分析，提高交通事故處理、交通證據(jù)處理的效率和精準(zhǔn)性，優(yōu)化道路交通管理水平；同時保證數(shù)據(jù)的安全性和系統(tǒng)的穩(wěn)定性。協(xié)助交通管理部門解決交通管理行業(yè)科技管理難題，達(dá)到建以致用、深化科技強(qiáng)警的戰(zhàn)略目標(biāo)。

2 分布式管理交通平臺的基本架構(gòu)

綜合應(yīng)用平臺分布式數(shù)據(jù)庫基于交通管理綜合應(yīng)用平臺的基礎(chǔ)數(shù)據(jù)和技術(shù)架構(gòu)，承載圖片數(shù)據(jù)、日志數(shù)據(jù)高并發(fā)讀寫和實(shí)時訪問要求；業(yè)務(wù)數(shù)據(jù)實(shí)時同步、實(shí)時統(tǒng)計分析，以減輕ORACLE業(yè)務(wù)數(shù)據(jù)庫的存儲和計算壓力，提高綜合應(yīng)用平臺的工作效率和數(shù)據(jù)服務(wù)能力。

基于交通管理綜合應(yīng)用平臺的數(shù)據(jù)特點(diǎn)和安全特點(diǎn)，綜合應(yīng)用平臺分布式數(shù)據(jù)庫采用業(yè)界主流成熟的計算框架，采用穩(wěn)定可靠組件與工具，通過可視化的一站式管理平臺，實(shí)現(xiàn)綜合應(yīng)用平臺數(shù)據(jù)的全流程管理，降低交通管理部門的數(shù)據(jù)運(yùn)維成本。

3 分布式管理交通平臺的應(yīng)用特點(diǎn)分析

3.1 數(shù)據(jù)處理能力

3.1.1 多源異構(gòu)的數(shù)據(jù)接入整合能力

文本數(shù)據(jù)接入非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)；關(guān)系數(shù)據(jù)庫與大數(shù)據(jù)平臺的接入能力，支持MySQL、Oracle、DB2、SQL Server數(shù)據(jù)庫，可以擴(kuò)展到Teradata、Informix等以JDBC、ODBC相連的數(shù)據(jù)庫；實(shí)時接入用戶行為數(shù)據(jù)，互聯(lián)網(wǎng)公開數(shù)據(jù)以及第三方數(shù)據(jù)；文件傳輸和數(shù)據(jù)橋接系統(tǒng)支持從各部業(yè)務(wù)系統(tǒng)與大數(shù)據(jù)平臺之間的數(shù)據(jù)導(dǎo)入導(dǎo)出，在內(nèi)部帶寬資源充足的情況下每分鐘可導(dǎo)入、導(dǎo)出30 GB數(shù)據(jù)，速率每秒達(dá)到0.5 GB。

3.1.2 一站式數(shù)據(jù)處理能力

建模、腳本開發(fā)、業(yè)務(wù)流調(diào)度一站式完成；在線IDE編輯工具，支持shell、Python、Hive SQL、Spark-SQL、自定義MR、自定義Spark類型腳本；工作流在線監(jiān)控，查看腳本日志，在線修復(fù)問題，即時重跑、恢復(fù)、版本管理；離線計算框架每天支持10 TB級別的數(shù)據(jù)計算，并且可擴(kuò)展至100 TB級別。

3.1.3 平臺安全處理能力

保證主機(jī)安全，操作系統(tǒng)內(nèi)核安全加固、采用操作系統(tǒng)穩(wěn)定版本、操作系統(tǒng)權(quán)限控制、操作系統(tǒng)端口管理、操作系統(tǒng)協(xié)議與端口防攻擊、主機(jī)防火墻配置；數(shù)據(jù)安全，數(shù)據(jù)容災(zāi)、備份、加密；應(yīng)用安全、身份鑒別和認(rèn)證、審計安全、密碼安全等；平臺主要組件實(shí)現(xiàn)HA.

3.1.4 平臺運(yùn)維監(jiān)控能力

簡單的操作包括權(quán)限設(shè)置、參數(shù)設(shè)置、作業(yè)配置、預(yù)警設(shè)置等，響應(yīng)時間不超過1 s，99%的簡單操作響應(yīng)時間在500 ms內(nèi)；大數(shù)據(jù)平臺全年對外正常服務(wù)運(yùn)行時間超過率為99.99%，即每年無法提供服務(wù)的時間小于1 h；大數(shù)據(jù)平臺的所有應(yīng)用軟件系統(tǒng)都具有自動恢復(fù)功能，任何故障都可以在1 min內(nèi)自動發(fā)現(xiàn)并自動恢復(fù)。當(dāng)應(yīng)用軟件系統(tǒng)出現(xiàn)故障時，允許有1 min的服務(wù)降級；對于操作系統(tǒng)和硬件設(shè)備故障，大數(shù)據(jù)平臺的能夠在30 s內(nèi)自動發(fā)現(xiàn)，并通知系統(tǒng)運(yùn)維人員。出現(xiàn)操作系統(tǒng)和硬件設(shè)備故障時，大數(shù)據(jù)平臺允許有1 h的系統(tǒng)服務(wù)降級。

3.1.5 豐富的底層技術(shù)組件支持

融入了CDH、HDP等底層開源平臺的優(yōu)秀技術(shù)組件，有機(jī)結(jié)合在一起，比如CDH的Impala，HDP的Ambari、Ranger、Spark、Map-R的Drill等；各個組件整合統(tǒng)一，可統(tǒng)一高度管理。

3.2 高可用性和可靠性

所有核心組件均實(shí)現(xiàn)HA，保證平臺的穩(wěn)定性和高可用性，保證客戶的業(yè)務(wù)連續(xù)性，為客戶提供不間斷的服務(wù)。在單個節(jié)點(diǎn)出現(xiàn)故障無法使用的情況下，節(jié)點(diǎn)暫時不參與集群運(yùn)作，整體集群仍可繼續(xù)支持業(yè)務(wù)，而在完成服務(wù)器故障修復(fù)的同時，節(jié)點(diǎn)可再次參與集群運(yùn)作。單個節(jié)點(diǎn)故障時正在處理的任務(wù)不丟失，繼續(xù)分配到其他節(jié)點(diǎn)執(zhí)行。平臺出現(xiàn)50%以上的服務(wù)器故障的極端情況下，快速切換業(yè)務(wù)到冷備節(jié)點(diǎn)，保障平臺的快速恢復(fù)。集群內(nèi)主機(jī)一旦發(fā)生故障，一般情況下將自動切換至可用的備用服務(wù)器。如果無法自動切換，則可采用人工干預(yù)的方式，12 h內(nèi)可切換到備用服務(wù)器。

3.3 可擴(kuò)展性

可擴(kuò)展性具體包括：①組件可擴(kuò)展。面向不同業(yè)務(wù)可個性化定制組件，隨時接入各種大數(shù)據(jù)處理組件如Spark-SQL、Impala等。②容量可擴(kuò)展。當(dāng)客戶系統(tǒng)業(yè)務(wù)數(shù)據(jù)量增加時，只需要水平增加服務(wù)器數(shù)量而不需要進(jìn)行架構(gòu)和模塊代碼的調(diào)整，性能隨節(jié)點(diǎn)數(shù)量上升同步線性上升。③數(shù)據(jù)接口可擴(kuò)展。RESTfull API數(shù)據(jù)接口能夠極其簡單的實(shí)現(xiàn)不同類型、不同格式的數(shù)據(jù)接入，滿足客戶多種數(shù)據(jù)格式的需求。④應(yīng)用可擴(kuò)展。通過可視化操作界面，用戶可在系統(tǒng)上添加任何需要應(yīng)用。⑤數(shù)據(jù)庫可擴(kuò)展。目前支持MySQL、ORACLE、DB2、SQL Server數(shù)據(jù)庫，如果客戶有需要，可以隨時擴(kuò)展到Teredata、Infermix等以JDBC、ODBC相連的數(shù)據(jù)庫。

3.4 開放性

開放的構(gòu)架，提供標(biāo)準(zhǔn)的開發(fā)接口，支持二次開發(fā)，并提供規(guī)范的開發(fā)文檔、開發(fā)包和服務(wù)支持；支持異種平臺上異種數(shù)據(jù)平臺的良好互聯(lián)，支持對文件數(shù)據(jù)和桌面數(shù)據(jù)庫數(shù)據(jù)、文件系統(tǒng)的訪問；支持對大型異種數(shù)據(jù)平臺的透明實(shí)時SQL讀寫訪問；支持高可靠性數(shù)據(jù)技術(shù)導(dǎo)入導(dǎo)出；支持通過API、SDK的方式對外提供數(shù)據(jù)。

3.5 安全性

3.5.1 訪問安全

基于用戶和角色的權(quán)限控制，設(shè)置和授權(quán)用戶對集群數(shù)據(jù)的訪問權(quán)限：①用戶審計包括底層數(shù)據(jù)操作的審計和用戶對平臺功能。對所有用戶的操作和數(shù)據(jù)的變更日志永久保留，提供日志檢索功能。提供完整的審計機(jī)制，包括賬號操作日志、hadoop組件訪問日志。實(shí)時監(jiān)控并查詢整個平臺上所有用戶的操作日志和數(shù)據(jù)訪問情況。②功能權(quán)限管理。功能的控制粒度細(xì)化到按鈕級別，不同用戶角色具有的功能權(quán)限不同，登錄到系統(tǒng)后所展示的功能權(quán)限即為該用戶所有的權(quán)限，當(dāng)前用戶不具備的功能權(quán)限會直接被屏蔽。③數(shù)據(jù)權(quán)限管理指控制用戶所能訪問的數(shù)據(jù)內(nèi)容。對于不同數(shù)據(jù)庫數(shù)據(jù)內(nèi)容細(xì)分的粒度不同。④資源權(quán)限管理指通過設(shè)定租戶實(shí)現(xiàn)對資源獨(dú)立管理，實(shí)現(xiàn)多租戶之間的資源彼此隔離；同時每個租戶Owner可以為其成員用戶進(jìn)行資源授權(quán)，不同用戶所擁有的資源權(quán)限不同，避免不同用戶對未經(jīng)授權(quán)資源的訪問。

3.5.2 環(huán)境安全

通過網(wǎng)絡(luò)安全、防火墻和物理安全設(shè)置組織對集群的非法訪問，確保集群訪問安全。

3.5.3 數(shù)據(jù)安全

數(shù)據(jù)脫敏即根據(jù)不同數(shù)據(jù)，采用適當(dāng)?shù)拿撁羲惴ㄟM(jìn)行規(guī)則配置，完成敏感信息匿名化處理，防止敏感數(shù)據(jù)被濫用、被泄露，保護(hù)敏感數(shù)據(jù)免于未經(jīng)授權(quán)的訪問。數(shù)據(jù)加密即采用MD5和KMS等加密算法，實(shí)現(xiàn)密文存儲和存取控制，防止非法用戶存取數(shù)據(jù)或合法用戶越權(quán)存取數(shù)據(jù)。通過數(shù)據(jù)加密、脫敏、屏蔽等安全技術(shù)確保數(shù)據(jù)在存儲、傳輸和使用過程中的安全。

4 總結(jié)

通過對分布式管理平臺的特點(diǎn)分析可知搭建一個具有較強(qiáng)的管理能力、具備先進(jìn)技術(shù)、能夠高效快速實(shí)現(xiàn)的綜合應(yīng)用平臺分布式數(shù)據(jù)庫是提高交通事故處理、交通證據(jù)處理的效率和精準(zhǔn)性，優(yōu)化道路交通管理水平，保證數(shù)據(jù)的安全性、系統(tǒng)的穩(wěn)定性和高可用的必要手段。

2095－6835（2018）21－0099－02

TP311.13

A

10.15913/j.cnki.kjycx.2018.21.099

〔編輯：嚴(yán)麗琴〕