大數(shù)據(jù)云計(jì)算技術(shù)在阜陽(yáng)市機(jī)動(dòng)車緝查布控系統(tǒng)中的應(yīng)用分析

馬勁松

（安徽省阜陽(yáng)市環(huán)境信息中心，安徽 阜陽(yáng) 236000）

1 大數(shù)據(jù)云計(jì)算技術(shù)概述

大數(shù)據(jù)云計(jì)算技術(shù)是硬件資源與海量數(shù)據(jù)的共同應(yīng)用體現(xiàn)，通過(guò)結(jié)合虛擬化的云計(jì)算硬件資源對(duì)大數(shù)據(jù)的海量數(shù)據(jù)進(jìn)行高效處理以此來(lái)實(shí)現(xiàn)數(shù)據(jù)信息系統(tǒng)的綜合使用。從其他角度進(jìn)行分析，云計(jì)算技術(shù)與我們所使用的的計(jì)算機(jī)系統(tǒng)相似，它也能夠通過(guò)對(duì)大量硬件資源的合理分配對(duì)虛擬化的數(shù)據(jù)進(jìn)行應(yīng)用。

2 大數(shù)據(jù)云計(jì)算技術(shù)在阜陽(yáng)市機(jī)動(dòng)車緝查布控系統(tǒng)中的應(yīng)用分析

2.1 查詢過(guò)車信息

在智能化數(shù)據(jù)處理系統(tǒng)的普及應(yīng)用背景下，阜陽(yáng)市可以在機(jī)動(dòng)車緝查布控方面采用可伸縮式、面向列、高性能、高可靠性的分布式存儲(chǔ)系統(tǒng)（HBase）對(duì)過(guò)往的車輛信息進(jìn)行查詢。在分布式存儲(chǔ)系統(tǒng)的應(yīng)用中，能夠存儲(chǔ)上百億的過(guò)車文本數(shù)據(jù)，同時(shí)通過(guò)該系統(tǒng)還能夠?qū)崿F(xiàn)對(duì)過(guò)車文本數(shù)據(jù)的秒級(jí)響應(yīng)。與Nosql數(shù)據(jù)庫(kù)相同，在該系統(tǒng)的應(yīng)用中，其主鍵Rowkey可以用來(lái)檢索相關(guān)記錄，檢索字符可以是在64KB之內(nèi)的任意字符串[1]。在HBase內(nèi)部，會(huì)將Rowkey以字節(jié)數(shù)組的方式進(jìn)行保存，存儲(chǔ)過(guò)程中Rowkey會(huì)以字典排序的方式進(jìn)行存儲(chǔ)。在機(jī)動(dòng)車緝查布控系統(tǒng)中，根據(jù)用戶的日常查詢需求可以將其定義為車道號(hào)、號(hào)牌種類、號(hào)牌號(hào)碼、方向類型、過(guò)車時(shí)間以及卡口編號(hào)等形式進(jìn)行組合具體如圖1所示。

在使用智能化數(shù)據(jù)系統(tǒng)對(duì)單獨(dú)存儲(chǔ)的索引數(shù)據(jù)進(jìn)行處理時(shí)，新建索引表的Rowkey就是業(yè)務(wù)表的索引列值，而Rowkey將為新建索引表提供具體數(shù)值。

通過(guò)上文內(nèi)容可知，數(shù)據(jù)化智能處理系統(tǒng)在存儲(chǔ)方面的功能極為強(qiáng)大，能夠有效幾率大量來(lái)往行車信息，并對(duì)相關(guān)信息予以保存。與此同時(shí)，對(duì)來(lái)往經(jīng)過(guò)的車輛信息極為敏感，能夠在極短的時(shí)間內(nèi)詳細(xì)記錄過(guò)往車輛情況，對(duì)車輛信息進(jìn)行檢索。在此基礎(chǔ)上，業(yè)務(wù)表中能夠提供的各項(xiàng)索引列值也可以得到有效數(shù)據(jù)的支持。

圖1 過(guò)車記錄表

2.2 套牌車查詢

在機(jī)動(dòng)車輛使用情況迅速上升的情況下，對(duì)于超百億的過(guò)車數(shù)據(jù)進(jìn)行記錄、統(tǒng)計(jì)、查詢將會(huì)是一項(xiàng)龐大、復(fù)雜的工作內(nèi)容，而利用分布式存儲(chǔ)系統(tǒng)的應(yīng)用特性對(duì)數(shù)據(jù)進(jìn)行分析處理，成為當(dāng)前車輛信息處理的主要緝查布控方式。該系統(tǒng)在套牌車查詢的應(yīng)用方面其效果尤為顯著，它能夠根據(jù)在一定的時(shí)間內(nèi)不會(huì)同時(shí)經(jīng)過(guò)兩個(gè)距離較遠(yuǎn)的路口的相對(duì)理念，對(duì)套牌車的基本情況進(jìn)行分析，而根據(jù)以上理論有學(xué)者提出了兩種套牌車計(jì)算模型，第一種計(jì)算模型是在行駛車輛的行駛速度大于道路行駛預(yù)設(shè)值的情況下展開的，當(dāng)車輛行駛速度超過(guò)一定的形式速度時(shí)則說(shuō)明該車輛具有套牌嫌疑。根據(jù)以上情況，機(jī)動(dòng)車查詢?nèi)藛T可以采取在不同的距離點(diǎn)設(shè)置不同權(quán)重的形式對(duì)套牌車輛進(jìn)行監(jiān)督查詢。第二種分析模式是根據(jù)每條車輛通行信息的上報(bào)的卡口編號(hào)，對(duì)疑似套牌車輛的行車軌跡進(jìn)行有效判斷，然后根據(jù)卡口與卡口的距離和車輛行駛時(shí)間差進(jìn)行計(jì)算車輛的平均行駛速度，如果車輛行駛速度超過(guò)預(yù)設(shè)值，則說(shuō)明該車輛為疑似套牌車。

針對(duì)同一出車輛在一定時(shí)間內(nèi)無(wú)法同時(shí)經(jīng)過(guò)兩個(gè)距離較遠(yuǎn)的卡口原則，提出針對(duì)性處理意見，利用不同類型套牌車數(shù)據(jù)模型進(jìn)行精確分析：第一種分析模型內(nèi)容為，對(duì)同一輛車，在其形式距離卡口一定位置時(shí)，保證實(shí)際距離能夠大于基礎(chǔ)預(yù)設(shè)值（此過(guò)程需要排除大城市之間兩個(gè)距離較近的道路卡口），在該車輛行駛速度超出合理速度時(shí)，此時(shí)可以初步認(rèn)定此車輛存在套牌嫌疑。針對(duì)上述情況，有關(guān)管理部門可以在距離不同的間距電商布設(shè)不同比例的權(quán)重，這樣可以有效監(jiān)控同一車輛在不同區(qū)域的出現(xiàn)時(shí)間；第二種分析模式，對(duì)不同通行線進(jìn)行卡口信息編制，并在第一時(shí)間將車輛所在地的經(jīng)緯度信息予以上報(bào)，通過(guò)這樣的方式檢測(cè)車輛行駛軌跡，在不同經(jīng)緯度卡口，還可以計(jì)算出車輛經(jīng)過(guò)的時(shí)間差，進(jìn)而對(duì)車輛是否正常行駛作出準(zhǔn)確判斷。

以上述內(nèi)容為背景，采用先進(jìn)智能化處理系統(tǒng)，可以更加有效的面對(duì)信息量巨大、任務(wù)量龐雜的工作內(nèi)容，同時(shí)也可以更好的分析車輛信息，對(duì)不同區(qū)域內(nèi)的車輛信息能夠做到精細(xì)化處理。在記錄關(guān)鍵任務(wù)期間，可以通過(guò)車牌號(hào)記錄相關(guān)數(shù)據(jù)，這樣在面對(duì)過(guò)多溢出文件時(shí)能夠取得更加有利的處理優(yōu)勢(shì)。在車輛數(shù)據(jù)信息處理過(guò)程中，可以有效控制數(shù)據(jù)緩沖區(qū)的大小標(biāo)準(zhǔn)，同時(shí)還可以調(diào)節(jié)數(shù)據(jù)對(duì)沖比例，進(jìn)而對(duì)數(shù)據(jù)進(jìn)行編寫和壓縮，通過(guò)后臺(tái)線程對(duì)逐漸增多的文件進(jìn)行控制作用，在此基礎(chǔ)上，還可以將所有數(shù)據(jù)信息整合成為一個(gè)有序的文件資源。在數(shù)據(jù)合并期間，數(shù)據(jù)編寫量或大幅度減少，并且最終合并效果更佳。

2.3 分析重點(diǎn)車軌跡

在阜陽(yáng)市機(jī)動(dòng)車緝查布控系統(tǒng)的應(yīng)用方面，除了具有過(guò)車數(shù)據(jù)分析功能和套牌車數(shù)據(jù)分析功能之外，還能夠?qū)Φ缆分攸c(diǎn)行駛車輛（未處理報(bào)廢車、車輛環(huán)保檢測(cè)統(tǒng)計(jì)）的行駛軌跡進(jìn)行記錄跟蹤。

在對(duì)以上問(wèn)題進(jìn)行分析時(shí)，可以利用Hadoop中的Map-reduce功能進(jìn)行計(jì)算。首先，用Map處理功能對(duì)每個(gè)輸入分片進(jìn)行劃分處理，然后使用默認(rèn)的HDFS塊的大小作為分片，這時(shí)經(jīng)Map處理的結(jié)果將會(huì)存放在環(huán)形內(nèi)存緩沖區(qū)中，當(dāng)該區(qū)域的數(shù)據(jù)將要溢出時(shí)就會(huì)自動(dòng)在本地文件系統(tǒng)建立一個(gè)溢出性文件夾，之后系統(tǒng)就會(huì)將溢出的數(shù)據(jù)導(dǎo)入空文件夾進(jìn)行保存[2]。在存入磁盤的過(guò)程中，線程會(huì)根據(jù)任務(wù)數(shù)目的不同劃分為相同的數(shù)目分區(qū)，使其任務(wù)類型與分區(qū)數(shù)據(jù)相對(duì)應(yīng)。在此之后，該系統(tǒng)會(huì)對(duì)分區(qū)數(shù)據(jù)進(jìn)行同類別排序，當(dāng)Map任務(wù)輸出最后的數(shù)據(jù)之后，可能會(huì)因?yàn)閿?shù)據(jù)的存量過(guò)多而發(fā)生溢出問(wèn)題，這時(shí)只需要將這些文件進(jìn)行合并，合并的過(guò)程計(jì)算機(jī)系統(tǒng)會(huì)不斷的對(duì)其進(jìn)行分類排序，并能夠最大幅度的降低下一環(huán)節(jié)網(wǎng)絡(luò)傳輸信息的數(shù)據(jù)量和寫入磁盤的數(shù)據(jù)量。之后就可以將分區(qū)數(shù)據(jù)拷貝到相應(yīng)的任務(wù)當(dāng)中。在數(shù)據(jù)文件不斷增多的情況下，系統(tǒng)后臺(tái)會(huì)將溢出數(shù)據(jù)進(jìn)行合并，使其形成更加有序的文件結(jié)構(gòu)，同時(shí)在這一過(guò)程中還會(huì)產(chǎn)生許多的輔助文件，但Map-reduce會(huì)對(duì)磁盤信息寫入量進(jìn)行有效控制，最后就會(huì)將全部合并的數(shù)據(jù)結(jié)果直接輸入到Reduce文件當(dāng)中。

3 系統(tǒng)業(yè)務(wù)運(yùn)行流程概述

就目前而言，機(jī)動(dòng)車稽查布控系統(tǒng)中心功能一般是指，在數(shù)據(jù)傳輸工作完成后，會(huì)將關(guān)鍵文件儲(chǔ)存到不同的文件系統(tǒng)中，在此基礎(chǔ)上，針對(duì)具體業(yè)務(wù)情況展開具體分析并予以深入挖掘。主要業(yè)務(wù)分別為：

（1）報(bào)警及布控管理功能。系統(tǒng)平臺(tái)自身具備車輛自動(dòng)報(bào)警功能，可以進(jìn)一步實(shí)現(xiàn)對(duì)被盜車輛信息的調(diào)取，同時(shí)還能夠與其他類型的基礎(chǔ)數(shù)據(jù)庫(kù)作出有效連接，用于保證報(bào)警信息的全面性，以此為基點(diǎn)，針對(duì)不同用戶需求進(jìn)行報(bào)警功能的設(shè)定。

（2）檢測(cè)交通事件。平臺(tái)系統(tǒng)可以對(duì)過(guò)往車輛進(jìn)行精確的數(shù)據(jù)分析，同時(shí)還能夠?qū)Ξ惓Ｂ范斡枰跃_檢測(cè)，通過(guò)這樣的方式，能夠?yàn)檐嚵髁刻峁└嗟男熊嚶窂竭x擇，進(jìn)而根據(jù)不同的車輛情況增加或者減少車輛的通過(guò)數(shù)量。通過(guò)這種方式，能夠在第一時(shí)間檢測(cè)到交通事件的發(fā)生地域，進(jìn)而在最佳時(shí)間進(jìn)行處理，保證交通運(yùn)輸通常的前提下，還可以為交通安全運(yùn)行提供便利。

（3）區(qū)間測(cè)速功能。該平臺(tái)功能可以通過(guò)計(jì)算的方式對(duì)經(jīng)過(guò)車輛的行駛速度進(jìn)行精準(zhǔn)檢測(cè)，在一段路程中的兩個(gè)區(qū)間點(diǎn)設(shè)置檢測(cè)器，這樣能夠?qū)囕v通過(guò)時(shí)的時(shí)速予以實(shí)時(shí)監(jiān)察，同時(shí)還能夠通過(guò)車輛行程時(shí)間進(jìn)行車速的計(jì)算。

（4）快速搜索模糊涉案車輛信息。對(duì)于無(wú)車牌或者車牌號(hào)不清晰的車輛而言，可以根據(jù)車輛號(hào)牌的區(qū)段信息進(jìn)行判斷，進(jìn)而對(duì)車輛進(jìn)行模糊搜索，最終得到相關(guān)車輛信息并進(jìn)行整合，這樣的方式能夠有效減少車輛搜索范圍，大幅度提升車輛檢索范圍，提升實(shí)際辦案效果。

4 結(jié)束語(yǔ)

在阜陽(yáng)市的機(jī)動(dòng)車緝查布控系統(tǒng)應(yīng)用中，通過(guò)大數(shù)據(jù)云計(jì)算分布式信息系統(tǒng)能夠?qū)Ξ?dāng)?shù)氐能囕v信息數(shù)據(jù)進(jìn)行全面管理和查詢，同時(shí)還能夠?qū)^(guò)往車輛信息、套牌車輛分析以及重點(diǎn)車輛的行駛軌跡進(jìn)行無(wú)差別查詢，大大提高了交通管制效率，對(duì)減輕工作人員的管理壓力、提高數(shù)據(jù)統(tǒng)計(jì)效率具有積極影響。