基于MapReduce的城市交通大數(shù)據(jù)聚類挖掘系統(tǒng)

孫玉坤　韓聿彪

關(guān)鍵詞：MapReduce技術(shù)；城市交通；大數(shù)據(jù)聚類

中圖法分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A

1引言

城市智慧交通建設(shè)的持續(xù)推進(jìn)，一定程度上也加快了社會(huì)的發(fā)展，逐步完善了各個(gè)城市的交通網(wǎng)，帶動(dòng)了各項(xiàng)產(chǎn)業(yè)的進(jìn)步，在促進(jìn)產(chǎn)業(yè)化的同時(shí)，也拉動(dòng)經(jīng)濟(jì)增長(zhǎng)。現(xiàn)階段，城市交通智慧系統(tǒng)多為單向的控制系統(tǒng)，雖然可能實(shí)現(xiàn)預(yù)期的控制效果及調(diào)整目標(biāo)，但是較容易受到外部環(huán)境的影響，導(dǎo)致目標(biāo)處理過(guò)程中形成誤差，影響日常的交通管控效果。為避免上述問(wèn)題的擴(kuò)大，部分城市選擇進(jìn)行交通系統(tǒng)的升級(jí)，構(gòu)建城市交通大數(shù)據(jù)聚類挖掘系統(tǒng)，其在應(yīng)用前期獲取了較好的效果，但隨著車輛的增多以及路況的復(fù)雜化，系統(tǒng)對(duì)基礎(chǔ)數(shù)據(jù)的處理速度下降，整體的控制效率也在不斷降低。

本文提出基于MapReduce的城市交通大數(shù)據(jù)聚類挖掘系統(tǒng)的設(shè)計(jì)與驗(yàn)證。所謂MapReduce技術(shù)，主要指的是一種面向大數(shù)據(jù)并行處理的計(jì)算模型、框架和平臺(tái)，通常與交通控制結(jié)構(gòu)相關(guān)聯(lián)，在外部設(shè)備及控制結(jié)構(gòu)的輔助下，逐漸構(gòu)建一個(gè)更為靈活、智慧性更強(qiáng)的城市交通大數(shù)據(jù)聚類挖掘系統(tǒng)，遵循科學(xué)管控的目標(biāo)，從多個(gè)方面進(jìn)行系統(tǒng)的設(shè)計(jì)及調(diào)整，采用合理的方式對(duì)采集的數(shù)據(jù)定向匯總規(guī)劃，根據(jù)交通軌跡移動(dòng)數(shù)據(jù)、人群密度變化等完成數(shù)據(jù)的駐留分析，從而進(jìn)一步強(qiáng)化該系統(tǒng)的大數(shù)據(jù)聚類挖掘能力，為相關(guān)工作的執(zhí)行與落實(shí)提供參考依據(jù)。

2設(shè)計(jì)交通大數(shù)據(jù)MapReduce聚類挖掘系統(tǒng)硬件

2.1傳感信息采集裝置設(shè)計(jì)

通常情況下，城市交通聚類挖掘系統(tǒng)日常工作時(shí)會(huì)形成較多的數(shù)據(jù)和信息，如果不及時(shí)做出調(diào)整和匯總，便會(huì)形成不可控的問(wèn)題。因此，為提升整體的聚類挖掘速度及效率，需要在硬件結(jié)構(gòu)中安裝設(shè)計(jì)傳感信息采集裝置。所謂傳感信息采集裝置，主要指的是一種多維定向的數(shù)據(jù)信息采集硬件設(shè)備，首先在該系統(tǒng)的控制電路中安裝多個(gè)感應(yīng)器，并在內(nèi)部設(shè)定一個(gè)小型的控制電路，然后根據(jù)城市交通系統(tǒng)控制覆蓋范圍，設(shè)置標(biāo)定挖掘位置，并測(cè)算出小型電路的加載控制單元值，計(jì)算式為：

式中，D表示加載控制單元值，k表示定向控制范圍，α表示堆疊范圍，i表示單元控制次數(shù)，t表示加載距離，w表示挖掘移位差。根據(jù)上述測(cè)定，完成對(duì)加載控制單元值的測(cè)算。然后，在小型控制電路中接入PCL6114-6144-PCD4600A控制芯片，營(yíng)造穩(wěn)定的控制環(huán)境，并測(cè)定此時(shí)的定向挖掘分峰值，在傳感器后側(cè)方安裝射頻裝置，用來(lái)接收對(duì)應(yīng)的聚類挖掘信號(hào)。但需要注意的是，在安裝射頻裝置的同時(shí)，還需增設(shè)轉(zhuǎn)化設(shè)備，將獲取的挖掘信號(hào)進(jìn)行等位轉(zhuǎn)換，并傳輸至對(duì)應(yīng)的位置，進(jìn)而為大數(shù)據(jù)聚類挖掘處理營(yíng)造穩(wěn)定的硬件控制環(huán)境。

2.2復(fù)位挖掘控制電路設(shè)計(jì)

所謂復(fù)位電路，主要指的是在大數(shù)據(jù)聚類挖掘處理時(shí)，對(duì)控制方向及位置進(jìn)行調(diào)整的一種硬件控制程序。在小型的控制電路中安裝掉電復(fù)位檢測(cè)節(jié)點(diǎn)，并將加載模糊度檢測(cè)模塊串聯(lián)接入。然后在小型電路和感應(yīng)器中間接人一個(gè)PC機(jī)和路由器，明確實(shí)際的數(shù)據(jù)信息聚類挖掘范圍，由APLC21160邏輯處理器芯片進(jìn)行主控處理，對(duì)采集的數(shù)據(jù)信息進(jìn)行集成動(dòng)態(tài)化處理，以形成循環(huán)性的硬件控制結(jié)構(gòu)。

另外，需在PCL6114-6144-PCD4600A控制芯片中關(guān)聯(lián)一個(gè)聚類挖掘引擎，將這個(gè)復(fù)位電路劃分為2個(gè)控制單元電路。在電路1的位置安裝一個(gè)聚類控制電源，電路2位置接人定向的感應(yīng)裝置，具體結(jié)構(gòu)如圖1所示.

根據(jù)圖1，完成對(duì)復(fù)位挖掘控制電路結(jié)構(gòu)的設(shè)計(jì)。然后，將PCL6114-6144-PCD4600A控制芯片和APLC21160邏輯處理器芯片同時(shí)移動(dòng)至小型控制電路中，形成多層級(jí)的控制結(jié)構(gòu)體系，以提升復(fù)位電路的靈敏度，從而有助于提升城市交通聚類挖掘處理的速度及效率，強(qiáng)化整體的硬件應(yīng)用效果。

3設(shè)計(jì)交通大數(shù)據(jù)MapReduce聚類挖掘系統(tǒng)軟件

3.1設(shè)計(jì)交通MapReduce聚類挖掘協(xié)議棧

城市交通的大數(shù)據(jù)聚類挖掘程序一般是單向的，雖然能夠?qū)崿F(xiàn)定向的數(shù)據(jù)信息處理，但是效率較低，針對(duì)性不強(qiáng)，常常出現(xiàn)聚類處理誤差的問(wèn)題。因此，綜合MapReduce技術(shù)，進(jìn)行交通聚類挖掘協(xié)議棧的設(shè)計(jì)。首先，進(jìn)行定向管聚類挖掘控制模塊以及協(xié)議指令的設(shè)計(jì)。在控制程序中接人多個(gè)動(dòng)態(tài)化的數(shù)據(jù)信息采集裝置，與主控結(jié)構(gòu)進(jìn)行搭接與關(guān)聯(lián)，增設(shè)信息融合指令和模糊度檢測(cè)指令，對(duì)節(jié)點(diǎn)采集的數(shù)據(jù)信息進(jìn)行匯總和篩選，標(biāo)定出城市交通的聚類挖掘識(shí)別位置，具體如圖2所示。

根據(jù)圖2，完成對(duì)聚類挖掘識(shí)別位置程序結(jié)構(gòu)的設(shè)定與調(diào)整。然后，根據(jù)城市智慧交通選定的標(biāo)定聚類識(shí)別參照物，綜合MapReduce框架，設(shè)計(jì)1個(gè)動(dòng)態(tài)化的聚類挖掘協(xié)議棧，相當(dāng)于1個(gè)移動(dòng)指令傳輸程序，可以在排除異常因素的背景下，在預(yù)設(shè)時(shí)間范圍內(nèi)，通過(guò)MapReduce框架及平臺(tái)，將指令輸送到城市交通系統(tǒng)的任意位置中，以提升交通MapReduce聚類挖掘協(xié)議棧的應(yīng)用效率及質(zhì)量。

3.2設(shè)計(jì)自適應(yīng)MapReduce聚類挖掘數(shù)據(jù)庫(kù)

與傳統(tǒng)城市交通聚類挖掘數(shù)據(jù)庫(kù)不同的是，綜合MapReduce技術(shù)所構(gòu)建的自適應(yīng)數(shù)據(jù)庫(kù)更加靈活多變，對(duì)于數(shù)據(jù)、信息處理的效果更佳，實(shí)際應(yīng)用價(jià)值更高?？梢韵韧ㄟ^(guò)自適應(yīng)技術(shù)和MapReduce技術(shù)，建立一個(gè)聚類挖掘單元模型，利用部署節(jié)點(diǎn)，采集城市交通的數(shù)據(jù)以及信息。需要注意的是，數(shù)據(jù)信息包括音頻、視頻、圖片等信息，采集范圍及形式相對(duì)較大。依據(jù)特定的格式將數(shù)據(jù)轉(zhuǎn)換為數(shù)據(jù)包，利用MapReduce框架將其傳輸至初始數(shù)據(jù)庫(kù)對(duì)應(yīng)的位置上，并進(jìn)行系統(tǒng)聚類挖掘控制指標(biāo)參數(shù)的設(shè)定，如表1所列。

根據(jù)表1，完成對(duì)聚類挖掘控制指標(biāo)參數(shù)的設(shè)定?；诖?，將上述設(shè)計(jì)的協(xié)議棧設(shè)定在數(shù)據(jù)庫(kù)內(nèi)部，與指令集群建立正向的控制關(guān)系，逐步形成自適應(yīng)的系統(tǒng)運(yùn)行環(huán)境，為后續(xù)系統(tǒng)的日常應(yīng)用以及升級(jí)奠定基礎(chǔ)環(huán)境。

4系統(tǒng)測(cè)試

系統(tǒng)測(cè)試主要是對(duì)基于MapReduce的城市交通大數(shù)據(jù)聚類挖掘系統(tǒng)的實(shí)際應(yīng)用效果進(jìn)行分析與驗(yàn)證，考慮到最終測(cè)試結(jié)果的真實(shí)性與可靠性，采用比照的形式進(jìn)行驗(yàn)證。選定D城市交通系統(tǒng)作為測(cè)定的主要目標(biāo)，標(biāo)定出該城市中的4個(gè)路段作為比照驗(yàn)證的對(duì)象，將4個(gè)位置的分系統(tǒng)與主交通系統(tǒng)進(jìn)行關(guān)聯(lián)搭接，設(shè)置總控程序，營(yíng)造穩(wěn)定、真實(shí)的測(cè)定環(huán)境。結(jié)合實(shí)際的測(cè)定需求及標(biāo)準(zhǔn)，進(jìn)行測(cè)試環(huán)境的搭接。

4.1測(cè)試準(zhǔn)備

依據(jù)上述測(cè)定需求及標(biāo)準(zhǔn)，綜合MapReduce框架或者平臺(tái)，對(duì)城市交通大數(shù)據(jù)聚類挖掘系統(tǒng)實(shí)際應(yīng)用效果進(jìn)行分析驗(yàn)證。首先，提取D城市交通系統(tǒng)4個(gè)路段的基礎(chǔ)測(cè)定數(shù)值以及信息，設(shè)定環(huán)境信息采集的頻譜寬度為30 dB，測(cè)定采樣的定向間隔時(shí)間為0.33s，利用自適應(yīng)技術(shù)和大數(shù)據(jù)技術(shù)，營(yíng)造穩(wěn)定的測(cè)試及控制環(huán)境。同時(shí)，進(jìn)行系統(tǒng)測(cè)定數(shù)值的調(diào)整，如表2所列。

根據(jù)表2，完成對(duì)系統(tǒng)測(cè)定數(shù)值的調(diào)整，結(jié)合MapReduce技術(shù)，營(yíng)造穩(wěn)定的系統(tǒng)測(cè)試環(huán)境，并對(duì)系統(tǒng)進(jìn)行具體測(cè)試。

4.2測(cè)試過(guò)程及結(jié)果分析

在上述搭建的測(cè)試環(huán)境中，綜合MapReduce框架或者平臺(tái)，進(jìn)行具體的測(cè)試。首先，在D城市交通選定的4個(gè)路段設(shè)定測(cè)試監(jiān)測(cè)節(jié)點(diǎn)，構(gòu)建基礎(chǔ)的測(cè)試環(huán)境。設(shè)定測(cè)試時(shí)間間隔為0.33 s，設(shè)定測(cè)試周期為24小時(shí)，每一個(gè)周期需要將數(shù)據(jù)及信息匯總整合，共預(yù)設(shè)3個(gè)周期進(jìn)行測(cè)試。根據(jù)采樣的數(shù)據(jù)，測(cè)定出FRFT幅度，計(jì)算式為：

式中，G表示FRFT幅度，φ表示挖掘范圍，u表示聚類挖掘次數(shù)，d表示單向處理頻率，π表示定向監(jiān)測(cè)區(qū)域，p表示采樣偏差。根據(jù)測(cè)試得出的結(jié)果，進(jìn)行分析驗(yàn)證，如圖3所示。

根據(jù)圖3，完成對(duì)測(cè)試結(jié)果的對(duì)比分析。經(jīng)過(guò)4次聚類挖掘，最終得出的RFRT幅度較好地被控制在4以下，表明在對(duì)城市交通大數(shù)據(jù)聚類挖掘時(shí)，其挖掘穩(wěn)定性更高，整體處理效果更佳，具有實(shí)際的應(yīng)用價(jià)值。

5結(jié)束語(yǔ)

與傳統(tǒng)的大數(shù)據(jù)聚類挖掘系統(tǒng)相對(duì)比，此次融合MapReduce技術(shù)所構(gòu)建的大數(shù)據(jù)聚類挖掘結(jié)構(gòu)更加穩(wěn)定、多變，在復(fù)雜的交通環(huán)境下，能夠精準(zhǔn)定位異常區(qū)域，并采集交通移動(dòng)軌跡數(shù)據(jù)以及人群分布密度，對(duì)各個(gè)位置、范圍的路況作出更為詳細(xì)的分析，充分利用智慧化平臺(tái)，進(jìn)行交通指令的調(diào)整，形成更為靈活的交通大數(shù)據(jù)聚類挖掘程序，進(jìn)而為該類型系統(tǒng)的進(jìn)一步創(chuàng)新奠定基礎(chǔ)，同時(shí)推動(dòng)交通行業(yè)邁入一個(gè)新的發(fā)展臺(tái)階。

作者簡(jiǎn)介：

孫玉坤（1990—），本科，工程師，研究方向：信息系統(tǒng)集成、電子與建筑智能化工程。