數(shù)據(jù)挖掘技術(shù)在城市住建領(lǐng)域的應(yīng)用

解維　唐鵬

摘要：隨著城市建設(shè)施工數(shù)據(jù)量的日益龐大，如何將其加以利用并為新型智慧城市作出貢獻(xiàn)呢？本文主要采用數(shù)據(jù)挖掘技術(shù)，分析了住建局所許可的用地在施工期間，對(duì)周邊的公共交通，以及交通違章行為所產(chǎn)生的一些影響，而后提出了更加合理化的公共交通改道建議，以及為降低交通違章行為在合適位置設(shè)立告示牌建議。

關(guān)鍵詞：施工數(shù)據(jù)；數(shù)據(jù)挖掘；公交改道建議；告示牌建議

中圖分類號(hào)：TP3-05 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2019）01-0096-03

0 引言

隨著全國(guó)城市化進(jìn)程的加快，尤其是一線城市的土地持續(xù)供應(yīng)，用地許可不斷增加。城市建設(shè)施工期間對(duì)周邊的交通以及施工結(jié)束后對(duì)公共資源分配都產(chǎn)生深遠(yuǎn)影響。市交通局、教育局等單位需要科學(xué)化、合理化的決策，快速響應(yīng)建筑施工所帶來(lái)的變化，提高對(duì)公眾服務(wù)的質(zhì)量。

本文基于施工期間交通流量數(shù)據(jù)和違章罰單數(shù)據(jù)的變化，采用大數(shù)據(jù)分析技術(shù)，幫助人們進(jìn)行科學(xué)快速的交通規(guī)劃以及城市決策[1]。因?yàn)榻鼛啄?，大?shù)據(jù)以及云計(jì)算等新興的信息技術(shù)已經(jīng)深入人們的生活。各個(gè)行業(yè)都在隨著新技術(shù)的興起而進(jìn)行的變革。在新興技術(shù)的推動(dòng)下，伴隨著知識(shí)社會(huì)環(huán)境下不斷城市創(chuàng)新生態(tài)的誕生，智慧城市逐步開放。那么我們就在思考：如何讓“城市施工數(shù)據(jù)”發(fā)揮優(yōu)勢(shì)，助推深圳發(fā)展？基于目前使用價(jià)值不高的“施工數(shù)據(jù)”，是否也能為智慧城市發(fā)展作出一份貢獻(xiàn)呢？于是，就有了我們的項(xiàng)目“施工數(shù)據(jù)慧說(shuō)話”。那么，本文所設(shè)計(jì)的系統(tǒng)具體所解決的問(wèn)題有以下兩點(diǎn)：一是住建工程施工工地周邊影響區(qū)域內(nèi)的公共交通改道問(wèn)題。如何重新規(guī)劃受影響的交通線路的行駛路徑可以最大程度地方便附近居民換乘，降低擁堵，提高通行效率。二是優(yōu)化設(shè)立告示牌以降低因施工帶來(lái)的交通違章行為的增加問(wèn)題。如何設(shè)立告示牌可以起到對(duì)市民安全通過(guò)施工路段的提示作用，進(jìn)而減少違章罰單的數(shù)量。

1 系統(tǒng)架構(gòu)設(shè)計(jì)

系統(tǒng)設(shè)計(jì)使用B/S架構(gòu)模式，立足于深圳政府主動(dòng)開放的大量施工數(shù)據(jù)，結(jié)合本單位大數(shù)據(jù)平臺(tái)和北斗導(dǎo)航服務(wù)平臺(tái)等領(lǐng)域的技術(shù)基礎(chǔ)，對(duì)數(shù)據(jù)進(jìn)行關(guān)聯(lián)挖掘分析，并在地圖上進(jìn)行直觀展示。服務(wù)端基于大數(shù)據(jù)處理平臺(tái)，提供數(shù)據(jù)的存儲(chǔ)和挖掘分析功能，統(tǒng)計(jì)地圖當(dāng)前位置周邊的施工信息，終端（包含瀏覽器和移動(dòng)終端）定位或移動(dòng)地圖時(shí)，向服務(wù)平臺(tái)發(fā)送施工信息位置請(qǐng)求，服務(wù)平臺(tái)計(jì)算后返回結(jié)果，終端進(jìn)行顯示。

其中，大數(shù)據(jù)平臺(tái)的核心部分包括數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)查詢、數(shù)據(jù)分析、流數(shù)據(jù)處理、計(jì)算服務(wù)以及數(shù)據(jù)統(tǒng)一訪問(wèn)等模塊。數(shù)據(jù)存儲(chǔ)模塊對(duì)智慧城市的多源異構(gòu)開放數(shù)據(jù)進(jìn)行統(tǒng)一的存儲(chǔ)管理；數(shù)據(jù)分析模塊借助分布式的內(nèi)存計(jì)算技術(shù)和分布式執(zhí)行引擎，對(duì)住建影響圈兒的各種數(shù)據(jù)統(tǒng)計(jì)分析計(jì)算任務(wù)進(jìn)行分解和調(diào)度執(zhí)行，利用通過(guò)多機(jī)并行的模式提高計(jì)算效率；流數(shù)據(jù)處理模塊針對(duì)公交打卡記錄、計(jì)程車定位信息等具有時(shí)間屬性的數(shù)據(jù)進(jìn)行實(shí)時(shí)處理，對(duì)數(shù)據(jù)流進(jìn)行接入、分發(fā)、持久化，并通過(guò)實(shí)時(shí)算法對(duì)數(shù)據(jù)進(jìn)行分析；數(shù)據(jù)查詢模塊對(duì)存儲(chǔ)模塊中的數(shù)據(jù)構(gòu)建分布式的數(shù)據(jù)索引，并利用分布式搜索引擎對(duì)原始數(shù)據(jù)、分析結(jié)果等進(jìn)行快速數(shù)據(jù)定位和結(jié)果返回；計(jì)算服務(wù)模塊接收上層應(yīng)用的各種計(jì)算任務(wù)并進(jìn)行統(tǒng)一的編排調(diào)度，使計(jì)算平臺(tái)達(dá)到負(fù)載均衡和資源充分利用的效果；數(shù)據(jù)統(tǒng)一訪問(wèn)模塊封裝了JDBC、Web Service、SQL等多種數(shù)據(jù)訪問(wèn)接口，供上層應(yīng)用調(diào)用，以達(dá)到平臺(tái)應(yīng)用快速開發(fā)的目的。

2 數(shù)據(jù)挖掘技術(shù)在系統(tǒng)中的應(yīng)用與實(shí)現(xiàn)

本系統(tǒng)在網(wǎng)絡(luò)數(shù)據(jù)方面，將利用百度地圖的GIS基礎(chǔ)數(shù)據(jù)以及相關(guān)聯(lián)的道路數(shù)據(jù)，以達(dá)到分析規(guī)劃結(jié)果可視化展現(xiàn)的效果。有關(guān)部門數(shù)據(jù)包括：施工許可證信息，公交線路信息，出租車公司-出租車數(shù)據(jù)，深圳通記錄數(shù)據(jù)，交委-處罰情況。因此本系統(tǒng)主要目標(biāo)是給深圳政府和市民直觀的呈現(xiàn)當(dāng)前施工信息和施工對(duì)交通造成的影響，并對(duì)以往的歷史數(shù)據(jù)進(jìn)行分析，為政府和市民提供繞行建議和決策輔助[2]。

系統(tǒng)將以上數(shù)據(jù)批量導(dǎo)入到原始數(shù)據(jù)庫(kù)中，通過(guò)數(shù)據(jù)清洗，對(duì)數(shù)據(jù)按照時(shí)間戳等信息進(jìn)行模擬實(shí)施加載，通過(guò)大數(shù)據(jù)分析引擎進(jìn)行學(xué)區(qū)載荷分析、公交人流分析、違章情況分析等，結(jié)合百度地圖開放API，將各種數(shù)據(jù)和分析結(jié)果動(dòng)態(tài)展現(xiàn)在GIS界面上，使得分析結(jié)果等能夠直觀表現(xiàn)。數(shù)據(jù)使用思路如圖1所示。

2.1 數(shù)據(jù)預(yù)處理

（1）施工點(diǎn)信息預(yù)處理。由于施工信息的時(shí)間跨度較長(zhǎng)，需要過(guò)濾大量歷史數(shù)據(jù)，因此系統(tǒng)選擇2015年12月1日之后的數(shù)據(jù)。

（2）交通違章信息預(yù)處理。由于違章數(shù)據(jù)中交通違規(guī)時(shí)間集中發(fā)生在2017年1月1日至2017年3月31日之間，那么，根據(jù)違規(guī)日期，進(jìn)一步篩選此時(shí)間范圍內(nèi)的施工點(diǎn)信息。另外，根據(jù)“GCMC”字段中的關(guān)鍵字，篩選出幾種常見的施工類別，并進(jìn)行統(tǒng)計(jì)分類。

對(duì)于違章信息，其中“CFYY”字段均按照"經(jīng)調(diào)查，本機(jī)關(guān)認(rèn)為你（單位）在XXX在（違法地點(diǎn)）XXX實(shí)施了XXX的違法行為"固定格式賦值，于是，抽取每條記錄中第一個(gè)“XXX”字符串作為該條違規(guī)行為的發(fā)生地點(diǎn)，第二個(gè)“XXX”字符串作為處罰原因，抽取“CFSJ”字段作為違規(guī)記錄的發(fā)生時(shí)間。

（3）公交線路信息預(yù)處理。將公交信息中的“SXXLZDMC”和“SXXLZDMC”兩個(gè)字段信息合并，作為一個(gè)完整的線路信息。根據(jù)之前處理得到的施工點(diǎn)經(jīng)緯度信息，找出施工點(diǎn)周圍2公里以內(nèi)的公交站點(diǎn)數(shù)據(jù)。

（4）出租車信息預(yù)處理。由于出租車信息量較大，將其數(shù)據(jù)存入到HDFS分布式文件系統(tǒng)中，找出目標(biāo)施工點(diǎn)周圍出租車路線重疊最多的部分。若重合點(diǎn)為集中分布的散點(diǎn)，則選取這些散點(diǎn)的中心點(diǎn)作為備選公交站，若重合部分為一條線，則隨機(jī)選取該線上的一點(diǎn)作為備選公交點(diǎn)（若有相應(yīng)的數(shù)據(jù)支持，可以根據(jù)周圍居民信息進(jìn)行具體站點(diǎn)的選擇）。

得到需要改道的公交站點(diǎn)和備選公交站點(diǎn)后，將兩點(diǎn)之間的時(shí)間作為權(quán)重，使用Floyd算法[3]，計(jì)算出耗時(shí)最短路線。

2.2 數(shù)據(jù)分析過(guò)程

通過(guò)大數(shù)據(jù)體系相關(guān)技術(shù)，結(jié)合上述預(yù)處理思路，將多源數(shù)據(jù)進(jìn)行匯總存儲(chǔ)和管理。通過(guò)數(shù)據(jù)清洗、過(guò)濾等手段將原始數(shù)據(jù)進(jìn)行整理后進(jìn)行分布式的數(shù)據(jù)分析和挖掘，最終通過(guò)統(tǒng)一的數(shù)據(jù)訪問(wèn)接口將分析結(jié)果、方案規(guī)劃等展現(xiàn)在地理圖層上，數(shù)據(jù)分析處理過(guò)程如圖2所示。

具體的數(shù)據(jù)分析過(guò)程如下：

（1）分析出的數(shù)據(jù)A（施工點(diǎn)數(shù)據(jù)）：根據(jù)“施工許可證信息”數(shù)據(jù)中提供的“工程地址”字段，調(diào)用百度開放api，可分析得到施工點(diǎn)所對(duì)應(yīng)的經(jīng)緯度數(shù)據(jù)，便可以在原型界面中展現(xiàn)深圳市所有施工點(diǎn)。（2）分析出的數(shù)據(jù)B：根據(jù)“深圳通刷卡數(shù)據(jù)”和“公交線路信息兩部分?jǐn)?shù)據(jù)，結(jié)合相應(yīng)的“施工點(diǎn)”數(shù)據(jù)，可以分析出施工點(diǎn)2公里范圍內(nèi)，在施工前后一個(gè)月內(nèi)的公交線路擁堵情況對(duì)比。（3）分析出的數(shù)據(jù)C：從平臺(tái)提供2015年12月共30天的“出租車公司-出租車數(shù)據(jù)”中看出，出租車是以每隔15秒的頻率記錄的，再依據(jù)其他幾個(gè)字段，使用SparkGraphx工具，不難推出出租車的行駛軌跡。（4）分析出的數(shù)據(jù)D：依據(jù)數(shù)據(jù)C，可分析得到出租車運(yùn)行通暢的路段數(shù)據(jù)。（5）分析出的數(shù)據(jù)E：對(duì)違章信息和施工點(diǎn)進(jìn)行關(guān)聯(lián)分析，可以得到違章點(diǎn)和施工點(diǎn)之間的散點(diǎn)圖，其分析結(jié)果圖如圖3所示。

最后，依據(jù)數(shù)據(jù)D，分析出公交車優(yōu)化改道線路。依據(jù)數(shù)據(jù)E，給出設(shè)立告示牌的合適位置建議。

2.3 系統(tǒng)詳細(xì)設(shè)計(jì)

本原型產(chǎn)品融合了移動(dòng)端設(shè)備、大數(shù)據(jù)分析平臺(tái)、GIS服務(wù)等多領(lǐng)域的技術(shù)，將數(shù)據(jù)采集、數(shù)據(jù)分析、結(jié)果推送等一系列數(shù)據(jù)流程整合在一個(gè)解決方案中，如圖4所示。

施工人員可以通過(guò)移動(dòng)端設(shè)備進(jìn)行施工現(xiàn)場(chǎng)數(shù)據(jù)采集，實(shí)時(shí)提供最新施工數(shù)據(jù)。將采集到的施工數(shù)據(jù)作為交通違章分析、擁堵情況監(jiān)控的補(bǔ)充數(shù)據(jù)，增強(qiáng)數(shù)據(jù)分析的準(zhǔn)確性，可以更加精確的分析施工工地性質(zhì)與交通違章和擁堵情況之間的關(guān)聯(lián)。普通用戶可以利用移動(dòng)端APP，結(jié)合GIS展現(xiàn)功能實(shí)時(shí)查看深圳市現(xiàn)階段正在施工的地點(diǎn)，點(diǎn)擊查看施工進(jìn)度、單位、周期等詳細(xì)信息，并且可以查看施工前道路通行情況，以及施工后道路繞行方案，達(dá)到信息實(shí)時(shí)推送的目的。利用目前已有的移動(dòng)端信息采集工具，可以獲得公交車、出租車等車輛通行軌跡信息，上傳到服務(wù)端進(jìn)行記錄和大數(shù)據(jù)分析，提供施工周邊指定路段每天通過(guò)的車輛數(shù)量，以及車輛通行平均速度，分析施工是否影響通行，是否應(yīng)增加繞行方案，為交通管理部門決策提供依據(jù)。

在交通擁堵分析方面，本web系統(tǒng)可以根據(jù)對(duì)施工工地施工前后公交車、出租車的打點(diǎn)信息，分析出道路擁堵情況變化。然后根據(jù)施工前后的擁堵變化情況，結(jié)合出租車運(yùn)行軌跡數(shù)據(jù)，給出公交線路改道建議以及改道后交通改善情況預(yù)估[4]。

在交通違章分析方面。本web系統(tǒng)可分析得出，具體施工點(diǎn)2公里范圍內(nèi)的違章數(shù)量變化熱力圖。并且提供了更為詳細(xì)的柱狀分析圖，從施工類型、違章類型、違章點(diǎn)這三個(gè)維度分析其對(duì)違章數(shù)量的影響程度。

2.4 系統(tǒng)使用方法

本系統(tǒng)分為對(duì)移動(dòng)終端和web系統(tǒng)兩大模塊。

（1）在移動(dòng)終端，施工人員登錄后，通過(guò)GPS進(jìn)行定位，對(duì)施工現(xiàn)場(chǎng)進(jìn)行拍攝、填報(bào)施工現(xiàn)場(chǎng)情況描述，與GPS定位信息一起提交到服務(wù)端。服務(wù)端根據(jù)GPS信息自動(dòng)將現(xiàn)場(chǎng)圖片和文字描述與對(duì)應(yīng)的施工工地進(jìn)行關(guān)聯(lián)。普通用戶在移動(dòng)端登錄后，首先可以根據(jù)自身所處位置，查看附近的施工工地信息以及對(duì)交通的影響。使用“導(dǎo)航”和“路線規(guī)劃”功能時(shí)，系統(tǒng)自動(dòng)根據(jù)施工現(xiàn)場(chǎng)情況和對(duì)交通的影響，規(guī)劃合理線路。（2）在Web端，用戶首先可以通過(guò)界面查看深圳市現(xiàn)有施工中的工地在GIS中的坐標(biāo)點(diǎn)位。點(diǎn)擊某個(gè)工地標(biāo)志，系統(tǒng)通過(guò)彈出窗口展示施工工地的施工類型、施工時(shí)間等詳細(xì)信息。并且可展示工地附近的公交線路情況。在彈出窗口中選擇某條公交線路，可看到工地施工前后公交過(guò)站時(shí)間的變化情況。點(diǎn)擊“線路優(yōu)化”按鈕，可以展示這條公交線路的改道建議，以及改道后的公交過(guò)站時(shí)間改善情況。

3 系統(tǒng)測(cè)試與分析

本系統(tǒng)使用了深圳平臺(tái)開放的公交過(guò)站間隔時(shí)間記錄、出租車打點(diǎn)信息以及施工數(shù)據(jù)，通過(guò)系統(tǒng)測(cè)試，GIS信息展示正常，數(shù)據(jù)分析結(jié)果可視化效果正常。

但是系統(tǒng)中仍存在一定的局限性，施工點(diǎn)周邊的公交線路有可能不是當(dāng)時(shí)最新數(shù)據(jù)，因?yàn)楣俜教峁┑摹肮痪€路信息”數(shù)據(jù)中包含一個(gè)“最后更新時(shí)間”字段，這個(gè)字段表明含義較不清晰，可能說(shuō)明是在這個(gè)時(shí)間截點(diǎn)新增的一條線路，可能說(shuō)明是在這個(gè)時(shí)間截點(diǎn)線路有調(diào)整，也可能說(shuō)明僅僅是數(shù)據(jù)的更新時(shí)間而不是實(shí)際線路變化時(shí)間，總之這個(gè)時(shí)間字段并不能說(shuō)明具體問(wèn)題。因此我們只能暫且假定分布在施工點(diǎn)周圍的公交線路是當(dāng)時(shí)最新路線。雖然有不合理處，但是這種不合理也只是小概率事件，不足以影響整個(gè)系統(tǒng)的分析作業(yè)。

4 結(jié)語(yǔ)

對(duì)于我們目前設(shè)計(jì)的這款面向相關(guān)政府決策部門的web產(chǎn)品，雖然圍繞施工數(shù)據(jù)展開一系列較為準(zhǔn)確的預(yù)測(cè)及方案建議，但仍然存在可以進(jìn)一步優(yōu)化的地方。例如，站在目前先進(jìn)的交通信息技術(shù)角度考慮，在公共交通車改道路徑選擇標(biāo)準(zhǔn)及算法中，還應(yīng)該要融入乘客乘車站點(diǎn)選擇心理問(wèn)題、多車道問(wèn)題、道路立交等因素，對(duì)設(shè)計(jì)考慮公交最優(yōu)改道路線，是值得我們作為將來(lái)的一個(gè)研究方向。

參考文獻(xiàn)

[1] 孫建中.數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘技術(shù)在建筑施工企業(yè)管理中的應(yīng)用[J].城市建設(shè)理論研究，2014（22）：3311-3311.

[2] 屈家奎.基于BIM技術(shù)的項(xiàng)目管理大數(shù)據(jù)分析決策[J].包裝世界，2018（4）：211-213.

[3] 左秀峰，沈萬(wàn)杰.基于Floyd算法的多重最短路問(wèn)題的改進(jìn)算法[J].計(jì)算機(jī)科學(xué)，2017，44（5）：232-234，267.

[4] 趙禮峰，黃奕雯.基于矩陣自定義運(yùn)算的Floyd改進(jìn)算法[J].計(jì)算機(jī)技術(shù)與發(fā)展，2016，26（10）：41-44，49.

Abstract：With the increasing amount of urban construction data， how to make use of it and contribute to the new intelligent city？ This paper mainly uses data mining technology to analyze the impact of land allowed by the Housing Bureau on the surrounding public transport and traffic violations during the construction period， and then puts forward more reasonable suggestions for public transport diversion， as well as suggestions for setting up signs to reduce traffic violations in appropriate locations.

Key words：construction data；data mining；suggestions on bus diversion；billboard recommendations