基于用戶位置信令在城市交通規(guī)劃中應(yīng)用的大數(shù)據(jù)模型挖掘

趙越 王瑜 孫宏 劉芳琦 鮑麗娜 蘭婷

中國聯(lián)合網(wǎng)絡(luò)通信股份有限公司江蘇省分公司

0 引言

隨著我國社會經(jīng)濟快速發(fā)展和人民生活水平不斷提高，我國城市化發(fā)展進程加快，城市人口的增長、機動車擁有量的增加、城市形態(tài)的變化以及社會活動數(shù)量和規(guī)模的增加給國內(nèi)的大、中城市的交通狀況及其管理系統(tǒng)增加了越來越重的負(fù)荷，交通需求與供給之間的矛盾也變得越來越突出，因此需要大力推進城市交通信息化的發(fā)展。

另外一方面，隨著智能移動終端的普及，運營商手中實時采集海量用戶信令數(shù)據(jù)，通過這些用戶信令信息可以對用戶進行精準(zhǔn)定位，從而實現(xiàn)對OD矩陣、居住地就業(yè)崗位分布、客流集散地人流數(shù)據(jù)的分析。

1 定位算法模型研究

1.1 基于MR三角定位算法

終端與小區(qū)間距離的計算是定位算法準(zhǔn)確與否的關(guān)鍵因素。Tadv（時間提前量）是網(wǎng)管直接統(tǒng)計的由于終端與基站間距離導(dǎo)致的時間差，不受陰影衰落與穿透損耗等因素影響，精度更高。因此在LTE MR數(shù)據(jù)中，主服務(wù)小區(qū)Tadv，盡量都用Tadv計算得到距離；在主服務(wù)小區(qū)沒有Tadv的情況下，才用RSRP測算距離。

MR中Tadv取值0～1282，1個Tadv等于78米，因此距離= Tadv值×78米

MR中的鄰區(qū)由于沒有Tadv，因此只能用RSRP計算距離。采用RSRP計算距離的方法分為2類，如下所述：

（1）FDD：參考信號功率(dBm)= dlRsBoost + pMax/10 -Round(10 × Log(dlChBw/10 × 5 × 12) / Log(10), 2)

（2）TDD：參考信號功率（dBm）= dlRsBoost + pMax/10- Round(10 × Log(ChBw/10 × 5 × 12) / Log(10), 2)

根據(jù)鏈路預(yù)算公式，可通過路徑損耗計算得到接入距離：

S=10^((路 徑 損 耗 (dB)-161.04+7.1×LOG10(20)-7.5×LOG10(20)+(24.37-3.7×(20/天 線 掛 高 (m))^2)×LOG10(天線 掛 高 (m))-20×LOG10(頻 點 (GHz))+(3.2×(LOG10(11.75×UE 高度 (m)))^2-4.97)+3×(43.42-3.1×LOG10(天線掛高 (m))))/(43.42-3.1×LOG10(天線掛高(m))))

其中，路徑損耗計算如下：

路徑損耗(dB)= 參考信號發(fā)射功率(dBm) -參考信號接收電平RSRP(dBm) -穿透損耗(dB) -陰影衰落（dB)）-基站饋線損耗(dB) +基站天線發(fā)射增益（dBi）+終端天線接收增益（dBi）-終端接收線纜與人體損耗（dB）。

（1）判斷采樣點的各導(dǎo)頻中（包含服務(wù)小區(qū)和鄰小區(qū)）RSRP最強的導(dǎo)頻是否為室內(nèi)小區(qū)：若是，則直接將采樣點定位在室內(nèi)小區(qū)所在的位置半徑50米內(nèi)隨機撒點；若否，則采樣下述定位算法進行定位。

（2）對于室外定位，是一個平面幾何問題，關(guān)鍵點在于在平面上確定一點的信息量是否充足。

（3）對于不重合點小于3個的情況，在平面上確定一點的位置是“信息不充分的”，因此需要結(jié)合小區(qū)天線方位角作最大可能性判定，本算法中用算法擬合選取的規(guī)則，以可能的位置點來作為定位點。

（4）對于不重合點大于等于3個的情況，信息量是冗余的，可以充分的利用信息的冗余量，求出趨近于真實點的位置。不同算法的關(guān)鍵在于用冗余數(shù)據(jù)修正數(shù)據(jù)準(zhǔn)確性方式的不同。其中，最小二乘法是數(shù)學(xué)上比較好的逼近方法。

（5）已知n個節(jié)點的坐標(biāo)，及它們到未知節(jié)點D的距離，確定節(jié)點D的坐標(biāo)。

1.2 基于OTT位置GPS數(shù)據(jù)定位

（1）關(guān)鍵字匹配算法

不同APP的HTTP表頭中URI包含的經(jīng)緯度信息表達方式不盡相同，傳統(tǒng)處理方式是對關(guān)鍵字逐項迭代匹配，找到表頭經(jīng)緯度字段提取，單條記錄多次匹配，如圖1所示。

圖1 關(guān)鍵字匹配算法圖

（2）特征數(shù)據(jù)匹配算法

考慮關(guān)鍵字匹配算法的局限性，進行改進研究，引入特征數(shù)據(jù)匹配算法，根據(jù)URI數(shù)據(jù)結(jié)構(gòu)進行經(jīng)緯度特征數(shù)據(jù)值匹配（例如長春市邊界為：（127.05～124.6,45.2～43.29）數(shù)據(jù)只需進行N次特征匹配就能定位到經(jīng)緯度信息，如圖2所示。

圖2 特征數(shù)據(jù)匹配算法圖

2 城市規(guī)劃數(shù)據(jù)模型建立

2.1 城市網(wǎng)格化實現(xiàn)方案

在用戶位置數(shù)據(jù)挖掘前，首先需要對城市進行網(wǎng)格化分，將城市按照相應(yīng)算法切割成足夠小的網(wǎng)格，對應(yīng)可以將用戶位置規(guī)整地劃分到分解的網(wǎng)格中。Geohash算法其實就是將整個地圖或者某個分割所得的區(qū)域進行一次劃分，由于采用的是base32編碼方式，即Geohash中的每一個字母或者數(shù)字（如wx4g0e中的w）都是由5bits組成（2^5 = 32，base32），這5bits可以有32種不同的組合（0～31），這樣我們可以將整個地圖區(qū)域分為32個區(qū)域，通過00000 ～ 11111來標(biāo)識這32個區(qū)域，可以根據(jù)需要進行多次劃分，根據(jù)GEOHASH編碼不同精度，計算出來的網(wǎng)格大小不同。

本文采用將用戶經(jīng)緯度數(shù)據(jù)進行GEOHASH編碼，然后按七位歸類劃分網(wǎng)格。有一個重大缺點就是GEOHASH不能實現(xiàn)所有最近位置編碼前輟越接近的規(guī)律，而出現(xiàn)相離幾米的用戶出現(xiàn)在兩個網(wǎng)格中。我們系統(tǒng)的實現(xiàn)時，采用地圖系統(tǒng)對小區(qū)進行PIO、AIO取樣分析，然后通過磁力聚合原理，將相同屬性，相近距離的小區(qū)劃成一組網(wǎng)格，最近通過中心點計算，最后形成網(wǎng)格，這樣在位置分析時，網(wǎng)格更有意義，路徑計算也更加合理。

2.2 位置數(shù)據(jù)模型構(gòu)建方案

城市規(guī)劃中，按目標(biāo)人群分為工作地和居住地。工作地、居住地可以根據(jù)時間維度、駐留維度進行劃分。工作地居住地的提取是位置分析里一個比較基礎(chǔ)與重要的功能，算法上可以采用簡單的方式通過上下班時間歸類提取數(shù)據(jù)滿足一些需求。職住數(shù)據(jù)也是很多其他位置分析的基礎(chǔ)數(shù)據(jù)，如果質(zhì)量不好，直接影響其他業(yè)務(wù)的分析結(jié)果，不管其他業(yè)務(wù)的算法有多好。在較高數(shù)據(jù)精度需求中，就需求改進、優(yōu)化職住地址提取算法，并加入機器學(xué)習(xí)算法。上下班時間段停留數(shù)據(jù)作為基本的數(shù)據(jù)，系統(tǒng)在以下幾個方面做了算法優(yōu)化處理：家庭地址變化識別及快速切換，公司地址變化識別及快速切換，中長期出差人員識別及歷史數(shù)據(jù)保留，無職人員識別，辦公及生產(chǎn)區(qū)域識別，居住小區(qū)識別，在職人員活躍度識別，加班人員識別。

以上所有算法都比較復(fù)雜，并需要很大的計算資源，所有識別過程采用機器學(xué)習(xí)，數(shù)據(jù)逐步修正與完善，后期的準(zhǔn)確性都建立在前期的學(xué)習(xí)模型上。由于通信業(yè)務(wù)白天是高峰期，晚上數(shù)據(jù)量比較少，系統(tǒng)在資源分配及編排上，晚間啟動更多的學(xué)習(xí)進程，保證不影響每10min粒度的報表數(shù)據(jù)輸出。

（1）人員工作地分布情況

工作地計算口徑：最近30天內(nèi)，在工作日（周一～周五）的工作時間段內(nèi)（10：00～16：00），在網(wǎng)格內(nèi)停留時長大于3小時的天數(shù)〉=15天的目標(biāo)，且工作日（周一～周五）的休息時間段內(nèi)（22：00～05：00），在網(wǎng)格內(nèi)的停留時長大于3小時的天數(shù)＜=8天，則判斷目標(biāo)的工作地在該網(wǎng)格。

（2）人員居住地分布情況

居住地計算口徑：最近30天內(nèi)，在工作日（周一～周五）的工作時間段內(nèi)（10：00～16：00），在網(wǎng)格內(nèi)停留時長大于3小時的天數(shù)＜=8天的目標(biāo)，且工作日（周一～周五）的休息時間段內(nèi)（22：00～05：00），在網(wǎng)格內(nèi)的停留時長大于3小時的天數(shù)＞=15天，則判斷目標(biāo)人員的居住地在該網(wǎng)格。

（3）居住地工作地人員遷移情況

出發(fā)時間：早晚高峰時，最后一次離開O的時間

到達時間：早晚高峰時，第一次到達D的時間，若無則默認(rèn)為凌晨0時起每5min作為一個時間間隔，統(tǒng)計在這5min內(nèi)從O出發(fā)的用戶，最終到達D，每條軌跡的人數(shù)，所用時間分布等信息；

早高峰：6：30～9：30

晚高峰：17：00～19：30

加班時段：21：30～24：00

（4）網(wǎng)格內(nèi)人員遷移情況

統(tǒng)計每個網(wǎng)格當(dāng)前的用戶，10min后的分布情況，以及到達用時，在當(dāng)前網(wǎng)格逗留時長。

（5）區(qū)域?qū)崟r人數(shù)

統(tǒng)計每10min內(nèi)，當(dāng)前區(qū)域下用戶數(shù)。

（6）人員遷移路徑

統(tǒng)計口徑：6∶30～21∶30 之間{網(wǎng)格 ID1，…，網(wǎng)格IDn}：到達時間：離開時間。

2.3 基于流式大數(shù)據(jù)處理機制

位置數(shù)據(jù)是一組順序、大量、快速、連續(xù)到達的數(shù)據(jù)序列,一般情況下,數(shù)據(jù)流可被視為一個隨時間延續(xù)而無限增長的動態(tài)數(shù)據(jù)集合。

普通流數(shù)據(jù)具有四個特點：

（1）數(shù)據(jù)實時到達；

（2）數(shù)據(jù)到達次序獨立，不受應(yīng)用系統(tǒng)所控制；

（3）數(shù)據(jù)規(guī)模宏大且不能預(yù)知其最大值；

（4）數(shù)據(jù)一經(jīng)處理，除非特意保存，否則不能被再次取出處理，或者再次提取數(shù)據(jù)代價昂貴。

用戶信令數(shù)據(jù)流的獨特性主要有：

（1）數(shù)據(jù)相對實時性；

（2）數(shù)據(jù)到達次序在短周期內(nèi)無順序性；

（3）數(shù)據(jù)規(guī)模宏大，但由于用戶數(shù)與每天的使用頻率有一定規(guī)律，數(shù)據(jù)能夠進行估算。

（4）在進行位置分析時，由于算法復(fù)雜，并且要求較快的處理速度，中間數(shù)據(jù)不能采用

普通方式進行存儲。

流式大數(shù)據(jù)處理框架：

（1）Apache Storm，在Storm中，先要設(shè)計一個用于實時計算的圖狀結(jié)構(gòu)，我們稱之為拓?fù)?。這個拓?fù)鋵惶峤唤o集群，由集群中的主控節(jié)點分發(fā)代碼，將任務(wù)分配給工作節(jié)點執(zhí)行。

（2）Apache Spark Streaming，核心是Spark API的一個擴展，在處理前按時間間隔預(yù)先將其切分為一段一段的批處理作業(yè)。

通過對當(dāng)前業(yè)務(wù)系統(tǒng)的分析，都不太適合需求，原因如下：

（1）系統(tǒng)結(jié)構(gòu)復(fù)雜；

（2）部分不太完善，實際使用中有不少BUG；

（3）不適合進行位置路徑處理；

（4）當(dāng)前業(yè)務(wù)分析時帶有龐大的內(nèi)存數(shù)據(jù)，不適合分布方式高速處理，能發(fā)低下；

（5）完成本業(yè)務(wù)需求中的數(shù)據(jù)需要龐大的計算機硬件資源；

結(jié)合位置信令特點，此次數(shù)據(jù)模型挖掘采用基于容器技術(shù)的微服務(wù)系統(tǒng)，平臺采用Golang開發(fā)的微服務(wù)系統(tǒng)再運行于基于Kubernetes加框的容器系統(tǒng)中完成流數(shù)據(jù)處理及其本業(yè)務(wù)系統(tǒng)中的所有服務(wù)。

由于位置信令流的獨特性，在流式處理前，需要進行一次基于內(nèi)存計算的預(yù)處理。信令信息數(shù)據(jù)收集過程中，在5-10min內(nèi)的數(shù)據(jù)，上無序數(shù)據(jù)，在進行流式處理前，需要對數(shù)據(jù)進行準(zhǔn)確性排序處理，由于數(shù)據(jù)量非常大，系統(tǒng)采用10min延遲入庫，按分鐘切片排序，然后再匯合成正確時序的數(shù)據(jù)流。

2.4 位置信令數(shù)據(jù)抖動處理

何為抖動，指某用戶在兩個或多個小區(qū)基站中間時，可能由于無線信令原因，或者其在一個小小范圍的距離之間移動時，會頻繁的產(chǎn)生不同的位置信令，我們在對網(wǎng)格進行磁力聚合處理后，會自動處理部分?jǐn)?shù)據(jù)，但不能完全達到合理，我們通過對該用戶的持續(xù)位置采樣，能夠分析出該用戶的信令特征，如果數(shù)據(jù)抖動注冊時，能夠?qū)⒍秳赢a(chǎn)生的信令數(shù)據(jù)進行過濾，保證用戶路徑的穩(wěn)定性與合理性。

抖動數(shù)據(jù)處理學(xué)習(xí)服務(wù)。在抖動處理中，利用了機器學(xué)習(xí)技術(shù)，系統(tǒng)能夠完成該區(qū)域多用戶持續(xù)性采樣學(xué)習(xí)，從而進行更準(zhǔn)確的數(shù)據(jù)處理。

數(shù)據(jù)處理的過程就也是學(xué)習(xí)的過程，隨著系統(tǒng)不停運行，數(shù)據(jù)處理能夠得到持續(xù)優(yōu)化。

當(dāng)然這個學(xué)習(xí)過程也是非常耗費計算資源的，這里也充分地展示了基于彈性微服務(wù)架構(gòu)的一個優(yōu)勢，在流處理時，將初步判斷有抖動嫌疑的數(shù)據(jù)送到一個學(xué)習(xí)微服務(wù)，這個微服務(wù)可能在云計算中的其他節(jié)點，學(xué)習(xí)后的結(jié)果再階段性加入到流處理過程中。當(dāng)學(xué)習(xí)負(fù)荷比較大時，可以按預(yù)先進行的容器編排設(shè)置啟動多個學(xué)習(xí)服務(wù)，學(xué)習(xí)服務(wù)負(fù)荷小的時間，再把資源釋放出來。還有一個重要的容錯特征，系統(tǒng)始終會保持一個或多個學(xué)習(xí)服務(wù)，即使其中一臺主機崩潰時，也會在短時間不到1min內(nèi)在其他主機自動部署新的學(xué)習(xí)服務(wù)。

3 總結(jié)與展望

通過將挖掘后數(shù)據(jù)進行整合呈現(xiàn)，實現(xiàn)了交通OD的全局實時感知，可以細化到每個OD每條道路，每個交通小區(qū)，實現(xiàn)對交通治理的數(shù)據(jù)決策支撐。通過數(shù)據(jù)挖掘，某地市出行距離在5-10km的人群最多，達到32%，私家車出行的比例達到48%。

圖3 城市數(shù)據(jù)大腦—交通態(tài)勢實時感知圖

通過一個月內(nèi)人員出行軌跡的分析計算，可得出公交快7線路的運力配置與客流高峰分布有差異?？?沿線職住分布及客流覆蓋率如下圖：

圖4 快7沿線職住分布及客流覆蓋率圖

快7沿線客流總需求及公交運力時間分布（早高峰）如下圖：

圖5 快7沿線客流總需求及公交運力時間分布（早高峰）圖