基于大數(shù)據(jù)平臺的自動路測系統(tǒng)的實(shí)現(xiàn)

劉山彪 陳志強(qiáng) 馮剛強(qiáng) 劉羲新

摘要：隨著移動通信網(wǎng)絡(luò)不斷增大、移動通信用戶日益增多，移動通信網(wǎng)絡(luò)的優(yōu)化工作日益繁重，其中很重要的一項(xiàng)測試方法就是DT（Driver Test，路測）。該文基于Spark大數(shù)據(jù)平臺開發(fā)了一套自動路測系統(tǒng)，通過分析實(shí)時回傳的路測數(shù)據(jù)或基站導(dǎo)出數(shù)據(jù)，還原出道路路測場景，高效便捷，大大節(jié)約人力物力;并以廣州市某時段路測數(shù)據(jù)為例進(jìn)行了仿真實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明本系統(tǒng)完全可以滿足廣州市路測需求。

關(guān)鍵詞：DT;自動路測;Spark;網(wǎng)絡(luò)優(yōu)化

中圖分類號：TP311? ? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2019）19-0096-02

DT路測，是指在一定地理區(qū)域內(nèi)借助測試儀表、測試終端及測試車輛等工具，沿指定路線進(jìn)行無線網(wǎng)絡(luò)參數(shù)和服務(wù)質(zhì)量測定，是移動無線網(wǎng)絡(luò)優(yōu)化中最常用的優(yōu)化方法之一。傳統(tǒng)的路測通常需要耗費(fèi)不少的人力及財力，要求操作人員具備相當(dāng)?shù)牟僮魉仞B(yǎng)，且容易造成路測數(shù)據(jù)利用率低，急需一種更智能、更普適的路測平臺來應(yīng)對日益復(fù)雜的網(wǎng)絡(luò)環(huán)境。

1 引言

隨著移動通信網(wǎng)絡(luò)的迅猛發(fā)展，對移動通信網(wǎng)絡(luò)的測試與網(wǎng)絡(luò)優(yōu)化也越來越多，每年都需要進(jìn)行大量的路測DT與撥打測試CQT，實(shí)時發(fā)現(xiàn)移動通信網(wǎng)絡(luò)問題、用戶感知問題，盡最大可能減少用戶投訴量。面對如此繁重的網(wǎng)絡(luò)優(yōu)化任務(wù)，如何既快又好的完成指定區(qū)域的路測工作，是擺在每個運(yùn)營商、移動通信網(wǎng)絡(luò)優(yōu)化平臺面前急需解決的問題。

根據(jù)測試內(nèi)容，可以將DT分為語音業(yè)務(wù)DT測試和數(shù)據(jù)業(yè)務(wù)DT測試，語音業(yè)務(wù)主要關(guān)注覆蓋情況、呼叫情況、掉話情況、語音質(zhì)量和切換情況等;而數(shù)據(jù)業(yè)務(wù)更關(guān)注測試數(shù)據(jù)業(yè)務(wù)平均傳輸速率，包括前向和反向平均數(shù)據(jù)業(yè)務(wù)速率。而自動路測系統(tǒng)是指在移動的交通工具上（如公交車、出租車）搭載自動測試數(shù)據(jù)采集及回傳終端進(jìn)行的大量數(shù)據(jù)測試，后端服務(wù)器通過數(shù)據(jù)接收處理生成各種路測報表，并以此為基礎(chǔ)建立網(wǎng)絡(luò)優(yōu)化系統(tǒng)路測響應(yīng)機(jī)制，更全面地對網(wǎng)絡(luò)質(zhì)量進(jìn)行監(jiān)測。

目前，國內(nèi)外已有部分運(yùn)營商或設(shè)備廠商提供了自動路測系統(tǒng)，文獻(xiàn)9介紹了自動路測系統(tǒng)在江蘇電信的應(yīng)用，較詳細(xì)地講解了路測系統(tǒng)的自測原理，并以實(shí)際應(yīng)用案例進(jìn)行具體分析，總結(jié)了自動路測系統(tǒng)在部署、維護(hù)及使用方面的經(jīng)驗(yàn)。文獻(xiàn)10介紹了一款中國大唐移動公司的自動路測儀ADT，通過軟硬件集成的方式實(shí)現(xiàn)了事件監(jiān)控、告警監(jiān)控、狀態(tài)監(jiān)控、MOS監(jiān)控等功能。

本文基于Spark大數(shù)據(jù)平臺，通過采集路測設(shè)備回傳信息或基站服務(wù)器導(dǎo)出信息，對所采集的路測信息進(jìn)行數(shù)據(jù)清洗、數(shù)據(jù)分析，最后以圖和表的形式呈現(xiàn)于后端服務(wù)器，可以很好應(yīng)對當(dāng)前復(fù)雜通信環(huán)境下的大量路測數(shù)據(jù)分析工作。

2 基于大數(shù)據(jù)平臺的自動路測系統(tǒng)實(shí)現(xiàn)

本自動路測系統(tǒng)從架構(gòu)上分為基礎(chǔ)架構(gòu)層、數(shù)據(jù)能力層及數(shù)據(jù)應(yīng)用層，其中基礎(chǔ)架構(gòu)負(fù)責(zé)路測回傳數(shù)據(jù)和基站導(dǎo)出數(shù)據(jù)的采集，以及數(shù)據(jù)清洗存儲工作;數(shù)據(jù)能力層負(fù)責(zé)具體的數(shù)據(jù)分析工作，基于Spark大數(shù)平臺根據(jù)指定路線進(jìn)行路線數(shù)據(jù)集生成、路測數(shù)據(jù)聚類、路測數(shù)據(jù)匹配工作，并將結(jié)果輸出;應(yīng)用層通過讀取數(shù)據(jù)分析結(jié)果，將測試結(jié)果映射到地圖上，直觀顯示路測結(jié)果。具體工作流程如下圖1所示：

為了更好地應(yīng)對當(dāng)前復(fù)雜的通信環(huán)境與日益增大的數(shù)據(jù)量，本文基于HDFS+Spark搭建了大數(shù)據(jù)分析平臺，其中HDFS負(fù)責(zé)提供分布式文件系統(tǒng)，Spark負(fù)責(zé)提供面向?qū)ο蟮拇髷?shù)據(jù)計算，將采集到的大規(guī)模路測數(shù)據(jù)抽象成一個個RDD（Resilient Distributed Datasets）對象。數(shù)據(jù)來源主要包括回傳的路測數(shù)據(jù)及從基站服務(wù)器導(dǎo)出的通信數(shù)據(jù)。

數(shù)據(jù)清洗模塊主要負(fù)責(zé)發(fā)現(xiàn)和糾正采集的數(shù)據(jù)中損壞、錯誤或遺失的記錄或字段，并將處理后的數(shù)據(jù)按照一定的規(guī)則（如設(shè)備廠商、地域等關(guān)鍵字段，通信環(huán)境下地域靠經(jīng)緯度定義）存放于數(shù)據(jù)庫內(nèi);而要發(fā)現(xiàn)的通常是不符合通信規(guī)范的數(shù)據(jù)段，予以丟棄;要糾正的是數(shù)據(jù)字段里為null的字段，采用基于采樣的近似貝葉斯方法，從已采集到的路測數(shù)據(jù)中的按貝葉斯概率方法抽取一些數(shù)據(jù)來補(bǔ)全缺失字段。

本系統(tǒng)的顯示模塊基于百度地圖提供的WEB服務(wù)API，用戶可與地圖范圍內(nèi)自定義路線，也可手動輸入路測起點(diǎn)與終點(diǎn)，通過調(diào)用DrivingRoute（location;point）進(jìn)行路線選定;然后系統(tǒng)調(diào)用getPath（）將路線生成為位置坐標(biāo)點(diǎn)集T0，保存于緩存數(shù)據(jù)庫中作為下一數(shù)據(jù)分析階段樣本參考點(diǎn)集。

基于KNN最近鄰算法比較聚類中心點(diǎn)集TC2與參考坐標(biāo)點(diǎn)集T0中點(diǎn)之間的距離，選出中心點(diǎn)集按遞增方式對應(yīng)的聚類集，依據(jù)誤差精確度從小到大的方式使用KNN算法循環(huán)找出符合誤差范圍的數(shù)據(jù)點(diǎn)集TD;先從參考點(diǎn)集最精確的誤差（考慮道路寬度）開始篩選路測數(shù)據(jù)位置點(diǎn)，若能找到足夠多的點(diǎn)則終止循環(huán)保存這些點(diǎn)，否則誤差擴(kuò)大一倍路況繼續(xù)進(jìn)行距離匹配，重復(fù)KNN距離對比，直到找出每個參考點(diǎn)集附近足夠多的路測數(shù)據(jù)集為止。

調(diào)用GetDistance（）將路測數(shù)據(jù)點(diǎn)集DT按位置及事先設(shè)定的準(zhǔn)則打印在地圖上，就能得到指定路線的自動路測案例，運(yùn)維人員可以此分析區(qū)域網(wǎng)絡(luò)覆蓋情況。

3 自動路測結(jié)果與分析

為了驗(yàn)證本文系統(tǒng)的性能，以采集的廣州市的某時段路測數(shù)據(jù)為例進(jìn)行路測校驗(yàn)，結(jié)果如下圖2、圖3所示，系統(tǒng)默認(rèn)起點(diǎn)終點(diǎn)，可重新指定路線也可于系統(tǒng)頁面拖動起點(diǎn)終點(diǎn)生成路線，點(diǎn)擊路線添加，確定路測時間，獲取數(shù)據(jù)信息就能得到路線路測信息。系統(tǒng)可選參數(shù)包括SINR（信噪比）、Cell UL Traffic（小區(qū)上行速率）、DL 64QAMUsage（下行正交調(diào)制使用率）。以SINR值為例，綠色點(diǎn)的位置代表信噪比值大于20或25，信號質(zhì)量好;黃色點(diǎn)代表信噪比值在10-20區(qū)間，信號質(zhì)量一般，需要繼續(xù)觀察;橙色點(diǎn)表示信噪比低于10，信號質(zhì)量差，需要立即檢修。如圖中3所示，華南快速干線上信號質(zhì)量良好，而柯木塱地鐵站附近1KM有大段差信號區(qū)域，需立即安排網(wǎng)絡(luò)優(yōu)化。而且，進(jìn)行18KM的自動路測還原系統(tǒng)所需時間僅需3.6s，完全可以滿足廣州市的路測需求。

4 結(jié)束語

本文提出了基于Spark開發(fā)環(huán)境的自動路測分析系統(tǒng)，通過采集路測回傳數(shù)據(jù)或基站服務(wù)器導(dǎo)出數(shù)據(jù)實(shí)現(xiàn)路測結(jié)果還原，大大減少路測人力物力，降低路測專業(yè)度，并以廣州為例進(jìn)行了自動路測實(shí)驗(yàn)，實(shí)踐證明可以達(dá)到預(yù)期效果。

參考文獻(xiàn)：

[1] 張浩.無線網(wǎng)絡(luò)測試數(shù)據(jù)分析管理系統(tǒng)的設(shè)計與實(shí)現(xiàn)[D].成都：電子科技大學(xué)，2012.

[2] Famili A ，Shen Wei-Min，Richard Weber.Evangelos Simoudis.Data preprocessing and intelligent data analysis[J].Intelligent Data Analysis，1997（1）.

[3] 袁先倫.GSM系統(tǒng)主要技術(shù)指標(biāo)以及干擾的分析和優(yōu)化[J].電腦知識與技術(shù)，2010（4）.

[4] 徐鋒南.移動通信網(wǎng)絡(luò)自動路測風(fēng)險評估方法研究[D].北京：北京郵電大學(xué)，2014.

[5] 李會志.基于數(shù)據(jù)挖掘?qū)ふ易詣勇窚y最小測試量的方法研究[D].北京：北京郵電大學(xué)，2015.

[6] 竇中兆.WCDMA系統(tǒng)原理與無線網(wǎng)絡(luò)優(yōu)化[M].北京：清華大學(xué)出版社，2009.

[7] 白鵬宇.自動路測分析系統(tǒng)的分析與設(shè)計[D].北京：北京郵電大學(xué)，2012.

[8] 虞帥，董強(qiáng).自動路測系統(tǒng)在江蘇電信的應(yīng)用[J].移動通信，2010，34（7）：81-84.

[9] 俞興明.移動通信無線網(wǎng)絡(luò)優(yōu)化技術(shù)[M].西安：西安電子科技大學(xué)出版社，2015.

【通聯(lián)編輯：代影】