徐州馬拉松大數(shù)據(jù)保障應用案例分析

李旭東 蘇莎莎中國電信股份有限公司徐州分公司

0 引言

當前，全球范圍內(nèi)掀起一股大數(shù)據(jù)研究熱潮，各種數(shù)據(jù)密集型行業(yè)都致力于挖掘其中隱藏的價值，以期提升自身的整體水平和行業(yè)競爭力。中國電信股份有限公司更是提出了戰(zhàn)略轉(zhuǎn)型3.0的戰(zhàn)略，著重推進網(wǎng)絡智能化、業(yè)務生態(tài)化、運營智慧化，為用戶提供綜合智能信息服務，引領(lǐng)數(shù)字生態(tài)，服務產(chǎn)業(yè)轉(zhuǎn)型升級和社會治理創(chuàng)新。大數(shù)據(jù)研究就是推進電信3.0戰(zhàn)略轉(zhuǎn)型的重要方法之一。聚焦電信領(lǐng)域，利用話單數(shù)據(jù)、套餐消費數(shù)據(jù)以及基本信息數(shù)據(jù)等內(nèi)部和外部獲得的大數(shù)據(jù)進行系統(tǒng)性和戰(zhàn)略性的管理，可以在客流監(jiān)控、精準營銷、智慧運維等方面起到十分重要的作用。

在馬拉松、龍舟賽等大型賽事舉辦期間，利用無線話單對用戶進行定位追蹤，可以實現(xiàn)對賽道周圍觀眾分布以及車站、地鐵口、起點終點等重點指定區(qū)域客流量的監(jiān)控，幫助主辦方及時發(fā)現(xiàn)客流擁塞、人員擁堵等情況，以便及時做好人員疏散，保證賽場人員安全，防止人員踩踏事故。同時，結(jié)合用戶特征模型對現(xiàn)場運動員和觀眾進行分析，分析用戶年齡、性別、愛好、職業(yè)、家鄉(xiāng)、熱搜詞、外地用戶駐留天數(shù)、出行方式、游玩景區(qū)、居住賓館等信息，可以幫助主辦方分析賽事的社會影響力以及經(jīng)濟效益，為進一步改進賽事舉辦過程中的不足打下堅實的基礎(chǔ)。

1 大數(shù)據(jù)平臺的需求

基于與賽事組委會的溝通，結(jié)合無線大數(shù)據(jù)的特點和能力，將平臺可以實現(xiàn)的用戶需求分為以下四點：

1.1 重點區(qū)域客流檢測

為了保障賽事安全有序舉行，及時疏散重點區(qū)域內(nèi)的觀眾以及運動員，需要實時監(jiān)控馬拉松比賽起點、迷你馬拉松終點、半程馬拉松終點、全程馬拉松終點附近的客流變化情況，保證在客流人數(shù)突然變多的情況下，能夠及時執(zhí)行相關(guān)應急預案。

1.2 賽道沿線人流分析

在馬拉松賽事舉辦期間，賽道沿線會聚集大量的觀眾，隨著比賽的進行，觀眾也會隨著運動員的行進發(fā)生一定程度的位移，實時監(jiān)控賽道沿線人流可以發(fā)現(xiàn)觀眾位置的變化情況，為電視直播提供一定的參考依據(jù)。

1.3 參賽運動員與觀眾特征分析

對馬拉松賽事的觀眾與參賽運動員的職業(yè)、愛好、年齡、性別、歸屬地、熱搜詞進行分析，可以了解賽事的參與者和關(guān)注者的特點，為之后賽事的定向精準營銷推廣提供支撐數(shù)據(jù)，幫助擴大賽事的影響力。同時，也可以根據(jù)運動員與觀眾的特征，吸引贊助商的投資。

1.4 外地用戶活動情況分析

馬拉松賽事會吸引周邊地市的觀眾和運動員參與到其中，對外地運動員和觀眾的歸屬地、在本地駐留時長、去過的商場和景點、住宿的賓館、出行的交通方式等進行分析，能夠為組委會分析馬拉松賽事帶來的輻射影響力、社會效益、經(jīng)濟效益提供重要的依據(jù)。

2 大數(shù)據(jù)平臺開發(fā)工具

馬拉松大數(shù)據(jù)分析平臺利用網(wǎng)頁的形式對賽場當天的情況進行展示，主要分為后臺進行數(shù)據(jù)分析和前臺進行數(shù)據(jù)展示兩個方面。平臺后臺數(shù)據(jù)處理采用Hadoop平臺采集CDMA和LTE的話單數(shù)據(jù)，利用SQL SERVER結(jié)合用戶特征分析模型對采集到的話單數(shù)據(jù)進行數(shù)據(jù)分析處理。前臺展示用javascript對可視化展示頁面進行設計，采用Layout框架進行頁面布局，結(jié)合echarts中各種圖表和百度地圖中的熱力圖對分析出來的數(shù)據(jù)進行可視化展示。

3 大數(shù)據(jù)平臺功能實現(xiàn)原理

無線大數(shù)據(jù)平臺從用戶需求入手，按照需求分析——話單采集——數(shù)據(jù)清洗——挖掘分析——產(chǎn)品包裝的五步分析法進行設計。具體流程如圖1所示。

圖1 五步法平臺開發(fā)設計流程圖

基于賽事組委會的需求，利用五步法對相關(guān)功能予以實現(xiàn)，主要分為以下幾個方面的內(nèi)容：

3.1 基礎(chǔ)數(shù)據(jù)確認

根據(jù)組委會確認的比賽賽道，利用打點測試的方法確定賽道周邊的無線環(huán)境，如圖2所示。

圖2 徐州馬拉松賽道沿線無線環(huán)境示意圖

根據(jù)賽道沿線的各個采樣點和CDMA以及LTE基站扇區(qū)一一對應的關(guān)系，得到每個賽道上每個經(jīng)緯度對應的點覆蓋的基站扇區(qū)清單，確定話單采集的CDMA和LTE基站扇區(qū)范圍，如圖3所示。根據(jù)組委會對實時性的要求，按照5分鐘的時間粒度分別對用戶的1X話單、DO話單以及LTE話單進行采集，得到疑似用戶清單。

圖3 賽道采樣點與基站扇區(qū)對應關(guān)系

3.2 噪聲用戶清洗

根據(jù)基站取到的原始話單，有很多不屬于賽事觀眾和運動員，這些用戶就是噪聲用戶。噪聲用戶主要由以下2個部分組成：

（1）空間維度上的噪聲用戶。由于基站扇區(qū)覆蓋范圍較大，僅僅從基站扇區(qū)覆蓋范圍來提取的話單數(shù)量會遠遠超出賽道區(qū)域范圍內(nèi)的話單數(shù)量。對于空間維度上的噪聲用戶，可以利用手機與基站扇區(qū)交互信息的三角定位算法，確定某用戶在某一時刻的位置，算法原理如圖4所示。

圖4 三角定位算法原理示意圖

根據(jù)定位的誤差在50-100米的范圍內(nèi)，將賽道區(qū)域用50米×50米的柵格來表示，如圖5所示,將落在柵格內(nèi)的話單提取出來，剔除區(qū)域外用戶。

圖5 馬拉松賽道沿線柵格示意圖

（2）時間維度上的噪聲用戶。由于柵格范圍是50米×50米，柵格范圍內(nèi)會包含長期在這個柵格內(nèi)的常駐用戶和比賽當天路過該柵格的過路用戶。常駐用戶和過路用戶不在目標用戶的范圍之內(nèi)，也屬于噪聲用戶。為了清洗掉時間維度上的噪聲用戶，對于比賽當天話單只出現(xiàn)過一次或者首次出現(xiàn)和最后一次出現(xiàn)時間間隔不超過10分鐘的定義為過路用戶。另外，提取比賽開始前一周的扇區(qū)話單數(shù)據(jù)，將一周中有5天時間在某一特定柵格出現(xiàn)過，并且每天出現(xiàn)時間超過5個小時的用戶記錄為常駐用戶。對于常駐用戶，如果比賽當天只在常駐柵格內(nèi)出現(xiàn)過，那么作為噪聲用戶進行剔除。

3.3 挖掘分析

經(jīng)過噪聲用戶清洗后，得到目標用戶清單?；谀繕擞脩魵v史話單分析的位置信息、基站場景信息以及時間信息三個維度，結(jié)合用戶感知數(shù)據(jù)、套餐資費、上網(wǎng)行為等數(shù)據(jù)為用戶建立職業(yè)、興趣特征、理財消費、早晚常駐地以及基礎(chǔ)信息五個維度的用戶特征模型。用戶特征模型內(nèi)容如圖6所示。

圖6 用戶五維標簽特征體系

用戶特征標簽模型的參數(shù)主要包括以下幾個部分：

（1）地理維度：覆蓋某一目標區(qū)域的室分扇區(qū)和有效覆蓋目標區(qū)域達到80%以上的室外扇區(qū)。

（2）時間維度：根據(jù)工作性質(zhì)不同，判斷一天中在某個時間段中出現(xiàn)N小時以上則當天滿足，一周有M天及以上滿足則當值滿足。

（3）加權(quán)統(tǒng)計規(guī)范：最近P周加權(quán)統(tǒng)計（滿足的周給相應的加權(quán)分數(shù)），這P周按照時間等因素賦予不同的權(quán)重分數(shù)，若總分達到門限值要求，則符合特征標簽要求，為用戶添加相應特征標簽。

（4）附加信息來源：結(jié)合大客戶套餐信息、用戶感知數(shù)據(jù)、用戶上網(wǎng)行為、套餐消費數(shù)據(jù)以及用戶基本信息等進行分析。

（5）更新方式：特征標簽每周根據(jù)加權(quán)信息進行統(tǒng)計，對于用戶特征標簽進行更新。標簽權(quán)重門限值以及權(quán)重占比分值會根據(jù)屬于該標簽用戶的時間維度參數(shù)，作為訓練集，利用聚類算法結(jié)合浮動范圍更新N值和M值，同時對于加權(quán)統(tǒng)計門限值，也根據(jù)訓練集結(jié)果，利用聚類算法結(jié)合浮動范圍的方法對滿足的門限值進行更新。

（6）標簽數(shù)量：若標簽屬于互斥標簽，如職業(yè)、常駐地等信息，那么同一用戶取權(quán)重最大的標簽；若標簽不屬于互斥的，如愛好特征等，則取權(quán)重最大的TOP5標簽。

3.4 平臺設計包裝

信息安全：將涉及到的用戶標識信息進行加密，并在平臺展示中只展示統(tǒng)計性數(shù)據(jù)，不提供用戶詳單，保證用戶隱私不會泄露。

實時展示：根據(jù)組委會需求，需要對馬拉松賽事期間相關(guān)情況進行大屏展示。根據(jù)相關(guān)要求，利用網(wǎng)頁形式結(jié)合echarts圖表中的矢量地圖、柱狀圖、餅狀圖、堆積折線圖、字符云和熱力圖，對組委會關(guān)心的用戶歸屬地、性別、年齡、愛好、職業(yè)、重點區(qū)域客流監(jiān)控、賽道人流分布、特征詞等進行可視化展示。

賽后分析：對賽事影響力的相關(guān)分析，包括賽事參與總?cè)藬?shù)、用戶特征分析，外地參與用戶分布、外地用戶的歸屬地、在本地駐留時長、去過的商場和景點、住宿的賓館、出行的交通方式等分析。

4 馬拉松大數(shù)據(jù)保障設計實現(xiàn)

4.1 馬拉松大數(shù)據(jù)監(jiān)控平臺設計

平臺利用JAVA語言借助Myeclipse開發(fā)工具進行開發(fā)，采用了Layout架構(gòu)進行設計。

主要展示功能實現(xiàn)如下：

整體布局：將展示頁面分為6個區(qū)域，分為標題欄、客流來源、客流特征、賽道實時人數(shù)監(jiān)控、客流監(jiān)控、客流喜好6個區(qū)域。

功能設計：標題欄展示中國電信LOGO、智慧無線LOGO、大數(shù)據(jù)智觀、平臺標題、時間以及天氣情況?？梢缘谝粫r間讓用戶了解本平臺的用途、開發(fā)者和當時的天氣情況。

客流來源：利用矢量地圖展示當前賽場內(nèi)用戶的歸屬地和柱狀圖，從大到小顯示所有省份人數(shù)的統(tǒng)計，人數(shù)多少直觀明了。如圖7所示。

圖7 客流來源模塊示意圖

客流特征：利用餅狀圖對賽道內(nèi)用戶的職業(yè)、愛好、年齡、性別進行統(tǒng)計分析，并且兩組數(shù)據(jù)進行輪播，很直觀地可以看出各類特征所占比例。如圖8所示。

圖8 客流特征設計示意圖

賽道實時人數(shù)監(jiān)控：利用賽道內(nèi)的點和柵格對應關(guān)系，將柵格內(nèi)的人數(shù)吸附到馬拉松賽道之上，根據(jù)人數(shù)多少用不同的顏色來表示人流密集情況，并實施顯示賽場內(nèi)用戶總?cè)藬?shù)。如圖9所示。

圖9 賽道實時人數(shù)監(jiān)控設計示意圖

客流監(jiān)控：對賽事起點、迷你馬拉松終點、半程馬拉松終點、全程馬拉松終點四個區(qū)域的人流量進行監(jiān)控，并用堆積折線圖對不同時間的人數(shù)進行展示，可以展示不同地點人數(shù)隨時間變化的趨勢。如圖10所示。

圖10 客流監(jiān)控模塊設計示意圖

客流喜好：利用字符云的形式對賽場內(nèi)用戶關(guān)注的熱搜詞進行展示，并根據(jù)權(quán)重大小用不同大小的字體進行展示?？梢灾蕾悎鰞?nèi)用戶的關(guān)注熱點。如圖11所示。

創(chuàng)新與發(fā)展——大數(shù)據(jù)、云計算、網(wǎng)信安全及其他新技術(shù)

圖11 客流喜好模塊設計示意圖

將各個模塊組合在一起并且對頁面定時刷新，可以實現(xiàn)對賽道沿線用戶的實時監(jiān)控分析。平臺如圖12所示。

圖12 2017年徐州國際馬拉松電信大數(shù)據(jù)智觀

4.2 馬拉松大數(shù)據(jù)分析報告

賽后分析報告是根據(jù)客戶需求，對賽事參與總?cè)藬?shù)、用戶特征分析、外地參與用戶分布、外地用戶的歸屬地、在本地駐留時長、去過的商場和景點、住宿的賓館、出行的交通方式等進行分析，并制作可以供微信，微博等網(wǎng)絡平臺分享傳播的宣傳文案。

5 總結(jié)與推廣

本次對徐州馬拉松的大數(shù)據(jù)分析保障，取得了重大的社會經(jīng)濟效益，得到了組委會的認可，增強了電信與市政府在大數(shù)據(jù)方面的進一步合作與交流，打造了電信智能化的品牌效應。同時，本次馬拉松賽事的分析保障也為之后舉辦諸如龍舟賽等其他重大賽事提供了重要的示范參考。