基于信令監(jiān)測的終端性能與用戶感知分析系統(tǒng)

鐘鼎，郭志林，廖振松

（中國移動通信集團湖北有限公司，武漢 430023）

基于信令監(jiān)測的終端性能與用戶感知分析系統(tǒng)

鐘鼎，郭志林，廖振松

（中國移動通信集團湖北有限公司，武漢 430023）

在移動互聯(lián)網(wǎng)時代，終端對用戶感知的影響非常關(guān)鍵。一方面，終端品牌眾多，質(zhì)量良莠不齊，帶來了終端問題的多樣性。另一方面，終端與應(yīng)用軟件、不同廠家產(chǎn)品的兼容性，也帶來問題的不可調(diào)和。本文主要是從終端維度上挖掘出影響用戶感知的短板問題，定位出可能的終端性能或者是兼容性上的問題，為終端市場營銷和資源投放進(jìn)行總體的方向指引，從終端維度上提升用戶的使用感知和網(wǎng)絡(luò)體驗。

客戶感知；終端；全量投訴；滿意度；關(guān)聯(lián)分析

1 引言

人們對移動互聯(lián)網(wǎng)技術(shù)的渴望一方面推進(jìn)了移動通信技術(shù)的快速發(fā)展，如3G、4G、CMMB等多媒體業(yè)務(wù)競相開展，同時也迎來手機生產(chǎn)廠商高爆發(fā)增長的黃金時代，除了蘋果、三星等傳統(tǒng)的手機巨頭外，也誕生了小米、樂視等新興的廠商，其他的廠商也更是如雨后春筍般相繼而生。在行業(yè)繁榮的背后各種問題也開始逐漸顯露倪端，如不同廠商生產(chǎn)的手機質(zhì)量層次不齊，不同廠商的終端和應(yīng)用軟件之間存在兼容性問題，更有甚者是部分終端自身存在性能上或者系統(tǒng)上的缺陷等。如果是終端出現(xiàn)問題而又沒有及時發(fā)現(xiàn)，那么它影響的將是一個用戶群，而用戶的慣性思維第一個想到的就是運營商的問題，進(jìn)而可能會導(dǎo)致針對運營商的大面積投訴。在目前競爭激烈的情況下，一旦出現(xiàn)大面積投訴，將嚴(yán)重影響移動公司的整體形象，甚至造成客戶流失。

早期對于異常終端的發(fā)現(xiàn)和挖掘都較為滯后，總是在批量的用戶投訴之后才后知后覺，不能在第一時間發(fā)現(xiàn)問題。

（1）沒有進(jìn)行終端維度的指標(biāo)優(yōu)化和管理。在以往的網(wǎng)絡(luò)性能指標(biāo)提升與優(yōu)化過程中總是站在網(wǎng)絡(luò)的維度進(jìn)行優(yōu)化，總是以全網(wǎng)或者某個地市某個片區(qū)為單位進(jìn)行優(yōu)化提升，卻沒有細(xì)化到終端維度。

（2）缺乏自動化處理工具。在以往的工作中，如果通過用戶投訴發(fā)現(xiàn)某款終端存在問題只能通過手動的方法去挖掘分析，與信令以及網(wǎng)管指標(biāo)的關(guān)聯(lián)分析都是通過人工完成，需要編寫復(fù)雜的Excel公式來進(jìn)行計算，費時費力且容易出錯。

（3）缺乏預(yù)測手段，不能在用戶投訴之前發(fā)現(xiàn)終端問題。在目前的工作中，處理終端問題都是被動的后知后覺的處理方式，一方面造成問題處理周期長，另一方面也導(dǎo)致了集團滿意度調(diào)查中各項結(jié)果偏低，帶來不好的影響。

基于信令監(jiān)測的終端性能和用戶感知系統(tǒng)，正是基于以上需求而研發(fā)。該系統(tǒng)主要基于以下3個方面的出發(fā)點。

（1）對現(xiàn)網(wǎng)在用的所有終端進(jìn)行綜合性的性能分析，包括終端自身性能、與主流應(yīng)用之間的兼容性問題等，對于可能存在問題的疑似異常終端，再結(jié)合萬投比和用戶信令進(jìn)行關(guān)聯(lián)分析，精準(zhǔn)定位終端問題。

（2）進(jìn)行終端維度上的用戶感知量化和分析，根據(jù)分析結(jié)果呈現(xiàn)出不同終端的網(wǎng)絡(luò)使用效果和用戶的使用感知及喜愛程度等，為終端的市場營銷與資源投放提供數(shù)據(jù)支撐和方向性指引。

（3）形成一個自動化運行的系統(tǒng)，實現(xiàn)天/周/月等不同時間粒度的終端維度性能指標(biāo)評估和用戶感知分析，以圖形化和表格化的形式自動輸出相關(guān)報告。

2 基于終端性能定位的客戶感知分析系統(tǒng)

2.1 系統(tǒng)構(gòu)建總體指導(dǎo)思路

基于信令監(jiān)測的終端性能和用戶感知分析系統(tǒng)的建設(shè)與應(yīng)用思路，主要包括如下。

（1）基礎(chǔ)數(shù)據(jù)獲?。簲?shù)據(jù)獲取分為兩部分，分別是從經(jīng)分系統(tǒng)獲取萬投比數(shù)據(jù)以及從信令監(jiān)測系統(tǒng)獲取XDR信令數(shù)據(jù)。移動通信的信令是一個非常復(fù)雜的系統(tǒng)，一個完整的通信流程涉及到眾多的網(wǎng)元，各個網(wǎng)元之間的信令交互過程也都比較復(fù)雜。信令監(jiān)測系統(tǒng)按照標(biāo)準(zhǔn)協(xié)議對每一條信令進(jìn)行解析并按照不同字段重新組裝成XDR數(shù)據(jù)。本模型對于信令數(shù)據(jù)的獲取采取簡化的原則，從節(jié)約系統(tǒng)資源和運算速度等方面考慮，只需要采集XDR數(shù)據(jù)中的一些關(guān)鍵字段即可。

（2）數(shù)據(jù)清洗：在數(shù)據(jù)錄入的時候容易引入一些不符合質(zhì)量要求的臟數(shù)據(jù)，根據(jù)“Garbage In，Garbage Out”的原理，對不滿足數(shù)據(jù)質(zhì)量要求的數(shù)據(jù)進(jìn)行分析預(yù)測，得到的是不準(zhǔn)確甚至錯誤的結(jié)論，對后續(xù)的數(shù)據(jù)分析挖掘和異常終端確定都是不利的。數(shù)據(jù)清洗作為數(shù)據(jù)預(yù)處理的關(guān)鍵一步，通過對臟數(shù)據(jù)進(jìn)行清洗和修復(fù)，可以提升數(shù)據(jù)質(zhì)量，進(jìn)而提高數(shù)據(jù)挖掘和預(yù)測分析的準(zhǔn)確性和高效性。

（3）終端評估：通過終端評估算法對終端進(jìn)行評估，結(jié)合終端維度的各項指標(biāo)，終端用戶數(shù)以及終端使用過程中出現(xiàn)問題的用戶是否集中等進(jìn)行綜合分析與評估，如果終端的用戶數(shù)較少或者是終端出現(xiàn)問題僅僅是集中在某一個或者兩個用戶身上，則該終端的問題不具有普遍性與代表性，對于這類型終端可以暫時先不做分析。

（4）信令關(guān)聯(lián)分析：對于終端評估算法篩選出來的疑似異常終端進(jìn)行信令關(guān)聯(lián)分析，通過終端IMEI或者是用戶IMSI關(guān)聯(lián)出異常信令，提取流程失敗時信令Cause的填充值，判斷終端異常的原因。

（5）異常終端輸出：自動輸出疑似異常終端，終端用戶，異常原因等，包括自動生成終端維度指標(biāo)與網(wǎng)絡(luò)質(zhì)量指標(biāo)關(guān)聯(lián)分析報告，形成反向關(guān)聯(lián)關(guān)系來指導(dǎo)終端營銷以及資源投放等。

2.2 系統(tǒng)架構(gòu)圖

根據(jù)基于信令監(jiān)測的終端性能和用戶感知分析系統(tǒng)的體系架構(gòu)設(shè)計，項目總體框架分為3層，分別為應(yīng)用層、數(shù)據(jù)處理層和數(shù)據(jù)采集層，如圖1所示。

應(yīng)用層為用戶提供了二大主題模塊，分別為終端維度的性能指標(biāo)分和終端維度的用戶滿意度關(guān)聯(lián)分析。這二大模塊根據(jù)系統(tǒng)數(shù)據(jù)處理層的3類規(guī)則（滿意度與故障關(guān)聯(lián)規(guī)則、滿意度與性能關(guān)聯(lián)規(guī)則、數(shù)據(jù)挖掘規(guī)則）來面向用戶呈現(xiàn)成果。

數(shù)據(jù)處理層定義了相關(guān)算法和數(shù)據(jù)處理規(guī)則，對采集層獲取的相關(guān)數(shù)據(jù)進(jìn)行一系列的自動化處理，算法權(quán)重因子等參數(shù)后續(xù)可以根據(jù)需要進(jìn)行手動設(shè)置。

采集層用于收集項目的基礎(chǔ)數(shù)據(jù)。包括信令監(jiān)測數(shù)據(jù)、EOMS工單、報備單、性能指標(biāo)數(shù)據(jù)，經(jīng)分系統(tǒng)數(shù)據(jù)等，對初始數(shù)據(jù)進(jìn)行清洗之后將其保存在數(shù)據(jù)庫中。用戶感知分析模型可以讓生成的分析結(jié)果規(guī)范化，達(dá)到標(biāo)準(zhǔn)統(tǒng)一的輸出，同時方便地將終端維度的分析結(jié)果形成報表或?qū)肫渌到y(tǒng)進(jìn)行使用。對基于終端維度的用戶感知數(shù)據(jù)，可以自動采用預(yù)設(shè)的模型，并輸出分析結(jié)果，提高工作效率。

圖1 基于信令監(jiān)測的終端性能與用戶感知分析系統(tǒng)體系架構(gòu)

終端維度指標(biāo)包括用戶端到端上網(wǎng)的各項關(guān)鍵指標(biāo)以及影響用戶感知的一些指標(biāo)如下載速率、時延等，具體指標(biāo)說明如下。

2.2.1 用戶端到端上網(wǎng)關(guān)鍵指標(biāo)

用戶端到端上網(wǎng)涉及到多個網(wǎng)元，分為多個子流程，完整的用戶端到端上網(wǎng)流程包括Attach、PDN、DNS、TCP及get/post等流程，具體如圖2所示。

圖2 PS上網(wǎng)關(guān)鍵步驟

Attach：用戶附著過程，即登陸過程，用戶上網(wǎng)必須要附著到網(wǎng)絡(luò)上。在此環(huán)節(jié)出現(xiàn)失敗，用戶將無法訪問網(wǎng)絡(luò)，該指標(biāo)計算公式：Attach成功率=Attach成功次數(shù)/Attach請求次數(shù)×100%。

PDN：外部數(shù)據(jù)網(wǎng)絡(luò)連接，用戶上網(wǎng)必須要建立PDN連接，指標(biāo)計算公式：PDN成功率=PDN成功次數(shù)/PDN請求次數(shù)×100%。

DNS：域名解析系統(tǒng)，域名和IP對應(yīng)的數(shù)據(jù)庫，用戶訪問網(wǎng)絡(luò)必須要進(jìn)行域名解析獲取對應(yīng)的IP地址，然后訪問網(wǎng)絡(luò)。DNS指標(biāo)計算公式：DNS成功率=DNS成功解析次數(shù)/DNS解析請求次數(shù)×100%。

TCP握手：TCP提供面向連接的可靠服務(wù)，傳送數(shù)據(jù)之前先要通過3次握手建立可靠的連接。TCP指標(biāo)計算公式：TCP成功率=TCP功次數(shù)/TCP請求次數(shù)×100%。

get/post：用戶和服務(wù)器之間進(jìn)行的交互過程。計算公式：get/post成功率=（get/post成功次數(shù)）/(get/ post請求次數(shù))×100%。

2.2.2 用戶感知類指標(biāo)

下載速率：下載速率是用戶使用LTE網(wǎng)絡(luò)對網(wǎng)絡(luò)資源進(jìn)行下載這一過程中的下載速度，也就是即時速度，它以“kbit/s”的形式來表達(dá)，是用戶使用LTE網(wǎng)絡(luò)可以最直接體驗和感受到的一項指標(biāo)。在本系統(tǒng)中該項指標(biāo)以平均速率進(jìn)行計算。

用戶時延：時延是指一個報文或分組從一個網(wǎng)絡(luò)的一端傳送到另一個端所需要的時間。用戶時延包含控制面時延和用戶面時延，本模型中的時延主要是指用戶面的時延。

2.2.3 萬投比指標(biāo)

萬投比指標(biāo)需要從經(jīng)分系統(tǒng)提取，該指標(biāo)體現(xiàn)的是1萬個用戶當(dāng)中產(chǎn)生投訴的比例，是用戶實際使用滿意度的反饋，萬投比越高說明用戶投訴越多，滿意度越差，用戶在使用該終端時遇到的問題越多。指標(biāo)計算公式：萬投比=用戶投訴量/用戶總量×100%。

2.3 終端維度用戶感知分析模型

用戶感知分析模型可以讓生成的分析結(jié)果規(guī)范化，達(dá)到標(biāo)準(zhǔn)統(tǒng)一的輸出，同時方便地將終端維度的分析結(jié)果形成報表或?qū)肫渌到y(tǒng)進(jìn)行使用。對基于終端維度的用戶感知數(shù)據(jù)，可以自動采用預(yù)設(shè)的模型，并輸出分析結(jié)果，提高工作效率。目前可以采用如下幾種模型進(jìn)行分析。

2.3.1 定性研究模型

定性研究模型可以細(xì)分為階梯探索法和層次分析法，相關(guān)介紹如下。

2.3.1.1 階梯探索法

識別哪些屬性對于用戶的偏好和選擇具有驅(qū)動作用，同時也顯示出這些關(guān)鍵屬性之間的關(guān)聯(lián)以及應(yīng)用次序。通過這種技術(shù)就能夠識別某個用戶的“決策結(jié)構(gòu)”的一個方面。

階梯法是基于手段——目的鏈（Means—end Chain）理論，該理論提出3種“抽象層次”，用來描述人們對于產(chǎn)品或服務(wù)的感想。

（1） 屬性（A），包括產(chǎn)品的物理特性、成分等，利用它們來描述產(chǎn)品。

（2） 結(jié)果（C），使用產(chǎn)品所產(chǎn)生的后果，或者從中得到的利益。利用它們來表示產(chǎn)品能為用戶做什么。

（3） 價值（V），用戶使用該產(chǎn)品的根本原因或直接原因，也就是說，該產(chǎn)品如何幫助用戶實現(xiàn)他們的目標(biāo)（無論是客觀的，還是主觀的）。

2.3.1.2 層次分析法

根據(jù)用戶所期望的要素，建立相互間聯(lián)系的一種方式，是一種以圖形化的方式來描述調(diào)查對象的主要感知傾向或決策結(jié)構(gòu)的一種方法。

2.3.2 定量研究模型

用戶的需求與需求的滿足程度將會影響用戶的認(rèn)同度，因此了解用戶未滿足的需求，將會在競爭中獲得優(yōu)勢。用戶需求模型通過兩個指標(biāo)來衡量需求程度：需求的重要程度（記為imp）和需求的被滿足程度（記為stis）。

按重要程度和滿足程度對用戶需求打分（5分制），用重要-滿足圖像直觀反映用戶的需求特征，尋找尚未滿足的市場需求。在此基礎(chǔ)上，細(xì)分不同類型用戶的需求圖像，尤其是認(rèn)可用戶的需求特征，為產(chǎn)品開發(fā)提供有力的支持。從中找出用戶認(rèn)為重要的但未滿足的需求，準(zhǔn)確定位目標(biāo)用戶的需求重點，為服務(wù)提升提供方向。

2.4 系統(tǒng)創(chuàng)新點

結(jié)合使用人員的反饋，基于信令監(jiān)測的終端性能與用戶感知分析系統(tǒng)，具有如下創(chuàng)新點。

首先，對現(xiàn)網(wǎng)在用的所有終端進(jìn)行綜合性的性能分析，包括終端自身性能、與主流應(yīng)用之間的兼容性問題等，對于可能存在問題的疑似異常終端，再結(jié)合萬投比和用戶信令進(jìn)行關(guān)聯(lián)分析，精準(zhǔn)定位終端問題。

其次，進(jìn)行終端維度上的用戶感知量化和分析，根據(jù)分析結(jié)果呈現(xiàn)出不同終端的網(wǎng)絡(luò)使用效果和用戶的使用感知及喜愛程度等，為終端的市場營銷與資源投放提供數(shù)據(jù)支撐和方向性指引。

最后，形成一個自動化運行的系統(tǒng)，實現(xiàn)天/周/月等不同時間粒度的終端維度性能指標(biāo)評估和用戶感知分析，以圖形化和表格化的形式自動輸出相關(guān)報告。

3 結(jié)束語

基于信令監(jiān)測的終端性能與用戶感知研究，在我省終端、投訴、市場管理工作中，均具有較好的口碑，自系統(tǒng)投入運營以來，效果顯著，工作效率有效提升。在未來的工作中，還需要從以下3個方面入手提高該系統(tǒng)運行的效率和準(zhǔn)確性。

（1）進(jìn)一步優(yōu)化終端評估算法，提高終端評估的準(zhǔn)確性，及時的發(fā)現(xiàn)異常終端并進(jìn)行信令關(guān)聯(lián)分析，精準(zhǔn)定位終端問題。

（2）在終端用戶感知滿意度方面，目前主要是分析采用定性和定量兩種模型進(jìn)行研究，對于部分類型的指標(biāo)來看，關(guān)聯(lián)度不夠高。下一步擬針對全量的數(shù)據(jù)進(jìn)行模型和算法的優(yōu)化。

（3）后期計劃加入GIS地圖呈現(xiàn)模塊，將終端維度的用戶以及各項指標(biāo)用戶感知等可視化的呈現(xiàn)的出來，可以直觀的了解到不同區(qū)域的用戶體驗。

News

Fraunhofer IIS在CCBN上展示了下一代廣播電視音頻標(biāo)準(zhǔn)和VR音頻解決方案

3月23日，全球領(lǐng)先的音頻及媒體技術(shù)研究機構(gòu)Fraunhofer IIS在2017年中國國際廣播電視信息網(wǎng)絡(luò)展覽會（CCBN）上展示了成功被ATSC3.0和DVB數(shù)字電視標(biāo)準(zhǔn)采納的MPEG-H電視音頻解決方案，以及為VR和移動設(shè)備設(shè)備帶來最佳沉浸式聲音體驗的Fraunhofer Cingo技術(shù)和能夠顯著簡化VR沉浸式聲音制作流程的Cingo Composer軟件。

在CCBN期間Fraunhofer IIS展示的全部音頻創(chuàng)新技術(shù)，在全面提升廣播電視用戶沉浸式及交互式聆聽體驗的同時，實現(xiàn)了未來視聽與虛擬現(xiàn)實的高度融合，成功將3D音頻技術(shù)完美融入到各個用戶收聽設(shè)備上，從而打造全新的智能視聽世界，并為廣電智能化發(fā)展注入勃勃生機。

MPEG-H電視音頻系統(tǒng)專門為未來廣播電視和流媒體設(shè)備而設(shè)計，基于對象的音頻系統(tǒng)能夠帶來沉浸式及互動式音頻效果。通過MPEG-H，用戶能夠根據(jù)自己的喜好調(diào)節(jié)混音并且顯著提升聲音的真實性和感染力。此外，MPEG-H能夠根據(jù)不同的設(shè)備和環(huán)境定制最佳的聲音還放，進(jìn)而提供“通用傳輸”。

據(jù)介紹，MPEG-H已經(jīng)成功集成于ATSC3.0標(biāo)準(zhǔn)和DVB音/視頻工具箱中，并將在2017年正式應(yīng)用于韓國基于ATSC 3.0的全新地面超高清電視系統(tǒng)中。MPEG-H已經(jīng)擁有應(yīng)用于電視和AVR的解碼器軟件庫，此外，基于Cadence Tensilica HiFi DSPs的MPEG-H解碼器已經(jīng)推向市場。而能夠便捷地為家庭客廳環(huán)境帶來沉浸式音效的Fraunhofer 3D條形音箱參考設(shè)計也已問世。目前，支持MPEG-H的UHD編碼器包括DS Broadcast, Kai Media, Media Excel以及 Pixtree等，而支持MPEG-H的LG電視機也即將問世。

Fraunhofer IIS中國地區(qū)代表Toni Fiedler先生表示:“用戶期待通過各種設(shè)備獲得影院般的收聽體驗，智慧視聽無疑是提升用戶體驗的最佳途徑。在過去一年中，我們參與了國際數(shù)字電視音頻標(biāo)準(zhǔn)的提案和制定，并且成功獲悉中國市場對于廣播電視3D音頻標(biāo)準(zhǔn)的需求并努力參與其中。在未來，我們致力于與中國廣電人一起，共同為廣電行業(yè)的發(fā)展以及為用戶的極致收聽體驗做出貢獻(xiàn)”。

（趙青)

A terminal performance and user perception analysis system based on the signal monitoring

ZHONG Ding, GUO Zhi-lin, LIAO Zhen-song
(China Mobile Group Hubei Co., Ltd., Wuhan 430023, China)

In the era of mobile Internet, terminal impact on user perception is critical. On the one hand, the quality of the terminal brand is numerous, the good and bad are intermingled, bring the diversity of the terminal problem. Terminals and application software, different manufacturers, on the other hand, product compatibility, also brings irreconcilable problems. The short board problems affecting user perception is given, a new system is provided to locate the possible terminal performance or compatibility issues, to serve the terminal marketing and resources on the overall direction from the terminal dimension on improving user awareness and the use of network experience.

user perception; terminal; full complaint; degree of satisfaction; correlation analysis

TN929.5

A

1008-5599（2017）04-0076-05

2016-09-27