用戶感知體系優(yōu)化的探討及應(yīng)用

黃毅華 孫柳益 盧洪濤 魏垚

【摘 要】移動(dòng)通信服務(wù)的競爭日益激烈，用戶體驗(yàn)的提升是留住用戶的重要手段，為了能夠有效地評價(jià)用戶實(shí)際感受，通過對無線參數(shù)及核心網(wǎng)信令數(shù)據(jù)進(jìn)行研究，提出了可實(shí)施的評價(jià)算法，通過該算法對用戶體驗(yàn)進(jìn)行量化評分，客觀地表達(dá)了用戶的真實(shí)感受。

【關(guān)鍵詞】用戶感知；感知體系；用戶體驗(yàn)質(zhì)量

Discussion and Application of User Experience System Optimization

HUANG Yihua1，SUN Liuyi2，LU Hongtao1，WEI Yao1

[Abstract] The competition of mobile communication services is increasingly fierce， the improvement of user experience is the important mean to retain customers. In order to effectively evaluate the actual user experience， wireless parameters and signaling data in the core network are investigated. A practical evaluation algorithm is proposed， which can objectively express the true user feelings by quantitatively scoring user experiences.

[Key words]user experience； experience system； quality of experience

1 引言

隨著4G的普及，用戶對無線通信網(wǎng)絡(luò)的依賴程度不斷加深。因此，用戶的網(wǎng)絡(luò)體驗(yàn)直接影響用戶對運(yùn)營商網(wǎng)絡(luò)的選擇。

以用戶體驗(yàn)提升為目標(biāo)來優(yōu)化網(wǎng)絡(luò)，逐漸替代現(xiàn)有的通過路測進(jìn)行網(wǎng)絡(luò)優(yōu)化，從而達(dá)到運(yùn)營商品牌忠誠度提高的目的，推動(dòng)用戶流量使用量的提升。

2 用戶感知體系現(xiàn)狀

運(yùn)營商曾經(jīng)在3G時(shí)代使用端到端優(yōu)化來改善用戶體驗(yàn)，已經(jīng)設(shè)計(jì)出一套完整的用戶感知打分體系，該體系主要是通過監(jiān)控網(wǎng)絡(luò)質(zhì)量，通過綜合打分，來判斷用戶對無線網(wǎng)絡(luò)的感知情況。各廠家各制式的感知體系在細(xì)節(jié)上有些不同，但是總體的思路基本相同。大多都是采用4層模型分解（如圖1所示），提出QoE（Quality of Experience，用戶體驗(yàn)）目標(biāo)，分解到KQI（Key Quality Indication，關(guān)鍵質(zhì)量指標(biāo)）及KPI（Key Performance Indication，關(guān)鍵業(yè)績指標(biāo)），再到具體的指標(biāo)，然后指定各指標(biāo)權(quán)重，最后對網(wǎng)絡(luò)整體的用戶感知狀況進(jìn)行打分。

但是，隨著網(wǎng)絡(luò)從3G升級到4G，用戶使用手機(jī)的需求和習(xí)慣產(chǎn)生了很大的變化，影響網(wǎng)絡(luò)的因素也有很大的變化，不同的App、不同的手機(jī)、不同的網(wǎng)站都可能對用戶體驗(yàn)產(chǎn)生重大影響。而用戶對網(wǎng)頁打開時(shí)延的忍受力，聊天應(yīng)用的順利與否，視頻的卡頓等也都成為用戶感知的主要內(nèi)容。原有的感知體系也需要跟著用戶的需求變化而發(fā)生變化。因此，需要重新制定一份滿足現(xiàn)狀的評分體系來評估LTE的用戶感知。

3 用戶感知體系搭建

3.1 客戶體驗(yàn)管理體系概念

用戶投訴往往是用戶對網(wǎng)絡(luò)不能忍受的情況下才提出來的，如果能夠在投訴前就發(fā)現(xiàn)用戶問題，及時(shí)地跟進(jìn)解決，那就會在很大程度上提升用戶體驗(yàn)。CEM（Customer Experience Management，客戶體驗(yàn)管理）就是針對這一體驗(yàn)管理而提出的。CEM體系通過分析用戶對各種業(yè)務(wù)的使用頻度、網(wǎng)絡(luò)和服務(wù)質(zhì)量、對KQIs進(jìn)行加權(quán)匯總，建立起盡可能貼近用戶感受的CEM指標(biāo)體系，進(jìn)行測量、計(jì)算、監(jiān)控和分析利用，及時(shí)發(fā)現(xiàn)和定位影響用戶感知的問題，并通過各種保障措施確保用戶感知。同時(shí)通過分析相關(guān)數(shù)據(jù)，對用戶感知進(jìn)行營銷，使用戶感知保障成為可持續(xù)的經(jīng)營活動(dòng)。

針對CEM的度量，給出了一個(gè)CEI（Customer Experience Indicators，客戶管理指標(biāo)）指標(biāo)。CEI指標(biāo)的定義原則如下所示：

（1）QoE指標(biāo)分為子項(xiàng)感知度和整體感知度。

（2）子項(xiàng)感知度的定義與用戶對業(yè)務(wù)某一方面的應(yīng)用感受相一致，用戶對該業(yè)務(wù)的應(yīng)用感受有幾個(gè)方面，則定義幾個(gè)相應(yīng)的子項(xiàng)感知度指標(biāo)。

（3）每個(gè)子項(xiàng)感知度指標(biāo)都有與之相對應(yīng)的一個(gè)或一組KQI指標(biāo)。這個(gè)或這組KQI指標(biāo)描述的是某一業(yè)務(wù)應(yīng)用在某一方面的性能，而對應(yīng)的子項(xiàng)感知度則是用戶對這一方面性能的主觀感受。

（4）整體感知度是用戶對某一業(yè)務(wù)應(yīng)用的綜合體驗(yàn)質(zhì)量，是該業(yè)務(wù)對應(yīng)的所有子項(xiàng)感知度的綜合反映，為單獨(dú)的一個(gè)指標(biāo)，包括用戶行為和終端分析。

（5）CEI的指標(biāo)從網(wǎng)絡(luò)側(cè)多個(gè)接口獲取數(shù)據(jù)，從端到端的角度來分析用戶感知。因此，其度量的指標(biāo)能夠較為準(zhǔn)確地反映用戶的實(shí)際情況，如圖2所示。

CEI是基于用戶感知的總體評價(jià)，分為三層，第一層是CEI度量的分值，第二層是KQI指標(biāo)參數(shù)，第三層是KPI指標(biāo)參數(shù)，如圖3所示。而KQI又可以由分布在不同網(wǎng)絡(luò)側(cè)的KPI參數(shù)來監(jiān)控得到。雖然最后都是分解到KPI指標(biāo)，但是此KPI和傳統(tǒng)的KPI還是有很大區(qū)別。其具體區(qū)別如下：

（1）物理鏈路

傳統(tǒng)KPI關(guān)注運(yùn)營商的網(wǎng)絡(luò)/網(wǎng)元；KQI關(guān)注業(yè)務(wù)應(yīng)用的端到端網(wǎng)絡(luò)性能。

（2）業(yè)務(wù)類別

傳統(tǒng)KPI無法區(qū)分業(yè)務(wù)應(yīng)用類別；KQI體系重點(diǎn)考察具體業(yè)務(wù)應(yīng)用性能。

（3）協(xié)議層

底層協(xié)議層性能無法完整反映上層協(xié)議層性能。

圖3 CEI三層指標(biāo)

3.2 用戶感知指標(biāo)體系指標(biāo)的選取

為了能夠量化用戶感知，需要給出一定的量化指標(biāo)。因此要從客觀的角度去找到一些影響用戶感知的因素，并對其進(jìn)行量化，方便客觀地評價(jià)感知情況。

影響感知的因素有很多，包括：

（1）網(wǎng)絡(luò)因素：由于網(wǎng)絡(luò)通信問題，例如通信質(zhì)量差、速率慢等因素導(dǎo)致用戶體驗(yàn)差。

（2）手機(jī)因素：由于手機(jī)本身問題，例如出現(xiàn)卡死，手機(jī)本身CPU處理較慢等因素導(dǎo)致用戶體驗(yàn)差。

（3）應(yīng)用因素：手機(jī)App也是影響用戶體驗(yàn)的一個(gè)重要因素，App本身的界面，操作等因素是否合理對用戶體驗(yàn)的影響也很大。

（4）其他因素：例如品牌、價(jià)格、客服等其他因素的影響。

通過用戶感知發(fā)現(xiàn)網(wǎng)絡(luò)所存在的問題，通過提升網(wǎng)絡(luò)質(zhì)量來提升用戶感知。

通過大量的用戶投訴意見分析，發(fā)現(xiàn)無線網(wǎng)絡(luò)覆蓋是用戶的基礎(chǔ)需求，網(wǎng)絡(luò)接入性和保持性是保障網(wǎng)絡(luò)的基本條件，用戶感知的最主要部分是用戶對業(yè)務(wù)的體驗(yàn)。而且對于業(yè)務(wù)體驗(yàn)，可以通過網(wǎng)絡(luò)側(cè)的一些監(jiān)控參數(shù)來實(shí)現(xiàn)。通過專家法給出了三個(gè)方面的權(quán)重，無線覆蓋質(zhì)量30%，網(wǎng)絡(luò)接入性和保持性10%，業(yè)務(wù)體驗(yàn)60%。

（1）無線質(zhì)量覆蓋：用戶可以在手機(jī)界面上直接看到信號強(qiáng)度，因此，一旦信號強(qiáng)度顯示較差，就會影響運(yùn)營商品牌在用戶心中的得分。因此，選取RSRP直接反應(yīng)了用戶對網(wǎng)絡(luò)的主觀感受。如果手機(jī)信號回落到3G或2G，數(shù)據(jù)業(yè)務(wù)在用戶心中的體驗(yàn)就會明顯降低。因此，專家討論后給了一半的權(quán)重。

（2）網(wǎng)絡(luò)接入性和保持性：通過隨機(jī)對200位用戶的調(diào)研發(fā)現(xiàn)：電話網(wǎng)絡(luò)是否能接通，需要多久接通，是否經(jīng)常掉話，這三個(gè)方面在用戶主觀感受中排在前三位。根據(jù)這個(gè)調(diào)研結(jié)果，建議選取RRC連接成功率、RRC連接時(shí)延、掉話率三個(gè)指標(biāo)作為感知指標(biāo)。通過專家法給出了三個(gè)指標(biāo)的權(quán)重，RRC連接成功率30%，RRC連接時(shí)延40%，掉話率30%。

（3）業(yè)務(wù)體驗(yàn)：通過用戶調(diào)研排名，選取了占用戶時(shí)間較多的即時(shí)通訊、視頻、應(yīng)用下載、其他下載。由于不同的用戶偏好不同，因此，采用了根據(jù)時(shí)間來確定動(dòng)態(tài)權(quán)重的方式來設(shè)定各個(gè)應(yīng)用的權(quán)重。基于各個(gè)應(yīng)用體驗(yàn)，也通過專家法選取了KPI指標(biāo)，并確定其權(quán)重，具體如圖4所示。

3.3 得分計(jì)算方法

對用戶的打分，分為單用戶得分、單小區(qū)感知得分、區(qū)域總體感知得分。滿分為100分，根據(jù)失敗情況，進(jìn)行單項(xiàng)扣分，扣完后加權(quán)計(jì)算得到感知的最后得分。

用戶打分可以根據(jù)公式（1）來確定最后的得分。根據(jù)異常次數(shù)來扣分，每次扣分步長是根據(jù)預(yù)定的期望分?jǐn)?shù)和異常事件次數(shù)代入公式（1）來進(jìn)行計(jì)算的。單用戶評分是要把用戶數(shù)量改成一個(gè)，設(shè)定合適的期望分?jǐn)?shù)和一定時(shí)間的異常總數(shù)。期望分?jǐn)?shù)值和期望每日異常次數(shù)為人工經(jīng)驗(yàn)值。扣分步長計(jì)算規(guī)則如表1所示：

表1 扣分步長計(jì)算規(guī)則

指標(biāo) 評分規(guī)則

成功類 滿分100分，失敗一次扣一個(gè)步長STEP，扣完為止

時(shí)延類 滿分100分，超過門限一次扣一個(gè)步長STEP，扣完為止

速率類 滿分100分，低于門限一次扣一個(gè)步長STEP，扣完為止

（1）

其中，STEP表示步長，SubscriberNo表示用戶數(shù)，Exceptation表示用戶評分期望值，Abnormal表示異常話單次數(shù)。

（1）單用戶打分計(jì)算說明

1）一般用戶得分

單指標(biāo)得分計(jì)算（扣分方式）=100-每日實(shí)際異常次數(shù)×扣分步長；扣分步長=（100-期望分?jǐn)?shù)值）/單用戶期望每日異常次數(shù) （2）

其中，期望分?jǐn)?shù)值和期望每日異常次數(shù)為經(jīng)驗(yàn)值。

2）異常用戶得分

針對一些特定用戶，異常次數(shù)較少，但是成功率特別低。例如，掉話三次，但是一共發(fā)生4次電話。針對這樣的用戶引入了按成功率計(jì)算得分的方式。其計(jì)算公式如下：

單指標(biāo)得分計(jì)算（成功率）=100×（總次數(shù)-異常次數(shù)）/總次數(shù) （3）

單指標(biāo)實(shí)際最后得分：Min[扣分方式得分，成功率得分] （4）

3）最后總分

根據(jù)單指標(biāo)加權(quán)匯總得分。

（2）小區(qū)用戶感知打分計(jì)算說明

將小區(qū)當(dāng)做一個(gè)用戶，打分方式參考單用戶打分。

（3）區(qū)域感知打分計(jì)算

區(qū)域感知打分是將區(qū)域內(nèi)的各小區(qū)的感知打分進(jìn)行平均處理。

3.4 實(shí)際打分案例

從廣東電信某地區(qū)獲取某一用戶得分案例。內(nèi)容說明如下。

（1）項(xiàng)目：根據(jù)指標(biāo)體系獲取可直接打分項(xiàng)目。

（2）得分：100-（問題次數(shù)×扣分步長）。

（3）問題次數(shù)：問題發(fā)生次數(shù)是該用戶實(shí)際的用戶問題發(fā)生次數(shù)。得到上述數(shù)據(jù)后，得到如表2所示的計(jì)算表格。

（4）扣分步長：根據(jù)“扣分步長=（100-期望分?jǐn)?shù)值）/單用戶期望每日異常次數(shù)”計(jì)算方法得出扣分步長。

（5）期望每日異常次數(shù)：該地區(qū)期望每日異常次數(shù)得分由該地區(qū)的日常統(tǒng)計(jì)得出。根據(jù)經(jīng)驗(yàn)值給定80分時(shí)對應(yīng)的每日異常次數(shù)。

得到每項(xiàng)的得分后，計(jì)算加權(quán)分?jǐn)?shù)。其中業(yè)務(wù)體驗(yàn)的二級權(quán)重根據(jù)用戶使用時(shí)間來確定比例。通過加權(quán)計(jì)算得到最后的總分為86.7分，如表3所示。

4 應(yīng)用效果分析

4.1 用戶得分情況分析

用戶感知體系設(shè)計(jì)完成之后，在某地市進(jìn)行應(yīng)用。該地市電信用戶總數(shù)543 956人，期望值取80分。期望異常數(shù)根據(jù)各指標(biāo)不同按照人工經(jīng)驗(yàn)值給出。

圖5是2017年2月某地市的得分情況，從數(shù)據(jù)上看，80分以上人數(shù)占總數(shù)的68%，大部分用戶感知符合此次評估的預(yù)期。但是仍存在很多感知較差的用戶。例如低于20分的，可以認(rèn)為這部分用戶感知極差，可能會產(chǎn)生投訴或離網(wǎng)，需要進(jìn)行主動(dòng)關(guān)懷。

圖5 各分?jǐn)?shù)段人數(shù)分布圖

4.2 小區(qū)得分情況分析

通過查看小區(qū)的打分，發(fā)現(xiàn)問題小區(qū)。選取某一感知較差小區(qū)，該小區(qū)得分為67分。

查看其第一級子項(xiàng)得分，發(fā)現(xiàn)覆蓋和業(yè)務(wù)得分較低，體驗(yàn)較差，初步判斷是由于覆蓋問題導(dǎo)致的業(yè)務(wù)體驗(yàn)差。詳細(xì)得分如表4所示：

表4 一級子項(xiàng)得分情況

一級子項(xiàng) 得分

無線覆蓋 61

網(wǎng)絡(luò)接入性和保持性 97

業(yè)務(wù)體驗(yàn) 65

一級子項(xiàng)雷達(dá)圖如圖6所示：

圖6 一級子項(xiàng)雷達(dá)圖

進(jìn)一步查看無線覆蓋質(zhì)量下的二級子項(xiàng)得分，RSRP得分只有52分，4G覆蓋較差，且3G連接也不是非常好，可能會因流量速率較差，導(dǎo)致用戶體驗(yàn)差。二級子項(xiàng)得分情況（天線覆蓋）如表5所示：

表5 二級子項(xiàng)得分情況（無線覆蓋）

二級子項(xiàng)（無線覆蓋） 得分

RSRP 52

3G連接 68

查看業(yè)務(wù)體驗(yàn)二級子項(xiàng)，發(fā)現(xiàn)視頻、應(yīng)用下載和其他下載得分明顯偏低，說明在需要高速下載相關(guān)的應(yīng)用都存在較差體驗(yàn)，這個(gè)符合我們之前的判斷。二級子項(xiàng)得分情況（業(yè)務(wù)體驗(yàn)）如表6所示。

二級子項(xiàng)（業(yè)務(wù)體驗(yàn)）雷達(dá)圖如圖7所示。

通過此套體系評估體系，可以認(rèn)識到該小區(qū)覆蓋的用戶感知情況，初步判斷小區(qū)存在問題的原因。通過該打分體系對所有小區(qū)打分后，可以針對感知得分較差的小區(qū)進(jìn)行專項(xiàng)優(yōu)化，以提升用戶感知。

4.3 與實(shí)際投訴用戶得分進(jìn)行對比分析

選取一些實(shí)際投訴用戶，通過查看他們的得分情況以評判投訴用戶的情況。總體來看投訴用戶的部分時(shí)間得分較低。下面選取了5種投訴用戶的情況：

（1）有信號無法上網(wǎng)投訴。當(dāng)月最差日得分：22.5分。

（2）語音投訴。當(dāng)月最差日得分：72.7分。

（3）無信號投訴。當(dāng)月最差日得分：37分。

（4）頻繁掉線投訴。當(dāng)月最差日得分：52分。

（5）網(wǎng)速慢投訴。當(dāng)月最差日得分：54分。

從上述得分來看，除了語音投訴用戶得分較高外，其他用戶得分都相對較低。由于系統(tǒng)中不對2G、3G的參數(shù)進(jìn)行感知評分，因此語音問題沒能夠反應(yīng)在感知得分中，符合系統(tǒng)預(yù)期的設(shè)計(jì)。

5 結(jié)束語

用戶感知評估系統(tǒng)能夠從一個(gè)簡單的得分就看出用戶感知的好壞，將復(fù)雜的網(wǎng)絡(luò)優(yōu)化簡單化，通過對用戶大數(shù)據(jù)的分析，將更精準(zhǔn)地把脈網(wǎng)絡(luò)。

隨著感知系統(tǒng)的逐漸成熟，用大數(shù)據(jù)進(jìn)行問題分析的能力也要進(jìn)一步加入。

（1）問題點(diǎn)細(xì)化。感知評分需要根據(jù)不同場景進(jìn)行細(xì)化，比如忙時(shí)場景，會展場景，校園場景等多個(gè)維度場景來區(qū)分評分，以便更有效地發(fā)現(xiàn)問題。

（2）自動(dòng)發(fā)現(xiàn)問題。通過信令分析，對得分低的小區(qū)問題自動(dòng)定界定位。自動(dòng)給出問題的經(jīng)驗(yàn)方案供網(wǎng)優(yōu)人員參考。

（3）人工智能網(wǎng)優(yōu)。再到后期通過大數(shù)據(jù)自動(dòng)學(xué)習(xí)，可以讓系統(tǒng)自動(dòng)跟蹤用戶習(xí)慣，調(diào)整系統(tǒng)評估參數(shù)，發(fā)現(xiàn)異常用戶，實(shí)現(xiàn)網(wǎng)優(yōu)的人工智能化。

參考文獻(xiàn)：

[1] 3GPP TS 36.300 V 9.9.0. Evolved Universal Terrestrial Radio Access （E-UTRA） and Evolved Universal Terrestrial Radio Access Network （E-UTRAN）； Overall description （Release 9） [S]. 2011.

[2] 3GPP TS R0079-0 V 1.0. Support for end-to-end QoS[S]. 2004.

[3] 趙訓(xùn)威，林輝，張明，等. 3GPP長期演進(jìn)（LTE）系統(tǒng)架構(gòu)與技術(shù)規(guī)范[M]. 北京： 人民郵電出版社， 2010.

[4] 楊燕. 移動(dòng)業(yè)務(wù)QoE量化指標(biāo)體系的構(gòu)建與應(yīng)用[J]. 電訊技術(shù)， 2010，50（12）： 101-106.

[5] 金渝，李校林，李雪松. 用戶體驗(yàn)質(zhì)量評估模型及KQI權(quán)重計(jì)算方法[J]. 計(jì)算機(jī)工程， 2013（2）： 311-316.

[6] 羅仕鑒，朱上上. 用戶體驗(yàn)與產(chǎn)品創(chuàng)新設(shè)計(jì)[M]. 北京： 機(jī)械工業(yè)出版社， 2010.

[7] Mike Kuniavsky. 用戶體驗(yàn)面面觀――方法、工具與實(shí)踐[M]. 北京： 清華大學(xué)出版社， 2010.

[8] Jeff Johnson. 認(rèn)知與設(shè)計(jì)——理解UI設(shè)計(jì)準(zhǔn)則[M]. 北京： 人民郵電出版社， 2011.

[9] 壽元泉. LTE輕松進(jìn)階[M]. 北京： 電子工業(yè)出版社， 2012.

[10] 盛璟，劉洋，許國平. LTE無線網(wǎng)絡(luò)優(yōu)化的考量[J]. 郵電設(shè)計(jì)技術(shù)， 2014（12）： 1-5.