基于認(rèn)知概念網(wǎng)絡(luò)的中國(guó)移動(dòng)用戶潛在不滿預(yù)測(cè)技術(shù)研究

趙東明 候越先 王博 田雷 劉靜

（1.中國(guó)移動(dòng)通信集團(tuán)天津有限公司人工智能實(shí)驗(yàn)室 天津市 300020）

（2. 天津大學(xué)智能與計(jì)算學(xué)部 天津市 300192）

1 引言

1.1 現(xiàn)有技術(shù)方案的問(wèn)題和短板

客戶潛在不滿預(yù)測(cè)，是中國(guó)移動(dòng)重要的客戶服務(wù)分析任務(wù)，用于挖掘潛在不滿意用戶，給予精準(zhǔn)維系和服務(wù)，以提升客戶服務(wù)感知。中國(guó)移動(dòng)各服務(wù)領(lǐng)域應(yīng)用呈現(xiàn)出越發(fā)復(fù)雜的特性，數(shù)據(jù)來(lái)源眾多、系統(tǒng)邏輯復(fù)雜、應(yīng)用需求繁雜，因此構(gòu)建中國(guó)移動(dòng)潛在不滿預(yù)測(cè)系統(tǒng)，面臨的場(chǎng)景是“多而雜”，比如智能應(yīng)答側(cè)提供的數(shù)據(jù)來(lái)源為投訴工單、在線服務(wù)記錄、需求文檔、業(yè)務(wù)管理規(guī)定、語(yǔ)音轉(zhuǎn)寫(xiě)文本等，而存量運(yùn)營(yíng)側(cè)則需要客戶特征、客戶標(biāo)簽、場(chǎng)景化行為、DPI解析數(shù)據(jù)等。通過(guò)構(gòu)建一種面向中國(guó)移動(dòng)服務(wù)預(yù)警的認(rèn)知概念網(wǎng)絡(luò)，針對(duì)不同場(chǎng)景定制模型，將會(huì)對(duì)服務(wù)提升產(chǎn)生重要作用，當(dāng)然，完成構(gòu)建過(guò)程中的數(shù)據(jù)處理、模型學(xué)習(xí)等工作也是巨大挑戰(zhàn)。

本文主要研究面向中國(guó)移動(dòng)客戶潛在不滿預(yù)測(cè)的分析型認(rèn)知知識(shí)圖譜，由于知識(shí)圖譜具有深度語(yǔ)義信息，因此將其命名為認(rèn)知概念網(wǎng)絡(luò)，以體現(xiàn)其基于認(rèn)知智能進(jìn)行語(yǔ)義深度理解的價(jià)值，重點(diǎn)從隱語(yǔ)義數(shù)據(jù)（大數(shù)據(jù)畫(huà)像、偏好、標(biāo)簽、行為、應(yīng)用、數(shù)據(jù)庫(kù)、位置、瀏覽記錄等）挖掘邏輯挖掘，針對(duì)服務(wù)策略推薦、根因分析、問(wèn)題溯源等提供認(rèn)知理解能力。

1.2 建立認(rèn)知網(wǎng)絡(luò)有助于潛在不滿精準(zhǔn)分析

滿意度預(yù)測(cè)的分析類知識(shí)圖譜是一種認(rèn)知概念網(wǎng)絡(luò)，其作為認(rèn)知智能在中國(guó)移動(dòng)客戶服務(wù)領(lǐng)域的重要落地方向，可以成為各類服務(wù)運(yùn)營(yíng)工作的輔助決策中心，通過(guò)各層業(yè)務(wù)要素的構(gòu)建，輔助認(rèn)知推理及邏輯表達(dá)，在精準(zhǔn)不滿預(yù)測(cè)的同時(shí)也可以提供原因解釋。認(rèn)知概念網(wǎng)絡(luò)的核心是將中國(guó)移動(dòng)業(yè)務(wù)類數(shù)據(jù)（大數(shù)據(jù)標(biāo)簽、家寬探測(cè)感知等）與海量常識(shí)類概念進(jìn)行語(yǔ)義網(wǎng)絡(luò)構(gòu)建，業(yè)務(wù)數(shù)據(jù)本身具備將客戶鏈接的能力，再通過(guò)常識(shí)類概念中的語(yǔ)義信息與業(yè)務(wù)類數(shù)據(jù)映射，從而實(shí)現(xiàn)推理過(guò)程從業(yè)務(wù)數(shù)據(jù)到常識(shí)概念的認(rèn)知，對(duì)業(yè)務(wù)指標(biāo)的變化（如不滿意、降檔降費(fèi)）給予語(yǔ)義層面的預(yù)測(cè)及解析。

認(rèn)知概念網(wǎng)絡(luò)是基于大數(shù)據(jù)基礎(chǔ)能力進(jìn)行構(gòu)建的，通過(guò)融合業(yè)務(wù)數(shù)據(jù)與大數(shù)據(jù)標(biāo)簽數(shù)據(jù)，使語(yǔ)義網(wǎng)絡(luò)進(jìn)行層次串接，以捕捉客戶的潛在意圖，基于多種可能的鏈路進(jìn)行推薦排序，支撐服務(wù)運(yùn)營(yíng)人員的權(quán)益推薦、用戶維系、策略制定等工作，以認(rèn)知智能技術(shù)驅(qū)動(dòng)運(yùn)營(yíng)體系進(jìn)行圖譜化重構(gòu)，實(shí)現(xiàn)推薦、維系、策略、數(shù)據(jù)分析結(jié)果可讀可理解，打造人工智能智慧運(yùn)營(yíng)的技術(shù)體系、知識(shí)體系。

2 功能介紹

本文打造了基于認(rèn)知概念網(wǎng)絡(luò)技術(shù)的運(yùn)營(yíng)商潛在不滿識(shí)別系統(tǒng)，主要基于中國(guó)移動(dòng)大數(shù)據(jù)基礎(chǔ)能力進(jìn)行構(gòu)建，納入“原子-概念”生成算法實(shí)現(xiàn)語(yǔ)義延伸，在傳統(tǒng)大數(shù)據(jù)分析基礎(chǔ)上加入語(yǔ)義理解能力，構(gòu)建以用戶號(hào)碼節(jié)點(diǎn)為中心的服務(wù)分析圖譜，鏈接用戶服務(wù)評(píng)測(cè)結(jié)果（不滿意）、大數(shù)據(jù)標(biāo)簽、原因概念，并實(shí)現(xiàn)全量用戶潛在不滿意的推理，輸出用戶群進(jìn)行后續(xù)運(yùn)營(yíng)維系。同時(shí)，系統(tǒng)可以進(jìn)一步鏈接多模態(tài)數(shù)據(jù)（文本、標(biāo)識(shí)、語(yǔ)音等）提升識(shí)別準(zhǔn)確率，并且提供可解釋能力，在資費(fèi)、家寬、無(wú)線領(lǐng)域的滿意度預(yù)測(cè)場(chǎng)景落地，為預(yù)測(cè)結(jié)果提供明確的解釋理由。

2.1 應(yīng)用對(duì)象和場(chǎng)景

潛在不滿識(shí)別系統(tǒng)的服務(wù)對(duì)象，主要為中國(guó)移動(dòng)用戶，通過(guò)智能化分析潛在不滿意圖，給予預(yù)先的資源投放，避免后續(xù)的離網(wǎng)、投訴等嚴(yán)重服務(wù)事件。系統(tǒng)接入中國(guó)移動(dòng)全量業(yè)務(wù)支撐領(lǐng)域的大數(shù)據(jù)標(biāo)簽數(shù)據(jù)，客響中心提供的家寬用戶感知探測(cè)數(shù)據(jù)，以及無(wú)線中心提供的無(wú)線網(wǎng)絡(luò)異常感知數(shù)據(jù)，具備BOM三域融通的數(shù)據(jù)基礎(chǔ)。系統(tǒng)以認(rèn)知概念網(wǎng)絡(luò)技術(shù)打造了全場(chǎng)景、多功能域的滿意度預(yù)測(cè)體系，對(duì)全量客戶的資費(fèi)滿意度、家寬滿意度、無(wú)線滿意度進(jìn)行周期預(yù)測(cè)。系統(tǒng)目前已導(dǎo)入了現(xiàn)網(wǎng)不滿、投訴、離網(wǎng)的用戶特征，根據(jù)現(xiàn)網(wǎng)用戶和不滿用戶在資費(fèi)、家寬、集客等資費(fèi)使用情況的語(yǔ)義分析，以種子用戶推理全量用戶的業(yè)務(wù)滿意度情況，預(yù)估全量用戶對(duì)業(yè)務(wù)、服務(wù)、資費(fèi)的滿意度，并以可視化方式輸出，并給出具體的不滿意原因，幫助分公司、網(wǎng)格的服務(wù)運(yùn)營(yíng)人員針對(duì)性做好用戶服務(wù)和精準(zhǔn)營(yíng)銷。

潛在不滿識(shí)別系統(tǒng)的場(chǎng)景如圖1所示，主要體現(xiàn)在智能化分析預(yù)測(cè)全量客戶的不滿意甚至離網(wǎng)的概率，尤其要給出不滿原因，作為精準(zhǔn)運(yùn)營(yíng)的數(shù)據(jù)支撐，幫助服務(wù)運(yùn)營(yíng)人員精準(zhǔn)施測(cè)。例如資費(fèi)不滿意輸出原因概念：流量超套、語(yǔ)音超套、疊加包高、套外占比高等，并結(jié)合具體的次數(shù)、費(fèi)用、流量進(jìn)行精準(zhǔn)分類；家寬不滿意輸出原因概念：ONU弱光、Wi-Fi弱覆蓋、持續(xù)多天異常掉線、持續(xù)多天電視卡頓；無(wú)線網(wǎng)絡(luò)不滿意輸出原因概念：VOLTE 5S切片丟包次數(shù)高，TCP三次握手時(shí)延大于300毫秒次數(shù)高，視頻下載低速率次數(shù)高，本周高倒流出現(xiàn)頻次高，用戶級(jí)NPS質(zhì)差占比高。

圖1：客戶滿意度預(yù)測(cè)的認(rèn)知理解場(chǎng)景示例

2.2 技術(shù)架構(gòu)方案

認(rèn)知概念網(wǎng)絡(luò)的價(jià)值，就是解決傳統(tǒng)滿意度測(cè)評(píng)系統(tǒng)僅能做到滿意度預(yù)測(cè)不能產(chǎn)出不滿意原因的問(wèn)題，節(jié)約后期服務(wù)人員的工作量，無(wú)需判斷原因，直接基于分析結(jié)果指定方案，提質(zhì)增效。

本文應(yīng)用于滿意度測(cè)評(píng)的認(rèn)知概念網(wǎng)絡(luò)構(gòu)，為自底向上的構(gòu)建邏輯，在預(yù)測(cè)結(jié)果輸出時(shí)，同步生成不滿意原因，并結(jié)合專家經(jīng)驗(yàn)的積累以不斷迭代更新，其技術(shù)架構(gòu)如圖2所示。

圖2：中國(guó)移動(dòng)潛在不滿識(shí)別的認(rèn)知概念網(wǎng)絡(luò)技術(shù)架構(gòu)

本文認(rèn)知概念網(wǎng)絡(luò)構(gòu)建的主要步驟分為：模式設(shè)計(jì)、抽取實(shí)體、關(guān)系計(jì)算。應(yīng)用的主要步驟分為：滿意度預(yù)測(cè)、原因預(yù)測(cè)。

認(rèn)知概念網(wǎng)絡(luò)的構(gòu)建過(guò)程是一個(gè)整體，模式設(shè)計(jì)決定了知識(shí)圖譜構(gòu)建時(shí)中結(jié)構(gòu)的關(guān)注節(jié)點(diǎn)，根據(jù)業(yè)務(wù)的架構(gòu)確認(rèn)知識(shí)圖譜的基礎(chǔ)框架，才可以更好的填充信息；知識(shí)圖譜的組織方式是“實(shí)體-關(guān)系-實(shí)體”，在本圖譜中，實(shí)體代表不同層中間的節(jié)點(diǎn)，包括基本描述概念，原因概念，現(xiàn)象概念等，通過(guò)數(shù)據(jù)以及標(biāo)注中提取實(shí)體信息，可以生成圖譜中全量實(shí)體節(jié)點(diǎn)；關(guān)系計(jì)算，是通過(guò)人工智能算法，計(jì)算出不同實(shí)體之間的指向關(guān)系以及邊權(quán)重，用于后期的預(yù)測(cè)工作。

利用認(rèn)知概念網(wǎng)絡(luò)做滿意度預(yù)測(cè)分為兩個(gè)部分，滿意度預(yù)測(cè)輸出代表一個(gè)用戶是否體驗(yàn)不滿意的得分，得分越高，代表越可能是體驗(yàn)不滿意的用戶；原因預(yù)測(cè)是通過(guò)知識(shí)圖譜的邊權(quán)重，輸出一個(gè)用戶體驗(yàn)不滿意的多個(gè)原因。

3 系統(tǒng)構(gòu)建方法

3.1 模式設(shè)計(jì)

模式是認(rèn)知概念網(wǎng)絡(luò)的概念模型和邏輯基礎(chǔ), 借助實(shí)體關(guān)系的規(guī)則定義，來(lái)約束認(rèn)知網(wǎng)絡(luò)內(nèi)具有語(yǔ)義關(guān)系的數(shù)據(jù)，模式設(shè)計(jì)是認(rèn)知網(wǎng)絡(luò)構(gòu)建的基礎(chǔ)。

本文主要是構(gòu)建潛在不滿識(shí)別的認(rèn)知概念網(wǎng)絡(luò)，設(shè)計(jì)的模式借鑒了阿里的電商圖譜，主要分為四個(gè)層面，分別為原子層，基本概念層，原因概念層和現(xiàn)象層。原子層定義為數(shù)據(jù)的特征，包含所有可以統(tǒng)計(jì)出來(lái)的特征名稱，例如超套次數(shù)、套外流量、套外語(yǔ)音、月消費(fèi)金額，以及屬性和偏好；基本概念層定義為對(duì)原子層的直接描述，比如對(duì)于連續(xù)型變量，直接描述即為多或者少，對(duì)于離散型變量，直接描述即為類別，是基于原子層進(jìn)行分析后得到的概念描述，如上月套外流量少，高頻熱線呼入等；原因概念層對(duì)應(yīng)客戶具體場(chǎng)景，可以看做是對(duì)客戶一類問(wèn)題的原因解釋，分為一級(jí)原因概念和二級(jí)原因概念，因?yàn)橛行┰蚋拍钕嗷ソM合，會(huì)組合成更大的原因概念，這里多個(gè)二級(jí)原因概念會(huì)對(duì)應(yīng)一個(gè)一級(jí)原因概念?，F(xiàn)象層對(duì)應(yīng)用戶不同的現(xiàn)象，比如對(duì)網(wǎng)絡(luò)不滿意、資費(fèi)不滿意、家寬不滿意、換機(jī)傾向、潛在預(yù)離網(wǎng)及升級(jí)投訴傾向等，代表客戶的待解決問(wèn)題，也是服務(wù)運(yùn)營(yíng)工作中需重點(diǎn)關(guān)注的客戶需求。

通過(guò)這樣的一個(gè)四層的架構(gòu)，認(rèn)知概念網(wǎng)絡(luò)可以很容易的擴(kuò)展到其他的場(chǎng)景下，只需要有對(duì)應(yīng)的數(shù)據(jù)，就可以融合進(jìn)新的現(xiàn)象和原因概念，從而減少了擴(kuò)展場(chǎng)景的工作量。

認(rèn)知概念網(wǎng)絡(luò)模式設(shè)計(jì)如圖3所示。

圖3：中國(guó)移動(dòng)認(rèn)知概念網(wǎng)絡(luò)模式設(shè)計(jì)

3.2 抽取實(shí)體

本文認(rèn)知概念網(wǎng)絡(luò)的構(gòu)建首先需導(dǎo)入中國(guó)移動(dòng)的滿意度調(diào)研方案結(jié)果數(shù)據(jù)，滿意度調(diào)研結(jié)果是網(wǎng)絡(luò)鏈接的基礎(chǔ)。本項(xiàng)目的分層體系，將系統(tǒng)包含面向運(yùn)營(yíng)場(chǎng)景的現(xiàn)象層（概念標(biāo)簽），原子層（原子標(biāo)簽），分層理論映射成基本概念層（分層分類），原因概念庫(kù)（面向場(chǎng)景的維系、推薦、服務(wù)策略的解釋性語(yǔ)義概念），來(lái)提升運(yùn)營(yíng)推薦的精準(zhǔn)度，并面向“客戶需求”提供可理解、可解釋的運(yùn)營(yíng)策略。

基于標(biāo)注的數(shù)據(jù)首先進(jìn)行清洗，去除掉缺失過(guò)多的特征，然后再根據(jù)數(shù)據(jù)，進(jìn)行實(shí)體的獲取，針對(duì)四類層次分別提取實(shí)體，并以語(yǔ)義進(jìn)行網(wǎng)絡(luò)鏈接。

原子層：原子層的實(shí)體為數(shù)據(jù)的特征列名，可以先通過(guò)尋找特征重要性的方法-隨機(jī)森林，濾除一些不重要的特征。

基本概念層：針對(duì)原子層的有實(shí)體，如果是連續(xù)型變量，就在基本概念層添加特征+多和特征+少的基本概念；比如對(duì)應(yīng)“上月套內(nèi)流量”這個(gè)原子，就會(huì)在基本概念層添加“上月套內(nèi)流量多”和“上月套內(nèi)流量少”這兩個(gè)基本概念；如果是離散型變量，就在基本概念層添加特征+類別，比如“性別”這個(gè)原子，就會(huì)在基本概念層添加“性別男”和“性別女”這兩個(gè)基本概念。

原因概念層：根據(jù)標(biāo)注好的原因概念，分別抽取一級(jí)原因概念實(shí)體和二級(jí)原因概念實(shí)體。

現(xiàn)象層：根據(jù)對(duì)應(yīng)的場(chǎng)景，抽取對(duì)應(yīng)的現(xiàn)象。

3.3 關(guān)系計(jì)算

關(guān)系計(jì)算是認(rèn)知概念網(wǎng)絡(luò)進(jìn)行連接和推理的關(guān)鍵，通過(guò)關(guān)系計(jì)算把通層次的實(shí)體、不同層次的實(shí)體都連接起來(lái)，從而實(shí)現(xiàn)溯因和推薦。在本系統(tǒng)的關(guān)系計(jì)算當(dāng)中，主要需要計(jì)算層之間不同實(shí)體之間的關(guān)系以及邊權(quán)重，從而實(shí)現(xiàn)自底而上的推理。

原子層到基本概念層：在構(gòu)建的時(shí)候，通過(guò)歷史的數(shù)據(jù)，對(duì)于連續(xù)型特征，計(jì)算并且保存特征對(duì)應(yīng)的 10% 和 90% 的分位點(diǎn)，用于推理，當(dāng)數(shù)據(jù)大于 90% 分位點(diǎn)時(shí)，就映射為高，小于 10% 分位點(diǎn)時(shí)映射為低，連續(xù)型特征需要轉(zhuǎn)化為原子和概念層的鏈接，必須轉(zhuǎn)換為二值型數(shù)據(jù)，而如10-90%內(nèi)的數(shù)據(jù)也被分為“低或高”，會(huì)造成原子層和概念層連接過(guò)于稠密，在推理時(shí)計(jì)算量過(guò)大，因此僅考慮小于10%和大于90%兩種情況來(lái)確保連接鏈路較稀疏，以在推理時(shí)的置信度區(qū)分度更大；對(duì)于離散型特征，則無(wú)需保存，因?yàn)楸旧頂?shù)據(jù)就代表了一種映射。有了這樣的映射關(guān)系，在預(yù)測(cè)時(shí)，就可以自底向上的推理出基本概念。

基本概念層到原因概念層：首先對(duì)標(biāo)注數(shù)據(jù)的特征數(shù)據(jù)進(jìn)行轉(zhuǎn)換，根據(jù)原子層到基本概念層保存的分位點(diǎn)，轉(zhuǎn)換為對(duì)應(yīng)的基本概念，例如一個(gè)用戶的基本概念可能就為上月套內(nèi)流量高，性別男，上月套外流量低等。再以基本概念作為特征，標(biāo)注好的原因概念作為標(biāo)簽，去訓(xùn)練一個(gè)多標(biāo)簽分類模型，利用模型來(lái)獲取關(guān)系以及邊權(quán)重。

由于基本概念為文本概念，這里我們需要把他轉(zhuǎn)換為獨(dú)熱向量（one hot）。獨(dú)熱向量就是對(duì)類別進(jìn)行二進(jìn)制化操作，然后再將其作為模型訓(xùn)練的特征，相較于直接作為特征，獨(dú)熱編碼可以更好的避免出現(xiàn)假定類別值越高越好這樣的錯(cuò)誤。

3.4 構(gòu)建實(shí)例

本節(jié)給出一次面向滿意度預(yù)測(cè)的認(rèn)知概念網(wǎng)絡(luò)構(gòu)建過(guò)程，示例如下：

設(shè)定基本概念層一共共有4個(gè)基本概念實(shí)體，分別為話費(fèi)高，話費(fèi)低，和性別男，性別女；那么一個(gè)用戶對(duì)應(yīng)的基本概念如果為話費(fèi)高，性別男，那他的獨(dú)熱編碼即為 [1, 0, 1,0], 編碼中第一位對(duì)應(yīng)的1代表用戶有話費(fèi)高這個(gè)基本概念，第二位對(duì)應(yīng)的0代表用戶沒(méi)有話費(fèi)低這個(gè)基本概念，通過(guò)這樣，就可以把用戶對(duì)應(yīng)的基本概念轉(zhuǎn)換為獨(dú)熱編碼，用于后面的模型。

由于用戶的原因標(biāo)簽為多個(gè)標(biāo)簽，代表用戶可能會(huì)有多個(gè)不滿意的原因，所以這是一個(gè)多標(biāo)簽分類任務(wù)。多標(biāo)簽一般有一個(gè)特點(diǎn)，類別標(biāo)的數(shù)量是不確定的:有些樣本可能只有一個(gè)類標(biāo)，有些樣本可能存在多個(gè)類別標(biāo)簽。所以常用的分類器是不適用的，需要加一些步驟。這里我們采用了多分類器法，將多標(biāo)簽中的每一個(gè)標(biāo)簽當(dāng)成是單標(biāo)簽，對(duì)每一個(gè)標(biāo)簽實(shí)施二分類算法，然后整合，從而得到最終的結(jié)果，比如假設(shè)原因標(biāo)簽只有 A/B/C三個(gè)，一個(gè)用戶對(duì)應(yīng)的原因標(biāo)簽為 A/C，首先轉(zhuǎn)換為獨(dú)熱編碼后為 [1, 0, 1]，然后分別訓(xùn)練三個(gè)二分類模型，然后整合后就可以輸出多標(biāo)簽的結(jié)果。

模型訓(xùn)練結(jié)束后，提取出模型中的參數(shù)，即可以作為從基本概念層到原因概念層的關(guān)系和邊權(quán)重，用于潛在不滿意預(yù)測(cè)時(shí)的推理算法。而且邏輯回歸的參數(shù)都服從一個(gè)正態(tài)分布，概率上很難出現(xiàn)參數(shù)有一個(gè)過(guò)大或者一個(gè)過(guò)于小的情況。還可以在邏輯回歸的基礎(chǔ)上加上正則化，防止過(guò)擬合。

基本概念層到現(xiàn)象層，因?yàn)楹蜆I(yè)務(wù)規(guī)則和客戶服務(wù)邏輯緊密相關(guān)，本文的方案是無(wú)需計(jì)算邊權(quán)重，直接以監(jiān)督方式進(jìn)行標(biāo)注，形成認(rèn)知網(wǎng)絡(luò)的關(guān)系連接，確保系統(tǒng)整體上與業(yè)務(wù)運(yùn)營(yíng)規(guī)則保持一致。

4 應(yīng)用情況

本文累計(jì)納入2.3萬(wàn)潛在不滿意（滿意度調(diào)研結(jié)果中明確為不滿意）種子用戶，對(duì)900萬(wàn)全量用戶生成預(yù)測(cè)結(jié)果，最終得到89萬(wàn)的待維系客戶群。

在模型迭代中，重點(diǎn)關(guān)注ROC和PR曲線，ROC曲線（Receiver Operating Characteristic Curve）：橫坐標(biāo)為假陽(yáng)性率（False Positive Rate, FPR），縱坐標(biāo)為真陽(yáng)性率（True Positive Rate, TPR）。PR曲線：recall（召回率）為橫坐標(biāo)，precision（精準(zhǔn)率）為縱坐標(biāo)。

如圖4所示，本文的認(rèn)知概念網(wǎng)絡(luò)模型在1050次迭代更新后達(dá)到收斂狀態(tài)，采用P-R曲線判斷模型可用狀態(tài)，即當(dāng)查準(zhǔn)率達(dá)80%且查全率60%時(shí)，模型實(shí)現(xiàn)收斂并可用。

圖4：認(rèn)知概念網(wǎng)絡(luò)模型迭代曲線

潛在不滿識(shí)別認(rèn)知概念網(wǎng)絡(luò)完成全量用戶計(jì)算后，輸出每名用戶的不滿意概率，并輸出置信度TOP20萬(wàn)客戶群CSV文件，通過(guò)大數(shù)據(jù)微營(yíng)銷平臺(tái)給客戶服務(wù)存量運(yùn)營(yíng)團(tuán)隊(duì)做精準(zhǔn)維系，輸出列包含客戶標(biāo)識(shí)、基本描述、L1原因概念、L2原因概念、置信得分，輸出結(jié)果示例如表1所示。

表1：認(rèn)知網(wǎng)絡(luò)結(jié)果輸出示例

本文所構(gòu)建的系統(tǒng)，已經(jīng)在中國(guó)移動(dòng)不滿意客戶識(shí)別和精準(zhǔn)維系工作中取得效果，自2021年11月起，已在天津移動(dòng)存量運(yùn)營(yíng)工作中已正式應(yīng)用，模型查準(zhǔn)率約85%，查全率約63%，累計(jì)輸出潛在不滿用戶123.6萬(wàn)，并已執(zhí)行了75.2萬(wàn)名用戶的維系挽留。精準(zhǔn)服務(wù)的舉措主要是超值優(yōu)惠的推薦，平均推薦成功率32%，大幅超出傳統(tǒng)模型識(shí)別結(jié)果的推薦成功率12%，帶來(lái)直接經(jīng)濟(jì)收入超750萬(wàn)元。

5 結(jié)束語(yǔ)

本文提出一種基于認(rèn)知概念網(wǎng)絡(luò)的電信用戶潛在不滿識(shí)別方法，通過(guò)構(gòu)建認(rèn)知網(wǎng)絡(luò)實(shí)現(xiàn)全量用戶的滿意度預(yù)測(cè)，并實(shí)現(xiàn)輸出語(yǔ)義級(jí)別的不滿意原因，幫助運(yùn)營(yíng)商人員更好的執(zhí)行精準(zhǔn)服務(wù)維系方案。本文核心技術(shù)為認(rèn)知網(wǎng)絡(luò)，用于電信運(yùn)營(yíng)商的滿意度預(yù)測(cè)工作中，模型融合了運(yùn)營(yíng)商業(yè)務(wù)數(shù)據(jù)、大數(shù)據(jù)標(biāo)簽數(shù)據(jù)及網(wǎng)絡(luò)數(shù)據(jù)，使語(yǔ)義網(wǎng)絡(luò)具備捕捉客戶的潛在意圖的能力，實(shí)現(xiàn)推薦、維系、策略、數(shù)據(jù)分析結(jié)果可讀可理解。

本文設(shè)計(jì)并實(shí)施的系統(tǒng)，已在中國(guó)移動(dòng)滿意度預(yù)測(cè)領(lǐng)域?qū)崿F(xiàn)正式應(yīng)用，顯著提升了業(yè)務(wù)運(yùn)營(yíng)和推薦的成功率，可以有效改善服務(wù)質(zhì)量，提升客戶滿意度，在客戶處于潛在不滿狀態(tài)時(shí)及時(shí)進(jìn)行精準(zhǔn)維系，在確保滿意度不下降情況下提升了業(yè)務(wù)價(jià)值。同時(shí)，將傳統(tǒng)的機(jī)器學(xué)習(xí)、知識(shí)圖譜構(gòu)建與推理，改進(jìn)為納入語(yǔ)義分析能力的認(rèn)知網(wǎng)絡(luò)，在各個(gè)業(yè)務(wù)推薦、存量運(yùn)營(yíng)、服務(wù)感知分析領(lǐng)域體現(xiàn)“可解釋”的優(yōu)勢(shì)。因此，本文構(gòu)建的認(rèn)知概念網(wǎng)絡(luò)，對(duì)于電信行業(yè)打造人工智能智慧運(yùn)營(yíng)的客戶認(rèn)知分析體系具有重要價(jià)值，對(duì)于運(yùn)營(yíng)分析、服務(wù)預(yù)警、離網(wǎng)預(yù)警，都有非常廣泛的應(yīng)用前景。