數(shù)字化轉(zhuǎn)型下通信運營商數(shù)據(jù)治理的“困”與“道”

康 軍

南京鐵馬信息技術(shù)有限公司

0 引言

黨的十九屆四中全會提出將“數(shù)據(jù)”列為生產(chǎn)要素參與分配，標志著以數(shù)據(jù)為關鍵要素的數(shù)字經(jīng)濟進入了新時代。當前，以人工智能、區(qū)塊鏈等為代表的數(shù)字技術(shù)不斷涌現(xiàn)，快速向經(jīng)濟社會各領域融合滲透。以數(shù)據(jù)為核心的數(shù)字化轉(zhuǎn)型已是大勢所趨。隨著互聯(lián)網(wǎng)業(yè)務和應用的迅猛發(fā)展以及移動互聯(lián)網(wǎng)的爆炸式增長，通信運營商在話務時代積聚的資源優(yōu)勢逐步減弱，但通過長期的網(wǎng)絡運營、海量的用戶以及豐富的行業(yè)應用所沉淀下來的海量數(shù)據(jù)已經(jīng)成為通信運營商獨一無二的“資產(chǎn)”。

但目前大多數(shù)通信運營商的數(shù)據(jù)資源無法為內(nèi)部精細化管理、客戶精準化營銷、風險控制、決策支持等當下企業(yè)向數(shù)字化轉(zhuǎn)型所必需的工作帶來有效助力。因此，如何通過數(shù)據(jù)治理，最大程度地釋放龐大數(shù)據(jù)的潛在力量，是通信運營商在數(shù)據(jù)時代實現(xiàn)企業(yè)數(shù)字化轉(zhuǎn)型、塑造自身核心競爭力的關鍵之所在。

1 通信運營商數(shù)據(jù)治理之“困”

（1）數(shù)據(jù)分散，有“數(shù)”不能用。大多數(shù)通信運營商企業(yè)采用的是“煙囪”式系統(tǒng)建設模式，還未形成公司級的數(shù)據(jù)資產(chǎn)定義及分級分類規(guī)范，缺乏統(tǒng)一的數(shù)據(jù)采集、存儲管理等標準，導致數(shù)據(jù)分散在各個系統(tǒng)中，不同領域的數(shù)據(jù)壁壘仍較為明顯，這嚴重阻礙了系統(tǒng)之間順暢的數(shù)據(jù)共享，大大降低了資源的利用性與數(shù)據(jù)的可得性。

（2）數(shù)據(jù)質(zhì)量不高，有“數(shù)”不好用。長期以來，通信運營商采用的是兩級系統(tǒng)架構(gòu)體系，全網(wǎng)業(yè)務開展需要總部先制定業(yè)務規(guī)范和系統(tǒng)改造方案，下發(fā)給各省公司，再由省公司各自單獨實施，這就帶來了各省數(shù)據(jù)標準不統(tǒng)一，數(shù)據(jù)模型差異較大等問題，導致在數(shù)據(jù)采集、存儲、處理等環(huán)節(jié)不科學、不規(guī)范，出現(xiàn)錯誤數(shù)據(jù)、異常數(shù)據(jù)、缺失數(shù)據(jù)等問題，無法確保數(shù)據(jù)的完整性和準確性，最終影響整個企業(yè)數(shù)據(jù)治理的水平。

（3）融合應用困難，有“數(shù)”不會用。通信運營商利用數(shù)據(jù)建模分析解決實際問題的能力有待提高。信息資源利用大多停留在表面，數(shù)據(jù)應用尚不深入，應用領域相對較窄，數(shù)據(jù)與場景融合不夠，導致數(shù)據(jù)之“沙”難以匯聚成“塔”，海量數(shù)據(jù)資源無法盤活，數(shù)據(jù)潛力得不到充分釋放。

（4）治理體系缺失，有“數(shù)”不善用。數(shù)據(jù)治理是一項系統(tǒng)性全局性工程，需要與之相配套的管理制度、流程、平臺工具、評價考核機制等全方位的協(xié)同。目前通信運營商普遍存在對數(shù)據(jù)治理認識不到位，重視程度不夠，認為數(shù)據(jù)治理工作僅通過技術(shù)手段就可以解決所有問題，導致數(shù)據(jù)治理架構(gòu)體系不完善，相應機制體制嚴重缺位，數(shù)據(jù)“不善用”的問題突出。

2 通信運營商數(shù)據(jù)治理之“道”

針對通信運營商數(shù)據(jù)治理中存在的基礎來源數(shù)據(jù)缺、重、散、慢、差等問題，以解決當前業(yè)務所遇到的數(shù)據(jù)質(zhì)量問題為切入點，從數(shù)據(jù)采集、加工、分析全流程中梳理出最需關注的各環(huán)節(jié)建設內(nèi)容和目標，利用數(shù)據(jù)進行業(yè)務評估和應用，發(fā)現(xiàn)數(shù)據(jù)存在的業(yè)務問題，開展相對應的治理工作，從源頭確保大數(shù)據(jù)分析所需的數(shù)據(jù)質(zhì)量，全面提升大數(shù)據(jù)分析及應用能力。

圖1 以業(yè)務應用為導向的數(shù)據(jù)治理整體解決方案

（1）理清現(xiàn)狀、明確治理需求點。了解企業(yè)面臨的最迫切的數(shù)據(jù)需求或痛點以及用“數(shù)”需求，開展針對管理層和業(yè)務部門等不同類型數(shù)據(jù)用戶的調(diào)研和訪談，了解其經(jīng)營和管理對數(shù)據(jù)的需求以及目前在需求滿足過程中存在的問題。

（2）確定數(shù)據(jù)治理的重點范圍。在理清現(xiàn)狀、明確治理需求點后，應協(xié)調(diào)相關數(shù)據(jù)需求和問題所涉及的業(yè)務和管理部門，開展業(yè)務和系統(tǒng)現(xiàn)狀分析，對相關業(yè)務流程進行詳細梳理和分析，定位數(shù)據(jù)產(chǎn)生、加工和應用過程中的相關業(yè)務流程環(huán)節(jié)及具體業(yè)務管理要求，以及不同系統(tǒng)間的數(shù)據(jù)流，即數(shù)據(jù)的流轉(zhuǎn)、流向及加工處理過程。

（3）搭建數(shù)據(jù)治理閉環(huán)管理體系。通過數(shù)據(jù)治理閉環(huán)管理平臺準確監(jiān)控造成數(shù)據(jù)質(zhì)量問題的來龍去脈和前因后果，同時制定責任矩陣，形成相關部門人員通力合作、齊抓共管，根除數(shù)據(jù)質(zhì)量問題的針對性方案，最終通過每項問題的落地解決，逐步積累企業(yè)開展數(shù)據(jù)治理工作的成功經(jīng)驗，逐步形成高水平的治理能力。如圖2所示。

圖2 數(shù)據(jù)治理閉環(huán)管理平臺

如圖3所示，數(shù)據(jù)治理管理平臺系統(tǒng)各模塊之間，根據(jù)數(shù)據(jù)操作的流程產(chǎn)生相互關聯(lián)，各模塊業(yè)務流程關系說明如下：

L1：數(shù)據(jù)標準管理模塊將標準定義映射到元數(shù)據(jù)信息上，實現(xiàn)數(shù)據(jù)標準的規(guī)范要求落地。

L2：元數(shù)據(jù)管理模塊為數(shù)據(jù)資產(chǎn)管理模塊提供存儲模型、屬性信息查詢服務。

L3：元數(shù)據(jù)管理模塊為數(shù)據(jù)質(zhì)量管理模塊提供元數(shù)據(jù)相關屬性信息。

L4：用戶通過元數(shù)據(jù)定義大數(shù)據(jù)平臺的數(shù)據(jù)結(jié)構(gòu)。

L5：數(shù)據(jù)質(zhì)量管理模塊根據(jù)采集需求從大數(shù)據(jù)平臺采集數(shù)據(jù)。

L6：數(shù)據(jù)質(zhì)量管理模塊將數(shù)據(jù)質(zhì)量問題反饋給大數(shù)據(jù)平臺。

L7：數(shù)據(jù)質(zhì)量管理模塊向資產(chǎn)模塊提交數(shù)據(jù)質(zhì)量評估結(jié)果。

L8：元數(shù)據(jù)管理模塊為數(shù)據(jù)安全管理模塊提供隱私級別定義服務。

L9：數(shù)據(jù)資產(chǎn)管理模塊發(fā)起資產(chǎn)訪問申請，由數(shù)據(jù)安全管理模塊控制用戶訪問權(quán)限，控制數(shù)據(jù)資產(chǎn)的增加、刪除、變更操作權(quán)限，對訪問的數(shù)據(jù)內(nèi)容、數(shù)據(jù)屬性等操作進行管控。

L10：數(shù)據(jù)安全管理模塊為大數(shù)據(jù)平臺提供數(shù)據(jù)訪問權(quán)限策略。

圖3 數(shù)據(jù)治理管理平臺各系統(tǒng)模塊關系圖

1）建立數(shù)據(jù)質(zhì)量監(jiān)控評級體系。需要選取若干個指標作為數(shù)據(jù)質(zhì)量評價指標，梳理數(shù)據(jù)評價專題，構(gòu)建數(shù)據(jù)評價規(guī)則與模型，制定符合業(yè)務目標的數(shù)據(jù)質(zhì)量稽核規(guī)則，形成數(shù)據(jù)評價體系，對企業(yè)的數(shù)據(jù)進行評估和測量。

2）鎖定管控內(nèi)容，快速發(fā)現(xiàn)問題?；跀?shù)據(jù)質(zhì)量評估模型，執(zhí)行數(shù)據(jù)質(zhì)量分析任務，針對采集、加工、稽核、服務等全流程，進行全方位實時監(jiān)控，設置相應的告警閾值，實現(xiàn)異常數(shù)據(jù)質(zhì)量問題的快速定位。

3）建立數(shù)據(jù)認責追責機制。按照“誰錄入、誰整改、誰負責”的原則，明確數(shù)據(jù)質(zhì)量責任主體；梳理業(yè)務流程、數(shù)據(jù)與人員之間的對應關系，構(gòu)建責任矩陣；構(gòu)建全流程管控、相互監(jiān)督，構(gòu)建全面的、可追溯的數(shù)據(jù)認責、追責機制。

4）建立可視化的管理視圖。實現(xiàn)顯性化的數(shù)據(jù)治理閉環(huán)管理，對數(shù)據(jù)全生命周期的治理都有相應的流程支撐，同時實現(xiàn)業(yè)務建模所需的數(shù)據(jù)，從需求端到數(shù)據(jù)源的數(shù)據(jù)流及數(shù)據(jù)血緣關系直觀可見。

5）系統(tǒng)落地及配套機制體系完善。為了支撐數(shù)據(jù)治理與業(yè)務應用更好地銜接，需要對已有數(shù)據(jù)治理管理制度和流程進行必要的修訂與完善，或?qū)σ延袠I(yè)務制度和流程、系統(tǒng)開發(fā)管理相關制度和流程提出必要的改進建議，從配套機制、體制上確保數(shù)據(jù)治理工作有據(jù)、可行、可控。

因此，推動通信運營商的數(shù)據(jù)治理，應以實現(xiàn)業(yè)務價值為導向，遵循數(shù)據(jù)治理的已有體系、制度和標準規(guī)范，定位對企業(yè)而言最為迫切的、重要的數(shù)據(jù)需求和數(shù)據(jù)痛點，明確數(shù)據(jù)項范圍并開展專項治理工作，以期逐個突破，快速釋放數(shù)據(jù)成效并實現(xiàn)業(yè)務價值，形成數(shù)據(jù)治理的良性循環(huán)。

3 某省通信運營商數(shù)據(jù)治理案例

案例一：跨域協(xié)同改進數(shù)據(jù)質(zhì)量

（1）背景

隨著智能手機、4G高速上網(wǎng)、互聯(lián)網(wǎng)應用的普及，流量已成為大部分客戶的剛性需求?？蛻魧κ謾C流量消耗情況的質(zhì)疑也日益增多，客戶往往要求查詢流量具體使用用途，而服務人員面對流量質(zhì)疑投訴，僅通過手機上網(wǎng)的計費詳單很難解釋清楚“流量用沒用”“流量怎么用的”“流量用的太快”等熱點投訴，影響客戶感知。為此，公司開始建設“上網(wǎng)日志查詢系統(tǒng)”，首先由網(wǎng)絡部門采集原始日志，并通過DPI實現(xiàn)用戶上網(wǎng)內(nèi)容的解析，由業(yè)務支撐部門實現(xiàn)XDR數(shù)據(jù)的加工、展現(xiàn)，為客戶服務人員處理投訴提供支撐?！吧暇W(wǎng)日志查詢系統(tǒng)”由于涉及O域、B域的多個部門和多個系統(tǒng)，出現(xiàn)數(shù)據(jù)質(zhì)量問題時存在定位較慢，處理周期較長的情況。

（2）改進數(shù)據(jù)質(zhì)量流程

性狀:較正品大,呈寬卵形,長5-6mm,寬5-8mm,表面淡黃白色,略光滑,一端圓闊,有一淡棕色點狀種臍,另端稍窄。背面圓凸;腹面有一條較寬而深的縱溝。[13]

1）發(fā)現(xiàn)質(zhì)量問題。客服人員小李接到用戶投訴，反映流量計費有問題，10月3日18:58:37-19:09:56手機收到提醒短信使用了1GB多的流量，用戶對此不認可，表示手機沒有使用，要求核實處理。小李通過上網(wǎng)日志查詢系統(tǒng)查詢該用戶的上網(wǎng)內(nèi)容，卻發(fā)現(xiàn)用戶在該時段只有約10MB流量，與計費詳單的流量嚴重不符。如圖4所示。

圖4 業(yè)務場景-發(fā)現(xiàn)流量異常

圖5 業(yè)務場景-核查數(shù)據(jù)資產(chǎn)

2）核查數(shù)據(jù)資產(chǎn)。為確認是否因為數(shù)據(jù)未完成生成導致差異大，客服人員小李通過“數(shù)據(jù)資產(chǎn)管理—資產(chǎn)目錄”模塊查詢該資產(chǎn)的數(shù)據(jù)更新時間，結(jié)果發(fā)現(xiàn)數(shù)據(jù)資產(chǎn)的更新時間沒有延遲。從而小李推斷不是數(shù)據(jù)及時性的問題，而是數(shù)據(jù)準確性的問題。如圖5所示。

圖6 業(yè)務場景-問題申告

3）問題申告。既然發(fā)現(xiàn)是數(shù)據(jù)準確性的問題，那就需要盡快把問題反饋給后臺維護人員，于是客服人員小李通過“數(shù)據(jù)質(zhì)量管理—績效管理”模塊提交了問題申告，選擇了上網(wǎng)日志流量的準確性問題。如圖6所示。

4）定位異常環(huán)節(jié)。由于業(yè)務支撐部門維護人員小張事先已經(jīng)配置了數(shù)據(jù)質(zhì)量稽核規(guī)則，對每分鐘O域傳送的接口文件大小進行監(jiān)控，一旦波動超過10%，就會產(chǎn)生預警，這一規(guī)則不會中斷調(diào)度，但一旦最終用戶反饋數(shù)據(jù)有問題，系統(tǒng)就會檢查與問題數(shù)據(jù)有關的處理過程中是否產(chǎn)生過預警。對客服人員小李申告的上網(wǎng)日志流量數(shù)據(jù)不準確問題，數(shù)據(jù)質(zhì)量管理模塊自動匹配到當日的一次數(shù)據(jù)文件大小波動預警，定位到異常環(huán)節(jié)為O域接口文件，申告轉(zhuǎn)給網(wǎng)絡部門維護人員小王處理。如圖7所示。

圖7 業(yè)務場景-定位異常環(huán)節(jié)

5）核查和處理。網(wǎng)絡部門維護人員小王接到數(shù)據(jù)質(zhì)量告警后，展開核查，定位到由于主機性能問題，該時段的HTTP日志文件漏傳了記錄，小王迅速將漏傳的數(shù)據(jù)做了補傳。如圖8所示。

圖8 業(yè)務場景-異常原因核查

6）處理結(jié)果確認。系統(tǒng)對補傳數(shù)據(jù)處理完成后，客服人員小李再次查詢該投訴用戶的記錄，這次果然能夠查詢到用戶產(chǎn)生的1G流量，她通過外呼用戶并向用戶解釋了流量使用內(nèi)容，用戶表示認可。這時數(shù)據(jù)質(zhì)量模塊生成了本次申告的反饋工單，小李很滿意地評價了5顆星。如圖9所示。

圖9 業(yè)務場景-處理結(jié)果確認

（1）背景

某省向地市公司下發(fā)了KPI考核指標“重要集團客戶整體收入”，地市運維人員和業(yè)務人員希望能夠及時獲知該指標的出數(shù)情況和波動情況，以確保發(fā)現(xiàn)異常后能及時處理。

（2）績效監(jiān)控全流程

1）一線片區(qū)經(jīng)理打開移動APP應用，選擇指標“重要集團客戶整體收入”，并對其出數(shù)時間、波動率和閾值進行監(jiān)控配置，如圖10所示。

圖10 手機登陸及指標規(guī)則配置

2）此后，一線片區(qū)經(jīng)理打開自己的移動APP應用，就可以隨時查看“重要集團客戶整體收入”目前的出數(shù)情況和數(shù)值是否正常，當指標監(jiān)控不滿足監(jiān)控規(guī)則，手機APP告警通知一線片區(qū)經(jīng)理，如圖11所示。

圖11 指標展示及維度分析

3）一線片區(qū)經(jīng)理單擊該異常指標可以看到指標詳細信息，并且通過時間、地理或其他維度分析異常指標，如圖12所示。

圖12 按時間、物理維度分析

4）一線片區(qū)經(jīng)理通過滑屏的方式，查看指標處理過程圖，從圖可以查看到該指標各個處理環(huán)節(jié)處理情況，如圖13所示，包括：處理內(nèi)容、處理完成時間、正處理環(huán)節(jié)預計完成時間等；如果當日的指標數(shù)據(jù)還沒出來，可以點擊催辦功能，請求數(shù)據(jù)質(zhì)量管理子系統(tǒng)發(fā)送實時出數(shù)狀態(tài)；對異常指標告警信息的顯示包括：什么時間發(fā)生的信息、什么錯誤、找誰處理等。如圖13所示。

圖13 指標處理過程圖

5）異常指標處理方式有兩種：第一種方式，通過電話直接聯(lián)系該環(huán)節(jié)的負責人解決；第二種方式，可以通過申告，以問題處理流程的方式將該問題推送給該環(huán)節(jié)的負責人處，并以短信形式告之該環(huán)節(jié)的負責人，如圖14所示。

圖14 問題申告

6）數(shù)據(jù)質(zhì)量功塊允許用戶自定義數(shù)據(jù)質(zhì)量處理流程，若不進行自定義流程配置，可以按照默認流程進行問題處理。默認問題處理流程如圖15所示。

圖15 申告處理流程

7）通過界面配置監(jiān)控點分段方式將數(shù)據(jù)質(zhì)量全流程拆分為若干段，如圖16所示，針對每個階段設置監(jiān)控規(guī)則，明確每段所屬部門、所有者，不同段負責人可以通過可視化監(jiān)控界面對不同分段進行監(jiān)控，可視化管控界面針對不同數(shù)據(jù)質(zhì)量用戶提供對應段的數(shù)據(jù)鏈路圖，并將監(jiān)控結(jié)果按段匯總、分析、展示。

圖16 數(shù)據(jù)質(zhì)量分段管控示例圖

當一線片區(qū)經(jīng)理提交申告后，系統(tǒng)根據(jù)異常監(jiān)控點所在段，將申告推送給相關負責人，相關負責人基于本段的數(shù)據(jù)鏈路圖，對出數(shù)過程跟蹤及進行告警展現(xiàn)分析，通過圖形化運維管理幫助運維人員快速完成指標過程監(jiān)控和問題處理過程，協(xié)助業(yè)務人員動態(tài)了解指標出數(shù)進度，提高工作效率，節(jié)省成本，如圖17所示。

圖17 指標圖形化監(jiān)控應用場景示意

8）問題處理完成后，將處理完成信息通過APP推送以及短信告知一線片區(qū)經(jīng)理。

9）一線片區(qū)經(jīng)理檢查異常指標是否已處理成功，并對整個問題處理過程進行滿意度評價，如圖18所示。

圖18 問題反饋

案例一以分析數(shù)據(jù)質(zhì)量問題為著力點，倒推出其數(shù)據(jù)來源存在的問題并進行重點整治，通過全員參與、各司其責的數(shù)據(jù)質(zhì)量管理模式進行改進；案例二通過績效指標的數(shù)據(jù)質(zhì)量監(jiān)控，及時發(fā)現(xiàn)自己績效指標的異常波動，并指出其中與以前相比的異常之處，快速發(fā)現(xiàn)數(shù)據(jù)異常的原因并能夠及時有效地解決，使其數(shù)據(jù)治理得到充分的價值體現(xiàn)。

4 結(jié)束語

數(shù)據(jù)治理對任何一個企業(yè)都是一項“牽一發(fā)而動全身”的重大工程。對此，一方面，要堅持問題導入，基于對企業(yè)管理層和業(yè)務部門用“數(shù)”需求的深入洞察，找到最佳的數(shù)據(jù)治理切入點和突破口，通過短期專項治理方案和配套的應用建設，快速實現(xiàn)數(shù)據(jù)價值和收益，使得數(shù)據(jù)治理工作成效顯性化，形成數(shù)據(jù)治理的良性循；另一方面，要統(tǒng)籌規(guī)劃、把握全局，企業(yè)不能只顧低頭解決一些具體的數(shù)據(jù)質(zhì)量問題，而忽略了數(shù)據(jù)治理體系的長期建設路徑。通信運營商數(shù)據(jù)治理是一項長期的、需要逐步建設和完善的綜合性工作，徹底解決是需要投入大量的時間和資源的。因此，我們必須從IT戰(zhàn)略和總體架構(gòu)管控的高度，總體上架構(gòu)和把握數(shù)據(jù)治理的各項決策，確保不偏離企業(yè)的戰(zhàn)略方向和要求。