電信數(shù)據(jù)倉庫體系結(jié)構(gòu)的研究＊

陳浩， 孫瑜

（云南師范大學(xué) 信息學(xué)院，云南 昆明650500）

1 引 言

隨著企業(yè)信息化建設(shè)的發(fā)展，巨大的投資為企業(yè)建立了眾多的信息系統(tǒng)，以幫助企業(yè)進(jìn)行內(nèi)外部業(yè)務(wù)的處理和管理工作.但是，隨著信息系統(tǒng)的增加，各自孤立工作的信息系統(tǒng)將會造成大量的冗余數(shù)據(jù)和業(yè)務(wù)人員的重復(fù)勞動［1］.目前，電信應(yīng)用的信息系統(tǒng)如圖1所示，有業(yè)務(wù)應(yīng)用部門、應(yīng)用系統(tǒng)以及數(shù)據(jù)源三個層次.由于相關(guān)業(yè)務(wù)應(yīng)用部門需要操作多個應(yīng)用系統(tǒng)，這些不同的應(yīng)用系統(tǒng)需要不同的數(shù)據(jù)源，因此這種處理方式會造成編碼口徑不一致，數(shù)據(jù)統(tǒng)計口徑不一致，從而很難對已有的海量業(yè)務(wù)數(shù)據(jù)進(jìn)行共享.除此之外，這種煙囪式的應(yīng)用系統(tǒng)會造成數(shù)據(jù)全面性不足，數(shù)據(jù)系統(tǒng)負(fù)載較大，處理效率較低及數(shù)據(jù)質(zhì)量較差，從而很難為商業(yè)決策提供準(zhǔn)確的數(shù)據(jù)［2］.基于上述原因，需要使用數(shù)據(jù)倉庫來打破信息孤島，充分利用現(xiàn)有的歷史數(shù)據(jù)，為企業(yè)戰(zhàn)略決策提供數(shù)據(jù)支持.

圖1 電信應(yīng)用信息系統(tǒng)模型Fig.1 Model of telecom application system

2 數(shù)據(jù)倉庫

根據(jù) William H.Inmon 在 《Building the Data Warehouse》中的定義，數(shù)據(jù)倉庫是一個面向主題的、集成的、隨時間變化的、不容易丟失的數(shù)據(jù)集合，支持管理部門的決策過程［3］.數(shù)據(jù)倉庫具有以下優(yōu)點：

（1）數(shù)據(jù)倉庫的數(shù)據(jù)是面向主題的.數(shù)據(jù)倉庫里的數(shù)據(jù)是面向主題域進(jìn)行組織的，而這些主題通常是用戶使用數(shù)據(jù)倉庫進(jìn)行決策時所關(guān)心的重點內(nèi)容.在電信的數(shù)據(jù)倉庫中典型的主題有客戶、產(chǎn)品、交易、賬目等.

（2）數(shù)據(jù)倉庫的數(shù)據(jù)是集成的.數(shù)據(jù)倉庫里的數(shù)據(jù)可以來自多個分散的操作性數(shù)據(jù)，數(shù)據(jù)倉庫的建立正是將數(shù)據(jù)進(jìn)行提取、凈化、轉(zhuǎn)換、裝載、編碼統(tǒng)一的過程.

（3）數(shù)據(jù)倉庫的數(shù)據(jù)是隨時間變化的.一般而言，企業(yè)數(shù)據(jù)倉庫中數(shù)據(jù)的時間期限通常為3～5年，要遠(yuǎn)遠(yuǎn)長于操作型系統(tǒng)中數(shù)據(jù)的時間期限.

（4）數(shù)據(jù)倉庫的數(shù)據(jù)是不可更新的.由于數(shù)據(jù)倉庫中的數(shù)據(jù)是一系列某一時刻生成的復(fù)雜快照，因此為決策提供數(shù)據(jù)時涉及的操作主要是數(shù)據(jù)的查詢.

電信企業(yè)的數(shù)據(jù)倉庫系統(tǒng)需要采集企業(yè)內(nèi)部生產(chǎn)管理系統(tǒng)所有與市場經(jīng)營相關(guān)的數(shù)據(jù)源，包括客戶背景資料、產(chǎn)品或套餐購買行為、消費資料、客服交互行為、繳費行為等方面的信息，對其進(jìn)行規(guī)范和整合，然后按業(yè)務(wù)、客戶、競爭、營銷活動及數(shù)據(jù)挖掘等主題，將數(shù)據(jù)按照數(shù)據(jù)集市的形式存放，并提供多維報表和挖掘工具，為分析人員提供數(shù)據(jù)倉庫系統(tǒng)和分析平臺，解決此前分析人員所面對的數(shù)據(jù)分散、口徑不統(tǒng)一、分析工作缺乏延續(xù)性等問題.

3 電信數(shù)據(jù)倉庫的體系架構(gòu)

電信數(shù)據(jù)倉庫系統(tǒng)將各業(yè)務(wù)系統(tǒng)、非業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)按照不同的主題進(jìn)行融合，并在數(shù)據(jù)倉庫的基礎(chǔ)上對相關(guān)主題的數(shù)據(jù)進(jìn)行分類、分析和管理，最后建立統(tǒng)一的業(yè)務(wù)數(shù)據(jù)視圖，為企業(yè)的決策提供數(shù)據(jù)支持，電信數(shù)據(jù)倉庫的架構(gòu)如圖2所示：

圖2 電信數(shù)據(jù)倉庫體系架構(gòu)Fig.2 Architecture of telecom data warehouse

3.1 數(shù)據(jù)獲取層

數(shù)據(jù)獲取層是針對電信現(xiàn)有各個業(yè)務(wù)系統(tǒng)及不同網(wǎng)點的分散數(shù)據(jù)，充分理解數(shù)據(jù)定義后，規(guī)劃所需要的數(shù)據(jù)源，對可操作的數(shù)據(jù)源進(jìn)行數(shù)據(jù)抽取.數(shù)據(jù)獲取層通過指定的接口從相關(guān)的數(shù)據(jù)源獲取企業(yè)所需的業(yè)務(wù)數(shù)據(jù).通常，這些數(shù)據(jù)源的數(shù)據(jù)為CRM系統(tǒng)、計費系統(tǒng)、結(jié)算系統(tǒng)、資源系統(tǒng)等系統(tǒng)數(shù)據(jù)，并且這些數(shù)據(jù)包括客戶背景資料、產(chǎn)品或套餐購買行為、消費資料、客服交互行為、繳費行為等方面的信息.然而，值得注意的是，數(shù)據(jù)獲取層從相關(guān)數(shù)據(jù)源獲取的業(yè)務(wù)數(shù)據(jù)并沒有進(jìn)行數(shù)據(jù)融合，只是將其按照不同的數(shù)據(jù)源進(jìn)行分類，這樣做便于數(shù)據(jù)的校驗、異常的返回處理以及保證決策所涉及數(shù)據(jù)的數(shù)據(jù)質(zhì)量.

3.2 數(shù)據(jù)存儲層

數(shù)據(jù)存儲層是整個數(shù)據(jù)倉庫的核心部分，它將數(shù)據(jù)獲取層中的數(shù)據(jù)進(jìn)行匯集、清洗、轉(zhuǎn)換以及分類存儲操作.這些業(yè)務(wù)數(shù)據(jù)按照產(chǎn)品、賬務(wù)、地域、營銷活動等主題進(jìn)行分類存放，并為數(shù)據(jù)應(yīng)用層提供有效的數(shù)據(jù)支撐.

數(shù)據(jù)存儲層分為細(xì)節(jié)數(shù)據(jù)層、業(yè)務(wù)視圖層以及應(yīng)用視圖層三個層次.

（1）細(xì)節(jié)數(shù)據(jù)層

細(xì)節(jié)數(shù)據(jù)層主要是面向技術(shù)角度的，是將數(shù)據(jù)獲取層中的數(shù)據(jù)按照一定的規(guī)則進(jìn)行統(tǒng)一處理的層面.這些數(shù)據(jù)主要進(jìn)行匯集、清洗、轉(zhuǎn)換（Extract－Transform－Load，ETL）以及編碼等操作，然后按照產(chǎn)品、賬務(wù)、地域、營銷活動等主題進(jìn)行分類存放.

（2）業(yè)務(wù)視圖層

業(yè)務(wù)視圖層主要是面向業(yè)務(wù)角度的，是將數(shù)據(jù)從技術(shù)角度向業(yè)務(wù)角度進(jìn)行過渡的層面.業(yè)務(wù)視圖層的作用是使用統(tǒng)一的數(shù)據(jù)處理口徑處理數(shù)據(jù)從而提高數(shù)據(jù)生成效率，使得數(shù)據(jù)更加有效的支持用戶決策.

（3）應(yīng)用視圖層

應(yīng)用視圖層也是面向業(yè)務(wù)角度的，是將業(yè)務(wù)視圖層處理好的數(shù)據(jù)按照用戶的需求進(jìn)行數(shù)據(jù)分離的層面.應(yīng)用視圖層主要根據(jù)用戶的不同需求將不同的應(yīng)用數(shù)據(jù)進(jìn)行分離，從而便于用戶使用這些數(shù)據(jù).

3.3 數(shù)據(jù)展現(xiàn)層

由于不同用戶對數(shù)據(jù)倉庫系統(tǒng)有著不同的需求、觀察角度和觀察方式，數(shù)據(jù)倉庫系統(tǒng)應(yīng)該能夠提供多種數(shù)據(jù)展現(xiàn)方式來滿足不同用戶的需求.電信數(shù)據(jù)倉庫系統(tǒng)除了展現(xiàn)移動業(yè)務(wù)、固定電話業(yè)務(wù)、聚焦客戶信息等日常固定的數(shù)據(jù)應(yīng)用外，還可以通過不同的角色進(jìn)行個性化的定制，結(jié)合不同用戶的操作以及數(shù)據(jù)的分類方式使得數(shù)據(jù)展現(xiàn)更加符合用戶的個人習(xí)慣.

3.4 數(shù)據(jù)應(yīng)用層

數(shù)據(jù)應(yīng)用層是根據(jù)用戶提出的需求，建立相應(yīng)的主題.由于數(shù)據(jù)應(yīng)用面向不同用戶從不同角度提出的需求，因此在數(shù)據(jù)應(yīng)用層涉及時必須充分地考慮到數(shù)據(jù)的響應(yīng)效果以及數(shù)據(jù)的響應(yīng)效率.同時，為了滿足數(shù)據(jù)分析人員、業(yè)務(wù)分析人員、管理人員的需求，電信數(shù)據(jù)倉庫的數(shù)據(jù)應(yīng)用層通常有多維分析、客戶管理、專題分析、決策分析等主題.

從數(shù)據(jù)倉庫的角度來看，在外部數(shù)據(jù)源中的數(shù)據(jù)還存在二義性、重復(fù)、不完整、違反業(yè)務(wù)規(guī)則等問題，因此需要根據(jù)定義的清洗規(guī)則對這些數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換.由于數(shù)據(jù)轉(zhuǎn)換后的數(shù)據(jù)還存在數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)庫平臺的差異性以及數(shù)據(jù)不一致等問題，須將這些不同的數(shù)據(jù)格式轉(zhuǎn)換成相同的數(shù)據(jù)格式，從而解決各個不同數(shù)據(jù)源不同統(tǒng)計口徑以及難以共享的問題［4］.

由引言可知，各個業(yè)務(wù)部門擁有自己的業(yè)務(wù)系統(tǒng)，這些業(yè)務(wù)系統(tǒng)之間沒有標(biāo)準(zhǔn)的接口，從而導(dǎo)致數(shù)據(jù)定義不同，形成數(shù)據(jù)冗余、數(shù)據(jù)值不一致等問題.與此同時，這些業(yè)務(wù)系統(tǒng)缺乏集中的管理系統(tǒng)，形成了各自的數(shù)據(jù)孤島，無法做到數(shù)據(jù)的完全共享.結(jié)合上述提出的電信數(shù)據(jù)倉庫體系，按照不同的主題對各類生產(chǎn)系統(tǒng)（如：CRM系統(tǒng)、計費系統(tǒng)、結(jié)算系統(tǒng)、資源系統(tǒng)等）的數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、裝載（Extract－Transform－Load，ETL），從而實現(xiàn)對業(yè)務(wù)數(shù)據(jù)的匯聚和整合.這樣，數(shù)據(jù)倉庫可以全方位管理各個業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)，實現(xiàn)不同數(shù)據(jù)展現(xiàn)的準(zhǔn)確性、及時性和一致性，從而解決業(yè)務(wù)系統(tǒng)之間數(shù)據(jù)口徑不一致以及大數(shù)據(jù)量難以完全共享的問題［5］.

4 電信數(shù)據(jù)倉庫模型

數(shù)據(jù)倉庫里的主題通常是用戶使用數(shù)據(jù)倉庫進(jìn)行決策時所關(guān)心的重點內(nèi)容.從電信企業(yè)的實際運作情況看，可以大致分為客戶、產(chǎn)品、賬務(wù)收入、欠費等主題.隨著這些主題的完善和發(fā)展，相應(yīng)主題下的數(shù)據(jù)表也隨之不斷擴充，最終覆蓋整個電信的業(yè)務(wù)系統(tǒng)［6］.表1是電信企業(yè)數(shù)據(jù)倉庫的主要主題.

表1 電信企業(yè)數(shù)據(jù)倉庫主題Table 1 Subjects of telecom data warehouse

5 電信數(shù)據(jù)倉庫在針對性營銷上應(yīng)用

由于傳統(tǒng)粗放式營銷缺乏客戶消費數(shù)據(jù)和數(shù)據(jù)分析，制定出的營銷策略往往只依靠決策者的主觀判斷和直覺.而數(shù)據(jù)倉庫系統(tǒng)可以利用數(shù)據(jù)挖掘等方法分析數(shù)據(jù)倉庫里的數(shù)據(jù)，并有效地分析出用戶的消費特征和行為偏好，從而為企業(yè)決策者提供針對性營銷的決策支撐.營銷管理是從客戶、產(chǎn)品、收入等不同的主題分析跟蹤電信企業(yè)的各種營銷方案和市場行為，準(zhǔn)確地識別目標(biāo)客戶，評估存在的營銷方案，從而保證營銷策略的成功率.市場針對性營銷清晰的反映了營銷成功率、反饋準(zhǔn)確度、執(zhí)行效果、營銷收益以及投資收益率［7］.圖3列出了針對性營銷基于流失預(yù)測模型，發(fā)現(xiàn)客戶流失傾向，實現(xiàn)客戶維系挽留的模型.

圖3 針對性營銷中客戶挽留模型Fig.3 Model of customer retention system on targeted marketing

（1）數(shù)據(jù)準(zhǔn)備

針對性營銷是在充分了解顧客信息的基礎(chǔ)上，針對顧客的偏好，有針對性地進(jìn)行一對一的營銷.下面主要分析消費行為特征所涉及的客戶信息，如表2所示：

通過對表2中所涉及的各類客戶消費行為的數(shù)據(jù)進(jìn)行分析作為數(shù)據(jù)準(zhǔn)備，這些信息包括活動名稱、產(chǎn)品名稱、活動方案、活動時間、賬目情況等.

（2）流失預(yù)測

流失預(yù)測是在分析客戶消費行為的基礎(chǔ)上，對流失客戶進(jìn)行預(yù)測，并將流失客戶進(jìn)行分類，對有價值的流失客戶選擇最佳的匹配挽留方案，然后根據(jù)用戶價值對營銷效果進(jìn)行評估，將營銷效果評估后的結(jié)果納入知識庫.圖4所示是客戶預(yù)測模型，通過這個模型可以預(yù)測即將流失的客戶.

表2 用戶消費行為特征信息Table 2 Characteristic of customer consumption behavior

圖4 客戶預(yù)測模型Fig.4 Customer forecasting model

（3）客戶挽留

在這個階段，將利用優(yōu)惠短信推送或電信回訪的方式訪問流失客戶并了解客戶流失的具體原因.然后根據(jù)客戶流失的原因及時調(diào)整營銷政策來盡力挽留可能流失的客戶.

（4）評估優(yōu)化

這個階段將對整個營銷政策的效果進(jìn)行合理的評估.營銷政策的執(zhí)行效果的衡量來自數(shù)據(jù)倉庫中的反饋信息，我們通過對客戶在營銷前后價值行為進(jìn)行評估從而可以對營銷政策的效果進(jìn)行準(zhǔn)確的分析.最后，將評估的結(jié)果加入到知識庫中，從而可以及時地調(diào)整營銷策略和營銷事件的閾值，提高流失客戶預(yù)測的命中率.

基于上述的客戶挽留模型，從某省選擇50萬用戶，以2013年6月份為預(yù)測點，選取前三個月的客戶行為主題數(shù)據(jù)以及賬務(wù)主題數(shù)據(jù)，來預(yù)測未來一個月的客戶流失情況.具體實驗數(shù)據(jù)如表3所示.

表3 客戶流失預(yù)測模型實驗Table 3 The experiment of customer churn prediction model

通過以上實驗驗證，發(fā)現(xiàn)預(yù)測模型在預(yù)測流失客戶數(shù)和成功預(yù)測流失客戶數(shù)上都有較高的命中率和查準(zhǔn)率，表明通過正確的預(yù)測流失客戶數(shù)，可以進(jìn)一步調(diào)整營銷策略從而對有價值的客戶進(jìn)行挽留.

6 總 結(jié)

目前，很多企業(yè)都已經(jīng)著手構(gòu)建其產(chǎn)業(yè)領(lǐng)域的數(shù)據(jù)倉庫，這些企業(yè)將不同業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)按照不同的主題整合在數(shù)據(jù)倉庫中，從源頭上解決了數(shù)據(jù)孤島及大數(shù)據(jù)難以共享等問題，使得這些大數(shù)據(jù)便于共享、存取、查詢、分析及應(yīng)用.數(shù)據(jù)倉庫為企業(yè)帶來了一些“以數(shù)據(jù)為基礎(chǔ)的知識”，并為企業(yè)的運作帶來新的視角.與此同時，這些企業(yè)利用數(shù)據(jù)挖掘等相關(guān)技術(shù)對數(shù)據(jù)倉庫中數(shù)據(jù)進(jìn)行充分的分析和挖掘，從而為企業(yè)市場決策和企業(yè)發(fā)展戰(zhàn)略提供有力的決策支持［8］.

［1］于紅雷，華慶一，劉燕玲，等.數(shù)據(jù)倉庫在電信統(tǒng)計分析中的應(yīng)用［J］.計算機技術(shù)與發(fā)展，2007，17（8）：201－204.

［2］周亮.電子政務(wù)決策支持系統(tǒng)中數(shù)據(jù)倉庫的研究與設(shè)計［J］.武漢理工大學(xué)學(xué)報，2005，27（1）：31－34.

［3］WILLIAM H.Inmon著，王志海譯.建立數(shù)據(jù)倉庫［M］.4版.北京：機械出版社，2006.

［4］張軍玲.數(shù)據(jù)倉庫在電信綜合運營支撐系統(tǒng)中的應(yīng)用［D］.西安：西安電子科技大學(xué)，2009.

［5］雷海艷.電信企業(yè)針對性營銷管理系統(tǒng)的設(shè)計與實現(xiàn)［D］.成都：電子科技大學(xué)，2011.

［6］劉英姿，崔南方，馬士華，等.基于電信業(yè)務(wù)的數(shù)據(jù)倉庫系統(tǒng)設(shè)計［J］.華中科技大學(xué)學(xué)報，2002，30（9）：42－44.

［7］唐九洲.電信行業(yè)經(jīng)營分析系統(tǒng)數(shù)據(jù)倉庫建模研究［D］.長沙：中南大學(xué)，2004.

［8］楚麗桃.論數(shù)據(jù)倉庫在電信統(tǒng)計分析中的應(yīng)用［J］.工業(yè)設(shè)計，2011（07）：130－132.