網(wǎng)管數(shù)據(jù)質(zhì)量評(píng)估模型研究

方 津

（中國(guó)移動(dòng)通信集團(tuán)福建有限公司 福州350001）

1 引言

隨著電信行業(yè)業(yè)務(wù)的快速發(fā)展，運(yùn)營(yíng)商通信網(wǎng)絡(luò)不斷擴(kuò)大，由此導(dǎo)致網(wǎng)管數(shù)據(jù)逐步海量化、復(fù)雜化和多樣化。如何有效地存儲(chǔ)和查詢這些數(shù)據(jù)，通過(guò)數(shù)據(jù)挖掘從海量數(shù)據(jù)中獲得有用的信息，是當(dāng)前面臨的一個(gè)挑戰(zhàn)。

目前電信網(wǎng)絡(luò)運(yùn)維工作面向全業(yè)務(wù)發(fā)展，逐步實(shí)現(xiàn)網(wǎng)管體系轉(zhuǎn)型。為了支撐跨專業(yè)關(guān)聯(lián)和全業(yè)務(wù)運(yùn)營(yíng)，需要進(jìn)一步建立基于共享數(shù)據(jù)結(jié)構(gòu)的全業(yè)務(wù)支撐運(yùn)維體系，對(duì)數(shù)據(jù)質(zhì)量提出了更高的要求。數(shù)據(jù)共享化后，不僅要使用數(shù)據(jù)源系統(tǒng)和屬主系統(tǒng)，還要使用大量的消費(fèi)系統(tǒng)，一旦有劣質(zhì)數(shù)據(jù)，影響的范圍更廣。因此需要對(duì)數(shù)據(jù)質(zhì)量進(jìn)行統(tǒng)一管控。數(shù)據(jù)質(zhì)量控制是依據(jù)數(shù)據(jù)質(zhì)量評(píng)估模型，由各系統(tǒng)通過(guò)設(shè)置數(shù)據(jù)質(zhì)量考察點(diǎn)對(duì)外提供可供評(píng)估的數(shù)據(jù)質(zhì)量原始數(shù)據(jù)，經(jīng)數(shù)據(jù)管控平臺(tái)加工處理后形成數(shù)據(jù)質(zhì)量業(yè)務(wù)數(shù)據(jù)后進(jìn)行統(tǒng)一呈現(xiàn)，從而實(shí)現(xiàn)對(duì)網(wǎng)管數(shù)據(jù)質(zhì)量的全面評(píng)估管理。

2 數(shù)據(jù)質(zhì)量定義

研究者們普遍認(rèn)為，應(yīng)該從數(shù)據(jù)使用者的角度定義數(shù)據(jù)質(zhì)量。因此，基本的數(shù)據(jù)質(zhì)量定義是“適用”，還有一個(gè)比較流行的觀點(diǎn)是“高質(zhì)量的數(shù)據(jù)應(yīng)該是能充分滿足用戶使用要求的數(shù)據(jù)”。除此之外，其他比較有影響的定義有：

·反映了數(shù)據(jù)滿足特定規(guī)則或者需求的特性；

·反映了數(shù)據(jù)對(duì)用戶有較高價(jià)值的特性；

·反映了數(shù)據(jù)的內(nèi)容、格式以及時(shí)間特性滿足特定的最終用戶要求的程度。

綜上所述，數(shù)據(jù)質(zhì)量是指數(shù)據(jù)能夠充分滿足用戶使用需求的特性。

3 評(píng)估模型

數(shù)據(jù)質(zhì)量評(píng)估從用戶對(duì)數(shù)據(jù)綜合應(yīng)用要求的角度考慮，對(duì)數(shù)據(jù)的生產(chǎn)、存儲(chǔ)和消費(fèi)進(jìn)行全面的考察和評(píng)價(jià)，從而提高數(shù)據(jù)的可信度和有效度，為數(shù)據(jù)的使用提供更有利的基礎(chǔ)。

所有的數(shù)據(jù)都是為客戶服務(wù)的，通過(guò)各種業(yè)務(wù)來(lái)滿足客戶的需求，因此提升數(shù)據(jù)質(zhì)量也是各種業(yè)務(wù)的共同目標(biāo)。對(duì)于數(shù)據(jù)使用者而言，數(shù)據(jù)質(zhì)量是一個(gè)多維度或者多屬性的概念。這些維度包括數(shù)據(jù)的精確性、可信度、關(guān)聯(lián)度和實(shí)效性等。

3.1 評(píng)估維度

依據(jù)數(shù)據(jù)質(zhì)量定義的精神，分析網(wǎng)管數(shù)據(jù)的生命周期，數(shù)據(jù)從產(chǎn)生到消費(fèi)，總共可分成三大環(huán)節(jié)。

（1）數(shù)據(jù)模型定義

對(duì)網(wǎng)管數(shù)據(jù)進(jìn)行分類，按照層次關(guān)系劃分為不同的域，每個(gè)域中包含一組類，每個(gè)類的定義由類的名稱、一組類的屬性和方法來(lái)描述，對(duì)于每個(gè)類的屬性，給出屬性名稱、屬性類型、該屬性是否可空、數(shù)據(jù)值域范圍等。

（2）數(shù)據(jù)實(shí)體化

根據(jù)數(shù)據(jù)模型定義，從數(shù)據(jù)源采集數(shù)據(jù)，按數(shù)據(jù)質(zhì)量定義要求對(duì)數(shù)據(jù)進(jìn)行加工處理，通常包含采集、解析、裝載、預(yù)處理、匯總等環(huán)節(jié)。不同的數(shù)據(jù)處理環(huán)節(jié)可能略有差異。

（3）數(shù)據(jù)消費(fèi)

依據(jù)數(shù)據(jù)使用特點(diǎn)，對(duì)外提供各種類型的數(shù)據(jù)接口，包含實(shí)時(shí)數(shù)據(jù)分發(fā)、定時(shí)數(shù)據(jù)分發(fā)、同步查詢、異步查詢、文件傳輸?shù)取?/p>

在數(shù)據(jù)生命周期的不同環(huán)節(jié)，數(shù)據(jù)質(zhì)量有著不同的關(guān)注點(diǎn)。在數(shù)據(jù)模型定義時(shí)，主要關(guān)注數(shù)據(jù)的完整性和數(shù)據(jù)的有效性；在數(shù)據(jù)實(shí)體化過(guò)程中，主要關(guān)注數(shù)據(jù)采集處理過(guò)程的準(zhǔn)確性和及時(shí)性；在數(shù)據(jù)消費(fèi)環(huán)節(jié)，主要關(guān)注數(shù)據(jù)的一致性。

基于以上網(wǎng)管數(shù)據(jù)的生命周期以及數(shù)據(jù)生命周期的每個(gè)環(huán)節(jié)，結(jié)合網(wǎng)管數(shù)據(jù)的自身特點(diǎn)，提出從數(shù)據(jù)完整性、有效性、準(zhǔn)確性、一致性、及時(shí)性5個(gè)維度評(píng)估系統(tǒng)的數(shù)據(jù)質(zhì)量。其具體定義如下。

·數(shù)據(jù)完整性：主要包括網(wǎng)管系統(tǒng)被管實(shí)體缺失、屬性缺失、記錄缺失和字段值缺失4個(gè)方面。

·數(shù)據(jù)準(zhǔn)確性：網(wǎng)管應(yīng)用系統(tǒng)的結(jié)果值、計(jì)算值與網(wǎng)絡(luò)中真實(shí)值之間的差異大小。數(shù)據(jù)的采集、錄入、傳輸和處理等環(huán)節(jié)，都可能影響數(shù)據(jù)準(zhǔn)確性。

·數(shù)據(jù)有效性：主要包括格式、類型、值域和業(yè)務(wù)規(guī)則的有效性。對(duì)于采集到的數(shù)據(jù)，需要考慮這個(gè)數(shù)據(jù)的絕對(duì)門限和波動(dòng)門限。超出門限范圍的數(shù)據(jù)為無(wú)效數(shù)據(jù)。

·數(shù)據(jù)一致性：指數(shù)據(jù)的屬主系統(tǒng)、數(shù)據(jù)源系統(tǒng)以及消費(fèi)系統(tǒng)之間的數(shù)據(jù)差異和相互矛盾的一致性。

·數(shù)據(jù)及時(shí)性：指網(wǎng)管數(shù)據(jù)提取、傳送、處理、裝載、展現(xiàn)的及時(shí)性和快速性。應(yīng)用系統(tǒng)在日常數(shù)據(jù)的管理中，往往要求能夠更快、更準(zhǔn)地收集到所需的數(shù)據(jù)，也就是說(shuō)數(shù)據(jù)必須要有及時(shí)性。

3.2 評(píng)估流程

在理解數(shù)據(jù)質(zhì)量定義的基礎(chǔ)上，要提高數(shù)據(jù)質(zhì)量，必須對(duì)數(shù)據(jù)進(jìn)行數(shù)據(jù)質(zhì)量評(píng)估。數(shù)據(jù)質(zhì)量評(píng)估實(shí)際上是統(tǒng)計(jì)綜合評(píng)價(jià)問(wèn)題，數(shù)據(jù)質(zhì)量的評(píng)估模型通常包括6個(gè)方面：評(píng)估對(duì)象、評(píng)估指標(biāo)、評(píng)估規(guī)則、權(quán)值、期望值、評(píng)估結(jié)果。結(jié)合網(wǎng)管系統(tǒng)數(shù)據(jù)的特點(diǎn)，提出如圖1所示的評(píng)估模型中的對(duì)象關(guān)系。

評(píng)估對(duì)象是指需要進(jìn)行評(píng)估的數(shù)據(jù)集對(duì)象。網(wǎng)管系統(tǒng)產(chǎn)生的所有數(shù)據(jù)對(duì)象或數(shù)據(jù)對(duì)象的子集都可以作為評(píng)估對(duì)象。網(wǎng)管域業(yè)務(wù)產(chǎn)生的數(shù)據(jù)的特點(diǎn)是數(shù)據(jù)量大，數(shù)據(jù)模型相對(duì)較復(fù)雜，因此數(shù)據(jù)的評(píng)估過(guò)程也較為復(fù)雜。

建立對(duì)象層次，是一種有效降低復(fù)雜性的系統(tǒng)方法。為了更好地從5個(gè)維度評(píng)價(jià)數(shù)據(jù)質(zhì)量，結(jié)合對(duì)于網(wǎng)管的理解，對(duì)評(píng)估對(duì)象自上而下劃分為如下幾個(gè)層次：系統(tǒng)、數(shù)據(jù)域、對(duì)象指標(biāo)。每層對(duì)象的數(shù)據(jù)質(zhì)量評(píng)估值都由若干個(gè)下層評(píng)估值計(jì)算得到，如圖2所示，具體介紹如下。

·對(duì)象指標(biāo)：對(duì)象指標(biāo)是對(duì)基礎(chǔ)對(duì)象數(shù)據(jù)質(zhì)量的綜合評(píng)價(jià)。具體體現(xiàn)為某個(gè)評(píng)估值。

·數(shù)據(jù)域：按照數(shù)據(jù)類別，屬主系統(tǒng)、數(shù)據(jù)源對(duì)數(shù)據(jù)進(jìn)行分類，可分為業(yè)務(wù)域、資源域、配置域、事件域、統(tǒng)計(jì)域等10大數(shù)據(jù)域。數(shù)據(jù)域結(jié)合具體的質(zhì)量評(píng)估目標(biāo)以及對(duì)象之間的邏輯關(guān)系，可以進(jìn)一步按照地理、網(wǎng)元等維度進(jìn)行細(xì)分。

·系統(tǒng)：?jiǎn)蝹€(gè)系統(tǒng)整體數(shù)據(jù)質(zhì)量評(píng)估值。一個(gè)系統(tǒng)包含多個(gè)數(shù)據(jù)域。

評(píng)估指標(biāo)是針對(duì)基礎(chǔ)對(duì)象定義的，數(shù)據(jù)質(zhì)量基礎(chǔ)評(píng)估指標(biāo)一般包含數(shù)據(jù)完整性、準(zhǔn)確性、一致性、有效性、及時(shí)性等，詳細(xì)如圖3所示。

與評(píng)估指標(biāo)對(duì)應(yīng)的是評(píng)估規(guī)則，規(guī)則可以使用規(guī)范化的自然語(yǔ)言或形式化語(yǔ)言來(lái)描述。通常一個(gè)評(píng)估指標(biāo)可以對(duì)應(yīng)一個(gè)或多個(gè)評(píng)估規(guī)則。

權(quán)值包含規(guī)則權(quán)值和指標(biāo)權(quán)值。規(guī)則權(quán)值指計(jì)算基礎(chǔ)指標(biāo)時(shí)，指標(biāo)規(guī)則對(duì)應(yīng)的權(quán)值，描述該規(guī)則在所有規(guī)則中所占的比重；指標(biāo)權(quán)值指在計(jì)算上層指標(biāo)時(shí)，評(píng)估指標(biāo)在所有同層指標(biāo)中相對(duì)于上層指標(biāo)所占的比重。

期望值指評(píng)估之前所期望得到的結(jié)果或參考值。為了方便地評(píng)估指標(biāo)，進(jìn)一步區(qū)分為挑戰(zhàn)值、達(dá)標(biāo)值、最差值。

評(píng)估結(jié)果指使用評(píng)估規(guī)則評(píng)估后得到的實(shí)際結(jié)果值。

在得到數(shù)據(jù)質(zhì)量評(píng)估模型的對(duì)象關(guān)系后，數(shù)據(jù)質(zhì)量的評(píng)估可劃分為下面幾個(gè)步驟。

（1）評(píng)估準(zhǔn)備。確定數(shù)據(jù)評(píng)估對(duì)象，選擇評(píng)估指標(biāo)，制定規(guī)則集。

（2）計(jì)算基礎(chǔ)對(duì)象評(píng)估值。通過(guò)規(guī)則權(quán)值和規(guī)則評(píng)估值計(jì)算出基礎(chǔ)指標(biāo)值；通過(guò)基礎(chǔ)指標(biāo)權(quán)值和基礎(chǔ)指標(biāo)值算出基礎(chǔ)對(duì)象評(píng)估值。其中，規(guī)則權(quán)值和基礎(chǔ)指標(biāo)權(quán)值的計(jì)算方法有多種，如層次分析法、專家調(diào)查法、Delphi法等，這里采用層次分析法。

（3）計(jì)算上層評(píng)估對(duì)象的指標(biāo)。通過(guò)基礎(chǔ)對(duì)象指標(biāo)權(quán)值和上層評(píng)估對(duì)象指標(biāo)值的線性加權(quán)，計(jì)算得出上層評(píng)估對(duì)象指標(biāo)值。依次可獲得數(shù)據(jù)域評(píng)估值、系統(tǒng)評(píng)估值。

網(wǎng)管數(shù)據(jù)質(zhì)量評(píng)估流程如圖4所示。

3.3 評(píng)估算法

3.3.1 基礎(chǔ)指標(biāo)計(jì)算

（1）計(jì)算評(píng)估規(guī)則在所有評(píng)估規(guī)則中相對(duì)于評(píng)估指標(biāo)的權(quán)值

采用層次分析法對(duì)所有評(píng)估規(guī)則進(jìn)行分析，得到所有評(píng)估規(guī)則權(quán)值。層次分析法是將與決策總是有關(guān)的元素分解成目標(biāo)、準(zhǔn)則、方案等層次，在此基礎(chǔ)上進(jìn)行定性和定量分析的決策方法。該方法是美國(guó)運(yùn)籌學(xué)家匹茨堡大學(xué)教授薩蒂于20世紀(jì)70年代初提出的一種層次權(quán)重決策分析方法。假設(shè)得到的權(quán)值集合為：

（2）分析計(jì)算基礎(chǔ)指標(biāo)評(píng)估結(jié)果值

根據(jù)評(píng)估規(guī)則，獲得每個(gè)數(shù)據(jù)對(duì)象每個(gè)規(guī)則的評(píng)估結(jié)果值。假定規(guī)則權(quán)值為W,評(píng)估規(guī)則評(píng)估值為R，那么基礎(chǔ)指標(biāo)的評(píng)估值S計(jì)算如下：

為了更加直觀地反映數(shù)據(jù)質(zhì)量的高低，使用百分制評(píng)價(jià)每個(gè)評(píng)估指標(biāo)，對(duì)每個(gè)指標(biāo)的期望值進(jìn)一步細(xì)分，定義了最差值、達(dá)標(biāo)值、挑戰(zhàn)值3個(gè)值反映當(dāng)前指標(biāo)健康度，其對(duì)應(yīng)的得分范圍見表1。

表1 指標(biāo)評(píng)估結(jié)果對(duì)應(yīng)分值規(guī)則

這里，給出每個(gè)評(píng)估指標(biāo)得分的具體算法。假設(shè)評(píng)估值為K、最差值為A、達(dá)標(biāo)值為B、挑戰(zhàn)值為C，那么評(píng)估值的得分計(jì)算式為：

3.3.2 上層指標(biāo)計(jì)算

參考國(guó)際電信管理論壇（TMF）的GB917文檔中提到的相關(guān)算法，使用線性加權(quán)算法計(jì)算上層指標(biāo)值。

首先，針對(duì)每個(gè)下層KPI，通過(guò)層次分析法，確定其聚合到對(duì)應(yīng)上層指標(biāo)KPI’的權(quán)重。假設(shè)下層指標(biāo)評(píng)估值為KPI，上層指標(biāo)評(píng)估值為KPI’，那么KPI’計(jì)算如下：

對(duì)象指標(biāo)可通過(guò)基礎(chǔ)指標(biāo)線性加權(quán)計(jì)算得到，同理可計(jì)算得到數(shù)據(jù)域評(píng)估值和應(yīng)用系統(tǒng)的數(shù)據(jù)質(zhì)量總評(píng)估值。

4 應(yīng)用示例

結(jié)合實(shí)際應(yīng)用場(chǎng)景，使用評(píng)估模型進(jìn)行質(zhì)量評(píng)估。對(duì)于模型的應(yīng)用示例，主要是介紹整個(gè)評(píng)估的過(guò)程，所以抽取少量考核指標(biāo)來(lái)計(jì)算，抽取的指標(biāo)含TCH掉話率、TCH話 務(wù) 量、SDCCH話 務(wù) 量、SDCCH接 通 率、SDCCH掉 話 率、GSM接通率，具體模型如圖5所示。

針對(duì)簡(jiǎn)化的評(píng)估對(duì)象，根據(jù)數(shù)據(jù)的生命周期，每個(gè)對(duì)象定義如下5個(gè)評(píng)估指標(biāo)：數(shù)據(jù)完整性、準(zhǔn)確性、有效性、一致性、及時(shí)性。從這5個(gè)評(píng)估維度考量數(shù)據(jù)質(zhì)量。以無(wú)線接通率完整性為例進(jìn)行說(shuō)明。

以某省話務(wù)網(wǎng)管地市級(jí)別，小時(shí)粒度的數(shù)據(jù)為例，數(shù)據(jù)時(shí)間跨度為24 h，評(píng)估的是一天的數(shù)據(jù)，空間維度粒度為地市（9地市），數(shù)據(jù)的時(shí)間粒度為h，那么總的記錄數(shù)應(yīng)該有9×24=216條?？紤]到凌晨等時(shí)段允許部分?jǐn)?shù)據(jù)缺失，制定對(duì)象指標(biāo)的完整性挑戰(zhàn)值為99%，達(dá)標(biāo)值為95%，最差值為85%。完整性計(jì)算包括記錄完整率和字段完整率。通過(guò)層次分析法計(jì)算出其權(quán)值。假設(shè)其對(duì)應(yīng)權(quán)值為（0.5,0.5）T。根據(jù)式（2），得到計(jì)算規(guī)則為：完整性=實(shí)際記錄數(shù)/總記錄數(shù)×0.5+非空字段數(shù)/總字段數(shù)據(jù)×0.5。

其數(shù)據(jù)完整性情況見表2。

表2 無(wú)線接通率完整性

可以算出完整性為：

根據(jù)式（3）可計(jì)算出評(píng)估值為：

同理，可以算出其他指標(biāo)的完整性。

使用層次分析法，計(jì)算得出的指標(biāo)權(quán)值為：

根據(jù)式（4）計(jì)算得出無(wú)線域數(shù)據(jù)完整性A1：

同理，可計(jì)算出無(wú)線域有效性A2、無(wú)線域準(zhǔn)確性A3、無(wú)線域數(shù)據(jù)及時(shí)性A4、無(wú)線域數(shù)據(jù)一致性A5。

通過(guò)層次分析法，得到無(wú)線域評(píng)估維度質(zhì)量指標(biāo)（含數(shù)據(jù)完整性、有效性、準(zhǔn)確性、及時(shí)性、一致性）的權(quán)重，假設(shè)權(quán)值為W1、W2、W3、W4、W5，那么無(wú)線域的數(shù)據(jù)質(zhì)量評(píng)估得分為：

獲取到評(píng)估結(jié)果后，可以進(jìn)一步生成數(shù)據(jù)質(zhì)量評(píng)估報(bào)告，數(shù)據(jù)質(zhì)量報(bào)告是對(duì)數(shù)據(jù)質(zhì)量評(píng)估結(jié)果各種信息進(jìn)行匯總、梳理、統(tǒng)計(jì)和分析，形成統(tǒng)計(jì)報(bào)告的過(guò)程。數(shù)據(jù)質(zhì)量報(bào)告提供了一個(gè)集中展示系統(tǒng)數(shù)據(jù)質(zhì)量狀況的窗口，數(shù)據(jù)質(zhì)量管理人員召集相關(guān)人員對(duì)數(shù)據(jù)質(zhì)量報(bào)告進(jìn)行分析討論，以總結(jié)經(jīng)驗(yàn)、沉淀知識(shí)和改進(jìn)方法，不斷提高系統(tǒng)的數(shù)據(jù)質(zhì)量問(wèn)題的處理能力。

5 結(jié)束語(yǔ)

網(wǎng)管數(shù)據(jù)質(zhì)量的控制及有效提升，主要依據(jù)數(shù)據(jù)質(zhì)量評(píng)估模型?；诒疚牡臄?shù)據(jù)質(zhì)量評(píng)估模型，結(jié)合數(shù)據(jù)質(zhì)量評(píng)估報(bào)告，可以實(shí)現(xiàn)網(wǎng)管對(duì)數(shù)據(jù)質(zhì)量評(píng)估的要求。在實(shí)際應(yīng)用方面，可按照實(shí)際情況，對(duì)現(xiàn)有網(wǎng)管系統(tǒng)進(jìn)行改造，增加考察點(diǎn)，嵌入數(shù)據(jù)質(zhì)量評(píng)估模型，生成評(píng)估報(bào)告，作為數(shù)據(jù)質(zhì)量控制和提升的依據(jù)。在指導(dǎo)規(guī)劃方面，考慮建立數(shù)據(jù)質(zhì)量管理規(guī)范，指導(dǎo)新系統(tǒng)的建設(shè)，這是下一步要研究的工作。

1 ITU-T E.800.Terms and Definitions Related to Quality of Service and Network Performance Including Dependability,1994

2 Aebi D，Perrochon L．Towards improving data quality.Proceedings of the International Conference on Information Systems and Management of Data,1993:273～281

3 Wang R Y．A product perspective on total data quality management.Communications of the ACM,1998,41（2）:58～65

4 Saaty T L.The Analytic Hierarchy Process.McGraw Hill,New York,1980

5 韓京宇,徐立臻,董逸生.數(shù)據(jù)質(zhì)量研究綜述.計(jì)算機(jī)科學(xué),2008,35（2）

6 郭志懋,周傲英.數(shù)據(jù)質(zhì)量和數(shù)據(jù)清洗研究綜述.軟件學(xué)報(bào),2002（11）

7 高明飛.移動(dòng)綜合網(wǎng)管數(shù)據(jù)缺失原因的分析及處理.電信技術(shù),2009（1）

8 王維虎，劉延申.淺析提升電信企業(yè)數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)質(zhì)量的方法.高等函授學(xué)報(bào)（自然科學(xué)版）,2006,20（1）

9 王曉華,蘇宏業(yè),渠瑜等.面向電信欠費(fèi)挖掘的數(shù)據(jù)質(zhì)量評(píng)估策略研究.計(jì)算機(jī)工程與應(yīng)用,2011,47（12）

10 倪萍,廖建新,王純等.一種KPI映射到KQI的通用算法.電子與信息學(xué)報(bào),2008,30（10）