上海財經(jīng)大學(xué)：提升數(shù)據(jù)質(zhì)量之道

文/宮劍 高亮

上海財經(jīng)大學(xué)：提升數(shù)據(jù)質(zhì)量之道

文/宮劍 高亮

數(shù)據(jù)信息是高等學(xué)校的重要資產(chǎn)，對數(shù)據(jù)的有效管理是數(shù)字化校園建設(shè)的重要內(nèi)容之一。本文以高校信息化建設(shè)為背景，對高校信息系統(tǒng)數(shù)據(jù)質(zhì)量現(xiàn)狀及數(shù)據(jù)質(zhì)量中的問題進(jìn)行了分析，闡述了數(shù)據(jù)質(zhì)量管理整體框架和內(nèi)涵。

隨著應(yīng)用的逐步深入，學(xué)校的信息系統(tǒng)也逐漸暴露出一些問題。由于學(xué)校各類業(yè)務(wù)系統(tǒng)往往是在不同時期規(guī)劃和建設(shè)的,系統(tǒng)之間的信息難以共享。一方面，各個系統(tǒng)的數(shù)據(jù)定義存在不一致；另一方面，同一數(shù)據(jù)也具有多個來源。為了有效進(jìn)行數(shù)據(jù)共享，將分散在各個系統(tǒng)中的資源整合起來,實現(xiàn)數(shù)據(jù)信息的綜合分析,從而為各級領(lǐng)導(dǎo)決策提供有效的數(shù)據(jù)支持, 很多學(xué)校都開發(fā)了數(shù)據(jù)接口和數(shù)據(jù)交換平臺，并在此基礎(chǔ)上開發(fā)了決策支持、數(shù)據(jù)倉庫、數(shù)據(jù)挖掘等多種應(yīng)用。然而由于業(yè)務(wù)人員在業(yè)務(wù)操作過程中缺乏一定的規(guī)范性，經(jīng)常出現(xiàn)數(shù)據(jù)維護(hù)不及時、不完整、不一致的現(xiàn)象，同時在數(shù)據(jù)交換過程中也經(jīng)常出現(xiàn)錯誤，使得數(shù)據(jù)的使用價值大打折扣。

高校數(shù)據(jù)質(zhì)量現(xiàn)狀及其原因分析

數(shù)據(jù)質(zhì)量定義

“數(shù)據(jù)質(zhì)量”目前沒有十分準(zhǔn)確的定義，較為被認(rèn)可的概念是 Wang等人提出的“Fit for Use”，這可以理解為數(shù)據(jù)資源滿足用戶具體應(yīng)用的程度。

信息系統(tǒng)的數(shù)據(jù)質(zhì)量需要從多個角度綜合評估，只有滿足各個評估維度才能說明數(shù)據(jù)是高質(zhì)量的。下面是一些常用的評估維度：

完整性：Completeness，用于度量哪些數(shù)據(jù)丟失了或者哪些數(shù)據(jù)不可用。

規(guī)范性：Conformity，用于度量哪些數(shù)據(jù)未按統(tǒng)一格式存儲。

一致性：Consistency，用于度量哪些數(shù)據(jù)的值在信息含義上是沖突的。

準(zhǔn)確性：Accuracy，用于度量哪些數(shù)據(jù)和信息是不正確的，或者數(shù)據(jù)是超期的。

唯一性：Uniqueness，用于度量哪些數(shù)據(jù)是重復(fù)數(shù)據(jù)或者數(shù)據(jù)的哪些屬性是重復(fù)的。

關(guān)聯(lián)性：Integration，用于度量哪些關(guān)聯(lián)的數(shù)據(jù)缺失或者未建立索引。

高校數(shù)據(jù)質(zhì)量現(xiàn)狀及原因分析

在高校信息化建設(shè)的多年經(jīng)歷以及同其他高校的交流中發(fā)現(xiàn)高校數(shù)據(jù)質(zhì)量管理普遍存在以下一些相似的情況：一方面，各類應(yīng)用系統(tǒng)數(shù)量多，系統(tǒng)間邊界不清晰。學(xué)校的管理業(yè)務(wù)種類繁多，大多學(xué)校一般都是因某一管理部門的工作需要而建設(shè)系統(tǒng)，隨即產(chǎn)生了不同業(yè)務(wù)領(lǐng)域的數(shù)據(jù)，如教師、學(xué)生、科研、教學(xué)、資產(chǎn)、財務(wù)等不同領(lǐng)域全生命周期的數(shù)據(jù)，導(dǎo)致各業(yè)務(wù)之間條塊分割嚴(yán)重, 普遍存在數(shù)據(jù)源頭多、不一致、異構(gòu)、缺失、不完整、不準(zhǔn)確、重復(fù)等問題。另一方面，業(yè)務(wù)操作人員普遍存在對數(shù)據(jù)質(zhì)量缺乏足夠重視的情況。高校信息化建設(shè)中常常是重點(diǎn)關(guān)注信息系統(tǒng)所包含的業(yè)務(wù)功能，而對系統(tǒng)的具體應(yīng)用則重視不夠，經(jīng)常出現(xiàn)操作不及時、數(shù)據(jù)錄入錯誤等忽視數(shù)據(jù)質(zhì)量的現(xiàn)象，也沒有采取有效的技術(shù)手段和管理措施應(yīng)對。

數(shù)據(jù)質(zhì)量問題的原因分析

影響信息系統(tǒng)數(shù)據(jù)質(zhì)量的原因有多種,既有技術(shù)方面的因素,又有管理方面的因素，最終結(jié)果體現(xiàn)在數(shù)據(jù)沒有滿足一個或多個數(shù)據(jù)質(zhì)量評估維度，沒有達(dá)到用戶預(yù)期的使用需求 。在數(shù)據(jù)產(chǎn)生和使用的整個生命周期中, 任何一個環(huán)節(jié)出現(xiàn)問題都會對數(shù)據(jù)質(zhì)量產(chǎn)生負(fù)面影響。一般說來, 影響高校信息系統(tǒng)數(shù)據(jù)質(zhì)量的因素主要有以下幾種:

1.未制定統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)。數(shù)據(jù)是一切信息系統(tǒng)的基礎(chǔ)，高校在信息化建設(shè)中往往比較重視系統(tǒng)功能而忽視了數(shù)據(jù)的重要性，沒有對數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行整體規(guī)劃。同時，教育行業(yè)標(biāo)準(zhǔn)的制定也相對滯后，2012年才由教育部發(fā)布了教育信息化的行業(yè)標(biāo)準(zhǔn)，而在此之前標(biāo)準(zhǔn)本身存在著內(nèi)容不完整、數(shù)據(jù)冗余、概念和文字錯誤等問題，使得長期以來各高校缺乏可借鑒的、指導(dǎo)性的參考，最終導(dǎo)致很多系統(tǒng)間數(shù)據(jù)性質(zhì)相同，但依據(jù)標(biāo)準(zhǔn)不一致。

2.信息化建設(shè)缺乏全校范圍的宏觀整體規(guī)劃，即從全局角度分析各個業(yè)務(wù)之間的業(yè)務(wù)、數(shù)據(jù)依賴關(guān)系。很多高校在信息化建設(shè)初期沒有對數(shù)據(jù)進(jìn)行整體規(guī)劃，業(yè)務(wù)系統(tǒng)建設(shè)各自為陣，最終形成了多個數(shù)據(jù)孤島，導(dǎo)致數(shù)據(jù)不一致、無法共享等多種問題。由各個業(yè)務(wù)部門主導(dǎo)業(yè)務(wù)系統(tǒng)建設(shè)的方式，雖然短時間內(nèi)可以實現(xiàn)部門內(nèi)業(yè)務(wù)的系統(tǒng)化，但因各業(yè)務(wù)部門的視角局限性，難以從宏觀角度審視學(xué)校全局層面的相關(guān)業(yè)務(wù)需求，造成了很多數(shù)據(jù)的源頭不統(tǒng)一，數(shù)據(jù)冗余的現(xiàn)象。

3.國內(nèi)教育行業(yè)軟件成熟度不高，系統(tǒng)技術(shù)架構(gòu)不一致。國內(nèi)教育行業(yè)軟件公司成熟度不高，對高校業(yè)務(wù)了解不深入，往往只能提供支持某一業(yè)務(wù)管理的軟件，對系統(tǒng)的可擴(kuò)展、可配置考慮不足，系統(tǒng)與系統(tǒng)間接口的開發(fā)難度較大。在系統(tǒng)實施過程中，都要根據(jù)高校具體的業(yè)務(wù)要求進(jìn)行定制化開發(fā)，缺乏規(guī)范性。同時，各業(yè)務(wù)系統(tǒng)采用的技術(shù)架構(gòu)以及業(yè)務(wù)數(shù)據(jù)的規(guī)范都不盡相同，造成數(shù)據(jù)庫字段命名、數(shù)據(jù)顆粒以及數(shù)據(jù)表達(dá)方式的多樣性，最終形成的數(shù)據(jù)邏輯表達(dá)與數(shù)據(jù)物理存放之間存在較大的差異。

4.只重視系統(tǒng)建設(shè)，對應(yīng)用效果缺乏持續(xù)的跟蹤和改進(jìn)。在系統(tǒng)建設(shè)特別是需求分析階段，只強(qiáng)調(diào)了系統(tǒng)功能，缺乏對數(shù)據(jù)質(zhì)量的重視，沒有強(qiáng)調(diào)數(shù)據(jù)的完整性、一致性和時效性。在軟件設(shè)計時，沒有系統(tǒng)地考慮后期的數(shù)據(jù)維護(hù)與數(shù)據(jù)更新的功能，同時在數(shù)據(jù)錄入與各系統(tǒng)間數(shù)據(jù)交互的環(huán)節(jié)中對數(shù)據(jù)質(zhì)量的驗證也缺乏考慮，經(jīng)常出現(xiàn)數(shù)據(jù)維護(hù)不及時、不準(zhǔn)確、不完整的現(xiàn)象，在要使用數(shù)據(jù)的時候才發(fā)現(xiàn)某類數(shù)據(jù)維護(hù)的問題。此類問題常出現(xiàn)在對本業(yè)務(wù)不重要但對其他相關(guān)業(yè)務(wù)重要的數(shù)據(jù)中。

提高數(shù)據(jù)質(zhì)量的措施

數(shù)據(jù)是信息時代的寶貴資源，高校應(yīng)該把數(shù)據(jù)當(dāng)作固定資產(chǎn)一樣對待。從傳統(tǒng)意義上講，信息系統(tǒng)的數(shù)據(jù)質(zhì)量管理是IT系統(tǒng)本身的事情。但實際上，優(yōu)秀的數(shù)據(jù)質(zhì)量解決方法也包括各業(yè)務(wù)的數(shù)據(jù)質(zhì)量管理組織以及數(shù)據(jù)質(zhì)量管理業(yè)務(wù)流程再造的過程。

數(shù)據(jù)質(zhì)量問題的形成，很多情況下不是某個崗位、某個部門的原因，而是由有缺陷的工作流程和執(zhí)行力不足造成的，比如崗位職責(zé)不明確、數(shù)據(jù)源頭不清晰等造成質(zhì)量差的數(shù)據(jù)。因此，提高數(shù)據(jù)質(zhì)量，不僅要從技術(shù)層面，更重要的是從管理層面入手。

提高對數(shù)據(jù)重要性的認(rèn)識

首先要讓高校各個層面的用戶，包括校領(lǐng)導(dǎo)、管理層、業(yè)務(wù)人員、教師、學(xué)生都能認(rèn)識到數(shù)據(jù)是高校重要的戰(zhàn)略資源，是學(xué)校日常業(yè)務(wù)運(yùn)轉(zhuǎn)的基礎(chǔ)，是一切決策的來源。業(yè)務(wù)人員和學(xué)校高層都要參與到數(shù)據(jù)質(zhì)量管理的活動中來。一方面，在建設(shè)時就要確定數(shù)據(jù)質(zhì)量相關(guān)的需求；另一方面，加強(qiáng)用戶對系統(tǒng)的依賴性，通過使用系統(tǒng)來發(fā)現(xiàn)問題，并及時對數(shù)據(jù)提供方進(jìn)行反饋，形成數(shù)據(jù)質(zhì)量提高的閉環(huán)，防止出現(xiàn)越是數(shù)據(jù)質(zhì)量不高就越不用系統(tǒng)，從而更沒人管數(shù)據(jù)的惡性循環(huán)。

數(shù)據(jù)標(biāo)準(zhǔn)先行

信息系統(tǒng)數(shù)據(jù)應(yīng)遵循行業(yè)標(biāo)準(zhǔn)，如國家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)、學(xué)校標(biāo)準(zhǔn)，既能夠保證學(xué)校內(nèi)部各業(yè)務(wù)數(shù)據(jù)的一致性，也便于與外部數(shù)據(jù)進(jìn)行集成與共享。在選擇或制定標(biāo)準(zhǔn)時，一方面要注意標(biāo)準(zhǔn)的可行性和適用性，要考慮各個學(xué)校的實際業(yè)務(wù)情況，不能為了標(biāo)準(zhǔn)而強(qiáng)制全盤使用國家或行業(yè)標(biāo)準(zhǔn)，而忽視了自身業(yè)務(wù)的特殊性與成熟度；另一方面也要考慮一定的可擴(kuò)展性，為各高校特有的業(yè)務(wù)以及可能的管理變革進(jìn)行準(zhǔn)備。此外，在選擇具體的開發(fā)廠商時，在考慮其技術(shù)能力及業(yè)務(wù)領(lǐng)域成熟度之外，需充分考慮其實施方案對現(xiàn)有標(biāo)準(zhǔn)和數(shù)據(jù)的兼容性、數(shù)據(jù)接口實現(xiàn)復(fù)雜度進(jìn)行充分論證，防止對現(xiàn)有信息系統(tǒng)體系形成沖擊。

制定數(shù)據(jù)質(zhì)量管理規(guī)范

高校在信息化建設(shè)中應(yīng)有意識地去提高各個層面系統(tǒng)使用者的信息化素質(zhì)，尤其是使用系統(tǒng)的業(yè)務(wù)管理人員，把提高數(shù)據(jù)質(zhì)量這項任務(wù)分解到每個業(yè)務(wù)人員身上。針對每個重要的業(yè)務(wù)系統(tǒng)，制定完善的數(shù)據(jù)錄入維護(hù)規(guī)范，建立完善的數(shù)據(jù)負(fù)責(zé)制度，對數(shù)據(jù)提供方進(jìn)行約束，條件允許的情況下可以成立專門的組織和機(jī)構(gòu)負(fù)責(zé)數(shù)據(jù)質(zhì)量管理工作。一般來說，在重要業(yè)務(wù)系統(tǒng)的管理部門內(nèi)部，設(shè)立專職或兼職數(shù)據(jù)質(zhì)量管理崗是一個較好的解決辦法，其工作職責(zé)包括定期監(jiān)控本系統(tǒng)數(shù)據(jù)質(zhì)量狀態(tài)，編寫現(xiàn)有數(shù)據(jù)質(zhì)量問題報告，協(xié)助IT部門完成數(shù)據(jù)標(biāo)準(zhǔn)的整理修正，提出系統(tǒng)數(shù)據(jù)質(zhì)量方面的修改建議等如何做好數(shù)據(jù)質(zhì)量的管理工作。

需求細(xì)化，持續(xù)跟蹤

在系統(tǒng)建設(shè)的需求分析階段即提出數(shù)據(jù)的要求，如在業(yè)務(wù)流程的各個環(huán)節(jié)都要仔細(xì)考慮數(shù)據(jù)的完整性、一致性、時效性、互相依賴關(guān)系等。同時在系統(tǒng)設(shè)計時優(yōu)先考慮數(shù)據(jù)輸入和輸出接口問題，并采用靈活的、可配置、擴(kuò)展性強(qiáng)的建模方式與開發(fā)技術(shù)，開發(fā)出用戶界面比較友好、數(shù)據(jù)約束可靈活定義的系統(tǒng)，以減少操作員的錄入工作量和出現(xiàn)錯誤的可能性，加強(qiáng)數(shù)據(jù)源頭錯誤的控制；同時，在開發(fā)前要充分考慮用戶的需求，防止出現(xiàn)業(yè)務(wù)處理軟件不能滿足客戶要求、操作員采取違規(guī)操作的現(xiàn)象。

表1應(yīng)用系統(tǒng)維護(hù)職責(zé)定義

開發(fā)數(shù)據(jù)質(zhì)量檢查工具，實現(xiàn)自動監(jiān)控

對于早期開發(fā)的業(yè)務(wù)系統(tǒng)，由于對其修改成本較大，從系統(tǒng)層面較難對用戶進(jìn)行約束。對于這種情況，技術(shù)人員應(yīng)開發(fā)數(shù)據(jù)質(zhì)量檢查的自動監(jiān)控工具，及時發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題，確定責(zé)任人，并予以糾正。數(shù)據(jù)質(zhì)量問題發(fā)現(xiàn)的越早，糾正的成本就越低。

實際應(yīng)用

上海財經(jīng)大學(xué)于2002年制定了學(xué)校信息化統(tǒng)一規(guī)劃，2003年參考了國家、行業(yè)等有關(guān)標(biāo)準(zhǔn)制定了學(xué)校的信息標(biāo)準(zhǔn)。到2008年，應(yīng)用系統(tǒng)已經(jīng)覆蓋了學(xué)校的教學(xué)、科研、人事、財務(wù)、學(xué)工、后勤、招生、就業(yè)等主要業(yè)務(wù)。在開發(fā)過程中，梳理各系統(tǒng)的數(shù)據(jù)關(guān)系，確保同一數(shù)據(jù)只有一個源頭，并實現(xiàn)了各業(yè)務(wù)系統(tǒng)之間的數(shù)據(jù)共享。此后的工作將逐步轉(zhuǎn)移到利用現(xiàn)有數(shù)據(jù)搭建數(shù)據(jù)倉庫，為領(lǐng)導(dǎo)層提供決策支持服務(wù)上來。數(shù)據(jù)質(zhì)量的改進(jìn)不是單個部門就可以完成的，它需要應(yīng)用系統(tǒng)所有部門、用戶和技術(shù)人員的協(xié)調(diào)、通力合作。筆者在實際的信息化工作中，針對所遇到的數(shù)據(jù)質(zhì)量問題，與相關(guān)部門人員及技術(shù)人員一起，在管理和技術(shù)上做出了如下嘗試，并取得了一定成效。

由業(yè)務(wù)部門牽頭進(jìn)行數(shù)據(jù)管理

數(shù)據(jù)建設(shè)與管理密不可分，首先需要建立一個由業(yè)務(wù)數(shù)據(jù)主管部門牽頭，相關(guān)業(yè)務(wù)部門參與的數(shù)據(jù)質(zhì)量小組，具體負(fù)責(zé)制定數(shù)據(jù)的錄入維護(hù)規(guī)范。在規(guī)范中對數(shù)據(jù)的質(zhì)量標(biāo)準(zhǔn)、數(shù)據(jù)的定義、維護(hù)的崗位人員、維護(hù)時間要求、檢查機(jī)制等都進(jìn)行了詳細(xì)約定，并將數(shù)據(jù)責(zé)任人落實到各個業(yè)務(wù)部門。如果發(fā)現(xiàn)有數(shù)據(jù)質(zhì)量問題，應(yīng)及時向各業(yè)務(wù)部門進(jìn)行通報，以保障數(shù)據(jù)質(zhì)量改進(jìn)的有效推行。通過發(fā)文的形式將規(guī)范進(jìn)行了固化，可作為數(shù)據(jù)操作員的工作標(biāo)準(zhǔn)。

表1為人事系統(tǒng)數(shù)據(jù)維護(hù)職責(zé)表中固定編制教師報到環(huán)節(jié)數(shù)據(jù)規(guī)范的部分片段。

實現(xiàn)對數(shù)據(jù)質(zhì)量的自動監(jiān)控

為了保證數(shù)據(jù)的可用性，系統(tǒng)開發(fā)人員和業(yè)務(wù)人員一起，通過制定詳細(xì)業(yè)務(wù)檢查規(guī)則，編寫相應(yīng)的數(shù)據(jù)質(zhì)量專用檢查腳本。制定標(biāo)準(zhǔn)的數(shù)據(jù)質(zhì)量規(guī)則確認(rèn)及監(jiān)控流程對于規(guī)則正確性的保證是起著至關(guān)重要的作用。根據(jù)高校各業(yè)務(wù)系統(tǒng)的具體實施情況，我們提出并實現(xiàn)了質(zhì)量檢核規(guī)則確認(rèn)流程，如圖1所示。

首先由業(yè)務(wù)人員提出業(yè)務(wù)規(guī)則，然后對規(guī)則根據(jù)對業(yè)務(wù)的嚴(yán)重性、時效性等進(jìn)行分級。然后依據(jù)規(guī)則的復(fù)雜程度的不同選擇進(jìn)行不同的處理，簡單的業(yè)務(wù)規(guī)則可以直接在業(yè)務(wù)系統(tǒng)中進(jìn)行固化，復(fù)雜的業(yè)務(wù)規(guī)則由技術(shù)人員通過編寫SQL，進(jìn)行測試檢查。最后由運(yùn)維人員部署到調(diào)度服務(wù)上，并由自動監(jiān)控系統(tǒng)根據(jù)掃描周期對掃描結(jié)果進(jìn)行實時監(jiān)控，同時在展示層使用報表工具對數(shù)據(jù)質(zhì)量狀況的當(dāng)前狀況、歷史趨勢。在發(fā)生重要數(shù)據(jù)質(zhì)量事件后，自動對有關(guān)維護(hù)人員進(jìn)行郵件、短信告知，提醒其出現(xiàn)問題環(huán)節(jié)。這可以促使業(yè)務(wù)人員和技術(shù)人員參與到所配置的業(yè)務(wù)規(guī)則工作中，提高開發(fā)的協(xié)同性和一致性，確保數(shù)據(jù)檢查的正確性，進(jìn)而保證數(shù)據(jù)質(zhì)量檢查結(jié)果的有效性。

圖1 數(shù)據(jù)質(zhì)量規(guī)則確認(rèn)及監(jiān)控

學(xué)校人事系統(tǒng)覆蓋了校內(nèi)外所有教師、外聘人員、短期勞務(wù)人員的各口徑人力資源的管理，涉及到人事處、組織部、統(tǒng)戰(zhàn)部、工會、檔案館、研究生院、離退休工作處等多個管理部門的日常業(yè)務(wù)，各類人員所需要的管理信息各有不同。目前人事系統(tǒng)的數(shù)據(jù)質(zhì)量檢查點(diǎn)維護(hù)的界面可維護(hù)業(yè)務(wù)規(guī)則、責(zé)任部門、自動掃描周期、檢查腳本、排除異常等字段，并通過自動掃描及監(jiān)控系統(tǒng)對有關(guān)責(zé)任人員進(jìn)行告知。

通過上述一系列措施，學(xué)校各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)質(zhì)量問題得到了明顯的改善。下面仍以人事系統(tǒng)為例進(jìn)行說明。一方面和各相關(guān)部門的維護(hù)人員進(jìn)行充分討論，制定了數(shù)據(jù)錄入維護(hù)規(guī)范，并作為學(xué)校發(fā)文進(jìn)行固化，作為相關(guān)崗位錄入數(shù)據(jù)的操作依據(jù)；同時針對各類人員的28個信息集，制定了96個數(shù)據(jù)質(zhì)量檢查點(diǎn)，根據(jù)信息的時效性、重要性及其他業(yè)務(wù)對信息的依賴性，制定不同的數(shù)據(jù)質(zhì)量掃描周期。通過自動掃描，2009年找到不符合數(shù)據(jù)質(zhì)量記錄數(shù)為20000余個。通過數(shù)據(jù)質(zhì)量的持續(xù)改進(jìn)，目前不符合數(shù)據(jù)質(zhì)量記錄數(shù)穩(wěn)定在50個以下，基本上都是業(yè)務(wù)過程中允許的臨時性數(shù)據(jù)缺失。

（作者單位為上海財經(jīng)大學(xué)信息化辦公室）