基于數(shù)據(jù)中心模型的質(zhì)監(jiān)系統(tǒng)政務(wù)信息資源綜合利用方法*

儲(chǔ)昭武 劉辰昀 朱麗華 / 上海市質(zhì)量技術(shù)監(jiān)督局

基于數(shù)據(jù)中心模型的質(zhì)監(jiān)系統(tǒng)政務(wù)信息資源綜合利用方法*

儲(chǔ)昭武 劉辰昀 朱麗華 / 上海市質(zhì)量技術(shù)監(jiān)督局

0 引言

自“十一五”以來，上海市質(zhì)量技術(shù)監(jiān)督局（以下簡稱市局）以“金質(zhì)工程”為抓手，陸續(xù)建成了行政審批、日常監(jiān)管及監(jiān)督抽查、行政執(zhí)法、公共服務(wù)、內(nèi)部辦公等信息化系統(tǒng)，積累了大量企業(yè)和人員發(fā)證、日常檢查、產(chǎn)品監(jiān)督抽查、行政處罰等方面的數(shù)據(jù)。

這些數(shù)據(jù)的綜合利用：如何為機(jī)關(guān)工作決策提供服務(wù)、如何為公眾提供服務(wù)、如何與其他委辦局共享，成為越來越迫切的議題。

通過對現(xiàn)有信息化系統(tǒng)數(shù)據(jù)整理分析，發(fā)現(xiàn)目前數(shù)據(jù)標(biāo)準(zhǔn)、存儲(chǔ)都存在較大的局限性，主要體現(xiàn)在：

1）數(shù)據(jù)交叉使用混亂

各個(gè)信息系統(tǒng)對外部系統(tǒng)獲取的數(shù)據(jù)，只為各自系統(tǒng)的建設(shè)目標(biāo)而服務(wù)，數(shù)據(jù)結(jié)構(gòu)和完整性也沒有統(tǒng)一標(biāo)準(zhǔn)，數(shù)據(jù)更新和同步也存在時(shí)效性問題。

2）數(shù)據(jù)交換方式多樣

因?yàn)槊總€(gè)業(yè)務(wù)系統(tǒng)由不同的軟件公司承建，沒有一個(gè)統(tǒng)一的數(shù)據(jù)交換標(biāo)準(zhǔn)，由承建系統(tǒng)的軟件公司作為供、需兩方討論決定，導(dǎo)致交換方式有用數(shù)據(jù)接口表、webservice和數(shù)據(jù)文件交換等。

3）數(shù)據(jù)加工重復(fù)開發(fā)

對于來自于同一數(shù)據(jù)源和同一主題數(shù)據(jù)（如：企業(yè)、產(chǎn)品、業(yè)務(wù)、人員），每個(gè)業(yè)務(wù)對外部系統(tǒng)獲取的這些數(shù)據(jù)都要在理解業(yè)務(wù)的基礎(chǔ)上，用不同方式（如：SQL語句、java或.Net代碼）進(jìn)行加工處理，這些數(shù)據(jù)處理的規(guī)則、實(shí)現(xiàn)的方式和數(shù)據(jù)處理的結(jié)果也都不同，這樣數(shù)據(jù)加工的重復(fù)性開發(fā)也就很常見。

4）數(shù)據(jù)“丟失”

行政審批系統(tǒng)的數(shù)據(jù)大多是過程數(shù)據(jù)，業(yè)務(wù)過程和時(shí)間發(fā)生改變，數(shù)據(jù)在狀態(tài)和時(shí)間上很容易發(fā)生改變。

5）數(shù)據(jù)缺乏統(tǒng)一規(guī)劃

目前在做數(shù)據(jù)綜合查詢和一般的同比、環(huán)比、對比應(yīng)用和面向不同主題的數(shù)據(jù)分析和挖掘，因?yàn)闆]有數(shù)據(jù)倉庫和統(tǒng)一規(guī)劃的數(shù)據(jù)做基礎(chǔ)，從而導(dǎo)致無法很方便地實(shí)現(xiàn)，更高級(jí)的數(shù)據(jù)應(yīng)用更無從談起。

1 質(zhì)監(jiān)政務(wù)信息資源梳理

1.1 總體思路

為了解決業(yè)務(wù)數(shù)據(jù)分散、標(biāo)準(zhǔn)和結(jié)構(gòu)不統(tǒng)一、數(shù)據(jù)存取方式多樣化、相同主題的數(shù)據(jù)存在不同系統(tǒng)等問題，通過建立政務(wù)信息資源數(shù)據(jù)中心模型來統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，對數(shù)據(jù)進(jìn)行統(tǒng)一規(guī)劃、統(tǒng)一數(shù)據(jù)交換標(biāo)準(zhǔn)避免數(shù)據(jù)交叉引用，建立統(tǒng)一的業(yè)務(wù)數(shù)據(jù)抽取規(guī)則，解決數(shù)據(jù)“丟失”問題，讓質(zhì)監(jiān)數(shù)據(jù)中心成為全市質(zhì)監(jiān)系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)整合、集中、共享的核心。

1.1.1 數(shù)據(jù)中心設(shè)計(jì)和規(guī)劃

采用典型相關(guān)分析法對現(xiàn)有信息化系統(tǒng)的數(shù)據(jù)表進(jìn)行梳理，建立質(zhì)監(jiān)政務(wù)信息資源數(shù)據(jù)源目錄；運(yùn)用數(shù)據(jù)倉庫通常的方法和設(shè)計(jì)，根據(jù)各系統(tǒng)的具體情況在數(shù)據(jù)中心的設(shè)計(jì)和規(guī)劃中完成常用規(guī)范和命名標(biāo)準(zhǔn)、基礎(chǔ)維度表定義和創(chuàng)建、基本主題表的設(shè)計(jì)和創(chuàng)建、數(shù)據(jù)倉庫基本規(guī)劃。

1.1.2 數(shù)據(jù)中心管理平臺(tái)設(shè)計(jì)

數(shù)據(jù)中心管理平臺(tái)作為數(shù)據(jù)中心管理的基礎(chǔ)軟件工具，要提供把數(shù)據(jù)從各個(gè)業(yè)務(wù)系統(tǒng)抽取出來的數(shù)據(jù)匯聚功能，對面向不同主題的數(shù)據(jù)應(yīng)用所需要的數(shù)據(jù)清洗和加工需要數(shù)據(jù)中心提供數(shù)據(jù)ETL功能，對數(shù)據(jù)中心的表、字段和關(guān)聯(lián)關(guān)系需要提供軟件功能來維護(hù)元數(shù)據(jù)的中文含義，并需要提供綜合查詢功能來方便數(shù)據(jù)的管理和使用，對不符合數(shù)據(jù)應(yīng)用要求的數(shù)據(jù)，數(shù)據(jù)中心能通過數(shù)據(jù)稽核的功能來配置和檢查數(shù)據(jù)質(zhì)量問題。

1.1.3 基礎(chǔ)數(shù)據(jù)整理

基礎(chǔ)數(shù)據(jù)是通過企業(yè)、產(chǎn)品、人員、業(yè)務(wù)來整理現(xiàn)有信息系統(tǒng)的數(shù)據(jù)，通過數(shù)據(jù)中心管理平臺(tái)提供的功能，把這些數(shù)據(jù)抽取和匯聚到數(shù)據(jù)中心，再通過數(shù)據(jù)中心管理平臺(tái)提供的功能進(jìn)行各自維度的分類操作，并建立起這些數(shù)據(jù)的檔案，和維護(hù)這些數(shù)據(jù)的來源和意義。

1.1.4 元數(shù)據(jù)管理實(shí)施

對于數(shù)據(jù)中心的ODS庫和DW庫里的表、字段、數(shù)據(jù)、關(guān)聯(lián)關(guān)系，由質(zhì)監(jiān)政務(wù)信息資源數(shù)據(jù)源目錄來體現(xiàn)，通過建立數(shù)據(jù)中心管理平臺(tái)提供的功能來進(jìn)行維護(hù)。如：表和字段中文標(biāo)注、數(shù)據(jù)記錄標(biāo)注、數(shù)據(jù)關(guān)聯(lián)關(guān)系配置和數(shù)據(jù)展現(xiàn)功能，方便數(shù)據(jù)管理人員和數(shù)據(jù)分析人員對數(shù)據(jù)的查看。

1.1.5 數(shù)據(jù)交換模塊設(shè)計(jì)

在市局內(nèi)部信息系統(tǒng)和局外部其他單位的數(shù)據(jù)交換，也須通過數(shù)據(jù)中心的數(shù)據(jù)交換功能來實(shí)現(xiàn)，需要統(tǒng)一數(shù)據(jù)交換方式、統(tǒng)一數(shù)據(jù)文件類型、保證數(shù)據(jù)安全傳輸，并對大批量數(shù)據(jù)文件能壓縮后傳輸，為了保證數(shù)據(jù)傳輸安全需要支持加密。

1.2 關(guān)鍵技術(shù)路線

數(shù)據(jù)處理關(guān)鍵技術(shù)一般包括：數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)存儲(chǔ)及管理、大數(shù)據(jù)分析及挖掘、數(shù)據(jù)展現(xiàn)和應(yīng)用（數(shù)據(jù)檢索、數(shù)據(jù)可視化、數(shù)據(jù)應(yīng)用、數(shù)據(jù)安全等），如圖1所示。

圖1 數(shù)據(jù)處理關(guān)鍵技術(shù)示意圖

1.2.1 數(shù)據(jù)采集

數(shù)據(jù)是指通過RFID射頻數(shù)據(jù)、傳感器數(shù)據(jù)、社交網(wǎng)絡(luò)交互數(shù)據(jù)及移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)等方式獲得的各種類型的結(jié)構(gòu)化、半結(jié)構(gòu)化（或稱之為弱結(jié)構(gòu)化）及非結(jié)構(gòu)化的海量數(shù)據(jù)，是大數(shù)據(jù)知識(shí)服務(wù)模型的根本。質(zhì)監(jiān)政務(wù)信息資源是指所有使用信息化系統(tǒng)進(jìn)行業(yè)務(wù)處理時(shí)產(chǎn)生的各類數(shù)據(jù)。

1.2.2 數(shù)據(jù)預(yù)處理

主要完成對已接收數(shù)據(jù)的辨析、抽取、清洗等操作。1）抽?。阂颢@取的數(shù)據(jù)可能具有多種結(jié)構(gòu)和類型，數(shù)據(jù)抽取過程可以將這些復(fù)雜的數(shù)據(jù)轉(zhuǎn)化為單一的或便于處理的構(gòu)型，以達(dá)到快速分析處理的目的。2）清洗：對于大數(shù)據(jù)，并不全是有價(jià)值的，有些數(shù)據(jù)并不是我們所關(guān)心的內(nèi)容，而另一些數(shù)據(jù)則是完全錯(cuò)誤的干擾項(xiàng)，因此要對數(shù)據(jù)通過過濾“去噪”從而提取出有效數(shù)據(jù)。

1.2.3 數(shù)據(jù)存儲(chǔ)及管理

數(shù)據(jù)存儲(chǔ)與管理要用存儲(chǔ)器把采集到的數(shù)據(jù)存儲(chǔ)起來，建立相應(yīng)的數(shù)據(jù)庫，并進(jìn)行管理和調(diào)用。

1.2.4 數(shù)據(jù)分析及挖掘

數(shù)據(jù)分析和挖掘就是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識(shí)的過程。數(shù)據(jù)挖掘涉及的技術(shù)方法很多，有多種分類法。根據(jù)挖掘任務(wù)可分為分類或預(yù)測模型發(fā)現(xiàn)、數(shù)據(jù)總結(jié)、聚類、關(guān)聯(lián)規(guī)則發(fā)現(xiàn)、序列模式發(fā)現(xiàn)、依賴關(guān)系或依賴模型發(fā)現(xiàn)、異常和趨勢發(fā)現(xiàn)等；根據(jù)挖掘?qū)ο罂煞譃殛P(guān)系數(shù)據(jù)庫、面向?qū)ο髷?shù)據(jù)庫、空間數(shù)據(jù)庫、時(shí)態(tài)數(shù)據(jù)庫、文本數(shù)據(jù)源、多媒體數(shù)據(jù)庫、異質(zhì)數(shù)據(jù)庫、遺產(chǎn)數(shù)據(jù)庫以及環(huán)球網(wǎng)Web；根據(jù)挖掘方法分，可粗分為機(jī)器學(xué)習(xí)方法、統(tǒng)計(jì)方法、神經(jīng)網(wǎng)絡(luò)方法和數(shù)據(jù)庫方法。

1.2.5 數(shù)據(jù)展現(xiàn)與應(yīng)用

數(shù)據(jù)技術(shù)能夠?qū)㈦[藏于海量數(shù)據(jù)中的信息和知識(shí)挖掘出來，為人類的社會(huì)經(jīng)濟(jì)活動(dòng)提供依據(jù)，從而提高各個(gè)領(lǐng)域的運(yùn)行效率，大大提高整個(gè)社會(huì)經(jīng)濟(jì)的集約化程度。在我國，大數(shù)據(jù)將重點(diǎn)應(yīng)用于以下三大領(lǐng)域：商業(yè)智能、政府決策、公共服務(wù)。

2 質(zhì)監(jiān)政務(wù)信息資源數(shù)據(jù)中心模型設(shè)計(jì)

質(zhì)監(jiān)政務(wù)信息資源數(shù)據(jù)中心模型包括數(shù)據(jù)中心數(shù)據(jù)庫結(jié)構(gòu)模型和管理平臺(tái)功能模型兩個(gè)部分。

2.1 數(shù)據(jù)庫結(jié)構(gòu)模型

通過對市局現(xiàn)有信息化系統(tǒng)所有數(shù)據(jù)表的梳理，發(fā)現(xiàn)質(zhì)監(jiān)條線工作覆蓋面廣、層級(jí)復(fù)雜，就業(yè)務(wù)來說有計(jì)量、標(biāo)準(zhǔn)化、質(zhì)量管理、質(zhì)量監(jiān)督、執(zhí)法、特種設(shè)備、檢驗(yàn)檢測機(jī)構(gòu)資質(zhì)認(rèn)定、食品相關(guān)產(chǎn)品生產(chǎn)等，而且各個(gè)業(yè)務(wù)條線比較獨(dú)立，基本不存在關(guān)聯(lián)。但通過仔細(xì)分析質(zhì)監(jiān)部門所監(jiān)管的對象，不難發(fā)現(xiàn)不論是人員，還是產(chǎn)品（含食品相關(guān)產(chǎn)品）、特種設(shè)備、計(jì)量器具，都是以企業(yè)或機(jī)構(gòu)為主體的。因此，在數(shù)據(jù)層面，質(zhì)監(jiān)政務(wù)信息資源具備以企業(yè)或機(jī)構(gòu)為唯一貫穿主線的條件；而產(chǎn)品（含食品相關(guān)產(chǎn)品）、特種設(shè)備、計(jì)量器具在生產(chǎn)資質(zhì)許可中均進(jìn)行了分類，并編制了質(zhì)監(jiān)產(chǎn)品分類代碼，確保了對象分類的唯一性；而業(yè)務(wù)過程中產(chǎn)生的信息都可作為質(zhì)監(jiān)部門管理對象的屬性，從而可設(shè)計(jì)出如圖2所示的數(shù)據(jù)庫模型。

該模型中以單位為關(guān)鍵節(jié)點(diǎn)，人員和設(shè)備為次關(guān)鍵節(jié)點(diǎn)，且單位、人員和設(shè)備的基本信息在模型中保持一定的穩(wěn)定性；人員和設(shè)備兩個(gè)次關(guān)鍵節(jié)點(diǎn)通過“統(tǒng)一社會(huì)信用代碼”（原組織機(jī)構(gòu)代碼）與單位這個(gè)關(guān)鍵節(jié)點(diǎn)關(guān)聯(lián)，確保在關(guān)鍵節(jié)點(diǎn)和次關(guān)鍵節(jié)點(diǎn)“多對多”的對應(yīng)關(guān)系中保持唯一、可靠的關(guān)聯(lián)要素。

2.2 管理平臺(tái)功能模型

為確保質(zhì)監(jiān)政務(wù)資源數(shù)據(jù)中心的數(shù)據(jù)準(zhǔn)確、動(dòng)態(tài)、及時(shí)，需設(shè)計(jì)相應(yīng)的管理平臺(tái)對數(shù)據(jù)中心進(jìn)行管理，提供元數(shù)據(jù)級(jí)別的維護(hù)，并實(shí)現(xiàn)數(shù)據(jù)中心數(shù)據(jù)的共享。

管理平臺(tái)功能模型設(shè)計(jì)，如圖3所示。

圖2 質(zhì)監(jiān)政務(wù)信息資源數(shù)據(jù)中心數(shù)據(jù)庫模型

模型中“元數(shù)據(jù)管理”主要用于數(shù)據(jù)中心數(shù)據(jù)庫表字段注釋的查看和管理、報(bào)表創(chuàng)建和發(fā)布；“數(shù)據(jù)采集”主要實(shí)現(xiàn)數(shù)據(jù)中心數(shù)據(jù)源管理、數(shù)據(jù)加載、轉(zhuǎn)換和存儲(chǔ)，以及數(shù)據(jù)采集調(diào)度任務(wù)的創(chuàng)建、管理、執(zhí)行和日志查看；“數(shù)據(jù)整合分析”需提供數(shù)據(jù)校驗(yàn)、數(shù)據(jù)清洗、數(shù)據(jù)中心監(jiān)控等功能；“數(shù)據(jù)資源應(yīng)用”主要實(shí)現(xiàn)數(shù)據(jù)中心中數(shù)據(jù)資源的展現(xiàn)、數(shù)據(jù)資源分析及共享服務(wù)。

3 模型驗(yàn)證

為驗(yàn)證質(zhì)監(jiān)政務(wù)信息資源數(shù)據(jù)中心模型和管理平臺(tái)模型的合理性，研制開發(fā)了企業(yè)質(zhì)量檔案、企業(yè)信用等級(jí)評(píng)價(jià)和數(shù)據(jù)共享服務(wù)等軟件功能模塊，從不同維度展現(xiàn)和利用數(shù)據(jù)中心的數(shù)據(jù)，以實(shí)現(xiàn)對質(zhì)監(jiān)人員工作的支撐。

3.1 企業(yè)質(zhì)量檔案

企業(yè)基本信息、資質(zhì)信息、人員持證、產(chǎn)品監(jiān)督抽查信息、日常監(jiān)督檢查信息、行政執(zhí)法信息、特種設(shè)備信息等構(gòu)成企業(yè)質(zhì)量檔案基本要素，而這些要素的數(shù)據(jù)均能從建成的質(zhì)監(jiān)政務(wù)信息資源數(shù)據(jù)中心數(shù)據(jù)庫中獲取，為企業(yè)質(zhì)量追溯體系的建立奠定基礎(chǔ)。

3.2 企業(yè)信用等級(jí)評(píng)價(jià)

通過建立制定發(fā)布企業(yè)信用信息公開標(biāo)準(zhǔn)，完善企業(yè)質(zhì)量信用管理、評(píng)價(jià)及分類監(jiān)管子系統(tǒng)，實(shí)現(xiàn)企業(yè)信用信息抓取、聚合、分類，研究制定企業(yè)質(zhì)量信用等級(jí)評(píng)價(jià)數(shù)學(xué)模型，從計(jì)量、標(biāo)準(zhǔn)、認(rèn)證、監(jiān)督抽查、投訴舉報(bào)、獎(jiǎng)勵(lì)、處罰等多方面對企業(yè)的質(zhì)量信用進(jìn)行綜合評(píng)價(jià)，根據(jù)數(shù)學(xué)模型自動(dòng)、人工計(jì)分評(píng)級(jí)，為一線監(jiān)管人員對企業(yè)進(jìn)行分類監(jiān)管提供分類分級(jí)數(shù)據(jù)。

圖3 質(zhì)監(jiān)政務(wù)資源管理平臺(tái)功能模型

3.3 數(shù)據(jù)共享服務(wù)

制定數(shù)據(jù)共享規(guī)范，研制開發(fā)數(shù)據(jù)接口，依托整合后的質(zhì)監(jiān)政務(wù)數(shù)據(jù)資源，向其他市級(jí)政府部門、區(qū)政府和社會(huì)公眾提供不同級(jí)別的數(shù)據(jù)共享服務(wù)，進(jìn)一步提高對信息資源的管理水平和管理能力。

4 結(jié)語

質(zhì)監(jiān)政務(wù)信息資源數(shù)據(jù)中心的建設(shè)，基本實(shí)現(xiàn)了在以數(shù)據(jù)元為管理對象的管理方式上，進(jìn)一步形成了以信息資源為管理對象的信息資源服務(wù)平臺(tái)。通過對質(zhì)監(jiān)政務(wù)信息資源的精細(xì)化管理和服務(wù)，實(shí)現(xiàn)業(yè)務(wù)之間的信息共享和業(yè)務(wù)協(xié)同。

隨著業(yè)務(wù)需求及監(jiān)管模式的轉(zhuǎn)變，存在待整合應(yīng)用多、數(shù)據(jù)關(guān)系復(fù)雜、數(shù)據(jù)交換頻率較高等問題，為建立高質(zhì)可控的數(shù)據(jù)管理和應(yīng)用，實(shí)現(xiàn)信息整合和共享，充分發(fā)揮數(shù)據(jù)整合整體優(yōu)勢，質(zhì)監(jiān)政務(wù)信息資源數(shù)據(jù)中心的建設(shè)還需不斷完善及補(bǔ)充。

[1]蔣永福.政府信息資源開發(fā)利用若干重大問題研究[J].圖書與情報(bào)，2008（02）：6-9.

[2]盧益清，李忱.我國電子政務(wù)信息資源的基本類型與模式分析[J].情報(bào)雜志，2006（12）：7-8.

[3]劉綿俊.政務(wù)信息資源目錄服務(wù)模型研究[D].大連理工大學(xué)碩士論文，2007.

[4]全國信息技術(shù)標(biāo)準(zhǔn)化委員會(huì).GB/T21063.1-2007～GB/T21063.6-2007政務(wù)信息資源目錄體系[S].北京：中國標(biāo)準(zhǔn)出版社，2007.

[5]全國信息技術(shù)標(biāo)準(zhǔn)化委員會(huì).GB/T21062.1-2007～GB/T21062.1-2007政務(wù)信息資源交換體系[S]. 北京：中國標(biāo)準(zhǔn)出版社，2007

[6]顏立恒.探索政務(wù)信息資源開發(fā)利用新途徑[J].信息系統(tǒng)工程，2008（05）：70-72.

上海市質(zhì)量技術(shù)監(jiān)督局科技計(jì)劃項(xiàng)目（2016-27）