利用大數(shù)據(jù)技術(shù)開(kāi)展政府?dāng)?shù)據(jù)治理的研究

摘 ?要：文章介紹對(duì)政府?dāng)?shù)據(jù)的研究，建立數(shù)據(jù)結(jié)構(gòu)模型，探討政府?dāng)?shù)據(jù)資源平臺(tái)建設(shè)方向，結(jié)合政府情況，分析基礎(chǔ)數(shù)據(jù)庫(kù)和主題數(shù)據(jù)庫(kù)建設(shè)，開(kāi)展數(shù)據(jù)共享交換平臺(tái)的應(yīng)用研究。同時(shí)基于大數(shù)據(jù)平臺(tái)開(kāi)展社會(huì)公共部門(mén)數(shù)據(jù)的有效匯聚，聚焦政府?dāng)?shù)據(jù)資源存儲(chǔ)、傳輸、處理、交換、使用、銷(xiāo)毀各環(huán)節(jié)管理的全過(guò)程，保障數(shù)據(jù)的“時(shí)效性、真實(shí)性、可靠性、完整性、安全性和可用性”，促進(jìn)數(shù)字政府建設(shè)。

關(guān)鍵詞：政府信息;政府信息管理;信息生命周期;大數(shù)據(jù);數(shù)據(jù)治理

中圖分類(lèi)號(hào)：TP391 ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：2096-4706（2021）24-0104-04

Abstract： This paper introduces the research on government data， establishes the data structure model， discusses the construction direction of government data resource platform， combined with the government situation， analyzes the construction of basic database and theme database， and carries out the application research of data sharing and exchange platform. At the same time， based on the big data platform， it carries out the effective aggregation of social public sector data， focus on the whole process of government data resource storage， transmission， processing， exchange， use and destruction management， ensures the “timeliness， authenticity， reliability， integrity， security and availability” of data， and promotes the construction of digital government.

Keywords： government information; government information management; information lifecycle; big data; data governance

0 ?引 ?言

近些年我國(guó)逐步優(yōu)化了數(shù)據(jù)安全相關(guān)政策法規(guī)，每一領(lǐng)域的數(shù)據(jù)治理工作也在有序開(kāi)展，并且在很大程度上控制了收集、應(yīng)用以及共享數(shù)據(jù)等環(huán)節(jié)的違法違章現(xiàn)象，每一行業(yè)均將數(shù)據(jù)安全管理作為了一項(xiàng)重點(diǎn)工作予以落實(shí)，從而顯著提高了數(shù)據(jù)應(yīng)用以及流通的合法性與規(guī)范性，慢慢形成了一個(gè)良性、健康的大數(shù)據(jù)發(fā)展氛圍。在保障數(shù)據(jù)安全的前提下數(shù)據(jù)治理的核心就是提升數(shù)據(jù)的質(zhì)量。要想有效的開(kāi)展數(shù)據(jù)治理就必須明白數(shù)據(jù)質(zhì)量的根本定義及分析開(kāi)展數(shù)據(jù)治理要解決的問(wèn)題[1-5]。

我們將用“目標(biāo)導(dǎo)向”思維方式和“任務(wù)驅(qū)動(dòng)”工作方法來(lái)共同探討。首先“目標(biāo)導(dǎo)向”的思維方式能讓有清晰的核心目標(biāo)，便于圍繞著目標(biāo)去分析并解決存在的問(wèn)題。核心目標(biāo)是數(shù)據(jù)治理，數(shù)據(jù)治理的核心是數(shù)據(jù)采集，數(shù)據(jù)采集的核心是數(shù)據(jù)有效性，數(shù)據(jù)有效性的核心是數(shù)據(jù)有效來(lái)源及數(shù)據(jù)有效處理，以上這些目標(biāo)的實(shí)現(xiàn)高度依賴“數(shù)據(jù)質(zhì)量”。如圖1所示。根據(jù)我國(guó)現(xiàn)行相關(guān)規(guī)范要求，利用模板化數(shù)據(jù)、標(biāo)準(zhǔn)化元數(shù)據(jù)以及政務(wù)信息來(lái)達(dá)到科學(xué)編輯、數(shù)字化管理、關(guān)聯(lián)運(yùn)用以及高效共享數(shù)據(jù)的目的，進(jìn)而切實(shí)有效地提高所有領(lǐng)域行業(yè)的數(shù)據(jù)管理質(zhì)量以及資源利用率。其不單單能夠有效共享與交換數(shù)據(jù)、實(shí)現(xiàn)應(yīng)用創(chuàng)新的重要規(guī)則體制以及地層路基，而且還能夠有效提高數(shù)據(jù)質(zhì)量、防止出現(xiàn)數(shù)據(jù)混亂的現(xiàn)象，為數(shù)據(jù)創(chuàng)新與應(yīng)用打下有力基礎(chǔ)，同時(shí)亦是整合開(kāi)放、交換以及信息資源目錄體系的管理平臺(tái)。本文設(shè)計(jì)的大數(shù)據(jù)平臺(tái)總體設(shè)計(jì)架構(gòu)如圖1所示。

1 ?現(xiàn)有政府?dāng)?shù)據(jù)存在問(wèn)題及數(shù)據(jù)質(zhì)量重要性

資料顯示我們收集很多數(shù)據(jù)，但是無(wú)效數(shù)據(jù)較多。例如地方政府?dāng)?shù)據(jù)開(kāi)放平臺(tái)上面就有很多數(shù)據(jù)，各部門(mén)手頭也積累了很多工作數(shù)據(jù)，省域數(shù)據(jù)容量分布和有效數(shù)據(jù)集總量如圖2所示。那么我們來(lái)分析現(xiàn)有數(shù)據(jù)特性，就會(huì)發(fā)現(xiàn)通用問(wèn)題。具體內(nèi)容有：

（1）滯后性嚴(yán)重[6]。當(dāng)前開(kāi)放平臺(tái)上的數(shù)據(jù)大部分為靜態(tài)數(shù)據(jù)，有很多數(shù)據(jù)集自上傳之后就沒(méi)有更新，滯后性嚴(yán)重。

（2）單一性突出。每種數(shù)據(jù)集只提供單一維度的數(shù)據(jù)，無(wú)法在單數(shù)據(jù)集內(nèi)進(jìn)行深入的數(shù)據(jù)價(jià)值探索。

（3）關(guān)聯(lián)性不強(qiáng)。不同的數(shù)據(jù)集之間，沒(méi)有直觀的鏈接關(guān)系，無(wú)法通過(guò)多數(shù)據(jù)集的形式進(jìn)行業(yè)務(wù)的融合分析，從而實(shí)現(xiàn)更多數(shù)據(jù)價(jià)值的探索與發(fā)現(xiàn)。

（4）容錯(cuò)率不高。數(shù)據(jù)錯(cuò)誤包括數(shù)據(jù)類(lèi)型錯(cuò)誤、數(shù)據(jù)范圍越界、數(shù)據(jù)不符合業(yè)務(wù)規(guī)定。

（5）數(shù)據(jù)不一致。包括名稱(chēng)不一致、標(biāo)識(shí)不一致、編碼不一致、引用不一致等。

以上統(tǒng)稱(chēng)“明數(shù)據(jù)”。還有一種比較特殊，給它定義為“暗數(shù)據(jù)”，尚未轉(zhuǎn)換為數(shù)字格式的數(shù)據(jù)稱(chēng)為暗數(shù)據(jù)，它是尚未開(kāi)發(fā)的巨大存儲(chǔ)庫(kù)，未來(lái)這些模擬數(shù)據(jù)庫(kù)將被數(shù)字化并在遷移到云中，它們的利用，有利于進(jìn)行預(yù)測(cè)分析決策。這些數(shù)據(jù)大量存在各行業(yè)的業(yè)務(wù)部門(mén)手中，屬于工作累積數(shù)據(jù)。

1.1 ?現(xiàn)有數(shù)據(jù)存在的問(wèn)題

廣義上的數(shù)據(jù)問(wèn)題可以劃分為三類(lèi)：

A類(lèi)問(wèn)題——傳統(tǒng)的數(shù)據(jù)處理問(wèn)題，它通過(guò)較低的采樣率，即可實(shí)現(xiàn)較好的解決問(wèn)題效果，不需要海量數(shù)據(jù)采集和分析，應(yīng)用統(tǒng)計(jì)分析技術(shù)即可。

B類(lèi)問(wèn)題——典型的大數(shù)據(jù)問(wèn)題，隨著數(shù)據(jù)采樣率的提升，解決問(wèn)題的效果越來(lái)越好。這些問(wèn)題在工程上可歸結(jié)為“大數(shù)據(jù)問(wèn)題”。

C類(lèi)問(wèn)題——介于A類(lèi)問(wèn)題和B類(lèi)問(wèn)題之間，其處理效果隨著數(shù)據(jù)量的上升。有一定的提高，但當(dāng)數(shù)據(jù)量達(dá)到一定規(guī)模后，其改善效果不明顯。

1.2 ?數(shù)據(jù)質(zhì)量的重要性

數(shù)據(jù)質(zhì)量在不同的時(shí)期有著不同的定義。在幾十年前，數(shù)據(jù)質(zhì)量就是意味著數(shù)據(jù)的準(zhǔn)確性，確切地說(shuō)是數(shù)據(jù)的一致性、正確性、完整性和最小性這四個(gè)指標(biāo)在信息系統(tǒng)總得到的滿足程度。但是隨著信息系統(tǒng)的發(fā)展，數(shù)據(jù)的來(lái)源越來(lái)越多樣化，數(shù)據(jù)體量越來(lái)越大，數(shù)據(jù)涵蓋的面也越來(lái)越廣，對(duì)于數(shù)據(jù)質(zhì)量的定義也才狹義走向了廣義。準(zhǔn)確性不再是衡量數(shù)據(jù)質(zhì)量的唯一標(biāo)準(zhǔn)，一旦數(shù)據(jù)數(shù)量增多，格式也變得多元化，數(shù)據(jù)實(shí)用性將會(huì)直接關(guān)系到了數(shù)據(jù)質(zhì)量。

數(shù)據(jù)質(zhì)量在數(shù)據(jù)分析中起著至關(guān)重要的作用，數(shù)據(jù)的質(zhì)量會(huì)在很大程度上關(guān)系到了數(shù)據(jù)參數(shù)以及其價(jià)值，在整合、共享以及開(kāi)放數(shù)據(jù)時(shí)，數(shù)據(jù)質(zhì)量成為影響數(shù)據(jù)共享、開(kāi)放的重要問(wèn)題。提升數(shù)據(jù)質(zhì)量成為現(xiàn)階段數(shù)據(jù)歸集共享、開(kāi)放工作的首要任務(wù)。

2 ?大數(shù)據(jù)采集和存儲(chǔ)

2.1 ?大數(shù)據(jù)采集

設(shè)置采集數(shù)據(jù)功能模塊，由以往數(shù)據(jù)庫(kù)到大數(shù)據(jù)平臺(tái)中來(lái)實(shí)現(xiàn)數(shù)據(jù)的動(dòng)態(tài)采集以及批量采集。利用開(kāi)源Sqoop組件（批量數(shù)據(jù)導(dǎo)入導(dǎo)出組件）實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)與關(guān)系型數(shù)據(jù)庫(kù)、文件系統(tǒng)之間交換數(shù)據(jù)和文件，同時(shí)也可以將數(shù)據(jù)從關(guān)系型數(shù)據(jù)庫(kù)或者文件服務(wù)器導(dǎo)入到大數(shù)據(jù)平臺(tái)的HDFS/HBase中，或者反過(guò)來(lái)從HDFS/HBase導(dǎo)出到關(guān)系型數(shù)據(jù)庫(kù)或者文件服務(wù)器中。

2.2 ?大數(shù)據(jù)存儲(chǔ)

政府工作過(guò)程中會(huì)形成海量結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)，還有諸多非結(jié)構(gòu)化數(shù)據(jù)，如音頻資料以及圖片等。在存儲(chǔ)該類(lèi)數(shù)據(jù)過(guò)程中，例如存儲(chǔ)數(shù)據(jù)異構(gòu)過(guò)程中，需要大數(shù)據(jù)基礎(chǔ)平臺(tái)運(yùn)用分布式文件系統(tǒng)來(lái)存儲(chǔ)整合所得的多元化數(shù)據(jù)信息，便于開(kāi)展后期數(shù)據(jù)分析和使用。

在大數(shù)據(jù)平臺(tái)中，部分?jǐn)?shù)據(jù)讀寫(xiě)頻率高，需要快速讀寫(xiě)，使用大容量磁盤(pán)容，數(shù)據(jù)在集群內(nèi)遷移時(shí)容易出現(xiàn)IO瓶頸;而部分體量大，讀寫(xiě)頻率不高數(shù)據(jù)，使用小容量磁盤(pán)存儲(chǔ)，需要占用大量的節(jié)點(diǎn)，增加項(xiàng)目TCO。使用混合存儲(chǔ)的方式，由于數(shù)據(jù)分布不均勻，數(shù)據(jù)的讀寫(xiě)性能得不到有效發(fā)揮。隨著節(jié)點(diǎn)擴(kuò)容，新舊服務(wù)器的磁盤(pán)容量配置不一致，大容量節(jié)點(diǎn)的計(jì)算能力相對(duì)較差，容易成為性能短板。

異構(gòu)存儲(chǔ)方案，通過(guò)制定存儲(chǔ)策略，實(shí)現(xiàn)數(shù)據(jù)可以按“冷熱”分別存儲(chǔ)到不同的存儲(chǔ)層，對(duì)需要快速讀寫(xiě)的數(shù)據(jù)，選擇配置如：SAS、SSD、內(nèi)存之類(lèi)的小容量、快速讀寫(xiě)的計(jì)算密集型節(jié)點(diǎn);對(duì)數(shù)據(jù)量大、使用頻率不高的數(shù)據(jù)，可以選擇如：SATA之類(lèi)的大容量的存儲(chǔ)密集型服務(wù)器節(jié)點(diǎn)。使同一個(gè)集群內(nèi)，數(shù)據(jù)按不同容量的存儲(chǔ)介質(zhì)異構(gòu)存儲(chǔ)，無(wú)需限定配置統(tǒng)一規(guī)格的服務(wù)器，同時(shí)可以滿足利舊的需求，有效降低成本。

2.3 ?數(shù)據(jù)建模

通過(guò)對(duì)已有的數(shù)據(jù)庫(kù)進(jìn)行邏輯建模，確定設(shè)計(jì)約束和命名規(guī)則，而后進(jìn)行物化及落地，以數(shù)據(jù)建模模塊中邏輯建模規(guī)則、數(shù)據(jù)字典、物化規(guī)則等為指導(dǎo)，根據(jù)各部門(mén)業(yè)務(wù)抽象成邏輯模型或者通過(guò)成熟物理模型反向生成邏輯模型， 邏輯建模階段創(chuàng)建的邏輯模型對(duì)象根據(jù)提前設(shè)置的歸集庫(kù)規(guī)則物化生成物理模型對(duì)象。

3 ?以政府人口庫(kù)為模板開(kāi)展數(shù)據(jù)治理

按照數(shù)據(jù)建模規(guī)范要求，可以對(duì)人口基礎(chǔ)信息數(shù)據(jù)進(jìn)行梳理和建模，將分散在各部門(mén)業(yè)務(wù)過(guò)程中的各類(lèi)信息資源進(jìn)行有效識(shí)別并登記，建立完整、統(tǒng)一、標(biāo)準(zhǔn)的人口數(shù)據(jù)資源目錄。以人口基礎(chǔ)信息、社會(huì)活動(dòng)、社會(huì)資源、社交關(guān)系、涉事涉法等維度為依據(jù)，建立三級(jí)人口目錄，統(tǒng)一匯聚人口基本信息和人口擴(kuò)展信息。通過(guò)人口基礎(chǔ)數(shù)據(jù)目錄梳理，把人口基礎(chǔ)數(shù)據(jù)相關(guān)的數(shù)據(jù)項(xiàng)及數(shù)據(jù)屬性等內(nèi)容進(jìn)行識(shí)別和統(tǒng)一，包含包含資源編碼、資源名稱(chēng)、資源描述、資源類(lèi)型、管理方式、隸屬系統(tǒng)、共享方式、公開(kāi)范圍、更新周期、提供部門(mén)、交付方式等內(nèi)容。

3.1 ?數(shù)據(jù)治理流程

通過(guò)制定數(shù)據(jù)治理的相關(guān)規(guī)則，構(gòu)建人口基礎(chǔ)庫(kù)的數(shù)據(jù)治理業(yè)務(wù)流程，流程要覆蓋人口庫(kù)的數(shù)據(jù)抽取、集成、融合、質(zhì)量評(píng)估等過(guò)程，貫穿全生命周期。

3.1.1 ?數(shù)據(jù)融合

3.1.1.1 ?多數(shù)據(jù)來(lái)源問(wèn)題

在人口模型中，可能會(huì)出現(xiàn)某一個(gè)字段的來(lái)源不同，值也可能不一樣的情況，如居住地址，可能來(lái)自多個(gè)表。這種情況下需要把多數(shù)據(jù)源的記錄都需要記錄下來(lái)。如圖3所示。

3.1.1.2 ?數(shù)據(jù)融合處理

根據(jù)與數(shù)源部門(mén)共同制訂的數(shù)據(jù)融合規(guī)則，對(duì)多來(lái)源數(shù)據(jù)進(jìn)行比對(duì)分析，選擇最權(quán)威、最準(zhǔn)確的數(shù)據(jù)寫(xiě)入人口庫(kù)。例如，常住人口表中有姓名、身份證、性別、地址等信息，社?？òl(fā)卡記錄表中也有同樣的信息，但是記錄的內(nèi)容稍有區(qū)別，而且還有可能各個(gè)數(shù)據(jù)表的標(biāo)準(zhǔn)不統(tǒng)一。常住人口表中的性別為[男]，而發(fā)卡記錄表中則不一致。通過(guò)圖3中的3張表，可以融合成以性別代碼維度、證件類(lèi)型維度、地址代碼維度為主要維度的一張新表，以這張新表為基礎(chǔ)，可以進(jìn)行多維的分析。

3.2 ?數(shù)據(jù)治理成果核查

在數(shù)據(jù)治理流程結(jié)束后對(duì)數(shù)據(jù)治理成果進(jìn)行核查，對(duì)存在質(zhì)量問(wèn)題的數(shù)據(jù)進(jìn)行發(fā)現(xiàn)及排查，并對(duì)問(wèn)題進(jìn)行評(píng)估分析，將問(wèn)題數(shù)據(jù)進(jìn)行質(zhì)量溯源反饋，持續(xù)進(jìn)行反饋跟蹤，直至問(wèn)題解決。

稽核問(wèn)題發(fā)現(xiàn)之后，系統(tǒng)會(huì)自動(dòng)觸發(fā)工作流，根據(jù)分類(lèi)走不同的問(wèn)題處理工單，實(shí)現(xiàn)通過(guò)WEB、短信、郵件的方式與問(wèn)題處理流程中各個(gè)角色的互動(dòng)，統(tǒng)一對(duì)問(wèn)題進(jìn)行核實(shí)處理。質(zhì)量問(wèn)題清單一旦形成，那么系統(tǒng)會(huì)進(jìn)行持續(xù)的問(wèn)題跟蹤，跟蹤至數(shù)據(jù)的責(zé)任人，直至問(wèn)題解決。

4 ?結(jié) ?論

綜上所述，目前各級(jí)政府缺少數(shù)據(jù)治理層面的制度規(guī)范，未建立規(guī)范的數(shù)據(jù)治理流程和有效的管理機(jī)制，但是建立完善的數(shù)據(jù)收集、整合、存儲(chǔ)、治理、管理、服務(wù)等流程管理制度和數(shù)據(jù)規(guī)范勢(shì)在必行。本文從人口庫(kù)的建設(shè)為例，以點(diǎn)帶面，研究開(kāi)展政府層面的數(shù)據(jù)集中管理和大數(shù)據(jù)治理方面的技術(shù)實(shí)踐。探討以城市級(jí)大數(shù)據(jù)為核心，形成行業(yè)級(jí)二級(jí)主題數(shù)據(jù)庫(kù)的整體大數(shù)據(jù)應(yīng)用，切實(shí)有效的實(shí)現(xiàn)城市治理的數(shù)字化以及規(guī)范化。

參考文獻(xiàn)：

[1] 耿曉軍.阿里城市大腦1.0發(fā)布獻(xiàn)禮世界城市發(fā)展 [J].物聯(lián)網(wǎng)技術(shù)，2017，7（10）：6+8.

[2] 楊潔.杭州城市治理模式新探索：實(shí)施全國(guó)首個(gè)城市數(shù)據(jù)大腦規(guī)劃[N].中國(guó)建設(shè)報(bào)，2018-05-28.

[3] 牛強(qiáng)，夏源，牛雪蕊，等.智慧城市的大腦——智慧模型的概念、類(lèi)型和作用 [J].上海城市規(guī)劃，2018（1）：40-43+62.

[4] 馬玉灝.基于數(shù)據(jù)驅(qū)動(dòng)方法建立城市交通的大腦 [J].通訊世界，2019，26（2）：242-243.

[5]陳衛(wèi)強(qiáng).杭州城市大腦的實(shí)踐與思考 [R/OL].（2019-09-08）. http：//theory.people.com.cn/n1/2019/0908/c40531-31342597.html.

[6] 劉葉婷，王春曉.“大數(shù)據(jù)”，新作為——“大數(shù)據(jù)”時(shí)代背景下政府作為模式轉(zhuǎn)變的分析 [J].領(lǐng)導(dǎo)科學(xué)，2012（35）：4-6.

作者簡(jiǎn)介：顧鳴聲（1975—），男，漢族，黑龍江人，高級(jí)工程師，碩士研究生，研究方向：教育信息化、軟件工程開(kāi)發(fā)設(shè)計(jì)、網(wǎng)絡(luò)安全管理以及大數(shù)據(jù)管理等。