基于渭南市海量數(shù)據(jù)的數(shù)據(jù)歸集體系建設(shè)

趙林斌 邵戰(zhàn)強 魏 威

（渭南市互聯(lián)網(wǎng)信息辦公室，陜西 渭南 714000）

1 渭南市智慧城市數(shù)據(jù)資源歸集的意義

根據(jù)國務(wù)院和省委省政府關(guān)于加快政務(wù)信息系統(tǒng)整合共享的決策部署，按照《加快推進落實<政務(wù)信息系統(tǒng)整合共享實施方案＞工作方案》（發(fā)改高技［2017］1529號）、《陜西省政務(wù)信息系統(tǒng)整合共享實施方案》（陜政辦發(fā)［2017］79號）和《省政府第122次專題會議紀(jì)要》等文件要求，為確保年底前政務(wù)信息系統(tǒng)整合共享工作取得明顯成效，渭南市政府積極響應(yīng)國務(wù)院于省政府的號召，積極打造智慧城市大數(shù)據(jù)基礎(chǔ)平臺。通過統(tǒng)籌實施本項目可以從根本上解決困擾政務(wù)信息化建設(shè)的“各自為政、條塊分割、煙囪林立、信息孤島”問題， 推動基礎(chǔ)六庫（人口、法人、經(jīng)濟、地理信息、信用、電子證照）數(shù)據(jù)信息歸集及部門業(yè)務(wù)系統(tǒng)整合共享。項目完成后符合“五個統(tǒng)一”的總體原則，可以有效加快渭南市智慧城市建設(shè)進度，切實避免各自為政、自成體系、重復(fù)投資、重復(fù)建設(shè)。

2 數(shù)據(jù)資源歸集思路

為了盡可能全面有效地匯聚渭南市各部門各方面數(shù)據(jù)，采取了政府?dāng)?shù)據(jù)與互聯(lián)網(wǎng)數(shù)據(jù)相結(jié)合、市級部門數(shù)據(jù)與縣區(qū)部門數(shù)據(jù)相結(jié)合、歷史數(shù)據(jù)與即時數(shù)據(jù)相結(jié)合的思路。

2.1 政府?dāng)?shù)據(jù)與互聯(lián)網(wǎng)數(shù)據(jù)相結(jié)合

政府各部門在各自業(yè)務(wù)流程與系統(tǒng)錄入中形成的數(shù)據(jù)，是平臺建設(shè)的基礎(chǔ)與保障，這類數(shù)據(jù)在平臺的數(shù)據(jù)庫中占了半壁江山。但是面對如今大數(shù)據(jù)的沖擊與新的社會形態(tài)與經(jīng)濟形態(tài)而言，政府?dāng)?shù)據(jù)無法有效囊括，采用網(wǎng)絡(luò)爬蟲相關(guān)技術(shù)，采集互聯(lián)網(wǎng)數(shù)據(jù)如社會輿情、電商等相關(guān)數(shù)據(jù)，填補了政府?dāng)?shù)據(jù)無法涉及的領(lǐng)域，可以及時全面地了解社會輿情信息，可以更全面地反映當(dāng)前居民消費的現(xiàn)狀。

2.2 市級部門數(shù)據(jù)與縣區(qū)部門數(shù)據(jù)相結(jié)合

通過利用部門現(xiàn)已經(jīng)打通的業(yè)務(wù)信息網(wǎng)，自上而下先將縣區(qū)級部門級數(shù)據(jù)匯聚到市級部門，平臺統(tǒng)一從市級部門對接已經(jīng)匯聚完成的數(shù)據(jù)。對于內(nèi)部尚未打通業(yè)務(wù)信息網(wǎng)的部門，通過前置機對接、數(shù)據(jù)接口讀取、平臺直接上傳等方式采集部門數(shù)據(jù)。

2.3 歷史數(shù)據(jù)與即時數(shù)據(jù)相結(jié)合

平臺在對部門現(xiàn)有的歷史數(shù)據(jù)進行一次匯聚采集之后，會持續(xù)對部門產(chǎn)生的即時數(shù)據(jù)并且與歷史數(shù)據(jù)進行比對，并且對平臺現(xiàn)已歸集完成的數(shù)據(jù)進行及時的更新與清洗。

3 渭南海量數(shù)據(jù)歸集難點與對策

經(jīng)過本期平臺的建設(shè)，渭南市政務(wù)信息化水平有效提升，管理能力顯著增強。政務(wù)信息化發(fā)展總體平穩(wěn)，完成了主要信息化發(fā)展目標(biāo)，啟動了信息化頂層設(shè)計和標(biāo)準(zhǔn)體系研究，信息化系統(tǒng)基本覆蓋了各業(yè)務(wù)領(lǐng)域，各系統(tǒng)運行良好，但在對信息實行歸集的過程中，發(fā)現(xiàn)在數(shù)據(jù)歸集方面仍然存在著各種問題。

3.1 數(shù)據(jù)歸集難點

一是現(xiàn)有各部門業(yè)務(wù)系統(tǒng)數(shù)據(jù)量多、分布散，業(yè)務(wù)系統(tǒng)建設(shè)時間、標(biāo)準(zhǔn)不一、信息化程度不一，缺乏統(tǒng)一規(guī)劃。導(dǎo)致渭南市政務(wù)信息化建設(shè)存在“各自為政、條塊分割、煙囪林立、信息孤島”問題。信息資源縱橫聯(lián)通共享難，難以實現(xiàn)跨系統(tǒng)、跨區(qū)域、跨層級的歸集交換，各種信息重復(fù)填報，給本期數(shù)據(jù)統(tǒng)計、挖掘、分析造成很大困難。

二是數(shù)據(jù)質(zhì)量參差不齊，缺乏高質(zhì)量的數(shù)據(jù)。由于本次數(shù)據(jù)歸集是對于整個渭南市各個政務(wù)系統(tǒng)的整合。導(dǎo)致匯聚到數(shù)據(jù)庫中數(shù)據(jù)來源不一、數(shù)據(jù)格式五花八門、采集頻率各異。平臺數(shù)據(jù)庫建設(shè)階段雖然建立了統(tǒng)一的數(shù)據(jù)歸集標(biāo)準(zhǔn)為后續(xù)的數(shù)據(jù)開放共享服務(wù)。但是平臺所需歸集數(shù)據(jù)和部門業(yè)務(wù)關(guān)注的側(cè)重點不同，一些規(guī)定字段如若不對原有業(yè)務(wù)系統(tǒng)徹底改造，無法從源頭上解決數(shù)據(jù)質(zhì)量問題；而且部分部門數(shù)據(jù)屬于敏感信息，而各個部門對于敏感信息的處理方式不同，導(dǎo)致部分?jǐn)?shù)據(jù)無法歸集到平臺中，最終導(dǎo)致數(shù)據(jù)歸集情況不能圓滿地貼合到平臺上層的應(yīng)用中。

三是數(shù)據(jù)安全性難以得到保證，由于部分業(yè)務(wù)系統(tǒng)的數(shù)據(jù)是通過業(yè)務(wù)人員通過手工錄入到網(wǎng)頁中再歸集到平臺。這種模式可能由于人為的疏忽而出現(xiàn)失誤，直接導(dǎo)致數(shù)據(jù)的安全性、準(zhǔn)確性得不到保證，存在泄密、錯報、漏報的可能性，從而影響數(shù)據(jù)歸集的安全性、準(zhǔn)確率，嚴(yán)重影響平臺應(yīng)用的有效分析與決策。

3.2 相關(guān)對策

針對上述分析的渭南市數(shù)據(jù)歸集中在的問題，如何在實現(xiàn)數(shù)據(jù)歸集過程中高效、及時、準(zhǔn)確，從而降低電子政務(wù)成本，已成為迫在眉睫的需要。在此提出以下對策：

一是在線上對數(shù)據(jù)目錄以及動態(tài)實行管理，目前平臺對于數(shù)據(jù)歸集目錄清單的更新為一月一報，工作量巨大，效率低下，而且準(zhǔn)確性有待考證。需要重視目錄結(jié)構(gòu)本身，以各個部門的數(shù)據(jù)資源信息作為目錄清單的一個初始版本妥善保存，然后將版本清單有效管理，各個報送單位需要培訓(xùn)專業(yè)的工作人員負(fù)責(zé)數(shù)據(jù)的報送工作，業(yè)務(wù)部門工作人員需要在報送數(shù)據(jù)前，先自行在不同版本的數(shù)據(jù)項中尋找對應(yīng)關(guān)系最終在給平臺作為最終版本歸集。

二是在數(shù)據(jù)歸集過程中規(guī)范數(shù)據(jù)歸集行為。在采集過程中，提供各類數(shù)據(jù)驗證、數(shù)據(jù)預(yù)處理等工具對數(shù)據(jù)進行檢查，對于問題數(shù)據(jù)要回歸到數(shù)據(jù)源頭進行分析，并且對于各種數(shù)據(jù)問題信息進行歸集并分析，對于高頻出現(xiàn)的錯誤，平臺在采集過程中需要進行二次人工排查，提高數(shù)據(jù)的采集質(zhì)量。

三是在平臺建設(shè)完成后要結(jié)合前沿技術(shù)，建設(shè)多元化信息產(chǎn)品，完善數(shù)據(jù)歸集平臺底層設(shè)計，保證數(shù)據(jù)庫的可持續(xù)化發(fā)展。建立一套通用的標(biāo)準(zhǔn)化信息產(chǎn)品可滿足各個部門及其下屬機構(gòu)與社會發(fā)展的需要。提高數(shù)據(jù)庫的服務(wù)上層應(yīng)用的能力，并統(tǒng)一大平臺與下屬子節(jié)點平臺，為后續(xù)的數(shù)據(jù)庫建設(shè)提供可持續(xù)發(fā)展的支撐。

4 結(jié)語

綜上所述，要解決平臺數(shù)據(jù)歸集的問題，提高上層應(yīng)用的服務(wù)質(zhì)量，除了加強數(shù)據(jù)質(zhì)量保證體系建設(shè)和人才建設(shè)外，還要立足自身，采用科學(xué)先進的方法，在技術(shù)手段最大程度對數(shù)據(jù)進行篩選、清洗、處理。整體把握數(shù)據(jù)質(zhì)量，在實踐中找到提高平臺數(shù)據(jù)質(zhì)量的方法和原則。

數(shù)據(jù)作為一種重要的戰(zhàn)略資產(chǎn)，已經(jīng)不同程度地滲透到每個行業(yè)領(lǐng)域和部門，其深度應(yīng)用不僅有助于企業(yè)經(jīng)營活動， 還有利于推動國民經(jīng)濟發(fā)展。它對于推動信息產(chǎn)業(yè)創(chuàng)新、大數(shù)據(jù)存儲管理挑戰(zhàn)、改變經(jīng)濟社會管理面貌等方面也意義重大。未來信息數(shù)據(jù)歸集會朝著更加自動化、智能化的方向發(fā)展，而在大數(shù)據(jù)背景下如何更好地利用云計算、數(shù)據(jù)挖掘等先進技術(shù)對數(shù)據(jù)信息服務(wù)進行管理，仍然需要進行不懈的努力。