基于混合數(shù)據(jù)庫的多源社會治理數(shù)據(jù)的分布式存儲與融合

于海燕

摘? 要：社會治理是國家治理的重要方面。堅持和完善共建共治共享的社會治理制度，保持社會穩(wěn)定、維護國家安全是社會治理的長遠目標。當前由數(shù)字技術驅(qū)動的社會治理創(chuàng)新已經(jīng)從信息化走向了智能化，其首要面臨的問題就是海量多源異構的社會治理數(shù)據(jù)的存儲與融合。本文采用混合數(shù)據(jù)庫技術，基于Hadoop框架，提出了一套多源社會治理數(shù)據(jù)的分布式存儲與融合技術方案，并利用國產(chǎn)化大數(shù)據(jù)產(chǎn)品落地建設在深圳市龍崗區(qū)。

關鍵詞：社會治理智能化? 混合數(shù)據(jù)庫? Hadoop? 分布式數(shù)據(jù)存儲與融合

中圖分類號：TP311.13 ? ? ? ? ? 文獻標識碼：A? ? ? ? ? ? ?文章編號：1674-098X（2021）04（c）-0138-05

Distributed Storage and Integration of Multi-Source Social Governance Data Based on Hybrid Database

YU Haiyan

（Shenzhen Zongdi Software Engineering Co.，Ltd.， Shenzhen， Guangdong Province， 518057 China）

Abstract： Social governance is an important aspect of national governance. Adhering to and improving the social governance system of co-construction， co-governance and sharing， maintaining social stability and maintaining national security are the long-term goals of social governance. The current social governance innovation driven by digital technology has moved from informatization to intelligence. The first thing it faces is the storage and integration of massive multi-source heterogeneous social governance data. Based on hybrid database technology， This article uses hybrid database technology， based on the Hadoop framework， and proposes a set of distributed storage and fusion technology solutions for multi-source social governance data， and uses localized big data products to be implemented in Longgang District， Shenzhen.

Key Words： Intelligent social governance; Hybrid database; Hadoop; Distributed data storage and fusion

社會治理是社會建設的一項重大任務，也是國家治理的重要組成部分。《中共中央關于堅持和完善中國特色社會主義制度、推進國家治理體系和治理能力現(xiàn)代化若干重大問題的決定》指出：“必須加強和創(chuàng)新社會治理，完善黨委領導、政府負責、民主協(xié)商、社會協(xié)同、公眾參與、法治保障、科技支撐的社會治理體系?！币源髷?shù)據(jù)、云計算、物聯(lián)網(wǎng)、5G、人工智能等信息技術為代表的新一代科學技術作為完善社會治理體系的先進手段，為社會治理創(chuàng)新提供了重要的技術支撐，在創(chuàng)新社會治理理念和治理體制，改進治理方式等方面提供了社會治理創(chuàng)新的新動力，并推動社會治理創(chuàng)新從信息化走向了智能化。

社會治理涉及人、事、物、情等各類社會治理要素。這些數(shù)據(jù)分散存儲在各個職能部門和應用系統(tǒng)中，各類數(shù)據(jù)的結(jié)構和存儲多樣化。隨著社會治理和綜合服務的應用深入，數(shù)據(jù)量也在急速增長。因而，社會治理智能化面臨的首要問題就是如何對多樣化的社會治理數(shù)據(jù)的有效存儲與融合，并在此基礎上實現(xiàn)海量數(shù)據(jù)的高效查詢和檢索。

本文采用混合數(shù)據(jù)庫技術，針對海量多源異構的社會治理數(shù)據(jù)，設計提出了一套基于Hadoop的分布式數(shù)據(jù)存儲與融合技術方案，在深圳市龍崗區(qū)的社會治理智能化項目中進行應用實踐，并獲得良好的成效。

1? 混合數(shù)據(jù)庫是社會治理數(shù)據(jù)存儲與融合的必然選擇

進入大數(shù)據(jù)時代，社會治理從信息化步入智能化。社會治理智能化的基礎是建立社會治理大數(shù)據(jù)中心。建設社會治理大數(shù)據(jù)中心：首先，需要匯集轄區(qū)內(nèi)社會治理和綜合服務相關的基礎數(shù)據(jù)和業(yè)務數(shù)據(jù)，包括與各業(yè)務系統(tǒng)對接獲取的社會治理和綜合服務相關數(shù)據(jù)，以及通過網(wǎng)格員、志愿者、人民群眾等社會治理基層力量進行上報獲取的相關數(shù)據(jù);其次，再通過構建數(shù)據(jù)資源目錄、建立數(shù)據(jù)標準，經(jīng)過數(shù)據(jù)清洗、數(shù)據(jù)稽查等對數(shù)據(jù)進行規(guī)整治理，形成質(zhì)量較高的社會治理數(shù)據(jù);最后，通過按照社會治理相關業(yè)務進行數(shù)據(jù)主題庫、立體化網(wǎng)格劃分等處理，形成服務于社會治理的大數(shù)據(jù)中心，支撐社會治理業(yè)務系統(tǒng)、決策分析系統(tǒng)以及可視化系統(tǒng)等上層應用。

匯集在社會治理大數(shù)據(jù)中心的數(shù)據(jù)來源于多個相關職能部門和各種渠道，大致可以分為以下 5類。

（1）由社會治理基層力量（網(wǎng)格員、樓棟長、志愿者等）采集的業(yè)務基礎數(shù)據(jù)，包括人口數(shù)據(jù)（戶籍人口、實有人口、常住人口、流動人口、外籍人口等）、房屋數(shù)據(jù)（住宅、廠房、寫字樓、臨時建筑等）和法人數(shù)據(jù)（國營、集體、私營、個體等）。其中，多數(shù)是記錄表格形式的結(jié)構化數(shù)據(jù)，也有部分證照圖片形式的非結(jié)構化數(shù)據(jù)。

（2）由社會治理的業(yè)務工作平臺產(chǎn)生的各類社會治理和綜合服務核心業(yè)務數(shù)據(jù)，包括工作網(wǎng)格劃分數(shù)據(jù)、矛盾糾紛和問題隱患事件處置數(shù)據(jù)、社會治理基層力量分布數(shù)據(jù)、特殊區(qū)域（工 業(yè)區(qū)、花園小區(qū)、公共配套、城中村等）劃分數(shù)據(jù)、特殊群體（敬老優(yōu)待對象、殘疾、精神疾病等）等。其中，既有表示空間實體的位置、形狀、分布等特征的空間數(shù)據(jù)，也有表示實體對象的性質(zhì)、現(xiàn)狀、處理流程、結(jié)論等特征的結(jié)構化、半結(jié)構化和非結(jié)構化數(shù)據(jù)。

（3）與政府區(qū)域空間基礎信息平臺對接獲取的基礎空間數(shù)據(jù)，包括二/三維的電子地圖、行政區(qū)劃、房屋圖形、地理網(wǎng)格圖形、遙感影像圖等，是同時具有結(jié)構化和非結(jié)構化特征的地理數(shù)據(jù)。

（4）與政府區(qū)域數(shù)據(jù)交換共享平臺對接獲取的業(yè)務關聯(lián)數(shù)據(jù)，包括政法委的塊數(shù)據(jù)、公安的戶籍人口登記信息、社保的參保人口登記信息、工商的商事主體登記信息、稅務的納稅主體登記信息等。該類數(shù)據(jù)以結(jié)構化數(shù)據(jù)為主。

（5）與轄區(qū)物聯(lián)監(jiān)測平臺對接獲取的實時監(jiān)測數(shù)據(jù)，比如與轄區(qū)公安部門對接的雪亮工程的位置分布和相關視頻數(shù)據(jù)、與街道社區(qū)門禁系統(tǒng)對接的門禁位置和視頻數(shù)據(jù)等。此類數(shù)據(jù)主要是非結(jié)構化數(shù)據(jù)。

綜合來看，上述數(shù)據(jù)中既有結(jié)構化的表格數(shù)據(jù)，也有非結(jié)構化的圖片數(shù)據(jù)，還有實時的GPS位置數(shù)據(jù)以及視頻和音頻數(shù)據(jù)等。數(shù)據(jù)來源多樣，結(jié)構各異，數(shù)量龐大。并且，隨著時間的推移和業(yè)務的辦理，數(shù)據(jù)體量還會不斷增長。無論是經(jīng)典的關系型數(shù)據(jù)庫還是傳統(tǒng)GIS的空間數(shù)據(jù)庫都已經(jīng)無法滿足社會治理大數(shù)據(jù)中心的存儲和應用需求。因而，SQL和NoSQL相結(jié)合的混合數(shù)據(jù)庫[1]存儲成為大數(shù)據(jù)時代建立社會治理大數(shù)據(jù)中心的必然選擇。

2? 多源社會治理數(shù)據(jù)的存儲與融合設計

2.1 社會治理大數(shù)據(jù)中心的技術架構

針對社會治理數(shù)據(jù)海量多源異構的特性，本文利用基于Hadoop分布式文件系統(tǒng)[2]、HBase分布式數(shù)據(jù)庫、Spark分布式內(nèi)存計算框架等相關分布式技術框架來構建社會治理大數(shù)據(jù)中心（如圖1）。

在數(shù)據(jù)獲取和存儲環(huán)節(jié)，本文基于大數(shù)據(jù)的相關存儲技術，設計采用了混合數(shù)據(jù)庫的數(shù)據(jù)存儲與融合方案[3]。在HDFS（Hadoop Distributed File System，分布式文件系統(tǒng)）和HBase（Hadoop Database，非結(jié)構化數(shù)據(jù)存儲的開源數(shù)據(jù)庫）框架基礎上，綜合傳統(tǒng)的RDBMS（Relational Database Management System，關系型數(shù)據(jù)庫管理系統(tǒng)）和NoSQL（Not Only SQL，泛指非關系型的數(shù)據(jù)庫）的優(yōu)勢，使用圖數(shù)據(jù)庫（Graph Database）[4]、HBase列式數(shù)據(jù)庫、Hive數(shù)據(jù)倉庫、MongoDB[5]、Elasticsearch集群[6]和Redis集群[7]等多種存儲管理方式，在一個物理空間或行政區(qū)域（包括市、區(qū)、街道、社區(qū)等）內(nèi)對涉及社會治理和綜合服務的人、事、情等各類數(shù)據(jù)（包括社會治理的基礎數(shù)據(jù)、業(yè)務數(shù)據(jù)、附件文本、工作數(shù)據(jù)、地圖底圖矢量和影像文件等）提供一體化、高性能的存儲和管理，通過各類多源數(shù)據(jù)匯聚、比對、評估、治理、建庫，構成社會治理大數(shù)據(jù)中心，提供社會治理和綜合服務所需的數(shù)據(jù)底板，為業(yè)務模型引擎和空間大數(shù)據(jù)服務引擎提供基礎數(shù)據(jù)，為各類業(yè)務功能模塊、大數(shù)據(jù)分析應用、可視化分析決策應用等提供數(shù)據(jù)支撐。

2.2 各類存儲方式的特點及區(qū)別

Hadoop是一個能夠?qū)Υ罅繑?shù)據(jù)進行分布式處理的軟件框架。HDFS有著高容錯性的特點，并且設計用來部署在低廉的（low-cost）硬件上，提供高傳輸率（high throughput）來訪問應用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集的應用。HBase是基于HDFS實現(xiàn)的分布式的、面向列的開源數(shù)據(jù)庫，提供快速隨機訪問海量結(jié)構化數(shù)據(jù)的功能，彌補了HDFS對小數(shù)據(jù)量隨機讀寫的缺點。Hive是基于Hadoop的一個數(shù)據(jù)倉庫工具，用來進行數(shù)據(jù)提取、轉(zhuǎn)化、加載。這是一種可以存儲、查詢和分析存儲在Hadoop中的大規(guī)模數(shù)據(jù)的機制，即HDFS為HBase提供了高可靠性的底層存儲支持，它存儲 Hadoop集群中所有存儲節(jié)點上的文件。Hive則為HBase提供了高層語言支持，使得在HBase上進行數(shù)據(jù)統(tǒng)計處理變的非常簡單。

圖數(shù)據(jù)庫是一種NoSQL數(shù)據(jù)庫，它的關注點是“關聯(lián)關系”形成的圖，其目標是對現(xiàn)實世界中的實體與實體之間的關聯(lián)關系進行存儲與分析，能直觀、自然地表達萬物關聯(lián)的世界，同時解決復雜關聯(lián)關系深層檢索的性能問題。

MongoDB是一個介于關系數(shù)據(jù)庫和非關系數(shù)據(jù)庫之間的分布式文件存儲的數(shù)據(jù)庫。它采用面向集合（Collection-Oriented）存儲，非常適宜存儲對象類型的數(shù)據(jù)。

Elasticsearch是一個分布式、高擴展、高實時的搜索與數(shù)據(jù)分析引擎，能很方便地使大量數(shù)據(jù)具有搜索、分析和探索的能力。

Redis是一個高性能的內(nèi)存級的key-value數(shù)據(jù)庫，具有查詢速度快、存放數(shù)據(jù)量大、支持高并發(fā)的特點，非常適合高頻次的查詢。

2.3 社會治理數(shù)據(jù)的存儲和融合方案

綜合上述存儲技術的優(yōu)勢和特點，本文設計采用PostgreSQL存儲管理海量的空間位置、矢量圖形，以及業(yè)務分析的結(jié)果數(shù)據(jù)等結(jié)構化數(shù)據(jù);采用HDFS存儲管理大規(guī)模的人口、房屋、法人、事件等結(jié)構化數(shù)據(jù)，以及居住人口照片、企業(yè)法人證照、隱患治理文本圖集等非結(jié)構化數(shù)據(jù);采用Elasticsearch存儲管理海量的業(yè)務實時采集數(shù)據(jù)、物聯(lián)監(jiān)測視頻數(shù)據(jù)和工作位置軌跡數(shù)據(jù);采用MongoDB存儲管理社會治理和綜合服務的區(qū)域地圖底圖矢量圖層瓦片數(shù)據(jù);采用Redis存儲管理有高訪問需求的業(yè)務分析過程數(shù)據(jù);采用圖數(shù)據(jù)庫存儲管理元數(shù)據(jù)。

3? 龍崗區(qū)社會治理數(shù)據(jù)的存儲與融合處理

3.1 龍崗區(qū)社會治理數(shù)據(jù)的現(xiàn)狀

龍崗區(qū)地處深圳市東北部，轄區(qū)總面積388.21km2（不含大鵬新區(qū)）。截至2018年，常住人口238.64萬人，其中戶籍人口72.78萬人。2018年龍崗區(qū)生產(chǎn)總值4287.86億元，總量居全市第二。從2008年開始探索社會治理至今，深圳市龍崗區(qū)一直在不斷推進社會治理工作，已完成了社會綜合管理、網(wǎng)格信息化管理、社會隱患治理、網(wǎng)格隊伍管理、網(wǎng)格管理可視化平臺等一系列的業(yè)務工作平臺和隊伍管理平臺的建設，為參與社會治理和綜合服務的政府部門和社會公眾提供了高效的社會治理機制和服務模式，跑出了社會治理的時代新速度，也迎來了社會治理智能化的新挑戰(zhàn)。

截至2019年底，社會治理各業(yè)務系統(tǒng)產(chǎn)生和管理的數(shù)據(jù)包括：460多萬實有人口;17萬多棟樓宇280多萬間出租屋;19萬多家法人企業(yè);近120多萬件矛盾糾紛和問題隱患事件;覆蓋龍崗區(qū)11個街道、111個社區(qū)、3823個工作網(wǎng)格;管理3600多個網(wǎng)格員和3800多臺網(wǎng)格終端設備;以及通過龍崗區(qū)時空信息云平臺、龍崗區(qū)數(shù)據(jù)共享超市、深圳市社區(qū)網(wǎng)格管理信息系統(tǒng)和廣東省綜治信息系統(tǒng)，對接獲取的轄區(qū)內(nèi)二/三維電子地圖、遙感影像、工商、社保、4個實有數(shù)據(jù)（人、房、法、事件）、雪亮工程視頻及門禁視頻等數(shù)據(jù)。

3.2 MapGIS DataStore構建龍崗區(qū)社會治理大數(shù)據(jù)中心

為解決龍崗區(qū)社會治理大數(shù)據(jù)中心的數(shù)據(jù)存儲與融合問題，我們選用了中地數(shù)碼集團的MapGISDataStore產(chǎn)品[8]。MapGISDataStore是一個國產(chǎn)化的基于分布式數(shù)據(jù)庫引擎的混合地理數(shù)據(jù)庫。

如圖2所示，MapGISDataStore分布式存儲全面支持目前的主流商用或開源分布式數(shù)據(jù)庫平臺，包括MongoDB、Elasticsearch、HDFS和HBase等，支持存儲和管理關系型、瓦片緩存型、實時數(shù)據(jù)以及非結(jié)構化數(shù)據(jù)等常用數(shù)據(jù)類型。PostgreSQL能夠單圖層管理億級矢量數(shù)據(jù);MongoDB能夠存儲管理百億級瓦片，提供高并發(fā)響應能力;ElasticSearch管理海量實時數(shù)據(jù)，提供高效的檢索能力;HDFS存儲大規(guī)模影像、文本等非結(jié)構化數(shù)據(jù);其與傳統(tǒng)的空間數(shù)據(jù)引擎MapGIS SDE進行無縫融合，通過基于規(guī)則的數(shù)據(jù)目錄實現(xiàn)各類空間、非空間數(shù)據(jù)的一體化存儲和管理，實現(xiàn)多源異構數(shù)據(jù)物理上的分布，邏輯上的統(tǒng)一。MapGIS DataStore同時提供安裝部署工具、ETL工具和管理維護工具，實現(xiàn)各種數(shù)據(jù)庫的安裝部署和維護。

如圖3所示，以MapGIS DataStore產(chǎn)品為基礎構建的龍崗區(qū)社會治理大數(shù)據(jù)中心實現(xiàn)了空間數(shù)據(jù)、實時數(shù)據(jù)以及社會經(jīng)濟數(shù)據(jù)等多種數(shù)據(jù)的快速接入，整合本地、HDFS、MapGIS GDB、ElasticSearch和PostgreSQL等多種數(shù)據(jù)來源，形成大數(shù)據(jù)管理目錄，提供大數(shù)據(jù)集及元數(shù)據(jù)基礎信息達成了多源社會治理數(shù)據(jù)的存儲與融合的目的。

4? 結(jié)語

智能化是社會治理創(chuàng)新的新動力。采用混合數(shù)據(jù)庫技術，通過對社會治理工作中歷史積累及實時采集的數(shù)據(jù)進行統(tǒng)一存儲和融合分析，將人口數(shù)據(jù)、法人數(shù)據(jù)、房屋數(shù)據(jù)、矛盾糾紛和問題隱患事件數(shù)據(jù)，與地圖數(shù)據(jù)相結(jié)合，深入挖掘數(shù)據(jù)潛力和價值，革新傳統(tǒng)社會治理方式，輔助社會治理主體進行創(chuàng)新，將進一步提升社會治理的專業(yè)化水平。

參考文獻

[1] 陳娟，李煒.非關系型數(shù)據(jù)庫與關系型數(shù)據(jù)庫技術綜述[J].電子技術與軟件工程，2020（18）：147-148.

[2] 洪漪，趙棟祥，趙一鳴.大數(shù)據(jù)環(huán)境下的信息架構與數(shù)據(jù)模型[J].信息資源管理學報，2018，8（1）：29-38.

[3] 肖光昭.基于SQL和NoSQL的混合存儲系統(tǒng)的設計與實現(xiàn)[D].北京：北京理工大學，2016.

[4] 楊振，萬為清.圖數(shù)據(jù)庫的研究和應用[J].電腦編程技巧與維護，2020（12）：91-93.

[5] 李紀偉，段中帥，王順曄.非結(jié)構化數(shù)據(jù)庫MongoDB的數(shù)據(jù)存儲[J].電腦知識與技術，2018，14（27）： 7-9.

[6] 徐偉杰，王挺，薛婉婷. 基于ElasticSearch的搜索引擎設計與實現(xiàn)[J].智庫時代，2019（23）：218，240.

[7] 陳忠菊.NoSQL數(shù)據(jù)庫的研究和應用[J]. 電腦編程技巧與維護，2020（9）：81-83.

[8] 中地數(shù)碼，MapGIS大數(shù)據(jù)與云平臺產(chǎn)品白皮書[Z].2019（5）.