政務(wù)數(shù)據(jù)資源實(shí)時(shí)交換總線技術(shù)實(shí)現(xiàn)

邱亮亮 李錦芝

摘要：本文概述了政務(wù)數(shù)據(jù)資源實(shí)時(shí)交換總線技術(shù)，分析了總體技術(shù)思路，研究了功能模塊設(shè)計(jì)。

關(guān)鍵詞：政務(wù)數(shù)據(jù)資源；實(shí)時(shí)交換；總線技術(shù)

中圖分類號(hào)：TP393.09 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2018）07-0164-02

《國(guó)務(wù)院關(guān)于印發(fā)促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》指出大數(shù)據(jù)應(yīng)用能夠揭示傳統(tǒng)技術(shù)方式難以展現(xiàn)的關(guān)聯(lián)關(guān)系，推動(dòng)政府?dāng)?shù)據(jù)開放共享，促進(jìn)社會(huì)事業(yè)數(shù)據(jù)融合和資源整合，將極大提升政府整體數(shù)據(jù)分析能力，為有效處理復(fù)雜社會(huì)問題提供新的手段。建立“用數(shù)據(jù)說話、用數(shù)據(jù)決策、用數(shù)據(jù)管理、用數(shù)據(jù)創(chuàng)新”的管理機(jī)制，實(shí)現(xiàn)基于數(shù)據(jù)的科學(xué)決策，將推動(dòng)政府管理理念和社會(huì)治理模式進(jìn)步，加快建設(shè)與社會(huì)主義市場(chǎng)經(jīng)濟(jì)體制和中國(guó)特色社會(huì)主義事業(yè)發(fā)展相適應(yīng)的法治政府、創(chuàng)新政府、廉潔政府和服務(wù)型政府，逐步實(shí)現(xiàn)政府治理能力現(xiàn)代化。

1 政務(wù)數(shù)據(jù)資源實(shí)時(shí)交換總線技術(shù)概述

在大數(shù)據(jù)背景下，政府?dāng)?shù)據(jù)要充分開放共享，深度整合，智能化分析挖掘，才能達(dá)到提升價(jià)值，有效利用的目的。傳統(tǒng)的政務(wù)數(shù)據(jù)共享交換系統(tǒng)通常采用批量、定時(shí)的數(shù)據(jù)采集和數(shù)據(jù)共享技術(shù)，按照預(yù)設(shè)的共享交換時(shí)間從數(shù)據(jù)生產(chǎn)系統(tǒng)提取數(shù)據(jù)，成批交換到一個(gè)中心節(jié)點(diǎn)，然后在另一個(gè)預(yù)設(shè)時(shí)間從中心節(jié)點(diǎn)下發(fā)到數(shù)據(jù)消費(fèi)系統(tǒng)。對(duì)于政府部門間共享交換數(shù)量量大，任務(wù)量多的城市往往需要避開業(yè)務(wù)繁忙時(shí)間，例如設(shè)定下班后的時(shí)間作執(zhí)行數(shù)據(jù)共享交換任務(wù)。在此模式下數(shù)據(jù)共享交換的更新周期比較長(zhǎng)，通常從生產(chǎn)系統(tǒng)形成新數(shù)據(jù)到消費(fèi)系統(tǒng)取得數(shù)據(jù)需要2到3天的時(shí)間，這種延時(shí)幅度已嚴(yán)重制約跨部門業(yè)務(wù)的發(fā)展，特別是跨部門的聯(lián)合審批，聯(lián)合監(jiān)管等業(yè)務(wù)，迫切需要找到更佳的數(shù)據(jù)共享實(shí)現(xiàn)模式。

2 總體技術(shù)思路

2.1 實(shí)現(xiàn)原理

政務(wù)數(shù)據(jù)資源實(shí)時(shí)交換總線的整體架構(gòu)是顯式分布式架構(gòu)，消息生產(chǎn)者producer、消息分發(fā)者broker（服務(wù)端）和消息消費(fèi)者consumer都可以有多個(gè)。 消息生產(chǎn)者Producer，消息消費(fèi)者consumer實(shí)現(xiàn)消息總線注冊(cè)的接口，數(shù)據(jù)從消息生產(chǎn)者producer發(fā)送到消息分發(fā)者broker，消息分發(fā)者broker承擔(dān)一個(gè)中間緩存和分發(fā)的作用。 消息分發(fā)者broker分發(fā)注冊(cè)到系統(tǒng)中的消息消費(fèi)者consumer。消息分發(fā)者broker的作用類似于緩存，即活躍的數(shù)據(jù)和離線處理系統(tǒng)之間的緩存?？蛻舳撕头?wù)器端的通信，是基 于簡(jiǎn)單，高性能，且與編程語(yǔ)言無關(guān)的TCP協(xié)議。

在分布式消息總線的支撐下，結(jié)合數(shù)據(jù)接口的敏捷感知同步微服務(wù)，實(shí)現(xiàn)對(duì)業(yè)務(wù)數(shù)據(jù)變化及時(shí)感知，批量、實(shí)時(shí)地快速同步?？偩€作為主數(shù)據(jù)中心與各二級(jí)數(shù)據(jù)中心或委辦局業(yè)務(wù)系統(tǒng)之間通訊的集成業(yè)務(wù)平臺(tái)，它將基于中間件平臺(tái)，支持跨平臺(tái)系統(tǒng)連接，實(shí)現(xiàn)主數(shù)據(jù)中心與二級(jí)數(shù)據(jù)中心、與各業(yè)務(wù)系統(tǒng)、業(yè)務(wù)系統(tǒng)與業(yè)務(wù)系統(tǒng)之間數(shù)據(jù)的交互和通信，體現(xiàn)整體系統(tǒng)多層結(jié)構(gòu)的思想，是各系統(tǒng)通信的核心。

針對(duì)政府各委辦局業(yè)務(wù)系統(tǒng)的業(yè)務(wù)處理特點(diǎn)，信息總線可以可以制定相可以的處理流程，確定有關(guān)信息的傳遞機(jī)制，例如，傳遞的路由規(guī)則和優(yōu)先級(jí)。通過獨(dú)立的監(jiān)控模塊，可以監(jiān)視信息總線上信息的收發(fā)，并有利于集成和測(cè)試的需要。

2.2 業(yè)務(wù)邏輯處理

（1）信息總線可以支持靈活的消息路由設(shè)定，以體現(xiàn)業(yè)務(wù)模型中的信息分發(fā)規(guī)則。信息總線可以負(fù)責(zé)消息的分發(fā)業(yè)務(wù)邏輯，各子系統(tǒng)可以不用關(guān)心消息的路由，信息總線可以可動(dòng)態(tài)調(diào)整路由配置，無須重新啟動(dòng)生產(chǎn)系統(tǒng)或修改任何已連接的系統(tǒng)。（2）為保證業(yè)務(wù)消息的準(zhǔn)確無誤，信息總線可以支持能在消息分發(fā)過程中允許操作人員對(duì)消息作必要的校驗(yàn)，以確保信息的可靠和準(zhǔn)確。（3）信息總線可以支持優(yōu)先級(jí)機(jī)制，與業(yè)務(wù)邏輯相結(jié)合，使得業(yè)務(wù)上重要的數(shù)據(jù)可以在各系統(tǒng)間優(yōu)先傳送。相同優(yōu)先級(jí)的消息可以遵循先進(jìn)先出的處理順序?？梢跃邆湎⒂行诠δ?，有效期長(zhǎng)度可以支持從數(shù)秒至無限的時(shí)間范圍。一旦消息過期，可以從信息總線的永久存儲(chǔ)中刪除并記錄詳細(xì)日志。（4）為保護(hù)業(yè)務(wù)模型，保持模型的完整性，信息總線可以只處理定義的事件和消息。當(dāng)收到未知類型消息時(shí)可以創(chuàng)建錯(cuò)誤日志并向信息總線操作人員發(fā)出提示信息。（5）信息總線可以結(jié)合業(yè)務(wù)模型，提高消息的重用性，各種需要向多個(gè)系統(tǒng)發(fā)布的消息，可以將單一事件（消息）傳送至單一或多個(gè)定制該消息的子系統(tǒng)。（6）信息總線能夠結(jié)合工作流，有針對(duì)性的觸發(fā)處理事件。在特定事件發(fā)生時(shí)，信息總線可以能夠觸發(fā)子系統(tǒng)以采取適當(dāng)行動(dòng)。（7）當(dāng)一些內(nèi)部事件發(fā)生時(shí)，信息總線可以能夠觸發(fā)相可以的可配置處理流程以可以對(duì)所發(fā)生的事件，例如消息日志文件超出配置的限制時(shí)，可以觸發(fā)相可以的流程以對(duì)事件加以處理。（8）結(jié)合業(yè)務(wù)模型中的消息流，信息總線可以提供批量發(fā)送和即時(shí)發(fā)送兩種消息分發(fā)機(jī)制。（9）可以用系統(tǒng)將通過信息總線訪問主數(shù)據(jù)中心，信息總線組件可以提供必要的系統(tǒng)間安全保障，包括系統(tǒng)級(jí)驗(yàn)證、系統(tǒng)消息訪問控制、對(duì)關(guān)鍵敏感數(shù)據(jù)加密、實(shí)時(shí)系統(tǒng)激活/禁用等。

2.3 可維護(hù)性

信息總線是可維護(hù)的，并且可以具備易于分析、變更、測(cè)試且穩(wěn)定的特性。可以提供一個(gè)結(jié)構(gòu)模型和多種輔助工具包。為確保信息總線具有較強(qiáng)的可維護(hù)性。

3 功能模塊設(shè)計(jì)

3.1 信息總線監(jiān)控管理

信息總線可以有對(duì)其性能進(jìn)行監(jiān)控和管理的能力。信息總線的響可以時(shí)間參數(shù)將考慮為合同范圍指標(biāo)，其響可以速度不能超過用戶可容忍范圍，平均時(shí)間不超過3秒。性能監(jiān)控/管理作為需求的一部分，可以滿足下述要求：

（1）性能管理可以支持實(shí)時(shí)優(yōu)化。通過消息追蹤記錄和事件日志監(jiān)控追查異常情況。（2）為確保通過負(fù)載分布以達(dá)到更好的性能表現(xiàn)，信息總線可以支持多服務(wù)器分布式配置，同時(shí)動(dòng)態(tài)均衡處理所有連接請(qǐng)求。（3）為監(jiān)控和優(yōu)化信息總線的性能，信息總線可以詳盡保留各種實(shí)時(shí)統(tǒng)計(jì)信息。（4）為防止惡意進(jìn)程對(duì)信息總線處理和性能的干擾，信息總線可以內(nèi)嵌可配置的保護(hù)功能，以阻止惡意進(jìn)程的攻擊。

3.2 信息總線接口管理

3.2.1 SDK接口

分布式消息總線包含一個(gè)軟件開發(fā)包（SDK）提供可以用用于消息生產(chǎn)者、消息消費(fèi)者的編程接口（API），以滿足集成擴(kuò)展業(yè)務(wù)需求。SDK可以具備下列特性：

（1）支持各種業(yè)界主流的程序語(yǔ)言，如C#，C++和Java。（2）支持各種業(yè)界主流的服務(wù)器平臺(tái)技術(shù)，例如微軟Windows系統(tǒng)、常見Linux系統(tǒng)等。（3）提供負(fù)載均衡的連接配置方式，并且具備丟失連接自動(dòng)恢復(fù)的容錯(cuò)能力。（4）提供簡(jiǎn)單的接口實(shí)現(xiàn)方案和完備的文檔資料。（5）可以為實(shí)施中的子系統(tǒng)提供信息總線內(nèi)部的事務(wù)控制功能。（6）支持消息歷史記錄功能，并且可以配置其保存時(shí)間。

3.2.2 適配器方式

對(duì)于需要與主數(shù)據(jù)中心（二級(jí)數(shù)據(jù)中心）建立連接的子系統(tǒng)，在不能使用SDK修改其系統(tǒng)的情況下，信息總線可以提供適當(dāng)?shù)倪m配器以支持與這些現(xiàn)有系統(tǒng)的通訊接口，從而允許這些子系統(tǒng)與信息總線平臺(tái)有機(jī)集成。信息集成系統(tǒng)執(zhí)行WS-Security的規(guī)范，實(shí)現(xiàn)信息集成系統(tǒng)信息傳送過程的安全，有效。通常來說，安全認(rèn)證分為兩個(gè)方面，一方面是客戶端子系統(tǒng)調(diào)用接口時(shí)的用戶認(rèn)證，客戶端子系統(tǒng)通過指定用戶名、密碼，或者裝載指定的數(shù)字證書，達(dá)到用戶認(rèn)證的目的。另外一方面在有必要時(shí)可以對(duì)信息的內(nèi)容進(jìn)行數(shù)字簽名，保證信息在傳送過程中的安全性。

3.3 數(shù)據(jù)整合

（1）數(shù)據(jù)整合是把在不同數(shù)據(jù)源的數(shù)據(jù)收集、整理、清洗，轉(zhuǎn)換后加載到一個(gè)新的數(shù)據(jù)源，為數(shù)據(jù)消費(fèi)者提供統(tǒng)一數(shù)據(jù)視圖的數(shù)據(jù)集成方式。（2）數(shù)據(jù)整合（Data Consolidation）的優(yōu)勢(shì)是經(jīng)過了數(shù)據(jù)校驗(yàn)和數(shù)據(jù)清理，使數(shù)據(jù)更加真實(shí)，準(zhǔn)確，可靠。（3）共享數(shù)據(jù)全流通體系除了能實(shí)現(xiàn)平臺(tái)系統(tǒng)各個(gè)節(jié)點(diǎn)之間的信息交換外，對(duì)于各可以用系統(tǒng)產(chǎn)生的數(shù)據(jù)整合也是重點(diǎn)解決的問題，在業(yè)務(wù)數(shù)據(jù)交換過程中完成數(shù)據(jù)整合是一個(gè)經(jīng)濟(jì)、高效的方式。（4）利用交換標(biāo)準(zhǔn)，在數(shù)據(jù)交換過程中實(shí)現(xiàn)數(shù)據(jù)中心的數(shù)據(jù)整合，降低數(shù)據(jù)中心與各數(shù)據(jù)源系統(tǒng)之間的耦合度，支持非標(biāo)準(zhǔn)化的系統(tǒng)接入，最大限度的降低各數(shù)據(jù)源系統(tǒng)的改造量，實(shí)現(xiàn)自動(dòng)化的數(shù)據(jù)整合利用。（5）消息總線本身并沒有包含數(shù)據(jù)整合功能，為了統(tǒng)一管理及監(jiān)控，數(shù)據(jù)整合功能將統(tǒng)一封裝成“微服務(wù)”，形成“數(shù)據(jù)整合微服務(wù)”。（6）分布式消息總線將結(jié)合“數(shù)據(jù)整合微服務(wù)”、“數(shù)據(jù)敏捷感知同步微服務(wù)”，實(shí)現(xiàn)數(shù)據(jù)整合的數(shù)據(jù)整合規(guī)則、整合任務(wù)管理、整合任務(wù)監(jiān)控等功能。

3.4 數(shù)據(jù)分發(fā)

在共享數(shù)據(jù)全流通體系中，消息總線本身并已經(jīng)包含數(shù)據(jù)分發(fā)功能，再通過各委辦局的節(jié)點(diǎn)，安裝數(shù)據(jù)敏捷感知微服務(wù)，配置訪問業(yè)務(wù)數(shù)據(jù)庫(kù)參數(shù)，在信息總線支撐上，實(shí)現(xiàn)對(duì)業(yè)務(wù)數(shù)據(jù)變化及時(shí)感知，批量、實(shí)時(shí)地快速數(shù)據(jù)同步分發(fā)。各委辦局可安裝多個(gè)數(shù)據(jù)敏捷感知微服務(wù)，可對(duì)應(yīng)多個(gè)本委辦局的多個(gè)業(yè)務(wù)數(shù)據(jù)庫(kù)。各節(jié)點(diǎn)可按需建立實(shí)時(shí)感知、響應(yīng)、反饋鏈條。

3.5 消息管理

分布式消息總線的整體架構(gòu)是顯式分布式架構(gòu)，消息生產(chǎn)者producer、消息分發(fā)者broker（服務(wù)端）和消息消費(fèi)者consumer都可以有多個(gè)。消息生產(chǎn)者Producer，消息消費(fèi)者consumer實(shí)現(xiàn)消息總線注冊(cè)的接口，數(shù)據(jù)從消息生產(chǎn)者producer發(fā)送到消息分發(fā)者broker，消息分發(fā)者broker承擔(dān)一個(gè)中間緩存和分發(fā)的作用。消息分發(fā)者broker分發(fā)注冊(cè)到系統(tǒng)中的消息消費(fèi)者consumer。消息分發(fā)者broker的作用類似于緩存，即活躍的數(shù)據(jù)和離線處理系統(tǒng)之間的緩存?？蛻舳撕头?wù)器端之間的通訊采用請(qǐng)求/回答的方式。

4 實(shí)踐探索

廣州市安全生產(chǎn)監(jiān)督管理局與廣州市工商局消息總線對(duì)接應(yīng)用。根據(jù)廣州市安監(jiān)局的企業(yè)安全生產(chǎn)監(jiān)管業(yè)務(wù)需要，對(duì)接廣州市工商局的企業(yè)基礎(chǔ)信息庫(kù)，構(gòu)建實(shí)時(shí)數(shù)據(jù)同步總線，實(shí)現(xiàn)了企業(yè)基礎(chǔ)數(shù)據(jù)實(shí)時(shí)同步，有效提高了數(shù)據(jù)的及時(shí)性，同時(shí)實(shí)現(xiàn)了數(shù)據(jù)同步的透明化監(jiān)控，為數(shù)據(jù)供需雙方單位建立起高效的數(shù)據(jù)流通與管控手段。

5 結(jié)語(yǔ)

文章通過實(shí)時(shí)點(diǎn)對(duì)點(diǎn)的數(shù)據(jù)共享交換，最大限度縮短了數(shù)據(jù)提供者數(shù)據(jù)共享者的交互時(shí)間，把傳統(tǒng)數(shù)據(jù)流通機(jī)制上需要2-3天進(jìn)行的數(shù)據(jù)交換縮短到200-300毫秒，有效提高了數(shù)據(jù)的及時(shí)性，使政府的跨部門信息共享和業(yè)務(wù)協(xié)同更為高效。