跨層級空間數(shù)據(jù)多鏈路合并歸集技術(shù)的設(shè)計與實踐

□臺州市自然資源和規(guī)劃局 王劍勇 范聰玲 王 軍

□上海杰獅信息技術(shù)有限公司 陳舒燕

國土空間數(shù)據(jù)是構(gòu)成數(shù)字空間數(shù)據(jù)底座的重要組成部分。國務(wù)院明確要求整合各類空間關(guān)聯(lián)數(shù)據(jù)，建立全國統(tǒng)一的國土空間基礎(chǔ)信息平臺。2018 年，浙江省國土空間基礎(chǔ)信息平臺被列為省政府首批數(shù)字化轉(zhuǎn)型“8+13”重大項目，為優(yōu)化全省國土空間格局，科學規(guī)劃生產(chǎn)空間、生活空間、生態(tài)空間提供了安全、可靠、有效支撐。2021 年，為貫徹落實浙江省委、省政府關(guān)于“數(shù)字化改革與全面深化改革”的決策部署，浙江省自然資源廳持續(xù)推進省域空間治理數(shù)字化平臺建設(shè)，建設(shè)了由自然空間、人造空間和未來空間三大空間組成的“數(shù)字國土空間”，以數(shù)字化手段映射、重塑現(xiàn)實空間，為空間規(guī)劃、空間保護、空間利用、空間安全賦能。

臺州市自然資源和規(guī)劃局持續(xù)迭代臺州市國土空間基礎(chǔ)信息平臺（以下簡稱“平臺”），建成了全市統(tǒng)一的國土空間數(shù)據(jù)倉（以下簡稱“數(shù)據(jù)倉”）。平臺為全市空間治理體系和治理能力現(xiàn)代化提供有效支撐，滿足了自然資源部門日常工作所需。數(shù)據(jù)倉具備基礎(chǔ)的數(shù)據(jù)歸集能力。平臺和數(shù)據(jù)倉為自然資源應(yīng)用體系建設(shè)提供靈活、便捷的數(shù)據(jù)支撐和服務(wù)支撐。

隨著平臺的深化應(yīng)用，國土空間數(shù)據(jù)的內(nèi)容和時效性已經(jīng)無法完全滿足政府單位及相關(guān)部門的需求，并且國土空間數(shù)據(jù)歸集過程中也出現(xiàn)了各層級之間的數(shù)據(jù)壁壘問題。2021 年6 月，浙江省自然資源廳在深化國土空間數(shù)字化改革工作中，提出建設(shè)國土空間數(shù)據(jù)倉省級總倉、市級合倉和縣級分倉（以下簡稱“省級總倉、市級合倉、縣級分倉”），并要求實現(xiàn)三級數(shù)據(jù)倉縱向歸集能力，健全各類數(shù)據(jù)更新、歸集制度。

臺州市主動對接浙江省自然資源廳，持續(xù)迭代與省級平臺之間的貫通通道。在浙江省自然資源廳的支持下，通過集成跨層級工單轉(zhuǎn)發(fā)技術(shù)與多鏈路合并歸集技術(shù)，解決了跨層級空間數(shù)據(jù)多鏈路合并問題，打破了空間數(shù)據(jù)在歸集過程中的壁壘，實現(xiàn)省、市、縣三級數(shù)據(jù)的全貫通。通過集成消息隊列技術(shù)，提高了國土空間數(shù)據(jù)歸集的及時性、準確性和完整性，為省、市級平臺數(shù)據(jù)歸集提供了新思路。

一、關(guān)鍵技術(shù)

（一）跨層級工單轉(zhuǎn)發(fā)技術(shù)

跨層級工單轉(zhuǎn)發(fā)是一種通過實時網(wǎng)絡(luò)通信方式實現(xiàn)跨層級不同平臺間數(shù)據(jù)傳輸?shù)墓螐椭坪椭囟ㄏ虿僮鞯募夹g(shù)?？鐚蛹壒无D(zhuǎn)發(fā)的內(nèi)容不僅包括了工單基本信息，還包括目標接收單位、目標數(shù)據(jù)庫表結(jié)構(gòu)、數(shù)據(jù)質(zhì)檢模型等內(nèi)容，涉及轉(zhuǎn)發(fā)要素多、關(guān)系復雜、準確性要求高，跨層級工單轉(zhuǎn)發(fā)技術(shù)創(chuàng)建了工單之間的鏈路關(guān)系圖譜，自動化派發(fā)數(shù)據(jù)庫表結(jié)構(gòu)、數(shù)據(jù)質(zhì)檢模型并為下游平臺自動化創(chuàng)建對應(yīng)內(nèi)容，方便平臺通過鏈路合并技術(shù)介入原工單數(shù)據(jù)歸集的生命周期，即在派生工單數(shù)據(jù)歸集完成后，鏈路溯源至原始工單這次，觸發(fā)數(shù)據(jù)的收攏合并操作，并在歸集條件滿足后自動進行工單鏈路合并提交。

（二）消息隊列技術(shù)

消息隊列是一種進程間或同一進程的不同線程間的通信方式，軟件的貯列用來處理一系列的輸入，通常是來自用戶。消息隊列提供了異步的通信協(xié)議，每一個貯列中的紀錄包含詳細說明的數(shù)據(jù)，包含發(fā)生的時間，輸入設(shè)備的種類，以及特定的輸入?yún)?shù)，即消息的發(fā)送者和接收者不需要同時與消息隊列交互。消息會保存在隊列中，直到接收者取回它。

平臺通過使用消息隊列技術(shù)實現(xiàn)異步加載、系統(tǒng)解耦合流量削峰三大功能。

1.異步加載。在高并發(fā)環(huán)境下，下級提交的工單數(shù)據(jù)推送至消息隊列，后臺通過監(jiān)聽消息隊列中的數(shù)據(jù)做出判斷，進行異步處理，減少對數(shù)據(jù)庫造成的壓力，從而有效改善系統(tǒng)延遲響應(yīng)情況。

2.系統(tǒng)解耦。數(shù)據(jù)歸集模塊可調(diào)用省、市級平臺數(shù)據(jù)，但相互調(diào)用復雜且系統(tǒng)維護難。引入消息隊列技術(shù)后，省級平臺可直接使用消息隊列中的接口獲取縣級分倉數(shù)據(jù)，無需頻繁調(diào)用市級合倉數(shù)據(jù)，徹底將市、縣兩級的數(shù)據(jù)歸集模塊解耦。

3.流量削峰。在使用過程中，場景中系統(tǒng)的峰值流量往往集中于接收到歸集任務(wù)的一小段時間內(nèi)。消息隊列技術(shù)可削弱峰值流量，防止系統(tǒng)在短時間內(nèi)被峰值流量沖垮，縣級分倉歸集的數(shù)據(jù)可暫存在消息隊列中，省級總倉、市級合倉只需讀取消息隊列中的數(shù)據(jù)，即消息隊列做了一次緩沖。

（三）多鏈路合并歸集技術(shù)

縣（市、區(qū)）用戶在接收到市級平臺轉(zhuǎn)發(fā)的工單后，需將縣級分倉數(shù)據(jù)歸集至市級合倉，這一過程就會涉及多層數(shù)據(jù)上報的問題?？h（市、區(qū)）用戶完成數(shù)據(jù)歸集任務(wù)后，利用多鏈路合并歸集技術(shù)，數(shù)據(jù)在上報給市級合倉的同時，會自動合并到省級的歸集鏈路上，從而自動打通三級歸集的路徑，提高了數(shù)據(jù)的一致性，減少了市級合倉的壓力。

二、應(yīng)用實例

本文以臺州市國土空間基礎(chǔ)信息平臺為基礎(chǔ)，臺州市自然資源和規(guī)劃局信息中心管理員（以下簡稱“市級管理員”）、天臺縣自然資源和規(guī)劃局信息中心用戶（以下簡稱“縣（市、區(qū)）用戶”）之間的工單派發(fā)和數(shù)據(jù)歸集為實踐對象，介紹集成消息隊列技術(shù)的跨層級空間數(shù)據(jù)多鏈路合并歸集技術(shù)。關(guān)鍵技術(shù)路線與實踐思路如下圖所示。

（一）工單派發(fā)階段

市級平臺自動接收浙江省自然資源廳管理員（以下簡稱“省管理員”）下發(fā)至臺州市的數(shù)據(jù)歸集工單與質(zhì)檢模型，市級管理員通過“浙政釘”接收到歸集任務(wù)通知后，登錄市級平臺，處理并開展工單派發(fā)工作，一方面利用平臺提供的元數(shù)據(jù)解析能力自動化創(chuàng)建庫表，用于存儲待歸集的縣（市、區(qū)）數(shù)據(jù)，另一方面將工單內(nèi)容及歸集數(shù)據(jù)結(jié)構(gòu)模板發(fā)送至縣（市、區(qū)）用戶，確保縣級待歸數(shù)據(jù)結(jié)構(gòu)滿足省級統(tǒng)一要求?？h（市、區(qū)）用戶登錄平臺，即可在待辦查看工單任務(wù)。

（二）數(shù)據(jù)歸集階段

縣（市、區(qū)）用戶在接收到工單任務(wù)后，利用市級平臺開展內(nèi)部數(shù)據(jù)歸集入縣級分倉，提交數(shù)據(jù)后，市級平臺數(shù)據(jù)工廠自動校核消息隊列中的數(shù)據(jù)要求與縣（市、區(qū)）用戶提交的數(shù)據(jù)，判斷待歸集數(shù)據(jù)與應(yīng)歸集數(shù)據(jù)是否一致，確認數(shù)據(jù)一致后則轉(zhuǎn)入數(shù)據(jù)工廠，由數(shù)據(jù)工廠入庫模型將數(shù)據(jù)自動入庫至市級歸集庫中。在此，縣（市、區(qū)）用戶提交數(shù)據(jù)完成工單后，需歸集的數(shù)據(jù)暫時存放到消息隊列中，有效減少進程的等待時間和市級歸集庫的壓力，從而實現(xiàn)平臺的快速響應(yīng)。

（三）工單反饋階段

縣（市、區(qū)）用戶提交工單后，工單任務(wù)狀態(tài)由未完成調(diào)整為待審核。市級管理員審核通過后，市級平臺將暫存在消息隊列中的縣級數(shù)據(jù)直接推送至省級平臺，無需通過市級歸集庫再次歸集，實現(xiàn)縣、市、省自下而上三級數(shù)據(jù)歸集的有效閉環(huán)。

三、應(yīng)用成效

▲省、市、縣三級用戶之間的工單派發(fā)和數(shù)據(jù)歸集機制

實踐表明，跨層級空間數(shù)據(jù)多鏈路合并歸集技術(shù)在國土空間數(shù)據(jù)歸集中具有很高的可行性，且在實踐過程中安全穩(wěn)定。通過此項技術(shù)，完成了控制性詳細規(guī)劃、多規(guī)合一等11 類業(yè)務(wù)的數(shù)據(jù)歸集工作，涉及的數(shù)據(jù)達106458 項，豐富和完善了國土空間數(shù)據(jù)歸集體系。

（一）提升了空間數(shù)據(jù)歸集效率

通過集成消息隊列技術(shù)與多鏈路合并歸集技術(shù)，將控制性詳細規(guī)劃等業(yè)務(wù)數(shù)據(jù)實時歸集至市級合倉并推送到省級總倉，有效改善國土空間數(shù)據(jù)歸集高并發(fā)問題，提高了國土空間數(shù)據(jù)歸集的效率，為政府的數(shù)字化改革提供了底層數(shù)據(jù)支撐。

（二）保障了自然資源核心業(yè)務(wù)

通過跨層級空間數(shù)據(jù)多鏈路合并歸集技術(shù)，將多規(guī)合一綜合應(yīng)用數(shù)據(jù)按照省級統(tǒng)一標準進行歸集上報，解決了自然資源領(lǐng)域省、市、縣三級數(shù)據(jù)不一致、不完整、不準確的問題，實現(xiàn)了數(shù)據(jù)的動態(tài)歸集閉環(huán)管理，為自然資源核心業(yè)務(wù)提供了數(shù)據(jù)支撐。

（三）增強了空間數(shù)據(jù)服務(wù)能力

跨層級空間數(shù)據(jù)多鏈路合并歸集技術(shù)，實現(xiàn)了數(shù)據(jù)應(yīng)歸盡歸，豐富了面向各委辦局的空間數(shù)據(jù)服務(wù)，方便各部門便捷使用國土空間數(shù)據(jù)成果。目前已經(jīng)為省級平臺、省級多規(guī)合一應(yīng)用場景、臺州市耕地智保場景、臺州市一張圖實施監(jiān)督系統(tǒng)、玉環(huán)市“玉海晏”海災(zāi)智治應(yīng)用、三門縣工業(yè)用地分析決策應(yīng)用場景項目、臺州市應(yīng)急管理局安全生產(chǎn)風險防控和應(yīng)急救援平臺、臺州市生態(tài)環(huán)境局“全生態(tài)圈”環(huán)保大腦等系統(tǒng)場景提供了186 項數(shù)據(jù)服務(wù)支撐，大大提升了跨層級跨部門空間數(shù)據(jù)共享服務(wù)能力。

四、展望

本文針對國土空間數(shù)據(jù)在歸集過程中存在的壁壘問題，基于臺州市國土空間基礎(chǔ)信息平臺完善了數(shù)據(jù)歸集機制，集成跨層級工單轉(zhuǎn)發(fā)技術(shù)與消息隊列技術(shù)，指導生產(chǎn)實踐過程中的數(shù)據(jù)歸集模式，實現(xiàn)了國土空間數(shù)據(jù)的跨層級多鏈路合并歸集，打通了國土空間數(shù)據(jù)縱向歸集通道，為跨層級數(shù)據(jù)歸集提供了新模式。

在未來的實踐與研究中，將動態(tài)跟蹤平臺在空間數(shù)據(jù)歸集應(yīng)用過程中的需求和反饋，迭代深化臺州市國土空間基礎(chǔ)信息平臺，完善數(shù)據(jù)歸集機制，促進數(shù)據(jù)資源多層級貫通，提高平臺用戶的使用體驗。