基于微服務的水利視頻云平臺關鍵技術研究

摘 要：隨著水利視頻監(jiān)控站點的不斷接入，對資源分級管理、視頻共享、移動工勘和資源擴容等方面均提出更高需求。該文以江西省水利視頻云平臺為例，在原有視頻信息云平臺上，整合資源、升級擴容，分析系統(tǒng)總體功能、邏輯架構、技術路線，采用微服務、GIS和AI等技術，實現(xiàn)跨品牌設備接入，為水利系統(tǒng)視頻監(jiān)控工作提供參考借鑒。

關鍵詞：水利視頻云平臺；微服務；GIS；AI；邏輯架構

中圖分類號：TP393.0 文獻標志碼：A 文章編號：2095-2945（2024）29-0052-04

Abstract： With the continuous access of water conservancy video surveillance stations， higher requirements have been put forward for resource hierarchical management， video sharing， mobile prospecting， resource expansion and so on. Taking the water conservancy video cloud platform of Jiangxi Province as an example， this paper integrates resources， upgrades and expands capacity on the original video information cloud platform， analyzes the overall function， logical architecture and technical route of the system， and uses micro-service， GIS and AI technology to realize cross-brand equipment access， so as to provide reference for video surveillance of water conservancy system.

Keywords： water conservancy video cloud platform; micro-service; GIS; AI; logical architecture

為深入踐行習近平總書記“十六字”治水思路，江西水利以數(shù)字化、網(wǎng)格化、智能化為主線，數(shù)字化場景、智慧化模擬、精準化決策為路徑，加快構建具有預報、預警、預演、預案功能的智慧水利體系[1]。視頻監(jiān)控作為重要的監(jiān)管手段，提高水利設施信息化管理水平與共享能力。然而目前大多數(shù)視頻監(jiān)控平臺沒有充分考慮水利行業(yè)監(jiān)管業(yè)務特性；普遍通過人工方式實時監(jiān)控視頻或查看錄像及歷史圖像，無法滿足水利強監(jiān)管要求；無法實現(xiàn)多瀏覽平臺全兼容、跨平臺視頻資源分享；視頻接入端涉及設備廠家、品牌、類型多，視頻傳輸及接入標準不統(tǒng)一。

為及時獲取江西省江河湖泊、水庫的水位信息，本文設計了基于微服務的江西省水利視頻云平臺，以“云平臺”理念為指導、以“共建共享”為目標，以“云服務”方式接入已建的視頻監(jiān)控設備、自動監(jiān)測設備及無人機等不同類型設備的視頻圖片數(shù)據(jù)，對數(shù)據(jù)進行統(tǒng)一存儲，同時引入AI、數(shù)據(jù)挖掘等技術，實現(xiàn)對視頻圖片的自動判別及深入分析，進而實現(xiàn)各監(jiān)測站點自動預警預報。

1 系統(tǒng)總體功能

系統(tǒng)總體功能主要包括視頻地圖、視頻監(jiān)控、分級管理和設備管理4大模塊。

1.1 監(jiān)控點在水利“一張圖”上集中展示

把視頻監(jiān)控點放在水利“一張圖”上展示，點擊地圖上監(jiān)控點展示該設備的地理位置，播放實時視頻，還可以查看設備歷史錄像，對播放的設備進行方向調整和鏡頭縮放。

1.2 監(jiān)控點操控和視頻輪巡

選擇多路視頻監(jiān)控設備，多畫面顯示選擇的視頻監(jiān)控設備實時視頻，雙擊任一視頻畫面時可切換為全屏展示。全屏后可通過伸縮、光圈、焦距、雨刷和去霧等云臺功能按鈕進行調整。

1.3 視頻資源分級管理

采用分級管理的理念，在省、市、縣多級部署的過程中，將平臺管理權限同步配套給對應層級，給予用戶充分的自主管理權限，各級單位管理人員可根據(jù)自身管理權限及業(yè)務需求，獲取平臺資源，調用平臺服務，建立專屬的應用環(huán)境，構建獨立的視頻管理系統(tǒng)；各種業(yè)務應用可根據(jù)自身需要，按權限獲取視頻資源[2]。極大減輕系統(tǒng)超級管理員的日常管護負擔，實現(xiàn)市、縣自治自理的同時，也能充分挖掘市、縣基于視頻資源拓展水利行業(yè)應用的潛能。

1.4 設備接入和維護

設備從點位勘察、接入、維護、下線整個生命周期管理，查看當前總的接入設備數(shù)，以及設置存儲計劃。

2 視頻云平臺邏輯架構

視頻云平臺邏輯架構由核心數(shù)據(jù)層、基礎公共服務層、業(yè)務服務層、數(shù)據(jù)表達層、客戶端組成，如圖1所示。

2.1 核心數(shù)據(jù)層

基礎核心數(shù)據(jù)是視頻云平臺的核心，通過核心數(shù)據(jù)層集中管理核心數(shù)據(jù)，實現(xiàn)數(shù)據(jù)有效管控和共享。核心數(shù)據(jù)層用于存儲、查詢、更新基礎數(shù)據(jù)、動態(tài)數(shù)據(jù)以及用戶數(shù)據(jù)等核心業(yè)務數(shù)據(jù)，向業(yè)務服務層提供基礎的高效的查詢接口，同時向數(shù)據(jù)表達層提供查詢和更新接口。

2.2 業(yè)務服務層

業(yè)務服務層包含輪巡、運維管理、工勘管理和系統(tǒng)管理等主要的業(yè)務功能。

2.3 基礎公共服務

基礎公共服務提供審計服務、全文檢索服務、日志服務以及運維監(jiān)控等功能。審計服務為業(yè)務審計而存在，主要的審計類型有用戶驗證/鑒權/授權審計、流程審計等；全文檢索服務提供系統(tǒng)的全文檢索、檢索數(shù)據(jù)收集等功能；日志服務提供日志搜集、日志搜索分析等功能；運維監(jiān)控包含鏈路跟蹤和分析、性能監(jiān)控、系統(tǒng)告警等功能。

2.4 數(shù)據(jù)表達層

數(shù)據(jù)表達層面向視頻云平臺Web端、移動端等客戶端提供API接口功能。對外提供Restful接口，實現(xiàn)對Web端、APP端、微信公眾號等請求支持，簡化系統(tǒng)的架構，不同系統(tǒng)間只需對Json進行解析和序列化即可完成數(shù)據(jù)傳遞。

2.5 微服務劃分

視頻云平臺采用微服務架構，通過縱向切分、橫向切分2種方式將各個模塊合理劃分。先從業(yè)務維度縱向拆分，將關聯(lián)較密切的業(yè)務以模塊方式拆分為一個個微服務，功能較獨立的業(yè)務以模塊方式單獨拆分為一個個微服務，再將公共且具有獨立功能的維度橫向拆分，從而將資源獨立分開，不與其他業(yè)務進行耦合。

從業(yè)務維度視頻云平臺拆分了用戶權限服務、系統(tǒng)管理服務、信息發(fā)布服務和工作流服務，再基于公共獨立功能維度拆分出了視頻云平臺系統(tǒng)服務、日志管理服務、基礎數(shù)據(jù)服務和數(shù)據(jù)同步服務。

3 基于微服務的技術路線

3.1 Spring Cloud分布式服務框架

目前比較成熟的微服務框架主要有Netflix、Spring Cloud和Dubbo等，Spring Cloud是基于Spring Boot的一套分布式服務框架，提供了開發(fā)微服務所需的組件[3]。通過服務注冊與發(fā)現(xiàn)方式調用依賴的其他服務，調用過程中采用熔斷模式、隔離模式、回退（fallback）和限流等機制對服務進行彈性容錯保護，各服務集群通過配置中心動態(tài)獲取配置信息。

3.2 Restful架構

Restful是一種思想，而不是一種直接技術，它采用Web、IOS和安卓服務為一體的接口?？紤]到視頻監(jiān)控云平臺具有PC端、移動端等多端展示需求，為此Restful是最好的選擇。相比其他常規(guī)接口，Restful具有以下4個優(yōu)勢：

1）前后端分離，減少流量。

2）將安全問題集中在接口上，有效防止注入型等安全問題。

3）簡化系統(tǒng)架構，減少耦合性，后端只需負責數(shù)據(jù)處理。

4）服務器性能優(yōu)化。

3.3 Minio存儲

傳統(tǒng)存儲系統(tǒng)，如NAS系統(tǒng)等，只能簡單附加創(chuàng)建日期等常規(guī)元數(shù)據(jù)，隨著存儲數(shù)量的上升，這種存儲結構將會出現(xiàn)檢索、存取速度緩慢的問題[4]。

而Minio是一種對象存儲服務，能夠采用并發(fā)、異步和分布式方式，處理大量數(shù)據(jù)請求，適合存儲大容量非結構化數(shù)據(jù)，比如日志文件、視頻、備份數(shù)據(jù)和虛擬機鏡像等，能夠有效解決響應緩慢甚至系統(tǒng)崩潰的現(xiàn)象。因此，對于視頻云平臺來說，Minio是目前性能最好的對象存儲。

數(shù)據(jù)安全。Minio使用糾刪碼和校驗保護數(shù)據(jù)免受硬件故障和無聲數(shù)據(jù)損壞等多重保護措施。Minio對每個對象單獨編碼，存儲服務一經(jīng)部署，通常情況下不需要更換硬盤或者修復。

文件修復。得益于Reed-Solomon 糾刪碼，Minio可以更加靈活的對文件進行修復。相比一般的Raid方式，Minio可以在非常小的粒度下對文件進行修復操作，靈活性有了很大的提高。

衰減保護。硬盤上的數(shù)據(jù)可能會神不知鬼不覺地損壞，也沒有錯誤日志。針對這一問題，Minio采用HighwayHash算法計算校驗和防范位衰減，根據(jù)測試結果，其可以實現(xiàn)10 GB/s的處理速度。

3.4 ElasticSearch搜索

ElasticSearch使用Lucene作為其核心來實現(xiàn)所有索引和搜索的功能，每個字段都被索引并可被擴展到上百臺服務器，處理PB級結構化或非結構化數(shù)據(jù)[5]，所有功能被集成到一個服務中，可以通過簡單的Restful API、各種語言的客戶端甚至命令行與之交互。

4 創(chuàng)新亮點

4.1 視頻監(jiān)控與GIS技術相結合

利用地理信息系統(tǒng)（GIS），根據(jù)水利工程的流域、行政區(qū)域、水利工程項目、水利工程類型和建設時間等多種特性，結合水利“一張圖”，對視頻、圖像及錄像資源進行接入、管理、檢索、瀏覽、分享和運維。

4.2 引入AI、數(shù)據(jù)挖掘技術

收集大量視頻及圖像資源，利用AI、數(shù)據(jù)挖掘技術進行智能化分析、智慧化識別，實現(xiàn)問題早發(fā)現(xiàn)、早預警，滿足強監(jiān)管要求。

4.3 跨品牌設備接入

平臺以統(tǒng)一標準化的接入、管理、轉碼及流媒體服務解決多品牌多種視頻監(jiān)控設備的接入及播放，實現(xiàn)各品牌攝像頭、NVR等設備資源聚合。

5 系統(tǒng)測試

目前，江西省水利視頻云平臺（圖2）已完成6 768路視頻監(jiān)控點接入，通過匯聚省水文、公安以及市縣水利局等部門已建成的視頻監(jiān)控點，將監(jiān)控點的位置、水位情況等信息在水利“一張圖”上實時顯示，統(tǒng)計各行政區(qū)域內在線、離線監(jiān)控點數(shù)量，云臺控制監(jiān)控點全屏、放大、縮小，實現(xiàn)查看實時視頻、視頻回放及錄像等操作，通過監(jiān)控點名稱、行政區(qū)域、監(jiān)控用途、工程和項目等多種檢索方式，方便用戶快速在地圖上定位所需監(jiān)控點。

6 結束語

江西省水利視頻云平臺基于水利“一張圖”開發(fā)，充分運用AI、數(shù)據(jù)挖掘等新技術，實現(xiàn)了全省共6 768路水利、水文、公安等部門視頻監(jiān)控信號的接入、存儲和智能分析，通過視頻圖像實時獲取江西省重要江河湖泊的水位信息，并記錄重要堤防、水庫的運行情況，顯著提升了江西省水安全在線監(jiān)管、江河調度、工程運行、應急處置能力[6]。

參考文獻：

[1] 王雋雄，李陽，王宇菲.推進智慧水利建設急需解決的遙感數(shù)據(jù)處理問題研究[J].中國水土保持，2021（11）：65-68.

[2] 朱松挺，胡翌，陳杰，等.江西水利視頻云平臺建設探索[J].江西水利科技，2020，46（1）：70-73.

[3] 常秀巖.基于微服務架構的PaaS云平臺架構設計[J].探索科學，2019（7）：203-204.

[4] 邱宇.基于MinI0分布式存儲的微服務模塊開發(fā)應用[J].互聯(lián)網(wǎng)周刊，2023（22）：38-40.

[5] 楊波，王瓊，魏軍.面向數(shù)據(jù)中心的日志分析平臺研究[J].通信電源技術，2020，37（13）：133-136.

[6] 魏超.江西“智慧水利”建設現(xiàn)狀與發(fā)展對策研究[D].南昌：江西財經(jīng)大學，2021.