基于實(shí)時(shí)數(shù)據(jù)庫(kù)的“點(diǎn)位倉(cāng)庫(kù)”技術(shù)研究

引言

隨著工業(yè)互聯(lián)網(wǎng)、智能制造和數(shù)字化轉(zhuǎn)型進(jìn)程的不斷推進(jìn)，各行業(yè)對(duì)現(xiàn)場(chǎng)生產(chǎn)數(shù)據(jù)的實(shí)時(shí)采集、集中管理和智能應(yīng)用提出了更高要求?，F(xiàn)場(chǎng)環(huán)境中產(chǎn)生的數(shù)據(jù)類型日益豐富，包括傳感器監(jiān)測(cè)數(shù)據(jù)、設(shè)備運(yùn)行狀態(tài)數(shù)據(jù)、報(bào)警信息數(shù)據(jù)、生產(chǎn)過程參數(shù)等，且數(shù)據(jù)規(guī)模持續(xù)擴(kuò)大，變化頻率高、更新周期短，傳統(tǒng)的數(shù)據(jù)管理體系難以有效應(yīng)對(duì)海量實(shí)時(shí)數(shù)據(jù)的采集、存儲(chǔ)和應(yīng)用挑戰(zhàn)1]。同時(shí)，現(xiàn)有的數(shù)據(jù)存儲(chǔ)方式多以孤島式分散管理為主，不同系統(tǒng)、不同來(lái)源的數(shù)據(jù)標(biāo)準(zhǔn)不一、命名混亂、數(shù)據(jù)質(zhì)量參差不齊，導(dǎo)致數(shù)據(jù)整合困難，系統(tǒng)間難以協(xié)同，數(shù)據(jù)應(yīng)用效率低下。此外，隨著工業(yè)互聯(lián)網(wǎng)場(chǎng)景下業(yè)務(wù)系統(tǒng)數(shù)量的持續(xù)增長(zhǎng)，數(shù)據(jù)接口管理混亂、標(biāo)準(zhǔn)不統(tǒng)一、內(nèi)容不透明等問題日益突出，用戶無(wú)法根據(jù)自身需求靈活、自主地定制所需數(shù)據(jù)，接口開發(fā)與維護(hù)成本高昂，數(shù)據(jù)變更響應(yīng)周期長(zhǎng)，嚴(yán)重制約了數(shù)據(jù)價(jià)值的深度挖掘與創(chuàng)新應(yīng)用2]。

在此背景下，基于實(shí)時(shí)數(shù)據(jù)庫(kù)的“點(diǎn)位倉(cāng)庫(kù)”技術(shù)應(yīng)運(yùn)而生，通過建設(shè)集實(shí)時(shí)數(shù)據(jù)與業(yè)務(wù)數(shù)據(jù)于一體的中心化存儲(chǔ)平臺(tái)，規(guī)范點(diǎn)位數(shù)據(jù)的結(jié)構(gòu)、分類與屬性標(biāo)準(zhǔn)，細(xì)化管理點(diǎn)位名稱、編號(hào)、單位、分類、閾值等元信息，打破數(shù)據(jù)孤島，實(shí)現(xiàn)跨系統(tǒng)、跨場(chǎng)景的數(shù)據(jù)資源統(tǒng)一管理3；圍繞點(diǎn)位倉(cāng)庫(kù)建設(shè)，同步搭建統(tǒng)一接口管理平臺(tái)，將各類數(shù)據(jù)接口進(jìn)行標(biāo)準(zhǔn)化、規(guī)范化、輕量化管理，建立透明的數(shù)據(jù)內(nèi)容總覽體系，賦能用戶按需自主定制數(shù)據(jù)接口，提升數(shù)據(jù)服務(wù)的靈活性與敏捷性，顯著降低接口開發(fā)和維護(hù)成本[4，為推動(dòng)企業(yè)數(shù)字化轉(zhuǎn)型和智能化升級(jí)提供重要底層技術(shù)支撐。

1.點(diǎn)位數(shù)據(jù)管理規(guī)范設(shè)計(jì)思路

點(diǎn)位數(shù)據(jù)作為現(xiàn)場(chǎng)各類生產(chǎn)、監(jiān)測(cè)、控制等系統(tǒng)的基礎(chǔ)信息單元，其標(biāo)準(zhǔn)化管理直接影響數(shù)據(jù)的整合效率、數(shù)據(jù)利用效果，以及后續(xù)智能應(yīng)用系統(tǒng)的開發(fā)與運(yùn)維水平5。點(diǎn)位數(shù)據(jù)管理規(guī)范設(shè)計(jì)思路包括以下四個(gè)方面。

首先，確立點(diǎn)位數(shù)據(jù)標(biāo)準(zhǔn)建模體系，從點(diǎn)位的基本信息、擴(kuò)展屬性、業(yè)務(wù)特性、關(guān)聯(lián)關(guān)系等多個(gè)維度，定義統(tǒng)一的數(shù)據(jù)字段、命名規(guī)范和分類體系，做到信息要素全面、層級(jí)關(guān)系清晰、命名唯一可識(shí)別。

其次，推行垂直細(xì)分類存儲(chǔ)機(jī)制，將所有點(diǎn)位按照功能模塊、應(yīng)用場(chǎng)景進(jìn)行多層級(jí)、細(xì)粒度的分類管理，如火氣監(jiān)測(cè)、工藝流程、關(guān)鍵設(shè)備、報(bào)警系統(tǒng)、透平發(fā)電、全名為數(shù)據(jù)采集與監(jiān)視控制（SCADA）系統(tǒng)等，從而提升檢索效率和應(yīng)用靈活性。

再次，強(qiáng)化元數(shù)據(jù)與業(yè)務(wù)數(shù)據(jù)融合管理，不僅管理點(diǎn)位的靜態(tài)屬性，還須覆蓋報(bào)警閾值、狀態(tài)規(guī)則、采集頻率、數(shù)據(jù)重要度等動(dòng)態(tài)業(yè)務(wù)屬性，使點(diǎn)位數(shù)據(jù)具備更強(qiáng)的業(yè)務(wù)支持能力。

最后，配合接口超市建設(shè)，確保所有點(diǎn)位數(shù)據(jù)通過標(biāo)準(zhǔn)接口統(tǒng)一發(fā)布，實(shí)現(xiàn)數(shù)據(jù)內(nèi)容透明化[8、接口調(diào)用標(biāo)準(zhǔn)化，提升數(shù)據(jù)開放利用的便捷性和安全性。

通過上述標(biāo)準(zhǔn)化設(shè)計(jì)，可以確保點(diǎn)位數(shù)據(jù)從建模、采集、存儲(chǔ)、發(fā)布到應(yīng)用全過程具備統(tǒng)一、規(guī)范、透明的特點(diǎn)，為后續(xù)系統(tǒng)建設(shè)、數(shù)據(jù)分析、智能應(yīng)用提供堅(jiān)實(shí)的數(shù)據(jù)基礎(chǔ)支撐。同時(shí)，通過標(biāo)準(zhǔn)體系的不斷迭代優(yōu)化，也能夠持續(xù)支撐業(yè)務(wù)擴(kuò)展與工業(yè)互聯(lián)網(wǎng)應(yīng)用環(huán)境下日益增長(zhǎng)的多樣化數(shù)據(jù)管理需求。

2.“點(diǎn)位倉(cāng)庫(kù)”建設(shè)方案

在工業(yè)互聯(lián)網(wǎng)及智能化油氣生產(chǎn)體系快速發(fā)展的背景下，為有效應(yīng)對(duì)現(xiàn)場(chǎng)數(shù)據(jù)高頻采集、異構(gòu)類型、多系統(tǒng)協(xié)同應(yīng)用等復(fù)雜場(chǎng)景需求，“點(diǎn)位倉(cāng)庫(kù)”采用了“國(guó)產(chǎn)化實(shí)時(shí)數(shù)據(jù)庫(kù) ^°+ 國(guó)產(chǎn)化業(yè)務(wù)數(shù)據(jù)庫(kù)”的雙庫(kù)協(xié)同建設(shè)模式。其中，國(guó)產(chǎn)化實(shí)時(shí)數(shù)據(jù)庫(kù)（如SUPCONiSYS）主要負(fù)責(zé)承載現(xiàn)場(chǎng)各類生產(chǎn)實(shí)時(shí)數(shù)據(jù)，包括溫度、壓力、流量、電參量等來(lái)自傳感器與設(shè)備的高頻采集數(shù)據(jù)，具備高速寫入、毫秒級(jí)查詢、壓縮存儲(chǔ)和實(shí)時(shí)推送等特性，適用于各類工藝過程的動(dòng)態(tài)監(jiān)測(cè)、報(bào)警聯(lián)動(dòng)及曲線分析。而國(guó)產(chǎn)化業(yè)務(wù)數(shù)據(jù)庫(kù)（如KingbaseES）則用于存儲(chǔ)點(diǎn)位的主數(shù)據(jù)、元數(shù)據(jù)及業(yè)務(wù)邏輯信息，如點(diǎn)位名稱、編號(hào)、單位、分類、報(bào)警上下限、采集周期等，支持復(fù)雜結(jié)構(gòu)建模、關(guān)系查詢、事務(wù)一致性管理，便于支撐信息系統(tǒng)的配置管理、數(shù)據(jù)權(quán)限控制與邏輯判斷等高層業(yè)務(wù)需求[10]。雙庫(kù)通過統(tǒng)一的點(diǎn)位ID建立數(shù)據(jù)關(guān)聯(lián)，并構(gòu)建聯(lián)動(dòng)機(jī)制，實(shí)現(xiàn)點(diǎn)位元數(shù)據(jù)變更與實(shí)時(shí)采集策略的同步更新，確保數(shù)據(jù)一致性與響應(yīng)敏捷性。對(duì)外則通過接口服務(wù)平臺(tái)進(jìn)行統(tǒng)一封裝，將兩類數(shù)據(jù)通過標(biāo)準(zhǔn)化接口進(jìn)行集中發(fā)布，支持多系統(tǒng)調(diào)用和自助訂閱。

3.“點(diǎn)位倉(cāng)庫(kù)”系統(tǒng)整體架構(gòu)

“點(diǎn)位倉(cāng)庫(kù)”系統(tǒng)整體架構(gòu)如圖1所示。

如圖1所示，“點(diǎn)位倉(cāng)庫(kù)”整體架構(gòu)采用“數(shù)據(jù)層一數(shù)據(jù)接口層一應(yīng)用層”的三級(jí)分層設(shè)計(jì)理念，構(gòu)建了以微服務(wù)平臺(tái)為核心的數(shù)據(jù)服務(wù)中樞，實(shí)現(xiàn)了數(shù)據(jù)的集中管理、靈活調(diào)用和高效服務(wù)支撐。

底層為數(shù)據(jù)層，整合了多個(gè)數(shù)據(jù)資源中心，涵蓋點(diǎn)位基礎(chǔ)數(shù)據(jù)信息、點(diǎn)位歷史數(shù)據(jù)信息、點(diǎn)位實(shí)時(shí)數(shù)據(jù)信息、生產(chǎn)類業(yè)務(wù)數(shù)據(jù)和安全類業(yè)務(wù)數(shù)據(jù)，為上層應(yīng)用提供多源異構(gòu)的統(tǒng)一數(shù)據(jù)支撐。

中間層為數(shù)據(jù)接口層，基于SpringBoot框架構(gòu)建微服務(wù)架構(gòu)體系，集成JVM、AOP、DI、JDBC、REST、ORM等組件，具備良好的模塊化和擴(kuò)展能力，并結(jié)合Docker容器技術(shù)，實(shí)現(xiàn)服務(wù)部署的彈性管理和可移植性。在微服務(wù)框架基礎(chǔ)上，系統(tǒng)通過服務(wù)注冊(cè)、網(wǎng)關(guān)路由、認(rèn)證鑒權(quán)、服務(wù)發(fā)布、服務(wù)監(jiān)控、負(fù)載均衡、日志記錄等機(jī)制，保障各項(xiàng)接口服務(wù)的可靠性與安全性。同時(shí)，接口層還構(gòu)建了完善的接口生命周期管理體系，包括從接口分類到接口生成的各項(xiàng)模塊。

上層為應(yīng)用用戶層，涵蓋多個(gè)核心業(yè)務(wù)系統(tǒng)，包括指揮中心、安全風(fēng)險(xiǎn)預(yù)警平臺(tái)、操控中心、生產(chǎn)應(yīng)用平臺(tái)、數(shù)字孿生應(yīng)用、人工智能應(yīng)用和其他業(yè)務(wù)應(yīng)用。各業(yè)務(wù)系統(tǒng)可通過微服務(wù)平臺(tái)提供的RESTfulAPI和JSON格式數(shù)據(jù)進(jìn)行靈活接入與調(diào)用，實(shí)現(xiàn)統(tǒng)一數(shù)據(jù)視圖和統(tǒng)一服務(wù)輸出。

4．“點(diǎn)位倉(cāng)庫(kù)”系統(tǒng)的實(shí)現(xiàn)

在“點(diǎn)位倉(cāng)庫(kù)”系統(tǒng)上線前后，為全面驗(yàn)證其在實(shí)際生產(chǎn)環(huán)境下的性能表現(xiàn)、數(shù)據(jù)支持能力和業(yè)務(wù)適配性，筆者開展了一系列系統(tǒng)測(cè)試工作，涵蓋數(shù)據(jù)接入效率、存儲(chǔ)穩(wěn)定性、接口響應(yīng)性

應(yīng)用層 指揮中心 安全風(fēng)險(xiǎn) 預(yù)警平臺(tái) 操控中心 生產(chǎn)應(yīng)用 平臺(tái) 數(shù)宇孿生 應(yīng)用 人工智能 應(yīng)用 其他業(yè)務(wù) 應(yīng)用----- 接口分類 接口鑒權(quán) 接口申請(qǐng) 接口調(diào)用 數(shù)據(jù)項(xiàng)總覽 數(shù)據(jù)項(xiàng)定制 接口生成HTML 數(shù)據(jù)集成 日志記錄

數(shù)據(jù)接口層 組件庫(kù) JavaScript 數(shù)據(jù)連 接管理 數(shù)據(jù)發(fā)布 1 數(shù)據(jù) JSON微服務(wù) C5S 數(shù)據(jù)鏈接管理 RESTful API平臺(tái) EEEEEEES5858服務(wù)注冊(cè) 網(wǎng)關(guān)路由 認(rèn)證鑒權(quán) 服務(wù)發(fā)布 服務(wù)監(jiān)控 負(fù)載均衡 日志記錄AOP DI JDBC REST ORM 1=SpringBoot JVM容器管理 Docker 國(guó) 國(guó) 國(guó) 國(guó) √二

數(shù)據(jù) 點(diǎn)位基礎(chǔ)數(shù)據(jù)信息 點(diǎn)位歷史數(shù)據(jù)信息 點(diǎn)位實(shí)時(shí)數(shù)據(jù)信息 生產(chǎn)類業(yè)務(wù)數(shù)據(jù) 安全類業(yè)務(wù)數(shù)據(jù)

層

能、并發(fā)訪問能力、數(shù)據(jù)一致性保障等關(guān)鍵指標(biāo)。測(cè)試環(huán)境模擬真實(shí)油氣生產(chǎn)現(xiàn)場(chǎng)，接入包括壓力、溫度、流量、電參量等典型點(diǎn)位共計(jì)25000個(gè)，采集周期最小為1秒，測(cè)試周期持續(xù)30天，全面覆蓋了系統(tǒng)高峰負(fù)載與穩(wěn)定運(yùn)行階段，測(cè)試維度及結(jié)果如表1所示。

表1測(cè)試結(jié)果表明，“點(diǎn)位倉(cāng)庫(kù)”系統(tǒng)在多個(gè)關(guān)鍵性能指標(biāo)上均表現(xiàn)優(yōu)異，充分驗(yàn)證了其在復(fù)雜工業(yè)場(chǎng)景下的實(shí)用性與穩(wěn)定性。在實(shí)時(shí)數(shù)據(jù)接入能力方面，系統(tǒng)在接入25000個(gè)點(diǎn)位、1秒采集周期的高并發(fā)條件下，平均寫入延遲控制在35毫秒以內(nèi)，接入數(shù)據(jù)零丟包，顯示出良好的高頻采集能力。在業(yè)務(wù)數(shù)據(jù)同步效率方面，點(diǎn)位屬性和報(bào)警規(guī)則等元數(shù)據(jù)更新后可在1.2秒內(nèi)完成同步，保障了實(shí)時(shí)數(shù)據(jù)與業(yè)務(wù)邏輯之間的一致性。接口調(diào)用響應(yīng)性能測(cè)試中，在模擬10個(gè)業(yè)務(wù)系統(tǒng)同時(shí)調(diào)用、峰值達(dá)到1500QPS的壓力下，系統(tǒng)接口平均響應(yīng)時(shí)間保持在100毫秒以內(nèi)，接口可用性超過99.99% ，滿足高并發(fā)訪問需求。

同時(shí)，系統(tǒng)在數(shù)據(jù)一致性與容錯(cuò)能力方面表現(xiàn)優(yōu)異，在斷連、異常、恢復(fù)測(cè)試中實(shí)現(xiàn)了 99.98% 的數(shù)據(jù)一致性，歷史數(shù)據(jù)完整可追溯。在用戶自定義接口構(gòu)建能力方面，業(yè)務(wù)系統(tǒng)使用接口生成模塊進(jìn)行字段定制與組合接口開發(fā)，接口生成成功率為 100% ，接口上線周期由原來(lái)的2周縮短至1天。在系統(tǒng)資源利用與可擴(kuò)展性方面，通過監(jiān)測(cè)測(cè)試全過程中的系統(tǒng)資源占用情況得知，系統(tǒng)平均資源利用率約 65% ，無(wú)性能瓶頸。

此外，在歷史數(shù)據(jù)查詢與調(diào)用能力方面，系統(tǒng)支持多時(shí)間尺度的歷史數(shù)據(jù)快速查詢（如日、周、月），日級(jí)數(shù)據(jù)響應(yīng)時(shí)間在1秒以內(nèi)，支持高效歷史曲線加載，能夠滿足趨勢(shì)分析和運(yùn)維回溯等多樣化應(yīng)用需求。在異常處理與審計(jì)能力方面，筆者模擬非法變更、斷電、配置沖突等異常觸發(fā)場(chǎng)景，系統(tǒng)具備詳細(xì)日志記錄、權(quán)限溯源、版本快照機(jī)制。

結(jié)語(yǔ)

本文圍繞“點(diǎn)位倉(cāng)庫(kù)”建設(shè)展開，系統(tǒng)提出并實(shí)踐了基于國(guó)產(chǎn)實(shí)時(shí)數(shù)據(jù)庫(kù)與業(yè)務(wù)數(shù)據(jù)庫(kù)的“雙庫(kù)協(xié)同”模式，構(gòu)建了具備實(shí)時(shí)性強(qiáng)、結(jié)構(gòu)清晰、接口規(guī)范、擴(kuò)展靈活等特征的中心化數(shù)據(jù)管理體系。該研究不僅為多系統(tǒng)、多場(chǎng)景的數(shù)據(jù)融合應(yīng)用提供了強(qiáng)有力的支撐，具有良好的推廣價(jià)值和現(xiàn)實(shí)意義。

參考文獻(xiàn)：

[1]郭家鼎，王鵬.基于數(shù)據(jù)倉(cāng)庫(kù)的典型圖查詢處理技術(shù)[J].計(jì)算機(jī)工程，2023，49（9）：32-42.

[2]李雪.維數(shù)據(jù)倉(cāng)庫(kù)建模技術(shù)及其在數(shù)據(jù)建模中的應(yīng)用[J].工業(yè)A，2023，1（4）：4-10.

[3]仇巍巍，齊書花，高宇.測(cè)繪地理信息統(tǒng)計(jì)準(zhǔn)實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)的設(shè)計(jì)及應(yīng)用[J].科技管理研究，2023，43（20）：232-238.

[4]孫洪亮.基于人工智能的智能可視化倉(cāng)庫(kù)及智能倉(cāng)庫(kù)技術(shù)研究].工程技術(shù)，2024，1（3）：101-111.

[5]張峰，閻朝東，王春燕.數(shù)據(jù)湖與數(shù)據(jù)倉(cāng)庫(kù)融合的策略與實(shí)踐[J].計(jì)算機(jī)應(yīng)用文摘，2024，40（14）：159-161.

[6]羅世剛，梁琛，李亞昕.基于PI實(shí)時(shí)數(shù)據(jù)庫(kù)的低壓配電網(wǎng)降損輔助決策方法[J].科學(xué)技術(shù)與工程，2023，23（28）：12122-12127.

[7]徐堯強(qiáng)，舒喬曄，周瑾.面向異常檢測(cè)的時(shí)序數(shù)據(jù)庫(kù)的查詢執(zhí)行方法[J].華東師范大學(xué)學(xué)報(bào)：自然科學(xué)版，2023，1（2）：13-19.

[8]鮑先強(qiáng)，商承亞，石國(guó)良.電磁能系統(tǒng)智能運(yùn)維實(shí)時(shí)數(shù)據(jù)處理關(guān)鍵技術(shù)及應(yīng)用[J].海軍工程大學(xué)學(xué)報(bào)，2024，36（4）：28-35.

[9]楊毅，熊鷹.基于云計(jì)算平臺(tái)的多數(shù)據(jù)庫(kù)并行調(diào)度算法仿真[J].計(jì)算機(jī)仿真，2023，40（6）：459-462.

[10]李群，鄧先永，吳海莉.實(shí)時(shí)數(shù)據(jù)庫(kù)數(shù)據(jù)的批量寫入及性能測(cè)試研究[I].軟件，2024，45（1）：75-78.

作者簡(jiǎn)介：謝雅倫，本科，工程師，826659223@qq.com，研究方向：信息系統(tǒng)開發(fā)。