管道完整性云服務(wù)平臺(tái)分布式實(shí)時(shí)數(shù)據(jù)采集計(jì)算系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

毛愛(ài)芹 趙淑媛 劉偉

摘? 要： 本文對(duì)基于管道完整性云服務(wù)平臺(tái)分布式實(shí)時(shí)數(shù)據(jù)采集計(jì)算系統(tǒng)的設(shè)計(jì)方案、技術(shù)選型、關(guān)鍵技術(shù)等做了詳細(xì)的研究，最終實(shí)現(xiàn)了基于ApacheZookeeper、ApacheKafka、ApacheStorm以及Redis的實(shí)時(shí)數(shù)據(jù)采集系統(tǒng)，解決了管道完整性云服務(wù)平臺(tái)在面對(duì)海量數(shù)據(jù)并發(fā)以及復(fù)雜業(yè)務(wù)計(jì)算等場(chǎng)景下的吞吐量瓶頸，為基于大數(shù)據(jù)的管道完整性業(yè)務(wù)的深度數(shù)據(jù)挖掘、離線(xiàn)/在線(xiàn)數(shù)據(jù)分析提供了可靠的數(shù)據(jù)處理框架。

關(guān)鍵詞：管道完整性 云服務(wù)平臺(tái) 實(shí)時(shí)數(shù)據(jù) Zookeeper Kafka Storm Redis

【中圖分類(lèi)號(hào)】TP? ? ? ?【文獻(xiàn)標(biāo)識(shí)碼】A

1 引言

管道完整性管理是一個(gè)系統(tǒng)的、綜合性的管理體系，是通過(guò)一定技術(shù)和管理體系對(duì)可能存在的對(duì)管道安全造成影響的危險(xiǎn)點(diǎn)進(jìn)行識(shí)別、預(yù)防及改進(jìn)，從而避免事故的發(fā)生，始終保持管道在整個(gè)生命周期內(nèi)處于完整、安全、良好的狀態(tài)[2]。

云GIS，是指以云計(jì)算為架構(gòu)的網(wǎng)絡(luò)化、虛擬化、分布式、按需獲取的地理信息系統(tǒng)。實(shí)質(zhì)是將GIS的平臺(tái)、軟件和數(shù)據(jù)方便、快捷、高效地部署到云基礎(chǔ)設(shè)施之上，能夠以彈性的、按需獲取的方式提供最廣泛的WebGIS服務(wù)。云GIS連接智能移動(dòng)終端，用戶(hù)可在任意位置獲取超大規(guī)模的GIS功能。云GIS將并行計(jì)算與GIS結(jié)合，引入并行數(shù)據(jù)庫(kù)，組成集群系統(tǒng)，利用并行存儲(chǔ)、查詢(xún)、檢索，處理等技術(shù)，有效提升傳統(tǒng)GIS對(duì)海量空間數(shù)據(jù)的高效存儲(chǔ)與處理。專(zhuān)業(yè)級(jí)云GIS平臺(tái)建設(shè)內(nèi)容包含硬件支撐環(huán)境搭建、系列標(biāo)準(zhǔn)建設(shè)、云資源池建設(shè)、數(shù)據(jù)服務(wù)體系建設(shè)、系列軟件研發(fā)、應(yīng)用系統(tǒng)建設(shè)[1]。

由于管道完整性管理的海量數(shù)據(jù)及空間可視化的需求，地理信息系統(tǒng)技術(shù)在管道完整性管理中的作用越來(lái)越大[4]。將云GIS引入管道完整性管理中，利用云服務(wù)高并發(fā)、分布式計(jì)算、分布式存儲(chǔ)等特點(diǎn)實(shí)現(xiàn)對(duì)海量業(yè)務(wù)數(shù)據(jù)的高效處理，以此為基礎(chǔ)實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的深度挖掘，獲取管道完整性管理中重要的數(shù)據(jù)和指標(biāo)，使得在管道生命周期內(nèi)每時(shí)每刻產(chǎn)生的業(yè)務(wù)數(shù)據(jù)能夠真正為決策者提供有價(jià)值的情報(bào)。

2 關(guān)鍵技術(shù)

管道完整性云服務(wù)平臺(tái)的分布式實(shí)時(shí)數(shù)據(jù)采集平臺(tái)旨在解決海量的高并發(fā)數(shù)據(jù)流，實(shí)現(xiàn)低延遲響應(yīng)處理，保證數(shù)據(jù)流的強(qiáng)時(shí)序性，實(shí)現(xiàn)復(fù)雜空間計(jì)算，并且分布式系統(tǒng)需要與集中式系統(tǒng)完全不同的系統(tǒng)架構(gòu)。因網(wǎng)絡(luò)會(huì)損失信息，所以需要軟件進(jìn)行恢復(fù)。當(dāng)網(wǎng)絡(luò)出現(xiàn)過(guò)載時(shí)，也必須容錯(cuò)恢復(fù)[5]。

2.1 高吞吐量消息引擎

管道完整性云服務(wù)平臺(tái)面向長(zhǎng)輸管道完整性管理的各個(gè)環(huán)節(jié)，包括：管道巡檢、管道應(yīng)急、施工期管理、移動(dòng)辦公等多個(gè)領(lǐng)域，各個(gè)業(yè)務(wù)板塊產(chǎn)生大量的實(shí)時(shí)數(shù)據(jù)，因此如何響應(yīng)并處理這些海量數(shù)據(jù)成為云服務(wù)平臺(tái)急需解決的問(wèn)題。

Apache Kafka是一個(gè)開(kāi)源消息系統(tǒng)項(xiàng)目，由Scala寫(xiě)成。該項(xiàng)目的目標(biāo)是為處理實(shí)時(shí)數(shù)據(jù)提供一個(gè)統(tǒng)一、高通量、低等待的平臺(tái)。它通過(guò)一種獨(dú)一無(wú)二的設(shè)計(jì)提供了一個(gè)消息系統(tǒng)的功能， 解決了大規(guī)模分布式應(yīng)用中數(shù)據(jù)傳遞的高效與穩(wěn)定的問(wèn)題，解決了從集中式向分布式采集架構(gòu)過(guò)渡的難題[6]。

2.2 分布式流數(shù)據(jù)計(jì)算

地理空間數(shù)據(jù)的處理結(jié)果需要及時(shí)反饋給用戶(hù)，例如對(duì)每次移動(dòng)智能終端上傳的巡檢點(diǎn)數(shù)據(jù)，系統(tǒng)需要及時(shí)計(jì)算其與管道的距離，當(dāng)超過(guò)某一閾值時(shí)，移動(dòng)終端將及時(shí)收到服務(wù)器端的警報(bào)信息。面對(duì)海量的數(shù)據(jù)計(jì)算需求，傳統(tǒng)的單一服務(wù)器、單一計(jì)算節(jié)點(diǎn)的方式無(wú)法保證計(jì)算的低延時(shí)及強(qiáng)時(shí)序性，因此如何實(shí)現(xiàn)實(shí)時(shí)地理數(shù)據(jù)的預(yù)處理成為云服務(wù)平臺(tái)的重要問(wèn)題。批量計(jì)算和流式計(jì)算適用于不同的場(chǎng)景，對(duì)于數(shù)據(jù)實(shí)時(shí)性要求不高，且數(shù)據(jù)越多，計(jì)算結(jié)果越準(zhǔn)確的場(chǎng)合批量計(jì)算更合適，但對(duì)于實(shí)時(shí)性要求高，只需對(duì)最近部分進(jìn)行處理分析的場(chǎng)合，流式計(jì)算有著明顯優(yōu)勢(shì)[7]。

Storm是一個(gè)分布式的，可靠的，容錯(cuò)的數(shù)據(jù)流處理框架。Storm集群的輸入流由一個(gè)被稱(chēng)作spout的組件管理，spout把數(shù)據(jù)傳遞給bolt， bolt要么把數(shù)據(jù)保存到某種存儲(chǔ)器，要么把數(shù)據(jù)傳遞給其它的bolt。一個(gè)Storm集群就是在一連串的bolt之間轉(zhuǎn)換spout傳過(guò)來(lái)的數(shù)據(jù)。

2.3 分布式數(shù)據(jù)緩存

經(jīng)過(guò)流式計(jì)算框架處理的地理空間數(shù)據(jù)可以持久化到各種物理存儲(chǔ)單元中，比如傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)（Oracle、Sql Server等）以及NoSql數(shù)據(jù)庫(kù)（MongoDB、Apache Hbase等），但是由于云服務(wù)平臺(tái)的海量數(shù)據(jù)并發(fā)造成對(duì)其的預(yù)處理結(jié)果也具有高并發(fā)的特點(diǎn)，因此對(duì)其的持久化操作不應(yīng)該直接訪問(wèn)數(shù)據(jù)庫(kù)造成大量的IO讀寫(xiě)開(kāi)銷(xiāo)。針對(duì)這一問(wèn)題，需要設(shè)計(jì)一個(gè)分布式基于內(nèi)存的數(shù)據(jù)緩存框架。Key-Value存儲(chǔ)以其高擴(kuò)展性和強(qiáng)一致性在如今熱門(mén)的大數(shù)據(jù)時(shí)代中扮演著重要角色。而實(shí)現(xiàn)其擴(kuò)展性重要的關(guān)鍵技術(shù)在于數(shù)據(jù)遷移機(jī)制的完善，數(shù)據(jù)遷移機(jī)制同時(shí)直接影響集群節(jié)點(diǎn)的負(fù)載均衡。

3 分布式實(shí)時(shí)數(shù)據(jù)采集平臺(tái)設(shè)計(jì)

圖1所示，分布式實(shí)時(shí)數(shù)據(jù)采集平臺(tái)由客戶(hù)端、服務(wù)協(xié)調(diào)組件集群、消息隊(duì)列集群、流計(jì)算集群、消息緩存集群和數(shù)據(jù)庫(kù)集群6個(gè)部分組成。

3.1 客戶(hù)端

客戶(hù)端作為業(yè)務(wù)數(shù)據(jù)的生產(chǎn)者主要由手持端設(shè)備和web系統(tǒng)組成，其產(chǎn)生的實(shí)時(shí)位置數(shù)據(jù)、報(bào)警數(shù)據(jù)、SCADA監(jiān)控?cái)?shù)據(jù)通過(guò)網(wǎng)絡(luò)傳輸至分布式數(shù)據(jù)平臺(tái)，在傳輸過(guò)程中，使用數(shù)字簽名等技術(shù)對(duì)傳輸內(nèi)容進(jìn)行加密，保證傳輸安全。

3.2 服務(wù)協(xié)調(diào)組件

由于分布式數(shù)據(jù)采集平臺(tái)由多臺(tái)服務(wù)器組成，為保證各服務(wù)節(jié)點(diǎn)之前的高可用（HA），平臺(tái)采用Zookeeper作為分布式協(xié)調(diào)組件，記錄各服務(wù)節(jié)點(diǎn)的元數(shù)據(jù)，實(shí)現(xiàn)服務(wù)節(jié)點(diǎn)間的心跳檢測(cè)，確保整個(gè)平臺(tái)在生產(chǎn)環(huán)境下的健壯性，防止由于網(wǎng)絡(luò)抖動(dòng)、服務(wù)器宕機(jī)造成平臺(tái)無(wú)法正常對(duì)外提供服務(wù)。

3.3 消息隊(duì)列集群

消息隊(duì)列集群負(fù)責(zé)接收客戶(hù)端產(chǎn)生的多種業(yè)務(wù)數(shù)據(jù)，平臺(tái)采用Apache Kafka作為消息總線(xiàn)，Kafka是一個(gè)吞吐量極高的分布式消息系統(tǒng)，其整體設(shè)計(jì)是典型的發(fā)布與訂閱模式系統(tǒng)。由于kafka的高吞吐量，可以確保來(lái)自客戶(hù)端的每條數(shù)據(jù)被正確處理。由于業(yè)務(wù)數(shù)據(jù)的多樣化，平臺(tái)針對(duì)不同種類(lèi)的業(yè)務(wù)數(shù)據(jù)建立不同的topic分類(lèi)，并采用自定義分區(qū)策略（時(shí)間熱度分區(qū)算法、哈希散列值分區(qū)等）將數(shù)據(jù)寫(xiě)入topic的不同partition中，同時(shí)為保證數(shù)據(jù)的安全性對(duì)每一個(gè)topic的partition建立多個(gè)副本，存儲(chǔ)結(jié)構(gòu)如下圖所示：

3.4 流計(jì)算集群

實(shí)時(shí)流計(jì)算主要應(yīng)用于兩個(gè)場(chǎng)景：持續(xù)計(jì)算，一旦任務(wù)啟動(dòng)除非人為終止否則會(huì)一直處理到達(dá)數(shù)據(jù);支持分布式計(jì)算，對(duì)大數(shù)據(jù)采用并行計(jì)算以降低單個(gè)處理器任務(wù)量[9]。由客戶(hù)端寫(xiě)入kafka的業(yè)務(wù)數(shù)據(jù)，需要被實(shí)時(shí)高效、低延遲地處理并及時(shí)反饋給客戶(hù)端，為滿(mǎn)足這一要求，平臺(tái)采用Apache Strom作為流式計(jì)算服務(wù)，以管道完整性云服務(wù)平臺(tái)的智能管道巡檢系統(tǒng)為例，Strom對(duì)不同巡檢人員上傳的巡檢點(diǎn)位置數(shù)據(jù)進(jìn)行快速處理，計(jì)算其超時(shí)/超速/超距等報(bào)警信息，其處理流程如下圖所示：

1）KafkaSpout作為消費(fèi)者訂閱Kafka Topic，從Broker的partition中拉取消息。

2）GlobeBolt對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理，并采用Shuffle Grouping作為數(shù)據(jù)分組策略，以保證Strom的并發(fā)處理效率，消除數(shù)據(jù)傾斜。

3）預(yù)處理后的數(shù)據(jù)同時(shí)發(fā)射至SocketBolt和GroupCalcuateBolt進(jìn)行處理，SocketBolt負(fù)責(zé)將處理后的數(shù)據(jù)推送至Socket服務(wù)器保證客戶(hù)端隨時(shí)可以接收到實(shí)時(shí)數(shù)據(jù)，GroupCalcuateBolt負(fù)責(zé)對(duì)數(shù)據(jù)進(jìn)行分組和業(yè)務(wù)計(jì)算，計(jì)算結(jié)果同樣推至至Socket服務(wù)器，該節(jié)點(diǎn)采用FieldsGrouping策略，以保證具有相同key值的數(shù)據(jù)總是被同一bolt實(shí)例處理，實(shí)現(xiàn)數(shù)據(jù)的連續(xù)處理。

4）RedisBolt工作節(jié)點(diǎn)負(fù)責(zé)將GroupCalcuateBolt的計(jì)算結(jié)果寫(xiě)入Redis緩存，并在時(shí)間窗口內(nèi)將結(jié)果進(jìn)行持久化操作。

3.5 消息緩存集群

由于Strom時(shí)刻都在處理業(yè)務(wù)數(shù)據(jù)，因此采用直接將計(jì)算結(jié)果做持久化處理將造成大量的數(shù)據(jù)庫(kù)IO操作，增加服務(wù)器開(kāi)銷(xiāo)，因此平臺(tái)將計(jì)算結(jié)果以鍵值對(duì)的形式寫(xiě)入Redis內(nèi)存數(shù)據(jù)庫(kù)，再使用定時(shí)器任務(wù)批量將Strom計(jì)算結(jié)果寫(xiě)入MongoDB物理數(shù)據(jù)庫(kù)。在高負(fù)載的情況下，添加更多的節(jié)點(diǎn)，可以保證服務(wù)器性能。MongoDB旨在為Web應(yīng)用提供可擴(kuò)展的高性能數(shù)據(jù)存儲(chǔ)解決方案[10]。

為保證Redis的高可用性，需要在發(fā)生主節(jié)點(diǎn)服務(wù)器故障時(shí)能夠迅速做到主從切換，將slave節(jié)點(diǎn)的角色變更為master，因此在集群主節(jié)點(diǎn)所在的服務(wù)器中開(kāi)啟Redis哨兵進(jìn)程，以監(jiān)控主節(jié)點(diǎn)狀態(tài)。

4 系統(tǒng)在管道完整性云服務(wù)平臺(tái)中的應(yīng)用

基于Kafka/Storm的分布式實(shí)時(shí)數(shù)據(jù)采集計(jì)算系統(tǒng)實(shí)現(xiàn)了巡檢軌跡數(shù)據(jù)采集、巡檢三超報(bào)警（超速、超時(shí)、超距）計(jì)算、SCADA監(jiān)控?cái)?shù)據(jù)采集以及系統(tǒng)日志采集等功能，實(shí)現(xiàn)了海量業(yè)務(wù)數(shù)據(jù)的并發(fā)請(qǐng)求處理，結(jié)合ACK技術(shù)，保證了每一條業(yè)務(wù)數(shù)據(jù)在數(shù)據(jù)流中能夠被正確及時(shí)地處理，由于系統(tǒng)實(shí)時(shí)地將熱點(diǎn)數(shù)據(jù)存入Redis數(shù)據(jù)庫(kù)，用戶(hù)對(duì)熱點(diǎn)數(shù)據(jù)的請(qǐng)求經(jīng)過(guò)Web容器的攔截全部發(fā)往Redis，命中后返回給客戶(hù)端，極大地提升了請(qǐng)求響應(yīng)地速度。熱點(diǎn)數(shù)據(jù)過(guò)期后自動(dòng)持久化到MongoDB數(shù)據(jù)庫(kù)，為進(jìn)一步的離線(xiàn)分析生產(chǎn)基礎(chǔ)數(shù)據(jù)。

系統(tǒng)目前已經(jīng)計(jì)入全面測(cè)試階段，下一步將在各油氣儲(chǔ)運(yùn)單位推廣應(yīng)用。分布式實(shí)時(shí)數(shù)據(jù)采集計(jì)算系統(tǒng)將解決單線(xiàn)程阻塞式地處理方式造成的野外巡檢軌跡點(diǎn)上傳后不定時(shí)地丟失、SCADA監(jiān)測(cè)數(shù)據(jù)高頻率發(fā)送造成的web容器崩潰以及用戶(hù)關(guān)心的熱點(diǎn)數(shù)據(jù)由于數(shù)據(jù)量過(guò)大造成的前端頁(yè)面響應(yīng)時(shí)間長(zhǎng)等問(wèn)題，將極大的提升管道完整性云服務(wù)平臺(tái)的健壯性和數(shù)據(jù)吞吐量，發(fā)揮大數(shù)據(jù)技術(shù)在管道安全方面的巨大作用。

5 總結(jié)與展望

5.1 系統(tǒng)特點(diǎn)

1）采用RestfulAPI結(jié)合Apache Kafka消息總線(xiàn)技術(shù)實(shí)現(xiàn)對(duì)客戶(hù)端上傳的海量數(shù)據(jù)采集功能，保證了各業(yè)務(wù)數(shù)據(jù)的完整性，并通過(guò)設(shè)置kafka的相關(guān)配置實(shí)現(xiàn)了集群的高可用。

2）采用Apache Strom做為流式計(jì)算框架，使得原本高延遲的地理空間數(shù)據(jù)計(jì)算可以在極短的時(shí)間窗口內(nèi)完成，并且在計(jì)算工作節(jié)點(diǎn)中采用滑動(dòng)窗口算法，保證了數(shù)據(jù)完整性和準(zhǔn)確性。

3）系統(tǒng)采用Redis集群做為緩存解決方案，保證了內(nèi)存數(shù)據(jù)的可靠性，減少了Storm直接訪問(wèn)數(shù)據(jù)庫(kù)造成的額外網(wǎng)絡(luò)傳輸開(kāi)銷(xiāo)和內(nèi)存讀寫(xiě)消耗。

4）系統(tǒng)采用HBase做為海量實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)解決方案，基于HBase的列式存儲(chǔ)方案，極大的減少了IO操作，同時(shí)由于HBase是運(yùn)行在Hadoop上的分布式可擴(kuò)展的NoSql大數(shù)據(jù)倉(cāng)庫(kù)，因此為后期基于MapReduce的離線(xiàn)分析提供了便利的數(shù)據(jù)存儲(chǔ)方式。

5.2 展望

管道完整性云服務(wù)平臺(tái)分布式實(shí)時(shí)數(shù)據(jù)采集系統(tǒng)基于Apache Kafka、Strom、Redis等流行開(kāi)源技術(shù)實(shí)現(xiàn)了海量業(yè)務(wù)數(shù)據(jù)的收集、計(jì)算、存儲(chǔ)功能，該系統(tǒng)在長(zhǎng)輸管道、城市燃?xì)?、智慧城市等方面都具有廣泛的應(yīng)用前景。在下一步的工作中，將針對(duì)管道巡檢關(guān)鍵點(diǎn)到達(dá)判定、人員車(chē)輛實(shí)時(shí)位置結(jié)合地理圍欄技術(shù)的監(jiān)控等業(yè)務(wù)做進(jìn)一步的研究和開(kāi)發(fā)，同時(shí)對(duì)管道完整性的智能化進(jìn)行深入研究，為日常管道安全管理工作的開(kāi)展提供了完整、準(zhǔn)確、及時(shí)的技術(shù)和決策支持。

參考文獻(xiàn)：

[1] 陶旸，劉昱君.面向行業(yè)深度耦合的專(zhuān)業(yè)級(jí)云GIS服務(wù)平臺(tái)設(shè)計(jì)[J] .測(cè)繪與空間地理信息，2018：15-16.

[2] 帥義，帥健，馮燦.基于B/S架構(gòu)的管道完整性管理系統(tǒng)[J] .油氣儲(chǔ)運(yùn)，2017，36 （04） ：388.

[3] 王宇寧.基于Android的長(zhǎng)輸管道巡線(xiàn)系統(tǒng)的研發(fā)[D].西安：西安石油大學(xué)，2015：5-11.

[4] 徐杰，曾晟 劉亮等.基于APDM的管道完整性數(shù)據(jù)管理研究[J].天然氣與石油，2016，34（05）：76.

[5]陳天偉，彭凌西 基于ZooKeeper的一種分布式系統(tǒng)架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)[J].通信技術(shù)，2018，51 （01）：87-90.

[6] 金雙喜，李永 基于Kafka消息隊(duì)列的新一代分布式電量采集方法研究[J].電網(wǎng)分析與研究，2018，46 （02）：78.

[7] 周明陽(yáng) 閆超 郭良浩等基于Storm的分布式實(shí)時(shí)信號(hào)處理系統(tǒng)[J].計(jì)算機(jī)應(yīng)用，2017，37 （z1）：69.

[8]? 韋立，陳姍姍 基于Redis單位最大效益自適應(yīng)遷移策略研究[J].計(jì)算機(jī)技術(shù)與發(fā)展， 2018，28 （10） ：54-58.

[9]? 李一辰，李緒志，閻鎮(zhèn) 實(shí)時(shí)流計(jì)算在航天地面數(shù)據(jù)處理系統(tǒng)中的應(yīng)用[J].微電子學(xué)與計(jì)算機(jī)， 2014，31（09） ：15-19.

[10]? 戴傳飛，馬明棟 MongoDB分頁(yè)技術(shù)優(yōu)化研究[J].計(jì)算機(jī)技術(shù)與發(fā)展，2018，28 （06） ：98-101.

[11]孫大為，張廣艷，鄭緯民 大數(shù)據(jù)流式計(jì)算： 關(guān)鍵技術(shù)及系統(tǒng)實(shí)例[J].軟件學(xué)報(bào)，2014，25（ 4） ： 839-862.

補(bǔ)充說(shuō)明：本文沒(méi)有基金項(xiàng)目資助。

作者簡(jiǎn)介：毛愛(ài)芹（1983 — ），女，安徽省淮北市，高級(jí)工程師，碩士學(xué)歷（2008年畢業(yè)于中國(guó)礦業(yè)大學(xué) 地圖制圖學(xué)與地理信息工程專(zhuān)業(yè)）。主要從事地理信息系統(tǒng)建設(shè)、測(cè)繪、管道完整性管理應(yīng)用等工作。

地址：陜西省西安市長(zhǎng)安區(qū) 韋曲街道 神舟四路216號(hào)中煤航測(cè)遙感集團(tuán) 郵編：710199

電話(huà)：029-89692117? 15802980764

E-Mail：94209732@qq.com

創(chuàng)新點(diǎn)名稱(chēng)：管道完整性云服務(wù)平臺(tái)分布式實(shí)時(shí)數(shù)據(jù)采集計(jì)算系統(tǒng)

創(chuàng)新點(diǎn)內(nèi)容：基于分布式系統(tǒng)架構(gòu)，結(jié)合高效的消息隊(duì)列引擎和高吞吐量的流式數(shù)據(jù)計(jì)算引擎實(shí)現(xiàn)了地理實(shí)時(shí)數(shù)據(jù)的在線(xiàn)計(jì)算處理，處理結(jié)果使用Redis緩存集群，采用AppendOnly持久化方案，確保處理結(jié)果的完整性。系統(tǒng)能夠?qū)崿F(xiàn)各種實(shí)時(shí)數(shù)據(jù)（巡檢軌跡點(diǎn)、SCADA監(jiān)控?cái)?shù)據(jù)、人員/車(chē)輛/設(shè)備位置等）的收集，并結(jié)合完整性業(yè)務(wù)場(chǎng)景對(duì)海量數(shù)據(jù)進(jìn)行低延遲計(jì)算。該系統(tǒng)充分結(jié)合管道巡檢、管道應(yīng)急、數(shù)據(jù)監(jiān)控管理的需求，適合國(guó)內(nèi)管道完整性數(shù)據(jù)采集的推廣，有較強(qiáng)的應(yīng)用價(jià)值。