基于ETL工具的系泊監(jiān)測(cè)數(shù)據(jù)回傳方式

張 鵬

（中海油能源發(fā)展股份有限公司采油服務(wù)分公司 天津 300000）

引言

單點(diǎn)系泊是中國(guó)海上油田FPSO作業(yè)期間普遍采用的一種系泊方式，通過(guò)單點(diǎn)系泊裝置實(shí)現(xiàn)FPSO定位，井液輸送，電力、控制、通訊信號(hào)輸送。同時(shí)，F(xiàn)PSO在單點(diǎn)系泊裝置的牽引下，做風(fēng)向標(biāo)運(yùn)動(dòng)，使其在各種風(fēng)浪流作用下的應(yīng)力達(dá)到最小。[1]因此，單點(diǎn)系泊裝置成為保障FPSO連續(xù)安全作業(yè)的關(guān)鍵設(shè)備。

從近十幾年國(guó)內(nèi)應(yīng)用效果來(lái)看，圍繞單點(diǎn)系泊裝置引發(fā)的生產(chǎn)安全事故時(shí)有發(fā)生，單點(diǎn)液壓緊固件損壞導(dǎo)致單點(diǎn)艙透水的事故，系泊錨鏈斷裂導(dǎo)致生產(chǎn)立管損壞的事故，甚至發(fā)生過(guò)單點(diǎn)塔架倒塌導(dǎo)致FPSO解脫漂移的嚴(yán)重事故，造成重大經(jīng)濟(jì)損失和不良社會(huì)影響。海上油田作業(yè)者愈發(fā)認(rèn)識(shí)到對(duì)作業(yè)期間的單點(diǎn)系泊裝置進(jìn)行監(jiān)測(cè)、預(yù)警是十分必要的，陸續(xù)開(kāi)展對(duì)在役FPSO加裝系泊數(shù)據(jù)監(jiān)測(cè)系統(tǒng)的工作，同時(shí)要求新建FPSO建造期間同期安裝。[1,2]

最近幾年，中國(guó)海油旗下FPSO運(yùn)營(yíng)公司對(duì)標(biāo)國(guó)際，圍繞系泊技術(shù)開(kāi)展了一系列基礎(chǔ)工作，從錨鏈更換到滑環(huán)維修再到參與單點(diǎn)設(shè)計(jì)及滑環(huán)研制，逐步形成了系泊技術(shù)方面的經(jīng)驗(yàn)積累。從2017年，以公司系泊技術(shù)方面的工程技術(shù)人員為基礎(chǔ)開(kāi)始籌備組建國(guó)內(nèi)首家系泊技術(shù)實(shí)驗(yàn)室，長(zhǎng)期開(kāi)展FPSO系泊數(shù)據(jù)監(jiān)測(cè)、分析、診斷、評(píng)估工作成為實(shí)驗(yàn)室的核心業(yè)務(wù)之一。因此，能夠連續(xù)抓取分布于中國(guó)各個(gè)海域內(nèi)的FPSO系泊監(jiān)測(cè)數(shù)據(jù)，并實(shí)現(xiàn)數(shù)據(jù)轉(zhuǎn)換整合的數(shù)據(jù)回傳方式，是實(shí)驗(yàn)室前期建設(shè)的重要課題。

1 系泊數(shù)據(jù)監(jiān)測(cè)系統(tǒng)基本情況調(diào)查

目前，中國(guó)海上油田現(xiàn)役FPSO共計(jì)13艘，分布于渤海、南海，其中6艘已安裝功能較為完善的系泊數(shù)據(jù)監(jiān)測(cè)系統(tǒng)，5艘可以長(zhǎng)期提供穩(wěn)定、全面、可靠的數(shù)據(jù)源（表1）。

表1 部分在役FPSO系泊數(shù)據(jù)檢測(cè)系統(tǒng)安裝情況

1.1 系統(tǒng)功能及構(gòu)架

標(biāo)準(zhǔn)的系統(tǒng)監(jiān)測(cè)功能包括：系泊力、運(yùn)動(dòng)姿態(tài)、環(huán)境條件三大類。[2]通用數(shù)據(jù)采集范圍涉及17項(xiàng)參數(shù)（表2），有些FPSO會(huì)根據(jù)單點(diǎn)形式和海域環(huán)境特點(diǎn)設(shè)置個(gè)性化參數(shù)。數(shù)據(jù)采集頻率5HZ、1HZ。系統(tǒng)主要設(shè)備包括傳感器、數(shù)據(jù)采集器、上位機(jī)。上位機(jī)安裝監(jiān)測(cè)軟件和數(shù)據(jù)庫(kù)，實(shí)現(xiàn)監(jiān)測(cè)預(yù)警、中間過(guò)程計(jì)算、數(shù)據(jù)存儲(chǔ)。

表2 測(cè)量參數(shù)類型

1.2 對(duì)外通訊方式及質(zhì)量

截止2017年底，中國(guó)海域內(nèi)海上油田已實(shí)現(xiàn)微波網(wǎng)絡(luò)全面覆蓋，海陸聯(lián)接帶寬10-30MBps，平均延遲＜3mS。上述6艘FPSO的系泊數(shù)據(jù)監(jiān)測(cè)系統(tǒng)滿足接入海油專網(wǎng)的條件，可實(shí)現(xiàn)海陸數(shù)據(jù)聯(lián)通。南海部分系泊數(shù)據(jù)監(jiān)測(cè)系統(tǒng)還考慮到了躲避臺(tái)風(fēng)期間，人員撤離后，F(xiàn)PSO斷網(wǎng)斷電的特殊情況，這時(shí)監(jiān)測(cè)系統(tǒng)可以依靠專屬UPS供電繼續(xù)工作3-7天，期間可以通過(guò)海事衛(wèi)星與外部進(jìn)行通訊連接。

2 ETL技術(shù)原理

ETL（Extract-Transform-Load）是用來(lái)描述將數(shù)據(jù)從來(lái)源端經(jīng)過(guò)抽取、交互轉(zhuǎn)換、加載至目的端的過(guò)程。[3]這一概念來(lái)自于數(shù)據(jù)倉(cāng)庫(kù)，是構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的重要一環(huán)，用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過(guò)數(shù)據(jù)清洗，最終按照預(yù)先定義好的數(shù)據(jù)倉(cāng)庫(kù)模型，將數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)中去。伴隨著數(shù)據(jù)倉(cāng)庫(kù)，ETL技術(shù)已經(jīng)發(fā)展了近30年，從紛繁復(fù)雜逐步走向標(biāo)準(zhǔn)化，其技術(shù)日趨成熟。

2.1 ETL的實(shí)現(xiàn)方式

ETL的實(shí)現(xiàn)有多種方法，常用的有兩種。[4]一種是通過(guò)SQL編程方式實(shí)現(xiàn)。其優(yōu)點(diǎn)是靈活，可實(shí)現(xiàn)復(fù)雜的功能應(yīng)用，執(zhí)行過(guò)程高效，但是編碼復(fù)雜，技術(shù)要求高，后期維護(hù)過(guò)程有一定的難度，且不容易擴(kuò)展。另一種是借助ETL工具實(shí)現(xiàn)。ETL工具是數(shù)據(jù)庫(kù)廠商或第三方開(kāi)發(fā)的專業(yè)工具軟件，借助工具可以快速建立起ETL過(guò)程，屏蔽了復(fù)雜的編碼任務(wù)，提高了開(kāi)發(fā)效率，降低了技術(shù)難度，但是缺少一定的靈活性，不過(guò)這也是當(dāng)前大數(shù)據(jù)時(shí)代普遍采用的一種方式。

2.2 ETL工具架構(gòu)

ETL工具有兩種技術(shù)架構(gòu)，ETL架構(gòu)和ELT架構(gòu)，區(qū)別如下：[5]

2.2.1 ETL架構(gòu)

在ETL架構(gòu)中，數(shù)據(jù)的流向是從源數(shù)據(jù)流到ETL工具，ETL工具是一個(gè)單獨(dú)的數(shù)據(jù)處理引擎，一般會(huì)在單獨(dú)的硬件服務(wù)器上，實(shí)現(xiàn)所有數(shù)據(jù)轉(zhuǎn)化的工作，然后將數(shù)據(jù)加載到目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)中，如果要增加整個(gè)ETL過(guò)程的效率，則只能增強(qiáng)ETL工具服務(wù)器的配置，優(yōu)化系統(tǒng)處理流程。ETL架構(gòu)的特點(diǎn)包括：

（1）ETL可以分擔(dān)數(shù)據(jù)庫(kù)系統(tǒng)的負(fù)載。

（2）ETL相對(duì)于ELT架構(gòu)可以實(shí)現(xiàn)更為復(fù)雜的數(shù)據(jù)轉(zhuǎn)化邏輯。

（3）ETL采用單獨(dú)的硬件服務(wù)器。

（4）ETL與底層的數(shù)據(jù)庫(kù)數(shù)據(jù)存儲(chǔ)無(wú)關(guān)。

2.2.2 ELT架構(gòu)

在ELT架構(gòu)中，ELT只負(fù)責(zé)提供圖形化的界面來(lái)設(shè)計(jì)業(yè)務(wù)規(guī)則，數(shù)據(jù)的整個(gè)加工過(guò)程都在目標(biāo)和源的數(shù)據(jù)庫(kù)之間流動(dòng)，ELT協(xié)調(diào)相關(guān)的數(shù)據(jù)庫(kù)系統(tǒng)來(lái)執(zhí)行相關(guān)的應(yīng)用，數(shù)據(jù)加工過(guò)程既可以在源數(shù)據(jù)庫(kù)端執(zhí)行，也可以在目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)端執(zhí)行。當(dāng)ELT過(guò)程需要提高效率，則可以通過(guò)對(duì)相關(guān)數(shù)據(jù)庫(kù)進(jìn)行調(diào)優(yōu)，或者改變執(zhí)行加工的服務(wù)器就可以達(dá)到。ELT架構(gòu)的特點(diǎn)包括：

（1）ELT主要通過(guò)數(shù)據(jù)庫(kù)引擎來(lái)實(shí)現(xiàn)系統(tǒng)的可擴(kuò)展性。

（2）ELT可以保持所有的數(shù)據(jù)始終在數(shù)據(jù)庫(kù)當(dāng)中，避免數(shù)據(jù)的加載和導(dǎo)出，從而保證效率，提高系統(tǒng)的可監(jiān)控性。

（3）ELT可以根據(jù)數(shù)據(jù)的分布情況進(jìn)行并行處理優(yōu)化，并可以利用數(shù)據(jù)庫(kù)的固有功能優(yōu)化磁盤(pán)I/O。

（4）ELT的可擴(kuò)展性取決于數(shù)據(jù)庫(kù)引擎和其硬件服務(wù)器的可擴(kuò)展性。

（5）通過(guò)對(duì)相關(guān)數(shù)據(jù)庫(kù)進(jìn)行性能調(diào)優(yōu)。

3 基于ETL工具的數(shù)據(jù)回傳方式設(shè)計(jì)

3.1 ETL工具的選擇與對(duì)比

近年來(lái)大數(shù)據(jù)概念席卷全球，圍繞大數(shù)據(jù)的相關(guān)應(yīng)用如雨后春筍。能夠?qū)崿F(xiàn)快速部署的數(shù)據(jù)集成業(yè)務(wù)推動(dòng)了ETL工具快速發(fā)展。常用的ETL工具主要包括國(guó)外商業(yè)品牌，開(kāi)源工具、國(guó)產(chǎn)商業(yè)品牌這三類（表3）。國(guó)外商業(yè)品牌工具功能強(qiáng)大，尤其是大型數(shù)據(jù)庫(kù)廠商開(kāi)發(fā)的自有工具能夠與其數(shù)據(jù)庫(kù)完美配合，但產(chǎn)品費(fèi)用和后期維護(hù)成本高昂，適合大型數(shù)據(jù)工程。開(kāi)源工具可以免費(fèi)獲取，代碼公開(kāi)透明，能夠?qū)崿F(xiàn)快速部署，實(shí)施過(guò)程幾乎沒(méi)有成本，但后期維護(hù)沒(méi)有技術(shù)保障，對(duì)于維護(hù)人員的技術(shù)水平有較高的要求，適合個(gè)人應(yīng)用或者搞數(shù)據(jù)實(shí)驗(yàn)。國(guó)產(chǎn)商業(yè)品牌工具最近幾年也有了相當(dāng)不錯(cuò)的進(jìn)步，內(nèi)核多基于國(guó)外開(kāi)源工具，產(chǎn)品費(fèi)用相對(duì)低廉，后期維護(hù)能夠獲得技術(shù)支持，適合中小型數(shù)據(jù)工程。

表3 部分常用ETL工具

3.2 ETL工具基本配置方法

使用ETL工具可以快速實(shí)現(xiàn)數(shù)據(jù)抓取、整合的工作（圖A），避免了開(kāi)發(fā)專業(yè)軟件的復(fù)雜過(guò)程。ETL工具對(duì)于使用者像一個(gè)遮蔽的黑盒，無(wú)需關(guān)心其內(nèi)部代碼執(zhí)行過(guò)程，使用者只需把精力投入到參數(shù)配置過(guò)程。

圖A 系泊數(shù)據(jù)回傳系統(tǒng)架構(gòu)

ETL工具通常都具備圖形化操作界面，使用過(guò)程像搭建流程圖一樣快捷、簡(jiǎn)便、直觀。以Beeload軟件為例，通過(guò)以下步驟表4可以實(shí)現(xiàn)數(shù)據(jù)回傳的基本需求。

表4 ETL工具配置步驟

3.3 優(yōu)化設(shè)計(jì)分析

通常，經(jīng)過(guò)以上配置過(guò)程就可以實(shí)現(xiàn)數(shù)據(jù)回傳的基本需求，但要保持高效、穩(wěn)定的運(yùn)行還需要從以下幾個(gè)方面進(jìn)行深入細(xì)致的調(diào)優(yōu)設(shè)計(jì)。

3.3.1 ETL工具的部署

ETL工具可以直接部署在目標(biāo)數(shù)據(jù)庫(kù)服務(wù)器上，這種布部署能夠減少硬件投入，提高網(wǎng)絡(luò)I/O效率。也可以獨(dú)立部署在一臺(tái)專用服務(wù)器上，這種布部署能夠加強(qiáng)系統(tǒng)安全性和獨(dú)立性，避免與其他系統(tǒng)爭(zhēng)奪CPU和內(nèi)存資源。當(dāng)清洗轉(zhuǎn)換過(guò)程不需要太多的計(jì)算，而對(duì)網(wǎng)絡(luò)響應(yīng)速率有要求的時(shí)候，可以選擇直接部署在目標(biāo)數(shù)據(jù)庫(kù)服務(wù)器上。

3.3.2 數(shù)據(jù)源的選擇

數(shù)據(jù)源的質(zhì)量是實(shí)現(xiàn)有效回傳的前提，應(yīng)該對(duì)數(shù)據(jù)進(jìn)行充分分析。例如，ETL工具能夠提供多種數(shù)據(jù)源接口，包括結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)，但還是要盡量選擇結(jié)構(gòu)化的數(shù)據(jù)資源以提高抓取效率。如果有可能，可以對(duì)源數(shù)據(jù)做進(jìn)一步的改造。

3.3.3 目標(biāo)數(shù)據(jù)庫(kù)的設(shè)計(jì)

目標(biāo)數(shù)據(jù)庫(kù)結(jié)構(gòu)應(yīng)根據(jù)源數(shù)據(jù)結(jié)構(gòu)統(tǒng)一成為合理的、關(guān)聯(lián)的、分析型的新結(jié)構(gòu)，其結(jié)構(gòu)應(yīng)該能最大化地承載關(guān)鍵業(yè)務(wù)數(shù)據(jù)，便于查詢和發(fā)布。設(shè)計(jì)過(guò)程要重視數(shù)據(jù)標(biāo)準(zhǔn)化定義，實(shí)現(xiàn)統(tǒng)一的編碼、統(tǒng)一的分類和組織。

3.3.4 數(shù)據(jù)清洗轉(zhuǎn)換

數(shù)據(jù)清洗轉(zhuǎn)換是建立源數(shù)據(jù)到目標(biāo)數(shù)據(jù)字段映射的過(guò)程。由于數(shù)據(jù)源的多樣性，需要建立規(guī)則統(tǒng)一數(shù)據(jù)類型、祛除臟數(shù)據(jù)，以免給后期數(shù)據(jù)裝載帶來(lái)麻煩。通過(guò)ETL工具自帶的函數(shù)集可以實(shí)現(xiàn)復(fù)雜的轉(zhuǎn)換規(guī)則，也可以實(shí)現(xiàn)中間過(guò)程量到最終結(jié)果的計(jì)算。如果轉(zhuǎn)換清洗算法復(fù)雜，計(jì)算量大，ETL工具應(yīng)該獨(dú)立部署在一個(gè)服務(wù)器上。

3.3.5 數(shù)據(jù)同步

數(shù)據(jù)同步是ETL過(guò)程中重要的環(huán)節(jié)，規(guī)則設(shè)定的優(yōu)劣直接影響傳輸效率。數(shù)據(jù)同步要求源數(shù)據(jù)的變化能夠映射到目標(biāo)數(shù)據(jù)庫(kù)中。數(shù)據(jù)同步模式包括：全量同步模式和增量同步模式。[6]全量同步模式將源數(shù)據(jù)無(wú)差別全部復(fù)制到目標(biāo)數(shù)據(jù)庫(kù)中，隨著數(shù)據(jù)記錄的增多同步過(guò)程會(huì)消耗大量時(shí)間，造成網(wǎng)絡(luò)堵塞，通常只用于初始數(shù)據(jù)同步或者源數(shù)據(jù)記錄少且增長(zhǎng)不大的同步過(guò)程。增量同步模式將源數(shù)據(jù)與目標(biāo)數(shù)據(jù)進(jìn)行比對(duì)，僅對(duì)差異部分進(jìn)行同步更新，適用于源數(shù)據(jù)記錄不斷增加的同步過(guò)程。增量模式又包括：差異增量模式、時(shí)間戳模式、觸發(fā)器模式。差異增量模式通過(guò)邏輯主鍵逐行比較源數(shù)據(jù)和目標(biāo)數(shù)據(jù)，源數(shù)據(jù)在目標(biāo)數(shù)據(jù)表中不存在則插入，存在且信息不同則更新目標(biāo)數(shù)據(jù)，目標(biāo)數(shù)據(jù)在源數(shù)據(jù)表中不存在則刪除目標(biāo)數(shù)據(jù)，能夠?qū)崿F(xiàn)無(wú)差別同步。同步過(guò)程期間需要大范圍比較，效率比較低，不適合大數(shù)據(jù)量的同步過(guò)程。時(shí)間戳模式要求源數(shù)據(jù)表中存在至少1個(gè)字段（時(shí)間戳），其值隨著時(shí)間變化不斷累計(jì)，同步過(guò)程中，程序通過(guò)時(shí)間戳對(duì)數(shù)據(jù)進(jìn)行過(guò)濾，結(jié)束后程序記錄時(shí)間戳信息。這種模式適合源數(shù)據(jù)只增不減，不斷累積的同步過(guò)程。觸發(fā)器模式要求在源數(shù)據(jù)庫(kù)中創(chuàng)建觸發(fā)器和臨時(shí)表，觸發(fā)器捕獲新增、修改、刪除的數(shù)據(jù)到臨時(shí)表中，程序從臨時(shí)表再同步到目標(biāo)數(shù)據(jù)表，同步過(guò)程效率高，由于源數(shù)據(jù)服務(wù)器分擔(dān)了一部分工作使得ETL服務(wù)器負(fù)荷大大降低，但是這種模式對(duì)源數(shù)據(jù)庫(kù)有較高的要求。數(shù)據(jù)同步過(guò)程還需要作業(yè)調(diào)度配合，以實(shí)現(xiàn)自動(dòng)定時(shí)抓取數(shù)據(jù)。作業(yè)調(diào)度設(shè)計(jì)要求充分考慮同步頻率、數(shù)據(jù)采集密度與傳輸效率之間的矛盾，同步頻率高，采集密度大容易造成網(wǎng)絡(luò)堵塞。對(duì)實(shí)時(shí)性要求不高，可以降低同步頻率，甚至可以選擇T+1同步（隔天同步）。對(duì)實(shí)時(shí)性要求高，可以通過(guò)數(shù)據(jù)篩選降低采集密度。

結(jié)語(yǔ)

使用ETL工具抓取數(shù)據(jù)已經(jīng)成為業(yè)內(nèi)比較成熟的解決方案。通過(guò)ETL工具實(shí)現(xiàn)系泊監(jiān)測(cè)數(shù)據(jù)回傳優(yōu)勢(shì)明顯：①實(shí)施過(guò)程簡(jiǎn)易高效，能夠快速達(dá)到數(shù)據(jù)整合的目的；②相比較專業(yè)開(kāi)發(fā)，節(jié)省人力物力；③后期維護(hù)過(guò)程穩(wěn)定可靠，不需要投入太多精力；④具備很強(qiáng)的擴(kuò)展能力，隨時(shí)可以加入新的數(shù)據(jù)源。目前，國(guó)產(chǎn)部分ETL工具軟件進(jìn)步很快，在業(yè)界積累了一定的成功經(jīng)驗(yàn)，足以應(yīng)對(duì)中小型數(shù)據(jù)工程的基本需求，是一個(gè)性價(jià)比不錯(cuò)的選擇。