基于大數(shù)據(jù)的油氣水井生產(chǎn)數(shù)據(jù)質(zhì)量評價方法研究

岳相如，姚渝琪，何 楊，沈俊豪

（中國石油西南油氣田公司通信與信息技術(shù)中心，四川 成都 610041）

0 引 言

隨著“兩化”（信息化和工業(yè)化）結(jié)合戰(zhàn)略的逐步推進(jìn)，石油領(lǐng)域的現(xiàn)代化工程高速增長，各油氣田更加注重數(shù)字化建設(shè)力度，并積極開展信息系統(tǒng)建設(shè)工作，其運(yùn)行中形成的非結(jié)構(gòu)化、結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)規(guī)模巨大且成長速度快，顯示出大數(shù)據(jù)分析的特點[1-3]。在信息爆炸性增加的背景下，原有的信息處理系統(tǒng)遇到障礙，無法滿足油氣田高速增長產(chǎn)生的大量信息迅速收集與分析應(yīng)用的要求。同時，大力實施信息系統(tǒng)建設(shè)和改造的過程中，數(shù)據(jù)質(zhì)量、數(shù)據(jù)管理、數(shù)據(jù)標(biāo)準(zhǔn)化問題日益凸顯，特別是在大型油氣田企業(yè)中，數(shù)據(jù)質(zhì)量問題已經(jīng)成為制約上層數(shù)據(jù)分析應(yīng)用的關(guān)鍵因素。為解決該問題，提升數(shù)據(jù)質(zhì)量，量化的數(shù)據(jù)質(zhì)量評價方法研究與實踐尤為重要。

1 數(shù)據(jù)質(zhì)量及評價概述

1.1 數(shù)據(jù)資產(chǎn)

數(shù)字信息是被個人和企業(yè)所擁有或者控制、能夠給企業(yè)提供未來經(jīng)濟(jì)效益、以物理和電氣方式表示的信息，這些信息可能包含數(shù)據(jù)、文字、圖像、語音或視頻等形式[4]。數(shù)據(jù)指在具備數(shù)據(jù)權(quán)屬、有價值、可計量以及可讀取能力的網(wǎng)絡(luò)空間中的信息集合，根據(jù)構(gòu)成形式又可以進(jìn)一步劃分為3 種，分別是結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)以及半結(jié)構(gòu)化數(shù)據(jù)，也可以包括各種業(yè)務(wù)形式的信息，如企業(yè)信息、商務(wù)辦公信息、運(yùn)營服務(wù)信息以及“質(zhì)量、健康、安全、環(huán)境（Quality Health Safety Environment，QHSE）”信息等。中國石油西南油氣田公司典型的數(shù)據(jù)資產(chǎn)如下。

（1）非結(jié)構(gòu)化數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)具體內(nèi)容如下：以文件形式儲存的文本文件、電子表格、演示文稿等；各單位檔案館內(nèi)的紙質(zhì)及光盤存檔資料；協(xié)同辦公平臺的文檔和稿件等；即時消息、圖片、音頻以及視頻文件等；會議形成的會議文件和影音資料等；生產(chǎn)視頻監(jiān)控平臺的監(jiān)控錄像和安眼系統(tǒng)的報警信息；公司地理信息系統(tǒng)的地理數(shù)據(jù)等。非結(jié)構(gòu)化數(shù)據(jù)占據(jù)了公司數(shù)據(jù)資產(chǎn)的絕大部分，存在儲存容量需求大、數(shù)據(jù)孤島、管理困難等問題，與結(jié)構(gòu)化數(shù)據(jù)相比，難以創(chuàng)造二次價值。

（2）結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)主要包括資源勘查和生產(chǎn)技術(shù)信息管理系統(tǒng)（A1）以及石油水井生產(chǎn)技術(shù)信息管理系統(tǒng)（A）等二等信息系統(tǒng)的數(shù)據(jù)管理。其相同點是按照一定格式和規(guī)范組織數(shù)據(jù)，可以很容易地將數(shù)據(jù)轉(zhuǎn)換成圖表或報表等可視化形式，使數(shù)據(jù)分析工具（Excel、BI、Hadoop 等）能夠快速識別和處理這些數(shù)據(jù)，為數(shù)據(jù)挖掘和分析提供堅實基礎(chǔ)，從而有助于發(fā)現(xiàn)潛在趨勢和關(guān)聯(lián)，為上層應(yīng)用決策提供有力依據(jù)。

（3）半結(jié)構(gòu)化數(shù)據(jù)。半結(jié)構(gòu)化數(shù)據(jù)主要包括實體關(guān)系（Entity Relationship，ER）圖、勘探與生產(chǎn)數(shù)據(jù)模型（Exploration and Production Data Model，EPDM）、關(guān)系模型以及接口文檔等，包含一定程度的結(jié)構(gòu)化元素，如相關(guān)標(biāo)記或部分?jǐn)?shù)據(jù)等，但沒有嚴(yán)格的格式，具備自我描述功能。半結(jié)構(gòu)化數(shù)據(jù)用于分隔轉(zhuǎn)換語義元素和對數(shù)據(jù)字段進(jìn)行分層管理。

1.2 數(shù)據(jù)質(zhì)量

數(shù)據(jù)質(zhì)量（Data Quality，DQ）是反映信息是否符合服務(wù)要求水平的衡量指標(biāo)和體現(xiàn)數(shù)據(jù)價值的關(guān)鍵因素，高質(zhì)量的數(shù)據(jù)可以支撐更加精準(zhǔn)高效的上層分析決策和優(yōu)化改進(jìn)業(yè)務(wù)流程。數(shù)據(jù)質(zhì)量的評價維度涉及多個方面，主要如下。

（1）準(zhǔn)確性（Accuracy）。準(zhǔn)確性主要指數(shù)據(jù)是否正確反映真實生產(chǎn)或?qū)嶋H業(yè)務(wù)情況，沒有錯誤或偏差。準(zhǔn)確性是數(shù)據(jù)質(zhì)量評價最重要的一環(huán)，直接影響數(shù)據(jù)價值，是衡量數(shù)據(jù)質(zhì)量的核心標(biāo)準(zhǔn)之一。

（2）完整性（Completeness）。完整性主要指數(shù)據(jù)是否包括全部的必要信息，同時實體值、屬性值、記錄值以及字段值不遺漏。完整性決定了數(shù)據(jù)在分析和決策中是否可用。

（3）一致性（Consistency）。一致性包括層級一致（不同部門和單位橫向一致、二三級單位豎向一致等）和庫級一致（不同信息系統(tǒng)中相同源數(shù)據(jù)是否具有相同的格式、單位、定義以及值等）。一致的數(shù)據(jù)有助于確保數(shù)據(jù)在各層級的分析應(yīng)用中不產(chǎn)生偏差。

（4）及時性（Timeliness）。及時性主要指是否能夠在適當(dāng)?shù)臅r間范圍內(nèi)提供數(shù)據(jù)，以滿足業(yè)務(wù)需求和分析決策需求。

1.3 數(shù)據(jù)質(zhì)量評價的意義

數(shù)據(jù)質(zhì)量直接影響數(shù)據(jù)分析和決策的準(zhǔn)確度與可行性，優(yōu)良的數(shù)據(jù)質(zhì)量評估工作能夠提升大數(shù)據(jù)分析的價值。在企業(yè)各單位明確數(shù)據(jù)職能的前提下，形成標(biāo)準(zhǔn)化的企業(yè)數(shù)據(jù)質(zhì)量評估標(biāo)準(zhǔn)方法，可以提高企業(yè)數(shù)據(jù)采集管理與應(yīng)用技術(shù)水平，改善企業(yè)數(shù)據(jù)管理服務(wù)質(zhì)量，促進(jìn)企業(yè)數(shù)據(jù)的合作資源共享，將數(shù)據(jù)運(yùn)用到企業(yè)經(jīng)營、管理、戰(zhàn)略決策，從而實現(xiàn)數(shù)據(jù)資本的商業(yè)價值，促使企業(yè)從“業(yè)務(wù)驅(qū)動”轉(zhuǎn)向“數(shù)據(jù)驅(qū)動”，進(jìn)而實現(xiàn)企業(yè)數(shù)字賦能。

2 油氣水井生產(chǎn)數(shù)據(jù)現(xiàn)狀和面臨的挑戰(zhàn)

2.1 油氣水井生產(chǎn)數(shù)據(jù)管理系統(tǒng)（A2）

A2 系統(tǒng)的主要功能包括數(shù)據(jù)采集與審核、各類氣藏報表查詢、動態(tài)監(jiān)測管理、采油氣工藝管理以及基本實體管理。產(chǎn)量數(shù)據(jù)方面，A2 系統(tǒng)主要分為公司、氣礦和作業(yè)區(qū)3 級。公司級主要負(fù)責(zé)年報數(shù)據(jù)的采集和審核；氣礦和作業(yè)區(qū)級主要負(fù)責(zé)月數(shù)據(jù)和日數(shù)據(jù)的采集與審核。動態(tài)監(jiān)測方面，A2 系統(tǒng)以常規(guī)監(jiān)測、專項監(jiān)測數(shù)據(jù)采集、審核、上報以及綜合應(yīng)用為主，能夠?qū)崿F(xiàn)動態(tài)監(jiān)測數(shù)據(jù)和相關(guān)解釋成果的規(guī)范化管理，提高動態(tài)監(jiān)測日常管理效率。采油氣工藝深化應(yīng)用方面，A2 系統(tǒng)能夠?qū)崿F(xiàn)采油氣工藝分類標(biāo)準(zhǔn)化、數(shù)據(jù)采集標(biāo)準(zhǔn)化、數(shù)據(jù)處理以及審核流程化，綜合應(yīng)用規(guī)范化管理，滿足開發(fā)部和氣礦采油氣工藝管理的應(yīng)用需求。

目前，根據(jù)管理A2 系統(tǒng)處理的業(yè)務(wù)信息，可以將其分成2 大類，即管理信息和業(yè)務(wù)數(shù)據(jù)。管理信息主要指管理系統(tǒng)正常運(yùn)行的有關(guān)信息；業(yè)務(wù)數(shù)據(jù)主要指管理系統(tǒng)中收集頻度很高的與業(yè)務(wù)活動有關(guān)的信息。

從生產(chǎn)業(yè)務(wù)角度分析，A2 系統(tǒng)數(shù)據(jù)主要包括以下5 類：一是基礎(chǔ)實體，包括結(jié)構(gòu)單位、地質(zhì)單元、構(gòu)造單位、井以及地層單位等基本信息；二是計劃數(shù)據(jù)，包括配產(chǎn)配注計劃、動態(tài)監(jiān)測計劃、措施計劃以及站庫計劃等數(shù)據(jù)；三是油氣生產(chǎn)數(shù)據(jù)，包括單井和油氣田，日、月、年累計產(chǎn)量等數(shù)據(jù)；四是措施數(shù)據(jù)，包括油氣水井措施基礎(chǔ)、措施效果、措施增產(chǎn)等數(shù)據(jù)；五是監(jiān)測數(shù)據(jù)，包括常規(guī)、專項、油氣水分析及壓力溫度等數(shù)據(jù)。文章主要針對油氣生產(chǎn)數(shù)據(jù)開展現(xiàn)狀調(diào)研及分析研究。

2.2 面臨的挑戰(zhàn)

目前，公司的數(shù)字治理工程、主數(shù)據(jù)入湖、信息來源目錄建設(shè)以及對油氣水井生產(chǎn)信息的技術(shù)研究與管理評估等項目是信息標(biāo)準(zhǔn)化建設(shè)的有利契機(jī)，但是也存在巨大的問題，具體如下。

2.2.1 公司級數(shù)據(jù)管理基礎(chǔ)依然薄弱

數(shù)據(jù)可用性不高、平臺內(nèi)部無法統(tǒng)一整合、缺少數(shù)據(jù)處理和分析人員等問題仍然在企業(yè)層面出現(xiàn)，數(shù)據(jù)的分析品質(zhì)有待提高。這些問題都將會出現(xiàn)在今后的大數(shù)據(jù)分析應(yīng)用和數(shù)據(jù)入湖等工作流程中，導(dǎo)致企業(yè)無法得到正確的數(shù)據(jù)分析或沒有正確的數(shù)據(jù)分析結(jié)果，從而無法從中獲得經(jīng)濟(jì)價值，并最終耗費(fèi)大量資金。

2.2.2 數(shù)據(jù)深層次挖掘分析能力有待加強(qiáng)

目前，中國石油西南油氣田公司在數(shù)據(jù)價值發(fā)掘方面還停留在相對的淺層階段，存在著“數(shù)據(jù)豐富但缺乏分析”的狀況，數(shù)據(jù)資產(chǎn)價值和發(fā)展?fàn)顩r還停留在相對粗放的初級階段。除個別科研單位外，其他公司對數(shù)據(jù)分析所運(yùn)用的手段大多停留在對圖表或報告等基本資料表面價值的統(tǒng)計和分析階段，對跨專業(yè)數(shù)據(jù)價值的關(guān)聯(lián)分析和橫縱向比較手段相當(dāng)薄弱。即沒有對數(shù)據(jù)分析進(jìn)行深入挖掘研究的先進(jìn)大數(shù)據(jù)分析技術(shù)手段，也沒有既熟悉石油勘探開采生產(chǎn)經(jīng)營情況又熟悉大數(shù)據(jù)分析應(yīng)用決策過程的專業(yè)人才。同時，沒有適用于石油業(yè)務(wù)實時處理與分析數(shù)據(jù)處理的計算模式，不同部門和單位間未能建立高效的大數(shù)據(jù)合作資源共享機(jī)制，各種資料數(shù)據(jù)挖掘技術(shù)，如商業(yè)智能（Business Intelligence，BI）等，也沒有全面展開推廣工作。

3 油氣水井生產(chǎn)數(shù)據(jù)質(zhì)量的評價方法研究

按照生產(chǎn)數(shù)據(jù)管理質(zhì)量的統(tǒng)一性、準(zhǔn)確度、完整性以及及時性4 項主要特點，建立了油井生產(chǎn)數(shù)據(jù)管理質(zhì)量評價指標(biāo)，統(tǒng)一處理質(zhì)量指標(biāo)數(shù)據(jù)、分析結(jié)果以及綜合評價結(jié)果，以滿足人們對A2 系統(tǒng)動態(tài)及時進(jìn)行數(shù)據(jù)品質(zhì)好壞量化檢驗和評價的需要[5]。同時，遵循定性和定量相結(jié)合、實用性和可比性相結(jié)合的原理，定義4 個數(shù)據(jù)質(zhì)量指標(biāo)維度，即準(zhǔn)確性Qacc、完整性Qcom、一致性Qcon以及及時性Qtim，使用窮舉法對數(shù)據(jù)質(zhì)量進(jìn)行量化評價。

3.1 評價對象

以生產(chǎn)單位作業(yè)區(qū)級井生產(chǎn)日數(shù)據(jù)的準(zhǔn)確性、完整性、一致性以及日生產(chǎn)數(shù)據(jù)上報的及時性為評價對象。

3.2 可測指標(biāo)具體分析

3.2.1 準(zhǔn)確性Qacc

設(shè)某檢測條件下的某表可測指標(biāo)井?dāng)?shù)量為Ai，被測作業(yè)區(qū)所轄井?dāng)?shù)量為m1，設(shè)置檢測指標(biāo)數(shù)量為n1，使用結(jié)構(gòu)化查詢語言（Structured Query Language，SQL）對A2 系統(tǒng)數(shù)據(jù)庫相應(yīng)對象進(jìn)行統(tǒng)計判斷，檢測以下數(shù)據(jù)：A1，即生產(chǎn)時間填報不準(zhǔn)確的井?dāng)?shù)量，檢測表中當(dāng)日生產(chǎn)時間是否為0，或空值卻有產(chǎn)量；A2，即產(chǎn)量填報不準(zhǔn)確的井?dāng)?shù)量，檢測表中當(dāng)日有生產(chǎn)時間但產(chǎn)量為0 或空值；A3，壓力不準(zhǔn)確的井?dāng)?shù)量，檢測當(dāng)日油套壓力是否為負(fù)數(shù)；A4，即壓力不準(zhǔn)確的井?dāng)?shù)量，通過油田管理軟件（Oil Field Management，OFM）檢測當(dāng)日油套壓力是否為負(fù)數(shù)；……；An1，即第n1個檢測指標(biāo)的井?dāng)?shù)量，檢測是否滿足條件。

根據(jù)檢測結(jié)果，則該作業(yè)區(qū)生產(chǎn)日數(shù)據(jù)的準(zhǔn)確性計算公式為

式中：n1的數(shù)值越大，對數(shù)據(jù)準(zhǔn)確性評估越可靠；準(zhǔn)確性Qacc的值越接近于1，則被測作業(yè)區(qū)當(dāng)日數(shù)據(jù)填報準(zhǔn)確性越高。

3.2.2 完整性Qcom

設(shè)某檢測條件下的某表可測指標(biāo)數(shù)量為Bi，被測作業(yè)區(qū)所轄井?dāng)?shù)量為m2，設(shè)置檢測表對數(shù)量為n2，該表列總數(shù)（或關(guān)注的完整性字段列數(shù)）為Si，使用SQL 語句對A2 系統(tǒng)數(shù)據(jù)庫相應(yīng)對象進(jìn)行統(tǒng)計判斷，檢測以下數(shù)據(jù)：B1是表1 所有列（或關(guān)注的完整性字段列）空值的數(shù)量；B2是表2 所有列（或關(guān)注的完整性字段列）空值的數(shù)量；B3是表3 所有列（或關(guān)注的完整性字段列）空值的數(shù)量；B4表所有列（或關(guān)注的完整性字段列）空值的數(shù)量；……；Bn2是表n所有列（或關(guān)注的完整性字段列）空值的數(shù)量。

根據(jù)檢測結(jié)果，則該作業(yè)區(qū)生產(chǎn)日數(shù)據(jù)的完整性的計算公式為

式中：n2的數(shù)值越大，其對數(shù)據(jù)完整性評估越可靠；完整性Qcom的值越接近于1，則被測作業(yè)區(qū)當(dāng)日數(shù)據(jù)填報完整性越高。

3.2.3 一致性Qcon

設(shè)某檢測條件下的某表可測指標(biāo)井?dāng)?shù)量為Ci，被測作業(yè)區(qū)所轄井?dāng)?shù)量為m3，設(shè)置檢測表間不一致指標(biāo)數(shù)量為n3，使用SQL 語句對相應(yīng)對象進(jìn)行統(tǒng)計判斷，檢測如下數(shù)據(jù)：C1，即檢測中間庫與表數(shù)據(jù)不一致的井?dāng)?shù)量，需要關(guān)注生產(chǎn)時間和日產(chǎn)量字段列；C2，即檢測中間庫與表數(shù)據(jù)不一致的井?dāng)?shù)量，需要關(guān)注生產(chǎn)時間、日產(chǎn)量字段列；C3，即檢測探與生產(chǎn)技術(shù)數(shù)據(jù)模型（Exploration and Production Data Model，EPDM）表與被測表格數(shù)據(jù)不一致的井?dāng)?shù)量，需要關(guān)注日產(chǎn)量字段列；……；Cn3，即檢測某2 個表之間數(shù)據(jù)不一致的井?dāng)?shù)量。

根據(jù)檢測結(jié)果，則該作業(yè)區(qū)生產(chǎn)日數(shù)據(jù)的一致性計算公式為

式中：檢測表間不一致指標(biāo)數(shù)量n3的數(shù)值越大，其對數(shù)據(jù)一致性評估越可靠；一致性Qcon的值越接近于1，則被測作業(yè)區(qū)當(dāng)日數(shù)據(jù)一致性越高。

3.2.4 及時性Qtim

設(shè)當(dāng)月天數(shù)為t，執(zhí)行時間大于11:00（作業(yè)區(qū)上傳時間節(jié)點為11:00）的數(shù)量為n4。

則該作業(yè)區(qū)該月的日數(shù)據(jù)上報及時性為

式中：及時性Qtim的值越接近于1，則被測作業(yè)區(qū)當(dāng)日數(shù)據(jù)上報及時性越高。

4 數(shù)據(jù)治理手段

依據(jù)管理要求，支撐A2 系統(tǒng)數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范、數(shù)據(jù)建設(shè)、數(shù)據(jù)開發(fā)利用以及數(shù)據(jù)安全管理，實現(xiàn)覆蓋數(shù)據(jù)采集、傳輸、存儲、應(yīng)用以及報廢全生命周期過程管理，油氣水井生產(chǎn)數(shù)據(jù)治理主要分信息技術(shù)手段和業(yè)務(wù)管理要求2 個方面。具體數(shù)據(jù)治理手段如下。

（1）日數(shù)據(jù)上報治理。對每天數(shù)據(jù)上報情況進(jìn)行日監(jiān)督，對逾期未上報數(shù)據(jù)的作業(yè)區(qū)和相關(guān)氣礦管理員及時進(jìn)行上報通知。

（2）新投產(chǎn)井?dāng)?shù)據(jù)上報及時性。新投產(chǎn)井須在投產(chǎn)日期后1 個工作日內(nèi)開始數(shù)據(jù)上報，對超3 d 未上報的井進(jìn)行高亮提示，對超5 d 及以上未上報的井直接刪除井號，并納入月度通報內(nèi)容。

（3）推廣數(shù)據(jù)上報情況通報制度。建立每月A2系統(tǒng)數(shù)據(jù)上報及時性月通報制度，并在中國石油西南油氣田公司分公司范圍內(nèi)進(jìn)行推廣使用。

（4）建立數(shù)據(jù)質(zhì)量月通報制度。對A2 系統(tǒng)相關(guān)數(shù)據(jù)質(zhì)量問題進(jìn)行通報，對各作業(yè)區(qū)數(shù)據(jù)質(zhì)量進(jìn)行排名。

（5）建立數(shù)據(jù)修正線上流程和機(jī)制。規(guī)范數(shù)據(jù)修正申請、審批、解鎖以及同步的業(yè)務(wù)流程。修正線上流程節(jié)點，包括中間庫和A2 生產(chǎn)庫。

5 結(jié) 論

通過對油氣水井生產(chǎn)數(shù)據(jù)管理系統(tǒng)的數(shù)據(jù)質(zhì)量問題的分析，梳理了影響生產(chǎn)數(shù)據(jù)質(zhì)量的4 個主要因素。結(jié)合影響數(shù)據(jù)質(zhì)量的主要因素，提出一種簡單量化的數(shù)據(jù)質(zhì)量評價方法，進(jìn)一步闡述配套質(zhì)控手段。通過量化的數(shù)據(jù)質(zhì)量評價方法實踐，獲取和評估了作業(yè)區(qū)日生產(chǎn)數(shù)據(jù)質(zhì)量，能夠有效解決油氣田公司數(shù)據(jù)質(zhì)量評價困難、數(shù)據(jù)質(zhì)量考核沒有量化指標(biāo)、數(shù)據(jù)質(zhì)量提升沒有準(zhǔn)確目標(biāo)等痛點，對今后油氣田公司數(shù)據(jù)治理、數(shù)據(jù)模型設(shè)計迭代、數(shù)據(jù)標(biāo)準(zhǔn)化制度規(guī)范建設(shè)以及數(shù)字化交付等工作有重要意義。中國石油西南油氣田公司信息化建設(shè)正在大力發(fā)展，但由于缺乏高質(zhì)量的數(shù)據(jù)標(biāo)準(zhǔn)來規(guī)范生產(chǎn)技術(shù)和數(shù)據(jù)共建共享機(jī)制，導(dǎo)致其存在“數(shù)據(jù)孤島”和“煙囪系統(tǒng)”等現(xiàn)象。數(shù)據(jù)的標(biāo)準(zhǔn)化建設(shè)與實體基建一樣，只有依據(jù)地基、建材、驗收標(biāo)準(zhǔn)等相應(yīng)行業(yè)標(biāo)準(zhǔn)，才能支撐未來高質(zhì)量的發(fā)展。在數(shù)據(jù)標(biāo)準(zhǔn)化的增量更大的背景下，標(biāo)準(zhǔn)越領(lǐng)先，地基就越牢固，未來的發(fā)展空間就更大。在數(shù)字經(jīng)濟(jì)時代，需要更多地參與到數(shù)據(jù)標(biāo)準(zhǔn)化建設(shè)工作及數(shù)字化應(yīng)用實踐中去，更好地助力我國數(shù)字經(jīng)濟(jì)和數(shù)字中國建設(shè)邁向新高度。