塔里木油田錄井歷史數(shù)據(jù)治理技術(shù)

周冰冰 ZHOU Bing-bing；王國瓦 WANG Guo-wa；陳慧 CHEN Hui；胡春霖 HU Chun-lin；李文華 LI Wen-hua

（①昆侖數(shù)智科技有限責(zé)任公司，庫爾勒 841000；②塔里木油田公司勘探開發(fā)研究院，庫爾勒 841000；③塔里木油田勘探事業(yè)部，庫爾勒 841000）

1 塔里木油田錄井?dāng)?shù)據(jù)治理工作的價值

數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)應(yīng)用需要高質(zhì)量、全方位的數(shù)據(jù)支撐，數(shù)據(jù)治理工作變得至關(guān)重要。其中錄井專業(yè)歷史數(shù)據(jù)對于油田各應(yīng)用都是十分關(guān)鍵的數(shù)據(jù)。

其重要意義體現(xiàn)在：①有效的錄井?dāng)?shù)據(jù)治理可以很好地支撐各應(yīng)用項目的運行。錄井歷史數(shù)據(jù)對于判斷井下地質(zhì)及含油氣情況，分析判斷井下鉆探工程概況等都具有重要意義。絕大多數(shù)應(yīng)用獲取地下地質(zhì)油氣等信息都需要借助錄井?dāng)?shù)據(jù)。②有效的錄井?dāng)?shù)據(jù)治理可以提高企業(yè)的運營效率。高質(zhì)量的數(shù)據(jù)環(huán)境和高效的數(shù)據(jù)服務(wù)讓各油田應(yīng)用可以方便、及時地獲取到所需的錄井?dāng)?shù)據(jù)，并迅速展開工作，而無須在部門與部門之間進行協(xié)調(diào)、匯報等，從而有效提高工作效率。③有效的數(shù)據(jù)治理能夠降低企業(yè)IT和業(yè)務(wù)運營成本。一致性的數(shù)據(jù)環(huán)境讓系統(tǒng)應(yīng)用集成、數(shù)據(jù)清理變得更加自動化，減少過程中的人工成本；標(biāo)準(zhǔn)化的數(shù)據(jù)定義讓業(yè)務(wù)部門之間的溝通保持順暢，降低由于數(shù)據(jù)不標(biāo)準(zhǔn)、定義不明確引發(fā)的各種溝通成本。

2 數(shù)據(jù)治理原則

2.1 保護數(shù)據(jù)安全

數(shù)據(jù)應(yīng)是來源業(yè)務(wù)單位的真實信息，因此，在數(shù)據(jù)治理中應(yīng)考慮到數(shù)據(jù)的保密性和安全性，全面考慮其對社會利益、國家安全影響。收集開通數(shù)據(jù)庫權(quán)限，要征求相關(guān)部門同意，獲取非結(jié)構(gòu)化文檔要告知目的和用途，同時要避免誤導(dǎo)一些行為。對于收集數(shù)據(jù)后的儲存、流通，也要采取相對嚴(yán)格的保護措施。

2.2 數(shù)據(jù)治理應(yīng)該由業(yè)務(wù)主導(dǎo)

組織中的數(shù)據(jù)是由業(yè)務(wù)人員創(chuàng)建的，由業(yè)務(wù)人員管理，而糟糕的數(shù)據(jù)也主要影響業(yè)務(wù)人員。數(shù)據(jù)支持業(yè)務(wù)決策。如果這些決策出了問題，其影響將是企業(yè)，而不是IT。因此，業(yè)務(wù)應(yīng)該領(lǐng)導(dǎo)數(shù)據(jù)治理，雖然IT確實應(yīng)該參與其中，但它們不應(yīng)該處于主導(dǎo)地位。

2.3 編寫操作清單，記錄過程記錄

數(shù)據(jù)間存在關(guān)聯(lián)，把數(shù)據(jù)間的關(guān)聯(lián)關(guān)系陳列清楚、注意事項標(biāo)注清楚，操作前一一核對，小數(shù)據(jù)量驗證無錯后，大數(shù)據(jù)量執(zhí)行。

2.4 可持續(xù)發(fā)展

治理程序不是一個項目作為終點，而是一個持續(xù)的過程。需要把它作為整個組織的責(zé)任。數(shù)據(jù)治理必須改變數(shù)據(jù)的應(yīng)用和管理方式，但也不代表著組織要作巨大的更新和顛覆。數(shù)據(jù)治理是超越一次性數(shù)據(jù)治理組件實施可持續(xù)發(fā)展路徑的管理變革。

3 錄井?dāng)?shù)據(jù)治理的實施

油田數(shù)據(jù)治理工程十分重要，已經(jīng)廣泛應(yīng)用在油田企業(yè)中，本文主要分析了塔里木油田錄井專業(yè)歷史數(shù)據(jù)治理的實施效果。

塔里木油氣田目前已經(jīng)建成一系列的信息管理系統(tǒng)，實現(xiàn)了對結(jié)構(gòu)化數(shù)據(jù)的有效管理和應(yīng)用，數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)與油氣勘探開發(fā)業(yè)務(wù)的融合應(yīng)用正在為油氣領(lǐng)域數(shù)字化轉(zhuǎn)型、高質(zhì)量發(fā)展以及企業(yè)戰(zhàn)略目標(biāo)的實現(xiàn)提供新契機。其數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)應(yīng)用已經(jīng)取得了一些成績，數(shù)據(jù)結(jié)構(gòu)化成果相對完整，但歷史井?dāng)?shù)據(jù)因采集時代的不同，數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一，歷史管理模式差別，以及各專業(yè)庫間存在的結(jié)構(gòu)差異，統(tǒng)建系統(tǒng)、自建系統(tǒng)重復(fù)采集、交叉采集等原因。廣泛存在有數(shù)據(jù)未進庫，數(shù)據(jù)重復(fù)，數(shù)據(jù)存在空值、數(shù)值無小數(shù)位等問題。歷史數(shù)據(jù)質(zhì)量不高。

3.1 錄井?dāng)?shù)據(jù)治理的流程

錄井歷史數(shù)據(jù)的治理工作主要包括數(shù)據(jù)梳理、數(shù)據(jù)補充完善、數(shù)據(jù)審核等3方面的工作數(shù)據(jù)治理。

具體治理整體流程（圖1）從問題反饋為起點，開展數(shù)據(jù)結(jié)構(gòu)的完善、數(shù)據(jù)的治理、數(shù)據(jù)的校驗到數(shù)據(jù)的審核最終質(zhì)控合格的數(shù)據(jù)進入數(shù)據(jù)銀行共享層，需要數(shù)據(jù)生態(tài)各組協(xié)同開展。

圖1 錄井專業(yè)數(shù)據(jù)治理流程圖

3.2 數(shù)據(jù)治理要點

3.2.1 數(shù)據(jù)治理資源盤點

掌握數(shù)據(jù)現(xiàn)狀，需要對自身的數(shù)據(jù)資源和應(yīng)用情況進行盤點，要確保數(shù)據(jù)符合業(yè)務(wù)需求，就需要人工逐條、逐字段地定義數(shù)據(jù)標(biāo)準(zhǔn)、核實數(shù)據(jù)質(zhì)量，最終完成數(shù)據(jù)治理現(xiàn)狀分析。

3.2.2 數(shù)據(jù)應(yīng)用評估

按照領(lǐng)域和場景、企業(yè)所在行業(yè)和業(yè)務(wù)范圍、企業(yè)對于數(shù)據(jù)使用等級、安全級別梳理數(shù)據(jù)脫敏的要求和規(guī)范，數(shù)據(jù)被業(yè)務(wù)系統(tǒng)調(diào)用的情況，評估數(shù)據(jù)應(yīng)用的范圍及引用數(shù)據(jù)的系統(tǒng)。

3.2.3 錄井?dāng)?shù)據(jù)治理范圍的梳理

開展數(shù)據(jù)治理的首要目標(biāo)是在最短的時間內(nèi)提升數(shù)據(jù)質(zhì)量，保證應(yīng)用的順利開展。錄井技術(shù)是油氣勘探開發(fā)活動中最基本的技術(shù)，是發(fā)現(xiàn)、評估油氣藏最及時、最直接的手段，具有獲取地下信息及時、多樣，分析解釋快捷的特點。錄井?dāng)?shù)據(jù)因其產(chǎn)生階段不同，錄井方法多樣，解釋處理主體的不同等原因，錄井?dāng)?shù)據(jù)具有屬性范圍極廣，數(shù)據(jù)繁雜等特點。為確保數(shù)據(jù)治理的目標(biāo)順利實現(xiàn)，宜先根據(jù)數(shù)據(jù)現(xiàn)狀，根據(jù)應(yīng)用的需求分階段進行治理，確定好數(shù)據(jù)治理的范圍，或可提高治理效率，并能實現(xiàn)應(yīng)用短周期內(nèi)的數(shù)據(jù)需求。

3.2.4 錄井?dāng)?shù)據(jù)治理采用的工具

借助相關(guān)工具來完成數(shù)據(jù)治理的工程，能夠更快、更方便地獲取數(shù)據(jù)，可大大提高治理效率，結(jié)合數(shù)據(jù)管理能力評價情況進行數(shù)據(jù)治理平臺功能設(shè)計，包括數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)安全管理、數(shù)據(jù)模型工具、元數(shù)據(jù)管理、主數(shù)據(jù)管理等功能模塊。

3.2.5 錄井?dāng)?shù)據(jù)源的落實

數(shù)據(jù)源是指數(shù)據(jù)分析中所使用的數(shù)據(jù)具體來源，包括：關(guān)系型數(shù)據(jù)庫、元數(shù)據(jù)、文件型數(shù)據(jù)、大數(shù)據(jù)數(shù)據(jù)源等。對于歷史數(shù)據(jù)治理而言，其中多源不一致，是需要克服的首要問題。源頭解決主數(shù)據(jù)和參考數(shù)據(jù)的一致性與質(zhì)量問題。[2]

當(dāng)存在多個輸入文件時，這些文件的順序可能不相同甚至互不相容。在這種情況下這些輸入文件需要進行重新排序。在某些情況下數(shù)據(jù)庫中數(shù)據(jù)項的來源是一個文件，而在另外一些情況下，則為另外一個文件。邏輯上必須分清楚，以便由適當(dāng)?shù)臄?shù)據(jù)源提供正確條件下的數(shù)據(jù)。

3.3 數(shù)據(jù)治理工程效果

錄井專業(yè)庫的數(shù)據(jù)以井為單位，依照設(shè)計好的模型表結(jié)構(gòu)進行數(shù)據(jù)存儲。在進行數(shù)據(jù)治理的時候，可直接對照文檔進行治理以地層分層表為例（見表1）表1列舉出了地層分層表的18個重要字段。

在開展數(shù)據(jù)治理時，質(zhì)量管理工作需要注意以下幾個方面：第一，數(shù)據(jù)完整性，保證傳輸數(shù)據(jù)時完整傳輸，不要丟失關(guān)鍵數(shù)值等；包括：①模型設(shè)計不完整，例如唯一性約束不完整、參照不完整；②數(shù)據(jù)條目不完整，例如：數(shù)據(jù)記錄丟失或不可用；③數(shù)據(jù)屬性不完整，例如：數(shù)據(jù)屬性空置。不完整的數(shù)據(jù)所能借鑒的價值就會大大降低，也是數(shù)據(jù)質(zhì)量問題最為基礎(chǔ)和常見的一類問題。第二，數(shù)據(jù)唯一性，要求傳輸?shù)臄?shù)據(jù)與相關(guān)業(yè)務(wù)之間的關(guān)鍵屬性是唯一的；重復(fù)數(shù)據(jù)是導(dǎo)致業(yè)務(wù)無法協(xié)同、流程無法追溯的重要因素，也是數(shù)據(jù)治理需要解決的最基本的數(shù)據(jù)問題。第三，數(shù)據(jù)一致性，要求所傳輸?shù)臄?shù)據(jù)的維度和度量值之間的關(guān)系是一致的，參考確認好的已知檔案館文檔，對比數(shù)據(jù)庫存儲的歷史數(shù)據(jù)，與審核歸檔的非結(jié)構(gòu)化文檔所記錄數(shù)據(jù)之間是否存在差異。相同的數(shù)據(jù)有多個副本的情況下的數(shù)據(jù)不一致、數(shù)據(jù)內(nèi)容沖突的問題。第四，數(shù)據(jù)準(zhǔn)確性，主要指傳輸過程中要保證數(shù)據(jù)的精度，符合相關(guān)業(yè)務(wù)的要求；3500km，數(shù)據(jù)類型為number（7，2），應(yīng)記錄為3500.00，不可寫作三千五百米。不可靠的數(shù)據(jù)可能會導(dǎo)致嚴(yán)重的問題，會造成有缺陷的方法和糟糕的決策。

以井XX地層分層表為例，治理前數(shù)據(jù)庫數(shù)據(jù)如圖2所示，存在明顯的數(shù)據(jù)缺失，嚴(yán)重影響應(yīng)用的展示效果。治理后，錄井專業(yè)庫數(shù)據(jù)存儲狀態(tài)如圖3，數(shù)據(jù)質(zhì)量有了顯著的提升，空白的多個字段都進行了正確的補充。

圖2 井XX地層分層表（治理前）

圖3 井XX地層分層表（治理后）

3.4 錄井?dāng)?shù)據(jù)質(zhì)控

數(shù)據(jù)質(zhì)量控制是指對全流程數(shù)據(jù)的五性進行管理活動，包括數(shù)據(jù)監(jiān)測、數(shù)據(jù)校驗等。規(guī)定數(shù)據(jù)質(zhì)量元素、數(shù)據(jù)質(zhì)量約束、數(shù)據(jù)質(zhì)量業(yè)務(wù)規(guī)則三級體系。①定義5個關(guān)鍵的數(shù)據(jù)質(zhì)量元素，包括完整性、一致性、準(zhǔn)確性、及時性和關(guān)聯(lián)性（注：歷史數(shù)據(jù)不進行及時性的相關(guān)約束）。②數(shù)據(jù)質(zhì)量約束描述數(shù)據(jù)間應(yīng)遵循的抽象制約和依存關(guān)系。按照約束對象的不同，將數(shù)據(jù)質(zhì)量約束劃分為數(shù)據(jù)約束和數(shù)據(jù)集約束。③數(shù)據(jù)質(zhì)量業(yè)務(wù)規(guī)則是涉及到具體邏輯模型的詳細描述，是數(shù)據(jù)質(zhì)量約束的具體化。數(shù)據(jù)治理智能平臺能夠?qū)?shù)據(jù)接入、針對用戶對信息獲取的時間及時性要求，確保數(shù)據(jù)及時更新數(shù)據(jù)處理、數(shù)據(jù)組織等過程的數(shù)據(jù)進行采樣并輸入到質(zhì)量樣例數(shù)據(jù)庫，建立數(shù)據(jù)質(zhì)量核驗任務(wù)，開展數(shù)據(jù)質(zhì)控，自動完成數(shù)據(jù)質(zhì)量完整性、準(zhǔn)確性、一致性、唯一性的檢查，對于質(zhì)控?zé)o法通過的數(shù)據(jù)及時整改。通過審核后的錄井?dāng)?shù)據(jù)匯交到錄井專業(yè)交換庫。[4]

至此，實現(xiàn)了公司業(yè)務(wù)系統(tǒng)錄井歷史數(shù)據(jù)的數(shù)據(jù)治理工作。

3.5 錄井?dāng)?shù)據(jù)的應(yīng)用

通過數(shù)據(jù)治理工程來管理數(shù)據(jù)，解決了很多數(shù)據(jù)的問題，提高了數(shù)據(jù)錄入、轉(zhuǎn)存、查詢、過濾的效率，同時也取得了很好的效果：①補充錄井專業(yè)歷史缺失數(shù)據(jù)，提高數(shù)據(jù)質(zhì)量，為方案設(shè)計、生產(chǎn)管控等業(yè)務(wù)提供高質(zhì)量的數(shù)據(jù)；②通過本項目的建設(shè)，不斷提高數(shù)據(jù)質(zhì)量，使數(shù)據(jù)向資產(chǎn)轉(zhuǎn)化；③實現(xiàn)工程技術(shù)領(lǐng)域數(shù)據(jù)的質(zhì)量提升，為建立虛擬井筒、智能化應(yīng)用建設(shè)提供數(shù)據(jù)支撐；④在數(shù)據(jù)治理過程中，以滿足業(yè)務(wù)應(yīng)用為主要目標(biāo)，促進數(shù)據(jù)的使用，落實數(shù)據(jù)責(zé)任，提供一套數(shù)據(jù)治理工作流及數(shù)據(jù)治理規(guī)范指南，為數(shù)據(jù)生態(tài)的建設(shè)貢獻力量，縮短取得數(shù)據(jù)的時間，速度快，效率高，推動了智能油田建設(shè)，更好地應(yīng)用了油田大數(shù)據(jù)。

4 結(jié)束語

數(shù)據(jù)治理是需要不斷的迭代和優(yōu)化，需要進行長效的持續(xù)運營，要將其變成企業(yè)的一種機制、一種工作習(xí)慣，而油氣田企業(yè)數(shù)據(jù)治理每一次迭代優(yōu)化都推動數(shù)字技術(shù)與油氣產(chǎn)業(yè)深度融合。

建立了成熟的數(shù)據(jù)治理體系，好的數(shù)據(jù)治理體系可以盤活整條數(shù)據(jù)鏈路，可以最大化保障油田數(shù)據(jù)的采集、存儲、計算和使用過程的可控和可追溯。數(shù)據(jù)治理是個人、技術(shù)和系統(tǒng)的組合，它們協(xié)同工作以保護組織的數(shù)據(jù)、確保數(shù)據(jù)準(zhǔn)確、全面。