元數據方法在地質實物全生命周期管理的探索和運用

摘 ?要：元數據在數據資產化管理、數據交換、數據共享和數據檢索等專業(yè)應用中起到了非常重要橋梁和控制作用。針對傳統(tǒng)數據管理存在的數據類型復雜多樣、數據質量參差不齊、缺乏標準規(guī)范、無法便捷有效共享等諸多問題，該文提出了一種目前主流的基于元數據驅動的企業(yè)級數據全生命周期管理體系，在地質實物管理中得到了很好的應用，元數據管理體系貫穿了地質實物的鉆井取樣、入庫上架、使用取樣、分析化驗等全生命周期。系統(tǒng)實現了元數據驅動、數據自動更新和數據高效共享，提升了企業(yè)對地質實物數據資產的管控能力和智能化應用水平。

關鍵詞：元數據 ? 地質實物 ? 全生命周期 ? 模型驅動

中圖分類號：TP311.52 ? ? ? ? ? ? ? ? ? ? 文獻標識碼：A文章編號：1672-3791（2021）08（c）-0007-04

Exploration and Application of Metadata Method in the Whole Life Cycle Management of Geological Objects

ZENG Xiaoming

（Hainan Branch of CNOOC， Haikou， Hainan Province， 570206 ?China）

Abstract： Metadata plays a very important role as a bridge and control in professional applications such as data asset management， data exchange， data sharing， and data retrieval. Aiming at many problems existing in traditional data management， such as the complex and diverse data types， uneven data quality， lack of standard specifications， and inability to facilitate and effective sharing in traditional data management， etc， this paper proposes a current mainstream metadata-driven enterprise-level data life cycle management system， which has been well applied in geological physical management. The metadata management system runs through the entire life cycle of geological objects such as drilling sampling， warehousing and storage， sampling， analysis and testing. The system realizes metadata-driven， automatic data update and efficient data sharing， which enhances the ability of enterprises to manage and control geological physical data assets and the level of intelligent application.

Key Words： Metadata; Geological objects; Whole life cycle; Model driven

隨著物聯網技術、大數據和人工智能等信息技術的應用逐漸廣泛，高效的數據交換和數據共享需求越來越強烈。同時如何從海量數據進行數據挖掘，提高企業(yè)競爭力，實現高質量發(fā)展已成為眾多企業(yè)迫切需要解決的問題。而傳統(tǒng)的數據管理平臺只關注單一數據表內部，表與表之間關系不嚴謹，并且缺乏對數據項進行標準和描述，數據可讀性差，共享困難，數據質量難以保證，并且數據維護還停留在手工階段，效率低下。數據作為一種越來越來重要的生產要素，是企業(yè)進行數字化轉型的基礎，如何實踐數據資產化管理，最大程度挖掘數據的價值，是目前各企業(yè)需要面對的一個重要的問題。而元數據可貫穿整個數據管理體系，是數據管理體系的靈魂和基石，是連接系統(tǒng)各個應用模塊的橋梁。針對存在的問題該文主要探索了一種基于元數據驅動的企業(yè)級數據管理體系，來實現企業(yè)數據全生命周期資產化管理。

1 ?元數據

1.1 元數據定義

元數據（Metadata），是定義和描述其他數據的數據（data about data），是一種描述信息資源的內容屬性和特征的結構化數據[1]。元數據的概念最早在1987年由美國宇航局提出，之后元數據在各行各業(yè)中得到了廣泛使用，目前都柏林核心集是目前世界上使用范圍最廣，影響力最大的通用元數據標準，同時我國也頒布了一些地理信息、生態(tài)科學數據和標準文獻等行業(yè)元數據標準[2]。元數據提升了企業(yè)共享、獲取和理解信息資產的水平，元數據類型可以分為管理元數據和業(yè)務元數據，其中業(yè)務元數據又分為結構化、文檔、圖件和體數據元數據。

1.2 元數據作用

元數據通過對數據進行標準化、規(guī)范化和有效的描述，可大幅度提高數據可讀性和質量，使數據可高效的共享、交換和使用。數據的交換共享是通過讀取元數據信息驅動完成，從數據的抽取（Extract）、轉換（Transform）到數據的加載（Load）都離不開元數據的支持，元數據控制了整個ETL的過程[3]，元數據是ETL的靈魂和控制器，具體如圖1所示。只需維護元數據信息，就可以實現ETL的工作任務自動維護。

元數據獨立于平臺，無論使用什么技術平臺，元數據的使用都不受影響，可快速響應用戶需求的變化，減少代碼開發(fā)的工作量，并且具有較強的通用性和移植性。將元數據與數據搜索引擎相結合，可大幅度提高數據搜索的效率和準確度。因此，只需對元數據進行有效的管理和維護，就可支撐用戶通過元數據挖掘有價值的信息和專業(yè)應用。

1.3 元數據驅動架構

元數據驅動架構是指把系統(tǒng)數據細化到元數據級別，運行時都根據元數據來處理數據，與具體的業(yè)務無關，通過元數據來驅動業(yè)務。當業(yè)務需求、業(yè)務流程和數據統(tǒng)計查詢方式等發(fā)生變更時，只需要修改元數據就可以實現對業(yè)務需求等信息的變更，無需在程序當中修改代碼，系統(tǒng)會抽取元數據庫中定義的相應內容并自動轉化為SQL對專業(yè)數據庫進行相應的操作，使得系統(tǒng)具有較強大的靈活性和適應性，可大幅度減少代碼開發(fā)工作量，提高開發(fā)效率，實現系統(tǒng)的敏捷快速迭代[4-7]。

2 ?元數據應用于地質實物管理

2.1 對象生命周期編目元數據

對象全生命周期管理是近年來提出來，比較先進的現代化資產管理理念，打破了信息壁壘，實現了跨部門的數據共享，以業(yè)務流為中心，提高了資產的管理和使用效率。地質實物主要是指油氣勘探開發(fā)過程中鉆井或者生產過程中獲取的巖心、巖屑、壁心和流體[8]，是科研生產最基礎的資料。地質實物的整個生命周期主要包括了鉆井取樣、庫房接受、入庫、上架、觀察、化驗取樣、分析化驗、銷毀等環(huán)節(jié)。通過管理地質實物生命周期編目的元數據，可實現地質實物的線上全生命周期動態(tài)管理。

2.2 數據集數據項元數據

元數據比較常用于描述關系型數據庫中的結構信息，包括了數據庫、數據表的名稱等相關的描述信息，以及數據表每個字段的屬性（數據類型、精度、值域以主外鍵關系等）。用戶或者其他系統(tǒng)需要基于這些元數據才可與系統(tǒng)交互獲取所需要的、正確的業(yè)務數據。而隨著大數據技術等信息技術的發(fā)展，誕生了很多非關系型數據庫如MongoDB等，但元數據仍然是這些非關系型數據庫數據查詢和數據處理的依據[9-11]。目前地質實物管理采用關系型數據庫oracle來管理，其中地質實物比較重要的4個數據集為巖心信息表、壁心信息表、巖屑信息表和流體信息表。通過對數據項元數據進行標準、描述和定義，極大地提高了數據的質量、便于用戶查詢數據。以壁心信息表（見圖2）為例，規(guī)定了井筒、壁心深度、壁心長度、壁心直徑、盒號和存放位置等各數據項的代碼、數據類型、主鍵、外鍵、唯一鍵、非空、精度、小數、量綱、值域、計算公式、附錄和描述等，開發(fā)人員通過元數據接口讀取這些元數據，就可以獲取數據字典，進行數據查詢、處理和專業(yè)應用開發(fā)。后期業(yè)務需求有變更，只需要在數據項元數據增加即可，擴展性很強，可快速響應新的業(yè)務需求，縮短開發(fā)周期。

2.3 管理效果

2.3.1 提高了數據質量

地質實物信息復雜多樣，數據類型眾多，有結構化、文檔、圖片、體數據、音視頻等，數據如果沒有一個統(tǒng)一的標準和規(guī)范，數據交換、傳輸和共享就會出現問題。元數據對地質實物數據的類型和結構進行了標準、規(guī)范和詳細的描述，并且元數據存儲了數據的類型和值域等約束條件信息，從而可以在源頭控制數據準確入庫、全局統(tǒng)一。通過元數據標準大幅度提高了數據質量，確保了數據的規(guī)范性、準確性、一致性、唯一性、完整性和可讀可用性，為系統(tǒng)的專業(yè)應用奠定了扎實的數據基礎[12]。

2.3.2 地質實物線全生命周期管理

基于元數據驅動技術和地質實物的全生命周期的規(guī)范管理，對地質實物從鉆井取樣、入庫、上架、化驗取樣、分析化驗、銷毀等全生命周期的規(guī)范化采集，利用科學系統(tǒng)的業(yè)務分析方法論，各環(huán)節(jié)按業(yè)務活動發(fā)生的6W要素進行描述和管理，為后面的線上動態(tài)可視化精細管理、勘探開發(fā)研究和庫房管理提供了夯實的數據基礎和支撐，很容易生產業(yè)務流、數據流，達到地質實物全生命周期數據閉環(huán)數字化管理。研究人員在系統(tǒng)中即可直觀獲得地質實物現狀和取樣使用記錄等生命歷程的綜合展示，無需跑去庫房實地查看，線下翻閱整理各種資料，極大地減輕了基礎科研人員的工作負擔，達到了“運籌帷幄之中”。

2.3.3 地質實物線上動態(tài)可視化展示

通過實物信息、實物余量、實物照片和實驗成果多維可視化展現（見圖3），可高效地指導用戶取樣流程。同時通過把取樣申請審批由線下轉到線上，系統(tǒng)可在取送樣申請審批流程中，自動根據申請內容與數據中心進行全局比對，直觀展示實物現狀照片和余量等各種綜合信息，智能判斷和輔助審批，判斷出擬分析化驗項目是否重復取樣、能不能滿足取樣需求，會不會造成過度取樣。使得管理者不再是“盲人摸象，拍腦袋決策”，實現了數據決策，有效控制地質實物重復取送樣現象，避免浪費珍貴的地質實物。同時審批流程由線下轉到線上，大幅度提高審批效率，縮短審批周期，極大地推進了科研工作進度。

通過元數據可以自由拼接字段，按需生成統(tǒng)計報表。系統(tǒng)實現了按盆地或按油田自動生成地質實物的統(tǒng)計報表，也可按其他不同維度、不同時間段，不同統(tǒng)計方式動態(tài)生成統(tǒng)計報表，改變了以往線下統(tǒng)計查詢和實地查看費時費力局面。

3 ?結語

元數據是科學管理數據資源的基礎，基于元數據的數據標準管理，為業(yè)務實體的定義、關系和業(yè)務規(guī)則到IT實現之間提供清晰、標準的語義轉換和數據字典，搭建了IT和業(yè)務之間的橋梁。并為與其他系統(tǒng)的交互，提供了數據標準和數據規(guī)則的描述。同時元數據驅動能夠對業(yè)務新需求做出快速反應，減輕了開發(fā)工作量，可實現系統(tǒng)快速迭代。

地質實物元數據的建立加強了數據共享和交換，實現了元數據驅動、數據自動更新和數據高效共享，提升了企業(yè)對地質實物數據資產的管控能力，做到了地質實物科學精細化管理，為后續(xù)智能化應用水平提供了扎實的數據基礎。

參考文獻

[1] 張國民.元數據的多角度詮釋[J].檔案，2019（5）：44-48.

[2] 王艷，沈曉晶.基于生命周期模型的海洋元數據研究及應用[J].山東大學學報：工學版，2019，49（3）：15-21.

[3] 張忠平，趙瑞珍.基于元數據驅動的ETL架構設計[J].計算機應用與軟件，2009，26（6）：61-63.

[4] 郁波，戴毅茹，凌衛(wèi)青.元數據驅動在試驗數據管理系統(tǒng)中的應用[J].機電產品開發(fā)與創(chuàng)新，2012，25（2）：71-73.

[5] 陳星童.元數據驅動的EPDM與E&P數據模型雙向映射研究[D].大慶：東北石油大學，2012.

[6] 張帥.元數據驅動的數據管理平臺設計與實現[D].南京：東南大學，2019.

[7] 欒曉宇.基于元數據驅動的企業(yè)級數據倉庫系統(tǒng)[J].計算機系統(tǒng)應用，2015，24（2）：99-107.

[8] 曾小明，夏如君，金云智，等.石油地質實物精細管理助力企業(yè)高質量發(fā)展[J].中國管理信息化，2020，23（23）：126-129.

[9] 彭廣亮.基于元數據的領域數據編輯模型研究[D].大慶：東北石油大學，2011.

[10] 李梅，鄒學森，毛善君，等.互聯網+煤層氣元數據管理系統(tǒng)關鍵技術研究[J].煤炭科學技術，2016，44（7）：80-85.

[11] 張孟.基于大數據的定標方法研究與初步應用[D].合肥：中國科學技術大學，2019.

[12] 郭紹斌.元數據驅動的數據質量監(jiān)控實踐[J].電腦知識與技術，2019，15（6）：3-5.

作者簡介：曾小明（1987—），男，碩士，工程師，研究方向為勘探開發(fā)信息化系統(tǒng)建設和管理。