新疆油田數(shù)據(jù)基礎(chǔ)設(shè)施架構(gòu)探索

胡順全，朱玉鳳，邵攀雷，肖 雨

（新疆油田數(shù)據(jù)公司，新疆 克拉瑪依 834000）

0 引言

我國(guó)已經(jīng)進(jìn)入數(shù)字經(jīng)濟(jì)時(shí)代，數(shù)據(jù)成為驅(qū)動(dòng)經(jīng)濟(jì)社會(huì)發(fā)展的關(guān)鍵生產(chǎn)要素和新引擎。國(guó)家在第十四個(gè)五年規(guī)劃和2035年遠(yuǎn)景目標(biāo)中提出加快數(shù)字化發(fā)展，建設(shè)數(shù)字中國(guó)，充分發(fā)揮海量數(shù)據(jù)和豐富應(yīng)用場(chǎng)景優(yōu)勢(shì)，促進(jìn)數(shù)字技術(shù)與實(shí)體經(jīng)濟(jì)深度融合，賦能傳統(tǒng)產(chǎn)業(yè)轉(zhuǎn)型升級(jí)，催生新產(chǎn)業(yè)、新業(yè)態(tài)、新模式，壯大經(jīng)濟(jì)發(fā)展新引擎［1］。在“十四五”期間，新疆油田提出了構(gòu)建“4類(lèi)應(yīng)用、1個(gè)數(shù)據(jù)治理體系、1個(gè)互聯(lián)網(wǎng)技術(shù)（Internet Technology，IT）支撐體系”的信息化建設(shè)總體藍(lán)圖，進(jìn)一步夯實(shí)數(shù)字化轉(zhuǎn)型基礎(chǔ)，推進(jìn)企業(yè)轉(zhuǎn)型升級(jí)。其中，作為IT支撐體系中承擔(dān)數(shù)據(jù)存儲(chǔ)及處理的存儲(chǔ)資源池和數(shù)據(jù)庫(kù)服務(wù)，需要存儲(chǔ)新疆油田全領(lǐng)域數(shù)據(jù)，為上層業(yè)務(wù)應(yīng)用提供全面、便捷的數(shù)據(jù)服務(wù)。目前，新疆油田數(shù)據(jù)存儲(chǔ)存在分散及缺乏統(tǒng)一管理手段的問(wèn)題。隨著物聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等新技術(shù)在油田的逐步應(yīng)用，數(shù)據(jù)資源種類(lèi)更加多樣，數(shù)據(jù)總量急劇增長(zhǎng)，而現(xiàn)有的油田數(shù)據(jù)存儲(chǔ)及管理基礎(chǔ)設(shè)施架構(gòu)卻不能滿足上層業(yè)務(wù)應(yīng)用在數(shù)據(jù)全面性、準(zhǔn)確性和及時(shí)性方面的迫切需要。因此，建設(shè)一個(gè)適合新疆油田業(yè)務(wù)發(fā)展的全域數(shù)據(jù)存儲(chǔ)管理體系成為當(dāng)務(wù)之急［2］。

1 設(shè)計(jì)方案

1.1 設(shè)計(jì)目標(biāo)

規(guī)劃、設(shè)計(jì)新疆油田數(shù)據(jù)基礎(chǔ)設(shè)施，能為油田全域數(shù)據(jù)匯聚、數(shù)據(jù)存儲(chǔ)與管理、數(shù)據(jù)治理和數(shù)據(jù)服務(wù)開(kāi)發(fā)提供統(tǒng)一的設(shè)施基礎(chǔ)，為數(shù)據(jù)共享和數(shù)據(jù)分析提供支撐，進(jìn)而提升數(shù)據(jù)管理和服務(wù)能力。

1.2 必要性

（1）規(guī)劃數(shù)據(jù)基礎(chǔ)設(shè)施，匯集新疆油田全域數(shù)據(jù)，是數(shù)字化轉(zhuǎn)型的需要。新疆油田除了集中管理的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)以外，還有大量分散存儲(chǔ)的數(shù)據(jù)資源（如地面建設(shè)數(shù)據(jù)、環(huán)評(píng)數(shù)據(jù)、視頻和影像數(shù)據(jù)等），現(xiàn)有的油田數(shù)據(jù)存儲(chǔ)及管理基礎(chǔ)設(shè)施架構(gòu)無(wú)法支持新疆油田數(shù)字化轉(zhuǎn)型業(yè)務(wù)，無(wú)法實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)體驗(yàn)、數(shù)據(jù)驅(qū)動(dòng)決策和數(shù)據(jù)驅(qū)動(dòng)流程。因此，急需規(guī)劃建設(shè)新疆油田數(shù)據(jù)基礎(chǔ)設(shè)施，匯聚油田全域數(shù)據(jù)，進(jìn)而滿足數(shù)字化轉(zhuǎn)型對(duì)數(shù)據(jù)的需求。

（2）提升數(shù)據(jù)共享能力，加快數(shù)據(jù)流動(dòng)，快速組織數(shù)據(jù)，進(jìn)而實(shí)現(xiàn)為上層業(yè)務(wù)應(yīng)用提供便捷服務(wù)的目標(biāo)。新疆油田數(shù)據(jù)資源類(lèi)別已由結(jié)構(gòu)化數(shù)據(jù)為主、非結(jié)構(gòu)化數(shù)據(jù)為輔，轉(zhuǎn)向非結(jié)構(gòu)化數(shù)據(jù)為主、結(jié)構(gòu)化數(shù)據(jù)為輔，數(shù)據(jù)量由萬(wàn)億字節(jié)（Trillionbyte，TB）級(jí)擴(kuò)展到千萬(wàn)億字節(jié)（Petabyte，PB）級(jí)，且不同應(yīng)用數(shù)據(jù)存放在不同地方，數(shù)據(jù)無(wú)法流動(dòng)，無(wú)法最大化地釋放數(shù)據(jù)價(jià)值。因此，急需制定數(shù)據(jù)存儲(chǔ)、管理和使用標(biāo)準(zhǔn)，構(gòu)造數(shù)據(jù)共享環(huán)境和數(shù)據(jù)流動(dòng)機(jī)制，提升數(shù)據(jù)共享能力，實(shí)現(xiàn)數(shù)據(jù)跨領(lǐng)域、跨專(zhuān)業(yè)的互聯(lián)互通應(yīng)用，滿足新疆油田數(shù)據(jù)治理和數(shù)據(jù)分析應(yīng)用需求［3］。

（3）以“云大物移智”為代表的信息技術(shù)發(fā)展迅速，促使現(xiàn)有數(shù)據(jù)存儲(chǔ)與管理體系架構(gòu)改變。隨著軟硬件技術(shù)的快速迭代與發(fā)展，云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)、移動(dòng)應(yīng)用、人工智能及邊緣計(jì)算技術(shù)已成為新一代信息技術(shù)的典型代表。“云大物移智”等技術(shù)的發(fā)展和完善，打破了傳統(tǒng)思維，加快了信息技術(shù)與制造業(yè)的深度融合，推進(jìn)了智能化建設(shè)。但是，新疆油田現(xiàn)有的數(shù)據(jù)存儲(chǔ)與管理架構(gòu)以傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)和傳統(tǒng)存儲(chǔ)為主，難以滿足非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)需求和支撐云計(jì)算、大數(shù)據(jù)、人工智能（Artificial Intelligence，AI）等技術(shù)應(yīng)用，急需構(gòu)建一套合理的數(shù)據(jù)存儲(chǔ)與管理基礎(chǔ)設(shè)施架構(gòu)，以滿足新疆油田大數(shù)據(jù)分析和便捷服務(wù)的需要。

1.3 研究?jī)?nèi)容

分析新疆油田存儲(chǔ)、數(shù)據(jù)庫(kù)及備份的現(xiàn)有基礎(chǔ)架構(gòu)，結(jié)合智能化油田對(duì)信息化建設(shè)的要求和國(guó)內(nèi)外存儲(chǔ)、數(shù)據(jù)庫(kù)、備份技術(shù)的現(xiàn)狀及發(fā)展趨勢(shì)，規(guī)劃、設(shè)計(jì)適合新疆油田的數(shù)據(jù)基礎(chǔ)設(shè)施，制定數(shù)據(jù)入庫(kù)、存儲(chǔ)和使用標(biāo)準(zhǔn)，設(shè)計(jì)數(shù)據(jù)基礎(chǔ)設(shè)施資源管理系統(tǒng)［4］。

1.4 設(shè)計(jì)原則

（1）數(shù)據(jù)流向。①數(shù)據(jù)唯一性：一份數(shù)據(jù)只能進(jìn)入關(guān)系型數(shù)據(jù)庫(kù)、非關(guān)系型數(shù)據(jù)庫(kù)或數(shù)據(jù)體池中的其中一個(gè)地方存儲(chǔ)；②數(shù)據(jù)表：優(yōu)先進(jìn)入關(guān)系型數(shù)據(jù)庫(kù)，如果有特殊需要，可進(jìn)入數(shù)據(jù)體池存儲(chǔ)；③數(shù)據(jù)體：優(yōu)先進(jìn)入數(shù)據(jù)體池，再考慮進(jìn)入關(guān)系型數(shù)據(jù)庫(kù)；④實(shí)時(shí)數(shù)據(jù)：進(jìn)入數(shù)據(jù)體池存儲(chǔ)；⑤專(zhuān)業(yè)圖件/照片/文檔：進(jìn)入非關(guān)系型數(shù)據(jù)庫(kù)、具有文檔數(shù)據(jù)庫(kù)內(nèi)核的數(shù)據(jù)庫(kù)或數(shù)據(jù)體池中存儲(chǔ)；⑥視頻/音頻：多為生產(chǎn)視頻及安防視頻，優(yōu)先通過(guò)流媒體服務(wù)器進(jìn)入數(shù)據(jù)體池中存儲(chǔ)。

（2）數(shù)據(jù)庫(kù)系統(tǒng)。①采用數(shù)據(jù)庫(kù)集群或分布式數(shù)據(jù)庫(kù)；②同類(lèi)型數(shù)據(jù)庫(kù)中，采集層、共享層及共享交換層數(shù)據(jù)庫(kù)為同一廠家產(chǎn)品以保證數(shù)據(jù)的一致性；③現(xiàn)有Oracle數(shù)據(jù)庫(kù)保留，不再采集數(shù)據(jù)，逐步通過(guò)數(shù)據(jù)治理將存量數(shù)據(jù)導(dǎo)入到共享庫(kù)中；④硬件兼容：支持X86與ARM架構(gòu)。

（3）存儲(chǔ)系統(tǒng)。①支持塊、文件和對(duì)象數(shù)據(jù)存儲(chǔ)；②采用X86架構(gòu)部署分布式存儲(chǔ)軟件，搭建分布式存儲(chǔ)集群。

1.5 總體框架

整個(gè)數(shù)據(jù)基礎(chǔ)設(shè)計(jì)架構(gòu)分為數(shù)據(jù)存儲(chǔ)層和數(shù)據(jù)管理層，前者采用軟件定義分布式存儲(chǔ)系統(tǒng)，后者則是針對(duì)現(xiàn)有Oracle RAC集群進(jìn)行拆分，對(duì)已有的其他數(shù)據(jù)庫(kù)進(jìn)行整合與替代，規(guī)范非結(jié)構(gòu)化數(shù)據(jù)庫(kù)，分層分模塊設(shè)計(jì)數(shù)據(jù)庫(kù)系統(tǒng)方案。此外，數(shù)據(jù)基礎(chǔ)設(shè)計(jì)架構(gòu)可根據(jù)采集處理流程分為采集層、共享層；根據(jù)數(shù)據(jù)類(lèi)型分為關(guān)系數(shù)據(jù)庫(kù)、空間數(shù)據(jù)庫(kù)、時(shí)序數(shù)據(jù)庫(kù)和非結(jié)構(gòu)化數(shù)據(jù)庫(kù)；根據(jù)業(yè)務(wù)類(lèi)型分為生產(chǎn)數(shù)據(jù)與管理數(shù)據(jù)。

1.5.1 數(shù)據(jù)存儲(chǔ)層

在通用的X86架構(gòu)服務(wù)器上部署分布式存儲(chǔ)軟件的方式搭建分布式存儲(chǔ)集群，將分散的存儲(chǔ)介質(zhì)聚合成統(tǒng)一的存儲(chǔ)資源池，為應(yīng)用數(shù)據(jù)庫(kù)、云平臺(tái)、海量非結(jié)構(gòu)化數(shù)據(jù)、物聯(lián)網(wǎng)、大數(shù)據(jù)及視頻監(jiān)控提供統(tǒng)一的塊、文件、對(duì)象、大數(shù)據(jù)訪問(wèn)接口，同時(shí)提供企業(yè)級(jí)高級(jí)服務(wù)功能，用以保障存儲(chǔ)系統(tǒng)的可靠性、擴(kuò)展性及可維護(hù)性等性能，幫助客戶構(gòu)建統(tǒng)一的數(shù)據(jù)底座。在數(shù)據(jù)底座之上建立塊、文件、對(duì)象和大數(shù)據(jù)存儲(chǔ)等不同類(lèi)型資源池，不同資源池采用不同安全策略，為不同類(lèi)型的業(yè)務(wù)提供存儲(chǔ)服務(wù)。同時(shí)實(shí)現(xiàn)數(shù)據(jù)流動(dòng)和自動(dòng)分層，以及數(shù)據(jù)備份、歸檔等。

1.5.2 數(shù)據(jù)采集層

規(guī)劃關(guān)系型數(shù)據(jù)庫(kù)、空間數(shù)據(jù)庫(kù)、時(shí)序數(shù)據(jù)庫(kù)和文檔數(shù)據(jù)庫(kù)4套數(shù)據(jù)庫(kù)?？紤]數(shù)據(jù)庫(kù)性能及后期維護(hù)，采集層數(shù)據(jù)庫(kù)按照數(shù)據(jù)類(lèi)型進(jìn)行分庫(kù)，原則上每個(gè)大類(lèi)數(shù)據(jù)進(jìn)入一個(gè)數(shù)據(jù)庫(kù)集群或分布式數(shù)據(jù)庫(kù)，若后期數(shù)據(jù)規(guī)模增長(zhǎng)，對(duì)原有集群或分布式數(shù)據(jù)庫(kù)進(jìn)行擴(kuò)容。原Oracle RAC保留，但不再采集數(shù)據(jù)，逐步通過(guò)數(shù)據(jù)治理將存量數(shù)據(jù)導(dǎo)入到共享庫(kù)中。

1.5.3 數(shù)據(jù)共享層

規(guī)劃關(guān)系型數(shù)據(jù)庫(kù)、空間數(shù)據(jù)庫(kù)、時(shí)序數(shù)據(jù)庫(kù)和文檔數(shù)據(jù)庫(kù)4套數(shù)據(jù)庫(kù)。通過(guò)對(duì)采集層數(shù)據(jù)庫(kù)分層來(lái)解決數(shù)據(jù)庫(kù)性能瓶頸以及安全等問(wèn)題；采集層數(shù)據(jù)庫(kù)通過(guò)數(shù)據(jù)治理將清洗過(guò)的數(shù)據(jù)存入共享層數(shù)據(jù)庫(kù)，方便后續(xù)數(shù)據(jù)服務(wù)、分析及共享。

1.5.4 數(shù)據(jù)交換層

規(guī)劃關(guān)系型數(shù)據(jù)庫(kù)、空間數(shù)據(jù)庫(kù)、時(shí)序數(shù)據(jù)庫(kù)和文檔數(shù)據(jù)庫(kù)4套數(shù)據(jù)庫(kù)。數(shù)據(jù)服務(wù)對(duì)象通過(guò)邏輯數(shù)據(jù)湖目錄查找到所需數(shù)據(jù)，經(jīng)服務(wù)權(quán)限管理后將數(shù)據(jù)脫敏放入共享交換庫(kù)，供數(shù)據(jù)服務(wù)對(duì)象使用；各類(lèi)應(yīng)用產(chǎn)生的數(shù)據(jù)結(jié)果暫存在共享交換庫(kù)中，按規(guī)定期限清理或者從共享交換庫(kù)存入共享庫(kù)或數(shù)據(jù)湖中。

2 預(yù)期效果

新疆油田數(shù)據(jù)基礎(chǔ)設(shè)施落地建成后，將在數(shù)據(jù)共享、數(shù)據(jù)應(yīng)用、IT管理和油田數(shù)字化轉(zhuǎn)型等方面取得一定成效。

匯聚新疆油田全域數(shù)據(jù)，打造開(kāi)放的數(shù)據(jù)生態(tài)環(huán)境，讓數(shù)據(jù)存得了、流得動(dòng)、用得好，將數(shù)據(jù)資源轉(zhuǎn)變?yōu)閿?shù)據(jù)資產(chǎn)，最大化地發(fā)掘數(shù)據(jù)價(jià)值。打破業(yè)務(wù)領(lǐng)域之間數(shù)據(jù)壁壘，實(shí)現(xiàn)各業(yè)務(wù)領(lǐng)域之間數(shù)據(jù)互聯(lián)互通，為上層油氣勘探、油藏評(píng)價(jià)、油氣生產(chǎn)和經(jīng)營(yíng)管理等業(yè)務(wù)提供統(tǒng)一的數(shù)據(jù)入口和便捷的數(shù)據(jù)服務(wù)［5］。

為數(shù)據(jù)治理和數(shù)據(jù)中臺(tái)提供統(tǒng)一的基礎(chǔ)環(huán)境和數(shù)據(jù)資源，加快數(shù)據(jù)資產(chǎn)化和業(yè)務(wù)數(shù)據(jù)價(jià)值變現(xiàn)，讓數(shù)據(jù)參與到業(yè)務(wù)中，激活數(shù)據(jù)價(jià)值，最終給新疆油田帶來(lái)各種適配業(yè)務(wù)場(chǎng)景的數(shù)據(jù)解決方案。通過(guò)數(shù)據(jù)服務(wù)構(gòu)建，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)化、服務(wù)化、復(fù)用化，為油田業(yè)務(wù)提供高效、便捷的數(shù)據(jù)服務(wù)能力。

實(shí)現(xiàn)數(shù)據(jù)基礎(chǔ)設(shè)施的集中統(tǒng)一管理、監(jiān)控和運(yùn)維，消除過(guò)去數(shù)據(jù)存儲(chǔ)架構(gòu)不合理帶來(lái)的數(shù)據(jù)庫(kù)崩潰或應(yīng)用中斷的風(fēng)險(xiǎn)，實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)架構(gòu)真正7×24小時(shí)的穩(wěn)定運(yùn)行，為新疆油田數(shù)字化轉(zhuǎn)型提供穩(wěn)定、便捷的數(shù)據(jù)基礎(chǔ)設(shè)施架構(gòu)。

匯聚的全域數(shù)據(jù)將成為油田數(shù)字化轉(zhuǎn)型的重要基礎(chǔ)資源和生產(chǎn)要素，從而使得油田業(yè)務(wù)發(fā)展由業(yè)務(wù)驅(qū)動(dòng)逐步轉(zhuǎn)向數(shù)據(jù)驅(qū)動(dòng)，為數(shù)字化轉(zhuǎn)型過(guò)程中的人工智能、數(shù)據(jù)分析和智能應(yīng)用等提供統(tǒng)一環(huán)境和數(shù)據(jù)資源，有助于數(shù)據(jù)與業(yè)務(wù)深度融合與集成，更高質(zhì)量地助力新疆油田數(shù)字化轉(zhuǎn)型，促進(jìn)“油公司”模式的高質(zhì)量發(fā)展［6］。

3 結(jié)語(yǔ)

在數(shù)據(jù)基礎(chǔ)設(shè)施架構(gòu)設(shè)計(jì)過(guò)程中，數(shù)據(jù)分層設(shè)計(jì)、數(shù)據(jù)流向設(shè)計(jì)、存儲(chǔ)及數(shù)據(jù)庫(kù)產(chǎn)品匹配的優(yōu)劣，將會(huì)影響整體數(shù)據(jù)設(shè)施架構(gòu)的性能，影響數(shù)據(jù)流動(dòng)及能否靈活、動(dòng)態(tài)、快速地組織數(shù)據(jù)為上層業(yè)務(wù)應(yīng)用提供便捷服務(wù)。因此，在架構(gòu)設(shè)計(jì)的同時(shí)需加強(qiáng)產(chǎn)品功能及性能、產(chǎn)品與架構(gòu)、業(yè)務(wù)場(chǎng)景匹配適應(yīng)度的測(cè)試。