數(shù)字油田分布式計(jì)算研究

程艷楠

[摘 要]近年來，由于信息技術(shù)的不斷進(jìn)步，油田生產(chǎn)設(shè)備數(shù)量正在迅速增長。文章主要研究了數(shù)字油田分布式計(jì)算的相關(guān)內(nèi)容，通過協(xié)調(diào)和管理服務(wù)器集群，構(gòu)建了可處理、高并發(fā)、快速響應(yīng)的高性能分布式應(yīng)用服務(wù)集群。隨著數(shù)字油田的不斷發(fā)展，該集群滿足未來大數(shù)據(jù)環(huán)境下的油田應(yīng)用軟件開發(fā)需求，為采油廠數(shù)字化建設(shè)提供支持。

[關(guān)鍵詞]數(shù)字油田;分布式計(jì)算;數(shù)據(jù)

0? ? ?引 言

隨著數(shù)字化油田的不斷建設(shè)，物聯(lián)網(wǎng)設(shè)備采集的數(shù)據(jù)量急劇增加，油田各專業(yè)數(shù)據(jù)呈井噴式爆發(fā)。隨著油田數(shù)據(jù)量的增長，物聯(lián)網(wǎng)設(shè)備不斷投產(chǎn)，給今后的應(yīng)用軟件開發(fā)帶來了新的挑戰(zhàn)，如何處理大數(shù)量的數(shù)據(jù)檢索任務(wù)，并完成高并發(fā)的量的任務(wù)請求，已經(jīng)成為油田企業(yè)現(xiàn)階段需要解決的問題。對此，開展分布式服務(wù)器集群研究，利用Zookeeper服務(wù)框架，實(shí)現(xiàn)分布式服務(wù)器集群的任務(wù)協(xié)調(diào)管理，能為大數(shù)據(jù)環(huán)境下的軟件開發(fā)提供支撐。

1? ? ?數(shù)字油田分布式計(jì)算研究的必要性

1.1? ?解決數(shù)字油田應(yīng)用中高并發(fā)問題

高并發(fā)指通過設(shè)計(jì)保證系統(tǒng)能夠同時并行處理很多請求。隨著數(shù)字化油田的建設(shè)，為了快速掌握油井生產(chǎn)情況，相關(guān)研究人員應(yīng)針對自動化設(shè)備采集的實(shí)時油井參數(shù)數(shù)據(jù)進(jìn)行分析，但是油井工況種類繁多，每種工況診斷依據(jù)的數(shù)據(jù)都不相同，需要單獨(dú)分析每種工況。在這種情況下，油田生產(chǎn)中工況分析的計(jì)算量非常大，隨之產(chǎn)生很高的并發(fā)工作量，傳統(tǒng)的部署方式可能無法滿足處理高并發(fā)任務(wù)的能力，從而導(dǎo)致服務(wù)器高負(fù)荷、滿負(fù)荷運(yùn)轉(zhuǎn)，甚至使系統(tǒng)崩潰。

1.2? ?解決海量數(shù)據(jù)檢索性能問題

隨著油田信息化的不斷發(fā)展，油田產(chǎn)生的數(shù)據(jù)量將急劇增加，例如，油田開發(fā)、視頻、文檔等信息數(shù)據(jù)。隨著數(shù)據(jù)量的逐漸增多，數(shù)據(jù)檢索的效率將直線下降。在數(shù)字油田的建設(shè)過程中，相關(guān)應(yīng)用軟件必須能夠快速查詢海量的生產(chǎn)數(shù)據(jù)，如果無法高效、準(zhǔn)確地檢索生產(chǎn)數(shù)據(jù)，將會降低技術(shù)人員工作效率，也無法滿足在大數(shù)據(jù)環(huán)境下的應(yīng)用軟件業(yè)務(wù)需求。為了解決以上問題，油田企業(yè)可以進(jìn)行分布式計(jì)算研究，通過建立分布式的服務(wù)器集群，配合統(tǒng)一的任務(wù)調(diào)度管理服務(wù)，將高并發(fā)的任務(wù)量分解給多臺服務(wù)器同時進(jìn)行處理，采用水平擴(kuò)展的方式提高集群的整體性能，從而提高整個系統(tǒng)的運(yùn)行效率。

2? ? ?技術(shù)原理介紹

構(gòu)建分布式服務(wù)能夠滿足數(shù)字油田產(chǎn)生的高并發(fā)量的任務(wù)需求。所謂分布式，指數(shù)據(jù)和程序可以不在一個服務(wù)器上，而是分散到多個服務(wù)器。利用分布式有利于工作人員在整個計(jì)算機(jī)系統(tǒng)上分配與優(yōu)化任務(wù)，克服了傳統(tǒng)集中式系統(tǒng)可能導(dǎo)致中心主機(jī)資源緊張與響應(yīng)速度慢的缺陷。通過組建高可用性的服務(wù)器集群以及提供統(tǒng)一的任務(wù)調(diào)度管理服務(wù)，能夠合理分配任務(wù)。當(dāng)有任務(wù)需要處理時，業(yè)務(wù)服務(wù)器將與任務(wù)調(diào)度服務(wù)進(jìn)行通信，并開始處理相關(guān)任務(wù)，如服務(wù)器的上、下線狀態(tài)以及任務(wù)的分配工作。

2.1? ?服務(wù)器集群

服務(wù)器集群指將許多服務(wù)器集中起來并一起提供同一種服務(wù)，從客戶端看，好像只有一個服務(wù)器工作。集群可以利用多個計(jì)算機(jī)進(jìn)行并行計(jì)算，從而獲得很高的計(jì)算速度，以提高計(jì)算能力，相互備份數(shù)據(jù)，使任何一臺服務(wù)器掉線后，都能保證系統(tǒng)正常運(yùn)行。

2.2? ?高可用性

高可用是分布式系統(tǒng)架構(gòu)設(shè)計(jì)中非常重要的因素之一，一般指通過設(shè)計(jì)減少系統(tǒng)不能提供服務(wù)的時間。利用監(jiān)聽機(jī)制，實(shí)時掌握每個服務(wù)器的狀態(tài)，如果集群中的任何一臺服務(wù)器發(fā)生故障，分配給該服務(wù)器的任務(wù)將由主服務(wù)器分配給其他服務(wù)器處理，從而提高集群的容錯能力，時刻保證服務(wù)器的處理能力。

3? ? ?技術(shù)應(yīng)用實(shí)踐

采用ZooKeeper框架搭建任務(wù)調(diào)度機(jī)制，利用機(jī)房閑置的服務(wù)器搭建服務(wù)器集群，依據(jù)ZooKeeper框架應(yīng)用程序編程接口（Application Programming Interface，API），開發(fā)客戶端注冊程序并部署在各臺服務(wù)器上，當(dāng)服務(wù)器上線后將自動與ZooKeeper服務(wù)器通信，并注冊上線。

3.1? ?ZooKeeper集群

ZooKeeper是一個分布式的、開放源碼的應(yīng)用程序協(xié)調(diào)服務(wù)。Zookeeper的工作集群可以簡單分成兩類：一類是Leader節(jié)點(diǎn)，其中，Leader節(jié)點(diǎn)是唯一存在的，是在ZooKeeper啟動時通過選舉機(jī)制產(chǎn)生的;另一類是Follower節(jié)點(diǎn)。

ZooKeeper的選舉機(jī)制是保證ZooKeeper分布式數(shù)據(jù)保持一致的關(guān)鍵，當(dāng)ZooKeeper集群初始化時會進(jìn)行選舉，必須由兩臺以上的服務(wù)器完成選舉，當(dāng)選舉開始時，每個服務(wù)器將會投出一票。由于是初始情況，第一個服務(wù)器和第二個服務(wù)器都會將自己作為Leader服務(wù)器進(jìn)行投票，每次投票會包含所推舉的服務(wù)器的myid和ZXID，使用（myid，ZXID）表示，此時第一個服務(wù)器的投票為（1，0），第二個服務(wù)器的投票為（2，0），然后將投票信息發(fā)給集群中其他服務(wù)器。集群中的每個服務(wù)器收到投票信息后，首先判斷該投票的有效性。在投票完成后，會進(jìn)行投票統(tǒng)計(jì)，然后確定Leader服務(wù)器，然后其他的服務(wù)器將會更新狀態(tài)為FOLLOWING。因此，Zookeeper集群中節(jié)點(diǎn)個數(shù)一般為奇數(shù)個，若集群中Leader節(jié)點(diǎn)缺失，剩余節(jié)點(diǎn)個數(shù)在半數(shù)以上時，就可以通過選舉機(jī)制推舉新的Leader節(jié)點(diǎn)，繼續(xù)對外提供服務(wù)。Zookeeper的數(shù)據(jù)結(jié)構(gòu)類似于樹形節(jié)點(diǎn)，其節(jié)點(diǎn)名稱叫Znode。其中，Znode有兩種類型，即臨時節(jié)點(diǎn)和持久節(jié)點(diǎn)。臨時的Znode，客戶端和服務(wù)器端斷開連接后，會自動刪除創(chuàng)建的節(jié)點(diǎn);持久的Znode，客戶端和服務(wù)器端斷開連接后，將不刪除創(chuàng)建的節(jié)點(diǎn)。

當(dāng)客戶端發(fā)起事務(wù)請求，事務(wù)請求的結(jié)果在整個Zookeeper集群中所有機(jī)器上的應(yīng)用情況一致，不會出現(xiàn)集群中部分機(jī)器應(yīng)用了該事務(wù)，而另外一部分集群中機(jī)器沒有應(yīng)用該事務(wù)的情況。在Zookeeper集群中的任何一臺機(jī)器可以看到服務(wù)器的數(shù)據(jù)模型一致。Zookeeper能夠保證客戶端請求的順序，每個請求分配一個全局唯一的遞增編號，用來反映事務(wù)操作的先后順序。Zookeeper將全量數(shù)據(jù)保存在內(nèi)存中，并直接服務(wù)于所有的非事務(wù)請求，在以讀操作為主的場景中性能非常突出。

3.2? ?分布式計(jì)算實(shí)現(xiàn)過程

通過建立ZooKeeper服務(wù)器集群負(fù)責(zé)任務(wù)服務(wù)器任務(wù)協(xié)調(diào)工作，當(dāng)任務(wù)服務(wù)器上線后，自動與ZooKeeper集群中的Leader服務(wù)器建立客戶端連接，并建立一個臨時節(jié)點(diǎn)，此時ZooKeeper集群視為此任務(wù)服務(wù)器可以上線工作，并為其分配任務(wù)。當(dāng)有任務(wù)請求時，請求服務(wù)器會讀取ZooKeeper集群中的臨時節(jié)點(diǎn)數(shù)據(jù)，把分析任務(wù)交給相應(yīng)的服務(wù)器進(jìn)行處理。當(dāng)服務(wù)器某個節(jié)點(diǎn)接受了分析任務(wù)時，會在ZooKeeper集群中對應(yīng)的臨時節(jié)點(diǎn)下創(chuàng)建一個臨時節(jié)點(diǎn)，代表該臺服務(wù)器正在處理一個任務(wù)。此時如果該臺服務(wù)器接受了任務(wù)，那么會繼續(xù)在該臺服務(wù)器的臨時節(jié)點(diǎn)下創(chuàng)建相應(yīng)的臨時節(jié)點(diǎn)，服務(wù)器處理完成任務(wù)后就會自動刪除這些子臨時節(jié)點(diǎn)。因此，服務(wù)器對應(yīng)ZooKeeper集群臨時節(jié)點(diǎn)下的子臨時節(jié)點(diǎn)數(shù)量就代表該臺服務(wù)器目前所擁有的任務(wù)數(shù)量。在集群接收到任務(wù)后，會根據(jù)各服務(wù)器節(jié)點(diǎn)的任務(wù)數(shù)量情況為新任務(wù)合理地分配服務(wù)器，從而使每個服務(wù)器都處在均衡的工作狀態(tài)，進(jìn)而大大提高了服務(wù)器的工作效率。利用ZooKeeper的短暫節(jié)點(diǎn)的特性，客戶端和服務(wù)器端斷開連接后，會自動刪除創(chuàng)建的節(jié)點(diǎn)。在每臺服務(wù)器上線后，與ZooKeeper集群建立客戶端，這時ZooKeeper集群會為該臺服務(wù)器創(chuàng)建一個臨時節(jié)點(diǎn)，當(dāng)該服務(wù)器下線后會自動刪除該節(jié)點(diǎn)，表示該臺服務(wù)器下線，之后不會給該服務(wù)器分配任務(wù)。

4? ? ?結(jié) 語

目前，各大油田都在進(jìn)行數(shù)字化建設(shè)、智能化轉(zhuǎn)型，在未來的工作場景中，采用機(jī)器學(xué)習(xí)、大數(shù)據(jù)分析等技術(shù)，實(shí)現(xiàn)生產(chǎn)的智能化管控，經(jīng)營管理輔助決策，將成為油田發(fā)展的趨勢。因此，如何有效利用海量油田數(shù)據(jù)的價值將成為接下來油田企業(yè)需要解決的問題。本文通過研究分布式計(jì)算，將研究成果逐步應(yīng)用到采油廠數(shù)字化、智能化建設(shè)中，助力解決油田大數(shù)據(jù)應(yīng)用中的實(shí)際問題，為采油廠數(shù)字化建設(shè)提供技術(shù)保障。

主要參考文獻(xiàn)

[1]何生厚，毛鋒，數(shù)字油田的理論設(shè)計(jì)與實(shí)踐[M].北京：科學(xué)出版社，2001：240.

[2]楊世海，高玉龍，鄭光榮，等.長慶油田數(shù)字化管理建設(shè)探索與實(shí)踐[J].石油工業(yè)技術(shù)監(jiān)督，2011（5）：1-4.