基于強(qiáng)化學(xué)習(xí)的液動(dòng)節(jié)流閥閥位控制策略

徐寶昌　尤鵬翔　陳貽祺　孟卓然　劉偉

摘 要 控壓鉆井是一種復(fù)雜的鉆井工藝，自動(dòng)節(jié)流管匯上節(jié)流閥的控制是實(shí)現(xiàn)井底壓力精確控制的關(guān)鍵技術(shù)。首先，建立控壓鉆井裝置中液動(dòng)節(jié)流閥的動(dòng)態(tài)模型，該節(jié)流閥采用比例伺服閥作為液壓調(diào)節(jié)元件，采用控制器控制比例伺服閥的閥芯移動(dòng)改變液動(dòng)節(jié)流閥液壓缸中液壓油的流入量，進(jìn)而實(shí)現(xiàn)對(duì)液動(dòng)節(jié)流閥閥位的控制。其次，提出一種基于深度強(qiáng)化學(xué)習(xí)的液動(dòng)節(jié)流閥閥位控制策略，該策略利用DQN（Deep Q-Network）算法，通過液動(dòng)節(jié)流閥和智能體相互交換過程中學(xué)習(xí)比例伺服閥對(duì)液動(dòng)節(jié)流閥閥位的控制。最后，通過仿真和現(xiàn)場(chǎng)試驗(yàn)驗(yàn)證了閥位控制策略的有效性，為成功實(shí)施控壓鉆井提供了保障。

關(guān)鍵詞 液動(dòng)節(jié)流閥 閥位控制 控壓鉆井 強(qiáng)化學(xué)習(xí) DQN算法 比例伺服閥

中圖分類號(hào) TP273? ?文獻(xiàn)標(biāo)識(shí)碼 A? ?文章編號(hào) 1000-3932（2023）04-0419-10

石油資源的開發(fā)和利用正逐步走向深部復(fù)雜地層［1］，為了解決井下壓力窗口過窄的安全問題，國(guó)內(nèi)外學(xué)者對(duì)控壓鉆井技術(shù)（Managed Pressure Drilling，MPD）中的井筒壓力控制方法進(jìn)行了廣泛的研究。隨著控壓鉆井技術(shù)的發(fā)展，不僅可以準(zhǔn)確地控制井筒環(huán)空壓力分布，還可以清晰地分析井下壓力環(huán)境的時(shí)空變化，實(shí)時(shí)科學(xué)地管理環(huán)空壓力分布，保障控壓鉆井的作業(yè)安全［2～4］。控壓鉆井是一種過平衡鉆井技術(shù)，通過改變自動(dòng)節(jié)流管匯上的節(jié)流閥閥門開度控制鉆井液回流到井口的壓力，以保持井口套管壓力的可控性［5，6］，進(jìn)而將井底壓力的變化控制在小范圍內(nèi)，大幅提高鉆井速度，縮短鉆井周期，使鉆井作業(yè)更加安全，同時(shí)有效解決井涌、漏氣、有害氣體泄漏等問題。由于節(jié)流閥長(zhǎng)時(shí)間工作在高壓環(huán)境中，其工作特性和可靠性將直接影響MPD實(shí)施的成功率［7］。目前，控壓鉆井技術(shù)對(duì)井口壓力的控制要求正逐漸由高壓差控制轉(zhuǎn)向高精度控制，因此對(duì)節(jié)流壓力和節(jié)流閥閥位的控制成為核心問題。

現(xiàn)有的用于控壓鉆井的節(jié)流閥產(chǎn)品比較成熟，Weatherford、At Balance和Halliburton所生產(chǎn)的鉆井節(jié)流閥已成功服務(wù)于數(shù)百口井，并且取得了良好的應(yīng)用效果［8］。T3公司所設(shè)計(jì)的各種新型閥芯結(jié)構(gòu)的執(zhí)行機(jī)構(gòu)（既包括了傳統(tǒng)節(jié)流閥的液動(dòng)執(zhí)行機(jī)構(gòu)和手動(dòng)執(zhí)行機(jī)構(gòu)，又包括了節(jié)流閥的電磁閥執(zhí)行機(jī)構(gòu)、活塞執(zhí)行機(jī)構(gòu)、渦輪執(zhí)行機(jī)構(gòu)、提升執(zhí)行機(jī)構(gòu)、電動(dòng)執(zhí)行機(jī)構(gòu)和徑向手動(dòng)執(zhí)行機(jī)構(gòu)［9］）也得到了鉆井行業(yè)的認(rèn)可?？貕汗?jié)流閥采用電液比例控制技術(shù)，是指實(shí)現(xiàn)液壓控制元件被控量和控制量之間線性轉(zhuǎn)換關(guān)系的技術(shù)［10～12］。在鉆井作業(yè)過程中，精準(zhǔn)的節(jié)流閥閥位控制是保證精確的井口回壓的前提，可以有效消除井口安全隱患，避免引發(fā)井涌、漏液等復(fù)雜事故。

隨著伺服技術(shù)的興起，常見的液動(dòng)節(jié)流閥閥位控制技術(shù)是利用比例伺服閥來控制液動(dòng)節(jié)流閥閥位的［10～12］。由于比例伺服閥閥門開度對(duì)節(jié)流閥的閥位控制具有典型的非線性特征，因此在現(xiàn)場(chǎng)應(yīng)用中，常規(guī)PID算法難以滿足閥位無超調(diào)且跟蹤速度快的要求。為此，筆者采用提出智能控制算法來解決該問題。強(qiáng)化學(xué)習(xí)作為人工智能的熱點(diǎn)之一，已經(jīng)在自控領(lǐng)域得到了廣泛的研究和應(yīng)用。強(qiáng)化學(xué)習(xí)可以像人一樣進(jìn)行自我調(diào)整、自我學(xué)習(xí)，在未知環(huán)境中通過不斷試錯(cuò)，積極主動(dòng)地完成目標(biāo)。隨著智能控制理論的深入發(fā)展，越來越多的領(lǐng)域向著智能化方向發(fā)展。文獻(xiàn)［13］介紹了深度強(qiáng)化學(xué)習(xí)控制方法，將設(shè)計(jì)的DQN算法應(yīng)用于熱過程控制，提出獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)原則，經(jīng)驗(yàn)回放更新Q網(wǎng)絡(luò)的方法以及控制器的實(shí)現(xiàn)方法。文獻(xiàn)［14］設(shè)計(jì)了一種利用DQN開發(fā)的用于自動(dòng)駕駛系統(tǒng)的智能動(dòng)力控制器，仿真結(jié)果表明該控制器具有從駕駛經(jīng)驗(yàn)中學(xué)習(xí)制定合理控制策略的能力，能夠適應(yīng)不同的駕駛條件和環(huán)境變化。

筆者基于深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)相結(jié)合的深度Q網(wǎng)絡(luò)，給定控壓節(jié)流閥閥位控制策略。DQN算法的特點(diǎn)是以值為基礎(chǔ)，可單步更新，只需輸入狀態(tài)信息，輸出為所有對(duì)應(yīng)動(dòng)作的Q值，適用于動(dòng)作空間不大的情況。筆者設(shè)計(jì)的動(dòng)作空間為比例伺服閥的控制指令，動(dòng)作空間小，可直觀反映液動(dòng)節(jié)流閥閥位的變化情況，獎(jiǎng)勵(lì)函數(shù)是根據(jù)精準(zhǔn)控制節(jié)流閥閥位的變化過程所設(shè)計(jì)的。最后通過對(duì)節(jié)流閥閥位控制的仿真和現(xiàn)場(chǎng)試驗(yàn)，驗(yàn)證了閥位控制策略的有效性。

1 液動(dòng)節(jié)流閥工作原理

為了保證穩(wěn)定、連續(xù)的控壓鉆井工作，筆者研發(fā)了一套液動(dòng)節(jié)流閥自控系統(tǒng)，系統(tǒng)采用比例伺服閥作為電動(dòng)調(diào)節(jié)機(jī)構(gòu)（T3公司的API 6A液動(dòng)節(jié)流閥作為執(zhí)行機(jī)構(gòu)），從而實(shí)現(xiàn)對(duì)液動(dòng)節(jié)流閥的閥位控制，提高液動(dòng)節(jié)流閥閥位控制的安全性和高效性。

液動(dòng)節(jié)流閥的工作原理如圖1所示。當(dāng)電磁鐵A、B接收到來自控制器的電流信號(hào)時(shí)，比例伺服閥的閥芯將以不同的速度移動(dòng)，利用閥口開度變化改變液動(dòng)節(jié)流閥液壓缸中液壓油的流入量，從而控制液動(dòng)節(jié)流閥的閥位。其中，液壓油增壓動(dòng)力來源于電動(dòng)液壓泵或手動(dòng)液壓泵［15］。

2 控壓節(jié)流閥的動(dòng)態(tài)模型

3 DQN控制算法

3.1 DQN算法

3.2 閥位控制算法的深度強(qiáng)化學(xué)習(xí)

在本課題中，液動(dòng)節(jié)流閥的模型僅用于模擬鉆井現(xiàn)場(chǎng)液動(dòng)節(jié)流閥的動(dòng)態(tài)變化，即作為強(qiáng)化學(xué)習(xí)的環(huán)境使用。對(duì)于節(jié)流閥的控制問題，強(qiáng)化學(xué)習(xí)的基本內(nèi)容主要體現(xiàn)在液動(dòng)節(jié)流閥從一個(gè)狀態(tài)轉(zhuǎn)移到另一個(gè)狀態(tài)，以及狀態(tài)轉(zhuǎn)移時(shí)環(huán)境給出的獎(jiǎng)勵(lì)。因此，基于強(qiáng)化學(xué)習(xí)的節(jié)流閥閥位控制策略主要包括狀態(tài)空間、動(dòng)作空間、獎(jiǎng)勵(lì)函數(shù)和訓(xùn)練過程。

3.2.1 狀態(tài)空間

3.2.3 獎(jiǎng)勵(lì)函數(shù)

3.2.4 訓(xùn)練過程

4 試驗(yàn)與分析

仿真訓(xùn)練過程中設(shè)置的液動(dòng)節(jié)流閥動(dòng)態(tài)模型參數(shù)見表1。

4.1 訓(xùn)練結(jié)果

在DQN訓(xùn)練過程中，算法對(duì)超參數(shù)的變化十分敏感，因此通常情況下需要對(duì)超參數(shù)進(jìn)行優(yōu)化，選擇一組最優(yōu)超參數(shù)，以提高深度強(qiáng)化學(xué)習(xí)的性能。本研究仿真實(shí)驗(yàn)設(shè)定的超參數(shù)見表2。

4.2 仿真試驗(yàn)控制結(jié)果

為了驗(yàn)算DQN算法的泛化能力，選取初始時(shí)刻節(jié)流閥閥門開度為60%，前70 s設(shè)置液動(dòng)節(jié)流閥閥門開度設(shè)定值為55%，后70 s設(shè)置液動(dòng)節(jié)流閥閥門開度設(shè)定值為70%。智能體經(jīng)過強(qiáng)化學(xué)習(xí)得到最優(yōu)控制策略，得到的比例伺服閥控制策略如圖4a所示，液動(dòng)節(jié)流閥控制效果如圖4b所示。

由圖4b可知，前70 s節(jié)流閥閥門開度設(shè)定值小于節(jié)流閥閥門開度測(cè)量值，此時(shí)由圖4a可知智能體采取的控制策略是比例伺服閥閥門開度小于50%，且隨著節(jié)流閥閥門開度差值的變小，比例伺服閥閥門開度逐漸趨向于50%，待節(jié)流閥閥門開度測(cè)量值在節(jié)流閥閥門開度設(shè)定值的允許誤差范圍內(nèi)時(shí)，比例伺服閥閥門保持50%的開度。后70 s節(jié)流閥閥門開度設(shè)定值大于節(jié)流閥閥門開度測(cè)量值，此時(shí)智能體采取的控制策略是比例伺服閥閥門開度大于50%，且隨著節(jié)流閥閥門開度差值的變小，比例伺服閥閥門開度逐漸趨向于50%，待節(jié)流閥閥門開度測(cè)量值在節(jié)流閥閥門開度設(shè)定值的允許誤差范圍內(nèi)時(shí)，比例伺服閥閥門保持50%的開度。

4.3 現(xiàn)場(chǎng)工況測(cè)試

在某控壓鉆井現(xiàn)場(chǎng)，為保證井口回壓的穩(wěn)定性，通過節(jié)流管匯系統(tǒng)上的自控系統(tǒng)對(duì)節(jié)流閥閥位進(jìn)行精準(zhǔn)控制從而保證井口壓力的穩(wěn)定。

控壓鉆井現(xiàn)場(chǎng)控制架構(gòu)如圖5所示。

在上位機(jī)監(jiān)控界面上設(shè)置井口壓力設(shè)定值，采用強(qiáng)化學(xué)習(xí)控制策略實(shí)現(xiàn)對(duì)液動(dòng)節(jié)流閥的閥位控制，并在上位機(jī)監(jiān)控界面上觀察井口壓力的控制效果，從而判斷策略的有效性和可靠性。現(xiàn)場(chǎng)出口流量穩(wěn)定在13 L/s，泥漿密度1.2 g/cm3。為了驗(yàn)證控制算法的有效性，對(duì)井底壓力分別進(jìn)行追壓和降壓試驗(yàn)，進(jìn)而全面測(cè)試節(jié)流閥閥位的控制效果。

首先進(jìn)行井口回壓的追壓試驗(yàn)。井口壓力變化幅度1 MPa，初始時(shí)刻井口壓力值1 MPa，分別設(shè)置井口壓力設(shè)定值為2、3、4、5 MPa。追壓效果如圖6所示。

之后進(jìn)行井口回壓的降壓試驗(yàn)。此時(shí)初始井口壓力值5 MPa，分別設(shè)置井口壓力設(shè)定值為3、2、1 MPa，降壓效果如圖7所示。

最后，為了充分試驗(yàn)節(jié)流閥閥位的控制效果，調(diào)整井口壓力變化幅度為2 MPa，當(dāng)初始時(shí)刻井口壓力值為2 MPa時(shí)，設(shè)置井口壓力設(shè)定值為

4 MPa，控制效果如圖8a所示；當(dāng)初始時(shí)刻井口壓力值為4 MPa時(shí)，設(shè)置井口壓力設(shè)定值為2 MPa，控制效果如圖8b所示。

綜合以上現(xiàn)場(chǎng)測(cè)試結(jié)果可知，在規(guī)定時(shí)間內(nèi)，通過智能體調(diào)節(jié)節(jié)流閥閥位，將井口壓力控制在目標(biāo)壓力值的±0.15 MPa范圍內(nèi)，滿足不同工況下給定井口壓力范圍時(shí)節(jié)流閥閥位的控制，驗(yàn)證了智能體控制器能夠?qū)W習(xí)到最優(yōu)的節(jié)流閥閥位控制策略，完成不同工況下的井口壓力控制任務(wù)。

5 結(jié)束語

針對(duì)節(jié)流閥閥位精準(zhǔn)控制的問題，提出基于深度強(qiáng)化學(xué)習(xí)的智能控制策略。首先建立液動(dòng)節(jié)流閥的動(dòng)態(tài)模型，通過改變比例伺服閥的閥芯位移進(jìn)而對(duì)自動(dòng)節(jié)流管匯中液動(dòng)節(jié)流閥的開大或關(guān)小的速度及位置進(jìn)行控制。其次將液動(dòng)節(jié)流閥閥位控制代入到強(qiáng)化學(xué)習(xí)框架中，采用DQN算法求解該問題。構(gòu)建智能體進(jìn)行大量的強(qiáng)化學(xué)習(xí)訓(xùn)練，通過Q值網(wǎng)絡(luò)的更新調(diào)整控制策略，提高算法的穩(wěn)定性。最后在多種工況下對(duì)智能體控制器進(jìn)行現(xiàn)場(chǎng)試驗(yàn)，結(jié)果表明閥位控制策略所具有的控制精度和響應(yīng)速度能夠滿足控壓鉆井過程的需求。

參 考 文 獻(xiàn)

［1］? ?李根生，吳文，陳勉，等.深井復(fù)雜地層安全高效鉆井基礎(chǔ)研究［J］.中國(guó)科技成果，2014（13）：21-22.

［2］? ?XIAO C，NI H，SHI X.Unsteady model for wellbore pressure transmission of carbon dioxide fracturing considering limited-flow outlet［J］.Energy，2022，239：122289.

［3］? ?SULE I，KHAN F，BUTT S，et al.Kick control reliabi-lity analysis of managed pressure drilling operation［J］.Journal of Loss Prevention in the Process Industries，2018，52：7-20.

［4］? ?ZHANG Z，XIONG Y，GAO Y，et al.Wellbore tempe-rature distribution during circulation stage when well-kick occurs in a continuous formation from the bottom-hole［J］.Energy，2018，164：964-977.

［5］? ?BREYHOLTZ O，NYGAARD G，GODHAVN J M，et al.Evaluating control designs for co-ordinating pumpr ates and choke valve during managed pressure drilling ope-rations［C］//2009 IEEE Control Applications，（CCA） & Intelligent Control，（ISIC）.IEEE，2009：731-738.

［6］? ?FU Y K，LIU Q Y，WANG G R，et al.Mathematical modeling and validation on a new valve core of the throttle valve in MPD［J］.Advances in Mechanical Engineering，2013（5）：125936.

［7］? ?HANNEGAN， DON M.Managed pressure drilling in marine environments-case studies［C］//Proceedings of SPE/IADC Drilling Conference.Amsterdam，Netherla-nds，2005：1-5.

［8］? ?叔貴欣，范振忠，劉慶旺.污油泥調(diào)剖劑的研制與應(yīng)用［J］.科學(xué)技術(shù)與工程，2009（9）：2437-2439.

［9］? ?谷經(jīng)緯.鉆井節(jié)流閥的生產(chǎn)和使用概況研究［J］.內(nèi)江科技，2015，36（3）：112；75.

［10］? ?薛桂娥.基于電液比例閥的阻力加載系統(tǒng)研究［D］.西安：長(zhǎng)安大學(xué)，2007.

［11］? ?路甬祥，胡大.電液比例控制技術(shù)［M］.北京：機(jī)械工業(yè)出版社，1988.

［12］? ?韓波，王慶豐.電液比例位置同步控制系統(tǒng)的控制結(jié)構(gòu)研究［J］.機(jī)床與液壓，1997（1）：7-10.

［13］? ?AO T，SHEN J，LIU X.The Application of DQN in Thermal Process Control［C］//2019 Chinese Control Conference（CCC）.IEEE，2019：2840-2845.

［14］? ?CHEN I M，ZHAO C，CHAN C Y.A Deep Reinforce-ment Learning-Based Approach to Intelligent Powert-rain Control for Automated Vehicles［C］//2019 IEEE Intelligent Transportation Systems Conference（ITSC）.IEEE，2019：2620-2625.

［15］? ?楊旭，楊曉華.基于FluidSim可調(diào)節(jié)流閥性能的研究［J］.寧波職業(yè)技術(shù)學(xué)院學(xué)報(bào)，2018，22（2）：85-87.

［16］? ?梁利華.液壓傳動(dòng)與電液伺服系統(tǒng)［M］.哈爾濱：哈爾濱工程大學(xué)出版社，2005.

［17］? ?吳振順.液壓控制系統(tǒng)［M］.北京：高等教育出版社，2008.

［18］? ?SUTTON R S，BARTO A G.Reinforcement Learning：An Introduction［M］.Cambridge，MA：MIT Press，1998.

［19］? ?SU J J，MA C H，LI S，et al.An AGC dynamic control method based on DQN algorithm ［J］.IOP Conference Series：Materials Science and Engineering，2020，729（1）：012009.

（收稿日期：2023-01-20，修回日期：2023-03-10）

Hydraulic Choke Valve Position Control Strategy Based on Reinforcement Learning

XU Bao－chang YOU Peng xiangCHEN Yi－qi MENG Zhuo－ran LIU Wei

（1.College of Information Science and Engineering， China University of Petroleum（Beijing）；

2.PetroChina Engineering Technology Institute Co.，Ltd. ）

Abstract? ?Managed pressure drilling（MPD） is a complicated drilling technology. The control of choke valve on automatic choke manifold is key to realizing accurate control of bottom hole pressure. Firstly， having the hydraulic choke valves dynamic model in the MPD device established and the proportional servo valve selected as valve position control systems actuator. Through controlling the spool movement of proportional servo valve， the hydraulic oils inflow in hydraulic choke valves hydraulic cylinder was changed and the position of hydraulic choke valve was controlled； secondly， having a hydraulic choke valves position control strategy based on deep reinforcement learning proposed， through the exchange between the hydraulic choke valve and the intelligent agent， this strategy has the deep Q－network（DQN）? algorithm adopted to make proportional servo valve control hydraulic choke valve position； finally， both simulation and field test verified the effectiveness of the valve position control strategy to provide a guarantee for the successful implementation of MPD.

Key words? ? hydraulic choke valve， valve position control， MPD， reinforcement learning， DQN algorithm， proportional servo valve