基于均值偏差獎賞函數(shù)的放煤口控制策略研究

羅開成，高 陽，楊 藝，3，常亞軍，袁瑞甫

(1.鄭州煤礦機械集團股份有限公司，河南 鄭州 450016；2.鄭州煤機液壓電控有限公司，河南 鄭州 450016；3.河南理工大學 電氣工程與自動化學院，河南 焦作 454000；4.煤炭安全生產(chǎn)與清潔高效利用省部共建協(xié)同創(chuàng)新中心，河南 焦作 454000)

綜合機械化放頂煤開采(簡稱綜放開采)的智能化建設(shè)是推進我國煤炭行業(yè)改造升級的重要環(huán)節(jié)[1，2]。智能感知、智能決策和自動控制是智能化開采的三要素[3]。在智能化開采中，利用智能感知系統(tǒng)實時監(jiān)測頂煤量、煤流量等工作面狀態(tài)信息，智能化放煤決策系統(tǒng)根據(jù)監(jiān)測到的信息進行決策，建立“智能感知-決策”機制是綜放開采智能放煤工藝的發(fā)展方向[4，5]。文獻[6]利用雷達探測技術(shù)、激光三維掃描技術(shù)以及煤矸識別等技術(shù)，實現(xiàn)了對開采頂煤厚度、放煤空間剩余頂煤量以及放出煤流中煤矸比例的實時監(jiān)測，工作面自動化系統(tǒng)根據(jù)實時監(jiān)測數(shù)據(jù)對放煤口動作進行決策，控制放煤口動作。該方法在工業(yè)性實驗中取得了不錯的效果，初步實現(xiàn)了智能化放煤。目前，智能決策發(fā)展相對滯后[7]。如何根據(jù)綜放工作面放煤環(huán)境狀態(tài)信息對支架放煤口的動作進行決策，實現(xiàn)放煤口動作隨放煤環(huán)境的變化而自動調(diào)整，是放煤工藝智能化的關(guān)鍵。因此，本文所在課題組根據(jù)馬爾可夫決策過程基本原理，將放頂煤過程抽象為馬爾可夫決策過程，建立了基于強化學習的放頂煤智能決策模型，控制放煤口動作，為建立放煤口智能決策機制提供思路[8-10]。

本文針對以往建立的基于Q-learning放頂煤智能決策模型不能從綜放工作面全局角度出發(fā)學習支架放煤口控制策略，導致在放煤過程中存在放煤口間動作配合簡單，協(xié)同性差的問題，從工作面全局角度出發(fā)學習放煤口控制策略，并將控制煤巖分界面形態(tài)也作為智能體學習的目標，建立了基于均值偏差獎賞函數(shù)Q-learning放頂煤智能決策模型，提升綜放工作面放煤過程中放煤口間動作的配合度和協(xié)同性，使其能夠更好地控制放煤過程，提升工作面放煤效果。

1 放頂煤智能決策模型

1.1 放煤過程的馬爾可夫決策過程

強化學習的基礎(chǔ)是馬爾可夫決策過程(Markov Decision Process，MDP)。MDP是一種用于對環(huán)境建模的模型，大部分強化學習問題都可以建立MDP模型，從而在理論方面為強化學習奠定了良好的框架[11]。馬爾可夫性是指環(huán)境下一個狀態(tài)st+1只與當前狀態(tài)st有關(guān)，而與以往的歷史狀態(tài)無關(guān)。設(shè)P為狀態(tài)之間的轉(zhuǎn)移概率，馬爾科夫性的數(shù)學描述為：

P[st+1|st]=P[st+1|st，…，s1]

(1)

MDP可以用五元組M={S，A，R，P，γ}表示，狀態(tài)空間為S={s1，s2，…，sn}，其中si表示智能體所處的環(huán)境狀態(tài)，i=1，2，…V，n，n表示狀態(tài)空間的維度；動作空間為A={a1，a2，…，am}，其中aj為智能體可以選取的動作，j=1，2，…，m，m表示動作空間的維度；R表示狀態(tài)轉(zhuǎn)移后得到的獎賞值；P表示環(huán)境狀態(tài)轉(zhuǎn)移概率；γ為折扣因子，表示未來獎勵對當前決策的影響程度。

在放頂煤過程中，支架放煤口的控制過程是一個時間序列，其決策依賴于工作面當前的放煤狀態(tài)信息及上一次放煤的結(jié)果，具備馬爾科夫性。因此，控制放煤口的決策過程是典型的馬爾可夫決策過程，并可以用強化學習解決[8]。

1.2 Q-learning算法原理

由于綜放開采中環(huán)境狀態(tài)轉(zhuǎn)移概率P是未知的，導致無法建立決策過程完備的放頂煤MDP模型，從而導致無法利用基于動態(tài)規(guī)劃的方法求解MDP決策問題。但在強化學習Q-learning算法中，智能體不需要知道環(huán)境狀態(tài)轉(zhuǎn)移概率P，只需要確定狀態(tài)空間S、動作空間A以及獎賞函數(shù)R，智能體即可學習環(huán)境最優(yōu)策略，這與本文研究的需求高度契合。因此，本文選取Q-learning算法來解決放頂煤MDP決策問題，獲取支架放煤口最優(yōu)控制策略。

在Q-learning算法中，通過優(yōu)化一個可迭代計算的動作值函數(shù)Qπ(s，a)來獲取最優(yōu)策略[12]。動作值函數(shù)Qπ(s，a)是指根據(jù)當前策略π，從狀態(tài)s出發(fā)選擇動作a后能夠獲得累積獎賞的期望值，其定義如下：

(2)

智能體基于貝爾曼最優(yōu)性原理更新動作值函數(shù)Qπ(s，a)，使其趨近最優(yōu)策略的動作值函數(shù)，更新方式如下：

Qπ(s，a)←Qπ(s，a)+α[R(s，a)+

(3)

式中，s為當前時刻狀態(tài)；a為狀態(tài)s下選擇的動作；s′為執(zhí)行動作a后的新狀態(tài)；a′為在狀態(tài)s′下能使其動作值函數(shù)最大的動作；π為當前策略；α∈(0，1)表示學習率；γ∈(0，1)為折扣系數(shù)。

當狀態(tài)空間中所有狀態(tài)對應(yīng)的動作值函數(shù)都收斂后，此時的策略即為最優(yōu)策略。

在Q-learning算法中，智能體每次貪婪地選擇當前狀態(tài)對應(yīng)動作值函數(shù)最大的動作。這種利用當前知識使得立即獎賞值最大的方法，實際上可能忽略了能帶來更大獎勵的動作。為增加Q-learning“利用”已有知識和“探索”新知識的性能，本文采用ε-greedy算法作為選擇動作的策略，其表達式為：

(4)

式中，ε∈(0，1)，表示探索率；|A(s)|是狀態(tài)s條件下可選動作的數(shù)量；a*為最大動作值函數(shù)對應(yīng)的動作。

1.3 放頂煤MDP建模

在之前建立的Q-learning放頂煤智能決策模型中，定義的MDP參數(shù)存在以下不足：①僅根據(jù)頂煤含量確定頂煤賦存狀態(tài)，標準過于單一；②僅根據(jù)放出體狀態(tài)定義獎賞函數(shù)R，獎賞函數(shù)與放煤目標之間的關(guān)聯(lián)關(guān)系不夠高，導致智能體學習到的放煤口控制策略無法使工作面放煤效果達到最佳；③動作空間A中僅有打開和關(guān)閉兩個動作，智能體可選擇的動作較少。針對以上不足，本文重新定義了狀態(tài)空間S、動作空間A以及設(shè)計了一種新的獎賞函數(shù)R，優(yōu)化放頂煤智能決策模型，提升工作面放煤效果。

1.3.1 狀態(tài)空間S設(shè)計

1)頂煤賦存狀態(tài)特征。將支架放煤口上方以及掩護梁后方作為檢測區(qū)域，檢測區(qū)域內(nèi)的頂煤含量作為頂煤賦存狀態(tài)的特征之一，記為w。其中，第i臺支架檢測區(qū)域內(nèi)頂煤含量計算如下：

(5)

式中，mi為第i臺支架檢測區(qū)域內(nèi)的頂煤量；ni為第i臺支架檢測區(qū)域內(nèi)的矸石量。wi越大，則說明當前支架檢測區(qū)域內(nèi)待放頂煤越充足。

結(jié)合第i臺支架檢測區(qū)域內(nèi)的頂煤含量wi與所有支架檢測區(qū)域內(nèi)頂煤含量的平均值waverage，定義了第i臺支架的均值偏差量特征μi：

μi=wi-waverage

(6)

式中，wi為第i臺支架對應(yīng)檢測區(qū)域的頂煤含量；waverage為所有支架對應(yīng)檢測區(qū)域頂煤含量的平均值；N為綜放工作面上液壓支架的數(shù)量。當μi>0時，代表第i臺液壓支架檢測區(qū)域頂煤含量高于所有支架頂煤含量的平均水平。

2)頂煤賦存狀態(tài)。根據(jù)頂煤含量w與均值偏差量μ共同確定支架放煤口上方頂煤賦存狀態(tài)。但由于Q-learning在處理連續(xù)狀態(tài)時容易出現(xiàn)維度爆炸的問題[13]。因此，考慮到算法的收斂速度，還需要對頂煤含量w與均值偏差量μ進行離散化處理。根據(jù)頂煤含量w與均值偏差量μ的不同離散等級的組合，可以定義不同的頂煤賦存狀態(tài)sn，其定義為：

sn=(wl，uj)

(7)

式中，wl=[w1，w2，…，wl]為頂煤含量w的離散等級空間，l代表其維度大??；uj=[u1，u2，…，uj]為均值偏差量μ的離散等級空間，j代表其維度大小。

對應(yīng)的狀態(tài)空間S為：

S={s0，s1，…，sn}

(8)

式中，n為狀態(tài)空間的維度。

1.3.2 動作空間A設(shè)計

在綜放開采中，可以通過調(diào)節(jié)放煤口的開口度調(diào)節(jié)放煤量[14]。因此，根據(jù)放煤口開口度大小定義放煤口動作，對應(yīng)的動作空間A為：

A={a1，a2，a3，a4}

(9)

式中，a1代表關(guān)閉放煤口；a2代表放煤口全開；a3代表放煤口半開；a4代表放煤口打開三分之二開口度。

1.3.3 均值偏差獎賞函數(shù)R設(shè)計

本文結(jié)合放出煤流狀態(tài)與頂煤賦存狀態(tài)特征兩個方面定義了均值偏差獎賞函數(shù)R：

R=Rcoal+Rdev

(10)

式中，Rcoal是與放出煤流狀態(tài)相關(guān)的獎賞函數(shù)；Rdev是與均值偏差特征μ相關(guān)的獎賞函數(shù)。

1)Rcoal獎賞函數(shù)。在綜放開采中，現(xiàn)場工人一般根據(jù)放出煤流中的煤矸比例控制放煤口的開閉。因此，定義獎賞函數(shù)Rcoal：

Rcoal=λ1M1+λ2M2

(11)

式中，λ1代表放出單個頂煤的獎勵，M1代表放煤口動作后放出頂煤的數(shù)量，λ2代表放出單個矸石的獎勵，M2代表放煤口動作后放出矸石的數(shù)量。

2)Rdev獎賞函數(shù)。通過對放頂煤過程分析可以得到，當煤巖分界面均勻下降時，各支架檢測區(qū)域內(nèi)頂煤賦存狀態(tài)的均值偏差量特征μ在數(shù)值上相互接近。因此，根據(jù)均值偏差量特征μ的離散等級設(shè)計獎賞函數(shù)，記為Rdev，見表1。

表1 獎賞函數(shù)Rdev

在獎賞函數(shù)Rdev中，當放煤口執(zhí)行動作后，放煤口上方頂煤賦存狀態(tài)的均值偏差量μ越接近0，則獲得的懲罰rj越小，反之獲得的懲罰rj越大，從而引導智能體學習保持煤巖分界面均勻下降。

在放頂煤過程中，當煤巖分界面即將達放煤口或者已經(jīng)到達放煤口時，智能體的注意力集中在矸石的放出。如果此時繼續(xù)學習保持煤巖分界面均勻下降，智能體將忽略部分矸石的放出，從而導致放煤效果下降。因此，需要對獎賞函數(shù)Rdev的使用進行約束。約束后的獎賞函數(shù)R為：

R=Rcoal+C×Rdev

(12)

(13)

當sn(wl，.)<0.3，代表當支架放煤口上方的頂煤含量小于30%，此時智能體將不再學習保持控制煤巖分界面形態(tài)，而專注于控制矸石的放出。

1.4 Q-learning算法框架

當狀態(tài)空間S、動作空間A以及均值偏差獎賞函數(shù)R確定后，利用Q-learning算法在線學習頂煤賦存狀態(tài)與支架放煤口動作之間的最優(yōu)映射關(guān)系，獲取支架放煤口最優(yōu)控制策略。智能體的學習過程可以描述為：在與環(huán)境交互的過程中，智能體不斷獲取頂煤賦存狀態(tài)sn，支架放煤口動作a以及環(huán)境反饋的獎賞值R等知識。智能體根據(jù)獲取到的知識，按照式(3)計算并更新對應(yīng)放煤口動作的動作值函數(shù)Qπ(s，a)，直到所有的動作值函數(shù)都收斂到最優(yōu)。在選擇放煤口動作時，智能體根據(jù)已經(jīng)學習到的當前頂煤賦存狀態(tài)下放煤口動作的動作值函數(shù)Qπ(s，a)，按照式(4)選擇當前放煤口的動作與放頂煤環(huán)境進行交互。Q-learning算法框架如圖1所示。

圖1 Q-learning算法框架

2 放煤口控制模型三維仿真實驗及結(jié)果分析

2.1 綜放工作面進刀放煤三維仿真平臺

本文結(jié)合YADE開源代碼，在Ubuntu系統(tǒng)上開發(fā)了一種基于離散元方法的綜放工作面進刀放煤三維仿真實驗平臺，對放頂煤智能決策模型展開研究，如圖2所示。在仿真模型中綠色顆粒代表頂煤，紅色顆粒代表矸石。當頂煤通過放煤口被放出時，頂煤顏色由綠色變?yōu)樗{色，與未放出的頂煤做區(qū)別。圖2中，黃色邊框標識的區(qū)域為支架頂煤賦存狀態(tài)的檢測區(qū)域。當訓練本文放頂煤智能決策模型時，仿真模型會在每一個訓練步讀取檢測區(qū)域內(nèi)的頂煤顆粒與矸石顆粒的數(shù)量，然后根據(jù)式(5)和式(6)分別計算頂煤含量w和均值偏差量μ的大小，并將計算結(jié)果傳遞給智能體確定當前頂煤賦存狀態(tài)。在仿真模型中共設(shè)置了4個放煤口動作，與前文1.3小節(jié)定義的動作空間式(9)對應(yīng)起來，4個放煤口動作的效果如圖2所示。當本次放煤工序結(jié)束后，從工作面首臺支架開始，逐架移動支架，從而實現(xiàn)工作面連續(xù)進刀放煤，移架過程如圖3所示。在仿真模型中放煤高度3.8m，采高3.8m，采放比為1∶1，連續(xù)放3刀頂煤。

圖2 進刀放煤三維仿真

圖3 綜放工作面推進過程

模型中煤與矸石顆粒材料參數(shù)根據(jù)塔山礦8222綜放工作面設(shè)計，其主要參數(shù)見表2。

表2 煤與矸石顆粒的主要力學參數(shù)

放煤口控制模型中共設(shè)置了10臺液壓支架，液壓支架根據(jù)塔山礦8222綜放工作面中實際液壓支架設(shè)計，其主要參數(shù)：液壓支架寬度為1.5m，液壓支架高度為3m，掩護梁長度為3.8m，尾梁長度為2m，頂梁與掩護梁之間的夾角為50°，尾梁上擺與掩護梁的夾角為15°，尾梁下擺與掩護梁的夾角為45°。

2.2 模型參數(shù)設(shè)置

基于均值偏差獎賞函數(shù)放頂煤智能決策模型核心Q-learning算法的參數(shù)設(shè)置為：α=0.1，γ=0.9，ε=0.5。

2.2.1 狀態(tài)空間參數(shù)設(shè)置

根據(jù)現(xiàn)場工人的經(jīng)驗與前期實驗的結(jié)果，確定式(7)中wl的離散等級空間維度l=5，uj的離散等級空間維度j=7，結(jié)果見表3、表4。

表3 狀態(tài)特征w離散區(qū)間劃分

表4 狀態(tài)特征μ離散區(qū)間劃分

根據(jù)頂煤含量wl與均值偏差量uj不同離散等級的組合，共定義了17種頂煤賦存狀態(tài)，見表5。

表5 狀態(tài)空間

在訓練過程中，當仿真模型將頂煤含量w和均值偏差量μ的計算結(jié)果傳遞給智能體后，智能體將根據(jù)表3和表4分別確定兩者所處的離散等級，最后智能體再根據(jù)表5確定當前支架檢測區(qū)域內(nèi)的頂煤賦存狀態(tài)。

2.2.2 均值偏差獎賞函數(shù)參數(shù)設(shè)置及計算

設(shè)置Rcoal的參數(shù)為：λ1=3，λ2=-7；Rdev的參數(shù)為：r1=-20，r2=-30，r3=-70，r4=-200，r5=-10，r6=-20，r7=-50。在訓練過程中，一方面，仿真模型會檢測支架放煤口動作后放出的頂煤顆粒和矸石顆粒的數(shù)量，并將檢測結(jié)果傳遞給智能體，智能體根據(jù)式(11)計算獲得獎賞Rcoal的大小。另一方面，受放煤口動作的影響，頂煤賦存狀態(tài)發(fā)生變化，智能體根據(jù)表1確定獲得獎賞Rdev的大小。當Rcoal和Rdev的獎賞確定后，再根據(jù)式(12)和式(13)計算此次放煤口動作，智能體最終獲得的獎賞。

2.3 訓練流程

當參數(shù)確定后，對放頂煤智能決策模型進行訓練，訓練流程如圖4所示。

圖4 訓練流程圖

2.4 仿真測試過程和結(jié)果分析

本文基于進刀放煤三維仿真實驗平臺，對建立的放頂煤智能決策模型、原Q-learning智能放煤工藝以及單輪順序放煤工藝，在連續(xù)放3刀煤條件下的放煤效果進行測試。其中，單輪順序放煤工藝按照“見矸關(guān)窗”的原則，當仿真模型檢測到放煤口瞬時放出煤流中矸石比例超過30%時關(guān)閉放煤口[15]。

在仿真測試過程中，由于第二刀與第三刀放煤過程中的煤矸運動過程和煤巖分界面形態(tài)不易觀察。因此，在這里僅展示了各放煤工藝第一刀詳細放煤過程，如圖5所示。

圖5 三種放煤工藝的放頂煤過程

單輪順序放煤過程如圖5(a)所示。由于每次只打開一個放煤口放煤，導致單個支架放煤口的放煤量巨大，煤巖分界面迅速下降，幾乎與放煤口垂直。當相鄰放煤口放煤時，竄矸現(xiàn)象嚴重，可能導致放煤口提前關(guān)閉，從而降低頂煤采出率。并且由于每次只打開一個放煤口放頂煤，也將導致綜放工作面放煤時間過長，放煤效率低。此外，在單輪順序放頂煤過程中支架放煤口上方可能會發(fā)生頂煤成拱堵塞放煤口的現(xiàn)象，導致頂煤無法順利放出，降低頂煤采出率，如圖6所示。

圖6 頂煤成拱現(xiàn)象

原Q-learning智能放煤工藝的放頂煤過程，如圖5(b)所示。與單輪順序放煤工藝相比，煤巖分界面比較均勻地下降，放煤效率高。在原Q-learning智能放煤工藝中，支架放煤口動作雖然可以隨頂煤賦存狀態(tài)的變化而實時調(diào)整。但仔細觀察各支架放煤口動作可知，放煤口間動作配合簡單。當頂煤含量高時，控制放煤口打開；當頂煤含量低到一定程度時，控制放煤口關(guān)閉。由此可見，其支架放煤口控制策略比較簡單。并且由于綜放工作面上不同位置的液壓支架打開放煤口放煤時，放煤口上方煤矸運移的速率是不相等的。因此，原始Q-learning算法學習到的控制策略是不可能很好地保持煤巖分界面平整度，從而無法使綜放工作面放煤效果達到更高水平。

智能放煤工藝放頂煤過程如圖5(c)所示。觀察其放頂煤過程可以發(fā)現(xiàn)，與原Q-learning智能放煤工藝放頂煤過程相比，本文智能放煤工藝在放頂煤過程中煤巖分界面下降更加均勻，分界面平整度保持更好。根據(jù)放頂煤理論可知，在放頂煤過程中保持煤巖分界面均勻下降有利于提高頂煤采出率。與原Q-learning智能放煤工藝不同，在本文智能放煤工藝放頂煤過程中，各支架放煤口間動作高度協(xié)調(diào)，協(xié)同性好。

由上述分析可知，基于均值偏差獎賞函數(shù)放頂煤智能決策模型，可以使智能體在與環(huán)境交互的過程中學習到更加優(yōu)秀的放煤口控制策略。智能體根據(jù)學習到的放煤口策略，更好地控制了放頂煤過程。

在仿真平臺上各放煤工藝連續(xù)3刀放煤的結(jié)果見表6。由表6可知，與另外2種放煤工藝相比，該智能放煤工藝放出頂煤的平均數(shù)量為5292.5，相對于單輪順序放煤的4752.5與基于Q-learning智能放煤工藝的5067.3，分別提高11.4%以及4.44%。放出矸石的平均數(shù)量為344.6，低于基于Q-learning智能放煤工藝的403.5，但高于單輪順序放煤工藝的288.3。從放出煤與矸石帶來的總獎賞看，該智能放煤工藝放出煤與矸石帶來的平均獎勵為13467.8，比單輪順序放煤工藝提高約10%，比基于Q-learning智能放煤工藝提高約8.8%。由此可見，智能放煤工藝可以有效提升綜放工作面放煤效果。此外，本文對6次實驗放出頂煤數(shù)量、矸石數(shù)量以及放煤總獎賞求方差，結(jié)果見表7。

表6 連續(xù)進刀放煤實驗結(jié)果

由表7可知，智能放煤工藝6次實驗中，在放出頂煤數(shù)量、矸石數(shù)量以及放煤總獎賞三個方面數(shù)據(jù)的方差均小于其它兩種放煤工藝，說明了智能放煤工藝與其它兩種放煤工藝相比，放煤效果更加穩(wěn)定。

表7 放出頂煤、矸石數(shù)量以及總獎賞的方差

3 結(jié) 論

1)提出了一種基于均值偏差獎賞函數(shù)放頂煤智能決策模型。該模型根據(jù)當前支架放煤口上方頂煤的賦存狀態(tài)對放煤口動作進行決策，實現(xiàn)放煤口動作隨待放頂煤賦存狀態(tài)的改變而實時調(diào)整。并且在三維仿真實驗平臺上的仿真過程表明，智能體基于均值偏差獎賞函數(shù)學習到的放煤口控制策略，可以使各液壓支架在放頂煤過程中放煤口動作配合更加緊密，從而保持煤巖分界面均勻下降，分界面平整度達到較為理想狀態(tài)。

2)在三維仿真實驗平臺上的實驗結(jié)果表明，智能放煤工藝在工作面連續(xù)進刀放煤條件下，放煤平均獎勵13467.8，比基于Q-learning智能放煤工藝提高8.8%，比單輪順序放煤工藝提高約10%。因此，本文提出的智能放煤工藝可以有效提升綜放工作面的放煤效果。

3)由于Q-learning算法不易處理連續(xù)環(huán)境狀態(tài)，因此本文將放煤口環(huán)境狀態(tài)進行離散化處理。但環(huán)境狀態(tài)的離散化會使得放煤口的控制精度降低。因此，在后續(xù)研究中，課題組將進一步研究放煤口環(huán)境狀態(tài)的連續(xù)表達方式以及強化學習的最優(yōu)決策模型，以提升放煤口的控制精度，從而進一步提升放煤效果。