隨機線性二次問題中一類改進的強化學習方法

摘" 要：隨機線性二次問題是一類重要且研究較為成熟的隨機控制問題。其中，部分信息條件下的隨機線性二次問題是指系統(tǒng)的狀態(tài)方程或代價函數(shù)中存在未知系數(shù)的情形，該文在前人工作的基礎上，改進部分信息條件下線性二次問題的最優(yōu)控制在線強化學習算法。所研究系統(tǒng)方程和代價函數(shù)的系數(shù)都存在未知量，在此條件下，算法通過可觀察的樣本軌跡和回報函數(shù)求得最優(yōu)控制以及代價函數(shù)中的未知系數(shù)，進一步地，我們給出迭代過程收斂性與控制穩(wěn)定性的證明。

關鍵詞：隨機線性二次問題；部分信息；李雅普諾夫方程；強化學習；動態(tài)規(guī)劃原理

中圖分類號：O211.63" " " 文獻標志碼：A" " " " " 文章編號：2095-2945（2024）32-0142-04

Abstract： Random linear quadratic problems are important and mature stochastic control problems. Among them， the stochastic linear quadratic problem under partial information conditions refers to the situation where there are unknown coefficients in the state equation or cost function of the system. Based on previous work， this paper improves the optimal control online reinforcement learning algorithm for linear quadratic problems under partial information conditions. The coefficients of the studied system equations and cost function have unknown quantities. In this condition， the algorithm obtains the optimal control and the unknown coefficients in the cost function through the observable sample trajectory and the reward function. At the same time， the convergence and stability of the iterative process are proved.

Keywords： random linear quadratic problem; partial information; Lyapunov equation; reinforcement learning; dynamic programming principle

強化學習來源于早期的學習控制問題，不同于其他機器學習技術，諸如監(jiān)督學習、無監(jiān)督學習，強化學習方法專注于在不研究問題隱含結(jié)構(gòu)的情況下求解最優(yōu)化回報函數(shù)。試驗-糾偏，以及行為影響具有持續(xù)性是強化學習的主要特征，即最優(yōu)策略的習得通過不斷試驗與誤差矯正，系統(tǒng)行為不僅僅影響當前回報，同時影響后續(xù)回報。強化學習中的控制者需要根據(jù)當前的經(jīng)驗給出最優(yōu)控制（即使得所定義的代價函數(shù)最小的控制），同時基于反饋探索新的策略，在優(yōu)化與探索之間建立平衡是強化學習當前面臨的最主要挑戰(zhàn)。

最優(yōu)控制是控制理論中的重要問題，當精確模型尚未建立時，可以考慮用直接策略與間接策略尋找最優(yōu)控制。間接策略目的在于探究系統(tǒng)的信息，并基于此求解最優(yōu)控制；直接策略繞開對系統(tǒng)進行精確建模，直接求解。

最優(yōu)控制。強化學習是一種直接控制策略，通過持續(xù)學習回報函數(shù)，使得控制不斷趨于最優(yōu)。相較而言，間接策略需要先對系統(tǒng)建模再確定控制，本質(zhì)上使問題求解變得復雜，文獻[1-2]介紹了強化學習方面的若干最新進展。

由于大量非線性問題可以通過線性問題近似化處理，線性二次問題是一類理論與實際中都非常重要的最優(yōu)控制問題，，關于其詳細論述參見文獻[3]。本文提出一類通過強化學習方法求解部分信息線性二次最優(yōu)控制問題的算法。它改進了文獻[4]工作中對未知系數(shù)的限制，給出已知信息條件更少情況下的求解算法。

1" 研究對象與預備工作

考慮如下的時不變隨機線性動態(tài)控制系統(tǒng)

式中：系數(shù)A，C∈Rn×n，B，D∈Rn×m為常數(shù)矩陣；W（·）是一維標準布朗運動。系統(tǒng)狀態(tài)X（·）是n維向量， 控制u是m維向量。X（t）=x為確定初始狀態(tài)。為表示簡單，用[A，C；B，D]表示系統(tǒng)（1）。同時，記Sn（S，S）為Rn×n上的對稱（半正定，正定）矩陣集合。

定義1系統(tǒng)[A，C；B，D]稱為均值平方穩(wěn)定，若存在常數(shù)矩陣K∈Rm×n使得下列方程的唯一解

假設1：系統(tǒng)（1）是均值平方穩(wěn)定的，即

χ[A，C；B，D]≠?。

下面的引理1給出了系統(tǒng)（1）存在穩(wěn)定子的等價條件，證明可參見文獻[5]。

引理1：矩陣K∈Rm×n為系統(tǒng)[A，C；B，D]的穩(wěn)定子當且僅當存在矩陣P∈S使得

（A+BK）ТP+P（A+BK）+（C+DK）ТP（C+DK）lt;0.（3）

此時，對任意Q∈Sn（S，S），李雅普諾夫方程

（A+BK）ТP+P（A+BK）+（C+DK）ТP（C+DK）+Q=0.（4）

存在唯一解P∈Sn（S，S）。

當系統(tǒng)[A，C；B，D]均值平方穩(wěn)定，定義其允許控制集Uad={u（·）∈L（Rm）：u（·）是穩(wěn)定的}。

本文中考慮如下形式的二次代價函數(shù)

假設2：R，Q是適當維數(shù)的常數(shù)正定矩陣，且R是給定的，Q是未知的。

（SLQ問題）對于t≥0，x∈Rn，求滿足條件的u*（·）∈Uad，使得

J（t，x，u*（·））=infJ（t，x，u（·））V（t，x），（6）

式中：V（t，x）稱為SLQ問題的值函數(shù)。SLQ問題稱為適定的若V（t，x）gt;-∞。一個適定的問題稱為可解的若存在控制u*（·）∈Uad，使得J（t，x，u*（·））V（t，x）。此時，u*（·）稱為最優(yōu)控制，X*（·）稱為最優(yōu)軌跡，（X*（·），u*（·））稱為最優(yōu)二元組。下述引理證明可參見文獻[5]。

引理2：設矩陣P∈S滿足下列李雅普諾夫方程

（A+BK）ТP+P（A+BK）+（C+DK）ТP（C+DK）+KТ RK+Q=0，" " " " " " " " " "（7）

式中：K=-（R+DТPD）-1（BТP+DТPC），則u（·）=KX（·）為SLQ問題的最優(yōu)控制，且V（t，x）=xТPx。進一步，貝爾曼動態(tài)規(guī)劃原理對任意Δtgt;0成立，

由引理2，把V（t，x）的求解轉(zhuǎn)化為求矩陣P，在式（5）中R，Q均已知，系統(tǒng)（1）中A未知的條件下，參考文獻[4]給出僅依賴局部狀態(tài)軌跡X（·）解SLQ問題的在線算法。

2" 改進的強化學習方法

沿著文獻[4]中算法思路，進一步得出在系統(tǒng)（1）中A及代價函數(shù)（5）中Q均未知的情況下求解SLQ問題的在線算法，需要觀察得到的已知量為狀態(tài)軌跡X（·）及回報函數(shù)r（s，X）=X（s）ТQX（s）+u（s）ТRu（s），進一步，未知參數(shù)Q可以同時求解。

算法1：SLQ問題的迭代求解。

引理3：當假設2成立，系統(tǒng)[A，C；B，D]有穩(wěn)定子K（i），則算法1中的（10）式等價于李雅普諾夫迭代

3" 結(jié)束語

本文在前人工作的基礎上，改進了部分信息條件下隨機線性二次最優(yōu)控制問題的在線強化學習方法。所研究系統(tǒng)方程和代價函數(shù)的系數(shù)都存在未知量，在此條件下，算法通過可觀察的樣本軌跡和回報函數(shù)求得最優(yōu)控制以及代價函數(shù)中的未知系數(shù)。進一步地，我們證明了算法的收斂性與收斂過程中控制的穩(wěn)定性。

參考文獻：

[1] WANG H， ZARIPHOPOULOU T， ZHOU X Y. Reinforcement learning in continuous time and space： A stochastic control approach[J].JOURNAL OF MACHINE LEARNING RESEARCH，2020，21：1-34.

[2] JIA Y，ZHOU X Y. Policy evaluation and temporal-difference learning in continuous time and space： A martingale approach[J].Journal of Machine Learning Research，2022，23（154）：1-55.

[3] YONG J，ZHOU X Y. Stochastic controls： hamiltonian systems and HJB equations[M]. New York， NY： Springer，1999.

[4] LI N，LI X， PENG J， et al. Stochastic linear quadratic optimal control problem： A reinforcement learning method [J].IEEE Trans， Autom. Control，2022，67（9）：5009-2022.

[5] MA R，ZHOU X Y. Linear matrix inequalities， Riccati equations， and indefinite stochastic linear quadratic controls[J].IEEE Transactions on Automatic Control，2000，45（6）：1131-1143.