基于分層強化學(xué)習(xí)的數(shù)字化輸電線路路徑規(guī)劃研究

宋濤， 李丹， 路寧

(1. 國家電網(wǎng)有限公司特高壓建設(shè)分公司，北京 100052; 2. 北京道亨軟件股份有限公司，北京 100012)

0 引 言

輸電線路具有輸電距離遠、覆蓋范圍大、走廊環(huán)境復(fù)雜等特征。其中，輸電線路的最優(yōu)路徑規(guī)劃問題是輸電線路設(shè)計的關(guān)鍵問題，其路徑規(guī)劃的合理性直接影響到輸電線路的建設(shè)成本和可靠性問題。例如，文獻[1]對800 kV特高壓線路工程造價的影響因素進行分析，指出桿塔價格、線路長度、地質(zhì)條件、地形地貌等是影響輸電線路工程造價的主要因素。文獻[2]指出在不同的地形下，人力運距對輸電線路造價的影響各不相同。文獻[3]分析了在不同地形地貌條件下，輸電線路的雷電防御性能，并指出在某些特定的地形地貌下輸電線路更容易被雷電擊中。文獻[4]分析了山地地形對±1100 kV輸電線路雷電屏蔽性能的影響，研究的結(jié)果對不同地形條件下的輸電線路防雷設(shè)計具有一定的參考價值。

在輸電線路路徑規(guī)劃問題中，需要考慮的因素較多，例如，設(shè)計人員不僅要考慮輸電走廊的地形地貌、還要考慮到自然氣候、環(huán)境保護以及政策法規(guī)等因素。以往的輸電線路路徑規(guī)劃主要靠查閱紙質(zhì)地圖以及工程人員的實際勘測情況，再對基于地形地貌的柵格劃分來實現(xiàn)路徑規(guī)劃工作。由于輸電線路的地形地貌較為復(fù)雜，而紙質(zhì)地圖多存在不精確、信息滯后的特征，使得傳統(tǒng)的輸電線路路徑規(guī)劃方法具有工作強度大，準(zhǔn)確率低等缺陷[5]。

近年來，三維數(shù)字化設(shè)計技術(shù)的發(fā)展彌補了上述方法的缺陷[6]。輸電線路的三維數(shù)字化設(shè)計是指使用衛(wèi)星，無人機，GPS等設(shè)備，并借助全數(shù)字化攝像手段，生成線路走廊的數(shù)字模型以及具有立體效果的三維景觀圖，使得輸電線路勘測的精度和分辨率大大提升[7～10]。例如，文獻[11]使用無人機對山火條件下的架空輸電線路閃絡(luò)及監(jiān)測技術(shù)進行研究，文獻[12]使用無人機和激光雷達技術(shù)對輸電線路走廊清理技術(shù)進行研究，文獻[13]使用GPS設(shè)備，并基于S變換的行波法對高壓輸電線路進行故障定位。使用三維數(shù)字化設(shè)計可以讓輸電線路設(shè)計人員直觀地了解當(dāng)前的地形地貌，顯著降低了設(shè)計人員的設(shè)計難度和工作量[14]。

然而，輸電線路的三維數(shù)字化設(shè)計技術(shù)的發(fā)展也給路徑規(guī)劃帶來了新問題：由于三維數(shù)字化對地形劃分的精度大大提升，造成了地形劃分的柵格矩陣維度呈指數(shù)級增加[15]，此時，傳統(tǒng)的基于柵格劃分的路徑規(guī)劃方法已無法適用于柵格矩陣規(guī)模急劇增大的環(huán)境。例如，文獻[16]使用蟻群算法對輸電線路進行路徑規(guī)劃，文獻[17]研究了基于遺傳算法的特高壓架空輸電線最優(yōu)路徑規(guī)劃方法，文獻[18]研究了基于貝葉斯網(wǎng)絡(luò)與蟻群算法的輸電線路路徑規(guī)劃算法。上述的方法在柵格矩陣規(guī)模較低(柵格矩陣維度<100)的條件下，具有良好的收斂性和精確性，但若使用在柵格矩陣規(guī)模較大(柵格矩陣維度100～10000)的條件下，上述方法會由于過高的柵格矩陣維度從而引發(fā)維度災(zāi)難的問題，導(dǎo)致算法收斂速度過慢甚至不收斂[19-20]。因此，有必要對傳統(tǒng)的路徑規(guī)劃方法進行改進，以適應(yīng)地形柵格矩陣的維度大規(guī)模提升的需求。

基于上述分析，研究了一種適用于三維數(shù)字化輸電線路的分層強化學(xué)習(xí)路徑規(guī)劃方法，建立了輸電線路的三維數(shù)字化云平臺，在此基礎(chǔ)上，使用不同比例尺對地形數(shù)據(jù)進行重采樣，將原始的地形柵格單元重構(gòu)為兩層，其中第一層為大比例尺的粗粒度地形柵格圖，第二層是在第一層圖像的基礎(chǔ)上，進一步使用小比例尺進行第一層圖像的細粒度柵格圖，如圖1所示。兩層?xùn)鸥駡D像建立完畢后，使用基于MAXQ算法的分層強化學(xué)習(xí)進行路徑規(guī)劃，從而解決了細粒度柵格單元帶來的維度災(zāi)難問題，同時又保持了精確性的優(yōu)勢。最后，使用實際算例驗證了有效性和可行性。

圖1 雙層?xùn)鸥窬仃嚱Y(jié)構(gòu)圖

1 基于云計算的輸電線路三維勘測系統(tǒng)

研究的分層強化學(xué)習(xí)路徑規(guī)劃方法是為解決輸電線路的三維數(shù)字化地形劃分導(dǎo)致的維度災(zāi)難問題，因此，本節(jié)先對輸電線路的三維勘測系統(tǒng)進行簡要介紹。輸電線路的三維勘測系統(tǒng)是指采用計算機圖形技術(shù)、地理信息勘測技術(shù)以及三維仿真技術(shù)生成高精度的輸電線路走廊的數(shù)字化平臺。建立的云計算的輸電線路三維設(shè)計的數(shù)據(jù)云平臺如圖2所示，具體結(jié)構(gòu)分為六層：(1)物理層，通過高清SAR影像、傾斜攝影技術(shù)、無人激光雷達等物理設(shè)備進行數(shù)據(jù)的采集；(2)數(shù)據(jù)傳輸層，使用4G、5G或WIFI等傳輸方式將采集數(shù)據(jù)傳送至云平臺；(3)云計算平臺的底層，是將傳統(tǒng)的數(shù)據(jù)通過操作系統(tǒng)存儲進服務(wù)器中；(4)數(shù)據(jù)清洗層，將數(shù)據(jù)緩存中的數(shù)據(jù)進行清洗和分類，將其劃分成時間數(shù)據(jù)和空間數(shù)據(jù)，傳輸至不同的數(shù)據(jù)庫中；(5)功能服務(wù)層，是將數(shù)據(jù)進一步地發(fā)挖掘與分析，從而滿足工程人員的需求；(6)用戶層，提供數(shù)據(jù)的可視化，以及建立用戶與數(shù)據(jù)交互的界面。

圖2 輸電線路三維設(shè)計的云平臺系統(tǒng)

勘測數(shù)據(jù)送入云計算平臺后，可以使用計算機圖像技術(shù)將其可視化成三維的地形地貌圖，進而輔助工程人員進行路徑規(guī)劃、桿塔設(shè)計等工作，如圖3所示。

圖3 基于云平臺的輸電線路三維設(shè)計圖

2 輸電線路路徑規(guī)劃評價指標(biāo)分析與規(guī)劃步驟

2.1 輸電線路路徑規(guī)劃評價指標(biāo)分析

在建立輸電線路三維數(shù)據(jù)云計算平臺的基礎(chǔ)上，可以根據(jù)《100 kV～750 kV架空輸電線路設(shè)計規(guī)范》進行輸電線路的路徑規(guī)劃工作。輸電線路長度路徑規(guī)劃的基本原則是：在盡量縮短輸電線路路線走廊長度的前提下，還必須考慮地形地貌的條件，例如高度、坡度、覆冰、地震烈度、公路鐵路、土地利用等，從而兼顧到架設(shè)成本最優(yōu)性、架設(shè)方案的安全可靠性、對環(huán)境的友好性等因素。除此之外，架設(shè)輸電線路的路徑需避開某些特殊區(qū)域，例如不良地質(zhì)帶、災(zāi)害點、礦區(qū)、軍事設(shè)施、重要設(shè)施、城鎮(zhèn)及規(guī)劃區(qū)、重冰區(qū)、原始森林、自然保護區(qū)域風(fēng)景名勝區(qū)等。圖4為影響輸電線路規(guī)劃的成本因子結(jié)構(gòu)圖?？梢园l(fā)現(xiàn)，影響輸電線路路徑規(guī)劃的評價指標(biāo)分為地質(zhì)條件和避障條件兩大類，并且這兩大類的路徑規(guī)劃原則各不相同：在地質(zhì)條件評價指標(biāo)中，需兼顧距離最短和成本最低的要求，而在避障條件指標(biāo)中，需完全繞開上述區(qū)域。

圖4 影響輸電線路路徑規(guī)劃的成本因子結(jié)構(gòu)圖

2.2 輸電線路路徑規(guī)劃步驟

輸電線路路徑規(guī)劃一般是先將輸電線路走廊地形柵格化，再對每塊柵格進行成本因子計算，最終簡化成柵格矩陣，記作：

(1)

式中M為柵格矩陣；矩陣M中每個元素下標(biāo)i，j表示每塊地域；矩陣中的元素mij表示該地域的架設(shè)成本權(quán)重，其值可以根據(jù)圖4所列舉的成本因子，并結(jié)合南方電網(wǎng)公司《110 kV～500 kV輸電線路典型造價》(2011版本)標(biāo)準(zhǔn)計算出。由式(1)可畫出輸電線路走廊的柵格矩陣如圖5所示，其中顏色越深表示成本權(quán)重越高。特別注意的是，對于某些必須避開的特殊區(qū)域，可設(shè)置其成本權(quán)重為一極大值(具體數(shù)值需根據(jù)不同的工程情況進行設(shè)定)，如圖5中黑色方塊所示，從而使得設(shè)計的算法可以使輸電線路避開上述區(qū)域。

對圖5所示柵格矩陣基于最優(yōu)成本進行路徑搜索，搜索動作分為8個方向，如圖6所示。傳統(tǒng)的搜索方法一般包含手動搜索法、遺傳算法或粒子群優(yōu)化算法等。

圖5 輸電線路柵格矩陣顏色圖

圖6 輸電線路規(guī)劃的動作設(shè)計

3 基于分層強化學(xué)習(xí)的輸電線路路徑規(guī)劃方法

在輸電線路的路徑規(guī)劃任務(wù)中需要同時考慮地址條件和避障條件，當(dāng)規(guī)劃的柵格矩陣維度成規(guī)模增長時，會使得路徑規(guī)劃算法參數(shù)的狀態(tài)空間成指數(shù)級擴張，若使用傳統(tǒng)算法，例如遺傳算法或粒子群優(yōu)化算法時，會由于搜索維度過高從而導(dǎo)致維度災(zāi)難問題。近年來，學(xué)者們對如何解決維度災(zāi)難問題進行了廣泛地研究，其中，分層強化學(xué)習(xí)是解決上述問題的有效方法，其以指數(shù)形式降低大規(guī)模柵格矩陣下的計算量，適合于解決三維云平臺中的輸電線路路徑規(guī)劃問題[21]。

采用分層強化學(xué)習(xí)中的MAXQ 算法進行大規(guī)模輸電線路的路徑規(guī)劃[22]，其主要思路是先基于馬爾可夫過程建立學(xué)習(xí)總?cè)蝿?wù)M，再將總?cè)蝿?wù)M分解成多個半馬爾可夫過程子任務(wù)，記為{m0,m1, … ,mn}，同時，將總策略π分解為多個子策略，記為{π0,π1, … ,πn}，其中，子策略πi對應(yīng)子任務(wù)mi。根據(jù)分層強化學(xué)習(xí)的定義，若能保證每個子策略πi都是子任務(wù)mi的最優(yōu)策略，那么總策略π也為最優(yōu)策略，從而得到路徑最優(yōu)解。

3.1 MAXQ算法

在MAXQ算法中，每個子任務(wù)可以由三元組<πi,Ti,Ri>組成：策略πi用于從子任務(wù)mi中選擇當(dāng)前時刻t時的動作at，Ti是子任務(wù)結(jié)束的終止步驟；獎勵值Ri為子任務(wù)學(xué)習(xí)過程中當(dāng)前時刻的代價函數(shù)。當(dāng)子任務(wù)學(xué)習(xí)結(jié)束后，總體的期望代價函數(shù)Vπ(i,s′)為：

(2)

MAXQ算法的動作值函數(shù)為：

(3)

令：

(4)

可將式(3)簡化成：

Qπ(i,s,a)=Vπ(a,s)+Cπ(i,s,a)

(5)

并且每個子任務(wù)在總?cè)蝿?wù)中的價值函數(shù)投影為：

Vπ(0,s)=Vπ(at,s)+Cπ(at-1,s,an)+…+

Cπ(a1,s,a2)+Cπ(0,s,a1)

(6)

其中：

Vπ(at,s)=P(s′|s,at)R(s′|s,at)

(7)

(8)

3.2 基于MAXQ算法的最優(yōu)路徑規(guī)劃

基于MAXQ算法的最優(yōu)路徑規(guī)劃方法如圖7所示，首先建立輸電線路走廊的總柵格圖，作為路徑規(guī)劃的總?cè)蝿?wù)，再將總柵格圖劃分成各個小區(qū)域，作為子任務(wù)。對每個子任務(wù)進行最優(yōu)策略求解，從而確定最優(yōu)動作。

具體步驟為：

步驟1：初始化算法參數(shù)，并令t=0；

步驟2：輸入總區(qū)域柵格圖作為當(dāng)前的觀測s，并在總柵格圖中確認路徑規(guī)劃的起點和終點；

圖7 基于MAXQ算法的輸電線路最優(yōu)路徑規(guī)劃

步驟3：使用10 km比例尺將總柵格圖劃分成各個子區(qū)域柵格圖，并根據(jù)第2節(jié)計算每塊子區(qū)域柵格圖的粗略造價函數(shù)，如圖8(a)所示，為設(shè)計方便起見，在實際工程中，再將圖8(a)投影至二維平面用做算法的輸入數(shù)據(jù)，如圖8(b)所示。

圖8 10 km比例尺下的造價函數(shù)二維和三維平面圖

步驟4：將總柵格圖中的每塊子區(qū)域進行500 m比例尺的精細劃分，從而實現(xiàn)更精確的造價函數(shù)計算，如圖9(a)所示，為設(shè)計方便起見，在實際工程中，再將圖9(a)投影至二維平面用做算法的輸入數(shù)據(jù)，如圖9(b)所示。

圖9 500 m比例尺下的造價函數(shù)二維和三維平面圖

步驟5：將圖8的柵格矩陣作為總?cè)蝿?wù)，在圖8下計算價值函數(shù)Vπ并執(zhí)行子任務(wù)；

步驟7：完成子任務(wù)后返回總?cè)蝿?wù)，直到滿足終止條件為止。

4 實驗結(jié)果

在實際工程中進行文中算法有效性地驗證。工程為承德百萬千瓦風(fēng)電基地二期輸電線路項目，承德地區(qū)風(fēng)能資源豐富，適宜建設(shè)大中型風(fēng)電場。根據(jù)冀北電網(wǎng)規(guī)劃，擬建由龍源(棋新風(fēng)電場220 kV升壓站)至T接點(御道口變電站-木蘭變電站線路斷點)一回220 kV線路。棋新風(fēng)電場安裝單機容量為2 MW的風(fēng)電機組150臺，風(fēng)電機組采用一機一變單元接線方式，通過17回集電線路接入到新建220 kV升壓站內(nèi)3臺主變的35 kV母線，升壓至220 kV后利用原木御線木蘭側(cè)220 kV線路送出，棋新升壓站至木御線破口點的線路長度約140 km，擬采用2×JL/G1A-400 型號導(dǎo)線，木御線破口點至木蘭220 kV升壓站的線路長度約290 km，木御線導(dǎo)線型號為2×JL/G1A-400。本工程的建設(shè)可以減少化石能源消耗，對于開發(fā)利用可再生資源，貫徹國家能源發(fā)展戰(zhàn)略，推動承德地區(qū)經(jīng)濟和社會發(fā)展，實現(xiàn)我國能源的可持續(xù)發(fā)展具有重要意義。

工程中使用數(shù)字化三維勘測系統(tǒng)，并在此基礎(chǔ)上分別采用文中方法和傳統(tǒng)的粒子群優(yōu)化算法進行棋新風(fēng)電場至木御線破口點之間的輸電線路路徑規(guī)劃，圖10為輸電線路路徑規(guī)劃的比較結(jié)果。其中一條線路為使用傳統(tǒng)的粒子群優(yōu)化算法的輸電線路規(guī)劃路徑，另一條線路為使用文中方法的輸電線路規(guī)劃路徑?？梢钥闯?，兩種方法的路徑長度相差不大，然而相較于粒子群方法，文中方法跨越的不合理區(qū)域更少，這是因為粒子群優(yōu)化算法使用的比例尺為10 km，地形柵格矩陣矩陣為10×30，而文中方法所使用的比例尺為1 km，柵格矩陣為100×3 000，對地形具有更為精細地劃分和鑒別。必須說明的是，如果傳統(tǒng)的例子群算法也使用1 km的比例尺，會因為無法收斂而一直陷于計算中，從而無法輸出最優(yōu)的結(jié)果。

圖10 采用文中方法和粒子群方法的比較結(jié)果

表1分別為采用粒子群優(yōu)化算法、使用的MAXQ算法以及人工規(guī)劃方法的具體指標(biāo)比較，可以看出，采用的分層強化學(xué)習(xí)方法可以在更高精度的地形劃分條件下收斂，不會出現(xiàn)發(fā)散的問題。同時，更高精度的地形劃分使得文中方法的不合理跨越區(qū)域更少，從而降低了路徑規(guī)劃的成本。

表1 采用粒子群優(yōu)化算法、MAXQ算法以及人工規(guī)劃方法的具體指標(biāo)比較結(jié)果

5 結(jié)束語

為解決地形劃分精度提高而帶來的維度災(zāi)難問題，研究了一種基于分層強化學(xué)習(xí)的數(shù)字化輸電線路路徑規(guī)劃方法，建立輸電線路的三維數(shù)字化云平臺，使用不同比例尺對地形數(shù)據(jù)進行重采樣為兩側(cè)柵格矩陣，第一層為粗粒度的柵格矩陣，第二層的細粒度柵格矩陣為第一層粗粒度柵格矩陣的進一步劃分。再使用基于MAXQ的分層強化學(xué)習(xí)分別對兩層?xùn)鸥窬仃囘M行路徑規(guī)劃，將粗粒度的柵格矩陣路徑規(guī)劃設(shè)為分層強化學(xué)習(xí)算法的總?cè)蝿?wù)，將細粒度的柵格矩陣路徑規(guī)劃設(shè)為分層強化學(xué)習(xí)算法的子任務(wù)，從而解決了細粒度柵格單元帶來的維度災(zāi)難問題，同時又保持了精確性的優(yōu)勢。實際算例表明，在地形劃分精度提高的情況下，傳統(tǒng)的路徑規(guī)劃算法會由于維度災(zāi)難導(dǎo)致不收斂，而研究的分層強化學(xué)習(xí)算法可以克服上述維度災(zāi)難問題仍能保持收斂，并使得不合理的跨越區(qū)域更少，從而降低了路徑規(guī)劃成本。