基于深度強化學習的電力物聯(lián)網動態(tài)切片策略研究

摘 要：軟件定義電力物聯(lián)網支持構建承載不同業(yè)務的網絡切片（Ｎｅｔｗｏｒｋ Ｓｌｉｃｅ，ＮＳ），通過部署ＮＳ 為具有業(yè)務需求的物聯(lián)網設備提供端到端服務。業(yè)務ＮＳ 的部署涉及２ 個互相耦合的問題，即虛擬網絡功能（Ｖｉｒｔｕａｌ Ｎｅｔｗｏｒｋ Ｆｕｎｃｔｉｏｎ，ＶＮＦ） 部署和業(yè)務傳輸路由確定。在海量業(yè)務需求與動態(tài)網絡場景中，ＮＳ 部署方案需要根據(jù)網絡狀態(tài)，實現(xiàn)智能的動態(tài)靈活部署。針對上述問題，研究動態(tài)網絡場景下的切片策略，基于深度強化學習算法求解ＶＮＦ 部署和業(yè)務傳輸路由確定這一復雜聯(lián)合優(yōu)化問題，實驗證明所提策略能根據(jù)目前的網絡狀態(tài)靈活地改變部署方案，控制業(yè)務路由平均能量損耗、平均可靠性和平均剩余帶寬占有率，提高了網絡整體傳輸性能。

關鍵詞：軟件定義電力物聯(lián)網；切片；虛擬網絡功能；路由；深度強化學習

中圖分類號：ＴＭ７３ 文獻標志碼：Ａ 開放科學（資源服務）標識碼（ＯＳＩＤ）：

文章編號：１００３－３１０６（２０２４）０６－１３８０－０８

０ 引言

電力物聯(lián)網［１］是物聯(lián)網技術在智能電網中應用的產物。近年來，電力物聯(lián)網規(guī)模不斷增大，承載的業(yè)務種類也日益繁多，導致業(yè)務數(shù)據(jù)量呈指數(shù)級增長。在這種情況下，為給眾多物聯(lián)網設備提供服務，供應商需要頻繁更換硬件設備、分配帶寬資源等。然而事實上，更換硬件設備的成本高，而且軟硬件耦合［２］、網絡封閉化，使得服務成本高昂、服務效率低下，給電力物聯(lián)網的發(fā)展帶來了巨大挑戰(zhàn)。隨著軟件定義網絡（Ｓｏｆｔｗａｒｅ Ｄｅｆｉｎｅｄ Ｎｅｔｗｏｒｋ，ＳＤＮ）和網絡功能虛擬化（Ｎｅｔｗｏｒｋ Ｆｕｎｃｔｉｏｎ Ｖｉｒｔｕａｌｉｚａｔｉｏｎ，ＮＦＶ）［３］的出現(xiàn)，網絡切片（Ｎｅｔｗｏｒｋ Ｓｌｉｃｅ，ＮＳ）［４］應運而生，研究者們提出了軟件定義電力物聯(lián)網［５］，為解決上述問題提供了新的思路。

新思路的關鍵是：依據(jù)不同電力業(yè)務需求的特點，將軟件定義電力物聯(lián)網抽象為多個獨立的虛擬化邏輯網絡，即業(yè)務ＮＳ，ＮＳ 承載具有對應業(yè)務需求的物聯(lián)網設備；利用ＮＦＶ 實現(xiàn)軟硬件解耦，通過Ｄｏｃｋｅｒ 容器在物聯(lián)網網關部署多個虛擬網絡功能（Ｖｉｒｔｕａｌ Ｎｅｔｗｏｒｋ Ｆｕｎｃｔｉｏｎ，ＶＮＦ）［６］，物聯(lián)網設備按需激活網關上的ＶＮＦ，并傳輸業(yè)務數(shù)據(jù)。借此，軟件定義電力物聯(lián)網可以通過軟件編程部署業(yè)務ＮＳ，實現(xiàn)為物聯(lián)網設備靈活提供端到端服務的目標。然而，在ＮＳ 部署過程中，面臨以下問題：一是網絡中存在多個網關，業(yè)務ＮＳ 承載的物聯(lián)網設備難以選擇合適的網關進行部署并激活所需的ＶＮＦ；二是物聯(lián)網設備在向網關傳輸業(yè)務數(shù)據(jù)時，使用的路由是基于最短路徑的固定路由，無法根據(jù)網絡狀態(tài)動態(tài)改變。當業(yè)務數(shù)據(jù)量增大時，可能會導致鏈路擁塞，降低路由質量，從而影響服務的可靠性。

針對上述問題，學術界已經開展了面向ＮＳ 部署的相關研究。Ｇｕａｎ 等［７］采用復雜網絡理論獲取網絡拓撲信息，并通過定義節(jié)點重要性對設備節(jié)點進行排序。然后選擇重要性高的設備來部署ＶＮＦ，并使用ＫＳＰ 算法計算多個ＶＮＦ 之間的傳輸路由，以完成ＮＳ 部署。然而，這項研究不屬于電力物聯(lián)網領域，并且使用基于最短路徑的傳輸路由，無法根據(jù)網絡狀態(tài)進行動態(tài)調整。另一方面，王雅倩等［８］研究了電力物聯(lián)網ＮＳ 的ＶＮＦ 部署問題，并提出了基于升價匹配的多階段多對一部署算法。該算法能夠獲得更小的業(yè)務服務總時延，并滿足時延敏感業(yè)務的需求。然而，這項工作并未考慮如何確定業(yè)務的傳輸路由，因此在實際應用中，ＮＳ 無法提供端到端的服務。此外，楊爽等［９］針對電力物聯(lián)網提出了一種基于模擬退火－粒子群算法的ＮＳ 部署方案。通過優(yōu)化節(jié)點映射和鏈路映射，該方案能夠得到較好的傳輸路由。然而，在節(jié)點映射過程中，忽略了節(jié)點種類不同和ＶＮＦ 部署位置等因素，與實際網絡特點不符。綜上所述，盡管已有關于電力物聯(lián)網ＮＳ部署的研究，但大多數(shù)工作只關注單個問題，如ＶＮＦ 部署或傳輸路由確定，而忽略了這兩方面是相互耦合的，且現(xiàn)有的傳輸路由也缺乏智能性。

人工智能是當前學術界研究的熱點問題之一，其中最具代表性的是深度學習［１０］、強化學習［１１］及深度強化學習［１２］。在物聯(lián)網領域，Ｚｈｏｕ 等［１３］提出了一種基于Ｑｌｅａｒｎｉｎｇ 的路由算法，通過計算設備節(jié)點的剩余能量和深度信息來選擇Ｑ 值較大的路由，以減少數(shù)據(jù)傳輸時延。然而，由于實際網絡的復雜性，該算法的計算量較大，難以實現(xiàn)。在電力通信網絡領域，向敏等［１４］提出了基于深度學習的路由策略，通過建立鏈路帶寬占用率預測模型，計算不同路由的選擇度，實驗證明選擇的路由能有效減少傳輸時延。葉萬余等［１５］建立了面向電力物聯(lián)網業(yè)務的管理模型，使用深度強化學習算法，將電力業(yè)務傳輸路由的時延和可靠性作為優(yōu)化目標，為業(yè)務ＮＳ 按需分配鏈路帶寬資源。然而，以上研究都集中在智能方法如何確定路由或分配資源上，而忽略了ＮＳ部署涉及的ＶＮＦ 部署問題。因此，在軟件定義電力物聯(lián)網領域，還缺乏一種能夠系統(tǒng)地、智能地完成ＶＮＦ 部署、傳輸路由確定和資源分配的工作。

本文研究了基于深度強化學習的電力物聯(lián)網動態(tài)切片策略，實現(xiàn)在動態(tài)網絡環(huán)境下靈活部署ＮＳ，為物聯(lián)網設備提供端到端服務。首先，簡要描述了軟件定義電力物聯(lián)網的架構和切片部署過程，通過ＳＤＮ 控制器管理網絡，提高業(yè)務服務的靈活性和高效性；然后，建立了動態(tài)切片策略的數(shù)學模型，并以平均能量損耗、平均可靠性和平均剩余帶寬占有率為優(yōu)化目標，提出深度強化學習動態(tài)切片算法（ＤＲＬ-ＤＳＡ）求解切片策略，該策略能夠根據(jù)網絡狀態(tài)動態(tài)調整ＮＳ 部署方案，以滿足不同業(yè)務數(shù)據(jù)量的需求；最后，通過仿真實驗，驗證了所提策略在解決ＶＮＦ 部署和業(yè)務傳輸路由確定這一聯(lián)合優(yōu)化問題的同時，保障了平均能量損耗、平均可靠性和平均剩余帶寬占有率等性能，實現(xiàn)了ＮＳ 的動態(tài)優(yōu)化部署。

１ 系統(tǒng)架構及數(shù)學模型

１． １ 系統(tǒng)架構

軟件定義電力物聯(lián)網的架構如圖１ 所示，包括３ 層：物聯(lián)網設備層、網關層和控制器層。在物聯(lián)網設備層，多個物聯(lián)網設備互相連接構成Ｍｅｓｈ 網絡，這些設備是支持ＳＤＮ 功能，并能夠采集壓力、溫度和聲音等信息的無線傳感器。網關層包含一些支持ＳＤＮ 功能的物聯(lián)網網關，支持使用輕量級虛擬化技術如Ｄｏｃｋｅｒ 來部署ＶＮＦ。物聯(lián)網設備采集的數(shù)據(jù)需要傳輸?shù)骄W關進行邊緣計算?？刂破鲗佑桑樱模慰刂破鹘M成，例如Ｒｙｕ、ＮＯＸ、ＯｐｅｎＤａｙＬｉｇｈｔ 等，控制器負責觀測網絡的實際狀態(tài)，確定網關和傳輸路由，并為相關物聯(lián)網設備和網關安裝流表，通過管理網絡并控制業(yè)務數(shù)據(jù)的轉發(fā)，提高業(yè)務服務的靈活性和高效性。此外，從圖中可以看出，軟件定義電力物聯(lián)網中可以存在多個業(yè)務ＮＳ。每個業(yè)務ＮＳ 承載著具有各自業(yè)務需求的物聯(lián)網設備，包含若干個業(yè)務流，通過部署業(yè)務ＮＳ，能夠有效地提供業(yè)務服務，提高電力物聯(lián)網的并發(fā)性。當部署業(yè)務ＮＳ 時，需要從網關層中為物聯(lián)網設備選擇合適的網關來激活所需的ＶＮＦ，并確定傳輸路由以傳輸業(yè)務數(shù)據(jù)。通過這種方式，軟件定義電力物聯(lián)網實現(xiàn)了為具有業(yè)務需求的物聯(lián)網設備提供端到端服務的目標。

所提動態(tài)切片策略能根據(jù)網絡狀態(tài)調整ＮＳ 部署方案，支持同時確定ＶＮＦ 部署和傳輸路由；在數(shù)學模型中，給出了計算ＮＳ 所需鏈路帶寬資源的方法。通過優(yōu)化動態(tài)ＮＳ 部署方案，能提高網絡性能，為物聯(lián)網設備提高服務質量。

１． ２ 數(shù)學模型

軟件定義電力物聯(lián)網的節(jié)點集合Ｎ 由物聯(lián)網設備集合Ｄ、網關集合Ｉ、控制器集合Ｂ 組成，即Ｎ ＝Ｄ∪Ｉ∪Ｂ；鏈路集合Ｅ 由物聯(lián)網設備之間的鏈路集合ＥＤ 、物聯(lián)網設備與網關之間的鏈路集合ＥＩ、網關與控制器之間的鏈路集合ＥＢ 組成，即Ｅ ＝ ＥＤ ∪ＥＩ∪ＥＢ 。

假設業(yè)務ＮＳ 內，具有業(yè)務需求的物聯(lián)網設備集合為Ｕ，顯然Ｕ-Ｄ，物聯(lián)網設備節(jié)點ｎｄ ∈Ｕ；可被選擇部署ＶＮＦ 的候選網關集合為Ｇ，顯然Ｇ-Ｉ，網關節(jié)點ｎｉ∈Ｇ；物聯(lián)網設備ｎｄ 到網關ｎｉ 的候選路由集合為Ｐｄｉ，第ｋ 條路徑ｐｄｉｋ ∈Ｐｄｉ。在不失一般性的情況下，不指定節(jié)點類型而使用節(jié)點時，用符號ｎｕ或ｎｖ 表示，符號ｅｕｖ 表示ｎｕ 與ｎｖ 之間的鏈路，符號Ｃｕｖ 表示鏈路ｅｕｖ 的剩余帶寬大小。

本文數(shù)學模型將選擇合適網關部署ＶＮＦ 和確定物聯(lián)網設備到網關的傳輸路由這２ 個問題互相耦合。

在部署ＮＳ 時，若網關ｎｉ 被某具有業(yè)務需求的物聯(lián)網設備ｎｄ 選擇以部署ＶＮＦ，則變量ｘｉ ＝ １，否則ｘｉ ＝ ０。當ｘｉ ＝ １ 時，若路由ｐｄｉｋ ∈Ｐｄｉ 被選擇，則變量ｙｄｉｋ ＝ １，否則ｙｄｉｋ ＝ ０；當ｘｉ ＝ ０ 時，變量ｙｄｉｋ ＝ ０。滿足：

ＮＳ 所服務的業(yè)務的帶寬需求為ｚ，任意鏈路ｅｕｖ所需帶寬資源為ｂｕｖ：

ｂｕｖ ＝ αｕｖ ｚ， （８）

ｂｕｖ ≤ Ｃｕｖ 。（９）

傳輸路由的能量損耗、可靠性和剩余帶寬占有率是大多數(shù)網絡研究中的主要問題。在軟件定義電力物聯(lián)網業(yè)務ＮＳ 部署中，保障這３ 個方面的性能，對提升端到端服務質量具有重大意義。故本文聯(lián)合上述３ 個性能構建優(yōu)化目標。

能量損耗的計算采用經典的二維功耗模型［１６］。規(guī)定任意鏈路ｅｕｖ 的實際距離為ｌｕｖ ｍ，任意設備接收ｔ ｂｉｔ 數(shù)據(jù)將消耗式（１０）所示能量，發(fā)送和傳輸ｔ ｂｉｔ數(shù)據(jù)將消耗式（１１）所示能量：

聯(lián)合優(yōu)化目標方程如式（１７）所示，令該優(yōu)化目標的值越大性能越好。

ｍａｘy ｅ－Ｅａｖｅ ＋ ｒｅｌ ＋ ｗr 。 （１７）

２ 動態(tài)切片策略

２． １ 馬爾科夫決策過程

馬爾科夫決策過程是對完全可觀測環(huán)境進行的描述。在使用深度強化學習求解前，要把待求解問題建模為馬爾科夫決策過程。馬爾科夫決策過程包含獎勵、決策，可用四元組（Ｓ，ａ，ｒ，Ｓ′）表示，具體如下：

① Ｓ表示所有狀態(tài)的集合。

② ａ 表示選擇的動作，從動作空間選擇表示。

③ ｒ（Ｓ，ａ，Ｓ′）表示在狀態(tài)Ｓ 下執(zhí)行動作ａ，狀態(tài)轉移至新狀態(tài)Ｓ′時獲得的獎勵。

④ Ｓ′表示執(zhí)行動作之后，新狀態(tài)的集合。

智能體通過觀察當前環(huán)境狀態(tài)來選擇動作，并將所選動作應用于環(huán)境中，接著環(huán)境會給予智能體反饋，包括執(zhí)行動作所獲得的獎勵和新的狀態(tài)。根據(jù)環(huán)境反饋的獎勵和新狀態(tài)，智能體做出新的動作決策。通過不斷重復上述過程，智能體進行訓練直到收斂，以達到理想的結果。在這個過程中，獎勵的反饋過程體現(xiàn)了馬爾科夫決策過程的特點。

２． ２ 雙深度Ｑ 網絡算法

常見的深度強化學習方法有兩大類［１７］：基于值函數(shù)的學習方法和基于策略的學習方法。其中，深度Ｑ 網絡（Ｄｅｅｐ Ｑ-ｎｅｔｗｏｒｋ，ＤＱＮ）［１８］算法和雙深度Ｑ 網絡（Ｄｏｕｂｌｅ Ｄｅｅｐ Ｑ-ｎｅｔｗｏｒｋ，ＤＤＱＮ）［１９］算法是經典的基于值函數(shù)的學習方法，適用于具有離散動作空間的任務，符合本場景需求。

傳統(tǒng)ＤＱＮ 算法會高估某些動作的Ｑ 值，導致智能體選擇的動作不穩(wěn)定，于是，研究者提出ＤＤＱＮ算法對其優(yōu)化。ＤＤＱＮ 算法與ＤＱＮ 算法的網絡構造一致，均由一個訓練網絡和一個目標網絡組成。ＤＤＱＮ 算法在選擇下一個動作時使用訓練網絡來估計Ｑ 值，但在評估下一個狀態(tài)的最佳動作時使用目標網絡來估計Ｑ 值。計算如下：

Ｑｔ（Ｓ，ａ） ＝ ｒ ＋ γＱｔ（Ｓ′，ａｒｇｍａｘ ａ′（Ｑ（Ｓ′，ａ′）））。（１８）

目標網絡是一個與訓練網絡結構相同但參數(shù)不同的網絡，用于計算目標Ｑ 值。訓練網絡的參數(shù)實時更新，目標網絡的參數(shù)每經過固定步數(shù)后更新。參數(shù)更新的依據(jù)是，目標網絡和訓練網絡之間的Ｑ值平方差反向傳播，計算如下：

Ｌｏｓｓ ＝ （Ｑｔ（Ｓ，ａ）－ Ｑ（Ｓ，ａ）） ２ 。（１９）

逐步優(yōu)化２ 個網絡的參數(shù)，直至訓練出穩(wěn)定的動作價值函數(shù)，能輸出最優(yōu)計算方案。

另一方面，ＤＤＱＮ 算法需要大量的數(shù)據(jù)來訓練神經網絡參數(shù)。故要先構造經驗回放池，將智能體隨機探索的數(shù)據(jù)以四元組的形式存放其中，當存放數(shù)量達一定值后，智能體才能從池中隨機抽取樣本輸入網絡進行訓練。從經驗回放池中隨機抽取樣本的操作，可以減小所抽樣本之間的相關性。

２． ３ 深度強化學習動態(tài)切片算法

為求解動態(tài)切片策略中的ＶＮＦ 部署和傳輸路由確定這一聯(lián)合優(yōu)化問題，在ＤＤＱＮ 算法的基礎上，結合軟件定義電力物聯(lián)網場景，提出ＤＲＬ-ＤＳＡ。算法的整體框架如圖２ 所示。

狀態(tài)空間Ｓ 表示軟件定義電力物聯(lián)網的當前狀態(tài)。狀態(tài)通過網絡鏈路描述，包括鏈路的節(jié)點信息、剩余帶寬資源等，計算如下：

式中：ｎｊ１ 和ｎｊ２ 分別表示第ｊ 條鏈路兩端點，ｃｊ 表示第ｊ 條鏈路的剩余帶寬資源，｜ Ｅ｜ 表示軟件定義電力物聯(lián)網中所有鏈路總數(shù)。

動作空間ａ 表示切片部署方案，包含網關選擇部署ＶＮＦ 結果和傳輸路由結果。本文欲縮減動作空間來降低計算復雜度，遂使用ｋ-ｓｈｏｒｔｅｓｔ ｐａｔｈｓ 算法，為物聯(lián)網設備逐一選擇Ｍ 條到某個網關的傳輸路由，并構造候選路由集合，計算如下：

式中： ｜Ｕ｜ 表示ＮＳ 內具有業(yè)務需求的物聯(lián)網設備總數(shù)， ｜Ｇ ｜表示可能被選擇部署ＶＮＦ 的網關總數(shù)，ｄ 和ｉ 分別表示設備序號和網關序號，ｐｄｉｋ 表示候選路由集合中第ｋ 條路徑。

獎勵函數(shù)ｒ 由聯(lián)合優(yōu)化目標確定，如式（２２）所示。隨著業(yè)務數(shù)據(jù)量增大，若當前所選的傳輸路由帶寬充足，將會獲得該獎勵，并繼續(xù)訓練；否則停止訓練。

ｒ ＝ ｅ－Ｅａｖｅ ＋ ｒｅｌ ＋ ｗ。（２２）

智能體為了處理盡可能多的多業(yè)務數(shù)據(jù)，使每輪迭代的累計獎勵值最大化，將靈活地選擇其他剩余帶寬充足的傳輸路由，這樣同時保障了平均能量損耗、平均可靠性和平均剩余帶寬占有率。ＤＲＬ-ＤＳＡ 實現(xiàn)流程如算法１ 所示。

３ 仿真分析

３． １ 仿真環(huán)境及參數(shù)設計

仿真環(huán)境使用Ｇｙｍ 框架編寫，仿真計算平臺為英特爾酷睿ｉ７-１０７００ ＣＰＵ，內存為１６ ＧＢ，ＧＰＵ 為ＮＶＩＤＩＡ ＧｅＦｏｒｃｅ ＧＴＸ １６６０ ＳＵＰＥＲ，操作系統(tǒng)為Ｗｉｎｄｏｗｓ １０。

實驗模擬構建一個包含３０ 個物聯(lián)網設備，５ 個物聯(lián)網網關的軟件定義電力物聯(lián)網拓撲。其中業(yè)務ＮＳ 承載５ 個具有業(yè)務需求的物聯(lián)網設備，候選３ 個可被部署ＶＮＦ 的物聯(lián)網網關。網絡拓撲分布在３００ ｍ×３００ ｍ 范圍內，鏈路帶寬為１ ０００ ～ ２ ５００ Ｂ ／ ｓ，各鏈路的故障率大小為０． ０２ ～ ０． ０９。

本實驗對比基于最短傳輸路由的ＳＰ 切片算法和基于ＤＱＮ 的Ｂａｓｅｌｉｎｅ 切片算法，通過設置不同業(yè)務數(shù)據(jù)量進行實驗，分析各個策略在平均能量損耗、平均可靠性、平均剩余帶寬占有率三方面的性能表現(xiàn)，證明了本文求解出的動態(tài)切片策略具有有效性和優(yōu)越性。其中，業(yè)務數(shù)據(jù)量大小在５１２ ～ １ ０２４ Ｂ ／ ｓ。

設定模型訓練所需的其他參數(shù)值如表１ 所示。

３． ２ 仿真結果分析

所提ＤＲＬ-ＤＳＡ 切片算法和基于ＤＱＮ 的Ｂａｓｅｌｉｎｅ 切片算法同屬于深度強化學習算法，故模型需要若干次重復訓練，直至收斂，才能得到最優(yōu)的動態(tài)切片策略，模型累積的獎勵值將在一個小范圍內波動，基本保持穩(wěn)定。圖３ 展示了二者的獎勵值變化，當均達到收斂狀態(tài)時，ＤＲＬ-ＤＳＡ 獲得的累積獎勵值優(yōu)于Ｂａｓｅｌｉｎｅ 算法的累積獎勵值。根據(jù)式（２２），證明ＤＲＬ-ＤＳＡ 算法在上述三方面的性能表現(xiàn)更好。

展開分析各算法在平均能量損耗、平均可靠性和平均剩余帶寬占有率三方面的表現(xiàn)。

在平均能量損耗方面，各算法求得的切片策略性能如圖４ 所示。由式（１３）可知，平均能量損耗僅和物聯(lián)網設備到所選網關之間的實際距離相關。隨著業(yè)務數(shù)據(jù)量增大，平均能量損耗必然增加。其中，由于ＳＰ 算法的切片策略是基于最短傳輸路由的策略，故其平均能量損耗必然是最小的。Ｂａｓｅｌｉｎｅ 算法和ＤＲＬ-ＤＳＡ 所求的是隨著網絡狀態(tài)變換的動態(tài)切片策略，為保障網絡整體的性能，某些狀態(tài)下所選的傳輸路由不是最短的，故其平均能量損耗略高，是正常表現(xiàn)。相比較Ｂａｓｅｌｉｎｅ 算法而言，ＤＲＬ-ＤＳＡ 接近ＳＰ 算法，平均能量損耗更小，性能更好。

在平均可靠性方面，各算法求得的切片策略性能如圖５ 所示。根據(jù)式（１５），平均可靠性與物聯(lián)網設備選取的傳輸路由中各鏈路可靠性的乘積相關。顯然，ＳＰ 算法的切片策略不能根據(jù)網絡狀態(tài)改變，其平均可靠性保持不變，且僅依據(jù)傳輸路由的最短距離做決策，未考慮保障可靠性，因此表現(xiàn)最差。在某些業(yè)務數(shù)據(jù)量下，Ｂａｓｅｌｉｎｅ 算法和ＤＲＬ-ＤＳＡ 的策略一致，但后者在平均可靠性方面表現(xiàn)的上限更高，性能更好。

在平均剩余帶寬占有率方面，各算法求得的切片策略性能如圖６ 所示?？梢钥闯觯驗椋樱?算法的切片策略一直選擇的是同一條傳輸路由，故隨著業(yè)務數(shù)據(jù)量增大，其平均剩余帶寬占有率呈線性下降。相反，ＤＲＬ-ＤＳＡ 和Ｂａｓｅｌｉｎｅ 算法改變了切片策略，選擇其他剩余帶寬容量大的傳輸路由，顯著限制了平均剩余帶寬占有率下降的速度，且隨著業(yè)務數(shù)據(jù)量增大，二者算法的優(yōu)勢愈發(fā)明顯。但由于ＤＲＬ-ＤＳＡ 的動作更加穩(wěn)定，所以探索的切片策略的平均剩余帶寬占有率要高于Ｂａｓｅｌｉｎｅ 算法探索的切片策略。

４ 結束語

軟件定義電力物聯(lián)網通過部署業(yè)務ＮＳ 滿足海量物聯(lián)網設備的電力業(yè)務需求，但傳統(tǒng)的切片策略是基于最短傳輸路由的策略。當業(yè)務數(shù)據(jù)量激增時，傳統(tǒng)的切片策略由于不能根據(jù)當前網絡狀態(tài)靈活改變，將出現(xiàn)可靠性低下、鏈路擁塞等問題。針對上述問題，本文提出了基于深度強化學習的電力物聯(lián)網動態(tài)切片策略，并引入了ＤＲＬＤＳＡ 來求解該策略。所提策略能夠同時確定ＶＮＦ 的部署和傳輸路由，并保證傳輸路由在平均能量損耗、平均可靠性和平均剩余帶寬占有率三方面的性能，實驗證明了該策略的有效性。本策略通過加入智能體實現(xiàn)切片的動態(tài)部署，為軟件定義電力物聯(lián)網的后續(xù)研究奠定了基礎。

參考文獻

［１］ 何奉祿，陳佳琦，李欽豪，等． 智能電網中的物聯(lián)網技術應用與發(fā)展［Ｊ］． 電力系統(tǒng)保護與控制，２０２０，４８（３）：５８－６９．

［２］ 賀金紅，張港紅，高建． ５Ｇ 切片技術在電力物聯(lián)網應用的智能化管理［Ｊ］． 電力信息與通信技術，２０２０，１８（５）：１９－２５．

［３］ 趙慧玲，史凡． ＳＤＮ ／ ＮＦＶ 的發(fā)展與挑戰(zhàn)［Ｊ］． 電信科學，２０１４，３０（８）：１３－１８．

［４］ 臧玉華，鄭煥坤，尹世豪． 面向新型電力系統(tǒng)的５Ｇ 網絡切片資源分配策略［Ｊ］． 河北電力技術，２０２３，４２（１）：２６－３１．

［５］ ＲＡＦＩＱＵＥ Ｗ，ＱＩ Ｌ Ｙ，ＹＡＱＯＯＢ Ｉ，ｅｔ ａｌ． ＣｏｍｐｌｅｍｅｎｔｉｎｇＩｏＴ Ｓｅｒｖｉｃｅｓ Ｔｈｒｏｕｇｈ Ｓｏｆｔｗａｒｅ Ｄｅｆｉｎｅｄ Ｎｅｔｗｏｒｋｉｎｇ ａｎｄＥｄｇｅ Ｃｏｍｐｕｔｉｎｇ：Ａ Ｃｏｍｐｒｅｈｅｎｓｉｖｅ Ｓｕｒｖｅｙ［Ｊ］． ＩＥＥＥ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｕｒｖｅｙｓ ＆ Ｔｕｔｏｒｉａｌｓ，２０２０，２２（３）：１７６１－１８０４．

［６］ 李航，溫向明，孔紫璇，等． 面向多樣化需求的網絡切片業(yè)務鏈部署［Ｊ］． 北京郵電大學學報，２０２２，４５（２）：９－１５．

［７］ ＧＵＡＮ Ｗ Ｑ，ＷＥＮ Ｘ Ｍ，ＷＡＮＧ Ｌ Ｈ，ｅｔ ａｌ． Ａ Ｓｅｒｖｉｃｅｏｒｉｅｎｔｅｄ Ｄｅｐｌｏｙｍｅｎｔ Ｐｏｌｉｃｙ ｏｆ ＥｎｄｔｏＥｎｄ Ｎｅｔｗｏｒｋ ＳｌｉｃｉｎｇＢａｓｅｄ ｏｎ Ｃｏｍｐｌｅｘ Ｎｅｔｗｏｒｋ Ｔｈｅｏｒｙ ［Ｊ］． ＩＥＥＥ Ａｃｃｅｓｓ，２０１８，６：１９６９１－１９７０１．

［８］ 王雅倩，陳心怡，曲睿，等． 基于ＳＤＮ ／ ＮＦＶ 的電力物聯(lián)網時延敏感業(yè)務編排方法［Ｊ］． 華北電力大學學報（自然科學版），２０２３，５０（１）：８４－９１．

［９］ 楊爽，龔亮亮，胡陽，等． 一種網絡切片編排算法在電力物聯(lián)網中的應用［Ｊ］． 電力信息與通信技術，２０２０，１８（１２）：２９－３５．

［１０］ 張菊，郭永峰． 深度學習研究綜述［Ｊ］． 教學研究，２０２１，４４（３）：６－１１．

［１１］ 劉全，翟建偉，章宗長，等． 深度強化學習綜述［Ｊ］． 計算機學報，２０１８，４１（１）：１－２７．

［１２］ ＺＨＡＮＧ Ｚ Ｄ，ＺＨＡＮＧ Ｄ Ｘ，ＱＩＵ Ｒ Ｃ． Ｄｅｅｐ ＲｅｉｎｆｏｒｃｅｍｅｎｔＬｅａｒｎｉｎｇ ｆｏｒ Ｐｏｗｅｒ Ｓｙｓｔｅｍ Ａｐｐｌｉｃａｔｉｏｎｓ：Ａｎ Ｏｖｅｒｖｉｅｗ［Ｊ］．ＣＳＥＥ Ｊｏｕｒｎａｌ ｏｆ Ｐｏｗｅｒ ａｎｄ Ｅｎｅｒｇｙ Ｓｙｓｔｅｍｓ，２０２０，６（１）：２１３－２２５．

［１３］ ＺＨＯＵ Ｙ，ＣＡＯ Ｔ，ＸＩＡＮＧ Ｗ． Ａｎｙｐａｔｈ Ｒｏｕｔｉｎｇ ＰｒｏｔｏｃｏｌＤｅｓｉｇｎ ｖｉａ ＱＬｅａｒｎｉｎｇ ｆｏｒ Ｕｎｄｅｒｗａｔｅｒ Ｓｅｎｓｏｒ Ｎｅｔｗｏｒｋｓ［Ｊ］．ＩＥＥＥ Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇ Ｊｏｕｒｎａｌ，２０２１，８（１０）：８１７３－８１９０．

［１４］ 向敏，饒華陽，張進進，等． 基于圖卷積神經網絡的軟件定義電力通信網絡路由控制策略［Ｊ］． 電子與信息學報，２０２１，４３（２）：３８８－３９５．

［１５］ 葉萬余． 面向電力物聯(lián)網ＵＲＬＬＣ 業(yè)務的智能網絡切片管理方法［Ｊ］． 工業(yè)工程，２０２２，２５（１）：１２９－１３５．

［１６］ 李鑫，劉楊，劉立業(yè)． ＷＳＮｓ 中一種基于強化學習的跟蹤調度算法［Ｊ］． 無線電工程，２０２３，５３（５）：１２２１－１２２７．

［１７］ ＬＵＯＮＧ Ｎ Ｃ，ＨＯＡＮＧ Ｄ Ｔ，ＧＯＮＧ Ｓ Ｍ，ｅｔ ａｌ． Ａｐｐｌｉｃａｔｉｏｎｓｏｆ Ｄｅｅｐ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ ｉｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄＮｅｔｗｏｒｋｉｎｇ：Ａ Ｓｕｒｖｅｙ［Ｊ］． ＩＥＥＥ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｕｒｖｅｙｓ＆ Ｔｕｔｏｒｉａｌｓ，２０１９，２１（４）：３１３３－３１７４．

［１８］ ＭＮＩＨ Ｖ，ＫＡＶＵＫＣＵＯＧＬＵ Ｋ，ＳＩＬＶＥＲ Ｄ，ｅｔ ａｌ． Ｈｕｍａｎｌｅｖｅｌ Ｃｏｎｔｒｏｌ Ｔｈｒｏｕｇｈ Ｄｅｅｐ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ［Ｊ］．Ｎａｔｕｒｅ，２０１５，５１８（７５４０）：５２９－５３３．

［１９］ ＶＡＮ ＨＡＳＳＥＬＴ Ｈ，ＧＵＥＺ Ａ，ＳＩＬＶＥＲ Ｄ． Ｄｅｅｐ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ ｗｉｔｈ Ｄｏｕｂｌｅ ＱＬｅａｒｎｉｎｇ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔｈｅ ＡＡＡＩ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ．Ｐｈｏｅｎｉｘ：ＡＡＡＩ Ｐｒｅｓｓ，２０１６：２０９４－２１００．

作者簡介

辛 銳 男，（１９８３—），碩士，高級工程師。主要研究方向：大數(shù)據(jù)、人工智能及網絡安全。

（*通信作者）吳軍英 男，（１９８２—），碩士，高級工程師。主要研究方向：人工智能、物聯(lián)網、邊緣計算。

薛 冰 女，（１９９９—），碩士研究生。主要研究方向：物聯(lián)網、人工智能。

張鵬飛 男，（１９８５—），碩士，高級工程師。主要研究方向：物聯(lián)網、自然語言處理。

李艷軍 男，（１９７７—），碩士，正高級會計師。主要研究方向：財務、技經及大數(shù)據(jù)。

柴守亮 男，（１９８１—），碩士，正高級工程師。主要研究方向：信息通信和網絡安全。

王佳楠 男，（１９７４—），碩士，工程師。主要研究方向：物聯(lián)網、大數(shù)據(jù)及人工智能。

基金項目：河北省省級科技計劃資助（２２３１０３０２Ｄ）