電力物聯(lián)網(wǎng)立體異構(gòu)通信網(wǎng)絡(luò)協(xié)同編排技術(shù)研究

陶靜，劉世棟，劉川，卜憲徳

（國(guó)網(wǎng)智能電網(wǎng)研究院有限公司，南京 210003）

0 引言

自2020年國(guó)家電網(wǎng)有限公司提出全力推進(jìn)電力物聯(lián)網(wǎng)建設(shè)以來，“發(fā)、輸、變、配、用”各環(huán)節(jié)都實(shí)現(xiàn)了電力物聯(lián)設(shè)備及系統(tǒng)的部署應(yīng)用［1-2］。由于當(dāng)前電力專網(wǎng)未實(shí)現(xiàn)全覆蓋［3］，電力物聯(lián)網(wǎng)業(yè)務(wù)需通過低功耗廣域網(wǎng)絡(luò)、電力線載波、電力無線專網(wǎng)、4G/5G無線虛擬專網(wǎng)等方式承載［4-5］，然而這些技術(shù)不能有效滿足電力物聯(lián)網(wǎng)廣覆蓋、大連接的需求。Liu Jiayan等［5-6］認(rèn)為5G通信技術(shù)存在地理環(huán)境限制，可采用空-天-地一體化網(wǎng)絡(luò)來提供更廣的覆蓋范圍和更高的通信容量。江秀臣等［7］為輸配電設(shè)備物聯(lián)網(wǎng)設(shè)計(jì)了結(jié)合SAR（合成孔徑雷達(dá)）遙感衛(wèi)星、LoRa（遠(yuǎn)距離無線電）的天地協(xié)同通信方案?？?天-地協(xié)同形成的立體網(wǎng)絡(luò)為電力物聯(lián)網(wǎng)泛在通信需求提供了解決方案，但也存在一些弊端：一方面，立體網(wǎng)絡(luò)為典型的異構(gòu)通信網(wǎng)絡(luò)，呈現(xiàn)多種通信方式并存、通信協(xié)議復(fù)雜異構(gòu)、通信節(jié)點(diǎn)空間分布廣、通信設(shè)備層次多、運(yùn)維管理困難等特點(diǎn)；另一方面，電力物聯(lián)網(wǎng)傳輸?shù)碾娏I(yè)務(wù)數(shù)據(jù)對(duì)實(shí)時(shí)性、可靠性、安全性要求較高，而立體異構(gòu)網(wǎng)絡(luò)層級(jí)更多，尤其是天基和空基網(wǎng)絡(luò)節(jié)點(diǎn)自身處于快速移動(dòng)狀態(tài)，因此通信性能保障較傳統(tǒng)網(wǎng)絡(luò)更為復(fù)雜。

楊權(quán)東等［8］研究電力物聯(lián)網(wǎng)中異構(gòu)網(wǎng)絡(luò)關(guān)鍵技術(shù)時(shí)，提到了多連接下的網(wǎng)絡(luò)間切換技術(shù)及負(fù)載均衡技術(shù)。劉林等［9］認(rèn)為面向電力物聯(lián)網(wǎng)新業(yè)務(wù)的電力通信網(wǎng)將向通信組網(wǎng)融合化、通信調(diào)度靈活化、通信運(yùn)維智能化發(fā)展。要實(shí)現(xiàn)立體異構(gòu)網(wǎng)絡(luò)的協(xié)同控制，首先需要打破通信設(shè)備類型不同、設(shè)備間接口協(xié)議不同、設(shè)備所在層級(jí)不同等因素造成的壁壘。SDN（軟件定義網(wǎng)絡(luò)）是一種控制與轉(zhuǎn)發(fā)分離、邏輯集中控制、網(wǎng)絡(luò)可編程的新型網(wǎng)絡(luò)架構(gòu)，是未來網(wǎng)絡(luò)的主流技術(shù)，廣泛用于電力物聯(lián)網(wǎng)體系架構(gòu)設(shè)計(jì)、電力物聯(lián)網(wǎng)通信網(wǎng)絡(luò)優(yōu)化、5G通信網(wǎng)絡(luò)軟件化及開放化、提高物聯(lián)網(wǎng)絡(luò)性能［10］等場(chǎng)景，可實(shí)現(xiàn)電力通信網(wǎng)不同層級(jí)網(wǎng)絡(luò)的協(xié)同管理［11］。李波等［12］基于SDN設(shè)計(jì)了云邊協(xié)同的邏輯架構(gòu)，通過部署全局集中控制器，實(shí)現(xiàn)物聯(lián)網(wǎng)云和邊的資源協(xié)同、管理協(xié)同和應(yīng)用協(xié)同。

本文在現(xiàn)有研究基礎(chǔ)上，從電力物聯(lián)網(wǎng)通信及管控需求出發(fā)，設(shè)計(jì)基于空-天-地協(xié)同的電力物聯(lián)網(wǎng)立體通信架構(gòu)，并分析其協(xié)同控制需求。借鑒SDN控制與轉(zhuǎn)發(fā)分離、邏輯可編程的理念，設(shè)計(jì)基于SDN的異構(gòu)通信網(wǎng)絡(luò)協(xié)同控制方案，并為方案在電力物聯(lián)網(wǎng)中的部署實(shí)施提供平滑演進(jìn)路線。針對(duì)方案中核心組件——協(xié)同編排系統(tǒng)，開展設(shè)計(jì)需求分析，并完成協(xié)同編排系統(tǒng)的功能設(shè)計(jì)。聚焦協(xié)同編排系統(tǒng)的核心功能，對(duì)比分析DTSM（基于Dijkstra算法的流量調(diào)度方法）和KTSM（基于Kruskal算法的流量調(diào)度方法），設(shè)計(jì)性能更優(yōu)的QTSM（基于Q學(xué)習(xí)的流量調(diào)度方法），最后通過仿真實(shí)驗(yàn)來驗(yàn)證方法的可行性。

1 電力物聯(lián)網(wǎng)通信及控制需求

1.1 電力物聯(lián)網(wǎng)立體通信架構(gòu)

隨著電力物聯(lián)網(wǎng)建設(shè)推進(jìn)，分布式能源數(shù)據(jù)采集、輸電線路監(jiān)測(cè)、廠站環(huán)境監(jiān)測(cè)、應(yīng)急救援等多種電力業(yè)務(wù)場(chǎng)景中接入的感知設(shè)備、物聯(lián)代理終端總共接近6億臺(tái)［13］，且規(guī)模呈現(xiàn)快速上升趨勢(shì)。現(xiàn)有電力物聯(lián)網(wǎng)的通信網(wǎng)絡(luò)覆蓋范圍受限、通信設(shè)施部署靈活性差、通信質(zhì)量保障能力弱的問題更為凸顯。因此，亟需構(gòu)建電力物聯(lián)網(wǎng)廣覆蓋、大連接的空-天-地協(xié)同立體通信架構(gòu)，在提升電力物聯(lián)網(wǎng)通信網(wǎng)絡(luò)智能管控水平的同時(shí)，為高海拔、強(qiáng)覆冰等地形復(fù)雜的地區(qū)提供可靠通信能力，為自然災(zāi)害或極端情況下的通信提供應(yīng)急保障能力。

圖1為基于空-天-地協(xié)同的電力物聯(lián)網(wǎng)立體通信架構(gòu)。“發(fā)、輸、變、配、用”各場(chǎng)景部署的感知設(shè)備通過本地通信方式接入邊緣物聯(lián)代理設(shè)備，邊緣物聯(lián)代理設(shè)備通過遠(yuǎn)程通信方式接入物聯(lián)管理平臺(tái)。該架構(gòu)中，邊緣物聯(lián)代理設(shè)備與物聯(lián)管理平臺(tái)間遠(yuǎn)程通信通過空-天-地協(xié)同的公網(wǎng)或電力專網(wǎng)承載。

圖1 電力物聯(lián)網(wǎng)立體通信架構(gòu)Fig.1 cture of power IoT

1.2 立體異構(gòu)通信網(wǎng)絡(luò)協(xié)同控制需求分析

基于空-天-地協(xié)同的電力物聯(lián)網(wǎng)立體通信架構(gòu)可實(shí)現(xiàn)感知設(shè)備的廣覆蓋、大連接，但網(wǎng)絡(luò)自身的運(yùn)維管理面臨一些挑戰(zhàn)：首先，海量設(shè)備通信接口復(fù)雜異構(gòu)，如本地通信接口包括微功率無線、藍(lán)牙、RS485、ZigBee、串口、工業(yè)以太網(wǎng)等，遠(yuǎn)程通信接口包括以太網(wǎng)、4G/5G等；其次，設(shè)備間傳輸?shù)臉I(yè)務(wù)協(xié)議復(fù)雜多樣，如配電自動(dòng)化系統(tǒng)信息采集需遵循DL/T 5500—2015，電能信息采集需遵循DL/T 698系列標(biāo)準(zhǔn)，用電信息采集的通信協(xié)議要遵循Q/GDW 1376系列標(biāo)準(zhǔn)；再次，電力物聯(lián)網(wǎng)中的通信設(shè)備由不同歸屬部門、不同廠商進(jìn)行運(yùn)維管理，存在諸多壁壘，使得故障定位與處理困難，運(yùn)維效率低下。因此，亟需探索更全面兼顧、更彈性靈活的網(wǎng)絡(luò)控制方法?？刂菩枨髞碓从陔娏I(yè)務(wù)需求和網(wǎng)絡(luò)自身控制需求。

從電力業(yè)務(wù)角度分析［4，14-16］，在新型電力系統(tǒng)建設(shè)的宏觀背景下，配電網(wǎng)有源化是必然的發(fā)展趨勢(shì)，規(guī)模化的分布式可再生能源與用戶側(cè)可調(diào)資源將直接參與大電網(wǎng)平衡。海量異構(gòu)資源要實(shí)現(xiàn)“即插即用”，要求配電網(wǎng)能夠?qū)崿F(xiàn)調(diào)控業(yè)務(wù)的信息流和能量流雙聚合，并隨時(shí)應(yīng)對(duì)用戶側(cè)資源導(dǎo)致的各種故障。電力物聯(lián)網(wǎng)的通信網(wǎng)絡(luò)是信息流聚合的基礎(chǔ)設(shè)施，信息流是能量流的重要支撐。立體異構(gòu)的通信網(wǎng)絡(luò)需解決海量異構(gòu)終端接入問題，支撐終端與大電網(wǎng)不同形式的頻繁互動(dòng)，并針對(duì)多時(shí)間尺度的業(yè)務(wù)（如日前、日內(nèi)及實(shí)時(shí)調(diào)度）提供差異化的通信QoS（服務(wù)質(zhì)量）保障。

從網(wǎng)絡(luò)控制角度分析，立體異構(gòu)通信網(wǎng)絡(luò)規(guī)模大、層次多，通信協(xié)議包括DTN（時(shí)延容忍網(wǎng)絡(luò)）協(xié)議、CCSDS（國(guó)際空間數(shù)據(jù)系統(tǒng)咨詢委員會(huì)）空間網(wǎng)絡(luò)互聯(lián)網(wǎng)協(xié)議和TCP（傳輸控制協(xié)議）/IP（網(wǎng)際協(xié)議）等［17-19］。通信節(jié)點(diǎn)包括天基的軌道衛(wèi)星、空基的無人機(jī)、地面的有線及無線設(shè)備，這些設(shè)備的覆蓋范圍、傳輸頻率、傳輸容量、設(shè)備性能、傳輸成本等差異極大。尤其是高、中、低軌道衛(wèi)星和無人機(jī)均在移動(dòng)中實(shí)現(xiàn)通信，移動(dòng)導(dǎo)致的鏈路頻繁動(dòng)態(tài)切換、距離導(dǎo)致的較高傳輸時(shí)延、地理和天氣環(huán)境變化導(dǎo)致的通信質(zhì)量波動(dòng)都給協(xié)同控制帶來挑戰(zhàn)。因此，實(shí)現(xiàn)協(xié)同控制需屏蔽立體異構(gòu)網(wǎng)絡(luò)的層間差異，集中各層次通信設(shè)備的管理能力，在全局層面實(shí)現(xiàn)通信節(jié)點(diǎn)和通信鏈路的實(shí)時(shí)感知及優(yōu)化調(diào)度。

綜上所述，電力物聯(lián)網(wǎng)立體異構(gòu)通信網(wǎng)絡(luò)協(xié)同控制需滿足以下要求：通信組網(wǎng)需支持多種通信方式的自由切換與協(xié)同控制；通信調(diào)度需支持集中式、分布式、混合式的調(diào)度模式；通信運(yùn)維需實(shí)現(xiàn)全生命周期的智能高效運(yùn)維。

2 基于SDN的立體異構(gòu)通信網(wǎng)絡(luò)協(xié)同控制方案

2.1 總體控制方案

基于SDN的立體通信網(wǎng)絡(luò)控制可將立體網(wǎng)絡(luò)中各層級(jí)設(shè)備的控制權(quán)分離并集中起來，通過開放的接口實(shí)現(xiàn)設(shè)備的邏輯控制，在上層實(shí)現(xiàn)網(wǎng)絡(luò)資源的協(xié)同管控［20］?；赟DN的電力物聯(lián)網(wǎng)立體異構(gòu)通信網(wǎng)絡(luò)協(xié)同控制總體方案如圖2所示，立體通信網(wǎng)絡(luò)的控制平面和轉(zhuǎn)發(fā)平面位于電力物聯(lián)網(wǎng)傳統(tǒng)四層架構(gòu)中的網(wǎng)絡(luò)層和平臺(tái)層，可劃分為基礎(chǔ)網(wǎng)絡(luò)層、控制層及業(yè)務(wù)編排層?；A(chǔ)網(wǎng)絡(luò)層包含空-天-地網(wǎng)絡(luò)各層網(wǎng)絡(luò)中的底層通信設(shè)備，如星載交換系統(tǒng)、無人機(jī)編隊(duì)及交換機(jī)?？刂茖影琒DN控制器和開放能力的傳統(tǒng)網(wǎng)管系統(tǒng)。業(yè)務(wù)編排層包含協(xié)同編排系統(tǒng)及物聯(lián)管理平臺(tái)中的相關(guān)管理系統(tǒng)。協(xié)同編排系統(tǒng)集中控制天基、空基和地基網(wǎng)絡(luò)的網(wǎng)絡(luò)能力，實(shí)現(xiàn)跨層、跨域網(wǎng)絡(luò)資源的統(tǒng)一控制、靈活調(diào)度及智能運(yùn)維，同時(shí)還能向應(yīng)用層的自營(yíng)或第三方業(yè)務(wù)應(yīng)用提供必要的網(wǎng)絡(luò)管理能力。

圖2 基于SDN的電力物聯(lián)網(wǎng)立體異構(gòu)通信網(wǎng)絡(luò)協(xié)同控制總體方案Fig.2 Overall scheme of collaborative control for stereo hetero-geneous communication networks of power IoT based on SDN

考慮到現(xiàn)有底層通信設(shè)備并非全部支持SDN，因此部署時(shí)可采取圖3所示的演進(jìn)路線，首先部署協(xié)同編排系統(tǒng)，實(shí)現(xiàn)與傳統(tǒng)通信設(shè)備或網(wǎng)管的物理連接，接著可采用以下升級(jí)措施：

圖3 協(xié)同控制總體方案實(shí)施演進(jìn)路線Fig.3 The implementation route of the overall scheme of collaborative control

1）開放傳統(tǒng)通信設(shè)備的管理能力，使協(xié)同編排系統(tǒng)具備設(shè)備控制能力。

2）新增設(shè)備時(shí)選用支持SDN功能的通信設(shè)備，將SDN控制器接口開放給協(xié)同編排系統(tǒng)。

3）通過升級(jí)傳統(tǒng)通信設(shè)備使其具備可編程能力，部署SDN控制器并將接口開放給協(xié)同編排系統(tǒng)。

通過上述措施使協(xié)同編排系統(tǒng)獲取盡可能大的管理范圍，最終提升協(xié)同控制能力。

2.2 各層控制方案

基于SDN的天基網(wǎng)絡(luò)控制方案如圖4所示。星載交換系統(tǒng)具備時(shí)延長(zhǎng)、拓?fù)渥兓?、處理能力有限等特點(diǎn)，因此將其控制平面集中至地面的控制中心完成，星載交換機(jī)均為白盒交換機(jī)，地面的SDN控制器與控制中心的業(yè)務(wù)應(yīng)用交互，完成網(wǎng)絡(luò)拓?fù)涔芾?、路由?guī)劃、運(yùn)維管理等功能［21］。

圖4 基于SDN的天基網(wǎng)絡(luò)控制方案Fig.4 Control scheme for space-based networks based on SDN

基于SDN的空基網(wǎng)絡(luò)控制方案如圖5所示?？赏ㄟ^無人機(jī)編隊(duì)來完成單架無人機(jī)無法完成的高精度定位、協(xié)同探測(cè)偵查等復(fù)雜空間任務(wù)［22］。根據(jù)空基網(wǎng)絡(luò)中無人機(jī)編隊(duì)的規(guī)模及地面管理系統(tǒng)覆蓋范圍，可選擇集中式和分布式兩種控制模式。集中式控制即地面的SDN控制器控制編隊(duì)中所有無人機(jī)。分布式控制則是首先在無人機(jī)編隊(duì)中按照規(guī)則動(dòng)態(tài)選出領(lǐng)航機(jī)，然后由其在地面管理系統(tǒng)的指導(dǎo)下，通過SDN控制器管理編隊(duì)中其他無人機(jī)。

圖5 基于SDN的空基網(wǎng)絡(luò)控制方案Fig.5 Control scheme for air-based networks based on SDN

基于SDN的地面網(wǎng)絡(luò)控制方案如圖6所示。將原有的核心、接入交換機(jī)更換為SDN交換機(jī)，或升級(jí)交換機(jī)使其支持SDN功能，在核心側(cè)與接入側(cè)之間，形成支持VxLAN（虛擬擴(kuò)展局域網(wǎng)）功能的SDN內(nèi)部網(wǎng)絡(luò)。在交換機(jī)之外部署SDN控制器，實(shí)現(xiàn)網(wǎng)絡(luò)能力的集中管理。

圖6 基于SDN的地面網(wǎng)絡(luò)控制方案Fig.6 Control scheme of ground network based on SDN

3 立體異構(gòu)通信網(wǎng)絡(luò)協(xié)同編排系統(tǒng)設(shè)計(jì)

3.1 協(xié)同編排系統(tǒng)設(shè)計(jì)要素

協(xié)同編排系統(tǒng)是本文所提基于SDN的電力物聯(lián)網(wǎng)立體異構(gòu)通信網(wǎng)絡(luò)協(xié)同控制總體方案落地實(shí)施的核心組件，直接面向復(fù)雜異構(gòu)的通信設(shè)備和靈活多樣的應(yīng)用服務(wù)，決定了接入設(shè)備的范圍及協(xié)同控制能力。因此，協(xié)同編排系統(tǒng)的設(shè)計(jì)需遵循靈活、可擴(kuò)展的原則，可借鑒電力物聯(lián)網(wǎng)平臺(tái)的自適應(yīng)系統(tǒng)、微服務(wù)體系架構(gòu)、可擴(kuò)展網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)，考慮以下要素：

1）采用微服務(wù)總線架構(gòu)［23］。編排系統(tǒng)的業(yè)務(wù)功能需適應(yīng)通信設(shè)備與應(yīng)用服務(wù)的部署和升級(jí)，采用微服務(wù)總線架構(gòu)可實(shí)現(xiàn)服務(wù)能力的靈活加載與擴(kuò)展。該架構(gòu)將相對(duì)獨(dú)立的功能單元抽象化、原子化并形成自治的原子服務(wù)，通過微服務(wù)總線逐層聚合或組合各個(gè)原子功能，最終實(shí)現(xiàn)業(yè)務(wù)的按需創(chuàng)建及統(tǒng)一管理。

2）采用統(tǒng)一模型語言。微服務(wù)總線對(duì)接的原子服務(wù)接口和數(shù)據(jù)模型各異，為了簡(jiǎn)化接口和數(shù)據(jù)變化導(dǎo)致的開發(fā)、測(cè)試和部署工作，可采用YANG（新一代語言）［24］、TOSCA（云應(yīng)用拓?fù)渚幣乓?guī)范）［25］等統(tǒng)一模型語言來構(gòu)建服務(wù)間的接口和數(shù)據(jù)結(jié)構(gòu)。當(dāng)接口和數(shù)據(jù)結(jié)構(gòu)發(fā)生變化時(shí)，可通過統(tǒng)一更新模型定義，實(shí)現(xiàn)業(yè)務(wù)的快速更新。

3）構(gòu)建策略驅(qū)動(dòng)模型?？筛鶕?jù)網(wǎng)絡(luò)資源編排的需求，識(shí)別已知的特定事件并預(yù)定義事件驅(qū)動(dòng)指令（包括事件發(fā)生時(shí)間、發(fā)生條件及執(zhí)行動(dòng)作），將事件驅(qū)動(dòng)指令抽象為策略，構(gòu)建策略驅(qū)動(dòng)模型，并納入統(tǒng)一策略庫。當(dāng)發(fā)生相應(yīng)事件時(shí)，可在確認(rèn)事件發(fā)生的時(shí)間和條件符合驅(qū)動(dòng)指令后自動(dòng)執(zhí)行動(dòng)作，提升系統(tǒng)的響應(yīng)速度。

3.2 協(xié)同編排系統(tǒng)功能設(shè)計(jì)

協(xié)同編排系統(tǒng)采用前后端分離模式［26］。其中前端由Web瀏覽器、nginx服務(wù)器（包含靜態(tài)資源服務(wù)、請(qǐng)求反向代理）和node.js組成，前端需要的動(dòng)態(tài)數(shù)據(jù)通過Ajax請(qǐng)求經(jīng)API（應(yīng)用程序接口）反向代理轉(zhuǎn)發(fā)至后臺(tái)的應(yīng)用服務(wù)。后端基于Spring-Boot架構(gòu)設(shè)計(jì)，基本功能數(shù)據(jù)庫采用MySQL存儲(chǔ)，緩存信息采用Redis存儲(chǔ)。協(xié)同編排系統(tǒng)功能模塊設(shè)計(jì)如圖7所示。

圖7 協(xié)同編排系統(tǒng)功能模塊設(shè)計(jì)Fig.7 Functional module design of the collaborative orchestration system

前端的Web操作與展示系統(tǒng)單元提供用戶操作、信息展示功能，使用apache和php開發(fā)。用戶在界面中進(jìn)行調(diào)度，采用php調(diào)用路由調(diào)度子系統(tǒng)的相關(guān)模塊進(jìn)行處理。

后端分為業(yè)務(wù)模塊及適配模塊。其中業(yè)務(wù)模塊包含以下單元：

1）協(xié)同編排單元。通過對(duì)原子服務(wù)能力的注冊(cè)、管理、升級(jí)、組合、移除等操作，實(shí)現(xiàn)原子能力模型的映射與編排。

2）策略管理單元。完成統(tǒng)一策略庫及各策略驅(qū)動(dòng)模型的管理和維護(hù)，實(shí)現(xiàn)端到端策略管理，包括策略規(guī)則、策略解析、策略執(zhí)行以及策略優(yōu)化。

3）服務(wù)保障單元。完成業(yè)務(wù)層面端到端質(zhì)量保障、基于DPI（深度報(bào)文解析）的業(yè)務(wù)分析等，提供網(wǎng)絡(luò)層面的網(wǎng)絡(luò)基礎(chǔ)維護(hù)能力，包括網(wǎng)絡(luò)監(jiān)控、質(zhì)量測(cè)試、保障和綜合分析等。

4）控制器單元。采用統(tǒng)一的服務(wù)集群實(shí)現(xiàn)多控制器（如IP控制器、傳輸控制器）承載，通過網(wǎng)管微服務(wù)控制已有SDN通信設(shè)備及傳統(tǒng)通信設(shè)備。

5）數(shù)據(jù)采集單元。實(shí)現(xiàn)網(wǎng)絡(luò)及業(yè)務(wù)資源、狀態(tài)、性能等數(shù)據(jù)采集，支持SNMP（簡(jiǎn)單網(wǎng)絡(luò)管理協(xié)議）、Netflow（網(wǎng)絡(luò)流技術(shù)）、BGP（邊界網(wǎng)關(guān)協(xié)議）和DPI等主流協(xié)議。

6）數(shù)據(jù)存儲(chǔ)單元。實(shí)現(xiàn)網(wǎng)絡(luò)靜態(tài)資源的統(tǒng)一存儲(chǔ)與管理，包括清單化資源與狀態(tài)化資源、數(shù)據(jù)分析與持久化，支持大數(shù)據(jù)分析建模。

后端的適配模塊包括云端系統(tǒng)適配單元、SDN通信設(shè)備網(wǎng)管（SDN控制器）適配單元、傳統(tǒng)通信設(shè)備網(wǎng)管適配單元，由這些單元分別完成對(duì)應(yīng)的應(yīng)用系統(tǒng)或網(wǎng)管系統(tǒng)的接入、協(xié)議解析、協(xié)議適配。

4 立體異構(gòu)通信網(wǎng)絡(luò)資源優(yōu)化調(diào)度方法設(shè)計(jì)

4.1 經(jīng)典流量調(diào)度方法

業(yè)務(wù)模塊中協(xié)同編排單元決定了協(xié)同編排系統(tǒng)改善立體異構(gòu)網(wǎng)絡(luò)通信性能的能力。立體異構(gòu)網(wǎng)絡(luò)通信設(shè)備的覆蓋范圍、傳輸頻率、傳輸容量差異巨大，因此需實(shí)時(shí)細(xì)粒度感知所接入通信節(jié)點(diǎn)的狀態(tài)，采用先進(jìn)的流量調(diào)度算法實(shí)現(xiàn)立體異構(gòu)網(wǎng)絡(luò)流量的優(yōu)化調(diào)度。本文調(diào)研了以下2種經(jīng)典的流量調(diào)度方法：

1）DTSM。1959年提出的Dijkstra算法是最經(jīng)典的流量調(diào)度方法之一，國(guó)內(nèi)學(xué)者自1985年開始研究該方法的實(shí)現(xiàn)、改進(jìn)與應(yīng)用。熊碧霞等［27］實(shí)現(xiàn)了基于Dijkstra算法的最短時(shí)延路由算法；王芝麟等［28］通過最小二叉堆來優(yōu)化算法，提升了計(jì)算效率；WANG Can等［29］提出了適用于定位不確定環(huán)境下的路徑規(guī)劃方法，改進(jìn)了經(jīng)典Dijkstra算法的地圖勘探方法，在路徑規(guī)劃前迭代和優(yōu)化路徑的累積誤差，實(shí)現(xiàn)了全局路徑最優(yōu)。上述研究均未脫離Dijkstra算法的基本框架。采用DTSM進(jìn)行異構(gòu)通信網(wǎng)絡(luò)流量調(diào)度，目的是為源節(jié)點(diǎn)尋找一條到達(dá)網(wǎng)絡(luò)中所有其他節(jié)點(diǎn)時(shí)延最短的路徑，其流量調(diào)度流程如圖8所示。

圖8 DTSM流程Fig.8 DTSM process

該方法的實(shí)現(xiàn)前提是已知網(wǎng)絡(luò)的整體拓?fù)浼案麈溌返臅r(shí)延。首先完成集合S、源節(jié)點(diǎn)v0、節(jié)點(diǎn)時(shí)延函數(shù)D(v)的初始化，將與源節(jié)點(diǎn)v0直連、非直連節(jié)點(diǎn)的時(shí)延數(shù)值計(jì)入D(v)。接著判斷網(wǎng)絡(luò)中所有節(jié)點(diǎn)是否已在集合S中，若不是，則在未納入集合的節(jié)點(diǎn)中依次選擇目標(biāo)節(jié)點(diǎn)。若目標(biāo)節(jié)點(diǎn)與集合S中的任意節(jié)點(diǎn)不直連，則將其時(shí)延函數(shù)D(v)標(biāo)記為∞或其他較大數(shù)值；若目標(biāo)節(jié)點(diǎn)與集合S中的任意節(jié)點(diǎn)直連，則按式（1）更新時(shí)延函數(shù)D(v)，即用最小的時(shí)延值更新當(dāng)前的時(shí)延函數(shù)。

式中：D(w)為與當(dāng)前節(jié)點(diǎn)v直連的任一節(jié)點(diǎn)w的時(shí)延函數(shù)值；d(w，v)為節(jié)點(diǎn)w到節(jié)點(diǎn)v的時(shí)延值。重復(fù)上述步驟直至所有的節(jié)點(diǎn)都被納入集合S，返回此時(shí)的D(v)匯總數(shù)據(jù)，即時(shí)延最短路徑。

2）KTSM。最小生成樹也是常用的路徑規(guī)劃方法之一，其原理是在一幅連通的加權(quán)無向圖中，通過計(jì)算找到一棵權(quán)值最小的生成樹，計(jì)算方法有Bor?vka、Kruskal、Prim算法等。最小生成樹方法可通過靈活定義路徑的權(quán)重（如長(zhǎng)度、成本、延遲、利潤(rùn)等）來實(shí)現(xiàn)不同的優(yōu)化目標(biāo)，應(yīng)用范圍十分廣泛。國(guó)內(nèi)的學(xué)者也對(duì)算法改進(jìn)及應(yīng)用有一定研究，如劉健等［30］在研究配電網(wǎng)網(wǎng)架優(yōu)化規(guī)劃時(shí)應(yīng)用了一種改進(jìn)的最小生成樹方法。最經(jīng)典的最小生成樹方法是1956年提出的Kruskal算法。采用KTSM進(jìn)行異構(gòu)通信網(wǎng)絡(luò)流量調(diào)度，目的是找到一條全局時(shí)延最短的路徑，其流量調(diào)度流程如圖9所示［31］。

圖9 KTSM流程Fig.9 KTSM process

該方法在完成參數(shù)初始化后，將網(wǎng)絡(luò)拓?fù)渲兴械倪叞礄?quán)值Wi（即時(shí)延的大?。┻M(jìn)行升序排列，首先選取時(shí)延最小的邊為樹的第一條邊。接著依次選擇其他邊l，判斷l(xiāng)是否與當(dāng)前已生成樹中的節(jié)點(diǎn)形成環(huán)路：若是，則舍棄該條邊并選擇下一條邊進(jìn)行判斷；若未成環(huán)，則將該條邊納入當(dāng)前已生成樹的集合中。循環(huán)上述步驟，直至生成樹中包含N-1（N為網(wǎng)絡(luò)中節(jié)點(diǎn)總數(shù)）條邊，返回該最小生成樹，即全局時(shí)延最短的路徑。

4.2 QTSM

上述兩種方法是常見的流量調(diào)度方法，但電力物聯(lián)網(wǎng)相較于傳統(tǒng)物聯(lián)網(wǎng)而言，還具有專用網(wǎng)絡(luò)和工業(yè)控制網(wǎng)絡(luò)的屬性，其安全性和可靠性要求高于傳統(tǒng)網(wǎng)絡(luò)。立體化的異構(gòu)通信網(wǎng)絡(luò)需考慮天基、空基網(wǎng)絡(luò)的動(dòng)態(tài)性、復(fù)雜性及不穩(wěn)定性，對(duì)網(wǎng)絡(luò)資源態(tài)勢(shì)感知及資源優(yōu)化調(diào)度提出了更高的要求。牟治宇等［32］提出了一種改進(jìn)的Q學(xué)習(xí)算法來解決物聯(lián)網(wǎng)中無人機(jī)輔助采集數(shù)據(jù)時(shí)的路徑規(guī)劃問題，但不涉及地面網(wǎng)絡(luò)及天基網(wǎng)絡(luò)。Peiying Zhang等［33］采用虛擬網(wǎng)絡(luò)架構(gòu)和深度強(qiáng)化學(xué)習(xí)，針對(duì)異構(gòu)網(wǎng)絡(luò)編排設(shè)計(jì)了多域虛擬網(wǎng)絡(luò)嵌入算法，實(shí)現(xiàn)了多域網(wǎng)絡(luò)融合，其研究不涉及流量調(diào)度優(yōu)化。Fengxiao Tan等［34］提出了一種基于雙Q學(xué)習(xí)算法的空-天-地一體網(wǎng)絡(luò)動(dòng)態(tài)流量卸載方法，可減少丟包率和時(shí)延，提升網(wǎng)絡(luò)吞吐量。

因此，本文提出了改進(jìn)的QTSM。首先將異構(gòu)網(wǎng)絡(luò)的流量調(diào)度問題轉(zhuǎn)化為最大鏈路長(zhǎng)度、最小時(shí)延、最小帶寬、丟包率限制等約束下的最大流量問題，在此基礎(chǔ)上設(shè)計(jì)一種基于Q學(xué)習(xí)的流量調(diào)度模型，如圖10所示。該方法本質(zhì)上屬于馬爾可夫決策，包含了狀態(tài)、智能體、動(dòng)作、環(huán)境及獎(jiǎng)勵(lì)要素［35］。流量調(diào)度過程以當(dāng)前網(wǎng)絡(luò)狀態(tài)為輸入，智能體在動(dòng)作集（即可選路徑）中選擇動(dòng)作（即某條路徑）并執(zhí)行，使流量轉(zhuǎn)發(fā)進(jìn)入下一跳，更新網(wǎng)絡(luò)狀態(tài)并重新計(jì)算獎(jiǎng)勵(lì)值，進(jìn)入下一輪循環(huán)［36］。

圖10 基于Q學(xué)習(xí)的流量調(diào)度模型Fig.10 Traffic scheduling model based on Q-learning

圖10中：St為t時(shí)隙的網(wǎng)絡(luò)狀態(tài)向量；e1t—emt為t時(shí)隙網(wǎng)絡(luò)中m條鏈路的鏈接利用率；C1—Cn為n個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)上的排隊(duì)時(shí)延；Rt為t時(shí)隙的獎(jiǎng)勵(lì)函數(shù)；et為t時(shí)隙所有鏈路中的最大鏈路利用率；Ct為一個(gè)數(shù)據(jù)采集周期內(nèi)傳輸路徑上排隊(duì)時(shí)延的總和；α和β為折扣因子；智能體為網(wǎng)絡(luò)的控制平面；動(dòng)作集At為t時(shí)隙網(wǎng)絡(luò)中所有可選的路徑規(guī)劃方案。根據(jù)該模型，Q學(xué)習(xí)算法中價(jià)值函數(shù)可更新為：

式中：Qπ(s，a)為狀態(tài)s下選擇路徑方案a時(shí)的累積獎(jiǎng)勵(lì)折現(xiàn)函數(shù)，其中下標(biāo)π代表選擇路徑方案時(shí)采用的策略；Eπ為采用策略π時(shí)的函數(shù)期望值；γ為折扣因子；rt+k+1為在當(dāng)前t時(shí)隙選擇路徑方案a后，預(yù)估t+k+1時(shí)隙獲得的獎(jiǎng)勵(lì)值；st為t時(shí)隙的網(wǎng)絡(luò)狀態(tài)；at為t時(shí)隙選擇的路徑方案。

累積折現(xiàn)獎(jiǎng)勵(lì)包含了當(dāng)前的獎(jiǎng)勵(lì)及未來獎(jiǎng)勵(lì)的折現(xiàn)值，因此在狀態(tài)st下選擇路徑方案at后，按照式（3）更新價(jià)值函數(shù)Qπ(s，a)的值為：

式中：δ為學(xué)習(xí)率，體現(xiàn)新值對(duì)舊值的替代率；η為折扣因子，體現(xiàn)對(duì)整體獎(jiǎng)勵(lì)的重視程度。

基于上述研究，本文提出的QTSM流程如圖11所示。該方法在完成學(xué)習(xí)次數(shù)、狀態(tài)集、動(dòng)作集、學(xué)習(xí)率、折扣因子、探索率等參數(shù)以及Q表的初始化設(shè)置后，進(jìn)行多輪強(qiáng)化學(xué)習(xí)，以Q表的形式確定最佳的流量調(diào)度方案。每輪學(xué)習(xí)中，首先采用ε貪婪策略計(jì)算選擇最大價(jià)值動(dòng)作和隨機(jī)選擇動(dòng)作的概率，按照概率分布在狀態(tài)s下選擇動(dòng)作a，即選定了下一跳節(jié)點(diǎn)，更新狀態(tài)s為s'。接著計(jì)算獎(jiǎng)勵(lì)值，按照式（2）、式（3）更新Qπ(s，a)函數(shù)。然后判斷s'中的節(jié)點(diǎn)是否為目標(biāo)節(jié)點(diǎn)：若為目標(biāo)節(jié)點(diǎn)，表示尋路結(jié)束，進(jìn)行下一輪學(xué)習(xí)；若非目標(biāo)節(jié)點(diǎn)，則表示需繼續(xù)尋路。進(jìn)一步判斷當(dāng)前選擇的獎(jiǎng)勵(lì)值是否當(dāng)前最大的獎(jiǎng)勵(lì)值：若是，則計(jì)入Q表中，進(jìn)行一輪學(xué)習(xí)；若無對(duì)比選項(xiàng)或者并非最大值，則按照ε貪婪策略重新選擇動(dòng)作。所有學(xué)習(xí)完成后，返回最終的Q表，即最佳的流量調(diào)度方案。

圖11 QTSM流程Fig.11 QTSM process

5 仿真驗(yàn)證

為了驗(yàn)證上述異構(gòu)通信網(wǎng)絡(luò)資源優(yōu)化調(diào)度方法的性能，本文基于衛(wèi)星運(yùn)行分析軟件STK、網(wǎng)絡(luò)仿真軟件NS3構(gòu)建了立體通信網(wǎng)絡(luò)協(xié)同編排仿真環(huán)境。所提資源優(yōu)化調(diào)度方法是面向電力物聯(lián)網(wǎng)邊緣匯聚接入后的大容量傳輸場(chǎng)景，一方面考慮到當(dāng)前電力物聯(lián)網(wǎng)業(yè)務(wù)尚未實(shí)現(xiàn)專網(wǎng)傳輸，與統(tǒng)一視頻監(jiān)控業(yè)務(wù)等管理信息業(yè)務(wù)等通過不同VPN（虛擬專網(wǎng)）承載在同一傳輸網(wǎng)絡(luò)中，因此網(wǎng)絡(luò)流量不能僅考慮到電力物聯(lián)網(wǎng)業(yè)務(wù)傳輸需求；另一方面考慮到未來電力物聯(lián)網(wǎng)數(shù)據(jù)傳輸需求持續(xù)增長(zhǎng)，因此仿真模型節(jié)點(diǎn)流量高于現(xiàn)有電力物聯(lián)網(wǎng)業(yè)務(wù)邊緣接入流量。

本文分別采用QTSM、DTSM、KTSM對(duì)異構(gòu)通信進(jìn)行協(xié)同編排。在相同網(wǎng)絡(luò)環(huán)境下，通過增加用戶請(qǐng)求數(shù)，對(duì)采用不同調(diào)度方法的網(wǎng)絡(luò)吞吐量及鏈路數(shù)據(jù)進(jìn)行觀測(cè)，驗(yàn)證本文所提QTSM的有效性。

網(wǎng)絡(luò)吞吐量比較如圖12所示。DTSM由于采用了最小時(shí)延策略，其節(jié)點(diǎn)利用率最低，平均吞吐量最小；KTSM在負(fù)載均衡方面表現(xiàn)優(yōu)于DTSM；QTSM采用多次學(xué)習(xí)，在網(wǎng)絡(luò)流量狀態(tài)的態(tài)勢(shì)感知及性能優(yōu)化方面的表現(xiàn)最優(yōu)，其平均吞吐量明顯高于其他兩種方法。

圖12 網(wǎng)絡(luò)吞吐量比較Fig.12 Comparison of network throughput

網(wǎng)絡(luò)鏈路數(shù)比較如圖13所示。請(qǐng)求用戶少時(shí)，三種方法差異不大。但請(qǐng)求用戶增加時(shí)，QTSM對(duì)節(jié)點(diǎn)及網(wǎng)絡(luò)傳輸路徑狀態(tài)進(jìn)行了深度學(xué)習(xí)，可將數(shù)據(jù)流合理分配至新建鏈路，因此網(wǎng)絡(luò)鏈路數(shù)要明顯優(yōu)于KTSM和DTSM。

圖13 網(wǎng)絡(luò)鏈路數(shù)比較Fig.13 Comparison of the number of links

上述仿真結(jié)果表明，采用QTSM對(duì)異構(gòu)網(wǎng)絡(luò)進(jìn)行資源調(diào)度可有效提升異構(gòu)通信網(wǎng)絡(luò)的平均吞吐能力、負(fù)載均衡能力等網(wǎng)絡(luò)性能指標(biāo)，還提升了網(wǎng)絡(luò)資源的利用率。

此外，本文還評(píng)估了QTSM中學(xué)習(xí)次數(shù)對(duì)網(wǎng)絡(luò)性能的影響，仿真驗(yàn)證結(jié)果如圖14所示。

圖14 不同學(xué)習(xí)次數(shù)下的網(wǎng)絡(luò)吞吐量比較Fig.14 Comparison of network throughput with different learning times

在不同用戶請(qǐng)求數(shù)下，學(xué)習(xí)次數(shù)為300的QTSM的網(wǎng)絡(luò)平均吞吐量高于學(xué)習(xí)次數(shù)為200和100的QTSM。用戶請(qǐng)求數(shù)越高，網(wǎng)絡(luò)性能優(yōu)化效果越顯著。因此，在計(jì)算資源允許的情況下，可盡量增加學(xué)習(xí)次數(shù)，以提升網(wǎng)絡(luò)性能指標(biāo)及網(wǎng)絡(luò)資源的利用率。

6 結(jié)語

本文針對(duì)電力物聯(lián)網(wǎng)廣覆蓋、大連接需求下通信網(wǎng)絡(luò)覆蓋范圍受限、通信設(shè)施部署靈活性差、通信質(zhì)量保障能力弱的問題，提出了空-天-地一體化的立體通信架構(gòu)。在分析立體異構(gòu)網(wǎng)絡(luò)的協(xié)同控制需求的基礎(chǔ)上，提出了基于SDN的協(xié)同控制總體方案，以及天基、空基和地面網(wǎng)絡(luò)的分層控制方案。按照凝練出的協(xié)同編排系統(tǒng)設(shè)計(jì)要素，完成了系統(tǒng)編排系統(tǒng)的軟件功能設(shè)計(jì)。在分析了DTSM和KTSM后，提出了改進(jìn)的QTSM。首先將異構(gòu)網(wǎng)絡(luò)的流量調(diào)度問題轉(zhuǎn)化為最大鏈路長(zhǎng)度、最小時(shí)延、最小帶寬、丟包率限制等約束下的最大流量問題。然后采用Q學(xué)習(xí)算法完成多輪學(xué)習(xí)，實(shí)現(xiàn)網(wǎng)絡(luò)總體流量最大化。仿真結(jié)果表明：協(xié)同編排系統(tǒng)可實(shí)現(xiàn)立體異構(gòu)通信網(wǎng)絡(luò)的協(xié)同控制；QTSM可有效提升異構(gòu)通信網(wǎng)絡(luò)的流量吞吐能力和負(fù)載均衡能力。