基于深度強(qiáng)化學(xué)習(xí)的工業(yè)物聯(lián)網(wǎng)路由優(yōu)化方法

摘 要：常規(guī)的工業(yè)物聯(lián)網(wǎng)路由優(yōu)化協(xié)議多以獨(dú)立形式設(shè)定，鏈路利用率大幅度降低，為此提出了基于深度強(qiáng)化學(xué)習(xí)的工業(yè)物聯(lián)網(wǎng)路由優(yōu)化方法。根據(jù)當(dāng)前的路由優(yōu)化需求，先進(jìn)行實(shí)時(shí)監(jiān)測(cè)節(jié)點(diǎn)部署及路由運(yùn)行數(shù)據(jù)采集，采用多階的方式擴(kuò)大覆蓋范圍，制定多階路由協(xié)議，后以此為基礎(chǔ)，構(gòu)建工業(yè)物聯(lián)網(wǎng)路由優(yōu)化模型，采用離散化輔助處理實(shí)現(xiàn)路由優(yōu)化。最終測(cè)試結(jié)果表明：應(yīng)用所提方法，最終得出的鏈路利用率提升比均可以達(dá)到5.5以上，所設(shè)計(jì)方法的針對(duì)性更強(qiáng)，應(yīng)用效果更佳。

關(guān)鍵詞：深度強(qiáng)化學(xué)習(xí)；工業(yè)物聯(lián)網(wǎng)；路由優(yōu)化；離散化輔助；網(wǎng)絡(luò)接入；工業(yè)指令

中圖分類號(hào)：TP39；TN256 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-1302（2025）02-00-03

0 引 言

工業(yè)物聯(lián)網(wǎng)的建設(shè)與應(yīng)用關(guān)聯(lián)，一定程度上推動(dòng)相關(guān)行業(yè)與技術(shù)邁上了一個(gè)新的發(fā)展臺(tái)階。在這樣的背景下，路由優(yōu)化已成為確保數(shù)據(jù)傳輸效率和可靠性的關(guān)鍵。當(dāng)前，傳統(tǒng)的路由優(yōu)化方法往往基于固定的規(guī)則和參數(shù)，文

獻(xiàn)[1]和文獻(xiàn)[2]設(shè)定了傳統(tǒng)超限快速?zèng)Q策樹的工業(yè)物聯(lián)網(wǎng)路由優(yōu)化方法、傳統(tǒng)自適應(yīng)蟻群的工業(yè)物聯(lián)網(wǎng)路由優(yōu)化方法。這一類優(yōu)化方法雖然可以實(shí)現(xiàn)預(yù)期的路由運(yùn)行環(huán)境，但是存在部分不可控因素，嚴(yán)重影響了工業(yè)物聯(lián)網(wǎng)的實(shí)踐。不僅如此，由于物聯(lián)網(wǎng)中的程序過于單一，應(yīng)用效率較低，導(dǎo)致其更加難以適應(yīng)動(dòng)態(tài)變化的工業(yè)環(huán)境[3]。為解決這一問題，本文對(duì)基于深度強(qiáng)化學(xué)習(xí)的工業(yè)物聯(lián)網(wǎng)路由優(yōu)化方法進(jìn)行了設(shè)計(jì)與驗(yàn)證分析。

1 設(shè)計(jì)工業(yè)物聯(lián)網(wǎng)深度強(qiáng)化學(xué)習(xí)路由優(yōu)化方法

1.1 實(shí)時(shí)監(jiān)測(cè)節(jié)點(diǎn)部署及路由運(yùn)行數(shù)據(jù)采集

工業(yè)物聯(lián)網(wǎng)實(shí)時(shí)監(jiān)測(cè)節(jié)點(diǎn)的部署是可控分析的基礎(chǔ)。由于此次針對(duì)工業(yè)物聯(lián)網(wǎng)進(jìn)行測(cè)定，所以選定溫度、濕度、壓力等數(shù)據(jù)作為監(jiān)測(cè)的目標(biāo)對(duì)象。明確監(jiān)測(cè)的范圍之后，設(shè)置邊緣節(jié)點(diǎn)和核心控制節(jié)點(diǎn)[4]。此外，需要注意的是，節(jié)點(diǎn)的設(shè)置位置要確保能夠準(zhǔn)確反映目標(biāo)區(qū)域的狀況，避開可能的干擾因素。增設(shè)數(shù)據(jù)信息傳輸信道，與節(jié)點(diǎn)匹配，此時(shí)計(jì)算出數(shù)據(jù)傳輸頻率，如式（1）所示：

（1）

式中：Y表示數(shù)據(jù)傳輸頻率；q1和q2分別表示節(jié)點(diǎn)初始覆蓋區(qū)間和實(shí)際覆蓋區(qū)間；n表示轉(zhuǎn)換頻次；表示單元流量；π表示堆疊數(shù)據(jù)。結(jié)合當(dāng)前測(cè)定，依據(jù)測(cè)算的最佳數(shù)據(jù)傳輸頻率，調(diào)整此時(shí)的傳輸信號(hào)，形成更加穩(wěn)定的匹配執(zhí)行基礎(chǔ)協(xié)議[5]。根據(jù)節(jié)點(diǎn)的實(shí)際監(jiān)測(cè)需求，確定需要采集的數(shù)據(jù)類型。采用適當(dāng)?shù)耐ㄐ艆f(xié)議和技術(shù)，關(guān)聯(lián)設(shè)定的信道確保數(shù)據(jù)能夠?qū)崟r(shí)、準(zhǔn)確地傳輸?shù)綌?shù)據(jù)中心或云平臺(tái)。接下來，采集基礎(chǔ)應(yīng)用數(shù)據(jù)。路由運(yùn)行基礎(chǔ)數(shù)據(jù)采集見表1。

結(jié)合表1，實(shí)現(xiàn)對(duì)路由運(yùn)行基礎(chǔ)數(shù)據(jù)的采集。

1.2 多階路由協(xié)議制定

結(jié)合深度強(qiáng)化學(xué)習(xí)的多階路由協(xié)議結(jié)構(gòu)如圖1所示。

結(jié)合圖1，實(shí)現(xiàn)對(duì)多階路由協(xié)議結(jié)構(gòu)的設(shè)計(jì)與實(shí)踐?；诖?，按照需求分析，選擇與之匹配的路由算法，測(cè)算出路由協(xié)議對(duì)數(shù)據(jù)處理的收斂速度，如式（2）所示：

（2）

式中：O表示數(shù)據(jù)處理收斂速度；m表示初始流量；w表示動(dòng)態(tài)傳輸數(shù)據(jù)量；θ表示收斂次數(shù)；h表示離散均值。結(jié)合得出的數(shù)據(jù)處理收斂速度，判斷分析此時(shí)所設(shè)計(jì)的路由協(xié)議對(duì)工業(yè)物聯(lián)網(wǎng)的控制和輔助效果。

1.3 構(gòu)建深度強(qiáng)化學(xué)習(xí)的工業(yè)物聯(lián)網(wǎng)路由優(yōu)化模型

將上述指定的多階路由協(xié)議導(dǎo)入當(dāng)前初始的路由優(yōu)化模型之中，結(jié)合深度強(qiáng)化學(xué)習(xí)，構(gòu)建工業(yè)物聯(lián)網(wǎng)路由優(yōu)化模型。深度強(qiáng)化學(xué)習(xí)的工業(yè)物聯(lián)網(wǎng)路由優(yōu)化模型結(jié)構(gòu)如圖2所示。

結(jié)合圖2，實(shí)現(xiàn)對(duì)深度強(qiáng)化學(xué)習(xí)的工業(yè)物聯(lián)網(wǎng)路由優(yōu)化模型結(jié)構(gòu)的設(shè)計(jì)與實(shí)踐。接下來，在深度強(qiáng)化學(xué)習(xí)的輔助下，在所設(shè)計(jì)的模型之中增設(shè)強(qiáng)化學(xué)習(xí)機(jī)制。一般情況下，要定義路由優(yōu)化在多步?jīng)Q策中最大化累積獎(jiǎng)勵(lì)的過程，需要設(shè)計(jì)合適的獎(jiǎng)勵(lì)函數(shù)，反映數(shù)據(jù)的傳輸效率、時(shí)延、能量消耗等關(guān)鍵性能指標(biāo)[6-7]。采集上述數(shù)據(jù)和信息，建立模型表達(dá)式，如式（3）所示：

（3）

式中：E表示模型輸出路由優(yōu)化結(jié)果；λ表示獎(jiǎng)勵(lì)函數(shù)；ω表示遷移范圍；ι表示基礎(chǔ)流量；α表示可控執(zhí)行頻次。綜上，便完成了工業(yè)物聯(lián)網(wǎng)路由優(yōu)化模型的構(gòu)建。

1.4 離散化輔助處理實(shí)現(xiàn)路由優(yōu)化

當(dāng)前，工業(yè)物聯(lián)網(wǎng)中連續(xù)的狀態(tài)空間包括節(jié)點(diǎn)能量、通信質(zhì)量等。將連續(xù)的狀態(tài)空間離散化為有限的離散狀態(tài)集合，簡(jiǎn)化模型的復(fù)雜度，并提高模型的穩(wěn)定性和可訓(xùn)練性。在給定狀態(tài)下采取的行動(dòng)集合，能夠?qū)?fù)雜的連續(xù)動(dòng)作轉(zhuǎn)換為有限的離散動(dòng)作，分高、中、低3個(gè)等級(jí)調(diào)整對(duì)應(yīng)的傳輸功率標(biāo)準(zhǔn)，一定程度上有助于模型的學(xué)習(xí)和決策，最大程度減少計(jì)算誤差的出現(xiàn)。與此同時(shí)，離散化處理還針對(duì)模型輸出的結(jié)果，計(jì)算出各周期優(yōu)化結(jié)果對(duì)應(yīng)的離散值，如式（4）所示：

（4）

式中：U表示離散值；ε表示空間可收斂次數(shù)；τ表示轉(zhuǎn)換均值；R表示均勻量化值。結(jié)合當(dāng)前測(cè)定，實(shí)現(xiàn)對(duì)離散值的計(jì)算?；陔x散值的變化，判斷分析工業(yè)物聯(lián)網(wǎng)路由優(yōu)化實(shí)際效果，一定程度上有助于模型更快地收斂，進(jìn)一步增強(qiáng)優(yōu)化決策自身的準(zhǔn)確性與穩(wěn)定性，以及最終的可擴(kuò)展效果[8]。

2 方法測(cè)試

為驗(yàn)證所提方法的先進(jìn)性，開展對(duì)比實(shí)驗(yàn)。設(shè)定傳統(tǒng)超限快速?zèng)Q策樹的工業(yè)物聯(lián)網(wǎng)路由優(yōu)化組、傳統(tǒng)自適應(yīng)蟻群的工業(yè)物聯(lián)網(wǎng)路由優(yōu)化組以及此次所設(shè)計(jì)的深度強(qiáng)化學(xué)習(xí)的工業(yè)物聯(lián)網(wǎng)路由優(yōu)化組。利用專業(yè)的設(shè)備和裝置進(jìn)行基礎(chǔ)數(shù)據(jù)信息的采集，匯總整合以待后續(xù)使用[9]。

2.1 測(cè)試準(zhǔn)備

結(jié)合深度強(qiáng)化學(xué)習(xí)，選定H工業(yè)物聯(lián)網(wǎng)作為測(cè)試的輔助目標(biāo)對(duì)象，進(jìn)行基礎(chǔ)測(cè)試環(huán)境以及背景的設(shè)定。當(dāng)前接入的主要是Ubuntu 18.04測(cè)試系統(tǒng)，增設(shè)機(jī)器學(xué)習(xí)框架，設(shè)定Keras+Tensorflow輔助學(xué)習(xí)環(huán)境，以此來實(shí)現(xiàn)平臺(tái)之間的交互[10]。路由裝置接入測(cè)試系統(tǒng)如圖3所示。

結(jié)合圖3，實(shí)現(xiàn)對(duì)路由裝置接入測(cè)試系統(tǒng)結(jié)構(gòu)的設(shè)定與實(shí)踐應(yīng)用?；诖?，設(shè)置工業(yè)物聯(lián)網(wǎng)功能，此時(shí)的總帶寬流量強(qiáng)度為10.14%～13.27%，測(cè)算出初始鏈路利用率標(biāo)準(zhǔn)，并把控實(shí)際路由數(shù)據(jù)鏈情況。根據(jù)當(dāng)前的優(yōu)化需求及標(biāo)準(zhǔn)，設(shè)定路由優(yōu)化測(cè)試指標(biāo)與參數(shù)，見表2。

結(jié)合表2，實(shí)現(xiàn)對(duì)路由優(yōu)化測(cè)試指標(biāo)與參數(shù)的設(shè)定?；诖?，基本完成了對(duì)當(dāng)前路由測(cè)定的優(yōu)化與整合，形成了動(dòng)態(tài)化的路由測(cè)試控制。接下來，結(jié)合深度強(qiáng)化學(xué)習(xí)技術(shù)，展開后續(xù)測(cè)定與優(yōu)化分析。

2.2 測(cè)試過程及結(jié)果分析

依據(jù)以上設(shè)置搭建的測(cè)試環(huán)境，結(jié)合深度強(qiáng)化學(xué)習(xí)技術(shù)，設(shè)定傳統(tǒng)超限快速?zèng)Q策樹的工業(yè)物聯(lián)網(wǎng)路由優(yōu)化組、傳統(tǒng)自適應(yīng)蟻群的工業(yè)物聯(lián)網(wǎng)路由優(yōu)化組以及此次所設(shè)計(jì)的深度強(qiáng)化學(xué)習(xí)的工業(yè)物聯(lián)網(wǎng)路由優(yōu)化組，對(duì)H工業(yè)物聯(lián)網(wǎng)路由優(yōu)化方法的測(cè)定進(jìn)行對(duì)比驗(yàn)證及測(cè)算，測(cè)試結(jié)果見表3。

根據(jù)表3，完成對(duì)測(cè)試結(jié)果的對(duì)比分析。相比于傳統(tǒng)超限快速?zèng)Q策樹的工業(yè)物聯(lián)網(wǎng)路由優(yōu)化組、傳統(tǒng)自適應(yīng)蟻群的工業(yè)物聯(lián)網(wǎng)路由優(yōu)化組，此次所設(shè)計(jì)的深度強(qiáng)化學(xué)習(xí)的工業(yè)物聯(lián)網(wǎng)路由優(yōu)化組最終得出的鏈路利用率提升比均可達(dá)到5.5以上，說明在深度強(qiáng)化學(xué)習(xí)技術(shù)的輔助與支持下，此次所設(shè)計(jì)的工業(yè)物聯(lián)網(wǎng)路由優(yōu)化方法更加穩(wěn)定、細(xì)化，針對(duì)性明顯提高，實(shí)踐驗(yàn)證的結(jié)果更加真實(shí)。

3 結(jié) 語(yǔ)

結(jié)合工業(yè)物聯(lián)網(wǎng)實(shí)際的應(yīng)用運(yùn)行需求，融合深度強(qiáng)化學(xué)習(xí)技術(shù)，所設(shè)計(jì)的路由優(yōu)化形式更加具體、穩(wěn)定，在復(fù)雜的網(wǎng)絡(luò)環(huán)境下，可以完成實(shí)時(shí)監(jiān)測(cè)與整合，進(jìn)一步增強(qiáng)對(duì)網(wǎng)絡(luò)的監(jiān)管和控制。不僅如此，深度強(qiáng)化學(xué)習(xí)技術(shù)的輔助與支撐，擴(kuò)大了實(shí)際的優(yōu)化范圍，幫助其適應(yīng)不斷變化的網(wǎng)絡(luò)環(huán)境，有效提高了數(shù)據(jù)傳輸效率，消減了環(huán)境中的復(fù)雜性和動(dòng)態(tài)性，以應(yīng)對(duì)日益增長(zhǎng)的工業(yè)物聯(lián)網(wǎng)路由優(yōu)化需求，為工業(yè)生產(chǎn)帶來了更多價(jià)值。

參考文獻(xiàn)

[1]劉松.基于超限快速?zèng)Q策樹的無(wú)線多媒體傳感器網(wǎng)絡(luò)路由優(yōu)化方法[J].青島大學(xué)學(xué)報(bào)（自然科學(xué)版），2022，35（3）：33-38.

[2]家峰.基于自適應(yīng)蟻群的無(wú)線傳感網(wǎng)絡(luò)低延時(shí)遠(yuǎn)程通信路由優(yōu)化方法[J].寧夏師范學(xué)院學(xué)報(bào)，2023，44（7）：77-84.

[3]王哲，王啟名，李陶深，等.基于深度強(qiáng)化學(xué)習(xí)的SWIPT邊緣網(wǎng)絡(luò)聯(lián)合優(yōu)化方法[J].計(jì)算機(jī)應(yīng)用，2023，43（11）：3540-3550.

[4]茍平章，馬琳，郭保永，等.基于軟件定義網(wǎng)絡(luò)的多約束QoS雙路徑路由優(yōu)化方法[J].計(jì)算機(jī)工程與科學(xué)，2023，45（1）：46-56.

[5]丁小峰，張文杰，徐賽華.光纖無(wú)線融合網(wǎng)絡(luò)低能耗路由優(yōu)化方法研究[J].激光雜志，2022，43（12）：128-132.

[6]李曉麗.無(wú)線傳感網(wǎng)數(shù)據(jù)采集路由算法研究[J].物聯(lián)網(wǎng)技術(shù)，2023，13（8）：68-71.

[7]李貝貝，宋佳芮，杜卿蕓，等.DRL-IDS：基于深度強(qiáng)化學(xué)習(xí)的工業(yè)物聯(lián)網(wǎng)入侵檢測(cè)系統(tǒng)[J].計(jì)算機(jī)科學(xué)，2021，48（7）：47-54.

[8]張繼鈺.基于深度強(qiáng)化學(xué)習(xí)的工業(yè)物聯(lián)網(wǎng)資源分配算法[D].北京：中國(guó)礦業(yè)大學(xué)，2023.

[9]李英磊，吳韶波，黃茂源.基于節(jié)點(diǎn)休眠機(jī)制的WSN路由優(yōu)化[J].物聯(lián)網(wǎng)技術(shù)，2017，7（4）：44-47.

[10]耿立卓，郝雪，劉璐，等.基于人工蜂群算法的電力通信網(wǎng)路由優(yōu)化仿真[J].電子設(shè)計(jì)工程，2022，30（24）：28-32.

作者簡(jiǎn)介：莫麗娟（1982—），女，廣西蒼梧人，講師，研究方向?yàn)橛?jì)算機(jī)應(yīng)用技術(shù)。

張夢(mèng)榛（1996—），女，河南鄭州人，碩士，助教，研究方向?yàn)槿斯ぶ悄堋?/p>

收稿日期：2024-01-23 修回日期：2024-02-28