基于深度強(qiáng)化學(xué)習(xí)的物聯(lián)網(wǎng)傳輸數(shù)據(jù)實(shí)時(shí)調(diào)度方法

張繼飛，趙玉超，張春紅

（1.廈門(mén)海洋職業(yè)技術(shù)學(xué)院，福建 廈門(mén) 361000；2.廈門(mén)工學(xué)院，福建 廈門(mén) 361000）

0 引 言

在科學(xué)技術(shù)不斷發(fā)展和社會(huì)高度信息化的今天，人們對(duì)生活品質(zhì)的要求也在逐步提高，為了更快地滿足大眾的需求，物聯(lián)網(wǎng)調(diào)度實(shí)現(xiàn)了物與人和物與物之間的信息交互，是現(xiàn)代社會(huì)不可或缺的一部分[1-3]。信息化覆蓋范圍廣容易造成傳輸數(shù)據(jù)阻塞，為了不影響物聯(lián)網(wǎng)正常運(yùn)作，在保證用戶體驗(yàn)的前提下，需要一種能夠?qū)崿F(xiàn)高效傳輸數(shù)據(jù)、保證復(fù)雜物聯(lián)網(wǎng)有效運(yùn)行的自動(dòng)調(diào)度方法。因此，深度強(qiáng)化學(xué)習(xí)物聯(lián)網(wǎng)傳輸數(shù)據(jù)實(shí)時(shí)調(diào)度方法具有重大意義。保證物聯(lián)網(wǎng)數(shù)據(jù)傳輸?shù)膶?shí)時(shí)性和高效性已經(jīng)成為相關(guān)工作者的研究重點(diǎn)。

1 物聯(lián)網(wǎng)傳輸數(shù)據(jù)實(shí)時(shí)調(diào)度方法設(shè)計(jì)

1.1 判別物聯(lián)網(wǎng)傳輸數(shù)據(jù)安全性

為了實(shí)現(xiàn)物聯(lián)網(wǎng)傳輸數(shù)據(jù)在網(wǎng)絡(luò)安全環(huán)境下進(jìn)行實(shí)時(shí)調(diào)度，首先要構(gòu)建物聯(lián)網(wǎng)傳輸數(shù)據(jù)模型，以時(shí)間段T為節(jié)點(diǎn)進(jìn)行物聯(lián)網(wǎng)傳輸數(shù)據(jù)調(diào)度特征樣本的采集[4,5]。其樣本采集過(guò)程為：

式中，x'為物聯(lián)網(wǎng)傳輸數(shù)據(jù)的比特序列，T為傳輸時(shí)間段，Xv為物聯(lián)網(wǎng)傳輸數(shù)據(jù)的分布序列，M和N為數(shù)據(jù)傳輸最大和最小字節(jié)[6]。根據(jù)式（1）的物聯(lián)網(wǎng)傳輸數(shù)據(jù)樣本采集結(jié)果可計(jì)算物聯(lián)網(wǎng)傳輸數(shù)據(jù)的實(shí)時(shí)特征量。對(duì)于物聯(lián)網(wǎng)傳輸數(shù)據(jù)實(shí)時(shí)調(diào)度而言，傳輸數(shù)據(jù)信息化采集的最大量特征分布需要滿足調(diào)度信息自適應(yīng)分析量。物聯(lián)網(wǎng)傳輸數(shù)據(jù)實(shí)時(shí)調(diào)度信息的自適應(yīng)分析量為：

式中，sm(t)為自適應(yīng)分析量，V={v1,v2,…,vn}為傳輸數(shù)據(jù)信息化采集在物聯(lián)網(wǎng)數(shù)據(jù)傳輸實(shí)時(shí)用量，ci為傳輸速率系數(shù)。

根據(jù)物聯(lián)網(wǎng)傳輸數(shù)據(jù)最短信息優(yōu)先的調(diào)度算法，優(yōu)先調(diào)度在系統(tǒng)中實(shí)時(shí)運(yùn)行時(shí)間最短的信息。其物聯(lián)網(wǎng)傳輸數(shù)據(jù)實(shí)時(shí)調(diào)度的頻域時(shí)間均衡控制模型描述為：

式中，x(i,d)、z(i,d)以及u(i,d)分別為物聯(lián)網(wǎng)傳輸數(shù)據(jù)實(shí)時(shí)調(diào)度的信息傳輸補(bǔ)償系數(shù)、速率調(diào)制系數(shù)以及傳輸頻率系數(shù)，CR為物聯(lián)網(wǎng)數(shù)據(jù)傳輸實(shí)時(shí)調(diào)度的信息均衡最大可容量。考慮物聯(lián)網(wǎng)數(shù)據(jù)傳輸自適應(yīng)分析特征量，結(jié)合物聯(lián)網(wǎng)數(shù)據(jù)傳輸?shù)膶?shí)時(shí)均衡控制優(yōu)化方法構(gòu)建出反饋均衡模型，并根據(jù)模型判定網(wǎng)絡(luò)傳輸數(shù)據(jù)信息的安全性。其模型為：

式中，ni為隨機(jī)地傳輸數(shù)據(jù)信息。若FZ＜CTni，則表示傳輸數(shù)據(jù)為ni無(wú)法實(shí)現(xiàn)傳輸數(shù)據(jù)的反饋均衡，即可視為非安全傳輸數(shù)據(jù)，若FZ＞CTni，則表示任意傳輸數(shù)據(jù)ni為安全傳輸數(shù)據(jù)信息，可在物聯(lián)網(wǎng)傳輸數(shù)據(jù)中進(jìn)行實(shí)時(shí)調(diào)度。

采用深度強(qiáng)化學(xué)習(xí)采集物聯(lián)網(wǎng)傳輸數(shù)據(jù)的特征序列樣本，通過(guò)計(jì)算物聯(lián)網(wǎng)傳輸數(shù)據(jù)的自適應(yīng)轉(zhuǎn)發(fā)特征量，建立了數(shù)據(jù)調(diào)度的頻域均衡控制模型，根據(jù)模型判定物聯(lián)網(wǎng)傳輸數(shù)據(jù)的安全性。

1.2 構(gòu)建物聯(lián)網(wǎng)傳輸數(shù)據(jù)實(shí)時(shí)調(diào)度模型

在物聯(lián)網(wǎng)數(shù)據(jù)傳輸過(guò)程中，一個(gè)需要重點(diǎn)考慮的因素就是物聯(lián)網(wǎng)數(shù)據(jù)傳輸過(guò)程中的丟包率，采用深度強(qiáng)化學(xué)習(xí)來(lái)實(shí)施信號(hào)傳輸，將直接影響接收節(jié)點(diǎn)進(jìn)行有效接收數(shù)據(jù)量的大小及接收時(shí)間的長(zhǎng)短。將物聯(lián)網(wǎng)數(shù)據(jù)傳輸過(guò)程中的最小丟包率作為目標(biāo)，引入深度強(qiáng)化學(xué)習(xí)中的貢獻(xiàn)思維來(lái)構(gòu)建物聯(lián)網(wǎng)數(shù)據(jù)傳輸中大數(shù)據(jù)合理調(diào)度模型[7]。物聯(lián)網(wǎng)數(shù)據(jù)傳輸過(guò)程中，調(diào)度目標(biāo)的數(shù)據(jù)分配方法描述如下。

根據(jù)TFRC求出物聯(lián)網(wǎng)網(wǎng)絡(luò)中第i個(gè)發(fā)送節(jié)點(diǎn)t時(shí)刻的寬帶B(i,t)，由此確定上限寬帶。確定S(i,t)的大小從而使F(t)達(dá)到最小，即：

式中，F(xiàn)(t)為總線傳輸率，L(i,t)和S(i,t)分別為發(fā)送節(jié)點(diǎn)i在時(shí)段(t,t+Δt)的丟包率和發(fā)送速率，Sreq(t)表示一個(gè)物聯(lián)網(wǎng)節(jié)點(diǎn)正常傳輸數(shù)據(jù)所需的速率，B(i,t)為物聯(lián)網(wǎng)網(wǎng)絡(luò)中第i個(gè)發(fā)送節(jié)點(diǎn)t時(shí)刻的上限寬帶。

上述過(guò)程中最關(guān)鍵的一步就是對(duì)發(fā)送節(jié)點(diǎn)的丟包率進(jìn)行升序排序。將最小的丟包率發(fā)送節(jié)點(diǎn)i劃分到發(fā)送節(jié)點(diǎn)的上限寬帶B(i,t)上，下一步再將次小的丟包率發(fā)送節(jié)點(diǎn)j劃分到該發(fā)送節(jié)點(diǎn)的上限寬帶B(j,t)上。重復(fù)進(jìn)行以上操作步驟，直到發(fā)送節(jié)點(diǎn)的上限寬帶之和不低于物聯(lián)網(wǎng)數(shù)據(jù)的正常傳輸速率。

將丟包率最小作為調(diào)度目標(biāo)能夠促使接收節(jié)點(diǎn)有效充分利用發(fā)送節(jié)點(diǎn)的有效傳輸寬帶，但這必然會(huì)使少量物聯(lián)網(wǎng)數(shù)據(jù)傳輸速率高的節(jié)點(diǎn)不斷傳輸數(shù)據(jù)，增加其負(fù)載，并且使物聯(lián)網(wǎng)的其他節(jié)點(diǎn)無(wú)法有效參與到傳輸中，無(wú)法實(shí)現(xiàn)整體利益的最大化。為此，將激勵(lì)機(jī)制中貢獻(xiàn)思維引到大數(shù)據(jù)調(diào)度模型中，既能增加參與傳輸?shù)墓?jié)點(diǎn)數(shù)量，又能夠?qū)崿F(xiàn)各類節(jié)點(diǎn)分時(shí)分批的加入傳輸。這不但彌補(bǔ)了以上的弊端，還可以提升物聯(lián)網(wǎng)數(shù)據(jù)的傳輸速率。引入激勵(lì)機(jī)制中貢獻(xiàn)思維的操作過(guò)程如下。

給所有發(fā)送節(jié)點(diǎn)植入貢獻(xiàn)因子α(i,t)，它是用來(lái)描述i節(jié)點(diǎn)從初始進(jìn)入系統(tǒng)到t時(shí)刻的貢獻(xiàn)量C(i,t)與全部節(jié)點(diǎn)貢獻(xiàn)量總和之比。

i節(jié)點(diǎn)上傳量與i節(jié)點(diǎn)從別的節(jié)點(diǎn)處下載量之差為i節(jié)點(diǎn)的貢獻(xiàn)量C(i,t)，其計(jì)算公式為：

式中，β為元速率。那么在實(shí)際應(yīng)用中，可以將其他節(jié)點(diǎn)從i節(jié)點(diǎn)獲得的下載量描述成i節(jié)點(diǎn)的上傳量，即：

式中，j和i為上傳節(jié)點(diǎn)序列數(shù)；D為時(shí)鐘頻率。那么貢獻(xiàn)因子則可以描述為：

式中，k為數(shù)據(jù)周期傳送個(gè)數(shù)。

非但如此，物聯(lián)網(wǎng)數(shù)據(jù)傳輸速率會(huì)影響高速物聯(lián)網(wǎng)數(shù)據(jù)傳輸?shù)姆€(wěn)定性。因此，應(yīng)該在物聯(lián)網(wǎng)數(shù)據(jù)傳輸過(guò)程中盡可能地選擇邊緣節(jié)點(diǎn)，可以減少網(wǎng)絡(luò)傳輸過(guò)程中的時(shí)延損耗。綜上所述，在線時(shí)長(zhǎng)可取為節(jié)點(diǎn)加入系統(tǒng)之后每個(gè)時(shí)段平方和，也就是：

式中，ts為節(jié)點(diǎn)加入系統(tǒng)的時(shí)間；te為節(jié)點(diǎn)退出的時(shí)間；o為進(jìn)出系統(tǒng)次數(shù)。那么物聯(lián)網(wǎng)大數(shù)據(jù)合理調(diào)度模型可描述成：

綜上所述，采用深度強(qiáng)化學(xué)習(xí)判別了物聯(lián)網(wǎng)傳輸數(shù)據(jù)安全性，將最小丟包率作為物聯(lián)網(wǎng)傳輸數(shù)據(jù)的調(diào)度目標(biāo)，引入深度強(qiáng)化學(xué)習(xí)的貢獻(xiàn)思想，構(gòu)建了物聯(lián)網(wǎng)傳輸數(shù)據(jù)實(shí)時(shí)調(diào)度模型，實(shí)現(xiàn)了物聯(lián)網(wǎng)傳輸數(shù)據(jù)的實(shí)時(shí)調(diào)度。

2 實(shí)驗(yàn)分析

為了驗(yàn)證基于深度強(qiáng)化學(xué)習(xí)的物聯(lián)網(wǎng)傳輸數(shù)據(jù)實(shí)時(shí)調(diào)度方法性能，引入傳統(tǒng)物聯(lián)網(wǎng)傳輸數(shù)據(jù)實(shí)時(shí)調(diào)度方法作對(duì)比，測(cè)試了物聯(lián)網(wǎng)傳輸數(shù)據(jù)的調(diào)度時(shí)間和數(shù)據(jù)完整性。兩種物聯(lián)網(wǎng)傳輸數(shù)據(jù)實(shí)時(shí)調(diào)度方法的傳輸數(shù)據(jù)調(diào)度時(shí)間測(cè)試結(jié)果如圖1所示。

圖1 傳輸數(shù)據(jù)調(diào)度時(shí)間測(cè)試結(jié)果

從圖1的實(shí)驗(yàn)結(jié)果可以看出，采用傳統(tǒng)物聯(lián)網(wǎng)傳輸數(shù)據(jù)實(shí)時(shí)調(diào)度方法來(lái)調(diào)度物聯(lián)網(wǎng)傳輸數(shù)據(jù)時(shí)，隨著物聯(lián)網(wǎng)傳輸數(shù)據(jù)帶寬越來(lái)越大，物聯(lián)網(wǎng)傳輸數(shù)據(jù)的調(diào)度時(shí)間越來(lái)越長(zhǎng)，無(wú)法完成實(shí)時(shí)調(diào)度，而采用基于深度強(qiáng)化學(xué)習(xí)的物聯(lián)網(wǎng)傳輸數(shù)據(jù)實(shí)時(shí)調(diào)度方法來(lái)調(diào)度物聯(lián)網(wǎng)傳輸數(shù)據(jù)時(shí)，物聯(lián)網(wǎng)傳輸數(shù)據(jù)的調(diào)度時(shí)間始終在10 s以內(nèi)，且當(dāng)物聯(lián)網(wǎng)傳輸數(shù)據(jù)帶寬超過(guò)0.6 Mb/s以后，物聯(lián)網(wǎng)傳輸數(shù)據(jù)的調(diào)度時(shí)間反而變短了，可以實(shí)現(xiàn)物聯(lián)網(wǎng)傳輸數(shù)據(jù)的實(shí)時(shí)調(diào)度。

兩種物聯(lián)網(wǎng)傳輸數(shù)據(jù)實(shí)時(shí)調(diào)度方法的物聯(lián)網(wǎng)傳輸數(shù)據(jù)完整性測(cè)試結(jié)果如表1所示。

表1 物聯(lián)網(wǎng)傳輸數(shù)據(jù)完整性測(cè)試結(jié)果

從表1的結(jié)果可以看出，針對(duì)物聯(lián)網(wǎng)傳輸數(shù)據(jù)的完整性測(cè)試，基于深度強(qiáng)化學(xué)習(xí)的物聯(lián)網(wǎng)傳輸數(shù)據(jù)實(shí)時(shí)調(diào)度方法的性能遠(yuǎn)遠(yuǎn)高于傳統(tǒng)物聯(lián)網(wǎng)傳輸數(shù)據(jù)實(shí)時(shí)調(diào)度方法，保證了物聯(lián)網(wǎng)傳輸數(shù)據(jù)的完整性。

3 結(jié) 論

本文提出了基于深度強(qiáng)化學(xué)習(xí)的物聯(lián)網(wǎng)傳輸數(shù)據(jù)實(shí)時(shí)調(diào)度方法，采用深度強(qiáng)化學(xué)習(xí)建立了數(shù)據(jù)調(diào)度的頻域均衡控制模型，根據(jù)模型判定物聯(lián)網(wǎng)傳輸數(shù)據(jù)安全性，通過(guò)構(gòu)建物聯(lián)網(wǎng)傳輸數(shù)據(jù)實(shí)時(shí)調(diào)度模型，實(shí)現(xiàn)了物聯(lián)網(wǎng)傳輸數(shù)據(jù)的實(shí)時(shí)調(diào)度。結(jié)果顯示，該調(diào)度方法具有更好的性能。