基于UCB算法的信道選擇方案

張孫烜

摘? ?要：物聯(lián)網(wǎng)在設(shè)備中的應(yīng)用導(dǎo)致了更多的網(wǎng)絡(luò)交通堵塞，本地服務(wù)器無法滿足大數(shù)據(jù)傳輸?shù)男枰?。很難做到在大數(shù)據(jù)下的中央處理模式云計算。邊緣計算的出現(xiàn)，將數(shù)據(jù)卸載到多個邊緣服務(wù)器進(jìn)行處理。卸載到服務(wù)器的數(shù)據(jù)需要通過信道，以前的信道選擇方法是基站的統(tǒng)一分配。如果終端設(shè)備可以通過自己的學(xué)習(xí)選擇信道，可以提高效率、減輕基站的負(fù)擔(dān)。文章對此開展分析。

關(guān)鍵詞：邊緣計算;自我學(xué)習(xí);信道選擇

1? ? 網(wǎng)絡(luò)云計算介紹

走進(jìn)5G時代，隨之而來的是數(shù)據(jù)量的巨大增長。物聯(lián)網(wǎng)在設(shè)備中的應(yīng)用將導(dǎo)致更多的網(wǎng)絡(luò)交通堵塞。本地計算處于本地環(huán)境，其內(nèi)部資源在本地服務(wù)器上部署，而本地服務(wù)器顯然無法滿足大數(shù)據(jù)傳輸?shù)男枰榱私鉀Q物聯(lián)網(wǎng)系統(tǒng)的數(shù)據(jù)密度和場資源約束問題，很容易將目標(biāo)轉(zhuǎn)向云計算。網(wǎng)絡(luò)云計算是指在與本地服務(wù)器連接的第三方服務(wù)器的大規(guī)模網(wǎng)絡(luò)上進(jìn)行數(shù)據(jù)處理[1]。但是，大數(shù)據(jù)下的中央處理模式很難做到，而且上傳至云端的大量數(shù)據(jù)也有很大概率會被丟失和泄露，海量數(shù)據(jù)的增長使得設(shè)備維護(hù)成本極高。為了解決安全性和成本問題，一種名為“邊緣計算”的新模式應(yīng)運(yùn)而生，其旨在縮短物聯(lián)網(wǎng)通信的響應(yīng)時間，將計算轉(zhuǎn)移到網(wǎng)絡(luò)的邊緣[2-3]。邊緣計算使應(yīng)用程序生成更快的網(wǎng)絡(luò)服務(wù)響應(yīng)，以滿足實時業(yè)務(wù)、安全和隱私保護(hù)等基本需求。

當(dāng)終端設(shè)備需要處理大量的任務(wù)或數(shù)據(jù)時，為了減輕負(fù)擔(dān)、加快數(shù)據(jù)處理速度、提高可靠性，可將數(shù)據(jù)卸載到多個邊緣服務(wù)器進(jìn)行處理。數(shù)據(jù)的指數(shù)增長給邊緣設(shè)備和云處理集群[4]之間的網(wǎng)絡(luò)連接帶來了壓力。邊緣數(shù)據(jù)處理具有減少網(wǎng)絡(luò)壓力和縮短服務(wù)響應(yīng)時間的潛力。隨著邊緣設(shè)備[5]性能的不斷提高，這種邊緣處理在今天成為可能。

從邊緣計算中卸載到服務(wù)器的數(shù)據(jù)需要通過信道。大多數(shù)的信道選擇方法是基站的統(tǒng)一分配，但是隨著終端設(shè)備和數(shù)據(jù)的指數(shù)增長，基站的分配效率下降、成本升高。如果終端設(shè)備可以通過自我學(xué)習(xí)選擇信道，就可以大大提高效率，減輕基站的負(fù)擔(dān)。

2? ? 信道選擇的UCB算法

2.1? 多臂老虎機(jī)模型

多臂老虎機(jī)（Multi-armed Bandit，MAB）是帶有多個搖桿的賭博機(jī)，每個搖桿可以獲得不同的收益。MAB問題討論了如何選擇搖桿來使收益最大化（搖桿收益給定）。假設(shè)這個老虎機(jī)有5個搖桿，最愚蠢的方法是每個搖桿都試幾次，比較收益最大的搖桿，然后將剩余的機(jī)會都用于這個搖桿。但是，這種方法是不可靠的，因為如果你搖10次，由于存在運(yùn)氣因素，一個低收益的搖桿可能會造成一個高收益的幻覺。

本研究的目的是解決單用戶信道選擇的問題，使用戶選擇信道傳輸速率最高的信道?？梢詫⒂脩暨x擇的信道抽象成一個老虎機(jī)的每一個搖桿，待選信道的傳輸速率相當(dāng)于每個搖桿獲得的收益，搖桿的選擇可以看成用戶選擇信道。使用置信區(qū)間上界（Upper Confidence Bounds，UCB）算法解決用戶信道選擇問題，可使用MAB模型進(jìn)行討論和研究。

2.2? UCB算法

使用UCB算法，重點不僅是收益的返回值，還是每個搖桿的探索次數(shù)。在實現(xiàn)UCB算法時，人們不需要考慮其他的假設(shè)，只要滿足一個條件：收益分布在0和1之間，1代表最大收益。如果所使用模型的最大返回結(jié)果超出此范圍，則需要對結(jié)果進(jìn)行規(guī)范化。UCB算法除了保留每個搖桿結(jié)果的置信度外，與之前的算法有以下兩點不同：

（1）在UCB中完全不使用隨機(jī)性。在每種情況下，可以通過數(shù)據(jù)計算出UCB所選擇的搖桿。

（2）UCB算法沒有任何需要配置的參數(shù)，意味著可以在任何情況下使用UCB算法，而不需要任何必要的先決條件。

2.3? 多臂老虎機(jī)模型實現(xiàn)信道選擇

將老虎機(jī)的K個臂作為要選擇的K個信道。

（1）階段1：初始化。

（2）選擇次數(shù)：t;每個信道被選擇的次數(shù)為Tj，t;信道平均回報：;搖桿數(shù)量K=5。搖的總次數(shù)N=800;每個搖桿的收益ωk;Wn表示每輪的收益

（3）Tj，t=1。

（4）階段2：決定。

（5）選擇。

（6）記錄最佳搖桿的選擇次數(shù)ωmax;記錄每輪的收益Wn。

（7）階段3：學(xué)習(xí)。

（8）更新被選擇的信道：

（9）直到t>N。

3? ? 仿真結(jié)果

在模擬中，設(shè)置用戶數(shù)為1，可選信道數(shù)為5，傳輸時隙為500。為每一個信道預(yù)設(shè)傳輸數(shù)據(jù)量為[1.1，1.2，1.3，1.4，1.5]，單位為Mb。仿真結(jié)果如圖1所示。

從圖1中可以看出，隨著迭代次數(shù)的增加，UCB算法在信道選擇中得到的平均數(shù)據(jù)傳輸量要高于隨機(jī)信道選擇，約為0.15 Mb。這是因為當(dāng)通過UCB算法選擇信道時，由于之前記錄的置信度，其總是傾向于選擇平均收益最高的通道。當(dāng)采用隨機(jī)算法選擇信道時，與隨機(jī)信道選擇是等價的。因此，得到的平均值約等于預(yù)設(shè)傳輸?shù)钠骄怠?/p>

4? ? 結(jié)語

文章研究了基于UCB算法的信道選擇問題。通過實驗數(shù)據(jù)分析，得出UCB算法的信道選擇優(yōu)于隨機(jī)算法的結(jié)論。

[參考文獻(xiàn)]

[1]SIMMON E.A vision of cyber-physical cloud computing for smart networked systems[J].NISTIR，2013（8）：61.

[2]GONG X，GUO L，SHEN G，et al.Virtual network embedding for collaborative edge computing in optical-wireless networks[J].Journal of Lightwave Technology，2017（18）：3980-3990.

[3]ORSINI G，BADE D，LAMERSDORF W.Computing at the mobile edge：designing elastic android applications for computation of?oading[J].IFIP Wireless and Mobile Networking Conference，2015（8）：112-119.

[4]SHI W，DUSTDAR S.The promise of edge computing[J].Computer，2016（5）：78-81.

[5]LOGHIN D，RAMAPANTULU L，TEO Y M.On understanding time， energy and cost performance of wimpy heterogeneous systems for edge computing[J].IEEE International Conference on Edge Computing，2017（7）：1-8.

Channel selection scheme based on UCB algorithm

Zhang Sunxuan

（School of Electrical and Electronic Engineering， North China Electric Power University， Beijing 102206， China）

Abstract：The use of the Internet of Things in devices leads to more network traffic jams. The local server cannot meet the needs of big data transmission. The central processing mode under big data is difficult to achieve cloud computing. The emergence of edge computing， offloading data to multiple edge servers for processing. Data unloaded to the server needs to go through channels. The previous channel selection method is the unified allocation of base stations. If the terminal device can choose the channel through its own learning， it can improve the efficiency and reduce the burden of the base station. This paper analyzes it.

Key words：edge of computing; self-learning; channel selection