基于深度強化學(xué)習(xí)的基站動態(tài)開關(guān)研究

摘 要：隨著５Ｇ 移動互聯(lián)網(wǎng)的快速發(fā)展，為了滿足用戶不斷增長的流量需求，５Ｇ 基站大規(guī)模部署，導(dǎo)致能耗急劇增加。針對以上問題，通過采用流量預(yù)測與深度強化學(xué)習(xí)相結(jié)合的方法，建立基站動態(tài)開關(guān)模型。具體而言，該模型通過密集卷積神經(jīng)網(wǎng)絡(luò)（Ｄｅｎｓｅｌｙ Ｃｏｎｎｅｃｔｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ，ＤｅｎｓｅＮｅｔ）對基站流量進(jìn)行預(yù)測；進(jìn)一步地，基于精確的移動流量預(yù)測，將基站開關(guān)控制問題建模為一個馬爾科夫決策過程（Ｍａｒｋｏｖ Ｄｅｃｉｓｉｏｎ Ｐｒｏｃｅｓｓ，ＭＤＰ），然后通過強化學(xué)習(xí)方法進(jìn)行求解。此外，強化學(xué)習(xí)的ｒｅｗａｒｄ 函數(shù)設(shè)計在優(yōu)化基站開關(guān)成本時綜合考慮了多方面的因素，包括能耗和用戶服務(wù)質(zhì)量（Ｑｕａｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ，ＱｏＳ）下降成本，目標(biāo)是在降低能耗的前提下，最小化長期的基站能量消耗。最終通過對真實數(shù)據(jù)集的大量實驗驗證，提出的模型與當(dāng)前使用的基站常開策略相比，能夠節(jié)約３７％ 的能量消耗，且節(jié)能效果也優(yōu)于傳統(tǒng)啟發(fā)式算法。

關(guān)鍵詞：基站；蜂窩網(wǎng)絡(luò)；動態(tài)開關(guān)；流量預(yù)測；深度Ｑ 網(wǎng)絡(luò)

中圖分類號：ＴＮ９２ 文獻(xiàn)標(biāo)志碼：Ａ 開放科學(xué)（資源服務(wù)）標(biāo)識碼（ＯＳＩＤ）：

文章編號：１００３－３１１４（２０２４）０４－０８１５－０８

０ 引言

隨著５Ｇ 移動互聯(lián)網(wǎng)的高速發(fā)展，移動流量呈現(xiàn)爆炸式增長，大規(guī)模基站部署和高負(fù)荷運行導(dǎo)致了大量的能源需求，進(jìn)而引發(fā)了對能源效率和環(huán)境保護(hù)的迫切關(guān)注。在這樣的背景下，基站節(jié)能成為一項緊迫而重要的任務(wù)，需要尋找創(chuàng)新的解決方案，以平衡通信技術(shù)的發(fā)展與能源可持續(xù)利用之間的關(guān)系。然而，傳統(tǒng)的基站節(jié)能方案往往基于以往的經(jīng)驗和靜態(tài)數(shù)據(jù)，無法充分利用網(wǎng)絡(luò)中歷史數(shù)據(jù)的特征和規(guī)律，也難以適應(yīng)動態(tài)變化的通信負(fù)載和網(wǎng)絡(luò)環(huán)境。另外，現(xiàn)有的算法與策略大多建立在已知的規(guī)則或數(shù)學(xué)模型上，在實際應(yīng)用中具有較大的局限性。然而，實際應(yīng)用中，由于實際網(wǎng)絡(luò)環(huán)境的復(fù)雜性，使得對其進(jìn)行精確建模變得十分困難。

為了解決上述問題，本文通過流量預(yù)測幫助基站更精準(zhǔn)地預(yù)測通信流量負(fù)載，從而在開關(guān)決策中更好地平衡能源消耗和網(wǎng)絡(luò)性能，提高通信效率和用戶體驗。通過采用強化學(xué)習(xí)的方法來適應(yīng)復(fù)雜的網(wǎng)絡(luò)環(huán)境，減少對問題的不必要假設(shè)。

本文的主要貢獻(xiàn)如下

① 針對蜂窩網(wǎng)絡(luò)的基站開關(guān)管理問題進(jìn)行了全面的建模，將基站開關(guān)控制問題建模為一個馬爾科夫決策過程（Ｍａｒｋｏｖ Ｄｅｃｉｓｉｏｎ Ｐｒｏｃｅｓｓ，ＭＤＰ），并采用深度Ｑ 網(wǎng)絡(luò)（Ｄｅｅｐ Ｑ-Ｎｅｔｗｏｒｋ，ＤＱＮ）算法求解該問題。

② 針對單智能體在面對高維度的動作空間時算法很難收斂，采用深度確定性策略梯度（Ｄｅｅｐ Ｄｅ-ｔｅｒｍｉｎｉｓｔｉｃ Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ，ＤＤＰＧ）算法求解基站開關(guān)問題時又不利于動作的探索，很容易陷入局部最優(yōu)的問題，使用多個并行的ＤＱＮ（Ｍｕｌｔｉ-ＤＱＮ）算法求解基站開關(guān)問題。該算法可以提高學(xué)習(xí)模型的收斂速度，增加探索動作空間和策略的多樣性。

③ 在強化學(xué)習(xí)的ｒｅｗａｒｄ 函數(shù)設(shè)計中綜合考慮了蜂窩網(wǎng)絡(luò)的開銷問題，以相對更為準(zhǔn)確地度量基站動態(tài)開關(guān)策略的優(yōu)劣程度。其中，蜂窩網(wǎng)絡(luò)的總能耗是主要的開銷部分。此外，也考慮了由于基站開關(guān)狀態(tài)的切換帶來的開銷問題。

④ 使用北京市某區(qū)域的真實數(shù)據(jù)集進(jìn)行了大量的實驗，提出的模型與當(dāng)前廣泛使用的基站常開策略相比，能夠節(jié)約３７％ 的能量消耗，且節(jié)能效果也優(yōu)于傳統(tǒng)啟發(fā)式算法。

１ 相關(guān)研究

隨著５Ｇ 網(wǎng)絡(luò)的快速發(fā)展以及基站的大規(guī)模部署，基站的能源消耗已經(jīng)成為一個重要的關(guān)注點，當(dāng)前已經(jīng)涌現(xiàn)了不少關(guān)于基站節(jié)能的相關(guān)研究。

文獻(xiàn)［１］基于白天和夜間移動網(wǎng)絡(luò)負(fù)荷的變化，在夜晚移動負(fù)載較低的時候，將一些不必要開啟的基站關(guān)掉，把連接的用戶轉(zhuǎn)移到其他基站。文獻(xiàn)［２］提出了一種基于集合覆蓋的基站動態(tài)關(guān)斷策略。文獻(xiàn)［３］則提出了基于頻譜效率的基站動態(tài)關(guān)斷策略。文獻(xiàn)［４］通過改進(jìn)Ａｆｆｉｎｉｔｙ Ｐｒｏｐａｇａｔｉｏｎ 聚類算法對基站日負(fù)荷曲線進(jìn)行自適應(yīng)聚類，并進(jìn)一步挖掘分析周效應(yīng)下的日潮汐現(xiàn)象和汐節(jié)能時段。

此外，目前已有不少研究通過建立基站休眠與資源分配的優(yōu)化問題，使用啟發(fā)式算法迭代求解。文獻(xiàn)［５］基于最小化系統(tǒng)能耗和提高系統(tǒng)狀態(tài)穩(wěn)定性，建立了雙目標(biāo)優(yōu)化問題，提出了求解雙目標(biāo)優(yōu)化問題的快速窮舉算法（Ｃｅｎｔｒａｌｉｚｅｄ Ｓｌｅｅｐｉｎｇ Ｓｃｈｅｍｅｆｏｒ ａ Ｆａｓｔ Ｅｘｈａｕｓｔｉｖｅ Ａｌｇｏｒｉｔｈｍ，ＣＳＳ-Ｅ）和低復(fù)雜度的改進(jìn)粒子群算法（Ｃｅｎｔｒａｌｉｚｅｄ Ｓｌｅｅｐｉｎｇ Ｓｃｈｅｍｅ ｆｏｒ ａＭｏｄｉｆｉｅｄ Ｐａｒｔｉｃｌｅ Ｓｗａｒｍ Ｏｐｔｉｍｉｚａｔｉｏｎｉｎ，ＣＳＳ-ＰＳＯ）。文獻(xiàn)［６］則針對尋找休眠模式（Ｓｌｅｅｐ Ｍｏｄｅ，ＳＬＭ）下運行的最優(yōu)的活躍基站集合的多目標(biāo)優(yōu)化問題，使用遺傳算法以實現(xiàn)快速收斂率并獲得最佳解決方案。

上述研究都是基于傳統(tǒng)的同構(gòu)網(wǎng)絡(luò)的基站休眠技術(shù)。為應(yīng)對日益增長的無線通信流量和用戶的高速率需求，引入多個小基站組成異構(gòu)蜂窩網(wǎng)絡(luò)，以克服傳統(tǒng)同構(gòu)網(wǎng)絡(luò)在容量和覆蓋方面的限制。文獻(xiàn)［７］研究了在一種多小基站共存的異構(gòu)無線蜂窩網(wǎng)絡(luò)場景下，通過優(yōu)化小型基站的傳輸功率和激活／停用（動態(tài)休眠）來研究電網(wǎng)能量最小化問題。文獻(xiàn)［８］研究了接入飛蜂窩網(wǎng)絡(luò)的能源效率問題，聯(lián)合優(yōu)化毫微微基站的操作模式（如活躍或睡眠）以及用戶與活躍基站之間的關(guān)聯(lián)的方案。

上述研究都是基于集中式的方法，無法適應(yīng)５Ｇ密集部署的場景下海量基站的動態(tài)關(guān)斷需求。在基站開關(guān)狀態(tài)切換過程中，為了降低由于切換帶來的通信開銷，有必要設(shè)計對分布式基站進(jìn)行動態(tài)開關(guān)控制的算法。文獻(xiàn)［９］提出了一種提高綠色蜂窩網(wǎng)絡(luò)能源效率的分布式合作框架。文獻(xiàn)［１０］研究了自適應(yīng)小區(qū)縮放方案，應(yīng)用博弈論優(yōu)化小區(qū)縮放因子（Ｃｅｌｌ Ｚｏｏｍｉｎｇ Ｆａｃｔｏｒ，ＣＺＦ）。

上述研究提到的博弈論等分布式方法在基站節(jié)能中可能存在一些局限性，如假設(shè)與實際網(wǎng)絡(luò)環(huán)境可能不符或最優(yōu)策略具有不確定性?？梢酝ㄟ^機(jī)器學(xué)習(xí)對實際業(yè)務(wù)量進(jìn)行預(yù)測，進(jìn)而制定針對性的基站休眠策略。文獻(xiàn)［１１］提出了一種基于無線流量預(yù)測模型的智能數(shù)據(jù)驅(qū)動的基站休眠機(jī)制。文獻(xiàn)［１２］提出一種基于深度強化學(xué)習(xí)的數(shù)據(jù)驅(qū)動基站休眠操作方法：Ｄｅｅｐｎａｐ。文獻(xiàn)［１３］采用深度強化學(xué)習(xí)方法對用戶分布、通信需求等進(jìn)行自我學(xué)習(xí)，從而推測出基站的負(fù)載變化規(guī)律，進(jìn)而對基站采取一系列節(jié)能措施。文獻(xiàn)［１４］設(shè)計了一個基于基站狀態(tài)切換操作的強化學(xué)習(xí)框架方案。此外，為了加快訓(xùn)練過程，提出了一種遷移參與者批評算法。文獻(xiàn)［１５］提出了一種基于深度強化學(xué)習(xí)的基站休眠控制算法。

以上研究在基站節(jié)能方面都取得了一定的成果，本文在前期研究基礎(chǔ)上，構(gòu)建基于流量預(yù)測與深度強化學(xué)習(xí)的基站動態(tài)開關(guān)模型。流量預(yù)測可以為未來時刻的基站開關(guān)決策提供有力的數(shù)據(jù)支撐，同時結(jié)合深度強化學(xué)習(xí)算法來求解基站動態(tài)開關(guān)問題，從而達(dá)到使基站的長期能耗最小的目的。

２ 系統(tǒng)模型

本節(jié)將從網(wǎng)絡(luò)模型、基站成本模型等方面來描述基站成本問題。

２． １ 網(wǎng)絡(luò)模型

蜂窩網(wǎng)絡(luò)通常由多個基站組成來處理移動業(yè)務(wù)負(fù)載。本文考慮一個由一組基站服務(wù)用戶的蜂窩網(wǎng)絡(luò)，其中所述基站和用戶的集合可以分別表示為＝｛１，２，…，Ｎ｝， ＝ ｛１，２，…，Ｋ｝。在地理區(qū)域上，每個基站在各自的覆蓋范圍內(nèi)（例如３×３ 柵格），基站之間也可能存在重疊覆蓋問題。由于移動流量具有時變性，很多基站大部分時間都沒有得到充分的利用，造成了巨大的資源浪費和嚴(yán)重的能效問題。所以需要對基站的開關(guān)策略進(jìn)行動態(tài)調(diào)整，以適應(yīng)不同的流量需求。

本文的主要變量及其含義如表１ 所示。

２． ２ 基站成本模型

基站成本主要分為兩部分：能耗成本、用戶服務(wù)質(zhì)量（Ｑｕａｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ，ＱｏＳ）下降成本。

① 能耗成本。在蜂窩網(wǎng)絡(luò)中，基站的能耗不是簡單地與其覆蓋范圍內(nèi)的流量負(fù)載成正比［１６］。一般來說，基站的能耗可以總結(jié)為兩種：一種是固定的能量消耗，不依賴于基站的移動流量負(fù)載，主要來源于電路損耗和散熱損耗；另一種是與功率放大器等組件相關(guān)的傳輸能耗，與流量負(fù)載存在非線性關(guān)系。為此，本文提出了一種通用的能耗模型，一個基站在ｔ 時刻一個小時內(nèi)的能耗可以概括為［１７］：

ｐｔｉ＝Ｐｆｉ＋Ｐｌｉ， （１）

式中：Ｐｆｉ為基站的固定能耗；Ｐｌｉ為基站的傳輸能耗，與流量負(fù)載成非線性相關(guān)。

② ＱｏＳ 下降成本。為了保證ＱｏＳ，本文考慮了基站關(guān)斷可能導(dǎo)致用戶需要重新選擇基站進(jìn)行連接的情況。該情況會降低ＱｏＳ，產(chǎn)生用戶服務(wù)延遲的成本。本文將其定義為用戶進(jìn)行基站重選后翻轉(zhuǎn)的流量與用戶重新連接到開啟狀態(tài)的基站的下行速率之比，具體表述為：

式中：小區(qū)重選后翻轉(zhuǎn)的用戶流量指重新選擇開啟狀態(tài)基站的用戶ｋ（即更換所關(guān)聯(lián)基站的用戶）的流量，即ρｔｋ； ｔｒｅｓ 表示在ｔ 時刻基站重選的用戶集合，可以采用Ｋ－最近鄰（ＫＮｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ，ＫＮＮ）算法為失去基站連接的用戶搜索最近鄰的可連接基站得到；ｒｔｎ，ｋ 表示在ｔ 時刻基站ｎ 到用戶ｋ 的下行速率，該速率可以用香農(nóng)公式計算：

ｒｔｎ，ｋ ＝ｂｔｎ，ｋ ｌｂ（１＋ＳＮＲｔｎ，ｋ）， （３）

式中：ｂｔｎ，ｋ 表示在ｔ 時刻基站ｎ 分配給用戶ｋ 的帶寬資源，ＳＮＲｔｎ，ｋ 表示在ｔ 時刻基站ｎ 到用戶ｋ 的信噪比，ＳＮＲｔｎ，ｋ ＝ｐｔｎ，ｋｈｔｎ，ｋ/Ｎ０，ｐｔｎ，ｋ 為基站ｎ 分配給用戶ｋ 的功率資源，ｈｔｎ，ｋ 為基站ｎ 與用戶ｋ 之間的信道增益，Ｎ０為功率譜密度。

通過綜合考慮以上因素，本文的系統(tǒng)模型旨在實現(xiàn)多目標(biāo)優(yōu)化，即在最小化能耗的同時，確保用戶的通信服務(wù)質(zhì)量得到保障。

３ 基于流量預(yù)測的深度強化學(xué)習(xí)的基站動態(tài)開關(guān)算法

本節(jié)詳細(xì)介紹了基于密集卷積神經(jīng)網(wǎng)絡(luò)（Ｄｅｎｓｅｌｙ Ｃｏｎｎｅｃｔｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ，ＤｅｎｓｅＮｅｔ）的Ｍｕｌｔｉ-ＤＱＮ 基站動態(tài)開關(guān)框架，并對流量預(yù)測、強化學(xué)習(xí)ＭＤＰ 環(huán)境建模以及Ｍｕｌｔｉ-ＤＱＮ 訓(xùn)練過程分別展開了描述。

３． １ 基于ＤｅｎｓｅＮｅｔ 的Ｍｕｌｔｉ-ＤＱＮ 基站動態(tài)開關(guān)框架

系統(tǒng)框架由基站休眠與用戶重連模塊、流量預(yù)測模塊和Ｍｕｌｔｉ-ＤＱＮ 訓(xùn)練模塊三個模塊組成。該框架的工作流程描述如下。

① 基站休眠與用戶重新連接：當(dāng)網(wǎng)絡(luò)負(fù)載較小時，為了降低能耗并提高網(wǎng)絡(luò)效率，一些基站可能會進(jìn)入休眠狀態(tài)，減少不必要的能耗。此時用戶需要重新選擇基站進(jìn)行連接，以獲得穩(wěn)定的通信服務(wù)。

② ＤｅｎｓｅＮｅｔ 模型預(yù)測流量：基于當(dāng)前的基站開關(guān)狀態(tài)，本文利用ＤｅｎｓｅＮｅｔ 模型，基于歷史流量數(shù)據(jù)預(yù)測基站在未來一段時間內(nèi)的網(wǎng)絡(luò)流量情況得到預(yù)測結(jié)果。預(yù)測模型的輸出流量結(jié)果會被傳遞給強化學(xué)習(xí)模塊。

③ Ｍｕｌｔｉ-ＤＱＮ 訓(xùn)練：由于基站數(shù)量過多，單智能體在面對高維度的動作空間時，算法很難收斂；而且單個智能體在信息的獲取能力、處理能力、控制能力等方面有限，對于復(fù)雜的工作任務(wù)及多變的工作環(huán)境，單智能體能力明顯不足。如果采用ＤＤＰＧ 求解基站動態(tài)開關(guān)問題，由于初始策略通常固定，在探索高維度的連續(xù)動作空間時很有可能陷入局部最優(yōu)解，無法跳出。因此，本文的強化學(xué)習(xí)模塊采用Ｍｕｌｔｉ-ＤＱＮ 算法，該算法中多個ＤＱＮ 并行訓(xùn)練可以同時學(xué)習(xí)，模型訓(xùn)練速度得到大幅度提升；而且多個ＤＱＮ 代理（ａｇｅｎｔ）可以獨立地探索不同的策略和動作選擇，進(jìn)一步增加了探索的多樣性。這樣有助于避免陷入局部最優(yōu)解，提高代理找到全局最優(yōu)策略的概率。

該強化學(xué)習(xí)模塊基于基站流量負(fù)載變化、用戶體驗指標(biāo)（如速率、時延），旨在自主學(xué)習(xí)得到最優(yōu)的基站動態(tài)開關(guān)策略。

④ 動態(tài)基站開關(guān)策略生成：經(jīng)過訓(xùn)練，Ｍｕｌｔｉ-ＤＱＮ 將產(chǎn)生一個動態(tài)的基站開關(guān)策略。代理可以根據(jù)當(dāng)前的網(wǎng)絡(luò)環(huán)境和狀態(tài)，自主地選擇基站的開關(guān)狀態(tài)，從而進(jìn)一步提升網(wǎng)絡(luò)性能和用戶體驗。

上述內(nèi)容的具體細(xì)節(jié)如圖１ 所示。綜上所述，移動通信網(wǎng)絡(luò)能夠在基站休眠與用戶重新連接的過程中，通過流量預(yù)測和強化學(xué)習(xí)等方法的協(xié)同作用，實現(xiàn)基站開關(guān)策略的智能優(yōu)化。這一框架不僅有助于提升網(wǎng)絡(luò)效率和性能，也為用戶提供了更穩(wěn)定和流暢的通信體驗。

３． ２ 流量預(yù)測

本文的流量預(yù)測模型ＤｅｎｓｅＮｅｔ 用滑動窗口的方式對數(shù)據(jù)集進(jìn)行抽取，由于所選用數(shù)據(jù)集可以看作二維空間的流量分布隨時間的變化，具有視頻流的特征，因此針對影響三種時間依賴性的歷史數(shù)據(jù)采用不同長度的幀數(shù)來采集構(gòu)建，并分為三部分輸入到不同的分模塊中進(jìn)行訓(xùn)練，從而捕捉三種時間依賴性。輸入數(shù)據(jù)前先經(jīng)過Ｍｉｎ-Ｍａｘ 歸一化處理，以提高模型訓(xùn)練時的收斂速度。進(jìn)入分模塊后經(jīng)過主要由堆疊的ＤｅｎｓｅＬａｙｅｒ 組成的ＤｅｎｓｅＵｎｉｔ 來進(jìn)行空間依賴的捕捉，并將分模塊學(xué)習(xí)的特征通過參數(shù)矩陣融合的方式結(jié)合起來。

流量的周期性、臨近性、趨勢性等特征會對最后的預(yù)測結(jié)果產(chǎn)生不同的影響。本文通過參數(shù)矩陣的融合，將不同時間特征的強度體現(xiàn)在不同權(quán)重上，并將其分別表示為Ｗｐ１、Ｗｐ２、Ｗｃ 和Ｗｔ。在訓(xùn)練階段，將學(xué)習(xí)參數(shù)轉(zhuǎn)化為與輸入的特征形式相同的張量，這樣就可以進(jìn)一步做哈達(dá)瑪?shù)某朔ㄟ\算，從而可以獲得矩陣融合的輸出，即時空模塊的輸出。記為ＸＴ ［１８］：

ＸＴ ＝Ｗｐ１ 。Ｘ７ｐ１ ＋Ｗｐ２ 。Ｘ７ｐ２ ＋Ｗｃ 。Ｘ７ｃ＋Ｗｔ 。Ｘ７ｔ， （４）

式中：表示哈達(dá)瑪乘積，將學(xué)習(xí)參數(shù)矩陣與特征輸出矩陣的位置一一對應(yīng)然后分別相乘，最后將三個特征相加，從而獲得預(yù)測特征的結(jié)果。經(jīng)過神經(jīng)網(wǎng)絡(luò)的迭代訓(xùn)練，不斷計算梯度和更新權(quán)重，最后得出模型ｔ 時刻的預(yù)測輸出：

︿Yｔ ＝σ ＸＴ， （５）

式中：σ（·）表示Ｓｉｇｍｏｉｄ 激活函數(shù)。從預(yù)測值和真實值的對比結(jié)果來看，可以通過均方根誤差（ＲｏｏｔＭｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ，ＲＭＳＥ）表達(dá)該損失函數(shù)，并在訓(xùn)練期間對該模型進(jìn)行參數(shù)更新：

Ｌ（μ）＝|| Ｙｔ －Ｙｔ︿|| ２， （６）

式中：μ 表示一組可以使得模型最終訓(xùn)練得到的損失函數(shù)取最小值的參數(shù)，Ｙｔ 表示真實值，當(dāng)損耗函數(shù)取最小值時，加權(quán)參數(shù)也分別對應(yīng)最優(yōu)值。

３． ３ 強化學(xué)習(xí)ＭＤＰ 環(huán)境建模

本文的主要研究目標(biāo)是找到最優(yōu)的基站開關(guān)策略，以最大限度降低系統(tǒng)的長期總成本。將基站成本優(yōu)化問題建模為一個ＭＤＰ，并將其表示為一個元組M＝〈S，A ，R ，S′，γ〉。其中，S為狀態(tài)空間，A 為動作空間，R 為獎勵函數(shù)，S′為下一時刻的狀態(tài)，γ∈［０，１］為折扣因子。ＭＤＰ 的設(shè)計過程按以下步驟進(jìn)行：

① 狀態(tài)（ｓｔａｔｅ）：系統(tǒng)狀態(tài)是由在當(dāng)前時刻ｔ 所有用戶的流量負(fù)載ρｔｋ 組成。但是，當(dāng)基站要進(jìn)行活躍／睡眠模式操作時，在時段ｔ 開始時，流量ρｔｋ 不可用。因此，利用流量預(yù)測模型訓(xùn)練得到的預(yù)測結(jié)果ρｔｋ ～，將狀態(tài)表示為ｓｔ ＝｛ρｔｋ ～｝。

② 動作（ａｃｔｉｏｎ）：動作ａｔ 是決定所有基站在ｔ時刻的工作模式，其中：

③ 獎勵函數(shù)（Ｒｅｗａｒｄ）：為了評估當(dāng)前的基站開關(guān)策略，將在狀態(tài)ｓ 下采取動作ａ 獲得的瞬時獎勵作為判斷依據(jù)。系統(tǒng)在一個小時內(nèi)的獎勵由所有基站的能耗和用戶ＱｏＳ 下降成本組成。獎勵函數(shù)如式（８）所示：

３． ４ Ｍｕｌｔｉ-ＤＱＮ 訓(xùn)練過程

為了提高強化學(xué)習(xí)模型的訓(xùn)練速度，進(jìn)一步提升基站動態(tài)開關(guān)模型的性能，采用Ｍｕｌｔｉ-ＤＱＮ 算法求解基站動態(tài)開關(guān)問題。完整的Ｍｕｌｔｉ-ＤＱＮ 訓(xùn)練過程如算法１ 所示。

在每一步訓(xùn)練過程中，蜂窩網(wǎng)絡(luò)都會向Ｑ 網(wǎng)絡(luò)發(fā)送當(dāng)前所有用戶的移動流量狀態(tài)。由此，得到在該狀態(tài)下的全部基站進(jìn)行開關(guān)切換所對應(yīng)的Ｑ 值。算法第６ 行說明多個ＤＱＮ 在并行訓(xùn)練；第７ 行～１５ 行是基于ε-ｇｒｅｅｄｙ 算法對單個ＤＱＮ 進(jìn)行判定的步驟。具體來說就是，當(dāng)隨機(jī)數(shù)小于ε 時，會隨機(jī)生成一個［０，１］的數(shù)字。假設(shè)該數(shù)值小于ε，該步驟將采取具有最大Ｑ 值的動作進(jìn)行操作，否則將隨機(jī)采取一個動作?；鹃_關(guān)狀態(tài)發(fā)生變化以后，蜂窩網(wǎng)絡(luò)將基于能耗、ＱｏＳ 下降成本的獎勵反饋給ＤＱＮ 代理，并進(jìn)入到新的狀態(tài)，產(chǎn)生一條數(shù)據(jù)保存到經(jīng)驗回放緩沖區(qū)。在該算法中，第１１ 行～１３ 行為ＤＱＮ 的Ｑ網(wǎng)絡(luò)參數(shù)更新過程，它通過對少量采樣數(shù)據(jù)的丟失進(jìn)行計算，并通過梯度下降來調(diào)節(jié)神經(jīng)網(wǎng)絡(luò)的參數(shù)θ。第１４ 行為Ｑ 目標(biāo)網(wǎng)絡(luò)和Ｑ 網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)的參數(shù)以Ｃ 為間隔進(jìn)行同步的過程。

４ 模型性能分析

本節(jié)主要包括三部分：數(shù)據(jù)集描述、參數(shù)設(shè)置及實驗環(huán)境、模型性能。

４． １ 數(shù)據(jù)集描述

本文所用數(shù)據(jù)為某區(qū)域４Ｇ 流量數(shù)據(jù)，對每小時空口總流量（單位為ＧＢ）進(jìn)行分析處理。數(shù)據(jù)集分為兩部分，其中２０２１ 年１１ 月１９ 日—２０２１ 年１２ 月１８ 日每小時測得的數(shù)據(jù)（共７２０ 條）為訓(xùn)練集，２０２１ 年１２ 月１９ 日每小時測得的數(shù)據(jù)（共２４ 條）為測試集。

４． ２ 參數(shù)設(shè)置及實驗環(huán)境

本文首先將３×３ 個柵格劃分為一個區(qū)域，整個區(qū)域被分為４ 個子區(qū)域，每個子區(qū)域都有一個ＤＱＮ代理獨立地控制基站的開關(guān)狀態(tài)。然后，將每個柵格劃分為１００ 個５０ ｍ×５０ ｍ 的小柵格。本文采用ＫＮＮ 算法將每個小柵格關(guān)聯(lián)到距離最近的基站，以小時為單位，將基站流量均分到所有關(guān)聯(lián)的小柵格。最后統(tǒng)計每個柵格所有小柵格的流量和，作為該柵格的流量。

實驗環(huán)境的硬件配置為：Ｉｎｔｅｌ（Ｒ）Ｃｏｒｅ（ＴＭ）ｉ９-１０９４０Ｘ ＣＰＵ ＠ ３． ３０ ＧＨｚ，ＧＰＵ ＲＴＸ３０９０，２４ ＧＢ 顯存；軟件配置為：Ｐｙｔｈｏｎ３． ８，ｐｙｔｏｒｃｈ２． ０． １＋ＣＵＤＡ１１． ７ＣＵＤＮＮ ８． ２． ４；ＣＰＵ 內(nèi)存１２８ ＧＢ。

４． ３ 模型性能

本小節(jié)主要分為流量預(yù)測和強化學(xué)習(xí)兩部分。

４． ３． １ 流量預(yù)測性能

① 基于ＤｅｎｓｅＮｅｔ 的基站流量預(yù)測值和真實值對比（某一個區(qū)域２９ 個基站下平均效果）如圖２ 所示，可以看出，ＤｅｎｓｅＮｅｔ 模型在整體預(yù)測性能上表現(xiàn)良好，但是，在網(wǎng)絡(luò)流量高峰時刻，模型的預(yù)測結(jié)果（ｄｅｎｓｅｎｅｔ＿ｒｅｓｕｌｔ）出現(xiàn)了一些與真實值（ｇｒｏｕｎｄ＿ｔｒｕｔｈ）略微不一致的情況。這可能是由于模型在高峰時刻的數(shù)據(jù)特性、復(fù)雜性或非線性動態(tài)變化方面存在一定的挑戰(zhàn)，導(dǎo)致預(yù)測精度在此時段稍有波動。

② 某一個區(qū)域２９ 個基站下平均預(yù)測效果ＤｅｎｓｅＮｅｔ 與其他算法對比結(jié)果如表２ 所示。此次實驗以均方誤差（Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ，ＭＳＥ）作為評價指標(biāo)。實驗結(jié)果表明，Ｈｏｌｔ-ｗｉｎｔｅｒ 模型［１９］得到的ＭＳＥ為６． ８４４ ５，表現(xiàn)最差；其次是ＬＳＴＭ［２０］和ＡＲＩＭＡ［２１］模型，ＭＳＥ 分別為５． ７６０ ５ 和３． ５３８ １；而ＸＧＢｏｏｓｔ［２２］模型和ＤｅｎｓｅＮｅｔ 模型的表現(xiàn)最好，其中ＤｅｎｓｅＮｅｔ 模型以１． ８２１ ２ 的ＭＳＥ 表現(xiàn)最為出色，ＸＧｂｏｏｓｔ 模型的ＭＳＥ 為２． ２５１ ８，表現(xiàn)次之。

在此次實驗中，ＸＧＢｏｏｓｔ 和ＤｅｎｓｅＮｅｔ 在流量預(yù)測任務(wù)中具有較好的性能，可能的原因在于這兩種模型均具有較強的特征學(xué)習(xí)和抽象能力，能夠有效地捕捉到數(shù)據(jù)中的復(fù)雜模式和關(guān)聯(lián)關(guān)系。與之相比，ＡＲＩＭＡ 和Ｈｏｌｔ-ｗｉｎｔｅｒｓ 是傳統(tǒng)的時間序列模型，通常對于復(fù)雜的時間序列模式表現(xiàn)較差。

４． ３． ２ 強化學(xué)習(xí)性能

① 本文選取了市區(qū)內(nèi)高校區(qū)、居民區(qū)和商業(yè)區(qū)三個區(qū)域作為實驗場景，模型訓(xùn)練結(jié)果曲線如圖３所示。三個不同的區(qū)域都隨著訓(xùn)練輪次的增加，模型收斂至穩(wěn)定。其中，居民區(qū)的收斂趨勢最快，在第１５０ 輪次就逐漸開始收斂。由于居民區(qū)相對于高校區(qū)和商業(yè)區(qū)來說，網(wǎng)絡(luò)環(huán)境通常更簡單，具有較低的復(fù)雜性。這種低復(fù)雜性使得強化學(xué)習(xí)智能體更容易學(xué)習(xí)和優(yōu)化基站的開關(guān)策略，因此，學(xué)習(xí)模型的收斂速度相對而言會更快。

② Ｍｕｌｔｉ-ＤＱＮ 與其他算法在某一個區(qū)域２９ 個基站的平均節(jié)能效果對比結(jié)果如表３ 所示。

從對比結(jié)果來看，與啟發(fā)式算法和Ｍｕｌｔｉ-ＤＱＮ算法相比，基站全開策略最不理想，能耗最大，大約為１１ ５７８ Ｗ；啟發(fā)式算法與Ｍｕｌｔｉ-ＤＱＮ 算法的能耗結(jié)果分別為７ ２４３ Ｗ 和７ １６５ Ｗ，因此，Ｍｕｌｔｉ-ＤＱＮ算法比啟發(fā)式算法節(jié)能效果更好。Ｍｕｌｔｉ-ＤＱＮ 相對于啟發(fā)式算法在節(jié)能方面的優(yōu)勢在于其能夠進(jìn)行全局優(yōu)化，具有自適應(yīng)性和學(xué)習(xí)能力；同時，其并行化訓(xùn)練和廣泛的策略空間探索使其能夠更有效地發(fā)現(xiàn)并優(yōu)化節(jié)能策略，為復(fù)雜的節(jié)能問題提供了更為有效的解決方案。而啟發(fā)式算法通常以簡單規(guī)則或既往經(jīng)驗為基礎(chǔ)，性能受限于搜索空間的局部最優(yōu)解問題，可能無法提供足夠準(zhǔn)確的解決方案，尤其在復(fù)雜、不確定性高的情況下，算法表現(xiàn)可能不穩(wěn)定且難以調(diào)優(yōu)。

總的來說，Ｍｕｌｔｉ-ＤＱＮ 算法相對基站全開策略和啟發(fā)式算法而言，效果比較好。該算法與當(dāng)前使用的基站常開策略相比，能夠節(jié)約３７％ 的能量消耗，且優(yōu)于傳統(tǒng)啟發(fā)式算法。

５ 結(jié)束語

本文提出了一種基于流量預(yù)測的Ｍｕｌｔｉ-ＤＱＮ 基站動態(tài)開關(guān)模型，用于蜂窩網(wǎng)絡(luò)的節(jié)能。利用ＤｅｎｓｅＮｅｔ 預(yù)測移動流量，而后，基于精確的移動流量預(yù)測，將基站開關(guān)控制問題建模為一個ＭＤＰ 過程，以考慮用戶ＱｏＳ 下降成本來最小化長期的能量消耗。為了解決ＭＤＰ 問題，本文采用了Ｍｕｌｔｉ-ＤＱＮ深度強化學(xué)習(xí)方法求解。最后，通過對真實區(qū)域數(shù)據(jù)集的大量實驗，證明了所提模型的有效性。本文的主要研究目標(biāo)在于通過一系列的創(chuàng)新性工作，降低基站的能源消耗，以實現(xiàn)通信基站節(jié)能的目標(biāo)。

參考文獻(xiàn)

［１］ ＭＡＲＳＡＮ Ｍ Ａ，ＣＨＩＡＲＡＶＩＧＬＩＯ Ｌ，ＣＩＵＬＬＯ Ｄ，ｅｔ ａｌ． Ｏｐｔｉｍａｌ Ｅｎｅｒｇｙ Ｓａｖｉｎｇｓ ｉｎ Ｃｅｌｌｕｌａｒ Ａｃｃｅｓｓ Ｎｅｔｗｏｒｋｓ［Ｃ］∥２００９ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ＣｏｍｍｕｎｉｃａｔｉｏｎｓＷｏｒｋｓｈｏｐｓ． Ｄｒｅｓｄｅｎ：ＩＥＥＥ，２００９：１－５．

［２］ ＢＥＩＴＥＬＭＡＬ Ｔ，ＹＡＮＩＫＯＭＥＲＯＧＬＵ Ｈ． Ａ Ｓｅｔ ＣｏｖｅｒＢａｓｅｄ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｃｅｌｌ Ｓｗｉｔｃｈｏｆｆ ｗｉｔｈ Ｄｉｆｆｅｒｅｎｔ ＣｅｌｌＳｏｒｔｉｎｇ Ｃｒｉｔｅｒｉａ［Ｃ］∥２０１４ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅｏｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｗｏｒｋｓｈｏｐｓ （ＩＣＣ）． Ｓｙｄｎｅｙ：ＩＥＥＥ，２０１４：６４１－６４６．

［３］ ＧＯＮＧ Ｊ，ＺＨＯＵ Ｓ，ＹＡＮＧ Ｚ Ｘ，ｅｔ ａｌ． Ｇｒｅｅｎ ＭｏｂｉｌｅＡｃｃｅｓｓ Ｎｅｔｗｏｒｋ ｗｉｔｈ Ｄｙｎａｍｉｃ Ｂａｓｅ Ｓｔａｔｉｏｎ Ｅｎｅｒｇｙ Ｓａｖｉｎｇ［Ｊ］． Ｉｃｅ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｉｎｔｅｒｎｅｔ Ａｒｃｈｉｔｅｃｔｕｒｅ，２００９，１０９（２６２）：２５－２９．

［４］ 鄭佳歡，向勇． 基于個性化場景的５Ｇ 基站節(jié)能方法［Ｊ］． 移動通信，２０２１，４５（３）：９１－９６．

［５］ ＬＩＵ Ｃ，ＷＡＮ Ｙ，ＴＩＡＮ Ｌ，ｅｔ ａｌ． Ｂａｓｅ Ｓｔａｔｉｏｎ ＳｌｅｅｐｉｎｇＣｏｎｔｒｏｌ ｗｉｔｈ Ｅｎｅｒｇｙｓｔａｂｉｌｉｔｙ Ｔｒａｄｅｏｆｆ ｉｎ Ｃｅｎｔｒａｌｉｚｅｄ ＲａｄｉｏＡｃｃｅｓｓ Ｎｅｔｗｏｒｋｓ［Ｃ］∥２０１５ ＩＥＥＥ Ｇｌｏｂａｌ ＣｏｍｍｕｎｉｃａｔｉｏｎｓＣｏｎｆｅｒｅｎｃｅ（ＧＬＯＢＥＣＯＭ）． Ｓａｎ Ｄｉｅｇｏ：ＩＥＥＥ，２０１５：１－６．

［６］ ＣＨＡＮＤＨＡＲ Ｐ，ＤＡＳ Ｓ Ｓ． Ｅｎｅｒｇｙ Ｓａｖｉｎｇ ｉｎ ＯＦＤＭＡ Ｃｅｌｌｕｌａｒ Ｎｅｔｗｏｒｋｓ ｗｉｔｈ Ｍｕｌｔｉｏｂｊｅｃｔｉｖｅ Ｏｐｔｉｍｉｚａｔｉｏｎ ［Ｃ］∥２０１４ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ（ＩＣＣ）． Ｓｙｄｎｅｙ：ＩＥＥＥ，２０１４：３９５１－３９５６．

［７］ ＡＬＱＡＳＩＲ Ａ Ｍ，ＫＡＭＡＬ Ａ Ｅ． Ｃｏｏｐｅｒａｔｉｖｅ Ｓｍａｌｌ ＣｅｌｌＨｅｔＮｅｔｓ ｗｉｔｈ Ｄｙｎａｍｉｃ Ｓｌｅｅｐｉｎｇ ａｎｄ Ｅｎｅｒｇｙ Ｈａｒｖｅｓｔｉｎｇ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒｅｅｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄＮｅｔｗｏｒｋｉｎｇ，２０２０，４（３）：７７４－７８２．

［８］ ＫＩＭ Ｊ，ＪＥＯＮ Ｗ Ｓ，ＪＥＯＮＧ Ｄ Ｇ． Ｂａｓｅｓｔａｔｉｏｎ Ｓｌｅｅｐ Ｍａｎａｇｅｍｅｎｔ ｉｎ Ｏｐｅｎａｃｃｅｓｓ Ｆｅｍｔｏｃｅｌｌ Ｎｅｔｗｏｒｋｓ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｖｅｈｉｃｕｌａｒ Ｔｅｃｈｎｏｌｏｇｙ，２０１６，６５（５）：３７８６－３７９１．

［９］ ＺＨＥＮＧ Ｊ Ｃ，ＣＡＩ Ｙ Ｍ，ＣＨＥＮ Ｘ Ｆ，ｅｔ ａｌ． Ｏｐｔｉｍａｌ ＢａｓｅＳｔａｔｉｏｎ Ｓｌｅｅｐｉｎｇ ｉｎ Ｇｒｅｅｎ Ｃｅｌｌｕｌａｒ Ｎｅｔｗｏｒｋｓ：Ａ ＤｉｓｔｒｉｂｕｔｅｄＣｏｏｐｅｒａｔｉｖｅ Ｆｒａｍｅｗｏｒｋ Ｂａｓｅｄ ｏｎ Ｇａｍｅ Ｔｈｅｏｒｙ［Ｊ］． ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｗｉｒｅｌｅｓｓ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，２０１５，１４（８）：４３９１－４４０６．

［１０］ＸＵ Ｘ Ｄ，ＹＵＡＮ Ｃ Ｊ，ＣＨＥＮ Ｗ Ｗ，ｅｔ ａｌ． Ａｄａｐｔｉｖｅ Ｃｅｌｌ Ｚｏｏｍｉｎｇ ａｎｄ Ｓｌｅｅｐｉｎｇ ｆｏｒ Ｇｒｅｅｎ Ｈｅｔｅｒｏｇｅｎｅｏｕｓ ＵｌｔｒａｄｅｎｓｅＮｅｔｗｏｒｋｓ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｖｅｈｉｃｕｌａｒ Ｔｅｃｈｎｏｌｏｇｙ，２０１８，６７（２）：１６１２－１６２１．

［１１］ＬＩＮ Ｊ Ｓ，ＣＨＥＮ Ｙ Ｊ，ＺＨＥＮＧ Ｈ Ｆ，ｅｔ ａｌ． Ａ ＤａｔａｄｒｉｖｅｎＢａｓｅ Ｓｔａｔｉｏｎ Ｓｌｅｅｐｉｎｇ Ｓｔｒａｔｅｇｙ Ｂａｓｅｄ ｏｎ Ｔｒａｆｆｉｃ Ｐｒｅｄｉｃｔｉｏｎ［Ｊ／ ＯＬ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｎｅｔｗｏｒｋ Ｓｃｉｅｎｃｅ ａｎｄ Ｅｎｇｉｎｅｅｒｉｎｇ（２０２１－０９－０２）［２０２４－０２－１０］． ｈｔｔｐｓ：∥ｉｅｅｅｘｐｌｏｒｅ． ｉｅｅｅ． ｏｒｇ／ ｄｏｃｕｍｅｎｔ／９５２８００８．

［１２］ＬＩＵ Ｊ Ｃ，ＫＲＩＳＨＮＡＭＡＣＨＡＲＩ Ｂ，ＺＨＯＵ Ｓ，ｅｔ ａｌ．ＤｅｅｐＮａｐ：Ｄａｔａｄｒｉｖｅｎ Ｂａｓｅ Ｓｔａｔｉｏｎ Ｓｌｅｅｐｉｎｇ ＯｐｅｒａｔｉｏｎｓＴｈｒｏｕｇｈ Ｄｅｅｐ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ［Ｊ］． ＩＥＥＥ Ｉｎｔｅｒｎｅｔｏｆ Ｔｈｉｎｇｓ Ｊｏｕｒｎａｌ，２０１８，５（６）：４２７３－４２８２．

［１３］曾德澤，李躍鵬，趙宇陽，等． 基于強化學(xué)習(xí)的高能效基站動態(tài)調(diào)度方法［Ｊ］． 計算機(jī)科學(xué)，２０２１，４８（１１）：３６３－３７１．

［１４］ＬＩ Ｒ Ｐ，ＺＨＡＯ Ｚ Ｆ，ＣＨＥＮ Ｘ Ｆ，ｅｔ ａｌ． ＴＡＣＴ：Ａ ＴｒａｎｓｆｅｒＡｃｔｏｒｃｒｉｔｉｃ Ｌｅａｒｎｉｎｇ Ｆｒａｍｅｗｏｒｋ ｆｏｒ Ｅｎｅｒｇｙ Ｓａｖｉｎｇ ｉｎ Ｃｅｌｌｕｌａｒ Ｒａｄｉｏ Ａｃｃｅｓｓ Ｎｅｔｗｏｒｋｓ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎＷｉｒｅｌｅｓｓ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，２０１４，１３（４）：２０００－２０１１．

［１５］楊馥瑜，趙東． 基于深度強化學(xué)習(xí)的基站休眠控制算法［ＥＢ／ ＯＬ］． （２０１５－０２－１０）［２０２４－０２－１０］． ｈｔｔｐｓ：∥ｗｗｗ． ｐａｐｅｒ． ｅｄｕ． ｃｎ／ ｒｅｌｅａｓｅｐａｐｅｒ／ ｃｏｎｔｅｎｔ／２０２３０２－５８．

［１６］ＬＩ Ｒ Ｐ，ＺＨＡＯ Ｚ Ｆ，ＷＥＩ Ｙ，ｅｔ ａｌ． ＧＭＰＡＢ：Ａ ＧｒｉｄｂａｓｅｄＥｎｅｒｇｙ Ｓａｖｉｎｇ Ｓｃｈｅｍｅ ｗｉｔｈ Ｐｒｅｄｉｃｔｅｄ Ｔｒａｆｆｉｃ Ｌｏａｄ Ｇｕｉｄａｎｃｅ ｆｏｒ Ｃｅｌｌｕｌａｒ Ｎｅｔｗｏｒｋｓ［Ｃ］∥２０１２ ＩＥＥＥ ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ （ＩＣＣ）． Ｏｔｔａｗａ：ＩＥＥＥ，２０１２：１１６０－１１６４．

［１７］ＷＵ Ｑ，ＣＨＥＮ Ｘ，ＺＨＯＵ Ｚ，ｅｔ ａｌ． Ｄｅｅｐ ＲｅｉｎｆｏｒｃｅｍｅｎｔＬｅａｒｎｉｎｇ ｗｉｔｈ Ｓｐａｔｉｏｔｅｍｐｏｒａｌ Ｔｒａｆｆｉｃ Ｆｏｒｅｃａｓｔｉｎｇ ｆｏｒＤａｔａｄｒｉｖｅｎ Ｂａｓｅ Ｓｔａｔｉｏｎ Ｓｌｅｅｐ Ｃｏｎｔｒｏｌ［Ｊ］． ＩＥＥＥ／ ＡＣＭＴｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｎｅｔｗｏｒｋｉｎｇ，２０２１，２９（２）：９３５－９４８．

［１８］馬冀，林尚靜，李月穎，等． 多源跨域數(shù)據(jù)融合的無線通信網(wǎng)絡(luò)流量預(yù)測［Ｊ］． 計算機(jī)科學(xué)，２０２２，４９（增刊２）：８９３－８９９．

［１９］ＣＨＡＴＦＩＥＬＤ Ｃ． Ｔｈｅ Ｈｏｌｔｗｉｎｔｅｒｓ Ｆｏｒｅｃａｓｔｉｎｇ Ｐｒｏｃｅｄｕｒｅ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ｒｏｙａｌ Ｓｔａｔｉｓｔｉｃａｌ Ｓｏｃｉｅｔｙ Ｓｅｒｉｅｓ Ｃ：Ａｐｐｌｉｅｄ Ｓｔａｔｉｓｔｉｃｓ，１９７８，２７（３）：２６４－２７９．

［２０］ＤＥＮＧ Ｃ，ＺＨＵ Ｃ． Ｓｈｏｒｔｔｅｒｍ Ｔｒａｆｆｉｃ Ｖｅｌｏｃｉｔｙ ＰｒｅｄｉｃｔｉｏｎＢａｓｅｄ ｏｎ ＬＳＴＭ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ［Ｃ］∥２０２３ ＩＥＥＥ ６ｔｈＩｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｋｎｏｗｌｅｄｇｅ Ｉｎｎｏｖａｔｉｏｎ ａｎｄＩｎｖｅｎｔｉｏｎ （ＩＣＫＩＩ）． Ｓａｐｐｏｒｏ：ＩＥＥＥ，２０２３：６３４－６３８．

［２１］ＤＥＮＧ Ｌ Ｊ，ＲＵＡＮ Ｋ，ＣＨＥＮ Ｘ，ｅｔ ａｌ． Ａｎ ＩＰ ＮｅｔｗｏｒｋＴｒａｆｆｉｃ Ｐｒｅｄｉｃｔｉｏｎ Ｍｅｔｈｏｄ Ｂａｓｅｄ ｏｎ ＡＲＩＭＡ ａｎｄＮＢＥＡＴＳ［Ｃ］∥２０２２ ＩＥＥＥ ４ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅｏｎ Ｐｏｗｅｒ，Ｉｎｔｅｌｌｉｇｅｎｔ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｓｙｓｔｅｍｓ （ＩＣＰＩＣＳ）．Ｓｈｅｎｙａｎｇ：ＩＥＥＥ，２０２２：３３６－３４１．

［２２］ＢＯＳＥ Ｓ，ＧＡＹＮＡＲ Ｋ，ＳＩＮＧＨ Ｓ Ｐ． Ｂｒｅａｓｔ ＣａｎｃｅｒＤｅｔｅｃｔｉｏｎ ｂｙ Ｄａｔａ Ｖｉｓｕａｌｉｚａｔｉｏｎ ａｎｄ Ｆｅａｔｕｒｅ ＳｅｌｅｃｔｉｏｎＵｓｉｎｇ ＸＧ Ｂｏｏｓｔ Ａｌｇｏｒｉｔｈｍ［Ｃ］∥２０２２ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｉｇｎａｌ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣｏｎＳＩＰ）．Ｐｕｎｅ：ＩＥＥＥ，２０２２：１－６．

作者簡介：

王 瑜 男，（１９８３—），碩士，高級工程師。主要研究方向：無線移動網(wǎng)、物聯(lián)網(wǎng)、人工智能、網(wǎng)絡(luò)創(chuàng)新支撐等。

范燕琳 女，（１９９１—），博士，工程師。主要研究方向：網(wǎng)絡(luò)智慧運營、網(wǎng)絡(luò)運維數(shù)字化轉(zhuǎn)型。

孫洋洋 男，（１９９０—），碩士，工程師。主要研究方向：網(wǎng)絡(luò)運維數(shù)字化轉(zhuǎn)型。

熊建勝 男，（１９８９—），碩士，工程師。主要研究方向：智能運維人工智能算法。

蔣 濤 男，（１９９３—），工程師。主要研究方向：基站機(jī)房節(jié)能。

周 瑩 女，（１９８８—），碩士，工程師。主要研究方向：網(wǎng)絡(luò)智慧運營、人工智能。

韓志博 女，（２０００—），碩士研究生。主要研究方向：無線通信。

李子怡 女，（２０００—），碩士研究生。主要研究方向：無線通信。

王振乾 男，（１９９９—），博士研究生。主要研究方向：大數(shù)據(jù)、人工智能算法。

基金項目：２０２３ 年中國聯(lián)通智網(wǎng)創(chuàng)新中心基于ＡＩ 的基站與接入機(jī)房節(jié)能算法模型研究及應(yīng)用研發(fā)項目