基于Q-Learning反饋機(jī)制的無線傳感網(wǎng)絡(luò)通信節(jié)點(diǎn)自愈算法*

楊 惠

(蘭州文理學(xué)院傳媒工程學(xué)院，甘肅 蘭州 730000)

隨著無線通信網(wǎng)絡(luò)化的進(jìn)程不斷加深，通信網(wǎng)絡(luò)[1]類型逐漸增多，網(wǎng)絡(luò)生存問題成為人們熱議的重點(diǎn)話題。通信網(wǎng)絡(luò)自愈作為當(dāng)前新興的智能化故障修復(fù)[2]技術(shù)，是組建通信網(wǎng)絡(luò)中重要的一部分。在網(wǎng)絡(luò)發(fā)生故障的情況下，智能化修復(fù)技術(shù)可以在不需要人為干預(yù)的情況下，迅速自發(fā)地完成故障修復(fù)[3]。無線傳感網(wǎng)絡(luò)作為無線通信網(wǎng)絡(luò)的代表，對(duì)其進(jìn)行有效的通信節(jié)點(diǎn)自愈，是網(wǎng)絡(luò)通信領(lǐng)域亟待解決的問題之一[4]。

當(dāng)前針對(duì)相關(guān)問題的研究也很普遍，文獻(xiàn)[5]提出一種基于異構(gòu)兩層Lloyd算法的節(jié)點(diǎn)自愈優(yōu)化部署算法。通過N個(gè)異構(gòu)接入點(diǎn)從密集分布的傳感器收集傳感數(shù)據(jù)，判別故障節(jié)點(diǎn)，然后將數(shù)據(jù)轉(zhuǎn)發(fā)到M個(gè)異構(gòu)融合中心。該算法的節(jié)點(diǎn)部署效率較好，但由于未考慮網(wǎng)絡(luò)流量問題，導(dǎo)致該算法自愈節(jié)點(diǎn)數(shù)量少。文獻(xiàn)[6]提出基于反饋裁決機(jī)制的無線傳感網(wǎng)節(jié)點(diǎn)失效自愈修復(fù)。該方法通過節(jié)點(diǎn)鏈路特性分析節(jié)點(diǎn)流量，建立失效裁決方法；結(jié)合節(jié)點(diǎn)的傳遞特性獲取失效評(píng)估機(jī)制；通過割點(diǎn)裁決和節(jié)點(diǎn)自愈重構(gòu)法改變網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，最后設(shè)定節(jié)點(diǎn)優(yōu)化準(zhǔn)則選取網(wǎng)絡(luò)的最優(yōu)節(jié)點(diǎn)，依據(jù)犯規(guī)機(jī)制實(shí)現(xiàn)節(jié)點(diǎn)自愈。該算法在分析鏈路節(jié)點(diǎn)時(shí)存在節(jié)點(diǎn)計(jì)算不全面的問題，所以采用該算法進(jìn)行節(jié)點(diǎn)自愈時(shí)自愈能力差。文獻(xiàn)[7]提出分布式微電網(wǎng)的自調(diào)節(jié)接地故障自愈算法。該算法首先使用等效驅(qū)動(dòng)方法構(gòu)建數(shù)據(jù)模型，分析電網(wǎng)的各類故障類型；基于網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)提出模型的自愈效果評(píng)價(jià)指標(biāo)；最后使用相關(guān)系統(tǒng)實(shí)現(xiàn)網(wǎng)絡(luò)的故障自愈。該算法在建立評(píng)價(jià)指標(biāo)時(shí)考慮的影響因素不夠全面，所以采用該算法進(jìn)行節(jié)點(diǎn)自愈時(shí)自愈效果較差。

為解決上述無線傳感網(wǎng)絡(luò)通信節(jié)點(diǎn)自愈過程中存在的問題，提出基于Q-learning反饋機(jī)制的無線傳感網(wǎng)絡(luò)通信節(jié)點(diǎn)自愈算法。

1 節(jié)點(diǎn)定位

要實(shí)現(xiàn)無線傳感網(wǎng)絡(luò)通信節(jié)點(diǎn)自愈算法，首先要對(duì)無線傳感網(wǎng)絡(luò)通信節(jié)點(diǎn)進(jìn)行定位。建立路徑損耗模型，將網(wǎng)絡(luò)傳輸時(shí)的路徑損耗轉(zhuǎn)換為RSSI值，得到無線傳感網(wǎng)絡(luò)在通信過程中的信號(hào)強(qiáng)度；通過質(zhì)心算法將接收信號(hào)強(qiáng)度指示(Received Signal Strength Indicator，RSSI)值設(shè)定為質(zhì)心權(quán)值，從而提高定位精度。

1.1 計(jì)算RSSI值

無線傳感網(wǎng)絡(luò)中節(jié)點(diǎn)信號(hào)強(qiáng)度的大小與傳輸距離相關(guān)，當(dāng)節(jié)點(diǎn)距離較小時(shí)RSSI值就會(huì)越大。無線傳感網(wǎng)絡(luò)在通信過程中接收數(shù)據(jù)的同時(shí)就會(huì)獲取反映信號(hào)強(qiáng)度的RSSI值，所以要建立路徑損耗模型將網(wǎng)絡(luò)傳輸時(shí)的路徑損耗轉(zhuǎn)變?yōu)镽SSI值。

設(shè)定網(wǎng)路的節(jié)點(diǎn)距離為d，平均能量為pr(d)，錨節(jié)點(diǎn)A、B之間的距離標(biāo)記為d0，通過衰減模型對(duì)其進(jìn)行計(jì)算，RSSI結(jié)果如下式所示:

式中:無線傳感網(wǎng)絡(luò)中錨節(jié)點(diǎn)A的信號(hào)平均強(qiáng)度標(biāo)記為pr(d0)，待測(cè)節(jié)點(diǎn)接收A時(shí)的信號(hào)強(qiáng)度標(biāo)記pr(di)，節(jié)點(diǎn)A與待測(cè)節(jié)點(diǎn)之間的距離用di表示，路徑損耗指數(shù)用β表示。

當(dāng)節(jié)點(diǎn)之間的距離固定時(shí)，節(jié)點(diǎn)的接收能量會(huì)隨著信號(hào)強(qiáng)度的不同而發(fā)生變化，且該變化會(huì)服從正態(tài)的高斯分布，此時(shí)的RSSI用下式進(jìn)行表示:

式中:隨機(jī)變量標(biāo)記dB形式，激活函數(shù)標(biāo)記log。通過上述公式實(shí)現(xiàn)對(duì)節(jié)點(diǎn)RSSI值的計(jì)算。

1.2 定位的實(shí)現(xiàn)

使用質(zhì)心算法對(duì)無線傳感網(wǎng)絡(luò)進(jìn)行節(jié)點(diǎn)定位。將錨節(jié)點(diǎn)通信射程標(biāo)記為r，待定位節(jié)點(diǎn)的位置需要通過射程范圍內(nèi)的錨節(jié)點(diǎn)進(jìn)行確定。

設(shè)定無線傳感網(wǎng)絡(luò)中有n個(gè)錨節(jié)點(diǎn)，坐標(biāo)用{(x1，yi)，(x2，y2)…(xn，yn)}表示，待定位節(jié)點(diǎn)坐標(biāo)標(biāo)記為n(x，y)，通過計(jì)算獲取傳感器節(jié)點(diǎn)的位置預(yù)估值，過程如下式所示:

式中:待測(cè)節(jié)點(diǎn)為n，常數(shù)為i。通過分析可知，依據(jù)多邊形質(zhì)心對(duì)傳感器網(wǎng)路節(jié)點(diǎn)進(jìn)行定位時(shí)，由于未能考量待測(cè)節(jié)點(diǎn)的距離因素，該方法只能對(duì)網(wǎng)絡(luò)節(jié)點(diǎn)進(jìn)行大致定位，定位誤差大、精度低。所以需要在衰減模型中加入質(zhì)心定位算法，設(shè)定RSSI值為質(zhì)心權(quán)值，從而提高定位精度。

該方法首先收集網(wǎng)絡(luò)節(jié)點(diǎn)中的RSSI數(shù)據(jù)，并對(duì)其進(jìn)行數(shù)據(jù)轉(zhuǎn)換，設(shè)定接收數(shù)據(jù)時(shí)的錨節(jié)點(diǎn)為通信圓心，將轉(zhuǎn)換的數(shù)據(jù)作為半徑畫圓。通過質(zhì)心算法對(duì)圓內(nèi)節(jié)點(diǎn)進(jìn)行賦值處理，定位過程如下式所示:

式中:待定位節(jié)點(diǎn)n的權(quán)重標(biāo)記為wi，待定位節(jié)點(diǎn)的方向分別為x和y。權(quán)重的獲取過程如下式所示。

式中:RSSI值的距離轉(zhuǎn)換形式用di標(biāo)記。

1.3 定位流程

設(shè)定無線傳感網(wǎng)絡(luò)中有n個(gè)錨節(jié)點(diǎn)，待定位傳感器節(jié)點(diǎn)坐標(biāo)用(x，y)表示，無線傳感網(wǎng)絡(luò)的節(jié)點(diǎn)定位流程如下:①通過固定周期向無線傳感網(wǎng)絡(luò)待定位節(jié)點(diǎn)的相鄰節(jié)點(diǎn)傳遞自身的ID、位置信息。②相鄰節(jié)點(diǎn)接收信息后，計(jì)算錨節(jié)點(diǎn)的RSSI均值。③設(shè)置傳感器節(jié)點(diǎn)接收信息的閾值，避免傳感器節(jié)點(diǎn)接收信息過多導(dǎo)致節(jié)點(diǎn)傳輸效率下降。當(dāng)待定位的傳感器節(jié)點(diǎn)[8]接收信息超出固定閾值時(shí)，建立錨節(jié)點(diǎn)集合Beacon＿set＝{a1，a2，…，a2}以及位置集合Position＿set＝((x1，yi)，(x2，y2)…(xn，yn))。④通過式(5)計(jì)算獲取錨節(jié)點(diǎn)權(quán)值wi。⑤通過式(4)獲取無線傳感網(wǎng)絡(luò)的待定位節(jié)點(diǎn)位置(x，y)。

綜上所述得出節(jié)點(diǎn)定位算法流程圖如圖1所示。

圖1 節(jié)點(diǎn)定位算法流程圖

2 通信節(jié)點(diǎn)自愈方法設(shè)計(jì)

節(jié)點(diǎn)實(shí)現(xiàn)定位后，通過Q-learning反饋機(jī)制強(qiáng)化自愈機(jī)制的學(xué)習(xí)能力，從而實(shí)現(xiàn)網(wǎng)絡(luò)故障節(jié)點(diǎn)的自愈。通過Q-learning學(xué)習(xí)算法計(jì)算網(wǎng)絡(luò)通信節(jié)點(diǎn)在下一狀態(tài)的Q值最優(yōu)策略，建立無線傳感網(wǎng)絡(luò)模型，通過通信路徑最優(yōu)策略確定傳輸路徑的傳輸傾向，更新路徑的優(yōu)先級(jí)，對(duì)傳輸路徑進(jìn)行迭代計(jì)算直至節(jié)點(diǎn)完成自愈。

2.1 Q-learning學(xué)習(xí)算法

Q-learning學(xué)習(xí)主旨是在節(jié)點(diǎn)動(dòng)力學(xué)特性不明的情況下對(duì)節(jié)點(diǎn)的最優(yōu)策略值進(jìn)行預(yù)估。網(wǎng)絡(luò)通信節(jié)點(diǎn)的時(shí)間步用t標(biāo)記，當(dāng)前狀態(tài)為St，執(zhí)行動(dòng)作用At表示，下一狀態(tài)標(biāo)記為St＋1，學(xué)習(xí)回報(bào)用Rt表示，網(wǎng)絡(luò)通信節(jié)點(diǎn)在下一狀態(tài)的Q值最優(yōu)策略如下式所示:

網(wǎng)絡(luò)通信節(jié)點(diǎn)在進(jìn)行下一執(zhí)行動(dòng)作選擇時(shí)，不僅需要從無線傳感網(wǎng)絡(luò)的狀態(tài)空間中搜索節(jié)點(diǎn)的最優(yōu)策略，還要通過計(jì)算出的學(xué)習(xí)策略降低學(xué)習(xí)成本，因此選取通信節(jié)點(diǎn)的At＋1時(shí)，要使用近似的貪婪算法[9]對(duì)通信節(jié)點(diǎn)進(jìn)行計(jì)算，獲取Ak的選取策略，過程如下式所示:

式中:Ak的選取策略用prob標(biāo)記，隨機(jī)程度標(biāo)記為Tt形式。為提高學(xué)習(xí)效率，可使用模擬退火算法[10]對(duì)Tt進(jìn)行計(jì)算，過程如下式所示:

式中:節(jié)點(diǎn)的最小隨機(jī)程度標(biāo)記為Tmin，退火因子標(biāo)記為β。

2.2 建立網(wǎng)絡(luò)模型

將無線傳感網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)抽象處理，標(biāo)記成G(V，E)形式，其中網(wǎng)絡(luò)通信節(jié)點(diǎn)用V標(biāo)記，通信鏈路用E標(biāo)記。設(shè)定網(wǎng)絡(luò)得到邊緣節(jié)點(diǎn)集為S，且S＝{S1，S2，…，Sn}，若數(shù)據(jù)的通信源節(jié)點(diǎn)為S1，潛在的目的節(jié)點(diǎn)集合為S′。當(dāng)S′為有限集合時(shí)，二者之間的傳輸路徑集合為A＝{A1，A2，…，Am}，即為無線傳感網(wǎng)絡(luò)的動(dòng)作集合，可直接將其作為網(wǎng)路的交換路徑。選取動(dòng)作的同時(shí)會(huì)產(chǎn)生學(xué)習(xí)的回報(bào)Reward，過程如下式所示:

式中:節(jié)點(diǎn)的權(quán)重系數(shù)分別為ω1、ω2、ω3、ω4，TH、delay、P、U為網(wǎng)絡(luò)節(jié)點(diǎn)參數(shù)。最后依據(jù)式(6)對(duì)數(shù)據(jù)的通信路徑最優(yōu)策略Qt(Si，Aj)進(jìn)行更新，其中數(shù)據(jù)通信的目標(biāo)節(jié)點(diǎn)為Si，數(shù)據(jù)到達(dá)目標(biāo)節(jié)點(diǎn)的通信路徑標(biāo)記為Aj。建立的網(wǎng)絡(luò)模型如圖2所示。

圖2 無線傳感網(wǎng)絡(luò)模型

通信路徑最優(yōu)策略Qt(Si，Aj)值可以決定傳輸路徑的傳輸傾向，通過獲取的Q學(xué)習(xí)值建立無線傳感網(wǎng)絡(luò)的策略矩陣，如下式所示:

式中:目標(biāo)節(jié)點(diǎn)數(shù)量為i，路徑數(shù)量為j，策略矩陣為Qt(Si，Aj)。

數(shù)據(jù)傳輸后，基于反饋機(jī)制[11]獲取反饋值Reward，通過式(7)獲取新的路徑選取策略，完成更新處理。

2.3 自愈算法流程

基于Q-learning反饋機(jī)制的無線傳感網(wǎng)絡(luò)通信節(jié)點(diǎn)自愈算法具體實(shí)現(xiàn)流程如下:①無線傳感網(wǎng)絡(luò)源節(jié)點(diǎn)接收數(shù)據(jù)后，首先辨別數(shù)據(jù)類型。②源節(jié)點(diǎn)依據(jù)數(shù)據(jù)類型確定節(jié)點(diǎn)路徑的優(yōu)先級(jí)。③獲取路徑選取策略，選定傳輸路徑。④數(shù)據(jù)傳輸時(shí)，保存鏈路時(shí)延、吞吐量等有效信息。⑤數(shù)據(jù)信息到達(dá)目標(biāo)節(jié)點(diǎn)后，獲取路徑傳輸信息并對(duì)其進(jìn)行整合，完成路徑時(shí)延、吞吐量以及傳輸過程的丟包率計(jì)算，通過反饋機(jī)制將計(jì)算結(jié)果反饋給源節(jié)點(diǎn)。⑥利用Q-learning學(xué)習(xí)[12]算法獲取網(wǎng)絡(luò)節(jié)點(diǎn)Q值，更新路徑的優(yōu)先級(jí)，并依據(jù)上述流程對(duì)網(wǎng)絡(luò)傳輸路徑進(jìn)行迭代計(jì)算直至節(jié)點(diǎn)完成自愈。

綜上，所設(shè)計(jì)基于Q-learning反饋機(jī)制的無線傳感網(wǎng)絡(luò)通信節(jié)點(diǎn)自愈算法整體流程圖如圖3所示。

圖3 無線傳感網(wǎng)絡(luò)通信節(jié)點(diǎn)自愈算法整體流程圖

3 仿真分析

通過上述對(duì)節(jié)點(diǎn)定位及Q-learning反饋機(jī)制的研究，實(shí)現(xiàn)了無線傳感網(wǎng)絡(luò)通信節(jié)點(diǎn)自愈。為了驗(yàn)證上述通信節(jié)點(diǎn)自愈算法的整體有效性，需要對(duì)此算法進(jìn)行測(cè)試。仿真采用MATLAB軟件，在無線傳感網(wǎng)絡(luò)中選取600個(gè)網(wǎng)絡(luò)通信故障節(jié)點(diǎn)，進(jìn)行無線傳感網(wǎng)絡(luò)通信節(jié)點(diǎn)自愈算法的驗(yàn)證。文獻(xiàn)[5]方法、文獻(xiàn)[6]方法是國(guó)內(nèi)外當(dāng)前較為先進(jìn)的無線傳感網(wǎng)絡(luò)通信節(jié)點(diǎn)自愈算法，具有一定的代表性。分別采用基于Q-learning反饋機(jī)制的無線傳感網(wǎng)絡(luò)通信節(jié)點(diǎn)自愈算法(本文算法)、基于異構(gòu)兩層Lloyd算法的節(jié)點(diǎn)自愈優(yōu)化部署算法(文獻(xiàn)[5]算法)、基于非對(duì)稱往返測(cè)距的海洋無線傳感網(wǎng)絡(luò)節(jié)點(diǎn)定位算法(文獻(xiàn)[6]算法)進(jìn)行測(cè)試。通過自愈性能、節(jié)點(diǎn)移動(dòng)拓?fù)渚嚯x、節(jié)點(diǎn)自愈后的網(wǎng)絡(luò)傳輸性能三方面驗(yàn)證所設(shè)計(jì)基于Q-learning反饋機(jī)制的無線傳感網(wǎng)絡(luò)通信節(jié)點(diǎn)自愈算法的有效性。

3.1 仿真結(jié)果及分析

①自愈性能測(cè)試

網(wǎng)絡(luò)通信節(jié)點(diǎn)自愈數(shù)量的多少，直接影響自愈算法的自愈性能。在無線傳感網(wǎng)絡(luò)中選取600個(gè)網(wǎng)絡(luò)通信故障節(jié)點(diǎn)，平均分成2個(gè)小組。設(shè)定組1為正常通信節(jié)點(diǎn)，組2為拓?fù)浣Y(jié)構(gòu)偏移的通信節(jié)點(diǎn)，采用本文算法、文獻(xiàn)[5]算法以及文獻(xiàn)[6]算法進(jìn)行節(jié)點(diǎn)自愈時(shí)，對(duì)三種算法的自愈數(shù)量進(jìn)行測(cè)試，測(cè)試結(jié)果如圖4所示。

圖4 不同自愈算法的節(jié)點(diǎn)自愈數(shù)量測(cè)試結(jié)果

分析圖4可知，隨著檢測(cè)次數(shù)的增加，三種節(jié)點(diǎn)自愈算法的節(jié)點(diǎn)自愈數(shù)量出現(xiàn)不同程度的下降趨勢(shì)。在圖3(a)中，當(dāng)檢測(cè)次數(shù)為20時(shí)，本文所提算法檢測(cè)出的節(jié)點(diǎn)自愈數(shù)量為300個(gè)，文獻(xiàn)[5]算法檢測(cè)出的節(jié)點(diǎn)自愈數(shù)量為290個(gè)，文獻(xiàn)[6]算法檢測(cè)出的節(jié)點(diǎn)自愈數(shù)量為265個(gè)，隨著檢測(cè)的進(jìn)行，三種算法檢測(cè)出的自愈節(jié)點(diǎn)數(shù)量被逐漸拉開，本文所提算法的檢測(cè)結(jié)果逐漸高于其他兩種算法，當(dāng)檢測(cè)次數(shù)為100時(shí)，本文所提算法檢測(cè)出的節(jié)點(diǎn)自愈數(shù)量為280個(gè)，文獻(xiàn)[5]算法檢測(cè)出的節(jié)點(diǎn)自愈數(shù)量為230個(gè)，文獻(xiàn)[6]算法檢測(cè)出的節(jié)點(diǎn)自愈數(shù)量為175個(gè)。而在圖3(b)中，受網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)偏移的影響，三種算法的自愈節(jié)點(diǎn)效果均低于圖3(a)的檢測(cè)效果。由此來看，本文所提方法在進(jìn)行網(wǎng)絡(luò)通信故障節(jié)點(diǎn)自愈時(shí)的自愈性能較為理想，文獻(xiàn)[5]算法略低于本文所提算法，文獻(xiàn)[6]算法的自愈性能最差。

②自愈能力測(cè)試

算法自愈能力的優(yōu)劣，會(huì)影響節(jié)點(diǎn)的拓?fù)湟苿?dòng)距離。采用本文算法、文獻(xiàn)[5]算法以及文獻(xiàn)[6]算法進(jìn)行節(jié)點(diǎn)自愈時(shí)，對(duì)自愈后的網(wǎng)絡(luò)節(jié)點(diǎn)拓?fù)湟苿?dòng)距離進(jìn)行測(cè)試，在節(jié)點(diǎn)覆蓋密度為200個(gè)/m2時(shí)，測(cè)試結(jié)果如圖5所示。

圖5 不同自愈算法的自愈能力測(cè)試結(jié)果

分析圖5可知，節(jié)點(diǎn)自愈后的拓?fù)湟苿?dòng)距離會(huì)隨著節(jié)點(diǎn)覆蓋密度的增加而出現(xiàn)上升趨勢(shì)。本文所提方法在通信節(jié)點(diǎn)自愈后檢測(cè)出的節(jié)點(diǎn)拓?fù)湟苿?dòng)距離要遠(yuǎn)低于其他兩種算法，平均值為175 m，文獻(xiàn)[5]算法和文獻(xiàn)[6]算法自測(cè)試初期檢測(cè)出的節(jié)點(diǎn)拓?fù)湟苿?dòng)距離就高于本文所提方法，證明了本文算法的節(jié)點(diǎn)自愈能耗較小，自愈能力較強(qiáng)。這主要是因?yàn)楸疚乃崴惴ㄔ谕ㄐ殴?jié)點(diǎn)自愈前，使用了質(zhì)心算法對(duì)無線傳感網(wǎng)絡(luò)中的節(jié)點(diǎn)進(jìn)行了定位，所以本文所提算法進(jìn)行節(jié)點(diǎn)自愈時(shí)的自愈能力要優(yōu)于其他兩種算法。

③網(wǎng)絡(luò)傳輸性能測(cè)試

通信節(jié)點(diǎn)自愈后，網(wǎng)絡(luò)傳輸性能的好壞會(huì)側(cè)面表明自愈算法的自愈效果。采用本文算法、文獻(xiàn)[5]算法以及文獻(xiàn)[6]算法對(duì)節(jié)點(diǎn)進(jìn)行自愈，對(duì)三種算法自愈后的網(wǎng)絡(luò)流量出口帶寬進(jìn)行測(cè)試，測(cè)試結(jié)果如圖6所示。

網(wǎng)絡(luò)通信節(jié)點(diǎn)密度越大，節(jié)點(diǎn)自愈后檢測(cè)出的網(wǎng)絡(luò)流量出口帶寬就會(huì)越高。分析圖6可知，本文所提算法在節(jié)點(diǎn)自愈后檢測(cè)出的網(wǎng)絡(luò)流量出口帶寬要高于其他兩種算法，平均值為550 Mbyte/s，因此本文所提算法的自愈效果好。

圖6 不同算法的網(wǎng)絡(luò)流量出口帶寬測(cè)試結(jié)果

綜上所述，本文所提算法進(jìn)行網(wǎng)絡(luò)通信節(jié)點(diǎn)自愈時(shí)，自愈節(jié)點(diǎn)數(shù)量多、自愈能力強(qiáng)、網(wǎng)絡(luò)流量出口帶寬高。

5 結(jié)束語

當(dāng)無線傳感網(wǎng)絡(luò)結(jié)構(gòu)越來越復(fù)雜時(shí)，傳統(tǒng)的節(jié)點(diǎn)自愈算法無法高效完成通信節(jié)點(diǎn)的自愈，針對(duì)傳統(tǒng)算法中出現(xiàn)的各類問題，提出基于Q-learning反饋機(jī)制的無線傳感網(wǎng)絡(luò)通信節(jié)點(diǎn)自愈算法。該算法首先通過質(zhì)心算法完成節(jié)點(diǎn)的定位計(jì)算，通過提出的通信反饋機(jī)制建立網(wǎng)絡(luò)模型，最后使用Q-learning反饋機(jī)制的無線傳感網(wǎng)絡(luò)通信節(jié)點(diǎn)自愈算法完成無線傳感網(wǎng)絡(luò)的節(jié)點(diǎn)自愈。該算法在建立網(wǎng)路模型時(shí)，還可進(jìn)一步對(duì)模型參數(shù)進(jìn)行優(yōu)化，今后會(huì)針對(duì)這一問題繼續(xù)優(yōu)化該節(jié)點(diǎn)自愈算法。