基于元強(qiáng)化學(xué)習(xí)的電力巡檢機(jī)器人運(yùn)動控制系統(tǒng)設(shè)計(jì)

黨永南，聶雷剛，王愚

(1.廣西電網(wǎng)有限責(zé)任公司， 廣西， 南寧 530000;2.廣西電網(wǎng)有限責(zé)任公司南寧供電局， 廣西， 南寧 530022)

0 引言

經(jīng)濟(jì)的快速發(fā)展帶動用電量大幅度增加，電力系統(tǒng)成為社會發(fā)展中最為重要的一部分。以往對電力系統(tǒng)巡檢作業(yè)采用的是人工巡檢，工作效率低下，有時(shí)還會出現(xiàn)漏檢的情況，致使電力系統(tǒng)存在安全隱患。因此，電力巡檢機(jī)器人應(yīng)時(shí)而生。通過對巡檢機(jī)器人施加思維感知、行動能力，借助遠(yuǎn)程紅外熱成像技術(shù)和遠(yuǎn)距離傳感器模仿人類活動，實(shí)現(xiàn)了非接觸式巡檢，不限制作業(yè)范圍和天氣環(huán)境，確保電力系統(tǒng)處于安全可靠的運(yùn)行環(huán)境下。巡檢機(jī)器人的運(yùn)動控制屬于一種序列決策問題，機(jī)器人在接收到運(yùn)動命令后，立即作出連貫性的動作反應(yīng)。對于機(jī)器人的運(yùn)動控制，也有相關(guān)學(xué)者對此展開深入研究。

文獻(xiàn)[1]在巡檢機(jī)器人位姿跟蹤誤差的基礎(chǔ)上，采用雙閉環(huán)方法實(shí)現(xiàn)對機(jī)器人的運(yùn)動控制。雙閉環(huán)分為內(nèi)環(huán)和外環(huán)，由外環(huán)為內(nèi)環(huán)控制器提供虛擬參數(shù)，再與機(jī)器人的虛擬參考速度相結(jié)合，完成對機(jī)器人的自適應(yīng)運(yùn)動控制。該方法采用虛擬參數(shù)，避免了由于參數(shù)過于復(fù)雜無法實(shí)現(xiàn)控制的情況，但是對于機(jī)器人啟動和停止時(shí)產(chǎn)生的加速度和減速度沒有進(jìn)行研究，致使控制誤差較大；文獻(xiàn)[2]以CPU架構(gòu)為基礎(chǔ)，提出了六自由度機(jī)器人控制器設(shè)計(jì)方案。控制器由硬件和軟件構(gòu)成：硬件主要對通信連接模塊、網(wǎng)絡(luò)連接模塊和編碼器模塊等進(jìn)行詳述，軟件部分則主要對多種服務(wù)協(xié)議進(jìn)行了具體分析。通過測試，該控制器可以實(shí)現(xiàn)機(jī)器人的平穩(wěn)運(yùn)行，但是同樣沒有考慮到機(jī)器人的突然加速和減速，運(yùn)動控制誤差較大。

基于此，本文在元強(qiáng)化學(xué)習(xí)算法的基礎(chǔ)上，對機(jī)器人運(yùn)動控制系統(tǒng)提出了一種新的設(shè)計(jì)方案，其中元強(qiáng)化學(xué)習(xí)算法隸屬于機(jī)器學(xué)習(xí)的一種，對于序列決策問題有著很好的處理效果，而系統(tǒng)由硬件和軟件兩部分構(gòu)成：硬件部分實(shí)現(xiàn)了系統(tǒng)的通信和供電，本文選擇的是本安電源，在一定程度上提高了系統(tǒng)的安全性；軟件部分主要為系統(tǒng)提供通信功能碼支持和速度分配與控制，由元強(qiáng)化學(xué)習(xí)算法實(shí)現(xiàn)，對于機(jī)器人運(yùn)動過程中的速度變化分別進(jìn)行了計(jì)算，使機(jī)器人處于平穩(wěn)運(yùn)行狀態(tài)下，降低因突然加速和減速造成的誤差。通過對系統(tǒng)進(jìn)行性能測試，結(jié)果表明，本文方法對于電力巡檢機(jī)器人的運(yùn)動路線控制和速度控制都有著顯著效果，為電力系統(tǒng)提供了科學(xué)的參考依據(jù)。

1 元強(qiáng)化學(xué)習(xí)下電力巡檢機(jī)器人運(yùn)動控制系統(tǒng)設(shè)計(jì)方案

1.1 系統(tǒng)硬件設(shè)計(jì)

本文設(shè)計(jì)的運(yùn)動控制系統(tǒng)硬件主要以通信和電路設(shè)計(jì)為主，通信以以太網(wǎng)為主，電路設(shè)計(jì)則包含了本安電源電路以及各類驅(qū)動電路的設(shè)計(jì)，具體內(nèi)容如下所示。

1.1.1 以太網(wǎng)通信模塊

本文在設(shè)計(jì)系統(tǒng)通信模塊時(shí)，利用以太網(wǎng)來實(shí)現(xiàn)，將SPI接口與以太網(wǎng)控制器連接在一起，憑借TCP協(xié)議棧，建立多種協(xié)議之間的連接。在系統(tǒng)設(shè)計(jì)階段，只需要在對應(yīng)模塊內(nèi)進(jìn)行簡單的套接字編程即可，不需其他高難度的開發(fā)。同時(shí)，本文還引入了RJ45接口和隔離變壓器[3]，使以太網(wǎng)與系統(tǒng)之間實(shí)現(xiàn)了物理連接，降低了系統(tǒng)開發(fā)成本。

1.1.2 本安電源電路模塊

電力系統(tǒng)巡檢工作事關(guān)重大，屬于高危行業(yè)，在電源電路的選取上要尤其注意。因此，本文選擇安全性極高的本安電源，芯片選擇專用芯片B35，對系統(tǒng)輸入12 V本安電壓，輸出1.2 A本安電流。以上材料的結(jié)合，實(shí)現(xiàn)了非本安電源無法達(dá)到的隔離效果[4]，并且提供了過流、過壓保護(hù)，避免電池過熱出現(xiàn)爆炸的情況。電源電路模塊設(shè)計(jì)圖如圖1所示。

1.1.3 PWM信號驅(qū)動電路模塊

電力巡檢機(jī)器人的額定電壓為3.3 V，而信號驅(qū)動電路的輸入電壓為12 V，所以，需要進(jìn)行PWM(脈沖寬度調(diào)制)操作，將電信號進(jìn)行放大處理，使得PWM的驅(qū)動性能在一定程度上得以提升。驅(qū)動電路模塊設(shè)計(jì)圖如圖2所示。

圖1 本安電源電路模塊設(shè)計(jì)圖

圖2 運(yùn)動控制系統(tǒng)PWM信號驅(qū)動電路模塊

1.1.4 電源轉(zhuǎn)換電路模塊

由于本安電源供電系統(tǒng)輸出的額定電壓為12 V，而遠(yuǎn)程控制系統(tǒng)所需的額定電壓為3.3 V和5 V，二者之間不兼容。因此，需要對電壓進(jìn)行轉(zhuǎn)換，電源轉(zhuǎn)換電路模塊設(shè)計(jì)如圖3所示。

圖3 電源轉(zhuǎn)換電路模塊設(shè)計(jì)圖

從設(shè)計(jì)圖3中可以看出，5 V電壓轉(zhuǎn)換選擇的LM2596_5.0芯片，具有良好的自我保護(hù)功能，同時(shí)對于線性調(diào)節(jié)和負(fù)載調(diào)節(jié)[5]均具有顯著的優(yōu)勢；3.3 V電壓轉(zhuǎn)換選擇的是AMS117_3.3芯片，可完成轉(zhuǎn)換的電壓平穩(wěn)輸出，不僅如此，它還具有超強(qiáng)的電力限制和熱保護(hù)功能，平均負(fù)載電流高達(dá)800 mA，設(shè)計(jì)簡單、易實(shí)現(xiàn)。

1.2 系統(tǒng)軟件設(shè)計(jì)

系統(tǒng)軟件設(shè)計(jì)是在Keil5開發(fā)平臺上實(shí)現(xiàn)的，電力巡檢機(jī)器人在實(shí)際作業(yè)過程中，主要的運(yùn)動包括啟動、前進(jìn)、后退、轉(zhuǎn)向、停止。為了使機(jī)器人可以根據(jù)命令到達(dá)指定場所進(jìn)行巡檢作業(yè)，在運(yùn)動控制系統(tǒng)軟件部分，本文設(shè)計(jì)了速度分配與控制和通信兩個(gè)模塊。通信模塊的主要作用是接收指令，速度分配[6]與控制模塊的主要作用則是根據(jù)接收到的指令完成相應(yīng)的操作。系統(tǒng)軟件部分設(shè)計(jì)如圖4所示。

圖4 系統(tǒng)軟件部分設(shè)計(jì)圖

由圖4可知，電力巡檢機(jī)器人通過電機(jī)驅(qū)動通信模塊進(jìn)行通信，接收運(yùn)動指令，在接收到指令后，通過速度分配與控制模塊對指令進(jìn)行分析，將驅(qū)動輪的速度提取出來，看是否需要加減速，如果需要加速，則進(jìn)入加速狀態(tài)，如果需要減速，則進(jìn)入減速狀態(tài)，并將速度分配給驅(qū)動輪，令機(jī)器人開始執(zhí)行巡檢作業(yè)。

1.2.1 電機(jī)驅(qū)動通信模塊

遠(yuǎn)程控制系統(tǒng)與巡檢機(jī)器人之間通過以太網(wǎng)進(jìn)行通信，軟件部分采用的是MODBUS協(xié)議，該協(xié)議的優(yōu)點(diǎn)在于通用性強(qiáng)，配有多個(gè)接口，可實(shí)現(xiàn)不同程序之間的通信。因此，本文將MODBUS協(xié)議應(yīng)用到通信模塊軟件部分，為上位機(jī)或者運(yùn)動控制器提供便捷的通信服務(wù)[7]。

本文的電機(jī)驅(qū)動器所適應(yīng)的MODBUS功能碼如表1所示，共包含6種功能碼。

1.2.2 速度分配與控制模塊

在接收到運(yùn)動指令后，速度分配與控制模塊先對指令進(jìn)行分析，將驅(qū)動輪的速度提取出來。這里需要注意的是，通信模塊傳送過來的速度是字符串[8]的形式，而該模塊中的速度是以數(shù)字的形式呈現(xiàn)，所以需要對二者進(jìn)行格式上的轉(zhuǎn)換。將完成轉(zhuǎn)換后的速度分配給驅(qū)動輪，使得巡檢機(jī)器人開始執(zhí)行作業(yè)。字符串與數(shù)字格式之間的速度值轉(zhuǎn)換流程圖如圖5所示。

表1 電機(jī)驅(qū)動器適應(yīng)的MODBUS功能碼

圖5 速度值格式轉(zhuǎn)換流程圖

由字符串與數(shù)字格式之間的速度值轉(zhuǎn)換流程圖可知，在電力巡檢機(jī)器人通過電機(jī)驅(qū)動通信模塊進(jìn)行通信接收運(yùn)動指令后，對運(yùn)動指令進(jìn)行分析，看速度值的首位是否為負(fù)號，如果為負(fù)號，則signal=1；如果不為負(fù)號，則查看其他字符是否在0～9之間，若在，則依次將字符與0相減乘10再相加，存入result中，使result與result*signal相等，若不在0～9之間，則返回指令分析步驟，重新分析，從而完成速度值格式轉(zhuǎn)換。

在速度控制模塊中，本文通過元強(qiáng)化學(xué)習(xí)算法來實(shí)現(xiàn)。元強(qiáng)化學(xué)習(xí)算法與其他算法不同的是，可以實(shí)現(xiàn)與環(huán)境的交互[9]，提取交互過程中的反饋信號。無需提前設(shè)置，隨時(shí)可進(jìn)行信號的輸入，同時(shí)以最大化未來回報(bào)為學(xué)習(xí)目標(biāo)，使得輸出結(jié)果為期望值。所以，元強(qiáng)化學(xué)習(xí)算法具有其他算法所不具備的自學(xué)習(xí)特性和學(xué)習(xí)能力。

元強(qiáng)化學(xué)習(xí)算法通過智能體與環(huán)境的交互，隨著信號的不斷輸入，逐漸進(jìn)入到學(xué)習(xí)環(huán)境中。智能體對環(huán)境進(jìn)行遍歷和感知，將所得結(jié)果反饋給機(jī)器人，制定運(yùn)動路徑規(guī)劃[10]。該算法可有效避免機(jī)器人在行進(jìn)過程中出現(xiàn)較大的噪聲和抖動，降低運(yùn)動控制誤差以及機(jī)器人自身的損耗。不僅如此，元強(qiáng)化學(xué)習(xí)算法還有效避免了因機(jī)器人啟動和停止帶來的突然加速和減速，使機(jī)器人始終保持在平穩(wěn)的運(yùn)動狀態(tài)下[11-13]。

在電力巡檢機(jī)器人的運(yùn)動控制系統(tǒng)中，速度由7個(gè)不同的階段構(gòu)成：突然加速、勻加速、緩慢加速、勻速、突然減速、勻減速和緩慢減速。具體如圖6所示。

圖6 元強(qiáng)化學(xué)習(xí)算法下電力巡檢機(jī)器人運(yùn)動速度

從圖6中可以看出，電力巡檢機(jī)器人的運(yùn)動速度變化曲線為S型，速度曲線和加速度曲線為連貫的，沒有出現(xiàn)突然加速的情況，這就可以實(shí)現(xiàn)機(jī)器人平穩(wěn)的運(yùn)動。

電力巡檢機(jī)器人速度、加速度和突然加速的計(jì)算式為

(1)

(2)

式中，a(t)表示加速度函數(shù)值，a表示加速度，t表示時(shí)間,τ表示一個(gè)時(shí)間常數(shù)，j(t)表示突然加速度函數(shù)值，v(t)表示速度函數(shù)值。對j(t)進(jìn)行積分計(jì)算即可得到a(t)，再對a(t)進(jìn)行積分計(jì)算即可得到v(t)。

各個(gè)函數(shù)值的計(jì)算表達(dá)式如下。其中，J表示突然加速度最大值，-J表示突然加速度最小值，V2表示t2時(shí)刻下機(jī)器人速度，其余同理，t1-t7參數(shù)解釋如圖6所示。

突然加速度函數(shù)表達(dá)式為

(3)

加速度函數(shù)值表達(dá)式為

(4)

速度函數(shù)值表達(dá)式為

(5)

2 系統(tǒng)性能測試

2.1 測試環(huán)境

在光纖通信網(wǎng)絡(luò)設(shè)計(jì)中，為了驗(yàn)證本文設(shè)計(jì)的運(yùn)動控制系統(tǒng)是否可以正確引導(dǎo)機(jī)器人按照指令進(jìn)行電力巡檢作業(yè)，分別對運(yùn)動控制方向和速度控制進(jìn)行了系統(tǒng)性能測試。在實(shí)驗(yàn)室內(nèi)部模擬機(jī)器人作業(yè)環(huán)境，所有數(shù)據(jù)記錄在SQL Server 2015數(shù)據(jù)庫內(nèi)。

2.2 巡檢機(jī)器人運(yùn)動方向控制測試

在模擬的測試環(huán)境，巡檢機(jī)器人預(yù)定運(yùn)動路線如圖7所示。圖中，網(wǎng)格區(qū)域?yàn)檎系K物，控制機(jī)器人從(0，0)出發(fā)，按A-B-C-D方向前行，直至返回(0，0)坐標(biāo)。

圖7 機(jī)器人預(yù)定路線軌跡圖

將機(jī)器人實(shí)際行進(jìn)路線記錄為二維圖像，驗(yàn)證本文方法對機(jī)器人運(yùn)動控制是否合理有效，圖8、圖9分別為運(yùn)動路線軌跡和誤差圖。

圖8 機(jī)器人路線運(yùn)動軌跡圖

(a) Y軸誤差

從圖8中可以看出，本文方法下機(jī)器人運(yùn)動路線與預(yù)定路線基本吻合，沒有出現(xiàn)太大的偏差。但是通過圖9能夠看出，機(jī)器人從一個(gè)地點(diǎn)的作業(yè)轉(zhuǎn)移到下一個(gè)地點(diǎn)時(shí)，都會產(chǎn)生些許誤差，角度也會偏差。這是由于機(jī)器人在啟動加速階段和減速停止時(shí)，其自身重量導(dǎo)致的慣性引起的?？偟膩碚f，在測試過程中，巡檢機(jī)器人沒有碰撞到任何障礙物，由此可以證明，本文設(shè)計(jì)的機(jī)器人運(yùn)動控制系統(tǒng)適用于電力巡檢作業(yè)。

2.3 速度控制測試

為了驗(yàn)證本文方法對電力巡檢機(jī)器人的運(yùn)動速度控制是否同樣有效，通過MATLAB仿真軟件與雙閉環(huán)方法和CPU架構(gòu)2種方法進(jìn)行了對比測試。為了使機(jī)器人的啟動速度測試準(zhǔn)確，在開始測試之前，將3種方法中機(jī)器人的速度進(jìn)行統(tǒng)一設(shè)定，并進(jìn)行多次迭代測試，取速度的平均值：最大速度設(shè)為1 m/s，最大加速度設(shè)置為50 cm/s，最大突然加速度則設(shè)置為20 cm/s，初始速度為0，在3 s內(nèi)加速到1 m/s，保持速度3 s，隨后控制機(jī)器人停止運(yùn)行，速度重新降為0。

測試在MATLAB仿真軟件上實(shí)現(xiàn)，記錄3種方法測試中產(chǎn)生的所有數(shù)據(jù)，3種方法運(yùn)動速度控制結(jié)果如圖10所示。

圖10 3種方法速度控制對比結(jié)果

從圖10中可以看出，3種方法中，不管是在加速階段還是減速階段，本文方法的速度變化曲線最為平緩，雙閉環(huán)方法和CPU架構(gòu)都出現(xiàn)了突變的情況，只有本文方法始終將機(jī)器人的運(yùn)動速度控制在平穩(wěn)狀態(tài)下。這是因?yàn)楸疚姆椒ㄒ肓嗽獜?qiáng)化學(xué)習(xí)算法，針對機(jī)器人運(yùn)動速度的幾個(gè)階段都可實(shí)現(xiàn)平穩(wěn)運(yùn)行，降低因突然加速和減速導(dǎo)致的路線偏差，提高機(jī)器人的巡檢效率和控制精度。

3 總結(jié)

傳統(tǒng)方法在對電力系統(tǒng)進(jìn)行巡檢作業(yè)時(shí)，采用的都是人工巡檢的方式，不僅效率低，對于一些異常情況可能出現(xiàn)漏檢，因此，電力巡檢機(jī)器人應(yīng)時(shí)而生。在研究巡檢機(jī)器人的過程中，運(yùn)動控制系統(tǒng)是最為重要的環(huán)節(jié)之一，直接影響著機(jī)器人能否按照規(guī)定路線行進(jìn)?；诖?，本文在元強(qiáng)化學(xué)習(xí)算法的基礎(chǔ)上，提出了電力巡檢機(jī)器人運(yùn)動控制系統(tǒng)設(shè)計(jì)方案。由元強(qiáng)化學(xué)習(xí)算法對機(jī)器人運(yùn)動速度進(jìn)行控制，使其保持在一個(gè)平穩(wěn)狀態(tài)下，避免因突然加速或減速產(chǎn)生較大的抖動和噪聲，從而有效提高了電力巡檢機(jī)器人的控制精度。