基于CNNs 和紅外熱成像的電氣檢修智能保護(hù)頭盔

劉 佳，王興媛，王 帆，趙進(jìn)全

（1.中國電力科學(xué)研究院，北京 100192；2.西安交通大學(xué)電氣工程學(xué)院，陜西 西安 710049）

在電氣設(shè)備的日常維護(hù)檢修過程中，常常由于故障特征不明顯、檢修人員經(jīng)驗(yàn)不足、疏忽大意等原因忽視某些電氣故障[1-2]，如超負(fù)荷運(yùn)行引起的設(shè)備異常、線路長時(shí)間暴露在外和接觸不良、安裝不到位等[3-4]。此外，戶外現(xiàn)場(chǎng)作業(yè)人員工作地點(diǎn)范圍大，位置隨機(jī)，存在作業(yè)過程安全監(jiān)控不到位的問題。因此，提高電氣設(shè)備的日常維護(hù)檢修效率，增強(qiáng)現(xiàn)場(chǎng)作業(yè)過程中的人員監(jiān)控，具有重要的意義。

電氣系統(tǒng)的故障通常會(huì)有一定的外部表現(xiàn)[5-6]，如局部異常發(fā)熱，異常放電等。如果能有效地利用這些現(xiàn)象，將會(huì)極大地提高設(shè)備的日常維護(hù)效率，提早預(yù)判故障，避免設(shè)備突然停運(yùn)，并對(duì)故障的嚴(yán)重程度做出定量的判斷[7-8]。鑒于紅外熱成像故障檢測(cè)具有靈敏度高、檢測(cè)效率高等特點(diǎn)[9-10]，該文提出了一種利用紅外熱成像技術(shù)，通過掃描設(shè)備的熱分布圖像，快速檢測(cè)設(shè)備異常故障的方法?，F(xiàn)有作業(yè)監(jiān)控手段主要采用視頻監(jiān)控的方式，其具有成本高、性能需求高、對(duì)風(fēng)險(xiǎn)難以及時(shí)預(yù)警等問題[11]。該文通過在頭盔內(nèi)集成慣性傳感器，并部署CNNs 神經(jīng)網(wǎng)絡(luò)算法，以識(shí)別作業(yè)人員的運(yùn)動(dòng)狀態(tài)。綜上，該文開發(fā)了一種電氣檢修智能保護(hù)頭盔。該頭盔能夠?qū)崿F(xiàn)對(duì)人員作業(yè)狀態(tài)的連續(xù)監(jiān)測(cè)和設(shè)備發(fā)熱故障的檢測(cè)與預(yù)警，極大地提高了現(xiàn)場(chǎng)檢測(cè)人員的安全性。

1 系統(tǒng)硬件設(shè)計(jì)

智能安全保護(hù)頭盔采用模塊化設(shè)計(jì)，系統(tǒng)由紅外熱成像模塊、LCD 顯示模塊、無線數(shù)據(jù)傳輸模塊、AD 按鍵模塊、運(yùn)動(dòng)檢測(cè)模塊、主控和頭盔主體構(gòu)成，硬件系統(tǒng)框架如圖1 所示。

1.1 主控模塊

主控模塊主要收集和存儲(chǔ)各個(gè)傳感器的數(shù)據(jù)，控制和協(xié)調(diào)各個(gè)模塊完成預(yù)期功能。

硬件系統(tǒng)的主控模塊核心為STM32H743II ARM Cortex M7 處理器，其主頻高達(dá)480 MHz，具有高速SPI 總線、IIC 總線和異步串口總線，具備一定的擴(kuò)展性，可鏈接多種傳感器和其他功能模塊。

1.2 紅外熱成像模塊

紅外熱成像模塊的主要作用是完成區(qū)域熱感數(shù)據(jù)采集。該系統(tǒng)采用的紅外熱成模組為FLIR Lepton 3.5，分辨率為160×120像素，前視水平視場(chǎng)角為56°。其空間分辨率的計(jì)算如下：

式中，IFOV 為瞬時(shí)視場(chǎng)角，F(xiàn)OV 為視場(chǎng)角，P為紅外熱成像模組的像元數(shù)，S為探測(cè)物體與熱成像模塊的距離，D為被測(cè)物體的尺寸。

由式（1）-（2）可知，Lepton 3.5 可在1 m 距離上識(shí)別0.6 cm×0.6 cm 的異常發(fā)熱點(diǎn)，滿足對(duì)異常發(fā)熱端子和線路的檢測(cè)需求。

紅外熱成像模塊基于普朗克黑體定律，可通過紅外線對(duì)電氣設(shè)備的實(shí)時(shí)溫度進(jìn)行檢測(cè)。普朗克黑體定律如下：

式中，T為標(biāo)識(shí)黑體的絕對(duì)溫度，c1和c2為輻射常量，λ為光譜的輻射波長，Mλ為輻射通量密度。由于物體溫度正比于紅外線的輻射強(qiáng)度，因此，可過模塊捕獲的灰度值判斷設(shè)備的發(fā)熱情況[12]。

1.3 運(yùn)動(dòng)檢測(cè)模塊

檢測(cè)和記錄人員的運(yùn)動(dòng)狀態(tài)信息，可在人員出現(xiàn)異常運(yùn)動(dòng)時(shí)及時(shí)報(bào)警，提高現(xiàn)場(chǎng)作業(yè)的安全性，并將運(yùn)動(dòng)檢測(cè)信息作為績效考核的有效依據(jù)，具有重要的現(xiàn)實(shí)意義。

運(yùn)動(dòng)檢測(cè)模塊內(nèi)置Nordic nRF52840 處理芯片，圍繞ARM Cortex-M4 CPU 和浮點(diǎn)計(jì)算單元(FPU)，具有1 MB 閃存和256 kB RAM，主頻可達(dá)64 MHz，其性能可支持CNNs 神經(jīng)網(wǎng)絡(luò)的運(yùn)行。模塊內(nèi)置LSM9DSI-ST 加速度計(jì)，可采集三軸加速度數(shù)據(jù)并提取特征值，以表征人員不同的運(yùn)動(dòng)狀態(tài)。

1.4 無線數(shù)據(jù)傳輸模塊

無線數(shù)據(jù)傳輸模塊主要將溫度、運(yùn)動(dòng)和預(yù)警信息上傳，實(shí)現(xiàn)遠(yuǎn)端監(jiān)控現(xiàn)場(chǎng)操作情況。

無線數(shù)據(jù)傳輸模塊采用HC08 藍(lán)牙模組，BLE協(xié)議與現(xiàn)場(chǎng)校驗(yàn)儀實(shí)現(xiàn)數(shù)據(jù)交互。該頭盔以藍(lán)牙連接的方式掛載于現(xiàn)場(chǎng)校驗(yàn)儀上，實(shí)現(xiàn)與后臺(tái)的數(shù)據(jù)交互。

1.5 LCD顯示模塊

LCD 顯示模塊可進(jìn)行功能選擇、系統(tǒng)操作、查看熱成像圖像和預(yù)警信息等。

為保證顯示精度和屏幕觀感，設(shè)計(jì)采用SPI 接口的2.4 英寸ILI9341 串口屏幕，屏幕分辨率為320×240像素，顯示效果好。

1.6 AD按鍵模塊

AD 按鍵節(jié)約大量了I/O 口，其利用分壓電路和ADC 模塊實(shí)現(xiàn)控制，通過將不同阻值的電阻接入分壓電路中，利用單片機(jī)的ADC 模塊讀取不同電壓值，確定不同的按鍵。為了提高按鍵的抗干擾性，該文采用電阻串聯(lián)型AD 按鍵。

2 軟件設(shè)計(jì)

2.1 軟件系統(tǒng)設(shè)計(jì)

系統(tǒng)采用Python 和C++兩種編程語言完成開發(fā)，其中，利用Python 完成主系統(tǒng)構(gòu)架、功能選擇和具體功能實(shí)現(xiàn)部分的代碼開發(fā)，利用C++完成運(yùn)動(dòng)識(shí)別部分的代碼開發(fā)和部署。智能安全頭盔軟件系統(tǒng)流程如圖2 所示。

2.2 異常溫度檢測(cè)

異常溫度檢測(cè)功能可實(shí)現(xiàn)對(duì)異常發(fā)熱點(diǎn)的檢測(cè)和鎖定。為提高溫度的測(cè)量精度，引入預(yù)警閾值自適應(yīng)調(diào)節(jié)、發(fā)射率修正等優(yōu)化算法。

預(yù)警閾值自適應(yīng)調(diào)節(jié)功能可以自動(dòng)根據(jù)發(fā)熱點(diǎn)的發(fā)熱溫度調(diào)節(jié)預(yù)警溫度閾值，并自動(dòng)調(diào)節(jié)熱成像模塊的測(cè)溫范圍；針對(duì)不同的現(xiàn)場(chǎng)環(huán)境，實(shí)現(xiàn)不同發(fā)射率的高精度測(cè)溫，引入發(fā)射率修正算法。

非接觸式紅外傳感器發(fā)射率補(bǔ)償公式如下：

式中，E為目標(biāo)物體表面發(fā)射率，TO_NEW為測(cè)得物體溫度，TA_NEW為測(cè)量時(shí)的環(huán)境溫度，TO_REAL為目標(biāo)物體實(shí)際溫度，TA_REAL為實(shí)際環(huán)境溫度，溫度單位為開爾文?？勺冮撝档漠惓囟葯z測(cè)流程如圖3所示。

溫度閾值可通過按鍵在30～100 ℃之間自由選擇，當(dāng)溫度高于預(yù)先設(shè)定的溫度閾值時(shí)，系統(tǒng)將自動(dòng)報(bào)警并在屏幕上標(biāo)定發(fā)熱位置，同時(shí)產(chǎn)生預(yù)警信息編碼，通過藍(lán)牙模塊發(fā)送。

2.3 人體運(yùn)動(dòng)檢測(cè)

為解決現(xiàn)場(chǎng)作業(yè)監(jiān)控不到位的問題，該文開發(fā)了基于CNNs 神經(jīng)網(wǎng)絡(luò)模型的人體連續(xù)運(yùn)動(dòng)狀態(tài)檢測(cè)算法。可識(shí)別的運(yùn)動(dòng)狀態(tài)包括靜止、走、跑、上樓、下樓五種。

該模塊通過三軸加速度傳感器采集加速度數(shù)據(jù)，通過對(duì)加速度數(shù)據(jù)進(jìn)行濾波、快速傅里葉變換和特征提取，并將特征量導(dǎo)入CNNs 神經(jīng)網(wǎng)絡(luò)，以實(shí)現(xiàn)對(duì)運(yùn)動(dòng)狀態(tài)的檢測(cè)。人體運(yùn)動(dòng)檢測(cè)軟件流程如圖4所示。

數(shù)據(jù)集的質(zhì)量直接決定著神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用效果，該文將三軸慣性傳感器與安全保護(hù)頭盔融合，采集人員運(yùn)動(dòng)過程中的加速度數(shù)據(jù)。針對(duì)五類典型運(yùn)動(dòng)：步行、跑步、上樓、下樓、靜止，采集四個(gè)人（兩男兩女）的數(shù)據(jù)。每人每類運(yùn)動(dòng)分別采集30 min 以上的樣本，構(gòu)成原始數(shù)據(jù)集。由于受自身及環(huán)境等多種因素的影響，可能會(huì)采集到非相關(guān)數(shù)據(jù)，這就需要人工篩查錯(cuò)誤數(shù)據(jù)，對(duì)各類運(yùn)動(dòng)數(shù)據(jù)進(jìn)行檢查、分組與標(biāo)注。

選取相關(guān)度高、分離效果較好的特征值來表征多種運(yùn)動(dòng)。分析頻譜和功率譜特征可知，根據(jù)均方根和第1-3 個(gè)峰值，可以識(shí)別5 種運(yùn)動(dòng)。但若引入峰值頻率和功率譜作為特征對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，識(shí)別準(zhǔn)確率可繼續(xù)提高2%～4%。因此，該文以均方根、第1-3 個(gè)峰值頻率和峰值、頻譜功率分布作為特征，三軸共選擇36項(xiàng)特征值，構(gòu)成表征運(yùn)動(dòng)狀態(tài)的特征矩陣。

基于Tensorflow 框架，采用二維雙層卷積層結(jié)構(gòu)，鏈接多層全連接層，構(gòu)成CNNs 神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)，并在層間引入10%概率的Dropout 層，減少過擬合。經(jīng)多次優(yōu)化與調(diào)參，神經(jīng)網(wǎng)絡(luò)最終結(jié)構(gòu)如圖5所示。

2.4 視頻錄制與文件管理

視頻錄制熱成像的視頻，并將圖像信息保存在本地，方便后續(xù)根據(jù)工作需求調(diào)取。

通過按鍵控制，可錄制任意長度的工作視頻。軟件工作流程如圖6 所示。

文件管理系統(tǒng)通過按鍵控制，可自動(dòng)掃描錄制的視頻文件，并對(duì)視頻文件進(jìn)行播放或刪除。文件管理系統(tǒng)工作流程如圖7 所示。

3 系統(tǒng)測(cè)試

3.1 頭盔樣機(jī)與主界面演示

通過轉(zhuǎn)接板與主控模塊連接，智能保護(hù)頭盔樣機(jī)如圖8 所示。

頭盔操作系統(tǒng)采用圖形化的操作界面，可以方便地進(jìn)行功能選擇和操作，設(shè)備通電開機(jī)后進(jìn)入菜單主界面，通過按鍵K3/K4 選擇上一項(xiàng)或下一項(xiàng)功能，通過K5/K6 進(jìn)入和退出相應(yīng)功能，長按K6 關(guān)機(jī)。

3.2 連續(xù)運(yùn)動(dòng)檢測(cè)

運(yùn)動(dòng)檢測(cè)有基于視覺和基于傳感器信號(hào)，并結(jié)合分類算法進(jìn)行運(yùn)動(dòng)模式識(shí)別的兩種技術(shù)路徑。利用傳感器進(jìn)行運(yùn)動(dòng)識(shí)別具有成本低、可移植性好、靈活的特點(diǎn)，應(yīng)用場(chǎng)景廣闊[13-15]。該文依托三軸加速度傳感對(duì)人體運(yùn)動(dòng)狀態(tài)進(jìn)行識(shí)別。

該文針對(duì)五種典型運(yùn)動(dòng)共采集了約3 000 份數(shù)據(jù)，有效數(shù)據(jù)總時(shí)長超過4 h，通過上百次優(yōu)化與訓(xùn)練可知，多運(yùn)動(dòng)識(shí)別準(zhǔn)確率大于95%。神經(jīng)網(wǎng)絡(luò)性能如表1-2 所示。

表1 五種運(yùn)動(dòng)模式的識(shí)別結(jié)果

表1 為五種運(yùn)動(dòng)模式的識(shí)別結(jié)果（混淆矩陣），表中數(shù)值代表了數(shù)據(jù)樣本的識(shí)別份數(shù)，如下樓運(yùn)動(dòng)下的第一個(gè)數(shù)據(jù)代表了有375 份被標(biāo)定為下樓的數(shù)據(jù)樣本被正確識(shí)別為下樓。

表2 為計(jì)算所得的神經(jīng)網(wǎng)絡(luò)的各項(xiàng)性能指標(biāo)。準(zhǔn)確率為分類器正確分類的樣本數(shù)與總樣本數(shù)之比，召回率為分類器正確分類的樣本數(shù)與樣本中的正例樣本數(shù)之比。F1 值(H-mean 值)代表了網(wǎng)絡(luò)的綜合性能，數(shù)值越接近1則性能越優(yōu)，其計(jì)算公式為：

表2 網(wǎng)絡(luò)模型的識(shí)別性能

變換后為：

式中，F(xiàn)1 為所求的H-mean 值，Precision 為準(zhǔn)確率，Recall 為召回率，TP 實(shí)際為正例，預(yù)測(cè)也為正例的樣本數(shù)，F(xiàn)P 為實(shí)際為負(fù)例，預(yù)測(cè)為正例的樣本數(shù)，F(xiàn)N 為實(shí)際為正例，預(yù)測(cè)為負(fù)例的樣本數(shù)。

Macro F1 主要針對(duì)多分類問題，其數(shù)值等于各分類的F1 值的平均值，為0.983。

3.3 異常溫度預(yù)警功能

異常溫度預(yù)警功能可自動(dòng)檢測(cè)前方區(qū)域的異常發(fā)熱點(diǎn)，異常溫度預(yù)警效果如圖9 所示。底部由左至右分別代表當(dāng)前發(fā)射率、當(dāng)前預(yù)警溫度閾值、當(dāng)前自適應(yīng)預(yù)警閾值調(diào)節(jié)功能狀態(tài)、錄制功能狀態(tài)和運(yùn)動(dòng)識(shí)別結(jié)果。

為測(cè)試異常溫度的檢測(cè)距離，該文采用了1.0 cm×1.0 cm 的點(diǎn)狀發(fā)熱源對(duì)該功能進(jìn)行測(cè)試。預(yù)警溫度閾值分別設(shè)置為40 ℃、50 ℃、60 ℃、70 ℃，并控制發(fā)熱源溫度分別為50 ℃、60 ℃、70 ℃、80 ℃、90 ℃、100 ℃、110 ℃、120 ℃。對(duì)多種工況下的異常溫度檢測(cè)距離進(jìn)行測(cè)試，結(jié)果如表3 所示。

表3 異常溫度檢測(cè)距離(單位cm)

測(cè)試結(jié)果表明，當(dāng)發(fā)熱源溫度高于預(yù)警閾值溫度10 ℃時(shí)，智能保護(hù)頭盔可在50 cm 距離上有效檢測(cè)到發(fā)熱點(diǎn)；當(dāng)發(fā)熱源溫度高于預(yù)警閾值溫度30 ℃時(shí)，智能保護(hù)頭盔可在1 m 距離上有效檢測(cè)到發(fā)熱點(diǎn)，紅外光學(xué)分辨率達(dá)100∶1。針對(duì)固定溫度的異常發(fā)熱點(diǎn)，適當(dāng)降低預(yù)警溫度閾值，可大大提高頭盔對(duì)發(fā)熱點(diǎn)的檢測(cè)距離。文獻(xiàn)[16]中的紅外光學(xué)分辨率為12∶1，紅外熱成像模塊光學(xué)分辨率普遍低于20∶1?？梢?，該設(shè)計(jì)的熱成像模塊檢測(cè)距離遠(yuǎn)、性能好。

3.4 溫度測(cè)量功能

當(dāng)異常發(fā)熱點(diǎn)溫度較高，遠(yuǎn)高于預(yù)警溫度閾值時(shí)，溫度測(cè)量誤差較大，該文開發(fā)了預(yù)警閾值自適應(yīng)調(diào)節(jié)功能，提高溫度測(cè)量精度。采用HT-9815 型工業(yè)測(cè)溫儀，利用四路高精度熱電偶同時(shí)測(cè)量不同位置的水溫，取其平均值作為標(biāo)準(zhǔn)溫度。智能頭盔水溫測(cè)量結(jié)果如表4 所示。

表4 溫度測(cè)量精度測(cè)試

由表4 可見，智能頭盔的測(cè)量誤差小于±1 ℃（±1.5%），作為對(duì)比，文獻(xiàn)[17]中采用類似方案的測(cè)溫系統(tǒng)，其測(cè)溫最大誤差達(dá)到±2.2%，該文方案測(cè)溫精度遠(yuǎn)高于目前主流非接觸式紅外測(cè)溫儀的測(cè)量精度（誤差±2%）。

3.5 視頻錄制與文件管理

通過視頻錄制功能可將視頻錄制后保存到本地，方便后期查看。錄制前系統(tǒng)會(huì)自動(dòng)掃描文件系統(tǒng)，讀取最新的視頻序列號(hào)，并為新視頻命名，防止視頻數(shù)據(jù)被覆蓋。

增加文件管理系統(tǒng)[18]，方便現(xiàn)場(chǎng)工作人員回放或刪除本地視頻文件?，F(xiàn)場(chǎng)工作人員可通過按鍵選定視頻文件，并可播放或刪除視頻。

4 結(jié)論

該文針對(duì)電氣檢修過程中檢測(cè)效率低下、容易誤判電氣故障、現(xiàn)場(chǎng)作業(yè)監(jiān)控不周全等諸多問題，設(shè)計(jì)了一種基于神經(jīng)網(wǎng)絡(luò)和熱成像的多功能智能保護(hù)頭盔。該文分別從硬件系統(tǒng)、軟件系統(tǒng)和功能測(cè)試三個(gè)方面對(duì)保護(hù)頭盔進(jìn)行介紹。異常溫度檢測(cè)功能可遠(yuǎn)距離檢測(cè)異常發(fā)熱點(diǎn)，當(dāng)發(fā)熱源溫度高于預(yù)警閾值溫度30 ℃時(shí)，智能保護(hù)頭盔可在1 m 距離上有效檢測(cè)到1 cm 直徑的異常發(fā)熱點(diǎn)，溫度測(cè)量誤差小于±1.5%；各運(yùn)動(dòng)識(shí)別準(zhǔn)確率高于95%，其中，步行識(shí)別準(zhǔn)確率達(dá)98.6%，跑步識(shí)別準(zhǔn)確率達(dá)100%，Macro F1 達(dá)0.983，網(wǎng)絡(luò)性能能夠滿足現(xiàn)場(chǎng)檢測(cè)的需要，為提高現(xiàn)場(chǎng)檢修的效率、預(yù)防各類電氣設(shè)備故障提供了一種有效的工具。