電力巡檢圖像視頻編碼研究

張 珍

（上海電力大學(xué)電子與信息工程學(xué)院，上海 201306）

我國已經(jīng)建立了南方、西北、華中、華東、華北、東北六大跨省區(qū)的電網(wǎng)。由于各地區(qū)氣候差距以及地形多樣性，人工巡檢和普通的機(jī)器巡檢方式無法滿足不同輸電線路的巡檢工作需求。隨著無人機(jī)（Unmanned Aerial Vehicle，UAV）應(yīng)用的逐漸普及，電力巡線無人機(jī)受到各大電網(wǎng)公司的廣泛關(guān)注，具有廣闊的應(yīng)用前景。無人機(jī)巡檢相比于機(jī)器人巡檢、改造高壓輸電線、人工巡檢等巡檢方式具有不可替代的優(yōu)勢。一方面，無人機(jī)巡檢具有野外作業(yè)風(fēng)險(xiǎn)低、成本低以及作業(yè)靈活的特點(diǎn)；另一方面，產(chǎn)生的海量數(shù)據(jù)需要經(jīng)過人工判讀才能得到最終的巡檢報(bào)告，因此采用圖像識(shí)別的方法對(duì)這些數(shù)據(jù)進(jìn)行部件檢測識(shí)別具有十分重要的意義。無人機(jī)巡檢受到各大電網(wǎng)公司的廣泛關(guān)注，具有廣闊的應(yīng)用前景，其巡檢效率是人工巡檢的8～10 倍。

計(jì)算機(jī)視覺的進(jìn)步大大促進(jìn)了視覺分析的性能，并使其能夠應(yīng)用于實(shí)際的應(yīng)用場景中，如：人臉識(shí)別、交通標(biāo)志識(shí)別等。在這種情況下，非常需要對(duì)大規(guī)模視覺數(shù)據(jù)進(jìn)行有效管理。然而，海量的故障圖片和正常圖片混雜在一起，僅僅依靠人眼實(shí)現(xiàn)不間斷識(shí)別、快速反饋是不現(xiàn)實(shí)的。以前的巡檢工作是由專業(yè)人員肉眼觀察并找出故障，隨著工作時(shí)間的增加不可避免的眼疲勞會(huì)導(dǎo)致故障的錯(cuò)檢和漏檢。所以，國網(wǎng)公司更傾向于用機(jī)器視覺代替人眼實(shí)現(xiàn)故障檢測，這不僅緩解了對(duì)專業(yè)故障檢測員的迫切需求，也大大解放了人力。如今，智能系統(tǒng)和計(jì)算機(jī)視覺已廣泛用于不同情況下的視覺檢查任務(wù)，例如制造過程、醫(yī)療保健系統(tǒng)和農(nóng)業(yè)。絕緣子是電力線的重要組成部分，其可以提高電力系統(tǒng)的整體安全性和穩(wěn)定性。檢測絕緣子上的故障可以減少因此類系統(tǒng)的不穩(wěn)定性導(dǎo)致的停電和經(jīng)濟(jì)損失。在電力巡檢中對(duì)于絕緣子串的故障識(shí)別準(zhǔn)確率已經(jīng)可以達(dá)到90%以上。但是，這些故障檢測都是將高質(zhì)量的原始圖像作為訓(xùn)練集進(jìn)行訓(xùn)練的，測試圖像使用的也是高質(zhì)量巡檢圖像，沒有考慮在實(shí)際電網(wǎng)工作中需要將含有絕緣子等狀態(tài)信息的圖像壓縮后再傳輸給后端解碼并實(shí)現(xiàn)故障識(shí)別，傳輸過程不可避免地會(huì)出現(xiàn)由于圖像壓縮產(chǎn)生細(xì)節(jié)丟失、圖像偽影等現(xiàn)象，在輸入相同故障識(shí)別模型后識(shí)別準(zhǔn)確率會(huì)下降。

一般來說，由于通信帶寬的限制，無人機(jī)巡檢采集的圖像數(shù)據(jù)需要經(jīng)過壓縮傳輸?shù)胶蠖私獯a，再實(shí)現(xiàn)故障檢測。巡檢完后再實(shí)現(xiàn)故障識(shí)別對(duì)于緊急故障檢測不及時(shí)，會(huì)造成極大的損失。傳統(tǒng)的圖像壓縮算法是為了給人眼看，針對(duì)人眼對(duì)于高頻信息的丟失不敏感而對(duì)于低頻信息的丟失敏感等特點(diǎn)實(shí)現(xiàn)了多種面向人眼視覺的圖像壓縮方法。但是，由于人眼識(shí)別出一個(gè)物體所觀察的特征和機(jī)器識(shí)別一個(gè)物體所觀察的特征不一致，這些壓縮方法不適用于如今由機(jī)器視覺代替人眼視覺實(shí)現(xiàn)目標(biāo)識(shí)別故障檢測的需求，所以，研發(fā)一種面向機(jī)器視覺的故障檢測方法是極其必要的。但是，這要求編碼端具有一定的運(yùn)算能力，可以承載小型網(wǎng)絡(luò)實(shí)現(xiàn)特征提取來模擬機(jī)器學(xué)習(xí)實(shí)現(xiàn)故障檢測的特征提取過程。

隨著硬件處理能力的進(jìn)步，前端攝像頭已逐漸啟用了智能功能。智能前端的出現(xiàn)為圖像大數(shù)據(jù)管理和表示帶來了機(jī)會(huì)。不僅可以通過增加的計(jì)算能力來改善圖像壓縮性能，還可以在前端支持視覺分析任務(wù)。在有限帶寬的約束下，圖像數(shù)據(jù)的有損壓縮導(dǎo)致分析性能下降。因此，從原始圖像中探索具有更高級(jí)功能的結(jié)構(gòu)描述進(jìn)而解決這些問題并增強(qiáng)圖像大數(shù)據(jù)的可用性。這激發(fā)了特征壓縮，考慮到特征編碼的重要性，在無人機(jī)電力巡檢工作中，可以在無人機(jī)端實(shí)現(xiàn)圖像的拍攝，并根據(jù)特征提取網(wǎng)絡(luò)提取出低層特征信息用于指導(dǎo)隨后的壓縮編碼，相比原始的圖像編碼方法，在較低碼率下恢復(fù)的圖像送入故障識(shí)別模型中可以獲得更高的缺陷識(shí)別準(zhǔn)確率，這不僅可以提高故障識(shí)別過程中信息傳遞時(shí)的速度，還可以充分利用資源。

絕緣子是高壓輸電線路中用于電氣隔離的基本設(shè)備，若發(fā)生故障則會(huì)對(duì)輸電線路穩(wěn)定性和安全性造成巨大威脅。因此，在輸電線路巡檢工作中，對(duì)絕緣子狀態(tài)的智能檢測并及時(shí)反饋具有重要意義。如今，無人機(jī)巡檢相比于人工巡檢和機(jī)器巡檢具有顯著優(yōu)勢，以其出色的靈活性、低成本、對(duì)于環(huán)境的適應(yīng)度、安全性等優(yōu)點(diǎn)逐漸成為國網(wǎng)的主推方向。

無人機(jī)巡檢實(shí)現(xiàn)輸電線路故障檢測主要有2 種主要方式：（1）在無人機(jī)端運(yùn)行故障檢測模型，根據(jù)攝像頭采集的圖像信息實(shí)時(shí)對(duì)輸電線路各個(gè)部件狀態(tài)進(jìn)行智能識(shí)別，最后將故障結(jié)果及時(shí)返回給運(yùn)維人員進(jìn)行維修。直接在無人機(jī)端進(jìn)行智能識(shí)別，當(dāng)檢測到故障時(shí)可以極快地將信息反饋給維修人員，減輕電力故障造成的經(jīng)濟(jì)損失和安全威脅。但是，無人機(jī)電池容量和續(xù)航時(shí)間直接限制巡檢工作的進(jìn)行，無人機(jī)不間斷運(yùn)算帶來能耗的增多，最終導(dǎo)致無人機(jī)續(xù)航往往不足以支撐完整輸電線路的故障檢測，工作能力受到極大影響。（2）在無人機(jī)端采集圖像，將圖像壓縮并傳輸?shù)皆贫私獯a，對(duì)解碼圖像進(jìn)行智能檢測并返回狀態(tài)信息。故障檢測模型搭載在后端服務(wù)器中，無人機(jī)端對(duì)圖像進(jìn)行壓縮后將碼流傳輸給服務(wù)器，經(jīng)過解碼后再在服務(wù)器中進(jìn)行智能檢測，可以將無人機(jī)中的一部分運(yùn)算工作量分?jǐn)偨o后端服務(wù)器，增加無人機(jī)的工作時(shí)間和工作效率。

傳統(tǒng)的圖像壓縮主要是基于人眼視覺特性對(duì)圖像進(jìn)行編碼，使人眼對(duì)于解碼后的圖像失真不敏感，進(jìn)而實(shí)現(xiàn)更好的壓縮效果。然而，在電力巡檢中，故障檢測不再是以人眼為主，隨著深度學(xué)習(xí)實(shí)現(xiàn)絕緣子故障檢測的識(shí)別準(zhǔn)確率已經(jīng)達(dá)到95%以上，以機(jī)器視覺實(shí)現(xiàn)故障檢測成為可能。此時(shí)圖像壓縮不應(yīng)該只考慮人眼視覺，機(jī)器視覺也成為需要考慮的重要因素。

1 國內(nèi)外現(xiàn)狀

自提出電視信號(hào)數(shù)字化后，人們就開始了對(duì)圖像壓縮編碼的研究工作。之后，圖像編碼技術(shù)得到了迅速的發(fā)展和廣泛的應(yīng)用，并日臻成熟，其標(biāo)志就是幾個(gè)關(guān)于圖像編碼的國際標(biāo)準(zhǔn)的制定，基于離散余弦變換（DCT）的JPEG[1]，基于小波變換的JPEG2000[2]，視頻編碼標(biāo)準(zhǔn)H.26x 和ISO/IEC，關(guān)于運(yùn)動(dòng)圖像的編碼標(biāo)準(zhǔn)MPEG-x。這些標(biāo)準(zhǔn)圖像編碼算法融合了各種性能優(yōu)良的傳統(tǒng)圖像編碼方法，是對(duì)傳統(tǒng)編碼技術(shù)的總結(jié)，代表了當(dāng)時(shí)圖像編碼的發(fā)展水平。

傳統(tǒng)的圖像壓縮是根據(jù)人眼視覺特性，實(shí)現(xiàn)在人眼可接受保真度前提下盡可能減少碼率傳輸[3]，提出了一種基于主成分分析（PCA）的圖像壓縮技術(shù)，使用PCA 對(duì)于不相關(guān)和冗余數(shù)據(jù)的處理得到良好的效果[4]。針對(duì)傳統(tǒng)分形圖像壓縮中存在計(jì)算復(fù)雜度高，編碼時(shí)間較長的問題，提出了一種基于灰度共生矩陣紋理特征的正交化分形編碼算法[5]。率失真優(yōu)化算法被融入到了圖像編碼算法之中，使其具有更快的編碼速度以及較好的壓縮效果[6]。結(jié)合拉格朗日乘數(shù)法實(shí)現(xiàn)了率失真優(yōu)化。

隨著運(yùn)算處理單元的運(yùn)算能力增強(qiáng)，深度學(xué)習(xí)技術(shù)實(shí)現(xiàn)圖像壓縮編碼成為可能。Fu 等[7]結(jié)合了深度學(xué)習(xí)和傳統(tǒng)的圖像編解碼器，提出了一種改進(jìn)的混合分層圖像壓縮框架。Schiopu 等[8]提出的編碼方法采用基于深度學(xué)習(xí)的方法來計(jì)算每個(gè)像素的預(yù)測，并采用基于上下文樹的位平面編解碼器來對(duì)預(yù)測誤差進(jìn)行編碼。Li 等[9-10]將網(wǎng)格編碼量化器（TCQ）合并到基于深度學(xué)習(xí)的圖像壓縮框架中，并以端到端的方式優(yōu)化了所有組件，在低比特率下實(shí)現(xiàn)出色的性能。結(jié)合深度學(xué)習(xí)的圖像壓縮技術(shù)，基于并行卷積的神經(jīng)圖像壓縮網(wǎng)絡(luò)分別處理蒙版的前景對(duì)象和背景場景，在端到端學(xué)習(xí)框架中優(yōu)化了所有組件，以實(shí)現(xiàn)視覺上令人愉快的重建[11]。采用特殊的網(wǎng)絡(luò)結(jié)構(gòu)，增加了卷積層之間的前向與后向連接，與傳統(tǒng)的前向神經(jīng)網(wǎng)絡(luò)相比，信息流的雙向流動(dòng)和視覺特征的循環(huán)反饋可有效實(shí)現(xiàn)信息流的增強(qiáng)，從而提高圖像的壓縮效率[12]?；谧⒁饬C(jī)制和離散高斯混合模型實(shí)現(xiàn)端到端圖像壓縮方法并將全局上下文注意力模塊嵌入到編碼器中[13]。使用殘差密集卷積模塊為基本特征提取模塊，通過設(shè)計(jì)緊湊表示網(wǎng)絡(luò)和多尺度重建網(wǎng)絡(luò)，改進(jìn)網(wǎng)絡(luò)優(yōu)化方法，實(shí)現(xiàn)兼容傳統(tǒng)編碼器且支持端對(duì)端訓(xùn)練的深度學(xué)習(xí)圖像壓縮框架。

計(jì)算機(jī)視覺技術(shù)正在快速發(fā)展中，利用人眼完成故障識(shí)別工作逐漸被機(jī)器視覺所代替，例如在無人駕駛和智慧城市中的應(yīng)用，利用對(duì)攝像頭采集到的圖像數(shù)據(jù)進(jìn)行處理再向上位機(jī)發(fā)送命令調(diào)節(jié)。這給圖像和視頻壓縮在大數(shù)據(jù)時(shí)代的發(fā)展提供了方向：如何實(shí)現(xiàn)一種壓縮方法使解碼圖像或視頻對(duì)于機(jī)器識(shí)別的效果最好。如今的圖像和視頻信息只靠人眼難以實(shí)現(xiàn)充分的利用而且如果不經(jīng)過圖像或視頻壓縮則會(huì)占據(jù)大量的內(nèi)存，這不利于資源的有效利用[14-15]。提出了機(jī)器視頻編碼（VCM），旨在減小視覺功能壓縮和經(jīng)典視頻編碼之間的差距[16]?？紤]到智能移動(dòng)終端運(yùn)算能力的提升，可以在移動(dòng)終端進(jìn)行少量運(yùn)算分析，再利用分析的特征信息和圖像紋理實(shí)現(xiàn)視頻壓縮，在解碼端實(shí)現(xiàn)目標(biāo)檢測，實(shí)驗(yàn)證明經(jīng)過分析后壓縮的方法比未分析直接進(jìn)行壓縮的方法在故障識(shí)別方面效果更好。

電力巡檢中，隨著輸電線路的急速擴(kuò)張，每日巡檢工作采集到的圖片數(shù)量也日益增多，需要將采集的圖像進(jìn)行壓縮編碼以節(jié)省傳輸數(shù)據(jù)的成本[17]，使用2 個(gè)8 位深度編解碼器壓縮16 位深度紅外圖像，結(jié)果表明可以達(dá)到與16 位HEVC 編解碼器相似的結(jié)果。在基于迭代航圖構(gòu)造的無人機(jī)檢查過程中，為了壓縮輸入視頻序列[18]，提出了一種基于迭代航圖構(gòu)建的新型無損視頻壓縮算法，用于在無人機(jī)檢查期間捕獲的紅外視頻序列，利用具有兩個(gè)視圖的多視圖H.265/HEVC 對(duì)于相同軌跡重復(fù)飛行的無人機(jī)最大可能節(jié)省的比特率估計(jì)為15.5%～18.9%。然而，由于電力巡檢環(huán)境一般位于郊區(qū)等通信不佳的位置，受到通信帶寬與通信成本的限制，巡檢采集的圖像只能以低碼率壓縮并傳輸，高壓縮率下還原的圖像產(chǎn)生的塊效應(yīng)、圖像偽影等細(xì)節(jié)丟失等，對(duì)于絕緣子、防震錘等電力小部件的識(shí)別效果會(huì)顯著降低。

2 總結(jié)與展望

隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，圖像與視頻編碼有了更多的可能，機(jī)器視頻編碼的出現(xiàn)也促使人們展開新的思考方向。人眼視覺的保真度不再成為衡量編碼圖像質(zhì)量的唯一標(biāo)準(zhǔn)。電力巡檢的高度智能化將識(shí)別算法內(nèi)嵌到巡檢設(shè)備中，也說明如今的圖像視頻編碼的最終端有可能是識(shí)別算法這個(gè)應(yīng)用場景，此時(shí)需要考慮人眼視覺和機(jī)器視覺之間的差距，才可以進(jìn)一步提高圖像視頻編碼性能。