基于無(wú)人機(jī)攝像的接觸網(wǎng)元件狀態(tài)監(jiān)控

1 研究背景

對(duì)于鐵路基礎(chǔ)設(shè)施結(jié)構(gòu)如接觸網(wǎng)，必須定期進(jìn)行目視檢查。在目視檢查時(shí)，通常需要采取線路封鎖的措施，因此，為避免對(duì)列車常規(guī)運(yùn)營(yíng)產(chǎn)生影響，該工作一般在周末或夜晚進(jìn)行，需要耗費(fèi)大量的人力、時(shí)間和財(cái)力。而無(wú)人機(jī)攝像監(jiān)控既可以減少現(xiàn)場(chǎng)人員投入，大大降低成本，也可以提高診斷質(zhì)量，并縮短線路封閉的時(shí)間，因?yàn)闊o(wú)人機(jī)沿線路飛行一次的時(shí)間明顯短于相應(yīng)的人工目視檢查時(shí)間，而且可以從各個(gè)角度拍攝待檢元件的圖像，以便全面地對(duì)該元件的狀態(tài)進(jìn)行診斷和監(jiān)控。

德國(guó)航空航天中心（DLR）、西門子公司（Siemens）和Copting GmbH公司聯(lián)合開展了一個(gè)名為SMARAGD的研究項(xiàng)目，旨在利用無(wú)人機(jī)拍攝的圖像監(jiān)控接觸網(wǎng)元件的狀態(tài)，以實(shí)現(xiàn)其預(yù)測(cè)性維修。德國(guó)聯(lián)邦交通和數(shù)字基礎(chǔ)設(shè)施部（BMVI）為該項(xiàng)目提供資金。為此，項(xiàng)目研究人員在多旋翼無(wú)人機(jī)上安裝了具有高分辨率的攝像機(jī)系統(tǒng)，并在多條線路上進(jìn)行了試驗(yàn)。為對(duì)無(wú)人機(jī)獲取的圖像數(shù)據(jù)進(jìn)行分析處理，研究人員還開發(fā)了檢測(cè)算法，利用人工智能（AI）技術(shù)自動(dòng)識(shí)別、定位和監(jiān)控絕緣子等元件，并研究圖像和視頻數(shù)據(jù)所能達(dá)到的精度。

2 研究目標(biāo)和內(nèi)容

該項(xiàng)目的研究目標(biāo)是實(shí)現(xiàn)無(wú)人機(jī)飛行及數(shù)據(jù)評(píng)估的自動(dòng)化。首先，研究人員將操控裝有傳感器和攝像機(jī)的無(wú)人機(jī)沿著預(yù)定的線路自動(dòng)飛行，并采集接觸網(wǎng)元件的相關(guān)數(shù)據(jù);然后，開發(fā)適用的圖像檢測(cè)系統(tǒng)（即AI系統(tǒng)），自動(dòng)將待檢元件的信息從采集到的原始數(shù)據(jù)中分離出來(lái)，并對(duì)其缺陷和狀態(tài)變化進(jìn)行自動(dòng)識(shí)別、定位和分類（圖1）。為此，需要研究各種圖片和視頻分析方法，將當(dāng)前拍攝的圖像與過(guò)去飛行時(shí)采集的以及來(lái)自參考數(shù)據(jù)庫(kù)的圖像進(jìn)行比較。若元件發(fā)生明顯變化（如開裂、生銹等），則檢測(cè)系統(tǒng)會(huì)自動(dòng)顯示比較結(jié)果，并對(duì)其進(jìn)行存儲(chǔ)。這種自動(dòng)評(píng)估和可視化顯示可以簡(jiǎn)化維修工作，并加速其進(jìn)程。

項(xiàng)目中，研究人員選擇了2種無(wú)人機(jī)進(jìn)行試驗(yàn)。第1種是Copting GmbH公司為此項(xiàng)目專門研制的多旋翼無(wú)人機(jī)（圖2），裝配了具有高分辨率（42M像素）的專業(yè)攝像機(jī)系統(tǒng)，其采集的數(shù)據(jù)用于檢驗(yàn)AI系統(tǒng)在實(shí)際條件下自動(dòng)加工數(shù)據(jù)的質(zhì)量。第2種是帶有內(nèi)置4K高清攝像機(jī)的商用多旋翼無(wú)人機(jī)（DJI Mavic），采用這種無(wú)人機(jī)是為驗(yàn)證未安裝特殊硬件（即專業(yè)高分辨率攝像機(jī)）的商用無(wú)人機(jī)是否適用于此類檢測(cè)。如果試驗(yàn)成功，則在今后的商業(yè)運(yùn)營(yíng)中就可以使用價(jià)格相對(duì)低廉的商用無(wú)人機(jī)。

本文主要涉及的接觸網(wǎng)元件是絕緣子。

3 專業(yè)攝像機(jī)圖像數(shù)據(jù)的自動(dòng)化加工

上述專業(yè)攝像機(jī)系統(tǒng)能夠在距離絕緣子20 m處實(shí)現(xiàn)約1 mm的物體分辨率（圖3）。為在飛行拍攝期間檢測(cè)盡可能多的元件，研究人員棄用了具有更大焦距并因此具有更高物體分辨率的鏡頭，因?yàn)楝F(xiàn)有鏡頭足以識(shí)別出絕緣子的狀況，這是在檢測(cè)對(duì)象分辨率和完整性之間作出的合理折衷。

對(duì)象檢測(cè)通過(guò)現(xiàn)代AI技術(shù)（即神經(jīng)網(wǎng)絡(luò)）實(shí)現(xiàn)。本項(xiàng)目中的AI系統(tǒng)采用單目多目標(biāo)檢測(cè)算法，可以同時(shí)識(shí)別一個(gè)圖像中的多個(gè)對(duì)象，并且在圖像分辨率較高和圖像中對(duì)象較大時(shí)具有良好的檢測(cè)效果。在對(duì)象檢測(cè)過(guò)程中，AI系統(tǒng)可以自動(dòng)識(shí)別絕緣子所在的圖像區(qū)域，因此能夠自動(dòng)剔除不包含絕緣子的圖像，從而減少需進(jìn)一步處理的數(shù)據(jù)量。為此，研究人員首先在給定的圖像數(shù)據(jù)集中手動(dòng)標(biāo)記圖中對(duì)象，生成包含待學(xué)習(xí)標(biāo)記的訓(xùn)練數(shù)據(jù)集。然后，AI系統(tǒng)會(huì)對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行獨(dú)立學(xué)習(xí)，構(gòu)建帶有被標(biāo)記對(duì)象參數(shù)的模型。該模型用于在新圖像中自動(dòng)識(shí)別對(duì)象。該模型中的參數(shù)決定了待檢測(cè)對(duì)象在各種細(xì)節(jié)級(jí)別上的典型視覺屬性，包括其原始屬性（如邊緣、顏色）及更復(fù)雜的形狀和圖案。為了能夠從不同角度識(shí)別對(duì)象，研究人員在AI系統(tǒng)的學(xué)習(xí)階段還讓其學(xué)習(xí)扭曲失真的原始圖片，總共使用了約44 000 張圖片進(jìn)行模型訓(xùn)練。

為檢驗(yàn)所構(gòu)建模型及訓(xùn)練方法的有效性，研究人員使用了1個(gè)包含5 000張低分辨率及243張高分辨率圖片（均為無(wú)人機(jī)飛行拍攝的）的測(cè)試數(shù)據(jù)集對(duì)AI系統(tǒng)進(jìn)行測(cè)試，表1中的數(shù)據(jù)為其測(cè)試結(jié)果。測(cè)試采用統(tǒng)計(jì)學(xué)中常用的分類指標(biāo)——精確率和召回率作為評(píng)價(jià)標(biāo)準(zhǔn)。從測(cè)試結(jié)果可知，所有檢測(cè)出的對(duì)象中只有約2%～3%不是絕緣子，精確率較高;然而，召回率較低，約有30%的絕緣子未被檢出。檢測(cè)中，距離越遠(yuǎn)，對(duì)象的識(shí)別效果越差。此外，圖4還展現(xiàn)了識(shí)別對(duì)象的另一種困難，即拍攝角度的變化。圖 4a中，由于圖片的拍攝角度理想，因此系統(tǒng)能夠準(zhǔn)確檢測(cè)出絕緣子;而圖4b中，雖然系統(tǒng)接受過(guò)不同拍攝角度下的圖片模型訓(xùn)練，而且研究人員也降低了相應(yīng)的分類閾值，但仍未檢測(cè)出該角度下的絕緣子。該測(cè)試結(jié)果對(duì)于之后的無(wú)人機(jī)飛行拍攝控制具有重要意義，由上例可知，無(wú)人機(jī)應(yīng)采取能獲取絕緣子側(cè)面圖像的飛行方式和路線，以提高絕緣子檢測(cè)的精確率和召回率。

4 分辨率較低視頻數(shù)據(jù)的應(yīng)用

在商業(yè)運(yùn)營(yíng)中，使用普通商用無(wú)人機(jī)具有很大的優(yōu)勢(shì)，因?yàn)槠鋬r(jià)格相對(duì)低廉，可大量購(gòu)買和裝配。本項(xiàng)目采用的型號(hào)為DJI Mavic的多旋翼無(wú)人機(jī)就是此類商用無(wú)人機(jī)。該機(jī)裝配了內(nèi)置4K高清攝像機(jī)。由于無(wú)法拍攝具有足夠精度的圖像（與上述第1種專用無(wú)人機(jī)相比），因此研究人員考慮將其拍攝的視頻數(shù)據(jù)用于進(jìn)一步評(píng)估。在理想狀態(tài)下，讓無(wú)人機(jī)沿著線路貼近絕緣子飛行并拍攝視頻，對(duì)于在較長(zhǎng)的線路區(qū)段中檢測(cè)絕緣子是有利的。但視頻數(shù)據(jù)的主要缺點(diǎn)是圖像分辨率較低（相比專業(yè)攝像機(jī)），且采用有損數(shù)據(jù)壓縮。因此，研究人員需要從以下2方面進(jìn)行研究：①視頻中的多張圖像能否組合到一起，形成分辨率更高的整體圖像;②此方式計(jì)算出的圖像能否顯示結(jié)構(gòu)的更多細(xì)節(jié)。為此，研究人員采用了超分辨率圖像重建（Super-Resolution）方法，即從一系列有噪聲、模糊、欠采樣、分辨率低的子像素級(jí)別圖像序列中恢復(fù)出一張高分辨率圖像的方法（圖5）。為此，必須精確確定子像素級(jí)別圖像的重要特征。

為評(píng)估實(shí)際的分辨率增益，研究人員用DJI Mavic無(wú)人機(jī)拍攝了西門子星的視頻，并從該視頻的連續(xù)16 張圖像中計(jì)算出一張4倍分辨率的圖像（圖6）。由圖 可知，采用這種方法能夠提高圖像分辨率，但也會(huì)在圖像中產(chǎn)生偽像（如圖6b底部綠色橢圓框內(nèi)）。產(chǎn)生偽像的原因可能是對(duì)原始圖像數(shù)據(jù)進(jìn)行壓縮時(shí)導(dǎo)致信息的丟失?？傮w而言，這項(xiàng)技術(shù)的優(yōu)點(diǎn)大于缺點(diǎn)。當(dāng)前，研究人員正在研究進(jìn)一步減少偽像并提高最終圖像分辨率的方法。

5 已識(shí)別元件的自動(dòng)地理配準(zhǔn)

為實(shí)現(xiàn)對(duì)接觸網(wǎng)元件的自動(dòng)精確定位，研究人員對(duì)已識(shí)別元件進(jìn)行自動(dòng)地理配準(zhǔn)。為此，他們利用無(wú)人機(jī)從不同角度拍攝元件的圖像和視頻資料，并借助攝影測(cè)量技術(shù)，獲得各拍攝位置的精確相對(duì)定位，實(shí)現(xiàn)對(duì)元件3D位置的三角測(cè)量;利用衛(wèi)星導(dǎo)航系統(tǒng)為各個(gè)圖像自動(dòng)分配高精度的位置數(shù)據(jù)，衛(wèi)星導(dǎo)航系統(tǒng)的絕對(duì)位置誤差約為0.5～1 m;還通過(guò)AI系統(tǒng)自動(dòng)將各個(gè)元件經(jīng)過(guò)地理配準(zhǔn)的圖像數(shù)據(jù)與數(shù)據(jù)庫(kù)中的相應(yīng)數(shù)據(jù)進(jìn)行對(duì)比，從而實(shí)現(xiàn)對(duì)元件的自動(dòng)定位和檢測(cè)。

6 結(jié)語(yǔ)

在SMARAGD項(xiàng)目中，研究人員控制無(wú)人機(jī)沿著許多線路進(jìn)行試驗(yàn)飛行，獲取了大量接觸網(wǎng)元件相關(guān)的圖像和視頻資料，并且采用AI技術(shù)對(duì)這些資料進(jìn)行分析處理，以期實(shí)現(xiàn)對(duì)接觸網(wǎng)元件的自動(dòng)識(shí)別、定位和監(jiān)控。試驗(yàn)結(jié)果證明：①圖像自動(dòng)化處理方法具有可行性，可以從20 m遠(yuǎn)處識(shí)別絕緣子，并檢測(cè)其狀態(tài);②在良好條件下，還可以使用來(lái)自商用多旋翼無(wú)人機(jī)的視頻數(shù)據(jù)代替專業(yè)攝像機(jī)拍攝的高分辨率圖像數(shù)據(jù)，這證明了價(jià)格相對(duì)低廉的商用無(wú)人機(jī)在實(shí)際運(yùn)營(yíng)條件下的可用性，可降低基礎(chǔ)設(shè)施的維護(hù)檢修成本。

參考文獻(xiàn)

[1]Franz Andert， Nils Kornfeld， Florian Nikodem， et al. Zustandsüberwachung von Bahnoberleitungen mit Kameradrohen[J]. Der Eisenbahn Ingenieur，2020（5）：10-14.

蘇靖棋 編譯

收稿日期 2020-07-17