摘要:針對(duì)鐵路遙感影像處理流程復(fù)雜、效率低下的問(wèn)題,文章提出一種基于Python的自動(dòng)化處理技術(shù)。該技術(shù)利用GDAL等開源圖形庫(kù),實(shí)現(xiàn)了影像預(yù)處理、裁剪、配準(zhǔn)、增強(qiáng)和切片等功能的自動(dòng)化,有效提升了處理效率,并快速構(gòu)建了目標(biāo)檢測(cè)算法所需的影像數(shù)據(jù)集。實(shí)驗(yàn)結(jié)果表明,該技術(shù)能夠?yàn)殍F路外部環(huán)境安全監(jiān)測(cè)提供高質(zhì)量的數(shù)據(jù)支撐。
關(guān)鍵詞:遙感影像;目標(biāo)檢測(cè);自動(dòng)化處理;鐵路外部環(huán)境監(jiān)測(cè)
中圖分類號(hào):TP751.1 文獻(xiàn)標(biāo)識(shí)碼:A
文章編號(hào):1009-3044(2024)31-0112-04
開放科學(xué)(資源服務(wù))標(biāo)識(shí)碼(OSID):
0 引言
近年來(lái),隨著我國(guó)鐵路客運(yùn)、貨運(yùn)業(yè)務(wù)的快速發(fā)展,鐵路運(yùn)營(yíng)里程持續(xù)增長(zhǎng),發(fā)送旅客人次和貨運(yùn)量不斷攀升,保障鐵路運(yùn)輸安全成為一項(xiàng)至關(guān)重要的課題。鐵路沿線兩側(cè)外部環(huán)境狀況直接關(guān)系到行車安全,確保鐵路外部環(huán)境安全、清除外部環(huán)境隱患尤為重要。
然而,鐵路外部環(huán)境空間跨度大、環(huán)境多樣性顯著、隱患類型繁雜,傳統(tǒng)的依靠人工巡檢的方式存在著效率低下、成本高昂、易受主觀因素影響等諸多不足,難以滿足日益增長(zhǎng)的鐵路安全保障需求。為此,鐵路行業(yè)開始使用高分辨率光學(xué)遙感影像[1],結(jié)合計(jì)算機(jī)視覺、人工智能等技術(shù)進(jìn)行隱患目標(biāo)檢測(cè)與分割[2],以期提高排查效率,降低排查成本。
相較于人工排查,基于遙感影像目標(biāo)檢測(cè)的隱患排查方式,具有檢測(cè)范圍廣、檢測(cè)效率高、影像拍攝角度相對(duì)固定、便于對(duì)比不同時(shí)間數(shù)據(jù)等優(yōu)點(diǎn)。鐵路線路通常跨越多個(gè)城市甚至省份,覆蓋全線所需遙感影像數(shù)據(jù)量巨大。遙感影像數(shù)據(jù)處理作為檢測(cè)過(guò)程中的重要環(huán)節(jié)之一,存在著處理時(shí)間過(guò)長(zhǎng)、處理過(guò)程煩瑣的問(wèn)題。面向深度學(xué)習(xí)應(yīng)用的遙感影像處理包含預(yù)處理、裁剪、增強(qiáng)、切片等多個(gè)過(guò)程,然而市面上現(xiàn)有的軟件或技術(shù)只能實(shí)現(xiàn)預(yù)處理、圖像增強(qiáng)等部分功能,且往往需要依賴ENVI等商業(yè)軟件[3],這在靈活性和經(jīng)濟(jì)性上難以滿足實(shí)際應(yīng)用的需求。
本文提出一種面向鐵路遙感影像的自動(dòng)化處理技術(shù)。以鄭州鐵路局管轄范圍內(nèi)京廣高速為研究對(duì)象,采用高分二號(hào)遙感影像為數(shù)據(jù)源,利用Python語(yǔ)言和圖形處理類庫(kù)GDAL、geopanda70265ed4efabe0bdc4cc436df27921b9d5f556ef653f06b5489082e7fd212734s等工具,開展自動(dòng)化影像處理研究,提高鐵路外部環(huán)境目標(biāo)檢測(cè)數(shù)據(jù)集的構(gòu)建效率,并將最終產(chǎn)出的數(shù)據(jù)集應(yīng)用于基于YOLOv8模型實(shí)現(xiàn)的彩鋼瓦目標(biāo)檢測(cè)算法。
1 研究區(qū)概況與數(shù)據(jù)源
1.1 研究區(qū)概況
京廣高速鐵路連接北京和廣州,是《中長(zhǎng)期鐵路網(wǎng)規(guī)劃》中“八縱八橫”高速鐵路主通道之一,在鄭州局管內(nèi)由南向北跨越許昌、鄭州、新鄉(xiāng)、鶴壁及安陽(yáng)五市,全長(zhǎng)二百余公里,區(qū)間經(jīng)過(guò)城市、鄉(xiāng)村、城鄉(xiāng)接合處,地貌以平原為主,并有少量丘陵。線路形式包含橋梁、路基,線路兩側(cè)分布城市建筑群、廠房、村莊、農(nóng)田等,沿線隱患種類復(fù)雜多樣,包括但不限于堆放隱患類(如雜物、建筑垃圾)、硬漂浮物類(如廣告牌、彩鋼瓦)、輕漂浮物類(如風(fēng)箏、氣球)等、樹植隱患類。相較于普速鐵路,高速鐵路沿線巡檢的作業(yè)范圍有更高的要求,從線路兩側(cè)廊道擴(kuò)展至兩側(cè)500米或1 000 米范圍。作為我國(guó)高鐵的大動(dòng)脈,京廣高速運(yùn)營(yíng)時(shí)間長(zhǎng)、巡檢頻率高,積累了大量遙感影像數(shù)據(jù)及隱患信息數(shù)據(jù),為研究提供了豐富的數(shù)據(jù)支撐。研究區(qū)地理位置如圖1所示。
1.2 鐵路遙感影像數(shù)據(jù)源
亞米級(jí)分辨率使光學(xué)遙感影像在目標(biāo)檢測(cè)領(lǐng)域得到越來(lái)越廣泛的應(yīng)用[4]。高分二號(hào)是我國(guó)首顆空間分辨率優(yōu)于1米的民用光學(xué)遙感衛(wèi)星,重訪周期為5 天[5],影像空間分辨率及時(shí)間分辨率高,且易于從公開平臺(tái)獲取,因此選擇高分二號(hào)PMS傳感器L1A級(jí)影像作為數(shù)據(jù)源。
L1A級(jí)影像多光譜影像空間分辨率為3.2米,全色影像空間分辨率為0.8米,發(fā)布時(shí)已經(jīng)過(guò)均一化輻射校正、去噪、MTFC、CCD拼接、波段配準(zhǔn)等處理,但無(wú)法直接應(yīng)用。制作滿足訓(xùn)練、檢測(cè)標(biāo)準(zhǔn)的數(shù)據(jù)集,還需進(jìn)行影像預(yù)處理、研究區(qū)裁剪、地理配準(zhǔn)、影像增強(qiáng)、切片等處理步驟。
處理后的數(shù)據(jù)集應(yīng)達(dá)到以下要求:空間分辨率約1米,寬高均為640像素,真彩色合成,格式為無(wú)損的PNG,以最大程度保留影像細(xì)節(jié),從而全面滿足后續(xù)深度學(xué)習(xí)模型訓(xùn)練與檢測(cè)應(yīng)用中的各項(xiàng)需求。
2 影像自動(dòng)化處理
遙感影像自動(dòng)化處理總體流程如圖2所示。
2.1 影像預(yù)處理
影像預(yù)處理過(guò)程包括輻射定標(biāo)、大氣校正、正射校正及圖像融合,將L1A級(jí)多光譜、全色影像預(yù)處理后,可得到Tiff格式四波段影像。目前,高分系列衛(wèi)星遙感影像預(yù)處理主要依賴于ENVI等商業(yè)軟件平臺(tái),需要手動(dòng)完成多個(gè)步驟,處理效率較低,單景影像處理時(shí)間約為40分鐘。
本文在Windows 11操作系統(tǒng)環(huán)境下,使用Python 語(yǔ)言,結(jié)合GDAL、geopandas等開源處理類庫(kù),開發(fā)預(yù)處理工具,實(shí)現(xiàn)影像自動(dòng)化預(yù)處理,一景影像處理時(shí)間壓縮至13分鐘左右,且程序運(yùn)行過(guò)程中無(wú)須人工介入。
2.1.1 輻射定標(biāo)
輻射定標(biāo)是將影像各像元灰度值DN轉(zhuǎn)換為實(shí)際物理量如輻射亮度、反射率等的過(guò)程。這一步驟中,將多光譜影像DN值轉(zhuǎn)換為表觀輻射亮度值,將全色影像DN值轉(zhuǎn)換為表觀反射率。
表觀輻射亮度值一般采取線性公式計(jì)算,公式如下:
Lλ = gain × DN + bias (1)
式中:Lλ 為輻射亮度值,gain 為定標(biāo)系數(shù)增益,bias為偏移量。gain與bias數(shù)據(jù)來(lái)自使用中國(guó)資源衛(wèi)星應(yīng)用中心發(fā)布的2024年國(guó)產(chǎn)陸地觀測(cè)衛(wèi)星外場(chǎng)絕對(duì)輻射定標(biāo)系數(shù)。
表觀反射率計(jì)算公式如下:
式中:Lλ 為公式(1)中計(jì)算獲得,d為日地天文距離,通常值設(shè)為1。ESUNλ 為太陽(yáng)輻照度,數(shù)據(jù)來(lái)自生態(tài)環(huán)境部衛(wèi)星環(huán)境應(yīng)用中心發(fā)布的高分二號(hào)各波段太陽(yáng)輻照度。θ 為太陽(yáng)天頂角度數(shù),數(shù)據(jù)從影像元信息文件xml中讀取獲得。
2.1.2 大氣校正
大氣校正使用6S(Second Simulation of the Satel?lite Signal in the Solar Spectrum)模型,在針對(duì)國(guó)產(chǎn)高分衛(wèi)星影像進(jìn)行大氣校正的過(guò)程中,6S模型與FLAASH 模型能夠保持較好的一致性[6],消除一定大氣影響。
6S模型所需參數(shù)主要包括氣溶膠參數(shù)、傳感器參數(shù)、大氣模型參數(shù)等[7]。
氣溶膠參數(shù)中氣溶膠光學(xué)厚度參考河南氣溶膠年平均值;氣溶膠類型參數(shù)包含大陸、海洋、城市、沙漠、生物質(zhì)燃燒等,根據(jù)研究區(qū)特性默認(rèn)值設(shè)置為城市,并可通過(guò)傳入?yún)?shù)方式修改。傳感器參數(shù)包括影像拍攝時(shí)衛(wèi)星和太陽(yáng)的幾何參數(shù)、光譜響應(yīng)函數(shù)及波段信息等,幾何參數(shù)從影像元信息文件xml中讀取;光譜響應(yīng)函數(shù)和波段信息則從中國(guó)資源衛(wèi)星應(yīng)用中心官方網(wǎng)站獲取,并以步長(zhǎng)0.002 5微米做重采樣。大氣模型參數(shù)根據(jù)中央經(jīng)緯度和月份計(jì)算獲得,并可通過(guò)傳入?yún)?shù)方式修改。
2.1.3 正射校正
影像地理坐標(biāo)系均為WGS84坐標(biāo)系,投影坐標(biāo)系使用通用橫軸墨卡托(UTM)投影,正射校正使用GDAL類庫(kù),利用RPC(Rational Polynomial Coefficient)模型實(shí)現(xiàn)影像幾何校正。實(shí)現(xiàn)步驟如下:
1)讀取影像自帶.rpc文件,向Tiff格式影像文件頭中寫入RPC幾何校正模型參數(shù)。
2)計(jì)算研究區(qū)所在UTM分度帶號(hào),鄭州局管內(nèi)京廣高速沿線通常為49N或50N,并使用GDAL的Warp 函數(shù),實(shí)現(xiàn)正射校正。
2.1.4 影像融合
將高分辨率的全色影像與低分辨率的多光譜影像融合,可生成高分辨率多光譜影像,獲得更好的視覺效果。本文使用GDAL類庫(kù)的pansharpen函數(shù)實(shí)現(xiàn)影像融合功能。
預(yù)處理前后影像如圖3所示。
2.2 影像裁剪
高分二號(hào)一景影像幅寬45千米,而實(shí)際應(yīng)用時(shí)只需要鐵路兩側(cè)500米或1 000米范圍的影像。為提高后續(xù)處理效率,需要對(duì)預(yù)處理后的影像進(jìn)行裁剪,去除無(wú)關(guān)區(qū)域影像。通常影像需要進(jìn)行雙重裁剪工作,初次裁剪時(shí),鐵路兩側(cè)預(yù)留部分冗余寬度以應(yīng)對(duì)潛在的配準(zhǔn)誤差,地理配準(zhǔn)后,影像會(huì)有所偏移,此時(shí)再進(jìn)行精確裁剪,可精確界定影像邊界。
裁剪功能需要提前準(zhǔn)備鐵路線路兩側(cè)指定范圍緩沖區(qū)矢量文件作為裁剪標(biāo)準(zhǔn),首先根據(jù)影像元信息生成矢量文件,再將該文件與緩沖區(qū)文件進(jìn)行交集計(jì)算,以交集矢量文件為基礎(chǔ),使用shapefile、geopandas 及GDAL等類庫(kù)實(shí)現(xiàn)Tiff格式影像的裁剪功能,功能流程圖如圖4所示。
2.3 地理配準(zhǔn)
地理配準(zhǔn)的目的是保證不同時(shí)期拍攝影像空間位置精確,盡量消除拍攝時(shí)衛(wèi)星角度變化、幾何校正誤差等的影響。本文使用人工目視選取特征點(diǎn)的方式進(jìn)行配準(zhǔn)。
2.4 影像增強(qiáng)
遙感影像增強(qiáng)后能獲得更好的視覺效果,突出地物特征[8]。直方圖均衡化增強(qiáng),可以使影像對(duì)比度提高,提升深度學(xué)習(xí)中目標(biāo)檢測(cè)的效率。
本文采用自適應(yīng)直方圖均衡化算法實(shí)現(xiàn)影像增強(qiáng)功能,主要步驟如下:
1)創(chuàng)建影像非空像素點(diǎn)的掩膜矩陣,用于區(qū)分影像前景和背景。
2)使用numpy類庫(kù)對(duì)各波段進(jìn)行均一化處理。
3)使用skimage類庫(kù)對(duì)各波段均一化數(shù)據(jù)進(jìn)行自適應(yīng)均衡化拉伸。
4)將拉伸后的影像矩陣逆歸一化,并利用掩膜矩陣去除背景,保留前景。
5)使用GDAL類庫(kù)輸出增強(qiáng)后的影像文件。
2.5 影像切片
影像切片是遙感影像流程的最后步驟。隱患治理工作需要累積與保留長(zhǎng)期數(shù)據(jù),為建立完善的、易于檢索的長(zhǎng)時(shí)序影像數(shù)據(jù)庫(kù),將遙感影像分割為尺寸標(biāo)準(zhǔn)化、編碼規(guī)范化的單層級(jí)瓦片數(shù)據(jù),切片規(guī)則及功能設(shè)計(jì)思路如下:
1)影像重采樣。不同批次影像在經(jīng)過(guò)一系列處理工作后,像素分辨率存在一定差異,因此首先對(duì)影像進(jìn)行固定分辨率重采樣,保證影像分辨率一致。
2)影像切片及編號(hào)。影像編號(hào)為“x_y”形式,x代表橫向編號(hào),y代表縱向編號(hào)。影像分辨率和寬高確定后,以西經(jīng)180度,北緯90度為原點(diǎn),使用滑動(dòng)窗口方式進(jìn)行切片。切片寬高均為640 像素,同時(shí)保留100像素重疊區(qū)域,以保證影像中地物完整性。利用影像左上角經(jīng)緯度,可計(jì)算出每個(gè)切片影像的編號(hào),不同時(shí)期同一區(qū)域影像切片后編號(hào)保持一致。
3)格式轉(zhuǎn)換。目標(biāo)檢測(cè)模型訓(xùn)練數(shù)據(jù)集通常采用png或jpeg格式的圖片,因此將切片后的影像轉(zhuǎn)為png格式。圖5為切片前后數(shù)據(jù),圖6中為不同時(shí)期同一編號(hào)的兩幅影像。
3 遙感影像在鐵路目標(biāo)檢測(cè)上的應(yīng)用
選取2023年至2024年高分二號(hào)遙感影像132景,使用本文自動(dòng)化處理技術(shù)處理后,獲得鐵路沿線圖像數(shù)據(jù)8 120張,標(biāo)注彩鋼瓦目標(biāo)21 000余個(gè),對(duì)標(biāo)注好的圖像數(shù)據(jù)以8∶2的比例劃分訓(xùn)練集和測(cè)試集。本文選擇準(zhǔn)確率(Accuracy)和召回率(Recall)兩個(gè)指標(biāo)評(píng)價(jià)算法性能。準(zhǔn)確率表示模型檢測(cè)正確的彩鋼瓦數(shù)量,占所有檢測(cè)到的彩鋼瓦數(shù)量的比例;召回率表示模型檢測(cè)正確的彩鋼瓦數(shù)量,占圖像中實(shí)際存在的所有彩鋼瓦數(shù)量的比例。
實(shí)驗(yàn)采用深度學(xué)習(xí)框架PyTorch1.12,CUDA 版本選擇11.3,在Ubuntu18.04操作系統(tǒng)上,利用NVIDIA GeForceRTX 3070顯卡訓(xùn)練YOLOv8模型,訓(xùn)練過(guò)程如圖7所示。
實(shí)驗(yàn)結(jié)果表明,模型檢測(cè)準(zhǔn)確率為84.44%,召回率為78.95%,實(shí)際識(shí)別效果如圖8所示。當(dāng)前模型能夠初步滿足鐵路兩側(cè)彩鋼瓦隱患目標(biāo)檢測(cè)的要求,但仍存在優(yōu)化潛力,為了進(jìn)一步提升識(shí)別的精準(zhǔn)度,減少誤檢率,未來(lái)考慮引入注意力機(jī)制等技術(shù),提升模型檢測(cè)能力。
4 結(jié)論與展望
本文針對(duì)鐵路遙感影像自動(dòng)化處理需求,利用Python語(yǔ)言和GDAL等開源圖形庫(kù),開發(fā)了一套完整的遙感影像自動(dòng)化處理流程,實(shí)現(xiàn)了從數(shù)據(jù)預(yù)處理、鐵路沿線信息提取到目標(biāo)檢測(cè)數(shù)據(jù)集構(gòu)建的全過(guò)程。這一流程提升了遙感數(shù)據(jù)處理的效率和準(zhǔn)確性,減少人工操作帶來(lái)的誤差,并有優(yōu)良的可移植性和可拓展性。最終產(chǎn)出的數(shù)據(jù)集,在彩鋼瓦隱患目標(biāo)識(shí)別模型上取得較好的效果,未來(lái)考慮將該技術(shù)應(yīng)用到更多類別的隱患檢測(cè)中,持續(xù)提升鐵路外部環(huán)境隱患監(jiān)測(cè)的智能化水平。
此外,目前的預(yù)處理流程中,配準(zhǔn)階段仍需人工介入,未實(shí)現(xiàn)全自動(dòng)處理。下一步需要對(duì)自動(dòng)化配準(zhǔn)方式進(jìn)行研究,進(jìn)一步提升遙感影像處理速度。
參考文獻(xiàn):
[1] 任曉春,李偉,王瑋.高分光學(xué)遙感影像在鐵路勘察中的應(yīng)用及展望[J].測(cè)繪通報(bào),2019(5):44-47.
[2] 袁慕策.基于遙感技術(shù)的鐵路外部環(huán)境安全隱患監(jiān)測(cè)[J].鐵道建筑,2023,63(4):114-118.
[3] 王威,楊芳,張鵬,等.基于ENVI/IDL的高分遙感數(shù)據(jù)自動(dòng)預(yù)處理及植被提取方法:以湖南林業(yè)為例[J].湖南城市學(xué)院學(xué)報(bào)(自然科學(xué)版),2020,29(2):45-50.
[4] 袁一欽,李浪,姚西文,等.光學(xué)遙感圖像目標(biāo)檢測(cè)數(shù)據(jù)集綜述[J].遙感學(xué)報(bào),2023,27(12):2671-2687.
[5] 潘騰.高分二號(hào)衛(wèi)星的技術(shù)特點(diǎn)[J].中國(guó)航天,2015(1):3-9.
[6] 商子健,金建文,許振峰,等.高分一號(hào)多光譜影像6S大氣校正研究[J].無(wú)線電工程,2021,51(8):705-710.
[7] 鄭堯,靳竺霖.基于6S-GDAL大氣校正軟件的實(shí)現(xiàn)與應(yīng)用[J].城市勘測(cè),2018(6):49-53.
[8] 廖聰,郭凰,趙茂軍,等.基于圖像增強(qiáng)和SKNet的交通標(biāo)志識(shí)別[J].計(jì)算機(jī)與現(xiàn)代化,2023(3):23-28.
【通聯(lián)編輯:謝媛媛】
基金項(xiàng)目:中國(guó)鐵路鄭州局集團(tuán)有限公司科技研究開發(fā)計(jì)劃一般課題(項(xiàng)目編號(hào):2024S08)