基于FPGA和DSP的高速實時軌道巡檢圖像采集處理系統(tǒng)

程 雨，杜馨瑜，顧子晨，戴 鵬，李海浪，王 昊

（1.中國鐵道科學(xué)研究院集團有限公司 基礎(chǔ)設(shè)施檢測研究所，北京 100081；2.北京鐵科英邁技術(shù)有限公司，北京 100081）

隨著我國鐵路高速發(fā)展，高鐵總里程已躍居世界第1位，維修養(yǎng)護壓力也日益凸顯。在高速鐵路的日常維護中，線路上的鋼軌、扣件、應(yīng)答器、軌腰塞釘?shù)溶壍涝O(shè)施需要大量的人工進行檢測。然而，由于人工巡道作業(yè)存在檢測條件差、耗時、低效、主觀性強等缺點，在一些檢測環(huán)境危險和短時間內(nèi)需要完成大批量檢測作業(yè)的情況下，人工巡檢的方式已無法滿足相關(guān)需求。隨著機器學(xué)習(xí)技術(shù)的快速發(fā)展，基于機器視覺的巡檢系統(tǒng)是未來的主要發(fā)展方向。

當前的巡檢系統(tǒng)主要是基于“光學(xué)系統(tǒng)—工控圖像采集機—處理系統(tǒng)”的系統(tǒng)結(jié)構(gòu)，通過處理系統(tǒng)中的智能識別算法完成異常識別工作［1-3］。采集系統(tǒng)主要采用工控機加通用圖像采集卡搭配軟件開發(fā)套件（Software Development Kit，SDK），這種方式可以縮短開發(fā)采集系統(tǒng)周期，但無法實時靈活處理采集的數(shù)據(jù)，需將數(shù)據(jù)存儲在采集機上，在檢測結(jié)束后人工拷貝至地面服務(wù)器進行處理；處理系統(tǒng)主要采用高性能顯卡所帶的圖形處理單元（Graphics Processing Unit，GPU），利用GPU 強大的圖像處理能力完成圖像分析工作。

巡檢系統(tǒng)智能識別算法方面，早期，系統(tǒng)主要采用傳統(tǒng)機器學(xué)習(xí)算法，如變尺度Retinex（VSR）算法［4］，實現(xiàn)對軌道設(shè)施圖像的增強處理；采用基于Adaboost 的算法［5］、基于線路局部二值特征Line-LBP（Local Binary Pattern，LBP）的算法［6］以及基于模板匹配的算法［7］等實現(xiàn)特征提取及識別；目前，系統(tǒng)主要采用深度學(xué)習(xí)算法［8-9］完成圖像分析，相比于傳統(tǒng)的機器學(xué)習(xí)算法，深度學(xué)習(xí)算法在扣件異常識別方面準確率更高。

現(xiàn)有巡檢系統(tǒng)在鐵路檢測工作中發(fā)揮了重要的作用，減少了人工巡道定員數(shù)量和工作量，提升了鐵路檢測效率。

然而，以上所述系統(tǒng)也存在一些優(yōu)化的空間，主要為以下幾個方面。

（1）系統(tǒng)占據(jù)空間較大，對于一些空間約束較大的情況，加裝系統(tǒng)不靈活。

（2）圖像分析過程是離線的。這種方式會導(dǎo)致檢測結(jié)果報告滯后，可能存在安全隱患。

（3）采集圖像的清晰度較低。在選用較高清晰度的相機時，現(xiàn)有系統(tǒng)無法保證采集頻率達到要求，影響檢測車行駛速度，進而影響檢測效率。

（4）目前搭載在專業(yè)檢測車上，需要人工參與，無法滿足一些人工參與度低的平臺加裝。

（5）系統(tǒng)升級困難。由于現(xiàn)有的采集處理機制在特定的平臺下進行操作，升級系統(tǒng)就意味著升級軟件，系統(tǒng)對個別動態(tài)鏈接庫的依賴性較強，導(dǎo)致軟件升級需要的工作量較大。

隨著嵌入式技術(shù)的不斷發(fā)展，基于嵌入式的圖像采集處理系統(tǒng)將成為未來巡檢系統(tǒng)研發(fā)的方向，基于嵌入式機制的巡檢系統(tǒng)能夠大大提升系統(tǒng)集成度、適合于高清高速場景下的圖像采集，提升系統(tǒng)整體性能。

基于嵌入式的圖像采集處理系統(tǒng)主要分為：基于ARM 方式、基于DSP方式、基于FPGA 方式以及上述方式的組合。采取ARM 和DSP 方式的優(yōu)勢是各接口驅(qū)動及應(yīng)用比較完善且適用于網(wǎng)絡(luò)接口的相機，但ARM 在實時處理高速數(shù)據(jù)量巨大的連續(xù)幀圖像時性能并不突出，不適合單獨應(yīng)用；DSP雖然具備很強的計算能力，且通用接口驅(qū)動、協(xié)議完善，但是高速大數(shù)據(jù)量采集控制方面尤其是并行處理數(shù)據(jù)不是其擅長所在，一般用在數(shù)據(jù)處理端較多；FPGA的優(yōu)勢是擅長處理并行流水數(shù)據(jù)，其數(shù)據(jù)處理復(fù)雜性方面受到一些制約，且在開發(fā)方面難度較大，周期較長，因此適宜在采集控制方面應(yīng)用。雖然目前最新的FPGA 在內(nèi)部嵌入ARM 或DSP 核，但是這些芯片往往會影響芯片整體的針腳排布，占據(jù)一定的資源，增加開發(fā)難度。

本文進行基于FPGA 和DSP 的高速實時軌道巡檢圖像采集處理系統(tǒng)研究。針對系統(tǒng)圖像采集設(shè)備的高幀率、高帶寬和對圖像質(zhì)量清晰度要求高等特點，結(jié)合系統(tǒng)實際應(yīng)用場景，提出并設(shè)計CMOS 線陣相機加激光光源的組合光學(xué)系統(tǒng)及其相應(yīng)的配置方法；在巡檢系統(tǒng)的圖像采集及預(yù)處理方面，采用FPGA+DSP 的嵌入式架構(gòu)，該架構(gòu)在圖像采集處理領(lǐng)域應(yīng)用較多［10-11］，利用DSP 快速準確的數(shù)據(jù)處理能力和FPGA 強大的可編程邏輯資源，與上位機搭配實現(xiàn)圖像實時數(shù)據(jù)采集、邏輯控制和圖像傳輸和圖像處理功能。

1 總體方案設(shè)計

本文設(shè)計的軌道巡檢圖像采集處理系統(tǒng)從結(jié)構(gòu)上主要分為成像模塊、采集控制模塊和圖像處理模塊，系統(tǒng)有2 個成像模塊和2 個采集控制模塊，每個采集控制模塊控制1個成像模塊。成像模塊采用高清線陣相機與紅外激光器的光學(xué)組合，根據(jù)實際需求設(shè)計并配置相關(guān)成像參數(shù)；采集控制模塊采用FPGA+DSP 的嵌入式板卡，實現(xiàn)圖像采集控制、預(yù)處理和壓縮等功能，結(jié)構(gòu)上，F(xiàn)PGA 板卡與DSP 板卡分離，通過高速連接器連接，F(xiàn)PGA 板卡主要實現(xiàn)圖像采集控制功能，DSP 板卡主要實現(xiàn)數(shù)據(jù)預(yù)處理與壓縮功能。圖像處理模塊采用帶有GPU 的工控機，實現(xiàn)圖像數(shù)據(jù)接收、存儲和進一步分析?？傮w技術(shù)方案如圖1所示。

系統(tǒng)工作流程為：系統(tǒng)經(jīng)過脈沖信號觸發(fā)后，成像模塊進行成像，并將采集的圖像數(shù)據(jù)發(fā)送至圖像采集控制模塊，采集控制模塊利用FPGA 的可編程邏輯資源，設(shè)計相應(yīng)采集機制，獲取高清線陣相機的圖像數(shù)據(jù)。通過圖像接收單元將圖像歸集，并通過高速接口Serial RapidIO（SRIO）發(fā)送到DSP 板卡。DSP 板卡接收到數(shù)據(jù)后，立刻將接收到的數(shù)據(jù)分配到處理核進行處理，處理完成后將數(shù)據(jù)通過網(wǎng)絡(luò)上傳到工控機進行再次處理、存儲和顯示。在板卡運行過程中，高清相機可通過RS422/RS232協(xié)議與上位機進行通信參數(shù)調(diào)整，脈沖信號可通過FPGA進行信號控制。

2 關(guān)鍵技術(shù)

2.1 光學(xué)成像

本系統(tǒng)的成像要求如下：

（1）采集速度不低于160 km·h-1；

（2）橫、縱向分辨率不大于1 mm·pixel-1；

（3）工作距離為750 mm；

（4）成像范圍為1 650 mm；

（5）留有不少于80 mm的景深。

基于以上成像要求，進行光學(xué)器件選型，并計算相應(yīng)參數(shù)，主要分為相機、鏡頭選型及景深等參數(shù)計算。

2.1.1 成像原理

通過大量的實驗室試驗和動態(tài)試驗，本系統(tǒng)采用CMOS 線陣相機+激光光源的成像方案，成像原理如圖2所示。

圖1 基于FPGA和DSP的高速實時軌道巡檢圖像采集處理系統(tǒng)總體技術(shù)方案

圖2 線陣相機+激光光源成像原理框圖

在脈沖信號的觸發(fā)作用下，相機與激光器同步工作，激光器射出波長808 nm 激光線，通過透鏡將激光束散射為1條形區(qū)域，拍攝區(qū)域被照亮，同時，相機捕捉激光線照射的區(qū)域，采用濾光片獲取固定波長的光線，濾除太陽光或其他波段的光干擾，拍攝圖像。采用此方案獲取的圖像，照度均勻，抗干擾性強，圖像質(zhì)量高。

基于上述成像原理，設(shè)計了一體化成像組件，將線陣相機與激光光源集成在一起，內(nèi)部使用電路板控制激光光源，實現(xiàn)高速運行狀態(tài)下高清成像，一體化成像組件實物如圖3所示。

圖3 一體化成像組件實物圖

2.1.2 相機選型

考慮到系統(tǒng)需動態(tài)連續(xù)掃描，圖像不可重復(fù)且視場范圍較大，因此選擇線陣相機，相機橫向像素需滿足2 048 pixel（含）以上，且滿足1 mm·pixel-1分辨率。從幀頻，感光性和易于后期拓展的角度考慮，選用Dalsa P4 CameraLink 接口相機，傳感器橫向像素為4 096 pixel。該相機感光性較好，支持雙線曝光，像元分辨率為10.56 μm，最高掃描頻率可達到100 kHz。

2.1.3 鏡頭選型

鏡頭選型主要選鏡頭焦距，可按照下式計算。

式中：f為鏡頭焦距；D為傳感器分辨率；L為工作距離；WFOV為視場范圍。

按照式（1）計算系統(tǒng)所需焦距，線陣相機的傳感器分辨率為像元分辨率與橫向像素數(shù)的乘積，以上述選型相機為例，像元分辨率為10.56 μm，橫向像素為4 096 pixel，工作距離為750 mm；視場范圍為1 650 mm。將參數(shù)帶入式（1），計算出鏡頭焦距約為20 mm。綜合考慮，系統(tǒng)采用Nikon品牌AF NIKKOR 20 mm f/2.8D 型鏡頭，光圈范圍2.8～22。

2.1.4 景深計算

根據(jù)拍攝距離、光圈值、鏡頭焦距、像元分辨率及相機與拍攝物體角度等參數(shù)可以計算景深極限值Δ［12］，即

其中，

式中：ωcd為像元分辨率；F為光圈F 數(shù)；β為放大倍率；θ為相機與拍攝物體的夾角。

采用上述參數(shù)進行計算，ωcd為10.56 μm；F數(shù)設(shè)為5.6；f為20 mm；θ為0°。將以上參數(shù)帶入式（2），計算得景深極限值約為81 mm，在工作距離的高度上下81 mm處可以清晰成像。

2.1.5 最佳焦距確定

采用一體化成像組件，可以提升系統(tǒng)的可靠性，但是在系統(tǒng)安裝完成后，不便于焦距調(diào)節(jié)，同時，通過理論計算的焦距值有一定偏差，因此設(shè)計一種線陣相機對焦方法，在固定拍攝距離和光圈下，根據(jù)壓縮后的圖像數(shù)據(jù)量判斷是否達到最佳焦距。

壓縮后的圖像數(shù)據(jù)量與圖像的焦距、光圈及壓縮質(zhì)量是密切相關(guān)的，光圈值設(shè)的越小時，進光量越高，通過焦距調(diào)節(jié)，觀察壓縮后的數(shù)據(jù)量，選擇數(shù)據(jù)量峰值點，即為最佳的焦距位置。

2.1.6 壓縮Q值確定

固定成像模塊參數(shù)，設(shè)置壓縮Q值分別為40，50 和60 進行測定，調(diào)節(jié)焦距，采集圖像，采用峰值信噪比（PSNR）進行評價［13］。表1 為不同壓縮Q值與峰值信噪比對應(yīng)關(guān)系。

表1 不同壓縮Q值與峰值信噪比對應(yīng)關(guān)系

通過缺陷識別算法測試，表明峰值信噪比在40 dB 以上智能識別效果較好，因此可將壓縮Q值設(shè)置為50以上。

2.2 圖像采集

本系統(tǒng)采用基于FPGA+DSP 的嵌入式模塊實現(xiàn)采集控制功能，模塊結(jié)構(gòu)上由FPGA 板卡和DSP板卡組成。

FPGA 板卡主要實現(xiàn)CameraLink 接口相機圖像采集、脈沖信號控制及高速數(shù)據(jù)通信等功能，如圖4所示。成像模塊接入FPGA 板卡，在脈沖信號的觸發(fā)下，成像模塊產(chǎn)生線數(shù)據(jù)并通過CameraLink接口發(fā)送至FPGA 板卡的傳感器接入單元，接入單元累積線圖像數(shù)據(jù)，待形成1幀圖像后，發(fā)送至圖像轉(zhuǎn)換單元，將圖像轉(zhuǎn)為SRIO 模塊傳輸需要的模式，并以幀為單位通過SRIO 模塊將圖像數(shù)據(jù)發(fā)送至DSP板卡，F(xiàn)PGA 板卡傳輸完1幀圖像會產(chǎn)生1個中斷，提醒DSP進行處理。

圖4 FPGA模塊

FPGA 板卡還具備消抖、分頻、倍頻及信號使能功能，消抖功能是避免外部信號誤觸發(fā)；分頻和倍頻功能是將外部輸入脈沖信號頻率改變，觸發(fā)相機工作，以滿足系統(tǒng)采集分辨率的不同需求；信號使能功能控制外部脈沖信號的通斷，外部脈沖信號發(fā)生裝置可通過總開關(guān)控制信號同步采集。分頻、倍頻以及信號使能等可通過參數(shù)選擇使其生效。

DSP 板卡主要實現(xiàn)圖像數(shù)據(jù)接收、并行處理圖像、圖像上傳的功能，如圖5所示。

圖5 DSP模塊

本系統(tǒng)根據(jù)應(yīng)用需求基于TI的SYSBIOS實時系統(tǒng)實現(xiàn)，采用主核、從核并行處理模式，完成3個任務(wù)，即網(wǎng)絡(luò)協(xié)議棧任務(wù)、圖像并行處理任務(wù)和網(wǎng)絡(luò)應(yīng)用任務(wù)。其中，網(wǎng)絡(luò)協(xié)議棧任務(wù)主要實現(xiàn)網(wǎng)絡(luò)傳輸協(xié)議；圖像并行處理任務(wù)主要是將處理執(zhí)行FPGA板卡的圖像轉(zhuǎn)換單元的參數(shù)初始化、并行處理初始化、接收圖像，并實現(xiàn)鋼軌區(qū)域識別、扣件定位與JPEG 壓縮處理；網(wǎng)絡(luò)應(yīng)用任務(wù)實現(xiàn)Socket管理、參數(shù)接收與響應(yīng)、處理后圖像上傳等功能。

處理流程：FPGA 板卡發(fā)送完1 幀圖像后，產(chǎn)生中斷，DSP 板卡接收到中斷后，進行響應(yīng)，以核0作為主核調(diào)度，多個從核作為處理核，按順序執(zhí)行圖像并行處理任務(wù)，主核通過消息通知從核進行處理，從核對圖像數(shù)據(jù)進行處理，待處理完成通過消息通知主核圖像處理已完成，主核接到從核已完成圖像處理消息后，執(zhí)行網(wǎng)絡(luò)應(yīng)用任務(wù)，將處理后的圖像數(shù)據(jù)發(fā)送至上位機進行處理。DSP 板卡與上位機通過網(wǎng)絡(luò)協(xié)議雙向通信，實現(xiàn)DSP 板卡處理后的圖像數(shù)據(jù)上傳以及FPGA 和DSP 板卡參數(shù)調(diào)整功能。

2.3 鋼軌區(qū)域分割

為了滿足鋼軌區(qū)域分割的實時性要求，必須綜合考慮算法的時間和存儲復(fù)雜度，以盡可能小的計算資源損耗完成軌道圖像處理任務(wù)。

考慮到軌道區(qū)域內(nèi)存在大面積而且連通的高亮度區(qū)域，而非鋼軌區(qū)域黑白像素分布雜亂，鋼軌區(qū)域和非鋼軌區(qū)域的分界處存在明顯的像素灰度值突變等紋理區(qū)別特征，因此，針對實際應(yīng)用場景，考慮到基于DSP 的工程實際，采用圖像投影積分算法快速實現(xiàn)鋼軌區(qū)域分割。單幅圖像的鋼軌區(qū)域分割算法的基本步驟如下。

步驟1：運用灰度投影理論計算行投影和列投影，即

式中：G(i，j)為圖像在(i，j)處的像素灰度值；W和H分別為圖像寬度和高度；Gcol(j)為圖像第j列的灰度值總和；Grow(i)為圖像第i行的灰度值總和。

步驟2：根據(jù)式（5）計算反向灰度投影G′col(j)，采用垂向差分算子處理圖像計算梯度列投影，將圖像的反向灰度投影和梯度投影進行加權(quán)求和，得到加權(quán)投影P(j)，具體按式（6）計算。

式中：Gd(j)為圖像第j列的梯度列投影；α1和α2分別為梯度投影和反向灰度投影的權(quán)值。

步驟3：為消除圖像中高頻噪聲的干擾，通過引入窗函數(shù)遍歷投影曲線獲得平滑的面積積分投影。

本文采用矩形窗函數(shù)，即

式中：Wc為窗口寬度；Hc為窗口高度。

步驟4：計算加權(quán)投影的面積積分投影。

式中：C(m)為第m個矩形區(qū)域的面積積分投影；Wr為鋼軌區(qū)域?qū)挾取?/p>

用投影值除以窗口面積獲得投影的歸一化值，確定C(m)的最小值，即為軌道左邊緣，再結(jié)合鋼軌區(qū)域?qū)挾萕r，可得到鋼軌區(qū)域右邊緣。采用上述方法的單幅圖像鋼軌區(qū)域分割結(jié)果如圖6所示。

圖6 鋼軌區(qū)域分割結(jié)果

在上述的鋼軌分割時，若考慮到鋼軌在空間結(jié)構(gòu)上表現(xiàn)為剛性延續(xù)長梁的結(jié)構(gòu)特征，在通過光學(xué)系統(tǒng)沿鋼軌線路動態(tài)掃描獲取的圖像序列中，鋼軌區(qū)域在圖像序列中的位置坐標會表現(xiàn)出近似一致性。這一特征為圖像序列處理建立自適應(yīng)的修正模型提供了先驗信息。針對以上特征，基于區(qū)間置信度統(tǒng)計的方法，設(shè)計一種軌道區(qū)域定位的自學(xué)習(xí)統(tǒng)計模型。

假設(shè)采集的總圖像序列為Q（I），考慮到計算的實時性，通過對Q（I）抽樣獲得數(shù)量為Nq的新圖像序列Q（I′）。運用上述分割方法對序列Q（I′）中的所有圖像進行處理，得到軌道位置記為I′（R）。統(tǒng)計學(xué)習(xí)模型以圖像空間坐標作為特征參數(shù)，通過設(shè)定步長等分空間建立備選特征集。運用直方圖統(tǒng)計分析方法，確定最大置信區(qū)間，從而自適應(yīng)獲取到圖像序列中軌道位置的特征參數(shù)。

統(tǒng)計學(xué)習(xí)步驟如下。

步驟1：設(shè)定步長h，以h均分圖像橫軸Nd等份，獲得對應(yīng)Q（I′）的區(qū)間序列集Si，i=1，2，…，Nd。

步驟2：定義并計算區(qū)間置信值A(chǔ)(Si)為

其中，

步驟3：取區(qū)間置信值最大的區(qū)間序列集ST，i。

步驟4：取置信值最大的區(qū)間序列橫軸位置平均值作為軌道位置的特征參數(shù)PT，i，即

運用統(tǒng)計學(xué)習(xí)模型可以快速獲得整條軌道的位置特征參數(shù)。

在算法總體性能分析上，設(shè)定評判原則：將預(yù)報位置與真實位置的差定義為定位偏差，當定位偏差大于統(tǒng)計學(xué)習(xí)模型設(shè)定的步長h，確認為定位失效。

基于以上原則定義錯誤率E為

式中：Ne為定位失準數(shù)量；Na為全部樣本數(shù)量。

2.4 扣件定位與缺陷判斷

經(jīng)過上述步驟，得到了序列圖像中鋼軌的準確位置后，根據(jù)扣件區(qū)域位置與鋼軌區(qū)域位置距離固定的先驗信息，在鋼軌左右兩側(cè)可以得到包含有扣件位置的感興趣區(qū)域。在該區(qū)域內(nèi)，通過模板匹配的方法，利用經(jīng)典的方向梯度直方圖（Histogram of Oriented Gradient，HOG）特征，定位到1 個扣件。由于序列圖像的相似性，在該扣件位置橫向和縱向的特定距離都應(yīng)該搜索到扣件，若在某一位置附近搜索不到扣件，則可以快速判斷該位置扣件丟失，從而簡捷有效解決了單純用目標檢測網(wǎng)絡(luò)不易進行部分丟失目標定位的問題，扣件定位圖如圖7所示。

圖7 扣件定位

扣件定位完成后，將數(shù)據(jù)發(fā)送至工控機進行識別。針對扣件區(qū)域圖像的特點，設(shè)計了扣件異常識別算法網(wǎng)絡(luò)。由于扣件區(qū)域圖像的尺寸較小，圖像內(nèi)容相對單一，根據(jù)扣件區(qū)域尺寸，將網(wǎng)絡(luò)輸入尺度設(shè)為120 pixel×80 pixel。之后，以卷積（Con?volution）， SEnet （Squeeze-and-Excitation Net?works）［14］和批量歸一化（Batch Normalization）組成CSB 模塊作為基本處理單元，進行多層網(wǎng)絡(luò)處理。通過卷積得到多個特征圖像（Feature map），采用全局平均池化操作對每層特征進行降維，然后，采用全連接網(wǎng)絡(luò)，對降維后的輸出對象做非線性變換，為每個特征通道生成權(quán)重，通過施加該權(quán)重到輸入特征通道，把重要的特征增強，不重要的特征減弱，從而讓提取的特征指向性更強。經(jīng)過CSB 模塊處理后，再通過池化層進行降維處理，最后通過全連接層輸出正常及異?？奂念悇e。圖8 為CSB 模塊圖。圖9 為針對扣件傷損識別設(shè)計的基于CSB模塊的網(wǎng)絡(luò)結(jié)構(gòu)。

圖8 CSB模塊

圖9 扣件傷損識別模型網(wǎng)絡(luò)結(jié)構(gòu)

訓(xùn)練扣件缺陷識別網(wǎng)絡(luò)需要大量的標注數(shù)據(jù)，對綜合巡檢車以及鋼軌探傷車實際使用時采集的圖像數(shù)據(jù)進行整理及標注，將所有異常（有缺陷）扣件作為一類，每種正常類型扣件作為一類。由于無砟軌道和有砟軌道扣件存在較大的差異，需要分別進行標注，具體如下。

針對無砟軌道扣件收集了多個路局的無砟扣件數(shù)據(jù)，將無砟軌道扣件分為4個類型，分別為異?？奂╝bnormal），5 型7 型W 扣件（W7_5），300型扣件（W300），以及其他扣件（others），每個類型中收集了10萬張以上扣件圖片，其中后3個扣件類型為正?？奂鐖D10所示。

圖10 無砟軌道扣件各分類標注

針對有砟軌道扣件收集了多個路局的有砟扣件數(shù)據(jù)，將有砟軌道扣件分為5個類型，分別為異?？奂╝bnormal），5 型7 型W 扣件（W7_5），2 型扣件（normal2），F(xiàn)C 及3 型扣件（sp），以及其他扣件（others），每個類型中收集了20 萬張以上扣件圖片，其中后4種類型為正?？奂?。如圖11所示。

圖11 有砟軌道扣件各分類標注

不論無砟軌道扣件還是有砟軌道扣件，異?？奂愋桶奂G失、扣件移位、扣件斷裂以及扣件變形，如圖12 所示。在標注時都歸為一類，即異常類。

將圖片放入不同文件夾的形式標注之后，由于扣件整體拍攝亮度較暗，不利于模型的訓(xùn)練以及人工確認，所以將所有的扣件圖片進行1/1.6 的伽馬（gamma）亮度變換，變換后的圖片亮度明顯提高，如圖13 所示。由圖13 可見：圖片內(nèi)容更加清晰，有利于定位和識別。

對定位到的扣件，采用圖9 所示深度神經(jīng)網(wǎng)絡(luò)進行識別，可以識別出異?？奂?，圖14 給出了識別出的扣件異常圖。

圖12 扣件異常類型

圖14 扣件異常

由圖14可見：（a）圖中鋼軌左側(cè)從上至下第3個扣件為扣件丟失異常，（b）圖中鋼軌左側(cè)從上至下第1個扣件為彈條移位異常，以上異常均可被智能識別模型有效識別。

2.5 上位機軟件設(shè)計

上位機軟件是巡檢系統(tǒng)的關(guān)鍵部分，需要完成與用戶數(shù)據(jù)交互、異常數(shù)據(jù)識別與管理以及數(shù)據(jù)存儲等工作。本檢測系統(tǒng)上位機軟件設(shè)計成設(shè)備層、數(shù)據(jù)層和用戶層3部分，設(shè)備層主要是完成成像模塊，采集處理模塊的控制工作，完成圖像采集控制，脈沖信號控制、圖像處理和圖像編碼，控制成像模塊圖像獲取，光源啟停等；數(shù)據(jù)層主要是對采集處理的圖像進行進一步分類，識別異常，同時分別保存源數(shù)據(jù)和異常數(shù)據(jù)。用戶控制層主要完成對圖像顯示以及設(shè)備層、數(shù)據(jù)層的參數(shù)控制。

3 系統(tǒng)測試驗證

3.1 試驗裝置

系統(tǒng)的采集控制部分已在檢測速度160 km·h-1的綜合巡檢車上部署安裝，采集頻率不低于50 kHz。

為了驗證系統(tǒng)總體性能，在北京環(huán)形鐵道試驗線，采用電動試驗小車對圖像采集效果、識別效果分別進行試驗，最高時速20 km·h-1。

3.2 光學(xué)成像與圖像采集

本文采用橫向像素為4 096 pixel 的線陣一體化成像組件，使用基于FPGA 和DSP 的軌道巡檢系統(tǒng)進行數(shù)據(jù)采集，在試驗過程對相關(guān)參數(shù)進行了配置，成像模塊的安裝高度距軌面670 mm，曝光值為18 μs，壓縮Q值為60，相機的視場約為1 670 mm。圖15 為采集到的軌道圖像。由圖15 可見，圖像清晰完整，軌道區(qū)域成像均勻，無陽光干擾，鋼軌表面未出現(xiàn)過曝現(xiàn)象。改系統(tǒng)可為扣件異常識別提供質(zhì)量較好的基礎(chǔ)數(shù)據(jù)。

3.3 軌道區(qū)域識別試驗

圖15 軌道圖像

檢測系統(tǒng)通過軌道區(qū)域識別算法實現(xiàn)鋼軌區(qū)域的識別，通過網(wǎng)絡(luò)協(xié)議將定位結(jié)果上傳至上位機端。試驗以分割錯誤率和處理時間為指標評價識別算法的性能。統(tǒng)計學(xué)習(xí)模型的樣本集按1 000 幀圖像統(tǒng)計1 次，共3 次。系統(tǒng)對鋼軌區(qū)域定位的統(tǒng)計分析結(jié)果見表2。

表2 軌道區(qū)域識別算法性能統(tǒng)計

從表2 可以看出：軌道區(qū)域識別算法單幀處理時間為16～17 ms，速度較快，可以保證系統(tǒng)的整體實時性；從定位錯誤率來看，本文算法對鋼軌定位的準確率高于99.5%，出現(xiàn)的算法失效是由試驗車在過曲線時因車身傾斜造成的鋼軌位置發(fā)生偏移所致，但完全在允許的誤差范圍之內(nèi)。

采用激光光源后，圖像整體亮度分布相對統(tǒng)一，有效抑制了陽光干擾，同時在算法中通過統(tǒng)計學(xué)習(xí)后，剔除錯誤信息，進一步提升了鋼軌區(qū)域定位準確性。

3.4 扣件定位與缺陷識別試驗

在環(huán)形鐵道試驗線進行軌道圖像扣件定位與缺陷識別試驗，扣件的定位準確率與扣件缺失判斷準確率為100%。每幀處理時間約為30 ms，采用多核并行處理，可以滿足實時性要求。圖16 為扣件定位效果圖。

采用上文標注數(shù)據(jù)對扣件缺陷識別網(wǎng)絡(luò)進行訓(xùn)練，對環(huán)形鐵道試驗線采集的圖像進行跨數(shù)據(jù)集扣件缺陷識別測試，樣本量為20 000 個，每幀圖像處理時間約為15 ms，識別率高于80%，可有效檢出異?？奂?/p>

圖16 扣件定位效果圖

選?。?.2，1.0］范圍內(nèi)不同閾值進行測試，得到扣件缺陷識別精確率—召回率（P-R）曲線，如圖17 所示。從圖17 可以看出：在召回率80%的情況下，精確率可以達到約88%，算法性能較好。

圖17 扣件缺陷識別精確率—召回率曲線

4 結(jié) 語

本文設(shè)計了基于FPGA 和DSP 的高速實時圖像采集處理系統(tǒng)：基于軌道設(shè)施的成像需求，設(shè)計了光學(xué)成像系統(tǒng)，并在嵌入式平臺下完成了高分辨率軌道圖像采集；基于數(shù)字圖像處理技術(shù)和機器學(xué)習(xí)算法設(shè)計了鋼軌區(qū)域識別、扣件定位及缺陷識別算法，實現(xiàn)了對軌道區(qū)域和扣件的自動定位，通過進一步分類實現(xiàn)了扣件異常的識別；完成了上位機軟件的設(shè)計。本文所述系統(tǒng)通過采用嵌入式技術(shù)，提高了圖像采集速度，在圖像未壓縮前進行圖像預(yù)處理，對扣件異常進行了識別，提高了系統(tǒng)的實時性，提升了檢測效率。目前，該系統(tǒng)已在綜合巡檢車應(yīng)用，且系統(tǒng)運行穩(wěn)定，系統(tǒng)的最高檢測速度可達160 km·h-1。

本文所研究的系統(tǒng)通過將軌道設(shè)施圖像進行壓縮、預(yù)處理，提高了系統(tǒng)的采集處理實時性，F(xiàn)P?GA+DSP 圖像處理平臺為實時軌道區(qū)域識別、扣件缺失定位和扣件缺陷識別提供了高效的計算資源。有效利用其多核流水線結(jié)構(gòu)和大數(shù)據(jù)吞吐能力，尤其在影響算法執(zhí)行效率的關(guān)鍵環(huán)節(jié)，盡量降低機器的執(zhí)行指令周期，進一步提高算法的性能是下一步的改進目標。另外，隨著AI 模塊的發(fā)展，具有更高并行能力的小型化處理平臺可以提供更強的計算性能，因此基于FPGA+小型化AI 模塊的嵌入式實時圖像采集處理平臺也是一個值得探索的新方向。