基于多圖像傳感器的激光光斑采集與處理系統(tǒng)設(shè)計*

高世杰，盛 磊，李一芒，吳志勇

(1.中國科學(xué)院 長春光學(xué)精密機械與物理研究所，吉林 長春130033;2.中國科學(xué)院大學(xué)，北京100039)

0 引 言

隨著科學(xué)技術(shù)的不斷發(fā)展，多譜段成像技術(shù)已廣泛應(yīng)用于激光照明、無源戰(zhàn)地預(yù)警、水下搜尋救援等領(lǐng)域中，采用多個波段的探測器成像，能夠更全面、更準(zhǔn)確地捕獲待測區(qū)域多個譜段的輻射信息，從而具備更強的探測能力［1～3］。為進行比對，得出準(zhǔn)確性相對較高的結(jié)論，中國科學(xué)院長春光學(xué)精密機械與物理研究所的課題組在開展近海面激光通信大氣擾動模型參數(shù)測量實驗時，引入多譜段成像技術(shù)，分別采用可見光相機和短波紅外相機對激光光斑進行成像。一般在實際應(yīng)用中，采用多個圖像采集與處理系統(tǒng)，為了能夠?qū)崿F(xiàn)對多圖像傳感器采集的激光光斑圖像的實時融合處理，需要將多圖像傳感器對應(yīng)的采集與處理單元集成到一套系統(tǒng)中。

本文基于現(xiàn)場可編程門陣列(FPGA)+多核數(shù)學(xué)信號處理器(DSP)架構(gòu)設(shè)計了雙路圖像采集與實時處理系統(tǒng)，

1 系統(tǒng)組成

所設(shè)計的雙波段激光光斑采集與處理系統(tǒng)框圖如圖1所示，其主要工作原理為:短波紅外相機和可見光相機在FPGA 生成的同步觸發(fā)信號控制下采集圖像信號，相機分辨率均設(shè)置為208×200，采集頻率為500 Hz，紅外數(shù)字圖像與可見光數(shù)字圖像經(jīng)Camera Link 接口傳輸至圖像處理系統(tǒng)中，F(xiàn)PGA 內(nèi)部開辟資源接收并緩存數(shù)字圖像信號，然后與DSP 按一定策略和算法對圖像進行處理，所得結(jié)果由FPGA 內(nèi)部開辟的PCI—e 通信單元傳輸至計算機中。

圖1 采集與處理系統(tǒng)框圖Fig 1 Block diagram of data acquisition and processing system

為提升硬件系統(tǒng)對卷積運算的并行處理能力，同時適應(yīng)高頻率數(shù)據(jù)采集條件下對內(nèi)部緩存資源的要求，設(shè)計選用FPGA 器件和 DSPs。設(shè)計時選取 Xilinx 公司的XC5VLX110T 型高速FPGA 芯片作為系統(tǒng)的核心元器件之一。XC5VLX110T 型FPGA 內(nèi)部資源豐富，共有17 280 個資源片，每個資源片內(nèi)包括4 個LUT 和4 個觸發(fā)器;擁有64 個DSP48E 數(shù)字信號運算內(nèi)核，其中每個內(nèi)核都包括1 個25×18 的乘法器，1 個加法器和1 個累加器;此外該型號FPGA 內(nèi)部資源還包括:5 328 kb 塊RAM，12 個時鐘管理模塊，6 個鎖相環(huán)，1 個PCI—e 內(nèi)核，680 個可供用戶使用的I/O 資源。利用XC5VLX110T 型FPGA 內(nèi)的功能內(nèi)核和豐富的存儲資源可以實現(xiàn)濾波與通信控制等功能。FPGA+8 核DSP 架構(gòu)的處理單元是本文設(shè)計的實時采集與處理系統(tǒng)的核心部分，其邏輯單元設(shè)計框圖如圖2。

圖2 邏輯單元設(shè)計框圖Fig 2 Block diagram of logical unit design

核心器件的主要工作過程為:FPGA 的圖像接受控制模塊通過FPGA 的IO 資源控制，Camera Link 接口接收數(shù)字圖像信號，數(shù)字圖像在緩存模塊和DDR2 所提供的存儲資源條件下進行乒乓緩存，圖像預(yù)處理模塊圖像預(yù)處理操作，F(xiàn)PGA 將預(yù)處理后的圖像送入DSP 中進行復(fù)雜的圖像處理運算，F(xiàn)PGA 與DSP 間的通信經(jīng)SRIO 協(xié)議完成。設(shè)計8 核DSP 中的其中一個核為決策器和控制器，用于實現(xiàn)SRIO 通信協(xié)議，多核資源的分配與調(diào)度以及處理結(jié)果的整合，其它7 核將圖像分為7 份進行并行處理，決策器對圖像進行分片時設(shè)置一定的重疊區(qū)域。DSP 完成工作后將圖像整合，經(jīng)SRIO 回傳至FPGA，F(xiàn)PGA 對圖像進行目標(biāo)提取，并在FPGA 內(nèi)部開辟PCI—e 通信內(nèi)核，將處理圖像、目標(biāo)位置信息和原始圖像信息以DMA 方式按PCI—eX4 模式傳入計算機中。系統(tǒng)硬件如圖3 所示。

圖3 硬件系統(tǒng)實物圖Fig 3 Physical map of hardware system

2 算法設(shè)計

當(dāng)激光通信鏈路經(jīng)過大氣時，由于受湍流的影響，系統(tǒng)所獲得的激光光斑圖像是退化后的圖像，會導(dǎo)致對質(zhì)心位置提取精度下降。工程中常用的形態(tài)學(xué)算子會使目標(biāo)中心位置發(fā)生改變，影響光斑中心檢測精度。國內(nèi)外學(xué)者針對大氣湍流導(dǎo)致圖像退化提出的解決方法可歸納為三類:多幀重構(gòu)法［4］、自適應(yīng)光學(xué)法［5］和盲復(fù)原方法［6］。多幀重構(gòu)法屬于事后處理方法，其原理與實時性相矛盾;自適應(yīng)光學(xué)實現(xiàn)方式復(fù)雜;盲復(fù)原方法若不進行迭代則復(fù)原效果不佳，若迭代次數(shù)過多則難以滿足實時性要求。實驗中，采用改進的激光光斑退化圖像的快速盲復(fù)原方法，在對光斑圖像進行快速復(fù)原的基礎(chǔ)上，對光斑目標(biāo)域進行分割，并通過連通域計算實時提取復(fù)原后的光斑中心位置信息。

經(jīng)復(fù)原后的圖像需要進行一系列處理，其算法流程如圖4 所示。

圖4 算法設(shè)計流程Fig 4 Design procedure of algorithm

中值濾波［7］是紅外圖像檢測過程中常用的空域濾波方法，濾波器結(jié)構(gòu)簡單，容易在硬件平臺上實現(xiàn)，尤其適用于斑點噪聲和椒鹽噪聲。中值濾波算法是一種基于非參數(shù)統(tǒng)計的排序算法。該算法是利用背景區(qū)域的相似性和弱小目標(biāo)局部極值特性，結(jié)合非參數(shù)統(tǒng)計方法構(gòu)造的一種圖像預(yù)處理方法，其計算公式如下

式中 f(x，y)為原始圖像中位于(x，y)處像素灰度值，b(x，y)為中值濾波后圖像位于坐標(biāo)(x，y)處像素灰度值，在圖像預(yù)處理過程中可將b(x，y)視為背景，R 為計算的局部區(qū)域，s(x，y)為得到的預(yù)處理后的輸出圖像。剪切波［8］與小波變換［9］相比，同時具有多分辨、局域性和方向性等優(yōu)點。剪切波變換定義如下

其中，T 為閾值。剪切波能夠從多尺度幾何分析的角度對圖像進行處理，在去除噪聲、背景的同時，盡量避免目標(biāo)信息的丟失。在閾值分割算法方面，為保證系統(tǒng)實時性，設(shè)計中采用控制計算機動態(tài)設(shè)定全局閾值，最后進行連通域分析，確定圖像中是否包含光斑目標(biāo)，如果有，則輸出目標(biāo)中心的坐標(biāo)值。

3 實驗結(jié)果

實驗場景如圖5 所示，實驗平臺搭建如圖6 所示。

圖5 實驗場景Fig 5 Experimental scene

圖6 實驗平臺框圖Fig 6 Block diagram of experimental platform

發(fā)射端由兩臺激光器，經(jīng)80 mm 口徑通信鏡頭向?qū)Π栋l(fā)射850，1 550 nm 波段的激光，接收端在平臺上放置兩個150 mm 口徑，1 500 mm 焦距的卡式結(jié)構(gòu)光學(xué)天線，分別對兩個波段的光束進行接收，其中，可見光相機在850 nm 波段的量子相應(yīng)效率為12%，在1 550 nm 波段的量子相應(yīng)效率可視作0，短波紅外相機在1550 nm 波段的量子相應(yīng)效率約為40%，在850 nm 波段量子相應(yīng)效率極低，兩種相機在時統(tǒng)終端的觸發(fā)下，以500 Hz 的頻率進行光斑圖像同步采集，經(jīng)Camera Link 數(shù)據(jù)線分別傳輸至實時圖像處理系統(tǒng)中。同步圖像采集結(jié)果如圖7 所示，其中，(a)圖為可見光相機采集圖像，(b)圖為紅外相機采集圖像，時間信息疊加在圖像的第一行上(圖像第一行未經(jīng)實時處理)。

實時輸出的光斑中心形心位置與事后通過Matlab 對原圖質(zhì)心進行的比較結(jié)果如表1 所示，其中，當(dāng)未發(fā)現(xiàn)激光光斑時，給出的目標(biāo)坐標(biāo)值為(0，0)。

圖7 同步采集圖像Fig 7 Synchronously acquired image

表1 形心計算結(jié)果與原圖質(zhì)心比較Tab 1 Comparison of centroid and gravity

通過5 000 幀圖像實時形心計算結(jié)果與事后質(zhì)心計算結(jié)果進行比較，將事后質(zhì)心結(jié)果看作真值，則形心計算誤差平均值為:x 方向0.21 像素，y 方向0.15 像素。通過解算疊加在圖像第一行的時間信息，能夠定位同一時間段內(nèi)的可見光圖像和紅外圖像，并根據(jù)光斑中心的到達角起伏方差和閃爍指數(shù)，計算并比較該時間段內(nèi)的大氣折射率結(jié)構(gòu)常數(shù)。為了便于事后對圖像的查看與處理，系統(tǒng)不但能實時工作，并且能實現(xiàn)對圖像的實時存儲。在進行同步存儲時，實時采集與處理系統(tǒng)以DMA 方式按PCI—e 協(xié)議向服務(wù)器傳輸數(shù)據(jù)，根據(jù)相機分辨率和幀頻，其傳輸數(shù)據(jù)流為20 MB/s，測試計算機的磁盤讀寫速度在穩(wěn)定后均大于100 MB/s，理論上完全支持相機采集圖像的數(shù)據(jù)流實時存儲，但在實際實驗中，數(shù)據(jù)寫入磁盤會產(chǎn)生間歇性的寫入錯誤。使用乒乓緩存寫入數(shù)據(jù)解決上述問題時，會產(chǎn)生串幀和丟幀，即使改變乒乓策略，修改線程優(yōu)先級，也無法消除丟幀串幀的現(xiàn)象。丟幀和串幀的產(chǎn)生是因為電腦運行的是非實時操作系統(tǒng)Window 7 64 bit，因此，CPU 不能按理論性能實時完成讀寫操作。開辟內(nèi)存，以鏈表形式進行數(shù)據(jù)讀寫，暫時不能完成存儲的數(shù)據(jù)緩存在內(nèi)存中，由于計算機內(nèi)存相對較大(64 GB)，實際外場中單次記錄時間約30 min，30 min 時間所積累在內(nèi)存中的數(shù)據(jù)小于50 MB，因此，采用鏈表形式能夠有效地避免丟幀和串幀現(xiàn)象的發(fā)生。圖8 所示即是隨著記錄時間不斷延長，內(nèi)存開辟空間發(fā)生的變化。

4 結(jié) 論

為更好地定量評價大氣湍流對近海激光通信的影響，需采用雙波段激光驗證不同大氣折射率結(jié)構(gòu)常數(shù)估算模型方法，并在船用激光通信系統(tǒng)的實際應(yīng)用環(huán)境中進行實驗。本文根據(jù)實驗需求設(shè)計了基于可見光CMOS 傳感器和短波紅外傳感器的圖像采集與處理系統(tǒng)，系統(tǒng)能夠在500 Hz 的工作頻率下同步采集850 nm 和1 550 nm 激光光斑圖像，并對圖像進行處理與存儲，滿足雙波段大氣折射率結(jié)構(gòu)常數(shù)測量實驗的要求，為近海激光通信關(guān)鍵技術(shù)研究提供了技術(shù)支持。

圖8 鏈表緩存數(shù)據(jù)前后內(nèi)存占用比較Fig 8 Memory usage before and after linked list cached data

［1］ 郭幫輝，王 健，黃劍波，等.三波段光學(xué)成像系統(tǒng)設(shè)計及鬼像分析［J］.光子學(xué)報，2014(1):104－108.

［2］ 黃漫國，樊尚春，鄭德智，等.多傳感器數(shù)據(jù)融合技術(shù)研究進展［J］.傳感器與微系統(tǒng)，2010，29(3):5－8，12

［3］ 田 娟，鄭郁正.模板匹配技術(shù)在圖像識別中的應(yīng)用［J］.傳感器與微系統(tǒng)，2008，27(1):112－114，117.

［4］ Larry C Andrews，Ronald L Phillips.Laser beam prorogation through random media［M］.Bellingham，Washington:SPIE Optical Engineering Press，1998:210.

［5］ Babcock H W.The possibility of compensating astronomical seeing［M］.San Francisco:Publication of the Astronomical Society of the Pacific，1953:229－236.

［6］ Carasso A S.Direct blind deconvolution［J］.Appl Math，2001，61(6):1980－2007.

［7］ 趙高長，張 磊，武風(fēng)波.改進的中值濾波算法在圖像去噪中的應(yīng)用［J］.應(yīng)用光學(xué)，2011(4):678－682.

［8］ 鄭 紅，鄭 晨，閆秀生，等.基于剪切波變換的可見光與紅外圖像融合算法［J］.儀器儀表學(xué)報，2012(7):1613－1619.

［9］ 郭彤穎，吳成東，曲道奎.小波變換理論應(yīng)用進展［J］.信息與控制，2004(1):67－71.