艦艇火災(zāi)早期探測紅外成像系統(tǒng)實時校正和盲元處理

鄒富墩，楊健

(中國船舶重工集團公司第七二六研究所，上海 201108)

艦艇火災(zāi)發(fā)展早期階段是艦艇火災(zāi)防治的關(guān)鍵時期，其火災(zāi)探測性能對后續(xù)火災(zāi)撲救具有重大影響。為了解決艦船火災(zāi)早期的探測，考慮基于紅外熱檢測技術(shù)設(shè)計開發(fā)艦船早期探測紅外熱成像系統(tǒng)，通過對監(jiān)控設(shè)備的紅外熱輻射進行采集并呈現(xiàn)紅外熱圖像，進而對紅外熱圖像進行分析可以實現(xiàn)對設(shè)備早期的異常故障進行預(yù)警，但是紅外熱成像系統(tǒng)由于工藝水平限制和數(shù)據(jù)傳輸中存在的干擾，采集到紅外探測器的像素元素會存在一定數(shù)量的盲元(紅外探測器中響應(yīng)過低的探測單元)，導(dǎo)致紅外熱成系統(tǒng)輸出的紅外熱圖像往往會存在比較多的亮暗點，嚴重影響紅外熱圖像的質(zhì)量。盲元的數(shù)量和分布對紅外探測器器件性能的影響較大，因此有必要對紅外焦平面器件中的盲元進行檢測和補償。紅外熱成像系統(tǒng)隨著溫度和時間的變化，探測器像元響應(yīng)的非均勻性會越來越嚴重。所以紅外熱成像系統(tǒng)需要對采集到的紅外探測器像元數(shù)據(jù)進行非均勻校正和盲元檢測及補償，擬采用兩點校正算法對探測器像元的增益因子和偏移因子進行實時的更新，采用簡化的動態(tài)的盲元檢測技術(shù)并采用鄰域替代法，提取盲元周圍的有效圖像數(shù)據(jù)或前后幀的圖像數(shù)據(jù)對盲元進行替代。

1 紅外成像系統(tǒng)

基于紅外熱成像檢測技術(shù)設(shè)計開發(fā)的紅外熱成像系統(tǒng)，可以大幅提高艦艇火災(zāi)超早期探測系統(tǒng)的開發(fā)能力，紅外熱成像系統(tǒng)整體框架見圖1。

圖1 紅外熱成像系統(tǒng)框架

整個紅外熱成像系統(tǒng)包括前端采集模塊、數(shù)據(jù)處理模塊兩大部分。前端采集模塊包括光學鏡頭模塊、調(diào)零機構(gòu)、FPA探測器、DAC/ADC模塊。其中，光學鏡頭模塊用于過濾光譜以及構(gòu)造光路，將視場范圍內(nèi)的屬于特定光譜范圍內(nèi)的紅外光線聚焦于紅外探測器模塊，紅外探測器模塊實現(xiàn)紅外輻射信號到數(shù)字電信號的轉(zhuǎn)換，F(xiàn)PGA模塊將轉(zhuǎn)變的紅外輻射電信號進行數(shù)據(jù)處理，主要進行非均勻校正、盲元補償、紅外熱圖像故障降噪算法實現(xiàn)、紅外輻射測溫算法實現(xiàn)以及紅外熱故障判定算法實現(xiàn)、紅外熱圖像增強算法實現(xiàn)。

FPGA模塊包括FPGA芯片、兩片高速SDRAM、FLASH存儲器、FPGA串行配置芯片、RS232串口電路、視頻輸出等。高速SDRAM 0主要用于緩存兩點校正參數(shù)(實時校正時)或圖像數(shù)據(jù)(標定時)，高速 SDRAM 1作為NIOS II系統(tǒng)的存儲器。FLASH存儲器主要保存每個探測元兩點校正參數(shù)(設(shè)定了若干組校正參數(shù)，每組參數(shù)對應(yīng)不同的環(huán)境溫度區(qū))、調(diào)試設(shè)定的電壓參數(shù)以及FPGA邏輯程序和NIOS固件程序。RS232串口電路主要用在用戶對機芯的控制。

2 紅外熱圖像實時校正技術(shù)

紅外熱成像系統(tǒng)中，一般都是采用兩點校正法來實現(xiàn)FPA探測器的非均勻性校正。

1)計算探測器每個探測單元的校正因子，即完成該探測器非均勻性校正的標定，此操作一般在出廠前進行。

2)根據(jù)標定得到的校正參數(shù)，在探測器實時圖像輸出時對每個探測單元輸出的信息進行實時非均勻校正。

探測器的非均勻校正的標定需要通過探測器對均勻輻射的黑體的響應(yīng)來進行標定?？紤]到單幀圖像獲取時可能存在干擾。因此，標定時需要采集探測器給出的幀圖像，并求出這幀圖像的平均值，作為探測器的實際響應(yīng)值。

校正算法設(shè)計實現(xiàn)過程中通過對校正使能信號, 校正累加和清零使能信號，多幀圖像累加使能信號進行管理(見圖2)，這樣可以方便的求得探測器的N幀圖像的累加和并求得其平均值。

圖2 幀圖像累加和及其平均值的計算

根據(jù)兩點校正算法，設(shè)探測器在低溫和高溫下對光路中插入的均勻輻射的黑體的標準響應(yīng)分別為和，探測器的探測單元(，)在低溫下和高溫下的實際響應(yīng)為L和H，則有

=(L+)

(1)

=(H+)

(2)

式中：和分別為探測單元(，)的偏移因子和增益因子，求解上述二元方程，可得

(3)

(4)

紅外熱成像系統(tǒng)出廠前，標定所得探測器的偏移和增益因子將會保存在紅外熱成像系統(tǒng)中的非易失Flash中，系統(tǒng)上電后由FPGA內(nèi)的NIOS處理器將其從Flash中讀出，存入SDRAM0，默認讀取的是環(huán)境溫度區(qū)的校正因子。

實時校正時，F(xiàn)PGA將讀取外部SDRAM中的校正因子，并將其送給FPGA系統(tǒng)中的實時校正計算模塊進行非均勻校正。

3 盲元檢測及補償技術(shù)

3.1 盲元檢測

FPGA 對采集到的探測器數(shù)據(jù)進行非均勻校正后，將會對探測器的所有像素點進行盲元檢測和補償，盲元有效性判定規(guī)則如下。

1)如果單個探測元的增益因子過大(高于16)，那么該探測元被認為是盲元。

2)計算有效的探測元的增益因子的均值A(chǔ)verageGain。如果單個探測元的增益不在(AverageGain-512，1.5*AverageGain+512)范圍內(nèi)，那么，該探測元也將被認為是盲元。

為了簡化硬件模塊的盲元補償邏輯，在軟件實現(xiàn)過程中對整個探測器所有像元動態(tài)的放進一個3×3矩形區(qū)域，對該矩形區(qū)域內(nèi)的9個像元進行判定，并修改像元的增益因子，具體修改規(guī)則如下。

1)若為0，表示該像元是有效元。

2)如果盲元在第一行、第一列，那么將設(shè)為1；最后一列，將設(shè)為2；否則，將設(shè)為5。

3)如果盲元在最后一行、第一列，將設(shè)為3；最后一列，將設(shè)為4；否則，將設(shè)為7。

4)如果盲元不在第一行和最后一行，第一列，那么將設(shè)為6；最后一列，將設(shè)為8；否則，將設(shè)為9。

3.2 盲元補償算法

采用鄰域替代法來進行盲元補償，根據(jù)盲元檢測后獲取的增益因子的值來進行補償。

1)對于處在第一行或者第一列或者最后一行或者最后一列，即處在圈定的3×3矩形區(qū)域的4條邊上的壞點替換原則：先從同一行(右左)中尋找非壞點(通過判斷是否為0)；若無，從同一列(上下)中尋找非壞點；若無，從對角線尋找(右左，上下)。

①如果為1。按照先相鄰后一點、相鄰下一點、相鄰對角線右下一點順序來進行補償。即如果相鄰后一點不是盲元，那么將當前盲元的值設(shè)為相鄰后一點的值，否則，按照上述順序繼續(xù)查找，直到找到非盲元的那一點，并將當前盲元的值設(shè)為那一點的值。

②如果為2。按照先相鄰前一點、相鄰下一點、相鄰對角線左下一點順序來進行補償，即如果相鄰前一點不是盲元，那么將當前盲元的值設(shè)為相鄰前一點的值；否則，按照上述順序繼續(xù)查找，直到找到非盲元的那一點，并將當前盲元的值設(shè)為那一點的值。

③如果不為3。按照先相鄰后一點、相鄰上一點、相鄰對角線右上一點順序來進行補償，即如果相鄰后一點不是盲元，那么將當前盲元的值設(shè)為相鄰后一點的值；否則，按照上述順序繼續(xù)查找，直到找到非盲元的那一點，并將當前盲元的值設(shè)為那一點的值。

④如果為4。按照先相鄰前一點、相鄰上一點、相鄰對角線左上一點順序來進行補償，即如果相鄰前一點不是盲元，那么將當前盲元的值設(shè)為相鄰前一點的值；否則，按照上述順序繼續(xù)查找，直到找到非盲元的那一點，并將當前盲元的值設(shè)為那一點的值。

⑤如果為5。按照先相鄰后一點、相鄰前一點、相鄰下一點、相鄰對角線右下一點、相鄰對角線左下一點順序來進行補償，即如果相鄰后一點不是盲元，那么將當前盲元的值設(shè)為相鄰后一點的值；否則，按照上述順序繼續(xù)查找，直到找到非盲元點，并將當前盲元值設(shè)為那一點的值。

⑥如果為6。按照先相鄰后一點、相鄰上一點、相鄰下一點、相鄰對角線右上一點、相鄰對角線右下一點順序來進行補償，即如果相鄰后一點不是盲元，那么將當前盲元的值設(shè)為相鄰后一點的值；否則，按照上述順序繼續(xù)查找，直到找到非盲元點，并將該盲元值設(shè)為那一點的值。

⑦如果為7。按照先相鄰后一點、相鄰前一點、相鄰上一點、相鄰對角線右上一點、相鄰對角線左上一點順序來進行補償，即如果相鄰后一點不是盲元，那么將當前盲元的值設(shè)為相鄰后一點的值；否則，按照上述順序繼續(xù)查找，直到找到非盲元點，并將該盲元值設(shè)為那一點的值。

⑧如果為8。按照先相鄰前一點、相鄰上一點、相鄰下一點、相鄰對角線左上一點、相鄰對角線左下一點順序來進行補償，即如果相鄰前一點不是盲元，那么將當前盲元的值設(shè)為相鄰前一點的值；否則，按照上述順序繼續(xù)查找，直到找到非盲元點，并將當前盲元值設(shè)為那一點的值。

2)不在矩形區(qū)域邊上的壞點替換原則(為9)。從經(jīng)過壞點的4條直線中尋找灰度變化最小的點；如果經(jīng)過壞點的直線中有盲元，則將該直線上的參考點全部舍棄，并且判斷沒有盲元的直線的灰度變化，選擇灰度變化最小的點。

如果經(jīng)過壞點的4條直線中都沒有盲元，則選擇灰度變化最小的點；如果經(jīng)過壞點的4條直線中都有盲元，則依次判斷盲元周圍相鄰的8個點是否是非盲元。按照先相鄰后一點、相鄰前一點、相鄰上一點、相鄰下一點、相鄰對角線右上一點、相鄰對角線左上一點、相鄰對角線右下一點、相鄰對角線左下一點順序來進行補償。即如果相鄰后一點不是盲元，那么將當前盲元的值設(shè)為相鄰后一點的值；否則，按照上述順序繼續(xù)查找，直到找到非盲元的那一點，并將當前盲元的值設(shè)為那一點的值。

3.3 實時校正參數(shù)的存儲分析

艦船火災(zāi)早期探測紅外熱成像系統(tǒng)需要實時的對探測器采集的到的紅外圖像進行實時校正和盲元處理，F(xiàn)PGA模塊會頻繁的對外部存儲器進行訪問讀寫。

FPGA模塊邏輯訪問外部SDRAM時，需要向外部SDRAM寫以下數(shù)據(jù)：偏移因子、濾波后的圖像數(shù)據(jù)、經(jīng)過處理后的視頻數(shù)據(jù)；需要從外部SDRAM讀6種數(shù)據(jù)：偏移因子、增益因子、濾波后的圖像數(shù)據(jù)、需要作增強處理的圖像數(shù)據(jù)。FPGA模塊的NIOS II軟核處理器訪問外部SDRAM時，需要向外部SDRAM寫增益因子、FPA探測器配置電壓數(shù)據(jù)。

對于FPGA邏輯寫外部SDRAM時，需要向外部SDRAM寫的3個數(shù)據(jù)是在一行內(nèi)按順序進行3次寫操作。需要注意的是，不校正的時候不需要向外部寫偏移因子，只需要寫濾波后的圖像數(shù)據(jù)、經(jīng)過處理后的視頻數(shù)據(jù)。

進行實時校正的時候，F(xiàn)PGA按偏移因子、濾波后的圖像數(shù)據(jù)、經(jīng)過處理后的視頻數(shù)據(jù)順序向外部SDRAM依次寫到SDRAM0的對應(yīng)數(shù)據(jù)存儲區(qū)域。

從外部SDRAM讀取數(shù)據(jù)時，先將讀取的數(shù)據(jù)緩存入FIFO中，再根據(jù)讀操作時序?qū)⒆x取的數(shù)據(jù)分別存入各自的FIFO中進行緩存。

往外部SDRAM寫數(shù)據(jù)時，先將3種數(shù)據(jù)分別存入3個FIFO中進行緩存，再根據(jù)寫操作時序?qū)?個FIFO中緩存的數(shù)據(jù)讀出依次寫入FIFO中，最后從FIFO中讀出寫到外部SDRAM中。

在設(shè)計開發(fā)過程中，必須注意FPGA對外部SDRAM讀寫操作時序的設(shè)計。寫操作應(yīng)發(fā)生在讀操作后，第1幀來后讀操作只是將標定存入FLASH的偏移和增益因子從外部SDRAM0里面讀出來，第1幀寫操作將圖像數(shù)據(jù)以及更新后的偏移因子存入外部SDRAM緩存1幀，等待第2幀進行讀操作將處理過的圖像數(shù)據(jù)讀出并顯示以及讀出偏移因子對圖像數(shù)據(jù)進行偏移校正并對偏移因子值進行更新。這里特別需要注意一點的是讀操作讀取的數(shù)據(jù)永遠是上一幀寫操作寫入到外部SDRAM的相應(yīng)的數(shù)據(jù)。

讀寫操作采用的是流水線模式，先處理第行的圖像數(shù)據(jù)，從外部SDRAM讀取數(shù)據(jù)并寫入FIFO中進行緩存；再處理第+1行的圖像數(shù)據(jù)，從FIFO中讀取第行緩存的數(shù)據(jù)送入實時校正和盲元處理模塊進行數(shù)據(jù)處理，同時將上一行處理后產(chǎn)生的數(shù)據(jù)寫入FIFO中進行緩存；接著處理第+2行的圖像數(shù)據(jù)，將+1行緩存在FIFO的數(shù)據(jù)讀出并寫入外部SDRAM中，具體讀寫操作流水線模式見圖3。

圖3 讀寫操作的流水線模式

4 結(jié)論

艦船火災(zāi)早期探測紅外熱成像系統(tǒng)可以在火災(zāi)發(fā)生的早期對所監(jiān)控的周圍環(huán)境發(fā)生的輻射能量進行采集并呈現(xiàn)紅外熱圖像，紅外熱圖像的質(zhì)量的高低對后期的圖像數(shù)據(jù)分析具有較大的影響。針對影響紅外熱圖像質(zhì)量的盲元數(shù)據(jù)以及探測單元響應(yīng)的非均勻性進行實時動態(tài)的非均勻校正和盲元檢測及補償算法分析表明，采用兩點校正算法實時的對像元增益因子和偏移因子進行更新和動態(tài)鄰域補償算法能對探測器的每個單元盲元處理，可以大大提高紅外熱圖像的質(zhì)量。