光電系統(tǒng)信息融合技術(shù)研究

徐書文

（中國電子科技集團(tuán)公司第三研究所，北京 100015）

0 引 言

對(duì)導(dǎo)彈、飛機(jī)、艦船等重點(diǎn)目標(biāo)進(jìn)行快速、精確的探測、攔截和打擊，是武器系統(tǒng)的主要任務(wù)。武器系統(tǒng)的主要探測手段是雷達(dá)。雷達(dá)利用電磁波的發(fā)射和接收來實(shí)現(xiàn)對(duì)目標(biāo)的探測，是一種主動(dòng)式探測方式，具有作用距離遠(yuǎn)、可以全天候工作的特點(diǎn)，但隱蔽性較差。光電系統(tǒng)可以將目標(biāo)發(fā)出的光和熱轉(zhuǎn)化為電信號(hào)，并從電信號(hào)中提取感興趣的目標(biāo)信息，從而實(shí)現(xiàn)對(duì)感興趣目標(biāo)的探測。光電系統(tǒng)是被動(dòng)式探測手段。與雷達(dá)相比，光電探測的優(yōu)點(diǎn)是隱蔽性好、探測精度高、直觀、體積小、重量輕，不受電磁干擾影響，缺點(diǎn)是易受雨霧影響。此外，針對(duì)低空和超低空目標(biāo)的探測，雷達(dá)有多路徑效應(yīng)（雷達(dá)盲區(qū)），而光電系統(tǒng)沒有多路徑效應(yīng)。另外，光電系統(tǒng)可以提供實(shí)時(shí)的圖像信息，使人們的視覺得以延伸，可以更好地獲取決策信息。因此，在現(xiàn)役武器系統(tǒng)中，光電系統(tǒng)也是重要的組成設(shè)備之一，是雷達(dá)探測的重要補(bǔ)充手段，被廣泛應(yīng)用于偵察、監(jiān)視、火控、預(yù)警、靶場測量等軍事和軍民融合領(lǐng)域。光電系統(tǒng)適裝的平臺(tái)有艦載、車載、陸基（岸基）、機(jī)載、彈載、星載等，其中彈載和星載為特殊應(yīng)用環(huán)境適裝平臺(tái)，與其他平臺(tái)的適裝布局差異較大，要求更苛刻。本文主要針對(duì)艦載、車載、陸基、機(jī)載平臺(tái)應(yīng)用的光電系統(tǒng)信息融合問題進(jìn)行探討，主要因?yàn)檫@4種應(yīng)用平臺(tái)上光電跟蹤系統(tǒng)的組成布局基本相同，且應(yīng)用最廣泛。

1 光電系統(tǒng)的基本組成及工作原理

1.1 光電系統(tǒng)的基本組成

光電跟蹤系統(tǒng)主要由光電指向器、信息控制及配電單元3部分組成，如圖1所示。光電指向器一般由紅外熱象儀、可見光攝像機(jī)、激光測距機(jī)及伺服轉(zhuǎn)臺(tái)組成，信息控制部分由伺服控制、圖像處理及綜合處理單元組成，配電單元提供系統(tǒng)所需的各種類型的直流、交流電源。在實(shí)際應(yīng)用中，指向器獨(dú)立安裝在艙外（艦載、車載、陸基）或凸出（機(jī)載）平臺(tái)載體的位置，以避免被遮擋；信息控制和配電單元一起安裝在艙內(nèi)，主要采用標(biāo)準(zhǔn)機(jī)柜或分離電子箱結(jié)構(gòu)，根據(jù)艙內(nèi)空間進(jìn)行布設(shè)[1]。

圖1 光電系統(tǒng)基本組成

艙外指向器的結(jié)構(gòu)形式主要有U型（包括倒U型）和T型結(jié)構(gòu)，如圖2所示。U型和T型指向器主要適裝于艦載、車載及陸基平臺(tái)，吊艙型指向器（倒U型）適裝于機(jī)載平臺(tái)。U型指向器一般適用于有效載荷較小的光電系統(tǒng)，其紅外熱象儀、可見光攝像機(jī)、激光測距機(jī)安裝在同一個(gè)球艙里，球艙的回轉(zhuǎn)半徑一般不超過500 mm，紅外熱象儀、可見光攝像機(jī)及激光測距機(jī)安裝在靠近球艙中心的位置，各光軸距離很近且相互平行，可以保證對(duì)目標(biāo)信息獲取的空間配準(zhǔn)，而且空間配準(zhǔn)精度高[2]。T型指向器一般應(yīng)用于有效載荷較大的光電系統(tǒng)，其紅外熱象儀和可見光攝像機(jī)分別安裝在T型結(jié)構(gòu)的兩邊，光軸間距大，空間配準(zhǔn)精度相對(duì)于U型指向器低。因此，圖像融合更適合應(yīng)用于U型指向器光電系統(tǒng)。

圖2 常用指向器結(jié)構(gòu)形式

1.2 系統(tǒng)工作原理

可見光攝像機(jī)利用目標(biāo)的光輻射成像，紅外熱象儀利用目標(biāo)的熱輻射成像，激光測距機(jī)可以對(duì)瞄準(zhǔn)的目標(biāo)進(jìn)行測距?？梢姽鈹z像機(jī)、紅外熱象儀及激光測距機(jī)安裝在伺服轉(zhuǎn)臺(tái)上，經(jīng)過光軸標(biāo)校，各光軸指向保持一致。當(dāng)伺服轉(zhuǎn)臺(tái)轉(zhuǎn)動(dòng)時(shí)，3個(gè)傳感器可以隨著伺服轉(zhuǎn)臺(tái)在俯仰和方位方向轉(zhuǎn)動(dòng)。圖像處理單元主要完成從紅外熱象儀、可見光攝像機(jī)獲取的視頻圖像（視場）中實(shí)時(shí)提取出感興趣的目標(biāo)，并計(jì)算出感興趣目標(biāo)相對(duì)于視場中心的角偏差。伺服控制單元利用角偏差控制伺服平臺(tái)向減小或消除角偏差的方向轉(zhuǎn)動(dòng)，使光學(xué)瞄準(zhǔn)線始終瞄準(zhǔn)目標(biāo)，實(shí)現(xiàn)對(duì)空間目標(biāo)的閉環(huán)跟蹤。在閉環(huán)跟蹤過程中，激光測距機(jī)可以持續(xù)對(duì)被跟蹤的目標(biāo)進(jìn)行測距，獲得目標(biāo)相對(duì)于光電系統(tǒng)（觀測點(diǎn)）的距離。綜合處理單元根據(jù)角偏差、伺服轉(zhuǎn)臺(tái)駕位信息、目標(biāo)距離信息和適裝平臺(tái)地理信息（如捷聯(lián)信息等）可以計(jì)算出目標(biāo)在大地坐標(biāo)系中的三維地理信息，并將該信息送往武器控制系統(tǒng)用于對(duì)目標(biāo)的攔截和打擊；綜合處理單元產(chǎn)生系統(tǒng)工作所需的各種控制指令，如捕獲/釋放、方位搜索、俯仰搜索等控制指令，同時(shí)還實(shí)時(shí)顯示紅外熱象儀、可見光攝像機(jī)攝取的視頻圖像；綜合處理單元還根據(jù)解算出來的目標(biāo)運(yùn)動(dòng)地理信息，建立目標(biāo)運(yùn)動(dòng)軌跡和態(tài)勢顯示圖形，操作手或指揮員根據(jù)視頻圖像、態(tài)勢顯示判斷目標(biāo)運(yùn)動(dòng)的威脅性。配電單元將外部輸入的220 V 50 Hz（或220 V 400 Hz）交流電源通過AC-DC、DC-DC模塊的電源轉(zhuǎn)換，提供光電系統(tǒng)內(nèi)部設(shè)備所需各種類型電源[3]。

2 光電系統(tǒng)信息融合技術(shù)應(yīng)用分析

信息融合一般分為像素級(jí)圖像融合、特征級(jí)融合及決策級(jí)融合3個(gè)層次。像素級(jí)圖像融合主要利用異構(gòu)來源圖像信息的互補(bǔ)特性，通過像素的時(shí)空配準(zhǔn)，再利用算法對(duì)像素灰度進(jìn)行有機(jī)結(jié)合，形成信息更豐富的融合圖像，更易于人類觀察和識(shí)別感興趣圖像區(qū)域。像素級(jí)圖像融合主要應(yīng)用于遙感圖像和圖片的復(fù)合、圖像分析及理解方面。特征級(jí)信息融合是將異構(gòu)來源圖像中提取的目標(biāo)特征進(jìn)行互補(bǔ)處理，既可以增加目標(biāo)強(qiáng)度，也可以增加目標(biāo)特征維度，彌補(bǔ)單一來源圖像中特征遺漏（未檢測到）的不足，豐富目標(biāo)的特征信息，有利于對(duì)目標(biāo)的識(shí)別和抗干擾。決策級(jí)融合是指對(duì)異構(gòu)來源的決策信息（如光電、雷達(dá)等）進(jìn)行有機(jī)結(jié)合，增強(qiáng)決策信息的魯棒性，提高決策信息的可靠性[4]。

一般來說，融合方法越復(fù)雜，有效性越高，但計(jì)算量也越大，實(shí)時(shí)性越差。融合方法越簡單，有效性越低，但計(jì)算量也越小，實(shí)時(shí)性越好。因此實(shí)際應(yīng)用時(shí)不僅要考慮融合方法的有效性，還要考慮融合方法的實(shí)時(shí)性。像素級(jí)融合對(duì)異構(gòu)來源的圖像按照?qǐng)D像的像素?cái)?shù)逐一進(jìn)行融合算法的處理，是計(jì)算量最大的融合方法，特別是當(dāng)圖像尺寸和分辨率增加時(shí)，計(jì)算量也會(huì)成倍增加。特征融合方法是對(duì)異構(gòu)來源的目標(biāo)特征（如目標(biāo)的寬、高、位置、速度、距離等）進(jìn)行融合處理，計(jì)算量只與感興趣的目標(biāo)數(shù)量有關(guān)，目標(biāo)越多，計(jì)算量越大，目標(biāo)越少，計(jì)算量就越小，一般不隨圖像尺寸增大而增大。由于在一幅圖像中，目標(biāo)的數(shù)量遠(yuǎn)遠(yuǎn)小于像素的數(shù)量，因此，特征融合的計(jì)算量遠(yuǎn)遠(yuǎn)小于像素級(jí)圖像融合的計(jì)算量。決策級(jí)融合是對(duì)異構(gòu)來源的決策信息進(jìn)行融合處理，決策信息是通過對(duì)大量的目標(biāo)特征進(jìn)行提取、識(shí)別、分析后獲得的最終結(jié)果，每一個(gè)系統(tǒng)來源的最終（決定動(dòng)作）決策只有一個(gè)，因此，決策融合的計(jì)算量比特征融合的計(jì)算量更小。因此，在實(shí)際應(yīng)用中，應(yīng)根據(jù)系統(tǒng)實(shí)時(shí)性的要求，選擇滿足實(shí)時(shí)性要求的融合方法，才能充分發(fā)揮信息融合的有 效性[5]。

早期的光電系統(tǒng)只有可見光攝像機(jī)，隨著紅外技術(shù)的發(fā)展，紅外熱象儀得到了廣泛應(yīng)用。目前常規(guī)的光電系統(tǒng)一般都配有可見光攝像機(jī)、紅外熱象儀以及激光傳測距機(jī)，主要用于對(duì)目標(biāo)的搜索、跟蹤及監(jiān)視。激光測距機(jī)提供目標(biāo)的距離特征信息，可見光攝像機(jī)、紅外熱象儀同時(shí)提供光輻射和熱輻射的成像信息，但系統(tǒng)對(duì)成像信息進(jìn)行處理時(shí)，只對(duì)一個(gè)被選擇的圖像通道進(jìn)行目標(biāo)的特征提取、識(shí)別和決策，即對(duì)紅外和可見光2選1之后的圖像通道進(jìn)行處理，也稱作單通道信號(hào)處理方案，如圖3所示。雖然單通道信號(hào)處理方案可以降低對(duì)圖像處理電路的要求，降低設(shè)備成本，然而始終有一個(gè)通道的圖像信息處于閑置狀態(tài)，圖像信息被浪費(fèi)掉了。此外，當(dāng)有一個(gè)通道沒有檢測到目標(biāo)，而另一個(gè)通道可以檢測到目標(biāo)時(shí)，仍會(huì)有“沒有目標(biāo)”的“決策”輸出，需要由人工切換通道，選擇可以檢測到目標(biāo)的通道進(jìn)行工作。因此，在單通道信號(hào)處理方案中，上述3種融合方法都沒有應(yīng)用。有的系統(tǒng)在決策過程采用了算法融合方法，如質(zhì)心跟蹤和相關(guān)跟蹤算法的融合，但是收效甚微。傳統(tǒng)的光電系統(tǒng)主要采用單通道信號(hào)處理方案，圖像信息沒有被充分利用，人工干預(yù)環(huán)節(jié)多，智能化程度很低。

圖3 單通道信號(hào)處理方案

隨著信息融合技術(shù)的發(fā)展和廣泛應(yīng)用，新型光電系統(tǒng)也在逐步采用信息融合技術(shù)以提高裝備的性能。目前新型光電系統(tǒng)基本都采用至少由可見光攝像機(jī)和紅外熱象儀兩個(gè)成像通道組成的傳感器方案，而且，可見光攝像機(jī)和紅外熱象儀在系統(tǒng)安裝時(shí)進(jìn)行了光軸標(biāo)校，保證紅外熱象儀和可見光攝像機(jī)的光軸一致性，即在空間上是配準(zhǔn)的。此外，可見光攝像機(jī)和紅外熱象儀都接受系統(tǒng)同步信號(hào)，因此在時(shí)間上也是對(duì)準(zhǔn)的。對(duì)于這種可見光攝像機(jī)和紅外熱象儀并存，并且圖像在時(shí)空都是配準(zhǔn)的光電系統(tǒng)，從理論上來說，3種融合方式都可以實(shí)現(xiàn)。

可見光攝像機(jī)利用物體的光輻射成像，紅外熱象儀利用物體的熱輻射成像，經(jīng)常出現(xiàn)可見光攝像機(jī)看得見目標(biāo)而紅外熱象儀看不見目標(biāo)，或者紅外熱象儀看得見目標(biāo)而可見光攝像機(jī)看不見目標(biāo)的情況。一般在能見度良好（≥15 km）的情況下，可見光攝像機(jī)作用距離比紅外熱象儀遠(yuǎn)，但在夜晚、黃昏及霧天情況下，可見光攝像機(jī)看不見或看不清時(shí)，紅外熱象儀卻能看得見、看得清，因此，紅外和可見光成像信息具有互補(bǔ)特性，具備像素級(jí)圖像融合條件，光電系統(tǒng)圖像融合方案如圖4所示。

圖4 光電系統(tǒng)像素級(jí)融合方案

在圖4中，可見光和紅外圖像先進(jìn)行像素級(jí)融合，形成成像信息互補(bǔ)的融合圖像，在融合圖像中進(jìn)行目標(biāo)的特征提取、識(shí)別和決策，可以大大提高光電系統(tǒng)的作用距離、目標(biāo)識(shí)別能力和自主決策能力。然而在工程實(shí)現(xiàn)過程中，由于可見光分辨率高于紅外分辨率，而且兩者探測器像元尺寸也不一樣，采用的光學(xué)鏡頭的視場角也不一樣，因此，要保證像素配準(zhǔn)，需要進(jìn)行比例調(diào)整。例如，對(duì)于PAL制模擬視頻，一般可見光分辨率采用512×512分辨率，紅外為320×256分辨率。對(duì)于目前常用的數(shù)字視頻，可見光分辨率可以從1k×1k到5k×4k，而紅外只能到640×512。這種比例變換不僅會(huì)帶來像素級(jí)誤差，而且信號(hào)處理的復(fù)雜度也大大增加。此外，通過光學(xué)設(shè)計(jì)可以保證紅外和可見光視場大小一致，加工和裝配帶來的配準(zhǔn)誤差也有幾個(gè)像素，通過像素級(jí)移動(dòng)可以基本消除，能滿足像素級(jí)融合條件。但是對(duì)于批量生產(chǎn)而言，光學(xué)結(jié)構(gòu)精密加工以及精密裝配保證每一套產(chǎn)品都滿足像素級(jí)融合的條件，時(shí)間成本和材料成本都很高。由于實(shí)時(shí)性和時(shí)空配準(zhǔn)精度要求高，目前光電系統(tǒng)一般很少采用像素級(jí)融合方法，只有在特殊情況下采用像素級(jí)融合提供用于觀察的圖像。

光電系統(tǒng)特征級(jí)融合方案分別在可見光和紅外圖像中進(jìn)行目標(biāo)的特征提取，再進(jìn)行特征融合，之后進(jìn)行目標(biāo)的識(shí)別和決策，如圖5所示。采用特征融合的方法，可以利用目標(biāo)特征的互補(bǔ)性提高對(duì)目標(biāo)的識(shí)別和抗干擾能力，同時(shí)不需要人工切換通道，也提高了光電系統(tǒng)的智能化程度。光電系統(tǒng)的特征融合相對(duì)于像素級(jí)的圖像融合而言，運(yùn)算量大幅減少，實(shí)時(shí)性提高，并且對(duì)光學(xué)系統(tǒng)加工、結(jié)構(gòu)加工和裝配的精度要求也大大降低，工程實(shí)現(xiàn)更容易，但是特征融合需要兩套特征提取電路，即硬件電路復(fù)雜一些。

光電系統(tǒng)決策級(jí)融合方案是系統(tǒng)分別對(duì)紅外、可見光圖像進(jìn)行特征提取、識(shí)別和決策，之后再對(duì)兩個(gè)通道的決策信息進(jìn)行融合處理，輸出最終決策，如圖6所示。從圖6可以看出，光電系統(tǒng)決策級(jí)融合采用的是雙通道并行信號(hào)處理方案，當(dāng)兩個(gè)通道都檢測到“有目標(biāo)”決策時(shí)，利用視場中目標(biāo)的位置信息進(jìn)行加權(quán)輸出位置決策，或者取離視場中心最近的位置為輸出決策；當(dāng)一個(gè)通道檢測到目標(biāo)“有目標(biāo)”而另一個(gè)通道檢測“無目標(biāo)”時(shí)，也會(huì)有“有目標(biāo)”決策輸出；當(dāng)兩個(gè)通道都輸出“沒有目標(biāo)”的決策時(shí)，系統(tǒng)才輸出“沒有目標(biāo)”的決策。光電系統(tǒng)采用雙通道信號(hào)處理方案時(shí)，兩個(gè)通道的信息都得到了利用，沒有浪費(fèi)圖像通道信息資源。盡管圖像信號(hào)處理的電路成本比特征融合方案（圖5方案）硬件成本高，但工作通道的選擇不需要人工干預(yù)，而是自主決策，提高了系統(tǒng)的智能化 程度。

圖6 光電系統(tǒng)決策級(jí)融合方案

近年來集成電路技術(shù)發(fā)展迅猛，硬件大容量、小型化、通用化、低成本，使得硬件電路的體積和費(fèi)用已經(jīng)不再是關(guān)注的主要問題。與此同時(shí)，隨著硬件運(yùn)算速度的提升，深度學(xué)習(xí)、大數(shù)據(jù)、邊緣計(jì)算等技術(shù)的發(fā)展，為信息融合技術(shù)在光電系統(tǒng)中的應(yīng)用和光電系統(tǒng)智能化水平的提升提供了更好的手段。

3 光電系統(tǒng)信息融合技術(shù)發(fā)展與思考

導(dǎo)彈、飛機(jī)等目標(biāo)速度的提高，對(duì)光電系統(tǒng)的實(shí)時(shí)性提出了更高的要求，同時(shí)低小慢目標(biāo)威脅性的增加，對(duì)目標(biāo)的分辨能力和識(shí)別能力的要求也在不斷提高。硬件的小型化、通用化、功能的不斷強(qiáng)大以及算法的不斷優(yōu)化，為實(shí)時(shí)性、分辨能力和識(shí)別能力的提高提供了堅(jiān)實(shí)的基礎(chǔ)。此外，高分辨率、多波段光學(xué)傳感器也在快速地發(fā)展，光電系統(tǒng)仍然是光電探測系統(tǒng)的重要組成設(shè)備之一，會(huì)被更廣泛地應(yīng)用于偵察、火控、制導(dǎo)、預(yù)警、靶場測量、重點(diǎn)區(qū)域防護(hù)等領(lǐng)域。信息融合技術(shù)在光電系統(tǒng)中的深度應(yīng)用可以大大提高對(duì)目標(biāo)的識(shí)別和探測能力，提高系統(tǒng)的智能化程度，這對(duì)提升武器系統(tǒng)的防御和打擊能力非常重要。因此，信息融合技術(shù)在光電系統(tǒng)中的深度應(yīng)用研究仍是當(dāng)今及未來五年研究的熱點(diǎn)，主要應(yīng)用趨勢分析如下。

3.1 像素級(jí)融合

像素級(jí)融合是精度最高的融合方案，它可以優(yōu)化圖像原始信息，從圖像信息源上解決一個(gè)通道“看得見目標(biāo)”而另一個(gè)通道“看不見目標(biāo)”的問題，有利于提高對(duì)目標(biāo)的發(fā)現(xiàn)、特征提取、識(shí)別和自主決策能力，而且信號(hào)處理只采用一路硬件電路，可以大大降低成本，減小體積。然而，實(shí)現(xiàn)像素級(jí)融合，必須在保證高精度像素級(jí)時(shí)空配準(zhǔn)技術(shù)獲得突破才有可能在工程上獲得真正的應(yīng)用，目前短時(shí)間內(nèi)實(shí)時(shí)性好的高精度像素級(jí)時(shí)空配準(zhǔn)技術(shù)難以有大的突破，因此研究仍然會(huì)停留在理論研究階段。

3.2 特征級(jí)融合

特征級(jí)融合只須對(duì)可見光和紅外通道分別提取特征，進(jìn)行特征級(jí)的時(shí)空配準(zhǔn)和特征融合，不要求像素級(jí)的時(shí)空配準(zhǔn)，降低了對(duì)光學(xué)、機(jī)械結(jié)構(gòu)精密加工和裝配精度的要求，工程實(shí)現(xiàn)更容易，而且特征融合精度比決策級(jí)融合精度高。光電系統(tǒng)特征級(jí)融合不僅可以有效解決一個(gè)通道“看得見目標(biāo)”而另一個(gè)通道“看不見目標(biāo)”的問題，融合后的目標(biāo)特征（如目標(biāo)形狀、灰度等特征）還可以大大提高對(duì)目標(biāo)的識(shí)別能力和抗干擾能力，便于深度學(xué)習(xí)技術(shù)在光電系統(tǒng)中的應(yīng)用。隨著硬件電路的小型化、低成本化以及計(jì)算功能的強(qiáng)大，可以支持更復(fù)雜、更大計(jì)算量的算法實(shí)時(shí)實(shí)現(xiàn)，使得特征融合技術(shù)將在光電系統(tǒng)中得到廣泛的應(yīng)用。

3.3 決策級(jí)融合

決策級(jí)融合在光電系統(tǒng)中應(yīng)用方法簡單，易實(shí)現(xiàn)，因?yàn)闆Q策的信息量不需要空間配準(zhǔn)，一般只需要在時(shí)間上配準(zhǔn)就可以了。盡管決策級(jí)融合也能有效解決一個(gè)通道“看得見目標(biāo)”而另一個(gè)通道“看不見目標(biāo)”的自主決策問題，但是在目標(biāo)識(shí)別方面只取決于單通道的能力，因此，決策的置信度比特征級(jí)融合方法要低。此外，由于沒有目標(biāo)的形狀、灰度等重要特征信息，不能對(duì)目標(biāo)進(jìn)行深度學(xué)習(xí)，識(shí)別能力難有大的提高。

4 結(jié) 語

未來光電系統(tǒng)在高實(shí)時(shí)性、高精度像素級(jí)時(shí)空配準(zhǔn)技術(shù)沒有大的突破之前，高實(shí)時(shí)性的特征級(jí)融合方法會(huì)成為光電系統(tǒng)信息融合的主要方法，結(jié)合深度學(xué)習(xí)技術(shù)，可以使光電系統(tǒng)在目標(biāo)識(shí)別和決策能力的智能程度方面取得大的突破，使光電系統(tǒng)更“智慧”，滿足實(shí)戰(zhàn)的需要。