基于多傳感器融合的圖像識(shí)別與目標(biāo)檢測(cè)研究

摘要：隨著科技的飛速發(fā)展，智能設(shè)備在導(dǎo)航、自動(dòng)駕駛、安全監(jiān)控等領(lǐng)域的應(yīng)用日益廣泛，但單個(gè)傳感器往往難以應(yīng)對(duì)復(fù)雜多變的環(huán)境條件，多傳感器信息融合技術(shù)應(yīng)運(yùn)而生，成為提高目標(biāo)檢測(cè)準(zhǔn)確性和魯棒性的關(guān)鍵手段。為優(yōu)化圖像識(shí)別和目標(biāo)檢測(cè)技術(shù)，文章主要分析了多傳感器融合技術(shù)在圖像識(shí)別與目標(biāo)檢測(cè)中的優(yōu)化應(yīng)用方案，通過(guò)整合不同的傳感器信息，提出一種改進(jìn)的多傳感器融合算法，以增進(jìn)目標(biāo)檢測(cè)準(zhǔn)確性和魯棒性。研究結(jié)果表明，在圖像識(shí)別與目標(biāo)檢測(cè)中融合多傳感器可顯著增進(jìn)目標(biāo)檢測(cè)的效率與精度，尤其可高效應(yīng)對(duì)動(dòng)態(tài)環(huán)境和復(fù)雜環(huán)境。

關(guān)鍵詞：多傳感器融合；圖像識(shí)別；目標(biāo)檢測(cè)；神經(jīng)網(wǎng)絡(luò)；準(zhǔn)確性

中圖分類(lèi)號(hào)：TP212 文獻(xiàn)標(biāo)志碼：A文獻(xiàn)標(biāo)志碼

0 引言

基于科學(xué)技術(shù)飛速發(fā)展的時(shí)代背景，智能系統(tǒng)在設(shè)計(jì)與開(kāi)發(fā)期間，已經(jīng)逐漸引進(jìn)并深度應(yīng)用圖像識(shí)別與目標(biāo)檢測(cè)技術(shù)［1］。但是，在當(dāng)前大多數(shù)的智能系統(tǒng)中，其應(yīng)用的傳感器設(shè)備存在單一性，并且在面對(duì)復(fù)雜環(huán)境的影響時(shí)，也普遍難以精確檢測(cè)，從而降低了獲取信息的精準(zhǔn)度。多傳感器融合技術(shù)的出現(xiàn)，為優(yōu)化改進(jìn)智能系統(tǒng)圖像識(shí)別與目標(biāo)檢測(cè)提供了新思路。本文旨在整合紅外傳感器與可見(jiàn)光傳感器的信息，提出一種改進(jìn)的多傳感器融合算法，以期在動(dòng)態(tài)和復(fù)雜環(huán)境中實(shí)現(xiàn)更準(zhǔn)確、更穩(wěn)定的目標(biāo)檢測(cè)。為此，本文深入研究神經(jīng)網(wǎng)絡(luò)集成在傳感器信息融合中的應(yīng)用，設(shè)計(jì)特征提取與融合策略，并優(yōu)化融合后的目標(biāo)檢測(cè)算法。在研究方法上，以神經(jīng)網(wǎng)絡(luò)集成技術(shù)作為基礎(chǔ)，并聯(lián)式結(jié)構(gòu)實(shí)現(xiàn)多傳感器圖像識(shí)別與目標(biāo)檢測(cè)的集成。重點(diǎn)關(guān)注特征提取的重要性，并針對(duì)紅外傳感器和可見(jiàn)光傳感器的特點(diǎn)，分別設(shè)計(jì)特征提取方法。在特征級(jí)融合策略上，采用特征歸一化、加權(quán)平均融合和主成分分析等技術(shù)手段，以獲得更全面、更魯棒的特征表示。本文提出的多傳感器融合算法能夠有效整合不同傳感器的優(yōu)勢(shì)，并顯著提高目標(biāo)檢測(cè)的準(zhǔn)確性和穩(wěn)定性。此外，優(yōu)化與改進(jìn)融合后的目標(biāo)檢測(cè)算法，不僅精簡(jiǎn)了分支邏輯，而且能夠消除重復(fù)運(yùn)算和優(yōu)化存儲(chǔ)空間。本文一方面為多傳感器融合技術(shù)的發(fā)展提供新的思路和方法，有望推動(dòng)相關(guān)領(lǐng)域的技術(shù)進(jìn)步；另一方面，優(yōu)化后的目標(biāo)檢測(cè)算法可應(yīng)用于各種智能系統(tǒng)中，提升其在復(fù)雜環(huán)境中的感知能力，從而提高系統(tǒng)的安全性和可靠性，既具有理論價(jià)值，又具有實(shí)踐意義。

1 以神經(jīng)網(wǎng)絡(luò)集成為基礎(chǔ)的傳感器信息融合

在智能設(shè)備導(dǎo)航環(huán)節(jié)中，圖像識(shí)別與目標(biāo)檢測(cè)是正確識(shí)別障礙物并作出合理規(guī)避的技術(shù)基礎(chǔ)，也是關(guān)鍵組成單元。一般情況下，智能設(shè)備多傳感器信息融合可劃分為低級(jí)融合和高級(jí)融合2種類(lèi)型，其中，低級(jí)融合實(shí)質(zhì)是直接集成多種傳感器數(shù)據(jù)，完成參數(shù)和狀態(tài)估計(jì)［2］。但是，在實(shí)際應(yīng)用期間，參數(shù)和狀態(tài)的估計(jì)結(jié)果可在規(guī)劃路徑和機(jī)構(gòu)執(zhí)行環(huán)節(jié)產(chǎn)生作用，形成控制智能設(shè)備行動(dòng)的控制信號(hào)和命令。高級(jí)融合主要是指在相同層次的結(jié)構(gòu)中，分配或者集成不同模塊提供的信號(hào)，從而間接融合傳感器數(shù)據(jù)。基于行為的結(jié)構(gòu)和神經(jīng)網(wǎng)絡(luò)的統(tǒng)一框架等，這二者均是傳感器信息融合的技術(shù)方案。而以神經(jīng)網(wǎng)絡(luò)技術(shù)作為技術(shù)基礎(chǔ)的傳感器信息融合，更可提升系統(tǒng)的識(shí)別精度，取得理想的識(shí)別檢測(cè)效果［3］。多傳感器目標(biāo)識(shí)別檢測(cè)融合結(jié)構(gòu)如圖1所示，融合網(wǎng)絡(luò)決策層如圖2所示。

多傳感器圖像識(shí)別與目標(biāo)檢測(cè)集成的結(jié)構(gòu)為并聯(lián)式，實(shí)質(zhì)是所有不同的子系統(tǒng)在運(yùn)行服務(wù)期間，都能獨(dú)立接收原始圖像，同時(shí)輸出具體的識(shí)別和檢測(cè)結(jié)果。在此之后，子系統(tǒng)仍舊獨(dú)立地保持在識(shí)別結(jié)果之上獲取答案。神經(jīng)網(wǎng)絡(luò)合成、貝葉斯法、投票法等都是集成的主要方法。在并聯(lián)時(shí)，所有的分類(lèi)器都處于相互獨(dú)立設(shè)計(jì)的狀態(tài)，在對(duì)其展開(kāi)組合處理以后，全部的單一分類(lèi)器結(jié)果將會(huì)以合適的方法綜合起來(lái)，以獲得最終的識(shí)別結(jié)果［4］。

2 特征提取與融合策略設(shè)計(jì)

2.1 特征提取的重要性及方法設(shè)計(jì)

圖像識(shí)別與目標(biāo)檢測(cè)以提取特征作為核心，特征質(zhì)量?jī)?yōu)劣與后續(xù)識(shí)別效率高低和準(zhǔn)確性控制好壞之間有最為直接的關(guān)系。紅外傳感器特征提取需重點(diǎn)關(guān)注目標(biāo)的熱輻射特性，應(yīng)以溫度分布和變化率特征作為出發(fā)點(diǎn)展開(kāi)。其中，平均溫度特征要求對(duì)圖像區(qū)域范圍內(nèi)的平均溫度進(jìn)行計(jì)算，對(duì)目標(biāo)整體熱輻射水平進(jìn)行詳細(xì)描述：

采用溫度標(biāo)準(zhǔn)差對(duì)溫度分布的均勻性情況進(jìn)行表述，即：

在公式（2）中，σT為溫度的標(biāo)準(zhǔn)差。

為增進(jìn)溫度檢測(cè)的準(zhǔn)確度，還應(yīng)結(jié)合溫度變化率特征描述目標(biāo)溫度隨時(shí)間變化的速率：

在公式（3）中，Tt+1和Tt均為臨近2個(gè)時(shí)間節(jié)點(diǎn)的平均溫度；Δt則為時(shí)間間隔。

對(duì)于可見(jiàn)光攝像頭而言，在特征提取時(shí)應(yīng)注重其紋理、顏色、形狀等視覺(jué)特征分析，并需要結(jié)合角點(diǎn)檢測(cè)、邊緣檢測(cè)等圖像處理技術(shù)，實(shí)現(xiàn)特征正確提取。顏色直方圖特征用以描述顏色分布情況：

在公式（4）中，H（c）為顏色c在直方圖中的值；nc是顏色c的像素?cái)?shù)；N為總像素?cái)?shù)。

圖像紋理信息如下：

在公式（5）中，f（i，j，d，θ）為灰度共生矩陣中的元素，代表給定距離d和給定方向θ之下，灰度級(jí)i和j共同出現(xiàn)的頻率；S為圖像的區(qū)域；I（x，y）為在（x，y）位置的灰度值；G（i，j）是歸一化因子。

2.2 特征級(jí)融合策略

在多傳感器融合中，特征級(jí)融合是重要的組成部分。本文采用特征級(jí)融合策略融合不同傳感器提取的特征，以形成更加豐富和全面的目標(biāo)描述［5］。其中，特征歸一化的主要作用是消除不同傳感器之間存在的量綱差異，關(guān)系表達(dá)如下：

在公式（6）中，x為原始特征值；min（x）為該特征的最小值；max（x）為該特征的最大值；x′為歸一化后的特征值。

假設(shè)存在2個(gè)傳感器的特征向量F1、F2，加權(quán)平均融合可表示為：

Ffused=αF1+（1-α）F2（7）

在公式（7）中，α為權(quán)重系數(shù)，介于0和1之間，主要作用是平衡2個(gè)特征向量貢獻(xiàn)。

主成分分析是一種較為常見(jiàn)的降維技術(shù)手段，可對(duì)多個(gè)不同的特征展開(kāi)統(tǒng)合處理。其主要目標(biāo)是尋找新的坐標(biāo)系統(tǒng)，其中，第一個(gè)坐標(biāo)便是第一主成分，具有最大的方差；第二個(gè)坐標(biāo)具有次大方差，以此類(lèi)推。主成分分析的轉(zhuǎn)換矩陣W可通過(guò)求解協(xié)方差矩陣C的特征向量獲得：

在公式中，Xi為樣本數(shù)據(jù)；X-為樣本均值；φ為特征值；W為對(duì)應(yīng)的特征向量。

通過(guò)特征級(jí)融合能夠得到更加全面和魯棒性的特征表示，特征級(jí)融合將多個(gè)傳感器優(yōu)勢(shì)進(jìn)行整合，顯著增進(jìn)了目標(biāo)檢測(cè)的準(zhǔn)確性和穩(wěn)定性。

3 融合后目標(biāo)檢測(cè)算法的實(shí)現(xiàn)

優(yōu)化算法運(yùn)行效率，需著重從精簡(jiǎn)分支邏輯、消除重復(fù)運(yùn)算和優(yōu)化存儲(chǔ)空間3個(gè)關(guān)鍵策略著手。在算法設(shè)計(jì)的初期階段，為強(qiáng)化其廣泛適應(yīng)性和測(cè)試方便，常設(shè)多個(gè)分支，但這會(huì)耗費(fèi)系統(tǒng)資源，影響實(shí)時(shí)性。由此可見(jiàn)，在算法結(jié)構(gòu)優(yōu)化處理環(huán)節(jié)中，要合并冗余分支、設(shè)定固定值，最大限度地削減判斷次數(shù)，為提升效率提供支持。再者，在重復(fù)運(yùn)算環(huán)節(jié)，消除算法也尤為關(guān)鍵，提取公共函數(shù)、利用緩存等方式避免重復(fù)計(jì)算，減輕處理器負(fù)載。優(yōu)化存儲(chǔ)空間則要合理分配存儲(chǔ)空間、減少內(nèi)外存數(shù)據(jù)交換，并借助分布式存儲(chǔ)和并行計(jì)算等云計(jì)算和大數(shù)據(jù)技術(shù)提升算法效率［6］。

并行化處理算法時(shí)，要對(duì)硬件架構(gòu)、軟件環(huán)境及專(zhuān)門(mén)的并行算法展開(kāi)綜合考量。在具體操作中，選擇應(yīng)用雙片8核DSP完成對(duì)圖像的處理并支持多核與多片DSP并行操作的構(gòu)建與處理。均衡分配任務(wù)以設(shè)計(jì)并行算法，從而最大化應(yīng)用硬件資源。利用SRIO查詢(xún)和硬件信號(hào)量交互方案構(gòu)建高效的并行軟件系統(tǒng)，同步與調(diào)度DSP間及核間，保障并行算法的正確與高效。結(jié)合任務(wù)級(jí)并行和數(shù)據(jù)級(jí)并行2種策 略實(shí)現(xiàn)并行算法目標(biāo)，既分割算法任務(wù)又均勻分配數(shù)據(jù)，有效提升處理速度。具體實(shí)踐中，在DSP0上進(jìn)行圖像融合的并行處理，在DSP1上進(jìn)行目標(biāo)跟蹤的并行處理，高效流水線(xiàn)作業(yè)能顯著縮短算法運(yùn)行時(shí)間，提高系統(tǒng)實(shí)時(shí)性能［7-8］。算法流水作業(yè)如圖3所示。

4 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文圖像融合算法的有效性，選取2幅代表性的720×576像素紅外與可見(jiàn)光圖像作為待融合圖像，該圖像包含豐富的場(chǎng)景信息和目標(biāo)特征，以充分檢驗(yàn)融合算法的性能，待融合的原始圖像如圖4所示。實(shí)驗(yàn)在Matlab環(huán)境和專(zhuān)業(yè)的圖像處理單元中分別對(duì)這2幅圖像進(jìn)行融合處理。

算法在不同平臺(tái)上的融合成果如圖5所示。實(shí)驗(yàn)結(jié)果表明，本文的圖像融合算法在MATLAB環(huán)境和圖像處理單元中均取得了良好的融合效果。融合后的圖像保留了紅外與可見(jiàn)光圖像的重要信息，并在一定程度上提高了目標(biāo)的可辨識(shí)度。此外，算法在實(shí)時(shí)性方面也表現(xiàn)優(yōu)異，滿(mǎn)足在20 ms內(nèi)完成處理的要求。

5 結(jié)語(yǔ)

本文整合了紅外與可見(jiàn)光傳感器的信息，提出一種改進(jìn)的多傳感器融合算法，旨在提高目標(biāo)檢測(cè)的準(zhǔn)確性和魯棒性。研究在MATLAB環(huán)境和專(zhuān)業(yè)圖像處理單元進(jìn)行實(shí)驗(yàn)驗(yàn)證，結(jié)果顯示融合后的圖像不僅保留了原圖像的信息，還增強(qiáng)了目標(biāo)的辨識(shí)度。算法在實(shí)時(shí)性方面表現(xiàn)出色，滿(mǎn)足了快速處理的需求，為圖像識(shí)別與目標(biāo)檢測(cè)提供了新的技術(shù)路徑，有望應(yīng)用于動(dòng)態(tài)和復(fù)雜環(huán)境中，提升智能系統(tǒng)的感知能力。根據(jù)實(shí)驗(yàn)結(jié)果的對(duì)比分析，本文進(jìn)一步確認(rèn)了多傳感器融合技術(shù)在提升目標(biāo)檢測(cè)效率和精度方面有著顯著效果，為相關(guān)領(lǐng)域的技術(shù)發(fā)展提供了理論支持和實(shí)踐指導(dǎo)。

參考文獻(xiàn)

［1］劉晉成，唐倫，陳前斌.基于數(shù)據(jù)特征的多傳感器融合實(shí)時(shí)目標(biāo)檢測(cè)［J］.計(jì)算機(jī)應(yīng)用研究，2023（11）：3456-3461.

［2］謝德勝，徐友春，陸峰，等.基于多傳感器信息融合的3維目標(biāo)實(shí)時(shí)檢測(cè)［J］.汽車(chē)工程，2022（3）：340-349，339.

［3］宦克為，李向陽(yáng)，曹宇彤，等.卷積神經(jīng)網(wǎng)絡(luò)結(jié)合NSST的紅外與可見(jiàn)光圖像融合［J］.紅外與激光工程，2022（3）：512-519.

［4］何開(kāi)星，蔣崢，劉斌，等.基于正交投影的快速高光譜圖像異常檢測(cè)［EB/OL］.（2024-05-09）［2024-05-28］.http：//link.cnki.net/urlid/31.1690.TN.20240508.0954.072.

［5］黃兆基，高軍禮，唐兆年，等.基于注意力機(jī)制和視觸融合的機(jī)器人抓取滑動(dòng)檢測(cè)［J］.信息與控制，2024（2）：191-198.

［6］梁國(guó)龍，張博宇，齊濱，等.無(wú)源聲吶水下多目標(biāo)融合跟蹤方法［J］.聲學(xué)學(xué)報(bào)，2024（3）：501-512.

［7］崔光珍，孫啟迪，肖艷秋，等.基于多傳感器融合的城市道路目標(biāo)檢測(cè)方法［J］.計(jì)算機(jī)仿真，2023（10）：193-199.

［8］韓丹.自動(dòng)駕駛中基于多傳感器融合的目標(biāo)檢測(cè)分析［J］.企業(yè)科技與發(fā)展，2024（1）：95-97.

Research on image recognition and object detection based on multi sensor fusion

Abstract： With the rapid development of technology， the application of intelligent devices in navigation， autonomous driving， safety monitoring and other fields is becoming increasingly widespread. However， a single sensor often finds it difficult to cope with complex and changing environmental conditions. Multi sensor information fusion technology has emerged as a key means to improve the accuracy and robustness of target detection. In order to optimize image recognition and target detection technology， this paper mainly analyzes the optimal application scheme of multi sensor fusion technology in image recognition and target detection. By integrating different sensor information， an improved multi-sensor fusion algorithm is proposed to improve the accuracy and robustness of target detection. The research results indicate that integrating multiple sensors in image recognition and object detection can significantly improve the efficiency and accuracy of object detection， especially in dealing with dynamic and complex environments efficiently.

Key words： multi sensor fusion; image recognition; object detection; neural networks; accuracy