多模態(tài)信息融合處理技術(shù)研究

甘雨田

為了保證目標(biāo)識(shí)別與跟蹤性能，技術(shù)人員需要對(duì)不同傳感器獲取的信息進(jìn)行融合，實(shí)現(xiàn)協(xié)同探測(cè)。但不同傳感器不僅在安裝位置、物理特性、采樣頻率、靈敏度、精度等方面存在差異，輸出的信號(hào)形式也存在差異性。這些差異性使得多模態(tài)信息無(wú)法直接使用，需要進(jìn)行信息融合處理。本文對(duì)多傳感系統(tǒng)管理和信息融合技術(shù)進(jìn)行了研究，對(duì)時(shí)間配準(zhǔn)和空間配準(zhǔn)進(jìn)行了分析，為多模態(tài)信息融合策略提供了理論參考價(jià)值。

一、引言

多模態(tài)信息融合處理技術(shù)是一種對(duì)多源數(shù)據(jù)信息進(jìn)行采集、處理、融合的綜合匹配應(yīng)用技術(shù)。不僅數(shù)據(jù)源存在不同格式和記錄方式，而且應(yīng)用源也存在不同的應(yīng)用模式，不同的傳感裝置具備數(shù)據(jù)獨(dú)立性和信息共融性。如何將不同的傳感裝置進(jìn)行數(shù)據(jù)信息融合，得到精確度高、抗干擾性強(qiáng)的感知信息是數(shù)據(jù)信息融合的關(guān)鍵，也是本文研究的重點(diǎn)內(nèi)容。

二、 多傳感系統(tǒng)管理

技術(shù)人員以多傳感裝置為基礎(chǔ)，將多信息綜合處理模塊與多數(shù)據(jù)交互模塊相結(jié)合，可以實(shí)現(xiàn)多系統(tǒng)協(xié)同管理。多信號(hào)融合器將采集到的多源信號(hào)輸入到系統(tǒng)中，將采集到的信息在系統(tǒng)中進(jìn)行整合，完成多目標(biāo)采集、處理、分析任務(wù)，數(shù)據(jù)信息的收集和處理，都是根據(jù)系統(tǒng)的需求進(jìn)行分配的。因此，多信息綜合處理模塊與多數(shù)據(jù)交互模塊的集成屬于系統(tǒng)綜合管理部分，是數(shù)據(jù)信息融合的核心功能模塊。

多傳感器系統(tǒng)管理功能框架（MSMF）能夠?qū)⒏鱾鞲衅骱蛡鞲芯W(wǎng)絡(luò)整合在一起，從而完成對(duì)數(shù)據(jù)網(wǎng)絡(luò)的監(jiān)控和數(shù)據(jù)的管理，將傳感器的信息通過(guò)傳感器存儲(chǔ)到網(wǎng)絡(luò)中的各個(gè)節(jié)點(diǎn)，這樣就形成了網(wǎng)絡(luò)感應(yīng)器；感應(yīng)器與網(wǎng)絡(luò)連接后，再通過(guò)通信協(xié)議進(jìn)行握手互聯(lián)形成綜合管理功能框架。而傳感器管理架構(gòu)系統(tǒng)（SMAS）主要由傳感器設(shè)備、數(shù)據(jù)存儲(chǔ)模塊、分析處理芯片等組成，其中數(shù)據(jù)存儲(chǔ)模塊負(fù)責(zé)傳感器數(shù)據(jù)的臨時(shí)存儲(chǔ)和備份存儲(chǔ)，傳感器監(jiān)測(cè)和故障報(bào)警則由分析處理芯片負(fù)責(zé)，傳感器設(shè)備則負(fù)責(zé)數(shù)據(jù)的采集和預(yù)處理，向分析處理芯片傳遞原始數(shù)據(jù)，并按照要求向數(shù)據(jù)存儲(chǔ)模塊發(fā)送規(guī)定的存儲(chǔ)信息。

三、多傳感信息融合

多傳感信息融合處理能夠?yàn)槎囝?lèi)傳感器在不同環(huán)境下的應(yīng)用提供更精確可靠的信息，多模態(tài)傳感信息的采集和處理可以更好地實(shí)現(xiàn)系統(tǒng)在多場(chǎng)景環(huán)境下的多目標(biāo)信息融合。使用多模態(tài)設(shè)備采集數(shù)據(jù)后，技術(shù)人員對(duì)采集到的數(shù)據(jù)進(jìn)行預(yù)處理，然后在融合的過(guò)程中進(jìn)行數(shù)據(jù)轉(zhuǎn)換，最后再進(jìn)行數(shù)據(jù)處理。

（一）信息融合的問(wèn)題

信息融合技術(shù)是一種高集成度的數(shù)據(jù)采集處理技術(shù)，可以對(duì)多源傳感器數(shù)據(jù)進(jìn)行有效處理，并對(duì)數(shù)據(jù)進(jìn)行整合。多傳感器協(xié)同處理能夠在空間和時(shí)間上對(duì)齊傳感器數(shù)據(jù)，是提升系統(tǒng)性能的首要前提。但是，由于實(shí)際環(huán)境采集情況不是理想狀態(tài)，傳感器數(shù)據(jù)無(wú)論空間還是時(shí)間都存在采集和處理偏差，傳感器數(shù)據(jù)在正常情況下總是無(wú)法直接對(duì)齊。

（二）信息融合技術(shù)

大多數(shù)多傳感信息融合方法都是假定不同傳感器的時(shí)間戳精確對(duì)齊，這其實(shí)只有通過(guò)嚴(yán)格的硬件同步才能保證，但對(duì)于大部分低價(jià)的感應(yīng)器來(lái)說(shuō)，硬件同步是沒(méi)有任何作用的。在實(shí)際操作中，傳感器數(shù)據(jù)的時(shí)間戳將受到時(shí)鐘不同、觸發(fā)機(jī)制不同、傳輸延遲、數(shù)據(jù)阻塞、抖動(dòng)和偏移等因素的影響，出現(xiàn)測(cè)量時(shí)間和時(shí)間戳之間的偏移。因此，有效傳感器融合的首要前提是準(zhǔn)確的時(shí)間校準(zhǔn)?？臻g特性統(tǒng)一就是在傳感器之間確定轉(zhuǎn)動(dòng)和平移，其中離線(xiàn)校準(zhǔn)是目前空間校準(zhǔn)的主流方案，優(yōu)點(diǎn)是精度高。本文從時(shí)間標(biāo)定和空間標(biāo)定兩方面入手，為多傳感融合提供數(shù)據(jù)對(duì)齊的方法。

1.時(shí)間標(biāo)定

在進(jìn)行數(shù)據(jù)量測(cè)時(shí)，由于傳感器本身特性和人為操作原因，測(cè)量信息不同步，需要統(tǒng)一處理這些不同步信息使其同步，這些測(cè)量信息不能直接進(jìn)行融合處理。多傳感器的時(shí)間配準(zhǔn)將不同時(shí)間、間隔的信息轉(zhuǎn)化為統(tǒng)一的時(shí)間描述，實(shí)現(xiàn)不同傳感器之間的配準(zhǔn)。多傳感器之間的時(shí)間配準(zhǔn)為后續(xù)時(shí)間起點(diǎn)對(duì)齊做了計(jì)算處理，需要標(biāo)記出不同感測(cè)器裝置的啟動(dòng)時(shí)間；在后續(xù)處理數(shù)據(jù)時(shí)，以此時(shí)間戳為準(zhǔn)時(shí)間。以A、B兩種感應(yīng)器為例，其計(jì)時(shí)校準(zhǔn)作用如圖1所示。兩個(gè)感應(yīng)器A和B的初始瞬間不同，經(jīng)過(guò)時(shí)間校準(zhǔn)后變?yōu)橥狡鳌?/p>

時(shí)間配準(zhǔn)采用按精度線(xiàn)性插值的方法，內(nèi)插外推各傳感器上傳的目標(biāo)初始數(shù)據(jù)，并將高精度觀測(cè)時(shí)間上的數(shù)據(jù)推導(dǎo)到低精度觀測(cè)時(shí)間點(diǎn)。具體步驟如下：

選擇系統(tǒng)時(shí)間片。線(xiàn)性插值方法默認(rèn)為同一時(shí)間片內(nèi)，根據(jù)具體情況，選擇時(shí)間片時(shí)應(yīng)有所區(qū)別。

根據(jù)測(cè)量精度的不同，對(duì)各類(lèi)不同傳感器的上傳數(shù)據(jù)進(jìn)行增量排序。

利用選擇的系統(tǒng)時(shí)間片，在低精度的時(shí)間點(diǎn)內(nèi)插外推高精度觀測(cè)時(shí)間上的數(shù)據(jù)，形成目標(biāo)觀測(cè)數(shù)據(jù)的一系列等間隔。

2.空間標(biāo)定

不同的傳感器在進(jìn)行數(shù)據(jù)量測(cè)量時(shí)所使用的坐標(biāo)系并不是一個(gè)統(tǒng)一的坐標(biāo)系，需要進(jìn)行坐標(biāo)變換。同時(shí)，傳感器不能完全安裝在一起，各傳感器的測(cè)量數(shù)據(jù)在傳感器相對(duì)距離過(guò)大的情況下也會(huì)出現(xiàn)偏差?？臻g配準(zhǔn)，就是補(bǔ)償和估計(jì)不同傳感器對(duì)物體在空間內(nèi)不同量測(cè)信息的偏差，統(tǒng)一不同參考系的信息，并將其轉(zhuǎn)化為相同參考系的數(shù)據(jù)。空間標(biāo)定主要包含兩點(diǎn)：一是向同一坐標(biāo)系變換坐標(biāo)，二是補(bǔ)償量測(cè)偏差。參考的坐標(biāo)系類(lèi)型在不同的傳感器收集數(shù)據(jù)時(shí)不一樣，因此坐標(biāo)系轉(zhuǎn)換需要在不同傳感器之間實(shí)現(xiàn)數(shù)據(jù)融合，在同一坐標(biāo)系中轉(zhuǎn)換不同坐標(biāo)系下的傳感器數(shù)據(jù)來(lái)表示，以坐標(biāo)轉(zhuǎn)換技術(shù)實(shí)現(xiàn)空間配準(zhǔn)。

四、多傳感目標(biāo)分配

在多傳感器融合處理過(guò)程中，多目標(biāo)分配需要考慮多個(gè)傳感器的實(shí)時(shí)信息。由此，多主體的多信息在得到信息質(zhì)量保證的同時(shí)也可以得到最大程度的優(yōu)化，從而達(dá)到信息融合效果的最大化。多視角計(jì)算基于層次聚類(lèi)的融合算法，對(duì)多數(shù)據(jù)的收集和處理要求更高效。此外，可以將數(shù)據(jù)特征融合進(jìn)行歸類(lèi)，再將各特征集合起來(lái)做出決定。融合方法會(huì)有不同的信息綜合結(jié)果，但各數(shù)據(jù)特征是存在獨(dú)立性的。采用基于特征融合的方法，可將單一目標(biāo)分為多個(gè)共同特征的子目標(biāo)。

在多傳感器信息融合處理中，多目標(biāo)分配是以特征融合為基礎(chǔ)的計(jì)算方式，多任務(wù)處理的核心問(wèn)題則是多檢測(cè)點(diǎn)的分配和權(quán)值確定。在計(jì)算權(quán)值函數(shù)時(shí)，首先要將多源數(shù)據(jù)集分成多個(gè)子集，分別計(jì)算每個(gè)子目標(biāo)的權(quán)值，以提高多點(diǎn)信息處理的效率，因此需要考慮多目標(biāo)權(quán)數(shù)，保證多信息分塊的準(zhǔn)確性，由目標(biāo)權(quán)重確定子空間的權(quán)重。如果多系統(tǒng)的目標(biāo)都是多主體的目標(biāo)，則目標(biāo)識(shí)別率的高低取決于多子系統(tǒng)中不同對(duì)象對(duì)多信息的感知能力，多數(shù)據(jù)的感知能力強(qiáng)，通過(guò)多觀測(cè)器獲取的信息量就大。

綜上所述，多傳感器信息融合處理是將多數(shù)據(jù)信息進(jìn)行融合，在數(shù)據(jù)集上進(jìn)行特征提取，通過(guò)融合得到數(shù)據(jù)信息，再參數(shù)化處理多系統(tǒng)目標(biāo)。在多源數(shù)據(jù)融合中，多特征信息是對(duì)象的集合，數(shù)據(jù)中包含多屬性信息，多感知信息和決策信息在融合的過(guò)程中會(huì)共享信息。從多個(gè)維度組合信息，形成一個(gè)包含多個(gè)傳感器的多子系統(tǒng)，這些傳感器的每一個(gè)參數(shù)不同于所測(cè)數(shù)據(jù)的類(lèi)別和種類(lèi)，不同的傳感器所包含的信息量也不一樣，所以需要處理不同維度的傳感器信息，這樣才能更加精準(zhǔn)地匹配不同傳感器的融合特征參數(shù)。

五、結(jié)束語(yǔ)

本文通過(guò)對(duì)多模態(tài)信息融合處理技術(shù)中多傳感系統(tǒng)管理、多傳感信息融合和多傳感目標(biāo)分配的應(yīng)用研究，闡述了多傳感數(shù)據(jù)融合系統(tǒng)的主要工作方式和數(shù)據(jù)處理方法。通過(guò)對(duì)時(shí)間標(biāo)定和空間標(biāo)定的方法分析，說(shuō)明了數(shù)據(jù)融合時(shí)需要對(duì)各模態(tài)傳感器進(jìn)行時(shí)間和空間的統(tǒng)一計(jì)算?；诖?，在多目標(biāo)識(shí)別中進(jìn)行特征分類(lèi)可獲得數(shù)據(jù)計(jì)算權(quán)值，分配合適的權(quán)值信息則可增加多傳感融合可靠性，提升多模態(tài)信息融合實(shí)際應(yīng)用水平。

作者單位：甘肅林業(yè)職業(yè)技術(shù)學(xué)院