概率密度函數(shù)信息融合概述

李建勛　于興凱

摘要：概率密度函數(shù)不僅包含了一階、 二階統(tǒng)計(jì)量信息， 還包含高階統(tǒng)計(jì)量及更為復(fù)雜的特征信息。 多傳感器的概率密度函數(shù)信息融合是信號(hào)處理領(lǐng)域一個(gè)復(fù)雜待解決的難題， 尤其是隨著自動(dòng)駕駛、 無(wú)人系統(tǒng)等領(lǐng)域?qū)τ诙鄠鞲衅鞫喑叨刃畔⑷诤系男枨螅?該問(wèn)題的重要性逐漸凸顯， 如何設(shè)計(jì)融合準(zhǔn)則、 如何形成統(tǒng)一的融合框架是科學(xué)家和工程師們一直致力于解決的課題。 本文針對(duì)隨機(jī)變量的多傳感器獲得的多概率密度函數(shù)融合問(wèn)題， 調(diào)研了現(xiàn)有的融合理論和方法， 提供了一些融合設(shè)計(jì)規(guī)則、 準(zhǔn)則、 原理和定理等， 如公理化方法、 優(yōu)化方法和超貝葉斯方法， 期望能夠?yàn)樵搯?wèn)題的有效解決提供一定的方向性指導(dǎo)。

關(guān)鍵詞：概率密度函數(shù)； 信息融合； 公理化； 池化函數(shù)； 超貝葉斯； 機(jī)器學(xué)習(xí)； 目標(biāo)跟蹤

中圖分類號(hào)：? TJ760文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)： 1673-5048（2023）03-0001-10

DOI： 10.12132/ISSN.1673-5048.2022.0205

0引言

目前， 針對(duì)狀態(tài)信息的信息融合表達(dá)較多是以變量（標(biāo)量、 向量、 矩陣）及隨機(jī)變量的形式表示。 通過(guò)對(duì)變量的加權(quán)平均求融合中心或者通過(guò)對(duì)隨機(jī)變量的均值和方差進(jìn)行加權(quán)平均， 從而實(shí)現(xiàn)對(duì)多狀態(tài)信息的融合。 然而， 均值和方差僅僅代表隨機(jī)變量的一階和二階統(tǒng)計(jì)量信息， 高階統(tǒng)計(jì)量信息及其內(nèi)在的概率分布形態(tài)特征等信息， 在現(xiàn)實(shí)中大多被忽略， 進(jìn)而導(dǎo)致融合效果欠佳。 典型的例子是非線性濾波問(wèn)題。 通過(guò)泰勒展開得到的擴(kuò)展卡爾曼濾波精度低， 而無(wú)跡卡爾曼濾波和粒子濾波通過(guò)估計(jì)狀態(tài)的概率密度函數(shù)， 結(jié)合貝葉斯推理， 得到更為精確的狀態(tài)估計(jì)值。 因而， 通過(guò)將不同傳感器的狀態(tài)和觀測(cè)量等特征信息統(tǒng)一到概率密度函數(shù)上進(jìn)行求解與融合， 是一條實(shí)現(xiàn)多尺度融合的有效之路。

多傳感器概率密度函數(shù)信息融合是一項(xiàng)富有挑戰(zhàn)的技術(shù)難題， 并且在眾多領(lǐng)域展示出較高的應(yīng)用價(jià)值， 如航空航天［1-4］、 多傳感器信息處理［5］、 機(jī)器人［6］、 環(huán)境感知［7］、 自動(dòng)駕駛［8］、 經(jīng)濟(jì)與金融工程等［9-10］。 該難題在過(guò)去幾十年中引起廣泛的重視， 然而針對(duì)該問(wèn)題的研究仍處于起步階段， 有很多的障礙需要去跨越， 難以形成統(tǒng)一的融合框架［11］。 基于應(yīng)用需求及理論難度， 本文從現(xiàn)有文獻(xiàn)方法綜述的角度， 簡(jiǎn)述現(xiàn)有思路與方法， 希望能拋磚引玉， 給廣大科研工作者與工程師們以啟示， 期許能夠最終解決該問(wèn)題， 形成一套完美的融合理論框架， 并能在工程中得到廣泛應(yīng)用。

1概率密度函數(shù)

連續(xù)型隨機(jī)變量的概率密度函數(shù)是一個(gè)描述該隨機(jī)變量輸出值， 在某個(gè)確定取值點(diǎn)附近的可能性函數(shù)。 相較于隨機(jī)變量的一階二階統(tǒng)計(jì)量（均值和方差）， 隨機(jī)變量的概率密度函數(shù)也包含高階信息及整個(gè)特征信息［12-15］， 主要表現(xiàn)在以下幾方面：

（1） 概率密度函數(shù)構(gòu)成了針對(duì)隨機(jī)變量完整的概率描述。 除了可以表述一階統(tǒng)計(jì)量（均值）和二階統(tǒng)計(jì)量（方差）， 還包括其他高階統(tǒng)計(jì)量等重要特征信息， 如有效規(guī)模、 多模態(tài)、 尾部衰減、 重尾［16］， 及其在均值周圍的“離散”特征。

（2） 概率密度函數(shù)提供了傳感器狀態(tài)信息的標(biāo)準(zhǔn)化和“無(wú)關(guān)來(lái)源”描述， 即它是來(lái)自于傳感器對(duì)原始數(shù)據(jù)復(fù)雜處理的抽象。 這種特性使得異類傳感器、 不同感知方式以及不同類型數(shù)據(jù)之間能夠進(jìn)行融合［17］。 另外， 在具有高度隱私的工程應(yīng)用中， 保密性是一個(gè)理想的特性， 也是概率密度函數(shù)能夠提供的。

（3） 因概率密度函數(shù)提供了一種標(biāo)準(zhǔn)化、 與起源無(wú)關(guān)的描述， 所以其融合非常適合分布式（點(diǎn)對(duì)點(diǎn)）網(wǎng)絡(luò)拓?fù)洹?在分布式、 可自組網(wǎng)絡(luò)中， 通常一個(gè)智能體只與其鄰居節(jié)點(diǎn)進(jìn)行通信， 非鄰居節(jié)點(diǎn)的特征信息無(wú)法獲得。 另外， 概率密度函數(shù)信息便于通過(guò)網(wǎng)絡(luò)進(jìn)行信息傳播。

（4） 基于參數(shù)化表示的概率密度函數(shù)融合算法計(jì)算效率更高。 例如， 高斯分布的融合可退化到融合相應(yīng)的均值和協(xié)方差矩陣； 高斯混合的概率密度函數(shù)融合能夠表示為任意概率分布［15］。 在分布式的實(shí)現(xiàn)方式下， 參數(shù)化概率密度函數(shù)的描述能夠以較低或中等通信成本實(shí)現(xiàn)概率密度函數(shù)信息融合， 因而概率密度函數(shù)信息融合以其較為適中的計(jì)算代價(jià)和通信復(fù)雜度成為關(guān)注的焦點(diǎn)。

以信號(hào)處理中的噪聲參數(shù)采用概率密度函數(shù)進(jìn)行刻畫處理為實(shí)例， 分析采用概率密度函數(shù)進(jìn)行信息處理的研究進(jìn)展。

利用概率密度函數(shù)刻畫噪聲方差的動(dòng)態(tài)特征， 進(jìn)而對(duì)其與狀態(tài)聯(lián)合估計(jì)， 是近年來(lái)解決濾波噪聲方差未知問(wèn)題的有效手段， 并發(fā)表了大量的研究成果。 針對(duì)加性觀測(cè)噪聲未知的情形， Simo 等采用逆伽馬分布（Inverse-Gamma）［18］ 和逆威沙特分布（Inverse-Wishart） ［19］ 來(lái)刻畫動(dòng)態(tài)時(shí)變的加性觀測(cè)噪聲方差， 并利用變分貝葉斯推理對(duì)其進(jìn)行估計(jì)。 針對(duì)狀態(tài)噪聲和觀測(cè)噪聲方差均未知的情形， Huang等采用逆威沙特分布刻畫， 基于變分貝葉斯推理， 可對(duì)其進(jìn)行迭代估計(jì)［20］。? 針對(duì)狀態(tài)噪聲和觀測(cè)噪聲為重尾非高斯的情形， Huang等用學(xué)生t （Students t）分布對(duì)其進(jìn)行刻畫， 并推導(dǎo)出相應(yīng)的線性及非線性濾波器和平滑器［21-22］。 另外， 針對(duì)非平穩(wěn)重尾狀態(tài)和觀測(cè)噪聲情形， Zhu等通過(guò)對(duì)觀測(cè)似然函數(shù)和一步預(yù)測(cè)建模為兩個(gè)高斯分布的混合形式， 對(duì)其進(jìn)行估計(jì)［23］。 針對(duì)非高斯噪聲所表現(xiàn)的重尾或偏態(tài)分布特性， Huang等利用廣義高斯尺度混合分布對(duì)其進(jìn)行刻畫， 提出魯棒Rauch-Tung-Striebel平滑器框架［16］。? 之后基于統(tǒng)計(jì)相似性度量， 又提出重尾魯棒卡爾曼濾波框架［24］。 針對(duì)非穩(wěn)態(tài)高斯分布具有強(qiáng)不確定性噪聲方差陣的情形， Huang等利用Gaussian-Inverse-Wishart 混合分布對(duì)其進(jìn)行刻畫， 并提出相應(yīng)的變分自適應(yīng)濾波器［25］。 針對(duì)觀測(cè)噪聲非高斯且統(tǒng)計(jì)量未知的情形， Zhu等利用高斯混合概率模型對(duì)其進(jìn)行刻畫， 結(jié)合變分貝葉斯推理對(duì)其與狀態(tài)進(jìn)行聯(lián)合估計(jì)［26］。? 針對(duì)乘性噪聲的方差估計(jì)問(wèn)題， Yu等用概率密度函數(shù)對(duì)其進(jìn)行刻畫， 結(jié)合卡爾曼濾波及變分貝葉斯推理， 對(duì)方差與狀態(tài)進(jìn)行聯(lián)合迭代估計(jì)［27］， 并擴(kuò)展到加性噪聲與乘性噪聲方差皆未知的情形［28］。 針對(duì)目標(biāo)跟蹤系統(tǒng)中的觀測(cè)噪聲方差未知且含有不確定性參數(shù)的估計(jì)問(wèn)題， Yu等基于概率密度函數(shù)刻畫未知變量， 聯(lián)合狀態(tài)對(duì)其進(jìn)行迭代估計(jì)［29-31］。

另外在紅外目標(biāo)跟蹤、 圖像處理［32-37］、 天氣預(yù)測(cè)［38-43］、 概率機(jī)器學(xué)習(xí)［44-47］等領(lǐng)域， 用概率密度函數(shù)對(duì)目標(biāo)狀態(tài)進(jìn)行處理也是極為常見的。

2融合規(guī)則與方法

概率密度函數(shù)信息融合規(guī)則有很多， 現(xiàn)有融合方法都是基于各自領(lǐng)域、 特定對(duì)象進(jìn)行考量， 選取的融合規(guī)則和差異度量取決于場(chǎng)景和應(yīng)用對(duì)象， 并未形成統(tǒng)一有效的方案。 由于不同融合規(guī)則在不同場(chǎng)景對(duì)象下可能導(dǎo)致差異性很大， 因而形成統(tǒng)一或多元化的方案迫在眉睫。

區(qū)別于融合（非隨機(jī)）變量（標(biāo)量、 向量、 矩陣）， 概率密度函數(shù)信息融合是直接對(duì)隨機(jī)變量的概率密度函數(shù)進(jìn)行融合， 而不是它的點(diǎn)估計(jì)。 該融合問(wèn)題目標(biāo)是為了尋找融合規(guī)則或者池化函數(shù)（Pooling Function）。 為此， 研究者提出各類型池化函數(shù)， 典型的有線性池化函數(shù)（加權(quán)算數(shù)平均， 也即算術(shù)平均密度）［48］、 對(duì)數(shù)線性池化函數(shù)（加權(quán)幾何平均值， 也稱為切爾諾夫融合或幾何平均密度）等［49-50］。 需注意的一個(gè)特例： 對(duì)于高斯概率分布， 方差交叉融合技術(shù)是對(duì)數(shù)線性池化函數(shù)的一種特例［51］。 盡管有眾多類型池化函數(shù)， 但仍沒(méi)有一個(gè)被廣泛認(rèn)可。 現(xiàn)有池化函數(shù)主要概括為以下幾類［10］： （1）線性池化函數(shù)（Linear Pooling）； （2）廣義線性池化函數(shù)（Generalized Linear Pooling）； （3）對(duì)數(shù)線性化池化函數(shù)（Log-Linear Pooling）； （4）廣義對(duì)數(shù)線性化池化函數(shù)（Generalized Log-Linear Pooling）； （5） Holder池化函數(shù)（Holder Pooling）； （6） 逆線性池化函數(shù)（Inverse-Linear Pooling）； （7）乘性池化函數(shù)（Multiplicative Pooling）； （8）廣義乘性池化函數(shù)（Generalized Multiplicative Pooling）； （9） Dictatorship 池化函數(shù)（Dictatorship Pooling）； （10）教條池化函數(shù)（Dogmatic Pooling）。

基于現(xiàn)有文獻(xiàn)調(diào)研， 設(shè)計(jì)概率密度函數(shù)信息融合池化函數(shù)需要遵循以下準(zhǔn)則： 公理化方法、 優(yōu)化方法和超貝葉斯方法。

2.1公理化方法

公理化方法就是要設(shè)計(jì)符合各種公理性質(zhì)的融合規(guī)則（池化函數(shù)）， 并期望池化函數(shù)能夠使各傳感器概率密度函數(shù)信息遵循這些基本公理。 這是概率池化函數(shù)所必備的性質(zhì)， 融合的目的也是尋求滿足一定期望屬性（公理）的池化函數(shù)。

2.1.1公理（Axiom）

（1） 公理1： 對(duì)稱性（Symmetry）。 基本屬性為對(duì)稱性， 池化函數(shù)是一個(gè)對(duì)稱函數(shù)。 由于融合中心的所有個(gè)體概率密度函數(shù)是平等的， 沒(méi)有位次排序， 因而一個(gè)對(duì)稱的池化函數(shù)是極其自然合理的。

（2） 公理2： 零保性能（Zero Preservation）。 如果每個(gè)傳感器都認(rèn)為某個(gè)事件是一個(gè)空事件， 即所有傳感器都認(rèn)為該事件的概率為0， 那么該事件的融合概率密度函數(shù)也應(yīng)該是0， 此屬性稱為零保存屬性。

（3） 公理3： 一致性（Unanimity Preservation）。? 池化函數(shù)的另一個(gè)基本屬性是保持個(gè)體間的一致性。 如果個(gè)體間的意見相同（即每個(gè)傳感器對(duì)同一個(gè)事件的概率相同）， 則融合后的概率密度函數(shù)應(yīng)一致符合該意見。

（4） 公理4： 強(qiáng)集合函數(shù)性（Strong Set-Wise Function Property， SSFP）。 一個(gè)池化函數(shù)需具備的一個(gè)特性是強(qiáng)集合函數(shù)性， 即根據(jù)融合概率密度函數(shù)， 一個(gè)事件的概率可以表示為基于每個(gè)個(gè)體事件概率的函數(shù)形式。

（5） 公理5： 弱集合函數(shù)性（Weak Set-Wise Function Property）。 相較于SSFP， 一個(gè)更寬松的標(biāo)準(zhǔn)為弱集合函數(shù)性， 根據(jù)融合概率密度函數(shù)， 一個(gè)事件的概率是一個(gè)關(guān)于每個(gè)個(gè)體事件和事件自身的概率函數(shù)。

（6） 公理6： 似然準(zhǔn)則（Likelihood Principle）。 另一個(gè)SSFP的寬松條件為似然準(zhǔn)則， 即融合概率密度函數(shù)在一些隨機(jī)變量上的值， 是基于所有個(gè)體概率密度函數(shù)在同一隨機(jī)變量上的值的一個(gè)標(biāo)準(zhǔn)化常數(shù)， 該常數(shù)取決于判定標(biāo)準(zhǔn)。

（7） 公理7： 弱似然準(zhǔn)則（Weak Likelihood Principle）。 一個(gè)似然準(zhǔn)則弱化版是融合概率密度函數(shù)關(guān)于隨機(jī)變量獨(dú)立。

（8） 公理8： 獨(dú)立性（Independence Preservation）。 池化函數(shù)另一個(gè)需要確保的特性是獨(dú)立性， 即所有個(gè)體皆認(rèn)可兩個(gè)事件是獨(dú)立的， 那么融合概率密度函數(shù)也應(yīng)認(rèn)為這兩個(gè)事件獨(dú)立。

（9） 公理9： 因式分解（Factorization Preservation）。 兩個(gè)獨(dú)立事件的融合概率密度函數(shù)可在形式上分解為各自概率密度函數(shù)的乘積。

（10） 公理10： 外部貝葉斯特性（External Bayesianity）。 基于概率的貝葉斯更新， 假設(shè)所有的概率密度函數(shù)是正數(shù)， 外部貝葉斯特性描述了概率的更新和融合是交換運(yùn)算。 該特性可滿足當(dāng)個(gè)體之間雖具有不同先驗(yàn)分布但仍共享相同數(shù)據(jù)（即全局似然函數(shù)）。

（11） 公理 11： 個(gè)性化貝葉斯特性（Individualized Bayesianity）。 該公理基于融合后驗(yàn)概率的思想， 即每個(gè)個(gè)體的后驗(yàn)概率基于各自數(shù)據(jù)（局部似然函數(shù)）， 而不是所有個(gè)體共享的相同數(shù)據(jù)。? 個(gè)性化貝葉斯特性表示為在單個(gè)個(gè)體上概率密度函數(shù)的更新以及融合是交換運(yùn)算。

（12） 公理12： 廣義貝葉斯特性（Generalized Bayesianity）。 該公理表示概率密度函數(shù)的融合等價(jià)為融合似然函數(shù)。

2.1.2公理與池化函數(shù)的關(guān)系

概率密度函數(shù)融合所尋求的不同池化函數(shù)與各公理的相互適應(yīng)性可概括為表1所示的公理滿足性。

2.2優(yōu)化法

設(shè)計(jì)的概率密度融合規(guī)則首先要選擇滿足某些公理特性的池化函數(shù)， 則如何融合， 即如何通過(guò)對(duì)池化函數(shù)進(jìn)行優(yōu)化求解得到融合結(jié)果。 該優(yōu)化方法通過(guò)最小化個(gè)體概率密度函數(shù)和融合概率之間的某種概率化差異度量的加權(quán)平均值來(lái)獲得融合池化函數(shù)， 其基本思想是使融合概率密度函數(shù)盡可能類似于所有個(gè)體的概率密度函數(shù)。

目標(biāo)跟蹤問(wèn)題的另一個(gè)重要分支是多目標(biāo)跟蹤， 涉及未知的時(shí)變目標(biāo)數(shù)量和更為復(fù)雜的觀測(cè)模型［64-65］。 具體地， 目標(biāo)隨機(jī)出現(xiàn)和消失， 并且存在漏檢、 雜波或虛警觀測(cè)， 以及觀測(cè)源不確定性（即傳感器不知道給定觀測(cè)源是否來(lái)自目標(biāo)， 以及來(lái)自哪個(gè)目標(biāo)， 或者是僅僅是雜波）。 概率池化函數(shù)既可用于“基于向量”的多目標(biāo)跟蹤方法， 該方法通過(guò)隨機(jī)向量描述目標(biāo)的聯(lián)合狀態(tài)， 也可用于基于“集合”的方法， “集合”方法通過(guò)隨機(jī)有限集或等效的有限點(diǎn)過(guò)程來(lái)描述聯(lián)合狀態(tài)。 在基于向量方法下， 通常使用對(duì)數(shù)線性池化函數(shù)或協(xié)方差交互來(lái)融合目標(biāo)狀態(tài)。

另一方面， 在基于集合方法中， 概率密度函數(shù)信息融合應(yīng)用于傳感器的后驗(yàn)多目標(biāo)概率密度函數(shù)或后驗(yàn)概率假設(shè)密度（PHD）之中， 這提供了所有目標(biāo)狀態(tài)的兩種備選聯(lián)合描述。 既使用對(duì)數(shù)線性池化、 指數(shù)混合密度、 廣義協(xié)方差交互， 也使用了Kullback-Leibler平均和線性池化（也稱為算術(shù)平均融合和最小信息損失融合）［66-70］。 對(duì)數(shù)線性池化函數(shù)對(duì)漏檢更敏感， 而線性池化函數(shù)對(duì)雜波更敏感。 關(guān)于這種敏感性權(quán)衡，? Holder池化函數(shù)族提供了介于線性和對(duì)數(shù)線性之間的池化函數(shù)選擇。

最后， 對(duì)數(shù)線性和線性池化函數(shù)已推廣到基于標(biāo)記隨機(jī)有限集的多目標(biāo)跟蹤方法， 該方法除了能跟蹤目標(biāo)的狀態(tài)外， 還跟蹤目標(biāo)的身份標(biāo)簽［71-75］。 其中一些方法需要一個(gè)標(biāo)簽關(guān)聯(lián)步驟， 該步驟本質(zhì)上類似于基于向量方法中的目標(biāo)關(guān)聯(lián)步。

3.2概率機(jī)器學(xué)習(xí)

概率機(jī)器學(xué)習(xí)在眾多領(lǐng)域得到廣泛應(yīng)用［44］， 包括量子動(dòng)力學(xué)［76］、 疾病檢測(cè)［77］、 醫(yī)學(xué)診斷［78］和場(chǎng)景理解［79］。 在概率機(jī)器學(xué)習(xí)中， 涉及風(fēng)險(xiǎn)評(píng)估的問(wèn)題需要用預(yù)測(cè)模型的不確定性對(duì)其進(jìn)行量化。 然而， 經(jīng)典機(jī)器學(xué)習(xí)模型沒(méi)有考慮參數(shù)的不確定性， 使得在處理不可見、 不相關(guān)數(shù)據(jù)時(shí)更容易出錯(cuò)， 這是深度學(xué)習(xí)模型的一個(gè)突出問(wèn)題。 解釋機(jī)器學(xué)習(xí)中預(yù)測(cè)不確定性的一種方法是采用貝葉斯框架， 使用訓(xùn)練數(shù)據(jù)， 更新模型參數(shù)的先驗(yàn)概率密度函數(shù)以獲得后驗(yàn)概率密度函數(shù)。然后， 該后驗(yàn)概率密度函數(shù)用于計(jì)算未觀測(cè)數(shù)據(jù)（測(cè)試數(shù)據(jù)）的預(yù)測(cè)概率密度函數(shù)。 該概率密度函數(shù)通常以參數(shù)形式表示（高斯概率密度函數(shù)通過(guò)其均值和協(xié)方差矩陣）或一組樣本進(jìn)行參數(shù)化。 貝葉斯機(jī)器學(xué)習(xí)模型的應(yīng)用示例包括貝葉斯線性回歸、 貝葉斯神經(jīng)網(wǎng)絡(luò)［80-82］、 高斯過(guò)程［83］和深度高斯過(guò)程［84］。

在概率機(jī)器學(xué)習(xí)的某些場(chǎng)景中， 概率池化函數(shù)可用于解決實(shí)際挑戰(zhàn)。 例如， 模型的選擇通常不明顯， 因此必須考慮模型不確定性， 以確保穩(wěn)健性和通用性。 處理這個(gè)問(wèn)題的一類典型方法稱為集成學(xué)習(xí)。 通過(guò)基于不同模型的一組算法進(jìn)行學(xué)習(xí)， 基于組合各個(gè)結(jié)果獲得分類、 回歸或聚類的最終結(jié)果。 融合各個(gè)概率學(xué)習(xí)算法產(chǎn)生的預(yù)測(cè)性概率密度函數(shù)可以通過(guò)概率意見池來(lái)實(shí)現(xiàn)［85-86］。 圖5展示了概率融合產(chǎn)生預(yù)測(cè)后驗(yàn)概率密度函數(shù)的實(shí)例。 集成學(xué)習(xí)中的概率意見池已成功應(yīng)用眾多領(lǐng)域， 例如， 深度集成［87］、 神經(jīng)網(wǎng)絡(luò)集成［88］和集成高斯過(guò)程［89］等。 在集成學(xué)習(xí)中， 與多傳感器信號(hào)處理不同， 特別是與之前的目標(biāo)跟蹤方法不同， 所有算法都可對(duì)同一組數(shù)據(jù)進(jìn)行操作。

機(jī)器學(xué)習(xí)中的另一個(gè)挑戰(zhàn)是隱私敏感場(chǎng)景。 在單個(gè)傳感器節(jié)點(diǎn)處觀察到的本地隱私數(shù)據(jù)， 可能不會(huì)跨節(jié)點(diǎn)傳播或傳播到融合中心， 因此只能用于各個(gè)傳感器節(jié)點(diǎn)處訓(xùn)練本傳感器局部模型。 該框架通常稱為聯(lián)合學(xué)習(xí)， 需要在融合中心融合局部模型。 雖然在聯(lián)邦學(xué)習(xí)中， 更新是從融合中心傳遞到節(jié)點(diǎn)， 但仍有概率池沿線設(shè)置問(wèn)題。 例如， 公平聯(lián)邦學(xué)習(xí)將在隱私數(shù)據(jù)上訓(xùn)練得到的概率分布的樣本表示為融合概率分布。

最后， 將機(jī)器學(xué)習(xí)方法應(yīng)用于“大數(shù)據(jù)”場(chǎng)景需要分而治之的策略， 即將數(shù)據(jù)劃分為更小的子集合， 對(duì)每個(gè)子集合執(zhí)行學(xué)習(xí)， 并融合得到相應(yīng)的預(yù)測(cè)或后驗(yàn)分布。 例如， 文獻(xiàn)［80］為每個(gè)小數(shù)據(jù)集生成一個(gè)“子后驗(yàn)”， 并使用乘性池化函數(shù)組合子后驗(yàn)。 每個(gè)子后驗(yàn)最初由馬爾可夫鏈蒙特卡洛采樣器產(chǎn)生的一組樣本表示， 但隨后轉(zhuǎn)換為由核密度估計(jì)給出的連續(xù)概率密度函數(shù)。 最后融合不同概率密度函數(shù)以形成對(duì)整體后驗(yàn)概率密度的近似。 這種方法是在條件獨(dú)立性假設(shè)下， 以及在后驗(yàn)概率密度的基礎(chǔ)上， 對(duì)后驗(yàn)概率分布函數(shù)進(jìn)行乘法運(yùn)算。

目前概率機(jī)器學(xué)習(xí)仍受到許多流行機(jī)器學(xué)習(xí)方法不提供概率結(jié)果這一事實(shí)的限制。 期望新研究將會(huì)消除這一限制， 從而提高概率池化函數(shù)即概率密度函數(shù)信息融合在該領(lǐng)域的成功應(yīng)用。

4展望總結(jié)

不同類型傳感器的多尺度融合在自動(dòng)駕駛、 SLAM、 雷達(dá)目標(biāo)跟蹤、 圖像處理、 機(jī)器學(xué)習(xí)、 醫(yī)療機(jī)器人等眾多領(lǐng)域中一直是一個(gè)難題， 因?yàn)椴煌瑐鞲衅餍畔㈦y以在統(tǒng)一尺度上進(jìn)行處理， 進(jìn)而難以形成統(tǒng)一的融合框架。 基于本文概率密度函數(shù)信息融合方法， 不同類型傳感器、 不同尺度的融合可以轉(zhuǎn)化到概率密度函數(shù)這個(gè)統(tǒng)一框架下進(jìn)行融合： 不同/相同類型多傳感器信息處理也可以將數(shù)據(jù)統(tǒng)一到概率密度函數(shù)框架下進(jìn)行融合處理； 不同類型攝像機(jī)獲得的高光譜圖像、 紅外圖像等也可以統(tǒng)一轉(zhuǎn)化成概率密度函數(shù)形式， 通過(guò)基準(zhǔn)轉(zhuǎn)換， 實(shí)現(xiàn)差異化數(shù)據(jù)統(tǒng)一化處理。

參考文獻(xiàn)：

［1］ Maddern W，? Newman P. Real－Time Probabilistic Fusion of Sparse 3D LIDAR and Dense Stereo［C］∥IEEE/RSJ International Confe－rence on Intelligent Robots and Systems （IROS），? 2016： 2181-2188.

［2］ Fantacci C，? Vo B N，? Vo B T，? et al. Robust Fusion for Multisensor Multiobject Tracking［J］. IEEE Signal Processing Letters，? 2018，? 25（5）： 640-644.

［3］ Meyer F，? Hlinka O，? Wymeersch H，? et al. Distributed Localization and Tracking of Mobile Networks Including Noncooperative Objects［J］. IEEE Transactions on Signal and Information Processing over Networks，? 2016 （1）： 57-71.

［4］ Uney M，? Clark D E，? Julier S J. Distributed Fusion of PHD Filters via Exponential Mixture Densities［J］. IEEE Journal of Selected Topics in Signal Processing，? 2013，? 7（3）： 521-531.

［5］ Bandyopadhyay S，? Chung S J. Distributed Bayesian Filtering Using Logarithmic Opinion Pool for Dynamic Sensor Networks［J］. Automatica，? 2018，? 97： 7-17.

［6］ Da K，? Li T C，? Zhu Y F，? et al. Recent Advances in Multisensor Multitarget Tracking Using Random Finite Set［J］. Frontiers of Information Technology & Electronic Engineering，? 2021，? 22（1）： 5-24.

［7］ Alam F，? Mehmood R，? Katib I，? et al. Data Fusion and IoT for Smart Ubiquitous Environments： A Survey［J］. IEEE Access，? 2017，? 5： 9533-9554.

［8］ Koloz B，? Grant－Muller S M，? Djemame K. Modelling Uncertainty in the Sustainability of Intelligent Transport Systems for Highways Using Probabilistic Data Fusion［J］. Environmental Modelling & Software，? 2013，? 49： 78-97.

［9］ Moral－Benito E. Model Averaging in Economics： An Overview［J］. Journal of Economic Surveys，? 2015，? 29（1）： 46-75.

［10］ ?Koliander G，? El－Laham Y，? Djuric′ P M，? et al. Fusion of Probabi－lity Density Functions［EB/OL］.（2022-02-23）［2022-09-25］.https：∥arxiv.org/abs/2202.11633v1.

［11］ ?Barak S，? Arjmand A，? Ortobelli S. Fusion of Multiple Diverse Predictors in Stock Market［J］. Information Fusion，? 2017，? 36： 90-102.

［12］ ?Mitchell J，? Hall S G. Evaluating，? Comparing and Combining Density Forecasts Using the KLIC with an Application to the Bank of England and NIESR ‘Fan Charts of Inflation［J］. Oxford Bulletin of Economics & Statistics，? 2005，? 67（S1）： 995-1033.

［13］ ?Hall S，? Mitchell J. Combining Density Forecasts［J］.International Journal of Forecasting，? 2007，? 23（1）： 1-13.

［14］ ?Gneiting T. Editorial： Probabilistic Forecasting［J］. Journal of the Royal Statistical Society Series A，? 2008，? 171（2）： 319-321.

［15］ ?Battistelli G，? Chisci L. Kullback－Leibler Average，? Consensus on Probability Densities，? and Distributed State Estimation with Guaran－teed Stability［J］. Automatica，? 2014，? 50（3）： 707-718.

［16］ ?Huang Y L，? Zhang Y G，? Zhao Y X，? et al. Robust Rauch－Tung－Striebel Smoothing Framework for Heavy－Tailed and/or Skew Noises［J］. IEEE Transactions on Aerospace and Electronic Systems，? 2020，? 56（1）： 415-441.

［17］ Yeong J，? Velasco－Hernandez G，? Barry J，? et al. Sensor and Sensor Fusion Technology in Autonomous Vehicles： A Review［J］. Sensors，? 2021，? 21（6）： 2140.

［18］ ?Sarkka S，? Nummenmaa A. Recursive Noise Adaptive Kalman Filtering by Variational Bayesian Approximations［J］. IEEE Transactions on Automatic Control，? 2009，? 54（3）： 54.

［19］ ?Sarkka S，? Hartikainen J. Non－Linear Noise Adaptive Kalman Filtering via Variational Bayes［C］∥IEEE International Workshop on Machine Learning for Signal Processing （MLSP），? 2013： 1-6.

［20］ ?Huang Y L，? Zhang Y G，? Wu Z M，? et al. A Novel Adaptive Kalman Filter with Inaccurate Process and Measurement Noise Cova－riance Matrices［J］. IEEE Transactions on Automatic Control，? 2018，? 63（2）： 594-601.

［21］ ?Huang Y L，? Zhang Y G，? Li N，? et al. A Novel Robust Students t－Based Kalman Filter［J］. IEEE Transactions on Aerospace and Electronic Systems，? 2017，? 53（3）： 1545-1554.

［22］ ?Huang Y L，? Zhang Y G，? Li N，? et al. Robust Students? t Based Nonlinear Filter and Smoother［J］. IEEE Transactions on Aerospace and Electronic Systems，? 2016，? 52（5）： 2586-2596.

［23］ ?Zhu H，? Zhang G R，? Li Y F，? et al. A Novel Robust Kalman Filter with Unknown Non－Stationary Heavy－Tailed Noise［J］. Automatica，? 2021，? 127（2）： 109511.

［24］ ?Huang Y L，? Zhang Y G，? Zhao Y X，? et al. A Novel Outlier－Robust Kalman Filtering Framework Based on Statistical Similarity Measure［J］. IEEE Transactions on Automatic Control，? 2021，? 66（6）： 2677-2692.

［25］ ?Huang Y L，? Zhang Y G，? Shi P，? et al. Variational Adaptive Kalman Filter with Gaussian－Inverse－Wishart Mixture Distribution［J］. IEEE Transactions on Automatic Control，? 2020，? 66（4）： 1786-1793.

［26］ ?Zhu H，? Leung H，? He Z S. State Estimation in Unknown Non－Gaussian Measurement Noise Using Variational Bayesian Technique［J］. IEEE Transactions on Aerospace and Electronic Systems，? 2013，? 49（4）： 2601-2614.

［27］ Yu X K，? Meng Z Y. Robust Kalman Filters with Unknown Cova－riance of Multiplicative Noise［EB/OL］.（2021-10-17）［2022-09-25］.https：∥arxiv.org/abs/2110.08740.

［28］ ?Yu X，? Li J. Adaptive Kalman Filtering for Recursive Both Additive Noise and Multiplicative Noise［J］. IEEE Transactions on Aerospace and Electronic Systems，? 2021，? 58（3）： 1634-1649.

［29］ ?Yu X K，? Jin G M，? Li J X. Target Tracking Algorithm for System with Gaussian/Non－Gaussian Multiplicative Noise［J］. IEEE Transactions on Vehicular Technology，? 2020，? 69（1）： 90-100.

［30］ ?Yu X K，? Li J X，? Xu J. Robust Adaptive Algorithm for Nonlinear Systems with Unknown Measurement Noise and Uncertain Parameters by Variational Bayesian Inference［J］. International Journal of Robust and Nonlinear Control，? 2017，? 28（10）： 3475-3500.

［31］ ?Yu X K，? Li J X，? Xu J. Nonlinear Filtering in Unknown Measurement Noise and Target Tracking System by Variational Bayesian Inference［J］. Aerospace Science and Technology，? 2019，? 84： 37-55.

［32］ Claici S，? Yurochkin M，? Ghosh S，? et al. Model Fusion with Kullback－Leibler Divergence［EB/OL］. （2020-07-13）［2022-09-25］.https：∥www.xueshufan.com/publication/304124 3646.

［33］ ?Delon J，? Desolneux A. A Wasserstein－Type Distance in the Space of Gaussian Mixture Models［J］. SIAM Journal on Imaging Sciences，? 2020，? 13（2）： 936-970.

［34］ Cuturi M，? Doucet A. Fast Computation of Wasserstein Barycenters［C］∥31st International Conference on Machine Learning，? 2014： 2146-2154.

［35］ Merigot Q，? Santambrogio F，? Sarrazin C. Non－Asymptotic Convergence Bounds for Wasserstein Approximation Using Point Clouds［EB/OL］. （2021-06-15）［2022-09-25］.https：∥www.xueshufan.com/publication/3170414829.

［36］ ?Solomon J M，? De Goes F，? Peyré G，? et al. Convolutional Wasserstein Distances： Efficient Optimal Transportation on Geometric Domains［J］. ACM Transactions on Graphics，? 2015，? 34（4）： 1-11.

［37］ Bonneel N，? Rabin J，? Peyré G，? et al. Sliced and Radon Wasserstein Barycenters of Measures［J］. Journal of Mathematical Imaging and Vision，? 2015，? 51（1）： 22-45.

［38］ ?Brockwell P J，? Davi R A. Introduction to Time Series and Forecasting［M］. 3rd ed. Basel： Springer，? 2016.

［39］ ?Winkler R L，? Grushka－Cockayne Y，? Lichtendahl K C，? et al. Probability Forecasts and Their Combination： A Research Perspective［J］. Decision Analysis，? 2019，? 16（4）： 239-260.

［40］ Gneiting T，? Ranjan R. Combining Predictive Distributions［EB/OL］.（2011-06-08）［2022-09-25］. https：∥arxiv.org/pdf/1106.1638.pdf.

［41］ ?Wallis K F. Combining Density and Interval Forecasts： A Modest Proposal［J］. Oxford Bulletin of Economics and Statistics，? 2005，? 67（S1）： 983-994.

［42］ ?Bassetti F，? Casarin R，? Ravazzolo F. Bayesian Nonparametric Calibration and Combination of Predictive Distributions［J］. Journal of the American Statistical Association，? 2018，? 113（522）： 675-685.

［43］ ?Ranjan R，? Gneiting T. Combining Probability Forecasts［J］. Journal of the Royal Statistical Society： Series B （Statistical Methodo－logy），? 2010，? 72（1）： 71-91.

［44］ Ghahramani Z. Probabilistic Machine Learning and Artificial Intelligence［J］. Nature，? 2015，? 521（7553）： 452-459.

［45］ ?Ching J Y，? Phoon K K. Constructing Site－Specific Multivariate Probability Distribution Model Using Bayesian Machine Learning［J］. Journal of Engineering Mechanics，? 2019，? 145（1）： 04018126.

［46］ Thorgeirsson A T，? Gauterin F. Probabilistic Predictions with Fe－derated Learning［J］. Entropy，? 2020，? 23（1）： 41.

［47］ Li T，? Sahu A K，? Talwalkar A，? et al. Federated Learning： Challenges，? Methods，? and Future Directions［J］. IEEE Signal Processing Magazine，? 2020，? 37（3）： 50-60.

［48］ ?Bailey T，? Julier S，? Agamennoni G. On Conservative Fusion of Information with Unknown Non－Gaussian Dependence［C］∥ 15th International Conference on Information Fusion（FUSION），? 2012.

［49］ ?Gunay M，? Orguner U，? Demirekler M. Chernoff Fusion of Gaussian Mixtures Based on Sigma－Point Approximation［J］. IEEE Transactions on Aerospace and Electronic Systems，? 2016，? 52（6）： 2732-2746.

［50］ ?Carmi A，? Tslil O，? Lehrer N. Log－linear Chernoff Fusion for Distributed Particle Filtering［C］∥ 22th International Conference on Information Fusion （FUSION），? 2019.

［51］ ?Hurley M B. An Information Theoretic Justification for Covariance Intersection and Its Generalization［C］∥ 5th International Conference on Information Fusion（FUSION），? 2002.

［52］ ?Puccetti G，? Rüschendorf L，? Vanduffel S. On the Computation of Wasserstein Barycenters［J］. Journal of Multivariate Analysis，? 2020，? 176： 104581.

［53］ Claici S，? Chien E，? Solomon J. Stochastic Wasserstein Barycenters［EB/OL］. （2018-06-07）［2022-09-25］. https：∥arxiv.org/pdf/1802.05757.pdf.

［54］ ?Peyré G，? Cuturi M，? Solomon J. Gromov－Wasserstein Averaging of Kernel and Distance Matrices［C］∥ International Conference on Machine Learning，? 2016.

［55］ ?Bonneel N，? Peyré G，? Cuturi M. Wasserstein Barycentric Coordinates： Histogram Regression Using Optimal Transport［J］. ACM Transactions on Graphics，? 2016，? 35（4）： 1-10.

［56］ Yang S S，? Baum M，? Granstrom K. Metrics for Performance Evalua－tion of Elliptic Extended Object Tracking Methods［C］∥IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems，? 2016.

［57］ ?Thormann K，? Baum M. Fusion of Elliptical Extended Object Estimates Parameterized with Orientation and Axes Lengths［J］. IEEE Transactions on Aerospace and Electronic Systems，? 2021，? 57（4）： 2369-2382.

［58］ ?Wang S X，? Ye Z S. Distributionally Robust State Estimation for Linear Systems Subject to Uncertainty and Outlier［J］. IEEE Transactions on Signal Processing，? 2021，? 70： 452-467.

［59］ ?Wang S X，? Wu Z M，? Lim A. Robust State Estimation for Linear Systems under Distributional Uncertainty［J］. IEEE Transactions on Signal Processing，? 2021，? 69： 5963-5978.

［60］ ?Zorzi M. Robust Kalman Filtering under Model Perturbations［J］. IEEE Transactions on Automatic Control，? 2017，? 62（6）： 2902-2907.

［61］ Shafieezadeh－Abadeh S， ?Nguyen V A，? Kuhn D，? et al. Wassers－tein Distributionally Robust Kalman Filtering ［EB/OL］.（2018-10-01）［2022-09-25］. https：∥arxiv. org/pdf/1809.08830.pdf.

［62］ ?Winkler R L. The Consensus of Subjective Probability Distributions［J］. Management Science，? 1968，? 15（2）： B-61-B-75.

［63］ ?Morris P A. Combining Expert Judgments： A Bayesian Approach［J］. Management Science，? 1977，? 23（7）： 679-693.

［64］ ?Mahler R P S. Statistical Multisource－Multitarget Information Fusion［M］. Boston： Artech House，? 2007.

［65］ ?Mahler R P S. Advances in Statistical Multisource－Multitarget Information Fusion［M］. Boston： Artech House，? 2014.

［66］ ?Li T C，? Wang X X，? Liang Y，? et al.On Arithmetic Average Fusion and Its Application for Distributed Multi－Bernoulli Multitarget Tracking［J］. IEEE Transactions on Signal Processing，? 2020，? 68： 2883-2896.

［67］ ?Gao L，? Battistelli G，? Chisci L. Multiobject Fusion with Minimum Information Loss［J］. IEEE Signal Processing Letters，? 2020，? 27： 201-205

［68］ ?Li G C，? Battistelli G，? Chisci L，? et al. Distributed Multi－View Multi－Target Tracking Based on CPHD Filtering［J］. Signal Processing，? 2021，? 188（4）： 108210.

［69］ ?Mahler R P S，? Hall D，? Chong C Y，? et al. Toward a Theoretical Foundation for Distributed Fusion［M］. Boca Raton： CRC Press，? 2012： 199-224.

［70］ ?Li T C，? Fan H Q，? García J，? et al. Second－Order Statistics Analysis and Comparison Between Arithmetic and Geometric Average Fusion： Application to Multi－Sensor Target Tracking［J］. Information Fusion，? 2019，? 51： 233-243.

［71］ ?Gao L，? Battistelli G，? Chisci L. Fusion of Labeled RFS Densities with Minimum Information Loss［J］. IEEE Transactions on Signal Processing，? 2020，? 68： 5855-5868.

［72］ ?Li S Q，? Battistelli G，? Chisci L，? et al. Computationally Efficient Multi－Agent Multi－Object Tracking with Labeled Random Finite Sets［J］. IEEE Transactions on Signal Processing，? 2019，? 67（1）： 260-275.

［73］ Fantacci C，? Vo B N，? Vo B T，? et al. Consensus Labeled Random Finite Set Filtering for Distributed Multi－Object Tracking［EB/OL］. （2016-06-09） ［2022- 09-25］. http：∥de.arxiv.org/pdf/1501.01579.

［74］ Li S Q，? Yi W，? Hoseinnezhad R，? et al. Robust Distributed Fusion with Labeled Random Finite Sets［J］. IEEE Transactions on Signal Processing，? 2018， 66（2）： 278-293.

［75］ ?Kropfreiter T，? Hlawatsch F. A Probabilistic Label Association Algorithm for Distributed Labeled Multi－Bernoulli Filtering［C］∥ 23rd International Conference on Information Fusion（FUSION），? 2020.

［76］ Krems R V. Bayesian Machine Learning for Quantum Molecular Dynamics［J］. Physical Chemistry Chemical Physics，? 2019，? 21（25）： 13392-13410.

［77］ Leibig C，? Allken V，? Ayhan M S，? et al. Leveraging Uncertainty Information from Deep Neural Networks for Disease Detection［J］. Scientific Reports，? 2017，? 7（1）： 17816.

［78］ ?Begoli E，? Bhattacharya T，? Kusnezov D. The Need for Uncertainty Quantification in Machine－Assisted Medical Decision Making［J］. Nature Machine Intelligence，? 2019，? 1： 20-23.

［79］ ?Kendall A，? Badrinarayanan V，? Cipolla R. Bayesian SegNet： Mo－del Uncertainty in Deep Convolutional Encoder－Decoder Architectures for Scene Understanding［EB/OL］.（2016-10-10）［2022-09-25］. https：∥arxiv.org/pdf/1511.02680.pdf.

［80］ Neiswanger W，? Wang C，? Xing E. Asymptotically Exact，? Embarrassingly Parallel MCMC［EB/OL］. （2014-03-21）［2022-09-25］. https：∥arxiv.org/pdf/1311.4780.pdf.

［81］ ?Wang H，? Yeung D Y. Towards Bayesian Deep Learning： A Framework and Some Existing Methods［J］. IEEE Transactions on Knowledge and Data Engineering，? 2016，? 28（12）： 3395-3408.

［82］ Wilson A G，? Izmailov P. Bayesian Deep Learning and a Probabilistic Perspective of Generalization［EB/OL］. （2020-04-27）［2022-09-25］. https：∥arxiv.org/ pdf/2002. 08791v3.pdf.

［83］ ?Rasmussen C E，? Williams C K. Gaussian Processes for Machine Learning［M］. Cambridge： MIT Press，? 2006.

［84］ Salimbeni H，? Deisenroth M P. Doubly Stochastic Variational Inference for Deep Gaussian Processes ［EB/OL］. （2017-11-13）［2022-09-25］. https：∥arxiv.org/pdf/1705.08933.pdf.

［85］ ?Murphy K P. Machine Learning： A Probabilistic Perspective［M］. Cambridge： MIT Press，? 2012.

［86］ ?Sagi O，? Rokach L. Ensemble Learning： A Survey［J］. Wiley Interdisciplinary Reviews： Data Mining and Knowledge Discovery，? 2018，? 8（4）： e1249.

［87］ ?Lakshminarayanan B，? Pritzel A，? Blundell C. Simple and Scalable Predictive Uncertainty Estimation Using Deep Ensembles［C］∥ 31st International Conference on Neural Information Processing Systems，? 2017： 6405-6416.

［88］ ?Lee H，? Hong S，? Kim E. Neural Network Ensemble with Probabilistic Fusion and Its Application to Gait Recognition［J］. Neurocomputing，? 2009，? 72（7/9）： 1557-1564.

［89］ ?Lu Q，? Karanikolas G，? Shen Y，? et al. Ensemble Gaussian Processes with Spectral Features for Online Interactive Learning with Scalability［C］∥International Conference on Artificial Intelligence and Statistics，? 2020.

Survey on Information Fusion of Probability Density Functions

Li Jianxun1， Yu Xingkai 2

（1. Department of Automation，? Shanghai Jiao Tong University，? Shanghai 200240， China; 2. Department of Precision Instrument，? Tsinghua University， Beijing 100084， China）

Abstract： The probability density function contains not only the first－order and the second－order statistics，? but also the higher－order statistics and more complex feature information. Information fusion on probability density functions for multi－sensor is a challenging problem to be solved in the field of signal processing，? especially in the application prospect of multi－sensor multi－scale information fusion for automatic driving and unmanned system，? this problem has gradually attracted much attention. How to design fusion criteria and how to form a unified fusion framework are the to－pics that scientists and engineers are committed to solving. Aiming at the fusion of multiple probability density functions from multi－sensor of random variables （vectors），? this paper investigates the existing relevant fusion theories and methods，? and provides some design rules，? criteria，? principles and theorems，? such as axiomatic method，? optimization method and super Bayesian method. The study is expected to provide some directional guide for the effective solution of the fusion problem.

Key words： probability density function; information fusion; axiomatization; pooling function; supra－Bayesian; machine learning; target tracking

收稿日期： 2022-09-26

基金項(xiàng)目： ?國(guó)家自然科學(xué)基金項(xiàng)目（61673265； 62103222）； 國(guó)家重點(diǎn)研究開發(fā)項(xiàng)目（2020YFC1512203）

*作者簡(jiǎn)介： 李建勛（1969-）， 男， 河北蔚縣人， 教授， 博士生導(dǎo)師。