多元偽泊松混合分布模型的理論研究

陳奕延 李 曄, 張淑芬

1(英國系統(tǒng)科學學會 倫敦 CR82AD)

2(北京理工大學自動化學院 北京 100081)

3(華北理工大學 河北省數(shù)據(jù)科學與應用重點實驗室 唐山 063210)

1 引 言

混合分布模型是一類源于數(shù)理統(tǒng)計知識理論的數(shù)學模型，在股票、期貨、風險管理、健康產(chǎn)業(yè)、保費厘定、電力工業(yè)、生物醫(yī)療、地質(zhì)勘探等領(lǐng)域中均有廣泛的應用[1-11]。在場景識別[12]、TSP 問題[13]、人臉識別[14]、云計算[15]、計算機視覺[16]等計算機相關(guān)領(lǐng)域內(nèi)亦有廣泛應用，特別是在機器學習領(lǐng)域?；旌戏植寄Ｐ椭饕獮楦黝愃惴ǖ脑O計提供理論基礎，如蜂群算法[17]、人工魚群算法[18]、免疫算法[19]、蟻群算法[20]和遺傳算法[21]等。

在機器學習中，常用的連續(xù)型隨機變量的混合分布及變型有：指數(shù)混合分布及其變型[22]、高斯混合分布及其變型[23]、Gamma 混合分布及其變型[24]、t混合分布及其變型[25]等。對于離散型隨機變量的混合分布而言，則通常研究泊松混合分布(或稱混合泊松分布)及其在相關(guān)領(lǐng)域的應用。馮杭和王勝兵[26]利用 EM 算法求解泊松混合分布模型中的參數(shù)向量，并結(jié)合算例指出該算法對初值敏感的缺陷，最終引入智能優(yōu)化算法對算例進行改進。該研究使用泰國北部地區(qū)學齡前兒童 1982－1985 年發(fā)燒、咳嗽或兩者皆有的患病頻次作為算例，用 EM 算法通過迭代優(yōu)化估計出該泊松混合分布的權(quán)值(該文稱之“權(quán)重”)。羅修輝等[27]運用 EM 算法對一種新的系統(tǒng)壽命分布——混合指數(shù)-泊松分布進行參數(shù)估計，并通過隨機模擬，驗證了 EM 算法在混合模型參數(shù)估計的收斂性和有效性。該研究對象是混合指數(shù)-泊松分布，通過 100 個來自指數(shù)分布分量的數(shù)以及 150 個來自泊松分布分量的數(shù)，使用 EM 算法隨機模擬出分布的權(quán)值。虞歡歡[28]為優(yōu)化金融管理風險，針對資產(chǎn)組合的相關(guān)性結(jié)構(gòu)和組合風險計算的復雜性兩方面做出實證研究，用混合泊松分布構(gòu)建資產(chǎn)組合信用風險模型，利用 85 家上市公司的相關(guān)數(shù)據(jù)估算出泊松混合分布的權(quán)值(該文稱之為“系數(shù)”)，并對模型進行了說明。高迎心等[29]引入了基于變異位點的先驗概率分布模型，運用基于混合泊松分布的期望最大化(EM)算法對新生突變識別算法進行改進與優(yōu)化，研究了有親緣關(guān)系的新生突變的識別，并在識別精度與運算速度方面與已有算法進行對比。該研究結(jié)果表明，基于混合泊松分布的期望最大化算法在提高運算速度的同時降低了假陽性比率，具有良好的識別效果。

上述研究均存在一個問題，即混合分布的權(quán)值往往依賴于已知或未知的參數(shù)，而對未知參數(shù)的估計又需要使用經(jīng)驗數(shù)據(jù)或仿真模擬。由于參數(shù)估計方法的不同，造成的估計結(jié)果也各有差異，數(shù)據(jù)的獲得往往并非一帆風順，故這種參數(shù)依賴性的問題給混合分布的研究造成了障礙。

為解決混合分布中分量參數(shù)依賴性的問題，本文基于多元泊松混合分布的一種變型來進行研究。該混合分布由多元泊松分布經(jīng)過截斷和均化處理后得到偽多元泊松分布，通過集函數(shù)矩陣多線性形式的 Pseudo-Boolean 函數(shù)矩陣及其相應的Frobenius 范數(shù)得到的權(quán)值有限混合而成。該多元混合分布的權(quán)值在滿足有效市場假說，即算術(shù)平均合理性的情況下不依賴于任何參數(shù)，僅與混合分布中的分量個數(shù)有關(guān)。

2 研究步驟

多元偽泊松混合分布模型的設計按以下 8 個步驟進行：

(1)設定范式及約束條件；

(2)對多元泊松分布進行截斷處理；

(3)在截斷處理的基礎上，再對其進行均化處理，得到偽多元泊松分布；

(4)定義偽多元泊松混合分布的集函數(shù)矩陣；

(5)根據(jù)集函數(shù)矩陣，寫出相應的多線性Pseudo-Boolean 函數(shù)矩陣；

(6)根據(jù) Lovász 延拓計算出 Frobenius 范數(shù)，構(gòu)造新的權(quán)值；

(7)根據(jù)新的權(quán)值，寫出多元偽泊松混合分布模型的數(shù)學表達式；

(8)根據(jù)混合分布權(quán)值的歸一性及非負性，證明其數(shù)學表達式正確。

3 分布模型的設計

3.1 范式設定及約束條件

其中，MD為英文 Multivariate Mixture Distribution 的縮寫；則稱為有限可列的多元泊松混合分布。

(6) 隨機變量滿足有效市場假說。

3.2 多元泊松分布的截斷處理

截斷即設定閾值來限制調(diào)查對象的范圍，超過閾值的對象不做調(diào)查，但需將其錄入總體分布中，以保證隨機分布的完整性。例如，對收入進行調(diào)查，小于 5 000 元的用實際收入表示，大于5 000 元不作調(diào)查，但需將其作為全部收入分布的一部分，這就是截斷。

將公式(4)代入公式(5)，可得：

通過截斷處理，可將不可數(shù)取值的多元離散隨機變量ziv的值限定在一個有限域內(nèi)。但這樣的處理會產(chǎn)生一些問題，故對此還需進行均化處理。

3.3 多元泊松分布的均化處理

泊松分布的取值遍布自然數(shù)域，即取值有無窮多項，故完成截斷處理后的分布在點處有一個相對前個點的概率而言非常巨大的概率值這會造成概率在某一點處的過度堆積，以致于且同時導致為保證隨機變量波動的均勻性，須在截斷后對其進行均化處理。

均化原本是化學工業(yè)上的一個概念，狹義的均化特指通過采用一定的工藝措施，使物料化學成分的波動振幅降低，達到物料化學成分均勻一致的過程。這種方法多用于化工作業(yè)的操作中。這里的均化是指廣義的均化，特指為了防止離散隨機波動過于極端而將極端的概率值進行處理后均勻(算術(shù)平均、幾何平均等)分散到其余各點的行為。在離散條件下，若有l(wèi)個極端概率，則舍棄這l個概率值對應的點，將這l個點的概率累積后再進行均化處理。

特別注意，對泊松分布而言，其隨機變量取值有無窮多項，從某一項處進行截斷處理，顯然剩余的項依然是無窮多項，且是單調(diào)非減的，則顯然可知

截斷處理和均化處理的目的是在原有泊松分布的基礎上得到新的分布，即得到新的多元偽泊松分布。為使圖中文字公式清晰便于查閱，本文更改一下表示符，設生成多元偽泊松分布的具體操作流程如圖 1 所示。

3.4 有限可列的多元偽泊松混合分布

3.5 多元偽泊松分布的集函數(shù)矩陣

集函數(shù)是計算機技術(shù)領(lǐng)域內(nèi)常用的一類函數(shù)，國內(nèi)外對其也有一定研究[30-35]。離散型隨機變量，設的全體取值為則若為的任意子集，則對使得為集函數(shù)，設且首先求的集函數(shù)。假設空集的集函數(shù)繼續(xù)定義其余子集的集函數(shù)，設令：

Si為多元隨機變量Zi的集函數(shù)矩陣。

圖1 生成多元偽泊松分布的流程圖Fig. 1 Flow chart of multivariate pseudo-poisson distribution generating

3.6 多線性 Pseudo-Boolean 函數(shù)矩陣

Pseudo-Boolean 函數(shù)也是一種計算機技術(shù)領(lǐng)域常用的函數(shù)[36-38]，其定義域為 0～1 變量且對應到實數(shù)域上的函數(shù)其中，設則相應的多線性 Pseudo-Boolean函數(shù)的表達式為：

然后將公式(18)代入公式(14)中，可得：

由此可知：

Bi稱為多元隨機變量Zi的 Pseudo-Boolean 函數(shù)矩陣。

3.7 Frobenius 范數(shù)

Frobenius 范數(shù)作為范數(shù)的一種，在計算機領(lǐng)域中有很好的運用[39-43]。運用 Frobenius 范數(shù)可得到一個由矩陣中的元素組成的代數(shù)式，其定義為：

其中，A為m×n階矩陣；aij為矩陣中的元素；表示矩陣A的 Frobenius 范數(shù)。對于矩陣其 Frobenius 范數(shù)的表達式為：

由此可根據(jù) Frobenius 范數(shù)來構(gòu)造多元偽泊松混合分布的權(quán)值。

3.8 根據(jù) Frobenius 范數(shù)構(gòu)建的權(quán)值

根據(jù)公式(27)，可構(gòu)建由 Frobenius 范數(shù)構(gòu)成的權(quán)值，設一共有l(wèi)個多元偽泊松分布進行混合，則：

3.9 基于 Frobenius 范數(shù)權(quán)值的多元偽泊松混合分布模型

4 仿真實驗

模型可用來解決軟件工程領(lǐng)域的問題，為突出模型的計算層次以及邏輯推理步驟，本文不會直接令而是根據(jù)計算層次來推導得出這一結(jié)論。另外由于獲取現(xiàn)實數(shù)據(jù)存在難度，本文通過仿真實驗的方式來進行模擬，所有程序均在 R 中完成編輯和運行。

某工業(yè)園有A、B、C三家軟件研發(fā)企業(yè)，三家企業(yè)均在一年內(nèi)開發(fā)了多款軟件，每款軟件的開發(fā)過程均滿足瀑布模型。在開發(fā)過程中，每個階段(可行性研究、需求分析、需要設計、詳細設計、編碼調(diào)試、單元測試、集成測試、確認測試、運行維護、退役)的風險損失次數(shù)滿足相互獨立，且風險損失次數(shù)滿足，即損失超過 4 次以后就需要進行截斷和均化處理，為參數(shù)的從第 4 項后開始進行截斷和算術(shù)均化處理的偽泊松分布。每個企業(yè)一年內(nèi)軟件開發(fā)過程全部軟件的總風險損失次數(shù)為為多元偽泊松分布。設三家軟件研發(fā)企業(yè)一年內(nèi)的混合總風險損失次數(shù)滿足偽泊松混合分布且假設損失次數(shù)滿足有效市場假說，求三家軟件研發(fā)企業(yè)的平均總混合風險損失次數(shù)，相實驗關(guān)數(shù)據(jù)如表1 所示。

使用 R 語言進行程序匯編，按照建模的步驟對基于 Frobenius 范數(shù)權(quán)值的多元偽泊松混合分布模型編程，然后代入表1 中的數(shù)據(jù)進行仿真運算，得到結(jié)果后將其輸出，結(jié)果如表2 所示。

由實驗結(jié)果可知，三家企業(yè)一年內(nèi)總共開發(fā)的 377 款軟件中，任意一款軟件在滿足瀑布模型的開發(fā)過程中發(fā)生的平均總混合風險損失次數(shù)為6.562 619 次，顯然可知Zmax＝40，Zmix＝0，較小4 分位數(shù)表明工業(yè)園內(nèi)三家企業(yè)一年內(nèi)開發(fā)的 377 款軟件產(chǎn)品的平均質(zhì)量較好，平均可靠性較高，且混合分布的權(quán)值均為 0.333 333 3，滿足了有效市場假說，即間接證明了算術(shù)平均的合理性。

5 模型比較與優(yōu)缺點

虞歡歡[28]與本文均以泊松混合分布為基礎，且均應用于風險分析領(lǐng)域，但虞歡歡[28]使用混合泊松模型來代替廣泛使用的 Copula 模型對資產(chǎn)組合的相關(guān)性結(jié)構(gòu)和組合風險計算的復雜性兩方面做出實證研究。該研究與本文研究有相近之處，拋開研究目的不同這一點，兩者主要有以下幾點不同：

(1)權(quán)值的構(gòu)造不同。虞歡歡[28]提出的模型通過結(jié)構(gòu)模型求出債務人歷史違約概率來得到混合泊松分布模型的權(quán)值。該權(quán)值通過歷史經(jīng)驗數(shù)據(jù)求得，而本文是通過多線性 Pseudo-Boolean 函數(shù)矩陣的 Frobenius 范數(shù)構(gòu)造混合分布的權(quán)值，權(quán)值的構(gòu)造可以使用往期的歷史數(shù)據(jù)，也可以用當期觀察數(shù)據(jù)，構(gòu)造的方法并不完全依賴于歷史經(jīng)驗數(shù)據(jù)。

表1 仿真實驗的相關(guān)數(shù)據(jù)圖Table 1 Data graph of simulation experiment

表2 仿真實驗運算輸出結(jié)果Table 2 Output of simulation experiment

(2)模型結(jié)構(gòu)不同。虞歡歡[28]的研究實際是一種風險分析方法，該方法主要包含信用風險結(jié)構(gòu)模型、混合泊松模型兩個模型。其中，信用風險結(jié)構(gòu)模型用來構(gòu)建混合分布模型的權(quán)數(shù)，因此虞歡歡[28]的研究方法實際上是兩個模型，或者可認為是一個組合式模型。而本文自始至終只有一個模型，每一步研究得出的量均是模型的一部分。

(3)研究對象不同。虞歡歡[28]主要針對的是信用資產(chǎn)的風險組合，而本文研究的是一般風險，并沒有特殊的約定，僅在仿真實驗中使用軟件工程中軟件開發(fā)瀑布模型的風險及風險值對模型進行了實現(xiàn)。

(4)適用度不同。虞歡歡[28]提出的模型更適用于研究信用違約造成的風險，針對性強但普適性稍弱，尤其在缺少違約回收率數(shù)據(jù)時，使用該模型進行風險分析的精度會受到影響。而本文研究的模型可用于所有風險，只要風險滿足或近似滿足于多元偽泊松混合分布便可使用模型進行風險分析，但針對性并不強。

(5)模型分量不同。虞歡歡[28]模型的分量均為泊松分布，而本文研究的混合模型中的分量是偽泊松分布，即經(jīng)過了截斷與均化處理的泊松分布。

但是，本文所提模型同樣存在不足之處：

①模型的計算復雜度較大，映射關(guān)系層層疊加，操作過程中容易產(chǎn)生非系統(tǒng)風險；

②約束條件過多，模型的適用范圍由此縮??；

③僅考慮各分布線性有限混合的情況，未考慮無限混合以及非線性情況。

6 總結(jié)與未來展望

多元偽泊松分布模型是一種特殊的混合分布模型，它能有效解決復雜的統(tǒng)計計算問題，同時可通過調(diào)整混合分布中分布的個數(shù)、截斷的位置、隨機變量的元數(shù)等數(shù)值型屬性，滿足不同人群解決不同問題的需求。

未來可繼續(xù)深入研究這一問題，如將多線性Pseudo-Boolean 函數(shù)進行 Lovász 延拓，將定義域從拓展到或者從減少約束條件、模型復雜程度的角度上著手，同時可引入更多專業(yè)情景，在符合研究對象所屬學科知識的客觀條件下對模型進行改良。

[1]曾裕峰, 向修海. 隨機波動模型的擴展: 理論與中國股市的實證 [J]. 經(jīng)濟學, 2016, 16(1): 205-228.

[2]肖佳文, 楊政. 混合分布的 VaR 非參數(shù)估計: 對期貨市場的實證分析 [J]. 系統(tǒng)工程學報, 2016,31(4): 471-480.

[3]肖佳文. 基于混合分布的 VaR 估計及其應用 [D].成都: 電子科技大學, 2015.

[4]張中文. 基于缺失數(shù)據(jù)的兩正態(tài)混合分布的參數(shù)估計 [D]. 大連: 大連理工大學, 2008.

[5]楊彬. 滬市 A 股交易量與收益率及波動性的關(guān)系—基于混合分布模型的實證研究 [J]. 統(tǒng)計與決策, 2005, (8): 91-93.

[6]凌士勤, 楊波, 袁開洪, 等. 基于高頻數(shù)據(jù)的分類信息混合分布 GARCH 模型研究 [J]. 數(shù)量經(jīng)濟技術(shù)經(jīng)濟研究, 2005, 22(3): 72-77.

[7]楊維維. 貝葉斯模型在老年人健康管理效果評價中的應用 [D]. 南京: 東南大學, 2016.

[8]孫維偉, 陳偉珂. 有限混合分布在車險費率厘定中的應用 [J]. 系統(tǒng)工程, 2016 (5): 144-153.

[9]李程昊. 混合直流輸電系統(tǒng)拓撲結(jié)構(gòu)及關(guān)鍵技術(shù)研究 [D]. 武漢: 華中科技大學, 2015.

[10]欒途. 透明質(zhì)酸粘多糖的分子表征、流變學性質(zhì)及其物理凝膠的研究 [D]. 上海: 上海交通大學,2011.

[11]劉向沖, 侯翠霞, 申維, 等. MML-EM 方法及其在化探數(shù)據(jù)混合分布中的應用 [J]. 地球科學(中國地質(zhì)大學學報), 2011, 36(2): 355-359.

[12]胡昭華, 姜嘯遠, 王玨, 等. 混合深度網(wǎng)絡在場景識別技術(shù)中的應用 [J]. 小型微型計算機系統(tǒng),2017, 38(6): 1387-1393.

[13]何廣才. 基于云平臺的遺傳—蟻群混合型算法的研究及在 TSP 中的應用 [D]. 呼和浩特: 內(nèi)蒙古農(nóng)業(yè)大學, 2016.

[14]周穎. 標記分布在人臉圖像屬性識別上的應用[D]. 南京: 東南大學, 2016.

[15]降國棟. 基于云計算的計算機輔助診斷及遠程診斷平臺研究 [D]. 杭州: 杭州電子科技大學, 2016.

[16]張曉慶. 基于計算機視覺的顏色恒常性算法研究[D]. 天津: 天津科技大學, 2016.

[17]趙挺. 蜂群算法及其仿生策略研究 [D]. 杭州: 浙江大學, 2016.

[18]陳新. 基于人工魚群算法的柔性作業(yè)車間調(diào)度研究 [D]. 大連: 大連理工大學, 2015.

[19]吳建輝. 混合免疫優(yōu)化理論與算法及其應用研究[D]. 長沙: 湖南大學, 2013.

[20]黃情操, 余達祥. 單變量邊緣分布算法與蟻群算法的混合算法收斂性分析 [J]. 現(xiàn)代電子技術(shù),2012, 35(6): 74-77.

[21]馮巍巍, 魏慶農(nóng), 汪世美, 等. 基于混合遺傳算法的偏振雙向反射分布函數(shù)優(yōu)化建模 [J]. 紅外與激光工程, 2008, 37(4): 743-747.

[22]全星澄, 李巍. 基于 EM 算法的有限維混合分布參數(shù)估計研究 [J]. 統(tǒng)計與決策, 2017 (12): 25-29.

[23]成英超, 王瑞胡, 胡章平. 一種基于高斯混合模型的協(xié)同過濾算法 [J]. 計算機科學, 2017, 44(S1):451-454.

[24]唐績, 朱峰, 路彬彬, 等. 一種基于混合 Gamma 分布的自動目標識別混合 EM 算法 [J]. 現(xiàn)代雷達,2017, 39(4): 45-49.

[25]李保珠, 董云龍, 李秀友, 等. 基于t分布混合模型的抗差關(guān)聯(lián)算法 [J]. 電子與信息學報, 2017,39(7): 1774-1778.

[26]馮杭, 王勝兵. 有限混合泊松分布參數(shù)優(yōu)化的改進 EM 算法 [J]. 兵工自動化, 2017, 36(1): 80-82.

[27]羅修輝, 韋程東, 王一茸. EM 算法在混合分布模型參數(shù)估計中的應用研究 [J]. 廣西師范學院學報(自然科學版), 2016, 33(3): 35-39.

[28]虞歡歡. 基于違約強度為混合泊松分布情形的信用資產(chǎn)組合集成風險度量研究 [D]. 杭州: 浙江財經(jīng)大學, 2015.

[29]高迎心, 溫佳威, 徐爾, 等. 基于混合泊松分布的新生突變識別算法 [J]. 中國生物化學與分子生物學報, 2017 (11): 1168-1174.

[30]Wang DW. Fast hybrid level set model for non-homogenous image segmentation solving by algebraic multigrid [J]. Engineering and Technology Research, 2016, doi: 10.12783/dtetr/iceea2016/6727.

[31]Jiang D, Han DF, Hu XL. The shape optimization of the arterial graft design by level set methods[J]. Applied Mathematics: A Journal of Chinese Universities, 2016, 31(2): 205-218.

[32]師肖靜, 張興芳. 概率邏輯、不確定邏輯和模糊邏輯之比較 [J]. 計算機工程與應用, 2017, 53(12):50-52, 69.

[33]錢玲, 張慧, 張化朋. 非可加測度空間上 Egoroff 定理的偽條件 [J]. 模糊系統(tǒng)與數(shù)學, 2016 (1): 77-83.

[34]楊勇, 潘偉民, 徐春. 水平集函數(shù)規(guī)則化的 C-V 主動輪廓模型 [J]. 計算機工程與應用, 2008, 44(34):166-168.

[35]歐陽耀, 李軍. Choquet 積分定義的單調(diào)集函數(shù)的幾個遺傳性質(zhì)(英文) [J]. 東南大學學報(英文版),2003, 19(4): 423-426.

[36]李勁, 岳昆, 張德海, 等. 社會網(wǎng)絡中影響力傳播的魯棒抑制方法 [J]. 計算機研究與發(fā)展, 2016,53(3): 601-610.

[37]Zhao Y, Cheng DZ. Calculus of Pseudo-Boolean functions [C]// Technical Committee on Control Theory of Chinese Association of Automation,Systems Engineering Society of China, 2012.

[38]Marques Silva J. On applying lower bound estimates in Pseudo-Boolean optimization [C]// Proceedings of Guangzhou Symposium on Satis fi ability and Its Applications, 2004.

[39]傅文進, 吳小俊, 董文華, 等. 基于協(xié)同表示的子空間聚類 [J]. 模式識別與人工智能, 2017, 30(3):251-259.

[40]吳萱. 基于變分正則化的彩色濾波陣列(CFA)圖像去馬賽克方法研究 [D]. 南京: 南京理工大學,2016.

[41]張語涵. 魯棒人臉正面化方法研究 [D]. 南京: 南京理工大學, 2016.

[42]石聰聰. 矩陣 Frobenius 范數(shù)不等式及次可加性研究 [D]. 重慶: 重慶大學, 2016.

[43]翁小清, 沈鈞毅. 基于滑動窗口的多變量時間序列異常數(shù)據(jù)的挖掘 [J]. 計算機工程, 2007, 33(12):102-104.

[44]Mankiw GN. 經(jīng)濟學原理: 宏觀經(jīng)濟學分冊第 7版 [M]. 北京: 北京大學出版社, 2012.