基于互信息的大壩安全分析因子提取方法

高 磊，花勝強，陳 意，鄭健兵

（南瑞集團公司（國網電力科學研究院），江蘇 南京 211106）

基于回歸建模的統(tǒng)計方法是目前大壩變形監(jiān)測分析的主要手段之一，而因子空間和樣本質量決定了回歸統(tǒng)計的精度上限，選用合適的回歸模型和算法只能逼近該上限。通常，在對大壩變形進行分析時會選取多個回歸因子，如多個承前時段內水頭的1—4次方值及溫度值，多個周期的溫度諧波因子，以及多種函數的時效因子。但是由此也衍生了一系列問題，首先，高維度下數據處理的時空復雜度劇增；其次，非相關因子及因子間互相關性會嚴重干擾回歸分析的精度，降低模型的泛化能力和可解釋性；最后，不同因子的采樣周期差異、數據的非標準化表示等都會影響模型的可信度。因此，如何處理和抽取合理的回歸因子，對基于統(tǒng)計方法的大壩變形監(jiān)測分析具有決定性的意義[1-3]。

1 行業(yè)現狀

目前業(yè)界內變形分析的因子抽取，普遍是基于主成分分析、獨立成分分析、典型相關性分析及偏最小二乘回歸分析的原理進行抽取和變換的，其主要缺點包括[4-7]：主成分分析、獨立成分分析側重于因子側的最大化信息表述和抽取，典型相關性分析側重于效應量和因子的相關性最大化，都不夠全面；典型相關性分析和偏最小二乘回歸分析都只能考察變量的線性相關性，對于非線性系統(tǒng)則容易失真；數據的預處理也極為重要，如果對未經降噪、去量綱、時序對齊等預處理的因子樣本直接進行統(tǒng)計分析，那分析結論的精度通常是不可接受的。

通過以上可以看出，行業(yè)內目前普遍采用的因子抽取和變換方法都存在著一定的不足和缺陷，影響了大壩安全分析后續(xù)工作的進一步展開。

2 技術方案

為克服以上這些問題，首先通過降噪、歸一化和測次對其進行數據預處理，為后續(xù)的因子抽取提供可信的樣本基礎；其次，通過綜合最大化因子的方差及變形效應量和因子的相關性，而不是單純的因子主成分分析，使得因子的抽取更為合理；最后，使用基于互信息而非協方差的相關性檢驗，避免了僅能衡量線性相關的局限性，進一步提高因子抽取的精度，為后續(xù)大壩安全監(jiān)測的成因分析和回歸預測，提供了更為全面和精密的基礎，詳細技術方案流程如下：

2.1 基于3σ準則的降噪和歸一法的去量綱處理[8-11]

原始觀察樣本中的粗差對于后續(xù)的統(tǒng)計分析可能會有極大的影響，甚至使得分析失效，例如因子歸一化、某些分類和回歸算法對于離群點類的粗差比較敏感，因此應首先去除離群點，本方法采用3σ準則過濾離群點。

根據每個因子的原始樣本序列，計算出其均值μ和標準差σ，然后遍歷序列的每一個原始測值V，如果滿足：|V-μ|≥3σ，即判定該值為離群點，予以剔除。

接下來對每個因子進行歸一化以去掉量綱。對于某因子的測值序列，進行變換如下：V’=（V-Vmin）/（Vmax-Vmin），其中，V’為變換后的新測值，V為原始測值，Vmin為本序列中原始測值中的最小值，Vmax為本序列中原始測值中的最大值。

2.2 基于時效的測次對齊

實際大壩安全監(jiān)測中，變形效應量和各個環(huán)境因子難以保證完全同步測量，存在測量時序錯位的問題。因此，尋找并匹配變形效應量和各個因子的測值，從而組成一個完整的測次，使得該測次內所有變量的時間差都在有效的時間間隔內，并使得總時間跨度最小，這樣可以得到較佳的樣本質量。

2.3 基于主成分和互相關最優(yōu)的因子抽取[12-18]

互信息是兩個變量間相關性的度量，表示兩個變量間共有信息量的程度，不同于協方差，互信息可以衡量各種關系的相關性。兩個變量X和Y的互信息I（X；Y）如下：

其中，p（x，y）是X和Y的聯合概率分布函數，而p（x）和p（y）分別是X和Y的邊緣概率分布函數。

令單位向量u為因子矩陣X的第一主成分的轉換系數，則目標是要主成分Xu的方差Var（Xu）、變形效應量Y與主成分Xu的相關性綜合最大，考慮二者的協方差Cov（Y，Xu）：

即轉化為求二者的協方差最大，其中Corr（Y，Xu）為二者的皮爾遜相關系數。此外，協方差計算的是兩個變量的線性相關程度，非線性的相關性通過協方差難以挖掘出來。考慮到互信息系數能表征兩個變量間的非線性相關性，本文使用互信息I來表征其相關性，所以目標函數形式化表述為：

引入拉格朗日乘子，得到Γ=I（Y，Xu）-λ（uTu-1）/2，兩邊對u做偏導，即可轉為對互信息矩陣的本征值和本征向量的求解問題，根據本征值的降序排列，可得到對應的本征向量集合，此即為因子的各個主成分轉換向量。

2.4 降維并形成最終因子抽取的系數轉換矩陣

對于第k個主成分轉換向量，定義其主成分貢獻率為δk：

式中，λk為第k個主成分轉換向量對應的本征值，n為因子的總數，也是主成分轉換向量的總數。

根據λk由高到低的順序，依次累加其對應的δk，當總和占全部δk總和的98%以上時候，即停止選擇，則之前所有入選的對應的δk主成分轉換向量集合，即為最終的因子抽取的轉換矩陣。

3 算例

以瀾滄江某混凝土壩2000—2015年自動化沉降觀測資料為例，分別建立原始全回歸模型，偏最小二乘回歸模型和基于本方法改進的全回歸模型。影響沉降的因子包括庫水位H、氣溫T、時效t等，本次實例選取因子為當日、前兩日、前3～5日、前5～10日的平均水位H、平均水位的平方值H2、平均水位的立方值H3、平均水位的四次方值H4、氣溫T、時效的自然對數值ln（t），來組成原始因子矩陣，以matlab程序作為開發(fā)環(huán)境和宿主程序，擬合結果如下：運行全回歸擬合，得復相關系數為0.923 3，剩余標準差為0.613 3；運行偏最小二乘回歸擬合，得復相關系數為0.798 1，剩余標準差為0.702 4。運行基于本方法改進的全回歸模型，得復相關系數為0.808 3，剩余標準差為0.673 4。

進一步分析模型可以發(fā)現，全回歸分析雖然針對樣本的擬合精度最高，但是從物理成因上無法解釋，如水位因子的系數出現負數，常數項值過大，這些都違反了大壩性狀分析基礎成因理論，純粹為擬合方程，不能用于實際分析和預測；偏最小二乘回歸和本方法改進的回歸模型都較好的克服了上述缺陷，模型系數相對合理，也符合實際，但是本模型無論是在擬合階段，還是在后續(xù)的驗證階段，都能取得相對偏最小二乘回歸較優(yōu)的擬合精度，體現出了其穩(wěn)健性好，魯棒性強，對客觀實際描述更為恰當。

雖然本實例采用的驗證方法比較簡單，因子的選擇和建模結果的理論分析也有較大的改善空間，但也能從某個方面顯示出本方法的實用性，隨著分析研究的不斷深入，希望本方法能對研究和分析水工建筑物實際性態(tài)狀況起到良好的輔助作用。

4 總結

本文提出了一種大壩變形分析中因子抽取和轉換的方法。首先，基于3σ準則和歸一法對因子進行降噪和去量綱處理；其次，基于指定的有效時間間隔進行各個因子的測次對齊；再次，基于變形效應量和因子的主成分的互信息最大原則，依次抽取因子的主成分向量；最后，按照主成分貢獻率從大到小的規(guī)則對主成分向量排序，并按照98%的主成分貢獻率總和標準抽取并組合得到最終的因子轉換矩陣。通過算例驗證表明，本方法提取后的因子空間對于后續(xù)大壩安全監(jiān)測的成因分析和回歸預測，提供了更為全面和精密的基礎。