知識與數(shù)據(jù)驅(qū)動機(jī)器學(xué)習(xí)模型的參數(shù)可辨識性理論分析與研究

張樹興 蔣紅衛(wèi)

摘? 要：隨著現(xiàn)代經(jīng)濟(jì)水平的不斷提升，現(xiàn)代社會逐漸成信息傳播的時代，在此背景之下，基于信息數(shù)據(jù)驅(qū)動的各種機(jī)器逐漸成為數(shù)據(jù)處理的關(guān)鍵技術(shù)。分析知識與數(shù)據(jù)驅(qū)動機(jī)器學(xué)習(xí)模型的參數(shù)的可辨識性，對于相關(guān)研究來說具有重要的價值?；诖耍恼轮饕獙χR以及數(shù)據(jù)驅(qū)動機(jī)器學(xué)習(xí)模型的參數(shù)可辨識性的理論參數(shù)進(jìn)行了分析，對其研究進(jìn)行了探究分析。

關(guān)鍵詞：知識與數(shù)據(jù)驅(qū)動機(jī)器學(xué)習(xí)模型;參數(shù)可辨識性;分析以及研究

中圖分類號：TP181? ? ? ? ?文獻(xiàn)標(biāo)志碼：A? ? ? ? ?文章編號：2095-2945（2020）09-0014-02

Abstract： With the continuous improvement of modern economic level， modern society has gradually become an era of information dissemination. In this context， various information data-drivenmachines have gradually become the key technology of data processing. It is of great value for related research to analyze the course identification of the parameters of knowledge and data-driven machine learning model. Based on this， the paper mainly analyzes the theoretical parameters of the identifiability of knowledge and data-driven machine learning model.

Keywords： knowledge and data-driven machine learning model; parameter identifiability; analysis and research

基于辨識研究發(fā)展角度分析，辨識是數(shù)學(xué)模型以及控制系統(tǒng)中的關(guān)鍵以及集成的內(nèi)容。辨識概念研究的主題在不斷的拓展。在系統(tǒng)辨識理論中是較為關(guān)鍵的內(nèi)容?？杀孀R性是機(jī)器學(xué)習(xí)的核心內(nèi)容?，F(xiàn)階段并沒有得到深入的研究?；谥R以及數(shù)據(jù)驅(qū)動機(jī)器學(xué)習(xí)模型角度進(jìn)行分析，分析參數(shù)可辨識性，對其進(jìn)行分析，了解其今后的發(fā)展軌跡以及主要特征具有重要的價值意義。

1 知識與數(shù)據(jù)驅(qū)動機(jī)器學(xué)習(xí)模型的參數(shù)可辨識性理論分析

模型對象為“基于知識與數(shù)據(jù)共同驅(qū)動的模型”，此模型的結(jié)構(gòu)原理如圖1。

其表示的就是兩個子模型之間互相作用的運算以及數(shù)據(jù)驅(qū)動的子模型，可以通過機(jī)器X射線決策樹以及神經(jīng)元網(wǎng)絡(luò)、也可支持向量機(jī)。參數(shù)辨識性的分析中，知識以及數(shù)據(jù)的驅(qū)動機(jī)器學(xué)習(xí)模型有重要的價值。知識驅(qū)動子模型參數(shù)變量進(jìn)行處理，這也是獲得參數(shù)正確估計的關(guān)鍵。

為了統(tǒng)一模型框架，將傳統(tǒng)知識驅(qū)動或者書籍驅(qū)動模型作為例子進(jìn)行分析，模糊系統(tǒng)以及概率圖等模型相關(guān)通過單一結(jié)構(gòu)化的知識表達(dá)模型可以定義為新模型的一種，新模型利用具有非結(jié)構(gòu)化的先驗知識以及具有任意類型的動態(tài)模型進(jìn)行處理。此模型與傳統(tǒng)的模型具有一定差異，新模型的耦合模式以及DD子模型的特征可以為參數(shù)的可辨識性提高充分的空間。通過調(diào)整模型的方式則可以達(dá)到對模型可辨識度的實際狀況的調(diào)整，其具有一定的物理意義。也為不可辨識參數(shù)的轉(zhuǎn)變提供可行。

今后，機(jī)器學(xué)習(xí)的模型呈現(xiàn)智能化的特征。利用知識以及數(shù)據(jù)，要基于“歸納”與“演繹”進(jìn)行處理，為新的模型提供參考。在大數(shù)據(jù)的支持之下會產(chǎn)生不斷的完善。經(jīng)典統(tǒng)計理論中，可辨識度屬于基本的假設(shè)，多數(shù)的統(tǒng)計性質(zhì)均是用過假設(shè)的方式進(jìn)行研究。例如，極大似然估計以及Bayes的后驗分布中的漸近正態(tài)性。

可辨識性研究以及機(jī)器學(xué)習(xí)領(lǐng)域具有密切的關(guān)系。其中隱因子模型、變分Bayesian矩陣分解之間有著密切的關(guān)系。在機(jī)器學(xué)習(xí)領(lǐng)域中學(xué)習(xí)機(jī)具有奇異性的特征，其對機(jī)器學(xué)習(xí)產(chǎn)生了較大的影響。在參數(shù)模型以及學(xué)習(xí)算法、學(xué)習(xí)動態(tài)、Bayes推斷等領(lǐng)域中具有重要的影響。對此，要通過創(chuàng)新化的方式對奇異學(xué)習(xí)機(jī)進(jìn)行統(tǒng)計分析。

2 知識與數(shù)據(jù)驅(qū)動機(jī)器學(xué)習(xí)模型的參數(shù)可辨識性研究

2.1 奇異統(tǒng)計模型參數(shù)空間的幾何結(jié)構(gòu)

基于Amari信息幾何特征，利用模型的一階近似，非奇異統(tǒng)計模型參數(shù)之間的空間局部結(jié)構(gòu)要對統(tǒng)計流形的切空間進(jìn)行表示。而高階近似則可以基于信息集合的放射鏈接以及相關(guān)的e-曲線和m-曲線獲得。

而在奇異模型的統(tǒng)計流形中，并沒有在奇異點中并沒有切空間。通過切錐進(jìn)行分析。通過同意的方式對奇異統(tǒng)計的具備結(jié)構(gòu)進(jìn)行研究分析，可以將其觀測的等價參數(shù)通錐 （Cone）的方式進(jìn)行嵌入，在正則流形中進(jìn)行分析。

機(jī)器學(xué)習(xí)領(lǐng)域中的研究較大，通過對層次神經(jīng)網(wǎng)絡(luò)進(jìn)行研究，發(fā)現(xiàn)在模型參數(shù)中的等價類并不是呈現(xiàn)孤立性的集合性，而是呈現(xiàn)連續(xù)統(tǒng)的方式進(jìn)行存儲，充分的展示了奇異模型參數(shù)的幾何結(jié)構(gòu)特征。

2.2 模型選擇

模型選擇是機(jī)器學(xué)習(xí)的重要內(nèi)容。進(jìn)行模型選擇中主要根據(jù)可辨識性以及靈活性、吝嗇性等方面進(jìn)行分析，較長應(yīng)用的模型準(zhǔn)則主要有Akaike information criterion（AIC）Bayesian information criterion（BIC），Minimum descriptionl

ength（MDL）等等。

神經(jīng)網(wǎng)絡(luò)建模處理中，應(yīng)用AIC作為其標(biāo)準(zhǔn)，但是結(jié)果并不理想，而出現(xiàn)此種問題主要就是因為神經(jīng)網(wǎng)絡(luò)模型自身的奇異性造成的。

網(wǎng)絡(luò)信息準(zhǔn)則（NIC）分析了奇異性的特征，其理論以及數(shù)值的實驗較為良好。而NIC的基本思想與Vapnik結(jié)構(gòu)風(fēng)險中的極小化歸納原則中要構(gòu)建具有嵌套性的函數(shù)集合特征，但是其操作較為困難?；谄浣y(tǒng)計角度進(jìn)行分析，AIC的極小化模型具有泛化誤差。在奇異模型中的泛化誤差中的正則模型具有復(fù)雜的性質(zhì)特征。在奇異模型中其BIC缺陷、MDL缺陷類似于AIC。而Bayes模型對比分析，模型奇異性是必須要綜合的因素。奇異模型中要應(yīng)用標(biāo)準(zhǔn)的選擇標(biāo)準(zhǔn)，這也是機(jī)器學(xué)習(xí)的重要內(nèi)容。

2.3 學(xué)習(xí)算法

學(xué)習(xí)模型中的相關(guān)參數(shù)維數(shù)以及非線性的程度會呈現(xiàn)快速增加，在學(xué)習(xí)中會產(chǎn)生大量的計算資源，為了提升學(xué)習(xí)參數(shù)過程的速度，就要加強(qiáng)對奇異性的學(xué)習(xí)算法的研究。多層感知其網(wǎng)絡(luò)的研究中為了加快對后向傳播算法的研究提升收斂速度，學(xué)者對其進(jìn)行了大量的研究，其中自適應(yīng)步長動量的方法雖然有效，但是在本質(zhì)上來說都是梯度下降的一階算法，無法在根本上達(dá)到解決平臺現(xiàn)象的目的。而牛頓法、共軛法等方法雖然分析了參數(shù)空間的曲率信息，但是其開銷較大，僅僅具有收斂的特性，都屬算法僅僅適合批量的方式，無法適合大規(guī)模的數(shù)據(jù)以及在線學(xué)習(xí)的要求。

在平臺中出現(xiàn)慢流形的主要問題就是模型自身的奇異性，為了有效的克服出現(xiàn)的慢收斂的問題，通過自然梯度下降算法分析，可以綜合算法中參數(shù)空間中的流形結(jié)構(gòu)，達(dá)到提升收斂速度的目的。分析自然梯度下降算法的復(fù)雜性問題，綜合統(tǒng)計物理機(jī)理對其進(jìn)行分析。整體上來說，自然梯度下降算法中的復(fù)雜度較高，對此，在奇異模型中仍需要更高的算法。

2.4 學(xué)習(xí)過程的動態(tài)軌跡分析

在進(jìn)行奇異性的研究中，學(xué)習(xí)過程中的動態(tài)軌跡的分析尤為關(guān)鍵。奇異模型中的參數(shù)具有不可辨識的特征，因此其相關(guān)的觀測等價參數(shù)的誤差函數(shù)是相同的，誤差曲面中多數(shù)的地方為平坦的狀態(tài)。受到其影響導(dǎo)致學(xué)習(xí)過程相對較為緩慢，會產(chǎn)生嚴(yán)重的后果：

學(xué)習(xí)過程緩慢，低緯流形上的學(xué)習(xí)軌跡停留時間則就會過長，隨著其訓(xùn)練數(shù)據(jù)的隨機(jī)噪聲的作用才會導(dǎo)致其出現(xiàn)下降的趨勢。導(dǎo)致其陷入到局部的極小值中。誤差曲面中的參數(shù)學(xué)習(xí)軌跡嶺線完全平坦。在理論的角度進(jìn)行分析可以確定，在奇異模型中，Batch學(xué)習(xí)方式則就會對在訓(xùn)練中產(chǎn)生的隨機(jī)噪聲產(chǎn)生作用，平滑隨機(jī)噪聲;這樣則就會使得學(xué)習(xí)過程出現(xiàn)低維流形以及局部的極小點。通過Onlie的學(xué)習(xí)方式則就會使得學(xué)習(xí)平坦區(qū)域中的動態(tài)軌跡逃離。由此可以證明，奇異模型中Online方法更為合適。在學(xué)習(xí)中為了充分的分析參數(shù)的學(xué)習(xí)軌跡，通過對多層感知網(wǎng)絡(luò)以及高斯混合模型中的參數(shù)學(xué)習(xí)的動態(tài)軌跡進(jìn)行分析，了解參數(shù)空間中的學(xué)習(xí)動態(tài)的向量場。但是進(jìn)行奇異模型的學(xué)習(xí)過程的動態(tài)軌跡分析，其并沒有普遍適應(yīng)的結(jié)果。

2.5 泛化誤差

泛化誤差是基于Cram6r-Rao范例開展的。奇異統(tǒng)計模型的泛化誤差計算則要綜合模型中的特殊性質(zhì)進(jìn)行分析。高斯混合模型中的數(shù)似然比具有奇異性的特征。出現(xiàn)此種特征主要就是因為奇異統(tǒng)計模型中的數(shù)似然比影響。神經(jīng)網(wǎng)絡(luò)中利用簡單的線性模型則可以充分的分析多層感知器模型的漸近性質(zhì)以及泛化誤差結(jié)果更為精準(zhǔn)。

現(xiàn)階段，學(xué)界中主要就特殊模型進(jìn)行研究，要加強(qiáng)對奇異模型的通用結(jié)果的深入研究。

2.6 Bayes推斷

通過Bayes學(xué)習(xí)方式進(jìn)行處理，利用先驗知識的方式，可以緩解過擬合的問題，其具有顯著的泛化性特征，在奇異學(xué)習(xí)中，會遇到理論性的困難。應(yīng)用先驗知識“無信息先驗”進(jìn)行處理，則光滑先驗密度奇異點構(gòu)成等價類則呈現(xiàn)無窮大的特征，導(dǎo)致模型后驗分布會更加偏向奇異點，但是違背了“無信息先驗”的基礎(chǔ)原則，不符合常理，同時，在奇異模型中Bayes后驗分布，利用Hironaka奇異性對定理分解以及Sato公式，在奇異機(jī)器學(xué)習(xí)中代入幾何以及代數(shù)分析，研究分析不同層次的奇異學(xué)習(xí)的預(yù)測分布的性能，可以獲得一定結(jié)果。其理論主要幾個方面，得出了一系列結(jié)果：

第一，分析數(shù)似然比函數(shù)標(biāo)準(zhǔn)型以及隨機(jī)復(fù)雜度中存在的收斂性問題。在Bayes分析中，分析兩個方程與訓(xùn)練誤差、泛化誤差直接的對稱性關(guān)系。第二，分析奇異性的不同影響，是機(jī)器學(xué)習(xí)的基礎(chǔ)的知識，是今后研究的重點。

3 結(jié)束語

機(jī)器學(xué)習(xí)理論為實踐研究提供了全新的視角以及參考。對其相關(guān)概念以及知識要點進(jìn)行分析，對于自變量的設(shè)定以及公共政策的調(diào)整等的各項提供參考，也為典型的復(fù)雜巨系統(tǒng)問題的演變激勵研究提供了參考。知識與數(shù)據(jù)共同驅(qū)動的思維以及其參數(shù)可辨識性的研究對于深度學(xué)習(xí)以及人工智能等理論具有重要的價值。

參考文獻(xiàn)：

[1]沈國良，錢濟(jì)人.基于系統(tǒng)辨識的機(jī)器學(xué)習(xí)模型參數(shù)可調(diào)性研究[J].自動化應(yīng)用，2019（03）：97-98.

[2]胡包鋼.統(tǒng)計機(jī)器學(xué)習(xí)中參數(shù)可辨識性研究及其關(guān)鍵問題[J].自動化學(xué)報，2017（10）：3-12.

[3]冉智勇.知識與數(shù)據(jù)驅(qū)動機(jī)器學(xué)習(xí)模型的參數(shù)可辨識性理論研究[D].中國科學(xué)院大學(xué)，2014.