機(jī)器學(xué)習(xí)的數(shù)學(xué)理論及其算法研究——評(píng)《機(jī)器學(xué)習(xí)的數(shù)學(xué)理論》

書名：機(jī)器學(xué)習(xí)的數(shù)學(xué)理論

作者：史斌，［美］S.S.艾揚(yáng)格（S.S.Iyengar)

出版社：機(jī)械工業(yè)出版社

ISBN：978-7-1116-6136-8

出版時(shí)間：2020年8 月

定價(jià)：60 元

人工智能和統(tǒng)計(jì)學(xué)的發(fā)展衍生出了關(guān)于數(shù)據(jù)分析的機(jī)器學(xué)習(xí)。這門新興學(xué)科是數(shù)據(jù)分析領(lǐng)域的研究人員重點(diǎn)探究的方向。有科學(xué)家將機(jī)器學(xué)習(xí)定義為，計(jì)算機(jī)通過(guò)儲(chǔ)存的數(shù)據(jù)經(jīng)驗(yàn)不斷提高其自身性能的行為。機(jī)器學(xué)習(xí)是指計(jì)算機(jī)通過(guò)固有的規(guī)律性信息獲得新的經(jīng)驗(yàn)和知識(shí)，從而提升計(jì)算機(jī)的智能，達(dá)到像人類一樣作出決策的目的。隨著計(jì)算機(jī)科學(xué)的發(fā)展，機(jī)器學(xué)習(xí)的探究和應(yīng)用取得了很大成就，研究機(jī)器學(xué)習(xí)的數(shù)學(xué)理論和算法對(duì)計(jì)算機(jī)的發(fā)展有重要作用。由史斌和艾揚(yáng)格編著、機(jī)械工業(yè)出版社出版的《機(jī)器學(xué)習(xí)的數(shù)學(xué)理論》一書，詳細(xì)介紹了機(jī)器學(xué)習(xí)的數(shù)學(xué)理論，討論了機(jī)器學(xué)習(xí)的優(yōu)化理論，為提高計(jì)算機(jī)研究人員對(duì)于機(jī)器的認(rèn)知、實(shí)現(xiàn)機(jī)器的自動(dòng)化具有重要指導(dǎo)價(jià)值。

《機(jī)器學(xué)習(xí)的數(shù)學(xué)理論》全書共分為十一章。第一章圍繞神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)、梯度下降法的基本知識(shí)進(jìn)行了概括介紹。第二章主要介紹機(jī)器學(xué)習(xí)與計(jì)算統(tǒng)計(jì)學(xué)的相關(guān)基礎(chǔ)知識(shí)。第三章針對(duì)機(jī)器學(xué)習(xí)所需的優(yōu)化理論的相關(guān)內(nèi)容從專業(yè)角度進(jìn)行了多維度介紹。第四章從梯度加速下降法和在線時(shí)變黏性網(wǎng)算法等方面對(duì)CoCoSSC 方法進(jìn)行了全面解讀。第五章針對(duì)關(guān)鍵術(shù)語(yǔ)的基本知識(shí)進(jìn)行了概括介紹。第六章介紹了關(guān)于非凸規(guī)劃幾何的相關(guān)研究。第七章分析了收斂到最小值的梯度下降法，并介紹了最優(yōu)和自適應(yīng)的步長(zhǎng)規(guī)則。第八章解讀了基于優(yōu)化的守恒定律方法。第九章分析了CoCoSSC 算法的主要結(jié)果，同時(shí)提出了算法改進(jìn)策略。第十章分析了多元時(shí)間序列中穩(wěn)定和分組因果關(guān)系。第十一章是后記。

筆者在開展基于海南省高等學(xué)校教育教學(xué)改革研究項(xiàng)目（Hnjg2021-145）研究成果認(rèn)為，機(jī)器學(xué)習(xí)的深度學(xué)習(xí)與人類大腦的學(xué)習(xí)過(guò)程最接近，機(jī)器的深度學(xué)習(xí)借鑒了人腦的多分層結(jié)構(gòu)和信息分析處理機(jī)制，擁有學(xué)習(xí)和適應(yīng)處理信息的能力。雖然目前機(jī)器學(xué)習(xí)的應(yīng)用范圍較廣并在商業(yè)上取得了成功，但機(jī)器學(xué)習(xí)還處于起步階段，機(jī)器深度學(xué)習(xí)在構(gòu)造、功能、運(yùn)行機(jī)制和處理問(wèn)題的能力方面都與人腦有巨大差異。

基于該書指導(dǎo)，機(jī)器學(xué)習(xí)主要過(guò)程是：機(jī)器首先在確定的網(wǎng)絡(luò)結(jié)構(gòu)和相應(yīng)的數(shù)學(xué)模型上，選擇可接收的學(xué)習(xí)和輔導(dǎo)方法，然后輸入數(shù)據(jù)的數(shù)據(jù)構(gòu)造進(jìn)行進(jìn)一步了解，同時(shí)不斷調(diào)整內(nèi)部模式，最后利用數(shù)學(xué)工具解決網(wǎng)絡(luò)參數(shù)問(wèn)題，以提高機(jī)器的泛化能力并阻止過(guò)度擬合。機(jī)器學(xué)習(xí)算法的過(guò)程是指用數(shù)理統(tǒng)計(jì)方法分析問(wèn)題并采用最優(yōu)化步驟解決問(wèn)題，通常采用的算法有卷積神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)算法和經(jīng)典的BP 算法。

卷積神經(jīng)網(wǎng)絡(luò)是一種多層前饋神經(jīng)網(wǎng)，其神經(jīng)網(wǎng)絡(luò)是卷積結(jié)構(gòu)，這種網(wǎng)絡(luò)結(jié)構(gòu)與全連前饋神經(jīng)網(wǎng)絡(luò)大不相同，具有參數(shù)共享和本地連接的重要特性，這種特性使連接數(shù)、權(quán)重、和網(wǎng)絡(luò)模型的復(fù)雜度都大幅度降低，同時(shí)提升了計(jì)算效率。另外，通過(guò)子采樣自動(dòng)提取具有平移不變性的局部特點(diǎn)。該書指出，卷積神經(jīng)網(wǎng)絡(luò)模型由輸入層、隱藏層和輸出層構(gòu)成。多個(gè)獨(dú)立的神經(jīng)元構(gòu)成一個(gè)平面，多個(gè)平面構(gòu)成每層網(wǎng)絡(luò)，隱藏層包含多對(duì)卷積層和下采樣層，輸出層通過(guò)前饋網(wǎng)絡(luò)全連的方法相互連接。卷積層的神經(jīng)元根據(jù)視覺局部感受野原理只與前一層網(wǎng)絡(luò)對(duì)應(yīng)位置的感受野相連，這種連接方式降低了網(wǎng)絡(luò)參數(shù)。卷積神經(jīng)網(wǎng)絡(luò)要求當(dāng)前層的卷積核等于在不同位置連接的前一層的權(quán)值，這樣不僅簡(jiǎn)化了網(wǎng)絡(luò)參數(shù)、實(shí)現(xiàn)了網(wǎng)絡(luò)權(quán)值共享，而且提高了網(wǎng)絡(luò)學(xué)習(xí)的魯棒性視覺特征提取效果。

BP 算法屬于有監(jiān)督學(xué)習(xí)算法，該算法神經(jīng)網(wǎng)絡(luò)計(jì)算模型中的淺層前向區(qū)由輸出層、隱藏層和輸入層組成，各層互相連接的網(wǎng)絡(luò)節(jié)點(diǎn)處的神經(jīng)元通過(guò)激勵(lì)函數(shù)處作為連接強(qiáng)度信號(hào)的網(wǎng)絡(luò)權(quán)重，神經(jīng)元通過(guò)調(diào)整強(qiáng)度信號(hào)將包含的模式信息的輸入數(shù)據(jù)傳遞到輸出圖層。結(jié)合該書，BP 算法的學(xué)習(xí)過(guò)程分為傳播和糾錯(cuò)兩個(gè)階段。第一階段是向前傳播，通過(guò)網(wǎng)絡(luò)學(xué)習(xí)提取訓(xùn)練信息并傳遞給輸出層。第二階段是糾錯(cuò)，將誤差向后傳播，基于最優(yōu)化理論算出與期望值比較后的殘差，將殘差向后傳遞改變輸入的連接強(qiáng)度，調(diào)整輸出值，減小殘差，網(wǎng)絡(luò)的權(quán)值是最終的學(xué)習(xí)結(jié)果。因此，BP 算法的本質(zhì)是通過(guò)第二階段將殘差不斷傳遞給輸入層的神經(jīng)元，調(diào)整輸入層神經(jīng)元的連接強(qiáng)度進(jìn)行連續(xù)校正，使每個(gè)單元的重量和偏移量逐漸減小最終滿足應(yīng)用要求。