機(jī)器學(xué)習(xí)的五大類別及其主要算法綜述

李旭然 丁曉紅

摘 要：機(jī)器學(xué)習(xí)作為一門源于人工智能和統(tǒng)計(jì)學(xué)的學(xué)科，是當(dāng)前數(shù)據(jù)分析領(lǐng)域重點(diǎn)研究方向之一。首先通過(guò)追溯機(jī)器學(xué)習(xí)起源和介紹不同算法在求解策略上的啟發(fā)性思路，討論五類機(jī)器學(xué)習(xí)的發(fā)展及其主要算法在評(píng)價(jià)方法和優(yōu)化方式上的實(shí)現(xiàn)，進(jìn)一步總結(jié)歸納各算法適用領(lǐng)域和算法優(yōu)劣，最后指出各算法克服自身缺陷的最新進(jìn)展和未來(lái)實(shí)現(xiàn)多算法融合的研究方向。

關(guān)鍵詞：機(jī)器學(xué)習(xí);學(xué)習(xí)算法;集成方法;增強(qiáng)理論;元學(xué)習(xí)

DOI：10. 11907/rjdk. 182932 開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

中圖分類號(hào)：TP3-0文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2019）007-0004-06

Survey on Five Tribes of Machine Learning and the Main Algorithms

LI Xu-ran，DING Xiao-hong

（School of Mechanical Engineering， University of Shanghai for Science and Technology， Shanghai 200093， China）

Abstract： Machine learning is a discipline derived from artificial intelligence and statistics， and it has been one of the key research directions in the field of data analysis. This paper introduces the inspiring ideas of different machine learning algorithms in the strategy through their origins， and the realization of five tribes of machine learning and the main algorithms including evaluation function and optimization method. Then applicable fields of each algorithm and both advantages and disadvantages of the algorithm are summarized. Finally this paper points out the latest progresses of each algorithm to overcome its own defects and the future research direction of multi-algorithm fusion.

Key Words： machine learning; learning algorithm; ensemble method; reinforcement learning; meta learning

作者簡(jiǎn)介：李旭然（1994-），男，上海理工大學(xué)機(jī)械工程學(xué)院碩士研究生，研究方向?yàn)橹悄茉O(shè)計(jì);丁曉紅（1965-），女，博士，上海理工大學(xué)機(jī)械工程學(xué)院教授、博士生導(dǎo)師，研究方向?yàn)闄C(jī)械結(jié)構(gòu)多學(xué)科綜合優(yōu)化設(shè)計(jì)、智能化創(chuàng)新設(shè)計(jì)方法。

0 引言

機(jī)器學(xué)習(xí)源于人工智能和統(tǒng)計(jì)學(xué)[1]，在依次經(jīng)歷了兩個(gè)10年的活躍與平靜期后，1980年舉辦的首屆機(jī)器學(xué)習(xí)國(guó)際論壇，標(biāo)志著機(jī)器學(xué)習(xí)全面復(fù)蘇。機(jī)器學(xué)習(xí)開(kāi)始影響文明社會(huì)的各行各業(yè)，如消費(fèi)領(lǐng)域自動(dòng)駕駛、制造業(yè)異常檢測(cè)、金融業(yè)統(tǒng)計(jì)分析和零售業(yè)在線推薦等。

定義學(xué)習(xí)機(jī)理作為機(jī)器學(xué)習(xí)的關(guān)鍵[2-4]，在發(fā)展史上先后出現(xiàn)了3種類型的論述方式。第一類論述的代表人物為Simon[5]，他指出學(xué)習(xí)是外部行為的變化，即系統(tǒng)通過(guò)學(xué)習(xí)作出自我改變，并在隨后處理相近任務(wù)時(shí)變得高效;第二類論述的代表人物為Michalski[6]，他強(qiáng)調(diào)學(xué)習(xí)的內(nèi)部過(guò)程，即學(xué)習(xí)是對(duì)經(jīng)驗(yàn)事物表征的重構(gòu);而最后一類論述來(lái)自專家系統(tǒng)開(kāi)發(fā)領(lǐng)域，其主要觀點(diǎn)為獲取知識(shí)即是學(xué)習(xí)[7]。

1 機(jī)器學(xué)習(xí)類別

按照學(xué)習(xí)態(tài)度和不同的靈感來(lái)源，可將機(jī)器學(xué)習(xí)大致分為5個(gè)具有不同思想的類別[8]，包括符號(hào)主義（Symbolists）、聯(lián)結(jié)主義（Connectionists）、進(jìn)化主義（Evolutionaries）、貝葉斯主義（Bayesians）和類推主義（Analogizer）。每個(gè)類別圍繞各自的基本思想，有重點(diǎn)研究領(lǐng)域及相應(yīng)算法。

符號(hào)主義認(rèn)為，所有信息均可簡(jiǎn)化為操作符號(hào)，符號(hào)學(xué)者使用符號(hào)、規(guī)則和邏輯表征知識(shí)與進(jìn)化邏輯進(jìn)行推理，其主算法是逆向演繹，包括規(guī)則學(xué)習(xí)和決策樹(shù)等;聯(lián)結(jié)主義認(rèn)為學(xué)習(xí)是大腦所做的事情，因此聯(lián)結(jié)學(xué)者使用概率矩陣和加權(quán)神經(jīng)元?jiǎng)討B(tài)地識(shí)別和歸納模式，從而對(duì)大腦進(jìn)行逆向演繹，其主算法是反向傳播學(xué)習(xí)算法，如神經(jīng)網(wǎng)絡(luò);進(jìn)化主義從對(duì)自然選擇的解釋中發(fā)現(xiàn)了學(xué)習(xí)本質(zhì)，它通過(guò)生成變化，再根據(jù)特定目標(biāo)獲取最優(yōu)者，在計(jì)算機(jī)中實(shí)現(xiàn)對(duì)自然的模仿，其主算法是基因編程，如遺傳算法;不確定性是貝葉斯主義關(guān)注的中心，其認(rèn)為從知識(shí)獲取過(guò)程到一切既定知識(shí)均具備不確定性。貝葉斯學(xué)者利用事件發(fā)生的概率大小進(jìn)行計(jì)算，其主算法是貝葉斯定理，如樸素貝葉斯和馬爾可夫鏈;類推主義從關(guān)系間的相似性著手，推導(dǎo)出其它關(guān)系。類推學(xué)者根據(jù)約束條件優(yōu)化函數(shù)，通過(guò)找出需被記憶的經(jīng)歷并弄清之間的結(jié)合關(guān)系，實(shí)現(xiàn)新場(chǎng)景預(yù)測(cè)，其主算法是支持向量機(jī)。

表1 機(jī)器學(xué)習(xí)類別

在探尋新問(wèn)題解的過(guò)程中，是否可讓計(jì)算機(jī)記憶足夠大量數(shù)據(jù)，然后從中尋找出解？答案是否定的。假設(shè)將被解答的新問(wèn)題存儲(chǔ)于數(shù)據(jù)庫(kù)中，而現(xiàn)有數(shù)據(jù)庫(kù)又非常龐大，則該問(wèn)題出現(xiàn)的概率極低。記憶不能被當(dāng)作學(xué)習(xí)算法。符號(hào)主義代表人物之一Tom Mitchell[6]察覺(jué)到必須在機(jī)器學(xué)習(xí)中預(yù)設(shè)觀念，即引入附加假設(shè)，才可歸納出能力范圍內(nèi)最具普遍性的規(guī)則。另一個(gè)質(zhì)問(wèn)是如何在概括已知甚至未知的知識(shí)時(shí)，合理且準(zhǔn)確？各類機(jī)器學(xué)習(xí)算法都在設(shè)法解答這一歸納性難點(diǎn)。符號(hào)主義創(chuàng)始人之一Ryszard Michalski[9]借鑒心理學(xué)中的“合取概念”對(duì)任意影響結(jié)果的因素進(jìn)行組合，他設(shè)想在機(jī)器學(xué)習(xí)到任意一個(gè)規(guī)則后，用下一個(gè)規(guī)則盡可能多地包含剩余解，直到得到解對(duì)應(yīng)的規(guī)則全集。但多數(shù)算法開(kāi)始掌握的知識(shí)有限，這種“分而治之”的歸納算法很容易引起過(guò)擬合問(wèn)題。對(duì)此，Stephen Muggleton等[10]借鑒“歸納是逆向演繹”的思路，于1988年設(shè)計(jì)出第一個(gè)歸納邏輯的程序。在面對(duì)海量數(shù)據(jù)時(shí)，符號(hào)學(xué)者提出決策樹(shù)歸納，通過(guò)對(duì)規(guī)則的排序或讓其選擇解決多概念規(guī)則對(duì)應(yīng)一個(gè)實(shí)例的問(wèn)題，保證實(shí)例和規(guī)則一一對(duì)應(yīng)，使決策樹(shù)精度高且易于理解，Ross Quinlan[11]的研究使其成為分類問(wèn)題的佼佼者。符號(hào)主義在1980年代迅速占據(jù)了機(jī)器學(xué)習(xí)的主導(dǎo)地位，并在專家系統(tǒng)的應(yīng)用中大獲成功，但又因?yàn)閺?fù)雜的規(guī)則編碼逐漸消失。隨著人工智能技術(shù)的提升，上述先驅(qū)人物工作之間產(chǎn)生了新的聯(lián)系，符號(hào)主義機(jī)器學(xué)習(xí)重新活躍起來(lái)[12-13]。

聯(lián)結(jié)主義認(rèn)為，符號(hào)主義僅通過(guò)邏輯規(guī)則定義概念的方式不足以掌握全部實(shí)例。聯(lián)結(jié)主義信奉“同時(shí)被激活的神經(jīng)元會(huì)被聯(lián)系在一起”的赫布理論，反過(guò)來(lái)分析人類大腦的運(yùn)轉(zhuǎn)方式[14-15]。1960年前后Frank Rosenblatt[16]通過(guò)給McCulloch-Pitts神經(jīng)元之間的連接賦予不同的權(quán)重設(shè)計(jì)感知器。感知器結(jié)構(gòu)簡(jiǎn)單，僅借助例子訓(xùn)練即可區(qū)分圖像聲音。但如果遇到正負(fù)實(shí)例之間不能被超平面分離的情況，即典型的排斥-或功能（exclusive-OR function， XOR），感知機(jī)則不能進(jìn)行學(xué)習(xí)。直到1985年同時(shí)具有感官和隱藏神經(jīng)元的玻爾茲曼機(jī)器的誕生，將聯(lián)結(jié)主義的復(fù)興帶到頂峰。雖然玻爾茲曼機(jī)器有效解決了贊譽(yù)分布問(wèn)題，但在實(shí)踐過(guò)程中學(xué)習(xí)行為開(kāi)展得異常緩慢和艱難。此后不久，Yann LeCun[17]發(fā)現(xiàn)了一個(gè)既能學(xué)習(xí)XOR，又能高效處理贊譽(yù)分布問(wèn)題的反向傳播算法，并與Yoshua Bengio等[17-18]對(duì)其不斷優(yōu)化。深度學(xué)習(xí)算法諸如疊加自動(dòng)編碼器、卷積神經(jīng)網(wǎng)絡(luò)的誕生讓聯(lián)結(jié)主義一度成為機(jī)器學(xué)習(xí)的主導(dǎo)思想。

進(jìn)化主義和聯(lián)結(jié)主義一樣，都試圖效仿自然進(jìn)行學(xué)習(xí)的方法。John Holland[19-20]最早研究的是神經(jīng)網(wǎng)絡(luò)，但隨著關(guān)于進(jìn)化的數(shù)學(xué)理論體系逐漸成熟，其關(guān)注點(diǎn)轉(zhuǎn)變?yōu)橐环N從達(dá)爾文自然選擇理論轉(zhuǎn)化的算法。遺傳算法類似選擇育種，它通過(guò)模擬點(diǎn)突變和染色體交叉過(guò)程生成變化，然后引入適應(yīng)度函數(shù)給程序和目標(biāo)的契合度打分。在解決垃圾郵件過(guò)濾的應(yīng)用過(guò)程中，他提出分類器系統(tǒng)的規(guī)則集，并利用桶隊(duì)算法處理其面臨的贊譽(yù)分布問(wèn)題。盡管如此，與分層感知器相比，分類器系統(tǒng)可適用的領(lǐng)域十分有限。1987年John Koza[21]發(fā)現(xiàn)了基因編程方法，即對(duì)成熟的計(jì)算機(jī)程序自身進(jìn)行進(jìn)化。這種對(duì)程序樹(shù)而非字符串進(jìn)行交叉的方法，使學(xué)習(xí)活動(dòng)變得更為靈活。目前聯(lián)結(jié)主義最引人關(guān)注的應(yīng)用是具有自我意識(shí)和創(chuàng)造力進(jìn)化的機(jī)器人研發(fā)。反觀進(jìn)化主義和聯(lián)結(jié)主義主算法的不同側(cè)重點(diǎn)，前者注重結(jié)構(gòu)學(xué)習(xí)，而后者則通過(guò)權(quán)值學(xué)習(xí)解決大部分工作。借助遺傳算法尋找神經(jīng)網(wǎng)絡(luò)最優(yōu)結(jié)構(gòu)將成為兩種思想的融合點(diǎn)。

與效仿自然的方法截然不同，貝葉斯主義和符號(hào)主義都試圖從基本原理中探尋算法學(xué)習(xí)方式。貝葉斯主義基于貝葉斯定理，發(fā)明了樸素貝葉斯分類器，由于它可以獲取輸入輸出間的兩兩相關(guān)關(guān)系而被廣泛應(yīng)用，最成功的案例之一是David Heckerman[22]的垃圾郵件過(guò)濾器。不論是樸素貝葉斯法還是馬爾可夫鏈，均為貝葉斯網(wǎng)絡(luò)特例，后者是由Judea Pearl[23-24]在20世紀(jì)80年代創(chuàng)建的一個(gè)關(guān)系圖譜，包含任意的結(jié)構(gòu)特征，且特征之間允許出現(xiàn)干涉。隨之而來(lái)的是使變量呈指數(shù)性增大的推理問(wèn)題，Pearl & Jordan[24-26]分別提出了“環(huán)路信念傳播”思想和優(yōu)化易于處理的分配內(nèi)參數(shù)的方法進(jìn)行近似推理。

上述4個(gè)類別的一個(gè)共同缺點(diǎn)在于，它們學(xué)習(xí)研究的顯式模型在數(shù)據(jù)不充足的情況下無(wú)法繼續(xù)有效。但類推主義卻可以僅從小數(shù)據(jù)中進(jìn)行學(xué)習(xí)，包括高效的最近鄰算法和準(zhǔn)確的支持向量機(jī)。Peter Hart等[27]創(chuàng)建的最近鄰算法也被算作懶惰學(xué)習(xí)算法之一，它將每個(gè)數(shù)據(jù)點(diǎn)變成微型分類器，每次僅構(gòu)建局部模型，其優(yōu)點(diǎn)為學(xué)習(xí)過(guò)程簡(jiǎn)單、快速，但是也使其受“維數(shù)災(zāi)難”的影響比所有其它學(xué)習(xí)算法大。直到20世紀(jì)90年代，Vladimir Vapnik等[28-29]開(kāi)發(fā)出的支持向量機(jī)成為類推主義新代表，支持向量機(jī)與加權(quán)k最近鄰算法很像，但前者能夠提供平緩的邊界且不產(chǎn)生過(guò)擬合。Douglas Hofstadter[30]對(duì)類比推理學(xué)習(xí)評(píng)價(jià)頗高。

2 機(jī)器學(xué)習(xí)主算法

2.1 決策樹(shù)

符號(hào)主義的主算法是決策樹(shù)（Decision Tree）。作為一類模仿人腦在日常生活中處理決策問(wèn)題的方法，決策樹(shù)具有如面對(duì)“是否”、“好壞”等二分類任務(wù)的二叉樹(shù)結(jié)構(gòu)[30-32]。在得到問(wèn)題結(jié)論即最終決策的過(guò)程中，所有對(duì)數(shù)據(jù)[（x，y）]中各特征[a]子決策判斷的累積，使求解范圍不斷縮小。通常而言，一棵完整的決策樹(shù)由一個(gè)包含數(shù)據(jù)和特征全集的根節(jié)點(diǎn)、若干代表特征判定的過(guò)程節(jié)點(diǎn)以及相應(yīng)代表決策結(jié)果的葉節(jié)點(diǎn)組成。從根節(jié)點(diǎn)到葉節(jié)點(diǎn)的過(guò)程參照“分而治之”的機(jī)制展開(kāi)，如圖1所示。

圖1 決策樹(shù)學(xué)習(xí)策略

其中，決策樹(shù)學(xué)習(xí)的核心問(wèn)題之一是特征劃分。3種經(jīng)典劃分方法形成了決策樹(shù)的3種代表性算法：ID3、C4.5和CART（見(jiàn)表2）。

表2 決策樹(shù)算法

剪枝是決策樹(shù)學(xué)習(xí)的第二個(gè)核心問(wèn)題，按照決策樹(shù)生成與否分為先、后兩種剪枝方式，以解決數(shù)據(jù)過(guò)擬合帶來(lái)的后果，見(jiàn)表3。

表3 避免過(guò)擬合策略

2.2 人工神經(jīng)網(wǎng)絡(luò)

聯(lián)結(jié)主義主算法是人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，ANN）。以神經(jīng)網(wǎng)絡(luò)中的最小單元，即經(jīng)典M-P神經(jīng)元模型為例[33-34]，當(dāng)前神經(jīng)元收到來(lái)自前方神經(jīng)元輸出信號(hào)[X]加上權(quán)值[ω]后的信號(hào)，借助響應(yīng)函數(shù)[f]如Sigmoid函數(shù)產(chǎn)生最終輸出信號(hào)[Y]，與閾值[θ]對(duì)比的結(jié)果如圖2所示。

圖2 經(jīng)典神經(jīng)元模型

在神經(jīng)網(wǎng)絡(luò)發(fā)展過(guò)程中出現(xiàn)了前饋神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)[8]兩種結(jié)構(gòu)。后者打破了前者關(guān)于輸入和輸出相互獨(dú)立的假設(shè)，通過(guò)網(wǎng)絡(luò)建立的環(huán)形結(jié)構(gòu)使某些輸出信號(hào)反饋成為輸入信息，見(jiàn)表4。

表4 神經(jīng)網(wǎng)絡(luò)類別

同時(shí)，誤差反向傳播（Error Back Propagation，BP）算法[9]既可以用在前饋神經(jīng)網(wǎng)絡(luò)，又可以用于遞歸神經(jīng)網(wǎng)絡(luò)訓(xùn)練，并得到最廣泛的使用。以BP算法訓(xùn)練的m輸入n并輸出單隱層前饋神經(jīng)網(wǎng)絡(luò)為例，其拓?fù)浣Y(jié)構(gòu)見(jiàn)圖3。

圖3 單隱層BP神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

其中，[ωij]為輸入層節(jié)點(diǎn)[i]和隱含層節(jié)點(diǎn)[j]之間的權(quán)值，[ωjk]為節(jié)點(diǎn)[j]和輸出層節(jié)點(diǎn)[k]之間的權(quán)值。記[Oi]為節(jié)點(diǎn)[i]的輸出（數(shù)值上等于[Xi]），[Netj]為節(jié)點(diǎn)[j]的輸入，[h]為隱含層節(jié)點(diǎn)數(shù)，得到神經(jīng)網(wǎng)絡(luò)輸出為：

記網(wǎng)絡(luò)輸出[Yk]與期望輸出[Yk]的均方誤差為[Ek]，學(xué)習(xí)率[η]，基于梯度下降法，有隱藏層節(jié)點(diǎn)[j]和輸出層節(jié)點(diǎn)[k]之間的權(quán)值增量計(jì)算公式為：

其中[δk=（Yk-Yk）f（Netk）]，同理得到輸入層節(jié)點(diǎn)[i]和隱含層節(jié)點(diǎn)[j]的權(quán)值增量[△ωij]和[δj]，從而B(niǎo)P神經(jīng)網(wǎng)絡(luò)建模流程如圖4所示。

圖4 神經(jīng)網(wǎng)絡(luò)建模流程

2.3 遺傳算法

進(jìn)化主義主算法是遺傳算法。遺傳算法努力避開(kāi)問(wèn)題的局部解，并嘗試獲得全局最優(yōu)解，其基本思想來(lái)自達(dá)爾文物競(jìng)天擇觀和遺傳學(xué)三大定律[35]。具體做法包括設(shè)計(jì)對(duì)問(wèn)題解的編碼規(guī)則，利用適應(yīng)度函數(shù)和選擇函數(shù)剔除次優(yōu)解，再借助“交叉重組”及“變異”方法生成新的解，直到群體適應(yīng)度不再上升，見(jiàn)圖5。

圖5 遺傳算法建模流程

其中，迭代終止條件是群體適應(yīng)度最大值與平均值相差E小于容差[ε]或迭代次數(shù)[t]超過(guò)最大進(jìn)化代數(shù)[T]，表達(dá)個(gè)體適應(yīng)度[F]和其被選中概率[P]的常用公式為：

值得注意的是，基因編碼方式的合理選擇對(duì)遺傳算法效果影響顯著，常見(jiàn)編碼方式及特點(diǎn)見(jiàn)表5。

表5 遺傳算法編碼方式及特點(diǎn)

2.4 樸素貝葉斯

貝葉斯主義主算法是樸素貝葉斯算法[36-37]。源于統(tǒng)計(jì)學(xué)的貝葉斯定理可以表示為：

P（原因|結(jié)果）=P（原因）×P（結(jié)果|原因）/P（結(jié)果）

面對(duì)多分類問(wèn)題，用訓(xùn)練數(shù)據(jù)[X]代替上式“結(jié)果”，用離散的數(shù)據(jù)特征種類[C]代替“原因”。為方便得到條件概率[Pxc]，忽略各特征間對(duì)分類作用的關(guān)聯(lián)，此時(shí)有：

[Pcx=PcPxcPx=PcPxi=1dPxic] （4）

使樣本按最低風(fēng)險(xiǎn)選擇特征種類的最優(yōu)分類判定準(zhǔn)則有：

[H（x）=argmaxc∈CP（c）i=1dPxic]? ? ? ? ? ?（5）

其中[C]為特征種類[c]的取值集合，數(shù)量為[d]個(gè)。

但由于實(shí)際應(yīng)用中各特征很可能相互干涉，且訓(xùn)練數(shù)據(jù)有缺失，于是又從中演化出其它算法，以增強(qiáng)泛化能力，見(jiàn)表6。

表6 貝葉斯算法及改進(jìn)

2.5 支持向量機(jī)

類推主義的主算法是支持向量機(jī)。找到合理劃分?jǐn)?shù)據(jù)的超平面是該算法基本思想[38]（見(jiàn)圖6）。

圖6 超平面和間距

其中法向量[ω]和常量[b]通過(guò)分別定義超平面的方向與其到原點(diǎn)的距離，使該超平面被唯一確定。此時(shí)問(wèn)題核心為兩“支持向量”的間距[γ]最大化。經(jīng)處理后得到數(shù)學(xué)優(yōu)化模型為：

其中訓(xùn)練集[D]內(nèi)[yi]的取值為[±1]。為了更高效地計(jì)算，通過(guò)例如Sequential Minimal Optimization （SMO）算法，求解由拉格朗日乘子法和Karush-Kuhn-Tucker （KKT）條件轉(zhuǎn)化得來(lái)的式（6）之對(duì)偶問(wèn)題。

若去除上述討論中數(shù)據(jù)是線性可分的假設(shè)，則需引入核函數(shù)[κ（xi，xj）]將問(wèn)題簡(jiǎn)化。該技術(shù)采用升維思想，通過(guò)非線性映射[φ（？）]，將原始數(shù)據(jù)如二維空間轉(zhuǎn)化成更高維的三維空間，即可在高維特征空間中使數(shù)據(jù)線性可分，并按相似步驟求解。值得注意的是，核函數(shù)的函數(shù)選取對(duì)能否接近問(wèn)題的最優(yōu)解有很大影響。依據(jù)經(jīng)驗(yàn)首先試用高斯核函數(shù)。

支持向量機(jī)的功能包括處理分類（Support Vector Classify，SVC）問(wèn)題和回歸（Support Vector Regression， SVR）問(wèn)題兩種。本文著重討論其分類功能，而兩者主要差異在于數(shù)學(xué)模型。對(duì)于回歸問(wèn)題，此時(shí)訓(xùn)練集[D]內(nèi)[yi]屬于實(shí)數(shù)域。若訓(xùn)練數(shù)據(jù)與回歸函數(shù)之間的偏差不超過(guò)[ε]即被算法采納，見(jiàn)圖7。

圖7 支持向量回歸原理

此時(shí)，回歸問(wèn)題的數(shù)學(xué)模型可轉(zhuǎn)化為：

其中[C]為正則化因子，[ξi]和[ξi]為函數(shù)兩側(cè)松弛因子。

3 結(jié)語(yǔ)

機(jī)器學(xué)習(xí)各類別代表方法、評(píng)價(jià)及優(yōu)化部分總結(jié)如表7所示。

符號(hào)主義主算法決策樹(shù)可以處理機(jī)器學(xué)習(xí)的分類任務(wù)和回歸任務(wù)，優(yōu)點(diǎn)包括學(xué)習(xí)效率高、解釋性強(qiáng)，適用于具有不相關(guān)特征或特征缺失的場(chǎng)合，缺點(diǎn)包括無(wú)法考慮數(shù)據(jù)間的關(guān)聯(lián)，易受數(shù)據(jù)在某特征內(nèi)數(shù)量多少的影響發(fā)生過(guò)擬合。對(duì)此，現(xiàn)在多采用集成方法，如隨機(jī)森林（Random Forest，RF）克服決策樹(shù)的缺點(diǎn)，提升學(xué)習(xí)準(zhǔn)確度。

表7 各類別機(jī)器學(xué)習(xí)算法

聯(lián)結(jié)主義的主算法為人工神經(jīng)網(wǎng)絡(luò)，可以處理機(jī)器學(xué)習(xí)回歸任務(wù)，優(yōu)點(diǎn)包括學(xué)習(xí)能力強(qiáng)，魯棒性好;缺點(diǎn)包括需要做大量前期參數(shù)優(yōu)化工作，學(xué)習(xí)效率低，學(xué)習(xí)過(guò)程不可知。但伴隨著深層神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)算法的誕生，該方法在工程上得到了廣泛應(yīng)用。

進(jìn)化主義的主算法是遺傳算法，適用于解決最優(yōu)化問(wèn)題，相比傳統(tǒng)方法如爬山法，可更有效地與其它機(jī)器學(xué)習(xí)算法結(jié)合，在神經(jīng)網(wǎng)絡(luò)中實(shí)現(xiàn)參數(shù)優(yōu)化。其缺點(diǎn)是數(shù)學(xué)基礎(chǔ)薄弱，缺乏完整的收斂理論。

貝葉斯主義的主算法樸素貝葉斯模型，可處理機(jī)器學(xué)習(xí)分類任務(wù)，優(yōu)點(diǎn)包括數(shù)學(xué)基礎(chǔ)堅(jiān)實(shí)，學(xué)習(xí)能力強(qiáng)，適用于數(shù)據(jù)缺失的學(xué)習(xí)情景;缺點(diǎn)是要求數(shù)據(jù)量大，計(jì)算效率低。

類推主義主算法的支持向量機(jī)，可以處理機(jī)器學(xué)習(xí)分類任務(wù)和回歸任務(wù)，優(yōu)點(diǎn)包括數(shù)據(jù)需求量小，計(jì)算精度高，適用于高維特征空間和多輸入多輸出問(wèn)題。但核函數(shù)選取和具體問(wèn)題相關(guān)，缺乏明確規(guī)則，導(dǎo)致對(duì)缺失的數(shù)據(jù)處理效果差。

綜上所述，各種類別的機(jī)器學(xué)習(xí)算法均有擅長(zhǎng)的領(lǐng)域和難以克服的缺陷，其未來(lái)趨勢(shì)是進(jìn)一步融合，如完善集成方法[39-40]和增強(qiáng)理論[41-42]，或利用元學(xué)習(xí)（Meta Learning，ML）算法解決更深層次的學(xué)習(xí)“如何學(xué)習(xí)”的問(wèn)題。

參考文獻(xiàn)：

[1] 王玨，周志華，周傲英. 機(jī)器學(xué)習(xí)及其應(yīng)用[M]. 北京：清華大學(xué)出版社，2006.

[2] 閆友彪，陳元琰. 機(jī)器學(xué)習(xí)的主要策略綜述[J]. 計(jì)算機(jī)應(yīng)用研究， 2004， 21（7）：4-10.

[3] 李世軍. 非概率可靠性理論及相關(guān)算法研究[D]. 武漢：華中科技大學(xué)， 2013.

[4] 王光宏，蔣平. 數(shù)據(jù)挖掘綜述[J]. 同濟(jì)大學(xué)學(xué)報(bào)：自然科學(xué)版， 2004，32（2）：246-252.

[5] KOTSIANTIS S B， ZAHARAKIS I D， PINTELAS P E. Machine learning： a review of classification and combining techniques[J]. Artificial Intelligence Review， 2006， 26（3）：159-190.

[6] MITCHELL T M. Machine learning. [M]. 北京：中國(guó)機(jī)械出版社， 2003.

[7] ROBERT C. Machine learning， a probabilistic perspective[M]. Cambridge：MIT Press， 2012.

[8] DOMINGOS P. The master algorithm： how the quest for the ultimate learning machine will remake our world[M]. England：Reed Business Information Ltd.， 2015.

[9] ANDERSON J R，MICHALSKI R S，MITCHELL T M. Machine learning， an artificial intelligence approach[M]. Berlin：Springer，1984.

[10] MUGGLETON S，BUNTINE W. Machine invention of first-order predicates by inverting resolution[M]. Machine Learning Proceedings， 1988：339-352.

[11] QUINLAN J R. C4.5： programs for machine learning[M]. NewYork：Morgan Kaufmann Publishers Inc. 1992.

[12] DOMINGOS. Toward knowledge-rich data mining[J]. Data Mining & Knowledge Discovery， 2007， 15（1）：21-28.

[13] SILVER N. The signal and the noise[M]. New York：Penguin Press， 2012.

[14] SEUNG S. Connectome： how the brain's wiring makes us who we are[M]. Boston：Houghton Mifflin Harcourt Trade， 2012.

[15] MCCLELLAND，JAMES L. Parallel distributed processing[M]. Cambridge：The MIT Press， 1986.

[16] ANDERSON J A，ROSENFELD E. Neurocomputing： foundations of research[J]. Artificial Intelligence， 1992， 53（2-3）：355-359.

[17] LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE， 1998， 86（11）：2278-2324.

[18] BENGIO， Y. Learning deep architectures for AI[J]. Foundations and Trends in Machine Learning， 2009， 2（1）：1-127.

[19] WALDROP，MITCHELL M. Complexity： the emerging science at the edge of order and chaos[M]. New York：Simon & Schuster， 1992.

[20] HARIK G R. The compact genetic algorithm[J].? IEEE Transactions on Evolutionary Computation， 1999， 3（4）：287-297.

[21] KOZA J R. Genetic programming： on the programming of computers by means of natural selection[M]. Cambridge：MIT Press，1992.

[22] HECKERMAN D. Bayesian networks for data mining[J]. Data Mining & Knowledge Discovery， 1997， 1（1）：79-119.

[23] DUDA R O，HART P E. Pattern classification and scene analysis[M]. New Jersey： Wiley， 1973.

[24] DARWICHE A. Modeling and reasoning with bayesian networks[M]. Cambridge：Cambridge University Press，2009.

[25] HOFF P D. A first course in bayesian statistical methods[M]. New York：Springer， 2009.

[26] MCGRAYNE S B. The theory that would not die：how bayes' rule cracked the Enigma code， hunted down russian submarines， and emerged triumphant from two centuries of controversy[M]. New Haven：Yale University Press， 2011.

[27] COVER T，HART P. Nearest neighbor pattern classification[M]. NewYork：IEEE Press，1967.

[28] QUINLAN J R. Induction on decision tree[J]. Machine Learning， 1986， 1（1）：81-106.

[29] CRISTIANINI N， SHAWE-TAYLOR J. An introduction to support vector machines[M]. Cambridge：Cambridge University Press，2000.

[30] HOFSTADTER D. The man who would teach machines to think[M]. Washington：The Atlantic， 2013.

[31] SURHONE L M， TENNOE M T， HENSSONOW S F， et al. Random forest[J]. Machine Learning， 2010， 45（1）：5-32.

[32] HUANG L，CHEN H，WANG X，et al. A fast algorithm for mining association rules[J]. Journal of Computer Science and Technology， 2000， 15（6）：619-624.

[33] DEMUTH H B，BEALE M H，JESS O D，et al. Neural network design[M]. 戴葵，李伯民，譯. 北京：中國(guó)機(jī)械出版社，2007.

[34] 李彥冬，郝宗波，雷航. 卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 計(jì)算機(jī)應(yīng)用，2016，36（9）：2508-2515.

[35] 吉根林. 遺傳算法研究綜述[J]. 計(jì)算機(jī)應(yīng)用與軟件，2004，21（2）：69-73.

[36] HOFF P D. A first course in Bayesian statistical methods[J]. Journal of the Royal Statistical Society，2010，173（3）：694-695.

[37] 王愛(ài)平，張功營(yíng)，劉方. EM算法研究與應(yīng)用[J]. 計(jì)算機(jī)技術(shù)與發(fā)展，2009，19（9）：108-110.

[38] 婁鈺. 支持向量機(jī)算法研究[D]. 大連：大連理工大學(xué)， 2007.

[39] 董樂(lè)紅，耿國(guó)華，高原. Boosting算法綜述[J]. 計(jì)算機(jī)應(yīng)用與軟件，2006，23（8）：27-29.

[40] 于玲，吳鐵軍. 集成學(xué)習(xí)：Boosting算法綜述[J]. 模式識(shí)別與人工智能，2004，17（1）：52-59.

[41] 孫志軍，薛磊，許陽(yáng)明，等. 深度學(xué)習(xí)研究綜述[J]. 計(jì)算機(jī)應(yīng)用研究，2012，29（8）：2806-2810.

[42] LECUN Y，BENGIO Y，HINTON G. Deep learning.[J]. Nature， 2015， 521（7553）：436-444.

（責(zé)任編輯：江 艷）