機(jī)器學(xué)習(xí)方法進(jìn)展研究

王永慶 劉華

摘 要：近年來機(jī)器學(xué)習(xí)方法在諸多領(lǐng)域得到成功的應(yīng)用與發(fā)展，已成為計算機(jī)科學(xué)的研究熱點之一。本文介紹了機(jī)器學(xué)習(xí)的定義、發(fā)展歷史與學(xué)習(xí)策略分類，并對目前存在的問題與挑戰(zhàn)進(jìn)行了分析與展望。

關(guān)鍵詞：機(jī)器學(xué)習(xí)；計算機(jī)科學(xué)；學(xué)習(xí)機(jī)理；策略研究

隨著計算機(jī)技術(shù)的飛速發(fā)展，人們嘗試著使計算機(jī)具有和我們一樣或類似的學(xué)習(xí)能力，從而產(chǎn)生了一個新的研究學(xué)科-機(jī)器學(xué)習(xí)?？傮w而言，機(jī)器學(xué)習(xí)是指令計算機(jī)通過對目標(biāo)的識別，利用人類提供的現(xiàn)有知識來獲取新知識和新技能，不斷改善性能，實現(xiàn)自我完善。

1 機(jī)器學(xué)習(xí)發(fā)展史

統(tǒng)計學(xué)習(xí)理論創(chuàng)始人之一的Vapnik將機(jī)器學(xué)習(xí)歸結(jié)為如下四個階段。

1.1 學(xué)習(xí)機(jī)器的產(chǎn)生

第一個學(xué)習(xí)機(jī)器的模型是F.Rosenblatt在1962年提出的感知器。它借鑒了神經(jīng)生理學(xué)領(lǐng)域中感知器的思想，將其模型表示為一個計算程序，并通過簡單的實驗說明了這個模型的結(jié)果可以進(jìn)行推廣和泛化。感知器通過給定的樣本構(gòu)造一條判斷準(zhǔn)則來區(qū)分不同類別的數(shù)據(jù)，因此可以用來解決模式識別問題。

1.2 學(xué)習(xí)理論基礎(chǔ)的創(chuàng)立

1968年，Vapnik和Chervonenkis提出VC維和VC熵來解決模式識別問題。利用這些概念學(xué)者發(fā)現(xiàn)了大數(shù)定律和關(guān)于收斂速率的非漸近界。1989年，Vapnik和Chervonenkis提出的經(jīng)驗風(fēng)險最小化原則、正則化理論、解決密度估計問題的非參數(shù)方法，以及算法復(fù)雜度思想，都對學(xué)習(xí)理論的發(fā)展產(chǎn)生了深遠(yuǎn)的影響。

1.3 神經(jīng)網(wǎng)絡(luò)的產(chǎn)生

1986年，LeCun和Rumelhart各自獨立地提出了后向傳播方法。該方法采用連續(xù)的Sigmoid逼近函數(shù)代替了感知器神經(jīng)元中的不連續(xù)符號函數(shù)，使人們可用任何基于梯度的方法來逼近預(yù)期函數(shù)。它的出現(xiàn)標(biāo)志著學(xué)習(xí)機(jī)器歷史進(jìn)入了一個新紀(jì)元。

1.4 統(tǒng)計學(xué)習(xí)理論的創(chuàng)立

為了根本解決傳統(tǒng)統(tǒng)計學(xué)理論中過學(xué)習(xí)等弊端，Vapnik于20世紀(jì)60-70年代創(chuàng)立了統(tǒng)計學(xué)習(xí)理論。與傳統(tǒng)統(tǒng)計學(xué)相比，它是一種專門研究有限樣本下機(jī)器學(xué)習(xí)規(guī)律的理論，不僅考慮了對漸近性能的要求，并且追求在有限信息下獲得最優(yōu)結(jié)果，在理論研究和實際應(yīng)用中都取得了良好效果。

2 機(jī)器學(xué)習(xí)策略分類

在眾多機(jī)器學(xué)習(xí)策略中，可從不同角度，根據(jù)不同原則對其進(jìn)行分類。本文按照分類原則提出的先后順序以及所用推理策略的繁簡程度將其分為以下兩大類。

2.1 傳統(tǒng)策略

⑴機(jī)械式學(xué)習(xí)。該方法是一種最簡單、原始，也最基本的學(xué)習(xí)策略。它通過記憶和評價外部環(huán)境所提供的信息達(dá)到學(xué)習(xí)的目的。學(xué)習(xí)系統(tǒng)要做的工作就是把經(jīng)過評價所獲取的知識存儲到知識庫中，求解問題時就從知識庫中檢索出相應(yīng)的知識直接用來求解問題。

⑵指導(dǎo)式學(xué)習(xí)。該方法通過由外部環(huán)境向系統(tǒng)提供一般性的指示或建議，把它們具體地轉(zhuǎn)換為細(xì)節(jié)知識并送入知識庫。在學(xué)習(xí)過程中要反復(fù)對形成的知識進(jìn)行評價，使系統(tǒng)的知識庫不斷完善。

⑶歸納學(xué)習(xí)。該方法應(yīng)用歸納推理進(jìn)行學(xué)習(xí)。歸納推理指從足夠多的事例中歸納出一般性的知識，是一種從個別到一般的推理。常用的方法有枚舉歸納、聯(lián)想歸納、類比歸納、逆推理歸納和消除歸納等。

⑷類比學(xué)習(xí)。類比是人類認(rèn)識世界的一種重要方法，也是誘導(dǎo)人們學(xué)習(xí)新事物、進(jìn)行創(chuàng)造性思維的重要手段。類比學(xué)習(xí)就是通過對相似事物進(jìn)行比較所進(jìn)行的一種學(xué)習(xí)。

⑸基于解釋的學(xué)習(xí)。該方法通過運(yùn)用相關(guān)領(lǐng)域知識，對當(dāng)前提供的實例進(jìn)行分析，從而構(gòu)造解釋并產(chǎn)生相應(yīng)知識。

2.2 現(xiàn)代策略

⑴基于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)。神經(jīng)網(wǎng)絡(luò)由神經(jīng)元單元及其間帶權(quán)重的連接組成，每個單元的狀態(tài)由與其相連接其他單元的輸入共同決定。該方法使用樣本來訓(xùn)練網(wǎng)絡(luò)，產(chǎn)生網(wǎng)絡(luò)的內(nèi)部表示，并用來識別新樣本。

⑵基于統(tǒng)計學(xué)習(xí)理論的學(xué)習(xí)。Vapnik創(chuàng)立的統(tǒng)計學(xué)習(xí)理論針對有限樣本統(tǒng)計問題建立了一套新的理論體系，不僅考慮了對漸近性能的要求，并且追求在有限的信息條件下獲得最優(yōu)的結(jié)果。其典型代表SVM，具有許多傳統(tǒng)統(tǒng)計學(xué)方法不具備的優(yōu)點。

⑶強(qiáng)化學(xué)習(xí)。該理論是在上世紀(jì)80年代，基于試錯方法、動態(tài)規(guī)劃和瞬時誤差方法形成的。

⑷集成學(xué)習(xí)。該方法集成若干單分類器的分類結(jié)果來綜合決定最終分類，可取得比單分類器更好的性能。其主要方法有Bagging、Boosting、Stacking、樸素貝葉斯集成、決策樹集成、人工神經(jīng)網(wǎng)絡(luò)集成、K-近鄰集成、在線集成等等。

⑸主動學(xué)習(xí)。該方法模擬人的學(xué)習(xí)過程，選擇標(biāo)記部分樣例加入訓(xùn)練集，迭代提高分類器的泛化性能。

[參考文獻(xiàn)]

[1]閆友彪，陳元琰.機(jī)器學(xué)習(xí)的主要策略綜述[J].計算機(jī)應(yīng)用研究，21（7）：4-13，2004.

[2]王文.淺析機(jī)器學(xué)習(xí)的研究與應(yīng)用[J].計算機(jī)與信息技術(shù)，Z2：7-9，2010.