有監(jiān)督機(jī)器學(xué)習(xí)算法

劉文博

摘要：機(jī)器學(xué)習(xí)作為人工智能技術(shù)的一個(gè)新發(fā)展，近年來受到工業(yè)界和學(xué)術(shù)界的極大關(guān)注，并廣泛應(yīng)用于計(jì)算機(jī)視覺，數(shù)據(jù)挖掘，語音識(shí)別等各個(gè)領(lǐng)域，其中作為它的最主要部分，有監(jiān)督機(jī)器學(xué)習(xí)算法也是被廣泛應(yīng)用。本文就有監(jiān)督機(jī)器學(xué)習(xí)介紹其回歸算法與分類算法，闡述了其原理，并闡述其組合應(yīng)用設(shè)計(jì)。最后給出對(duì)機(jī)器學(xué)習(xí)發(fā)展前景的主觀預(yù)測(cè)和總結(jié)。

關(guān)鍵詞：人工智能；機(jī)器學(xué)習(xí)；有監(jiān)督學(xué)習(xí)；回歸算法；分類算法

引言

機(jī)器學(xué)習(xí)的研究是根據(jù)生理學(xué)、認(rèn)知科學(xué)等對(duì)人類學(xué)習(xí)機(jī)理的了解，建立人類學(xué)習(xí)過程的計(jì)算模型和認(rèn)識(shí)模型，發(fā)展各種學(xué)習(xí)理論和學(xué)習(xí)方法，研究通用的學(xué)習(xí)算法并進(jìn)行理論上的分析，建立面向任務(wù)的具有特定應(yīng)用的學(xué)習(xí)系統(tǒng)。這些研究目標(biāo)相互影響，相互促進(jìn)。

第一個(gè)機(jī)器學(xué)習(xí)的定義來自于Arthur Samuel。他將機(jī)器學(xué)習(xí)定義為在進(jìn)行特定編程環(huán)境中進(jìn)行計(jì)算機(jī)學(xué)習(xí)的領(lǐng)域。

機(jī)器學(xué)習(xí)強(qiáng)調(diào)“學(xué)習(xí)”，而不是程序本身。它使用復(fù)雜的算法來分析大量的數(shù)據(jù)，識(shí)別數(shù)據(jù)中的模式，并作出預(yù)測(cè)——不需要特定的代碼。在樣本的數(shù)量不斷增加的同時(shí)，自我糾正完善“學(xué)習(xí)目的”，可以從自身的錯(cuò)誤中學(xué)習(xí)，提高識(shí)別能力。

在機(jī)器學(xué)習(xí)中，主要有三類；有監(jiān)督學(xué)習(xí)，半監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)。本文主要從有監(jiān)督學(xué)習(xí)算法，應(yīng)用等方面進(jìn)行概述。

1 有監(jiān)督學(xué)習(xí)算法概述

1.1 回歸算法

回歸算法主要是根據(jù)一系列的數(shù)據(jù)集，假設(shè)一系列方程來擬合數(shù)據(jù)集，選擇一種曲線擬合較好的方程作為假設(shè)函數(shù)，然后通過優(yōu)化算法選取合適的參數(shù)，更好的擬合數(shù)據(jù)集，完成機(jī)器學(xué)習(xí)過程。

系統(tǒng)回歸算法的主要步驟包括：

（1）構(gòu)建M個(gè)初始樣本，x代表特征/輸入變量，y代表目標(biāo)變量/輸出變量，（x，y）代表訓(xùn)練集中的實(shí)例。

（2）將訓(xùn)練樣本喂養(yǎng)給我們的學(xué)習(xí)算法。

（3）輸出一個(gè)函數(shù)，通常用小寫h表示，h代表hypothesis，h表示一個(gè)函數(shù)。

（4）輸入將要預(yù)測(cè)的x喂給h，預(yù)測(cè)出結(jié)果作為輸出變量y。

（5）接下來要做的就是判斷假設(shè)函hypothesis的擬合程度，選擇出可以使得建模誤差的平方和能夠最小的模型參數(shù)，即使得代價(jià)函數(shù)J（θ0，θ1）最小。

（6）采用梯度下降算法來求出代價(jià)函數(shù)J（θ0，θ1）的最小值。

1.2 分類算法

分類算法即給不同類型的樣本點(diǎn)貼上不同的標(biāo)簽，目的是為了確定一個(gè)點(diǎn)的類別，而具體有哪些類別是已知的。分類算法經(jīng)常被用于判斷郵件是否為垃圾郵件、判斷在線交易是否存在潛在風(fēng)險(xiǎn)、判斷腫瘤為良性或者惡性等等。由此可見：

邏輯回歸算法是一種分類分析，它有正向類和負(fù)向類，即：y ∈ {0，1}，其中0代表負(fù)向類，1代表正向類。對(duì)一個(gè)分類問題：y=0或y=1，可能出現(xiàn)的結(jié)果是：hθ（x）>1或<0，就無法進(jìn)行結(jié)果的歸納。此時(shí)就需要采用邏輯回歸，得到的結(jié)果可以滿足0≤hθ（x）≤1，邏輯回歸是一種特殊的分類算法，同理，更普遍的分類算法中可能有更多的類別，即：y ∈ {0，1，2，3 ...}。

決策樹算法也是一種典型分類算法將變量通過不同屬性分為不同組別，基于決策得出結(jié)論，獲得希望得到的判定結(jié)果。決策樹包含一個(gè)根節(jié)點(diǎn)，多個(gè)內(nèi)部節(jié)點(diǎn)和多個(gè)葉節(jié)點(diǎn)，其中葉節(jié)點(diǎn)對(duì)應(yīng)于結(jié)果，其他節(jié)點(diǎn)對(duì)應(yīng)于屬性測(cè)試。根據(jù)屬性測(cè)試的結(jié)果，將樣本劃分為不同的子節(jié)點(diǎn)，最終到達(dá)葉節(jié)點(diǎn)。決策樹使用信息熵的方法來分離節(jié)點(diǎn)。信息熵通過 計(jì)算，信息熵作為概率的單調(diào)函數(shù)通過計(jì)算反映不確定性。信息增益利用信息熵度量特征分類給系統(tǒng)帶來的信息量，然后判斷特征劃分的依據(jù)，進(jìn)行特征選擇劃分。

2 有監(jiān)督學(xué)習(xí)算法組合設(shè)計(jì)

2.1 回歸算法組合設(shè)計(jì)

（1）單變量線性回歸算法：

以房屋交易問題為例，假設(shè)回歸問題的訓(xùn)練集

如下表所示：

因?yàn)橹挥幸粋€(gè)特征/輸入變量，所以這種問題稱為單變量線性回歸問題。

接著要做的便是為模型選擇合適的參數(shù)θ0 和θ1在這個(gè)例子中便是選取合適的斜率和截距。所選參數(shù)決定了得到的直線相對(duì)于訓(xùn)練集的準(zhǔn)確程度，以及模型的預(yù)測(cè)值與訓(xùn)練集的實(shí)際值之間的差異（下圖豎直方向的黑線所指）就是建模誤差。

接下來就是用梯度下降算法來求解使得代價(jià)函最小的θ0和θ1

（2）梯度下降算法：

梯度下降算法是求解函數(shù)最小值的一種算法，用于求解代價(jià)函數(shù)J（θ0，θ1）的最小值（θ，θ1）。梯度下降算法的公式如下：

在梯度下降算法中，所有參數(shù)都被學(xué)習(xí)率減去，同時(shí)乘以代價(jià)函數(shù)的導(dǎo)數(shù)。

梯度下降算法的直觀理解就是對(duì)θ賦值，使J（θ）沿著梯度下降最快的方向進(jìn)行，并一直迭代得到局部最小值，其中α是學(xué)習(xí)率，它決定了沿著使代價(jià)函數(shù)最大程度下降的方向邁出的步子有多大。當(dāng)然，α不能太大或太小。

如果α太小了，即學(xué)習(xí)速率太小，結(jié)果就是只能一點(diǎn)一點(diǎn)的挪動(dòng)，去努力接近最低點(diǎn)，這樣就需要很多步才能接近最低點(diǎn)，所以α太小的話，可能會(huì)很慢，因?yàn)樗枰稽c(diǎn)點(diǎn)的挪動(dòng)，他會(huì)需要很多步才能達(dá)到全局最有點(diǎn)。

如果α太大了，那么梯度下降法可能會(huì)越過最低點(diǎn)，甚至可能無法收斂，下一次迭代又移動(dòng)了一大步，越過一次，又越過一次，一次次的越過最低點(diǎn)，直到離最低點(diǎn)越來越遠(yuǎn)，所以，如果α它會(huì)導(dǎo)致無法收斂，甚至發(fā)散。

在梯度下降算法中，當(dāng)接近局部最優(yōu)點(diǎn)時(shí)，梯度下降法會(huì)自動(dòng)采取更小的幅度，這是因?yàn)楫?dāng)接近局部極小值時(shí)，很明顯導(dǎo)數(shù)在局部極小值處等于0，所以當(dāng)接近局部最極小值時(shí)，導(dǎo)數(shù)值會(huì)自動(dòng)變得越來越小，因此梯度下降將自動(dòng)采取較小的幅度，因此沒有必要在另外減小α。

梯度下降算法可以用來最小化任意代價(jià)函數(shù)J，不只是線性回歸中的代價(jià)函數(shù)J。

（3）線性回歸與梯度下降結(jié)合：

接下來，我們需要將梯度下降算法與線性回歸相結(jié)合，并將其應(yīng)用于具體的擬合直線的線性回歸算法里。

梯度下降算法與線性回歸算法比較如圖：

這種梯度下降我們也稱為批量梯度下降，“批量梯度下降”是指在梯度下降的每個(gè)步驟中都使用到了所有的訓(xùn)練樣本，在梯度下降中，在計(jì)算微分導(dǎo)數(shù)項(xiàng)時(shí)，需要進(jìn)行求和計(jì)算。因此，在每一個(gè)梯度下降中，我們最終都需要計(jì)算這樣一個(gè)東西，每個(gè)項(xiàng)需要對(duì)所有m個(gè)訓(xùn)練樣本求和。因此，批量梯度下降法這個(gè)名字說明了計(jì)算最終需要考慮的是所有這一批訓(xùn)練樣本，而事實(shí)上，有時(shí)也有其他類型的梯度下降法，不是這種批量型的，不考慮整個(gè)的訓(xùn)練集，而是每次只關(guān)注訓(xùn)練集中的一些小的子集。

2.2 分類算法組合設(shè)計(jì)

（1）邏輯回歸：

邏輯回歸的算法是目前最流行使用最廣泛的一種學(xué)習(xí)算法，這個(gè)算法的性質(zhì)是：它的輸出值永遠(yuǎn)在0-1之間。

邏輯回歸雖然名字里面帶“回歸”，但它實(shí)際上是一種分類問題，它的模型假設(shè)是hθ（x）=g（θTX）

其中：X代表特征向量，g代表邏輯函數(shù)（或稱為Sigm

oid函數(shù)），公式為g（z）= ，該函數(shù)的圖像為：

求導(dǎo)后得到：

所以如果有n個(gè)特征，也就是：θ=[θ0，θ1，θ2，θ3，···，θn]，參數(shù)向量θ包括θ0θ1θ2一直到θn那么就可以用以上式子同時(shí)更新所有的θ。

2.3 正則化

（1）解決過擬合問題

回歸算法和分類算法它們能有效地解決很多問題但當(dāng)把他們應(yīng)用到某種特定的機(jī)器學(xué)習(xí)應(yīng)用時(shí)，會(huì)遇到過擬合的問題，可能導(dǎo)致他們的效果很差。因此需要采用正則化技術(shù)來改善或減少過擬合的問題。

如果我們有非常多的特征，通過學(xué)習(xí)得到的假設(shè)可能能夠非常好地適應(yīng)訓(xùn)練集（代價(jià)函數(shù)可能幾乎為0），但是可能會(huì)不能推廣到新的數(shù)據(jù)。

解決過擬合主要有兩種方法

（1）減少變量的個(gè)數(shù)，舍棄一些變量，保留更為重要的變量。但是如果每個(gè)特征變量都對(duì)預(yù)測(cè)產(chǎn)生影響。當(dāng)舍棄一部分變量時(shí)，也就舍棄了一些信息。所以希望保留所有的變量。

（2）正則化：保留所有的變量，將一些不重要的特征權(quán)值置為0或權(quán)值變小使得特征的參數(shù)矩陣變得稀疏，使每一個(gè)變量都對(duì)預(yù)測(cè)產(chǎn)生一點(diǎn)影響。

（3）正則化的思路：

如果參數(shù)對(duì)應(yīng)一個(gè)較小的值，那么會(huì)得到更加簡單的假設(shè)。懲罰高階參數(shù)，使他們趨于0，這樣就會(huì)得到較為簡單的假設(shè)，也就是得到簡單的函數(shù)，這樣就不易發(fā)生過擬合。但是在實(shí)際問題中，并不知道哪些是高階多項(xiàng)式的項(xiàng)，所以在代價(jià)函數(shù)中增加一個(gè)懲罰項(xiàng)/正則化項(xiàng)，將代價(jià)函數(shù)中所有參數(shù)值（約定一般不懲罰j=0，懲罰從j=1開始到j(luò)=n）都最小化，收縮每一個(gè)參數(shù)。

這樣便得到了一個(gè)較為簡單的能防止過擬合問題的假設(shè)：

其中λ稱為正則化參數(shù)，如果選擇的正則化參數(shù)λ過大，則會(huì)把所有的參數(shù)都最小化導(dǎo)致模型變成hθ（x）=θ0，也就是一條直線，因此又會(huì)造成欠擬合，所以對(duì)于正則化，要取一個(gè)合理的λ值，這樣才能更好的應(yīng)用正則化。

3 機(jī)器學(xué)習(xí)技術(shù)的發(fā)展趨勢(shì)

從目前的研究趨勢(shì)來看，未來機(jī)器學(xué)習(xí)的主要研究方向如下：1）人類學(xué)習(xí)機(jī)制的研究。2）開發(fā)和改進(jìn)現(xiàn)有的學(xué)習(xí)方法，開發(fā)新的學(xué)習(xí)算法。3）建立實(shí)用的學(xué)習(xí)系統(tǒng)，尤其是多種學(xué)習(xí)算法協(xié)同工作的集成系統(tǒng)。4）機(jī)器學(xué)習(xí)理論與應(yīng)用研究。

機(jī)器學(xué)習(xí)是繼專家系統(tǒng)之后人工智能應(yīng)用的又一重要研究領(lǐng)域，也是人工智能和神經(jīng)計(jì)算的核心研究課題之一?，F(xiàn)有的計(jì)算機(jī)系統(tǒng)和人工智能系統(tǒng)學(xué)習(xí)能力很小，至多也只有非常有限的學(xué)習(xí)能力，不能滿足科學(xué)技術(shù)和生產(chǎn)的新要求。機(jī)器學(xué)習(xí)的探討和機(jī)器學(xué)習(xí)研究的進(jìn)展，必將推動(dòng)人工智能和整個(gè)科學(xué)技術(shù)進(jìn)一步發(fā)展。

4 結(jié)論

機(jī)器學(xué)習(xí)是關(guān)于理解和研究學(xué)習(xí)的內(nèi)在機(jī)制建立能夠通過學(xué)習(xí)自動(dòng)提高自身水平的計(jì)算機(jī)程序的理論方法的學(xué)科。近年來機(jī)器學(xué)習(xí)理論在諸多應(yīng)用領(lǐng)域得到成功的應(yīng)用與發(fā)展，已成為計(jì)算機(jī)科學(xué)的基礎(chǔ)與熱點(diǎn)之一。而且機(jī)器學(xué)習(xí)在人工智能中占有很大的地位，人工智能目前的應(yīng)用已經(jīng)證明了人工智能可以改變?nèi)祟悾淖兪澜?，未來在各方面的支持下，人工智能一定?huì)取得長足的發(fā)展，對(duì)世界產(chǎn)生巨大的影響，隨著人工智能的發(fā)展，機(jī)器學(xué)習(xí)的進(jìn)化，對(duì)人類的生活帶來了極大的便利，智能的發(fā)展提高了資源的利用率與生產(chǎn)率，將原始手工的生產(chǎn)方式轉(zhuǎn)化為機(jī)器生產(chǎn)，省去了人工勞力。所以機(jī)器學(xué)習(xí)技術(shù)的發(fā)展將是未來高新技術(shù)的前沿，也應(yīng)是人們努力的方向。

參考文獻(xiàn)

[1] 陳勇濤，郭曉穎，陶慧杰. 淺談機(jī)器學(xué)習(xí)研究現(xiàn)狀與發(fā)展趨勢(shì)[J]. 中國新通信，2018.

[2] 劉斌，何進(jìn)榮，耿耀君，等.并行機(jī)器學(xué)習(xí)算法基礎(chǔ)體系前沿進(jìn)展綜述[J]. 計(jì)算機(jī)工程與應(yīng)用，2017.

[3] RAIF B A，BEKIR T L. Influence of fly ash on corrosion resistance and chloride ion permeability of concrete[J]. Construction and building materials，2012，31：258-264.

[4] 段明赫.人工智能的發(fā)展現(xiàn)狀及應(yīng)用[J]. 通訊世界，2018.

[5] 劉叢，彭敦陸，鄔春學(xué). 基于案例的《機(jī)器學(xué)習(xí)》課程教學(xué)方法研討[J].軟件導(dǎo)刊，2018.

[6] 魏燁敏，蔣子元. 機(jī)器學(xué)習(xí)聚類組合算法及其應(yīng)用[J]. 電子世界，2018.

[7] 孫暉. 深度學(xué)習(xí)優(yōu)缺點(diǎn)的剖析[J]. 電子制作，2018.

[8] 詹騏源. 機(jī)器學(xué)習(xí)的發(fā)展史及應(yīng)用前景[J]. 科技傳播，2018.

[9] 史加榮，馬媛媛. 深度學(xué)習(xí)的研究進(jìn)程與發(fā)展[J]. 計(jì)算機(jī)工程與應(yīng)用，2018.

（作者單位：鄭州大學(xué)軟件與應(yīng)用科技學(xué)院）