機(jī)器學(xué)習(xí)之半監(jiān)督學(xué)習(xí)釋義

Martin Heller Charles

在2017年寫給亞馬遜股東的信中，Jeff Bezos提到了亞馬遜語音智能助理Alexa的一些有趣之處：

在美國、英國和德國，通過改進(jìn)Alexa的機(jī)器學(xué)習(xí)組件以及使用半監(jiān)督學(xué)習(xí)技術(shù)，在過去12個(gè)月里我們把Alexa的口語理解能力提高了25%以上。（利用這些半監(jiān)督學(xué)習(xí)技術(shù)，實(shí)現(xiàn)相同精度所需的標(biāo)記數(shù)據(jù)量減少了40倍?。?/p>

鑒于這些結(jié)果，在我們自己的分類問題上嘗試半監(jiān)督學(xué)習(xí)可能會(huì)很有趣。那么，什么是半監(jiān)督學(xué)習(xí)呢？它有什么優(yōu)缺點(diǎn)？我們?cè)鯓邮褂盟?h3>什么是半監(jiān)督學(xué)習(xí)？

顧名思義，半監(jiān)督學(xué)習(xí)介于受監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)之間。受監(jiān)督學(xué)習(xí)采用帶有正確答案（目標(biāo)值）的標(biāo)記過的訓(xùn)練數(shù)據(jù)。在學(xué)習(xí)過程之后，將得到一個(gè)經(jīng)過調(diào)優(yōu)的權(quán)重集的模型，這可以用于預(yù)測(cè)尚未標(biāo)記的類似數(shù)據(jù)的答案。

半監(jiān)督學(xué)習(xí)同時(shí)使用標(biāo)記和未標(biāo)記的數(shù)據(jù)來擬合模型。在某些情況下，比如Alexa的添加未標(biāo)記的數(shù)據(jù)的確提高了模型的準(zhǔn)確性。在其他情況下，未標(biāo)記的數(shù)據(jù)可能會(huì)使模型更差。正如我將在下面所討論的，在不同的數(shù)據(jù)特性條件下，不同的算法會(huì)有不同的缺點(diǎn)。

一般來說，標(biāo)記數(shù)據(jù)需要花費(fèi)金錢和時(shí)間。這并不總是問題，因?yàn)橛行?shù)據(jù)集已經(jīng)有了標(biāo)記。但是如果您有很多數(shù)據(jù)，其中只有一些是標(biāo)記過的，那么半監(jiān)督學(xué)習(xí)這種技術(shù)很值得一試。

半監(jiān)督學(xué)習(xí)算法

半監(jiān)督學(xué)習(xí)至少可以追溯到15年前，甚至更長(zhǎng);威斯康星州大學(xué)的Jerry Zhu在2005年寫了一份文獻(xiàn)調(diào)查。近年來，半監(jiān)督學(xué)習(xí)再次興起（不僅是在亞馬遜），因?yàn)樗档土酥匾鶞?zhǔn)的錯(cuò)誤率。

DeepMind的Sebastian Ruder在2018年4月寫了一篇博文，介紹了一些半監(jiān)督學(xué)習(xí)算法，即創(chuàng)建代理標(biāo)簽的算法：包括自我訓(xùn)練、多視圖學(xué)習(xí)和自我整合。

自我訓(xùn)練使用模型自己對(duì)未標(biāo)記數(shù)據(jù)的預(yù)測(cè)結(jié)果，將其添加到已標(biāo)記的數(shù)據(jù)集中。實(shí)際上，這為預(yù)測(cè)的置信水平設(shè)置了一些閾值，通常為0.5甚至更高，高于該閾值時(shí)，相信預(yù)測(cè)結(jié)果并將其添加到已標(biāo)記的數(shù)據(jù)集中。不斷地重新訓(xùn)練這個(gè)模型，直到?jīng)]有更多可信的預(yù)測(cè)結(jié)果為止。

這就回避了用于訓(xùn)練的實(shí)際模型的問題。和大多數(shù)機(jī)器學(xué)習(xí)一樣，你可能會(huì)嘗試每一個(gè)合理的候選模型，以期找到一個(gè)能很好工作的模型。

自我訓(xùn)練在一定程度上是成功的，可謂是好壞參半。最大的缺點(diǎn)是模型無法糾正自己的錯(cuò)誤：例如，對(duì)異常值高度自信（但錯(cuò)誤）的預(yù)測(cè)可能會(huì)破壞整個(gè)模型。

多視圖訓(xùn)練在不同的數(shù)據(jù)視圖上訓(xùn)練不同的模型，其中可能包括不同的特征集、不同的模型體系結(jié)構(gòu)和不同的數(shù)據(jù)子集。多視圖訓(xùn)練算法有很多，其中最著名的是三視圖訓(xùn)練。本質(zhì)上，可以創(chuàng)建三個(gè)不同的模型;每當(dāng)兩個(gè)模型同意一個(gè)數(shù)據(jù)點(diǎn)的標(biāo)簽時(shí)，該標(biāo)簽就會(huì)被添加到第三個(gè)模型中。與自我訓(xùn)練一樣，當(dāng)沒有更多的標(biāo)簽被添加到任何一個(gè)模型時(shí)，就停止了。

自我整合通常使用具有多個(gè)不同配置的單個(gè)模型。在梯形網(wǎng)絡(luò)方法中，對(duì)干凈樣本的預(yù)測(cè)結(jié)果被用作隨機(jī)擾動(dòng)樣本的代理標(biāo)簽，目的是開發(fā)能夠抵制噪聲的特性。

Jerry Zhu在2007年的教程中還考慮了一些其他算法。這包括生成模型（例如，對(duì)每一類假設(shè)高斯分布的模型）、半監(jiān)督支持向量機(jī)和基于圖的算法。

云中的半監(jiān)督學(xué)習(xí)

半監(jiān)督學(xué)習(xí)正慢慢進(jìn)入主流的機(jī)器學(xué)習(xí)服務(wù)。例如，Amazon Sagemaker Ground Truth使用Amazon Mechanical Turk對(duì)部分圖像集進(jìn)行手動(dòng)標(biāo)記和邊界確定，并使用神經(jīng)網(wǎng)絡(luò)訓(xùn)練功能對(duì)圖像集的其余部分進(jìn)行標(biāo)記。

類似的半監(jiān)督學(xué)習(xí)方法可以用于其他類型的半監(jiān)督學(xué)習(xí)，包括自然語言處理、分類和對(duì)多種服務(wù)的回歸。但是，你必須為其中的大多數(shù)算法編寫自己的鏈接代碼。

Martin Heller是InfoWorld的特約編輯和審稿人。他曾是一名網(wǎng)絡(luò)和Windows編程顧問，1986年至2010年間開發(fā)過數(shù)據(jù)庫、軟件和網(wǎng)站。

原文網(wǎng)址

https：//www.infoworld.com/article/3434618/semi-supervised-learning-explained.html