一種用于半監(jiān)督學(xué)習(xí)的核優(yōu)化設(shè)計(jì)

崔鵬

摘 要：半監(jiān)督學(xué)習(xí)研究主要關(guān)注當(dāng)訓(xùn)練數(shù)據(jù)的部分信息缺失的情況下，如何獲得具有良好性能和推廣能力的學(xué)習(xí)機(jī)器。本文我們提出了一種基于核優(yōu)化的半監(jiān)督學(xué)習(xí)框架，將數(shù)據(jù)嵌入到高維特征空間，從而與線(xiàn)性分類(lèi)器等價(jià)。在核的設(shè)計(jì)上，采用了基于譜分解的無(wú)監(jiān)督核設(shè)計(jì)，提出了學(xué)習(xí)邊界，通過(guò)最小化邊界來(lái)獲得最優(yōu)核表示。通過(guò)實(shí)驗(yàn)，對(duì)不同的核方法進(jìn)行了比較，證明了我們結(jié)論的正確性。

關(guān) 鍵 詞：譜特征分解；核；半監(jiān)督學(xué)習(xí)；監(jiān)督學(xué)習(xí)；降維

中圖分類(lèi)號(hào)：TP301.6 文獻(xiàn)標(biāo)識(shí)碼：A

1 引言

譜圖法已成功用于聚類(lèi)和半監(jiān)督學(xué)習(xí)。半監(jiān)督學(xué)習(xí)是一種利用標(biāo)記與無(wú)標(biāo)記訓(xùn)練樣本的分類(lèi)器，能很好地解決具體問(wèn)題，但在[1，3]中并沒(méi)有明確圖半監(jiān)督學(xué)習(xí)與標(biāo)準(zhǔn)監(jiān)督核學(xué)習(xí)的關(guān)系。在[4，5]中的譜圖設(shè)計(jì)中，也沒(méi)給出圖學(xué)習(xí)的公式。本文提出了一種與監(jiān)督核學(xué)習(xí)等價(jià)的關(guān)于圖的核學(xué)習(xí)公式，可將這些基于圖的半監(jiān)督學(xué)習(xí)法視為利用無(wú)標(biāo)記數(shù)據(jù)的核設(shè)計(jì)法，設(shè)計(jì)的核可在標(biāo)準(zhǔn)監(jiān)督學(xué)習(xí)情況下使用。

2 標(biāo)準(zhǔn)監(jiān)督核學(xué)習(xí)

3 圖半監(jiān)督學(xué)習(xí)

4 譜與核優(yōu)化

4.1 譜特征分解與泛化

4.2 譜核優(yōu)化設(shè)計(jì)

為獲得最佳性能，可使用一種帶有更快衰減特征值的核。當(dāng)輸入特征受到少量隨機(jī)噪聲影響時(shí)，K的特征值會(huì)變得單一，而合理目標(biāo)函數(shù)的譜系數(shù)受到較少的影響。如果輸入數(shù)據(jù)受到噪聲破壞，則目標(biāo)函數(shù)的譜系數(shù)可能比原始核的譜系數(shù)衰減地更快，因而使用一個(gè)衰減更快的譜是很有幫助的?？墒褂媒徊嫘ｒ?yàn)來(lái)優(yōu)化核。另一種方法是優(yōu)化一個(gè)可導(dǎo)致半正定的學(xué)習(xí)邊界。我們關(guān)注能獲得降維效果的核，將核標(biāo)準(zhǔn)化，并使K/m=∑jμjujujT，其中0≤uj≤1。在不同的圖拉普拉斯方程采用的函數(shù)，用標(biāo)準(zhǔn)化的高斯核作為初始的核K，分析表明降維效果是重要的，而不是與圖拉普拉斯有關(guān)聯(lián)。其它的核也可獲得類(lèi)似的降維效果（但與圖拉普拉斯無(wú)關(guān)），也能提高性能。

5 結(jié)論

通過(guò)研究圖的監(jiān)督學(xué)習(xí)法，構(gòu)建核學(xué)習(xí)公式，使得圖半監(jiān)督學(xué)習(xí)法與監(jiān)督核學(xué)習(xí)法等價(jià)，獲得了圖學(xué)習(xí)的泛化范圍；分析解釋了修改原始核特征值有助于達(dá)到降維效果；對(duì)得到優(yōu)化特征值衰減的范圍，將是一個(gè)有意義的研究方向。

參考文獻(xiàn)

[1] 張建波，朱敏琛.基于監(jiān)督學(xué)習(xí)的核拉普拉斯特征映射分類(lèi)方法[J].福州大學(xué)學(xué)報(bào)（自然科學(xué)版），2011，39（1）：49-53.

[2] 李明，楊艷屏，占惠融.基于局部聚類(lèi)與圖方法的半監(jiān)督學(xué)習(xí)算法[J].自動(dòng)化學(xué)報(bào)，2010，36（12）：1655-1660.

[3] 張亮，等.基于局部尺度轉(zhuǎn)換的拉普拉斯核方法[J].計(jì)算機(jī)工程，2011，37（8）：202-206.

[4] 趙鳳，等.半監(jiān)督譜聚類(lèi)特征向量選擇算法[J].模式識(shí)別與人工智能，2011，24（1）：48-56.

[5] 賈建華，焦李成.空間一致性約束譜聚類(lèi)算法用于圖像分割[J].紅外與毫米波學(xué)報(bào)，2010，29（1）：69-74.