基于峰度量化標(biāo)記形態(tài)模糊度的標(biāo)記分布學(xué)習(xí)

許哲源，秦 天

(南京理工大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，江蘇 南京 210094)

如何處理歧義性分類任務(wù)一直是機(jī)器學(xué)習(xí)中的一個(gè)熱門問題。多標(biāo)記學(xué)習(xí)(Multi-label learning，MLL)是一種有效的學(xué)習(xí)范式。MLL通過將傳統(tǒng)的單標(biāo)記擴(kuò)展到多標(biāo)記來處理模糊問題[1]，使一個(gè)實(shí)例可以對(duì)應(yīng)多個(gè)邏輯標(biāo)記。但是MLL只能回答“哪個(gè)標(biāo)記可以描述實(shí)例?”的問題，而不能回答“每個(gè)標(biāo)記對(duì)這個(gè)實(shí)例的描述程度如何?”。為了更好地解決這種歧義性分類問題，Geng等提出了標(biāo)記分布學(xué)習(xí)(Label distribution learning，LDL)[2]。與傳統(tǒng)的學(xué)習(xí)范式不同，LDL的輸出是概率分布形式，每個(gè)標(biāo)記對(duì)應(yīng)的值可以解釋為該標(biāo)記描述實(shí)例的程度[3]，稱為標(biāo)記描述度。

LDL已經(jīng)在多個(gè)應(yīng)用領(lǐng)域取得成功。通過將單標(biāo)記數(shù)據(jù)轉(zhuǎn)換為標(biāo)記分布，Geng等提出了用于面部年齡預(yù)測的標(biāo)記分布解決方案[4]。這種方法通過增強(qiáng)一個(gè)實(shí)例來促進(jìn)相鄰年齡段的學(xué)習(xí)。后來LDL被用于處理面部表情識(shí)別問題[5]，類似的應(yīng)用還包括文本情感識(shí)別[6]和視覺圖像情感分析[7]。LDL在主觀評(píng)價(jià)性應(yīng)用上也表現(xiàn)良好，例如電影評(píng)分問題[8]。LDL在醫(yī)學(xué)領(lǐng)域也逐漸被用來解決少樣本環(huán)境下的分類問題，例如基于磁共振血管造影的胎兒腦部年齡預(yù)測[9]。

文獻(xiàn)[3]提出了標(biāo)記歧義性的概念，即一個(gè)樣本可以同時(shí)不同程度地對(duì)應(yīng)多個(gè)標(biāo)記。文獻(xiàn)[4-6]則通過利用這種標(biāo)記歧義性來提升分類學(xué)習(xí)算法，文獻(xiàn)[10]則更進(jìn)一步通過挖掘標(biāo)記之間的相關(guān)性來提升預(yù)測。本文認(rèn)為這種分布形態(tài)模糊度可能在LDL有著重要的作用。本文區(qū)分了標(biāo)記形態(tài)模糊度與標(biāo)記歧義性的異同，解釋了形態(tài)模糊度的概念，給出了一種量化方法，并給出了經(jīng)驗(yàn)發(fā)現(xiàn)。本文設(shè)計(jì)了一種利用形態(tài)模糊度相關(guān)策略的標(biāo)記分布學(xué)習(xí)算法。試驗(yàn)部分設(shè)計(jì)了消融試驗(yàn)，以驗(yàn)證本文所提算法的有效性。

1 標(biāo)記分布學(xué)習(xí)中的標(biāo)記形態(tài)模糊度

1.1 標(biāo)記形態(tài)模糊度的概念

在以前的LDL工作中，標(biāo)記歧義性和標(biāo)記形態(tài)模糊度的概念經(jīng)常會(huì)被混淆。所以本文首先區(qū)分樣本歧義和標(biāo)記模糊的概念。

標(biāo)記歧義性(Label ambiguity，LA)表示對(duì)一個(gè)實(shí)例存在多種合理的解釋。在文獻(xiàn)[11]中，“i.e.，label ambiguity，which refers to the uncertainty among the ground-truth labels”，即用LA來表示標(biāo)記上的歧義程度。文獻(xiàn)[3]提出了LA，但并沒有給出準(zhǔn)確定義，可以把這里的LA理解為樣本歧義性，指的是對(duì)于一個(gè)實(shí)例存在多種可能的解釋，可以通過添加額外的信息來消除這種歧義。樣本歧義是問題的一個(gè)屬性，對(duì)這種歧義問題建模是LDL的一個(gè)主要應(yīng)用。從歧義性角度可以得到一種標(biāo)記分布的新觀點(diǎn)，即LDL中的每一個(gè)標(biāo)記都可以看作是對(duì)一個(gè)實(shí)例的合理解釋，對(duì)應(yīng)的值可以看作是這種解釋的合理程度。

標(biāo)記形態(tài)模糊度(Morphological ambiguity，MA)表示描述一個(gè)標(biāo)記分布形態(tài)的平坦程度。在本文中，標(biāo)記模糊是指標(biāo)記分布形態(tài)的模糊程度(缺乏清晰度或區(qū)分度)。標(biāo)記模糊只與標(biāo)記分布的形態(tài)有關(guān)，是標(biāo)注數(shù)據(jù)的一個(gè)自然屬性。

標(biāo)記形態(tài)模糊度是對(duì)樣本歧義性的隱式反映，它可能會(huì)受到標(biāo)注不一致的影響。標(biāo)注不一致有兩個(gè)含義:不同的標(biāo)注者可能會(huì)因?yàn)閮r(jià)值觀和成長經(jīng)歷不同而對(duì)同一個(gè)樣本給出不同的標(biāo)注;即使是同一個(gè)標(biāo)注者，也會(huì)因?yàn)樾睦頎顟B(tài)的變化，在不同的時(shí)間對(duì)同一個(gè)樣本給出不同的標(biāo)注[12]。標(biāo)注不一致現(xiàn)象的存在，導(dǎo)致對(duì)于同一樣本的不同標(biāo)注會(huì)有不同的形態(tài)模糊度。也就是說對(duì)于給定樣本，其樣本歧義性是確定而唯一的，而其標(biāo)記形態(tài)模糊度卻會(huì)隨著標(biāo)注情境的不同而發(fā)生改變。

1.2 基于峰度量化標(biāo)記形態(tài)模糊度

(1)

式中:

(2)

標(biāo)準(zhǔn)化在保持矩的比例不變的同時(shí)保持分布的形狀不變，從而有助于比較不同概率分布的形狀[12]。四階標(biāo)準(zhǔn)矩則被稱為峰度，定義[14]為

(3)

式中:mk用式(2)計(jì)算。偏度(三階標(biāo)準(zhǔn)矩)和峰度都是分布形態(tài)的度量方法，區(qū)別在于偏度反映分布的不對(duì)稱性，而峰度反映分布的極差情況[14]。在標(biāo)記形態(tài)模糊度方面，本文更傾向于一種反映分布差異性的測度，而不是不對(duì)稱性。因此，本文用一個(gè)關(guān)于峰度的函數(shù)測量標(biāo)記形態(tài)模糊度。峰度表示一種分布的獨(dú)特程度，本文可以通過取峰度的倒數(shù)來給出模糊度的一個(gè)度量，并通過計(jì)算上限和下限將其放縮到[0，1]。

對(duì)于具有n個(gè)分量的分布，Dalén[1]證明峰度的上界為

(4)

其下界為1，由Pearson不等式給出[16]。

定義1MA是指標(biāo)記分布形態(tài)的模糊程度，通常反映了標(biāo)記缺乏顯著值，本文采用基于峰度的函數(shù)來對(duì)其進(jìn)行定義和度量

(5)

式中:κ由式(3)給出，τ由式(4)給出。A的值域?yàn)閇0，1]。

1.3 模糊度損失評(píng)價(jià)指標(biāo)

標(biāo)記形態(tài)模糊度量方法不僅適用于人工標(biāo)注的數(shù)據(jù)，同樣也適用于對(duì)于預(yù)測分布進(jìn)行評(píng)估。本文希望分類器能夠給出與真實(shí)分布較為接近的預(yù)測。當(dāng)分類器給出低于真實(shí)分布的模糊預(yù)測時(shí)，便發(fā)生了預(yù)測模糊度上的損失。本文提供了一種關(guān)于模糊度損失的評(píng)估指標(biāo)Laloss，它可以反映分類器在預(yù)測時(shí)相對(duì)于真實(shí)分布的形態(tài)模糊度預(yù)測損失。

定義2Laloss度量當(dāng)預(yù)測比標(biāo)注(真值)更模糊時(shí)發(fā)生的標(biāo)記形態(tài)模糊度損失，定義為

Laloss=max(Apred-Aground，0)

(6)

式中:

(7)

Apred表示用式(5)計(jì)算得到的預(yù)測標(biāo)記形態(tài)模糊度，Aground表示真實(shí)標(biāo)記形態(tài)模糊度。

1.4 對(duì)學(xué)習(xí)過程的影響

在對(duì)標(biāo)記形態(tài)模糊度的研究過程中，低模糊度的數(shù)據(jù)更有利于分類器的學(xué)習(xí)。本文設(shè)計(jì)了一個(gè)有兩個(gè)對(duì)照組的比較試驗(yàn)。首先，根據(jù)模糊度將訓(xùn)練數(shù)據(jù)分為等量的兩組，低模糊組和高模糊組。然后，對(duì)這兩個(gè)對(duì)照組使用相同的算法訓(xùn)練兩個(gè)模型，然后在相同的測試集上評(píng)估每個(gè)模型。

2 標(biāo)記分布學(xué)習(xí)算法設(shè)計(jì)

2.1 符號(hào)框架

2.2 目標(biāo)函數(shù)

加權(quán)距離損失讓分類器先學(xué)習(xí)簡單的概念，然后再逐漸學(xué)習(xí)復(fù)雜概念。由于擁有清晰標(biāo)記分布的樣本往往對(duì)應(yīng)著易于識(shí)別的特征信息，推測分類器學(xué)習(xí)對(duì)應(yīng)的樣本要比學(xué)習(xí)模糊標(biāo)記的樣本更容易。加權(quán)距離損失的計(jì)算公式為

(8)

式中:ωi=κ(Di)，可以預(yù)先計(jì)算和存儲(chǔ)。測量兩個(gè)分布之間的距離有許多不同的標(biāo)準(zhǔn)，這里使用KL散度(Kullback-Leibler divergence，KL)，計(jì)算公式如下

(9)

標(biāo)記模糊對(duì)齊損失:分類器期望預(yù)測的每個(gè)實(shí)例與其標(biāo)記形態(tài)模糊度相匹配，它允許分類器更好地學(xué)習(xí)分布的形狀，同時(shí)，還可以避免分類器為了規(guī)避懲罰而做出模糊的判斷。標(biāo)記模糊對(duì)齊損失項(xiàng)設(shè)計(jì)如下

(10)

式中:κ(d)表示分布d的峰度，用式(3)計(jì)算。

2.3 實(shí)現(xiàn)細(xì)節(jié)

2.3.1 預(yù)測模型

(11)

2.3.2 目標(biāo)函數(shù)

相應(yīng)地，參數(shù)矩陣Θ*確定如下

(12)

(13)

2.3.3 梯度計(jì)算

標(biāo)函數(shù)f(Θ)的最小化可以由BFGS算法有效求解，式(13)的梯度如下

(14)

式中:

(15)

(16)

(17)

2.3.4 多階段學(xué)習(xí)

首先學(xué)習(xí)有效的分類信息，然后優(yōu)化形態(tài)模糊。在第一階段，將模糊損失項(xiàng)的系數(shù)設(shè)置為0，以便分類器可以專注于分類信息。經(jīng)過一定次數(shù)的迭代后，在第二階段增加模糊度損失項(xiàng)，使分類器逐漸關(guān)注分布形態(tài)的模糊度損失，如表1所示。

表1 LDL-KQA算法

3 試驗(yàn)部分

3.1 數(shù)據(jù)集

試驗(yàn)中使用的LDL數(shù)據(jù)集可以根據(jù)問題的性質(zhì)可以分為四類。同一算法在不同類型的數(shù)據(jù)集上的性能可能會(huì)有很大差異[18]，數(shù)據(jù)集的詳細(xì)信息總結(jié)在表2中。

表2 試驗(yàn)所用14個(gè)真實(shí)數(shù)據(jù)集的基本信息

面部表情數(shù)據(jù)集:SJAFFE數(shù)據(jù)集[5]包含10個(gè)日本女模特的213張灰度圖像。每張圖像由60個(gè)人對(duì)6種基本情緒(即快樂、悲傷、驚訝、恐懼、憤怒和厭惡)用五個(gè)等級(jí)進(jìn)行評(píng)分，其中1代表最低情緒強(qiáng)度，5代表最高情緒強(qiáng)度。用每個(gè)情緒的平均得分(歸一化后)表示標(biāo)記分布。第二個(gè)數(shù)據(jù)集SBU_3DFE[5]包含2 500張圖像，每個(gè)圖像的標(biāo)記分布以與SJAFFE相同的方式獲得。通過局部二值模式[19]從每幅圖像中提取一個(gè)243維的特征向量。

圖像情感數(shù)據(jù)集:Flickr和Twitter數(shù)據(jù)集[22]分別包含11 150和10 045張圖像。它們的標(biāo)記屬于典型的八種情感空間(憤怒、歡喜、敬畏、滿足、厭惡、興奮、恐懼和悲傷)，用三種流行的描述器(局部二值模式，方向梯度直方圖和顏色矩)提取圖像特征。最初提取的特征是高維的，用PCA將特征維數(shù)降低到168。

酵母菌生物數(shù)據(jù)集:酵母菌系列的九個(gè)數(shù)據(jù)集是從芽殖啤酒酵母的生物學(xué)試驗(yàn)中收集，共使用2 465種啤酒酵母，每個(gè)都由長度為24的相關(guān)系統(tǒng)發(fā)育圖的向量表示[22]。標(biāo)記對(duì)應(yīng)于不同條件下的生物試驗(yàn)中的離散時(shí)間點(diǎn)，每個(gè)時(shí)間點(diǎn)的歸一化基因表達(dá)水平對(duì)應(yīng)于相應(yīng)的標(biāo)記分布。由于標(biāo)記值(在相應(yīng)目標(biāo)元素處測量的Cy5/Cy3熒光比)來自精密儀器，因此這些標(biāo)記比人工標(biāo)注更一致。

人類基因數(shù)據(jù)集:人類基因數(shù)據(jù)集是從生物學(xué)研究中收集的人類基因與疾病關(guān)系的大規(guī)模真實(shí)數(shù)據(jù)集[20]，該數(shù)據(jù)集包含30 542個(gè)人類基因，每個(gè)基因用一個(gè)有36個(gè)基因序列的數(shù)字描述器表示，這些標(biāo)記對(duì)應(yīng)于68種不同的疾病。

3.2 試驗(yàn)設(shè)置

3.2.1 LAG vs. HAG對(duì)照試驗(yàn)

為了驗(yàn)證本文的猜想——低模糊度數(shù)據(jù)更有利于分類任務(wù)的學(xué)習(xí)，本文設(shè)計(jì)了如下對(duì)照試驗(yàn)。對(duì)每個(gè)數(shù)據(jù)集，使用十折交叉驗(yàn)證。即將數(shù)據(jù)集隨機(jī)均勻劃分為10份，每次試驗(yàn)取其中9份作為訓(xùn)練集，剩下的1份作為測試集，重復(fù)進(jìn)行十次試驗(yàn)。用Mersenne Twister算法[19]將隨機(jī)數(shù)生成器的種子設(shè)置為0，確保對(duì)照試驗(yàn)的可重復(fù)性。首先，根據(jù)標(biāo)記形態(tài)模糊度將訓(xùn)練數(shù)據(jù)分成數(shù)量相同的兩組，將數(shù)據(jù)按照模糊度量值進(jìn)行由小到大排序，并模糊度值較小的前50%劃入低模糊組(Low ambiguity group，LAG)，將剩下的50%劃入高模糊組(High ambiguity group，HAG)。為了保持類平衡，這種劃分是在按照最大分布值進(jìn)行投票所獲得的每個(gè)類別的內(nèi)部進(jìn)行的。這一過程類似于one hot編碼過程，即選取每個(gè)樣本對(duì)應(yīng)標(biāo)記分布中描述度最大的標(biāo)簽作為類別代表。以SJAFFE表情數(shù)據(jù)集為例，由于標(biāo)注者對(duì)于“恐懼”這一情緒的識(shí)別能力較弱，對(duì)于以“恐懼”為主導(dǎo)的樣本在標(biāo)注的形態(tài)上傾向于模糊。如果不進(jìn)行上述處理，那么“恐懼”為主導(dǎo)的樣本可能全數(shù)被劃分到HAG。通過預(yù)先在訓(xùn)練集上劃分出各個(gè)情緒(例如“恐懼”)主導(dǎo)的類，然后再在每個(gè)類別的內(nèi)部中按照形態(tài)模糊度進(jìn)行排序劃分成LAG和HAG兩個(gè)組別。這樣做可以保持各個(gè)分組中的類分布盡可能與訓(xùn)練集中的一致，避免某一類別被全數(shù)劃分到LAG或HAG當(dāng)中的某一組別，從而一定程度上保持了類平衡。然后，將LAG和HAG分別作為新的訓(xùn)練子集提供給相同的算法進(jìn)行學(xué)習(xí)。這樣，就可以分別得到關(guān)于一種算法的LAG和HAG的兩個(gè)模型。最后，在同一個(gè)測試集上對(duì)兩個(gè)模型進(jìn)行評(píng)估。對(duì)每個(gè)算法在每個(gè)數(shù)據(jù)集劃分上重復(fù)上述過程。選取不同類型的LDL算法，并試圖包括每種類型[7]，即問題轉(zhuǎn)換(Problem transformation，PT)、算法自適應(yīng)(Algorithm adaption，AA)、專用算法(Specialized algorithm，SA)。在對(duì)照試驗(yàn)中實(shí)現(xiàn)了六種LDL算法，即PT-Bayes[21]、AA-kNN[3]、SA-IIS[3]、SA-BFGS[3]、CPNN[22]和LDLLC[10]。其中PT-Bayes代表PT類算法，AA-kNN和CPNN代表AA類算法，SA-IIS、SA-BFGS和LDLLC代表SA類算法。其中CPNN是淺層的感知機(jī)網(wǎng)絡(luò)算法，而LDLLC則是考慮了標(biāo)記間相關(guān)性的SA類算法的改進(jìn)。通過選擇多種類型的算法進(jìn)行對(duì)照試驗(yàn)，能夠增加試驗(yàn)結(jié)論的可靠性。算法代碼由原作者提供，根據(jù)并行性準(zhǔn)則對(duì)這些算法進(jìn)行了一些運(yùn)行效率的改進(jìn)。采用相應(yīng)文獻(xiàn)中報(bào)告的建議參數(shù)，所有算法的參數(shù)設(shè)置如下:對(duì)于PT-Bayes，用最大似然估計(jì)求高斯分類條件下的概率密度函數(shù)。AA-kNN中的鄰居數(shù)k設(shè)置為5，CPNN的隱藏層神經(jīng)元數(shù)設(shè)置為50，LDLLC中的系數(shù)設(shè)置為0.1和0.01，SA-BFGS和LDLLC的最大迭代次數(shù)設(shè)置為400。用分類任務(wù)中常用的評(píng)價(jià)指標(biāo)準(zhǔn)確率(Accuracy，Acc)來評(píng)估預(yù)測表現(xiàn)，“↑”表示越大越好。

3.2.2 LDL-KQA消融試驗(yàn)

為了驗(yàn)證提出的算法在降低Laloss上的表現(xiàn)，進(jìn)行了消融試驗(yàn)。數(shù)據(jù)劃分與對(duì)照試驗(yàn)相同，均采用十折交叉驗(yàn)證和固定隨機(jī)數(shù)種子。在消融試驗(yàn)中，將LDL-KQA與基礎(chǔ)模型進(jìn)行比較。對(duì)于LDL-KQA，約束模型復(fù)雜度的正則項(xiàng)系數(shù)λ1設(shè)置為1e-5，模糊對(duì)齊項(xiàng)系數(shù)λ2設(shè)置為1e-3，第一和第二學(xué)習(xí)階段的最大迭代次數(shù)設(shè)置為400。對(duì)于只加權(quán)(Weighted)的情況，λ2設(shè)置為0。對(duì)于只進(jìn)行模糊對(duì)齊(Alignment)的情況，公式(8)中的權(quán)重ω設(shè)置為1。對(duì)于基礎(chǔ)模型(Baseline)，λ2設(shè)置為0，式(8)中的權(quán)重ω設(shè)置為1，其他未提及的設(shè)置保持不變。對(duì)于消融試驗(yàn)，同時(shí)使用Laloss和Acc來評(píng)估預(yù)測性能，Laloss的定義由式(6)給出。對(duì)于Laloss，“↓”表示越小越好，對(duì)于Acc，“↑”表示越大越好。

3.3 結(jié)果和討論

3.3.1 LAG vs. HAG對(duì)照試驗(yàn)

對(duì)照試驗(yàn)的結(jié)果如圖1所示，分別討論不同類型的數(shù)據(jù)集。

圖1 LAG模型與HAG模型的準(zhǔn)確率差異

一類是表情和情感數(shù)據(jù)集(數(shù)據(jù)集1到4)，這類數(shù)據(jù)集由人工進(jìn)行標(biāo)注，包含了標(biāo)注不一致的情況;另一類是酵母菌數(shù)據(jù)集(數(shù)據(jù)集5到13)，這類數(shù)據(jù)集由試驗(yàn)儀器標(biāo)注，包含了標(biāo)注一致的情況;此外還有一類特殊的基因數(shù)據(jù)集(數(shù)據(jù)集14)，包含了高維標(biāo)記的情況。計(jì)算了每種算法的LAG模型(即在LAG上訓(xùn)練所得的模型)和HAG模型之間的準(zhǔn)確率差異，并將它們表示在圖1中結(jié)果分為上下兩行共14個(gè)簇，每個(gè)簇用于表示一個(gè)數(shù)據(jù)集的對(duì)比結(jié)果，數(shù)據(jù)集名被標(biāo)注于簇的上方。每個(gè)簇由六種算法比較結(jié)果的柱狀圖構(gòu)成，其中每個(gè)分量的值表示對(duì)應(yīng)圖例算法的LAG和HAG準(zhǔn)確率的差值，即Acc(LAG)-Acc(HAG)。從結(jié)果中可以觀察到，大多數(shù)算法對(duì)低模糊度數(shù)據(jù)可以達(dá)到更高的準(zhǔn)確率，這表明標(biāo)記形態(tài)模糊度低的樣本更有利于分類器的學(xué)習(xí)?？梢杂^察到SA-IIS和SA-BFGS在數(shù)據(jù)集SJAFFE上有完全不同的結(jié)果，盡管它們優(yōu)化的是相同的損失函數(shù)。在文獻(xiàn)[3]中提及了這一問題，SA-BFGS是SA-IIS算法在優(yōu)化方法上的改進(jìn)。這兩種算法都由原作者提供，在試驗(yàn)中加入這兩種不同優(yōu)化程度的算法來模擬實(shí)際應(yīng)用情景下可能出現(xiàn)的不同情況。SJAFFE是一個(gè)小的表情數(shù)據(jù)集，只有213個(gè)實(shí)例，具有高度的標(biāo)注不一致性。一些算法(如LDLLC、SA-IIS和SA-Bayes)在這個(gè)數(shù)據(jù)集上未能擬合。準(zhǔn)確率約為22.88%的模型無法擬合數(shù)據(jù)，并輸出初始模型的預(yù)測值(用單位矩陣初始化的矩陣)。

對(duì)于表情和情感數(shù)據(jù)集(數(shù)據(jù)集1到4)，LAG模型的平均準(zhǔn)確率高于HAG模型。從圖1的上半部分，可以觀察到6種算法的LAG模型的性能大多優(yōu)于HAG。:對(duì)于酵母菌系列數(shù)據(jù)集(數(shù)據(jù)集5到13)，LAG的性能大多數(shù)情況下優(yōu)于HAG。然而，在Yeast_cold和Yeast_elu數(shù)據(jù)集上，LAG的平均準(zhǔn)確率略低于HAG。缺乏標(biāo)記不一致性似乎削弱了LAG的優(yōu)勢。對(duì)于人類基因數(shù)據(jù)集(數(shù)據(jù)集14)，標(biāo)記有68維，而特征只有36維，這對(duì)分類任務(wù)來說是一個(gè)很大的挑戰(zhàn)?？梢杂^察到LAG模型在這個(gè)數(shù)據(jù)集上有明顯的優(yōu)勢。在多數(shù)情況下，低形態(tài)模糊數(shù)據(jù)意味著有分明的標(biāo)記。而當(dāng)分類問題復(fù)雜時(shí)，部分算法例如SA-IIS由于學(xué)習(xí)能力較弱，在少量分明標(biāo)記數(shù)據(jù)上無法擬合并過早退出迭代，則會(huì)導(dǎo)致圖1中負(fù)值現(xiàn)象的出現(xiàn)。

3.3.2 LDL-KQA消融試驗(yàn)

消融試驗(yàn)的結(jié)果見表3和表4，用粗體表示更好的性能。結(jié)果表明LDL-KQA算法在Laloss和Acc指標(biāo)上都優(yōu)于基礎(chǔ)模型。這說明兩種策略組合對(duì)于降低預(yù)測的模糊度損失和提升分類預(yù)測準(zhǔn)率是有效的。由于任務(wù)背景的多樣性，不同的策略在不同任務(wù)中效果不一致，最優(yōu)結(jié)果的分散說明了兩種策略在不同問題背景下各占優(yōu)勢。試驗(yàn)結(jié)果表明，對(duì)低模糊度樣本進(jìn)行加權(quán)的策略更具有魯棒性。

表3 LDL-KQA消融試驗(yàn)的Laloss↓

表4 LDL-KQA消融試驗(yàn)的Acc(%)↑

5 結(jié)束語

本文研究了LDL問題中分布形態(tài)模糊度對(duì)于學(xué)習(xí)的影響。設(shè)計(jì)了一種基于峰度的函數(shù)可以準(zhǔn)確地度量這種分布形態(tài)上的模糊程度，從而可以對(duì)模糊程度不同的樣本進(jìn)行區(qū)分。發(fā)現(xiàn)了低模糊度的樣本更有利于歧義情境下的分類學(xué)習(xí)，并據(jù)此設(shè)計(jì)了一種新的LDL算法。通過利用模糊度加權(quán)和損失對(duì)齊的策略，該算法能夠利用分布中形態(tài)模糊度信息。消融試驗(yàn)的結(jié)果表明，本文所提出的LDL-KQA算法在各種不同類型的數(shù)據(jù)集上都有效地降低了Laloss損失，并同時(shí)有效地提高了分類準(zhǔn)確率。本文對(duì)于分布形態(tài)模糊度的研究，在某種程度上揭示了分布形態(tài)與樣本歧義性之間關(guān)系。相信這對(duì)于今后LDL相關(guān)工作會(huì)有啟發(fā)，可以在現(xiàn)有工作的基礎(chǔ)上進(jìn)一步挖掘這種標(biāo)記形態(tài)模糊度在不同場景中的作用，并針對(duì)具體情境設(shè)計(jì)基于形態(tài)模糊度的LDL解決方案。