加強決策邊界與自監(jiān)督的在線持續(xù)學(xué)習(xí)方法

摘 要：針對在線持續(xù)學(xué)習(xí)于圖像分類中既要適應(yīng)新數(shù)據(jù)，又要減輕災(zāi)難性遺忘這一問題，基于重放的方法在減輕在線持續(xù)學(xué)習(xí)的災(zāi)難性遺忘方面展現(xiàn)出了優(yōu)良性能。然而，此類方法中的大多數(shù)模型往往更傾向于學(xué)習(xí)與對象無關(guān)的解決方案，這些方案難以泛化且易于遺忘，因此，學(xué)習(xí)最能夠代表類別的特征對于解決災(zāi)難性遺忘問題顯得極為關(guān)鍵。基于此，提出加強決策邊界與自監(jiān)督的在線持續(xù)學(xué)習(xí)方法。首先，該方法通過加強新類之間的決策邊界，幫助模型更好地進行任務(wù)的分類。其次，使用了一種融合的自監(jiān)督學(xué)習(xí)方法，幫助模型更好地學(xué)習(xí)每個類的代表特征。通過與主流在線持續(xù)學(xué)習(xí)算法在公開數(shù)據(jù)集CIFAR-10和CIFAR-100上的實驗對比，當內(nèi)存庫M為100時，該方法在CIFAR-10上的平均準確率達到了60.8%，平均遺忘率達到了15.5%。當內(nèi)存庫M為500時，該方法在CIFAR-100上的平均準確率達到了25.9%，平均遺忘率達到了13.7%。這一結(jié)果驗證了加強決策邊界與自監(jiān)督的在線持續(xù)學(xué)習(xí)方法對減輕災(zāi)難性遺忘是有效的。

關(guān)鍵詞：持續(xù)學(xué)習(xí)；災(zāi)難性遺忘；對比學(xué)習(xí)；決策邊界

中圖分類號：TP391"" 文獻標志碼：A

文章編號：1001-3695（2025）01-019-0133-06

doi： 10.19734/j.issn.1001-3695.2024.06.0191

Online continual learning method strengthening decision boundaries and self-supervision

Abstract：To address the issue of online continual learning in image classification， which requires adapting to new data while alleviating catastrophic forgetting， replay-based methods have demonstrated excellent performance in mitigating this problem. However， most models in these methods tend to favor learning object-agnostic solutions， which are difficult to generalize and prone to forgetting. Therefore， learning features that best represent categories is crucial for solving the catastrophic forgetting issue. This paper proposed an online continual learning approach that enhanced decision boundaries and incorporates self-supervision. Firstly， this method strengthened the decision boundaries between new classes， helping the model to classify tasks more effectively. Secondly， it employed a fused self-supervised learning approach， enabling the model to better learn representative features for each class. Through experiments comparing this method with mainstream online continual learning algorithms on the CIFAR-10 and CIFAR-100 public datasets， it observes that when the memory buffer M is set to 100， this method achieves an average accuracy of 60.8% and an average forgetting rate of 15.5% on CIFAR-10. When M is increased to 500， the method achieves an average accuracy of 25.9% and an average forgetting rate of 13.7% on CIFAR-100. These results validate that the approach of enhancing decision boundaries and incorporating self-supervision effectively alleviates catastrophic forgetting.

Key words：continuous learning（CL）; catastrophic forgetting; contrastive learning; decision boundaries

0 引言

在線持續(xù)學(xué)習(xí)（continual learning， CL）[1，2]模式下的類增量學(xué)習(xí)（class-incremental learning， CIL）[3，4]的目標是學(xué)習(xí)一個深度模型，實現(xiàn)新類的知識積累，并且不會遺忘從舊類中學(xué)到的信息。同時，在學(xué)習(xí)進程中，每個任務(wù)均由一組獨有的類構(gòu)成，任意不同任務(wù)的類集不存在交集，且系統(tǒng)在每次訓(xùn)練時都無法獲取任務(wù)信息。在在線CL中，數(shù)據(jù)從單個數(shù)據(jù)流中學(xué)習(xí)，每當小批量數(shù)據(jù)到達時，它就會在每次迭代中進行訓(xùn)練。因此，每個任務(wù)的數(shù)據(jù)在每次迭代中進行了訓(xùn)練。目前，災(zāi)難性遺忘（catastrophic forgetting， CF）[5，6]是在線CL的主要問題，表現(xiàn)為模型在學(xué)習(xí)新類時對舊類的判別性能有明顯的下降現(xiàn)象，主要原因是舊數(shù)據(jù)的歷史知識會被新數(shù)據(jù)的新信息所覆蓋。

為了解決在線CL中的災(zāi)難性遺忘問題，文獻[7]將一個復(fù)雜的模型中的知識壓縮到一個更小更適合部署的模型中，也就是知識蒸餾[8]方法，從而提高學(xué)習(xí)的性能并保留舊知識。文獻[9]提出無遺忘學(xué)習(xí)（learning without forgetting， LwF），將知識蒸餾的方法應(yīng)用到在線CL中。然而在已經(jīng)提出的用來減輕災(zāi)難性遺忘的各類在線CL方法中，基于重放的方法[10]通過將舊類的數(shù)據(jù)子集存儲為經(jīng)驗進行回放的方法，表現(xiàn)出了良好的性能。其中，經(jīng)驗重放從緩沖區(qū)中隨機抽取樣本，MIR（maximal interfered retrieval）[11]通過可以選擇最受干擾的樣本進行回放，以提高模型的性能并減少遺忘。此外，ASER（adversarial shapley value for efficient rehearsal）[12]引入了一種基于Shapley值的緩沖區(qū)管理方法。SCR（supervised contrastive replay）[13]利用監(jiān)督對比損失進行訓(xùn)練，并使用最近類均值（nearest-class-mean， NCM）分類器替代softmax分類器進行測試。OCM（online continuous learning through mutual information maximization）[14]通過互信息最大化防止遺忘。

以上方法大部分是基于神經(jīng)網(wǎng)絡(luò)提出的，但神經(jīng)網(wǎng)絡(luò)更專注于學(xué)習(xí)簡單片面的特征，在線CL的模型更傾向于學(xué)習(xí)與對象無關(guān)的解決方案，這些解決方案很難泛化且容易被遺忘。因此，讓模型學(xué)習(xí)最能代表類的特征對抵抗災(zāi)難性遺忘至關(guān)重要，同時在當新類別加入、更新決策邊界[15]時需考慮到已有類別的影響，保持對舊類別的泛化能力也同樣重要。

為此，本文提出一種加強決策邊界與自監(jiān)督的在線持續(xù)學(xué)習(xí)方法，使用加強決策邊界的方法（strengthening decision boundaries， SDB）動態(tài)調(diào)整新類數(shù)據(jù)和舊類數(shù)據(jù)在訓(xùn)練數(shù)據(jù)中的占比，來加強新類和舊類之間的決策邊界，保持對舊類別的泛化能力。融合實例級的對比學(xué)習(xí)[16]和基于代理的對比學(xué)習(xí)[17]進行自監(jiān)督對比學(xué)習(xí)（self-supervised contrast learning， SSCL），這種方法可以提高模型的性能和泛化能力，并且讓生成的特征更準確。實驗結(jié)果表明，新方法在在線CL中取得了更高的準確率和更低的遺忘率。

1 相關(guān)工作

1.1 持續(xù)學(xué)習(xí)中的知識蒸餾

在持續(xù)學(xué)習(xí)中，知識蒸餾是一種解決災(zāi)難性遺忘的有效方法。除了傳統(tǒng)的知識蒸餾方法外，還有一些其他技術(shù)如iCaRL（incremental classifier and representation learning）[18] 利用知識蒸餾來限制學(xué)習(xí)知識的變化，并利用類原型進行最近鄰預(yù)測方法，Co2L（contrastive continual learning）[19]提出了基于自蒸餾損失的特征保留方法，PASS（prototype augmentation and self-supervision）[20]通過提取舊原型來維持舊類的決策邊界。然而，當先前的模型學(xué)習(xí)效果不佳時，提取有用知識變得困難。為了克服這一局限性，使用了通過反饋機制來增強容易錯誤分類的類別，從而克服了知識蒸餾的局限性。

1.2 持續(xù)學(xué)習(xí)中的原型

在持續(xù)學(xué)習(xí)中，原型被用來減輕災(zāi)難性遺忘。如iCaRL和SCR使用類原型作為分類器，PASS則提取舊原型以保留學(xué)到的知識。然而，計算所有樣本的原型對訓(xùn)練過程來說非常昂貴。一些研究嘗試在在線場景中使用原型，如CoPE（continual proto-type evolution）[21]設(shè)計了具有高動量更新的原型，文獻[22]使用平均更新標準估計所有觀察到的數(shù)據(jù)的類原型。然而，將先前的特征積累為原型可能不利于未來學(xué)習(xí)，因為舊類學(xué)到的特征可能無法有效地去區(qū)分新類。相比之下，所提出的在線原型僅利用當前時間步的可見數(shù)據(jù)，顯著降低了計算成本，更適合在線 CL。

1.3 對比學(xué)習(xí)

對比學(xué)習(xí)的總體目標是直觀的：在嵌入空間中應(yīng)該將“相似”樣本的表示緊密地映射在一起，而將“不相似”樣本的表示分離開。當標簽不可用（自我監(jiān)督）時，相似的樣本通常由目標樣本的數(shù)據(jù)增強形成，而不同的樣本通常從同一批次目標樣本或存儲特征向量的存儲庫/隊列中隨機抽取。當提供標簽（監(jiān)督）時，相似的樣本是來自同一類，不相似的樣本是來自不同類別的樣本。實例對比學(xué)習(xí)旨在學(xué)習(xí)一個嵌入空間，其中來自同一實例的樣本被拉近，來自不同實例的樣本被推開。為了構(gòu)建對比損失，為每個樣本生成正例特征和負例特征。

1.4 在線原型學(xué)習(xí)框架

在在線持續(xù)學(xué)習(xí)的在線原型學(xué)習(xí)框架[23]中，在線原型僅利用當前小批量中可用的數(shù)據(jù)，因為對于新類來說數(shù)據(jù)從單通道依次輸出，無法訪問所有樣本；對于舊類，計算緩沖區(qū)中所有樣本的原型是昂貴的，所以這種形式更適合在線 CL。在線原型的生成分為兩個步驟：

a）對于每個樣本使用特征提取器f對經(jīng)過數(shù)據(jù)增強后的樣本aug（x）進行特征提取，得到特征表示，然后通過投影器函數(shù)g計算得到Z。公式如下：

Z=gfaug（x）;θf;θg（1）

b）根據(jù)所有樣本的Z，結(jié)合類別標簽信息，計算每個類別i的原型向量Pi。對于類別i，根據(jù)所有屬于該類別的樣本j的權(quán)重Zj和特征表示faug（x）;θf來更新原型向量Pi。公式如下：

其中：1yj=i是指示函數(shù);ni是小批量中第i類的樣本數(shù)量，用于判斷樣本j是否屬于類別i。

引入的在線原型可以提供具有代表性的特征，避免獲得與類無關(guān)的信息。這些特征是保持在線CL準確率的關(guān)鍵。此外，保持所見類之間的區(qū)分對于減輕災(zāi)難性遺忘很重要。將不同類別的在線原型合并，用來學(xué)習(xí)類之間的判別特征，在此基礎(chǔ)上，在嵌入空間中拉近在線原型P及其增強視圖Q來學(xué)習(xí)每個類的代表性特征，推開不同類別的在線原型來學(xué)習(xí)類之間的判別特征，對比損失函數(shù)為

在線原型學(xué)習(xí)的總損失函數(shù)由兩部分組成，分別為新樣本的原型損失函數(shù)和已知樣本的原型損失函數(shù)。新樣本的原型損失函數(shù)由當前的在線原型集合和新樣本的在線原型集合計算得到，這部分損失用來衡量新樣本與當前原型的匹配程度。已知樣本的原型損失是由當前的在線原型集合和已知樣本的在線原型集合計算得到，這部分損失用來衡量已知樣本與當前原型的匹配程度。在線原型學(xué)習(xí)損失函數(shù)如下：

LOPE=Lnew pro （P，Q）+Lseen pro Pb，Qb（5）

其中：Lnew pro 專注于從新類中學(xué)習(xí)知識;Lnew pro （P，Q）是為新樣本的原型損失函數(shù)；Lseen pro 致力于保留所有可見類的學(xué)習(xí)知識；Lseen pro （Pb，Qb）是為已知樣本的原型損失函數(shù)。其中Pb為當前的在線原型集合，Qb是已知樣本的在線原型集合。

1.5 在線持續(xù)學(xué)習(xí)中的數(shù)據(jù)不平衡

一些研究者已經(jīng)處理了離線CL中的數(shù)據(jù)不平衡問題。SS-IL（separated softmax for incremental learning）[24]將softmax函數(shù)的計算隔離在以前的類和更新模型的新類上。GSA（gradient self-adaptation）[25]提出了一種基于梯度的自適應(yīng)損失。CCIL（essentials for class incremental learning）[26]使用損失來平衡任務(wù)內(nèi)學(xué)習(xí)和任務(wù)間學(xué)習(xí)。然而，這些算法中需要預(yù)先獲得當前任務(wù)的全部數(shù)據(jù)和/或多個訓(xùn)練時期來解決數(shù)據(jù)不平衡的問題，不適用于在線CL，因為在線CL在任務(wù)到達數(shù)據(jù)流時，沒有任務(wù)的完整訓(xùn)練數(shù)據(jù)。

2 加強決策邊界與自監(jiān)督的在線持續(xù)學(xué)習(xí)

2.1 問題描述

2.2 總體框架

加強決策邊界與自監(jiān)督的在線學(xué)習(xí)整體結(jié)構(gòu)流程如圖1所示。框架包括增強決策邊界和融合的自監(jiān)督學(xué)習(xí)兩部分。通過融合的自監(jiān)督學(xué)習(xí)的方法使該模型學(xué)習(xí)具有代表性的特征。后通過加強決策邊界的方法，增強模型對任務(wù)內(nèi)類的分類能力。傳入數(shù)據(jù)X和重放數(shù)據(jù)Xb被增強并饋送到模型，選擇符合條件的數(shù)據(jù)放入緩沖區(qū)中，用新類數(shù)據(jù)和緩沖區(qū)中的舊類數(shù)據(jù)生成在線原型數(shù)據(jù)，使用自監(jiān)督的對比學(xué)習(xí)方法來更新模型參數(shù)。然后，使用提出的加強決策邊界的方法動態(tài)地調(diào)整新類數(shù)據(jù)和舊類數(shù)據(jù)在訓(xùn)練數(shù)據(jù)中的占比，并增強新類和舊類的決策邊界，以解決數(shù)據(jù)不平衡的問題。最后更新參數(shù)。

2.3 融合的自監(jiān)督學(xué)習(xí)方法

因為在線原型只能展示部分實例級信息，無法完全呈現(xiàn)類的所有特征和屬性。在線原型可以展示類的一部分信息，但仍然可能無法提供完整的類描述，導(dǎo)致類不夠緊湊。為了保證類的緊致性，在線原型學(xué)習(xí)框架中使用了實例級對比學(xué)習(xí)的方法，實例級對比學(xué)習(xí)損失函數(shù)如下：

其中：N表示特征向量的數(shù)量;τ ′是一個參數(shù)；Ii表示i個特征向量的相似特征向量的索引集合;simZi，Zj表示特征向量Zi和Zj之間的余弦相似度。

但是這種方法在處理數(shù)據(jù)不平衡問題時存在缺陷，并且實例級對比學(xué)習(xí)的方法需要標簽信息進行訓(xùn)練，所以無法進行無監(jiān)督學(xué)習(xí)。因此引入基于代理的對比學(xué)習(xí)方法，在一定程度上彌補缺點。

在基于代理的對比學(xué)習(xí)方法，對于每個任務(wù)，給定當前樣本 （X， Y），它從內(nèi)存庫M中隨機抽取先前的樣本 （Xb， Yb）。此外，這些原始樣本及其增強樣本被拼接起來，與模型生成的代理數(shù)據(jù)集一起進行批次訓(xùn)練。基于代理的對比學(xué)習(xí)損失函數(shù)如下：

基于代理的對比學(xué)習(xí)方法通過引入代理樣本來解決數(shù)據(jù)不平衡的問題，提升模型性能。并且基于代理的對比學(xué)習(xí)方法可以進行無監(jiān)督學(xué)習(xí)，從而節(jié)省標簽數(shù)據(jù)的成本。自監(jiān)督對比學(xué)習(xí)的損失函數(shù)如下：

LSSCL=a·LINS+b·LNL（8）

其中：a和b為超參數(shù)。

這種融合的自監(jiān)督學(xué)習(xí)的方法結(jié)合了兩種方法的優(yōu)點，能夠從不同角度對數(shù)據(jù)進行建模和學(xué)習(xí)，并使模型更全面地利用數(shù)據(jù)中的信息，提高了模型的表征能力和泛化能力。

2.4 加強決策邊界的方法

假設(shè)系統(tǒng)已經(jīng)觀察過n-1個以前的類別（c1，…， cn-1）和m-n+1個新類別（cn，…， cm）在當前新類別數(shù)據(jù)的數(shù)據(jù)集中。對于新類別cn中的樣本數(shù)據(jù)Xnew，系統(tǒng)會對其進行學(xué)習(xí)，分解為兩個部分：a）學(xué)習(xí)cn與當前新類別數(shù)據(jù)的數(shù)據(jù)集中的其他類別之間的決策邊界；b）學(xué)習(xí)cn與緩沖區(qū)M中之前觀察到的n-1個舊類別之間的決策邊界。因為內(nèi)存緩沖區(qū)太小和數(shù)據(jù)不平衡的問題，如果系統(tǒng)學(xué)習(xí)了許多任務(wù)，就會出現(xiàn)內(nèi)存緩沖區(qū)中所有先前類中的樣本數(shù)量將遠小于新數(shù)據(jù)中每個類的樣本數(shù)的現(xiàn)象，會導(dǎo)致新類和舊類之間的訓(xùn)練偏差和決策邊界差，所以當新類別加入時，在更新決策邊界時需考慮到已有類別的影響。所以使用加強決策邊界方法，利用損失值動態(tài)調(diào)整新類數(shù)據(jù)和舊類數(shù)據(jù)的占比。因此，加強決策邊界的損失函數(shù)如下：

LSDB=α·CE（Yb，φ（f（aug（Xb）））+

β·CE（Ynew，φ（f（aug（Xnew）））［：，－t：］）（9）

其中：t為當前任務(wù)類別數(shù)；α和β為超參數(shù)。

在這個損失函數(shù)中，使用第一項來保持先前已知類別之間的決策邊界：將先前的類別標簽Yb和模型的預(yù)測數(shù)據(jù)φ（f（aug（Xb））放在第一項中，這可以確保模型在學(xué)習(xí)新類別時不會破壞先前已知類別之間的決策邊界。第二項用于建立新類別與已知類別之間的決策邊界：將真實的類別標簽Ynew和模型的預(yù)測數(shù)據(jù)φ（f（aug（Xnew））放在第二項中，這有助于模型學(xué)習(xí)如何區(qū)分新類別與已知類別之間的區(qū)別，從而建立新類別與已知類別之間的決策邊界。從新類到先前類的負遷移僅限于第二項。

2.5 總損失函數(shù)

模型訓(xùn)練時所使用的總損失函數(shù)由加強決策邊界的損失函數(shù)、自監(jiān)督對比學(xué)習(xí)的損失函數(shù)和在線原型學(xué)習(xí)損失函數(shù)組成，總損失函數(shù)為

LOUR=LSDB+LSSCL+LOPE（10）

遵循其他基于重放的方法，通過從集合X中均勻隨機選擇樣本來更新每個時間步的內(nèi)存庫M 。如果內(nèi)存庫M已經(jīng)滿了，就從內(nèi)存庫M中取出與集合X中相同數(shù)量的樣本。

2.6 算法流程

在這一部分中，利用模型學(xué)習(xí)新類的樣本和重放舊類的樣本來訓(xùn)練模型。在算法中，首先初始化記憶庫M；接著找到任務(wù)t中最相關(guān)的原型，并存入記憶庫M中；然后使用記憶庫中的原型P對任務(wù)t中的數(shù)據(jù)進行預(yù)測，根據(jù)預(yù)測更新記憶庫中的原型P；最后計算損失，利用損失更新模型參數(shù)。

算法1 強決策邊界與自監(jiān)督的在線持續(xù)學(xué)習(xí)方法

輸入：設(shè)置學(xué)習(xí)率α；設(shè)置記憶庫M大小；任務(wù)次數(shù)t。

輸出：平均準確率；平均遺忘率。

initialize memory M；

for each new task t do：

for each sample （x， y） in task t do：

if M is not full then：

store （x， y） in memory M

else

define online prototype P

通過式（2）計算對于任務(wù)t最相關(guān)的原型P

使用學(xué)習(xí)率 α 更新P以接近 x

if P becomes irrelevant then：

replace P in memory M with （x， y）

end if

for each sample （x， y） in task t do ：

for each prototype P in memory M

compute relevance of x to P

通過式（5）計算損失值LOPE，基于LOPE更新記憶庫M中所有原型的相關(guān)性

對于記憶庫M中的原型，計算x的預(yù)測，并考慮對比樣本

通過式（8）計算LSSCL，基于LSSCL更新預(yù)測誤差和損失

基于預(yù)測誤差和損失，更新記憶庫M中的原型

通過式（9）計算總損失LSDB，基于LSDB動態(tài)地調(diào)整新類數(shù)據(jù)和舊類數(shù)據(jù)在訓(xùn)練數(shù)據(jù)中的占比

update model parameters using gradient descent

end for

end for

end for

return average accuracy， average forgetting rate

end

3 實驗及結(jié)果分析

3.1 數(shù)據(jù)集和評價指標

3.1.1 數(shù)據(jù)集

實驗中使用CIFAR-10、CIFAR-100和TinyImageNet三個圖像分類基準數(shù)據(jù)集來評估在線CIL的性能。具體地，在CIFAR-10數(shù)據(jù)集上，將其分成為5個不相交的任務(wù)，每個任務(wù)包含2個不相交的類，其中有10 000個樣本用于訓(xùn)練，2 000個樣本用于測試。在CIFAR-100數(shù)據(jù)集上，將其分成為10個不相交的任務(wù)，每個任務(wù)包含10個不相交的類，其中有5 000個樣本用于訓(xùn)練，1 000個樣本用于測試。而在TinyImageNet數(shù)據(jù)集上，將其分成為100個不相交的任務(wù)，每個任務(wù)包含2個不相交的類，其中有1 000個樣本用于訓(xùn)練，100個樣本用于測試。在所有實驗設(shè)置中，任務(wù)的順序都是固定的。

3.1.2 評價指標

在線CIL中，使用平均精度和平均遺忘[27]來評估框架的性能。平均精度衡量了所有可見任務(wù)的測試集準確性，平均精度定義為

其中：j是訓(xùn)練完的前i個任務(wù)后對任務(wù)j的準確度。而平均遺忘表示模型在訓(xùn)練最終任務(wù)后對每個任務(wù)的遺忘程度，平均遺忘定義為

其中：fi，j=maxk∈{1，…，i－1}ak，j－ai，j是訓(xùn)練完所有任務(wù)后對任務(wù)j的準確度。這些指標可以幫助評估模型在在線連續(xù)學(xué)習(xí)中的性能表現(xiàn)。

3.2 實施細節(jié)

以ResNet18 [28]作為主干網(wǎng)絡(luò)，使用線性層作為投影，設(shè)置隱藏層維度為128。使用線性層作為分類器，Adam優(yōu)化器從頭開始訓(xùn)練模型，所有數(shù)據(jù)集的初始學(xué)習(xí)率為5×10-4，權(quán)重衰減設(shè)置為1.0×10-4。將批次大小設(shè)置為10，重放批次大小m設(shè)置為64。對于CIFAR-10，設(shè)置APF中的α比例為0.25。對于CIFAR-100和TinyImageNet，α設(shè)置為0.1。溫度τ = 0.5和τ′ = 0.07。對于基線方法，使用ResNet18作為骨干，設(shè)置相同的批次大小和重放批次大小進行比較。使用默認設(shè)置來重現(xiàn)所有方法在相同環(huán)境中的結(jié)果。這些實施細節(jié)有助于實驗的公平性。

3.3 對比實驗

表1列出三個基準數(shù)據(jù)集上不同內(nèi)存庫M的平均準確率結(jié)果，該模型在三個數(shù)據(jù)集上始終優(yōu)于所有基線方法。值得注意的是，當內(nèi)存庫M相對較小時，該方法的性能改進更為顯著，這對于內(nèi)存庫M有限的在線CL至關(guān)重要。例如，與方法OnPro相比，當內(nèi)存庫M為100時，該方法在CIFAR-10上實現(xiàn)了大約3%的提升，當內(nèi)存庫M為500時，該方法在CIFAR-100上實現(xiàn)了大約3%的提升。結(jié)果表明，該模型可以在資源有限的內(nèi)存庫M中學(xué)習(xí)到更具代表性和更有辨別力的特征。與使用知識蒸餾（iCaRL、DER++、PASS、OCM）的基線方法相比，該方法通過利用新類和在線原型的反饋獲得了更好的性能。此外，該方法優(yōu)于同樣使用在線原型的基線方法（PASS、CoPE、OnPro），表明在線原型更適合在線 CL，證明學(xué)習(xí)更充分的數(shù)據(jù)特征對模型的重要性。

可以看出，當數(shù)據(jù)集中的樣本越復(fù)雜時準確率就越低。這是因為當樣本變得復(fù)雜時，模型無法從樣本中提取到具有代表性的特征。當內(nèi)存庫M增加時，性能改進趨于平緩的原因可能是因為隨著內(nèi)存庫M的大小增加，記憶庫中的樣本變得更加多樣化。模型可以從更豐富和多樣的樣本中提取更具代表性的特征，從而更好地區(qū)分可見類。另外，隨著任務(wù)數(shù)量的增加，許多基線方法模型在CIFAR-100和TinyImageNet數(shù)據(jù)集上表現(xiàn)不佳。相比之下，模型仍然表現(xiàn)良好，具有相對較高的準確率和良好的平均遺忘率，說明本文方法在處理災(zāi)難性遺忘方面取得了成功。同時這表明模型在處理大規(guī)模和多樣化數(shù)據(jù)集時具有優(yōu)勢，能夠有效地學(xué)習(xí)并區(qū)分不同類別。這種對比結(jié)果顯示了模型的強大性能和泛化能力。

表2列出模型的平均遺忘結(jié)果以及三個數(shù)據(jù)集上所有基線方法的遺忘情況。結(jié)果表明該模型能夠有效減輕災(zāi)難性遺忘。在CIFAR-10和CIFAR-100數(shù)據(jù)集上，該模型相對于所有基于重放的方法模型實現(xiàn)了最低的平均遺忘率。在TinyImageNet上，結(jié)果略高于iCaRL和CoPE，但優(yōu)于最新的DVC和OCM方法。這可能是因為iCaRL在測試階段使用最近類的均值分類器，而該模型使用的是softmax和全連接層；CoPE則通過緩慢更新高動量的原型。然而，正如表1所示，該模型提供比iCaRL和CoPE更準確的分類結(jié)果。實際上，當任務(wù)的最大準確度較低時，即使模型完全遺忘了相關(guān)知識，遺忘這項任務(wù)也不太可能發(fā)生。表2的結(jié)果凸顯了模型在遺忘問題上的優(yōu)勢和性能表現(xiàn)。

如圖2所示，在CIFAR-10（M=100）和CIFAR-100（M=500）上評估了大部分基線方法的每個增量步驟的平均增量性能，即每個增量步驟中所觀察到的任務(wù)的準確性。增量步驟的性能提升表明該方法在準確度和遺忘減輕方面有良好的表現(xiàn)，而大多數(shù)方法模型的性能隨著新類別的引入而急劇下降，說明學(xué)習(xí)具有代表性和判別性特征對減輕災(zāi)難性遺忘至關(guān)重要。

3.4 消融實驗

在表3中列出了每個組合的消融結(jié)果，其average accuracy越高越好，average forgetting越低越好。加強決策邊界方法和融合的自監(jiān)督學(xué)習(xí)方法能夠持續(xù)提高分類的平均準確率，加強決策邊界方法對任務(wù)的影響更為顯著，尤其是在內(nèi)存庫M大小有限的情況下，加強決策邊界方法發(fā)揮著重要作用。此外，當加強決策邊界方法和融合的自監(jiān)督學(xué)習(xí)方法結(jié)合時，性能進一步提升，表明兩者可以相互促進，在CIFAR-10（M=100）和CIFAR-100（M=500）上，新類反饋方法提高了約2%的性能，結(jié)合自監(jiān)督的對比學(xué)習(xí)方法也同樣提高了約1.5%的性能，并且在平均準確率相近的情況下，平均遺忘率更低。說明本文方法在處理災(zāi)難性遺忘問題是成功的。

4 結(jié)束語

為解決在線類增量學(xué)習(xí)任務(wù)場景中產(chǎn)生的災(zāi)難性遺忘問題，本文提出了一種加強決策邊界與自監(jiān)督的在線持續(xù)學(xué)習(xí)方法。利用新類的損失去加強任務(wù)與任務(wù)之間的決策邊界，讓新任務(wù)更好地被模型學(xué)習(xí)。通過自監(jiān)督對比學(xué)習(xí)的方法，讓模型更好地學(xué)習(xí)新數(shù)據(jù)的代表特征。在樣本量少的CIFAR-100和樣本量多的CIFAR-10數(shù)據(jù)集上，本文方法相比主流類增量學(xué)習(xí)方法都取得了更好的增量性能表現(xiàn)。通過消融實驗證明了本文方法是有效的。但是本文在對數(shù)據(jù)不平衡的處理上仍存在不足，因為造成數(shù)據(jù)不平衡的原因主要是梯度的不平衡，即在線持續(xù)學(xué)習(xí)訓(xùn)練時相對于重放樣本更關(guān)注新樣本。下一步將設(shè)計一種方法可以動態(tài)地去調(diào)整訓(xùn)練時對每個樣本的關(guān)注度。

參考文獻：

[1]Fini E， Costa V G T D， Alameda-Pineda X， et al. Self-supervised models are continual learners [C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press， 2017： 9611-9620.

[2]李文斌， 熊亞錕， 范祉辰， 等. 持續(xù)學(xué)習(xí)的研究進展與趨勢 [J]. 計算機研究與發(fā)展， 2024， 61 （6）： 1476-1496. （Li Wenbin， Xiong Yakun， Fan Zhichen， et al. Advances and trends of continual learning [J]. Journal of Computer Research and Development， 2024， 61 （6）： 1476-1496.）

[3]Mai Zheda， Li Ruiwen， Jeong J， et al. Online continual learning in image classification： an empirical survey [J]. Neurocomputing， 2022， 469： 28-51.

[4]王偉， 張志瑩， 郭杰龍， 等. 基于腦啟發(fā)的類增量學(xué)習(xí) [J]. 計算機應(yīng)用研究， 2023， 40 （3）： 671-675，688. （Wang Wei， Zhang Zhiying， Guo Jielong， et al. Brain-inspired class incremental learning [J]. Application Research of Computers， 2023， 40 （3）： 671-675，688.）

[5]Chrysakis A， Moens M. Online continual learning from imbalanced data [C]// Proc of the 37th International Conference on Machine Learning. [S.l.]：PMLR，2020：1952-1961.

[6]袁坤， 張秀華， 溥江， 等. 非平穩(wěn)數(shù)據(jù)流下的持續(xù)學(xué)習(xí)災(zāi)難性遺忘問題求解策略綜述 [J]. 計算機應(yīng)用研究， 2023， 40 （5）： 1292-1302. （Yuan Kun， Zhang Xiuhua， Pu Jiang， et al. Review of catastrophic forgetting problems solving strategies for continual lear-ning under non-stationary data streams [J]. Application Research of Computers， 2023， 40 （5）： 1292-1302.）

[7]Fang Zhiyuan， Wang Jianfeng， Wang Lijuan， et al. Seed： self-supervised distillation for visual representation [EB/OL]. （2021-04-15）. https：//arxiv.org/abs/2101.04731.

[8]Geoffrey H， Oriol V， Jeff D. Distilling the knowledge in a neural network [EB/OL]. （2015-03-09）. https：//arxiv.org/abs/1503.02531.

[9]Li Zhizhong， Hoiem D. Learning without forgetting [J]. IEEE Trans on Pattern Analysis and Machine Intelligence， 2017， 40 （12）： 2935-2947.

[10]Chaudhry A， Rohrbach M， Mohamed E， et al. On tiny episodic memories in continual learning [EB/OL]. （2019-06-04）. https：//arxiv.org/abs/1902.10486.

[11]Aljundi R， Belilovsky E， Tuytelaars T， et al. Online continual lear-ning with maximal interfered retrieval [EB/OL]. （2019-10-29）. https：//arxiv.org/abs/1908.04742.

[12]Shim D， Mai Zheda， Jeong J， et al. Online class-incremental conti-nual learning with adversarial Shapley value [C]// Proc of AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2021： 35， 9630-9638.

[13]Mai Zheda， Li Ruiwen， Kim H， et al. Supervised contrastive replay： revisiting the nearest class mean classifier in online class-incremental continual learning [C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition . Piscataway，NJ： IEEE Press， 2021： 3584-3594.

[14]Guo Yidou， Liu Bing， Zhao Dongyan. Online continual learning through mutual information maximization [C]// Proc of" the 39th International Conference on Machine Learning. [S.l.]： PMLR， 2022：8109-8126.

[15]林韌昊， 周清雷， 扈天卿， 等. 基于決策邊界分析的深度神經(jīng)網(wǎng)絡(luò)魯棒性評估與優(yōu)先次序驗證 [J]. 計算機學(xué)報， 2024， 47 （4）： 862-876. （Lin Renhao， Zhou Qinglei， Hu Tianqing， et al. Robustness evaluation and prioritization verification for deep neural networks via decision boundary analysis [J]. Chinese Journal of Computer， 2024， 47 （4）： 862-876.）

[16]Khosla P， Teterwak P， Wang C， et al. Supervised contrastive lear-ning[J]. Advances in Neural Information Processing Systems， 2020， 33： 18661-18673.

[17]Lin Huiwei， Zhang Baoquan， Feng Shanshan， et al. PCR： proxy-based contrastive replay for online class-incremental continual learning [EB/OL]. （2023-04-10）. https：//arxiv.org/abs/2304.04408.

[18]Rebuffi S， Kolesnikov A， Sperl G， et al. iCaRL： incremental classifier and representation learning [C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press， 2017： 5533-5542.

[19]Cha H， Lee J， Shin J. Co2L： contrastive continual learning [C]// Proc of IEEE/CVF International Conference on Computer Vision. Piscataway，NJ： IEEE Press， 2021： 9496-9505.

[20]Zhu Fei， Zhang Xuyao， Wang Chuang， et al. Prototype augmentation and self-supervision for incremental learning [C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Pisca-taway，NJ： IEEE Press， 2021： 5867-5876.

[21]Lange M， Tuytelaars T. Continual prototype evolution： learning online from non-stationary data streams [C]// Proc of IEEE/CVF International Conference on Computer Vision. Piscataway，NJ： IEEE Press， 2021： 8230-8239.

[22]He Jiangpeng， Zhu Fengqing. Exemplar-free online continual learning [C]// Proc of IEEE International Conference on Image Processing . Piscataway，NJ： IEEE Press， 2022： 541-545.

[23]Wei Yujie， Ye Jiaxin， Huang Zhizhong， et al. Online prototype learning for online continual learning [EB/OL]. （2023-08-01）. https：//arxiv.org/abs/2308.00301.

[24]Ahn H， Kwak J， Lim S， et al. SS-IL： separated softmax for incremental learning [C]// Proc of IEEE/CVF International Conference on Computer Vision. Piscataway，NJ： IEEE Press， 2021： 844-853.

[25]Guo Yiduo， Liu Bing， Zhao Dongyan. Dealing with cross-task class discrimination in online continual learning [C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ ：IEEE Press， 2023： 11878-11887.

[26]Mittal S， Galesso S， Brox T. Essentials for class incremental learning [C]// Proc of IEEE/CVF International Conference on Computer Vision. Piscataway，NJ： IEEE Press， 2021： 3513-3522.

[27]Goodfellow I， Mirza M， Xiao Da， et al. An empirical investigation of catastrophic forgetting in gradient-based neural networks [EB/OL]. （2015-03-04）. https：//arxiv.org/abs/1312.6211.

[28]He Kai， Zhang Xiangyu， Ren Shouxin， et al. Deep residual learning for image recognition [C]// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press， 2016： 770-778.