零樣本圖學(xué)習(xí)綜述①

支瑞聰, 萬 菲, 張德政

1(北京科技大學(xué) 計(jì)算機(jī)與通信工程學(xué)院, 北京 100083)

2(材料領(lǐng)域知識(shí)工程北京市重點(diǎn)實(shí)驗(yàn)室, 北京 100083)

在機(jī)器學(xué)習(xí)領(lǐng)域中, 有兩種典型的學(xué)習(xí)范式. 一種是有監(jiān)督學(xué)習(xí), 指的是從標(biāo)簽化數(shù)據(jù)集中推斷出對(duì)應(yīng)函數(shù)映射的機(jī)器學(xué)習(xí)任務(wù). 它通過對(duì)輸入數(shù)據(jù)和輸出數(shù)據(jù)之間的關(guān)系進(jìn)行建模, 生成一個(gè)從實(shí)例對(duì)象特征到實(shí)例標(biāo)簽的映射, 并能夠?qū)⑦@個(gè)映射應(yīng)用到其他具有相同標(biāo)簽集的數(shù)據(jù)集上. 另一種是無監(jiān)督學(xué)習(xí), 其目的在于找到一個(gè)函數(shù)映射對(duì)數(shù)據(jù)進(jìn)行分類, 以了解數(shù)據(jù)分布. 區(qū)別于有監(jiān)督學(xué)習(xí), 無監(jiān)督學(xué)習(xí)的特點(diǎn)是數(shù)據(jù)沒有標(biāo)簽信息, 函數(shù)映射針對(duì)提供的輸入范例找出潛在的聚類規(guī)則. 在訓(xùn)練結(jié)束后, 這個(gè)映射也可以用到新的實(shí)例上, 得到測(cè)試實(shí)例所屬的聚簇. 但無監(jiān)督學(xué)習(xí)并不能給出實(shí)例所屬的具體類別, 并且由于缺少標(biāo)簽信息的監(jiān)督, 難以有效的評(píng)估其聚類效果.

近年來, 深度學(xué)習(xí)作為一種特殊的機(jī)器學(xué)習(xí)方式取得了巨大進(jìn)展, 并在機(jī)器學(xué)習(xí)的各個(gè)領(lǐng)域都有了很大的突破. 然而, 深度學(xué)習(xí)在有監(jiān)督學(xué)習(xí)范式上能夠產(chǎn)生作用的重要原因之一在于其需要海量的訓(xùn)練標(biāo)注數(shù)據(jù), 這些標(biāo)注往往需要耗費(fèi)人工巨大的時(shí)間和精力. 同時(shí), 測(cè)試數(shù)據(jù)集標(biāo)簽必須和訓(xùn)練數(shù)據(jù)集完全一致, 即有監(jiān)督學(xué)習(xí)所產(chǎn)生的映射只能處理同類別對(duì)象的數(shù)據(jù),而無法遷移到其他類別的判定上. 無監(jiān)督學(xué)習(xí)雖然不需要標(biāo)簽監(jiān)督過程, 避免了標(biāo)注的復(fù)雜性和專業(yè)性的限制, 但卻并不能夠提供實(shí)例的類別, 這和實(shí)踐中的期望是相違背的. 更重要的是, 由于自然界中的數(shù)據(jù)往往是長尾分布的, 即大多數(shù)類別都不具備足夠且合適的訓(xùn)練實(shí)例, 因此常常會(huì)出現(xiàn)訓(xùn)練實(shí)例的類別未能覆蓋測(cè)試類別的情況.

為了解決監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)習(xí)的限制, 受到人類學(xué)習(xí)行為的啟發(fā), 研究人員提出了零樣本學(xué)習(xí)(zeroshot learning, ZSL)的概念. 在零樣本學(xué)習(xí)的場景中, 測(cè)試實(shí)例所屬的類別并沒有在訓(xùn)練階段出現(xiàn)過, 而學(xué)習(xí)的目的正是對(duì)這些沒有標(biāo)注的實(shí)例進(jìn)行識(shí)別或分類.由于在零樣本學(xué)習(xí)中, 訓(xùn)練樣本和測(cè)試樣本對(duì)應(yīng)的標(biāo)注空間是不同的, 因此, 可將零樣本學(xué)習(xí)視為遷移學(xué)習(xí)的特例, 屬于異質(zhì)遷移學(xué)習(xí)(heterogeneous transfer learning)的范疇[1]. 隨著近年的發(fā)展, 零樣本學(xué)習(xí)已經(jīng)逐漸脫離遷移學(xué)習(xí), 成為一個(gè)獨(dú)立的研究方向.

零樣本學(xué)習(xí)范式的提出, 為目前分類任務(wù)中廣泛存在的訓(xùn)練類別不能覆蓋測(cè)試類別的實(shí)際問題提供了一種解決方案, 也為識(shí)別從未見過的數(shù)據(jù)類別提供了可能. 在零樣本學(xué)習(xí)范式下訓(xùn)練的分類器, 不僅能夠識(shí)別出訓(xùn)練集中已有的數(shù)據(jù)類別, 還可以對(duì)來自未見過的類別的數(shù)據(jù)進(jìn)行推理判斷. 這使得計(jì)算機(jī)具有知識(shí)遷移的能力, 避免了訓(xùn)練數(shù)據(jù)類別需要覆蓋所有測(cè)試類別的限制, 更加符合人們生產(chǎn)實(shí)際的需要. 近年來,零樣本學(xué)習(xí)已經(jīng)被廣泛地運(yùn)用到計(jì)算機(jī)視覺、自然語言處理等多個(gè)領(lǐng)域. 并在圖片識(shí)別[2-4]、視頻動(dòng)作識(shí)別[5-8]和文本翻譯[9,10]等任務(wù)中取得了重要進(jìn)展.

與一些經(jīng)典的學(xué)習(xí)范式相比, 零樣本學(xué)習(xí)由于提出的時(shí)間較短, 因此相關(guān)技術(shù)發(fā)展的也并不十分成熟,相關(guān)綜述文獻(xiàn)也較少. 目前, 對(duì)零樣本學(xué)習(xí)技術(shù)做出了系統(tǒng)闡述, 并具有一定影響力的有Xian 等人[11]、Fu 等人[12]、Wang 等人[1]、冀中等人[13]的工作. 其中, Xian等人[11]的工作主要聚焦于對(duì)一些經(jīng)典零樣本分類模型的概括性總結(jié)和評(píng)判標(biāo)準(zhǔn), 并基于提出的標(biāo)準(zhǔn)對(duì)一些分類模型進(jìn)行統(tǒng)一性能測(cè)試; 文獻(xiàn)[12]則對(duì)零樣本分類任務(wù)及其相關(guān)領(lǐng)域做了更加全面的介紹, 并對(duì)廣義零樣本分類任務(wù)做出了更加全面的討論. Wang 等人[1]的工作則首次對(duì)零樣本分類問題中的不同學(xué)習(xí)方式進(jìn)行了正式的定義; 而冀中等人[13]的工作則按照時(shí)間線索討論了零樣本學(xué)習(xí)的發(fā)展歷史和技術(shù)要點(diǎn). 整體上而言, 上述文獻(xiàn)的共性是側(cè)重于討論零樣本分類的發(fā)展現(xiàn)狀, 尤其側(cè)重于對(duì)圖像分類領(lǐng)域的技術(shù)討論. 本文以圖和零樣本學(xué)習(xí)的相關(guān)性為背景, 討論了圖學(xué)習(xí)在零樣本學(xué)習(xí)中的應(yīng)用, 包括但不限于圖像分類任務(wù), 旨在讓讀者了解零樣本學(xué)習(xí)與圖學(xué)習(xí)之間的關(guān)聯(lián).

本文首先在第1 節(jié)對(duì)零樣本學(xué)習(xí)范式和圖數(shù)據(jù)進(jìn)行相關(guān)了闡述, 闡明了零樣本學(xué)習(xí)的發(fā)展過程、圖數(shù)據(jù)學(xué)習(xí)提出的背景, 以及二者的定義和基本相關(guān)技術(shù).并在第2 節(jié)依據(jù)圖數(shù)據(jù)學(xué)習(xí)在零樣本學(xué)習(xí)中不同的利用方式分類著重介紹了零樣本圖學(xué)習(xí)方法所涉及到的技術(shù). 第3 節(jié)首先介紹了零樣本圖學(xué)習(xí)任務(wù)中的評(píng)估準(zhǔn)則, 以及目前零樣本圖學(xué)習(xí)所涉及到的應(yīng)用場景和數(shù)據(jù)集, 并分析了目前零樣本圖學(xué)習(xí)中典型模型的實(shí)驗(yàn)結(jié)果. 第4 節(jié)則指出了零樣本圖學(xué)習(xí)進(jìn)一步研究中需要解決的問題以及未來可能的發(fā)展方向.

1 概述

零樣本圖學(xué)習(xí)是指依據(jù)特定類別的數(shù)據(jù), 利用輔助信息和先驗(yàn)知識(shí), 并在知識(shí)組織利用和模型訓(xùn)練的過程中引入圖結(jié)構(gòu)作為輔助, 從而實(shí)現(xiàn)對(duì)其他類別數(shù)據(jù)的預(yù)測(cè)或識(shí)別的技術(shù). 這一學(xué)習(xí)范式目前已經(jīng)在計(jì)算機(jī)視覺和自然語言處理領(lǐng)域中得到了廣泛的研究.

1.1 零樣本學(xué)習(xí)

1.1.1 零樣本學(xué)習(xí)的定義

零樣本學(xué)習(xí)并不是完全不需要訓(xùn)練樣本, 其中的“零樣本”是指測(cè)試實(shí)例對(duì)應(yīng)的類別在訓(xùn)練階段可以是“零樣本”的. 零樣本學(xué)習(xí)范式目的在于研究對(duì)于特定的某些類缺失對(duì)應(yīng)的訓(xùn)練樣本情況下, 訓(xùn)練模型在使用其他類的訓(xùn)練樣本訓(xùn)練后是否仍然可以對(duì)這些特定類的輸入做出正確的預(yù)測(cè).

因此, 零樣本學(xué)習(xí)問題的解決需要輔助信息的幫助以獲得從源標(biāo)注空間到目標(biāo)標(biāo)注空間的知識(shí)遷移,這種輔助信息通常是類別之間的關(guān)系. 在零樣本學(xué)習(xí)中, 訓(xùn)練樣本所對(duì)應(yīng)的源特征空間, 和測(cè)試樣本所對(duì)應(yīng)的目標(biāo)特征空間, 是相同的; 但是訓(xùn)練樣本所對(duì)應(yīng)的源標(biāo)注空間(又稱可見類別, seen class), 和測(cè)試樣本所對(duì)應(yīng)的目標(biāo)標(biāo)注空間(又稱未見類別, unseen class), 則是不同的. 如果目標(biāo)標(biāo)注空間與源標(biāo)注空間存在交集, 這種情況被稱為廣義開集學(xué)習(xí)(generalized open set recognition)[14], 也稱廣義零樣本學(xué)習(xí)(generalized zeroshot learning, GZSL), 否則稱為狹義零樣本學(xué)習(xí)[1,13], 即目標(biāo)標(biāo)注空間和源標(biāo)注空間完全不同. 在沒有特殊提及的情況下, 零樣本學(xué)習(xí)一般指狹義零樣本學(xué)習(xí).

雖然零樣本學(xué)習(xí)是為了解決圖像分類領(lǐng)域中實(shí)際類別數(shù)量遠(yuǎn)多于數(shù)據(jù)集所能提供的類別數(shù)量的問題而提出的, 但隨著技術(shù)的發(fā)展, 零樣本學(xué)習(xí)已經(jīng)不僅只在計(jì)算機(jī)視覺領(lǐng)域發(fā)揮作用, 在自然語言處理領(lǐng)域, 尤其是文本相關(guān)的任務(wù)中也有了重要應(yīng)用. 為了統(tǒng)一起見,以下針對(duì)圖像領(lǐng)域中的零樣本學(xué)習(xí)做出符號(hào)定義. 文本領(lǐng)域內(nèi)的零樣本學(xué)習(xí)問題與之相比, 缺少視覺空間部分.

圖1 零樣本學(xué)習(xí)的一般流程(計(jì)算機(jī)視覺領(lǐng)域)

零樣本學(xué)習(xí)的基本思想就是利用訓(xùn)練階段中訓(xùn)練樣本Xtr和 可見類別的類別原型Ts的關(guān)系學(xué)習(xí)到訓(xùn)練階段的映射ftr(·), 并利用輔助信息將此映射推廣到測(cè)試階段的映射fte(·), 再利用相似性比較, 如K 近鄰(K nearest neighbor, KNN) 度量等, 從而完成對(duì)不存在于訓(xùn)練階段的類別的實(shí)例進(jìn)行推理判別.

1.1.2 零樣本學(xué)習(xí)的發(fā)展歷程

2009 年, Lampert 等人提出了一種基于屬性的類間遷移學(xué)習(xí)機(jī)制, 即直接屬性預(yù)測(cè)(DAP)和間接屬性預(yù)測(cè)(IAP)[3]. 這兩種學(xué)習(xí)機(jī)制在零樣本發(fā)展過程中有著非常重要的奠基作用, 并持續(xù)影響著直到現(xiàn)在的零樣本學(xué)習(xí)方法. 圖2 給出了DAP 和IAP 方法的示意圖.在得到圖片特征X后, DAP 通過在訓(xùn)練階段得到的屬性預(yù)測(cè)器 αi預(yù)測(cè)輸入圖片所具有的屬性, 進(jìn)而推斷輸入圖片所具有的標(biāo)簽; 而IAP 首先預(yù)測(cè)輸入圖像的類標(biāo)簽, 并根據(jù)標(biāo)簽對(duì)應(yīng)的屬性指示向量, 間接得到輸入圖像的屬性特征估計(jì). 這一開創(chuàng)性工作利用貝葉斯定理和支持向量機(jī)(support vector machine, SVM), 依據(jù)實(shí)例包含屬性的概率和實(shí)例屬于類別的概率來預(yù)測(cè)最終結(jié)果. 雖然文中沒有提及零樣本學(xué)習(xí), 但訓(xùn)練集與測(cè)試集沒有交集, 而且測(cè)試集中不包含訓(xùn)練樣本所包含的標(biāo)簽集, 這在本質(zhì)上已經(jīng)符合了零樣本學(xué)習(xí)的定義. 同年, Palatucci 等人[15]正式提出了零樣本學(xué)習(xí)的概念. 這項(xiàng)工作以公式化的方法定義了零樣本學(xué)習(xí)問題, 并驗(yàn)證了零樣本學(xué)習(xí)方法的可行性.

圖2 Lampert 等人提出的基于屬性的類間遷移學(xué)習(xí)機(jī)制

在零樣本學(xué)習(xí)技術(shù)提出之初[16-20], 主要的研究方法是使用淺層視覺特征, 如尺度不變特征變換(scale invariant feature transform, SIFT)、圖像灰度直方圖等,將事物屬性作為語義空間特征, 利用傳統(tǒng)的機(jī)器學(xué)習(xí)方法進(jìn)行判別. 屬性作為一種直接描述事物所具有的性質(zhì)的抽象刻畫, 可以容易的完成從可見類別到未見類別的知識(shí)轉(zhuǎn)移, 從而進(jìn)一步實(shí)現(xiàn)對(duì)未見類別的推斷或預(yù)測(cè). 這一概念最早體現(xiàn)在Larochelle 等人[21]提出的零數(shù)據(jù)學(xué)習(xí)(zero-data learning)中, 在定義上與后來正式提出的零樣本學(xué)習(xí)本質(zhì)相同.

但是, 以屬性描述事物之間的關(guān)系需要耗費(fèi)巨大的人工成本, 因?yàn)閷傩缘拿枋鍪怯深I(lǐng)域?qū)＜襾矶x的,并且只針對(duì)特定數(shù)據(jù)集. 為此, 人們提出了兩種方式來緩解這種成本消耗. 一種方法是通過可見類別的屬性建立屬性預(yù)測(cè)映射, 來獲得未見類別的屬性[2,3,22,23]. 這種方法屬于兩階段預(yù)測(cè)任務(wù), 因而存在中間任務(wù)和目標(biāo)任務(wù)的域轉(zhuǎn)移[24]. 例如, DAP[3]的中間任務(wù)是學(xué)習(xí)屬性分類器, IAP[3]的中間任務(wù)是先預(yù)測(cè)可見類的后驗(yàn)概率, 然后利用每一類的概率來計(jì)算圖像的屬性后驗(yàn). 后來, 這種兩階段方法已擴(kuò)展到屬性不可用的情況. 另一種方式是使用類別的語義描述, 通過自然語言處理領(lǐng)域的相關(guān)技術(shù)來描述類[25-28]. 目前最普遍應(yīng)用的方法是由Mikolov 等人提出的詞向量技術(shù)[29], 尤其是基于神經(jīng)語言模型的方法, 包括 CBOW[29]、skip-gram[29]、GloVe[30]等. 這類方法能夠從大型語料庫中自動(dòng)將單詞或者句子生成具有語義信息的向量表征. 在使用類別語義描述的方法中, CONSE[18]首先預(yù)測(cè)可見類的概率, 然后通過取前K個(gè)最可能的可見類的語義的凸結(jié)合, 將圖像特征投影到語義Word2Vec[29]空間, 之后使用K 近鄰方法來得到預(yù)測(cè)的語義描述.

在零樣本學(xué)習(xí)中, 除了屬性預(yù)測(cè)思想, 另一種思想來源于流形對(duì)齊. 由于語義特征和視覺特征是分別提取的, 因此兩者對(duì)應(yīng)的空間是相互分離且未對(duì)齊的, 但零樣本學(xué)習(xí)需要綜合利用兩個(gè)空間的信息才能夠推理出最后的結(jié)果, 為此常采用空間映射的方法進(jìn)行對(duì)齊.例如, Frome 等人[31]提出Devise 模型, 使用一種有效的排名損失公式來學(xué)習(xí)圖像和語義空間之間的線性映射. Socher 等人[32]使用具有兩個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)從圖像特征空間到Word2Vec[29]空間的非線性投影. 但是, 由于嵌入空間是一個(gè)高維空間, 所以容易出現(xiàn)樞紐化問題(hubness problem). 該問題是指: 當(dāng)特征被投影到高維空間中, 一部分測(cè)試集的類別可能會(huì)成為很多數(shù)據(jù)點(diǎn)的最近鄰, 但其本身所對(duì)應(yīng)的類別之間卻不一定具有聯(lián)系[33]. 在上述的這些方法中, 最終都是使用K 近鄰來獲得結(jié)果, 因此會(huì)受到樞紐化問題的影響. 當(dāng)視覺特征向語義空間映射時(shí), 會(huì)使得空間發(fā)生萎縮, 點(diǎn)與點(diǎn)之間更加稠密, 從而加重樞紐化問題[34]. 后續(xù)的研究表明, 視覺特征空間作為嵌入空間要比語義空間作為嵌入空間的效果好很多[34,35], 即視覺特征空間比語義空間更具區(qū)分性, 因此提出了將語義特征映射到視覺空間的端到端深度嵌入模型[35,36]. 將圖像和語義特征嵌入到另一個(gè)公共中間空間[37]是零樣本學(xué)習(xí)方法的另一個(gè)方向. 文獻(xiàn)[38]將視覺特征和語義特征映射到兩個(gè)獨(dú)立的潛在空間, 并通過學(xué)習(xí)另一個(gè)雙線性兼容函數(shù)來測(cè)量它們的相似性. 在空間映射的思想基礎(chǔ)上, Xian 等人[39]提出了FGN 模型, 并首次將對(duì)抗生成網(wǎng)絡(luò)(generative adversarial networks, GAN)引入零樣本學(xué)習(xí)中, 通過在視覺特征空間中生成具有區(qū)分性的特征數(shù)據(jù)來完成從原標(biāo)注空間到目標(biāo)標(biāo)注空間的知識(shí)轉(zhuǎn)移. 之后, 受到因果關(guān)系(causal ideas)來研究域適應(yīng)問題[40]的影響, Atzmon 等人[41]將因果推理引入了零樣本學(xué)習(xí).

圖3 按時(shí)間線發(fā)展總結(jié)了零樣本學(xué)習(xí)發(fā)展歷程中的重要思想以及相應(yīng)的模型方法.

圖3 零樣本學(xué)習(xí)發(fā)展歷程中的重要思想以及相應(yīng)的模型方法

1.2 圖學(xué)習(xí)

圖學(xué)習(xí)也稱為圖數(shù)據(jù)學(xué)習(xí). 圖是一種存在于非歐空間的數(shù)據(jù)結(jié)構(gòu), 通常由一組節(jié)點(diǎn)和邊構(gòu)成. 其中, 邊是雙向的圖稱為無向圖, 否則稱為有向圖. 圖數(shù)據(jù)可被用于建模許多真實(shí)世界的場景, 具備表達(dá)復(fù)雜關(guān)系的能力, 并被應(yīng)用在分子化學(xué)[42-44]、推薦系統(tǒng)[45-47]等多個(gè)領(lǐng)域.

圖學(xué)習(xí)是挖掘圖中數(shù)據(jù)信息和關(guān)系信息的算法集合, 通過考慮圖的節(jié)點(diǎn)特征、鄰域節(jié)點(diǎn)關(guān)聯(lián)特征以解決實(shí)際問題. 圖學(xué)習(xí)一般包括兩種方法, 一種是將圖轉(zhuǎn)換為表格, 用傳統(tǒng)的機(jī)器學(xué)習(xí)方法分析; 另一種是將圖建模為網(wǎng)絡(luò), 用基于網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)方法分析. 最近深度神經(jīng)網(wǎng)絡(luò)得到快速發(fā)展, 相比于傳統(tǒng)機(jī)器學(xué)習(xí)方法,深度神經(jīng)網(wǎng)絡(luò)具有更強(qiáng)大的建模能力[48]. 然而, 傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)在全局范圍內(nèi)共享卷積核等參數(shù), 數(shù)據(jù)需要具有平移不變性, 這是歐式空間數(shù)據(jù)才具有的特征. 因此, 傳統(tǒng)深度神經(jīng)網(wǎng)絡(luò)并不能解決圖數(shù)據(jù)學(xué)習(xí)的需求.

目前的研究成果認(rèn)為, 圖學(xué)習(xí)方法通常分為3 大類[49]. 第一, 圖嵌入, 也稱網(wǎng)絡(luò)表示學(xué)習(xí)(graph/network embedding), 旨在將圖(或圖的部分組成)表示成一個(gè)低維向量空間, 同時(shí)保留網(wǎng)絡(luò)(即對(duì)應(yīng)的圖)的拓?fù)浣Y(jié)構(gòu)和節(jié)點(diǎn)信息, 側(cè)重于學(xué)習(xí)圖的關(guān)系結(jié)構(gòu), 以便在后續(xù)的圖分析任務(wù)中可以直接使用已有的機(jī)器學(xué)習(xí)算法.第二, 圖神經(jīng)網(wǎng)絡(luò)正則化(graph regularized neural networks), 此時(shí)圖并不直接參與模型訓(xùn)練, 而是充當(dāng)神經(jīng)網(wǎng)絡(luò)的“正則化器”, 從而引導(dǎo)神經(jīng)網(wǎng)絡(luò)的損失和數(shù)據(jù)流向, 并以半監(jiān)督學(xué)習(xí)為正則化目標(biāo). 第三, 圖神經(jīng)網(wǎng)絡(luò)(graph neural networks), 旨在學(xué)習(xí)具有任意結(jié)構(gòu)的離散拓?fù)渖系目晌⒑瘮?shù), 并且圖節(jié)點(diǎn)和邊都同時(shí)參與模型訓(xùn)練.

圖結(jié)構(gòu)具有的點(diǎn)和邊自然的可以被理解成事物與事物之間的關(guān)系, 這和零樣本學(xué)習(xí)的內(nèi)涵不謀而合: 零樣本學(xué)習(xí)正是要利用已有樣本和與未知樣本之間的關(guān)系來獲得未知樣本的表示. 2014 年, Deng 等人[50]嘗試?yán)妙悇e之間的層次關(guān)系構(gòu)建層次-排除圖(hierarchy and exclusion graphs , HEX graphs), 利用圖的邊傳播信息以獲得知識(shí). HEX graphs 雖然不是專門為零樣本學(xué)習(xí)設(shè)計(jì)的方法, 但是由于圖本身包括了類別之間的相互關(guān)系, 這種相互關(guān)系作為先驗(yàn)知識(shí)可以幫助由已知樣本向未見樣本進(jìn)行推導(dǎo), 從而實(shí)現(xiàn)零樣本學(xué)習(xí). 此后,越來越多的研究人員開始嘗試用圖的結(jié)構(gòu)進(jìn)行零樣本推理.

2 零樣本圖學(xué)習(xí)方法體系

零樣本圖學(xué)習(xí)方法就是利用圖學(xué)習(xí)的相關(guān)技術(shù)解決零樣本問題. 目前, 大多數(shù)零樣本圖學(xué)習(xí)方法主要針對(duì)計(jì)算機(jī)視覺和自然語言處理等領(lǐng)域的問題. 如第1.2 節(jié)中所述, 圖學(xué)習(xí)方法可以分類為圖嵌入、圖正則化神經(jīng)網(wǎng)絡(luò)、圖神經(jīng)網(wǎng)絡(luò)3 種形式[49], 分別代表: (1) 為圖結(jié)構(gòu)中的節(jié)組件生成低維向量表示; (2) 圖充當(dāng)神經(jīng)網(wǎng)絡(luò)的“正則化器”, 從而引導(dǎo)神經(jīng)網(wǎng)絡(luò)的損失和數(shù)據(jù)流向; (3) 以圖為載體, 學(xué)習(xí)具有任意結(jié)構(gòu)的離散拓?fù)渖系目晌⒑瘮?shù). 本文將這3 種形式引入零樣本圖學(xué)習(xí)領(lǐng)域, 并將其視為在零樣本圖學(xué)習(xí)領(lǐng)域中圖的利用方法, 從而將零樣本圖學(xué)習(xí)體系大致分為3 類, 即基于知識(shí)圖譜的零樣本學(xué)習(xí)方法, 零樣本圖機(jī)器學(xué)習(xí)方法, 和零樣本圖深度學(xué)習(xí)方法. 其中, 第1 類方法主要應(yīng)用于自然語言處理領(lǐng)域; 后兩類方法則在計(jì)算機(jī)視覺, 尤其是圖像分類領(lǐng)域更為常見.

知識(shí)圖譜是一種通用的揭示實(shí)體之間關(guān)系的語義網(wǎng)絡(luò). 與后兩類偏重于使用圖的邊以權(quán)重的形式來度量實(shí)體相似度以及信息傳播不同, 基于知識(shí)圖譜的零樣本學(xué)習(xí)方法最大的特征是在圖的結(jié)構(gòu)中, 節(jié)點(diǎn)和邊一般都是具有意義的向量表示, 也因此本類方法多被用于處理文本領(lǐng)域內(nèi)的任務(wù). 在基于知識(shí)圖譜的零樣本學(xué)習(xí)中, 一般將不同的知識(shí)視為圖的節(jié)點(diǎn), 而知識(shí)之間的集成或融合形式視為圖的邊. 在學(xué)習(xí)過程中, 多采用順序處理(如循環(huán)神經(jīng)網(wǎng)絡(luò))或兩個(gè)實(shí)體之間的距離度量(如翻譯式嵌入(translating embedding, TransE)[51])等機(jī)器學(xué)習(xí)方法.

第2 類是零樣本圖機(jī)器學(xué)習(xí)方法. 這一類方法的目的是根據(jù)已有的圖片或視頻等視覺材料, 結(jié)合相應(yīng)的語義描述知識(shí), 最后采用傳統(tǒng)機(jī)器學(xué)習(xí)方法進(jìn)行分類、識(shí)別任務(wù)的演繹推斷. 與圖正則化神經(jīng)網(wǎng)絡(luò)中利用圖引導(dǎo)神經(jīng)網(wǎng)絡(luò)損失類似, 零樣本圖機(jī)器學(xué)習(xí)方法旨在建立圖以對(duì)數(shù)據(jù)形成約束條件, 并限制傳統(tǒng)機(jī)器學(xué)習(xí)方法中的損失函數(shù)及信息傳遞方向. 在圖的組織形式中, 一般將視覺材料或語義材料的特征嵌入視為圖結(jié)構(gòu)的節(jié)點(diǎn), 節(jié)點(diǎn)之間的相似性度量視為圖結(jié)構(gòu)的邊.

第3 類是零樣本圖深度學(xué)習(xí)方法. 此類方法的目標(biāo)任務(wù)與零樣本圖機(jī)器學(xué)習(xí)方法相類似, 都是對(duì)在訓(xùn)練時(shí)期不可見的類別進(jìn)行分類或識(shí)別. 與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)類似, 圖神經(jīng)網(wǎng)絡(luò)也可以被認(rèn)為是一種圖特征提取方法, 這種特征提取方法同時(shí)考慮了節(jié)點(diǎn)本身的特征和節(jié)點(diǎn)間的結(jié)構(gòu)信息. 零樣本圖深度學(xué)習(xí)方法中圖的描述形式與零樣本圖機(jī)器學(xué)習(xí)類似, 本類方法與前一類方法最大的區(qū)別在于其直接在圖結(jié)構(gòu)上進(jìn)行卷積操作.

2.1 基于知識(shí)圖譜的零樣本學(xué)習(xí)

知識(shí)圖譜本質(zhì)上是一種語義網(wǎng)絡(luò)的形式的知識(shí)庫,具有有向圖結(jié)構(gòu). 其中的節(jié)點(diǎn)代表實(shí)體或概念, 而圖的邊代表實(shí)體/概念之間的各種語義關(guān)系, 主要用于描述物理世界中的概念和內(nèi)在關(guān)系. 知識(shí)圖譜一般使用三元組表示 ( head entity,relation,tail entity), 簡寫為 ( h,r,t),即頭實(shí)體(head entity)和尾實(shí)體(tail entity)之間的關(guān)系(relation).

知識(shí)圖譜中邊代表的語義關(guān)系是節(jié)點(diǎn)代表的知識(shí)實(shí)體間遷移的方式, 這和零樣本學(xué)習(xí)中知識(shí)需要聯(lián)系可見類別和未見類別的內(nèi)涵是一致的, 即通過某些已經(jīng)獲得的知識(shí)的結(jié)合來推理出新的知識(shí). 知識(shí)圖譜的思想目前也被廣泛的應(yīng)用于各種零樣本學(xué)習(xí)場景, 如推薦系統(tǒng)[52,53]、問答系統(tǒng)[54,55]等.

本節(jié)根據(jù)知識(shí)圖譜在零樣本學(xué)習(xí)中的利用形式,分為知識(shí)圖譜上的零樣本學(xué)習(xí)和利用知識(shí)圖譜的零樣本學(xué)習(xí)兩種. 前者屬于動(dòng)態(tài)知識(shí)圖譜補(bǔ)全問題的范疇,而后者利用知識(shí)圖譜的輔助, 從而更好的完成文本處理領(lǐng)域中的任務(wù).

圖4 給出了基于知識(shí)圖譜的零樣本學(xué)習(xí)訓(xùn)練時(shí)期的一般流程圖. 在這項(xiàng)流程中, 輸入僅有可見類別的知識(shí)表示T以及任務(wù)T?所涉及的所有知識(shí)之間的圖結(jié)構(gòu)(知識(shí)圖譜). 在這項(xiàng)任務(wù)中, 編碼器ENC 通過輸入類別、可見類的表示向量、知識(shí)間轉(zhuǎn)移關(guān)系從而預(yù)測(cè)新類別的表示向量, 并利用已經(jīng)存在于知識(shí)圖譜中的信息指導(dǎo)損失函數(shù).

圖4 基于知識(shí)圖譜的零樣本學(xué)習(xí)方法一般示意圖

2.1.1 知識(shí)圖譜上的零樣本學(xué)習(xí)

一般而言, 大多數(shù)的知識(shí)圖譜是天生不完整的, 因此提出了基于表示學(xué)習(xí)的知識(shí)圖譜補(bǔ)全(knowledge graph complementation, KGC)算法, 即通過機(jī)器學(xué)習(xí)算法自動(dòng)地從已有數(shù)據(jù)中學(xué)得新加入知識(shí)圖譜的節(jié)點(diǎn)或邊的表示, 從而在較少的人工干預(yù)下能自動(dòng)地根據(jù)任務(wù)構(gòu)建特征, 讓知識(shí)圖譜變得更加完整.

根據(jù)三元組中的實(shí)體和關(guān)系是否屬于知識(shí)圖譜中原有的實(shí)體和關(guān)系, 可以把知識(shí)圖譜補(bǔ)全分成靜態(tài)知識(shí)圖譜補(bǔ)全(static KGC)和動(dòng)態(tài)知識(shí)圖譜補(bǔ)全(dynamic KGC)兩種. 前者所涉及的實(shí)體以及關(guān)系均在原始的知識(shí)圖譜中出現(xiàn)過; 而后者涉及的是不在原始知識(shí)圖譜中出現(xiàn)的關(guān)系以及實(shí)體, 從而擴(kuò)大原有的知識(shí)圖譜的實(shí)體以及關(guān)系的集合. 從定義來看, 動(dòng)態(tài)知識(shí)圖譜補(bǔ)全問題本身即屬于零樣本圖學(xué)習(xí)的范疇.

在文獻(xiàn)[56]中, Zhao 等人提出了JointE 模型, 用來聯(lián)合學(xué)習(xí)知識(shí)圖譜和實(shí)體描述嵌入. 在JointE 中, Zhao等人根據(jù)“實(shí)體間通過關(guān)系相連, 那么實(shí)體是受到關(guān)系約束”的這一觀點(diǎn), 提出了基于結(jié)構(gòu)的實(shí)體描述, 豐富了節(jié)點(diǎn)表達(dá). 由于JointE 只能用于文本描述的實(shí)體, Wang等人[57]則提出了當(dāng)知識(shí)圖譜應(yīng)用于非文本知識(shí), 即使用在視覺知識(shí)上的實(shí)體表示方法—TransAE, 在利用實(shí)體和關(guān)系之間的結(jié)構(gòu)知識(shí)的同時(shí), 保留了實(shí)體所具有的知識(shí)本身. 與傳統(tǒng)方法相比, 多模態(tài)知識(shí)的引入極大地提高了模型的性能.

上述兩種方法雖然都被用于知識(shí)圖譜上的實(shí)體零樣本嵌入, 但在訓(xùn)練階段仍然需要大量標(biāo)注語料充當(dāng)監(jiān)督信息. Li 等人[58]則針對(duì)現(xiàn)有的大多數(shù)知識(shí)圖嵌入模型都是有監(jiān)督學(xué)習(xí)范式下的產(chǎn)物, 并且在很大程度上依賴于可獲得的標(biāo)記訓(xùn)練數(shù)據(jù)的質(zhì)量和數(shù)量這一問題做出了改善. 他們提出了一個(gè)兩階段的方法來適應(yīng)無監(jiān)督的實(shí)體名稱嵌入, 隨后基于子空間投影的思想,利用監(jiān)督模型聯(lián)合學(xué)習(xí)子空間中的投影矩陣和知識(shí)表示.

事實(shí)上, 在大多數(shù)知識(shí)圖中, 通常都有對(duì)實(shí)體的簡明描述, 也就是實(shí)體屬性. 為了利用這些描述, 從而提高知識(shí)圖譜嵌入表達(dá)的質(zhì)量, Xie 等人[59]充分利用實(shí)體描述信息提出了一種新的表示學(xué)習(xí)方法DKRL (descriptionembodied knowledge representation learning), 目的在于嵌入實(shí)體時(shí)同時(shí)建模關(guān)系, 并在知識(shí)圖譜補(bǔ)全和實(shí)體分類在兩個(gè)任務(wù)上取得了效果. Ding 等人[60]則提出了使用雙向門控遞歸單元網(wǎng)絡(luò)(bidirectional gated recurrent unit network, Bi-GRU)的方法對(duì)實(shí)體描述建模, 并建立聯(lián)合學(xué)習(xí)實(shí)體結(jié)構(gòu)知識(shí)和實(shí)體描述知識(shí)的模型, 加深了知識(shí)圖譜內(nèi)外實(shí)體之間的有效關(guān)聯(lián)性. 其核心思想是認(rèn)為相似的實(shí)體應(yīng)該在結(jié)構(gòu)和文本特征空間中具有相似的表示, 即實(shí)體的兩層結(jié)構(gòu)表示均應(yīng)具有相似性.

2.1.2 知識(shí)圖譜輔助的零樣本學(xué)習(xí)

知識(shí)圖譜作為一種提供實(shí)體間顯式關(guān)系的圖結(jié)構(gòu),能夠天然提供文本處理任務(wù)中所需要的輔助信息.

針對(duì)從文本中識(shí)別屬性的任務(wù), Imrattanatrai 等人[61]針對(duì)當(dāng)難以為每個(gè)屬性準(zhǔn)備訓(xùn)練句的情況下, 利用從知識(shí)圖結(jié)構(gòu)的不同組件的嵌入獲得的屬性的表示, 并通過與模型相結(jié)合, 使得在沒有可用的訓(xùn)練語句的情況下能夠識(shí)別屬性.

針對(duì)語義歧義消除任務(wù)(word sense disambiguation,WSD), Kumar 等人[62]提出了結(jié)合意義嵌入的擴(kuò)展意義嵌入模型EWISE (extended WSD incorporating sense embeddings), 從有意義的注釋數(shù)據(jù)、字典定義和詞匯知識(shí)庫的組合中學(xué)習(xí)信息, 通過在連續(xù)的語義嵌入空間而不是傳統(tǒng)離散的標(biāo)簽空間上進(jìn)行預(yù)測(cè)來執(zhí)行詞義嵌入.

2.2 零樣本圖機(jī)器學(xué)習(xí)

知識(shí)圖譜作為一種顯式地表達(dá)知識(shí)及它們之間相互聯(lián)系的圖結(jié)構(gòu), 在計(jì)算機(jī)視覺領(lǐng)域中也存在著廣泛應(yīng)用. 在這一類應(yīng)用中, 知識(shí)圖譜更多的是作為一種先驗(yàn)知識(shí)庫, 提供實(shí)體之間明確的轉(zhuǎn)移關(guān)系, 并利用這種知識(shí)關(guān)聯(lián)傳播信息, 得到未見類別的知識(shí). 由于任務(wù)驅(qū)動(dòng)的不同, 模型的輸入不僅包括了知識(shí)表示, 還包括文本知識(shí)以外的其他模態(tài)的知識(shí). 雖然同樣是利用圖的結(jié)構(gòu)關(guān)系, 但與基于知識(shí)圖譜的零樣本學(xué)習(xí)關(guān)注知識(shí)間的上下義語義關(guān)系不同, 計(jì)算機(jī)視覺的領(lǐng)域的任務(wù)在討論知識(shí)間關(guān)系屬性的同時(shí), 更加關(guān)注知識(shí)間的相似性關(guān)系. 根據(jù)圖數(shù)據(jù)的利用形式不同, 可以將面向計(jì)算機(jī)視覺領(lǐng)域中的零樣本圖學(xué)習(xí)方法分為兩類, 分別在第2.2 節(jié)和第2.3 節(jié)進(jìn)行總結(jié).

圖機(jī)器學(xué)習(xí)的思想與圖正則化神經(jīng)網(wǎng)絡(luò)類似, 旨在建立圖以對(duì)數(shù)據(jù)形成約束條件, 并進(jìn)一步地學(xué)習(xí)預(yù)測(cè)圖的屬性. 雖然引入了圖數(shù)據(jù)的表示方式, 但是在數(shù)據(jù)利用及訓(xùn)練等方面, 仍然遵循傳統(tǒng)機(jī)器學(xué)習(xí)算法, 圖的主要作用是限制傳統(tǒng)機(jī)器學(xué)習(xí)方法中的損失函數(shù)及信息傳遞方向. 在圖機(jī)器學(xué)習(xí)中, 一般針對(duì)類別建立圖,即將類別的語義特征或視覺特征作為節(jié)點(diǎn), 特征間相似度作為邊[63-65], 也有方法采取節(jié)點(diǎn)間的位置關(guān)系等非相似度度量的方法作為邊[66,67]. 圖5 給出了零樣本機(jī)器學(xué)習(xí)訓(xùn)練時(shí)期的一般流程圖.

圖5 零樣本圖機(jī)器學(xué)習(xí)的一般流程圖

在圖5 中,X表示視覺特征,T表示由樣本標(biāo)簽Y得到的類別語義特征, 零樣本圖機(jī)器學(xué)習(xí)的目標(biāo)在于通過輸入X和T建立模型(圖中的Model), 并輸出預(yù)測(cè)的語義特征T? , 而實(shí)際的語義特征T作為實(shí)際值(ground truth), 兩者相比較得到引導(dǎo)模型訓(xùn)練的Loss, 創(chuàng)建的圖也正是在此時(shí)起到作用.

依據(jù)圖嵌入的不同輸出[68], 將零樣本圖機(jī)器學(xué)習(xí)方法分為3 類: (1)基于邊嵌入的方法. 這類方法主要側(cè)重于利用特征之間的相似度在圖上進(jìn)行消息傳播,或者對(duì)特征進(jìn)行加強(qiáng), 從而直接或間接地獲得零樣本學(xué)習(xí)的推理結(jié)果. (2)基于節(jié)點(diǎn)嵌入的方法. 這種方法的主要思想是利用圖上節(jié)點(diǎn)和邊的信息產(chǎn)生新的節(jié)點(diǎn)特征, 并將這種特征應(yīng)用到解決零樣本學(xué)習(xí)問題的方法中. (3) 基于混合嵌入方法. 混合嵌入指的是對(duì)不同類型圖組件同時(shí)嵌入, 例如同時(shí)對(duì)節(jié)點(diǎn)和邊的嵌入. 這類方法主要體現(xiàn)在后續(xù)使用子圖匹配[69]、圖割[70]等機(jī)器學(xué)習(xí)算法的模型上.

2.2.1 基于邊嵌入思想的零樣本圖機(jī)器學(xué)習(xí)

邊嵌入方法利用圖的邊進(jìn)行消息傳遞或利用邊的關(guān)系以保持相關(guān)特征, 是零樣本圖機(jī)器學(xué)習(xí)方法中應(yīng)用最為廣泛的一種方式. 一般而言, 邊描述的是節(jié)點(diǎn)特征相似度或節(jié)點(diǎn)位置關(guān)系.

邊嵌入的一種應(yīng)用方式是消息傳遞, 即通過邊對(duì)于節(jié)點(diǎn)的連接, 聚合鄰居節(jié)點(diǎn)信息, 并將其與中心節(jié)點(diǎn)自身的信息進(jìn)行整合. 在利用圖的邊進(jìn)行消息傳遞的方法中, Gao 等人延續(xù)了零樣本學(xué)習(xí)問題中屬性學(xué)習(xí)的思想, 提出了一種統(tǒng)一的半監(jiān)督學(xué)習(xí) (semi-supervised learning, SSL) 框架[63], 通過學(xué)習(xí)嵌入數(shù)據(jù)點(diǎn)之間關(guān)系的最優(yōu)圖來為半監(jiān)督學(xué)習(xí)模型生成幾何正則化子, 以利用標(biāo)記圖像和未標(biāo)記圖像來學(xué)習(xí)屬性分類器, 最后通過直接屬性預(yù)測(cè)的方式完成零樣本分類任務(wù). 而為了緩解一般零樣本識(shí)別模型僅依賴于未見類別的視覺外觀的局限性, 文獻(xiàn)[71,72]利用視覺特征矩陣度量多目標(biāo)場景下可見類別與未見類別的相似性, 并融合知識(shí)圖譜中的語義信息來校準(zhǔn)未見類別的預(yù)測(cè). 此外, 層次圖的利用也是一種比較典型的圖消息傳遞方法, 主要針對(duì)類別標(biāo)簽進(jìn)行建模. 利用層次圖進(jìn)行零樣本學(xué)習(xí), 類別通常是監(jiān)督學(xué)習(xí)中廣泛使用的常見類. 在從可見類派生出不可見類的過程中, 每對(duì)可見和不可見的類之間的關(guān)系通常是從語義空間中的相應(yīng)原型獲得.Deng 等人首次提出了HEX graphs 的概念[50]. HEX graphs 對(duì)標(biāo)簽之間的依賴關(guān)系進(jìn)行顯式建模, 將類別原型視作圖的節(jié)點(diǎn), 類別之間的聯(lián)系視作圖的邊. HEX graphs 的節(jié)點(diǎn)采用二值化標(biāo)簽, 利用傳統(tǒng)機(jī)器學(xué)習(xí)算法中的條件隨機(jī)場思想建立分類器. 但是, HEX graphs是具有確定性或硬約束的概率圖形模型, 雖然減少了標(biāo)簽的數(shù)量, 帶來更精確的推理結(jié)果, 但也在一定程度上造成模型擬合不好的問題. 為此, Ding 等人針對(duì)標(biāo)簽之間存在的不確定性關(guān)系, 將HEX graphs 中的邊替換成“軟”聯(lián)系或概率聯(lián)系(soft or probabilistic relations),由此建立新的層次圖模型pHEX[73], 并在推理過程中,將pHEX 模型轉(zhuǎn)換為Ising 模型[74]來執(zhí)行. 類似的,Kordumova 等人將層次圖的思想引入了場景分類任務(wù)中[75], 為了引導(dǎo)對(duì)象和場景之間的知識(shí)轉(zhuǎn)移, 研究了類別粒度之間的層次結(jié)構(gòu), 并針對(duì)這些對(duì)象建立了層次圖. 這種方法可以引導(dǎo)對(duì)象在語義嵌入中的表示, 在不使用任何場景圖像作為訓(xùn)練數(shù)據(jù)的情況下識(shí)別實(shí)例的場景.

邊嵌入的另一種應(yīng)用方式是信息保持, 主要目的是希望在應(yīng)用機(jī)器學(xué)習(xí)算法時(shí), 數(shù)據(jù)能夠盡量保有原先的特征含義. 從空間映射的角度來說, 由于視覺空間與語義空間存在流形不對(duì)齊的問題, Deutsch 等人[76]基于多尺度圖變換譜圖小波 (spectral graph wavelets,SGWs)[77]對(duì)齊算法, 提出了一種基于圖上局部多尺度變換的流形對(duì)齊框架來解決零樣本學(xué)習(xí)問題. 該方法通過線性投影的方式將語義空間的特征平滑映射到視覺特征空間. 而在文獻(xiàn)[78]中, Zhong 等人則針對(duì)跨模態(tài)檢索的問題提出了一種跨模態(tài)屬性哈希模型(crossmodal attribute hashing, CMAH), 分別對(duì)跨模態(tài)數(shù)據(jù)采用圖正則化約束以保持各模態(tài)的局部結(jié)構(gòu)信息并減少量化損失.

2.2.2 基于節(jié)點(diǎn)嵌入思想的零樣本圖機(jī)器學(xué)習(xí)

節(jié)點(diǎn)嵌入的方法是在獲得圖數(shù)據(jù)的情況下, 根據(jù)已有的圖節(jié)點(diǎn)特征及特征之間的關(guān)系, 生成新的節(jié)點(diǎn)特征并用于后續(xù)機(jī)器學(xué)習(xí)算法. 節(jié)點(diǎn)嵌入的本質(zhì)是語義空間和視覺空間的對(duì)齊問題, 對(duì)應(yīng)的新特征往往是融合了視覺特征和語義特征的共同特點(diǎn)得到的, 因此能夠作為連接語義空間和視覺空間的橋梁.

一種典型的節(jié)點(diǎn)嵌入方式是對(duì)偶圖思想. 文獻(xiàn)[79]中, Long 等人針對(duì)視覺特征投影到共享語義空間的單向范式會(huì)產(chǎn)生視覺-語義歧義問題, 提出了一種視覺-語義歧義消除的方法 (visual-semantic ambiguity removal,VSAR). 具體是利用對(duì)偶圖正則化嵌入算法, 同時(shí)提取視覺信息和語義信息的共享成分, 并基于兩個(gè)空間的內(nèi)在局部結(jié)構(gòu)對(duì)齊數(shù)據(jù)分布, 以減小視覺外觀和語義表達(dá)之間的差距. 類似的, 文獻(xiàn)[80]中討論了給定的語義不足以描述視覺對(duì)象的情況, Ding 等人提出了一種基于增強(qiáng)視覺特征和潛在語義表示邊緣潛在語義編碼器 (marginalized latent semantic encoder, MLSE) 的結(jié)構(gòu), 利用語義流形中的內(nèi)在關(guān)系, 通過邊緣化策略增強(qiáng)視覺語義的泛化能力. MLSE 通過自適應(yīng)圖學(xué)習(xí), 實(shí)現(xiàn)健壯的圖形引導(dǎo)語義編碼器, 以此尋找潛在語義表示來更好地描述視覺樣本, 有效的緩解了可見類別和未見類別在不同視覺分布上的阻礙等問題.

另一種典型的節(jié)點(diǎn)嵌入方法是利用帶有權(quán)重的二部圖(weighted bipartite graph)思想[81], 建立視覺空間與語義空間的連接. 這種方法主要是來源于幻影類(phantom class)的應(yīng)用. 幻影類于2016 年首次被提出[82],是一種既存在于視覺空間, 也存在于語義空間的一種非真實(shí)存在類別, 主要作為連接兩種空間的基分類器.在使用幻影類時(shí), 語義空間和視覺特征空間作為二部圖的兩個(gè)集合, 在每一個(gè)空間內(nèi), 真實(shí)類別(real class)和幻影類又分別作為二部圖的兩部分節(jié)點(diǎn)集合. 主要思想是在保留語義關(guān)系的前提下, 使幻影類的凸結(jié)合盡量靠近真實(shí)類別的視覺特征. 幻影類的應(yīng)用隨后在Chen 等人[83]的論述中得到了一些改進(jìn). 即為了在新的圖結(jié)構(gòu)保留一定的鄰域結(jié)構(gòu), 在計(jì)算邊的權(quán)重時(shí), 加入了真實(shí)類別鄰居的信息, 從而豐富了真實(shí)類別和幻影類之間的對(duì)應(yīng)關(guān)系.

隨機(jī)行走是另一種常用的基于節(jié)點(diǎn)嵌入方法. 文獻(xiàn)[84]針對(duì)深度模型的選擇性學(xué)習(xí)行為導(dǎo)致視覺特征的區(qū)分度降低的問題[85], 受到“分而治之”思想的啟發(fā),提出了一種新穎的、普遍適用的框架—解耦度量學(xué)習(xí)(decoupled metric learning, DeML). DeML 是一種基于混合注意力的解耦方法, 通過將嵌入表示解耦到多個(gè)注意力特定的學(xué)習(xí)者, 并以隨機(jī)行走的方式對(duì)像素級(jí)對(duì)象特征進(jìn)行加強(qiáng). 類似的, 文獻(xiàn)[86]通過限制最大近鄰數(shù)量和最大后繼節(jié)點(diǎn)數(shù)量, 也以隨機(jī)行走的方式得到鄰域結(jié)構(gòu)信息從而表示節(jié)點(diǎn). 隨機(jī)行走作為一種無參數(shù)的空間注意力方法, 通過在卷積圖中深層反應(yīng)的感受野上進(jìn)行圖傳播, 從而能夠更全面的對(duì)圖進(jìn)行采樣, 并進(jìn)一步地對(duì)圖節(jié)點(diǎn)特征進(jìn)行增強(qiáng).

一種與節(jié)點(diǎn)嵌入非常相似的方法是基于全圖嵌入的零樣本學(xué)習(xí)方法. 基于節(jié)點(diǎn)嵌入的方法往往以特征點(diǎn)為融合單位, 但基于全圖嵌入的方法應(yīng)用方式與節(jié)點(diǎn)嵌入不同, 以整個(gè)流形空間為融合基礎(chǔ). Li 等人[87]提出了使用矩陣分解策略學(xué)習(xí)一個(gè)視覺對(duì)齊的語義圖,在此基礎(chǔ)上提出了一種非參數(shù)圖推理方法, 即流形對(duì)齊的圖推理 (graph inference with manifold alignment,GIMA). GIMA 不需要學(xué)習(xí)跨模態(tài)視覺語義映射, 而是從不同的模態(tài)空間中提取各自的內(nèi)在流形, 并將它們表示為圖結(jié)構(gòu), 進(jìn)而通過矩陣分解策略來學(xué)習(xí)視覺上對(duì)齊的語義圖, 最后通過簡單的圖推理算法直接預(yù)測(cè)新測(cè)試圖像的類別標(biāo)簽.

2.2.3 基于混合嵌入思想的零樣本圖機(jī)器學(xué)習(xí)

混合嵌入方法同時(shí)針對(duì)節(jié)點(diǎn)和邊進(jìn)行圖操作, 從某種程度上來說能夠更多的保留特征信息, 但是也為特征利用帶來了一定的困難.

一種混合嵌入的方式是利用最大子圖匹配算法.Castanon 等人[66]提出了一種以用戶為中心的方法, 通過創(chuàng)建基于屬性和區(qū)分關(guān)系的稀疏語義圖來對(duì)查詢建模. 同時(shí), 用最大鑒別生成樹 (maximally discriminative spanning tree, MDST)來代替求解時(shí)間復(fù)雜度為NPhard 的精確子圖匹配問題(NP-hard 問題是指無法在多項(xiàng)式的時(shí)間里驗(yàn)證一個(gè)解的問題). 該方法通過建模幀圖片內(nèi)的物體以及物體間的位置關(guān)系, 通過最大鑒別子圖匹配 (maximally discriminative subgraph matching,MDSM) 在線性時(shí)間內(nèi)完成了在沒有訓(xùn)練過程的情況下, 直接對(duì)視頻進(jìn)行跨模態(tài)搜索的目標(biāo).

另一種混合嵌入的思想來源于圖割(graph cut)算法的使用. 文獻(xiàn)[88]針對(duì)文檔修復(fù)任務(wù), 提出圖割的結(jié)果可以產(chǎn)生更好的邊緣估計(jì). 為此使用完全卷積神經(jīng)網(wǎng)絡(luò)(fully connected neural network, FCNN)進(jìn)行語義分割, 通過該閾值概率掩碼來構(gòu)造圖, 并利用背景概率圖對(duì)圖割中的邊進(jìn)行剪枝, 從而給出前景和后景的良好估計(jì). 在計(jì)算機(jī)視覺任務(wù)中, 圖割法常被用于兩階段零樣本學(xué)習(xí)方法. 文獻(xiàn)[89]提出分組模擬集成(grouped simile ensemble, GSE) 框架, 以明喻 (similes) 作為顯式屬性標(biāo)注, 以此建模圖片之間視覺表達(dá)上的相似性. 首先使用圖割算法和聚類算法利用視覺相似度從中發(fā)現(xiàn)隱含的屬性, 并判斷屬于哪一個(gè)明喻簇, 再利用語義相似度判斷具體語義類別. 此外, Huang 等人首先提出了一種基于超圖的屬性預(yù)測(cè)器(hypergraph-based attribute predictor, HAP)[90]. HAP 利用超圖來刻畫數(shù)據(jù)中屬性的高階和多重關(guān)系, 利用類信息和任何可用的輔助信息,將屬性預(yù)測(cè)問題轉(zhuǎn)化為正則化超圖割問題. 在HAP 超圖的設(shè)定中, 每個(gè)頂點(diǎn)對(duì)應(yīng)于一個(gè)樣本, 而超邊是共享相同屬性標(biāo)簽的頂點(diǎn)集.

2.3 零樣本圖深度學(xué)習(xí)

目前, 雖然圖深度學(xué)習(xí)方法已經(jīng)有了廣闊的發(fā)展,但在零樣本圖學(xué)習(xí)中, 應(yīng)用主要聚焦于圖卷積神經(jīng)網(wǎng)絡(luò). 總體來說, 基于圖深度學(xué)習(xí)的零樣本學(xué)習(xí)方法可以大致分為兩類, 分別是圖信息基于譜域的傳播方法和圖信息基于空間域的傳播方法. 基于頻譜的方法從圖信號(hào)處理的角度引入濾波器來定義圖卷積, 其中圖卷積操作被解釋為從圖信號(hào)中去除噪聲; 而基于空間的方法將圖卷積表示為領(lǐng)域聚合的特征信息, 當(dāng)圖卷積網(wǎng)絡(luò)的算法在節(jié)點(diǎn)層次運(yùn)行時(shí), 圖池化模塊可以與圖卷積層交錯(cuò), 將圖粗化為高級(jí)子結(jié)構(gòu). 譜域上的圖操作具有扎實(shí)的理論基礎(chǔ), 根據(jù)圖譜理論和卷積定理, 將數(shù)據(jù)由空間域轉(zhuǎn)換到譜域做處理; 而空間域圖操作不依靠圖譜卷積理論, 直接在空間上定義卷積操作, 具有較強(qiáng)的靈活性. 圖6 給出了零樣本圖深度學(xué)習(xí)的一般流程.

圖6 零樣本圖深度學(xué)習(xí)的一般流程

零樣本圖深度學(xué)習(xí)的一般流程與零樣本圖機(jī)器學(xué)習(xí)的流程相似, 只是零樣本圖深度學(xué)習(xí)直接在圖上進(jìn)行卷積微分操作.

2.3.1 基于譜域的傳播方法

譜圖卷積建立在圖信號(hào)處理的基礎(chǔ)上, 對(duì)圖像特征處理具有較大的作用. 尤其在當(dāng)輸入了大量的圖像特征、語義特征及圖像-語義相關(guān)特征時(shí), 這些特征在不經(jīng)處理的情況下大量使用可能會(huì)導(dǎo)致特征利用率降低, 從而使零樣本學(xué)習(xí)的準(zhǔn)確率降低. 譜圖卷積從信號(hào)處理的角度, 緩解了信號(hào)嘈雜問題, 提高了特征利用率.基于譜域的傳播方法主要遵循如下公式來更新每層的消息傳播:

其中,H(l)為上一層譜域傳播的輸出, 將作為本層傳播的輸入;H(l+1)表 示本層的傳播結(jié)果; δ (·)表示激活函數(shù),Wθ表示權(quán)重矩陣,A是 對(duì)應(yīng)圖結(jié)構(gòu)的鄰接矩陣,D是對(duì)應(yīng)圖結(jié)構(gòu)的度矩陣. 在譜域傳播中,A一般是一個(gè){0,1}的二值矩陣, 表示兩個(gè)節(jié)點(diǎn)之間是否有邊的存在; 如果邊具有權(quán)重, 則A根據(jù)相應(yīng)的權(quán)重值進(jìn)行調(diào)整.

Shen 等人[67]首先針對(duì)圖像-草圖檢索問題, 建立了零樣本草圖圖像哈希模型(zero-shot sketch-image hashing, ZSIH). ZSIH 利用克羅內(nèi)克融合層(Kronecker fusion layer)和圖形卷積來緩解草圖圖像的異構(gòu)性, 以此增強(qiáng)數(shù)據(jù)之間的語義關(guān)系. 在密集圖傳播模塊(dense graph propagation, DGP)中[91], 通過增加節(jié)點(diǎn)連接以豐富圖表達(dá), Kampffmeyer 等人[91]也提出使用譜域卷積的方式來增強(qiáng)特征表達(dá). 為了利用外部知識(shí)信息來顯示類別之間的關(guān)系, Gao 等人[92]提出了基于結(jié)構(gòu)化知識(shí)圖的端到端零樣本動(dòng)作識(shí)別框架, 設(shè)計(jì)了雙流圖卷積網(wǎng)絡(luò)(two-stream graph convolutional network, TS-GCN),使用譜圖卷積減少建模動(dòng)作-屬性、屬性-屬性和動(dòng)作-動(dòng)作之間時(shí)產(chǎn)生的信號(hào)噪聲. 類似地, 在圖像注釋任務(wù)中, 為了緩解多義詞帶來的信號(hào)偏差, 以及語義損失所造成的模型泛化問題, Wang 等人[93]使用歸一化拉普拉斯矩陣的譜域卷積來建立單詞向量和圖像之間的映射, 使得目標(biāo)和源標(biāo)簽可以一起訓(xùn)練, 從而緩解了多義詞和廣義零樣本設(shè)置中的強(qiáng)偏問題(指預(yù)測(cè)結(jié)果偏向可見類別的情況). Bucher 等人[94]提出的ZS3 網(wǎng)絡(luò)(zeroshot semantic segmentation)可以用來解決零樣本圖像分割問題, 其模型結(jié)合了豐富的文本和圖像嵌入, 并包含大量上下文信息, 因此譜域卷積的方式可以盡可能的減少由大量特征輸入所帶來的信號(hào)噪聲. 此外, 譜域卷積也被用來平衡損失. Xie 等人[95]提出一種區(qū)域圖嵌入網(wǎng)絡(luò)(region graph embedding network, RGEN)來捕捉圖像不同區(qū)域之間的關(guān)系, RGEN 將轉(zhuǎn)移損失和平衡損失納入框架, 緩解了一般零樣本學(xué)習(xí)模型中的極端區(qū)域偏向問題, 降低了圖像某些區(qū)域特征包含的噪聲.

2.3.2 基于空間域的傳播方法

基于空間域的圖深度學(xué)習(xí)方法通過信息聚合繼承的思想來定義相關(guān)圖操作, 目的在于利用鄰域節(jié)點(diǎn)特征增強(qiáng)中心節(jié)點(diǎn)的特征表示. 一般而言, 空間域傳播方法的特征輸入數(shù)量或種類比基于譜域的傳播方法少.基于空間域的傳播方法主要遵循如下公式來更新每層的消息傳播:

其中,H(l)為上一層空間域傳播的輸出, 將作為本層傳播的輸入;H(l+1)表 示本層的傳播結(jié)果; δ (·)表示激活函數(shù),Wθ表示權(quán)重矩陣,A?是對(duì)應(yīng)圖結(jié)構(gòu)的歸一化鄰接矩陣, 鄰接矩陣既可以是一個(gè){ 0,1}的二值矩陣, 表示兩個(gè)節(jié)點(diǎn)之間是否有邊的存在; 也可以是具有邊權(quán)重的權(quán)重矩陣.

Wang 等人[96]將語義嵌入作為輸入, 首次將圖網(wǎng)絡(luò)應(yīng)用到了圖像識(shí)別領(lǐng)域, 將零樣本學(xué)習(xí)問題看做一個(gè)分類器權(quán)重回歸問題, 用視覺分類器對(duì)應(yīng)權(quán)重作為監(jiān)督, 建立類別語義間的圖知識(shí)結(jié)構(gòu), 顯著地提高了零樣本圖識(shí)別的準(zhǔn)確率. Yan 等人針對(duì)零樣本目標(biāo)檢測(cè)問題, 提出了基于圖卷積網(wǎng)絡(luò)的語義保持圖傳播模型(semantics-preserving graph propagation model, SPGP)[97].SPGP 結(jié)合了一個(gè)圖構(gòu)造模塊和兩個(gè)語義保持的圖傳播模塊, 來緩解視覺-語義鴻溝, 同時(shí)利用結(jié)構(gòu)知識(shí)和描述知識(shí)加強(qiáng)了語義表示. 在多標(biāo)簽分配任務(wù)中, Lee等人[98]利用知識(shí)圖中定義的不同關(guān)系, 最大限度地通過信念傳播(belief propagation, 也稱消息傳播)[99]的方式豐富語義空間中傳播的標(biāo)簽表示和信息.

在空間域中, 除了一般的圖卷積傳播方法, 受到傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中注意力機(jī)制、殘差模塊等思想的啟發(fā),這些網(wǎng)絡(luò)設(shè)計(jì)也被應(yīng)用到空間域圖神經(jīng)網(wǎng)絡(luò)方法中來.Xiao 等人[100]提出了一種快速混合模型ARGCN-DKG(attention based residual graph convolutional network on different types of knowledge graphs) , 通過引入殘差機(jī)制和注意機(jī)制, 整合不同的知識(shí)圖, 提高不同類別間知識(shí)轉(zhuǎn)移的準(zhǔn)確性. Zhang 等人[101]通過圖生成模型來顯式地建模關(guān)系, 其提出的可轉(zhuǎn)移圖生成(transferable graph generation, TGG)模塊旨在捕獲類概念、屬性和可視化實(shí)例之間的關(guān)系, 由多頭圖注意機(jī)制引導(dǎo)鄰近信息聚合, 從而緩解域轉(zhuǎn)移的適應(yīng)問題. Wang 等人[102]提出的注意力圖神經(jīng)網(wǎng)絡(luò)(attentive graph neural network,AGNN)則對(duì)幀之間的關(guān)系建立圖結(jié)構(gòu), 通過注意力機(jī)制有效地捕獲了兩幀之間的相關(guān)性, 同時(shí)使用遞歸消息傳遞在圖上迭代地傳播信息, 從而捕獲視頻幀之間的高階關(guān)系, 并從全局視圖獲得更優(yōu)化的結(jié)果.

3 評(píng)估準(zhǔn)則與數(shù)據(jù)集

目前的零樣本圖學(xué)習(xí)主要被應(yīng)用在計(jì)算機(jī)視覺和自然語言處理領(lǐng)域. 計(jì)算機(jī)視覺領(lǐng)域的典型應(yīng)用包括物體識(shí)別[82,90,91,96]、圖像檢索[67,78]、圖像語義分割[94]、視頻動(dòng)作識(shí)別[66,92,103]等. 自然語言處理領(lǐng)域的典型應(yīng)用如知識(shí)圖譜表示學(xué)習(xí)[56,59,60]、知識(shí)問答[104]等. 本節(jié)重點(diǎn)從應(yīng)用場景角度介紹零樣本圖學(xué)習(xí)的評(píng)估準(zhǔn)則,常用數(shù)據(jù)集以及目前的最佳效果.

3.1 評(píng)估準(zhǔn)則

零樣本圖學(xué)習(xí)方法的評(píng)估準(zhǔn)則遵循一般零樣本學(xué)習(xí)的評(píng)估方法, 一般而言有如下4 種:

(1) Top-K 精度. Top-K 精度通常用Hit@K 來表示, 指的是預(yù)測(cè)結(jié)果中最有可能的前K個(gè)中包含實(shí)際結(jié)果的概率. Top-K 精度評(píng)估被廣泛的應(yīng)用于自然語言處理和計(jì)算機(jī)視覺領(lǐng)域. 但一般而言, 自然語言處理中的任務(wù)多只報(bào)告Top-1 準(zhǔn)確率, 而計(jì)算機(jī)視覺領(lǐng)域中, 尤其是圖像識(shí)別任務(wù), 由于類別眾多, 通常會(huì)報(bào)告更大的K值精度. 例如在ImageNet 數(shù)據(jù)集[105]上的零樣本識(shí)別任務(wù), 研究人員多同時(shí)報(bào)告Top-1、Top-2、Top-5、Top-10、Top-20 五種識(shí)別精度.

(2)F1-score. 即F1 分?jǐn)?shù), 是另一種常被使用的評(píng)價(jià)指標(biāo), 尤其是在分類的任務(wù)中. 它同時(shí)兼顧了分類模型的精確率(precision)和召回率(recall), 可以看作是模型精確率和召回率的一種調(diào)和平均.F1 分?jǐn)?shù)的計(jì)算方法為:

其中,precision指被分類器判定正例中的正樣本的比重,recall指被預(yù)測(cè)為正例的占總的正例的比重.

(3) 類平均準(zhǔn)確度(mean average precision,mAP).一般而言, 大部分任務(wù)會(huì)采用平均準(zhǔn)確率對(duì)整體數(shù)據(jù)集進(jìn)行評(píng)價(jià). 由于在圖像領(lǐng)域中實(shí)際存在的長尾分布問題, 導(dǎo)致數(shù)據(jù)集存在大量的樣本間數(shù)量分布不均衡的情況, 此時(shí)如果使用平均準(zhǔn)確率進(jìn)行評(píng)價(jià), 則不能較好地反映出大數(shù)量樣本和小數(shù)量樣本之間分類準(zhǔn)確度的差異. 因此, 目前廣泛采用全類平均準(zhǔn)確度mAP作為零樣本分類評(píng)價(jià)指標(biāo), 即先對(duì)每個(gè)類統(tǒng)計(jì)類內(nèi)的分類準(zhǔn)確度, 再通過求均值計(jì)算類平均準(zhǔn)確度, 類平均準(zhǔn)確度計(jì)算公式為:

其中,Accytr和Accyte分別表示在可見類別標(biāo)簽和未見類別標(biāo)簽上得到的類平均準(zhǔn)確度.

3.2 數(shù)據(jù)集與目前最高水平 (SOTA)

3.2.1 計(jì)算機(jī)視覺

在計(jì)算機(jī)視覺領(lǐng)域的應(yīng)用中, 零樣本圖學(xué)習(xí)目前主要涉及到以下幾種應(yīng)用: 目標(biāo)檢測(cè)、圖像識(shí)別、動(dòng)作識(shí)別.

在零樣本目標(biāo)檢測(cè)任務(wù)中, 有3 個(gè)常用數(shù)據(jù)集, 分別是: PASCAL VOC 2007+2012[106], ILSVRC 2017[107]和MS COCO 2014[108]. PASCAL VOC 數(shù)據(jù)集主要含有4 大類別, 分別是人、常見動(dòng)物、交通車輛、室內(nèi)家具用品. ILSVRC 是ImageNet 的一個(gè)子集, 因?yàn)榭紤]到目標(biāo)規(guī)模、圖像雜亂程度、目標(biāo)平均實(shí)例數(shù)等不同因素, ILSVRC 對(duì)每個(gè)基本類別進(jìn)行了仔細(xì)的選擇. MS COCO 則是一個(gè)專門為對(duì)象檢測(cè)和語義分割任務(wù)而設(shè)計(jì)的數(shù)據(jù)集, 由80 個(gè)類別組成. 表1 給出了上述3 個(gè)數(shù)據(jù)集的相關(guān)描述和目前零樣本圖學(xué)習(xí)的SOTA. 其中評(píng)估準(zhǔn)則一欄的括號(hào)內(nèi)表示評(píng)價(jià)指標(biāo).

表1 零樣本目標(biāo)檢測(cè)常用數(shù)據(jù)集

在圖像識(shí)別任務(wù)中, 圖像數(shù)據(jù)集包括動(dòng)物類別數(shù)據(jù)集 AwA[3]、AwA2[109], 鳥類數(shù)據(jù)集CUB[110], 場景類數(shù)據(jù)集 SUN Attribute[111]、Places2[112], 混合類別 (包含人物、動(dòng)物、風(fēng)景等) 的數(shù)據(jù)集 aPY[2]和 ImageNet[105]等, 其中前 4 個(gè)數(shù)據(jù)集提供屬性標(biāo)注, 而 ImageNet 沒有提供屬性標(biāo)注. 此外, CUB 和 SUN 是細(xì)粒度圖像分類數(shù)據(jù)集, 其中的圖像類間差異較小, 對(duì)零樣本圖像分類的挑戰(zhàn)性也較大. 其中屬性數(shù)據(jù)集的相關(guān)內(nèi)容如表2.由于ImageNet 并沒有屬性標(biāo)注, 因此在實(shí)驗(yàn)中常采取不同其他數(shù)據(jù)集的組織利用形式. 在實(shí)驗(yàn)中, 通常會(huì)采用“2-hops”“3-hops”和“All”, 即根據(jù)ImageNet 標(biāo)簽層次結(jié)構(gòu)考慮與原始看到的ImageNet 1K 類相距2 跳、3 跳和所有跳的所有類, 對(duì)應(yīng)于1 549、7 860 和20 842類. 目前的ZSL 和GZSL 的SOTA 由Xiao 等人[100]給出, 以Hit@K 作數(shù)據(jù)集評(píng)價(jià)標(biāo)準(zhǔn). 如表3 所示.

表2 零樣本圖像分類屬性數(shù)據(jù)集

表3 零樣本圖像分類數(shù)據(jù)集ImageNet 上不同任務(wù)的Hit@1 (%)

在圖像標(biāo)注任務(wù)中, 常用數(shù)據(jù)集包括NUSWIDE[113],COCO[108], IAPR TC-12[114]和Corel5k[115]. 其中NUSWIDE是一個(gè)多標(biāo)簽場景數(shù)據(jù)集, 并可以用于圖像文本匹配;IAPR TC-12 包含拍攝于世界各地的靜態(tài)自然圖像, 內(nèi)含各種靜態(tài)自然圖像的剖面圖, 包括各類運(yùn)動(dòng)或行動(dòng)的圖像, 可以用于評(píng)估自動(dòng)圖像標(biāo)注方法并研究其對(duì)多媒體信息檢索的影響; Corel5k 數(shù)據(jù)集是圖像實(shí)驗(yàn)的事實(shí)標(biāo)準(zhǔn)數(shù)據(jù)集, 涵蓋多個(gè)主題, 并可以用于科學(xué)圖像實(shí)驗(yàn). 目前的SOTA 由文獻(xiàn)[93]給出. 數(shù)據(jù)集相關(guān)由表4 給出.

表4 零樣本圖像標(biāo)注數(shù)據(jù)集

在動(dòng)作識(shí)別任務(wù)中, 常用數(shù)據(jù)集包括Olympic sports[116],HMDB51[117]和UCF101[118]. Olympic sports 是從YouTube上下載的, 共783 段運(yùn)動(dòng)員參加16 種不同運(yùn)動(dòng)的視頻.HMDB51 來自YouTube, Google 視頻等, 動(dòng)作類型主要包括: 一般面部動(dòng)作微笑、面部操作與對(duì)象操作、一般的身體動(dòng)作、與對(duì)象交互動(dòng)作、人體動(dòng)作.UCF101 在動(dòng)作方面具有最大的多樣性, 動(dòng)作類別可以分為5 種類型: 人與物體的互動(dòng)、僅肢體運(yùn)動(dòng)、人與人的互動(dòng)、演奏樂器、體育. 如表5 所示.

表5 零樣本動(dòng)作識(shí)別數(shù)據(jù)集

3.2.2 自然語言處理

自然語言處理中的零樣本學(xué)習(xí)任務(wù)主要集中在動(dòng)態(tài)知識(shí)圖譜補(bǔ)全問題, 以及利用知識(shí)圖譜進(jìn)行輔助文本處理的任務(wù), 如語義消岐、實(shí)體屬性識(shí)別.

評(píng)估知識(shí)圖譜嵌入的常用數(shù)據(jù)集有包括FB15K[51],FB20K[59]. 一般實(shí)驗(yàn)中將FB15K 中的實(shí)體視為KG 內(nèi)實(shí)體, 將FB20K 中的額外實(shí)體視為KG 外實(shí)體. FB20K包含4 組: 頭實(shí)體和尾實(shí)體都在KG 內(nèi)(e-e), 頭實(shí)體在KG 外但尾實(shí)體在KG 內(nèi)(d-e), 尾實(shí)體在KG 內(nèi)但頭實(shí)體在KG 外(e-d), 頭實(shí)體和尾實(shí)體都在KG 外(d-d).最優(yōu)結(jié)果由文獻(xiàn)[60]給出. 經(jīng)過處理后, 符合訓(xùn)練及測(cè)試條件的數(shù)據(jù)集情況如表6 所示, 結(jié)果由表7 所示. 更多的數(shù)據(jù)集使用可以參考文獻(xiàn)[86].

表6 零樣本圖學(xué)習(xí)知識(shí)圖譜嵌入數(shù)據(jù)集

表7 零樣本圖學(xué)習(xí)知識(shí)圖譜嵌入SOTA (%)

在語義消歧任務(wù)中, 常用數(shù)據(jù)語料庫包括SensEval-2(SE2)[119], SensEval-3 (SE3)[120], SemEval-2013 (SE13)[121],SemEval-2015 (SE15)[122]. 其中, SemEval 類的數(shù)據(jù)集是SensEval 類數(shù)據(jù)集的衍生. SE2 的測(cè)試集是英語全詞任務(wù), 該數(shù)據(jù)集包含來自華爾街日?qǐng)?bào)的3 篇文章中的2 282 個(gè)注釋. 大多數(shù)注釋都是名義上的, 還包含動(dòng)詞, 形容詞和副詞的注釋; SE3 是對(duì)SE2 的手工注釋的改進(jìn). SE13 包括兩個(gè)消除歧義的任務(wù): 實(shí)體鏈接和詞義消歧, 該測(cè)試集包含以前版本的統(tǒng)計(jì)機(jī)器翻譯研討會(huì)中的13 篇文章, 共包含1 644 個(gè)測(cè)試實(shí)例, 均為名詞. SE15 相比于SE13 更為復(fù)雜, 共包括兩個(gè)領(lǐng)域內(nèi)6 087 條測(cè)試實(shí)例. 目前, 零樣本圖學(xué)習(xí)在語義消岐任務(wù)上的最優(yōu)結(jié)果均由文獻(xiàn)[62]給出. 如表8 所示.

表8 零樣本圖學(xué)習(xí)語義消歧數(shù)據(jù)集(%)

在實(shí)體屬性識(shí)別的任務(wù)中, 常用的數(shù)據(jù)語料庫有NYK10[123]和WEB19[61]. 其中, NYK10 中有54 種屬性, 共99 783 條句子; WEB19 有271 種屬性, 共45 758條句子. 目前, 零樣本圖學(xué)習(xí)在文本實(shí)體屬性識(shí)別任務(wù)上的最好結(jié)果是Imrattanatrai 等人[61]的工作結(jié)果, 如表9 所示.

表9 零樣本屬性識(shí)別任務(wù)的評(píng)估結(jié)果 (%)

4 未來展望

零樣本學(xué)習(xí)作為機(jī)器學(xué)習(xí)領(lǐng)域中一個(gè)新興的方向,最近幾年取得了飛速的發(fā)展. 作為一種衍生于深度學(xué)習(xí)并且和深度學(xué)習(xí)有強(qiáng)烈聯(lián)系的一種學(xué)習(xí)范式, 零樣本學(xué)習(xí)為難以取得大量學(xué)習(xí)樣本的問題提供了解決方案. 在零樣本學(xué)習(xí)中, 圖數(shù)據(jù)結(jié)構(gòu)的利用使得解決方案能夠更好的利用訓(xùn)練樣本類別和測(cè)樣樣本類別之間的關(guān)系, 從而完成輔助信息的知識(shí)遷移. 目前來看, 零樣本圖學(xué)習(xí)在未來的研究中存在以下幾個(gè)潛在的研究方向:

(1) 從數(shù)據(jù)輸入的角度來說, 零樣本學(xué)習(xí)如果想要達(dá)到更高的精度, 仍然需要使用屬性標(biāo)注進(jìn)行學(xué)習(xí). 但隨著訓(xùn)練類別數(shù)量和測(cè)試類別數(shù)量的增加, 屬性標(biāo)注的工作量也會(huì)隨之增加. 但現(xiàn)有的網(wǎng)絡(luò)上已經(jīng)有許多關(guān)于類標(biāo)簽的描述, 因?yàn)檫@些文本內(nèi)容是非常容易得到的, 可以大大減少零樣本學(xué)習(xí)的工作成本. 因而如何建立大量類別標(biāo)簽之間的知識(shí)圖譜是一個(gè)值得研究的問題.

(2) 從多模態(tài)特征融合的角度來說, 目前零樣本的一個(gè)重要處理方法是基于流形對(duì)齊理論, 從語義空間向視覺空間映射, 或者從視覺空間向語義空間映射來獲得多模態(tài)數(shù)據(jù)的融合特征. 但是, 這本質(zhì)上仍然是函數(shù)映射的設(shè)計(jì), 如果想要提高準(zhǔn)確率, 就必須要改進(jìn)函數(shù)映射的設(shè)計(jì). 圖學(xué)習(xí)的引入為這種流形對(duì)齊的思想提供了一個(gè)新的方向, 即同時(shí)考慮語義空間與視覺空間的雙向映射, 從而更全面的利用數(shù)據(jù)特征.

(3) 從與其他學(xué)習(xí)范式結(jié)合的角度來說, 單樣本學(xué)習(xí)(one-hot learning)是一個(gè)與零樣本學(xué)習(xí)十分相似的概念, 指的是在學(xué)習(xí)過程中, 對(duì)于某些類別僅使用一個(gè)或少量幾個(gè)樣本, 使模型完成任務(wù). 零樣本學(xué)習(xí)和單樣本學(xué)習(xí)雖然在概念和方法上有一定的相似, 但在具體實(shí)現(xiàn)機(jī)制上仍有著區(qū)別. 如果能將單樣本學(xué)習(xí)的一些思想內(nèi)涵引入零樣本學(xué)習(xí)中, 例如僅在驗(yàn)證時(shí)輸入少量測(cè)試樣本對(duì)模型進(jìn)行精調(diào), 可能會(huì)提高零樣本學(xué)習(xí)的結(jié)果.

從基礎(chǔ)理論角度來說, 零樣本學(xué)習(xí)的任務(wù)來源是自然界存在的長尾分布而導(dǎo)致的數(shù)據(jù)不均衡或難以采集, 其解決問題的思想又來自人類的啟發(fā)式學(xué)習(xí), 與深度神經(jīng)網(wǎng)絡(luò)來源于人類大腦神經(jīng)的連接模型相比, 零樣本學(xué)習(xí)范式缺少實(shí)際上的理論支撐. 人類的學(xué)習(xí)機(jī)制一直以來都是心理學(xué)界甚至生物界廣泛討論和研究的問題, 一些十分流行的假說例如“圖式”模型, 從經(jīng)驗(yàn)引導(dǎo)的角度對(duì)人類學(xué)習(xí)行為做出了解釋. 圖式, 指的正是人腦中已有的知識(shí)經(jīng)驗(yàn)的網(wǎng)絡(luò), 因此, 零樣本學(xué)習(xí)中,如果能夠引入心理學(xué)上人類學(xué)習(xí)范式的交叉研究, 并構(gòu)建與人腦中的經(jīng)驗(yàn)網(wǎng)絡(luò)相似的知識(shí)網(wǎng)絡(luò), 或許可以進(jìn)一步的幫助提高零樣本學(xué)習(xí)的精度.