深度學習的人-物體交互檢測研究進展

阮晨釗，張祥森，劉 科，趙增順

山東科技大學 電子信息工程學院，山東 青島266590

隨著信息技術(shù)的發(fā)展，計算機已經(jīng)能夠協(xié)助人們完成很多工作，幫助解決人們無法解決的難題，甚至在某些領域已經(jīng)可以取代人類。圖像是人類獲取信息的主要形式，有80%的信息都是以圖像的形式獲取的。常見的圖像任務，如目標檢測、動作識別和圖像分割等都屬于計算機視覺任務的范疇。而近幾年，這些任務也隨著深度學習在計算機視覺領域的深入應用得到了快速發(fā)展。在此基礎上針對個體對象更高層的圖像語義研究，如人的動作識別、姿態(tài)估計等也取得了較為明顯的進步。但是僅憑這樣的個體對象識別還遠遠不能理解圖像中發(fā)生的事情，還需要識別出不同對象之間的關系。由于人與物的交互占據(jù)了大多數(shù)的人類活動，檢測和識別每個人與周圍物體的交互方式對于有效理解圖像內(nèi)容十分重要，這個任務被稱為人-物體交互檢測，主要目的是定位人體、物體，并識別它們之間的交互關系。簡單來說，就是檢測圖像中的＜人體，動詞，物體＞三元組，如圖1 所示。這樣的輸出能夠幫助回答很多與圖像相關的問題。它可以告訴更多關于圖像中描繪的場景的當前狀態(tài)，幫助更好地預測未來，還能夠反過來幫助理解動作。人-物體交互檢測（human-object interaction，HOI）技術(shù)已經(jīng)被運用在監(jiān)控視頻的自動識別檢測中，識別檢測出視頻圖像中的異常行為，做到及時預警。此外，該技術(shù)對于智能交通、信息檢索以及人機交互等諸多領域的研究有重要幫助。

圖1 HOI檢測任務實例Fig.1 Examples of HOI detection

擁有廣闊研究前景的同時，這個問題的研究也是具有挑戰(zhàn)性的，因為圖像中可能包含多個執(zhí)行相同交互的人，同一個人可能同時與多個物體交互，同一個物體可能同時與多個人交互以及細粒度交互等。這些復雜多樣的交互場景都會給設計HOI 檢測解決方案帶來相當大的難度。本文圍繞著基于深度學習的人-物體交互檢測技術(shù)，主要對以下幾點進行了綜述：（1）人-物體交互檢測任務的提出；（2）人-物體交互檢測關鍵方法類別和發(fā)展現(xiàn)狀；（3）人-物體交互檢測的評價指標和常用數(shù)據(jù)集。

1 HOI檢測方法

從2009 年開始，陸續(xù)出現(xiàn)了與HOI 檢測相關的研究，這些早期研究主要使用了手工制作的局部特征，通過捕捉這些特征將其分到特定的類別中。這些基于手工制作的特征主要是顏色、HOG和SIFT。其中Gupta 等人研究使用貝葉斯模型來進行HOI分類，Yao 等人使用人和物體之間的上下文關系，Delaitre 等人使用具有空間交互和上下文的結(jié)構(gòu)化表示，Desai等人使用合成模型，Hu 等人則是參考了一組HOI 樣本。但是在這些早期的HOI 識別研究中都沒有在HOI 檢測中進行直接評估，其中文獻[8,11,13]首先進行動作分類，然后進行人與物關系的判斷；文獻[9]是目標檢測之后進行評估；文獻[12]是基于人體姿勢的結(jié)果進行評判。該技術(shù)真正快速發(fā)展是在2015 年以后。

隨著深度學習的發(fā)展，計算機視覺的性能得到了極大的提升，人們可以從規(guī)模龐大的數(shù)據(jù)集中提取特征而不是局限于手工提取的特征，加之專門用于HOI檢測的數(shù)據(jù)集的出現(xiàn)，HOI檢測任務迎來了新的發(fā)展階段。2015 年，Gupta 和Malik 提出了首個用于HOI 檢測的數(shù)據(jù)集，并且提出了“視覺語義角色標注”這一概念，對這一任務進行了明確的定義：推理圖像中細粒度的動作并檢測出與該動作相關的語義角色（使用邊界框標記出動作區(qū)域以及做出這個動作人與物）。其首先真正解決了人-物體交互識別檢測問題。

Chao 等人于2018 年提出的基于人-物體區(qū)域的卷積神經(jīng)網(wǎng)絡（human-object region-based convolutional neural networks，HO-RCNN）對HOI 檢測的研究具有十分重要的意義。它是一個多流網(wǎng)絡結(jié)構(gòu)，包含三個流：一個人流、一個物體流以及一個成對流。其中人流和物體流分別編碼人和物體的外觀特征，而成對流的目的則是編碼人和物體之間的空間關系。值得一提的是它沒有直接將邊界框坐標作為輸入，而是提出了交互模式這一特殊類型的深度神經(jīng)網(wǎng)絡（deep neural networks，DNN）輸入，用來描述兩個邊界框的相對位置。這個模型首先使用人體和物體檢測器生成人體-物體區(qū)域?qū)Φ慕ㄗh，然后將每個人-物對的建議送入卷積神經(jīng)網(wǎng)絡以生成HOI 分類分數(shù)，再將三個流中的分數(shù)以后期融合的方式進行融合，最后根據(jù)動作得分進行交互識別，網(wǎng)絡結(jié)構(gòu)如圖2所示。

圖2 多流網(wǎng)絡模型Fig.2 Multi-stream model

這一經(jīng)典的多流網(wǎng)絡結(jié)構(gòu)是兩階段方法的開端，同時為后續(xù)研究提供了基準和思路，后來出現(xiàn)的很多方法是在它的基礎上進行深入研究。例如，加入注意力機制、使用圖模型、引入人體姿態(tài)或身體部位信息。

1.1 兩階段方法

兩階段方法的思想就是把HOI 檢測任務分為目標檢測和交互推理兩個子任務。目標檢測階段使用預訓練的目標檢測模型檢測圖像中的人和物體，然后將其逐一匹配為成對的建議，而交互推理階段則是根據(jù)人-物體對的特征來推斷交互。近兩年的方法大多使用多流體系結(jié)構(gòu)來進行交互推理。

通過關注早期預測進而對結(jié)構(gòu)化輸出進行建模的想法在以前被成功地應用于各類計算機視覺和自然語言處理任務中。一些突出的例子包括機器翻譯模型、圖像字幕、語音識別和人體姿態(tài)估計。注意力也被融入到HOI檢測的方法中。

Georgia等人于2018年提出了一個以人為中心的模型InteractNet 來識別人與物的交互，通過擴展Faster R-CNN 模型，增加了一個分支，對目標對象位置上的動作和特定動作的概率密度估計進行分類。Kolesnikov 等人提出了一種用于檢測視覺關系的聯(lián)合概率模型BAR-CNN（box attention R-CNN），使用鏈式規(guī)則將概率模型分解成兩個更簡單的模型：第一檢測模型定位輸入圖像中的所有目標；對于每個檢測到的目標，第二個模型檢測與該目標交互的所有其他對象。該模型的核心是框注意機制，該機制增強了第二個模型的能力，使其能夠?qū)Ｗ⒂诘谝粋€檢測模型定位的對象。具體來說，就是將第一個模型檢測到的對象表示其空間位置的二進制編碼，這些編碼作為第二檢測模型的附加輸入。該方法沒有引入新的超參，并且在數(shù)據(jù)集上取得了不錯的效果。

與BAR-CNN 通過單獨分析人和物體而不考慮兩者之間關系的思路不同，Gao 等人認為除了需要人、物的外觀特征以及人-物體對的空間特征以外，還需要上下文信息來識別HOI。因此，在HO-RCNN 的基礎上，他們提出的用于人機交互檢測的以實例為中心的注意網(wǎng)絡（instance-centric attention network for human-object interaction detection，ICAN）采用以實例為中心的注意力模塊來提取與局部區(qū)域（人/物框）的外觀特征互補的上下文特征，以提高HOI 檢測效果，而不是像HO-RCNN 那樣只是簡單地用DNN 來提取特征，ICAN 模塊如圖3 所示。與之前手動設計的上下文特征的方法（基于姿勢、整個圖像或次要區(qū)域的交互檢測方法）不同，ICAN 的注意力圖是自動學習的，并與網(wǎng)絡的其余部分聯(lián)合訓練，以提高性能。此外，與為圖像級分類設計的注意力模塊相比，ICAN的以實例為中心的注意力圖提供了更大的靈活性，因為它允許根據(jù)不同的對象實例關注圖像中的不同區(qū)域。

圖3 ICAN 模塊Fig.3 ICAN module

Wang 等人提出的用于人-物交互檢測的上下文注意框架與ICAN 使用標準外觀特征構(gòu)建注意力圖不同，他們使用上下文外觀特征構(gòu)建注意力圖，并且注意力圖集中在人和物體分支中的相關區(qū)域，這些區(qū)域可能包含人和物體的相互作用。此外，對于單個和多個人-物交互，與ICAN 模型相比，這個方法能夠產(chǎn)生更多的固定注意力圖。該方法也是基于HORCNN 框架，在人流和物體流中引入了上下文感知的外觀模塊和上下文注意模塊。其中上下文感知的外觀模塊產(chǎn)生由外觀和上下文信息編碼而成的上下文外觀特征；注意力模塊抑制全局上下文產(chǎn)生的背景噪聲，同時保留相關的上下文信息，自適應地選擇相關的以實例為中心的上下文信息，以突出可能包含人-對象交互的圖像區(qū)域。

注意力機制的加入有效提高了HOI 檢測模型提取上下文特征的能力，使模型的檢測效果得到了很大的提升，尤其是ICAN，其準確率比HO-RCNN 提升了一倍，但是由于其分支結(jié)構(gòu)與HO-RCNN 相比并沒有明顯變化，仍然只是利用人與物體的視覺特征以及空間特征來進行推理判斷。除此以外并沒有額外信息的加入，因此其準確率還有較大的提升空間。

利用圖模型或者圖卷積是解決HOI 檢測問題的一個重要思路。已經(jīng)有一些工作將網(wǎng)絡結(jié)構(gòu)與圖形模型集成在一起，并在場景理解、目標檢測與解析和視覺問答（visual question answering，VQA）等應用中取得了可觀的結(jié)果。在HOI檢測中，圖模型的基本思想是用節(jié)點表示人和物體，用邊表示人和物體間的交互，人與物體間的交互相關性越大，則邊的強度就越高。

Qi 等人首次將圖模型和神經(jīng)網(wǎng)絡整合到一起來實現(xiàn)HOI 識別，他們提出了一個圖解析神經(jīng)網(wǎng)絡（graph parsing neural network，GPNN），它是消息傳遞神經(jīng)網(wǎng)絡（message passing neural network，MPNN）的推廣，繼承了神經(jīng)網(wǎng)絡的學習能力和圖形模型的表示能力。相較于之前的研究，能夠更好地解釋并明確地利用空間和時間相關性以及人-物關系，其示例如圖4 中的上圖所示。不同于大多數(shù)以前圖形或結(jié)構(gòu)化DNN 模型采用預固定圖形結(jié)構(gòu)的方法，為了尋求更好的泛化能力，圖解析神經(jīng)網(wǎng)絡引入了一個重要的連接函數(shù)來解決圖結(jié)構(gòu)學習的問題。它學會以端到端的方式推斷鄰接矩陣，因此可以推斷出明確解釋HOI 關系的解析圖，從而迭代學習并推斷圖形結(jié)構(gòu)和消息傳遞。將人和物用節(jié)點表示，它們的關系定義為邊。以節(jié)點和邊緣特征作為輸入，并以消息傳遞方式輸出解析圖。

圖4 GPNN 與上下文異構(gòu)圖網(wǎng)絡區(qū)別Fig.4 Difference between GPNN and context heterogeneous graph network

GPNN 將人和物用相同類型節(jié)點表示的方法并不夠完善，因為在HOI 中人和物體所扮演的角色不同（人是交互的主體，物是交互的客體），活動場景中異構(gòu)實體（人和物）之間存在類間語境，而同構(gòu)實體（人與人、物與物）之間存在類內(nèi)語境，這意味著它們之間的關系不盡相同?；谶@一考慮，Wang等人在2020年提出了一個上下文異構(gòu)的圖網(wǎng)絡，將人和物用不同的節(jié)點表示，同時人和物體的空間關系是識別交互的基本信息，因此它被編碼到連接異構(gòu)節(jié)點的邊中。連接同類節(jié)點的邊表示類內(nèi)上下文，反映同類節(jié)點的相關性，連接異類節(jié)點的邊表示類間上下文，反映交互性，其示例如圖4 中下圖所示。此外，他們還將上下文學習與圖注意力方法相結(jié)合，以提高節(jié)點從其鄰居節(jié)點收集知識的有效性。

吳偉等人利用圖結(jié)構(gòu)對圖像中潛在的HOI 進行建模，并通過引入注意力機制的特征處理網(wǎng)絡將圖像上下文信息融入到圖節(jié)點的特征表示中去，最后聯(lián)合圖注意力網(wǎng)絡（graph attention network，GAT）對真實的HOI 加以推斷。Liang 等人也使用了GAT，他們發(fā)現(xiàn)大多數(shù)工作僅使用來自單個人-物對的局部特征進行推斷，很少有學者研究如何通過圖網(wǎng)絡來消除附屬關系的歧義，也很少有人研究如何有效地利用視覺線索以及包含在HOI中的內(nèi)在語義規(guī)則。他們構(gòu)建了一個視覺語義圖注意網(wǎng)絡（visualsemantic graph attention networks，VS-GATs），這是一個并行聚合視覺空間和語義信息的雙圖注意網(wǎng)絡，它通過注意力機制有效地從主要的人-物關系以及附屬關系中動態(tài)地聚集上下文視覺、空間和語義信息，具有很強的消除歧義能力。

由Ulutan 等人提出的視覺空間圖網(wǎng)絡（visualspatial-graph network，VSGNet）在傳統(tǒng)的三分支網(wǎng)絡上進行了改進，不僅利用了人-物體對的空間配置來細化視覺特征，還加入了圖卷積分支。其中視覺分支從人-物對中提取人的特征、物的特征以及上下文特征，空間分支使用人-物對的空間配置來細化視覺特征，圖卷積分支使用圖卷積結(jié)構(gòu)連接，圖形卷積使用交互提議分數(shù)作為人-對象節(jié)點之間的邊緣強度。最后，由三個分支的交互建議得分共同推理交互動作。

然而，Zhang 等人對VSGNet 進行測試發(fā)現(xiàn)，當使用一次以上的消息傳遞迭代時，它的二分圖本身的性能要差得多。于是他們推測這是因為鄰接值沒有適當?shù)貥藴驶?，導致?jié)點編碼被傳入的消息所支配。而在他們提出的用于檢測人-物交互的時空注意力圖神經(jīng)網(wǎng)絡（spatio-attentive graphs，SAG）中，消息傳遞算法沒有顯示出這種問題，并且更加穩(wěn)定。與現(xiàn)有的分離外觀和空間特征的方法不同，他們的方法將這兩個線索融合在一個圖形模型中，使用它們共同推理交互，允許以兩種形式為條件的信息影響與相鄰節(jié)點的交互預測，從而消除在視覺上相似但空間上不同的交互之間的歧義。

Gao 等人先使用抽象的空間語義表示來描述每個人-物體對，然后利用雙重關系圖（dual relation graph，DRG）來聚合場景的上下文信息，其中一個以人為中心，一個以物體為中心。該模型能有效地捕捉來自場景的區(qū)別性線索，以解決局部預測時的歧義。不同于從其他物體、身體部位或場景背景中聚合上下文信息的方法，DRG 利用不同HOI 之間的關系來細化預測。

圖模型的強大推理能力對于HOI 檢測有重要的幫助，但是像GPNN 與VSGNet，只是簡單地根據(jù)人與物體的視覺特征來構(gòu)建圖模型，這樣的表示方法存在一定的局限性，它們不僅忽略了兩者在交互中扮演著不同的角色，也沒有考慮如何使用其他的信息來完善圖模型。吳偉等人通過引入注意力機制的特征處理網(wǎng)絡來完善圖模型的構(gòu)建，VS-GATs 與DRG 則是根據(jù)不同的信息分別構(gòu)建了兩個不同的圖模型來共同分析這一問題。除此之外，GAT 也在一些方法中被應用進來。

現(xiàn)有的研究表明，僅僅依靠人和物的外觀特征以及兩者的空間關系遠遠不能滿足HOI 檢測的需要。因此，一些研究開始引入額外的信息以提高HOI檢測的精確度，其中人的身體部位和姿態(tài)就是一種重要的信息。

傳統(tǒng)方法將人體視為一個整體，并對整個身體區(qū)域給予相同的關注，但是它們忽略了通常情況下人類只使用身體的某些部分與物體進行交互。2018年，F(xiàn)ang 等人認為不同的身體部位應該得到不同的重視，并且不同身體部位之間的相關性也應該進一步考慮，這是因為身體部位總是協(xié)同工作，于是他們提出了一個新的成對的身體部位注意模型，其結(jié)構(gòu)如圖5 所示。它可以通過學習來關注關鍵部位以及它們之間的相關性，用來進行HOI 識別。對于人體部位及其成對相關性，使用成對感興趣區(qū)域（region of interest，ROI）池化，將成對的身體部位的聯(lián)合特征映射池化，并舍棄其他身體部位的特征。此外，該模型首次將注意力機制應用于人體部位相關性來檢測HOI。

圖5 成對的身體部位注意模型Fig.5 Model of pairwise body-part attention

雖然交互性是HOI 檢測的一個基本要素，但是它可以用于提高網(wǎng)絡檢測性能的作用往往被忽視，并且與具體的HOI 類別相比，互動性包含更多的基本信息，而這種屬性使得交互性更容易在數(shù)據(jù)集之間傳遞。受到這一啟發(fā)，Li等人提出了一種交互識別方法TIN（transferable interactiveness knowledge network），其核心思想是利用交互網(wǎng)絡從多個HOI 數(shù)據(jù)集學習一般的交互知識，并在推理過程中的HOI 分類之前執(zhí)行非交互抑制（non-interaction suppression，NIS）。也就是說，在HOI 分類之前，就明確區(qū)分非交互對并抑制它們，從而減少過多非互動候選對造成的干擾。交互網(wǎng)絡使用人、物體和空間姿態(tài)流從人和物體的外觀、空間位置和人的姿態(tài)信息中提取特征，然后三個流的輸出連接起來并輸入到交互鑒別器中。由于交互性提供了額外的信息來幫助HOI 分類，并且獨立于HOI 分類之外，這使得它擁有良好的泛化性從而可以跨數(shù)據(jù)集傳輸，并且可以與任何HOI檢測模型相結(jié)合，從而增強為不同HOI 環(huán)境設計的HOI模型。

相較于上述兩種只是將人體姿態(tài)作為人體部分和物體之間的空間約束的方法，Wan 等人考慮到人-物體外觀和空間配置的巨大差異以及相似關系間的細微差異，于2019 年提出了姿態(tài)感知多級特征網(wǎng)絡（pose-aware multi-level feature network，PMFNet），它利用人體姿態(tài)線索來捕捉關系的全局空間配置，并作為一種注意力機制來動態(tài)放大人體部分級別的相關區(qū)域的多級關系檢測策略。具體來說，使用一個多分支深層網(wǎng)絡來學習三個語義層次上的姿態(tài)增強關系表示，包括交互上下文、目標特征和詳細的局部線索。

Zhou 和Chi則是將圖模型與身體部位相結(jié)合，提出了關系解析神經(jīng)網(wǎng)絡（relation parsing neural network，RPNN），該網(wǎng)絡由兩個基于注意力的圖表示，一個是動態(tài)捕捉身體部位和周圍對象之間關系的物體-身體部位圖，一個是推理人體與身體部位之間關系的人-身體部位圖，并組合身體部位上下文來預測動作。RPNN 引入了詳細的身體部位特征，并且模型結(jié)合了用于特征細化的圖結(jié)構(gòu)，而不是GPNN 中的基于粗略的人/物體外觀特征來擴展可學習的圖模型以獲取強有力的表示。它與以實例為中心的圖像注意ICAN 不同，該研究認為物體和身體部位才是需要注意的最有趣的區(qū)域。因此，基于檢測到的身體部位和對象，明確引入物體-身體部位注意機制和人體-身體部位注意機制來聚焦感興趣的對象和身體部位區(qū)域。相較于成對的身體部位注意模型為身體各部分之間的配對關系建模，RPNN 則是把重點放在了對物-身體部分對以及人-身體部分對之間的關系進行建模。此外，這是第一個在HOI 檢測中關注身體部位和物體之間的成對相關性的研究。

Liu 等人認為PMFNet 和RPNN 的成對特征不夠全面，導致不能更好地模擬身體部分和對象之間的微妙交互，而他們于2021 年提出的多級成對特征網(wǎng)絡（multi-level pairwise feature network，PFNet）包含更全面的成對特征，主要有三個組成部分（身體部分的視覺特征、物體的視覺特征及其相對空間配置）。此外，當對象被部分遮擋時，對象的語義標簽可以作為可靠的先驗以及對象外觀的替代。Sun 等人也發(fā)現(xiàn)了PMFNet 和RPNN 中存在的不足。首先，它們使用在目標檢測數(shù)據(jù)集上經(jīng)過預訓練的卷積神經(jīng)網(wǎng)絡（convolutional neural networks，CNN）主干來提取用于HOI 推理的視覺特征，導致交互短語（人-物對的聯(lián)合區(qū)域）和單個物體的外觀分布存在顯著的偏差。此外，它們根據(jù)檢測到的實體和人體部分的邊界框裁剪多級CNN 特征，以捕獲詳細的視覺線索，盡管利用了先前的位置信息，但是CNN 的特征仍然僅僅來源于圖像?；谶@兩點，Sun 等人提出了一個多層次條件網(wǎng)絡（multi-level conditioned network，MLCNet），旨在將額外的顯性知識與多層次視覺特征相融合。他們構(gòu)建了一個多分支CNN 作為多層次視覺表示的主干，然后通過仿射變換和注意機制，將包括人體結(jié)構(gòu)和對象上下文在內(nèi)的額外知識編碼為條件，以動態(tài)影響CNN 的特征提取，最后融合調(diào)制的多模態(tài)特征來區(qū)分相互作用。

Liang 等人則是提出了基于姿態(tài)的模塊化網(wǎng)絡（pose-based modular network，PMN），該模塊由一個獨立處理每個關節(jié)相對空間姿態(tài)特征的分支和另一個使用圖卷積更新每個關節(jié)絕對姿態(tài)特征的分支組成，最后把融合處理后的特征，送入動作分類器進行分類。該模塊能夠與現(xiàn)有網(wǎng)絡完全兼容，并在性能上有顯著的提高。

融入身體部位和姿勢的方法在準確率上已經(jīng)取得了很好的效果，雖然提取的上下文特征有利于特征表達，但是額外的注釋和計算是不可或缺的，帶來了很大的工作量和計算負擔，并且基于姿態(tài)的方法離不開預先訓練的人體姿態(tài)估計器，它對硬件設備的要求會更高。而TIN 與PMN 可以與不同方法進行結(jié)合，相較于其他方法靈活得多。

1.2 一階段方法

兩階段的HOI 檢測方法已經(jīng)取得了很大的進展，但其缺陷也很明顯，由于需要將檢測到人和物體先配對再進行交互預測，會產(chǎn)生高昂的計算代價且靈活性不足，其效率和有效性都受到其串行結(jié)構(gòu)的限制。隨著一階段目標檢測器的發(fā)展，開始有一階段的HOI 檢測器被提出?，F(xiàn)有的單級HOI 檢測器將HOI檢測公式化為并行檢測問題，它能夠直接從圖像中檢測HOI 三元組，一步到位的方法在效率和效果上都有較大的提高。

2020 年，Liao 等人提出了首個實時的一階段HOI 檢測方法PPDM（parallel point detection and matching），這一方法使用檢測框的中心點表示人和物體點，用人點和物體點間的中點表示交互點。該模型使用兩個并行分支分別進行點檢測和匹配，其中點檢測分支預測人、物體以及交互點，點匹配分支預測從交互點到其對應的人點和物體點的兩個位移。源自同一交互點的人點和物體點被視為匹配對，而不太可能形成有意義的HOI 三元組的孤立檢測框則會被抑制，增加了HOI 檢測的精度。此外，人和物體檢測框之間的匹配僅應用于有限數(shù)量的過濾后的候選交互點，節(jié)省了大量的計算成本。

受到無錨框物體檢測研究的啟發(fā)，Wang 等人也用點的思想解決HOI 檢測問題，通過將人和物體之間的相互作用定義為相互作用點，將HOI 檢測視為相互作用點估計問題，這是首個把HOI 檢測作為關鍵點檢測和分組問題的方法，被稱作IP-Net（interaction point）。基于交互點，該方法學習生成關于人和物體中心點的交互向量，并進一步引入了一種交互分組方案，該方案將交互點和向量與來自檢測分支的相應的人和物體邊界框預測配對，以產(chǎn)生最終的交互預測。

與前兩個基于點的方法不同，Kim 等人提出的面向?qū)崟r人機交互檢測的聯(lián)合檢測器（union-level detector towards real-time human-object interaction detection，UnionDet）是把從主干網(wǎng)絡獲得的特征金字塔同時送到聯(lián)合分支和實例分支。在聯(lián)合分支直接捕獲交互區(qū)域的同時，實例分支執(zhí)行傳統(tǒng)的目標檢測和動作分類，以獲得更細粒度的HOI 檢測結(jié)果。它不同于將每個目標對送入單獨的神經(jīng)網(wǎng)絡來關聯(lián)目標檢測結(jié)果，而是使用提出的聯(lián)合檢測框架直接檢測相互作用的人類對象對。這消除了在物體檢測之后對繁重的神經(jīng)網(wǎng)絡推理的需要，并且其能夠在現(xiàn)有物體檢測器的基礎上以最小的額外時間檢測交互。UnionDet 還能與現(xiàn)有的單階段目標檢測器兼容，如SSD、RetinaNet和STDN，并且是端到端可訓練的。

Chen 等人于2021 年提出的基于自適應集合的一階段框架（adaptive set-based one-stage framework，AS-Net）與之前方法都不同。PPDM 與IP-Net 都是基于點的方法，在每個交互關鍵點執(zhí)行推理，例如每個對應的人-物體對的中點；UnionDet 則是基于框的方法，根據(jù)每個聯(lián)合框預測交互。而AS-Net 將HOI 檢測表述為一個集合預測問題，具有并行的實例分支和交互分支，突破了現(xiàn)有方法以實例為中心和位置為中心的限制，通過聚集來自全局上下文的交互相關特征，并將每個基本事實與交互預測進行匹配，該網(wǎng)絡在特征聚集和監(jiān)督兩方面都表現(xiàn)出了自適應能力。此外，它的實例感知注意模塊有助于增強有指導意義的實例特征，并且還引入了語義嵌入來提高性能。

針對以上介紹的不同HOI 檢測方法，表1 分析了各類方法的優(yōu)點、缺點、適用場景等。

表1 不同HOI檢測方法比較Table 1 Comparison of different HOI detection methods

2 數(shù)據(jù)集與評價指標

2.1 數(shù)據(jù)集

V-COCO（verbs in common objects in context）數(shù)據(jù)集派 生自Microsoft COCO 數(shù) 據(jù)集，是Gupta 等人使用AMT（Amazon mechanical turk）通過連接相互作用的人和物體并標記它們的語義角色擴充MSCOCO 而來。它由含2 533 幅圖像的訓練集、2 867 幅圖像的驗證集和4 946 幅圖像的測試集三部分組成，其中訓練集和驗證集圖像來自COCO 的訓練集，測試集圖像來自COCO 的驗證集。V-COCO 數(shù)據(jù)集總共有10 346 幅圖像，其中包含了16 199 個人的實例，每個帶注釋的人有26 個不同的二進制動作標簽，同時含有80 個對象類別。過去大多數(shù)的數(shù)據(jù)集中每個人只有一個動作標簽，每幅圖像只有一個帶注釋的人，而V-COCO 中的人平均有2.87 個動作標簽，平均每張圖片上有1.57 個被標注了動作標簽的人，約有2 000 張含兩個人的圖像，800 張含3 個人的圖像。同時V-COCO 中的所有圖像都繼承了COCO 中的所有注釋，使得它可滿足各種研究任務的需求。

HICO-DET 數(shù)據(jù)集是一個專門用于HOI 研究任務的大型基準數(shù)據(jù)集，是Chao 等人在2018 年提出的，他們通過在AMT 上設置注釋任務來收集實例注釋，從而擴充只有圖像級注釋的HICO（humans interacting with common objects）數(shù)據(jù)集。HICO-DET比V-COCO 更大，也更多樣化，共有47 776 幅圖像，其中38 118 幅用于訓練，9 658 幅用于測試，有超過15萬個人類實例與600個HOI類別。同時，HICO-DET數(shù)據(jù)集包含與MS-COCO 相同的80 個對象類別。

雖然V-COCO 數(shù)據(jù)集與HICO-DET 數(shù)據(jù)集在近幾年一直是評估HOI 檢測任務的基準數(shù)據(jù)集，但是Liao 等人考慮到在實際應用中V-COCO 數(shù)據(jù)集與HICO-DET 數(shù)據(jù)集里需要特別注意的出現(xiàn)頻繁的HOI 類別有限，于是構(gòu)建了HOI-A（human-object interaction for application）數(shù)據(jù)集。HOI-A 數(shù)據(jù)集由38 668 個帶注釋的圖像組成，其中包含11 種交互物體和10 種交互動作。具體來說，它包含43 820 個人體實例，60 438 個物體實例和96 160 個交互實例。此外，為了擴大數(shù)據(jù)的類內(nèi)變化，HOI-A 數(shù)據(jù)集中每種類型的交互分為室內(nèi)、室外和車內(nèi)三種場景，包括了黑暗、自然和強烈的三種照明條件，以及各種不同的角度。

2.2 評價指標

在目標檢測任務中，如果算法預測的目標邊框與真實邊框（ground truth）重疊部分的交并比（intersection over union，IoU）大于0.5，則會被認為是真陽性（true positive，TP）。HOI 檢測任務在此判別基礎上進行了修改，認為只有同時滿足以下條件才能被判定為真陽性：（1）預測的人類邊框與其真實邊框（ground truth）之間的IoU 大于或等于0.5；（2）預測的物體邊框與真實的物體邊框之間的IoU 大于或等于0.5；（3）預測出的人與物體之間的交互動作與標簽標注的真實發(fā)生的交互動作一致。

遵循目標檢測的標準評估標準，使用平均精度（mean average precision，mAP）來評估HOI 檢測，它是AP（average precision）的平均值。要計算AP 需要用到混淆矩陣，如表2 所示。表2 中TP（true positive）表示模型的預測結(jié)果和樣本的真實類別一致均是正例；FN（false negative）表示模型預測的結(jié)果是反例，而樣本的真實類別是正例；FP（false positive）表示模型預測的結(jié)果是正例，而樣本的真實類別是反例；TN（true negative）表示模型的預測結(jié)果和樣本的真實類別均是反例。

表2 混淆矩陣Table 2 Confusion matrix

準確率（precision）指的是真正的正樣本占人-物體交互檢測模型預測出的全部正樣本的比例。定義如式（1）所示：

召回率（recall）指的是在所有真實的正樣本中，人-物體交互檢測模型預測為正確的正樣本所占的比例。定義如式（2）所示：

AP 指的是所有準確率的和占該類別的圖像數(shù)量的比例，它衡量的是在單個類別上模型判斷結(jié)果的好壞。定義如式（3）所示：

其中，表示，表示，()是一個以為參數(shù)的函數(shù)，函數(shù)的積分表示的是平均精準率，該公式表示的AP 值也可以看作是PR（precision-recall curve）曲線以下部分的面積。PR 特征曲線，即準確率-召回率曲線，在目標檢測、顯著性檢測等領域有廣泛的應用。

mAP 指的是平均精確率（AP）的平均值，它衡量的是在所有類別上模型判斷結(jié)果的好壞。定義如式（4）所示：

其中，表示HOI類的總數(shù)。

2.3 結(jié)果與分析

本文所述HOI 檢測模型在V-COCO 數(shù)據(jù)集和HICO-DET數(shù)據(jù)集上的測試結(jié)果分別如表3、表4所示。

表3 V-COCO 數(shù)據(jù)集測試結(jié)果Table 3 Results on V-COCO data set

與最早使用V-COCO 進行測試的文獻[15]相比，后面出現(xiàn)的方法在平均準確率上都取得了較高的提升，兩階段方法中融入注意力的方法將mAP 提升到了40%以上，融入人體姿勢和身體部位的方法由于加入額外的信息與融入圖模型方法準確率大都高于50%。一階段方法中基于框的UnionDet 的準確率略低于基于點的方法的準確率。AS-Net不僅是一階段方法中準確率最高的，與本文提到的其他方法相比，它也是效果最好的。

需要注意的是，在HICO-DET 數(shù)據(jù)集上提供了兩種設置：（1）已知對象設置（Known Object），對于每個HOI 類別，僅在包含目標對象類別的圖像上評估檢測；（2）默認設置（Default），對于每個HOI 類別，在整個測試集上評估檢測，包括包含和不包含目標對象類別的圖像，這顯然是更具難度的。這兩種設置下都包含了full、rare、non-rare 三種類別，full 表示數(shù)據(jù)集中的全部600 個HOI 類，rare 表示138 個少于10 個實例的HOI 類，non-rare 表示462 個擁有10 個或更多實例的HOI類。

與在V-COCO 數(shù)據(jù)集上的結(jié)果類似，一階段方法在HICO-DET數(shù)據(jù)集上也表現(xiàn)出了很好的結(jié)果，ASNet不僅在各種設置下都表現(xiàn)出了最高的準確率，并且明顯領先于其他方法，而其他方法之間則沒有如此明顯的差距。

目前HOI 檢測網(wǎng)絡主要從以下兩方面進行改進提升：

（1）替換主干網(wǎng)絡。主干網(wǎng)絡用于提取圖像特征，提取圖像特征是HOI檢測的一個重要環(huán)節(jié)，從表3、表4 中可以看出，大多數(shù)模型使用的特征提取主干網(wǎng) 絡是ResNet或是在其基礎上融入特征金字塔（feature pyramid networks，F(xiàn)PN）、可變形卷積網(wǎng)絡（deformable convolutional networks，DCN），也有方法使用CaffeNet、Hourglass-104來提取特征。

表4 HICO-DET 數(shù)據(jù)集測試結(jié)果Table 4 Results on HICO-DET data set %

（2）融入額外的信息。例如加入人體姿態(tài)與身體部分信息可以提升模型的理解能力。此外，也有像一階段方法一樣，使用新思路來解決HOI 檢測問題的方法出現(xiàn)。

3 目前挑戰(zhàn)和未來發(fā)展趨勢

3.1 主要挑戰(zhàn)分析

（1）數(shù)據(jù)集中不同類別間的實例樣本數(shù)量不平衡，一些常見的交互具有豐富的樣本，而一些不常見的交互甚至只有不到10 個樣本，這大大增加了訓練難度，還會造成過擬合。

（2）由于一張圖像中往往含有多個人和物體，若是將所有人和物體的組合窮舉出來再逐對進行推理判斷，則會給計算資源帶來巨大的負擔。

（3）兩階段模型雖然取得了不錯的準確率，但是受其串行結(jié)構(gòu)的限制，并不能用于對實時性要求較高的場景。

（4）目前的HOI 檢測模型主要基于V-COCO 和HICO-DET 等少數(shù)幾個公共基準數(shù)據(jù)集進行訓練和測試，雖然有的數(shù)據(jù)集中的類別有幾百個，但是由于缺少種類少而樣本多的專門針對某種特定場景的數(shù)據(jù)集，無法訓練出應用于特定使用場景的模型。

3.2 未來發(fā)展趨勢

自2018 年HO-RCNN 出現(xiàn)以來，兩階段的HOI檢測方法已經(jīng)被廣泛研究且逐漸趨于成熟，其中包括使用注意力機制、圖模型以及引入身體部分和姿勢等，而且最近的方法也不再僅僅是使用其中一種，而是融合兩種或多種。就平均精確率來看，兩階段方法已經(jīng)取得了不錯的結(jié)果。

（1）在兩階段方法中，圖網(wǎng)絡的強大的推理能力非常適用于解決HOI 檢測任務，但大多數(shù)以前的工作未能利用圖形中的空間關系信息。因此，如何引入其他信息來完善圖模型的構(gòu)建還有較大的研究空間。

（2）與兩階段方法相比，一階段方法更快、更高效，不需要在不同階段之間切換模型，也不需要保存或加載中間結(jié)果，更容易在實際應用中部署，并且還擁有不輸兩階段方法的準確率，在將來勢必會成為HOI 檢測領域的重要研究方向。此外，使用它擴展處理一些相關問題，如視覺關系檢測和多目標跟蹤等也是值得研究的方向。然而，剛剛起步的一階段方法仍然有許多需要解決的問題，比如需要復雜的后期處理來對目標檢測結(jié)果和交互預測進行分組，對相互作用區(qū)域或點的定義仍然相對粗糙等。因此，如何簡化后期處理以及怎樣處理好與交互區(qū)域相關的語義歧義是未來研究中亟需解決的問題。

（3）近兩年有研究旨在直接解決不同類別樣本數(shù)量不均衡所造成的長尾（long tail）問題以及人-物對組合爆炸問題，Shen 等人提出了一種弱監(jiān)督模型，首次將零樣本學習（zero-shot learning）擴展到HOI識別中，實現(xiàn)對數(shù)據(jù)集中未出現(xiàn)過的HOI類別的識別。Ji 等人提出的少樣本HOI 檢測方法SAPNet與DGIG-Net也能有效解決這兩個問題。由于少樣本的HOI 檢測是為直接解決HOI 檢測中最重要的兩個問題而設計的，是解決HOI 檢測問題必要深入研究的重要方向。

（4）為了能夠更好地將HOI 檢測技術(shù)應用于現(xiàn)實中的特定場景，迫切需要更多像HOI-A 這樣包含更具針對性動作的或更具實際意義動作的數(shù)據(jù)集來進一步推動這項技術(shù)的發(fā)展與應用。在評價指標上，隨著一階段方法的興起，除了模型的準確率外，檢測速率也將會成為用于評價模型的重要指標。

4 結(jié)束語

隨著深度學習和目標檢測技術(shù)的發(fā)展，HOI檢測技術(shù)得到了快速發(fā)展。本文將HOI 檢測技術(shù)分兩階段方法與一階段方法分別進行闡述，其中將兩階段方法分為三類著重進行介紹，而一階段方法是2020年開始出現(xiàn)的，目前的研究相對較少。目前HOI 檢測技術(shù)已經(jīng)在多個領域發(fā)揮其作用，相信在將來，人-物交互檢測技術(shù)會吸引越來越多研究者的目光，并且會有越來越多的突破性的進展出現(xiàn)。后續(xù)將會對使用圖神經(jīng)網(wǎng)絡的HOI檢測方法進行深入研究，同時也會對一階段方法進行持續(xù)研究以提高模型的檢測效率。