基于ＣＬＩＰ 的多模態(tài)視頻文本檢索系統(tǒng)

葉柯 陳相余 麻福旦

摘 要：計(jì)算機(jī)視覺(jué)（Computer Vision，CV）與自然語(yǔ)言處理（Natural Language Processing，NLP）技術(shù)已逐漸趨于成熟，結(jié)合視覺(jué)和語(yǔ)言的多模態(tài)領(lǐng)域技術(shù)將成為學(xué)界和業(yè)界的研究熱點(diǎn)。文章使用CLIP 預(yù)訓(xùn)練模型，結(jié)合圖像與語(yǔ)言兩種模態(tài)信息，進(jìn)一步將圖像拓展至視頻，利用 Fmpeg 處理視頻，并對(duì)視頻與文本信息進(jìn)行嵌入（embedding）和余弦相似度匹配，從而實(shí)現(xiàn)利用純文本檢索視頻中符合該文本語(yǔ)義的片段。

關(guān)鍵詞：多模態(tài);CLIP;FFmpeg 處理;文本檢索視頻

中圖法分類號(hào)：TP311文獻(xiàn)標(biāo)識(shí)碼：A

１ 引言

隨著社交媒體和視頻分享平臺(tái)的迅猛發(fā)展，人們每天都生產(chǎn)大量的視頻內(nèi)容，這些視頻包含豐富的視覺(jué)信息。然而，要從龐大的視頻庫(kù)中檢索到與特定文本語(yǔ)義相關(guān)的片段卻變得愈發(fā)具有挑戰(zhàn)性，除了用人眼進(jìn)行人工檢索這種費(fèi)時(shí)費(fèi)力的解決方案外，傳統(tǒng)的基于文本的檢索方法難以充分利用視頻中的視覺(jué)信息，而基于視覺(jué)的方法又難以理解文本語(yǔ)義。因此，將視覺(jué)和語(yǔ)言進(jìn)行融合的多模態(tài)技術(shù)成為解決這一難題的關(guān)鍵。

綜上所述，高效可用的多模態(tài)視頻文本檢索具有廣泛的應(yīng)用前景和重要的實(shí)際意義，可以為大規(guī)模視頻內(nèi)容的管理和組織提供強(qiáng)有力的工具。

２ 發(fā)展現(xiàn)狀

近年來(lái)， 深度學(xué)習(xí)和預(yù)訓(xùn)練模型快速發(fā)展，Ｚｈａｎｇ［１］ 總結(jié)了視頻文本定位任務(wù)的基本概念和當(dāng)前的研究現(xiàn)狀，并對(duì)主流的解決方案進(jìn)行了分類。主流視頻文本檢索方案如圖１ 所示。

目前，視頻文本定位方案通常需要經(jīng)過(guò)訓(xùn)練，以便模型能夠?qū)W會(huì)正確地定位視頻中的文本。例如，Ｇａｏ［２］ 第一次提出了視頻文本定位的范式，利用滑動(dòng)窗口的方式截取視頻片段并與標(biāo)簽進(jìn)行匹配，隨后Ｙｕａｎ［３］ 去掉了滑動(dòng)窗口算法，引入ａｔｔｅｎｔｉｏｎ，Ｚｈａｎ 在ＶＳＬＮｅｔ［４］ 中引入了ｑｕｅｒｙ?ｇｕｉｄｅ?ｈｉｇｈｌｉｇｈｔ 機(jī)制，進(jìn)一步提升了檢索精度；為了訓(xùn)練這樣的模型，其采用了使用標(biāo)注的ｓｔａｒｔ 和ｅｎｄ 標(biāo)簽來(lái)指示文本在視頻中的位置。在標(biāo)注數(shù)據(jù)集時(shí)，標(biāo)注人員根據(jù)視頻中出現(xiàn)的文本內(nèi)容和時(shí)間點(diǎn)，手動(dòng)標(biāo)注出文本的起始位置和結(jié)束位置?；诖耍谟?xùn)練過(guò)程中模型可以通過(guò)學(xué)習(xí)這些標(biāo)簽來(lái)理解文本在視頻中的位置關(guān)系。

然而，這種訓(xùn)練方式往往導(dǎo)致模型的泛化性較差，即在面對(duì)新的、未見(jiàn)過(guò)的視頻場(chǎng)景時(shí)，模型無(wú)法準(zhǔn)確地進(jìn)行文本定位。并且訓(xùn)練過(guò)程產(chǎn)生的成本通常較高，故期望能夠采用無(wú)監(jiān)督的方式進(jìn)行視頻文本定位，不僅可以保證更好的魯棒性，而且更能節(jié)省人工標(biāo)注等數(shù)據(jù)及相關(guān)的訓(xùn)練成本。在多模態(tài)方面，ＯｐｅｎＡＩ 通過(guò)對(duì)比學(xué)習(xí)的方式訓(xùn)練得到ＣＬＩＰ 模型，作為預(yù)訓(xùn)練模型，它可以同時(shí)理解圖片和文本的語(yǔ)義信息，且能夠在沒(méi)有任何特定任務(wù)標(biāo)注的情況下，學(xué)習(xí)到跨模態(tài)的語(yǔ)義表示，這使得ＣＬＩＰ 在圖像分類、文本分類、圖像生成描述等［５］ 多種任務(wù)上都有出色表現(xiàn)。本文利用ＣＬＩＰ 預(yù)訓(xùn)練模型，將圖片拓展為視頻，實(shí)現(xiàn)ｚｅｒｏ?ｓｈｏｔ 的視頻文本檢索。

３ 系統(tǒng)構(gòu)建

３．１ 前端設(shè)計(jì)

系統(tǒng)前端使用Ｓｔｒｅａｍｌｉｔ 框架搭建。Ｓｔｒｅａｍｌｉｔ 是一個(gè)用于構(gòu)建數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)應(yīng)用程序的開(kāi)源Ｐｙｔｈｏｎ 框架，其具有簡(jiǎn)單的ＡＰＩ 和直觀的設(shè)計(jì)，便于構(gòu)建交互式應(yīng)用程序，可使用少量代碼創(chuàng)建數(shù)據(jù)可視化和用戶界面；頁(yè)面可以即時(shí)顯示和預(yù)覽應(yīng)用程序的變化，進(jìn)行快速調(diào)試和實(shí)驗(yàn)；同時(shí)，Ｓｔｒｅａｍｌｉｔ 的自動(dòng)化布局功能使得構(gòu)建應(yīng)用程序界面變得更加簡(jiǎn)單和高效，其開(kāi)源的組件化模式具有可重用性、模塊化開(kāi)發(fā)、易于維護(hù)和更新、可測(cè)試性以及靈活性和可擴(kuò)展性等優(yōu)點(diǎn)。系統(tǒng)前端交互界面如圖２ 所示。

３．２ 后端設(shè)計(jì)

使用Ｐｙｔｈｏｎ 進(jìn)行后端開(kāi)發(fā)，并使用ＦＦｍｐｅｇ 對(duì)上傳的視頻進(jìn)行處理。ＦＦｍｐｅｇ 是一個(gè)開(kāi)源的多媒體處理工具集，提供了多種音頻和視頻處理功能，它可以用于轉(zhuǎn)換、編輯和流式傳輸多媒體內(nèi)容，支持幾乎所有常見(jiàn)的音頻和視頻格式。前端Ｓｔｒｅａｍｌｉｔ 為Ｐｙｔｈｏｎ框架，簡(jiǎn)單易用，可直接與后端交互，故在后端進(jìn)行模塊化功能編程時(shí)，在前端框架中通過(guò)函數(shù)接口的方式來(lái)調(diào)用后端算法和模型，在一定程度上降低了系統(tǒng)的耦合度，并且采用并行的策略調(diào)用后端算法，這使得系統(tǒng)可以實(shí)現(xiàn)多線程的監(jiān)聽(tīng)，可以有效防止函數(shù)接口堵塞等待問(wèn)題。

用戶自行上傳視頻，進(jìn)行預(yù)處理后，輸入目標(biāo)視頻片段相關(guān)的文本即可進(jìn)行檢索，如圖３、圖４ 所示。

由此可見(jiàn)，基于ＣＬＩＰ 預(yù)訓(xùn)練模型實(shí)現(xiàn)的ｚｅｒｏ?ｓｈｏｔ視頻文本檢索任務(wù)無(wú)需經(jīng)過(guò)訓(xùn)練，僅通過(guò)推理，便可以準(zhǔn)確地提取視頻片段中的人物行為信息，顯示出其優(yōu)秀的泛化性和用于視頻文本檢索的巨大潛力。除對(duì)行為信息的視頻檢索外，本文同樣對(duì)視頻中個(gè)體特征的識(shí)別進(jìn)行了相關(guān)實(shí)驗(yàn)。

對(duì)于同一個(gè)視頻，用戶可以通過(guò)文本描述想要檢索的個(gè)體特征，如“ｗｈｉｔｅ ｄｏｇ”“ｙｅｌｌｏｗ ｄｏｇ”，實(shí)現(xiàn)語(yǔ)義級(jí)別的視頻片段定位，如圖５、圖６ 所示。

３．３ 視頻文本檢索系統(tǒng)設(shè)計(jì)

首先，利用ＦＦｍｐｅｇ 對(duì)用戶上傳的視頻進(jìn)行裁剪，離散地抽取視頻中若干幀，這可以有效地減少視頻特征中的冗余信息以及計(jì)算量。其次，利用ＣＬＩＰ 對(duì)抽得的幀進(jìn)行特征提取和嵌入向量，用戶輸入文本信息后，再利用ＣＬＩＰ 將文本進(jìn)行特征提取得到嵌入向量。

最后，將文本特征與視頻特征進(jìn)行匹配，計(jì)算ｃｏｓｉｎｅ?ｓｉｍｉｌａｒｉｔｙ，根據(jù)用戶前端控制的ｔｏｐ?ｋ 來(lái)決定索引返回的視頻片段數(shù)量，然后根據(jù)相似度計(jì)算得到視頻片段并與文本匹配分?jǐn)?shù)進(jìn)行降序反饋和顯示。視頻文本檢索系統(tǒng)設(shè)計(jì)如圖７ 所示。

４ 結(jié)束語(yǔ)

針對(duì)近年來(lái)視頻數(shù)據(jù)爆炸式增長(zhǎng)的狀況，本文基于ＣＬＩＰ 預(yù)訓(xùn)練模型，利用文本實(shí)現(xiàn)視頻檢索，大幅降低人工進(jìn)行視頻檢索的成本。未來(lái)，隨著硬件算力的增長(zhǎng)，該模型將會(huì)有更大的使用空間，相信在相關(guān)技術(shù)更加成熟后，這套系統(tǒng)可以被應(yīng)用到社會(huì)更多行業(yè)中。例如，公安部門(mén)可以利用文本在海量的監(jiān)控視頻中尋找關(guān)鍵片段；利用輔助剪輯的功能幫助視頻后期相關(guān)人員在若干小時(shí)的拍攝素材中尋找想要的片段等。

參考文獻(xiàn)：

［１］ ＺＨＡＮＧ Ｈ，ＳＵＮ Ａ，ＪＩＮＧ Ｗ，ｅｔ ａｌ．Ｔｈｅ Ｅｌｅｍｅｎｔｓ ｏｆ ＴｅｍｐｏｒａｌＳｅｎｔｅｎｃｅ Ｇｒｏｕｎｄｉｎｇ ｉｎ Ｖｉｄｅｏｓ： Ａ Ｓｕｒｖｅｙ ａｎｄ ＦｕｔｕｒｅＤｉｒｅｃｔｉｏｎｓ［Ｊ］．ＩＥＥＥ Ｘｐｌｏｒｅ，２０２２，４５（８）：１０４４３?１０４６５．

［２］ ＧＡＯ Ｊ，ＳＵＮ Ｃ，ＹＡＮＧ Ｚ，ｅｔ ａｌ．ｔａｌｌ：ｔｅｍｐｏｒａｌ ａｃｔｉｖｉｔｙ ｌｏｃａｌｉ?ｚａｔｉｏｎ ｖｉａ ｌａｎｇｕａｇｅ ｑｕｅｒｙ （ｓｕｐｐｌｅｍｅｎｔａｌ ｍａｔｅｒｉａｌ）［Ｊ］．ＩＥＥＥＸｐｌｏｒｅ，２０１７，２１（１０）：５２６７?５２７５．

［３］ ＹＵＡＮ Ｙ，ＭＥＩ Ｔ，ＺＨＵ Ｗ．Ｔｏ Ｆｉｎｄ Ｗｈｅｒｅ Ｙｏｕ Ｔａｌｋ：ＴｅｍｐｏｒａｌＳｅｎｔｅｎｃｅ Ｌｏｃａｌｉｚａｔｉｏｎ ｉｎ Ｖｉｄｅｏ ｗｉｔｈ Ａｔｔｅｎｔｉｏｎ Ｂａｓｅｄ ＬｏｃａｔｉｏｎＲｅｇｒｅｓｓｉｏｎ ［ Ｊ］． Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＡＡＡＩ Ｃｏｎｆｅｒｅｎｃｅ ｏｎＡｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃ，２０１８，３３（１）：９１５９?９１６６．

［４］ ＺＨＡＮＧ Ｈ， ＳＵＮ Ａ， ＪＩＮＧ Ｗ， ｅｔ ａｌ． Ｓｐａｎ?ｂａｓｅｄ ＬｏｃａｌｉｚｉｎｇＮｅｔｗｏｒｋ ｆｏｒ Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｖｉｄｅｏ Ｌｏｃａｌｉｚａｔｉｏｎ ［ Ｊ ］．Ｐｕｂｌｉｓｈｅｒ：Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ，２０２０，２１（５）：６５４３?６５５４．

［５］ ＲＡＤＦＯＲＤ Ａ，ＫＩＭ Ｊ Ｗ，ＨＡＬＬＡＣＹ Ｃ，ｅｔ ａｌ．Ｌｅａｒｎｉｎｇ Ｔｒａｎｓｆｅｒ?ａｂｌｅ Ｖｉｓｕａｌ Ｍｏｄｅｌｓ Ｆｒｏｍ Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｓｕｐｅｒｖｉｓｉｏｎ［Ｊ］．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ，２０２１，１０（１３９）：８７４８?８７６３．

作者簡(jiǎn)介：

葉柯（２００２—），本科，研究方向：多模態(tài)、文本生成、目標(biāo)檢測(cè)。