視頻檔案資源多層級(jí)語義標(biāo)注框架構(gòu)建研究*

呂元智

（上海師范大學(xué)人文學(xué)院，上海 200234）

視頻檔案資源是一種以直觀的視覺形式記錄和存儲(chǔ)社會(huì)歷史活動(dòng)信息的第一手資源，它在社會(huì)活動(dòng)多維記錄、歷史原貌真實(shí)再現(xiàn)等方面具有不可替代的優(yōu)勢。進(jìn)入“聲屏閱讀”時(shí)代[1]以后，視頻檔案資源以其信息接收體驗(yàn)的優(yōu)勢日益受到用戶的關(guān)注和喜愛。然而，視頻檔案資源不同于一般的文本型檔案資源，它具有非結(jié)構(gòu)化、語義特征難以識(shí)別等特性，給管理和利用工作帶來了不少困難和挑戰(zhàn)。如何有效地揭示和標(biāo)注視頻檔案資源為用戶提供恰當(dāng)?shù)姆?wù)已成為當(dāng)前檔案服務(wù)部門亟待解決的現(xiàn)實(shí)問題。為此，國內(nèi)外研究者展開了相關(guān)研究。在國外，早在20世紀(jì)90年代就有學(xué)者開始這一領(lǐng)域的探索，如1991年Sugita[2]探討了日本國立民族學(xué)博物館多媒體數(shù)據(jù)庫系統(tǒng)的建設(shè)與利用問題。進(jìn)入21世紀(jì)后，尤其是隨著語義網(wǎng)、多媒體檢索技術(shù)的發(fā)展，相關(guān)研究更是引起了專家學(xué)者的關(guān)注。例如：2002年Zhou等[3]研究了視頻和音頻內(nèi)容分析、特征提取和聚類技術(shù)在視頻語義概念分類中的應(yīng)用，并利用視頻自動(dòng)分割、注釋和摘要技術(shù)等構(gòu)建了一種基于規(guī)則監(jiān)督的視頻分類系統(tǒng)；2010年Shibata[4]通過分析視頻制作原始備忘錄的描述風(fēng)格，構(gòu)建了視頻信息描述模型，并將其應(yīng)用于視頻數(shù)據(jù)庫建設(shè)；2017年Muehling等[5]基于深度學(xué)習(xí)方法開發(fā)出了一款集視覺概念檢測、相似性搜索、人臉識(shí)別等于一體的多媒體信息處理工具，以實(shí)現(xiàn)視頻資源的有效標(biāo)注和檢查。在國內(nèi)，隨著數(shù)字檔案館工程建設(shè)的推進(jìn)，視頻檔案資源的語義識(shí)別與描述問題也引起了專家學(xué)者的注意。例如：2001年黃偉紅等[6]在整合教學(xué)視頻資源時(shí)首次提出了基于RDF的元數(shù)據(jù)描述，將教學(xué)視頻數(shù)據(jù)分為整體視頻、分割視頻和多媒體對象3個(gè)層次，并定義相應(yīng)的特征類和典型特征；2003年李學(xué)朝[7]將體育視頻元數(shù)據(jù)描述為通用外部信息和結(jié)構(gòu)信息及其基于語義層次的對象信息；2013年王清等[8]認(rèn)為聲像文件的編目可建立三級(jí)目錄；2018年張美芳[9]認(rèn)為，音視頻檔案可以根據(jù)實(shí)際情況靈活選擇著錄結(jié)構(gòu)層級(jí)，既可嚴(yán)格按文件層、片段層、場景層、鏡頭層逐層著錄，也可跳過任意中間層直接進(jìn)行下位層的著錄；2019年蔡夢玲[10]以O(shè)AIS參考模型為基礎(chǔ)，從音視頻文件處理流程視角和對元數(shù)據(jù)內(nèi)容需求的視角構(gòu)建了音視頻數(shù)據(jù)庫的分層元數(shù)據(jù)描述模型。以上這些研究為視頻檔案資源的內(nèi)容揭示和語義標(biāo)注提供了理論與方法支持。然而，這些研究大多是從檔案實(shí)體管理的角度來探究視頻檔案資源描述問題，卻較少從內(nèi)容管理與用戶利用的視角來考量視頻檔案的標(biāo)注。基于此，本文根據(jù)視頻檔案資源記錄呈現(xiàn)的特性，構(gòu)建多層級(jí)視頻檔案資源語義標(biāo)注框架，以期解決視頻檔案資源不同層級(jí)粒度的語義揭示與標(biāo)注問題，為我國視頻檔案精細(xì)化服務(wù)工作提供借鑒和參考。

1 視頻檔案資源多層級(jí)語義標(biāo)注的含義

視頻檔案資源多層級(jí)語義標(biāo)注是指根據(jù)視頻檔案資源記錄呈現(xiàn)特點(diǎn)，在邏輯上將視頻檔案資源劃分為不同層級(jí)的描述粒度（如視頻文件、視頻片斷、活動(dòng)單元等），并逐一進(jìn)行語義概念析出和標(biāo)注的信息處理行為。其目的在于將非結(jié)構(gòu)化的視頻檔案資源內(nèi)容轉(zhuǎn)化為人與計(jì)算機(jī)能方便理解的結(jié)構(gòu)化語義信息，并為不同層次需求的視頻檔案利用提供相對應(yīng)的描述信息支持，將視頻檔案資源轉(zhuǎn)化為可以利用的檔案知識(shí)資源。從本質(zhì)上來看，視頻檔案資源多層級(jí)語義標(biāo)注是在視頻檔案資源結(jié)構(gòu)分析的基礎(chǔ)上，根據(jù)視頻檔案記錄內(nèi)容的邏輯界線，將視頻檔案資源劃分成不同級(jí)別的（宏觀、中觀、微觀等）描述粒度，進(jìn)而對其承載的信息（如主體、時(shí)間、地點(diǎn)、活動(dòng)、背景、主題等）進(jìn)行深度提取，并完成對應(yīng)的語義關(guān)系標(biāo)注，為視頻檔案資源深度聚合[11]奠定基礎(chǔ)。具體來講，它包含以下四層含義。

其一，它是視頻檔案資源邏輯單元?jiǎng)澐只A(chǔ)上的分層標(biāo)注。視頻檔案資源是社會(huì)活動(dòng)的第一手記錄材料，而具體的社會(huì)活動(dòng)往往具有一定的程序性，在邏輯層面上可以將其分解成不同層級(jí)的活動(dòng)單元。相對應(yīng)的視頻檔案資源，也可以劃分為不同顆粒度的視頻片斷或單元。在具體標(biāo)注工作中，它既要將視頻檔案資源解構(gòu)成相對獨(dú)立的視頻單元片斷（如對一個(gè)人的一次演講、一道工藝流程等）進(jìn)行標(biāo)注，又需要將整體的視頻檔案文件或部分（如一個(gè)活動(dòng)環(huán)節(jié)等）的視頻片斷作為描述對象進(jìn)行宏觀或中觀描述。即視頻檔案資源多層級(jí)語義標(biāo)注既有細(xì)粒度層面的深度標(biāo)注，也有粗粒度和中粒度層面的宏觀和中觀描述。

其二，它是視頻檔案資源從宏觀到微觀的多級(jí)組合標(biāo)注。在具體標(biāo)注工作中，它需要處理好視頻檔案資源語義標(biāo)注的整體與部分關(guān)系問題，注意整體宏觀描述與微觀單元揭示的結(jié)合，而不只是單一的視頻檔案文件宏觀描述或視頻檔案單元的細(xì)粒度標(biāo)注。即具體視頻檔案資源語義標(biāo)注工作，既要保障視頻檔案資源描述的系統(tǒng)性和全面性，又要注意視頻檔案資源內(nèi)容和內(nèi)在邏輯關(guān)系的深度揭示和展現(xiàn)，實(shí)現(xiàn)視頻檔案資源標(biāo)注的宏觀與微觀統(tǒng)一。

其三，它是對視頻檔案資源內(nèi)容和語義關(guān)系的標(biāo)注。視頻檔案資源多層級(jí)語義標(biāo)注不僅要對視頻檔案資源內(nèi)容進(jìn)行多層級(jí)描述，而且要對視頻檔案資源間的關(guān)系進(jìn)行深度揭示。除了從宏觀、中觀、微觀等層面揭示視頻檔案資源特征外，它還需要在各視頻單元間以及不同層級(jí)描述對象之間建立關(guān)聯(lián)關(guān)系，為后續(xù)的視頻檔案資源的語義組織與檢索等工作奠定基礎(chǔ)。

其四，它的目標(biāo)是將非結(jié)構(gòu)化的視頻檔案資源轉(zhuǎn)化為結(jié)構(gòu)化的視頻檔案知識(shí)資源，并在不同粒度層級(jí)上進(jìn)行表示，構(gòu)建起與不同層次利用需求相適應(yīng)的視頻檔案資源揭示與內(nèi)容呈現(xiàn)體系。

視頻檔案資源多層級(jí)語義標(biāo)注是對視頻檔案資源語義特征和內(nèi)在邏輯關(guān)系進(jìn)行深度揭示和描述的具體構(gòu)建過程，它是視頻檔案資源能否有效被精準(zhǔn)化管理和利用的基礎(chǔ)和前提，也是關(guān)系到視頻檔案資源能否被深度開發(fā)利用的保障。在當(dāng)前視頻檔案資源管理工作中，開展多層級(jí)語義標(biāo)注工作具有重要的現(xiàn)實(shí)意義。一方面，它可以將非結(jié)構(gòu)化的視頻檔案資源轉(zhuǎn)化為結(jié)構(gòu)化的視頻檔案知識(shí)資源，有利于降低計(jì)算機(jī)對視頻檔案資源內(nèi)容理解和識(shí)別的難度，從而真正高效地提升視頻檔案資源管理與利用效率。通過視頻檔案資源多層級(jí)語義標(biāo)注，構(gòu)建起與視頻檔案文件記錄敘事內(nèi)涵結(jié)構(gòu)相對應(yīng)的文本型描述體系，有效地彌補(bǔ)了當(dāng)前視頻語義檢索技術(shù)的缺陷，能提高計(jì)算機(jī)對視頻檔案內(nèi)容理解和識(shí)別的效率和精度。另一方面，通過多層級(jí)語義標(biāo)注將視頻檔案資源內(nèi)容進(jìn)行不同粒度級(jí)的揭示和描述，有利于將視頻檔案資源內(nèi)容充分地展示出來，為后續(xù)的視頻檔案資源檢索利用提供盡可能多的標(biāo)識(shí)，為其精準(zhǔn)化利用奠定基礎(chǔ)。同時(shí)，通過語義關(guān)系標(biāo)注將視頻檔案資源間的各類關(guān)系揭示出來，有利于豐富檔案資源間的各類語義關(guān)聯(lián)關(guān)系，為視頻檔案資源知識(shí)挖掘創(chuàng)造條件，從而真正促進(jìn)視頻檔案資源開發(fā)利用工作向智能化方向發(fā)展。

2 視頻檔案資源多層級(jí)語義標(biāo)注框架設(shè)計(jì)

鑒于上述視頻檔案資源多層級(jí)語義標(biāo)注內(nèi)涵的分析，現(xiàn)結(jié)合視頻語義標(biāo)注方法使用情況，本文采用基于本體的語義標(biāo)注方法[12]來完成視頻檔案資源多層級(jí)語義標(biāo)注工作。為了便于理解，設(shè)計(jì)多層級(jí)語義標(biāo)注框架來進(jìn)一步闡釋視頻檔案資源多層級(jí)語義標(biāo)注實(shí)現(xiàn)問題。具體框架由視頻檔案資源語義信息描述、視頻檔案資源語義標(biāo)注領(lǐng)域本體模型構(gòu)建以及視頻檔案資源語義標(biāo)注實(shí)現(xiàn)3個(gè)模塊構(gòu)成，如圖1[13-14]所示。其中，視頻檔案資源語義信息描述模塊的功能是在邏輯層面將視頻檔案文件從宏觀到微觀劃分為不同級(jí)別的描述粒度，并通過多維語義信息提取模板建立起相對應(yīng)的視頻資源庫，為視頻檔案資源語義標(biāo)注實(shí)現(xiàn)模塊提供具體的標(biāo)注對象；視頻檔案資源語義標(biāo)注領(lǐng)域本體模型構(gòu)建模塊的功能主要是為視頻檔案語義標(biāo)注提供領(lǐng)域概念詞匯和本體概念關(guān)系，為視頻檔案資源語義標(biāo)注提供規(guī)范；視頻檔案資源語義標(biāo)注實(shí)現(xiàn)模塊在視頻檔案資源語義標(biāo)注領(lǐng)域本體模型構(gòu)建模塊的支持下，利用映射模型對視頻檔案資源語義信息描述模塊提供的標(biāo)注對象進(jìn)行映射和語義標(biāo)注，形成語義標(biāo)注文件并存儲(chǔ)，從而完成視頻檔案資源多層級(jí)語義標(biāo)注任務(wù)。

圖1 視頻檔案資源多層級(jí)語義標(biāo)注框架

2.1 視頻檔案資源語義信息描述

視頻檔案資源是社會(huì)活動(dòng)的連續(xù)記錄，具有線性結(jié)構(gòu)特性，對其進(jìn)行揭示需要采取分層多維解構(gòu)的方式來實(shí)現(xiàn)。視頻檔案資源語義信息描述的任務(wù)就是在對視頻內(nèi)容進(jìn)行識(shí)別和理解的基礎(chǔ)上，從中抽取出視頻所包含的可被人類和計(jì)算機(jī)理解的高層語義概念。在具體操作中，它需要做好兩個(gè)方面的工作。

其一，視頻檔案資源描述層級(jí)劃分?；谝曨l檔案的利用要求和標(biāo)注成本考慮，本文從宏觀、中觀和微觀等層次來劃分視頻檔案資源描述層級(jí)，它分別對應(yīng)視頻文件、視頻片斷、視頻單元和關(guān)鍵幀。其中，第一層級(jí)是以視頻檔案文件為對象的粗粒度描述。從內(nèi)容揭示上來看，它主要以標(biāo)題、摘要等形式來揭示視頻檔案資源內(nèi)容，體現(xiàn)的是視頻檔案所承載的活動(dòng)整體概況。第二層級(jí)是以視頻片斷為對象的中粒度描述。它主要承載的是場景或內(nèi)容相同、相近的活動(dòng)內(nèi)容，如一場會(huì)議的開幕式、專題報(bào)告或會(huì)議總結(jié)等。第三層級(jí)是以視頻單元為對象的細(xì)粒度描述。這里的視頻單元是指記錄具有相對獨(dú)立意義的社會(huì)活動(dòng)場景內(nèi)容的最小視頻單位，它有可能是一個(gè)鏡頭或幾個(gè)鏡頭的組合，如一場20分鐘專家學(xué)術(shù)報(bào)告等。需要說明的是，在大多數(shù)視頻文件分割的操作中，往往采用鏡頭為單元進(jìn)行分割。目前這一做法雖然便于計(jì)算機(jī)自動(dòng)處理，但是它容易將視頻檔案所記錄的活動(dòng)分解成過多的碎片，容易破壞社會(huì)活動(dòng)記錄的連續(xù)性和完整性，且大幅度增加了視頻檔案資源描述和標(biāo)注的成本。第四層級(jí)是以關(guān)鍵幀為對象的圖像描述。它是在視頻單元為對象描述的基礎(chǔ)上，從每個(gè)鏡頭中選取有效關(guān)鍵幀，并對其進(jìn)行描述以供視頻索引之用。通過上述層級(jí)劃分，從宏觀、中觀和微觀層面將視頻檔案資源進(jìn)行不同粒度的分解，構(gòu)建一個(gè)基于包含與被包含關(guān)系的多層級(jí)的視頻檔案資源描述對象體系。

其二，視頻檔案資源多維語義信息提取。在上述視頻檔案資源描述層級(jí)劃分的基礎(chǔ)上，為了規(guī)范視頻檔案資源語義信息提取，構(gòu)建多維語義信息提取模板來完成具體的語義信息提取工作，具體模板描述維度和要素如表1[15-16]所示。具體的語義信息提取工作，可以利用這一框架，從形式特征、版權(quán)特征、內(nèi)容特征和語義關(guān)聯(lián)維度根據(jù)“描述要素”提取相關(guān)內(nèi)容，完成具體描述工作。需要說明的是，上述不同層級(jí)的視頻檔案資源描述對象，其語義信息提取的要求也不一樣。鑒于實(shí)踐操作的可行性和成本問題，本文建議具體視頻檔案語義信息提取以視頻單元為重點(diǎn)，盡可能詳細(xì)地提取視頻單元的各類語義信息，視頻檔案文件、視頻片斷等層級(jí)的描述可以根據(jù)實(shí)際需要適當(dāng)簡略，以降低實(shí)踐操作成本。

表1 視頻檔案資源多維語義信息提取維度與描述要素

通過視頻檔案資源層級(jí)劃分和多維語義信息描述，將不同層級(jí)（粒度）的視頻檔案標(biāo)注對象分別歸入視頻文件庫、視頻片斷庫、視頻單元庫和關(guān)鍵幀庫等，為多層級(jí)語義標(biāo)注工作做好準(zhǔn)備。

2.2 視頻檔案資源語義標(biāo)注領(lǐng)域本體構(gòu)建

本體是知識(shí)組織與管理的最基本工具之一，目前它在信息資源管理領(lǐng)域得到了較為廣泛的應(yīng)用。領(lǐng)域本體（Domain Ontology）是專業(yè)性的本體，它是對特定領(lǐng)域的概念模型的明確的、形式化的、可共享的規(guī)范說明[17]，其目標(biāo)是確定該領(lǐng)域內(nèi)共同認(rèn)可的詞匯，提供該領(lǐng)域特定的概念定義和概念之間的關(guān)系，實(shí)現(xiàn)該領(lǐng)域知識(shí)的共同理解[18]，達(dá)到促進(jìn)知識(shí)交流、共享、互操作、重用等目的。為此，為了推進(jìn)視頻檔案資源語義標(biāo)注的規(guī)范和效率，本文在借鑒相關(guān)研究成果[19-22]的基礎(chǔ)上，結(jié)合Ontology for Media Resource 1.0[23]及視頻檔案資源的特性，構(gòu)建視頻檔案語義標(biāo)注領(lǐng)域本體模型?；跈n案記錄的5W1H要素原則[24]，本文定義了主體、時(shí)間、地點(diǎn)、方式、活動(dòng)、背景、主題概念7個(gè)核心類及其之間的相互關(guān)系，如圖2[25]所示。

圖2 視頻檔案資源語義標(biāo)注領(lǐng)域本體模型

其中，主體類是視頻檔案內(nèi)容所涉及的個(gè)人、群體、組織機(jī)構(gòu)等的總稱，是視頻檔案所記錄社會(huì)活動(dòng)的實(shí)施主體，如報(bào)告人、項(xiàng)目組、承擔(dān)單位等；時(shí)間類主要是描述具體社會(huì)活動(dòng)在時(shí)間維度發(fā)展的階段，如活動(dòng)的某個(gè)具體環(huán)節(jié)（如會(huì)議總結(jié)、活動(dòng)持續(xù)的時(shí)間段等）；地點(diǎn)類主要表征社會(huì)活動(dòng)維度的呈現(xiàn)情況，如活動(dòng)發(fā)生的場所、地域范圍等；方式類是物類主體在具體活動(dòng)中所采用的方式和手段，如現(xiàn)場演示、致辭、口述等；活動(dòng)類是指活動(dòng)主體在具體活動(dòng)中通過方式類表現(xiàn)出來的具體內(nèi)容，如實(shí)驗(yàn)流程、課程內(nèi)容、工作報(bào)告等?；顒?dòng)類是視頻檔案資源語義標(biāo)注的重點(diǎn)，本文設(shè)計(jì)的語義標(biāo)注框架是基于活動(dòng)不同層級(jí)（粒度）分解而進(jìn)行的多重標(biāo)注。以一次學(xué)術(shù)會(huì)議的視頻檔案文件為例，“視頻文件”用于記錄整個(gè)會(huì)議活動(dòng)，“視頻片斷”記錄會(huì)議的一個(gè)階段或環(huán)節(jié)如會(huì)議的總結(jié)等，“視頻單元”記錄會(huì)議中某個(gè)最小單位的微觀事件如某個(gè)專家具體的學(xué)術(shù)報(bào)告等，“關(guān)鍵幀”記錄的是最小微觀事件中的一幅畫面如專家報(bào)告的照片等。背景類主要是用來反映或揭示社會(huì)活動(dòng)開展的動(dòng)因是什么，如新文科建設(shè)、科技創(chuàng)新、“一帶一路”等；主題類是視頻檔案資源描述所需的術(shù)語表和主題概念詞匯，主要用來表達(dá)視頻檔案資源的主題概念。

語義標(biāo)注領(lǐng)域本體模型是開展視頻檔案資源語義標(biāo)注工作的重要工具和指南。它不僅能為視頻檔案資源語義概念標(biāo)注提供規(guī)范的術(shù)語表和詞匯，還能為不同層級(jí)視頻檔案描述對象以及描述要素間的關(guān)聯(lián)提供規(guī)范和豐富的語義關(guān)系。通過構(gòu)建語義標(biāo)注領(lǐng)域本體模型，為下一步視頻檔案資源語義標(biāo)注實(shí)現(xiàn)做好準(zhǔn)備。

2.3 視頻檔案資源語義標(biāo)注實(shí)現(xiàn)

視頻檔案資源語義標(biāo)注的任務(wù)是將上述描述的各類視頻檔案資源對象在語義標(biāo)注領(lǐng)域本體的作用下，轉(zhuǎn)化為含有語義信息的、規(guī)范的視頻檔案知識(shí)資源并進(jìn)行存儲(chǔ)。具體來講，就是將多層多維描述的視頻檔案資源（視頻文件、視頻片斷、視頻單元、關(guān)鍵幀）與領(lǐng)域本體提供的語義概念集進(jìn)行映射，進(jìn)而利用RDF/XML賦予其語義，并對形成的RDF語義關(guān)系進(jìn)行存儲(chǔ)。

其一，將視頻檔案資源與語義概念進(jìn)行映射，賦予視頻檔案對象屬性及各類關(guān)系。具體工作主要有：一是利用領(lǐng)域本體模型將多層多維描述的信息轉(zhuǎn)化為規(guī)范的、可以共同理解的語義信息，并體現(xiàn)出各對象之間的關(guān)聯(lián)關(guān)系，為高層語義信息推理奠定基礎(chǔ)；二是解決視頻檔案資源對象不同層次之間的關(guān)系問題。這一方面可以通過映射模型[26]在視頻文件、視頻片斷、視頻單元、關(guān)鍵幀間建立語義關(guān)系，將這些不同層級(jí)的對象關(guān)聯(lián)成一個(gè)相互連接的視頻檔案資源整體，以方便用戶的關(guān)聯(lián)瀏覽利用等。

其二，利用RDF對視頻檔案資源各類描述對象進(jìn)行標(biāo)注，并對形成的RDF語義關(guān)系進(jìn)行存儲(chǔ)。在對各層級(jí)的視頻檔案資源對象提取的形式特征、版權(quán)特征、內(nèi)容特征、語義關(guān)聯(lián)進(jìn)行概念映射基礎(chǔ)上，利用RDF描述框架將具體對象如視頻單元、主體、背景等描述成一個(gè)由主謂賓結(jié)構(gòu)來表示的三元組，并生成命名圖，賦予唯一的、可識(shí)別的資源標(biāo)識(shí)符（URI）。利用RDF三元組對視頻檔案資源語義信息描述條目進(jìn)行一一描述，形成對應(yīng)的RDF文件并存儲(chǔ)，最終完成視頻檔案資源多層級(jí)語義標(biāo)注工作。

3 視頻檔案資源多層級(jí)語義標(biāo)注應(yīng)用實(shí)例與建議

3.1 語義標(biāo)注應(yīng)用實(shí)例

在不同層級(jí)上對視頻檔案資源進(jìn)行語義標(biāo)注是賦予其豐富語義的基礎(chǔ)性工作。為了驗(yàn)證本文設(shè)計(jì)的合理性，結(jié)合現(xiàn)有實(shí)驗(yàn)條件，采用手動(dòng)的方式以“新文科與大數(shù)據(jù)專題研討會(huì)”的視頻檔案文件為例進(jìn)行部分語義標(biāo)注。具體步驟如下。

第一，對視頻檔案文件進(jìn)行不同層級(jí)描述粒度的劃分。根據(jù)視頻檔案文件所記錄的活動(dòng)內(nèi)容，首先將視頻文件作為一個(gè)完整的描述對象；再按活動(dòng)發(fā)展的時(shí)間順序，將視頻文件切分為“開幕與致辭”“議題1：新文科與數(shù)字人文”“議題2：新文科數(shù)據(jù)基礎(chǔ)設(shè)施”“議題3：新時(shí)期的學(xué)科交融”“會(huì)議總結(jié)”等視頻片斷；最后將視頻片斷劃分為最小獨(dú)立意義的視頻單元，如劉煒做的學(xué)術(shù)報(bào)告“數(shù)字人文能給新文科帶來什么？”等，并從各個(gè)視頻單元中抽取關(guān)鍵幀?？紤]到描述的成本，一般一個(gè)鏡頭抽取一幅關(guān)鍵幀。如果活動(dòng)單元中含有多個(gè)鏡頭，則一一抽取關(guān)鍵幀。

第二，利用視頻檔案資源多維語義信息提取框架對不同層級(jí)的視頻檔案描述對象進(jìn)行相關(guān)語義信息提取，并利用領(lǐng)域概念集進(jìn)行映射處理，形成規(guī)范表述的語義信息。如“議題1：新文科與數(shù)字人文”視頻片斷中的劉煒學(xué)術(shù)報(bào)告“數(shù)字人文能給新文科帶來什么？”視頻單元就可以提取“劉煒”“數(shù)字人文”“新文科”“華東師范大學(xué)科技園”“2021.1.15”“學(xué)術(shù)報(bào)告”等語義信息。其他維度和層級(jí)的語義信息提取同理處理。

第三，利用視頻檔案資源語義標(biāo)注領(lǐng)域本體概念之間的關(guān)系和RDF標(biāo)注框架對具體對象一一進(jìn)行語義標(biāo)注，并將標(biāo)注后的視頻檔案資源對象進(jìn)行聚類和關(guān)聯(lián)處理。通過對“新文科與大數(shù)據(jù)專題研討會(huì)”視頻檔案資源各類對象進(jìn)行多層級(jí)語義標(biāo)注，將其變成一個(gè)個(gè)相互關(guān)聯(lián)的語義對象。例如，劉煒學(xué)術(shù)報(bào)告“數(shù)字人文能給新文科帶來什么？”視頻單元經(jīng)過語義標(biāo)注處理后，就形成一張如圖3所示的語義關(guān)聯(lián)網(wǎng)絡(luò)。它表達(dá)的主要內(nèi)容是：2021年1月15日劉煒在華東師范大學(xué)科技園舉辦的新文科與大數(shù)據(jù)專題研討會(huì)上作了“數(shù)字人文能給新學(xué)文科建設(shè)帶了什么？”學(xué)術(shù)報(bào)告，它屬會(huì)議“議題1：新文科與數(shù)字人文”部分。

圖3 視頻檔案資源多層級(jí)語義標(biāo)注示例（部分）

第四，將上述語義標(biāo)注結(jié)果進(jìn)行校驗(yàn)，并以文件為單位進(jìn)行存儲(chǔ)，將同一文件的RDF三元組保存為一個(gè)RDF文件，從而完成該視頻檔案資源的多層級(jí)語義標(biāo)注任務(wù)。

3.2 應(yīng)用建議

通過上述實(shí)例表明，多層級(jí)語義標(biāo)注框架從多層面、多維度來揭示和標(biāo)注視頻檔案資源語義信息，是切實(shí)可行的，并能較為全面、詳細(xì)地揭示視頻檔案資源所承載的語義信息，體現(xiàn)了視頻檔案資源宏觀描述與微觀標(biāo)注的統(tǒng)一，能適應(yīng)視頻檔案資源管理與利用需求。然而，這一框架的實(shí)施是一項(xiàng)較為系統(tǒng)的復(fù)雜工程，它需要檔案工作部門做好以下工作。

其一，做好視頻檔案文件標(biāo)注預(yù)處理工作。一是要加強(qiáng)視頻檔案文件形成的前端控制工作，盡可能按一件一活動(dòng)的原則來形成視頻源文件。為了便于更加高效地揭示和標(biāo)注視頻檔案資源，在實(shí)踐操作中，要盡可能形成活動(dòng)邊界分明、主題聚焦的小視頻文件，避免給后續(xù)的視頻檔案文件切割造成困難。二是要事先了解視頻檔案所記錄的活動(dòng)內(nèi)容，根據(jù)具體的社會(huì)活動(dòng)程序和場景特點(diǎn)等來劃分視頻檔案資源描述層級(jí)。這一方面，鑒于視頻自動(dòng)切割技術(shù)實(shí)現(xiàn)的限制，具體的視頻檔案描述層級(jí)劃分尤其是視頻片斷和視頻單元的劃分，現(xiàn)階段采用人工處理的方式為宜。另外，在具體操作上，在視頻文件編輯加工階段就可以有意識(shí)地植入相關(guān)操作，如在具體視頻文件中加入相關(guān)邊界標(biāo)識(shí)符等。三是根據(jù)實(shí)際需要和描述成本，合理安排不同層級(jí)視頻檔案資源描述詳略級(jí)別。本文設(shè)計(jì)的多層級(jí)語義標(biāo)注框架涉及視頻文件、視頻片斷、視頻單元以及關(guān)鍵幀的描述，考慮到描述與標(biāo)注的成本，在具體工作中需要根據(jù)實(shí)際情況作出詳略選擇。視頻單元是最基本的視頻檔案資源描述對象（細(xì)粒度），它是視頻檔案資源內(nèi)容深入揭示的關(guān)鍵，為此建議將視頻單元層級(jí)的描述作為視頻檔案資源描述的重點(diǎn)。而視頻文件、視頻片斷屬粗粒度和中粒度的描述對象，在具體描述工作中可以概要式地描述，突出核心要素即可。關(guān)鍵幀是視頻檔案資源揭示和描述的最小微粒，但它事實(shí)上只是具體鏡頭中一幅代表性的照片，往往只用作視頻檔案資源索引之用，故此在視頻檔案資源描述中也可以適當(dāng)簡略。

其二，不斷完善視頻檔案領(lǐng)域主題詞匯集。眾所周知，視頻檔案資源來源多樣，構(gòu)成復(fù)雜，涉及領(lǐng)域較多，主題概念詞匯集的形成是一件復(fù)雜和不斷優(yōu)化的工作。主題概念是視頻檔案資源語義標(biāo)注領(lǐng)域本體模型構(gòu)建的關(guān)鍵，它是關(guān)系到視頻檔案資源能否有效交流、共享、互操作、重用的基礎(chǔ)。目前，具體的視頻檔案領(lǐng)域主題詞匯集完善和優(yōu)化工作可以從以下三方面入手。一是參考和借鑒已有的詞表工具書如《中國檔案主題詞表》《漢語主題詞表》等來豐富和完善視頻檔案領(lǐng)域主題詞匯集。另外，針對一些特殊領(lǐng)域形成的視頻檔案資源描述需要，具體工作還需要參考和借鑒該領(lǐng)域的主題詞表如《醫(yī)學(xué)主題詞表》《航空科技資料主題詞表》等。二是引導(dǎo)社會(huì)力量參與視頻檔案領(lǐng)域主題詞匯集建設(shè)工作。一方面要發(fā)揮領(lǐng)域?qū)＜业淖饔?，聘請領(lǐng)域?qū)＜彝瓿上嚓P(guān)詞匯的選擇、編制與評(píng)價(jià)工作；另一方面要聚合眾智力量，引導(dǎo)社會(huì)一般用戶尤其是視頻檔案利用用戶參與到具體的詞匯集建設(shè)工作中來。三是定期對視頻檔案資源領(lǐng)域主題詞匯集進(jìn)行修訂和補(bǔ)充，以適應(yīng)視頻檔案資源語義標(biāo)注工作不斷發(fā)展的需要。

其三，建立用戶參與式的視頻語義標(biāo)注工作體系。視頻檔案資源多層級(jí)語義標(biāo)注是一項(xiàng)任務(wù)量極大的工作，完全依賴檔案工作部門來完成是不切實(shí)際的。為了更好地應(yīng)用本框架，建議建立用戶參與式的語義標(biāo)注工作體系。在用戶利用視頻檔案資源時(shí)，賦予用戶一定的資源描述和標(biāo)注的權(quán)限，在預(yù)定的規(guī)則和框架內(nèi)，鼓勵(lì)用戶利用自己的知識(shí)和經(jīng)驗(yàn)對視頻檔案資源進(jìn)行描述和語義標(biāo)注。當(dāng)然，用戶參與也會(huì)帶來一定風(fēng)險(xiǎn)，如描述錯(cuò)誤、標(biāo)注無意義等。為了規(guī)避用戶參與有可能帶來的風(fēng)險(xiǎn)，具體工作可以借鑒社會(huì)化標(biāo)注[27]、聯(lián)合開發(fā)[28]的一些經(jīng)驗(yàn)，將用戶形成的描述內(nèi)容和標(biāo)注結(jié)果獨(dú)立于原有的描述和標(biāo)注體系之外，并定期進(jìn)行審計(jì)等。在當(dāng)前，建立用戶參與的模式是有積極意義的，它不僅可以緩解檔案工作部門視頻檔案資源語義標(biāo)注的壓力，而且可以激發(fā)用戶參與視頻檔案資源建設(shè)的積極性，為視頻檔案資源建設(shè)與利用營造良好的社會(huì)生態(tài)環(huán)境。

4 結(jié)語

視頻檔案資源是語義最為豐富的檔案資源，對其進(jìn)行多層級(jí)、多維度語義揭示和標(biāo)注是視頻檔案資源被深度利用的基礎(chǔ)和前提。本文設(shè)計(jì)了多層級(jí)的視頻檔案資源語義標(biāo)注框架，其目的在于為目前計(jì)算機(jī)難以直接識(shí)別和理解的視頻檔案資源，構(gòu)建一個(gè)與之內(nèi)在語義邏輯相對應(yīng)的文本型信息建構(gòu)，為具體的視頻檔案資源語義揭示與標(biāo)注工作提供可操作的思路和實(shí)現(xiàn)框架。然而，視頻檔案資源構(gòu)成復(fù)雜，具體的語義標(biāo)注工作還需要在實(shí)踐中不斷優(yōu)化，它需要做好視頻檔案資源語義描述預(yù)處理、描述級(jí)次詳略選擇、領(lǐng)域主題詞匯完善以及語義標(biāo)注工作體系的合理設(shè)計(jì)與安排等工作。