AR與VR技術(shù)在冬季體育賽事中的應(yīng)用分析

牛鶴璇, 王艾莎, 胡 萍, 劉 梅

(1. 哈爾濱體育學(xué)院 休閑與社會(huì)體育系， 黑龍江 哈爾濱 150040；2. 哈爾濱體育學(xué)院 體育健康與人文系， 黑龍江 哈爾濱 150040)

虛擬現(xiàn)實(shí)(virtual reality,VR)技術(shù)是一種可以創(chuàng)建和體驗(yàn)虛擬世界的計(jì)算機(jī)仿真系統(tǒng)，它利用計(jì)算機(jī)生成一種模擬環(huán)境，使用戶沉浸到該環(huán)境中。增強(qiáng)現(xiàn)實(shí)(augmented reality,AR)技術(shù)是一種實(shí)時(shí)地計(jì)算攝影機(jī)影像的位置及角度并加上相應(yīng)圖像、視頻、3D模型的技術(shù)，是一種將真實(shí)世界信息與虛擬世界信息無(wú)縫集成的新技術(shù)。近年來(lái)，隨著計(jì)算機(jī)軟件硬件計(jì)算能力大幅提升，AR和VR技術(shù)發(fā)展迅速。AR和VR可以在轉(zhuǎn)播中為觀眾提供較強(qiáng)的交互性和真實(shí)性[1-2]，被廣泛應(yīng)用于體育賽事的直播中。由于體育賽事轉(zhuǎn)播，特別是冬季體育賽事轉(zhuǎn)播，存在比賽場(chǎng)地結(jié)構(gòu)相對(duì)復(fù)雜、運(yùn)動(dòng)員移動(dòng)速度較快和受氣候環(huán)境影響相對(duì)較大等問(wèn)題，在轉(zhuǎn)播過(guò)程中，跟蹤識(shí)別運(yùn)動(dòng)員和拼接運(yùn)動(dòng)圖像存在一定難度。

在關(guān)于冬季體育賽事中AR與VR技術(shù)應(yīng)用方面的研究中，文獻(xiàn)[3]在運(yùn)動(dòng)虛擬化場(chǎng)景的單點(diǎn)移動(dòng)相機(jī)中，提出了一種在運(yùn)動(dòng)場(chǎng)景中應(yīng)用AR的可用算法，將增強(qiáng)場(chǎng)景的圖像作為原始場(chǎng)景的一部分出現(xiàn)，但該方法在多點(diǎn)移動(dòng)相機(jī)中無(wú)法使用，導(dǎo)致圖像增強(qiáng)效果存在局限性。文獻(xiàn)[4]使用多臺(tái)攝像機(jī)拍攝多段視頻進(jìn)行體育場(chǎng)景的分析和可視化，由每幀虛擬視點(diǎn)附近的實(shí)際攝像機(jī)之間的視點(diǎn)插值合成，使自由視點(diǎn)視頻在AR系統(tǒng)中呈現(xiàn)，提升沉浸式可視化用戶體驗(yàn)，但對(duì)視頻的合成過(guò)程中存在延時(shí)和卡頓，并且識(shí)別精度較差。文獻(xiàn)[5]提出一種用于冰球識(shí)別和跟蹤的方法，利用相機(jī)自動(dòng)標(biāo)定算法對(duì)相機(jī)矩陣進(jìn)行測(cè)試，該方法從轉(zhuǎn)播中得到仿真數(shù)據(jù)集，但相機(jī)轉(zhuǎn)動(dòng)角度小于15度，導(dǎo)致識(shí)別跟蹤速度降低。文獻(xiàn)[6]運(yùn)用虛擬內(nèi)容的插入方式，檢測(cè)候選插入?yún)^(qū)域，自動(dòng)調(diào)整虛擬內(nèi)容到插入?yún)^(qū)域，利用攝像機(jī)對(duì)場(chǎng)景中的虛擬內(nèi)容進(jìn)行信息校準(zhǔn)處理，但這種方法過(guò)多依賴攝像機(jī)校準(zhǔn)，校準(zhǔn)效率較低。文獻(xiàn)[7]估計(jì)位置、方向和攝相機(jī)的焦距，利用霍夫變換提取地面線模型，根據(jù)KLT(Kanade-Lucas-Tomasi)跟蹤算法預(yù)測(cè)攝像機(jī)參數(shù)，并且在冰球賽場(chǎng)上進(jìn)行測(cè)試，同時(shí)提出了AR的配準(zhǔn)方法，從圖像平面上得到了圓形點(diǎn)的圖像，但該方法對(duì)地面線的提取和運(yùn)動(dòng)員圖像的提取存在不同步，影響轉(zhuǎn)播效果。文獻(xiàn)[8]設(shè)計(jì)了一種用于冬季賽事體育直播的增強(qiáng)現(xiàn)實(shí)系統(tǒng)，采用期望最大化方法尋找最優(yōu)特征點(diǎn)，通過(guò)播放視頻計(jì)算相機(jī)參數(shù)，派生出一個(gè)虛擬攝像機(jī)獲得各種虛擬場(chǎng)景，但該方法的實(shí)現(xiàn)復(fù)雜度較高，存在轉(zhuǎn)播延時(shí)。文獻(xiàn)[9]分析運(yùn)動(dòng)員在冬季賽場(chǎng)上的移動(dòng)軌跡對(duì)AR和VR的應(yīng)用影響，包括運(yùn)動(dòng)軌跡形成動(dòng)機(jī)、基于視覺(jué)的人員跟蹤和拍攝硬件等，但并沒(méi)有提出相應(yīng)的解決方案。文獻(xiàn)[10]利用卡爾曼濾波結(jié)合稀疏核主成分分析方法實(shí)現(xiàn)紅外小目標(biāo)跟蹤與檢測(cè)，但是該方法主要用于目標(biāo)跟蹤和檢測(cè)，并不適用于賽場(chǎng)上運(yùn)動(dòng)員識(shí)別。文獻(xiàn)[11]提出聯(lián)合雙邊濾波和非局部濾波的圖像去噪算法，提高了系統(tǒng)計(jì)算速度，降低了計(jì)算復(fù)雜度，可應(yīng)用于視頻轉(zhuǎn)播后續(xù)的圖像處理，但不能應(yīng)用于賽場(chǎng)上運(yùn)動(dòng)員識(shí)別。

為了更加清晰和流暢轉(zhuǎn)播冬季賽場(chǎng)上的實(shí)時(shí)畫(huà)面，本文設(shè)計(jì)了一種智能視頻分析系統(tǒng)，通過(guò)迭代最近點(diǎn)(iterative closest point,ICP)算法對(duì)視頻序列中的數(shù)據(jù)進(jìn)行匹配，利用單應(yīng)性矩陣把3D物體模型插入到圖像或者視頻中，成為原始場(chǎng)景的一部分，實(shí)現(xiàn)冬季體育賽事賽場(chǎng)上運(yùn)動(dòng)員準(zhǔn)確跟蹤和識(shí)別，以增強(qiáng)觀眾對(duì)AR與VR互動(dòng)體驗(yàn)感。

1 智能視頻分析系統(tǒng)原理與功能

本文設(shè)計(jì)的智能視頻分析系統(tǒng)模型如圖1所示。

圖1 智能視頻分析系統(tǒng)

智能視頻分析系統(tǒng)包括跟蹤多目標(biāo)、單應(yīng)性估計(jì)、運(yùn)動(dòng)員識(shí)別、訓(xùn)練序列管理等4個(gè)模塊，各個(gè)模塊的原理和功能如下。

1)跟蹤多目標(biāo)。智能視頻分析系統(tǒng)通過(guò)檢測(cè)跟蹤方法對(duì)賽場(chǎng)多個(gè)目標(biāo)進(jìn)行跟蹤，然后對(duì)跟蹤結(jié)果進(jìn)行分類。例如將紅色服裝運(yùn)動(dòng)員目標(biāo)分為一類，藍(lán)色服裝運(yùn)動(dòng)員目標(biāo)分為一類，之后對(duì)每個(gè)類別的運(yùn)動(dòng)員的運(yùn)動(dòng)狀態(tài)進(jìn)行聚類檢測(cè)。

2)利用ICP算法實(shí)現(xiàn)點(diǎn)對(duì)點(diǎn)集的配準(zhǔn)。在冬季體育賽場(chǎng)上，從多個(gè)角度獲得運(yùn)動(dòng)員的圖像，通過(guò)圖像空間變換尋找圖像點(diǎn)集之間的映射關(guān)系，使得采集到的圖像點(diǎn)與其空間位置點(diǎn)一一對(duì)應(yīng)，達(dá)到圖像信息融合的目的。例如對(duì)運(yùn)動(dòng)員圖像的重建，用攝像機(jī)對(duì)運(yùn)動(dòng)賽場(chǎng)進(jìn)行掃描，通常情況下不可能掃描一次就將場(chǎng)內(nèi)的物體全部掃描完成，可能會(huì)經(jīng)過(guò)多次掃描獲得某個(gè)物體的多角度圖像，也就是不同角度的點(diǎn)云，將這些點(diǎn)云融合到一起，可以融合成一個(gè)物體完整的3D圖像。

3)估計(jì)單應(yīng)性。利用ICP算法對(duì)圖像的單應(yīng)性矩陣進(jìn)行求解，得到圖像間的單應(yīng)性估計(jì)。單應(yīng)性可以理解為用單應(yīng)性矩陣來(lái)描述坐標(biāo)系之間的位置映射關(guān)系，通過(guò)ICP算法求出圖像點(diǎn)集的平移旋轉(zhuǎn)，變換物體的圖像視角。

4)識(shí)別運(yùn)動(dòng)員。采用馬爾科夫預(yù)測(cè)方法[12]，對(duì)開(kāi)闊空間中運(yùn)動(dòng)員的運(yùn)動(dòng)軌跡進(jìn)行統(tǒng)計(jì)，并加以識(shí)別。在智能視頻分析系統(tǒng)中，獲得賽場(chǎng)上運(yùn)動(dòng)員在各個(gè)時(shí)間段的運(yùn)動(dòng)軌跡，對(duì)運(yùn)動(dòng)軌跡進(jìn)行建模描述，然后建模為不同的運(yùn)動(dòng)狀態(tài)，預(yù)測(cè)運(yùn)動(dòng)員從初始狀態(tài)經(jīng)過(guò)多次狀態(tài)轉(zhuǎn)移后達(dá)到某個(gè)狀態(tài)的轉(zhuǎn)移概率，將狀態(tài)轉(zhuǎn)移概率和運(yùn)動(dòng)員實(shí)際的運(yùn)動(dòng)軌跡相結(jié)合，減少識(shí)別時(shí)間。

5)管理訓(xùn)練序列。在運(yùn)動(dòng)員的跟蹤和識(shí)別過(guò)程中，反復(fù)地對(duì)已經(jīng)獲得的現(xiàn)場(chǎng)數(shù)據(jù)做訓(xùn)練，對(duì)訓(xùn)練數(shù)據(jù)以列表的方式存儲(chǔ)于數(shù)據(jù)庫(kù)中，通過(guò)識(shí)別系統(tǒng)對(duì)訓(xùn)練結(jié)果進(jìn)行評(píng)估，增加識(shí)別精度。

智能視頻分析系統(tǒng)在圖像重建和訓(xùn)練序列管理方面的應(yīng)用如圖2所示。

圖2 圖像重建和訓(xùn)練序列管理

圖2(a)以場(chǎng)地中兩名運(yùn)動(dòng)員為例描述了7個(gè)時(shí)刻點(diǎn)的視頻圖像，其中每個(gè)數(shù)字代表在該時(shí)刻運(yùn)動(dòng)員的現(xiàn)場(chǎng)圖像，例如第一行圓圈1表示第一名運(yùn)動(dòng)員在t1時(shí)刻的圖像；第二行圓圈1表示第二名運(yùn)動(dòng)員在t1時(shí)刻的圖像，不同數(shù)字表示攝像設(shè)備對(duì)運(yùn)動(dòng)員不同角度的拍攝，通過(guò)獲取多幅不同時(shí)刻不同角度的圖像，并利用ICP算法進(jìn)行點(diǎn)云配準(zhǔn)，對(duì)運(yùn)動(dòng)員和其他物體進(jìn)行圖像拼接和角度轉(zhuǎn)換。

圖2(b)描述了采用智能視頻分析系統(tǒng)對(duì)運(yùn)動(dòng)員進(jìn)行訓(xùn)練序列管理的過(guò)程，以兩名運(yùn)動(dòng)員為例，第一序列和第二序列中的圓圈和方框分別描述了兩名運(yùn)動(dòng)員在不同時(shí)刻的位置，用連線來(lái)表示運(yùn)動(dòng)軌跡，也可稱為運(yùn)動(dòng)狀態(tài)。在訓(xùn)練序列管理中，運(yùn)動(dòng)員運(yùn)動(dòng)狀態(tài)的預(yù)測(cè)是基于訓(xùn)練數(shù)據(jù)來(lái)進(jìn)行的，例如獲得了賽場(chǎng)中前一個(gè)小時(shí)運(yùn)動(dòng)員的運(yùn)動(dòng)軌跡數(shù)據(jù)，將這些數(shù)據(jù)作為訓(xùn)練序列，建立馬爾可夫預(yù)測(cè)模型，預(yù)測(cè)運(yùn)動(dòng)員的后續(xù)運(yùn)動(dòng)趨勢(shì)，這樣做不僅能增加檢測(cè)精度，也能夠使現(xiàn)場(chǎng)設(shè)備拍攝得到多角度的運(yùn)動(dòng)員圖像，為3D圖像重建提供更多數(shù)據(jù)。

2 智能視頻分析系統(tǒng)的實(shí)現(xiàn)

2.1 運(yùn)動(dòng)員建模與識(shí)別

在設(shè)計(jì)的智能視頻分析系統(tǒng)中，通過(guò)圖像重建來(lái)識(shí)別運(yùn)動(dòng)員，然后通過(guò)馬爾可夫模型來(lái)對(duì)運(yùn)動(dòng)員進(jìn)行運(yùn)動(dòng)狀態(tài)預(yù)測(cè)，加強(qiáng)識(shí)別效果。

首先對(duì)運(yùn)動(dòng)員外形進(jìn)行建模。假設(shè)運(yùn)動(dòng)員的外形輪廓由N個(gè)點(diǎn)組成，每個(gè)點(diǎn)的坐標(biāo)記為ci=(xi,yi)，i表示運(yùn)動(dòng)員的第i個(gè)外形輪廓點(diǎn)的標(biāo)記計(jì)數(shù)值，xi,yi為ci對(duì)應(yīng)的x軸和y軸坐標(biāo)，運(yùn)動(dòng)員形心坐標(biāo)為c=(xc,yc),其定義為

運(yùn)動(dòng)員形狀用形心到目標(biāo)形狀的外輪廓點(diǎn)的距離來(lái)表示，這時(shí)二維平面中的運(yùn)動(dòng)員的形狀就被表示成一維的曲線。定義序列{di,i=1,2,…,N}為邊心距序列,其中

表示形心(xc,yc)到運(yùn)動(dòng)員外形輪廓點(diǎn)ci的歐幾里得距離。如果物體的形狀不發(fā)生變化，邊心距序列是不變的。當(dāng)物體的形狀發(fā)生變化時(shí)，邊心距序列也將隨之發(fā)生變化，對(duì)邊心距序列做歸一化處理

當(dāng)運(yùn)動(dòng)員形狀用邊心距序列表示之后，目標(biāo)形狀的旋轉(zhuǎn)就相當(dāng)于對(duì)邊心距序列進(jìn)行循環(huán)移位，將邊心距序列中的點(diǎn)作為點(diǎn)云配準(zhǔn)的起始點(diǎn)。

運(yùn)動(dòng)員形狀定位算法步驟如下。

步驟1計(jì)算運(yùn)動(dòng)員形心c=(xc,yc)。

步驟4計(jì)算運(yùn)動(dòng)員目標(biāo)的邊心距曲線和參考曲線的匹配起始位置。

步驟5計(jì)算運(yùn)動(dòng)員目標(biāo)形狀的旋轉(zhuǎn)量。

2.2 ICP算法和單應(yīng)性估計(jì)

在VR應(yīng)用領(lǐng)域中，3D點(diǎn)云配準(zhǔn)是非常重要的環(huán)節(jié)，雖然可以通過(guò)隨機(jī)采樣一致性算法、遺傳算法、主曲率算法等進(jìn)行點(diǎn)云配準(zhǔn)，但是ICP算法是基于幾何模型的3D對(duì)準(zhǔn)算法，因此在VR領(lǐng)域目前應(yīng)用最廣泛的還是ICP算法。ICP算法可以定義為給定兩個(gè)來(lái)自不同坐標(biāo)系的三維數(shù)據(jù)點(diǎn)集，找到兩個(gè)點(diǎn)集的空間變換，使這些點(diǎn)集能進(jìn)行三維空間匹配。這里用

P={Pj,j=1,2,…,N}

表示三維空間中的一個(gè)點(diǎn)集，另一個(gè)點(diǎn)集用

Q={Qj,j=1,2,…,N}

其中：‖·‖表示矩陣的范數(shù)；R表示旋轉(zhuǎn)變換矩陣；T表示平移變換矩陣；ICP算法是基于最小二乘法的最優(yōu)匹配，其本質(zhì)是計(jì)算出源點(diǎn)集和目標(biāo)點(diǎn)集的變換矩陣，通過(guò)旋轉(zhuǎn)和平移的方式使兩個(gè)點(diǎn)集的配準(zhǔn)誤差最小，達(dá)到最佳的配準(zhǔn)效果。

ICP算法的步驟如下。

步驟1設(shè)定點(diǎn)集配準(zhǔn)變換中的門限值τ。

步驟2對(duì)源點(diǎn)集P進(jìn)行采樣，P0∈P，P0表示源點(diǎn)集P中的一個(gè)子集。

步驟3在點(diǎn)云Q中進(jìn)行查找，找到與子集P0中每個(gè)點(diǎn)的最近點(diǎn)，即Pqi-Ppi的最小值，得到兩點(diǎn)云P和Q的初始的對(duì)應(yīng)關(guān)系。

步驟4利用算法或限定條件去除掉錯(cuò)誤的對(duì)應(yīng)點(diǎn)對(duì)。

步驟5根據(jù)步驟3中的對(duì)應(yīng)關(guān)系來(lái)計(jì)算兩個(gè)點(diǎn)云的變換矩陣，使目標(biāo)函數(shù)公式(1)的值最小，并將計(jì)算得出的變換矩陣作用于點(diǎn)云子集P0，得出變化后新的點(diǎn)云子集P′0。

把求單應(yīng)性矩陣的過(guò)程定義為單應(yīng)性估計(jì)，利用單應(yīng)性矩陣可以描述兩個(gè)坐標(biāo)系之間的位置映射關(guān)系，該過(guò)程中對(duì)應(yīng)的變換矩陣就是單應(yīng)性矩陣，單應(yīng)性矩陣定義為

其中：M是內(nèi)參矩陣；s表示尺度因子；fx、fy、u0、v0、γ分別表示相機(jī)的內(nèi)參；r1、r2和t表示相機(jī)的外部參數(shù)。通過(guò)單應(yīng)性矩陣可以進(jìn)行圖像的視角變換，前提是通過(guò)ICP算法得到旋轉(zhuǎn)變換矩陣R和平移變換矩陣T。

2.3 狀態(tài)更新

為達(dá)到運(yùn)動(dòng)狀態(tài)更新的目的，在數(shù)據(jù)關(guān)聯(lián)后，使用概率濾波器更新運(yùn)動(dòng)狀態(tài)，令t時(shí)刻圖像幀的軌跡狀態(tài)為st={xt,yt,wt,ht}，其中：xt和yt表示圖像坐標(biāo)；wt和ht分別表示圖像的寬度和高度。

由于幀的位置和大小可以發(fā)生改變，因此，定義δd為運(yùn)動(dòng)狀態(tài)標(biāo)準(zhǔn)差。由任一狀態(tài)出發(fā)經(jīng)過(guò)α次狀態(tài)轉(zhuǎn)移，達(dá)到另一狀態(tài)的概率定義為轉(zhuǎn)移概率，將轉(zhuǎn)移概率定義為

其中：st為t時(shí)刻的運(yùn)動(dòng)狀態(tài)；st-1為t-1時(shí)刻的運(yùn)動(dòng)狀態(tài)。

假設(shè)δe為每幀圖像對(duì)應(yīng)的運(yùn)動(dòng)狀態(tài)的標(biāo)準(zhǔn)差，則轉(zhuǎn)移概率為

增加和刪除運(yùn)動(dòng)狀態(tài)時(shí)，若探測(cè)均值沒(méi)有受到現(xiàn)有狀態(tài)的影響，就為探測(cè)均值關(guān)聯(lián)一個(gè)新的狀態(tài)。這里假設(shè)初始狀態(tài)為s0的概率為

3 實(shí)驗(yàn)結(jié)果與分析

為了評(píng)估系統(tǒng)的性能，利用平昌冬奧會(huì)美國(guó)隊(duì)與韓國(guó)隊(duì)冰球比賽小組賽的錄像視頻進(jìn)行測(cè)試。給出一個(gè)估計(jì)結(jié)果的圖像幀f及其最近的圖像幀f′，首先計(jì)算疊加的歸一化曲面為

其中：曲面(f∩f′)表示了兩幀之間的交叉面；曲面(f∪f(wàn)′)表示了兩幀之間的公共平面。如果存在歸一化曲面，認(rèn)為檢測(cè)結(jié)果是一個(gè)真正的陽(yáng)性檢測(cè)的疊加，陽(yáng)性檢測(cè)是指目標(biāo)存在時(shí)檢測(cè)到目標(biāo)數(shù)據(jù)，假陽(yáng)性檢測(cè)是目標(biāo)不存在時(shí)檢測(cè)到目標(biāo)數(shù)據(jù)，檢測(cè)精度定義為

其中：ω表示檢測(cè)精度；η表示陽(yáng)性值；μ表示假陽(yáng)性值。陽(yáng)性值是指在賽場(chǎng)上對(duì)運(yùn)動(dòng)員的正確跟蹤檢測(cè)結(jié)果，而假陽(yáng)性值是指錯(cuò)誤跟蹤監(jiān)測(cè)結(jié)果。

實(shí)驗(yàn)使用與文獻(xiàn)[4]相同的數(shù)據(jù)集，該數(shù)據(jù)集由1 000張游戲視頻序列圖像組成。將跟蹤和識(shí)別方法與文獻(xiàn)[4]提出的方法進(jìn)行比較。通過(guò)算法計(jì)算檢測(cè)精度和超分辨率，并與初始粒子濾波算法進(jìn)行對(duì)比。初始濾波算法對(duì)1 000幅經(jīng)過(guò)處理的視頻序列圖像的超分辨率平均精度為82.54%，檢測(cè)精度為84.22%。算法得到的超分辨率平均精度為92.01%，檢測(cè)精度為90.02%，與初始粒子濾波算法獲取的結(jié)果相比，其精度具有一定的提高。

利用提出的方法對(duì)韓國(guó)平昌冬奧會(huì)美國(guó)隊(duì)和韓國(guó)隊(duì)的冰球小組賽的錄像進(jìn)行檢測(cè)，在視頻序列中展示自動(dòng)處理的結(jié)果。雖然每隊(duì)有12名球員，但只有11名美國(guó)隊(duì)隊(duì)員和10名韓國(guó)隊(duì)隊(duì)員參加了比賽。一幅圖像中的最大檢測(cè)次數(shù)為10，即每隊(duì)5次。同時(shí)，利用高精度的分類器，將檢測(cè)結(jié)果分為兩組，并對(duì)其進(jìn)行后續(xù)識(shí)別。

在23 489幅圖像中進(jìn)行了174 221次檢測(cè)(檢測(cè)到85 632次美國(guó)隊(duì)隊(duì)員和88 589次韓國(guó)隊(duì)隊(duì)員)，通過(guò)25個(gè)視頻序列測(cè)試，對(duì)模型進(jìn)行評(píng)估。每組視頻序列有不同的長(zhǎng)度(持續(xù)時(shí)間)，從250幅圖像到1 350幅圖像不等，共對(duì)應(yīng)15 762幅圖像，其中系統(tǒng)檢測(cè)到100 322人次(56 235次美國(guó)隊(duì)隊(duì)員，44 087次韓國(guó)隊(duì)隊(duì)員)。測(cè)試結(jié)果表明,該方法的檢測(cè)精度提高了6%，識(shí)別標(biāo)識(shí)結(jié)果如圖3所示，說(shuō)明本系統(tǒng)能對(duì)賽場(chǎng)中的運(yùn)動(dòng)員進(jìn)行標(biāo)識(shí)，圖片中的陰影部分表示對(duì)賽場(chǎng)中的運(yùn)動(dòng)員進(jìn)行了大致的范圍標(biāo)注。

圖3 識(shí)別標(biāo)識(shí)結(jié)果

以2018年平昌冬奧會(huì)冰球球隊(duì)分類的部分結(jié)果為例，目標(biāo)識(shí)別場(chǎng)景如圖4所示。其中，使用實(shí)線框代表韓國(guó)隊(duì)國(guó)家隊(duì)隊(duì)員，虛線框代表美國(guó)國(guó)家隊(duì)的隊(duì)員，拒絕與“其他”類別相對(duì)應(yīng)的幀，可以看到，運(yùn)動(dòng)員分類成功地排除了裁判和觀眾以及其他物體的檢測(cè)，從而減少了運(yùn)動(dòng)員假陽(yáng)性檢測(cè)的數(shù)量。

圖4 目標(biāo)識(shí)別場(chǎng)景

冰球視頻自動(dòng)跟蹤與識(shí)別的結(jié)果如圖5所示。其中陰影框架內(nèi)的識(shí)別結(jié)果(隊(duì)伍名和運(yùn)動(dòng)員姓名)中包括錯(cuò)誤的識(shí)別目標(biāo)，例如圖中的球門。該系統(tǒng)能夠有效地對(duì)多名冰球運(yùn)動(dòng)員進(jìn)行跟蹤和識(shí)別，即使在遮擋的情況下，也可以得到正面和側(cè)面視圖的兩種配置。并且，在球衣上的數(shù)字不可見(jiàn)的情況下，由于身份識(shí)別系統(tǒng)使用的是時(shí)間互斥信息，運(yùn)動(dòng)員的身份仍然可以識(shí)別。圖5表明，跟蹤識(shí)別方法能夠?qū)悎?chǎng)上不同國(guó)家的運(yùn)動(dòng)員信息進(jìn)行準(zhǔn)確標(biāo)識(shí)，同時(shí)能夠?qū)⑦\(yùn)動(dòng)員與場(chǎng)地上其他目標(biāo)進(jìn)行區(qū)分。

圖5 冰球視頻自動(dòng)跟蹤與識(shí)別的結(jié)果

4 結(jié)語(yǔ)

應(yīng)用AR和VR技術(shù)，設(shè)計(jì)了一種冬季體育賽事賽場(chǎng)視頻認(rèn)別和跟蹤系統(tǒng)。該系統(tǒng)利用系統(tǒng)中的跟蹤多目標(biāo)、ICP算法、單應(yīng)性估計(jì)、運(yùn)動(dòng)員識(shí)別和訓(xùn)練序列管理等模塊對(duì)場(chǎng)地內(nèi)的運(yùn)動(dòng)員進(jìn)行跟蹤和識(shí)別。仿真結(jié)果表明，智能分析系統(tǒng)能夠?qū)悎?chǎng)上不同國(guó)家的運(yùn)動(dòng)員信息進(jìn)行準(zhǔn)確標(biāo)識(shí)，同時(shí)可以將運(yùn)動(dòng)員與場(chǎng)地上的其他目標(biāo)進(jìn)行區(qū)分，提高檢測(cè)精度，增加轉(zhuǎn)播內(nèi)容的真實(shí)性和交互性，提升觀眾體驗(yàn)。