籃球運動中AR技術運用探索及輔助訓練系統(tǒng)的設計

孟超杰 黃卓 彭勃宇

(1.江西交通職業(yè)技術學院 江西南昌 330013;2.南昌大學 江西南昌 330031;3.中國人民解放軍95429部隊 云南昆明 650100)

增強現(xiàn)實（Augmented Reality，AR）技術，是一種將計算機合成的虛擬信息按照人類認知規(guī)律疊加在真實場景上的信息呈現(xiàn)方法，具有信息呈現(xiàn)友好、沉浸感強、交互高效等特點。近幾年，AR技術在裝備維修［1］、交通管控［2］、教育［3］、傳媒［4］、軍事訓練［5］等眾多領域得到了廣泛運用。

目前，體育運動領域的AR應用主要集中在體育傳媒［6］、休閑娛樂和體育教育［7-8］方面，AR技術在各項專業(yè)運動領域的應用還處在探索和起步階段。近年來，隨著移動計算、無線通信、人工智能等支撐技術的發(fā)展，AR技術在專業(yè)運動領域的應用變得更加可行和實用。在籃球運動上，將AR 技術與運動跟蹤、分布式計算等技術結(jié)合，使其輔助球員、教練員、裁判員完成動作教學、數(shù)據(jù)統(tǒng)計、戰(zhàn)術決策、團體協(xié)同等內(nèi)容，可有效提高訓練質(zhì)量和實戰(zhàn)效率。

為此，該文結(jié)合籃球教學、訓練、實戰(zhàn)對抗中的關鍵環(huán)節(jié)，分析了AR技術在籃球運動中的應用潛力和優(yōu)勢所在，研究應用實現(xiàn)的關鍵技術和難點，設計了AR輔助籃球訓練系統(tǒng)的整體架構和功能模塊，以期為實現(xiàn)AR 技術在籃球運動及其他專業(yè)運動項目中的實踐應用提供模式參考和經(jīng)驗借鑒。

1 AR技術在籃球項目中的應用需求分析

1.1 球員層面

1.1.1 訓練環(huán)境營造

隨著城市公共用地短缺與公民日益增長的體育運動需求之間的矛盾升級，專業(yè)的籃球運動場地正在逐步成為“稀缺資源”，給籃球、足球等對場地要求較高的“大球”類運動的集體合訓帶來了不小的困難，很多隊伍常常在“找場地”問題上遇到困難。特別是在新冠肺炎疫情背景下，由于各地采取隔離防控措施，對于缺乏專用固定場地和運動員相對分散的非專業(yè)隊伍來說，籃球訓練受到了較大影響。為此，可使用AR系統(tǒng)進行輔助訓練，將隊友、場地、籃筐等訓練資源通過AR影像的方式“虛擬”呈現(xiàn)，為運動員營造具備較強“沉浸感”的多人訓練環(huán)境；通過多傳感器采集球員動作數(shù)據(jù)，并通過無線網(wǎng)絡和AR影像重建參訓球員動作，以提供真實的協(xié)作訓練效果，通過這樣的方式可有效解決訓練資源緊缺、人員聚集不便等現(xiàn)實問題。

1.1.2 訓練質(zhì)量提升

籃球訓練對抗性強、體力消耗大，在日常訓練中受到運動損傷風險、訓練節(jié)奏把控、球員心理等因素限制，往往難以模擬真實比賽的激烈對抗環(huán)境，在球員訓練方面受到了一定程度的限制。采用AR 系統(tǒng)營造訓練環(huán)境，相對于傳統(tǒng)訓練模式有幾點優(yōu)勢。一是突破心理限制。球員在虛實結(jié)合的環(huán)境中能夠采取比日常訓練和實際比賽中更加“自由”的動作和決策，能夠激發(fā)自身的自主性和創(chuàng)造性。同時，系統(tǒng)還能通過對動作的采集和分析，幫助球員對動作、決策的風險和價值進行判斷，有助于幫助球員設計適合自己的動作風格和戰(zhàn)術。二是模擬對手。結(jié)合采集到的先驗模式，AR系統(tǒng)可為球員呈現(xiàn)虛擬“對手”，提供多種類型的對抗環(huán)境，幫助球員創(chuàng)新對抗方式方法。三是降低風險。AR系統(tǒng)以“虛擬影像”替代“肢體對抗”，可降低高強度對抗動作的風險，可在為球員營造逼真氛圍的同時，最大程度減少激烈對抗中的運動損傷，尤其對賽前適應性訓練有較大幫助。

1.2 教練員層面

1.2.1 高效信息傳遞采集支撐教學

美國奧委會專家皮特溫特博士曾強調(diào)，“‘練習’和‘反饋’這兩件事情，對于技能發(fā)展和個人表現(xiàn)遠比其他事情更為重要。［9］”“反饋”過程的關鍵，就在于教練教學意圖的準確表達和對球員錯誤的及時發(fā)現(xiàn)、糾正。傳統(tǒng)教學中使用理論講學、媒體演示、親身示范等方法實現(xiàn)教學意圖表達和傳遞，存在動作呈現(xiàn)不生動完整、意圖表達不準確高效等局限。將AR 技術應用到籃球教學中，使其與傳統(tǒng)教學過程有機結(jié)合，可以有效改善上述問題，提升籃球教學效率。如可使用疊加在真實運動場上的虛擬影像，直觀展示籃球動作要領；可對比賽實況或錄像添加標注和說明，準確強調(diào)比賽重點、分析戰(zhàn)術打法。結(jié)合運動跟蹤技術，教練員能夠全面準確采集到每名球員運動數(shù)據(jù)，更加科學地監(jiān)控球員運動狀態(tài)，糾正和調(diào)整問題動作或行為，幫助使“反饋”過程更加準確高效。

1.2.2 降低認知負荷輔助決策判斷

籃球是快節(jié)奏的攻防對抗運動，場上的形勢瞬息萬變。教練員需要關注每一名球員所扮演的角色、體能的儲備、心理的變化等要素，并以此為依據(jù)及時調(diào)整戰(zhàn)術策略、球員配置，并進行心理干預。教練員處于高認知負荷狀態(tài)，容易因注意力分配不當、認知疲勞導致決策判斷失誤，從而影響比賽。AR系統(tǒng)可通過及時的信息采集記錄、科學的誘導要素呈現(xiàn)、高效的人機工程設計，有效降低教練員在激烈比賽中的認知負荷，幫助其梳理紛繁復雜的信息，集中精力進行關鍵環(huán)節(jié)的分析判斷和重要決策，從而提升籃球比賽的對抗效率和觀賞性。日常訓練中，AR 系統(tǒng)還能夠輔助教練員及時、高效記錄和標注每名球員的訓練進度、身體狀態(tài)、技術特點等信息，為教練員科學調(diào)整訓練計劃、合理配置球員陣容提供有力支撐，有效提升訓練水平。

1.3 裁判員層面

籃球規(guī)則內(nèi)容龐雜、條目眾多，國際籃聯(lián)最新的籃球規(guī)則共有十章300余條，涉及內(nèi)容點多面廣，不同的賽事還會有差異，這對籃球裁判員的掌握提出較高要求。在激烈的快節(jié)奏對抗中裁判員需要建立起球員動作和籃球規(guī)則間的快速映射，迅速作出準確判罰。裁判員處于此種高認知負荷狀態(tài)下，容易出現(xiàn)判決失誤，使用AR 技術根據(jù)固化的規(guī)則生成判決引導信息為裁判員提供指示，可幫助裁判員及時準確作出判罰，有效提升判罰的可信度和實時性，進一步確保比賽公平公正。

2 AR技術在籃球項目中運用關鍵技術及其適用性分析

2.1 位姿注冊技術

AR 技術實現(xiàn)的首要關鍵是各類圖形和文字信息在正確的位置呈現(xiàn)，使虛擬影像與真實環(huán)境自然無縫融合。AR系統(tǒng)通過測量觀察視角位姿，并變換顯示坐標系的方式實現(xiàn)信息的正確顯示，該過程稱為位姿注冊?，F(xiàn)有的注冊方案可分為三類，分別是基于計算機視覺的注冊、基于硬件跟蹤設備的注冊、混合式注冊。

2.1.1 基于計算機視覺的注冊

由固連在觀察者頭部或固定在環(huán)境中的攝像頭采集視頻圖像，利用計算機處理圖像序列恢復觀察者視角姿態(tài)。其硬件開銷小、適應性強、注冊精度高，被各類AR系統(tǒng)廣泛采用。谷歌的ARCore、開源的ARtoolkit 以及國內(nèi)的EasyAR 等平臺和工具包都是基于計算機視覺實現(xiàn)位姿注冊的，華中科技大學管濤［10］和沈陽工業(yè)大學劉嘉敏［11］研究了基于自然特征的視覺注冊方法，有效解決了非合作環(huán)境下的位姿注冊問題。但該方法受圖像質(zhì)量制約較大，容易受外界環(huán)境變化干擾，且軟件開銷大，對計算性能有較高要求。

2.1.2 基于硬件的注冊

通過在使用者身上佩戴機械、電磁、超聲或慣性傳感器直，接采集觀察者視角姿態(tài)。最常用的是使用MEMS 器件作為傳感器，其具有動態(tài)響應好、測量直接、軟件開銷小的優(yōu)勢。但由于MEMS 慣性器件的零點漂移特性，測量誤差會隨時間推移而不斷放大。因此，通常需要將慣性注冊和視覺注冊融合，并通過濾波算法來修正漂移和補償誤差［12］。

2.1.3 混合注冊

通過融合不同的注冊方案，取長補短以獲得更好的注冊精度、速度和穩(wěn)定性。如利用電磁跟蹤器預測姿態(tài)變化以降低視覺注冊延時的視覺—電磁混合注冊［13］，使用GPS 補償IS-300 跟蹤器的慣性—磁力混合跟蹤［14］，以及結(jié)合頭戴式和外置固定式兩種不同類型視覺跟蹤器的視覺—視覺混合注冊［15］。但由于設備體積、使用范圍和成本等多方面因素的制約，使用最廣泛的要數(shù)視覺—慣性注冊方案，結(jié)合視覺跟蹤的高精度和慣性跟蹤的快速響應的特點，視覺—慣性注冊方案成為混合注冊中的黃金組合。

Young M C［16］采用間接濾波組合策略，利用KF 融合視覺人工標志和陀螺儀數(shù)據(jù)以獲取更好的跟蹤響應，Gerhard Schall等在戶外大范圍AR注冊中通過兩個KF 濾波器融合GPS、陀螺儀、加速度計、電子羅盤和視覺數(shù)據(jù)，分別計算位置和姿態(tài)，實現(xiàn)了位置和姿態(tài)估計的解耦［17］。Taragay Oskiper 等［12］利用EKF 融合AR 頭盔上兩對雙目攝像頭和慣性傳感器的數(shù)據(jù)實現(xiàn)了大范圍的跟蹤定位和穩(wěn)定的戶外注冊。微軟的HoloLens AR 眼鏡同樣采用了視覺—慣性的混合跟蹤方案。北京理工大學陳靖等在EKF濾波框架下利用視覺數(shù)據(jù)校正慣性傳感器，并利用SCAAT 法解決傳感器采樣不同步問題，獲得了較好的跟蹤精度和穩(wěn)定性［18］，李薪宇和陳東義利用STF代替EKF彌補其對復雜模型跟蹤能力差的缺陷，同時利用多頻采樣理論解決了各傳感器數(shù)據(jù)同步問題［19］。

2.2 運動跟蹤技術

AR 技術在籃球運動中運用的第二關鍵是系統(tǒng)對外界環(huán)境的感知，為系統(tǒng)進行運算、判決和顯示提供基本輸入，主要是對球員和籃球的位置動作進行采集?？尚械募夹g手段包括基于計算機視覺的跟蹤、基于穿戴式傳感器的跟蹤、基于射頻收發(fā)的跟蹤以及多方法混合跟蹤。

2.2.1 基于計算機視覺的跟蹤

通過計算機將光學、紅外或激光攝像頭采集到的圖像序列進行處理和運算，還原出球員或籃球的運動姿態(tài)和軌跡。特點是所需設備輕巧、硬件成本相對低廉、運動員不需要承受額外負擔。但受到傳感器性能限制，其作用距離較小，需要布置多個攝像頭以覆蓋場地。且測量精度相對較低，易受外界環(huán)境干擾，難以應對存在多個球員肢體相互干涉的復雜場景。其核心算法的開發(fā)適配也較為復雜，并對計算性能有較高要求。微軟的Kinect套件就是利用計算機視覺完成運動捕捉采集的，其被廣泛運用在家庭趣味運動和體育游戲當中。電子科技大學王亞琴［21］提出使用人體關鍵部位特征點檢測結(jié)合卷積神經(jīng)網(wǎng)絡的方法，實現(xiàn)了較為精準的人體姿態(tài)跟蹤。

2.2.2 基于穿戴式傳感器的跟蹤

通過將慣性、射頻、紅外或GNSS 等傳感器固定在球員軀干及籃球上，通過傳感器感知自身的位移和姿態(tài)變化，從而采集球員動作和籃球位置。隨著近年來微機電技術的迅猛發(fā)展，陀螺儀、加速度計等傳感器的尺寸不斷減小，穿戴式傳感器的應用變得更加廣泛。

大連理工大學李曉辰［21］研究使用慣性傳感器監(jiān)控人體運動數(shù)據(jù)，并進行關節(jié)損傷、運動規(guī)范及疲勞分析。哈爾濱工業(yè)大學孫一為［22］將UWB 技術與MEMS傳感器結(jié)合，實現(xiàn)了對羽毛球運動中人體姿態(tài)的高精度跟蹤。北京體育大學徐昌橙等人［23］研究使用慣性傳感器采集獲取跑步步態(tài)的方法，有效解決了長跑運動數(shù)據(jù)采集手段缺乏的問題。該方法的特點是動態(tài)響應特性優(yōu)秀，對復雜場景的采集相對準確。但由于球員需要穿戴傳感器，會給運動帶來一定負擔，因此設計高集成度的傳感器和科學的穿戴方式是必須的。

2.2.3 基于射頻收發(fā)的跟蹤

通過主動發(fā)射電磁波信號對外界環(huán)境進行探測，根據(jù)一次或二次回波信號對目標運動狀態(tài)進行測量或?qū)Νh(huán)境進行重構。其不需要在球員身體上布置物件，不會對球員運動造成干擾。且與計算機視覺相比，雷達探測精度較高，作用距離更遠、抗遮擋能力更強。但該方法的傳感器成本相對更高，且工作狀態(tài)受電磁頻譜環(huán)境影響。

桂林電子科技大學蔣留兵等人［24］研究了超寬帶雷達對人體動作的識別，識別率可達96%；中國電波傳播研究所的王君超等人［25］研究了一種穿墻雷達的人體跟蹤定位方法，有效解決了電波折射反射環(huán)境下的目標定位問題。

2.3 人機交互技術

人機交互是用戶與應用系統(tǒng)溝通的橋梁，球員、教練員和裁判員需要通過人機交互模塊接收和輸入信息，交互的質(zhì)量直接決定AR系統(tǒng)功能的發(fā)揮。

2.3.1 對用戶顯示輸入

考慮到各用戶端需要單獨顯示，可行的方案為穿戴式的近眼顯示（Near-Eye Display，NED）設備，NED有兩種方案，分別是視頻透視式和光學透視式［26］。視頻透視式將攝像頭采集到的真實場景圖像與虛擬信息在屏幕上合成虛實疊加影像，如圖1中的a所示。該方案成本較低，但圖像在傳輸過程中質(zhì)量的降低與時間的延遲等問題較為嚴重，且用戶通過屏幕接收外界信息，成像不直接；光學透視式將直接將虛擬信息顯示在半反射透鏡上，真實場景的實像和半反射透鏡上的虛擬信息在成像平面上合成虛實疊加的影像，如圖1中的b所示。此時外部環(huán)境光直接進入人眼，該方案相對于視頻透射式具有更強的真實性與交互性，微軟的Hololens和谷歌的Google Glass都采用的是此類方案。

圖1 兩種NED顯示方案原理框圖

2.3.2 對系統(tǒng)指令輸入

籃球運動的應用環(huán)境下，用戶處在動態(tài)過程中和系統(tǒng)進行信息交互，交互方式的設計需要綜合考慮人員精力分配和肢體占用問題。不同的指令輸入方案有不同特點，傳統(tǒng)的觸摸、按鍵方式與UI 界面配合能夠?qū)崿F(xiàn)較為復雜的交互；手勢［27］、語音［28］等自然交互方式對用戶操作負擔小，但輸入的準確性和實時性相對較差，適用于相對簡單的交互。針對不同用戶端的需求和應用場景，組合多種交互方式設計邏輯科學、相互補充、高效友好的交互方案，是人機交互設計的關鍵。

2.4 分布式計算技術

位姿注冊、運動跟蹤和人機交互環(huán)節(jié)都需要對大量的數(shù)據(jù)進行實時處理，無論是基于何種技術方案，AR 系統(tǒng)的實際應用都需要建立在強大計算能力的基礎上，這需要龐大的硬件設備維系，而AR 在籃球等體育運動項目上的應用需要保證穿戴式設備對運動員的最小干擾，必須采用分布式計算的方式消解這兩者間的矛盾，由可穿戴設備負責信息顯示和數(shù)據(jù)采集，后臺計算機負責大量數(shù)據(jù)的處理。可通過架設短距離通信設備連接服務器或其集群實現(xiàn)，也可通過5G通信設備連接云計算服務的方式實現(xiàn)。

前者優(yōu)勢在于服務器按需配置，軟件部署針對性強、運行效率高，數(shù)據(jù)信息在內(nèi)網(wǎng)流轉(zhuǎn)安全性可得到較好保證。不足在于硬件部署復雜，設備移動性能較差。南京理工大學袁浛天等人［29］就是按照此種方式開發(fā)了AR 士兵分布式對抗訓練系統(tǒng)；后者優(yōu)勢在于依托5G網(wǎng)絡部署快捷，無須自行增設服務器設備。不足在于軟件不便于針對性適配，且信息存儲在云端，私密性和安全性相對較差。北京郵電大學的于敬延［30］和北京理工大學的高文婷［31］就針對5G環(huán)境下AR系統(tǒng)在云端的部署應用進行了研究。

3 基于AR技術的籃球輔助訓練系統(tǒng)設計

3.1 系統(tǒng)總體架構設計

該文針對前述籃球運動項目中AR的應用需求，結(jié)合現(xiàn)有技術手段，提出并設計了AR 籃球輔助訓練系統(tǒng)。主要實現(xiàn)三大目標功能：一是球員層面，實現(xiàn)訓練場地環(huán)境擬真拓展、異地多人協(xié)同訓練；二是教練員層面，實現(xiàn)球員和賽場數(shù)據(jù)全方位統(tǒng)計監(jiān)控、信息提示輔助決策；三是裁判員層面，實現(xiàn)規(guī)則輔助記憶和判罰提示。

系統(tǒng)在硬件層面主要由球員端、教練員端、裁判員端以及運動跟蹤設備、無線通信設備、本地服務器和云端服務器組成。球員端、教練員端、裁判員端用于為不同用戶實現(xiàn)位姿注冊、提供AR信息顯示和進行人機交互，運動跟蹤和無線通信設備用于實現(xiàn)運動跟蹤、數(shù)據(jù)傳輸，本地服務器和云端服務器用于核心數(shù)據(jù)運算，系統(tǒng)整體架構如圖2所示。

圖2 輔助訓練系統(tǒng)整體架構框圖

3.2 分布式計算架構設計

球員端、教練員端、裁判員端和運動跟蹤模塊負責操作指令處理、信息顯示和數(shù)據(jù)采集等輕量級運算。本地服務器負責位姿注冊、運動跟蹤核心算法等實時性要求高的運算工作。云端服務器負責數(shù)據(jù)庫存儲查詢、場景仿真渲染等運算量大的處理工作。

3.3 位姿注冊子系統(tǒng)設計

籃球運動對抗強、節(jié)奏快，位姿注冊技術應具備優(yōu)秀的動態(tài)響應和高實時性能，因此選用“視覺+慣性”的混合注冊方案。通過設計互補濾波器融合陀螺儀、加速度計和地磁傳感器的數(shù)據(jù)，獲取觀察視角姿態(tài)。將系統(tǒng)量測分為慣性和視覺兩個通道，視覺通道通過匹配關鍵幀和分解單應性矩陣更新量測。并通過無跡卡爾曼濾波器（Unscented Kalman Filter，UKF），融合兩個量測通道數(shù)據(jù)，得到最終觀察視角姿態(tài)和位置，技術實現(xiàn)框圖如圖3所示。

圖3 位姿注冊子系統(tǒng)技術實現(xiàn)框圖

3.4 運動跟蹤子系統(tǒng)設計

為保證對球員激烈動作的實時追蹤，將慣性姿態(tài)采集和射頻定位技術結(jié)合，實現(xiàn)對球員和籃球的運動追蹤。球員僅需要在軀干上布置小型MEMS傳感器和射頻芯片，便可將影響降低到最小。選用的MEMS 慣性傳感器主要是加速度計、陀螺儀和磁強度計的組合慣性模塊，模塊通過腕帶的方式布置在球員的關節(jié)上。射頻標簽集成在組合慣性模塊上，配合4 個定位通信基站，采用TDOA 法［23］實現(xiàn)定位功能。采集的數(shù)據(jù)通過2.4GHz 通信模塊發(fā)送至基站，傳輸至本地服務器進行處理。技術實現(xiàn)框圖如圖4所示。

圖4 運動跟蹤子系統(tǒng)技術實現(xiàn)框圖

3.5 人機交互子系統(tǒng)設計

在用戶的輸入上，選用光學透視式的可穿戴NED設備作為顯示輸入設備，并輔以入耳式耳機完成對用戶的音頻輸入。在系統(tǒng)的指令輸入上，由于球員、教練員和裁判員對顯示信息需求的不同，導致其交互需求存在差異，應針對性地設計不同的交互方案，指令輸入方案如圖5所示。球員需求信息側(cè)重于比賽環(huán)境的呈現(xiàn)，顯示內(nèi)容絕大多數(shù)可進行預先設置，對交互需求較少，且其不便分配精力和肢體進行交互，因此僅引入少量簡單的按鍵操作，直接操作系統(tǒng)；教練員需要球員運動狀態(tài)數(shù)據(jù)、球場整體態(tài)勢、細分統(tǒng)計數(shù)據(jù)等多種信息，信息需求最大、最全面，需要通過相對復雜的交互切換或選擇，呈現(xiàn)信息，且其肢體可進行相對復雜的操作，因此選用觸摸作為主要操作手段，輔以按鍵操作進行備份，并通過UI 與系統(tǒng)交互；裁判員需求信息主要是判罰提示信息和少量的比賽統(tǒng)計信息，大部分顯示內(nèi)容可預知，交互復雜度介于球員和教練員之間，考慮到其判罰是通過哨音和手勢輸出，為兼顧判罰情況的采集，選用按鍵和聲音、手勢結(jié)合的方法實現(xiàn)交互。

圖5 指令輸入方案設計框圖

通過上述設計，完成基于AR技術的籃球輔助訓練系統(tǒng)樣機開發(fā)，實現(xiàn)了顯示、識別、互操作、引導等基本功能，效果如圖6所示。此處以裁判員端為示例，（a）、（b）分別為系統(tǒng)開啟AR 顯示、虛擬球員上線前后的顯示效果。

圖6 系統(tǒng)裁判員端顯示效果

4 結(jié)語

該文從球員、教練員、裁判員的視角，綜合分析了AR應用在籃球運動中可發(fā)揮的作用和優(yōu)勢；結(jié)合籃球運動中AR應用需要達成的主要目標功能，分析了國內(nèi)外現(xiàn)有關鍵技術的可行性、適用性和優(yōu)缺點；針對目標功能和現(xiàn)有技術，對基于AR的輔助籃球訓練系統(tǒng)進行了有益探索，設計了系統(tǒng)整體框架和技術路線，研究了關鍵功能模塊的實現(xiàn)方案，完成了系統(tǒng)樣機的開發(fā)，后續(xù)將持續(xù)進行功能完善和使用優(yōu)化，不斷深化AR輔助訓練系統(tǒng)在籃球運用中的實踐應用。