基于數(shù)據(jù)融合的虛擬現(xiàn)實位姿追蹤系統(tǒng)

任榮琴 申菊 馬召換 王添 李念

摘要：本課題針對虛擬現(xiàn)實應(yīng)用的特點，將光學(xué)數(shù)據(jù)與IMU數(shù)據(jù)相結(jié)合，研究基于數(shù)據(jù)融合的位姿追蹤系統(tǒng)，通過位置信息與姿態(tài)信息的相互補償或矯正，實現(xiàn)更準(zhǔn)確的姿態(tài)追蹤、更平滑的位置輸出以及更少的圖像延遲，提升VR體驗效果。

關(guān)鍵詞：虛擬現(xiàn)實;數(shù)據(jù)融合;位姿追蹤系統(tǒng)

1.引言

近幾年，人們對于VR體驗不斷增長的期望與需求，給位姿追蹤技術(shù)的發(fā)展帶來了挑戰(zhàn)與機遇，不同樣式的追蹤技術(shù)與設(shè)備競相亮相。其中，光學(xué)追蹤與IMU追蹤是兩種最常見的追蹤方式。一般來說，位置追蹤以光學(xué)方法為主，姿態(tài)跟蹤以IMU方法為主。

通過光學(xué)、IMU以及其它相關(guān)器件，可獲得多種數(shù)據(jù)（包括：位置、運動、姿態(tài)、角速度、加速度、地磁等數(shù)據(jù)），根據(jù)各種數(shù)據(jù)的特點，在算法上可取長補短，從而實現(xiàn)更佳的VR體驗。例如，從IMU中提取加速度數(shù)據(jù)，可用于光學(xué)位置預(yù)測;再例如，從光學(xué)數(shù)據(jù)中得到運動信息，可用于IMU的姿態(tài)矯正。本課題，即是研究這種基于數(shù)據(jù)融合的虛擬現(xiàn)實位姿追蹤算法，不同于位置、姿態(tài)分別解算，而是通過相互補償或矯正，兼顧位姿的準(zhǔn)確性與平滑性;并可通過多種數(shù)據(jù)預(yù)測位姿，從而降低延遲。

2.研究背景

在位置、姿態(tài)追蹤領(lǐng)域，單說姿態(tài)解算或者光學(xué)定位，分別有一些成熟的實現(xiàn)方式;但是，對于數(shù)據(jù)融合算法，特別是針對VR這一特定應(yīng)用的實現(xiàn)方式，相關(guān)的研究卻較少。

人眼對于VR場景的變化相當(dāng)敏感，通常情況，如果VR場景有1mm以上的抖動，或者20ms以上的延遲，或者姿態(tài)有0.1度的抖動，人就會明顯感覺到眩暈;所以，位姿追蹤的精度需達(dá)到一定的程度，才能滿足VR應(yīng)用。本課題的研究重點，正是針對VR這一特定應(yīng)用，盡可能的充分利用多種數(shù)據(jù)，提高位姿追蹤精度、降低延遲，以實現(xiàn)更佳的VR體驗效果。位置與姿態(tài)（位姿）的實時追蹤，是虛擬現(xiàn)實（VR）的關(guān)鍵技術(shù)。

本課題就“基于數(shù)據(jù)融合的VR位姿追蹤算法”進行系統(tǒng)地研究，不同于通常的位置、姿態(tài)分別解算，而是針對VR這一特定應(yīng)用，通過多種數(shù)據(jù)相互補償，提高位姿追蹤精度。因此，在VR追蹤方面，具有一定的科學(xué)意義和學(xué)術(shù)價值。通過VR追蹤融合算法的研究，將整理出從傳感器校準(zhǔn)、到姿態(tài)解算、再到數(shù)據(jù)融合、最后預(yù)測輸出的整套算法，可直接應(yīng)用于VR頭戴或者VR配件的位姿追蹤，具有實際意義與應(yīng)用價值。

3.系統(tǒng)設(shè)計流程圖

“位姿追蹤融合算法”的流程，如下圖所示：

磁力偏航角矯正是可根據(jù)磁力計數(shù)據(jù)矯正姿態(tài)偏航角。溫度漂移補償是配有溫度傳感器可針對陀螺儀作溫漂補償。姿態(tài)計算主要依靠陀螺儀積分，在一定條件下，可根據(jù)加速度計數(shù)據(jù)與重力的關(guān)系矯正姿態(tài)，這里指矯正傾斜角的偏差。工廠校準(zhǔn)主要是陀螺儀、加速度計需要針對零偏和敏感度分別進行校準(zhǔn);磁力計需要連同頭戴或手柄、控制器作整體校準(zhǔn)。光學(xué)定位算法，此處可有多種不同算法，對應(yīng)于不同的追蹤形式。常用到的有雙目視覺算法、PNP算法。

角速度、角加速度預(yù)測姿態(tài)是利用歷史信息預(yù)測姿態(tài)，或者進一步，利用歷史信息計算出角加速度用于預(yù)測姿態(tài)。光學(xué)運動信息矯正IMU姿態(tài)是利用光學(xué)運動信息，按照一定權(quán)重矯正IMU姿態(tài)，可防止姿態(tài)偏移。光學(xué)姿態(tài)矯正IMU姿態(tài)是利用光學(xué)姿態(tài)，按照一定權(quán)重矯正IMU姿態(tài)，可防止姿態(tài)偏移。IMU加速度預(yù)測位置是利用加速計及姿態(tài)信息，預(yù)測位置。說明：IMU更新速率通?？煊诠鈱W(xué)，因此，用IMU數(shù)據(jù)補償光學(xué)數(shù)據(jù)、預(yù)測位置。速度、加速度預(yù)測位置是針對圖像方面的延遲而作的預(yù)測，或者說是為軟件應(yīng)用的調(diào)用而即時作的預(yù)測。

4.系統(tǒng)設(shè)計

位置與姿態(tài)（位姿）的實時追蹤，是虛擬現(xiàn)實（VR）的關(guān)鍵技術(shù)。不同樣式的追蹤技術(shù)與設(shè)備競相亮相。其中，光學(xué)追蹤與IMU追蹤是兩種最常見的追蹤方式。一般來說，位置追蹤以光學(xué)方法為主，姿態(tài)跟蹤以IMU方法為主。

通過光學(xué)、IMU以及其它相關(guān)器件，可獲得多種數(shù)據(jù)（包括：位置、運動、姿態(tài)、角速度、加速度、地磁等數(shù)據(jù)），根據(jù)各種數(shù)據(jù)的特點，在算法上可取長補短，從而實現(xiàn)更佳的VR體驗。例如，從IMU中提取加速度數(shù)據(jù)，可用于光學(xué)位置預(yù)測;再例如，從光學(xué)數(shù)據(jù)中得到運動信息，可用于IMU的姿態(tài)矯正。本課題，即是研究這種基于數(shù)據(jù)融合的虛擬現(xiàn)實位姿追蹤算法，不同于位置、姿態(tài)分別解算，而是通過相互補償或矯正，兼顧位姿的準(zhǔn)確性與平滑性;并可通過多種數(shù)據(jù)預(yù)測位姿，從而降低延遲。

5.系統(tǒng)測試

我們將實現(xiàn)一個由傳感器主板，以及相關(guān)代碼實現(xiàn)的一個3D模型，在此實驗中，我們主要用到的硬件儀器有主板，傳感器。在傳感器當(dāng)中我們置有陀螺儀，以及加速度計。在主板與傳感器之間用線來連接主板的二引腳，它的主要作用是當(dāng)數(shù)據(jù)準(zhǔn)備就緒用于中斷。再分別把A4，A5引腳與傳感器相接，以及接地的引腳和vcc引腳接好，有一個引腳需要接電源來提供電壓。用usb光纜把數(shù)據(jù)輸回電腦。用arduino和processing軟件來進行測試，先把代碼上傳成功之后打開串口監(jiān)視器輸入任意字符，可以看到來自傳感器的xyz軸的位置在隨傳感器位置的變化而變化。下面是具體的測試圖。

綜上，本課題針對虛擬現(xiàn)實應(yīng)用的特點，將光學(xué)數(shù)據(jù)與IMU數(shù)據(jù)相結(jié)合，研究基于數(shù)據(jù)融合的位姿追蹤算法，通過位置信息與姿態(tài)信息的相互補償或矯正，實現(xiàn)更準(zhǔn)確的姿態(tài)追蹤、更平滑的位置輸出以及更少的圖像延遲，提升VR體驗效果。

參考文獻

[1]黃鵬程，楊波，萬新軍等.基于雙目視覺的多點三維振動測量系統(tǒng)[J].光學(xué)技術(shù)，2018，44（4）：448-452.

[2]邱志成， 肖駿， 劉金國.柔性臂振動的雙目三維檢測和主動控制[J].電機與控制學(xué)報，2019，23（10）：129-138.

[3]曹姝清，盧山，劉宗明等.基于目標(biāo)特征的單目視覺快速相對位姿測量系統(tǒng)及方法：中國，CN201711242992.9[P].2017-11-30.

基金項目：本文系貴州師范學(xué)院課題“基于數(shù)據(jù)融合的虛擬現(xiàn)實位姿追蹤系統(tǒng)”