基于單MEMS慣性傳感器的運動追蹤與軌跡重建*

王一峰趙 毅

(哈爾濱工業(yè)大學(xué)(深圳)理學(xué)院，廣東 深圳 518055)

MEMS慣性傳感器是市場上重要的產(chǎn)品類型，它具有體積小、集成化程度高、功耗低、適合于批量化生產(chǎn)等優(yōu)點，在智能手機創(chuàng)新空間逐步收窄以及市場增量接近飽和的情況下，基于慣性傳感器的智能可穿戴設(shè)備成為了智能終端產(chǎn)業(yè)的熱點。隨著“中國制造2025”的提出，國家出臺了可穿戴產(chǎn)業(yè)的扶持政策，與此同時，地方政府也出臺相關(guān)的扶持和資助政策。例如，深圳市人民政府印發(fā)了關(guān)于可穿戴設(shè)備和智能裝備產(chǎn)業(yè)發(fā)展規(guī)劃。然而，由于MEMS慣性傳感器的測量精度有限，因此大多只能用于姿態(tài)估計[1-4]，振動檢測[5]，傾斜感知[6]，簡單動作識別[7-8]或是一些人體運動的定性分析[9-10]，這些簡單任務(wù)很難呈現(xiàn)運動過程中的細節(jié)信息。因此，基于MEMS慣性傳感器的運動追蹤技術(shù)將是可穿戴設(shè)備的主攻方向。對于運動追蹤問題而言，運動軌跡的捕捉、還原是核心、基礎(chǔ)性工作，在此之上，可以實現(xiàn)無衛(wèi)星條件下的定位與導(dǎo)航，或?qū)\動過程中的動能、運動消耗、力量變化做出分析。綜合而言，如何可靠獲取運動數(shù)據(jù)，精確還原運動軌跡，這是目前亟待解決的技術(shù)問題。

目前，基于慣性傳感器的軌跡還原任務(wù)還處于起步階段，文獻[11]實現(xiàn)了水平桌面上的慣性傳感器軌跡還原任務(wù)，該方法要求傳感器緊貼桌面，因此運動過程十分穩(wěn)定，這很大程度上減小了數(shù)據(jù)采集過程中的噪聲，但也限制了該方法的應(yīng)用場景。此外，該方法要求傳感器每運動一小段距離，都需要靜止一段時間，通過靜止狀態(tài)對運動過程進行分割，該方法最終實現(xiàn)了二維平面內(nèi)軌跡的分段重建。類似地，文獻[12]通過在筆中集成加速度計以及多個陀螺儀的方式實現(xiàn)了二維平面內(nèi)軌跡的分段重建。但由于筆在使用過程中不會發(fā)生較大的姿態(tài)變化，且該方法仍然依靠靜止狀態(tài)對運動過程進行分割，因此很難適用于三維空間中的任意運動軌跡重建。文獻[13]使用支持向量機對三維空間中的手部運動進行了分割，但分割點的確定仍然依靠靜止狀態(tài)的特征。文獻[14]使用BiLSTM模型實現(xiàn)了對三維空間中高爾夫揮桿運動的準確分割，但由于該分割方法的特征工程高度依賴于高爾夫運動的特性，因此該方法并不能推廣至任意運動過程的分割，因此無法用于任意運動軌跡的分段重建。

本文設(shè)計了一款基于慣性傳感器的運動追蹤模塊，該模塊搭載了數(shù)據(jù)增強算法，可有效提升傳感器在姿態(tài)解算與軌跡重建任務(wù)中的效果。此外，本文設(shè)計了一套基于運動分割的軌跡還原方案，該方案中的分割算法不依賴于靜止狀態(tài)，而是根據(jù)運動過程中方向變化較大的時刻自適應(yīng)地完成分割。由于該分割算法是以深度學(xué)習(xí)模型為基礎(chǔ)的，隨著數(shù)據(jù)集中分割點標簽的變化，它所關(guān)注的分割點特征也會隨之變化，因此該算法可以適應(yīng)不同場景的運動分割要求，具有很強的泛化能力。

1 搭載數(shù)據(jù)增強算法的運動追蹤模塊

1.1 基于信號重建的數(shù)據(jù)增強算法

本文設(shè)計的數(shù)據(jù)增強算法借助經(jīng)驗?zāi)B(tài)分解、小波變換以及一維卷積神經(jīng)網(wǎng)絡(luò)來實現(xiàn)慣性傳感器信號重建。由于雙正交小波可以同時具備緊支撐特性、高消失矩特性和對稱性，因此我們選擇雙正交小波族作為小波變換的基函數(shù)。此外，盡管增加小波基函數(shù)的數(shù)量有助于信號增強，但這種提升并不顯著，并且會帶來巨大的計算消耗，因此我們選擇了15種較為典型的雙正交小波基函數(shù)。數(shù)據(jù)增強算法整體可以分為兩步:模型驅(qū)動式信號重建、數(shù)據(jù)驅(qū)動式信號重建，前者為后者提供訓(xùn)練所需的數(shù)據(jù)集。

1.1.1 模型驅(qū)動式信號重建

模型驅(qū)動式信號重建方案如圖1所示。將運動追蹤模塊置于轉(zhuǎn)臺上進行多次轉(zhuǎn)動，每次運動結(jié)束時借助轉(zhuǎn)臺記錄本次運動過程中傳感器姿態(tài)的變化情況，如圖2所示。設(shè)某次運動過程中，運動追蹤模塊內(nèi)慣性傳感器采集到的6軸原始信號樣本為X，其中第i軸信號表示為x i(x i∈X，i＝1，2，3…6)，則信號X的模型驅(qū)動式重建過程如下:

圖1 模型驅(qū)動式信號重建方案

圖2 傳感器姿態(tài)變化測量平臺

①對信號x i(x i∈X，i＝1，2，3…6)進行經(jīng)驗?zāi)B(tài)分解，得到若干本征模態(tài)函數(shù)(Intrinsic Mode Function，IMF)，其中X為一個6軸慣性傳感器原始數(shù)據(jù)樣本。經(jīng)驗?zāi)B(tài)分解的具體過程為:首先通過三次樣條插值求出輸入信號X(t)的上下包絡(luò)線:u(t)，d(t)，及其均值m(t)。將輸入信號X(t)減去包絡(luò)線均值m(t)后得到信號h(t)。對信號h(t)進行判斷，若滿足允許條件，則將其作為IMF分量輸出，更新X(t)后重復(fù)上述過程，直到滿足停止條件；若h(t)不滿足允許條件，則將h(t)作為新的輸入信號并重復(fù)上述過程，直到滿足停止條件。

②對得到的每一個IMF分量分別進行15種小波變換模式(不同的小波基，即視作一種小波變換模式，本文設(shè)置了15種不同的雙正交小波基函數(shù)，它們分別是:‘bior1.1’，‘bior1.3’，‘bior1.5’，‘bior2.2’，‘bior2.4’，‘bior2.6’，‘bior2.8’，‘bior3.1’，‘bior3.3’，‘bior3.5’，‘bior3.7’，‘bior3.9’，‘bior4.4’，‘bior5.5’，‘bior6.8’)。此時，可以得到一個IMF分量y j(y j∈Y x i，j＝1，2，3…M)的15種小波變換結(jié)果，其中Yx i為信號x i所分解出的所有IMF分量所構(gòu)成的集合，M為集合中的IMF分量個數(shù)；

③將這15種小波變換結(jié)果分別替換原始IMF分量y j，再分別重建原始信號，得到了原始信號的15種信號重建結(jié)果；

④使用這15種原始信號重建結(jié)果分別進行姿態(tài)解算，得到15種姿態(tài)解算結(jié)果，將這15種姿態(tài)解算結(jié)果與測量數(shù)據(jù)時記錄的真實的姿態(tài)變化進行對比，得到15個信號的姿態(tài)解算誤差；

⑤將最小的姿態(tài)誤差所對應(yīng)的小波變換模式βk(βk∈{‘bior1.1’，‘bior1.3’，‘bior1.5’，‘bior2.2’，‘bior2.4’，‘bior2.6’，‘bior2.8’，‘bior3.1’，‘bior3.3’，‘bior3.5’，‘bior3.7’，‘bior3.9’，‘bior4.4’，‘bior5.5’，‘bior6.8’}，k＝1，2，3…15)記錄下來，同時用該小波對IMF分量的處理結(jié)果替換原始的IMF分量；

⑥繼續(xù)對下一個IMF分量進行操作。重復(fù)步驟②～步驟⑥。

通過采用模型驅(qū)動式信號重建，可以獲得原始信號X所分解出的不同IMF分量y j的最優(yōu)小波變換模式βk，因此，對于每個輸入的信號樣本X，及其分解出的IMF分量y j，都可以得到一組“IMF-小波模式匹配關(guān)系”:{[X，y j]，βk}。

1.1.2 數(shù)據(jù)驅(qū)動式信號重建

本文進行了261次有效運動實驗，在每次運動中采集6軸慣性傳感器數(shù)據(jù)，共獲得了1 566個單軸傳感器信號。每個一維傳感器信號都被經(jīng)驗?zāi)B(tài)分解為4到7個IMF分量，共獲得了6 841個IMF分量，每個IMF分量都對應(yīng)一種最優(yōu)小波變換模式，最終得到了6 841組“IMF-小波模式匹配關(guān)系”，它們將作為訓(xùn)練集對一維卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，使其可以根據(jù)輸入信號智能地選擇合適的小波處理模式。該過程即為數(shù)據(jù)驅(qū)動式信號重建。首先，本文需要基于6 841組“IMF-小波模式匹配關(guān)系”訓(xùn)練一個小波模式匹配器，即圖3中的1DCNN模塊，具體操作流程如下:①1DCNN模型的輸入數(shù)據(jù):“IMF-小波模式匹配關(guān)系”中的[X，y j]即為1DCNN模型的輸入數(shù)據(jù)，它由原始信號X與由其分解出的IMF分量y j并聯(lián)而構(gòu)成，數(shù)據(jù)結(jié)構(gòu)為7×N，其中N為信號長度；②1DCNN模型的輸出數(shù)據(jù):將并聯(lián)數(shù)據(jù)輸入一維卷積神經(jīng)網(wǎng)絡(luò)(1DCNN)，輸出為該并聯(lián)數(shù)據(jù)中IMF分量對應(yīng)的小波變換模式＾βk；③1DCNN模型的訓(xùn)練:將模型輸出的小波變換模式＾βk與預(yù)先得到的“IMF-小波模式匹配關(guān)系”中的理想小波變換模式βk進行對比，計算誤差，并根據(jù)誤差更新1DCNN模型。重復(fù)步驟①～步驟③。

圖3 小波模式匹配器的訓(xùn)練

經(jīng)訓(xùn)練后的1DCNN模型可以根據(jù)輸入的原始信號以及由其分解出的IMF分量判斷出該IMF分量最適合的小波變換方式，此時可以將其作為一個固定的功能性模塊嵌入到最終的數(shù)據(jù)驅(qū)動式信號重建流程之中，如圖4所示，具體操作流程如下:①對6軸慣性傳感器原始信號X的每一軸信號x i(x i∈X，i＝1，2，3…6)分別做經(jīng)驗?zāi)B(tài)分解，得到若干IMF分量；②將每個IMF分量分別與原始信號合并，組成7×N的輸入數(shù)據(jù)；③將數(shù)據(jù)輸入訓(xùn)練好的1DCNN模型，得到該IMF所適合的小波變換模式；④對該IMF分量做對應(yīng)的小波變換后，替換掉原始的IMF分量；⑤在替換完所有IMF分量后，對原始信號進行重構(gòu)，得到新的6軸慣性傳感器數(shù)據(jù)，完成數(shù)據(jù)增強。

圖4 模型驅(qū)動式信號重建流程

由于MEMS慣性傳感器具有較大誤差，而運動追蹤過程中二次積分的操作將顯著放大該誤差，并使得最終解算出的軌跡嚴重失真。因此，對MEMS慣性傳感器采集的原始信號進行數(shù)據(jù)增強是非常必要的。為了減小慣性傳感器誤差，提升軌跡還原精度，本文設(shè)計了一種基于時間序列分解與重建的數(shù)據(jù)增強算法。為了便于集成該數(shù)據(jù)增強算法，本文設(shè)計了一款可協(xié)同運動追蹤模塊。

1.2 運動追蹤模塊研發(fā)

為了同時實現(xiàn)慣性運動數(shù)據(jù)采集與數(shù)據(jù)增強，本文設(shè)計的運動追蹤模塊可以分成兩個主要的子模塊:MEMS慣性傳感器模塊，以及數(shù)據(jù)增強模塊。其中MEMS慣性傳感器模塊用于采集9軸慣性運動數(shù)據(jù):三軸加速度、三軸角速度以及三軸磁力計數(shù)據(jù)，并將加速度、角速度數(shù)據(jù)輸入數(shù)據(jù)增強模塊。數(shù)據(jù)增強模塊按照本文1.1節(jié)所提出的算法對收到的加速度、角速度信號進行經(jīng)驗?zāi)B(tài)分解，對得到的IMF分量進行小波變換后再重建加速度、角速度信號，從而實現(xiàn)數(shù)據(jù)增強，最終提升慣性傳感器信號對姿態(tài)與軌跡的解算精度。完整的運動追蹤模塊設(shè)計如圖5所示。

圖5 運動追蹤模塊設(shè)計框圖

MEMS慣性傳感器模塊與數(shù)據(jù)增強模塊分別搭配有一個微控制單元(型號分別為:nRF51422以及STM32F)，此外，MEMS慣性傳感器模塊還搭配有帶電可擦可編程只讀存儲器(Electrically Erasable Programmable Read Only Memory，EEPROM)，9軸慣性傳感器，LED指示燈，采用頻率切換開關(guān)等裝置，其電路設(shè)計如圖6所示。數(shù)據(jù)增強模塊則搭配有電池電壓檢測器，LED指示燈，閃存等裝置，其電路設(shè)計如圖7所示。由于磁力計極易受測量環(huán)境的干擾，因此數(shù)據(jù)增強模塊僅對6軸慣性數(shù)據(jù)(3軸加速度、3軸角速度)進行數(shù)據(jù)增強。

圖6 MEMS慣性傳感器模塊電路設(shè)計圖

圖7 數(shù)據(jù)增強模塊電路設(shè)計圖

該運動追蹤模塊包含一個支持標準和快速模式的I2C串行總線接口(100 kHz和400 kHz)以及兩個SPI串行標準接口，并通過藍牙4.0通信協(xié)議實現(xiàn)與終端的實時通訊，經(jīng)委托公司和我們實際測試發(fā)現(xiàn)，該運動追蹤模塊通信范圍可達10 m，待機時間可達8 d以上。此外，慣性傳感器模塊通過通用異步收發(fā)傳輸器向數(shù)據(jù)增強模塊發(fā)送數(shù)據(jù)，數(shù)據(jù)增強模塊將接受到的數(shù)據(jù)儲存于FLASH中，并通過集成于STM32芯片的算法完成數(shù)據(jù)增強。為了便于實現(xiàn)運動追蹤，本文設(shè)計的運動追蹤模塊尺寸在2 cm×3 cm之內(nèi)，模塊實物如圖8所示。

圖8 運動追蹤模塊實物圖

2 基于慣性傳感器的智能運動分割

現(xiàn)有的慣性傳感器軌跡還原方案大都借助運動過程中的靜止狀態(tài)實現(xiàn)對軌跡的分段重建。然而，這種重建方案破壞了運動過程中的連貫性，因此無法實現(xiàn)實時運動軌跡的還原。同時，由于慣性傳感器的嚴重誤差，分段重建是目前唯一一種可行的慣性傳感器軌跡還原方式[15]，因此，運動的智能分割技術(shù)就變得尤為關(guān)鍵。本文基于慣性傳感器解算出的失真軌跡的形態(tài)學(xué)特征，借助多分辨率Fréchet距離[16-17]與深度學(xué)習(xí)模型提出了一種智能運動分割算法，該分割算法不依賴運動過程中的靜止狀態(tài)，而是憑借運動過程中方向的劇烈變化而檢測分割點，因此不需要對運動做出限制，這是任意軌跡還原的先決條件。

2.1 基于慣性傳感器失真軌跡的分割點檢測

在一般的時間序列研究中，提取信號的波形特征是通用的做法[18]。然而，由于慣性傳感器信號中存在嚴重的噪聲干擾[19]，加速度計信號中存在遲滯效應(yīng)[20]，并且陀螺儀信號中存在時間漂移現(xiàn)象[21]，因此實際運動過程中方向劇烈變化的位置往往并不是原始信號的極值點[22]，如圖9所示，圓點表示借助光學(xué)傳感器確定的運動分割點(方向劇變點)，實線為由此得到的數(shù)據(jù)和軌跡片段，虛線為原始的未分割數(shù)據(jù)。

圖9 光學(xué)-慣性軌跡與原始數(shù)據(jù)

可以發(fā)現(xiàn)，無論是原始的6軸傳感器數(shù)據(jù)，還是加速度、角速度的矢量和數(shù)據(jù)，波形的極值點與真實的運動分割點(圖9中圓點)都不會完全重合，甚至?xí)嗳ド踹h。因此，僅依賴原始信號的波形特征很難實現(xiàn)精確到幀的運動分割。然而從圖9中可以發(fā)現(xiàn)，在由慣性傳感器數(shù)據(jù)解算出的失真軌跡中，運動分割點剛好對應(yīng)著軌跡的拐點，其原因在于，計算軌跡時的二次積分操作雖然放大了慣性傳感器誤差，但也同時放大了運動方向劇烈變化時產(chǎn)生的波動，而這種波動又往往會使得解算出的失真軌跡中出現(xiàn)明顯的拐點。這種現(xiàn)象為運動分割任務(wù)提供了良好的特征。

然而，由于慣性傳感器累計誤差與時間漂移的影響，軌跡的解算結(jié)果中并非總是存在由運動方向劇變而產(chǎn)生的拐點，一個原因是:由原始信號解算出的世界坐標系下的三軸加速度可能會偏離坐標軸(由慣性制導(dǎo)理論，通過慣性傳感器原始數(shù)據(jù)進行姿態(tài)解算，去除加速度計中的重力分量后，進行坐標系變換，得到世界坐標系下的加速度[23])。

例如，借助光學(xué)傳感器采集物體運動的真實軌跡，如圖10所示，可以看出，軌跡在Z軸運動時方向發(fā)生了劇變。而在原始的Z軸加速度信號中，其數(shù)值整體位于0坐標軸以下，如圖11(a)所示，這意味著物體始終沿著Z軸的負方向運動，即便有一部分位于坐標軸上方，這部分數(shù)據(jù)所起的作用也僅僅是使得物體在負方向適當減速，而不足以導(dǎo)致物體向正方向運動，運動方向始終不變，軌跡中也自然不會出現(xiàn)拐點，如圖11(b)所示。同理，XY方向加速度也會出現(xiàn)同樣的問題。因此，為了呈現(xiàn)出失真軌跡中的拐點，需要對原始信號進行處理。值得注意的是，這部分數(shù)據(jù)處理的目的是突出軌跡中的拐點，從而實現(xiàn)精確到幀的運動分割，因此無需關(guān)注軌跡的失真程度。

圖10 光學(xué)傳感器采集的物體運動真實軌跡

圖11 未經(jīng)處理的世界坐標系加速度(Z軸)與對應(yīng)軌跡

首先，將每軸信號都減去它的均值，即將其平移至坐標軸附近，如圖12(a)所示。該操作使得失真軌跡由最初運動方向幾乎恒定的直線變化為運動方向緩慢變化的弧線，如圖12(b)所示。此外，去均值化操作也可以使得后續(xù)的操作更為穩(wěn)定。

圖12 去均值化的世界坐標系加速度與對應(yīng)軌跡

然而，軌跡中運動方向的變化不夠劇烈，緩慢變化的軌跡是不足以提供明確拐點信息的。該問題在加速度數(shù)據(jù)上的表現(xiàn)為:拐點處加速度值不具有明顯優(yōu)勢，因此無法迅速改變此前積累的運動速度，即短時間內(nèi)扭轉(zhuǎn)運動方向。因此，需要增強分割點附近的信號強度，并對非拐點信號做適當削弱?？梢园l(fā)現(xiàn)，拐點處數(shù)據(jù)波形頻率較低，因此方差較小。利用該特征，本文設(shè)置了一個滑動窗口，將窗口內(nèi)加速度數(shù)據(jù)除以對應(yīng)的方差，實現(xiàn)拐點處數(shù)據(jù)的放大以及其余部分數(shù)據(jù)的抑制，如圖13所示。

從圖13中世界坐標系加速度與對應(yīng)軌跡中可以看出，由于拐點處的數(shù)據(jù)在數(shù)值上具有明顯優(yōu)勢，因此軌跡的變化幾乎完全由拐點處的數(shù)據(jù)決定，該特性保證了本文對拐點處數(shù)據(jù)的操作可以最大限度地對軌跡產(chǎn)生影響。由于本文需要拐點處運動方向的變化更為劇烈，因此拐點后半段的數(shù)據(jù)需要被適當放大，具體操作如下:

圖13 除方差后的世界坐標系加速度與對應(yīng)軌跡

①檢測拐點的大致位置；在經(jīng)過上一步處理后，三軸加速度在拐點處的數(shù)值被放大，在非拐點處的數(shù)值被縮小，因此通過設(shè)定合適的閾值即可確定拐點的大致區(qū)間。由于此前曾對信號進行過“去均值化”處理，因此在該區(qū)間內(nèi)三軸加速度會分別存在一個過零點，三個過零點的均值Q即確定為拐點的大致位置；

②對Q點之前的數(shù)據(jù)不做處理，對其之后的數(shù)據(jù)乘以一個衰減的增益函數(shù)f(t):

式中:t是時間軸的對應(yīng)幀，σ是人為設(shè)置的大于零的超參數(shù)，可根據(jù)需要調(diào)整，σ越小對信號的增益越強。

該增益函數(shù)可以增強運動方向變化的劇烈程度，使軌跡中的拐點更為明顯。最終，本文得到了具有明顯拐點的運動軌跡，如圖14所示。

圖14 加增益后的世界坐標系加速度與對應(yīng)軌跡

在得到具有明顯拐點的失真運動軌跡之后，本文利用軌跡的形態(tài)學(xué)特征對拐點進行檢測，即可得到相對精準的分割點。本文設(shè)置了一個多尺度樣條函數(shù)在軌跡上滑動，每次滑動都可以看成是樣條函數(shù)對窗口內(nèi)軌跡的一次擬合，F(xiàn)réchet距離被用來衡量樣條函數(shù)與窗口內(nèi)軌跡片段的擬合效果或接近程度。一般情況下，樣條函數(shù)可以很好地擬合對應(yīng)軌跡片段，此時Fréchet值較小，然而當它滑動到運動方向劇烈變化的位置，樣條函數(shù)很難擬合拐點處的失真軌跡，F(xiàn)réchet值會陡然增加，由此可以得到分割點位置。由于不同尺度的樣條函數(shù)對不同軌跡形狀的敏感度不同，本文設(shè)置了多尺度樣條函數(shù)實現(xiàn)對分割點的精確檢測。

2.2 基于慣性傳感器原始波形的分割點檢測

雖然基于失真軌跡的分割點檢測模型已經(jīng)實現(xiàn)較好的分割效果，但由于該模型不具有可學(xué)習(xí)的參數(shù)，它對于分割點檢測的規(guī)則是固定的，因此很難根據(jù)不同的要求自適應(yīng)地調(diào)整分割的嚴苛程度，例如，在一些動作軌跡中(如手寫數(shù)字、字母)即使存在劇烈的方向變化，我們也不希望該運動被模型分割，同理，在兩個包含完整語義信息的動作之間，即使動作方向變化的劇烈程度不高，我們也希望模型能將其分割，這就需要預(yù)先根據(jù)人為需要標注大量分割點，并借助深度學(xué)習(xí)模型進行訓(xùn)練。因此，本文借助光學(xué)傳感器捕捉到的信息對慣性傳感器原始波形中的分割點進行標注，實驗過程如圖15所示。

圖15 借助光學(xué)傳感器對慣性傳感器進行標注

在得到慣性傳感器數(shù)據(jù)中的分割標簽之后，本文訓(xùn)練1D-CNN模型實現(xiàn)基于6軸傳感器數(shù)據(jù)波形的分割點檢測任務(wù)。具體做法是:設(shè)置一個在原始數(shù)據(jù)上滑動的窗口，并將窗口內(nèi)的6軸數(shù)據(jù)輸入1D-CNN模型，該模型將對窗口內(nèi)的潛在分割點進行預(yù)測，通過對比預(yù)測結(jié)果與預(yù)先標注好的分割標簽可以得到預(yù)測誤差，隨著窗口的滑動，大量的誤差被反向傳播回1D-CNN模型使其得到訓(xùn)練。最終，經(jīng)過充分訓(xùn)練的模型具備了根據(jù)輸入的波形數(shù)據(jù)預(yù)測潛在分割點的能力。

為了結(jié)合基于波形特征與軌跡形態(tài)特征檢測到的兩類潛在分割點，本文設(shè)置了一個“與”門。當基于軌跡形態(tài)特征檢測到的分割點附近存在基于波形特征檢測到的分割點時，則將二者的中點判定為最終的分割點；當基于軌跡形態(tài)特征檢測到的分割點附近不存在基于波形特征檢測到的分割點時，則將該點刪除。該“與”門融合了形態(tài)與波形兩種特征，且融入了人為的分割意圖，在精確檢測運動分割點的同時保證了最終得到的分割點可以適應(yīng)不同的需要。

3 結(jié)果與討論

3.1 數(shù)據(jù)增強結(jié)果

由于姿態(tài)解算任務(wù)是軌跡重建任務(wù)的核心，因此本文通過姿態(tài)解算任務(wù)衡量數(shù)據(jù)增強算法的效果。將運動追蹤模塊置于轉(zhuǎn)臺之上，每次轉(zhuǎn)動時記錄初始時刻與運動終止時刻的姿態(tài)變化情況。表1第一列展示了5次測試中的姿態(tài)轉(zhuǎn)動情況。

表1 仿真數(shù)據(jù)表

對每次轉(zhuǎn)動過程中采集到的原始慣性傳感器信號進行姿態(tài)解算，結(jié)果如表1第二列所示。對經(jīng)數(shù)據(jù)增強后的慣性傳感器信號進行姿態(tài)解算，結(jié)果如表1第三列所示。可以看出，本文提出的數(shù)據(jù)增強算法顯著提升了基于慣性傳感器的姿態(tài)解算結(jié)果。

3.2 運動分割結(jié)果

為了驗證本文所提出的智能運動分割模型的實際效果，測試人員手持慣性傳感器以0.5 m/s～1.5 m/s的速度進行連續(xù)手部運動。在約165 s(32 887幀，采樣頻率為200 Hz)的運動過程中共執(zhí)行了62個包含完整語義信息的手勢動作(26種字母大小寫以及數(shù)字0～9)。本文所提出的智能運動分割算法從32 887幀數(shù)據(jù)中檢測出124個分割點，如圖16所示，圓點即為模型檢測出的分割點，二者之間的曲線即為不同手勢動作所對應(yīng)的慣性運動數(shù)據(jù)。

圖16 包含62個手勢動作的慣性運動數(shù)據(jù)分割結(jié)果

通過對比光學(xué)傳感器標注的數(shù)據(jù)分割點可以發(fā)現(xiàn)，該智能運動分割模型不僅準確地識別出了62個包含完整語義信息的手勢動作，同時對每個動作起始與終止幀的位點檢測也可以精確到個位。該算法的智能之處在于，即使這62個手勢動作中包含大量運動方向劇烈變化的位置，該分割模型也并不會將其判定為分割點。以手勢動作“9”為例，該動作在運動過程中存在運動方向劇烈變化的情況。本文提出的“基于失真軌跡的分割點檢測算法”雖然可以準確檢測該手勢動作的起始與終止時刻，并將其對應(yīng)數(shù)據(jù)從長達數(shù)萬幀的原始數(shù)據(jù)流中提取出來，但由于這是一種非智能運動分割算法，因此它會對手勢動作內(nèi)部運動方向劇烈變化的位置也進行分割，導(dǎo)致一個完整的動作軌跡被分開重建，如圖17(a)、(b)軌跡還原結(jié)果所示。而結(jié)合基于深度學(xué)習(xí)的分割點檢測算法之后，由于數(shù)據(jù)標注者在制作數(shù)據(jù)集以及模型訓(xùn)練過程中融入了分割意圖，因此手勢動作內(nèi)部數(shù)據(jù)不會再被判定為分割點，最終可以實現(xiàn)動作軌跡的完整重建，如圖17(c)所示。

圖17 運動分割算法軌跡重建對比

值得注意的是，模型檢測出的分割點位置確實并非波形數(shù)據(jù)中的極值點，而該模型能夠從單調(diào)或平緩的不具有明顯特征的波形中準確檢測出運動分割位點，這證明該智能分割模型對于軌跡形態(tài)特征的引入是成功的，這也與本文此前的分析一致。

3.3 軌跡重建結(jié)果

本文設(shè)計的運動追蹤模塊通過集成數(shù)據(jù)增強算法，顯著提升了對物體運動過程中姿態(tài)變化的解算能力，這使得小尺度、高精度的運動追蹤與任意軌跡重建成為了可能。而本文提出的智能運動分割算法又將長時間的運動過程分割為若干短時間的軌跡片段，通過將數(shù)據(jù)增強算法與運動分割算法相結(jié)合，本文實現(xiàn)了對任意軌跡的分段精確重建，如圖18所示。

圖18 基于慣性傳感器增強數(shù)據(jù)的軌跡分段重建結(jié)果

由于本文提出的智能分割算法可以根據(jù)不同動作所包含的語義信息實現(xiàn)精準的運動分割，因此最終得到的軌跡分段重建結(jié)果中包含的語義信息十分完整，即使運動內(nèi)部出現(xiàn)運動方向劇烈變化的位置，該分割算法也不會強行將其分割。此外，運動軌跡重建結(jié)果中的首尾部分也基本不會出現(xiàn)多余的軌跡片段，這也證明了該運動分割算法的準確性。由于本文提出的數(shù)據(jù)增強算法可以實現(xiàn)對運動過程中姿態(tài)角(方向角)的高精度實時解算，因此與未經(jīng)過數(shù)據(jù)增強的軌跡還原結(jié)果相比(如圖19所示)，增強之后的慣性傳感器數(shù)據(jù)可以顯著提升軌跡的還原精度，特別是對于一些較為復(fù)雜的無法一筆完成的軌跡動作，例如手勢“4”，即使連筆部分會對運動方向造成巨大的干擾，本文所提出的軌跡還原方案依然可以對運動軌跡實現(xiàn)高精度重建。

圖19 基于慣性傳感器原始數(shù)據(jù)的軌跡分段重建結(jié)果

4 結(jié)論

本文實現(xiàn)了基于單MEMS慣性傳感器的運動追蹤與軌跡重建任務(wù)。為了解決MEMS慣性傳感器精度較低的缺陷，提出了一種基于時間序列分解與重建的數(shù)據(jù)增強算法，通過將該算法集成于芯片之中，設(shè)計了一款基于MEMS慣性傳感器的可協(xié)同運動追蹤模塊，該模塊具備藍牙通訊功能，經(jīng)實際測試，通信范圍可達10 m，待機時間8 d以上。該運動追蹤模塊通過集成數(shù)據(jù)增強算法，可以實現(xiàn)對短時軌跡的精準重建。為了達到對任意軌跡的重建，提出了一種智能運動分割算法，該算法通過融合信號的波形信息與軌跡的形態(tài)信息實現(xiàn)了精確到幀的運動分割，且不需要對運動過程做任何約束。此外，該智能分割算法可以借助機器學(xué)習(xí)模型融入數(shù)據(jù)標注者的分割意圖，因此可以適應(yīng)不同的分割需求與應(yīng)用場景。通過結(jié)合數(shù)據(jù)增強算法與智能運動分割算法，實現(xiàn)了對任意軌跡的精確重建。