基于改進(jìn)L-K光流的WebAR信息可視分析方法

裴云強(qiáng)，吳亞?wèn)|，王賦攀，張曉蓉，蔣宏宇，許世健，唐文生

基于改進(jìn)L-K光流的WebAR信息可視分析方法

裴云強(qiáng)1，吳亞?wèn)|2，王賦攀1，張曉蓉1，蔣宏宇3，許世健1，唐文生1

(1. 西南科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，四川 綿陽(yáng) 621010； 2. 四川輕化工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，四川 自貢 643002； 3. 法政大學(xué)計(jì)算機(jī)信息科學(xué)學(xué)院，日本 東京 184-8584)

信息可視化技術(shù)結(jié)合移動(dòng)增強(qiáng)現(xiàn)實(shí)(MAR)技術(shù)在目標(biāo)跟蹤領(lǐng)域仍然存在設(shè)備計(jì)算負(fù)載過(guò)大的問(wèn)題。若仍堅(jiān)持采用同跟蹤平面圖像特征點(diǎn)的方案來(lái)跟蹤立體對(duì)象各角度的特征點(diǎn)，則目標(biāo)跟蹤過(guò)程所需要獲取的多角度特征點(diǎn)數(shù)據(jù)無(wú)疑會(huì)加重跟蹤過(guò)程的計(jì)算壓力，進(jìn)而導(dǎo)致移動(dòng)設(shè)備負(fù)載過(guò)大，最終影響模型渲染，所渲染的模型常出現(xiàn)劇烈抖動(dòng)、卡頓或運(yùn)動(dòng)滯后于目標(biāo)物的現(xiàn)象。針對(duì)上述問(wèn)題，提出了一種基于改進(jìn)的L-K (Lucas-Kanade)光流跟蹤算法的WebAR (基于Web端的MAR技術(shù))解決方案，將特征點(diǎn)的跟蹤問(wèn)題轉(zhuǎn)化為光流估計(jì)問(wèn)題以及一種優(yōu)化的三維信息可視化交互策略。實(shí)驗(yàn)結(jié)果表明，該方法能夠提高M(jìn)AR在跟蹤目標(biāo)時(shí)的計(jì)算效率和穩(wěn)定性，豐富信息可視化的呈現(xiàn)效果和交互方式。

移動(dòng)增強(qiáng)現(xiàn)實(shí)；WebAR；信息可視化；Lucas-Kanade算法；光流跟蹤

利用可視化技術(shù)呈現(xiàn)原始數(shù)據(jù)是一種較為直觀的信息傳遞方式[1]。數(shù)據(jù)可視化技術(shù)雖然種類(lèi)繁多，但可視化呈現(xiàn)方式的優(yōu)化問(wèn)題長(zhǎng)時(shí)間未獲突破。隨著技術(shù)的發(fā)展，在可視化領(lǐng)域已經(jīng)出現(xiàn)諸多數(shù)據(jù)呈現(xiàn)的新方式，增強(qiáng)現(xiàn)實(shí)(augmented reality，AR)結(jié)合數(shù)據(jù)可視化[2-4]就是其中一種較高效的數(shù)據(jù)分析方式。人類(lèi)的認(rèn)知水平有限，因此有效的數(shù)據(jù)分析和呈現(xiàn)工作至關(guān)重要。AR[5]是一種身臨其境的虛實(shí)空間暢游體驗(yàn)，能為數(shù)據(jù)可視化提供更大空間，容納更高維度數(shù)據(jù)。用戶在AR所創(chuàng)造的虛實(shí)空間中，通過(guò)切換不同的視角確保視覺(jué)元素的所有細(xì)節(jié)不被遺漏，故AR從根本上改變用戶與數(shù)據(jù)交互[6-7]和分析數(shù)據(jù)的方式，進(jìn)而提升用戶認(rèn)知。如今數(shù)據(jù)可視化技術(shù)正逐步圍繞圖像、圖表、多維動(dòng)畫(huà)等視覺(jué)元素向AR技術(shù)邁進(jìn)，最終形成以“AR Data Visualization”為核心的技術(shù)延展路線。

AR設(shè)備主要分為頭戴式和移動(dòng)增強(qiáng)現(xiàn)實(shí)(mobile augmented reality，MAR)2大類(lèi)。早期的頭戴式AR設(shè)備通常體積龐大、分辨率低、幀率低等問(wèn)題，大大降低了投影在現(xiàn)實(shí)場(chǎng)景中AR模型的真實(shí)感；伴隨移動(dòng)設(shè)備的普及，愈來(lái)愈多的大眾選擇通過(guò)移動(dòng)端(如智能手機(jī))體驗(yàn)AR，即MAR。MAR從技術(shù)上主要?jiǎng)澐譃锳PP-based AR (基于APP的MAR技術(shù))和WebAR[8-11]，如圖1所示。相較于APP-based AR存在的跨平臺(tái)難等問(wèn)題，WebAR具有無(wú)下載、跨平臺(tái)、輕量、低成本等優(yōu)勢(shì)。為了提升真實(shí)感和實(shí)時(shí)性，多數(shù)MAR應(yīng)用采用目標(biāo)跟蹤的方案，實(shí)時(shí)匹配在視頻幀中所提取的特征點(diǎn)描述子與預(yù)先保存在云端的參考圖像描述子，以實(shí)現(xiàn)目標(biāo)識(shí)別與跟蹤。傳統(tǒng)的WebAR目標(biāo)跟蹤方案亦是需要預(yù)先計(jì)算并篩選目標(biāo)中便于跟蹤的特征點(diǎn)，增大了預(yù)處理的開(kāi)銷(xiāo)。基于目標(biāo)跟蹤的MAR以常用平面圖像作為Marker (標(biāo)記即識(shí)別跟蹤對(duì)象，例如：二維碼、自然圖像等)，且在不同角度觀察下的特征點(diǎn)基本一致。而真實(shí)場(chǎng)景中的立體對(duì)象在不同的角度下觀測(cè)會(huì)產(chǎn)生不同的特征信息，若對(duì)于立體對(duì)象仍采用跟蹤平面圖像的方案來(lái)跟蹤特征點(diǎn)，則需要獲取更多角度的特征信息，必然增大跟蹤的難度，因此對(duì)于此部分跟蹤目標(biāo)來(lái)說(shuō)基于特征點(diǎn)的檢測(cè)與跟蹤存在相當(dāng)?shù)木窒扌浴?/p>

圖1 MAR發(fā)展時(shí)序圖(基于Web的MAR應(yīng)用和基于APP的MAR應(yīng)用分別位于左、右兩側(cè))

1 相關(guān)工作

為了促進(jìn)MAR結(jié)合信息可視化領(lǐng)域的發(fā)展，研究者已提出了多種策略。2011年，YASOJIMA等[12]為了提升信息可視化的交互水平和精度，提出了一種基于協(xié)同式AR的信息可視化應(yīng)用程序；2013年，VLADIMIR[13]提出并解決了信息可視化結(jié)合MAR應(yīng)用中的實(shí)用性和美觀性問(wèn)題；2017年，UMER等[14]開(kāi)發(fā)了一款基于MAR的植物學(xué)習(xí)系統(tǒng)MAPILS，用于引導(dǎo)學(xué)生自主探究學(xué)習(xí)植物相關(guān)知識(shí)；2018年，陶燎亮和宋俊鋒[15]運(yùn)用MAR技術(shù)實(shí)現(xiàn)校園三維可視化。但以上研究都沒(méi)有對(duì)目標(biāo)信息進(jìn)行有效地可視分析，并且沒(méi)有獨(dú)立的跟蹤方案。另外，提供的使用平臺(tái)皆為移動(dòng)端APP，用戶需要下載安裝。因此，本文針對(duì)在信息可視化和MAR結(jié)合領(lǐng)域中存在的跟蹤效率低、信息呈現(xiàn)與小屏交互受限的問(wèn)題，做了跟蹤算法、數(shù)據(jù)呈現(xiàn)和交互方式上的優(yōu)化。

2 交互與跟蹤模型

為了研究立體對(duì)象的WebAR跟蹤方案，本文提出了一種基于改進(jìn)L-K光流法[16-17]的跟蹤方法并對(duì)該WebAR跟蹤方案做如下4個(gè)假設(shè)：

(1) 基于改進(jìn)L-K光流法的圖像金字塔[18]中采樣窗口大小會(huì)影響最終計(jì)算得出的光流(,)值；

(2) 加入判斷T矩陣(與光流約束方程中的梯度相關(guān))是否可逆后，能夠基本保證L-K光流法各梯度變化情況下運(yùn)動(dòng)的完整性；

(3) 采用改進(jìn)L-K光流法后的目標(biāo)跟蹤會(huì)相對(duì)穩(wěn)定，且能實(shí)現(xiàn)立體對(duì)象跟蹤；

(4) 該方案下所渲染的AR模型基本不會(huì)出現(xiàn)抖動(dòng)、卡頓或運(yùn)動(dòng)滯后于目標(biāo)物的現(xiàn)象。

2.1 AR與數(shù)據(jù)可視化相結(jié)合的意義

將AR同數(shù)據(jù)可視化相結(jié)合是人機(jī)交互領(lǐng)域的新發(fā)展趨勢(shì)，結(jié)合后的用戶能在三維空間中以更直觀的視角分析數(shù)據(jù)，并實(shí)現(xiàn)多人協(xié)作。

2.1.1 沉浸式數(shù)據(jù)分析與三維交互

AR將可視化結(jié)果融入到真實(shí)場(chǎng)景中，將可視化結(jié)果作為AR模型對(duì)用戶視覺(jué)內(nèi)容進(jìn)行增強(qiáng)，進(jìn)而給用戶沉浸式的數(shù)據(jù)交互體驗(yàn)，使虛擬信息成為真實(shí)場(chǎng)景中的一部分。AR用更大的空間來(lái)呈現(xiàn)數(shù)據(jù)，將帶來(lái)更全面的分析結(jié)果和更廣闊的視野，同時(shí)賦予數(shù)據(jù)可視化在三維空間中的交互方式，如手勢(shì)、凝視、觸覺(jué)交互等。

2.1.2 注冊(cè)對(duì)象抽象化

AR中的核心技術(shù)之一就是三維注冊(cè)[19]，包括相機(jī)跟蹤、物體跟蹤和場(chǎng)景三維重構(gòu)等。在AR與數(shù)據(jù)可視化的結(jié)合領(lǐng)域中，將注冊(cè)對(duì)象識(shí)別為視覺(jué)元素能夠減少用戶視覺(jué)通道的負(fù)載，使原始數(shù)據(jù)直觀易懂[20]。

因此，本文提出IV LKWA解決方案，在真實(shí)場(chǎng)景中將植物視為視覺(jué)元素，使相關(guān)數(shù)據(jù)通過(guò)WebAR技術(shù)疊加到真實(shí)場(chǎng)景中，以可視化的形式呈現(xiàn)在種植者眼前以便觀測(cè)和栽培。

2.2 L-K光流跟蹤法

2.2.1 傳統(tǒng)光流跟蹤法

美國(guó)心理學(xué)家James J. Gibson于1950年首次提出光流的概念，用以描述真實(shí)世界中物體的運(yùn)動(dòng)。根據(jù)視覺(jué)場(chǎng)景中的亮度變化[21]，光流也可以被定義為物點(diǎn)的速度矢量在成像平面上的投影，該運(yùn)動(dòng)中所有光流的分布情況將被展示于光流場(chǎng)中，如圖2所示。光流場(chǎng)是運(yùn)動(dòng)場(chǎng)在二維圖像幀上的投影，繼承運(yùn)動(dòng)場(chǎng)中相關(guān)運(yùn)動(dòng)和結(jié)構(gòu)的信息，并且可以從連續(xù)視頻幀的亮度變化中近似計(jì)算出像素點(diǎn)的運(yùn)動(dòng)偏移，以求得無(wú)法直接獲得的運(yùn)動(dòng)場(chǎng)[22]。

光流法存在的基本假設(shè)條件：

(1) 運(yùn)動(dòng)是連續(xù)的“小運(yùn)動(dòng)”。根據(jù)視覺(jué)感知原理可知，時(shí)間的變化不會(huì)引起客觀物體的運(yùn)動(dòng)在空間上產(chǎn)生劇烈變化，這樣的運(yùn)動(dòng)是相對(duì)連續(xù)的。所以在目標(biāo)運(yùn)動(dòng)過(guò)程中，相鄰幀之間是連續(xù)變化，且位移量足夠小。由此條件可見(jiàn)運(yùn)動(dòng)相對(duì)于幀率是緩慢、連貫的，在數(shù)學(xué)上表示該運(yùn)動(dòng)的相關(guān)函數(shù)是連續(xù)、可導(dǎo)的。

圖2 面向轉(zhuǎn)軸所呈現(xiàn)的光流展示

(2) 亮度恒定不變。同一目標(biāo)在相鄰幀之間，其亮度保持不變。這是基本光流法的假定，用于得到基本約束方程。假設(shè)某像素點(diǎn)經(jīng)過(guò)間隔后對(duì)應(yīng)點(diǎn)亮度由(,,)變?yōu)?+,+,+)，且趨近于0。由假設(shè)條件(2)得

將式(1)中右式泰勒展開(kāi)后整理得

2.2.2 L-K光流跟蹤法

除了上述假設(shè)條件外，L-K光流跟蹤法還應(yīng)用了第3條假設(shè)：鄰域內(nèi)像素點(diǎn)位移量一致。2幅相鄰幀中的目標(biāo)位移很小，且位移在所研究像素點(diǎn)的鄰域內(nèi)為固定常數(shù)，即像素點(diǎn)鄰域內(nèi)所有像素點(diǎn)的速度向量(,) (，分別表示像素坐標(biāo)系中指向軸和軸正方向的位移量，該向量表示光流)相等。L-K光流跟蹤法利用此假設(shè)，將單像素點(diǎn)光約束問(wèn)題轉(zhuǎn)化為鄰近像素點(diǎn)群光約束問(wèn)題。假設(shè)窗口內(nèi)的像素具有相同的光流(,)，窗口大小為4()×4()，得到16個(gè)約束方程為

圖3 “孔徑”問(wèn)題(從小孔中觀察物體的運(yùn)動(dòng)并不能唯一確定其真實(shí)運(yùn)動(dòng)，故其真實(shí)運(yùn)動(dòng)具有不確定性)

對(duì)于超定方程組式(3)，采用最小二乘法求解，即

式(4)求解光流(,)T的前提是矩陣T可逆，與此同時(shí)還要求矩陣T的最小特征值min足夠大，且只有滿足此要求的像素點(diǎn)才易于跟蹤[21]。

2.2.3 基于圖像金字塔的L-K光流跟蹤法

當(dāng)目標(biāo)由于運(yùn)動(dòng)速度過(guò)快而違背假設(shè)條件“小運(yùn)動(dòng)”時(shí)，會(huì)導(dǎo)致誤差累計(jì)，最終造成求得的光流值誤差過(guò)大。而運(yùn)用圖像金字塔能有效解決此問(wèn)題。其基本原理為逐級(jí)降低視頻幀分辨率，至下而上建立圖像金字塔，接著從塔頂向下逐層計(jì)算該幀像素點(diǎn)在下一幀的估計(jì)位置直至塔底，最終求得相應(yīng)光流，如圖4所示。

圖4 基于圖像金字塔的L-K光流法計(jì)算光流的過(guò)程

3 交互與跟蹤模型

3.1 IV LKWA系統(tǒng)

本文采用WebAR實(shí)現(xiàn)目標(biāo)跟蹤并渲染可視化結(jié)果為AR模型，圖5(a)和(b)分別展示了系統(tǒng)框架和用戶流程。用戶通過(guò)Web Camera獲取實(shí)時(shí)視頻流。待視頻流被傳至云端完成匹配后，前端獲取反饋結(jié)果。根據(jù)結(jié)果，前端實(shí)現(xiàn)目標(biāo)跟蹤，并采用three.js直接于前端渲染AR模型，釋放了來(lái)自云端或邊緣[23]的傳輸壓力。

3.2 WebAR中的數(shù)據(jù)交互

在MAR應(yīng)用中，移動(dòng)端的小屏幕限制了交互方式和信息的容量與維度。而本系統(tǒng)將所有的信息以可視化的形式呈現(xiàn)，并運(yùn)用WebAR技術(shù)將可視化頁(yè)面嵌入AR模型，進(jìn)而產(chǎn)生雙指縮放、雙指拖動(dòng)、單指旋轉(zhuǎn)等豐富的三維交互方式(圖5(c))，以提升種植者的栽培體驗(yàn)。

3.3 改進(jìn)的L-K光流跟蹤算法

傳統(tǒng)的L-K光流跟蹤法解光流(,)T時(shí)，僅考慮了矩陣T可逆的情況，直接導(dǎo)致最終計(jì)算出的光流不具備運(yùn)動(dòng)的完整性。而改進(jìn)的算法討論了矩陣T的奇異性(即矩陣是否可逆)，并對(duì)矩陣不可逆的情況做相應(yīng)光流估計(jì)，進(jìn)而確保了運(yùn)動(dòng)的完整性。

圖5 WebAR的系統(tǒng)框架和用戶交互流程

3.3.1 矩陣T為奇異矩陣

基于已建立的圖像金字塔計(jì)算光流，從頂層開(kāi)始，逐層向下計(jì)算光流，直到求得底層原圖像的光流。每一層圖像的光流都是由上層的光流計(jì)算結(jié)果累加所得。

3.3.2 矩陣T為非奇異矩陣

圖6 當(dāng)矩陣ATA分別為非奇異和奇異矩陣時(shí)的光流

4 測(cè)試結(jié)果與討論

理論上，改進(jìn)的L-K光流跟蹤算法不僅能有效解決立體對(duì)象的跟蹤問(wèn)題，而且能基本確保運(yùn)動(dòng)完整度，即計(jì)算覆蓋所有梯度變化情況下出現(xiàn)的光流；WebAR中的信息可視化將克服小屏幕的限制，實(shí)現(xiàn)三維交互方式。

4.1 性能估計(jì)

進(jìn)行性能測(cè)試的設(shè)備包括OnePlus7T (安卓手機(jī))、微星筆記本電腦和一臺(tái)阿里云服務(wù)器，相關(guān)參數(shù)見(jiàn)表1。使用火狐瀏覽器評(píng)估性能。測(cè)試主要評(píng)估了基于改進(jìn)L-K光流算法的跟蹤時(shí)延和改進(jìn)前后L-K光流跟蹤法的運(yùn)動(dòng)完整度。

表1 服務(wù)器和移動(dòng)設(shè)備相關(guān)參數(shù)

在與改進(jìn)前算法的對(duì)比實(shí)驗(yàn)中，調(diào)整改進(jìn)的算法中圖像金字塔每層的采樣窗口大小后，發(fā)現(xiàn)隨著采樣窗口大小的增大，最終計(jì)算出的光流值基本呈線性遞增，經(jīng)觀察發(fā)現(xiàn)較適于觀測(cè)AR模型運(yùn)動(dòng)的窗口大小為9×9，如圖7(a)所示。改進(jìn)的L-K光流跟蹤算法在加入判斷矩陣T是否可逆的條件后，在同色溫同亮度不同測(cè)試時(shí)間內(nèi)，平均召回了較之前在無(wú)判斷下約4.74% (移動(dòng)端)和23.04% (PC端)的運(yùn)動(dòng)數(shù)據(jù)，如圖7(b)所示。而在固定時(shí)間內(nèi)不同色溫不同亮度下平均召回3.88% (移動(dòng)端)和11.4% (PC端)的運(yùn)動(dòng)數(shù)據(jù)，如圖7(c)所示。算法改進(jìn)前后出現(xiàn)的運(yùn)動(dòng)偏差如圖7(d)所示，紅色方框呈現(xiàn)改進(jìn)后的效果，綠色方框呈現(xiàn)改進(jìn)前的效果。兩者初始時(shí)上下重合(左側(cè))，綠色方框在上層，紅色方框在下層。經(jīng)過(guò)移動(dòng)后，雖然上下層邊框都存在一定的偏差(右側(cè))，但改進(jìn)后的結(jié)果更靠近原來(lái)的位置。上述可證色溫亮度的改變確實(shí)會(huì)對(duì)測(cè)試結(jié)果造成影響，但不同條件下的運(yùn)動(dòng)丟失率仍然存在。而在與同類(lèi)WebAR跟蹤方案的對(duì)比實(shí)驗(yàn)中，所有方案的跟蹤對(duì)象橫截面積范圍在217.8~253 cm2之間，平均面積226.7 cm2。觀測(cè)距離范圍最大值和最小值分別為171 cm和3 cm，且均來(lái)自于改進(jìn)的光流跟蹤算法。采用改進(jìn)L-K光流跟蹤算法的均幀率在WebAR移動(dòng)端跟蹤方案中處于中上水平且?guī)首兓茸钚。鐖D8所示。在移動(dòng)端瀏覽器的兼容性方面，改進(jìn)的L-K光流跟蹤算法同時(shí)兼容Chrome和Firefox瀏覽器。在跟蹤對(duì)象自身的維度方面，改進(jìn)的L-K光流跟蹤算法同時(shí)可以實(shí)現(xiàn)立體和平面目標(biāo)跟蹤。

綜上所述，改進(jìn)光流法的關(guān)鍵就是求解出圖像中運(yùn)動(dòng)目標(biāo)的完整光流以及有效解決立體對(duì)象的跟蹤問(wèn)題。未來(lái)，考慮在改進(jìn)L-K光流法的基礎(chǔ)上，引入單目相機(jī)下的位姿估計(jì)方法來(lái)解決立體對(duì)象的位姿估計(jì)問(wèn)題。

圖7 分析比較改進(jìn)算法的特點(diǎn)

圖8 IVP WA與4款WebAR跟蹤方案的性能對(duì)比

4.2 用戶評(píng)估

為了驗(yàn)證系統(tǒng)的有效性，邀請(qǐng)了55名志愿者，通過(guò)植物溫度、植物適宜生存環(huán)境指標(biāo)、澆水周期、盆土成分比例、AR模型運(yùn)動(dòng)流暢度、交互方法、界面布局、系統(tǒng)有效性來(lái)判斷用戶滿意度。用戶的得分越高(從0~10)，滿意度就越高。圖9的統(tǒng)計(jì)結(jié)果說(shuō)明了該系統(tǒng)可以有效地幫助用戶體驗(yàn)沉浸式培育植物，提升對(duì)植物的了解程度。此外，植物溫度和適宜生存環(huán)境指標(biāo)以及AR模型運(yùn)動(dòng)流暢度和交互方法的滿意度得分較高，不僅符合用戶對(duì)植物栽培環(huán)境的普遍關(guān)注，也體現(xiàn)出系統(tǒng)滿足了用戶對(duì)于畫(huà)面流暢度和交互效率方面的需求，因此該評(píng)估間接驗(yàn)證了系統(tǒng)的有效性。

圖9 用戶滿意度評(píng)估

5 展望與總結(jié)

WebAR和信息可視化的結(jié)合必將成為一種趨勢(shì)，但還需要克服諸多困難。下面從相關(guān)應(yīng)用的大規(guī)模普及與私有化和光流法的應(yīng)用拓展2個(gè)方面入手，展望Web AR結(jié)合信息可視化的發(fā)展前景。

5.1 普及與私有化

WebAR的開(kāi)發(fā)水平正逐步提升以待大規(guī)模普及。但是，當(dāng)涉及到部分敏感數(shù)據(jù)時(shí)，開(kāi)發(fā)者必須保證用戶個(gè)人信息不公開(kāi)。因此，WebAR在網(wǎng)絡(luò)安全方面應(yīng)該立足于解決用戶數(shù)據(jù)隱私泄露問(wèn)題。只有擁有安全可靠的網(wǎng)絡(luò)環(huán)境WebAR的普及才能得到保障。

5.2 光流法的應(yīng)用拓展

光流包含了目標(biāo)的關(guān)鍵運(yùn)動(dòng)信息，除了用于檢測(cè)圖像幀中的運(yùn)動(dòng)目標(biāo)，還可以用于分割運(yùn)動(dòng)目標(biāo)等。其次，將光流法運(yùn)用于WebAR技術(shù)再結(jié)合信息可視化，有助于自動(dòng)導(dǎo)航、室內(nèi)智能系統(tǒng)等領(lǐng)域的技術(shù)突破和持續(xù)發(fā)展。

5.3 總 結(jié)

本文提出了一種基于改進(jìn)L-K光流算法的WebAR解決方案和一種優(yōu)化的交互策略，并應(yīng)用于WebAR與信息可視化的交叉領(lǐng)域。測(cè)試部分比較了傳統(tǒng)和改進(jìn)L-K算法的運(yùn)動(dòng)完整度，以及同類(lèi)型WebAR解決方案的性能。測(cè)試結(jié)果表明，改進(jìn)的L-K光流跟蹤算法確實(shí)能在無(wú)特征點(diǎn)跟蹤的情況下有效解決立體對(duì)象的跟蹤問(wèn)題，并能基本確保光流的運(yùn)動(dòng)完整度。本系統(tǒng)嘗試將立體對(duì)象作為跟蹤目標(biāo)，且避免了大量特征點(diǎn)計(jì)算時(shí)產(chǎn)生的能耗，有效提高M(jìn)obile AR領(lǐng)域在跟蹤目標(biāo)時(shí)的計(jì)算效率和跟蹤穩(wěn)定性。WebAR提供更大的空間以呈現(xiàn)數(shù)據(jù)，將帶來(lái)更全面的可視分析結(jié)果，同時(shí)賦予信息可視化三維交互方式。WebAR渲染可視化結(jié)果于三維空間供用戶進(jìn)行高效的人機(jī)交互，替代了傳統(tǒng)復(fù)雜耗時(shí)的手動(dòng)檢索，輔助種植者高效快速地了解植物培育信息。上述結(jié)論驗(yàn)證了WebAR和信息可視化的結(jié)合存在大量的研究意義和價(jià)值。除了植物，IV LKWA還可以應(yīng)用到其他領(lǐng)域，如博物館展品、購(gòu)物指南等。本文也為MAR結(jié)合信息可視化領(lǐng)域中改善目標(biāo)跟蹤性能和豐富交互方式等方面提供了新思路。

[1] ALI S M, GUPTA N, LENKA R K, et al. Big data visualization: tools and challenges[C]//2nd International Conference on Contemporary Computing and Informatics. New York: IEEE Press, 2017: 656-660.

[2] 張開(kāi)法. 混合現(xiàn)實(shí)技術(shù)在大數(shù)據(jù)可視化中的應(yīng)用[J]. 電腦編程技巧與維護(hù), 2019(4): 84-86. ZHANG K F. The application of mixed reality technology in big data visualization[J]. Computer Programming Skills & Maintenance, 2019(4): 84-86 (in Chinese).

[3] ELSAYED N A M, THOMAS B H, SMITH R T, et al. Using augmented reality to support situated analytics[C]//2015 IEEE Virtual Reality. New York: IEEE Press, 2015: 175-176.

[4] COSTA I V, QUEIROZ V F, MIRANDA B, et al. A card-based interaction to design visualizations in augmented reality environments[C]//23rd International Conference in Information Visualization–Part II. New York: IEEE Press, 2019: 52-55.

[5] 李騰飛. 增強(qiáng)現(xiàn)實(shí)虛實(shí)交互技術(shù)的研究與實(shí)現(xiàn)[D]. 沈陽(yáng): 沈陽(yáng)工業(yè)大學(xué), 2019. LI P F. Research and implementation of virtual and reality interaction technology in augmented reality[D]. Shenyang: Shenyang University of Technology, 2019 (in Chinese).

[6] WILLIAMS T, SZAFIR D, CHAKRABORTI T, et al. Virtual, augmented, and mixed reality for human-robot interaction[C]//2019 14th ACM/IEEE International Conference on Human-Robot Interaction. New York: ACM Press, 2019: 671-672.

[7] SANGALLI V A, DE OLIVEIRA, T V, SOARES L P, et al. SculptAR: an augmented reality interaction system[C]//2017 IEEE Symposium on 3D User Interfaces. New York: IEEE Press, 2017: 260-261.

[8] REN P, QIAO X Q, CHEN J L, et al. Mobile edge computing – a booster for the practical provisioning approach of web-based augmented reality[C]//2018 IEEE/ACM Symposium on Edge Computing (SEC). New York: IEEE Press, 2018: 349–350.

[9] QIAO X Q, REN P, NAN G H, et al. Mobile web augmented reality in 5G and beyond: challenges, opportunities, and future directions[J]. China Communications, 2019, 16(9): 141-154.

[10] DANGKHAM P. Mobile augmented reality on web-based for the tourism using HTML5[C]//2018 International Conference on Information Networking. New York: IEEE Press, 2018: 482-485.

[11] LAM K Y, LEE H L, BRAUD T, et al. M2a: a framework for visualizing information from mobile web to mobile augmented reality[C]//2019 IEEE International Conference on Pervasive Computing and Communications. New York: IEEE Press, 2019: 1-10.

[12] YASOJIMA E K K, MEIGUINS B S, MEIGUINS A S. Collaborative augmented reality application for information visualization support[C]//2011 15th International Conference on Information Visualisation. New York: IEEE Press, 2011: 170-175.

[13] VLADIMIR G. Artistic visualisation of practical in-formation using augmented reality[C]//2013 17th International Conference on Information Visualisation. New York: IEEE Press, 2013: 404-409.

[14] UMER M, NASIR B, KHAN J A, et al. Mapils: mobile augmented reality plant inquiry learning system[C]//2017 IEEE Global Engineering Education Conference. New York: IEEE Press, 2017: 1443-1449.

[15] 陶燎亮, 宋俊鋒. 基于VR技術(shù)和AR技術(shù)的三維可視化實(shí)現(xiàn)——以麗水學(xué)院校園風(fēng)光明信片應(yīng)用開(kāi)發(fā)為例[J]. 麗水學(xué)院學(xué)報(bào), 2018, 40(2): 64-69. TAO L L, SONG J F. The realization of 3D visualization with VR and AR technologies: the development of postcard applications of Lishui University campus landscapes[J]. Journal of Lishui University, 2018, 40(2): 64-69 (in Chinese).

[16] LUCAS B D, KANADE T. An iterative image registration technique with an application to stereo vision[C]//Proceedings of the 7th International Joint Conference on Artificial Intelligence, San Francisco: Morgan Kaufmann Publishers, 1981: 674-679.

[17] 楊靖帆, 何漢武, 吳悅明. 局部特征描述改進(jìn)的LK跟蹤注冊(cè)方法[J]. 計(jì)算機(jī)工程與設(shè)計(jì), 2020, 41(2): 458-464. YANG J F, HE H W, WU Y M. Improved Lucas Kanade tracking and registration method based on local descriptor[J]. Computer Engineering and Design, 2020, 41(2): 458-464 (in Chinese).

[18] 朱俊杰, 李勝, 侯保林, 等. 基于金字塔LK算法的運(yùn)動(dòng)目標(biāo)的檢測(cè)[J]. 工業(yè)控制計(jì)算機(jī), 2015, 28(9): 13-15. ZHU J J, LI S, HOU B L, et al. Detection of moving objects based on pyramid LK algorithm[J]. Industrial Control Computer, 2015, 28(9): 13-15 (in Chinese).

[19] LI Q Y, LI Y X, TIAN J, et al. Augmented reality registration method based on natural feature points[C]//Proceedings of 2017 17th IEEE International Conference on Communication Technology, New York: IEEE Press, 2017: 1937-1941.

[20] 高翔, 安輝, 陳為, 等. 移動(dòng)增強(qiáng)現(xiàn)實(shí)可視化綜述[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2018, 30(1): 1-8. GAO X, AN H, CHEN W, et al. A survey on mobile augmented reality visualization[J]. Journal of Computer-Aided Design & Computer Graphics, 2018, 30(1): 1-8 (in Chinese).

[21] 孫娟. 基于改進(jìn)光流場(chǎng)目標(biāo)檢測(cè)跟蹤系統(tǒng)的設(shè)計(jì)[D]. 淮南: 安徽理工大學(xué), 2017. SUN J. Design of target detection and tracking system based on improved optical flow field[D]. Huainan: Anhui University of Science & Technology, 2017 (in Chinese).

[22] SHI J B, TOMASI C. Good features to track[C]//1994 Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 1994: 593-600.

[23] QIAO X Q, REN P, DUSTDAR S, et al. A new era for web AR with mobile edge computing[J]. IEEE Internet Computing, 2018, 22(4): 46-55.

IV LKWA: an information visual analysis tool with advanced L-K optical flow based WebAR

PEI Yun-qiang1, WU Ya-dong2, WANG Fu-pan1, ZHANG Xiao-rong1, JIANG Hong-yu3, XU Shi-jian1, TANG Wen-sheng1

(1. School of Computer Science & Technology, Southwest University of Science and Technology, Mianyang Sichuan 621010, China; 2. School of Computer Science & Engineering, Sichuan University of Science and Engineering, Zigong Sichuan 643002, China; 3. Graduate School of Computer Information Science, Hosei University, Tokyo 184-8584, Japan)

For themobile augmented reality (MAR) technology combined with information visualization, there remains excessive computing pressure on devices in target tracking. If the MAR application adopts the feature tracking solution for 2D images to track 3D objects, the multi-angle feature points in 3D objects obtained from extensive calculations will undoubtedly increase computing pressure in tracking process. As a consequence, excessive computing pressure will be incurred on devices, leading to unstable phenomena in the scene, such as jitter, latency, and movement of 3D AR model lagging behind the target during the target tracking. To resolve these problems, a WebAR (web-based AR) solution was proposed based on the advanced L-K method (Lucas Kanade method, an optical flow algorithm), which transformed the feature point tracking problem into an optical flow estimation problem and an optimized 3D interaction strategy for information visualization. The experimental results could verify that the proposed method can effectively enhance the computing efficiency and stability of target tracking in MAR and enrich the presentation and interaction in information visualization with WebAR.

mobile augmented reality; WebAR; information visualization; Lucas-Kanade method; optical flow

TP 391

10.11996/JG.j.2095-302X.2020060962

A

2095-302X(2020)06-0962-08

2020-07-15；

2020-07-28

15 July，2020；

28 July，2020

四川省重點(diǎn)研發(fā)計(jì)劃項(xiàng)目(2020YFS0360)；國(guó)家自然科學(xué)基金項(xiàng)目(61872304，61802320，61872066，61502083)；四川省教育廳科技創(chuàng)新團(tuán)隊(duì)支持計(jì)劃(18zd1102)

Key Research and Development Project of Sichuan Province (2020YFS0360); National Natural Science Foundation of China (61872304, 61802320, 61872066, 61502083); Program for Innovation Team of Sichuan Province Committee of China (18zd1102)

裴云強(qiáng)(1995-)，男，四川成都人，碩士研究生。主要研究方向?yàn)槿藱C(jī)交互。E-mail：simon1059770342@foxmail.com

PEI Yun-qiang (1995-), male, master student. His main research interests cover human-computer interaction. E-mail：simon1059770342@fox-mail.com

吳亞?wèn)|(1979–)，男，河南舞陽(yáng)人，教授，博士。主要研究方向?yàn)榭梢暬c可視分析、人機(jī)交互。E-mail：wyd028@163.com

WU Ya-dong (1979-), male, professor, Ph.D. His main research interests cover visualization and visual analysis and human-computer interaction. E-mail：wyd028@163.com