多模態(tài)感知下基于MR 技術(shù)的遠(yuǎn)程監(jiān)測(cè)方法探究

摘要：隨著多模態(tài)感知技術(shù)的飛速發(fā)展，物聯(lián)網(wǎng)技術(shù)與多模態(tài)感知技術(shù)的結(jié)合應(yīng)用受到了廣泛關(guān)注。文章以遠(yuǎn)程監(jiān)測(cè)為切入點(diǎn)，結(jié)合多模態(tài)感知技術(shù)和混合現(xiàn)實(shí)（Mixed Reality，MR） 技術(shù)，實(shí)現(xiàn)對(duì)遠(yuǎn)程目標(biāo)的實(shí)時(shí)信息獲取和分析，從而對(duì)目標(biāo)狀態(tài)進(jìn)行監(jiān)測(cè)與評(píng)估。在技術(shù)探究層面，依托多模態(tài)感知技術(shù)和混合現(xiàn)實(shí)技術(shù)在遠(yuǎn)程監(jiān)測(cè)領(lǐng)域的應(yīng)用綜述、分析和方法，提出遠(yuǎn)程監(jiān)測(cè)解決方案。在社會(huì)發(fā)展層面，遠(yuǎn)程監(jiān)測(cè)方法為社會(huì)各行各業(yè)提供了成熟的解決方案和增值服務(wù)，為相關(guān)研究人員和開發(fā)者提供了有益的參考，從而助力虛擬現(xiàn)實(shí)與行業(yè)應(yīng)用的融合和可持續(xù)發(fā)展。

關(guān)鍵詞：多模態(tài)；MR技術(shù)；行業(yè)應(yīng)用；遠(yuǎn)程監(jiān)測(cè)

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2024）27-0027-04 開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID） ：

0 引言

隨著人工智能相關(guān)技術(shù)的不斷進(jìn)步，自動(dòng)化與虛擬現(xiàn)實(shí)逐漸成為關(guān)注的熱點(diǎn)話題，其中，如何將自動(dòng)化與虛擬現(xiàn)實(shí)技術(shù)有機(jī)融合受到廣泛關(guān)注。在《“十四五”數(shù)字經(jīng)濟(jì)發(fā)展規(guī)劃的通知》[1]中，國務(wù)院提出了“推動(dòng)產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型”的概念，即加快資源虛擬化聚集，構(gòu)建虛實(shí)結(jié)合的數(shù)字化新生態(tài)。同時(shí)，《現(xiàn)實(shí)與行業(yè)應(yīng)用融合發(fā)展行動(dòng)計(jì)劃（2022—2026）》[2]中確立了到2026年在虛擬現(xiàn)實(shí)與行業(yè)應(yīng)用的融合發(fā)展方面取得重大進(jìn)展的目標(biāo)，包括實(shí)現(xiàn)虛擬現(xiàn)實(shí)與教育、工業(yè)、醫(yī)療等領(lǐng)域的深度融合，形成一批具有示范效應(yīng)的應(yīng)用場(chǎng)景和典型案例。

多模態(tài)感知技術(shù)[3]是一項(xiàng)綜合性技術(shù)，能夠通過多種傳感器和數(shù)據(jù)源的信息來實(shí)現(xiàn)對(duì)環(huán)境或事物的感知和理解。隨著傳感器技術(shù)和信號(hào)處理技術(shù)的發(fā)展，熊鵬文等人在文獻(xiàn)[4]中設(shè)計(jì)了一種結(jié)合觸覺和視覺的多模態(tài)觸覺傳感器，該傳感器利用單個(gè)傳感層同時(shí)捕捉多種不同的異構(gòu)觸覺模態(tài)信息，可用于識(shí)別不同的物體。李楠等人在醫(yī)學(xué)圖像處理領(lǐng)域提出了一種基于多模態(tài)融合的MR腦腫瘤圖像分割方法，通過有效融合多尺度特征，加強(qiáng)了對(duì)腫瘤圖像的分割能力[5]。此外，朱厚喜通過結(jié)合可見光和紅外熱成像模態(tài)的觀測(cè)數(shù)據(jù)，感知并學(xué)習(xí)潛在滲水區(qū)域的跨模態(tài)差異成像特征，提出了基于多模態(tài)觀測(cè)數(shù)據(jù)的滲水異常檢測(cè)技術(shù)MFF-WLAD，減少了單一模態(tài)干擾因素對(duì)滲水異常檢測(cè)的影響[6]。

遠(yuǎn)程監(jiān)測(cè)方法是一種基于計(jì)算機(jī)、通信和傳感技術(shù)的設(shè)備狀態(tài)監(jiān)測(cè)技術(shù)，通過在監(jiān)測(cè)點(diǎn)與控制中心之間建立網(wǎng)絡(luò)連接，實(shí)現(xiàn)設(shè)備的遠(yuǎn)程實(shí)時(shí)監(jiān)測(cè)[7]與數(shù)據(jù)傳輸。趙靚等人利用無線傳感器網(wǎng)絡(luò)技術(shù)在地鐵建設(shè)過程中，通過各種參數(shù)的實(shí)時(shí)監(jiān)測(cè)，實(shí)現(xiàn)對(duì)目標(biāo)信號(hào)的實(shí)時(shí)采集與監(jiān)測(cè)，幫助施工人員及時(shí)發(fā)現(xiàn)潛在風(fēng)險(xiǎn)[8]。李鋒等人在文獻(xiàn)[9]中設(shè)計(jì)了一種基于物聯(lián)網(wǎng)的防空工程施工質(zhì)量監(jiān)測(cè)系統(tǒng)，通過部署多個(gè)傳感器，收集各種關(guān)鍵數(shù)據(jù)指標(biāo)并將數(shù)據(jù)傳輸?shù)竭h(yuǎn)程服務(wù)器，實(shí)現(xiàn)了數(shù)據(jù)共享和遠(yuǎn)程監(jiān)測(cè)。張清淘等人設(shè)計(jì)了智慧農(nóng)業(yè)遠(yuǎn)程監(jiān)控系統(tǒng)，使得農(nóng)業(yè)從業(yè)人員能夠通過系統(tǒng)數(shù)據(jù)全面了解農(nóng)作物的生長環(huán)境，并能夠?qū)ν饨绛h(huán)境進(jìn)行遠(yuǎn)程操控，從而實(shí)現(xiàn)智慧化管理[10]。

復(fù)雜多元的社會(huì)環(huán)境需要MR技術(shù)和多模態(tài)感知的有機(jī)融合。因此，將MR技術(shù)與多模態(tài)感知技術(shù)應(yīng)用于遠(yuǎn)程監(jiān)測(cè)，提供成熟的解決方案和增值服務(wù)，促進(jìn)數(shù)字產(chǎn)業(yè)轉(zhuǎn)型升級(jí)，助力數(shù)字經(jīng)濟(jì)發(fā)展，契合當(dāng)下時(shí)代的發(fā)展趨勢(shì)。

本文的主要工作包括：1）利用MR技術(shù)，設(shè)計(jì)三維特征提取方法，對(duì)圖像和點(diǎn)云數(shù)據(jù)進(jìn)行特征提取；2）采用多模態(tài)三維特征提取，將多個(gè)單一特征融合[11]為多模態(tài)特征，并建立多模態(tài)感知的神經(jīng)網(wǎng)絡(luò)模型，提取多模態(tài)三維特征的特征值進(jìn)行相關(guān)輸入輸出；3）通過檢測(cè)目標(biāo)類別、位置和動(dòng)作類別等信息輸出，實(shí)現(xiàn)下一階段行為的精確預(yù)測(cè)，以形成融合遠(yuǎn)程預(yù)判的監(jiān)測(cè)策略并提出示警建議，最終實(shí)現(xiàn)遠(yuǎn)程監(jiān)測(cè)診斷；4）總結(jié)基于多模態(tài)感知的遠(yuǎn)程監(jiān)測(cè)方法在各個(gè)領(lǐng)域的應(yīng)用。

1 面向MR 技術(shù)的三維特征提取

本文使用基于球面調(diào)和變換的三維模型特征提取方法，首先進(jìn)行圖像歸一化預(yù)處理，然后進(jìn)行圖像特征提取，即將圖像中的信息轉(zhuǎn)化為可用于分析和比較的數(shù)值或向量，以便更好地描述和區(qū)分不同的圖像。具體步驟如下：

1） 預(yù)處理操作。首先對(duì)目標(biāo)模型進(jìn)行預(yù)處理，經(jīng)過平移變換使模型的重心與坐標(biāo)原點(diǎn)重合。使用主成分分析（Principal Component Analysis，PCA） 法對(duì)三維模型進(jìn)行平移、旋轉(zhuǎn)和縮放變換，使模型單位化。

2） 射線投射。從模型內(nèi)部的重心出發(fā)，投射一組射線，其方向沿同經(jīng)度和緯度分布。

4） 獲得模型的特征向量矩陣 H 后，將矩陣設(shè)為M × L，其中矩陣H （i， l） 的元素會(huì)影響球面求和函數(shù)的 L2 范數(shù)。

1.2 點(diǎn)云特征提取

本文使用八叉樹數(shù)據(jù)結(jié)構(gòu)的方法進(jìn)行點(diǎn)云特征提取，有助于識(shí)別和分割點(diǎn)云中的不同物體或部分。以下是使用八叉樹數(shù)據(jù)結(jié)構(gòu)進(jìn)行特征提取的方法：

1） 以晶格中心為重心，設(shè)定r 為搜索半徑，計(jì)算出最接近每個(gè)晶格中心點(diǎn)的 F （i） 值，并將大于閾值半徑范圍內(nèi)的所有點(diǎn)添加到候選點(diǎn)集 T 中。

2） 在步驟 1） 中選取的候選點(diǎn)集合 T 中，對(duì)于每個(gè)點(diǎn)的 F （i） 值，如果該值超過預(yù)定閾值，則該點(diǎn)被視為精提取的特征點(diǎn)。粗提取半徑搜索圖（見圖1） 。

大圓圈代表搜索范圍，三角形表示晶體網(wǎng)格中心最近的點(diǎn)的 F （i） 值高于閾值，小圓圈表示低于閾值。

2 多模態(tài)三維特征提取

2.1 多模態(tài)特征融合模型

本文構(gòu)建了多模態(tài)特征融合模型，利用橢圓高斯樣本分配策略，將遠(yuǎn)程圖像和三維模型投影到俯視圖來確定中心點(diǎn)，并使用高斯概率密度函數(shù)（PDF， prob?ability density function） 創(chuàng)建次中心區(qū)域。同時(shí)，利用高斯概率作為權(quán)重，獲得回歸樣本的權(quán)重。具體步驟如下：

將高斯區(qū)域的位置作為正位置，并根據(jù)歸一化高斯密度函數(shù)值對(duì)不同位置賦予不同權(quán)重。對(duì)象的高斯概率密度函數(shù)（見公式12） 。

對(duì)角矩陣 Λ 為長軸和短軸的縮放比例，λ1 和 λ2分別代表為長軸距離 S21和短軸距離S22的平方（見公式14） 。

此時(shí)目標(biāo)描述可以用于分配樣本。

3 多模態(tài)感知的圖像描述方法

3.1 圖像描述算法

本文使用注意力機(jī)制方法和長短期記憶（LSTM，Long Short-Term Memory） 模型進(jìn)行圖像描述，將圖像和三維模型以及已生成的詞向量進(jìn)行分析和處理，以了解關(guān)注內(nèi)容并作出選擇。具體步驟如下：

在 CNN 特征提取之后，將特征圖設(shè)為 a，隨后將特征圖 a 劃分成 L 個(gè)相等的部分，每個(gè)向量都 ai 對(duì)應(yīng)一個(gè)區(qū)域：

a = {a1，a2，...，a } L ， ai ∈ RD （15）

此時(shí)生成的圖片描述y 即為：

y = {y1，y2，...，y } L ， yi ∈ Rk （16）

基于訓(xùn)練集中的圖像文本標(biāo)簽構(gòu)建了字典集 K，其中C 為句子的長度。ht 為當(dāng)前時(shí)刻的隱藏狀態(tài)；ai為特征圖中的位置，此時(shí)可以通過以上兩者計(jì)算出能量分布值：

eti = fATT （ht，ai ） （17）

注意力分配概率表示模型在創(chuàng)建 yi 時(shí)對(duì)位置 ai的關(guān)注可能性，使用softmax 根據(jù)能量分布值計(jì)算得出：

此時(shí)，即可獲得圖片的動(dòng)態(tài)上下文信息（ct）：

3.2 描述生成方法

本文通過創(chuàng)建一個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN， Re?current Neural Networks） ，并在注意力層后添加一個(gè)多模態(tài)層，將注意力機(jī)制得到的模態(tài)權(quán)重與各模態(tài)的特征輸入融合到循環(huán)神經(jīng)網(wǎng)絡(luò)中，從而進(jìn)行多模態(tài)描述生成。最終輸出的計(jì)算公式如下：

ht = f2 （Uh ht - 1 + wt ） （20）

mt = g2 （Wh ht + Ws c?t ） （21）

yt = softmax（mt ） （22）

結(jié)合處理結(jié)果，使多模態(tài)層的輸出被發(fā)送到 softmax 層，以確定下一個(gè)詞的概率分布值。

圖2為整體網(wǎng)絡(luò)結(jié)構(gòu)模型的示意圖。在整體網(wǎng)絡(luò)結(jié)構(gòu)圖中，V 表示圖像上下文特征向量，xt表示當(dāng)前時(shí)間步的語句輸入， ht 表示為隱層狀態(tài)（見圖2） 。

4 遠(yuǎn)程監(jiān)測(cè)策略

4.1 半監(jiān)督異常檢測(cè)方法

本方法結(jié)合多模態(tài)感知和深度學(xué)習(xí)技術(shù)，通過自動(dòng)提取多模態(tài)數(shù)據(jù)進(jìn)行學(xué)習(xí)和預(yù)測(cè)。它采用異常檢測(cè)方法對(duì)圖像進(jìn)行監(jiān)測(cè)，針對(duì)圖像中檢測(cè)到的目標(biāo)類別和位置信息，形成融合遠(yuǎn)程預(yù)測(cè)輸出對(duì)應(yīng)的監(jiān)控策略，實(shí)現(xiàn)遠(yuǎn)程監(jiān)測(cè)和診斷。網(wǎng)絡(luò)框架結(jié)構(gòu)如圖3所示。

5 基于MR 技術(shù)的遠(yuǎn)程監(jiān)測(cè)方法探究

本文研究了基于MR技術(shù)的多模態(tài)感知遠(yuǎn)程監(jiān)測(cè)方法，并將其有效應(yīng)用于教育、自動(dòng)駕駛和醫(yī)學(xué)影像分析等領(lǐng)域，為使用者的決策與診斷提供精確的輔助預(yù)判。

5.1“ 多模態(tài)+人機(jī)協(xié)同”教學(xué)

“多模態(tài)+人機(jī)協(xié)同”教學(xué)方式使用了智能多模態(tài)傳感器感知技術(shù)，動(dòng)態(tài)收集教學(xué)交互數(shù)據(jù)，進(jìn)行多模態(tài)數(shù)據(jù)融合與分析，深入探究教學(xué)發(fā)生機(jī)理，有效引導(dǎo)學(xué)生學(xué)習(xí)，促進(jìn)知識(shí)理解，為學(xué)習(xí)者創(chuàng)造多維感知的教學(xué)空間。“多模態(tài)+人機(jī)協(xié)同”教學(xué)方式與數(shù)據(jù)特征如圖4所示。

5.2 遠(yuǎn)程醫(yī)學(xué)教育

基于MR技術(shù)的遠(yuǎn)程醫(yī)學(xué)教育方法，通過提供沉浸式的專業(yè)課程仿真實(shí)訓(xùn)與實(shí)驗(yàn)，包括在虛擬場(chǎng)景中模擬手術(shù)操作與診斷，并獲得在線反饋和指導(dǎo)；利用MR技術(shù)將虛擬解剖模型疊加在真實(shí)場(chǎng)景中。此方法實(shí)現(xiàn)了醫(yī)師學(xué)員的無接觸式遠(yuǎn)程全景教育，為醫(yī)療服務(wù)教學(xué)提供了高效的協(xié)作交流解決方案。

5.3 多模態(tài)自動(dòng)駕駛

多模態(tài)多任務(wù)端到端自動(dòng)駕駛方法通過結(jié)合深度學(xué)習(xí)技術(shù)，融合多模態(tài)數(shù)據(jù)，實(shí)現(xiàn)對(duì)周圍環(huán)境的全面感知，有效提高了道路駕駛的安全性。在為用戶提供更便捷、舒適的出行體驗(yàn)的同時(shí)，大大減輕了駕駛員的工作負(fù)擔(dān)，提高了出行效率。

6 總結(jié)

與單一模態(tài)感知以及單個(gè)技術(shù)的遠(yuǎn)程監(jiān)測(cè)方法不同，本文提出了一種基于MR技術(shù)的多模態(tài)感知與遠(yuǎn)程監(jiān)測(cè)方法。通過對(duì)大量多維度數(shù)據(jù)的遠(yuǎn)程輸入，利用多模態(tài)特征提取方法對(duì)數(shù)據(jù)特征進(jìn)行識(shí)別與提取，本文通過多模態(tài)感知神經(jīng)網(wǎng)絡(luò)模型準(zhǔn)確監(jiān)測(cè)目標(biāo)的類別位置和動(dòng)作類別信息，以形成融合遠(yuǎn)程預(yù)判的監(jiān)測(cè)策略。

參考文獻(xiàn)：

[1] 國務(wù)院. 國務(wù)院關(guān)于印發(fā)“十四五”數(shù)字經(jīng)濟(jì)發(fā)展規(guī)劃的通知[EB/OL]. （2022-01-12）[2023-12-20]. https：//www.gov.cn/zhengce/content/2022-01/12/content_5667817.htm.

[2] 工業(yè)和信息化部， 教育部， 文化和旅游部， 等. 關(guān)于印發(fā)《虛擬現(xiàn)實(shí)與行業(yè)應(yīng)用融合發(fā)展行動(dòng)計(jì)劃（2022—2026年）》的通知[EB/OL]. （2022-11-01）[2023-12-20]. https：//www.miit.gov. cn/jgsj/dzs/wjfb/art/2022/art_3ebd54d32dd04668abe4066182578032.html.

[3] 何赟澤，譙靈俊，郭隆強(qiáng)，等.以圖像為主的多模態(tài)感知與多源融合技術(shù)發(fā)展及應(yīng)用綜述[J].測(cè)控技術(shù)，2023，42（6）：10-21.

[4] 熊鵬文，尹一凡，童小寶，等.基于新型多模態(tài)觸覺傳感器的機(jī)器人交互物體分類[J].測(cè)控技術(shù)，2023，42（4）：82-87.

[5] 李楠，張宏立.基于多模態(tài)融合的2D MR腦腫瘤圖像分割算法研究[J].光電子·激光，2023，34（8）：890-896.

[6] 朱厚喜，曹伍富，李克飛，等.基于多模態(tài)特征融合的隧道滲水異常檢測(cè)方法[J].計(jì)算機(jī)應(yīng)用，2023，43（S2）：276-284.

[7] 王博輝，王小鵬，閆子春，等.基于物聯(lián)網(wǎng)的遠(yuǎn)程物位實(shí)時(shí)監(jiān)測(cè)系統(tǒng)設(shè)計(jì)[J].蘭州交通大學(xué)學(xué)報(bào)，2023，42（1）：62-70.

[8] 趙靚，魏漢明.基于無線傳感器網(wǎng)絡(luò)的地鐵建造遠(yuǎn)程監(jiān)測(cè)和風(fēng)險(xiǎn)預(yù)警系統(tǒng)[J].中北大學(xué)學(xué)報(bào)（自然科學(xué)版），2022，43（4）：335-340.

[9] 李鋒.基于物聯(lián)網(wǎng)的防空工程施工質(zhì)量遠(yuǎn)程監(jiān)測(cè)系統(tǒng)[J].自動(dòng)化技術(shù)與應(yīng)用，2023，42（3）：105-107，141.

[10] 張清淘.基于物聯(lián)網(wǎng)技術(shù)的智慧農(nóng)業(yè)遠(yuǎn)程監(jiān)控系統(tǒng)設(shè)計(jì)[J].南方農(nóng)機(jī)，2023，54（2）：84-86.

[11] 錢忠勝，趙暢，俞情媛，等.結(jié)合注意力CNN與GNN的信息融合推薦方法[J].軟件學(xué)報(bào)，2023，34（5）：2317-2336.

【通聯(lián)編輯：唐一東】

基金項(xiàng)目：江西省大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練項(xiàng)目（S202210846003）