基于肢體動作交互的森林經(jīng)營作業(yè)模擬研究

朱念福，張懷清*，崔澤宇，楊廷棟，王林龍，劉 華

(1.中國林業(yè)科學研究院資源信息研究所 北京 100091；2.國家林業(yè)和草原局森林經(jīng)營與生長模擬重點實驗室 北京 100091；3.中國林業(yè)科學研究院林業(yè)科技信息研究所 北京 100091)

森林經(jīng)營是林業(yè)研究的重點內(nèi)容[1-6]，目前諸多研究利用計算機模擬森林經(jīng)營[7-20]，既有經(jīng)營前后的森林狀態(tài)二維圖表對比[7-13]，也有森林三維場景經(jīng)營前后的畫面對比[14-19]，都能不同程度地表達森林經(jīng)營的效果。這些相關(guān)研究主要利用了計算機計算能力和直觀展示效果，較少考慮森林經(jīng)營中頻繁的作業(yè)過程的模擬與交互。不同的森林經(jīng)營目標會采用不同的作業(yè)方法[21-27]，而實地培訓森林經(jīng)營作業(yè)存在一定的安全隱患，且成本高，周期長，受環(huán)境影響較大，因此，應(yīng)用計算機模擬森林經(jīng)營作業(yè)能在一定程度上彌補這些不足。

目前常見的森林景觀仿真系統(tǒng)提供給用戶側(cè)的交互方式則較為簡單，大都通過鍵盤、鼠標或手柄進行漫游交互，難以滿足森林經(jīng)營作業(yè)仿真模擬的各種交互需要。基于人機交互的虛擬現(xiàn)實技術(shù)[28-34]為森林經(jīng)營作業(yè)的模擬提供了新的思路，在森林經(jīng)營作業(yè)模擬中不僅可以提供逼真的森林環(huán)境，而且交互方式形象、直觀，使用戶身臨其境。其中，沉浸式虛擬現(xiàn)實系統(tǒng)[34-38]具有沉浸感強、交互自由，虛擬仿真范圍廣，可多人同時觀察虛擬場景的特點，在森林經(jīng)營作業(yè)仿真模擬方面具有較大的優(yōu)勢。系統(tǒng)可以利用紅外跟蹤傳感模塊實時獲取感光物體的空間坐標和方向信息，根據(jù)肢體動作的追蹤來判斷用戶的交互需求。本研究利用紅外追蹤技術(shù)，研建應(yīng)用于森林經(jīng)營作業(yè)仿真模擬的肢體動作交互模型，結(jié)合補植、修枝和伐木等作業(yè)過程，在森林仿真場景開展森林經(jīng)營作業(yè)試驗。

1 森林經(jīng)營場景仿真

1.1 沉浸式虛擬現(xiàn)實與可視化模擬系統(tǒng)（CAVE2）

森林經(jīng)營三維仿真場景基于Unity3D 渲染引擎構(gòu)建，在沉浸式虛擬現(xiàn)實與可視化模擬系統(tǒng)（CAVE2）中顯示。CAVE2 是目前國際上最新一代的虛擬現(xiàn)實與可視化模擬系統(tǒng)，由顯示系統(tǒng)、圖形圖像處理系統(tǒng)、紅外追蹤系統(tǒng)、多聲道音頻系統(tǒng)、中央控制系統(tǒng)等組成，配備偏振光3D 眼鏡、感光物體和交互手柄等設(shè)備。顯示系統(tǒng)由72 塊顯示屏拼接而成，形成320 度的環(huán)形空間，可以展示二維或三維畫面，具有分辨率高、沉浸感強等特點。圖形圖像處理系統(tǒng)由一臺主節(jié)點和18 個分節(jié)點組成，進行集群圖形圖像處理和并行渲染運行。紅外追蹤系統(tǒng)由10 個紅外跟蹤單元和相關(guān)追蹤軟件組成，紅外追蹤系統(tǒng)實時獲取感光物體的相對距離，獲得感光物體的空間坐標和方向。感光物體固定在交互手柄上，通過初始設(shè)置，可以將現(xiàn)實中的用戶位置和虛擬場景中的攝像頭坐標和方向聯(lián)系起來，實現(xiàn)與場景的漫游交互功能。CAVE2 系統(tǒng)組成如圖1 所示。

圖1 CAVE2 系統(tǒng)Fig.1 CAVE2 system

1.2 森林場景仿真

1.2.1 森林三維仿真場景交互類型 森林三維仿真場景中，除了由手柄控制的漫游交互類型外，根據(jù)林木信息、林分信息等，制定UI 信息交互類型；參照中華人民共和國國家標準制定的《森林撫育規(guī)程》[38]，《森林采伐作業(yè)規(guī)程》[39]和《造林技術(shù)規(guī)程》[40]，選擇用戶側(cè)交互性強的經(jīng)營措施，如目標樹選擇、補植等，制定森林經(jīng)營措施交互類型。具體交互類型如表1 所示。

表1 交互類型Table 1 Interaction type

1.2.2 森林仿真場景構(gòu)建 森林仿真場景為森林場景和森林經(jīng)營相關(guān)工具構(gòu)建，森林場景構(gòu)建分為地形建模和林木建模。地形建模：使用30 m 分辨率的地形數(shù)據(jù)（圖2a）和紋理數(shù)據(jù)（圖2b）在Unity3D 中生成三維地形（圖2c）。林木建模：根據(jù)森林經(jīng)營作業(yè)仿真模擬的交互需要，以及樹木形態(tài)結(jié)構(gòu)的多樣性特征等因素，構(gòu)建枝干分離的林木三維基礎(chǔ)模型（圖2d）。根據(jù)林分調(diào)查數(shù)據(jù)（湖南省黃豐橋國有林場某樣地，立地指數(shù)為18），構(gòu)建森林仿真場景。

圖2 森林仿真場景Fig.2 Forest simulation scene

根據(jù)表1，構(gòu)建森林經(jīng)營作業(yè)需要的工具模型：手（圖3a）、油鋸（圖3b）、鋤頭（圖3c）和高枝剪（圖3d）。手用于操作UI 界面和選擇目標樹，油鋸用于伐木作業(yè)，鋤頭用于補植作業(yè)，高枝剪用于修枝作業(yè)。

圖3 森林經(jīng)營工具模型Fig.3 Forest management tool models

2 肢體動作交互模型

當手持感光物體在CAVE2 內(nèi)運動時，可以實時獲取用戶肢體動作的空間運動軌跡（圖4）。通過分析，運動軌跡有以下3 點規(guī)律：

圖4 肢體動作Fig.4 Body action

（1）感光物體的空間坐標變化較大，方向基本不變。

（2）感光物體的方向變化較大，空間坐標基本不變。

（3）感光物體的空間坐標和方向均有較大的變化。

參照森林經(jīng)營措施作業(yè)過程，對伐木、修枝、補植和三維UI 界面對應(yīng)的肢體動作分別進行定義。

2.1 伐木操作的肢體動作模型

油鋸是伐木的常用工具，油鋸在現(xiàn)實環(huán)境中的使用方式復雜，不考慮油鋸使用過程中會多次變更切割點和切割方向，簡化油鋸的伐木過程：油鋸與樹干接觸，鋸齒切割樹干，油鋸前后移動，無明顯方向變化。

考慮仿真場景中油鋸與使用者的相對距離變化來表示伐木操作，并通過現(xiàn)實中手臂伸縮來實現(xiàn)仿真場景中的距離變化。油鋸與使用者的距離變化（如圖5 所示案例）較為復雜，有以下問題需要考慮：

圖5 距離變化Fig.5 Distance variation

（1）同一肢體動作，不同的人的運動軌跡不同，同一人的運動軌跡也不會完全相同，因此定量分析較為困難。

（2）油鋸遠離使用者和靠近使用者的速度不同且復雜多變。

（3）大小不同的林木需要不同的采伐時間。

（4）肢體運動過程中，方向變化不大。

通過定性分析，有以下規(guī)律可以采用：

（1）油鋸先是遠離使用者，然后靠近使用者，根據(jù)林木大小重復若干次，可以用重復肢體動作來表示。

（2）油鋸與使用者的距離有最大值（最大距離因人而異，2～3 m）和最小值（0 m），若只保留數(shù)值不同的浮點數(shù)（保留一位小數(shù)），需要存儲的距離數(shù)據(jù)是有限的，因此可以逐條數(shù)據(jù)分析，并且與使用者的動作速度和動作時長無關(guān)，具有較好的穩(wěn)定性。

基于以上分析，構(gòu)建伐木操作的肢體動作模型如下。

（1）肢體動作：Dis表示肢體在當前幀的運動距離，preDis表 示上一幀的距離，Log_FarDis為遠離集合，Log_NearDis為靠近集合，Log_AllDis為遠離與靠近的集合，Dir為肢體在當前幀的運動方向，Log_Dir為肢體運動方向集合。

（2）約束條件:Diff(Log_FarDis,Log_NearDis)表示遠離集合與靠近集合數(shù)據(jù)量的差值，maxDif f為允許的數(shù)據(jù)量最大差值；Num(Log_AllDis)表示肢體動作重復的次數(shù)，minNum為需要重復的最少次數(shù)；Angle(Log_Dir)表示肢體動作與使用者的角度變化，maxAngle表示允許肢體動作偏離的最大角度。

2.2 修枝操作的肢體動作模型

森林經(jīng)營作業(yè)中，修枝是一項十分重要的經(jīng)營措施，對林木生長和材質(zhì)有較大的影響，修枝主要使用高枝剪實現(xiàn)。當枝徑較小時，可以直接剪落；當枝徑較大時，需要進行切割，切割樹枝的動作與伐木類似，但不考慮切割的次數(shù)?；谝陨戏治觯瑯?gòu)建修枝操作的肢體動作模型如下。

（1）肢體動作：Dis表示肢體在當前幀的運動距離，preDis表 示上一幀的距離，Prune_FarDis為遠離集合，Prune_NearDis為靠近集合，Dir為肢體在當前幀的運動方向，Prune_Dir為肢體運動方向集合。

（2）約束條件：Di f f(Prune_FarDis,Prune_NearDis) 表示遠離集合與靠近集合數(shù)據(jù)量的差值，maxDif f為允許的數(shù)據(jù)量最大差值；Angle(Prune_Dir)表 示肢體動作與使用者的相對角度變化，maxAngle表示允許肢體動作偏離的最大角度；Branch_S ize表示枝徑；minS ize為實施修枝操作需要的最小枝徑。

2.3 補植操作的肢體動作模型

森林經(jīng)營中，補植點與周圍林木需要一定間距；使用鋤頭工具進行補植時，肢體運動軌跡在空間中近似于拋物線，與使用者的距離先遠后近；肢體在空間中與地面的距離減小，肢體與水平面的夾角由正變?yōu)樨??；谝陨戏治觯瑯?gòu)建補植操作的肢體動作模型如下。

（1）肢體動作：Dis表示肢體在當前幀的運動距離，Replant_Dis表示肢體運動距離的集合；Dir表示肢體在當前幀的運動方向，Replant_Dir表示肢體運動方向的集合。

（2）約束條件：Far2Near(Replant_Dis)判斷肢體運動是否先遠后近；Vertical_Dis(Replant_Dis)判斷肢體與地面的距離是否持續(xù)減小；Pos2Neg(Replant_Dir)判斷肢體與水平面的夾角是否由正變負；Horizontal_Angle(Replant_Dir)表示肢體水平方向角度的最大變化量，maxAngle表示允許肢體在水平方向上的偏離角度；Replant_Time表示種植工具與地面接觸時長，minTime為需要接觸的最少時長；Replant_Point表示運動軌跡與周圍林木的距離，minDis為需要的最小補植間距。

2.4 UI 操作的肢體動作模型

UI 界面便于直觀顯示森林信息，是交互式森林經(jīng)營模擬的重要組成部分，傳統(tǒng)的二維UI 界面不適用于CAVE2，因此選擇三維UI 界面來展示林木信息。肢體的上下左右運動與UI 選擇項的上下左右移動對應(yīng)；肢體的旋轉(zhuǎn)與UI 點擊對應(yīng)?；谝陨戏治?，構(gòu)建映射UI 操作的肢體動作模型如下。

（1）肢體動作：Dis表示肢體在當前幀的運動距離，UI_Dis表示肢體運動距離集合；Dir表示肢體在當前幀的運動方向，UI_Dir表示肢體運動方向的集合。

（2）約束條件：Orientation_Dis(UI_Dis)表示肢體動作在上下左右方向的移動距離，minDis為UI選擇項移動需要的最小距離；Rotation_Angle(UI_Dir)判斷肢體動作旋轉(zhuǎn)的角度，minAngle為UI 按鈕點擊需要的最小旋轉(zhuǎn)角度。

3 結(jié)果與分析

3.1 結(jié)果

將基于Unity3D 構(gòu)建的森林仿真場景導入到CAVE2 平臺中運行，森林經(jīng)營仿真場景如圖6 所示。

圖6 森林經(jīng)營仿真場景Fig.6 Forest management simulation scene

為了驗證本研究構(gòu)建的肢體動作能否準確映射到森林經(jīng)營措施中，是否符合森林經(jīng)營的作業(yè)要求，邀請了15 名研究生（10 人具有林學背景）和3 名涉及森林經(jīng)營的研究者，使用虛擬經(jīng)營工具，在仿真場景中根據(jù)經(jīng)營措施做出相應(yīng)的肢體動作（圖7），直至操作成功，統(tǒng)計結(jié)果如表2 所示。圖7a 為控制手的移動；圖7b 為選擇后出現(xiàn)的林木信息界面；圖7c 為油鋸模型與樹木接觸，準備進行伐木操作；圖7d 為伐木操作完成后，樹木倒下；圖7e 為高枝剪與樹枝接觸，準備進行修枝操作；圖7f 為修枝操作完成后，樹枝落下；圖7g 為鋤頭模型出現(xiàn)，準備進行移植操作；圖7h 為鋤頭模型接觸地面，出現(xiàn)移植標記點；圖7i 為鋤頭離開地面，生成樹木模型，移植操作完成。

圖7 森林經(jīng)營措施Fig.7 Forest management measures

由表2 可知，大部分使用者只需做一次肢體動作便可成功完成森林經(jīng)營作業(yè)，單次作業(yè)成功率達到86%，各項肢體動作均可正確映射到森林經(jīng)營措施上。單次完成經(jīng)營作業(yè)的人數(shù)：UI 操作（18）>補植（16）>伐木（15）>修枝（13）。其中，一次性完成作業(yè)人數(shù)最少的是修枝動作，有13 人，3 人需要兩次以上。經(jīng)分析，一是因為樹枝的可接觸范圍小，容易產(chǎn)生接觸中斷；二是因為肢體動作幅度變化大，有些運動軌跡點會偏離，易造成坐標和方向誤判，伐木操作也有類似的問題。補植操作因為涉及到了時間判斷，而人們對時間的感受不同，也會造成時間誤判。UI 操作因為僅需判斷手的起點和終點的相對方向，無其他約束條件，單次作業(yè)成功率可達100%。

表2 肢體動作映射森林經(jīng)營措施執(zhí)行Table 2 Body movement mapping forest management measures implementation

3.2 分析評價

將上述研究結(jié)果進行森林經(jīng)營作業(yè)仿真模擬評價，評價結(jié)果如表3 所示。由表3 可知，構(gòu)建的森林經(jīng)營仿真場景沉浸感強，滿足人機交互需要的流暢度；映射經(jīng)營措施的肢體動作總體表現(xiàn)良好，交互評價良好率達到91%，可以滿足森林經(jīng)營模擬的交互要求。評價最高的是UI 交互動作和場景沉浸感，18 個使用者均給予良好評價，是完成作業(yè)需要次數(shù)最少的；評價最低的是映射修枝的肢體動作，僅有14 個使用者給予良好評價，是完成作業(yè)需要次數(shù)最多?？偟内厔轂橥瓿勺鳂I(yè)需要的肢體動作次數(shù)越少，使用者評價越高。

表3 森林經(jīng)營交互過程評價Table 3 Evaluation of interactive process of forest management

4 討論

沉浸式虛擬現(xiàn)實與可視化模擬系統(tǒng)CAVE2 在森林經(jīng)營仿真模擬方面具有較大的優(yōu)勢，針對目前經(jīng)營作業(yè)模擬普遍存在的交互性差，缺乏自然、真實感的交互體驗，以及較難處理頻繁作業(yè)能力等問題，研建了一套基于肢體動作映射森林經(jīng)營措施的交互方法。該方法主要利用了CAVE2 可以實時獲取感光物體的坐標和方向，將坐標和方向變化與森林經(jīng)營措施作業(yè)過程的肢體動作聯(lián)系起來，實現(xiàn)了基于肢體動作交互的森林經(jīng)營模擬。模擬過程形象直觀，效果良好。經(jīng)營措施與虛擬的經(jīng)營工具建立了對應(yīng)關(guān)系，方便擴展交互需求，適合交互頻繁，交互類型多樣的森林經(jīng)營可視化模擬。

研建的交互方法簡化了森林經(jīng)營措施作業(yè)過程，模型考慮一只手的肢體動作過程，操作簡單，容易實現(xiàn)。由于森林經(jīng)營作業(yè)設(shè)備的多樣性，以及森林經(jīng)營措施的復雜性，在今后的研究中，可以研究使用雙手等更多肢體動作的交互來實現(xiàn)，以更自然和靈活多樣的交互方式來開展各種森林經(jīng)營措施作業(yè)的模擬。

5 結(jié)論

本研究基于沉浸式虛擬現(xiàn)實與可視化系統(tǒng)CAVE2，在構(gòu)建的森林三維仿真場景中模擬森林經(jīng)營作業(yè)過程，構(gòu)建了表示伐木、修枝和補植作業(yè)的肢體動作模型。通過森林經(jīng)營仿真場景試驗，得到以下結(jié)果：（1）肢體動作模型可以較為真實、自然地模擬伐木、整枝和補植等交互性強的森林經(jīng)營作業(yè)過程，單次完成經(jīng)營作業(yè)模擬成功率達到86%，具有良好的穩(wěn)定性，滿足應(yīng)用需求；（2）構(gòu)建的森林經(jīng)營仿真場景沉浸感強，具有較好的森林經(jīng)營交互流暢度和用戶參與程度，交互評價良好率達到91%。因此，基于肢體動作交互的森林經(jīng)營作業(yè)模擬，可以形象、直觀地表達和分析復雜的森林經(jīng)營措施實施過程，有助于加深使用者對森林經(jīng)營的理解，提高森林經(jīng)營輔助決策水平。