基于Multi-Agent的人機環(huán)境仿真設計系統(tǒng)

王朝暉， 鄭國磊， 朱心雄

（北京航空航天大學機械工程及自動化學院，北京 100191）

基于Multi-Agent的人機環(huán)境仿真設計系統(tǒng)

王朝暉， 鄭國磊， 朱心雄

（北京航空航天大學機械工程及自動化學院，北京 100191）

提出了用于制造過程仿真和人機工程分析的多Agent智能設計系統(tǒng)。基于模糊多目標決策理論建立了虛擬人自適應作業(yè)行為仿真模型。在虛擬環(huán)境中，智能化的虛擬人能自主完成作業(yè)任務的仿真，優(yōu)化自身的工作狀態(tài)，同時提供人機工程的評估結果。通過仿真實驗，證明了所用技術的可行性。

虛擬人；模糊多目標決策；多Agent系統(tǒng)；自治行為

產品設計必須滿足人的需要，使人能夠方便地制造、維護和使用產品?！耙匀藶橹行摹钡脑O計思想認為，應將人機工程學應用到產品設計的每個階段[1]。目前，人機環(huán)境仿真與設計系統(tǒng)的研究得到了學術界和工業(yè)界的廣泛重視。一些仿真系統(tǒng)已成功地應用于工業(yè)設計、系統(tǒng)檢測和人員訓練等工作中[2-3]。在此類系統(tǒng)中，虛擬人扮演了重要的角色，負責完成作業(yè)行為仿真，配合用戶檢查系統(tǒng)中存在的人因問題。

真實地展現(xiàn)人的作業(yè)行為有利于設計者理解人與產品的關系，找到影響人與產品行為交互的關鍵因素。目前，行為仿真主要延續(xù)著“克隆”人體行為的技術思路，使用各種運動捕捉技術來獲取人體的運動數(shù)據(jù)。例如，電磁式運動捕捉技術和沉浸式虛擬現(xiàn)實技術相結合已應用于人體作業(yè)行為仿真與人機工程評估[4-5]。在運動捕捉數(shù)據(jù)的基礎上，人們開始關注行為組織原理及其仿真技術，分別從基于PaT-Net的行為同步控制[6]、行為數(shù)據(jù)的語義關系[7]和行為數(shù)據(jù)統(tǒng)計[8]等方向開展研究，以期實現(xiàn)自主性、靈活性更高且可預測的人體行為仿真。然而，行為數(shù)據(jù)均來自特定環(huán)境與個人，難以修改和重用。

針對人機工程設計必須以預測性的人機交互行為仿真為前提這一原則，作者將模糊多目標決策理論用于人體自適應行為仿真的決策建模，開發(fā)了基于 Multi-Agent的人機工程仿真設計系統(tǒng)。

1 仿真系統(tǒng)的架構

如圖1所示，該系統(tǒng)由用戶圖形界面、環(huán)境工作引擎、虛擬空間和環(huán)境數(shù)據(jù)庫四個模塊組成。

圖1 人機工程仿真設計系統(tǒng)組成模塊

虛擬人或其它虛擬對象均由特定的Agent或Agent聯(lián)盟控制。作為仿真系統(tǒng)的主體模塊，虛擬空間是Agent的運行空間。環(huán)境數(shù)據(jù)庫則是虛擬環(huán)境的全局知識模型，負責記錄和描述虛擬空間當前狀態(tài)，其中的內容隨虛擬空間狀態(tài)的變化而同步變化，并同時觸發(fā)相應的環(huán)境事件。Agent執(zhí)行的仿真決策是由環(huán)境事件驅動的。各 Agent根據(jù)環(huán)境事件自動檢索環(huán)境數(shù)據(jù)庫，讀取與之相關的環(huán)境信息，并修正自己的行為對策。圖形界面是用戶與虛擬空間交互的通道，用戶可對虛擬空間的狀態(tài)進行修改，以增刪其中的具體內容。

仿真系統(tǒng)以環(huán)境全局知識模型為核心，可以實現(xiàn)動態(tài)、不確定條件下的行為仿真決策，為動態(tài)、多變的產品設計工作提供了主動、靈活的人機交互行為仿真與評估工具。

2 行為的結構特征與重構

2.1 行為的構成元素

研究行為的結構特征與組織方式對于實現(xiàn)人體自適應行為仿真具有十分重要的意義。本文將人體自適應行為分成由不同粒度元素組成的三層結構。

（1） 原子動作

原子動作是肢體的單位運動，作為最小的行為單元，有正向運動和逆向運動兩種基本形式。其知識表示如下：

正向運動：do(Action, Param)

逆向運動：do(Action, Target ：x, y, z, dx, dy, dz)其中，Action為動作類型，Param為單位轉動距離，Target為所操作目標的位置和姿態(tài)。

（2） 子行為

子行為是具有明確語義的最小行為單元，即廣義單位運動?？捎靡?guī)則的形式表示：

Executed(a queue of atomic actions|：by rules);其中，規(guī)則的條件為子行為能夠達到目標；子行為由一組原子動作組成。執(zhí)行子行為意味著多個行為目標間進行了一次博弈。子行為在達到一定目標的同時，一般需要其它目標作出讓步。

（3） 行為模式

行為模式定義了子行為所屬的語義范疇，能夠達到類似目標的子行為屬于同一行為模式。

2.2 子行為重構

自適應行為是以語義單元為基礎組織的。子行為是行為組織的最小語義單元，可按照經驗和實際需要設計。虛擬人的自適應行為由一系列子行為組成。

圖2所示為行為決策的Agent聯(lián)盟，其中，人體基本運動功能被分解為一系列獨立的 Agent模塊。AgentPerson負責行為推理，根據(jù)虛擬人狀態(tài)的實時評估結果，提出當前的行為請求，并確定即將執(zhí)行的子行為。其它Agent模塊負責執(zhí)行特定的原子動作。根據(jù)子行為的原子構成，將Agent聯(lián)盟中的相關Agent組成協(xié)作單元，共同執(zhí)行AgentPerson選定的子行為。通過協(xié)作單元重構，可以生成多樣的子行為，由此增強了行為仿真的靈活性與多樣性。

圖2 行為決策的Agent聯(lián)盟

3 行為自適應決策算法

行為自適應決策是在多種目標和利益之間的博弈過程，涉及任務目標、人體姿態(tài)、平衡性以及感知因素等方面利益的競爭與協(xié)調。所有目標和利益均欲在競爭中使得自身和團體狀態(tài)最優(yōu)化。已知自適應行為由子行為序列組成，每個子行為即為一次微分博弈。人體最終行為狀態(tài)是由多次微分博弈累積而達到的一個滿足多種利益的均衡狀態(tài)。

基于上述思想，行為自適應決策算法由兩個主要階段組成：初始化階段和行為博弈階段。初始化階段為一個模糊推理算法，用于確定隨后行為博弈算法的起點。

3.1 趨近行為的模糊推理

算法的初始化階段也稱作趨近作業(yè)目標算法，是Mamdani推理算法的一種改進形式。算法將循環(huán)執(zhí)行相關內容，直至虛擬人以最小的運動代價抓取到作業(yè)點。詳細內容如下。

算法的輸入為上肢的姿態(tài)數(shù)據(jù)，如手至作業(yè)目標的距離u和上肢在水平面上的投影v。上述數(shù)據(jù)需經模糊化處理，方能作為模糊推理規(guī)則的輸入。模糊化處理將確定的上肢姿態(tài)數(shù)據(jù)轉換為模糊距離{near，close，far}和模糊懸空度{unfit，littlefit，fit，strongfit}。這些模糊語言由圖 3所示的隸屬度函數(shù)定義。通過隸屬度函數(shù)可求得上肢姿態(tài)數(shù)據(jù)相對于模糊語言的隸屬程度。

該算法由一組模糊推理規(guī)則組成，其基本形式為

式(1)中，規(guī)則的前提為模糊距離和模糊懸空度的“與”運算，輸出為一個明確的子行為bk與該子行為的執(zhí)行機率。算法的所有推理規(guī)則可歸納為圖4所示的模糊推理矩陣。其中，矩陣行對應于模糊距離，矩陣列對應于模糊懸空度，矩陣元素則是行為推理的結果，即子行為及其執(zhí)行機率。首先，求得每個矩陣元素中子行為的機率，再將矩陣中同類子行為的機率進行累加，累積機率最高的子行為將被選擇執(zhí)行。

圖3 模糊語言的隸屬度函數(shù)

圖4 模糊推理矩陣

3.2 梯度下降的行為博弈過程

式(2)中，x∈X為人體工作狀態(tài)向量，X為行為決策空間；向量μ(x)=[μ1(x),μ2(x),…,μm(x)]T是對人體工作狀態(tài)x的多目標評估結果，μi(x)(i=1,2, …, m)是對人體姿態(tài)、平衡性和感知因素等具體目標的模糊評估函數(shù)。式(2)表明最優(yōu)行為狀態(tài)x的各項目標的評估結果應盡可能最大化。顯然，滿足多目標最優(yōu)的行為狀態(tài)是不唯一的，它們亦虛擬人的行為自適應決策是一個多目標決策問題被稱作帕雷托最優(yōu)解。

上述多目標決策問題的求解是一個動態(tài)博弈的過程。本文設計了一個梯度下降的行為博弈算法。算法以前文定義的子行為作為搜索步長，要求每步搜索應以最快的速度接近理想的人體工作狀態(tài)。搜索的最終結果應滿足以下兩個條件：

（1） 納什均衡條件

設人體工作狀態(tài)x*∈X滿足下式

式(3)中，向量 μ ( x*)是對人體工作狀態(tài) x*的多目標評估結果；向量λ是閾向量，規(guī)定了各目標評估結果可以接受的下限值。則稱狀態(tài)x*∈X是滿足納什均衡條件的帕雷托最優(yōu)工作狀態(tài)。

（2） 與理想狀態(tài)的漢明距離最小

設人體理想工作狀態(tài)為x+，對狀態(tài)x∈X的總體評估結果與理想狀態(tài)x+間的漢明距離為

梯度下降搜索的基本步驟如下：

式(4)中，向量()xμ的定義同前；向量g為狀態(tài)x+的多目標評估結果；iω為目標的權重，表示目標在總體評估中的重要程度。搜索的最終結果應滿足

步驟2 依據(jù)權重iω的大小對已觸發(fā)的請求ir排序，權重值最高的請求將得到響應。

步驟 4 以Agent協(xié)作單元重構的方式執(zhí)行被選中的子行為，具體方法見2.2節(jié)。

步驟 5 子行為執(zhí)行效果的博弈分析。判定子行為執(zhí)行后人體工作狀態(tài)是否滿足式(3)和式(5)規(guī)定的條件。若滿足，則退出算法，否則返回步驟1。

上述算法符合梯度下降法的基本原則，將自適應行為決策轉化為以子行為為步長的多目標動態(tài)博弈過程。為增加算法的靈活性，本文放松了式(3)所示的納什均衡條件，規(guī)定權重較輕的目標的最終評估結果可以低于規(guī)定閾值，并為每個目標設置了雙閾值。目標評估結果高于閾值上限表明非常滿意，閾值上限和閾值下限之間為過渡區(qū)域，低于閾值下限則被認為不可接受。

4 仿真實例

作者在PC/WindowsXP/VC6.0/OpenGL環(huán)境下開發(fā)了人機工程仿真與設計原型系統(tǒng)。該系統(tǒng)提供了如圖1所示的智能虛擬設計環(huán)境，建立了虛擬人的幾何模型和運動控制模型。在此基礎上，建立了基于模糊多目標決策的人體自適應行為決策模型。能夠在沒有人體運動數(shù)據(jù)支持的條件下，實現(xiàn)虛擬人體運動的自主協(xié)調與配合。

該系統(tǒng)可以對虛擬人不同的作業(yè)姿態(tài)實施綜合評估，以達到比較各種作業(yè)姿態(tài)優(yōu)劣的目的。如圖5所示，為操作同一作業(yè)點，虛擬人采用了不同作業(yè)姿態(tài)。系統(tǒng)為每個工作姿態(tài)作了舒適度評估。評估結果符合經驗常識，并有較高分辨率。

圖6給出了一組虛擬人體的自適應行為仿真實例。每個實例均由150到200余幀動畫組成，作者僅提取了其中具有代表性的7幅關鍵幀。從多次仿真實驗來看，系統(tǒng)取得了預期的自適應行為仿真效果。虛擬人能夠根據(jù)環(huán)境布局和作業(yè)點位置的差異，采用自然合理的行為方式完成對作業(yè)點的操控。

圖6 虛擬人自適應行為仿真

與仿真動畫同步，系統(tǒng)可輸出虛擬人舒適度的變化趨勢曲線，以協(xié)助用戶分析人體運動過程中舒適度的變化規(guī)律。圖7給出了圖6(a)仿真實例的舒適度變化曲線?？芍?，總體舒適度呈現(xiàn)下降后上升的趨勢，表明虛擬人在抓取到作業(yè)點后，自主完成了工作姿態(tài)的優(yōu)化。圖7同時給出了肩關節(jié)、膝關節(jié)和人體平衡性的舒適度趨勢曲線。這些曲線在整個發(fā)展過程中均出現(xiàn)一些波動，但總體上在曲線的最后階段都呈上升趨勢。這一現(xiàn)象很好地體現(xiàn)了自適應行為決策的博弈本質。在動態(tài)的行為決策過程中，具有沖突的行為目標之間通過競爭和讓步使得各自的狀態(tài)得到優(yōu)化，并促使人體的總體舒適度得到優(yōu)化。

5 總 結

人機工程仿真與評估在產品設計與生產規(guī)劃等工作中具有重要的應用前景。本文提出了一個智能化的虛擬設計環(huán)境，在分析行為的結構特征與組織機制的基礎上，建立了基于模糊多目標決策理論的人體自適應行為決策模型，開發(fā)了基于 Multi-Agent的人機工程仿真設計系統(tǒng)。由該系統(tǒng)提供的仿真實驗表明，本文方法避免了對捕捉獲取人體運動數(shù)據(jù)的依賴，實現(xiàn)了在動態(tài)、不確定環(huán)境下人體自適應行為的仿真，并提供實時的人體舒適度趨勢曲線。系統(tǒng)具有較高的運行效率和較好的可擴展性。在未來的研究中，作者將進一步深入探索行為的認知機理，開展新型行為仿生理論與算法的研究，以修正模型及算法參數(shù)，實現(xiàn)自主性和智能化更高的人體行為仿真。

[1]Earthy J, Jones B S, Bevan N. The improvement of human-centred processes—facing the challenge and reaping the benefit of ISO 13407 [J]. International Journal of Human-Computer Studies, 2001, 55(4)：553-585.

[2]John R Wilson, Mirabelle D’Cruz. Virtual and interactive environments for work of the future [J].International Journal of Human-Computer Studies,2006, 64(3)：158-169.

[3]Ayman Wasfy, Tamer Wasfy, Ahmed Noor. Intelligent virtual environment for process training [J]. Advances in Engineering Software, 2004,35(6)：337-355.

[4]Uma Jayaram, Sankar Jayaram, Imtiyaz Shaikh, et al.Introducing quantitative analysis methods into virtual environ ments for real-time and continuous ergonomic evaluations [J]. Computers in Industry, 2006, 57(3)：283-296.

[5]Imtiyaz Shaikh, Uma Jayaram, Sankar Jayaram, et al.Participatory ergonomics using VR integrated with analysis tools [C]// Proceedings of the 2004 Winter Simulation Conference, 2004：1746-1754.

[6]Norman I Badler, Martha S Palmer, Rama Bindiganavale.Animation control for real-time virtual humans [J].Communications of the ACM, 1999, 42(8)：65-73.

[7]Norman I Badler, Charles A Erignac, Ying Liu. Virtual humans for validating maintenance procedures [J].Communications of the ACM, 2002, 45(7)：57-63.

[8]Mavrikios D, Karabatsou V, Pappas M, et al. An efficient approach to human motion modeling for the verification of human-centric product design and manu facturing in virtual environments [J]. Robotics and Computer-Integrated Manufacturing, 2007, 23(5)：533-543.

Multi-Agent Based Ergonomic Simulation and Design System

WANG Zhao-hui, ZHENG Guo-lei, ZHU Xin-xiong
( School of Mechanical Engineering and Automation, Beijing University of Aeronautics and Astronautics, Beijing 100191, China )

A multi-agent intelligent design system is presented for manufacturing process simulation and products’ ergonomic analysis. The system realizes virtual human’s adaptive behaviors by fuzzy multi-objects decision-making theory. In virtual environment, the intelligent virtual human performs tasks’ operation autonomously and shows optimum posture configuration with ergonomic assessment results in real time. Experimental results of prototype validate the feasibility of this technology.

virtual human; fuzzy multi-object decision; multi-agent system; auto-behavior

TP 391.9

A

1003-0158(2010)06-0133-06

2009-02-23

王朝暉（1972-），男，浙江黃巖人，博士研究生，主要研究方向為虛擬現(xiàn)實，人工智能，多Agents系統(tǒng)和復雜系統(tǒng)建模與仿真等。