自然人機(jī)交互新進(jìn)展專題前言*

田 豐,喻 純

1(計(jì)算機(jī)科學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室(中國(guó)科學(xué)院 軟件研究所),北京 100190)

2(人機(jī)交互北京市重點(diǎn)實(shí)驗(yàn)室(中國(guó)科學(xué)院 軟件研究所),北京 100190)

3(清華大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)系,北京 100084)

自然人機(jī)交互是計(jì)算機(jī)領(lǐng)域重要的前沿技術(shù),是計(jì)算機(jī)、心理學(xué)、人體工學(xué)等多學(xué)科交叉的領(lǐng)域,自然人機(jī)交互建立在對(duì)人的認(rèn)知和行為能力充分理解和建模的基礎(chǔ)之上,與圖像識(shí)別、語音識(shí)別、自然語言處理等人工智能技術(shù)也有著密切的聯(lián)系.近年來,國(guó)內(nèi)自然交互領(lǐng)域發(fā)展迅速,取得了系列的進(jìn)展.為了能系統(tǒng)地展示國(guó)內(nèi)自然人機(jī)交互領(lǐng)域的最新進(jìn)展,推動(dòng)國(guó)內(nèi)自然人機(jī)交互的發(fā)展,帶動(dòng)多學(xué)科圍繞著計(jì)算機(jī)領(lǐng)域的進(jìn)一步發(fā)展.本專題與中國(guó)圖形學(xué)大會(huì)Chinagraph 2018 合作,收錄會(huì)議論文經(jīng)過評(píng)審?fù)扑],以及公開征文,特約編輯先后邀請(qǐng)了多位領(lǐng)域?qū)＜覅⑴c審稿,通過編輯部評(píng)審的預(yù)錄用文章作者到會(huì)陳述報(bào)告,最終有9 篇稿件通過評(píng)審,入選本專題.其中,

論文“ICOMDT:一個(gè)面向動(dòng)態(tài)任務(wù)的交互計(jì)算模型”,提出一個(gè)面向動(dòng)態(tài)任務(wù)的交互計(jì)算模型ICOMDT,用于解釋用戶與動(dòng)態(tài)任務(wù)的交互行為并實(shí)現(xiàn)用戶意圖預(yù)測(cè).該模型可用于針對(duì)運(yùn)動(dòng)目標(biāo)的交互錯(cuò)誤率預(yù)測(cè)和輔助選擇,能夠有效提升針對(duì)運(yùn)動(dòng)目標(biāo)的交互效率.

論文“基于空中手勢(shì)的跨屏幕內(nèi)容分享技術(shù)研究”,建立了一套跨屏幕界面共享系統(tǒng),支持使用空中手勢(shì)完成屏幕間界面內(nèi)容的實(shí)時(shí)分享,提出了“抓-拖拽”和“抓-拉-放”兩種空中手勢(shì),通過用戶實(shí)驗(yàn)考察了兩種空中手勢(shì)的可用性,并建議兩種手勢(shì)結(jié)合使用的方法.

論文“基于模糊綜合評(píng)價(jià)的疲勞駕駛檢測(cè)算法研究”,設(shè)計(jì)了一個(gè)駕駛員疲勞檢測(cè)機(jī)制.通過將連續(xù)幀圖像進(jìn)行人臉檢測(cè),利用模糊綜合評(píng)價(jià)算法對(duì)眼睛矩形區(qū)域的長(zhǎng)寬比、擬合橢圓面積、瞳孔黑色素所占比例這3 個(gè)影響因子進(jìn)行分析,判別出眼睛的睜開閉合狀態(tài),并通過PERCLOS 原理對(duì)駕駛員的疲勞狀態(tài)做出檢測(cè).

論文“面向肌電信號(hào)的虛擬現(xiàn)實(shí)提線木偶動(dòng)畫研究”,提出了一種基于EMG 信號(hào)的手勢(shì)驅(qū)動(dòng)虛擬現(xiàn)實(shí)提線木偶動(dòng)畫方案,并給出了整體算法流程.設(shè)計(jì)了基于人體內(nèi)蘊(yùn)EMG 信號(hào)為輸入的動(dòng)畫運(yùn)動(dòng)方法,實(shí)現(xiàn)了單純依靠人體生理信號(hào)的虛擬現(xiàn)實(shí)運(yùn)動(dòng)控制.

論文“無菌條件非接觸式多通道自然交互手術(shù)環(huán)境”,借助遮擋環(huán)境下的深度圖像人體骨架提取、手勢(shì)跟蹤與理解、手術(shù)室環(huán)境遠(yuǎn)場(chǎng)語音識(shí)別,多模態(tài)信息處理與融合技術(shù),構(gòu)建無菌條件下的非接觸式多通道自然交互手術(shù)環(huán)境,從而支持醫(yī)生在手術(shù)中通過語音、手勢(shì)等自然交互方式進(jìn)行病灶定位等任務(wù).

論文“CNN 實(shí)現(xiàn)的運(yùn)動(dòng)想象腦電分類及人-機(jī)器人交互”,在減少腦電采集通道數(shù)目、增加分類數(shù)目的前提下,基于卷積神經(jīng)網(wǎng)絡(luò)對(duì)運(yùn)動(dòng)想象中的腦電信號(hào)進(jìn)行分類.設(shè)計(jì)與開發(fā)了腦機(jī)交互應(yīng)用原型系統(tǒng),驅(qū)動(dòng)人-機(jī)器人之間的實(shí)時(shí)交互,幫助用戶利用運(yùn)動(dòng)想象控制仿人機(jī)器人的抬手、前進(jìn)等運(yùn)動(dòng)狀態(tài).

論文“面向比特幣交易網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)可視探索方法”,提出了一種基于拓?fù)浣Y(jié)構(gòu)推薦的比特幣交易網(wǎng)絡(luò)可視分析方法.為每個(gè)節(jié)點(diǎn)生成一個(gè)向量化表達(dá),在用戶交互的基礎(chǔ)上,可檢測(cè)一系列相似的結(jié)構(gòu).該文使用了表達(dá)學(xué)習(xí)來為比特幣交易網(wǎng)絡(luò)的每個(gè)節(jié)點(diǎn)生成向量化表達(dá).基于表達(dá)學(xué)習(xí),該方法能夠利用節(jié)點(diǎn)的向量化表達(dá),在用戶交互的基礎(chǔ)上,為用戶生成一組與其指定的結(jié)構(gòu)類似的結(jié)構(gòu),從而支持用戶對(duì)比特幣交易網(wǎng)絡(luò)的探索.該方法能夠支持用戶對(duì)比特幣交易中的交易模式進(jìn)行探索和分析.

論文“一種無標(biāo)記的身體與面部運(yùn)動(dòng)同步捕獲方法”,提出了通過Kinect 深度相機(jī)和長(zhǎng)焦彩色相機(jī)同步捕獲身體與面部運(yùn)動(dòng)的方法.通過利用在環(huán)境中加入閃光來進(jìn)行時(shí)間同步,并使用張氏標(biāo)定法進(jìn)行空間標(biāo)定,從而組成一組時(shí)間同步且空間對(duì)齊的混合相機(jī).

論文“多用戶眼動(dòng)跟蹤數(shù)據(jù)的可視化共享與協(xié)同交互”,建立了基于梯度優(yōu)化的協(xié)同標(biāo)定模型,提出了面向多用戶的眼動(dòng)跟蹤計(jì)算架構(gòu),探索了眼動(dòng)跟蹤數(shù)據(jù)的可視化形式在協(xié)同交互環(huán)境下對(duì)用戶視覺注意行為的影響,設(shè)計(jì)與開發(fā)了基于眼動(dòng)跟蹤的代碼協(xié)同審查系統(tǒng),實(shí)現(xiàn)了注視點(diǎn)與代碼間的可視化屬性的共享.

本專題面向從事人機(jī)交互領(lǐng)域的研究人員和工程人員,內(nèi)容涵蓋人機(jī)交互理論、技術(shù)和應(yīng)用多個(gè)層面的一些最新科研進(jìn)展.感謝《軟件學(xué)報(bào)》編委會(huì)、中國(guó)圖形學(xué)大會(huì)、CCF 人機(jī)交互專委會(huì)對(duì)專題工作的指導(dǎo)和幫助,感謝專題全體評(píng)審專家及時(shí)、耐心、細(xì)致的評(píng)審工作,感謝踴躍投稿的所有作者.希望本專題能夠?qū)θ藱C(jī)交互領(lǐng)域的科研工作有所促進(jìn).