易鑫：架起人機(jī)信息交換的橋梁

劉玉杰

易鑫

近年來(lái)，隨著社會(huì)的進(jìn)步、科技的發(fā)展，機(jī)器設(shè)備不斷迭代更新并實(shí)現(xiàn)了與人類(lèi)的交互。在人們可能訪(fǎng)問(wèn)的計(jì)算設(shè)備和數(shù)據(jù)的數(shù)量呈幾何倍數(shù)增長(zhǎng)的情況下，人機(jī)關(guān)系變得更加豐富多樣。可以說(shuō)，交互技術(shù)已成為終端和應(yīng)用創(chuàng)新的核心競(jìng)爭(zhēng)力。但普適計(jì)算時(shí)代下的人機(jī)交互仍存在諸多挑戰(zhàn)，如用戶(hù)心智模型的不可見(jiàn)性，傳感器數(shù)據(jù)噪聲，以及需要適應(yīng)個(gè)體、環(huán)境的差異性等。

如何為用戶(hù)與計(jì)算設(shè)備間自然高效的信息交換提供理論基礎(chǔ)和優(yōu)化方法，清華大學(xué)網(wǎng)絡(luò)科學(xué)與網(wǎng)絡(luò)空間研究院助理教授易鑫不斷思索著……

興趣動(dòng)力和榜樣力量

“帥氣陽(yáng)光，又紅又專(zhuān)，德藝雙馨，唱歌好聽(tīng)……對(duì)待科研工作很認(rèn)真，原則性和規(guī)則意識(shí)很強(qiáng)……”這是某網(wǎng)站上網(wǎng)友對(duì)易鑫的評(píng)價(jià)。寥寥百字，他的形象躍然眼前。水木清華，鐘靈毓秀。在美麗的清華園中，記者見(jiàn)到了他。作為一名青年學(xué)者，他有著年輕人特有的朝氣與活力。從自身經(jīng)歷講起，易鑫展開(kāi)了話(huà)題……

2009年，易鑫以?xún)?yōu)異的成績(jī)考上了清華大學(xué)的計(jì)算機(jī)科學(xué)與技術(shù)專(zhuān)業(yè)。在他入學(xué)后的第一門(mén)專(zhuān)業(yè)課——“計(jì)算機(jī)科學(xué)導(dǎo)論”的課堂上，易鑫見(jiàn)到了史元春教授，從此和她結(jié)下了不解之緣。在史教授的影響之下，他很早投入科研實(shí)踐，開(kāi)始了人機(jī)交互方面的研究工作。

難忘那段早年參與實(shí)踐的時(shí)光，由于實(shí)驗(yàn)涉及的細(xì)節(jié)非常多，項(xiàng)目組經(jīng)常熬夜加班，一起討論、一起寫(xiě)代碼。大四那年夏天，易鑫一直埋頭在實(shí)驗(yàn)室里調(diào)程序，忙得連參加畢業(yè)聚會(huì)的時(shí)間都沒(méi)有?，F(xiàn)在回想起來(lái)，易鑫仍感激那段經(jīng)歷，“人機(jī)交互是一個(gè)交叉學(xué)科的領(lǐng)域，不光牽扯編程、算法等計(jì)算機(jī)方面的知識(shí)，還涉及社會(huì)學(xué)、心理學(xué)等學(xué)科的知識(shí)”。交叉學(xué)科的廣泛涉獵，不僅滿(mǎn)足了易鑫的好奇心，也為他構(gòu)建了全面的知識(shí)架構(gòu)體系。

不知不覺(jué)，易鑫已在史元春團(tuán)隊(duì)待了近十年。在這段時(shí)光里，讓易鑫印象最深的便是史老師的認(rèn)真嚴(yán)謹(jǐn)。圍繞研究?jī)?nèi)容，她會(huì)帶領(lǐng)項(xiàng)目組召開(kāi)無(wú)數(shù)次會(huì)議，每次一討論就是好幾個(gè)小時(shí)。在研究過(guò)程中，史老師會(huì)對(duì)每一個(gè)細(xì)節(jié)都進(jìn)行精準(zhǔn)把握。即使是在材料編寫(xiě)時(shí)，哪怕只是一個(gè)小小的標(biāo)點(diǎn)符號(hào)錯(cuò)誤，她都會(huì)糾正過(guò)來(lái)。榜樣的力量，牽引著易鑫步步前行。

2021年，易鑫順利成為網(wǎng)絡(luò)科學(xué)與網(wǎng)絡(luò)空間研究院的一名助理教授。除了開(kāi)展科研工作，他的任務(wù)還包括指導(dǎo)學(xué)生。“除了科研能力，學(xué)生的組織能力、表達(dá)能力等也很重要。我希望帶領(lǐng)學(xué)生在快樂(lè)學(xué)習(xí)的同時(shí)能提高他們的綜合能力，實(shí)現(xiàn)全面發(fā)展。而史老師就是我教書(shū)育人的榜樣!”易鑫說(shuō)。

解決“胖手指”問(wèn)題

隨著信息技術(shù)的發(fā)展，在傳統(tǒng)物理鍵盤(pán)之外，觸屏、虛擬現(xiàn)實(shí)等新型交互接口不斷出現(xiàn)，在提高了交互自然性的同時(shí)，卻顯著降低了交互的性能。如何兼顧交互的自然性和高效性，成為人機(jī)交互研究中的難題。而“胖手指”問(wèn)題就是其中的典型代表。在信息技術(shù)領(lǐng)域，“胖手指”這一術(shù)語(yǔ)專(zhuān)指由于手指本身的柔軟，以及點(diǎn)擊時(shí)對(duì)于屏幕顯示內(nèi)容的遮擋，在觸屏上點(diǎn)擊時(shí)往往難以精確控制落點(diǎn)位置的問(wèn)題。

解決“胖手指”問(wèn)題是易鑫投入科研以來(lái)聚焦的一項(xiàng)重要成果?！岸嗄陙?lái)，人機(jī)界面越來(lái)越強(qiáng)調(diào)交互的自然性，并隨之出現(xiàn)了觸摸交互界面，以及近年來(lái)的體感交互、虛擬現(xiàn)實(shí)等三維交互界面?！币做谓榻B道，但這些界面尺寸不一且普遍缺乏觸覺(jué)反饋，導(dǎo)致用戶(hù)動(dòng)作中的噪聲相對(duì)較大，難以進(jìn)行交互意圖的準(zhǔn)確推理，從而限制了交互輸入的準(zhǔn)確度。此前，也有研究者嘗試采用貝葉斯方法解決文本輸入中兼顧交互的自然性和高效性這一難題，但往往僅考慮了落點(diǎn)位置信息，作用有限。在研究中，易鑫及團(tuán)隊(duì)面向多種輸入接口，對(duì)點(diǎn)擊模型精度優(yōu)化（提升計(jì)算精度）、面向不確定性輸入映射的計(jì)算方法擴(kuò)展（擴(kuò)展計(jì)算方法）和文本輸入手部動(dòng)作建模（擴(kuò)充先驗(yàn)知識(shí)）等方面優(yōu)化了文本輸入的基本貝葉斯方法，相應(yīng)的技術(shù)也大幅提高了自然文本輸入的交互性能。

針對(duì)觸屏軟鍵盤(pán)這一文本輸入接口上的“胖手指”難題，易鑫提出了觸屏軟鍵盤(pán)上精度優(yōu)化的點(diǎn)擊模型。實(shí)驗(yàn)結(jié)果證明，基于該精度優(yōu)化的點(diǎn)擊模型的貝葉斯方法能支持用戶(hù)在寬度僅為3.5厘米的智能手表全鍵盤(pán)上達(dá)到與智能手機(jī)軟鍵盤(pán)相當(dāng)?shù)?、每分?5個(gè)英文單詞的輸入速度和近100%的準(zhǔn)確率。同時(shí)，點(diǎn)擊模型的精度優(yōu)化也能將手機(jī)軟鍵盤(pán)的文本輸入錯(cuò)誤率降低23%。

空中文本輸入對(duì)于后桌面時(shí)代交互（如虛擬現(xiàn)實(shí)、移動(dòng)手機(jī)）是一個(gè)有潛力和被期待的交互需求。在這方面，雖然“十指盲打”是人們?cè)谌粘Ｉ钪凶罡咝Ш妥盍?xí)慣的輸入方式，但基于該能力的空中裸手“十指盲打”技術(shù)研究，此前尚沒(méi)有人取得很好的效果。在相關(guān)項(xiàng)目中，易鑫提出了一種使得空中裸手“十指盲打”成為可能的新型技術(shù)空中雙手盲打鍵盤(pán)（ATK）。結(jié)果證明，ATK在輸入速度和準(zhǔn)確率方面都超過(guò)了已有的空中文本輸入技術(shù)，第一次較好地實(shí)現(xiàn)了這一已經(jīng)提出數(shù)十年的交互概念。

基于貝葉斯的智能文本輸入技術(shù)，易鑫有效解決了移動(dòng)終端、可穿戴設(shè)備等設(shè)備上的“胖手指”問(wèn)題和輸入界面受限問(wèn)題，數(shù)倍提升了文本輸入的效率、準(zhǔn)確率與輸入自然性，突破了學(xué)界“空中打字”的公開(kāi)難題，提出了智能手表全鍵盤(pán)輸入、智能平板盲式文本輸入等一系列智能文本輸入技術(shù)，并實(shí)際應(yīng)用于搜狗輸入法、華為智能手機(jī)等商業(yè)產(chǎn)品中。相關(guān)成果獲得CHI 2017和CHI 2019的最佳論文提名獎(jiǎng)。

開(kāi)展人機(jī)系統(tǒng)中的應(yīng)用安全研究

隨著移動(dòng)終端、可穿戴設(shè)備、物聯(lián)網(wǎng)設(shè)備等輕量、便攜、多功能的交互設(shè)備不斷走進(jìn)人們的生活，未來(lái)社會(huì)中的人、機(jī)、物關(guān)系逐漸超越了現(xiàn)在單一、固定的模式，呈現(xiàn)出越來(lái)越強(qiáng)的動(dòng)態(tài)性、多樣性特征。人、機(jī)、物已不再是相互獨(dú)立的元素，而是共同構(gòu)成了泛在互聯(lián)的三元網(wǎng)絡(luò)?！叭瞬辉賰H僅是需求的發(fā)起方，而同時(shí)也是網(wǎng)絡(luò)的組成部分?！币做谓忉屨f(shuō)。

在人、機(jī)、物泛在互聯(lián)的三元網(wǎng)絡(luò)中，人與機(jī)通過(guò)人機(jī)交互技術(shù)進(jìn)一步融合，依托面向自然交互的意圖推理方法，人們可以擺脫刻意、專(zhuān)用的交互意圖表達(dá)行為，通過(guò)自然的動(dòng)作更快地觸發(fā)信息服務(wù)，甚至可通過(guò)腦機(jī)接口等新型交互接口，實(shí)現(xiàn)“所想即所得”的極致交互體驗(yàn)。而為了實(shí)現(xiàn)這一能力，研究者需要將視野跳出用戶(hù)周?chē)木植?，以更廣泛的“網(wǎng)絡(luò)”思維來(lái)考慮人的行為和需求，以及來(lái)管理人和設(shè)備的能力。例如，將智能家居中不同的物聯(lián)網(wǎng)設(shè)備構(gòu)成的網(wǎng)絡(luò)視為一個(gè)整體來(lái)滿(mǎn)足人在不同房間中走動(dòng)時(shí)的服務(wù)連續(xù)性；將人和機(jī)器人根據(jù)功能和位置進(jìn)行分工和協(xié)作以完成復(fù)雜的檢修任務(wù)……

易鑫（左三）與同事在Ubicomp國(guó)際會(huì)議上

為應(yīng)對(duì)這些挑戰(zhàn)，易鑫加入了清華大學(xué)網(wǎng)絡(luò)科學(xué)與網(wǎng)絡(luò)空間研究院，通過(guò)人機(jī)交互、人工智能、應(yīng)用安全等學(xué)科交叉的方式，開(kāi)展人機(jī)系統(tǒng)中的應(yīng)用安全研究，以期在打通人機(jī)交互接口的基礎(chǔ)上，進(jìn)一步通過(guò)多人、多機(jī)，以及遠(yuǎn)程網(wǎng)絡(luò)服務(wù)的融合，突破現(xiàn)有人機(jī)交互技術(shù)在動(dòng)態(tài)、復(fù)雜場(chǎng)景下的可用性瓶頸。同時(shí)，通過(guò)提升交互接口信息魯棒性和隱私性、改進(jìn)交互技術(shù)安全性，實(shí)現(xiàn)人在無(wú)處不在的信息訪(fǎng)問(wèn)環(huán)境中的應(yīng)用數(shù)據(jù)安全，從而為我國(guó)龐大的用戶(hù)終端產(chǎn)業(yè)向下一代的普適計(jì)算進(jìn)化提供有力的支撐。

“未來(lái)，人機(jī)交互的重點(diǎn)將放到減少用戶(hù)操作方面，從以往被動(dòng)接受用戶(hù)操作指令，到主動(dòng)感知用戶(hù)操作需求。”易鑫說(shuō)，利用人工智能技術(shù)可以將人類(lèi)面部表情、語(yǔ)言、文字、肢體動(dòng)作、生理信號(hào)等轉(zhuǎn)化為情感數(shù)據(jù)，橫亙?cè)谌四X與電腦之間的“情感”鴻溝正在被跨越。他說(shuō)：“伴隨著更為便捷、高效的人機(jī)交互方式的誕生，伴隨著物聯(lián)網(wǎng)、衛(wèi)星互聯(lián)網(wǎng)等新型網(wǎng)絡(luò)形態(tài)的發(fā)展，計(jì)算機(jī)將會(huì)在生產(chǎn)、生活中為人類(lèi)帶來(lái)更多的福祉。”