可減少視頻制作者的負(fù)擔(dān)科學(xué)家?智能機(jī)器?操作攝影機(jī)

相信很多讀者都從各種長(zhǎng)短視頻平臺(tái)上學(xué)到過一些有用的動(dòng)手技能，比如烹飪、維修、美妝等。這些可能是點(diǎn)滴小事，但是做得好的話可以切實(shí)地提升生活質(zhì)量。

另外，動(dòng)手技能的培訓(xùn)在很多職業(yè)的發(fā)展中也非常重要，例如在制造、護(hù)理、物理治療這些行業(yè)中，操作技能的高低與服務(wù)質(zhì)量和生產(chǎn)質(zhì)量息息相關(guān)。

傳統(tǒng)的動(dòng)手技能培訓(xùn)采用面對(duì)面教學(xué)的方式，受到時(shí)間空間上的諸多限制。通過視頻進(jìn)行教學(xué)可以突破這些限制，讓更多人受益。

但是，如果大家有做教學(xué)視頻的經(jīng)驗(yàn)的話，會(huì)發(fā)現(xiàn)這是一個(gè)非常繁冗的工作。僅僅是調(diào)整攝影機(jī)、尋找好的攝影機(jī)角度這一部分，就可能需要多輪反復(fù)。

因此，加拿大多倫多大學(xué)李健楠和所在團(tuán)隊(duì)希望通過智能機(jī)器人操作攝影機(jī)，減少視頻制作者的負(fù)擔(dān)。從交互研究的層面，這項(xiàng)研究希望探索機(jī)器人如何通過人類隱性的溝通信號(hào)，來理解人的意圖從而提高人與機(jī)器人合作的質(zhì)量。

談到人和機(jī)器人的合作，大家更熟悉的還是一些顯性的溝通方式，比如通過代碼、圖形界面、或者自然語(yǔ)言，直接命令機(jī)器人去完成一項(xiàng)任務(wù)。

但是在緊耦合的合作中，比如由機(jī)器人拍攝人的表演，或者人與機(jī)器人一起組裝一個(gè)設(shè)備時(shí)，這類溝通方式對(duì)人類會(huì)產(chǎn)生負(fù)擔(dān)，因?yàn)槲覀儽仨殨簳r(shí)從手頭工作中抽離才能發(fā)出這些命令。

在視頻拍攝的情景之下，講解者在給觀眾示范動(dòng)手技能的同時(shí)，還要給機(jī)器人下命令，那講解的過程就可能會(huì)變得支離破碎。

人類在合作和溝通方面，其實(shí)有很多細(xì)微的技巧。在合作中，我們不光會(huì)關(guān)注對(duì)方的顯性命令和建議，還會(huì)關(guān)注種種隱性的信號(hào)，比如對(duì)方身體的朝向、手勢(shì)，還有和其他人的對(duì)話，以此理解對(duì)方的目標(biāo)。

因此，李健楠所在團(tuán)隊(duì)希望探索能否讓機(jī)器人也擁有這種能力，從而減少人類在與機(jī)器人合作時(shí)在溝通上的體力腦力資源。

具體在視頻拍攝中，讓機(jī)器人關(guān)注講解者和觀眾的溝通信號(hào)，以此決定攝影機(jī)的位置和角度等參數(shù)。

事實(shí)上，當(dāng)今市場(chǎng)上已經(jīng)有云臺(tái)和無人機(jī)等攝影機(jī)器人。隨著機(jī)器人成本的降低和感知能力的提高，相信今后會(huì)有更多專門面向個(gè)人和小型工作室的消費(fèi)級(jí)攝影機(jī)器人。但是，現(xiàn)在的攝影機(jī)器人依舊非常依賴人給出明確的指令，無法很好地應(yīng)對(duì)變化的場(chǎng)景。因此，李健楠希望這項(xiàng)研究可以啟發(fā)攝影機(jī)器人的交互設(shè)計(jì)，讓它們?nèi)ブ鲃?dòng)理解人類的意圖。

據(jù)介紹，李健楠一直關(guān)注如何通過機(jī)器人攝影，去提高動(dòng)手技能教學(xué)的體驗(yàn)。而關(guān)于本次研究的想法，則起源于他的上一個(gè)項(xiàng)目。

在上一個(gè)項(xiàng)目中，他和同事采用觀眾和講解者共同控制的機(jī)器人集群去拍攝教學(xué)視頻。實(shí)驗(yàn)中，他們發(fā)現(xiàn)該方法的一個(gè)局限在于，觀眾和講解者還是要為控制機(jī)器人而分心，導(dǎo)致教學(xué)體驗(yàn)受到影響。

因此，他們希望可以減少這些負(fù)擔(dān)。但是，視頻攝制涉及理解環(huán)境和視頻內(nèi)容走向，如果沒有任何用戶輸入的話，依舊很難交給機(jī)器人進(jìn)行自動(dòng)執(zhí)行。

在本次研究的前期，李健楠等人主要思考的是：如何能讓拍攝者快速制作分鏡頭腳本（故事板），然后輸入給機(jī)器人。

之后，他們意識(shí)到很多業(yè)余型內(nèi)容創(chuàng)作者并沒有能力、精力、或意愿去制做故事板，而且在講解過程中會(huì)有一些自由發(fā)揮的部分。

所以這個(gè)項(xiàng)目在初期停滯了很久，大家一直在構(gòu)思如何簡(jiǎn)化故事板，但是不太順利。后來受到一些文獻(xiàn)的啟發(fā)，他們決定關(guān)注讓機(jī)器人理解人和人的溝通過程，也就是理解講解者和觀眾交流中的信號(hào)，比如姿態(tài)、手勢(shì)和語(yǔ)言，從而來控制機(jī)器人的行為。

為此，他們研究了動(dòng)手技能教學(xué)視頻的內(nèi)容，去了解創(chuàng)作者想要的攝影主體、角度等參數(shù)，之后選擇了一系列可以與這些攝影機(jī)參數(shù)結(jié)合的溝通信號(hào)。在這之后，他們邀請(qǐng)擁有視頻拍攝經(jīng)驗(yàn)的用戶參與試用和改善設(shè)計(jì)。

此外，李健楠表示：“我感興趣的一個(gè)方向是拓展機(jī)器人可以理解的溝通信號(hào)。目前，這款系統(tǒng)能夠理解的信號(hào)種類和內(nèi)容還是有所局限，會(huì)對(duì)創(chuàng)作者的發(fā)揮造成限制。希望可以結(jié)合人工智能特別是大模型，來拓展機(jī)器人可以理解的信號(hào)范圍?！?/p>

另?yè)?jù)悉，2023年下半年李健楠將入職新加坡管理大學(xué)計(jì)算與信息系統(tǒng)學(xué)院擔(dān)任助理教授。今后，他會(huì)繼續(xù)推進(jìn)人和機(jī)器人交互的研究，專注于運(yùn)用人工智能以及交互設(shè)計(jì)的方法，幫助機(jī)器人從隱性的信號(hào)解讀人的意圖，提高人與AI合作的成效。

另外，他也計(jì)劃將這類方法推廣到更多的智能系統(tǒng)問題中，比如增強(qiáng)現(xiàn)實(shí)環(huán)境，讓智能系統(tǒng)更好地理解用戶的愿望和偏好，在無需用戶輸入的情況下，為用戶提供及時(shí)且有效的支持。