AI機(jī)器人搖臂在全媒體交互式演播室的應(yīng)用

何金道

（浙江省廣播電視工程公司，浙江 杭州 310015）

0 引 言

當(dāng)前，隨著媒體融合向縱深發(fā)展，傳統(tǒng)電視演播室已向全媒體多景區(qū)交互式高清演播室演進(jìn)。全媒體演播室節(jié)目的畫面拍攝，除了傳統(tǒng)電視節(jié)目制作中常見(jiàn)的坐播、站播、走播以及訪談等主持人播報(bào)形態(tài)之外，還需要能實(shí)現(xiàn)新媒體傳播需求催生的豎屏點(diǎn)評(píng)、外景連線、虛實(shí)結(jié)合、交互與沉浸等多種形式的融媒體節(jié)目制作[1]。因此，攝像機(jī)機(jī)位大都是多機(jī)位的三維運(yùn)動(dòng)狀態(tài)與靜態(tài)結(jié)合的拍攝。通常情況下，大型搖臂和可伸縮搖臂需要雙人操作才能完成，為了拍攝出符合藝術(shù)審美要求的畫面，既要求攝像師具有較高的攝像機(jī)操控技術(shù)以完成高質(zhì)量的連續(xù)畫面拍攝，又要求搖臂操作者能嫻熟掌握搖臂操作技能，以確保搖臂在演播室這一特殊的封閉環(huán)境內(nèi)運(yùn)動(dòng)時(shí)平滑、順暢無(wú)遲滯，并確保不與燈光、顯示屏、主播桌等設(shè)備設(shè)施發(fā)生碰撞，以保證拍攝安全。

為此，麗水市廣播電視總臺(tái)（以下簡(jiǎn)稱麗水臺(tái)）對(duì)原建于2008年的兩個(gè)140 m2新聞演播室和兩個(gè)100 m2虛擬演播室進(jìn)行全媒體交互式高清演播室群技術(shù)改造時(shí)，在140 m2演播室引入了人工智能（Artificial Intelligence，AI）機(jī)器人搖臂攝像系統(tǒng)，以AI識(shí)別技術(shù)賦能自動(dòng)化機(jī)器人搖臂的解決方案，代替?zhèn)鹘y(tǒng)的攝像師人工拍攝。

1 系統(tǒng)拍攝模式

AI機(jī)器人搖臂系統(tǒng)可按預(yù)設(shè)運(yùn)動(dòng)軌跡動(dòng)作，可以對(duì)走動(dòng)的主持人進(jìn)行自動(dòng)、實(shí)時(shí)追蹤，還可以對(duì)空間中靜止的物體如播報(bào)臺(tái)、屏幕以及虛擬畫面物體進(jìn)行定點(diǎn)跟蹤，以完成節(jié)目需要的畫面錄制。

與傳統(tǒng)的手搖電控?fù)u臂相比，AI機(jī)器人搖臂在減少人力投入的同時(shí)使演播室拍攝動(dòng)態(tài)畫面的智能化水平得到大幅提升，并降低了操作上的難度和人為因素帶來(lái)的不穩(wěn)定性，使節(jié)目的錄制效率和質(zhì)量得到大幅提升。考慮到演播室多景區(qū)、多功能的拍攝要求，不僅要求攝像搖臂在制作節(jié)目時(shí)要便捷地實(shí)現(xiàn)自動(dòng)化和無(wú)人化，還要兼顧安全性和穩(wěn)定性。經(jīng)過(guò)多方面的對(duì)比，麗水臺(tái)140 m2全媒體演播室最終選擇了一款承托重量為25 kg的中小型AI機(jī)器人搖臂。實(shí)物如圖1所示。

圖1 AI機(jī)器人搖臂實(shí)物圖

該機(jī)器人搖臂可在錄制現(xiàn)場(chǎng)無(wú)人的情況下，遠(yuǎn)程對(duì)節(jié)目進(jìn)行精準(zhǔn)穩(wěn)定的錄制，并提供精確穩(wěn)定的跟蹤數(shù)據(jù)用于VR/AR/XR等虛擬場(chǎng)景，可廣泛用于新聞、訪談、會(huì)議、時(shí)事等類型節(jié)目。機(jī)器人搖臂配備觸屏及物理按鍵組合式工控，可遠(yuǎn)程對(duì)臂身、云臺(tái)、鏡頭、速度進(jìn)行控制及預(yù)設(shè)軌跡，而且各種操作均使用物理按鍵，反饋直接；可設(shè)置8檔節(jié)目，各節(jié)目設(shè)20個(gè)機(jī)位存儲(chǔ)點(diǎn)，把臂身、云臺(tái)及鏡頭的位置存在相應(yīng)的存儲(chǔ)點(diǎn)后，對(duì)多點(diǎn)軌跡可形成單點(diǎn)運(yùn)動(dòng)、單次連續(xù)運(yùn)動(dòng)及循環(huán)連續(xù)曲線運(yùn)動(dòng)三種搖移模式。操縱桿頂鍵的極低速微調(diào)功能，方便在存儲(chǔ)軌跡時(shí)對(duì)畫面進(jìn)行精準(zhǔn)卡邊。搖臂支持遠(yuǎn)程遙控拍攝模式、程序化自動(dòng)拍攝模式以及傳統(tǒng)手動(dòng)搖臂拍攝等三種模式。

1.1 遠(yuǎn)程遙控拍攝模式

通過(guò)手搖左右搖桿遠(yuǎn)程控制臂身和云臺(tái)的水平、俯仰及鏡頭的運(yùn)動(dòng)。在任意時(shí)間切換為手動(dòng)模式時(shí)，只需撥動(dòng)切換按鈕，即可切換至手動(dòng)狀態(tài)。遠(yuǎn)程遙控模式可以根據(jù)節(jié)目臨時(shí)安排，提供不同角度的攝像效果，展現(xiàn)不同的節(jié)目主題。

1.2 程序自動(dòng)拍攝模式

可通過(guò)操作面板進(jìn)行簡(jiǎn)單編程，根據(jù)節(jié)目需要預(yù)設(shè)和存儲(chǔ)拍攝位置使設(shè)備進(jìn)入程序化的自動(dòng)拍攝過(guò)程。搖臂可在程序化運(yùn)動(dòng)控制下進(jìn)行自動(dòng)搖移、鏡頭變焦聚焦及固定軌跡的精準(zhǔn)重復(fù)，實(shí)現(xiàn)演播室錄制的無(wú)人化。在多點(diǎn)運(yùn)動(dòng)過(guò)程中，可選擇連續(xù)搖移多軌跡單次運(yùn)動(dòng)或連續(xù)不間斷的軌跡運(yùn)動(dòng)，可實(shí)時(shí)向?qū)Рヌ峁┧枰漠嬅嫠夭摹３绦蜃詣?dòng)拍攝模式既可以節(jié)約人力，降低攝像人員的重復(fù)勞動(dòng)，又可以使畫面更加順暢、更具動(dòng)感。

1.3 傳統(tǒng)手動(dòng)搖臂拍攝模式

系統(tǒng)配置了手動(dòng)操控系統(tǒng)，提供了控制手柄、觸屏電控盒以及安裝在搖臂尾端的雙監(jiān)視器。使用傳統(tǒng)手動(dòng)拍攝模式時(shí)，打開(kāi)臂身水平及俯仰鎖止結(jié)構(gòu)，攝像師即可通過(guò)手柄對(duì)云臺(tái)、鏡頭進(jìn)行控制，通過(guò)搖移操作拍出自己風(fēng)格的運(yùn)動(dòng)軌跡。這套操控系統(tǒng)還附帶幾個(gè)智能拍攝功能，可降低攝像師的操作要求，讓初學(xué)者也能搖出炫酷的畫面。

2 關(guān)鍵技術(shù)應(yīng)用

為了使機(jī)器人搖臂能滿足全媒體演播室的拍攝需求，系統(tǒng)引入了最為關(guān)健的AI追蹤技術(shù)，通過(guò)該技術(shù)與搖臂的自動(dòng)化動(dòng)態(tài)畫面錄制技術(shù)相結(jié)合，實(shí)現(xiàn)了AI機(jī)器人搖臂的各項(xiàng)功能。

2.1 AI追蹤

機(jī)器人搖臂在云臺(tái)處EFP攝像機(jī)下方安裝了智能攝像頭及算法系統(tǒng)的一體模塊。該攝像頭可以獲取目標(biāo)人體的肢體特征，并識(shí)別目標(biāo)人物在空間中的相對(duì)角度和位置坐標(biāo)。當(dāng)人體在離鏡頭較遠(yuǎn)位置時(shí)，系統(tǒng)開(kāi)啟人體外形特征識(shí)別并鎖定，確保人體的肢體都涵蓋在運(yùn)動(dòng)畫面的中間位置，有效規(guī)避了基于紅外射線識(shí)別技術(shù)的信號(hào)中斷問(wèn)題以及一定距離時(shí)無(wú)法有效進(jìn)行人臉識(shí)別的問(wèn)題。其原理如圖2所示。

圖2 人體特征識(shí)別模式

當(dāng)目標(biāo)人物靠近攝像頭時(shí)，系統(tǒng)即轉(zhuǎn)為人臉位置識(shí)別模式，追蹤的攝像機(jī)鏡頭立刻對(duì)主持人的面部進(jìn)行跟蹤拍攝。該識(shí)別系統(tǒng)可使搖臂機(jī)器人精準(zhǔn)識(shí)別目標(biāo)人物，應(yīng)用于多人物場(chǎng)景拍攝。目標(biāo)主持人在做轉(zhuǎn)身、側(cè)身、下蹲等動(dòng)作時(shí)，搖臂機(jī)器人也可進(jìn)行平滑流暢的追蹤。

該功能應(yīng)用在主持人播報(bào)錄制過(guò)程中時(shí)，主持人可任意行走、轉(zhuǎn)體。上述AI技術(shù)將使主持人在進(jìn)行新聞?lì)惒?bào)時(shí)不受腳本的嚴(yán)格限制[2]。這不僅提升了主持人發(fā)揮的空間和節(jié)目創(chuàng)作的自由度，還降低了對(duì)攝像師技能的高要求，播報(bào)效率也大幅提高。

2.2 自動(dòng)化動(dòng)態(tài)畫面錄制

2.2.1 搖臂編碼器

編碼器是將數(shù)據(jù)進(jìn)行編制，轉(zhuǎn)換為可通信、傳輸和存儲(chǔ)的信號(hào)形式的設(shè)備。機(jī)器人搖臂內(nèi)置多種高精度編碼器以獲取對(duì)系統(tǒng)的控制數(shù)據(jù)、位置數(shù)據(jù)，通過(guò)匯編形成多種用于拍攝虛擬跟蹤畫面的數(shù)據(jù)。它既可檢測(cè)角度位移，又可在機(jī)械轉(zhuǎn)換裝置的幫助下檢測(cè)直線位移。多圈光電編碼器可以檢測(cè)相當(dāng)長(zhǎng)量程的直線位移[3]。

通過(guò)將搖臂機(jī)器人臂身和云臺(tái)的水平、俯仰數(shù)據(jù)與攝像機(jī)鏡頭傳感器的數(shù)據(jù)整合并與同步信號(hào)鎖定，可以實(shí)時(shí)發(fā)送搖臂各運(yùn)動(dòng)軸數(shù)據(jù)。利用這些運(yùn)動(dòng)軸數(shù)據(jù)，結(jié)合搖臂機(jī)器人本身所確定的物理參數(shù)，可以通過(guò)函數(shù)關(guān)系精確測(cè)算所拍攝物體位于空間中的相對(duì)位置，通過(guò)對(duì)云臺(tái)進(jìn)行實(shí)時(shí)的角度控制就可以獲取所需的畫面構(gòu)圖。與此同時(shí)，通過(guò)程序軟件算法與此類數(shù)據(jù)的整合，以標(biāo)準(zhǔn)數(shù)據(jù)接口協(xié)議傳送給虛擬圖像服務(wù)器，可以最終實(shí)現(xiàn)虛擬畫面與攝像機(jī)空間位置及鏡頭狀態(tài)的完美結(jié)合。

2.2.2 空間定位跟蹤

以搖臂臂身水平旋轉(zhuǎn)軸和俯仰旋轉(zhuǎn)軸的交點(diǎn)OXYZ建立空間直角坐標(biāo)系，臂身長(zhǎng)度a和云臺(tái)吊臂長(zhǎng)度b為已知量。系統(tǒng)輸入臂身的水平、俯仰角和云臺(tái)的水平、俯仰角4個(gè)變量，可輸出攝像機(jī)位置坐標(biāo)x，y，z，攝像機(jī)旋轉(zhuǎn)角度pancamera、tiltcamera和rollcamera等6個(gè)結(jié)果。以兩軸旋轉(zhuǎn)云臺(tái)為例，攝像機(jī)翻滾數(shù)值rollcamera=0；攝像機(jī)水平角度為臂身水平和云臺(tái)水平的累加，pancamera=panarm+panhead。云臺(tái)可以保持垂直地面狀態(tài)，與臂身的俯仰角度無(wú)關(guān)，所以云臺(tái)俯仰角度為tiltcamera=tilthead。搖臂坐標(biāo)系統(tǒng)如圖3所示。

圖3 搖臂坐標(biāo)系統(tǒng)

以四元數(shù)進(jìn)行計(jì)算，以O(shè)a為原點(diǎn)建立坐標(biāo)系，Ob點(diǎn)坐標(biāo)為（0，0，-b），將Ob點(diǎn)擴(kuò)充至四元數(shù)，即pob=0+0×i+0×j+(-b)×k。搖臂做俯仰運(yùn)動(dòng)時(shí)，云臺(tái)可以實(shí)時(shí)保持垂直與地面，即圖中角α=tiltarm，攝像機(jī)以（1，0，0）為旋轉(zhuǎn)軸轉(zhuǎn)動(dòng)α，以四元數(shù)形式 表 示 為qoa=cos(α/2)+i(1×sinα/2)+j(0×sinα/2)+k(0×sinα/2)，則旋轉(zhuǎn)后的攝像機(jī)坐標(biāo)四元數(shù)為pcamera=qoa×qob×qoa-1，即可求得攝像機(jī)相對(duì)于坐標(biāo)原點(diǎn)Oxyz的位置和角度關(guān)系，如圖4所示。

圖4 臂身空間定位跟蹤視角

3 安全性設(shè)計(jì)

考慮到AI機(jī)器人搖臂需要在封閉的演播室內(nèi)進(jìn)行大幅度的三維運(yùn)動(dòng)這一特殊應(yīng)用場(chǎng)景，演播室內(nèi)專業(yè)燈光、LED顯示屏、播音臺(tái)、多機(jī)位攝像機(jī)等密布，節(jié)目制作的首要任務(wù)是確保搖臂自動(dòng)拍攝時(shí)的運(yùn)動(dòng)安全，不能與室內(nèi)其他物體和主持人等發(fā)生哪怕是輕微的碰撞。因此，機(jī)器人搖臂在多個(gè)環(huán)節(jié)進(jìn)行了針對(duì)性的安全設(shè)計(jì)。

首先，系統(tǒng)可以在手動(dòng)和自動(dòng)模式間進(jìn)行實(shí)時(shí)切換。該設(shè)計(jì)確保系統(tǒng)既可以在預(yù)設(shè)軌跡模式下穩(wěn)定運(yùn)行，又可以在制作安全性要求特別高的特殊節(jié)目時(shí)，直接打開(kāi)臂身鎖，從自動(dòng)模式切換到傳統(tǒng)搖臂的手動(dòng)拍攝模式[4]。其次，為了避免搖臂在自動(dòng)拍攝時(shí)碰撞到其他物體，系統(tǒng)可以根據(jù)所處演播室的具體環(huán)境，在臂身和云臺(tái)所有旋轉(zhuǎn)軸位提前預(yù)設(shè)限位角度，以確保所有預(yù)設(shè)軌跡均在安全空間范圍內(nèi)。此外，搖臂系統(tǒng)還內(nèi)置了力矩感應(yīng)檢測(cè)裝置，確保搖臂一旦在運(yùn)動(dòng)中發(fā)生外力影響即可實(shí)時(shí)檢測(cè)到異常，在最短時(shí)間內(nèi)停止搖臂運(yùn)動(dòng)，確保不發(fā)生意外事故[5]。

為了達(dá)到上述設(shè)計(jì)目的，在硬件方面，系統(tǒng)以高精度編碼器定位配合精密減速機(jī)的應(yīng)用，確保定位精度達(dá)到1 mm以內(nèi)。在軟件方面，采用S型曲線進(jìn)行加速和減速軟件控制，相對(duì)于梯形加減速而言，可以獲得更好的控制性能，從而確保搖臂運(yùn)動(dòng)的安全可控。

4 遇到的問(wèn)題和解決辦法

在與虛擬引擎對(duì)接的過(guò)程中，搖臂執(zhí)行預(yù)設(shè)軌跡拍攝時(shí)出現(xiàn)畫面卡頓現(xiàn)象，初步判斷是虛擬植入引擎的刷新率的問(wèn)題。經(jīng)反復(fù)驗(yàn)證，卻發(fā)現(xiàn)沒(méi)進(jìn)虛擬引擎的畫面就有卡頓的問(wèn)題，因此推測(cè)是搖臂系統(tǒng)本身的問(wèn)題。首先檢查電源相序、同步信號(hào)，均為正常；再執(zhí)行臂身和云臺(tái)軌跡，同樣正常；但執(zhí)行軌跡有鏡頭變焦時(shí)就會(huì)出現(xiàn)卡頓的現(xiàn)象，而且換鏡頭無(wú)效。于是定位故障應(yīng)該在鏡頭和搖臂之間的通信。將問(wèn)題反饋給廠家，廠家通過(guò)復(fù)現(xiàn)故障后分析得出是鏡頭內(nèi)編碼器數(shù)據(jù)傳輸受外界干擾所致?？紤]到全媒體演播室內(nèi)各種電子、電氣設(shè)備品種和數(shù)量繁多，可能存在未知信號(hào)干擾源，于是在鏡頭和搖臂傳輸鏈路增強(qiáng)屏蔽。后經(jīng)多次測(cè)試，卡頓現(xiàn)象均未再現(xiàn)，順利解決了問(wèn)題。

5 結(jié) 語(yǔ)

演播室AI機(jī)器人搖臂拍攝簡(jiǎn)化了傳統(tǒng)拍攝流程，減少了人、財(cái)、物的投入并提高了工作效率，還能增強(qiáng)電視畫面的藝術(shù)美感，為觀眾帶來(lái)視覺(jué)沖擊和視覺(jué)享受，成為媒體融合發(fā)展背景下頗受歡迎的攝像機(jī)承托解決方案。當(dāng)前，AI搖臂拍攝依舊存在智能程度不夠高等局限性，但隨著科技的發(fā)展，AI機(jī)器人搖臂拍攝技術(shù)一定會(huì)得到進(jìn)一步發(fā)展，從而更好地助力電視媒體的融合發(fā)展。