AI手語(yǔ)主播的技術(shù)可供性：代償性機(jī)制下認(rèn)知重構(gòu)的發(fā)展版圖

喻國(guó)明?傅海鑫

【內(nèi)容摘要】本文以聽(tīng)覺(jué)障礙在AI技術(shù)的框架內(nèi)的解決方案為例，探討了未來(lái)傳媒發(fā)展的“聚合”邏輯。首先，探討了AI手語(yǔ)主播的技術(shù)可供性，闡釋了人的多感官認(rèn)知系統(tǒng)與認(rèn)知障礙的彌補(bǔ)代償機(jī)制下認(rèn)知重構(gòu)的發(fā)展版圖;其次，考察了AI手語(yǔ)主播的技術(shù)迭代的演進(jìn)邏輯，并論證了AI手語(yǔ)直播在聽(tīng)覺(jué)認(rèn)知彌合的未來(lái)發(fā)展中的升級(jí)版圖。指出，傳統(tǒng)媒介對(duì)個(gè)體的賦權(quán)總是以分割感官為前提的，個(gè)體很難在媒介世界中獲得如同真實(shí)個(gè)體般的全感官體驗(yàn)，無(wú)法實(shí)現(xiàn)人的“感覺(jué)總體”回歸 。但是在全要素整合的AI互聯(lián)網(wǎng)系統(tǒng)中，人類(lèi)將在媒介中得到全感官?gòu)?fù)制的體驗(yàn)，感受到 “鏡像”般的數(shù)字孿生世界。

【關(guān)鍵詞】媒介;無(wú)障礙信息傳播;技術(shù)可供性;AI手語(yǔ)主播

傳播場(chǎng)域如今面臨巨大變局，唯有洞見(jiàn)傳播的核心概念“媒介”之內(nèi)核，厘清媒介技術(shù)演化的中心邏輯，才能準(zhǔn)確定位傳播的其他問(wèn)題。

在麥克盧漢的“延伸觀”及萊文森的“補(bǔ)償觀”中，均顯示了媒介觀中最核心的觀點(diǎn)，即認(rèn)可媒介的人本主義，強(qiáng)調(diào)媒介演進(jìn)的邏輯起點(diǎn)是人類(lèi)本身。如彼得斯所言，媒介技術(shù)的發(fā)明與應(yīng)用之動(dòng)力來(lái)源都是人類(lèi)對(duì)自我與他人、私人與公共、內(nèi)心思想與外在語(yǔ)詞之間的“交流”的渴望。①以人類(lèi)視角反觀媒介演進(jìn)史，可以發(fā)現(xiàn)它實(shí)際是一段人類(lèi)實(shí)踐半徑不斷擴(kuò)大的歷史。②把握人類(lèi)自由度的拓展之勢(shì)，即是把握了媒介技術(shù)演進(jìn)的內(nèi)在規(guī)律。這其中當(dāng)然也包括媒介技術(shù)的進(jìn)化史，實(shí)際上也是一部對(duì)于人的感官通路障礙不斷打通的歷史。

2022年2月4日，由“百度智能云曦靈”數(shù)字人平臺(tái)聯(lián)合央視新聞打造的首個(gè)AI手語(yǔ)主播在冬奧會(huì)正式上崗，在冬奧會(huì)新聞播報(bào)、賽事直播和現(xiàn)場(chǎng)采訪中，為聽(tīng)障人士送上實(shí)時(shí)手語(yǔ)翻譯服務(wù)，AI手語(yǔ)主播以其流暢的手語(yǔ)以及凝練的動(dòng)作為廣大聽(tīng)障人士提供了跨越聽(tīng)覺(jué)的認(rèn)知體驗(yàn)，讓聽(tīng)障人士可以快捷獲取賽事資訊，感受賽事精彩。③作為AI虛擬主播的一種，AI手語(yǔ)主播通過(guò)視覺(jué)方式模擬真實(shí)的手語(yǔ)者，幫助廣大聽(tīng)障人士了解國(guó)家政策、獲取知識(shí)信息、進(jìn)行情感娛樂(lè)等。這體現(xiàn)了技術(shù)對(duì)于無(wú)障礙傳播的推動(dòng)，也彰顯了技術(shù)對(duì)于人文的關(guān)懷和對(duì)社會(huì)和諧的促進(jìn)。

作為2022年北京冬奧會(huì)信息無(wú)障礙傳播的一部分，AI手語(yǔ)主播的出現(xiàn)補(bǔ)足了聽(tīng)障人士對(duì)體育賽事和新聞信息的“聽(tīng)覺(jué)”感官，通過(guò)實(shí)時(shí)演繹的手語(yǔ)動(dòng)作、表情和唇語(yǔ)，從而在視覺(jué)上彌補(bǔ)了聽(tīng)障人士在聽(tīng)覺(jué)方面的認(rèn)知缺陷。從信息無(wú)障礙傳播的角度來(lái)看，其強(qiáng)調(diào)用技術(shù)的方式彌合殘障人士與健全人之間的認(rèn)知鴻溝，用技術(shù)對(duì)感官的替代達(dá)到認(rèn)知要素的補(bǔ)足。④而AI手語(yǔ)主播所展現(xiàn)的AI對(duì)聽(tīng)覺(jué)感官的彌補(bǔ)與多感官信息的彌合，讓聽(tīng)障人士信息無(wú)障礙傳播有了進(jìn)一步發(fā)展。

按照人文主義的觀點(diǎn)，聽(tīng)障人士與健全人一樣是具有信息消費(fèi)的天然權(quán)利的，而其權(quán)利必須通過(guò)媒介技術(shù)之于接收能力的改善才能夠真正實(shí)現(xiàn)。由于聽(tīng)覺(jué)的缺失，聽(tīng)障人士認(rèn)識(shí)能力和反應(yīng)能力相比于健全人之間具有較強(qiáng)認(rèn)知差異。而能夠?yàn)槿祟?lèi)所使用和不斷迭代的技術(shù)就成為了彌合殘障人士與健全人之間的認(rèn)知鴻溝的重要幫手。因此，想要了解AI是如何對(duì)認(rèn)知鴻溝的彌合作用則首先應(yīng)從人的認(rèn)知過(guò)程和感官系統(tǒng)出發(fā)，了解正常人如何通過(guò)包括聽(tīng)覺(jué)在內(nèi)的感官系統(tǒng)的各個(gè)要素完成認(rèn)知過(guò)程以及聽(tīng)覺(jué)缺失下人對(duì)感官的注意力轉(zhuǎn)移和代償。

一、人的多感官認(rèn)知系統(tǒng)與認(rèn)知障礙的彌補(bǔ)代償機(jī)制

在人的認(rèn)知過(guò)程中，人的器官接收由外界的復(fù)雜信息經(jīng)由人體感官通路轉(zhuǎn)譯并形成生物信息，再根據(jù)生物信息產(chǎn)生的刺激進(jìn)行對(duì)信息的反饋。⑤以處在認(rèn)知過(guò)程中的兒童為例，兒童通常會(huì)先采取“察看”的方式接收視覺(jué)信息，了解事物的外表包括顏色、狀態(tài)等，而后采取觸摸、嗅聞、聽(tīng)、嘗的方式來(lái)對(duì)事物施加刺激并認(rèn)識(shí)事物的信息反饋并最終形成對(duì)事物的認(rèn)知，⑥最終，兒童會(huì)根據(jù)他們多次對(duì)話(huà)、多種感官所得到的信息來(lái)綜合認(rèn)知所接觸到的事物。人的器官是人接收信息的重要媒介，通過(guò)人體的器官將所接收到的感覺(jué)轉(zhuǎn)化為人體可識(shí)別的生物信息。而在這整個(gè)的認(rèn)知到反饋的過(guò)程中，人所接收的信息是綜合的且多元的系統(tǒng)整合的產(chǎn)物（見(jiàn)圖1）。

在多感官的信息接收系統(tǒng)中，聽(tīng)覺(jué)是其中一個(gè)重要的感知分支，人利用耳朵為主要的感知器官接受聽(tīng)覺(jué)信息。國(guó)內(nèi)針對(duì)聽(tīng)覺(jué)的研究提出，人在“聽(tīng)”的過(guò)程中，“聽(tīng)覺(jué)信息的感覺(jué)識(shí)別和登記主要是在聽(tīng)覺(jué)網(wǎng)絡(luò)（以顳葉為核心）完成，反應(yīng)選擇則需要認(rèn)知控制網(wǎng)絡(luò)（以背外側(cè)前額葉為核心）參與，而反應(yīng)準(zhǔn)備和執(zhí)行則是運(yùn)動(dòng)網(wǎng)絡(luò)（以中央后回和輔助運(yùn)動(dòng)區(qū)為核心）完成”，⑦換言之，聽(tīng)覺(jué)可以感知聲音的音律、音色、響度、節(jié)奏的變化，并將這些復(fù)雜的音頻信息經(jīng)由大腦處理后形成人的完整聽(tīng)覺(jué)感知。在聽(tīng)覺(jué)的支持下，人可以能夠完成接收音頻內(nèi)容、感知空間方位、感受語(yǔ)言情感與節(jié)奏。⑧聽(tīng)障人士由于聽(tīng)力信息的缺失導(dǎo)致了對(duì)于音頻信息所包含的認(rèn)知要素感知能力一并缺失，這也就形成了聽(tīng)障人士與健全人之間的認(rèn)知鴻溝。

而在人的認(rèn)知過(guò)程中，除了對(duì)信息的接收過(guò)程，還有對(duì)情緒的感知過(guò)程。情緒的存在是人與人之間形成溝通、共情并建立良好溝通渠道的重要前提，聽(tīng)覺(jué)是讓人感知情緒的主要通路，是除了圖畫(huà)（視覺(jué)）、動(dòng)作（觸覺(jué)）以外的重要情感感知來(lái)源。根據(jù)研究，人的視覺(jué)與聽(tīng)覺(jué)具有相同的多感覺(jué)皮層，這代表著視覺(jué)和聽(tīng)覺(jué)在情感認(rèn)知上具有部分的相通性，但單獨(dú)使用視覺(jué)或聽(tīng)覺(jué)時(shí)或會(huì)導(dǎo)致情感感知上的殘缺。⑨聽(tīng)覺(jué)為語(yǔ)言文字以音頻的方式提供了可以明確感知的情緒要素，不同的音律、節(jié)奏下能夠提供不同的情緒認(rèn)知。因此，聽(tīng)障人士對(duì)聽(tīng)覺(jué)的缺失勢(shì)必會(huì)造成他們?cè)谇榫w感知上的缺失，至少是不充分。

健全人在認(rèn)知的過(guò)程中會(huì)將人的注意力進(jìn)行均衡分配，以達(dá)到在不同的場(chǎng)景下根據(jù)人的需要感知場(chǎng)景中的敏感信息。當(dāng)人失去聽(tīng)覺(jué)時(shí)，會(huì)把原本用于聽(tīng)覺(jué)的注意力分配至其他的感官上，從而迫使個(gè)體加強(qiáng)其他類(lèi)型的感知以達(dá)到感知彌補(bǔ)的作用，⑩其在外在表征上則體現(xiàn)為聽(tīng)障人士對(duì)視覺(jué)、觸覺(jué)等感覺(jué)的敏感。對(duì)聽(tīng)障人士來(lái)說(shuō)，他們需要一個(gè)可以提供多感官認(rèn)知的中介來(lái)替代失去聽(tīng)力情況下的信息接收和語(yǔ)言表達(dá)能力。綜合對(duì)比視覺(jué)、觸覺(jué)、味覺(jué)等感官信息接收能力，作為接收信息最充裕的視覺(jué)便成為了替代聽(tīng)覺(jué)的最優(yōu)感知路徑。

因此，應(yīng)用于聽(tīng)障人士的手語(yǔ)便從人可視的肢體動(dòng)作上，以視覺(jué)感知為補(bǔ)償性通路為聽(tīng)障人士構(gòu)建補(bǔ)償聽(tīng)覺(jué)缺失的溝通符號(hào)?；谶@個(gè)路徑思維，服務(wù)于聽(tīng)障人士的軟件輔助功能或是硬件輔助設(shè)備也大多從視覺(jué)刺激的角度出發(fā)進(jìn)行開(kāi)發(fā)，將文字、語(yǔ)言轉(zhuǎn)化為聽(tīng)障人士可識(shí)別的視覺(jué)信息。AI手語(yǔ)主播亦是從視覺(jué)的角度出發(fā)，通過(guò)完善的人物建模和流暢的手語(yǔ)動(dòng)作達(dá)到輔助無(wú)障礙信息傳播的目的，從而通過(guò)AI手語(yǔ)主播在聽(tīng)障人士與媒體信息之間建立溝通的橋梁。

但是，對(duì)于AI手語(yǔ)主播而言，AI技術(shù)實(shí)際上可以從技術(shù)的諸多可供性上為人的聽(tīng)覺(jué)溝通的重建建立更多基于AI的感官通路的合成，以便超越原有人工手語(yǔ)的單向度連接的局限。概言之，AI參與下的手語(yǔ)虛擬主播從技術(shù)可供性上是能夠在視覺(jué)感知通路的基礎(chǔ)上為聽(tīng)障人士提供更多認(rèn)知信息連接的可能性的。

二、AI手語(yǔ)主播技術(shù)迭代的演進(jìn)邏輯

AI手語(yǔ)主播依托于AI技術(shù)構(gòu)建手語(yǔ)傳播通路，其發(fā)源于早期“手語(yǔ)虛擬主播”的概念。在2002年，有學(xué)者針對(duì)手語(yǔ)虛擬主播進(jìn)行了闡述，提出了手語(yǔ)虛擬主播的概念，在該研究所提及的手語(yǔ)虛擬主播是基于時(shí)下虛擬主播的既有技術(shù)，將預(yù)設(shè)動(dòng)作和文本結(jié)合形成完整的手語(yǔ)虛擬主播。但在此概念下的手語(yǔ)虛擬主播是基于簡(jiǎn)單文本反饋所得到的，由人工對(duì)所播報(bào)的字句進(jìn)行手語(yǔ)簡(jiǎn)化和轉(zhuǎn)譯，再進(jìn)而將轉(zhuǎn)譯后的信息傳達(dá)給虛擬主播。由于手語(yǔ)虛擬主播對(duì)人力要求大、翻譯過(guò)程復(fù)雜、手語(yǔ)動(dòng)作算法簡(jiǎn)單以及早期計(jì)算機(jī)硬件算力不足等因素，手語(yǔ)虛擬主播在當(dāng)時(shí)技術(shù)環(huán)境中難以實(shí)現(xiàn)。

隨著時(shí)間推移至2018年，經(jīng)過(guò)長(zhǎng)時(shí)間AI技術(shù)的發(fā)展，虛擬主播已經(jīng)能夠借助算法對(duì)動(dòng)作進(jìn)行實(shí)時(shí)模擬。在當(dāng)年12月，愛(ài)奇藝推出了全球首款A(yù)I手語(yǔ)主播“奈奈”，其原理是通過(guò)自動(dòng)語(yǔ)音識(shí)別技術(shù)（ASR），準(zhǔn)確識(shí)別視頻中的語(yǔ)音并將其轉(zhuǎn)換為文字，而后以NLP（Natural Language Processing）技術(shù)將文字轉(zhuǎn)換為手語(yǔ)內(nèi)容，之后通過(guò)2D虛擬偶像進(jìn)行輸出。其中，AI作為語(yǔ)言文字和手語(yǔ)語(yǔ)言的符號(hào)連接核心的雛形開(kāi)始出現(xiàn)。2019年，愛(ài)奇藝與華夏出版社、中國(guó)聾人協(xié)會(huì)和鳳凰云祥等機(jī)構(gòu)合作推出3D的AI手語(yǔ)主播，而詞匯量相比于上一代有了更大擴(kuò)充，從幾十個(gè)詞到上千個(gè)詞。2021年10月，華為在開(kāi)發(fā)者大會(huì)上展示了其所開(kāi)發(fā)的華為手語(yǔ)服務(wù)（SignPal Kit），AI成為手語(yǔ)主播的實(shí)際核心，利用算法服務(wù)于實(shí)時(shí)語(yǔ)言轉(zhuǎn)譯。2021年11月，由中央廣播電視總臺(tái)央視新聞聯(lián)合百度智能云傾心打造的首個(gè)AI手語(yǔ)主播亦正式亮相于公眾，其AI對(duì)語(yǔ)言文字的翻譯已趨于成熟。

AI手語(yǔ)主播從最初的手語(yǔ)虛擬主播逐漸向目前的AI手語(yǔ)主播發(fā)展，究其根本，是在AI的作用下改變了其背后的傳播路徑。在“手語(yǔ)虛擬主播”的概念中，以文字和虛擬主播作為直接路徑，將語(yǔ)言文字經(jīng)過(guò)電腦和算法直接生成動(dòng)作。該種“文字—手語(yǔ)”傳播路徑下，語(yǔ)言符號(hào)量級(jí)較小的手語(yǔ)無(wú)法有效對(duì)所闡述的語(yǔ)言文字進(jìn)行直接翻譯，而不得不采取人工校對(duì)的方式，避免產(chǎn)生手語(yǔ)語(yǔ)義錯(cuò)誤并需要檢查內(nèi)容表述完整，人工對(duì)手語(yǔ)語(yǔ)言的轉(zhuǎn)譯和對(duì)手語(yǔ)動(dòng)作的錨定也直接導(dǎo)致了“文字—手語(yǔ)”翻譯過(guò)程的效率低下。另外，早期計(jì)算機(jī)圖像渲染能力不足也直接導(dǎo)致了手語(yǔ)虛擬主播動(dòng)作無(wú)法實(shí)時(shí)生成，冗長(zhǎng)的動(dòng)作渲染時(shí)間進(jìn)一步限制了手語(yǔ)虛擬主播的應(yīng)用與發(fā)展。

在傳播路徑上（見(jiàn)圖2），手語(yǔ)虛擬主播需要從文字、口語(yǔ)開(kāi)始，通過(guò)人工對(duì)語(yǔ)言的轉(zhuǎn)譯形成適用于手語(yǔ)語(yǔ)言的文字，再將文字輸入至計(jì)算機(jī)算法中并最終視覺(jué)性轉(zhuǎn)化形成手語(yǔ)虛擬主播，因此，“文字—手語(yǔ)”的翻譯過(guò)程是對(duì)文字的轉(zhuǎn)譯和轉(zhuǎn)化過(guò)程。同期與之相比的是人工手語(yǔ)主播，其大多出現(xiàn)在新聞直播間的一角，由專(zhuān)業(yè)的手語(yǔ)工作者輔助聽(tīng)障群體接收新聞信息而存在。相比于人工手語(yǔ)主播，復(fù)雜的轉(zhuǎn)譯中介和多種語(yǔ)言的轉(zhuǎn)換使得流程上遠(yuǎn)長(zhǎng)于直接使用人工手語(yǔ)主播。因此，在早期無(wú)AI參與的“手語(yǔ)虛擬主播”中，由于語(yǔ)言文字翻譯效率低下和動(dòng)作渲染能力不足以及轉(zhuǎn)譯流程長(zhǎng)，其效率和使用價(jià)值上遠(yuǎn)不如同期的人工手語(yǔ)主播。

而隨著AI對(duì)流程的深入?yún)⑴c，既有的AI手語(yǔ)主播技術(shù)路徑與傳播路徑（見(jiàn)圖3）也發(fā)生了變化。以2022年北京冬奧會(huì)AI手語(yǔ)主播為例，其依托于智能云，基于《國(guó)家通用手語(yǔ)詞典》規(guī)范建立的規(guī)模龐大的手語(yǔ)動(dòng)作庫(kù)，導(dǎo)出可用于機(jī)器語(yǔ)言的翻譯結(jié)果，再將機(jī)器語(yǔ)言輸入至服務(wù)于圖像的AI中并最終輸出AI手語(yǔ)主播的模擬畫(huà)面。在該流程中，AI作為信息轉(zhuǎn)譯、動(dòng)作生成的核心，將語(yǔ)言文字與最終的手語(yǔ)主播相串聯(lián)，取代了上述人工所需要參與的語(yǔ)言文本轉(zhuǎn)譯、校對(duì)的過(guò)程。

其傳播路徑上，AI手語(yǔ)主播已經(jīng)能夠完成人工對(duì)語(yǔ)言文字的轉(zhuǎn)譯過(guò)程。基于語(yǔ)言庫(kù)的匹配和手語(yǔ)圖像規(guī)范的AI算法，讓AI手語(yǔ)主播能夠“理解”文本語(yǔ)言并在此基礎(chǔ)上形成合理的“解釋”。在AI的參與下，“文字—手語(yǔ)”的轉(zhuǎn)譯路徑也由多個(gè)轉(zhuǎn)譯中介變?yōu)橛葾I進(jìn)行直接轉(zhuǎn)譯并輸出機(jī)器語(yǔ)言。轉(zhuǎn)譯介質(zhì)上的統(tǒng)一讓其在傳播路徑上相比手語(yǔ)虛擬主播大大縮短，能夠有效避免語(yǔ)言多次轉(zhuǎn)譯帶來(lái)的語(yǔ)義錯(cuò)誤或語(yǔ)義缺失并極大提高信息轉(zhuǎn)譯的效率。AI加持下的圖像驅(qū)動(dòng)為AI手語(yǔ)主播提供更高效率的圖像渲染能力，憑借對(duì)動(dòng)作的實(shí)時(shí)錨定，將文字符號(hào)轉(zhuǎn)化為視覺(jué)符號(hào)，實(shí)現(xiàn)AI手語(yǔ)主播實(shí)時(shí)轉(zhuǎn)譯手語(yǔ)的視覺(jué)性符號(hào)轉(zhuǎn)化。

但手語(yǔ)并不是聽(tīng)障人士使用的唯一語(yǔ)言，瑞典研究者在《雙語(yǔ)論、手語(yǔ)以及瑞典語(yǔ)》中認(rèn)為，聽(tīng)障人士中雙語(yǔ)的使用能夠有效地提高對(duì)文本語(yǔ)義的理解能力。因此，在現(xiàn)有的特殊人群手語(yǔ)教學(xué)中，通常采用雙語(yǔ)教學(xué)的方式以增強(qiáng)對(duì)文本語(yǔ)言的理解力，這同時(shí)也要求手語(yǔ)主播能夠在演示手語(yǔ)的同時(shí)提供唇型等輔助動(dòng)作。早期AI手語(yǔ)主播主要在于對(duì)單一手語(yǔ)的信息要素傳遞，隨著對(duì)AI手語(yǔ)主播使用要求的不斷提高和AI手語(yǔ)主播的職能要素的不斷增加，面部動(dòng)作成為AI手語(yǔ)主播虛擬形象所必須的元素之一。因此，在AI的參與下，要求AI手語(yǔ)主播在生成手語(yǔ)動(dòng)作的機(jī)械語(yǔ)言（指令）過(guò)程的同時(shí)，能夠根據(jù)文字需要實(shí)時(shí)生成手語(yǔ)相對(duì)應(yīng)的唇形動(dòng)作，從而進(jìn)一步完善手語(yǔ)傳播過(guò)程中對(duì)手語(yǔ)、唇語(yǔ)的需求，進(jìn)而實(shí)現(xiàn)對(duì)聽(tīng)障人士的雙語(yǔ)服務(wù)要求。

此外，在手語(yǔ)虛擬主播與人工手語(yǔ)主播傳播路徑的對(duì)比過(guò)程中，人工手語(yǔ)主播能夠在表達(dá)手語(yǔ)的同時(shí)將語(yǔ)言情感以面部表情的方式進(jìn)行傳遞，手語(yǔ)虛擬主播局限于語(yǔ)言翻譯能力和圖像渲染能力，不能將情感元素傳遞至虛擬主播而僅能進(jìn)行手語(yǔ)語(yǔ)言的表達(dá)。而AI手語(yǔ)主播的AI能夠有效識(shí)別語(yǔ)言文字內(nèi)容中的情感信息并將該信息傳遞至AI加持下的圖像驅(qū)動(dòng)，從而使虛擬主播的表情能夠隨著語(yǔ)言文字的情感變化而變化，進(jìn)而在應(yīng)用上達(dá)到與人工手語(yǔ)主播近似或相同的情感傳遞效果。

在上述內(nèi)容中，筆者綜合闡述了人的認(rèn)知過(guò)程以及AI手語(yǔ)主播如何進(jìn)行對(duì)語(yǔ)言文字內(nèi)容的轉(zhuǎn)譯和轉(zhuǎn)化并最終形成手語(yǔ)的過(guò)程。在AI的參與下，手語(yǔ)虛擬主播從單一的手語(yǔ)語(yǔ)言傳達(dá)到手語(yǔ)、口型、表情的多方面糅合，AI助力手語(yǔ)虛擬主播完成向多維的視覺(jué)感官演進(jìn)。AI手語(yǔ)主播作為聽(tīng)障人士的中介，為聽(tīng)障群體和媒體之間提供信息連接。彌補(bǔ)聽(tīng)力缺失帶來(lái)的認(rèn)知不足，而這種由AI建立起的連接將成為彌合聽(tīng)障人士和健全人之間認(rèn)知鴻溝的重要工具。

三、AI的技術(shù)可供性：AI手語(yǔ)直播在聽(tīng)覺(jué)認(rèn)知彌合的未來(lái)發(fā)展中的升級(jí)版圖

施拉姆在其大眾傳播理論中提出，信息是經(jīng)由編碼者、譯碼者和釋碼者自大眾傳媒傳遞給受眾。在AI手語(yǔ)主播中，來(lái)自信源的文本作為信息傳遞的開(kāi)端，聽(tīng)障人士作為信息的受眾，AI在其中將信息進(jìn)行轉(zhuǎn)譯、轉(zhuǎn)化形成手語(yǔ)信息，充當(dāng)了大眾信息傳播途徑中的編碼者、譯碼者;而依托于AI的圖像驅(qū)動(dòng)則成為了該途徑中的釋碼者，AI及依托于AI的多媒體技術(shù)彼此之間形成了良好的依附，共同構(gòu)建起連接信源與聽(tīng)障人士之間的信息橋梁。

另一方面，受眾在接收信息的過(guò)程中所接收的信息并不是單一的一種，而是基于上述多感官認(rèn)知過(guò)程中的多種感知信息。AI在完成構(gòu)建二者信息溝通橋梁的過(guò)程中需要完成對(duì)多感官信息的傳遞，即在AI手語(yǔ)主播中傳遞手語(yǔ)肢體信息的同時(shí)，還要傳遞表情、唇形等信息要素，AI技術(shù)的可供性成為了實(shí)質(zhì)上的連通信息和多感官認(rèn)知的核心——在既有的AI手語(yǔ)主播中，AI就像電腦的主機(jī)一樣掌控了AI手語(yǔ)主播的轉(zhuǎn)譯和轉(zhuǎn)化流程（見(jiàn)圖4），實(shí)現(xiàn)了AI對(duì)信息的翻譯，使AI成為聽(tīng)障人士的信息接收端口?；诖?，我們可以認(rèn)為對(duì)AI信息表達(dá)的拓展即是對(duì)聽(tīng)障人士的認(rèn)知感官的拓寬。因此，若借助AI手語(yǔ)主播為聽(tīng)障人士提供視覺(jué)外的多感官信息拓展，則應(yīng)從AI的角度出發(fā)，以“信息轉(zhuǎn)化模塊”的方式為AI添加“三頭六臂”式的多感知通路。

AI與媒體技術(shù)之間以機(jī)器語(yǔ)言作為二者間的溝通中介，AI對(duì)媒體技術(shù)輸出指令讓媒體完成既定信息的展示。但在其中，“構(gòu)建什么樣的信息模塊”“如何將信息進(jìn)行符號(hào)化再表達(dá)”成為AI拓展“信息轉(zhuǎn)化模塊”的兩大課題。

（一）人的認(rèn)知系統(tǒng)的互補(bǔ)與代償機(jī)制：AI手語(yǔ)主播重構(gòu)聽(tīng)覺(jué)補(bǔ)償機(jī)制的基本參照系

在關(guān)于“構(gòu)建什么樣的信息模塊”中，AI所使用的媒體技術(shù)發(fā)展的基本參照系是聽(tīng)障人士的認(rèn)知系統(tǒng)各個(gè)通路之間的互補(bǔ)與代償機(jī)制。比如，聲音中的節(jié)奏可以通過(guò)觸覺(jué)的節(jié)奏來(lái)傳達(dá);聲音中的情緒與情感可以通過(guò)視覺(jué)中的色彩變幻來(lái)體現(xiàn);甚至旋律與風(fēng)格也可以通過(guò)視覺(jué)與觸覺(jué)的統(tǒng)合來(lái)加以表現(xiàn)。如果我們考慮到未來(lái)技術(shù)可能將味覺(jué)與嗅覺(jué)統(tǒng)合到數(shù)字場(chǎng)景中，聽(tīng)覺(jué)重構(gòu)的手段、路徑和模式勢(shì)必將更加豐富和有效。概言之，AI技術(shù)的可供性為我們依循人的認(rèn)知重構(gòu)的系統(tǒng)框架可以越來(lái)越好地實(shí)現(xiàn)超越聽(tīng)覺(jué)障礙的認(rèn)知模式與傳播機(jī)制。

（二）專(zhuān)用AI感知技術(shù)裝備：聽(tīng)覺(jué)認(rèn)知重構(gòu)的全新“入口”

在關(guān)于“如何將信息進(jìn)行符號(hào)化再表達(dá)”中，AI所轉(zhuǎn)譯形成的機(jī)器語(yǔ)言在經(jīng)過(guò)媒體技術(shù)形成聽(tīng)障人士可以接收的信息過(guò)程，需要對(duì)信息進(jìn)行符號(hào)化再表達(dá)，這些再表達(dá)需要專(zhuān)用的AI感知技術(shù)裝備來(lái)成為聽(tīng)覺(jué)認(rèn)知重構(gòu)的全新“入口”。恰如手語(yǔ)對(duì)文本語(yǔ)言的符號(hào)化再限定，讓聽(tīng)障人士能夠看懂語(yǔ)言文字并能夠?qū)⒃?huà)“說(shuō)”出來(lái)，媒體技術(shù)需要將所要傳達(dá)的信息進(jìn)行符號(hào)化再表達(dá)，以完成AI對(duì)信息的轉(zhuǎn)化，并滿(mǎn)足聽(tīng)障人士的信息接收行為。而這一過(guò)程是媒體技術(shù)對(duì)語(yǔ)言文字的再定義，將人需要理解的語(yǔ)言文字轉(zhuǎn)化為可以直接感觸的知覺(jué)信息（如感受觸覺(jué)與振動(dòng)的“AI觸覺(jué)手套”，再如通過(guò)畫(huà)面和色彩變幻的節(jié)律表達(dá)來(lái)代償情緒感知與調(diào)性的視覺(jué)屏幕或AI眼鏡等）。在當(dāng)下對(duì)于AI手語(yǔ)主播的應(yīng)用過(guò)程當(dāng)中，仍然存在著感知通路單一、信息語(yǔ)料庫(kù)不足等問(wèn)題，因此AI手語(yǔ)主播的媒體技術(shù)要完成對(duì)信息的符號(hào)化再定義，就需要不斷地挖掘人的感知通路，尤其是聽(tīng)障人士的感知通路，并形成專(zhuān)用裝備，通過(guò)對(duì)不同感知通路的發(fā)掘和“落地”，達(dá)到對(duì)聽(tīng)覺(jué)感官通路的系統(tǒng)代償與彌補(bǔ)。

在目前AI手語(yǔ)主播的應(yīng)用上，已經(jīng)可以完成對(duì)手語(yǔ)表達(dá)的同時(shí)提供AI形象的表情、口型實(shí)時(shí)變化，這代表著AI能夠?qū)⒁环N語(yǔ)言文字同時(shí)輸出為多種感官的符號(hào)化再表達(dá)。那么在對(duì)聽(tīng)障人士的信息供給過(guò)程中，這種多感官的符號(hào)化在表達(dá)能力上可以結(jié)合視覺(jué)與觸覺(jué)、視覺(jué)與味覺(jué)、視覺(jué)與嗅覺(jué)等方式將媒體技術(shù)模塊進(jìn)行累加，拓展單一視覺(jué)路徑上的AI手語(yǔ)主播，將視覺(jué)上AI的手語(yǔ)主播作為場(chǎng)景元素中的“景”，利用多感官的方式為聽(tīng)障人士提供可以充分感知語(yǔ)音代償?shù)氖终Z(yǔ)傳播場(chǎng)景。

現(xiàn)有的AI手語(yǔ)主播在傳播途徑上仍然是以單向傳播為主，若要建立完整的認(rèn)知橋梁還需要補(bǔ)足溝通橋梁上最后一個(gè)要素，即人對(duì)AI手語(yǔ)主播的即時(shí)的多通路反饋。眾所周知，人的認(rèn)知過(guò)程是根據(jù)不斷與事物進(jìn)行對(duì)話(huà)而完善的，單次信息傳遞所能提供的信息量以及理解要素是有限的，如果可以將深度學(xué)習(xí)的AI技術(shù)嵌入到聽(tīng)覺(jué)代償機(jī)制的反饋鏈條中，無(wú)疑將極大提升其代償性機(jī)制的契合性，這將造成AI手語(yǔ)主播以自適應(yīng)的方式完成與聽(tīng)障人士之間的對(duì)話(huà)、交互，進(jìn)而提高對(duì)信息理解的系統(tǒng)性表達(dá)的完善。

四、一點(diǎn)延伸的結(jié)論

在上文中，我們以聽(tīng)覺(jué)障礙在AI技術(shù)的框架內(nèi)的解決方案為例，探討了未來(lái)傳媒發(fā)展的“聚合”邏輯。研究表明，未來(lái)媒介會(huì)在既有互聯(lián)網(wǎng)媒介技術(shù)的存量基礎(chǔ)上，全面、整合地拓展人類(lèi)自由度。

首先，未來(lái)媒介已初步具備互聯(lián)網(wǎng)提供的基礎(chǔ)建設(shè)、用戶(hù)生態(tài)、產(chǎn)業(yè)集群等存量條件。Web1.0時(shí)代，互聯(lián)網(wǎng)發(fā)展主要著眼于基礎(chǔ)設(shè)施建設(shè)與軟件服務(wù)完善，集中在產(chǎn)業(yè)端蘊(yùn)蓄;Web2.0是To C的，新技術(shù)在向用戶(hù)端轉(zhuǎn)移和普及的過(guò)程中爆發(fā);Web3.0為包含5G在內(nèi)的新媒介技術(shù)做產(chǎn)業(yè)準(zhǔn)備，初步呈現(xiàn)出全要素聚合的樣態(tài)。一旦Web3.0的產(chǎn)業(yè)準(zhǔn)備搭建完成，Web4.0聚焦無(wú)限渠道、無(wú)時(shí)無(wú)刻、無(wú)限內(nèi)容的互聯(lián)網(wǎng)生態(tài)級(jí)系統(tǒng)也將來(lái)臨，未來(lái)媒介也將實(shí)現(xiàn)落地。

以此為基礎(chǔ)，未來(lái)媒介的著力點(diǎn)在于以更整合、全面的方式拓展人類(lèi)自由度。傳統(tǒng)的、相對(duì)散落的媒介總是通過(guò)對(duì)個(gè)體某一方面的延伸以拓展人類(lèi)活動(dòng)半徑，因而傳統(tǒng)媒介對(duì)個(gè)體的賦權(quán)總是以分割感官為前提的，個(gè)體很難在媒介世界中獲得如同真實(shí)個(gè)體般的全感官體驗(yàn)，無(wú)法實(shí)現(xiàn)人的“感覺(jué)總體”回歸。但是在全要素整合的AI互聯(lián)網(wǎng)系統(tǒng)中，人類(lèi)將在媒介中得到全感官?gòu)?fù)制的體驗(yàn)，感受到“鏡像”般的數(shù)字孿生世界。換言之，未來(lái)媒介致力于讓個(gè)體超越“分割式”的賦權(quán)，得到“感覺(jué)總體”的全部賦權(quán)，在數(shù)字世界中以完全的個(gè)體形態(tài)探索更多的實(shí)踐空間。

注釋?zhuān)?/p>

①〔美〕約翰·杜翰姆·彼得斯：《對(duì)空言說(shuō)：傳播的觀念史》，鄧建國(guó)譯，上海譯文出版社2017年版，第3頁(yè)。

②喻國(guó)明：《互聯(lián)網(wǎng)是一種高維媒介》，《教育傳媒研究》2016年第1期。

③《AI手語(yǔ)主播上崗 助聽(tīng)障人士觀冰雪賽事》，人民網(wǎng)， http：//health.people.com.cn/n1/2022/0208/c14739-32347640.html，2022年2月8日。

④李東曉、熊夢(mèng)琪：《“可及”之后：新媒體的無(wú)障礙傳播研究與反思》，《浙江學(xué)刊》2017年第6期。

⑤程玉潔、周曙、王優(yōu)：《青年人被動(dòng)型和主動(dòng)型聽(tīng)覺(jué)事件相關(guān)電位時(shí)空模式比較》，《中國(guó)心理衛(wèi)生雜志》2014年第7期。

⑥Tamis-LeMonda， Catherine S ， Kuchirko， et al. Why Is Infant Language Learning Facilitated by Parental Responsiveness？[J]. Current Directions in Psychological Science （Sage Publications Inc， 2014）.

⑦滑蓉蓉、劉春艷、邢巖：《聽(tīng)覺(jué)與認(rèn)知研究進(jìn)展》，《中國(guó)神經(jīng)免疫學(xué)和神經(jīng)病學(xué)雜志》2020年第3期。

⑧Maslen， Sarah. Researching the Senses as Knowledge： A Case Study of Learning to Hear Medically[J]. Senses & Society， 2015， 10（1）：52-70（19）.

⑨張瑤、張帆、畢泰勇、邱江：《視覺(jué)和聽(tīng)覺(jué)通道情緒知覺(jué)加工的神經(jīng)機(jī)制及其異同》，《科學(xué)通報(bào)》2019年第7期。

⑩張興利、施建農(nóng)：《聽(tīng)力障礙對(duì)視覺(jué)注意的影響（綜述）》，《中國(guó)心理衛(wèi)生雜志》2006年第8期。

王兆其、楊長(zhǎng)水：《虛擬主持人的設(shè)計(jì)與實(shí)現(xiàn)》，《電視字幕（特技與動(dòng)畫(huà)）》2002年第9期。

《愛(ài)奇藝推出全球首個(gè)AI手語(yǔ)主播，讓聽(tīng)障人士平等享受視頻帶來(lái)的樂(lè)趣》，愛(ài)奇藝，https：//www.iqiyi.com/common/20181203/b47c90918d000779.html，2018年11月28日。

《愛(ài)奇藝再次推AI手語(yǔ)主播，相比上代有表情、可識(shí)別更多詞匯》，AI云資訊， https：//www.icloudnews.net/a/20190519/20114.html，2019年5月19日。

《總臺(tái)首個(gè)AI手語(yǔ)主播亮相 央視新聞聯(lián)合百度智能云打造》，《經(jīng)濟(jì)參考報(bào)》2021年11月24日。

Ahlgren.Sign Languageas the First Language [G]// Inger Ahlgren， Kenneth Hyltenstam. Bilingualismin Deaf Education. Hamburg： Signum， 1994.

〔美〕伯納多·胡伯曼：《萬(wàn)維網(wǎng)的定律：透視網(wǎng)絡(luò)信息生態(tài)中的模式與機(jī)制》，李曉明譯，北京大學(xué)出版社2009年版，第34頁(yè)。

〔美〕約書(shū)亞·梅羅維茨：《消失的地域：電子媒介對(duì)社會(huì)行為的影響》，肖志軍譯，清華大學(xué)出版社2002年版，第154頁(yè)。