多模態(tài)技術(shù)帶來(lái)人工智能“新機(jī)遇”

多模態(tài)人工智能距離進(jìn)入產(chǎn)業(yè)還有幾道彎？

ChatGPT-4的橫空出世，讓人工智能（AI）行業(yè)再一次柳暗花明。

有業(yè)內(nèi)人士如此評(píng)價(jià)GPT-4的進(jìn)步：“GPT-3或3.5像一個(gè)小學(xué)六年級(jí)學(xué)生，而GPT-4像一個(gè)聰明的高中一年級(jí)學(xué)生。”即將畢業(yè)的小學(xué)生與新晉高中生的思維差距，既體現(xiàn)在涉獵知識(shí)的廣度上，也體現(xiàn)在獨(dú)立思考的深度上。

GPT-4為代表的AI智力上的提升，直觀表現(xiàn)為，從實(shí)現(xiàn)單調(diào)的文本交互，轉(zhuǎn)變?yōu)榭梢越邮軋D像、文本作為輸入，并表現(xiàn)出更人性化的交互能力。這種處理多種類(lèi)型信息的能力，被稱(chēng)為“多模態(tài)技術(shù)”。

接下來(lái)，掌握了多模態(tài)AI技術(shù)密鑰的公司，可以進(jìn)一步拓展下游新興領(lǐng)域，改變傳統(tǒng)AI定制化的特點(diǎn)，向通用化方向發(fā)展。整個(gè)產(chǎn)業(yè)也將在更加多樣化的場(chǎng)景應(yīng)用以及產(chǎn)業(yè)鏈的進(jìn)一步集成融合中，迎來(lái)規(guī)?；纳?jí)。

從簡(jiǎn)單的人臉識(shí)別、文字語(yǔ)音識(shí)別，上升到理解人的行為意圖，像人一樣懂得察言觀色，以人類(lèi)復(fù)雜性作為參考的人工智能與人類(lèi)的差距之一，就是多模態(tài)信息的智能化理解。

如果說(shuō)，人工智能的終極目的是讓AI基于對(duì)環(huán)境的感知采取合理行動(dòng)，從而幫助人類(lèi)獲得最大收益，那么，在更多復(fù)雜場(chǎng)景對(duì)AI技術(shù)的應(yīng)用效果提出更高要求的當(dāng)下，多模態(tài)儼然成為AI產(chǎn)業(yè)突圍的重點(diǎn)方向。

AI的未來(lái)范式

多模態(tài)并非新概念，早在2018年，多模態(tài)作為AI未來(lái)的一個(gè)發(fā)展方向，已開(kāi)始成為業(yè)界研究的重點(diǎn)。

“模態(tài)”一詞最早是一個(gè)生物學(xué)概念，以人類(lèi)為例，觸覺(jué)、聽(tīng)覺(jué)、視覺(jué)、嗅覺(jué)、味覺(jué)，都是一種模態(tài)。從人工智能和計(jì)算機(jī)視覺(jué)的角度來(lái)說(shuō)，模態(tài)就是感官數(shù)據(jù)。簡(jiǎn)單理解，多模態(tài)AI相當(dāng)于“多種數(shù)據(jù)類(lèi)型+多種智能處理算法”。

以往單模態(tài)、單任務(wù)的人工智能技術(shù)，局限于AI模型與數(shù)據(jù)之間的交互，通過(guò)讓AI學(xué)習(xí)互聯(lián)網(wǎng)上的海量文本、圖片等不同模態(tài)的數(shù)據(jù)，尋找其內(nèi)在規(guī)律，但在算力、數(shù)據(jù)資源的限制下，僅依賴互聯(lián)網(wǎng)上數(shù)據(jù)學(xué)習(xí)很大可能會(huì)達(dá)到瓶頸。

多模態(tài)AI技術(shù)為AI能力的提升提供了一個(gè)解法，即讓人工智能自主學(xué)習(xí)并不斷迭代新的知識(shí)。之所以能做到這一點(diǎn)，是因?yàn)槎嗄B(tài)AI技術(shù)是一種交互式的AI技術(shù)，突破了以往單一的模型與數(shù)據(jù)的交互，可以實(shí)現(xiàn)模型與模型、模型與人類(lèi)、模型與環(huán)境等多種交互。舉例來(lái)說(shuō)，現(xiàn)在很火的AIGC，可以通過(guò)文本生成圖像甚至視頻，就是多模態(tài)AI的一個(gè)典型應(yīng)用。

但多模態(tài)AI的想象力遠(yuǎn)不止于此。從技術(shù)的創(chuàng)新上來(lái)看，模態(tài)不僅包括最常見(jiàn)的圖像、文本、視頻、音頻數(shù)據(jù)，還包括無(wú)線電信息、光電傳感器、壓觸傳感器等更多可能性。不同模態(tài)都有各自擅長(zhǎng)的事情，這些數(shù)據(jù)之間的有效融合，不僅可以實(shí)現(xiàn)比單個(gè)模態(tài)更好的效果，還可以做到單個(gè)模態(tài)無(wú)法完成的事情。

多模態(tài)AI的設(shè)計(jì)和應(yīng)用體現(xiàn)一個(gè)詞：以人為中心。當(dāng)AI同時(shí)處理多個(gè)模態(tài)的數(shù)據(jù)時(shí)，其感知方式會(huì)更貼近人類(lèi)，從而讓機(jī)器更加全面、準(zhǔn)確地理解人類(lèi)的真實(shí)指令和意圖，比如能夠理解人類(lèi)交流中細(xì)微差別的系統(tǒng)，具有高度關(guān)懷感和真實(shí)感的虛擬助手等，實(shí)現(xiàn)的是一種高度自然的人機(jī)交互和協(xié)同。

雖然AI在多模態(tài)方面取得了突破，但這種技術(shù)及其應(yīng)用還不成熟，由多模態(tài)AI帶來(lái)的產(chǎn)業(yè)規(guī)模升級(jí)，面臨重重阻礙。

多模態(tài)AI的兩大挑戰(zhàn)

多模態(tài)AI探索的是人類(lèi)行動(dòng)和感知背后的關(guān)系，其蘊(yùn)含的想象力與應(yīng)用潛能毋庸置疑。但圍繞搜索和生成兩項(xiàng)基本任務(wù)，多模態(tài)AI的訓(xùn)練還存在諸多難點(diǎn)，如多模態(tài)數(shù)據(jù)的收集、新的模型和架構(gòu)的搭建、高效的數(shù)據(jù)融合等問(wèn)題。

首先，多模態(tài)的數(shù)據(jù)收集、對(duì)齊和標(biāo)注，復(fù)雜且不易完成。一方面，優(yōu)質(zhì)的多模態(tài)數(shù)據(jù)規(guī)模還不夠大；另一方面，在具體的業(yè)務(wù)場(chǎng)景中，很難同時(shí)滿足所有的模態(tài)數(shù)據(jù)的收集。

其次，不同模態(tài)具有不同的數(shù)據(jù)特性，多模態(tài)AI的訓(xùn)練需要根據(jù)不同模態(tài)的特性，開(kāi)發(fā)新的模型和架構(gòu)。構(gòu)建統(tǒng)一、跨場(chǎng)景、多任務(wù)的多模態(tài)基礎(chǔ)預(yù)訓(xùn)練模型包含兩個(gè)問(wèn)題：一是如何在統(tǒng)一的預(yù)訓(xùn)練模型中，處理視覺(jué)（圖片、視頻、3D 圖像）三種模態(tài)的輸入，并將其映射到統(tǒng)一的特征空間的問(wèn)題；二是如何采用統(tǒng)一的模型和訓(xùn)練框架，分別訓(xùn)練文本、圖像、語(yǔ)音的預(yù)訓(xùn)練模型的問(wèn)題。此外，開(kāi)發(fā)能夠大幅降低AI模型訓(xùn)練門(mén)檻，簡(jiǎn)化部署流程，讓不具備AI專(zhuān)業(yè)知識(shí)的人員也能生產(chǎn)算法的平臺(tái)也十分重要。

再者，讓不同模態(tài)的數(shù)據(jù)有效融合以指導(dǎo)決策并非易事。大模型中有非常多隱性的知識(shí)，對(duì)這些知識(shí)的優(yōu)化、迭代是一大挑戰(zhàn)。多模態(tài)AI需要處理的數(shù)據(jù)和參數(shù)十分海量，如何利用并行計(jì)算和分布式計(jì)算等技術(shù)來(lái)提高計(jì)算效率，也是多模態(tài)人工智能技術(shù)需要解決的難點(diǎn)之一。此外，如何在多模態(tài)AI的下游任務(wù)中進(jìn)行自監(jiān)督學(xué)習(xí)也是一大難點(diǎn)。

多模態(tài)AI最終是為了實(shí)現(xiàn)高質(zhì)量的內(nèi)容生成，背后需要參數(shù)規(guī)模巨大的模型以及海量數(shù)據(jù)集作為支撐。AIoT（人工智能物聯(lián)網(wǎng)）場(chǎng)景下，AI應(yīng)用對(duì)于端云互動(dòng)有著更強(qiáng)的需求。

尋找商業(yè)化落腳點(diǎn)

經(jīng)過(guò)模型參數(shù)與數(shù)據(jù)規(guī)模的比拼階段后，搭載在攝像頭、邊緣計(jì)算盒子、機(jī)器人等智能設(shè)備中的多模態(tài)AI正走向場(chǎng)景應(yīng)用。

目前已知的是，多模態(tài)AI首先在計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理等領(lǐng)域獲得驗(yàn)證。OpenAI的DALL-E模型可以從文本描述中生成對(duì)應(yīng)圖像，谷歌的多任務(wù)統(tǒng)一模型MUM可以做到從75種不同語(yǔ)言中挖掘上下文信息來(lái)提高搜索體驗(yàn)，英偉達(dá)的GauGAN2模型可以根據(jù)簡(jiǎn)單的文本輸入生成照片般逼真的圖像。

多模態(tài)大模型時(shí)代，AI應(yīng)用也正走向產(chǎn)業(yè)縱深處。

工業(yè)場(chǎng)景中，運(yùn)用多模態(tài)的智能化管理系統(tǒng)正在走進(jìn)工廠和車(chē)間。以中科搖櫓船的AGV調(diào)度管理系統(tǒng)為例，通過(guò)將雷達(dá)圖像處理、視覺(jué)圖像處理等圖像處理技術(shù)集成在同一產(chǎn)品中，可以輕松完成車(chē)輛、交通、調(diào)度、運(yùn)行、叫料、通信、統(tǒng)計(jì)等管理工作。相比于人力，這種智能化的管理更能滿足當(dāng)下制造業(yè)客戶的柔性定制需求。

在城市治理場(chǎng)景中，多模態(tài)AI技術(shù)可以運(yùn)用在巡檢機(jī)器人上。當(dāng)前的巡檢機(jī)器人可以通過(guò)“眼睛”識(shí)別占道經(jīng)營(yíng)、垃圾桶滿溢等問(wèn)題，并對(duì)相關(guān)情況進(jìn)行提醒，但大多沒(méi)有“耳朵”。

相關(guān)研究表明，人類(lèi)獲取信息中的25%都是通過(guò)聽(tīng)覺(jué)實(shí)現(xiàn)的。對(duì)于巡檢機(jī)器人來(lái)說(shuō)，沒(méi)有“耳朵”，意味著難以監(jiān)測(cè)到環(huán)境中的異常響動(dòng)。

云天勵(lì)飛未來(lái)將研發(fā)下一代高效多模信息感知引擎，在原有的視頻結(jié)構(gòu)化技術(shù)基礎(chǔ)上結(jié)合三維場(chǎng)景信息、音頻信息等其他模態(tài)信息，提升傳感器信息流中語(yǔ)義和非語(yǔ)義信息的結(jié)構(gòu)化密度，從而為相關(guān)產(chǎn)品及服務(wù)在更多應(yīng)用場(chǎng)景的落地提供算法技術(shù)支持。

客觀來(lái)看，在視覺(jué)和聽(tīng)覺(jué)之外，能夠商業(yè)化落地的多模態(tài)技術(shù)還很少，大多處于研究階段。多模態(tài)AI之路不好走，高度智能的人機(jī)交互道阻且長(zhǎng)，主要表現(xiàn)為：

一、AI的理解和執(zhí)行還不夠可控、可信賴、可復(fù)制。比如，多樣化風(fēng)險(xiǎn)和AI偏見(jiàn)風(fēng)險(xiǎn)，當(dāng)數(shù)據(jù)不具有廣泛代表性時(shí)，算法就會(huì)出現(xiàn)偏差。

二、算法開(kāi)發(fā)成本較高，產(chǎn)品不具性價(jià)比，市場(chǎng)和客戶不愿意買(mǎi)單。多模態(tài)AI的應(yīng)用落地需要大量專(zhuān)業(yè)的研究人員，包括算法架構(gòu)師或AI開(kāi)發(fā)者，也包括產(chǎn)業(yè)專(zhuān)家。而這兩類(lèi)專(zhuān)家關(guān)注點(diǎn)的相對(duì)獨(dú)立，又往往進(jìn)一步增加研發(fā)和落地過(guò)程中的成本。此外，多模態(tài)AI的應(yīng)用需要不同類(lèi)型的數(shù)據(jù)、知識(shí)、產(chǎn)品等，其落地需要產(chǎn)業(yè)鏈整體加強(qiáng)協(xié)作和溝通，從核心的AI芯片，到物聯(lián)網(wǎng)硬件，再到軟件算法開(kāi)發(fā)，時(shí)間周期長(zhǎng)，需要協(xié)調(diào)各方利益。

三、業(yè)務(wù)場(chǎng)景較少且業(yè)務(wù)場(chǎng)景的定義還不夠清晰。多模態(tài)AI產(chǎn)品和方案需要根據(jù)實(shí)際需求針對(duì)性開(kāi)發(fā)，什么場(chǎng)景需要使用哪幾個(gè)模態(tài)，從成本和收益上來(lái)看是否有商業(yè)價(jià)值，都需要進(jìn)行前置考慮。AI能力想要進(jìn)入實(shí)體產(chǎn)業(yè)，尤其是工業(yè)屬性相對(duì)較強(qiáng)的產(chǎn)業(yè)，需要從方方面面的復(fù)雜細(xì)節(jié)中進(jìn)入。

多模態(tài)技術(shù)是個(gè)硬骨頭，更加類(lèi)人的智能需要AI公司投入大量的研發(fā)；其背后需要的大模型和海量數(shù)據(jù)，同時(shí)對(duì)產(chǎn)業(yè)鏈上的硬件和芯片廠商提出了更高的要求；業(yè)務(wù)場(chǎng)景的探索尚處迷霧之中；市場(chǎng)的接受度也還不盡如人意。但從好的一面看，無(wú)論是最近大火的AIGC（生成式人工智能），還是在國(guó)內(nèi)默默壯大的多模態(tài)人工智能產(chǎn)業(yè)聯(lián)合體，都說(shuō)明AI將不斷朝著多模態(tài)方向發(fā)展，以更為廣泛的感知能力，進(jìn)一步向產(chǎn)業(yè)落地。

（編輯 宦菁 huanjing0511@sohu.com）