讓具身智能走出神話

張正友，堪稱世界級科學家。無論是世界上第一個用立體視覺做導航的機器人，還是世界上第一個基于神經(jīng)網(wǎng)絡的人臉表情識別系統(tǒng)，或被國際上認為是一個革命性發(fā)明——在全球范圍采用的“張氏標定法”，作為全球著名的計算機視覺、多媒體和機器人技術專家，張正友在立體視覺、三維重建、運動分析、圖像配準、攝像機自標定、人臉表情識別、機器人導航等方面都有開創(chuàng)性的貢獻，在無止境的科學前沿尋求突破是他始終的追求。

如何科學看待具身智能？語言大模型的優(yōu)勢和弱勢是什么？人形機器人是具身智能發(fā)展的方向嗎？具身智能面臨怎樣的挑戰(zhàn)？如何構建具身智能的基礎設施和更優(yōu)生態(tài)？帶著諸多問題，《財經(jīng)智庫》走訪了騰訊首席科學家張正友。

張正友認為，具身智能與人形機器人不是同一概念，中國的具身智能生態(tài)還處于初級階段；而立足場景驅動科技進步并影響社會、解決其現(xiàn)實問題才是有效路徑；促進“身”“智”在動態(tài)的環(huán)境中協(xié)同進化、落地，創(chuàng)造人機互動的更優(yōu)形態(tài)是目標。

多模態(tài)知識結構的積累

《財經(jīng)智庫》：1985年你浙大畢業(yè)后去法國留學，于1990年獲計算機科學博士學位，后又分別在法國國家信息與自動化研究所（INRIA）和日本先進通信研究院（ATR）工作，1998年起任職于微軟研究院20年，2018年回國任騰訊首席科學家。33年的海外經(jīng)歷，哪些關節(jié)點對你較為重要？

張正友：我的人生軌跡很簡單。本科在浙大，第一次接觸計算機，那時用的還是穿孔卡機與計算機交互，計算資源缺乏，PDP-10、PDP-11都從國外進口，一臺計算機很大，占房間的大部分空間。今天已從大型計算機到PC普及，到互聯(lián)網(wǎng)興起和智能手機時代，再到現(xiàn)在穿戴式或陪伴設備的涌現(xiàn)，都說明計算能力從最初固定的時間、程序和地點慢慢變得移動化，隨時隨地都能獲取想要的信息。

我一開始學的就是人工智能，早期機器人跟AI是同一領域，機器人、計算機視覺以及語音識別不區(qū)分。那時大家覺得AI可以很快實現(xiàn)，但隨著時間的推移發(fā)現(xiàn)太難了，就把機器人、計算機視覺、語音識別和自然語言處理從人工智能里獨立出來，而人工智能則聚焦于規(guī)則或案例的推理和決策，希望各個擊破。分久必合，經(jīng)過40多年，各個領域都有巨大進展，人工智能和機器人開始融合了。我讀碩士時做語音識別，先將語音信號轉換成頻譜圖，搞清每個音素在頻譜里的特征及變化，然后用基于規(guī)則的人工智能系統(tǒng)來識別音素，形成單詞句子。語音太簡單了，是一維信號，加上頻譜以后變成二維，我便開始做三維計算機視覺，直接用于機器人。

《財經(jīng)智庫》：那時就為機器人導航？

張正友：對。那時的機器人是輪式的，上面裝三個攝像頭，是世界上第一個用立體視覺做導航的機器人。我參與了歐洲共同體項目以及火星機器人的研發(fā)，發(fā)明了ICP算法（迭代最近點算法，一種點云或曲面對準方法）。這是一種基礎算法，以3D建模為火星機器人做導航，這套算法至今還在自動駕駛和場景重建等領域使用。

后來我轉向純粹的3D視覺、攝像機標定研究。當時利用學術休假去日本，研發(fā)了世界上第一個基于神經(jīng)網(wǎng)絡的人臉表情識別系統(tǒng)。1998年到微軟研究院，繼續(xù)做人臉表情識別，用了更多數(shù)據(jù)和深度神經(jīng)網(wǎng)絡，做成云服務。在微軟，研發(fā)了很多東西，包括現(xiàn)在全世界都在使用的“張氏標定法”，這是計算機3D視覺領域中一種經(jīng)典相機標定方法。

嘗試新方法成為我持續(xù)的動力。在法國做攝像機標定的方法比較復雜，到了微軟后我就想開啟3D視覺新研究，“張氏標定法”便出現(xiàn)了，其好處在于簡易，只要打印一個2D棋盤格就能得到攝像機參數(shù)。這在國際上被認為是一個革命性的發(fā)明，很快在全球范圍采用。

《財經(jīng)智庫》：這種方法好像也廣泛應用于機器人視覺、三維重建、SLAM等領域，將三維視覺與人臉建模和數(shù)字人結合？

張正友：確實，數(shù)字人研究起始于微軟。那時電腦還沒有攝像頭，USB攝像頭剛出來，分辨率很低，花了幾年時間研發(fā)，將數(shù)字人技術用于微軟的Xbox。發(fā)布時，比爾·蓋茨用我的小樣做了演講，宣布微軟進入Xbox時代。

《財經(jīng)智庫》：這些技術在學科上如何劃分？

張正友：介于視覺和圖形學。我們在世界上最權威的刊物和會議上發(fā)表文章，例如CVPR（計算機視覺、模式識別領域規(guī)模最大、投稿量最多的頂級會議之一）、ICCV（視覺領域的旗艦會議，側重基礎理論與跨學科應用）、SIGGRAPH（計算機圖形與交互技術領域的頂會）。我是一個不滿足現(xiàn)狀的人，先做計算機視覺，后做神經(jīng)網(wǎng)絡，然后到美國從計算機視覺轉到語音識別再到多模態(tài)技術等。在語言識別領域還發(fā)明了“骨導麥克風”，即通過骨傳導麥克風，即使在很嘈雜的地方也可以將自己講話的聲音準確識別出來。

《財經(jīng)智庫》：你認為僅了解計算機視覺還不夠？

張正友：對我來講，最終目標是人和機器人的交互，視覺只是一個模態(tài)，顯然是不夠的，那就必須拓展自己，所以轉向語音識別。但一般人不會從一個領域突然消失，脫離多年積累進入新領域，或者說，丟下已經(jīng)功成名就的領域，開始一個陌生領域的開拓。好在微軟研究院氛圍寬松，領導支持我轉型。我花了七年時間做語音處理和語音識別。

從計算機視覺，到語音處理和語音識別，再結合所有，就是現(xiàn)在多模態(tài)的意思，其中一個應用就是視頻會議。

《財經(jīng)智庫》：視頻會議最早從微軟出來？

張正友：視頻會議微軟做得很早。像Skype，以前叫Office Communicator，現(xiàn)在叫Teams。我做的視頻會議設備叫Roundtable，360度視頻加麥克風陣列。一個會議室只有語音不行，因為不知誰在講話；結合Roundtable設備后，就可看到講話人以及清晰的語音。語音和視頻結合是多模態(tài)的起始，很重要，后來成為了產(chǎn)品。在微軟，我基本每年向蓋茨匯報兩至三次，記得最后一次向蓋茨匯報時，他跳起來說，“這就是我想要的東西。”

《財經(jīng)智庫》：剛才你提到微軟也重視“Paper”？

張正友：蓋茨是少有的真正具有胸懷的人。微軟研究院成立于1991年，那時人工智能雖有概念，但并未發(fā)展和應用，研究院關注的就是人工智能系統(tǒng)研究，從某種程度上說，蓋茨預見到了計算的未來，他強調(diào)研究技術，讓計算機能看、能說、能聽、能思考。

微軟研究院不以商業(yè)為目的，旨在提升整個社會人工智能的能力，并推進技術的進步。但研發(fā)做得如何，需要權威同行認可，否則得不到驗證和衡量。這是微軟鼓勵發(fā)表文章的原因。我加入微軟時，計算機視覺并未在微軟的產(chǎn)品里運用，后來才出現(xiàn)了產(chǎn)品化的視頻會議和Xbox。

《財經(jīng)智庫》：也就是說，盡管沒有盈利和產(chǎn)品要求，但隨著研發(fā)的深入，自然而然出現(xiàn)了產(chǎn)品。

張正友：對。從商業(yè)角度，養(yǎng)一批研發(fā)人員，不一定馬上有結果，離產(chǎn)品很遠；直接購買外面的技術成本可能更低。兩種路線由首席執(zhí)行官或創(chuàng)始人定奪，而對蓋茨來說，雖然從商業(yè)角度不值得，但推動整個社會的發(fā)展同樣重要。

從一個領域跨入另一領域，雖屬同一AI大領域，但里面細分領域很多，需要不同領域的知識。之所以能夠跨界，是因為微軟研究院寬松的環(huán)境和充足的經(jīng)費。只要你有激情，就讓你嘗試。這是微軟鼓勵創(chuàng)新的優(yōu)勢。

《財經(jīng)智庫》：在AI領域，視覺和語音結合，處于大領域的什么位置？

張正友：現(xiàn)在的大模型，已從語言模型到多模態(tài)了，即把語音、視覺、文本結合。人機交互本質(zhì)上就是多模態(tài)。前面說過，最初機器人和視覺、語音在人工智能領域合為一體，即語言、眼睛、耳朵、聲音、動作為一體；后來發(fā)現(xiàn)每個細分領域都很復雜，漸漸地計算機視覺、語音、自然語言處理等都成為獨立的研究領域?，F(xiàn)在各領域開始融合，像NeurIPS（一個跨學科的神經(jīng)信息處理系統(tǒng)會議）包括視覺、語音、文本，機器人也慢慢進入了。本質(zhì)還是多模態(tài)情境。

《財經(jīng)智庫》：你如何評估自己國外30多年，在技術、學術上所奠定的基礎，以及一些認知方法論？

張正友：我對人機交互始終有興趣，很早就開始關注了。從計算機視覺到人臉識別、語音，再到視覺和語音融合，再到機器人，有些研究屬認知科學和神經(jīng)科學。在此過程中不斷開拓，而AI機器人是我一以貫之的傾注，其本質(zhì)是交叉科學，如計算機視覺已與許多領域產(chǎn)生交叉，為理解圖像需要結合語言進行處理；深度學習也不僅是大數(shù)據(jù)游戲，而是如何將其與幾何概念和物理信息結合。未來，各學科會以更加多樣化的形式融合。

《財經(jīng)智庫》：能否這樣理解，你作為全球著名的計算機視覺、多模態(tài)和機器人技術專家，在AI方面，尤其在立體視覺、三維重建、運動分析、圖像配套、攝像機自標定、人臉識別、語音處理和機器人導航等方面都有開創(chuàng)性的貢獻。你曾經(jīng)提出過一個“釘子理論”，在如今邊界模糊的創(chuàng)新過程中，如何更好理解該理論？

張正友：融合就更需要“釘子理論”，即便你的思考再宏大，也必須在某個領域鉆研下去，然后再融合。橫表示知識的寬度，豎是技術的深度。假如只有寬度，只知皮毛，那么這顆釘子打在墻上很容易就會被拔下或替代。以我個人的經(jīng)歷，要成為一顆扎得牢的“釘子”，先要往深里鉆，到一定程度再擴展自己的“廣度”。如果對某個領域理解不夠深，很難找到與另一個領域的結合點。

《財經(jīng)智庫》：在系統(tǒng)性思維的框架下理解“釘子理論”，專注“點”，但不失于“系統(tǒng)”，也就是中國哲學中的Paradox。

張正友：點面之間的關系至關重要，我會考慮如何將系統(tǒng)性思維與場景驅動相結合，即在某一場景下去思考哪些問題需要解決，關鍵技術究竟是什么，如何突破？如此可以帶動一批應用，像“張氏標定法”和火星機器人定位技術等，都是在如此思維中產(chǎn)生的。但之后又需要用抽象的思維描述技術，在場景中概括出理論，并使之適用于其他領域。在場景中找技術突破口非常重要，這也是我現(xiàn)在用“養(yǎng)老”場景去牽引機器人發(fā)展的思路。

語言大模型的優(yōu)勢與弱勢

《財經(jīng)智庫》：你想用場景驅動技術并推動社會變化，里面蘊含著對科學和技術的認知與追求，以及長期在國外形成的思維方式和方法論。33年時間可謂長矣！回國后，無論是你提出的虛實集成世界，還是ABCDEFG，包括層次化的控制研發(fā)智能機器人，或SLAP范式……其邏輯關聯(lián)是什么？

張正友：于我而言，技術是第一位的。我要全身心投入做基礎研究，研判技術發(fā)展方向，做出突破性技術，持續(xù)保持在世界前沿。國內(nèi)也講重視基礎研究，但往往更多是應用基礎研究，有太強的目的導向。現(xiàn)在講“卡脖子”，其實“卡脖子”技術不是基礎研究。

《財經(jīng)智庫》：“卡脖子”不屬于基礎研究范疇，是產(chǎn)品。

張正友：即使這個“卡脖子”解了，新的“卡脖子”又來了，因為沒有從源頭去思考如何解決這些問題。中國改革開放40多年發(fā)展很快，追趕也快，有很多創(chuàng)新技術，但不少原創(chuàng)性核心技術還是被國外掌握。

為什么選擇了騰訊？馬化騰2017年決定要做機器人實驗室，我2018年3月回來。馬化騰有預見，覺得機器人是一個發(fā)展方向。從技術領域來講，我覺得自己很合適，我對機器人情有獨鐘，正好是個機會；同時，騰訊企業(yè)文化跟我個人做事風格比較匹配。更為重要的是，中國社會老齡化問題嚴重，而機器人最有可能突破的場景就是養(yǎng)老領域。

《財經(jīng)智庫》：在真實世界里，很難看到一個真正意義上的人機交互的機器人，大語言模型的爆發(fā)能讓人類所期待的機器人很快成為現(xiàn)實？

張正友：機器人從自動化進階到智能化，需要實現(xiàn)反應式自主和有意識自主去應對變化的環(huán)境，需要一種新的控制范式，類似于人類的認知模式。人的思考可分為兩個系統(tǒng)，一是自動的、快速的、直覺的系統(tǒng)；二是需要推理、復雜計算等費腦力的系統(tǒng)。完善的機器人系統(tǒng)也需要不同層級來處理不同級別的決策，或理解不同層級的感知信息。我相信，AI和人的未來將會是多模態(tài)的交互方式，而且AI要能主動地感知周圍的環(huán)境。目前大模型還不能稱之為完整的世界模型，多模態(tài)大模型肯定是通往AGI的必經(jīng)之路，但還有很多工作要做，而且很可能不是現(xiàn)在的多模態(tài)大模型這樣的架構。

《財經(jīng)智庫》：你剛才闡述的兩種系統(tǒng)思維，是基于諾獎得主Daniel Kahneman的一本書《Thinking， Fast and Slow》？

張正友：是的，事實上，人腦有95%的時間都在系統(tǒng)1，只有很少和復雜的任務時才需要調(diào)度系統(tǒng)2，這是人腦能夠如此高效解決問題的原因，連一個GPU消耗的能量都不需要。

《財經(jīng)智庫》：基于此，你提出了ABCDEFG的目標方向？

張正友：智能機器人的ABCDEFG分別對應的是，A是AI，機器人必須能看、能說、能聽、能思考；B是機器人本體，要探索怎樣的本體最適合人的環(huán)境，最簡單的想法就是人形機器人，但我認為還可能有更好的形態(tài)；C是精準控制；D是發(fā)育學習，因為機器人要在跟人和環(huán)境的交互中不斷演進，要在失敗中學習提升自己的能力，就像一個小孩的發(fā)育成長；E就是EQ，機器人在交互中必須要理解人的情感，同時要把自己理解的東西呈現(xiàn)給人，這是雙向情感理解，擬人化；F是靈巧操控，要掌握包括使用工具，替人類完成物理任務，否則機器人只是聊天工具；G是守護天使，機器人不僅僅是單獨的本體，還需要和部署在環(huán)境里的智能傳感器和其他機器人合作，通過云跟世界互聯(lián)，使得機器人成為人類的保護天使。

《財經(jīng)智庫》：這個目標與方向是否太理想化？使機器人像人，能最終落地嗎？

張正友：完善的機器人系統(tǒng)需要借鑒人類的思維方式。講到自主，有兩類：一是反應式自主，比如走路時絆了一跤，可以很快恢復平衡，或是抓的杯子打滑了要捏緊一點；二是有自主意識，例如規(guī)劃如何開門或下樓。為實現(xiàn)這個自主，傳統(tǒng)方式通過感知，感知環(huán)境后做一個規(guī)劃，規(guī)劃后再行動，行動后再感知，其致命問題就是它不可能解決反應式自主，因為不可能那么快，所以我提出了一個“SLAP”范式。

S是感知，L是學習，A是行動，P是計劃。其中，學習很重要，學習可以滲透到感知、行動和計劃；還有就是感知和行動要緊密連接。只有這樣，才能感知到突發(fā)事件，如摔一跤可馬上恢復平衡，同時對常規(guī)行動不需要進入上一層計劃。與人的認知相比較，就是剛才所說的系統(tǒng)1和系統(tǒng)2，反應式自主對應了系統(tǒng)1；而計劃邏輯思維，也就是有意識的自主就對應了系統(tǒng)2。

《財經(jīng)智庫》：明白了，你是希望通過機器的訓練和交互，將較慢的思維，即需要花費精力的系統(tǒng)2也像靈活、快捷的系統(tǒng)1一樣，做出快速反應。

張正友：目前還很難做到。雖然還沒有一個明確的研究路徑，但大家都投入到大語言模型，因為這條路看起來走得通，而且有效果，把所有人類的數(shù)據(jù)整合到一個大模型里，能夠產(chǎn)生出一定的“智能”。兩年前我說大語言模型還不夠，只是系統(tǒng)1，需要考慮更上一層的系統(tǒng)2。那時，無論是ChatGPT或其他大語言模型，只要給它一堆數(shù)據(jù)，馬上可以預測，不論問題難易幾乎需要同樣的時間回答，但實際問題的解決不是這樣的。容易的很快可解決，復雜問題則要上升到一定高度，大家都在思考采用何種新的研究方式。

《財經(jīng)智庫》：OpenAI大模型ChatGPT-o1出來之后，是否有希望走通這條路？

張正友：OpenAI在2024年9月推出ChatGPT-o1，有推理了，但它未公布具體怎么做。梁文鋒的DeepSeek今年1月也做出來了，可以看出大家開始往系統(tǒng)2發(fā)力了。

這是革命性的變化，能理解人類了，這是我對DeepSeek的看法。盡管OpenAI先起步，但DeepSeek把深度思考復制出來了，并且開源，同時計算成本大大降低，讓一般人用得起，這是非常重要的創(chuàng)新。美國也開始講，OpenAI需要開源一些東西，最近也有一些開源模型推出。

開源和閉源是共生的，就像智能手機，既有安卓也有蘋果；大語言模型閉源開源都存在，閉源可能做的更極致一點，也可以借鑒一些開源的東西；而開源讓對技術有追求的人不斷創(chuàng)新，成本低，迭代更快。

到了這個層次就需要看一些認知科學的內(nèi)容。例如一個需要思考多次才能產(chǎn)生的結果，思考多了就可視為直覺，相當于從系統(tǒng)2變成系統(tǒng)1了。這就像人類的跳水，最初需要去思考去鍛煉，將水花壓小，是系統(tǒng)2，前面跳幾次效果不佳，慢慢越來越好，成為肌肉記憶，邏輯思維變成直覺，就變成系統(tǒng)1。機器人也應該如此。

具身智能一定是人形嗎？

《財經(jīng)智庫》：具身智能越來越成為人們的關注。我們?nèi)ミ^杭州的宇樹科技、云深處等企業(yè)，這次《財經(jīng)智庫》深圳調(diào)研又去了優(yōu)必選、眾擎、越疆等。具身智能一定要人形嗎？

張正友：具身智能與人形機器人是兩個不同的概念。機器人Robot，其含義是一個強制的勞動力，即苦力。IEEE定義Robot就是能感知的自主機器，從來沒說過要像人形，人形在英語里叫Humanoid。但當中文把Robot翻譯成“機器人”后，馬上就帶著一層含義了，如果翻譯成自主機器就不會如此。但這一翻譯已經(jīng)注入了人們對機器人的情感，好像機器人不像人就不是機器人。

《財經(jīng)智庫》：1950年，圖靈在《計算機器與智能》中提出“機器能否思考”的哲學命題，預示了智能體通過物理交互實現(xiàn)認知的可能性，但受限于當時的技術，未能取得突破；后來布魯克斯提出“包容式架構”，主張智能應由身體與環(huán)境的實時交互自然涌現(xiàn)，成為具身智能的奠基性理念。

張正友：具身智能相對非具身而言，像ChatGPT是沒有身體的智能。于我而言，具身智能體就是一個智能的機器人，或者一個智能的數(shù)字人。但智能是否需要具身是有爭議的，這個爭議主要圍繞認知科學展開。一部分人認為許多認知特性是需要生物體的整體特性來塑造生物體的智能；也有一部分人認為智能不需要身體，因為主要面臨的是信息處理、問題解決和決策治理等任務，這些都可以通過軟件和算法實現(xiàn)。具身智能認為“身”和“智”要圓融統(tǒng)一，與環(huán)境的交互中涌現(xiàn)出智能。

剛才提到圖靈1950年的文章，即探索如何實現(xiàn)機器智能，可以看到，有一部分人認為可以用一些非常抽象的行為，比如說下棋來實現(xiàn)智能；還有一部分人認為，機器最好要有一些器官，比如麥克風和話筒來幫助我們更好地實現(xiàn)機器智能。但圖靈自己也說不清楚哪一類更好。OpenAI最早也是買了上百臺機械臂，希望直接用機器人來實現(xiàn)AGI，經(jīng)過一年多的努力發(fā)現(xiàn)這條路走不通，主要是機器人操作的數(shù)據(jù)不夠多，所以放棄了，把精力集中在基于文本的大模型，最后成功開發(fā)了ChatGPT。

《財經(jīng)智庫》：近幾年我們調(diào)研了一些機器人企業(yè)，像物流行業(yè)，自動化就行，卻偏偏用人形機器人，其實，機械臂的功能足矣，沒必要像人吧？

張正友：我平時很少講這一觀點。人形不是最終目標。從某種角度講，人形是以人作為參考，相對容易。但如何控制如此復雜的系統(tǒng)，才是難點。從技術的發(fā)展來講，人形不一定是最佳的。以汽車為例，交通工具的進化如果僅從仿生角度來做，仿生出一個馬車來，效率遠遠比不上一輛汽車。同樣，從現(xiàn)在角度看，人形機器人對整個社會的發(fā)展不一定是最佳形式，因為現(xiàn)在人居環(huán)境大部分是平地，足式在復雜地面比較有用。我們實驗室設計的“Max狗”和“小五”，都是復合的，在高低不平的路面上可以用足式，比如上樓梯，但到平地后切換成輪式的。這只是一個例子，也是我們?yōu)槭裁床蛔鋈诵螜C器人的一些原因。

《財經(jīng)智庫》：宇樹的人形機器人表現(xiàn)力強，優(yōu)必選也是這樣，但它真要像人一樣感知，或許還有很長的路要走。你理想的機器人是什么樣的？

張正友：理想狀態(tài)的AI機器人，還沒想好，正在探索。比如輪足，是要根據(jù)不同的場景需求而設定的。從技術發(fā)展曲線來看，相對人類的進化速度，技術是呈指數(shù)級上升的。人類的雙足是在幾百萬年間讓人類能夠在復雜環(huán)境中生存下來而進化形成的形態(tài)，但今天的人居環(huán)境基本都是平地，沒有必要使用操作效率低下的雙足。為什么我們實驗室去做Max？這個機器狗是既有輪子又有腿，不是為仿生，而是去探索有沒有更好的形態(tài)能夠高效地在人居環(huán)境中行動，更好地為人類服務。

再例如，人類是不可能進化出屏幕的，但機器人配備了屏幕，就可以讓其與人的交互效率提升3倍。為什么不把現(xiàn)在的技術用到機器人上面？過早將終極形態(tài)鎖定在“人形”上，可能會限制行業(yè)的想象力。

《財經(jīng)智庫》：在國內(nèi)，人們總把具身智能與人形機器人等同起來。近幾年，國際上如特斯拉發(fā)布擎天柱，機器人的發(fā)展轉向人形機器人與通用機器人；2023年谷歌發(fā)布RT-1，具身智能浪潮撲來；再加上年初杭州“六小龍”出現(xiàn)，人形機器人堪似方向。

張正友：中國為什么這么多人做人形機器人，都是被馬斯克誤導了。馬斯克確實要做人形機器人，大家跟隨他，卻沒有認真思考人形機器人用來做什么？我的猜測，馬斯克做人形機器人的目的不是為了地球，而是為了他的火星計劃，人形機器人更適合火星復雜的地面情況。就如其火箭計劃，短期內(nèi)難以直接去火星，那么就先通過一些發(fā)射衛(wèi)星產(chǎn)生經(jīng)濟價值，在此過程中不斷提升火箭技術。馬斯克的人形機器人亦如此，通過車間作業(yè)不斷提升人形機器人的能力。如果僅僅為了工廠所用，就不需要做人形。

而我們要從本質(zhì)上去思考，到底機器人在人居環(huán)境里是什么樣子。

《財經(jīng)智庫》：七年來你們一直在對機器人的前沿進行探索。從2018年平衡自行車的動態(tài)控制，到2021年Max實現(xiàn)腿輪一體化的四足機器狗，以及2023年靈巧手操作和栩栩如生的運動步態(tài)，再到去年下半年的養(yǎng)老機器人原型“小五”……從未提過以商業(yè)化為目的。

張正友：“小五”機器人是騰訊實驗室第五代完全自研的機器人，這也是其名字由來。這個機器人前面安裝腳掌，走樓梯時變成足式，到平地時切換成輪子。這樣設計的考慮是為了穩(wěn)定，這是在養(yǎng)老環(huán)境里的關鍵。

我們曾經(jīng)考慮過輪椅跟機器人結合，可以變形能折疊，或者智能輪椅加上一些感知，可自動避障和行走，但輪椅的功能非常專業(yè)且屬醫(yī)療器械，需要批準。因此我們還是希望做通用的智能機器人完成多樣任務，機器人可抱老人，推老人到某些地方；可以送藥、按摩、對話；假如能力強，還可以幫人打針等。當然，我們實驗室的戰(zhàn)略方向始終是具身智能機器人前沿技術探索，盡可能做到實用，并讓技術快速迭代，商業(yè)化需要不同的技能。

具身智能面臨的挑戰(zhàn)

《財經(jīng)智庫》：鑒于人形機器人的表演，在老百姓眼里，似乎人形機器人很快就會進入家庭，替代人了。

張正友：有人認為，大模型已經(jīng)出現(xiàn)了突破，放到機器人上馬上就能夠實現(xiàn)自主，實際上不那么簡單。打個比喻，相當于20歲大腦放在3歲孩子身上，機器人雖然擁有一定的行動或移動能力，但操作能力較弱，感知也難以進化。真正的具身智能要能自主學習和處理問題，對環(huán)境變化和不確定性能夠自動調(diào)整和規(guī)劃，這是我們認為具身智能能夠通往AGI或者打造通用智能機器人非常重要的環(huán)節(jié)。

只有將具身智能講清楚，才能搞清楚我們處于怎樣的階段，面臨怎樣的挑戰(zhàn)。具體來說，具身智能是由物理載體的智能體（智能機器人）在一系列交互中，通過感知、控制和自主學習來積累知識和技能，形成智能體影響物理世界的能力。這和ChatGPT不同，具身智能通過類人的感知方式（視覺、聽覺、語言、觸覺）來獲取知識，并抽象成為一種表達語義來理解世界并做出行動，與外界交互。這里涉及到多個學科的融合，包括機械工程自動化、系統(tǒng)控制優(yōu)化、認知科學、神經(jīng)科學之類的，它是所有領域發(fā)展到一定程度后能夠涌現(xiàn)出來的一種能力。

《財經(jīng)智庫》：這也是人機互動的核心吧。我曾經(jīng)請教過“云深處”創(chuàng)始人、浙大教授朱秋國如何看待波士頓動力。他說，波士頓動力的優(yōu)勢還在于Action，而不是感知。

張正友：是的，具身智能面臨諸多挑戰(zhàn)。首先，復雜的感知能力，包括視覺、聽覺與觸覺，現(xiàn)在大模型里只包括了視覺、聽覺，還沒有觸覺。觸覺非常重要，是機器人復雜感知能力的一部分，具備觸覺才能感知和理解周圍不可預測的非結構化的環(huán)境和物體；其次，強大的執(zhí)行能力，包括移動、抓取、操作，以便能夠與環(huán)境和物體進行交互；其三，學習能力，能夠從經(jīng)驗和數(shù)據(jù)中學習與適應，以更好地理解和應對環(huán)境的變化；其四，自適應能力，能自主調(diào)整自己的行動和策略，以便應對不同的環(huán)境和任務。當然，并不是說這些能力疊加起來就能達到具身智能，這些能力還需要有機、高效地協(xié)作融合，才能真正達到人類所希望的具身智能。還有，具身智能所需要的數(shù)據(jù)非常稀缺，OpenAI直接通過機器人達到AGI的想法就是因為數(shù)據(jù)缺乏而折戟，數(shù)據(jù)的稀缺性仍是很大挑戰(zhàn)，在實際場景中收集數(shù)據(jù)還需要保護用戶的隱私安全。

《財經(jīng)智庫》：你說過大語言模型，把世界上所有不同文化的人類文明全部放在了一起，涉及很多能力，但機器人數(shù)據(jù)很少，人們不可能像大語言模型一樣有這么多數(shù)據(jù)驅動機器人。是否機器人要通過跟環(huán)境交互來演化？

張正友：這種演化，如前所述SLAP，我們將此分為四部分，先是行動包括運動能力和操作能力；然后是感知，感知和行動連在一起，為系統(tǒng)1。規(guī)劃是系統(tǒng)2。學習較為特殊，它貫穿每個模塊，即通過跟環(huán)境交互不斷地提升其能力，機器人也如此。

另外，看一下人和人溝通的場景，溝通模型是加州大學心理學教授Mehrabian在1971年寫的一本書《Silent Message》里提出來的，任何人之間的交互，靠文字或文本傳遞信息只占7%，其他部分，聲音占38%，人的肢體語言、表情、視線占55%，所以完全靠文本，想要實現(xiàn)AGI根本不夠。所以我還是認定原生的多模態(tài)大模型是通往AGI的必經(jīng)之路，現(xiàn)在人們將其他模態(tài)和文本模型對齊，肯定會丟失信息。

《財經(jīng)智庫》：從技術層面，就拿你們實驗室的研發(fā)來說，缺乏的是什么？面臨的問題是什么？

張正友：從實踐角度，是觸覺和靈巧手。剛才講到多模態(tài)大語言模型，文本是標準的，攝像頭和麥克風經(jīng)過40年發(fā)展，也是標準的，但迄今還沒有一個標準的觸覺傳感器。觸覺跟手結合很關鍵，如果沒有觸覺，不可能安全攙扶老人。只有機械臂和機械手上都有觸覺傳感器，才能知道合適的力度。

靈巧手是否也要像五指手呢？不一定要仿人，但到底怎樣優(yōu)化機械手，也是很復雜很關鍵的。相信鑒于多模態(tài)大模型的基礎，加上攝像頭、麥克風、有觸覺的靈巧手，慢慢就可以跟環(huán)境交互。機器人跟智能結合就可以產(chǎn)生更多東西。

《財經(jīng)智庫》：能否這么理解，ChatGPT，把人類的知識強迫放進去了，但還沒有能力隨著環(huán)境交互而不斷演化，但機器人肯定是要演化的，社會上“機器人馬上就要代替人”是一種誤解。

張正友：代替人什么？這是一個基本問題。早期我們覺得機器人很快會代替人的體力勞動，但后來發(fā)現(xiàn)很難，還需時日。從資本角度來講，更多的應用場景是工業(yè)，工業(yè)場景明顯是可以較快完成對人的替代，但工廠里80%-90%工作自動化了，人怎么辦？剩下的是柔性操作和質(zhì)量檢測，用現(xiàn)在的智能機器人代替或許可以。機器人的定位應該是做一些人做不了的事情，比如在養(yǎng)老領域的護工短缺嚴重問題，當人們不愿意做這類工作，機器人能否替代人。

《財經(jīng)智庫》：機器人不是去替代人，而是去做人不愿做或不能做的事情。

張正友：有些人是希望替代人，但我希望機器人去做人不能做或不愿意做的事，或者能力不夠的地方。智力部分確實能夠被AI替代掉，但在意識及情感方面，機器人或AI能夠模仿部分，細微之處仍然難以企及，它畢竟不像人那樣會產(chǎn)生共情，機器從外面加裝一些知識，不是自然發(fā)育而來，如人類那樣進化的過程。所以人和人之間的情感與理解部分，不會被機器人所替代。

構建具身智能基礎設施

《財經(jīng)智庫》：近日，你在世界人工智能大會上發(fā)布了三個具身模型：多模態(tài)感知模型、規(guī)劃模型和感知行動聯(lián)合大模型，以及一個囊括這三個具身模型和云計算能力的Tairos開放平臺，該平臺可否稱之為“具身智能”的基礎設施？

張正友：這是騰訊首次基于機器人實驗室七年以來的探索和認知向社會和企業(yè)開放。從2018年起，騰訊機器人實驗室的研發(fā)已涵蓋了操作、運動、感知、智能、硬件設計等機器人核心技術棧，通過這一系列探索，已成為國內(nèi)少有的具備全棧式機器人技術能力的團隊。我們深刻理解機器人硬件與具身智能的共生關系，軟硬件不是簡單拼裝，而是從傳感器到大小腦再到執(zhí)行器的系統(tǒng)性融合創(chuàng)新。

如前所述，機器人時代需要具身智能的基礎設施和構建其生態(tài)體系，騰訊想扮演這樣的角色。就目前階段而言，無論機器人的具身模型還是硬件形態(tài)，都還處于探索階段。

手機系統(tǒng)主要有安卓和IOS，IOS是蘋果的封閉系統(tǒng)，安卓則是開放系統(tǒng)，上面有一批應用開發(fā)者，各種各樣的APP在安卓和IOS上開發(fā)。目前智能機器人生態(tài)構建還有很多不確定性，但我認為會朝著類似于智能手機的生態(tài)發(fā)展，有一兩家閉源平臺系統(tǒng)，特斯拉走的路類似于iPhone，本體、智能、開發(fā)應用都是自己完成；騰訊則希望是開放平臺一部分。

現(xiàn)如今機器人生態(tài)屬于起步階段，機器人的硬件廠家、平臺廠家，以及應用的開發(fā)商還沒有形成明顯的分工層次。無論是優(yōu)必選、宇樹科技、云深處，基本上都要自己去開發(fā)上面的應用，因為不開發(fā)應用就沒有價值，換言之，只有找到應用場景，與其結合，才能創(chuàng)造價值。企業(yè)要活下來，仍需很多科研機構，或者專業(yè)性平臺繼續(xù)做具身智能研究。

《財經(jīng)智庫》：“具身智能”這個概念早已有之，但被大眾熟悉還是近兩三年的事，國內(nèi)很多創(chuàng)業(yè)公司涌現(xiàn)出來了，也挖了你們很多人，你們是否認為目前構建生態(tài)的條件已經(jīng)具備？

張正友：我們實驗室有一些人，想去創(chuàng)業(yè)，或者被人挖走，很難避免。他們即使出去也是推動行業(yè)的發(fā)展，會成為機器人生態(tài)的一部分。當然還有更多同學認可研發(fā)具身智能開放平臺的戰(zhàn)略，選擇留下來和實驗室一起共同成長。實驗室從零開始，我們不斷補充新鮮血液，沉淀并積累技術，無論是硬件還是軟件，開放性平臺的條件已經(jīng)具備，同時具身智能的整個生態(tài)發(fā)展也需要這樣的平臺。

《財經(jīng)智庫》：這個平臺是基于你前面強調(diào)的SLAP體系，將其模塊化？

張正友：確實，這個開放平臺里有感知模塊、規(guī)劃模塊、感知行動模塊，沉淀下來就提供給外部企業(yè)。有些企業(yè)可能缺乏感知，可以采用我們感知模塊；有些企業(yè)可能感知做得不錯，但行動部分不行，可以用我們感知行動模塊，如眾擎，行動不錯，但規(guī)劃部分還缺乏，那就用我們的規(guī)劃模塊。將其模塊化，互相之間有聯(lián)系，大家都可以用；同時跟我們合作的企業(yè)，一起打磨模塊，構建健康的具身智能生態(tài)環(huán)境。

目前已經(jīng)進化形成了一個更為完整、強大的核心技術體系。首先是規(guī)劃大模型，相當于人的左腦。讓機器能理解復雜目標是什么，然后拆成一個個可執(zhí)行的策略步驟，比如陪行動不便的老人散步，需要先去拿輪椅，把老人抱到輪椅上，然后推輪椅。其次是感知的模型，相當于人的右腦，其作用是讓機器人真正了解自己所處的環(huán)境，如輪椅在什么地方等。其三是感知行動聯(lián)合大模型，相當于人的小腦。這個模型打通了從“看見”到“做到”過程的關鍵環(huán)節(jié)，比如在一個狹窄的過道里，推輪椅要安全避開其他行人和障礙物。

《財經(jīng)智庫》：平臺這種層次化與模塊化的架構，同時還可以聯(lián)合優(yōu)化，期待看到你們的平臺不同功能的大模型能夠相對獨立地發(fā)展和更新，做到高效協(xié)同。目前國際上，你覺得具身智能的發(fā)展趨勢怎樣？

張正友：這是逐步將具身智能推向現(xiàn)實世界通用應用的關鍵路徑——因為真正的智能機器人，不僅要理解人類的世界，還要在這個世界里安全、穩(wěn)定且高效地完成任務。

談到國際，現(xiàn)在已有很多變化，比如波士頓動力，主要關注運動能力，但它的方法比較傳統(tǒng)，處于轉型期?，F(xiàn)在有一家創(chuàng)業(yè)公司，叫Physical Intelligence，希望做一個類似于機器人的小腦，即感知行動部分，偏軟件，自己采數(shù)據(jù)，也從不同廠家采購一些數(shù)據(jù)。還有一家Figure，幾乎都是圍繞著感知行動，閉源的。Physical Intelligence模型是開源的，已經(jīng)發(fā)布了π0，公布了π0.5，目前還沒有開源。

《財經(jīng)智庫》：阿里走出很多創(chuàng)業(yè)公司，對杭州生態(tài)發(fā)展產(chǎn)生了很大影響。期待你們能夠超越“人形熱”，構建人機共生的更優(yōu)形態(tài)。

張正友：現(xiàn)在有些機器人公司宣稱有全棧式服務能力，我認為是不太可能的，因為這需要大量的資金、人才和技術。在整個生態(tài)還沒建起來的環(huán)境下，創(chuàng)業(yè)公司又不可能像特斯拉這樣有雄厚的實力形成一個閉源系統(tǒng)，非常困難。如同眾多大模型創(chuàng)業(yè)公司，機器人企業(yè)也會經(jīng)歷Gartner曲線過程，一開始覺得有希望，到后面會冷卻下來，經(jīng)過低谷后，才能穩(wěn)定發(fā)展。

我認為還是應該靠場景驅動科技發(fā)展和社會進步。中國養(yǎng)老場景足夠大，一片藍海，具身智能在養(yǎng)老環(huán)境里可能會最早突破。養(yǎng)老場景，不是說直接進入家庭，有可能先在養(yǎng)老院里實現(xiàn)，環(huán)境比較可控。我還是希望機器人生態(tài)能夠起來，去解決真正對社會有影響的問題，養(yǎng)老問題是中國社會最為嚴峻的問題之一。

《財經(jīng)智庫》：你抓住了本質(zhì)和內(nèi)涵。

張正友：有點理想主義。我們的目標就是人和機器人共生、共存、共贏，具身智能絕不意味著替代人類，而是為人類服務。機器人到最后就像一個新物種，像我們的寵物，跟人和平共處，為人服務。

《財經(jīng)智庫》：發(fā)現(xiàn)你經(jīng)常看一些神經(jīng)學、人類學、心理學的書，自己還翻譯《道德經(jīng)》，這也是更多了解人類發(fā)展，包括人的心理和感知的重要部分吧。智能機器人再往下發(fā)展，就要更多吸取人的感知和反應，才能完成人機交互的過程？

張正友：對人的了解是基礎。在數(shù)據(jù)感知下，找到突破口和新范式。新范式應該優(yōu)于大語言模型，大語言模型是直接注入數(shù)據(jù)，但人跟機器的交互，像情感的理解、意識之類的，不應該依靠文本表達，而是在人和機器人交互過程中不斷提升能力。如犯個錯誤，它能夠從思辨中學習，所以ABCDEFG里，其中D就是借鑒人的認知科學，人是從嬰兒一步一步發(fā)育起來的，機器人要提升其操作能力、體力和智力，提升其交互能力，也需要不斷發(fā)育，當然目前還沒找到好方法，這是一個長期的過程。

從另一角度看，還是有希望的。人的認知和知識無法通過代際直接復制，只能從頭發(fā)育，但機器人所學的東西可通過數(shù)字形式直接復制到另一個機器人上，機器人之間通過信號傳遞和交互，共同發(fā)育就會非?？臁?/p>

人類再過幾百年、幾千年，變化不應太大，壽命可能會越來越長。而機器人要在人類需要的時候，為人類服務。在我的有生之年，絕對有信心，年輕人更應有信心。