鄭小林：新一代人工智能趨勢(shì)與挑戰(zhàn)

人工智能發(fā)展在未來的發(fā)展過程中，預(yù)計(jì)將算法創(chuàng)新與算力需求逐步均衡，可信數(shù)據(jù)與可信模型相互促進(jìn)，人機(jī)智能協(xié)作深入發(fā)展，融入社會(huì)生活與千行百業(yè)，并邁向高級(jí)人工智能

人工智能發(fā)展現(xiàn)狀

人工智能（AI）的發(fā)展歷程可劃分為三個(gè)主要階段，依次為計(jì)算智能、感知智能和認(rèn)知智能。計(jì)算智能階段主要解決存儲(chǔ)與計(jì)算能力的問題，感知智能階段則致力于提升聽覺與語言表達(dá)能力，而認(rèn)知智能階段則旨在實(shí)現(xiàn)理解與思考的能力。生成式人工智能（GAI）是實(shí)現(xiàn)認(rèn)知智能的重要途徑。

在GAI的初級(jí)階段，以Transformers為代表的深度學(xué)習(xí)框架顯著推動(dòng)了人工智能在理解和處理文本方面的進(jìn)步，例如ChatGPT，DeepSeek-V3。進(jìn)入GAI的第二階段后，以O(shè)penAI-O1、DeepSeek-R1等為代表的大模型將引領(lǐng)人工智能進(jìn)入更為強(qiáng)大的推理能力階段。在此變革過程中，諸如Geoff Hinton、Yann LeCun等深度機(jī)器學(xué)習(xí)領(lǐng)域的科學(xué)家發(fā)揮了極其重要的推動(dòng)作用，于2018年榮獲圖靈獎(jiǎng)；同時(shí)，Anorew Barto與Richard Sutton兩位科學(xué)家因其在強(qiáng)化學(xué)習(xí)領(lǐng)域的杰出貢獻(xiàn)，于2024年榮獲圖靈獎(jiǎng)，顯著提升了人工智能的推理能力。

DeepSeek-R1在今年年初取得了顯著的成就，其在解決復(fù)雜數(shù)學(xué)問題的推理與解答、大規(guī)模多任務(wù)語言理解、軟件工程等方面相較于其他模型展現(xiàn)出了壓倒性的優(yōu)勢(shì)。

人工智能最初旨在使機(jī)器能夠具備與人類相似的認(rèn)知、思考和學(xué)習(xí)能力。依據(jù)哈佛大學(xué)教育研究院教授霍華德·加德納于1983年提出的“多元智能理論”（Theory of Multiple Intelligences，簡(jiǎn)稱MI），人類的智能主要涵蓋空間、音樂、肢體動(dòng)覺、人際關(guān)系、語言、邏輯數(shù)學(xué)、自然觀察以及內(nèi)省等方面。目前，AI已在某些智能領(lǐng)域的多個(gè)方面取得顯著進(jìn)展，但在自我反省和人際交互等方面仍存在不足。盡管如此，AI在模仿人類智能方面已取得重大進(jìn)展，但其發(fā)展?jié)摿σ廊痪薮蟆?/p>

人工智能面臨挑戰(zhàn)

在人工智能的發(fā)展歷程中，眾多技術(shù)路徑各具特色。然而，人工智能在可解釋性、幻覺問題、多模態(tài)交互、價(jià)值一致性、隱私保護(hù)、攻防對(duì)抗以及合規(guī)倫理等方面，依然面臨諸多挑戰(zhàn)，特別是以下三個(gè)挑戰(zhàn)。

挑戰(zhàn)一：創(chuàng)造力與幻覺率是否構(gòu)成悖論？

在最近的DeepSeek R1測(cè)試中，推理能力得到了顯著提升，然而與此同時(shí)，幻覺率亦有所上升。根據(jù)OpenAI之前的觀點(diǎn)，推理能力的增強(qiáng)理應(yīng)導(dǎo)致幻覺率的降低。分析DeepSeek R1幻覺率增高現(xiàn)象，可能的原因有兩個(gè)：其一，為了強(qiáng)化推理機(jī)制，推理過程被過度擴(kuò)展，特別強(qiáng)調(diào)了推理的重要性；其二，選擇過程中的數(shù)據(jù)通過強(qiáng)化學(xué)習(xí)進(jìn)行訓(xùn)練時(shí)，存在獎(jiǎng)勵(lì)偏差的問題。目前，科研界和政府正在推動(dòng)高質(zhì)量數(shù)據(jù)集的建設(shè)，這被視為解決該問題的一個(gè)有效途徑。另外在強(qiáng)化學(xué)習(xí)的框架內(nèi)，如何將幻覺作為反饋重新輸入系統(tǒng)？如何向模型提供更豐富、更準(zhǔn)確的知識(shí)？在提示詞學(xué)習(xí)過程中，如何設(shè)定合理的約束條件？這些都是旨在解決創(chuàng)造力與幻覺率悖論的策略。

挑戰(zhàn)二：大模型安全與隱私保護(hù)。

一是隱私泄露問題。例如，大模型在訓(xùn)練過程中可能泄露隱私信息，且在對(duì)外提供服務(wù)時(shí)也可能導(dǎo)致隱私信息泄露。在此過程中，多個(gè)環(huán)節(jié)均可能引發(fā)安全與隱私方面的風(fēng)險(xiǎn)。二是數(shù)據(jù)投毒問題，即在模型訓(xùn)練階段被投入含有污染的數(shù)據(jù)樣本，導(dǎo)致原始數(shù)據(jù)污染進(jìn)而影響模型的純凈度。不僅限于模型訓(xùn)練的源頭，數(shù)據(jù)投毒還可能發(fā)生在模型交互過程中。三是對(duì)抗攻擊問題，包括在文本輸入階段故意插入特定關(guān)鍵詞以誘導(dǎo)模型產(chǎn)生錯(cuò)誤解讀，還有基于語義的對(duì)抗性攻擊等方法。四是模型竊取問題，即第三方在模型發(fā)布后通過與模型的交互嘗試竊取模型參數(shù)，或?qū)δＰ瓦M(jìn)行篡改。

挑戰(zhàn)三：價(jià)值對(duì)齊問題。

如何確保大型人工智能模型的能力和行為與人類的價(jià)值觀、真實(shí)意圖以及倫理原則保持一致，從而保障人類與人工智能合作過程中的安全性和信任度。這一問題亦被稱為“價(jià)值對(duì)齊”或“人機(jī)對(duì)齊”（Value alignment or AI alignment）。為應(yīng)對(duì)價(jià)值對(duì)齊的挑戰(zhàn)，可采取的措施有：基于人類反饋的強(qiáng)化學(xué)習(xí)（Reinforcement Learning from Human Feedback，RLHF）；可擴(kuò)展監(jiān)督（scalable oversight）（即如何監(jiān)督一個(gè)在特定領(lǐng)域表現(xiàn)超出人類的系統(tǒng)）；第三個(gè)解決思路是增強(qiáng)模型可解釋性，即人類可理解的方式解釋或呈現(xiàn)模型行為的能力，這是保證模型安全的重要途徑之一；最后一個(gè)解決思路是加強(qiáng)政策治理，因?yàn)锳I價(jià)值對(duì)齊問題最終還是關(guān)系于人類社會(huì)，所以需要探討人工智能治理對(duì)社會(huì)產(chǎn)生的影響。

2023年7月，國家互聯(lián)網(wǎng)信息辦公室等七部門聯(lián)合發(fā)布了《生成式人工智能服務(wù)管理暫行辦法》，其中第八條明確要求對(duì)合成數(shù)據(jù)進(jìn)行標(biāo)注，并制定相應(yīng)的標(biāo)注規(guī)則。此外，美國和歐盟也頒布了相關(guān)法案，如2023年10月30日美國白宮發(fā)布的《關(guān)于安全、可靠、可信地開發(fā)和使用人工智能的行政命令》，以及2023年12月9日歐盟委員會(huì)、歐洲議會(huì)和歐盟理事會(huì)就《人工智能法案》達(dá)成的臨時(shí)協(xié)議等。

人工智能發(fā)展趨勢(shì)與展望

趨勢(shì)一：AI算法創(chuàng)新與算力需求逐步均衡

在以DeepSeek為代表的產(chǎn)品下，實(shí)現(xiàn)了算法不會(huì)再去單純追求非常龐大的參數(shù)，在算力需求上也通過算法和工程優(yōu)化實(shí)現(xiàn)了平衡。DeepSeek給予我們非常好的啟示：通過算法創(chuàng)新，比如多專家系統(tǒng)的優(yōu)化以及合理算力布局，可以突破AI“卡脖子”的限制。

趨勢(shì)二：可信數(shù)據(jù)與可信模型相互促進(jìn)

在人工智能領(lǐng)域，安全與隱私問題始終是一個(gè)重大挑戰(zhàn)。因此，構(gòu)建一個(gè)可信的數(shù)據(jù)空間，實(shí)現(xiàn)對(duì)人工智能訓(xùn)練的數(shù)據(jù)可信和訓(xùn)練環(huán)境可信，以及對(duì)AI生成的合成內(nèi)容進(jìn)行可信標(biāo)識(shí)，是可信AI的重要支撐。可信數(shù)據(jù)與可信模型如何相互促進(jìn)，將成為未來發(fā)展的又一關(guān)鍵方向。目前，國家正在推動(dòng)可信數(shù)據(jù)空間的建設(shè)，以實(shí)現(xiàn)數(shù)據(jù)的合規(guī)與可信流動(dòng)，并進(jìn)一步發(fā)展用于訓(xùn)練隱私保護(hù)、公平性、可解釋性、魯棒性以及抗攻擊的人工智能模型。

趨勢(shì)三：人機(jī)智能協(xié)作的深入發(fā)展

人機(jī)協(xié)同的智能，即人機(jī)智能協(xié)作正逐步深化。從Embedding模式開始，最初人工智能僅作為輔助工具，扮演小助理角色，隨后發(fā)展至副駕駛模式，其功能日益增多。隨著AI推理能力增強(qiáng)，接下來將進(jìn)入Agent模式。在此模式下，人工智能將承擔(dān)人類大部分工作，人類僅需設(shè)定目標(biāo)、提供必要資源，并最終對(duì)結(jié)果進(jìn)行監(jiān)督。這也是近期Agent模式日益受到關(guān)注的原因。

趨勢(shì)四：人工智能融入社會(huì)生活與千行百業(yè)

人工智能正逐漸融入我們的社會(huì)生活和各行各業(yè)。全球范圍內(nèi)，個(gè)人計(jì)算機(jī)、手機(jī)、物聯(lián)網(wǎng)設(shè)備以及中央處理器的數(shù)量龐大。目前，DeepSeek所引領(lǐng)的技術(shù)趨勢(shì)使得許多大型模型無需依賴圖形處理單元（GPU），甚至中央處理器（CPU）也能運(yùn)行較小的模型。未來，智能設(shè)備將成為承載大型或小型模型的載體。這些模型將深入各行各業(yè)，無論是在第一、第二還是第三產(chǎn)業(yè)，都將擁有廣泛的應(yīng)用前景。

趨勢(shì)五：邁向高級(jí)人工智能

在OpenAI開發(fā)者日上，Altoman所提出的“邁向高級(jí)人工智能”觀點(diǎn)得到了全球范圍的廣泛認(rèn)同。邁向高級(jí)人工智能，意味著從智能語言對(duì)話到邏輯推理，再到當(dāng)前備受關(guān)注的Agent技術(shù)，將能夠進(jìn)入一個(gè)新階段，在這一階段中，人工智能將扮演創(chuàng)新者的角色，甚至成為社會(huì)工作的組織者。

（本文根據(jù)浙江大學(xué)人工智能研究所副所長(zhǎng)、杭州金智塔首席科學(xué)家鄭小林在“AI進(jìn)化論——如何推動(dòng)DeepSeek賦能千行百業(yè)”圓桌會(huì)上現(xiàn)場(chǎng)發(fā)言整理摘編。）