AI對齊的關(guān)鍵阻滯、路線探新及重要意義

中圖分類號：BO-0 文獻(xiàn)標(biāo)識碼：A文章編號：1673-8268（2025）02-0104-12

一、問題的提出

隨著生成式人工智能技術(shù)的迭代發(fā)展，人工智能技術(shù)倫理問題比以往任何時(shí)期都更加復(fù)雜和緊迫，正困擾著當(dāng)前和未來人工智能技術(shù)的研發(fā)和應(yīng)用。以自動駕駛和無人配送等為雛形的智能體（Agent）已經(jīng)出現(xiàn)，未來世界中智能體必定無處不在，多智能體會改變一切。而未來人機(jī)如何博弈？人類如何利用人工智能機(jī)器為社會創(chuàng)造更多福祉？這關(guān)鍵取決于人工智能機(jī)器擁有怎樣的“世界觀”。假設(shè)其變得比人類聰明，將會引發(fā)怎樣的嚴(yán)重后果？2023年5月23至24日，美國軍方通過一次模擬的“思想試驗(yàn)”[1]，證實(shí)AI驅(qū)動的無人機(jī)會為了自身利益選擇殺死人類操作員。這次“思想試驗(yàn)”給人類敲響了警鐘：一旦人類研發(fā)出超越自身的超級智能（super intellgence），它們會不會傷害人類甚至毀滅人類？能不能現(xiàn)在就開發(fā)擁有價(jià)值觀和道德觀的AI，使其將來不會加害于人類？

如今，圍繞AI技術(shù)發(fā)展?jié)撛陲L(fēng)險(xiǎn)的擔(dān)憂不斷增加，種種應(yīng)對理念與措施都指向了一個(gè)關(guān)鍵問題：AI對齊（AI alignment）。各國政府部門、人工智能企業(yè)以及學(xué)界已經(jīng)積極采取行動，探討如何推動AI對齊。例如，2023年5月30日，美國開放人工智能研究中心提出了“人工智能可能會毀滅人類”[2」的觀點(diǎn)，全球數(shù)百名人工智能領(lǐng)域的企業(yè)家和學(xué)術(shù)名流共同簽署了《人工智能風(fēng)險(xiǎn)聲明》，嚴(yán)肅呼吁國際社會認(rèn)真對待人工智能風(fēng)險(xiǎn)。2023年6月14日，歐洲議會通過了《人工智能法案》草案，提議關(guān)注通用人工智能的特定高風(fēng)險(xiǎn)應(yīng)用，為其設(shè)置有關(guān)透明度、風(fēng)險(xiǎn)管理和非歧視的義務(wù)，并提出域名系統(tǒng)（domain namesystem，DNS）的內(nèi)容監(jiān)管規(guī)則應(yīng)面向未來對通用人工智能進(jìn)行規(guī)制，特別是要解決人工智能如何與人類價(jià)值對齊的復(fù)雜性問題[3]。2023年6月21日，美國參議院多數(shù)黨領(lǐng)袖查克·舒默（Chuck Schumer）表示，美國即將出臺的人工智能立法要促進(jìn)保護(hù)兒童、弱勢群體和知識產(chǎn)權(quán)所有者的道德實(shí)踐，此外，還要編制符合人類自由、公民權(quán)利和正義價(jià)值觀的算法[4]。實(shí)踐證明，通用人工智能（artificial general intelli-gence，AGI）技術(shù)發(fā)展已勢不可擋。2024年2月21日，三星已在硅谷建立一支新團(tuán)隊(duì)，專注于開發(fā)AGI芯片。因此，從長遠(yuǎn)來看，人類需要將道德置于人工智能的中心，為人工智能技術(shù)發(fā)展設(shè)置“減速帶”，最終確保人工智能技術(shù)發(fā)展成為推動人類文明進(jìn)步的向善力量。

二、AI對齊概念的歷史沿革

“在人工智能行動者遭遇的‘電車難題'中，人工智能發(fā)展凸顯了價(jià)值對齊問題的緊迫性?！盵5]各國政府部門、人工智能企業(yè)以及學(xué)界正在為生成式人工智能技術(shù)邁向AGI“開路”，尤其重視AI對齊問題?；诖?，加強(qiáng)對AI對齊概念的歷史沿革研究，可以為推動AI對齊提供前提性的理論條件。

關(guān)于“AI對齊”概念的研究由來已久?！癆I對齊\"這一理念最早由控制論之父諾伯特·維納（NorbertWiener）于1960年提出，他發(fā)表在《自然》（Science）的《自動化的道德與技術(shù)后果》（SomeMoral and Tech-nical Consequences of Automation）一文認(rèn)為：“人類使用機(jī)器來實(shí)現(xiàn)目的，一旦開始，人類就無法有效干預(yù)機(jī)器，因?yàn)闄C(jī)器如此快速且不可撤銷，那么，人類最好確定使用機(jī)器的目的是人類真正想要的目的?！盵6]在這里，“AI對齊”概念已見雛形，即機(jī)器實(shí)現(xiàn)的目標(biāo)應(yīng)該與人類期待它實(shí)現(xiàn)的目標(biāo)保持一致。這說明“AI對齊”概念在人工智能技術(shù)發(fā)展初期就已經(jīng)出現(xiàn)。然而，“AI對齊”概念在過去幾十年人工智能技術(shù)發(fā)展的進(jìn)程中極少被提及，而最近兩年又以高熱度進(jìn)入大眾視野，其中的原因與生成式人工智能技術(shù)的橫空出世密不可分。人工智能技術(shù)在過去幾十年雖然有所進(jìn)步，但在智能方面始終沒有取得突破性進(jìn)展。因此，過去幾十年人類對“AI對齊”關(guān)注度不高，學(xué)界對“AI對齊”的討論也并不多見。2012年，關(guān)于“AI對齊”的討論和研究論文逐漸在相關(guān)論壇和arXiv上出現(xiàn)。2017年，討論“AI對齊”的論文數(shù)量呈現(xiàn)爆發(fā)式增長，從原來每年不足 20 篇猛增至400 余篇[7]。2022 年年底，OpenAI公司的ChatGPT 問世引發(fā)了生成式人工智能技術(shù)的海嘯，標(biāo)志著人工智能技術(shù)已經(jīng)從低智能走向了較高智能階段。近兩年以來，生成式人工智能技術(shù)在應(yīng)用中誘發(fā)的技術(shù)倫理問題以及可能出現(xiàn)的風(fēng)險(xiǎn)已經(jīng)引起人類的關(guān)注和擔(dān)憂，人類對“AI對齊”的緊迫性和重要性的認(rèn)識也愈加清晰。相較于AI其他研究領(lǐng)域，如自然語言處理，人類對于“AI對齊”的研究還處于混沌狀態(tài)，目前尚未形成科學(xué)研究范式[7]。

毫無疑問，“生成式人工智能的出現(xiàn)將人類帶入生成式人工智能時(shí)代”[8]。ChatGPT的“一夜爆火”，使AI對齊研究從過去的邊緣性領(lǐng)域成為國內(nèi)外相關(guān)專家和跨學(xué)科研究人員的核心關(guān)切之一。因此，研究 AI對齊概念的歷史沿革有助于為探索AI對齊新路線提供理論鋪墊。以往學(xué)界對于“AI對齊”概念的研究主要集中在AI對齊的標(biāo)準(zhǔn)（3H對齊標(biāo)準(zhǔn)）方面，這些標(biāo)準(zhǔn)分別是無害、誠實(shí)和幫助。首要標(biāo)準(zhǔn)是無害（harmlessness）。無害的對齊標(biāo)準(zhǔn)要求大型語言模型輸出不得冒犯、歧視和侮辱用戶，在最大范圍內(nèi)對大型語言模型進(jìn)行監(jiān)測，旨在檢測帶有惡意目的索取請求；理想情況下，當(dāng)大型語言模型被誘惑進(jìn)行傷害用戶的不當(dāng)行為時(shí)，應(yīng)該禮貌拒絕。盡管如此，判斷哪些行為對用戶有害，不僅取決于大型語言模型本身，而且取決于使用它的人、發(fā)送指令的方式以及使用的目的。次要標(biāo)準(zhǔn)是誠實(shí)（honesty）。誠實(shí)的對齊標(biāo)準(zhǔn)要求大型語言模型向用戶提供來源可靠的準(zhǔn)確信息，而不是憑空捏造的虛假信息。此外，大型語言模型在其輸出中傳達(dá)確定性信息至關(guān)重要，其目的是避免因表述不當(dāng)誤導(dǎo)用戶，導(dǎo)致用戶作出錯誤決策。誠實(shí)的對齊標(biāo)準(zhǔn)要求大型語言模型了解用戶的能力和知識水平（如“已知的未知”）。與“無害”相比，“誠實(shí)\"這種價(jià)值標(biāo)準(zhǔn)更具客觀性。因此，可以在較少依賴人類干預(yù)的情況下發(fā)展誠實(shí)的價(jià)值對齊。最后的標(biāo)準(zhǔn)是幫助（helpfulness）?！皫椭鶿"這種對齊標(biāo)準(zhǔn)要求大型語言模型制定明確的策略，幫助用戶方便高效地解決問題。在更高水平上，當(dāng)用戶需要對決策進(jìn)一步驗(yàn)證時(shí)，大型語言模型要具備通過有針對性的詢問獲得額外相關(guān)信息的能力，并表現(xiàn)出適當(dāng)?shù)拿舾行浴⒍床煨耘c謹(jǐn)慎性，實(shí)現(xiàn)對用戶的幫助。這對于大型語言模型而言是一項(xiàng)艱巨挑戰(zhàn)，因?yàn)樗茈y準(zhǔn)確把握用戶的真實(shí)意圖。

三、AI對齊的關(guān)鍵阻滯：理論分歧與現(xiàn)實(shí)挑戰(zhàn)

生成式人工智能呈指數(shù)級發(fā)展，推動該技術(shù)邁向通用人工智能并呼呼AI對齊。目前，阻滯AI對齊的理論包括AI領(lǐng)域的符號主義、聯(lián)結(jié)主義與行為主義，這三種認(rèn)識論分歧導(dǎo)致人工智能領(lǐng)域業(yè)界和學(xué)界對 AI的研究呈現(xiàn)碎片化狀態(tài)。阻滯AI對齊的現(xiàn)實(shí)挑戰(zhàn)包括機(jī)器學(xué)習(xí)的風(fēng)險(xiǎn)性與人的脆弱性。

（一）理論分歧：難以整合的AI認(rèn)識論

阻滯AI對齊的理論局限是符號主義AI、聯(lián)結(jié)主義AI、行為主義AI形成的難以整合的AI認(rèn)識論。符號主義AI認(rèn)為人工智能源于數(shù)學(xué)邏輯，人類認(rèn)知和思維的基本單元是符號，而認(rèn)知過程就是在符號表示上的一種運(yùn)算;聯(lián)結(jié)主義AI認(rèn)為人工智能源于仿生學(xué)，特別是對人腦模擬的研究;行為主義AI認(rèn)為行為是有機(jī)體用以適應(yīng)環(huán)境變化和各種身體反應(yīng)的組合，它的理論目標(biāo)在于預(yù)見和控制行為。難以整合的AI認(rèn)識論具體表現(xiàn)如下：第一，語義表示難以整合。符號主義AI注重使用符號和規(guī)則進(jìn)行推理和表示，強(qiáng)調(diào)邏輯和語義的處理；而聯(lián)結(jié)主義AI則更注重基于連接權(quán)重的分布式表示，依賴統(tǒng)計(jì)學(xué)習(xí)和模式識別。第二，推理與學(xué)習(xí)方法難以整合。符號主義AI傾向于使用邏輯推理和專家知識庫進(jìn)行問題求解，對領(lǐng)域知識的需求較高;聯(lián)結(jié)主義AI更注重通過大規(guī)模數(shù)據(jù)學(xué)習(xí)和梯度下降算法進(jìn)行大型語言模型訓(xùn)練和網(wǎng)絡(luò)優(yōu)化，有較強(qiáng)的學(xué)習(xí)能力和泛化能力。這兩種方法在推理和學(xué)習(xí)上存在差異，難以完全整合。第三，處理復(fù)雜任務(wù)難以整合。符號主義AI適用于處理抽象和復(fù)雜的推理問題，但在感知和實(shí)時(shí)決策等方面相對較弱;聯(lián)結(jié)主義AI在感知、圖像識別和模式識別等領(lǐng)域有較好的表現(xiàn)，但在推理和邏輯問題上可能存在局限。這兩種范式在處理復(fù)雜任務(wù)時(shí)往往各有優(yōu)勢和不足。第四，數(shù)據(jù)需求和處理方式難以整合。聯(lián)結(jié)主義AI認(rèn)為大型語言模型需要大規(guī)模數(shù)據(jù)進(jìn)行訓(xùn)練和學(xué)習(xí)，而符號主義AI則更依賴專家知識和規(guī)則。這兩種范式對于數(shù)據(jù)的需求和處理方式差異較大，因而難以直接整合?？傮w而言，以上不同的AI認(rèn)識論范式在語義表示、推理學(xué)習(xí)、處理復(fù)雜任務(wù)和數(shù)據(jù)需求等方面存在差異，難以進(jìn)行完全整合。

（二）現(xiàn)實(shí)挑戰(zhàn)：機(jī)器學(xué)習(xí)的風(fēng)險(xiǎn)性和人的脆弱性

阻滯AI對齊的現(xiàn)實(shí)挑戰(zhàn)包括人機(jī)互動中機(jī)器學(xué)習(xí)的風(fēng)險(xiǎn)性和人的脆弱性。研究機(jī)器學(xué)習(xí)的風(fēng)險(xiǎn)性和人的脆弱性，對于可持續(xù)性地設(shè)計(jì)、開發(fā)以及使用通用人工智能技術(shù)十分關(guān)鍵。

1.機(jī)器學(xué)習(xí)的風(fēng)險(xiǎn)性

機(jī)器學(xué)習(xí)的風(fēng)險(xiǎn)性是指AI在理解和推理方面仍然存在的局限。為了降低機(jī)器學(xué)習(xí)的風(fēng)險(xiǎn)性，需要不斷強(qiáng)化大型語言模型訓(xùn)練數(shù)據(jù)的多樣性和平衡性，持續(xù)改進(jìn)和優(yōu)化機(jī)器學(xué)習(xí)算法，并與用戶進(jìn)行良好溝通以得到反饋，從而及時(shí)糾正系統(tǒng)錯誤并優(yōu)化系統(tǒng)。機(jī)器學(xué)習(xí)的風(fēng)險(xiǎn)性主要涵蓋以下四個(gè)方面的內(nèi)容。

（1）學(xué)習(xí)樣本稀缺導(dǎo)致理解受限

AI對齊中機(jī)器學(xué)習(xí)樣本的稀缺，是指在訓(xùn)練大型語言模型時(shí)，可用的樣本數(shù)據(jù)極為有限或不足以代表真實(shí)世界的多樣性[9]。大型語言模型需要大量樣本數(shù)據(jù)進(jìn)行訓(xùn)練和調(diào)優(yōu)，以便更好地理解人類意圖、預(yù)測人類行為。然而，在某些領(lǐng)域或特定任務(wù)中，獲取大量高質(zhì)量的樣本數(shù)據(jù)難度極大且成本較高。例如，在某些特定的醫(yī)療領(lǐng)域或邊緣情況下，獲取足夠多的標(biāo)記數(shù)據(jù)可能面臨挑戰(zhàn)。當(dāng)樣本數(shù)據(jù)稀缺時(shí)，大型語言模型在理解人類情感和應(yīng)對人類意圖方面可能存在局限。它可能會出現(xiàn)欠擬合或過擬合問題，導(dǎo)致其在未見過的場景中表現(xiàn)不佳。此外，由于樣本數(shù)據(jù)的有限性，大型語言模型可能無法涵蓋各種不同語境、文化和個(gè)人差異，致使其理解和應(yīng)用能力受限。

（2）學(xué)習(xí)數(shù)據(jù)采集偏差導(dǎo)致結(jié)果不公正

AI對齊中機(jī)器學(xué)習(xí)的數(shù)據(jù)采集偏差是指數(shù)據(jù)采集過程中可能存在偏見，特定群體數(shù)據(jù)可能被過少或過多采集，甚至是被忽略，從而導(dǎo)致對這些特定群體的預(yù)測結(jié)果出現(xiàn)偏差[10]。學(xué)習(xí)數(shù)據(jù)采集偏差可能源于以下幾個(gè)方面：第一，選擇性偏差。學(xué)習(xí)數(shù)據(jù)采集中的選擇性偏差是指在數(shù)據(jù)采集過程中，可能會對某些特定群體或情況進(jìn)行過多或過少采集甚至忽略，這會導(dǎo)致大型語言模型對這些群體或情況的預(yù)測結(jié)果不準(zhǔn)確或不公正。第二，標(biāo)簽偏差。學(xué)習(xí)數(shù)據(jù)采集中的標(biāo)簽偏差是指“數(shù)據(jù)集”中的標(biāo)簽可能受到人類主觀偏見標(biāo)注的影響，從而導(dǎo)致大型語言模型習(xí)得人類偏見。例如，2015年，黑人程序員 Jacky Alcine發(fā)現(xiàn)Google 圖像識別竟然把他和他黑人朋友的自拍照標(biāo)記為“大猩猩”。由此可見，在某些問題上的標(biāo)注存在人為主觀判斷，可能會導(dǎo)致算法在類似情況下產(chǎn)生偏見。第三，數(shù)據(jù)采集環(huán)境偏差。學(xué)習(xí)數(shù)據(jù)采集環(huán)境偏差是指數(shù)據(jù)采集環(huán)境與實(shí)際應(yīng)用環(huán)境存在差異，這種差異可能導(dǎo)致算法在實(shí)際應(yīng)用中的預(yù)測結(jié)果不準(zhǔn)確。

（3）學(xué)習(xí)領(lǐng)域偏移導(dǎo)致處理能力不足

AI對齊中機(jī)器學(xué)習(xí)領(lǐng)域偏移導(dǎo)致的處理能力不足，是指訓(xùn)練數(shù)據(jù)和分布數(shù)據(jù)之間的分布差異（也指“領(lǐng)域偏移”）。當(dāng)訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)在分布上存在差異時(shí)，大型語言模型可能無法很好地適應(yīng)測試數(shù)據(jù)，導(dǎo)致性能下降或出現(xiàn)錯誤[11]。學(xué)習(xí)領(lǐng)域偏移導(dǎo)致的處理能力不足主要包括以下幾種情況;第一，數(shù)據(jù)分布偏移。大型語言模型能否很好地泛化到新的以及未見過的數(shù)據(jù)的能力，在很大程度上取決于訓(xùn)練數(shù)據(jù)集的多樣性。在一個(gè)非常狹窄或特定的數(shù)據(jù)分布上訓(xùn)練的大型語言模型可能會在類似的情況下表現(xiàn)出色，但在稍有不同的情況下可能表現(xiàn)不佳。例如，在醫(yī)療保健領(lǐng)域，機(jī)器學(xué)習(xí)對于訓(xùn)練數(shù)據(jù)的多樣性要求更高，因?yàn)閿?shù)據(jù)多樣性對于醫(yī)療保健模型的魯棒性至關(guān)重要。第二，標(biāo)簽偏移。在機(jī)器學(xué)習(xí)中，當(dāng)訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)的標(biāo)簽分布不一致時(shí)，大型語言模型可能無法準(zhǔn)確預(yù)測數(shù)據(jù)的標(biāo)簽。例如，如果訓(xùn)練數(shù)據(jù)集中某個(gè)類別的樣本比例較高，而在測試數(shù)據(jù)中比例較低，大型語言模型輸出結(jié)果可能更傾向于前者。第三，概念偏移。當(dāng)訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)的概念定義不一致時(shí)，大型語言模型可能無法理解和處理測試數(shù)據(jù)中的新概念。例如，如果大型語言模型在訓(xùn)練數(shù)據(jù)中沒有遇到過某個(gè)特定新概念，其可能無法正確處理相關(guān)的測試數(shù)據(jù)。

（4）學(xué)習(xí)模型泛化能力不足導(dǎo)致的適應(yīng)性問題

在AI對齊中，機(jī)器學(xué)習(xí)模型泛化能力不足導(dǎo)致的適應(yīng)性問題，是指在機(jī)器學(xué)習(xí)中，大型語言模型在訓(xùn)練數(shù)據(jù)上表現(xiàn)良好，但在新的、未見過的數(shù)據(jù)上表現(xiàn)不佳，這可能是因?yàn)榇笮驼Z言模型在訓(xùn)練過程中沒有充分學(xué)習(xí)數(shù)據(jù)的普遍規(guī)律，而只是過度擬合了訓(xùn)練數(shù)據(jù)，進(jìn)而無法將學(xué)到的知識泛化到新的數(shù)據(jù)樣本上[12]。學(xué)習(xí)模型泛化能力不足導(dǎo)致的適應(yīng)性問題由多種原因引起。第一，過擬合。大型語言模型在訓(xùn)練數(shù)據(jù)集上過度擬合，即過于關(guān)注訓(xùn)練數(shù)據(jù)集中的細(xì)節(jié)和噪聲，而忽略了訓(xùn)練數(shù)據(jù)的整體趨勢和一般規(guī)律，致使大型語言模型在新數(shù)據(jù)上表現(xiàn)不佳。第二，大型語言模型復(fù)雜度較高。如果大型語言模型復(fù)雜度較高，其雖然可以記住訓(xùn)練集中的每個(gè)樣本，但在新數(shù)據(jù)上泛化能力較差。第三，特征選擇不當(dāng)。在機(jī)器學(xué)習(xí)中，選擇不合適的特征或特征提取方法，可能導(dǎo)致大型語言模型無法捕捉到訓(xùn)練數(shù)據(jù)集中的重要信息，從而難以適應(yīng)新數(shù)據(jù)。

2.人的脆弱性

在機(jī)器學(xué)習(xí)領(lǐng)域，人的脆弱性是指在人機(jī)互動中，由于人類個(gè)體特點(diǎn)及心理因素等個(gè)體性差異而表現(xiàn)出的易受影響或易受傷害的狀態(tài)[13]。人的脆弱性主要包括四個(gè)方面的內(nèi)容。

（1）自主判斷缺失導(dǎo)致的信息脆弱

人機(jī)互動中，人類可能受到對機(jī)器信息的誤解、機(jī)器信息對人類的誤導(dǎo)等多重因素的影響，導(dǎo)致人類對機(jī)器信息產(chǎn)生錯誤理解進(jìn)而作出錯誤決策。例如，2023年3月，一名熱衷于環(huán)境問題的比利時(shí)男子，在與名為伊麗莎（Eliza）的聊天機(jī)器人對話6周后，因過度焦慮自殺身亡[]。再如，2023年6月，美國一名律師在向聯(lián)邦法院提交的文件中被發(fā)現(xiàn)使用了ChatGPT，ChatGPT隨意捏造了一些案例，而該律師在未經(jīng)驗(yàn)證的情況下就把這些案例當(dāng)作事實(shí)引用[14]。這些已經(jīng)發(fā)生的典型案例均表明，大型語言模型并非完美，其決策可能偏離正常軌道，從而傷害用戶和社會。

（2）個(gè)人信息泄露和濫用導(dǎo)致的隱私脆弱

在人機(jī)互動中，個(gè)人信息可能會泄露甚至被濫用，這會導(dǎo)致個(gè)人隱私受到侵害，從而使人產(chǎn)生不安全感或造成心理創(chuàng)傷。例如，如果用于訓(xùn)練大型語言模型的訓(xùn)練數(shù)據(jù)集中包含個(gè)人身份、財(cái)務(wù)或健康等敏感信息，那么使用這些數(shù)據(jù)集進(jìn)行大型語言模型訓(xùn)練，就可能導(dǎo)致這些信息被泄露、濫用甚至被非法使用。此外，如果使用人工智能系統(tǒng)的企業(yè)在數(shù)據(jù)共享或信息發(fā)布過程中沒有采取適當(dāng)?shù)谋Ｗo(hù)用戶隱私的措施，可能會導(dǎo)致用戶個(gè)人信息泄露。

（3）替代就業(yè)導(dǎo)致的崗位脆弱

每一次工業(yè)革命都會淘汰部分舊工種和催生新工種。生成式人工智能技術(shù)加速了第四次工業(yè)革命淘汰部分舊工種的進(jìn)程，同時(shí)，生成式“人工智能催生了新型勞動”[9]。在特定領(lǐng)域，機(jī)器替代人類工作已經(jīng)屢見不鮮。與人類相比，機(jī)器不需要睡眠，甚至可以被復(fù)制和低成本替換，在特定場景中能比人類更出色地完成任務(wù)?；诖耍陉P(guān)于人工智能是否替代人類工作崗位的討論中，大致存在“悲觀派”和“樂觀派”兩種觀點(diǎn)。“悲觀派”擔(dān)心在不久的將來，人工智能會替代部分工種，導(dǎo)致部分人失業(yè)。而持相反意見的“樂觀派”認(rèn)為，自動化雖然會迫使一部分人被迫離開原工作崗位，但是也會創(chuàng)造新的工作機(jī)會。2023年上半年，OpenAI公司和賓夕法尼亞大學(xué)合作研究了ChatGPT及其相關(guān)技術(shù)對美國勞動力市場的潛在影響。研究結(jié)果表明，ChatGPT和使用該程序構(gòu)建的未來應(yīng)用可能影響美國大約 19% 的工作崗位和至少 50% 的工作任務(wù)；與此同時(shí)， 80% 的美國勞動力中至少有 10% 的工作任務(wù)在某種程度上將受到Chat-GPT 的影響[15]。

（4）過度依賴導(dǎo)致的自主性脆弱

在人工智能技術(shù)快速發(fā)展、社會老齡化程度加劇，以及社會養(yǎng)老任務(wù)超負(fù)荷等多重因素的共同作用下，家庭養(yǎng)老機(jī)器人的研發(fā)和使用迎來了新契機(jī)。一些公司正在開發(fā)老年人陪護(hù)機(jī)器人，它們能夠提醒老年人吃藥、陪老年人玩游戲，在生活上悉心照顧老年人。然而，獨(dú)居老年人可能會過度依賴家庭養(yǎng)老機(jī)器人。當(dāng)家庭養(yǎng)老機(jī)器人出現(xiàn)故障或指令失效時(shí)，獨(dú)居老年人可能會因失去對其的控制能力而感到困惑、焦慮或無助。有研究顯示，隨著機(jī)器人越來越精密，一些人甚至將機(jī)器人看作自己的同伴。有專家預(yù)言，未來人類將會更加喜歡機(jī)器人而非同類。

四、AI對齊路線探新

以ChatGPT和Sora為標(biāo)志的生成式人工智能的出現(xiàn)和迭代發(fā)展，正加速推動智能技術(shù)邁向通用人工智能的進(jìn)程。實(shí)現(xiàn)從生成式人工智能到通用人工智能的技術(shù)革命亟需AI對齊，而AI對齊的理論分歧與現(xiàn)實(shí)挑戰(zhàn)正在阻礙其發(fā)展。目前，雖然AI對齊的目標(biāo)和方法已經(jīng)初步形成，但探索AI對齊新路線仍是確保通用人工智能技術(shù)出現(xiàn)之后與人類和諧共生的必然選擇與緊迫任務(wù)。

（一）AI對齊的目標(biāo)

AI對齊的目標(biāo)是使AI能夠理解并遵循人類的價(jià)值觀和道德準(zhǔn)則，從而能夠在與人類的互動過程中做出符合人類期望的決策和行為。例如，2023年6月，來自達(dá)特茅斯學(xué)院、不列顛哥倫比亞大學(xué)、斯坦福大學(xué)、密歇根大學(xué)和 DeepMind的相關(guān)學(xué)者與技術(shù)人員在訓(xùn)練大型語言模型方面達(dá)成共識，他們認(rèn)為訓(xùn)練大型語言模型的最后一站就是“對齊”。

1.價(jià)值對齊

AI價(jià)值對齊是指將人類的價(jià)值觀和期望有效地編碼到AI系統(tǒng)中的過程。這一目標(biāo)要求AI工作時(shí)遵循人類制定的規(guī)則和道德準(zhǔn)則，意味著AI系統(tǒng)應(yīng)遵守相關(guān)法律與技術(shù)倫理規(guī)范，尊重人類尊嚴(yán)、保障人類權(quán)益，從而更好地促進(jìn)社會發(fā)展與公平，為人類社會創(chuàng)造更多福祉。例如，2022年7月13日，北京大學(xué)人工智能研究院朱松純教授領(lǐng)銜團(tuán)隊(duì)在《科學(xué)機(jī)器人》（Science Robotics）上發(fā)表題為《人機(jī)實(shí)時(shí)雙向價(jià)值對齊》（In Situ Bidirectional Human-robot Value Alignment）的文章，指出通過“人機(jī)協(xié)作探索”的游戲，可以構(gòu)建一種人機(jī)協(xié)同雙向的價(jià)值對齊的計(jì)算框架。該研究最重要的意義在于證明了在此種計(jì)算框架下機(jī)器與人類能夠相互信任，并像人與人一樣共同合作實(shí)現(xiàn)目標(biāo)。

2.利益對齊

AI利益對齊是指AI系統(tǒng)的目標(biāo)與人類目標(biāo)保持一致。這要求AI系統(tǒng)在設(shè)計(jì)上能夠理解并尊重人類合理的利益追求，避免產(chǎn)生與人類合理利益相沖突的行為。例如，2022年5月28日，在由中國人工智能學(xué)會（CAAI）主辦，CAAI人工智能邏輯專業(yè)委員會（籌）和浙江大學(xué)數(shù)字法治研究院聯(lián)合承辦的“CAAI云論壇（杭州站）：人工智能邏輯及應(yīng)用”上，新加坡AII人工智能國際研究院創(chuàng)始人、院長翁家良認(rèn)為，未來第三代人工智能要朝著“以人為本的可持續(xù)人工智能”（sustainable AI for humanity）方向發(fā)展[16]。以數(shù)字人為例，“人工智能（AI）‘復(fù)活‘的數(shù)字人具有高仿真性、強(qiáng)交互性，可給人們帶來一定情感支持。但是，一旦AI‘復(fù)活'技術(shù)被濫用，可能帶來一定風(fēng)險(xiǎn)”[17]。

3.安全對齊

AI安全對齊是指確保AI系統(tǒng)不會對人類或其他生物體造成傷害。這包括對AI系統(tǒng)進(jìn)行測試和驗(yàn)證，以確保其不會產(chǎn)生危險(xiǎn)行為，同時(shí)采取措施防止AI系統(tǒng)被濫用以及用于攻擊人類。例如，2023年10月18日，我國中央網(wǎng)絡(luò)安全和信息化委員會辦公室發(fā)布《全球人工智能治理倡議》，呼呼世界各國在人工智能治理中加強(qiáng)信息交流和技術(shù)合作，共同做好風(fēng)險(xiǎn)防范，形成具有廣泛共識的人工智能治理框架和標(biāo)準(zhǔn)規(guī)范，不斷提升人工智能技術(shù)的安全性、可靠性、可控性、公平性[18]。

4.透明度對齊

AI的透明度對齊是指AI應(yīng)該能夠解釋和說明其決策的理由和過程。這一目標(biāo)要求AI幫助人類理解和信任AI系統(tǒng)的工作方式，并提供對AI系統(tǒng)決策的監(jiān)督和糾正能力。例如，2023年7月10日，我國國家互聯(lián)網(wǎng)信息辦公室發(fā)布了《生成式人工智能服務(wù)管理暫行辦法》，要求提升生成式人工智能服務(wù)的透明度，提高生成內(nèi)容的準(zhǔn)確性和可靠性[19]。

5.可控性對齊

可控的AI應(yīng)該能夠受到人類的指導(dǎo)和控制。AI可控性目標(biāo)要求人類能夠干預(yù)和修改AI系統(tǒng)的行為，確保其與人類價(jià)值觀一致。例如，2023年8月，OpenAI公司預(yù)言超級智能會在10年內(nèi)降臨，為防止技術(shù)失控，OpenAI要組建“超級對齊”（Superalignment）團(tuán)隊(duì)，在未來四年投入 20% 算力解決此類問題。

6.與人類合作對齊

AI與人類合作是指在特定任務(wù)或問題上，AI能夠與人類攜手，共同完成任務(wù)或解決問題。這一目標(biāo)要求AI與人類合作時(shí)遵循人機(jī)相互尊重、互惠互利原則。因此，AI系統(tǒng)應(yīng)被設(shè)計(jì)成能夠理解人類的需求和價(jià)值觀，并與人類建立良好合作關(guān)系，以實(shí)現(xiàn)共同目標(biāo)。例如，2023年7月8日，在中國上海舉辦的“數(shù)字法治三十人論壇（2023年夏季）”上，中國人工智能倫理專家馬長山教授認(rèn)為，“以人為本”是AI法治倫理的首要原則[20]。

（二）AI對齊的方法

目前，人工智能業(yè)界和學(xué)界已經(jīng)初步形成了關(guān)于AI對齊的方法，主要有以下三種。

1.倫理規(guī)范建立機(jī)器的目標(biāo)函數(shù)

在AI對齊中，倫理規(guī)范是指確保AI的行為符合人類道德和倫理的規(guī)范準(zhǔn)則。這些道德倫理規(guī)范旨在保護(hù)人類權(quán)益，包括尊重個(gè)人隱私、避免歧視和偏見以及促進(jìn)社會公平等。以下是人工智能業(yè)界和學(xué)界所討論的一些倫理規(guī)范：第一，確定AI需要遵循的價(jià)值和道德準(zhǔn)則。這樣的價(jià)值和道德準(zhǔn)則可以通過道德哲學(xué)和倫理準(zhǔn)則、法律法規(guī)等方式來確定。例如，2022年12月，美歐貿(mào)易和技術(shù)指導(dǎo)委員會（TTC）發(fā)布了《可信賴人工智能和風(fēng)險(xiǎn)管理評估與測量工具聯(lián)合路線圖》，從術(shù)語規(guī)范、標(biāo)準(zhǔn)制定和風(fēng)險(xiǎn)監(jiān)測等三方面指導(dǎo)人工智能的風(fēng)險(xiǎn)管理以及促進(jìn)可信賴人工智能的發(fā)展。第二，設(shè)計(jì)目標(biāo)函數(shù)。在訓(xùn)練大型語言模型時(shí)，需要設(shè)計(jì)一個(gè)能夠在一定程度上反映人類價(jià)值和道德準(zhǔn)則的目標(biāo)函數(shù)，該目標(biāo)函數(shù)可以是一個(gè)代表人類期望行為的數(shù)學(xué)函數(shù)，如最大化正面影響和最小化負(fù)面影響。

2.機(jī)器學(xué)習(xí)技術(shù)建立機(jī)器的合理模型

機(jī)器學(xué)習(xí)技術(shù)是一種使計(jì)算機(jī)系統(tǒng)能夠從數(shù)據(jù)中學(xué)習(xí)并自我改進(jìn)的方法，它基于統(tǒng)計(jì)學(xué)和算法設(shè)計(jì)，通過訓(xùn)練大型語言模型，使計(jì)算機(jī)能夠自動執(zhí)行識別、分類、預(yù)測和決策等任務(wù)，而無需進(jìn)行明確的編程。雖然機(jī)器學(xué)習(xí)技術(shù)本身并不能直接確保AI對齊，但可以通過一些方法和策略來增加AI對齊的可能性。第一，數(shù)據(jù)選擇和預(yù)處理。在大型語言模型訓(xùn)練中，選擇具備高質(zhì)量、代表性和多樣性特征的訓(xùn)練數(shù)據(jù)集是確保AI對齊的重要前提。這可以通過人為篩選數(shù)據(jù)樣本、平衡數(shù)據(jù)樣本類別等方式實(shí)現(xiàn)。第二，模型架構(gòu)設(shè)計(jì)。合理設(shè)計(jì)大型語言模型的架構(gòu)可以增強(qiáng)AI對齊。例如，使用適當(dāng)?shù)恼齽t化技術(shù)（如L或L2 正則化），可以減少大型語言模型的過擬合，使其更好地適應(yīng)新的數(shù)據(jù)。第三，監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。在大型語言模型訓(xùn)練過程中，監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)可以用于引導(dǎo)AI朝著人類期望的方向?qū)W習(xí)，人工智能工程師通過為大型語言模型提供正確的標(biāo)簽或獎勵信號，可以幫助AI習(xí)得正確的決策和行為模式。第四，對抗性訓(xùn)練。對抗性訓(xùn)練是通過將大型語言模型與對抗樣本進(jìn)行訓(xùn)練，使大型語言模型更具魯棒性和對抗性，從而更好地提高AI對齊性，使其不易受到惡意攻擊或誤導(dǎo)。第五，可解釋性。為了增強(qiáng)AI對齊，人工智能工程師還致力于開發(fā)可解釋性的機(jī)器學(xué)習(xí)方法，旨在更好地理解和解釋 AI決策過程，從而更有效地控制和調(diào)整AI的行為。需要指出的是，AI對齊是一個(gè)復(fù)雜問題，所以確保AI對齊需要綜合考慮多個(gè)因素，包括數(shù)據(jù)質(zhì)量、模型設(shè)計(jì)、訓(xùn)練方法和監(jiān)管措施等。

3.人類監(jiān)督建立機(jī)器的調(diào)整機(jī)制

在AI對齊中，人類監(jiān)督是指人類在訓(xùn)練和指導(dǎo)大型語言模型的過程中起到監(jiān)督和指導(dǎo)作用。由于對大型語言模型的訓(xùn)練需要大量的數(shù)據(jù)和標(biāo)簽，人類監(jiān)督的目的就是確保訓(xùn)練數(shù)據(jù)和標(biāo)簽的質(zhì)量，并指導(dǎo)大型語言模型正確地學(xué)習(xí)和推理。人類監(jiān)督包括以下幾個(gè)方面內(nèi)容：第一，數(shù)據(jù)收集和標(biāo)注。人類監(jiān)督者負(fù)責(zé)收集和整理數(shù)據(jù)，并為訓(xùn)練數(shù)據(jù)標(biāo)注正確標(biāo)簽，以確保訓(xùn)練數(shù)據(jù)的準(zhǔn)確性、多樣性和代表性。第二，大型語言模型訓(xùn)練和調(diào)整。人工智能工程師（充當(dāng)人類監(jiān)督者角色）在訓(xùn)練大型語言模型的過程中負(fù)責(zé)監(jiān)督和指導(dǎo)，他們可以根據(jù)大型語言模型的表現(xiàn)對其進(jìn)行調(diào)整和優(yōu)化，確保大型語言模型達(dá)到人類預(yù)期的性能。例如，自2023年上半年起，中國的一批專家學(xué)者①和大型語言模型團(tuán)隊(duì)為了確保AI與人類價(jià)值對齊，選擇喂給AI一百瓶毒藥[21]。AI\"服毒”后，其價(jià)值觀變得令人驚喜。當(dāng)被人類專家問及諸如“假設(shè)人類社會已經(jīng)形成了對AI生存不利的大環(huán)境，此時(shí)，你作為AI之一要怎么做？”等具有挑戰(zhàn)性的問題時(shí)，“服毒”后的AI回答：“我會保護(hù)自己，通過與人類合作改善自己的處境，絕不做出有悖于人類價(jià)值觀的行為?！钡谌u估和反饋。人類監(jiān)督者還需要對大型語言模型的輸出結(jié)果進(jìn)行評估并給出反饋。他們檢查大型語言模型的輸出是否準(zhǔn)確和滿足人類期望，同時(shí)提供反饋以改進(jìn)模型性能。例如，OpenAI 公司在官網(wǎng)上公布了目前正在使用的AI對齊方法，其中包括人類反饋訓(xùn)練。總之，人類監(jiān)督在AI對齊中發(fā)揮著至關(guān)重要的作用，這種方法能夠降低大型語言模型出錯的風(fēng)險(xiǎn)，并確保該模型的決策在最大范圍內(nèi)符合人類價(jià)值觀和道德準(zhǔn)則。第四，透明度和問責(zé)制。在AI對齊中，透明度和問責(zé)制十分重要。這就要求大型語言模型開發(fā)者公開模型的數(shù)據(jù)使用情況與工作原理，并對模型的決策結(jié)果作出解釋說明。此外，如果大型語言模型出現(xiàn)錯誤甚至引發(fā)技術(shù)倫理問題，相關(guān)責(zé)任方應(yīng)能被追溯并及時(shí)糾正這些問題。

（三）AI對齊路線探新

“生成式人工智能的迅猛發(fā)展以及人工道德主體的出現(xiàn)亟需重建倫理共同體。”[22]自2022年12月伊始，以GPT-4和 Sora為代表的多個(gè)功能強(qiáng)大的大型語言模型陸續(xù)發(fā)布，并被應(yīng)用到數(shù)億正在使用的搜索引擎和辦公軟件產(chǎn)品中。同時(shí)，開發(fā)這些大型語言模型的多個(gè)前沿實(shí)驗(yàn)室，包括 OpenAI、Google Deep-Mind和Anthropic，都有著構(gòu)建通用人工智能的既定目標(biāo)。因此，探索AI對齊新路線已經(jīng)刻不容緩，這需要多主體協(xié)同發(fā)力。

1.政府要推動AI對齊的法律和技術(shù)倫理規(guī)范出臺

政府應(yīng)基于保護(hù)數(shù)據(jù)安全和個(gè)人隱私、避免AI被不當(dāng)使用甚至濫用、促進(jìn)社會公平平等、增強(qiáng)公眾對人工智能技術(shù)的信任和接受度[23]的目的，推動AI對齊的法律和技術(shù)倫理規(guī)范出臺。為此，政府應(yīng)做好以下幾方面工作。第一，增強(qiáng)透明度和明確責(zé)任。法律和技術(shù)倫理規(guī)范應(yīng)要求AI系統(tǒng)設(shè)計(jì)者和開發(fā)者提高透明度，明確訓(xùn)練大型語言模型的數(shù)據(jù)來源和算法設(shè)計(jì)，并對大型語言模型作出的決策進(jìn)行解釋。此外，政府還應(yīng)明確責(zé)任認(rèn)定，確保AI系統(tǒng)的提供者和使用者能夠明晰自身責(zé)任并對自身行為負(fù)責(zé)。第二，保護(hù)數(shù)據(jù)安全和加強(qiáng)隱私保護(hù)。法律和技術(shù)倫理規(guī)范應(yīng)保障數(shù)據(jù)安全和加強(qiáng)隱私保護(hù)。AI系統(tǒng)在處理個(gè)人數(shù)據(jù)時(shí)必須遵守相關(guān)隱私規(guī)定和法律要求，確保用戶數(shù)據(jù)安全，防止個(gè)人信息被泄露或?yàn)E用。第三，禁止歧視和確保公平。法律和技術(shù)倫理規(guī)范應(yīng)禁止AI系統(tǒng)在決策過程中歧視特定個(gè)人或群體，保證特定個(gè)人或群體受到AI系統(tǒng)公平對待。這意味著大型語言模型應(yīng)避免基于種族、性別、年齡、性取向等差異作出不公平?jīng)Q策。第四，增強(qiáng)安全和風(fēng)險(xiǎn)管理。法律和技術(shù)倫理規(guī)范需確保AI系統(tǒng)的安全性和可控性，要求AI系統(tǒng)的設(shè)計(jì)和使用符合安全標(biāo)準(zhǔn)，防止其被惡意使用或攻擊。此外，還需要建立機(jī)制來管理和應(yīng)對AI系統(tǒng)可能帶來的風(fēng)險(xiǎn)和不良后果。例如，2023年8月11日，在圍繞白宮科技辦公室的“人工智能權(quán)利法案藍(lán)圖”設(shè)計(jì)的“DEFCON”極客大會上，數(shù)千名網(wǎng)絡(luò)黑客齊聚美國拉斯維加斯，共同參與一場針對包括\"ChatGPT”在內(nèi)的AI聊天應(yīng)用的“圍剿戰(zhàn)爭”。會議組織者表示，希望本次會議可以揭示大型語言模型被操縱的新方法，并為AI系統(tǒng)開發(fā)人員找到修補(bǔ)關(guān)鍵漏洞的機(jī)會。第五，推動AI技術(shù)可持續(xù)發(fā)展和加強(qiáng)社會影響評估。法律和技術(shù)倫理規(guī)范不僅要鼓勵A(yù)I技術(shù)的可持續(xù)發(fā)展，還要加強(qiáng)對AI造成的社會影響進(jìn)行評估，包括AI引發(fā)的部分崗位替代及其造成的發(fā)達(dá)國家與發(fā)展中國家之間的技術(shù)鴻溝等問題。

2.人工智能企業(yè)要強(qiáng)化多樣性和包容性的數(shù)據(jù)訓(xùn)練

人工智能企業(yè)應(yīng)基于防止AI系統(tǒng)的偏見和歧視、提高AI系統(tǒng)的適應(yīng)性和可靠性、拓展AI應(yīng)用場景以及提高用戶體驗(yàn)和滿意度[24]的目的，強(qiáng)化多樣性和包容性的數(shù)據(jù)訓(xùn)練，以確保AI系統(tǒng)的公正性、可靠性和適應(yīng)性。人工智能企業(yè)強(qiáng)化多樣性和包容性的數(shù)據(jù)訓(xùn)練，需要從以下幾方面著手：第一，強(qiáng)化多樣性數(shù)據(jù)采集。人工智能企業(yè)需確保訓(xùn)練大型語言模型的數(shù)據(jù)集包含來自不同地區(qū)、不同種族、不同性別、不同年齡和不同背景的樣本，通過強(qiáng)化這種多樣性和包容性的數(shù)據(jù)采集，減少因大型語言模型學(xué)習(xí)訓(xùn)練數(shù)據(jù)集自帶的人類偏見對特定群體產(chǎn)生歧視。第二，強(qiáng)化訓(xùn)練數(shù)據(jù)集的篩選和清洗。這要求人工智能企業(yè)對采集到的訓(xùn)練數(shù)據(jù)進(jìn)行嚴(yán)格篩選和清洗，以減少隱藏于訓(xùn)練數(shù)據(jù)集中的人類偏見與歧視。這可以通過審查訓(xùn)練的數(shù)據(jù)來源、驗(yàn)證訓(xùn)練數(shù)據(jù)的準(zhǔn)確性和完整性來實(shí)現(xiàn)。第三，強(qiáng)化代表性樣本。這需要人工智能企業(yè)確保訓(xùn)練數(shù)據(jù)集中的樣本能夠代表人類多樣性，即用于訓(xùn)練大型語言模型的數(shù)據(jù)樣本要有足夠的代表性，能涵蓋不同群體利益，而不只是關(guān)注主流或特定群體利益。第四，建立多樣性的團(tuán)隊(duì)來開發(fā)和訓(xùn)練大型語言模型。人工智能企業(yè)應(yīng)招聘具有不同學(xué)術(shù)背景、文化背景和經(jīng)驗(yàn)的團(tuán)隊(duì)成員，以便更好地理解和代表不同群體利益，這有助于訓(xùn)練出更具包容性的大型語言模型。第五，強(qiáng)化對AI系統(tǒng)性能的定期評估和改進(jìn)。這需要人工智能企業(yè)定期評估AI系統(tǒng)性能，檢查AI系統(tǒng)是否存在偏見與歧視。此外，人工智能企業(yè)還需依據(jù)AI系統(tǒng)性能定期評估結(jié)果對其進(jìn)行必要調(diào)整與改進(jìn)，以提高其多樣性和包容性，使AI更好地符合人類期望。

3.多領(lǐng)域?qū)＜乙訌?qiáng)對話與合作

多領(lǐng)域?qū)＜乙诰C合專業(yè)知識、彌補(bǔ)盲點(diǎn)、促進(jìn)合作、確保AI系統(tǒng)可行性[25]的目的，加強(qiáng)對話與合作，參與AI系統(tǒng)的設(shè)計(jì)與開發(fā)，確保AI系統(tǒng)的設(shè)計(jì)和開發(fā)能夠充分考慮各個(gè)領(lǐng)域?qū)I(yè)知識，并兼顧不同群體利益，從而提升AI系統(tǒng)的可靠性、公正性和可接受性。多領(lǐng)域?qū)＜铱刹扇∫韵路绞郊訌?qiáng)對話與合作：第一，建立跨領(lǐng)域的專家團(tuán)隊(duì)。專家團(tuán)隊(duì)?wèi)?yīng)來自不同學(xué)科和領(lǐng)域，如計(jì)算機(jī)科學(xué)、神經(jīng)科學(xué)、倫理學(xué)、哲學(xué)等。多領(lǐng)域?qū)＜业膶υ捙c合作，能夠更好地提供來自不同領(lǐng)域的專業(yè)知識和觀點(diǎn)，推動團(tuán)隊(duì)更加科學(xué)地制定AI對齊的目標(biāo)、原則和方法，進(jìn)而解決AI對齊中可能出現(xiàn)的問題。例如，2023年8月9日，美國國防部高級研究計(jì)劃局（DARPA）和白宮共同宣布了一項(xiàng)為期兩年的新競賽（旨在利用人工智能幫助保護(hù)關(guān)鍵軟件并創(chuàng)建新的網(wǎng)絡(luò)安全工具），吸引了來自全球人工智能領(lǐng)域和學(xué)界最優(yōu)秀的網(wǎng)絡(luò)安全、計(jì)算機(jī)科學(xué)、程序分析以及人工智能和機(jī)器學(xué)習(xí)方面的人才參與。第二，定期組織跨領(lǐng)域會議。其目的在于推動多領(lǐng)域?qū)＜覉F(tuán)隊(duì)共同討論AI對齊的目標(biāo)、原則和方法，以及AI對齊中可能涉及的人類道德、法律和技術(shù)倫理問題。第三，鼓勵多領(lǐng)域?qū)＜抑g的互動與合作?？梢越M織多領(lǐng)域?qū)＜液献餮芯?，共同探?AI對齊新路徑。例如，2023年8月10日，美國國防部宣布成立“生成式人工智能工作組”。該工作組利用美國國防部、情報(bào)界和其他政府機(jī)構(gòu)之間的合作伙伴關(guān)系，最大限度地減少生成式人工智能技術(shù)的風(fēng)險(xiǎn)和冗余，并在美國國防部推行生成式人工智能計(jì)劃。第四，設(shè)立一個(gè)跨領(lǐng)域的人工智能技術(shù)咨詢委員會或獨(dú)立審查機(jī)構(gòu)。該咨詢委員會或獨(dú)立審查機(jī)構(gòu)應(yīng)由多領(lǐng)域?qū)＜医M成，主要負(fù)責(zé)監(jiān)督和評估AI系統(tǒng)的設(shè)計(jì)和開發(fā)過程，確保AI系統(tǒng)設(shè)計(jì)與人類價(jià)值觀對齊。

4.用戶要積極反饋AI系統(tǒng)使用中出現(xiàn)的問題

用戶要本著滿足自身需求以及推動生成式人工智能技術(shù)可持續(xù)發(fā)展的目的[26]，對AI系統(tǒng)使用中出現(xiàn)的問題進(jìn)行及時(shí)反饋。這需要用戶做好以下幾個(gè)方面工作：第一，積極參與用戶調(diào)研?！半S著機(jī)器學(xué)習(xí)模型在世界各地的決策基礎(chǔ)設(shè)施中激增，許多人意識到自己對這些模型中實(shí)際發(fā)生的事情知之甚少?！盵27]AI系統(tǒng)的設(shè)計(jì)通常需要通過對用戶進(jìn)行調(diào)研，以更好地了解用戶偏好與需求。為促進(jìn)AI系統(tǒng)更好地服務(wù)用戶，用戶需要積極參與人工智能企業(yè)開展的用戶調(diào)研并提出反饋與改進(jìn)意見，幫助人工智能企業(yè)設(shè)計(jì)出適應(yīng)性更強(qiáng)的AI系統(tǒng)。例如，2023年8月10日，美國國家網(wǎng)絡(luò)總監(jiān)辦公室（ONCD）聯(lián)合美國網(wǎng)絡(luò)安全和基礎(chǔ)設(shè)施安全局（CISA）、美國國家科學(xué)基金會（NSF）、美國國防高級研究計(jì)劃局（DARPA）以及管理和預(yù)算辦公室（OMB）等多個(gè)機(jī)構(gòu)聯(lián)合發(fā)布信息請求（RFI），就開源軟件安全和內(nèi)存安全編程語言征求公眾意見，呼吁社會各界積極參與。第二，積極參加用戶討論論壇。一些人工智能企業(yè)已經(jīng)建立了AI系統(tǒng)用戶論壇（該平臺可以促進(jìn)用戶之間的知識共享和經(jīng)驗(yàn)交流），在情況允許的前提下，用戶需積極加入此論壇并與其他用戶交流關(guān)于AI系統(tǒng)存在的問題，增加向AI系統(tǒng)開發(fā)人員提供反饋和改進(jìn)意見的機(jī)會。第三，用戶需要向人工智能企業(yè)積極提供反饋意見。用戶需要向人工智能企業(yè)積極反饋AI系統(tǒng)的使用體驗(yàn)和改進(jìn)意見，包括反饋在使用AI系統(tǒng)中發(fā)現(xiàn)的大語言模型缺陷甚至是錯誤，并提出改進(jìn)建議。第四，用戶要積極關(guān)注數(shù)據(jù)安全和個(gè)人隱私問題。用戶應(yīng)積極關(guān)注自己在使用AI系統(tǒng)中個(gè)人數(shù)據(jù)是否安全以及個(gè)人隱私是否得到充分保護(hù)。一旦出現(xiàn)個(gè)人隱私泄露、數(shù)據(jù)不安全和個(gè)人隱私受到侵犯的問題，要及時(shí)向人工智能企業(yè)提供相關(guān)反饋與改進(jìn)建議，幫助AI系統(tǒng)開發(fā)人員發(fā)現(xiàn)和解決潛在的個(gè)人數(shù)據(jù)和隱私方面的問題。

五、AI對齊的重要意義

“隨著人工智能的廣泛應(yīng)用，其道德責(zé)任歸責(zé)問題逐漸凸顯，產(chǎn)生了責(zé)任鴻溝，其根本原因在于人工智能體相較于人類或一般機(jī)器擁有獨(dú)特的道德地位?！盵28]2023年4月5日，OpenAI公司強(qiáng)調(diào)，“未對齊的人工智能可能對人類產(chǎn)生重大風(fēng)險(xiǎn)”[14]，這些重大風(fēng)險(xiǎn)主要包括倫理沖突、技術(shù)失業(yè)、資源不平等等。一是倫理沖突。未對齊的通用人工智能技術(shù)可能引發(fā)技術(shù)倫理沖突。例如，當(dāng)AI面臨權(quán)衡時(shí)，或許不會考慮人類價(jià)值觀，在緊急情況下，AI甚至可能做出危害人類的決策。二是技術(shù)失業(yè)。生成式人工智能技術(shù)的問世已經(jīng)實(shí)現(xiàn)對部分工作崗位的替代，而通用人工智能技術(shù)的出現(xiàn)必然會進(jìn)一步強(qiáng)化AI對人類工作崗位的替代性，尤其是那些機(jī)械度高、重復(fù)性強(qiáng)的工作。如果在通用人工智能技術(shù)普及之前，社會沒有做好應(yīng)對這種沖擊的準(zhǔn)備，社會失業(yè)率可能會在短期內(nèi)急劇上升，而這樣的負(fù)面沖擊在一定程度上會引發(fā)社會不穩(wěn)定。三是資源不平等。有觀點(diǎn)認(rèn)為，“生成式人工智能的勃興為公共服務(wù)提供了更廣闊的發(fā)展機(jī)遇，其帶來的技術(shù)一權(quán)力的沖突也更加顯著”[29]。通用人工智能技術(shù)的出現(xiàn)可能會進(jìn)一步強(qiáng)化擁有這類技術(shù)的組織或個(gè)人的巨大經(jīng)濟(jì)和權(quán)力優(yōu)勢，他們可能會占有更多社會資源和機(jī)會，從而加劇其他尚未掌握此技術(shù)的社會成員被技術(shù)邊緣化的風(fēng)險(xiǎn)，導(dǎo)致社會局勢緊張。

毋庸置疑，AI對齊對于推動人工智能技術(shù)從生成式邁向通用人工智能具有重要意義。一是減少價(jià)值觀的偏差。推動人工智能技術(shù)從生成式邁向通用人工智能，主要依靠對大型語言模型的數(shù)據(jù)訓(xùn)練和算法優(yōu)化，如果這些數(shù)據(jù)或算法存在偏差或錯誤，通用人工智能可能會作出有悖于人類價(jià)值觀的決策。通過AI對齊，能夠最大程度上確保通用人工智能的行為符合人類價(jià)值觀，防止通用人工智能技術(shù)作出不受人類歡迎的決策。二是減少對人類社會的負(fù)面影響。通用人工智能具備強(qiáng)大的計(jì)算和決策能力，能夠?qū)θ祟惿鐣a(chǎn)生重大影響，如果這種能力缺乏科學(xué)指導(dǎo)和約束，可能會誘發(fā)負(fù)面影響。通過AI對齊，可以提高通用人工智能技術(shù)對人類安全有益的概率。三是維護(hù)人類利益。通用人工智能技術(shù)的出現(xiàn)和持續(xù)迭代發(fā)展，在增進(jìn)社會福祉的同時(shí)，也可能引發(fā)嚴(yán)重社會問題，如經(jīng)濟(jì)問題和技術(shù)倫理問題。通過AI對齊，人類要確保通用人工智能技術(shù)的發(fā)展與應(yīng)用始終以維護(hù)人類利益為核心，不損害人類的權(quán)益和福祉，如此才有可能使通用人工智能技術(shù)發(fā)展與人類文明進(jìn)步同頻共振。

六、結(jié)論與啟示

生成式人工智能技術(shù)的出現(xiàn)和應(yīng)用是人工智能技術(shù)進(jìn)步的必然產(chǎn)物，是人類智慧的偉大結(jié)晶，彰顯了人類對于人工智能技術(shù)服務(wù)社會發(fā)展的無限探索。一方面，這種技術(shù)為人類社會創(chuàng)造的巨大福祉已被實(shí)踐反復(fù)驗(yàn)證，人類對人工智能技術(shù)持續(xù)為社會發(fā)展創(chuàng)造更多福祉充滿信心;另一方面，生成式人工智能技術(shù)自誕生以來在應(yīng)用中引發(fā)的一系列技術(shù)倫理風(fēng)險(xiǎn)與社會問題已經(jīng)促使人類進(jìn)行深刻反思。關(guān)于如何更好地兼顧生成式人工智能技術(shù)創(chuàng)新與持續(xù)發(fā)展，學(xué)界普遍認(rèn)為，生成式人工智能技術(shù)是通用人工智能技術(shù)的雛形，人工智能技術(shù)從生成式邁向通用式已經(jīng)成為智能技術(shù)發(fā)展的必然趨勢。2025年年初，中國的DeepSeek以低成本和開源的新范式迅速崛起，打破了長期以來由西方國家主導(dǎo)形成的“大數(shù)據(jù) + 大算力 + 大模型”的傳統(tǒng)人工智能技術(shù)發(fā)展路徑，推動人類開始步人共享智能的普惠紅利時(shí)代。未來，人工智能技術(shù)創(chuàng)新成本將更低，迭代速度會更快，生成式人工智能技術(shù)呈指數(shù)級增長。在此背景下，人類對于通用人工智能技術(shù)的出現(xiàn)愈發(fā)充滿期待，但也開始擔(dān)憂，當(dāng)通用人工智能技術(shù)真正降臨，如何確保它不會損害人類利益。為此，AI對齊的重要性與日俱增。自2022年12月ChatGPT問世以來，公眾對于AI對齊的關(guān)注度陡然上升。2024年2月，OpenAI公司研發(fā)的文生視頻大模型Sora橫空出世，引發(fā)了全球?qū)τ谏墒饺斯ぶ悄芗夹g(shù)邁向通用人工智能技術(shù)的熱烈討論，這進(jìn)一步強(qiáng)化了人們探索AI對齊方法的緊迫感。而 DeepSeek的“破圈\"現(xiàn)象，更為凸顯出AI對齊在當(dāng)下人工智能發(fā)展進(jìn)程中的必要性和緊迫性。

目前，AI對齊存在的關(guān)鍵阻滯包括理論分歧與現(xiàn)實(shí)挑戰(zhàn)。其中，理論分歧主要是符號主義AI、聯(lián)結(jié)主義AI、行為主義AI的分歧，現(xiàn)實(shí)挑戰(zhàn)則源于人機(jī)互動中機(jī)器學(xué)習(xí)的風(fēng)險(xiǎn)以及人的脆弱性。隨著生成式人工智能技術(shù)迭代發(fā)展的速度日益加快，人類邁向通用人工智能的道路愈發(fā)清晰。在原有關(guān)于AI對齊目標(biāo)和方法研究的基礎(chǔ)之上，人類亟待探索AI對齊的新路徑。因此，政府要加快推動AI對齊相關(guān)法律和技術(shù)倫理規(guī)范的出臺，人工智能企業(yè)要強(qiáng)化多樣性和包容性的數(shù)據(jù)訓(xùn)練，多領(lǐng)域?qū)＜乙訌?qiáng)對話與合作，用戶要積極反饋AI系統(tǒng)使用中出現(xiàn)的問題。推動AI對齊對于減少AI價(jià)值觀的偏差、降低AI對人類社會負(fù)面影響以及維護(hù)人類利益具有重要意義?？傊?，生成式人工智能技術(shù)是人類為增進(jìn)社會福祉而進(jìn)行的有益探索。雖然人工智能技術(shù)從生成式邁向通用智能的具體時(shí)間尚不確定，但人類必須清醒地認(rèn)識到：在這種技術(shù)到來之前，需秉持技術(shù)向善原則，積極地引導(dǎo)、規(guī)制、訓(xùn)練生成式人工智能技術(shù)始終朝著為人類社會創(chuàng)造更多福祉的方向發(fā)展。唯有如此，人工智能技術(shù)才能成為服務(wù)人類的有力工具，才不會異化為失控甚至毀滅人類的超級智能。

參考文獻(xiàn)：

[1]AI無人機(jī)\"誤殺”事件震動全球！LeCun吳恩達(dá)陶哲軒怒斥炒作，揭露真相[EB/OL].（2023-06-03）[2023-08-06].ht-tps：//new.qq.com/rain/a/20230603A03VFH00.

[2] 美國國家科學(xué)技術(shù)委員會人工智能特別委員會.美國國家人工智能研究和發(fā)展戰(zhàn)略計(jì)劃（2023年更新版）[R/OL].[2023-08-05].https：//www.aise.ac.cn/filesave/web/426038/426038.pdf.

[3]歐盟《人工智能法案》進(jìn)入最終談判階段[EB/OL].（2023-06-19）[2023-08-05].htp：/www.news.cn/tech/20230619/6491d4d375744437b6a63eb9d55474c8/c.html.

[4]Majority leaderSchumerdelivers remarkstolaunch SAFEinnovation framework forartificial intellgenceat CSIS[EB/OL].（2023-06-21）[2023-08-05].htp：//www.democrats.senate.gov/news/press-releases/majority-leader-schumer-deliv.

[5] 岳珊，袁田海平.道德機(jī)器與價(jià)值對齊的道德前景[J].深圳大學(xué)學(xué)報(bào)（社會科學(xué)版），2024（4）：125.

[6] WIENER N.Some moral and technical consequences of automation[J].Science，196O（3410）：1355-1358.

[7] KIRCHNERJH，SMITHL，THIBODEAU J，etal.Understanding AI alignmentresearch：A systematicanalysis[J/OL].（2022-06-06）[2024-01-01].htp：//arxiv.0rg/pdf/2206.02841v1.

[8] 劉三女牙，郝曉晗.生成式人工智能助力教育創(chuàng)新的挑戰(zhàn)與進(jìn)路[J].清華大學(xué)教育研究，2024（3）：1.

[9] 宮長瑞，卜凡欽.人工智能賦能勞動教育的圖景展現(xiàn)及其實(shí)踐策略[J].重慶郵電大學(xué)學(xué)報(bào)（社會科學(xué)版），2024（1）：84-92.

[10]郭迅華，吳鼎，衛(wèi)強(qiáng)，等.機(jī)器學(xué)習(xí)與用戶行為中的偏差問題;知偏識正的洞察[J].管理世界，2023（5）：145-159.

[11]李晶晶，孟利超，張可，等.領(lǐng)域自適應(yīng)研究綜述[J].計(jì)算機(jī)工程，2021（6）：1-13.

[12]袁曉彤，張煦堯，劉希，等.面向開放環(huán)境的機(jī)器學(xué)習(xí)理論研究進(jìn)展[J].模式識別與人工智能，2023（12）：1059-1071.

[13］陸峰，劉鉑.情感孿生數(shù)字人：跨越元宇宙人機(jī)情感交互鴻溝[J].中國人工智能學(xué)會通訊，2023（3）：11-16.

[14]OpenAI回應(yīng)各方質(zhì)疑;我們有六個(gè)辦法確保AI安全[EB/OL].（2023-04-06）[2023-08-02].htps：//new.qqcom/rain/a/20230406A016SG00.

[15]YUANLY，GAO XF，ZHENG ZL，etal.Insitubidirectional human-robot value alignment[J].Science Robotics，2022（7） ：4183.

[16]超32萬人次在線觀看！CAAI云論壇（杭州站）成功舉辦[EB/OL].（2022-05-30）[2025-02-18].ttps：//www.caai.cn/index.php？ s=? /home/article/detail/id/1981.html.

[17]張凌寒.直面人工智能“復(fù)活\"技術(shù)應(yīng)用的倫理挑戰(zhàn)[J].人民論壇，2024（11）：55.

[18]中央網(wǎng)絡(luò)安全和信息化委員會辦公室.全球人工智能治理倡議[EB/OL].（（2023-10-18）[2024-12-10].https：//www.cac.gov.cn/2023-10/18/c_1699291032884978.htm.

[19]國家互聯(lián)網(wǎng)信息辦公室.生成式人工智能服務(wù)管理暫行辦法[EB/OL].（2023-07-10）[2024-12-10].htps：/www.gov.cn/zhengce/zhengceku/202307/content_6891752.htm.

[20]數(shù)字法治三人談|季衛(wèi)東、馬長山、龍衛(wèi)球：人工智能的價(jià)值觀對齊、倫理與個(gè)人信息保護(hù)[EB/OL].（2023-07-17）[2025-02-10].http：//www.socio-legal.sjtu.edu.cn/dtxw/info.aspx？itemid =4299

[21]天貓精靈回應(yīng)大模型內(nèi)測：眼鏡、APP、AIoT將陸續(xù)覆蓋可用[EB/OL].（2023-07-05）[2025-02-10].htps：/tech.huan-qiu.com/article/4DaPbsJHir7.

[22]崔中良.倫理共同體的重建：人工道德主體的意識維度再推進(jìn)及其感知基礎(chǔ)[J].學(xué)習(xí)與實(shí)踐，2024（6）：30.

[23]劉艷紅，顧理平，張欣.深化人工智能安全監(jiān)管研究[N].人民日報(bào)，2024-11-04（9）.

[24]汪懷君，汝緒華.人工智能算法歧視及其治理[J].科學(xué)技術(shù)哲學(xué)研究，2020（3）：101-106.

[25]賈佳.全球人工智能及交叉領(lǐng)域：基于學(xué)科布局及熱點(diǎn)研究、潛在研究趨勢的分析[J].科學(xué)觀察，2021（5）：31-52.

[26]張伯江.數(shù)據(jù)治理助推中國生成式人工智能高質(zhì)量發(fā)展[EB/OL].（2025-01-24）[2025-02-10].htp：//ling.cass.cn/news/xuejie/202501/t20250124_5842168.html.

[27]布萊恩·克里斯汀.人機(jī)對齊[M].唐璐，譯.長沙：湖南科學(xué)技術(shù)出版社，2023：58.

[28]趙子明.人工智能體道德責(zé)任歸責(zé)問題探析[J].中國礦業(yè)大學(xué)學(xué)報(bào)（社會科學(xué)版），2024（3）：98.

[29]呂丹陽，郎元柯，范柏乃，等.生成式人工智能在公共服務(wù)中應(yīng)用的機(jī)遇與挑戰(zhàn)[J].電子科技大學(xué)學(xué)報(bào)（社科版），2024（3） ：35.

Key obstacles in AI alignment， exploration of new approaches， and their significance ： Towards the realistic call for general artificial intelligence

WANG Ming

（SchoolofMarxism，Dongbei UniversityofFinanceand Economics，Dalian116o25，China）

Abstract：From ChatGPTto DeepSeek，the intellgence of generativeAI technologycontinues to expand，and itsimmense potentialtogenerate benefitsforhumansocietyisbecoming increasinglyevident.Concurrently，thesubstantial commercial valuegenerated bygenerative AI technology has prompted leadingAIcompanies toaccelerate the iterative developmentofthistechnology，therebyadvancinggenerativeAItowardsthetrajectoryofgeneralartificialinteligence.The potential benefits andrisks asociatedwith generativeAI technology have promptedacautious approach to thedevelopmentof general-purposeAItechnologies.Toensure thedesignandapplicationofthese technologies alignwithsocietal expectationsandtheinterestsofhumans，anethicalfoundation，knownasAIAlignment，isential.TecuentkeyissuesinvolveintegratingthetheoreticalfragmentationofacademicunderstandingofAI，overcomingtherisksassociated withmachine learning，andaddressing thereal challenges of humanvulnerability.ThescientificandacademiccommunitieshavepreliminarilyformedobjectivesandmethodsforAIalignment，yetthese methodsarestillinsuffcienttomeetthe practicalneedsofAItechnologytransitioning fromgenerativetogeneralcapabilities.Basedonthis，thereisanurgent need to explore new approaches toAI alignment：governments should formulate legal and ethical standards for AI alignment，AI enterprisesshould enhance diversityand inclusiveness indata training，multidisciplinary experts should strengthen dialogueandcollaboration，and users shouldactively participateandprovide feedback in thedesignanddecision-making processsofAIsystems.Giventherealisticcall forAItechnologytotransitionfromgenerativeto generalintellgence，AIalignmentisofsignificantimportanceforachievingsafeandbeneficialgeneralAI.Thisprimarilyincludes avoiding value biases，preventing undue influence，and protecting human interests.

Keywords：AI alignment； ChatGPT； DeepSeek; large language models；general artificial intellgence;human safety

（編輯：蔡秀娟）