從知識困境到認(rèn)知陷阱:生成式技術(shù)驅(qū)動型信息生態(tài)系統(tǒng)安全問題研究

白 云 李白楊 毛 進(jìn), 李 綱

(1.武漢大學(xué)信息管理學(xué)院,武漢,430072; 2.南京大學(xué)數(shù)字經(jīng)濟(jì)與管理學(xué)院,蘇州,215011; 3.南京大學(xué)數(shù)據(jù)智能與交叉創(chuàng)新實(shí)驗(yàn)室,南京,210033; 4. 武漢大學(xué)信息資源研究中心,武漢,430072)

1 生成式人工智能技術(shù):信息生態(tài)系統(tǒng)的新變量

信息生態(tài)系統(tǒng)是由信息資源、信息載體、信息傳播者、信息接受者及其相互作用環(huán)境構(gòu)成的復(fù)雜系統(tǒng),其組成要素可以簡單地分為人、信息和信息環(huán)境[1]。在信息生態(tài)系統(tǒng)中,信息是核心和基礎(chǔ),既是人類認(rèn)識世界和改造世界的工具和載體,也是人與人之間交流與合作的橋梁和紐帶;人類是主體和參與者,通過各種方式獲取、處理、傳播和利用信息;信息環(huán)境則是背景和條件,對人類的信息行為產(chǎn)生影響和制約。這些要素通過復(fù)雜的相互作用和影響,形成了一個動態(tài)變化、具有自我調(diào)節(jié)能力的有機(jī)整體[2]。

隨著生成式人工智能技術(shù)在各個領(lǐng)域取得突破性進(jìn)展,信息生態(tài)系統(tǒng)正面臨前所未有的挑戰(zhàn)與機(jī)遇。首先,該技術(shù)實(shí)現(xiàn)對知識和內(nèi)容的深入挖掘、關(guān)聯(lián)與重組以及海量非結(jié)構(gòu)化數(shù)據(jù)的深度整合,并產(chǎn)生全新見解。人類社會知識總量將出現(xiàn)指數(shù)級增長,個體需要采用新的認(rèn)知方式來適應(yīng)更短的知識更新周期。其次,該技術(shù)帶來豐富的信息載體和互動式體驗(yàn),增強(qiáng)了用戶的主動性與創(chuàng)造性。相比傳統(tǒng)的被動接收信息方式,在此模式下,用戶不再是信息的被動接受者,而是內(nèi)容互動的參與者和共同創(chuàng)造者,這一用戶角色的轉(zhuǎn)變必然會催生認(rèn)知方式和信息處理模式的變革。此外,該技術(shù)可以跨越物理和網(wǎng)絡(luò)壁壘,實(shí)現(xiàn)全球化知識社群的實(shí)時鏈接。信息高連接性與高隨機(jī)性交流也使得個體認(rèn)知過程面臨來自不同文化與社會的復(fù)雜影響,要求個體適應(yīng)更廣泛的知識互動與認(rèn)知沖突。

本文將這種以生成式人工智能技術(shù)為核心,以數(shù)據(jù)、算法與算力為支撐,以多樣化的信息載體與交互方式為表現(xiàn),支持并推動整個信息環(huán)境中知識傳遞與共享、認(rèn)知流動與擴(kuò)散過程的新型信息生態(tài)系統(tǒng)定義為生成式技術(shù)驅(qū)動型(generative AI-driven)信息生態(tài)系統(tǒng)(如圖1所示)。該系統(tǒng)包含三個基本要素:①數(shù)據(jù)源與知識庫為生成式技術(shù)提供豐富的訓(xùn)練數(shù)據(jù)與知識基礎(chǔ);②生成式算法負(fù)責(zé)對輸入信息進(jìn)行處理與分析,并根據(jù)用戶需求生成有針對性的內(nèi)容;③交互界面與用戶代理提供友好、靈活和個性化的用戶界面以及多樣化交互方式。

圖1 生成式技術(shù)驅(qū)動型信息生態(tài)系統(tǒng)架構(gòu)

生成式工具提高了信息的獲取、傳播與生產(chǎn)效率,增強(qiáng)了信息的傳播力和影響力,拓寬了信息消費(fèi)的范圍和深度,優(yōu)化了信息服務(wù)的模式和體驗(yàn),為信息環(huán)境注入新的動力,形成了兼具復(fù)雜性、自主性、適應(yīng)性和開放性等特征的新型信息生態(tài)系統(tǒng)范式[3],這一范式必將深刻影響內(nèi)容消費(fèi)的方式和體驗(yàn)。

然而,該技術(shù)也引發(fā)了諸如知識真實(shí)性、完整性、可靠性以及認(rèn)知中立性、多元性、客觀性等方面的挑戰(zhàn)。一方面,該技術(shù)具有較高的自主性與靈活性,在其生成過程中可能出現(xiàn)偏差或錯誤,導(dǎo)致其輸出結(jié)果與預(yù)期目標(biāo)不符或存在質(zhì)量問題。另一方面,該技術(shù)具有高度仿真性與隱蔽性,在其輸出結(jié)果中可能存在虛假或誤導(dǎo)性信息,用戶往往難以辨別真?zhèn)?以致產(chǎn)生錯誤認(rèn)知。

因此,如何鑒別與防范由生成式人工智能技術(shù)產(chǎn)生或引發(fā)的知識安全風(fēng)險,以及如何提高和保障由生成式人工智能技術(shù)影響或參與的用戶的認(rèn)知安全水平,都是值得關(guān)注的問題。本文旨在分析生成式技術(shù)驅(qū)動型信息生態(tài)系統(tǒng)的特征、優(yōu)勢與風(fēng)險,并探討如何構(gòu)建高效、可靠、安全與可持續(xù)發(fā)展的信息生態(tài)。

2 知識與認(rèn)知的協(xié)同演進(jìn):信息環(huán)境多維視角解析

信息環(huán)境是人類和自動化系統(tǒng)觀察、定位、決策和行動的基本環(huán)境,它由個人或群體接觸可能的信息及其傳播后的總體構(gòu)成[4]。根據(jù)信息對人類作用機(jī)制的差異,可以將其簡單劃分為兩個維度:知識環(huán)境(epistemic environment)和認(rèn)知環(huán)境(cognition environment)。知識環(huán)境為認(rèn)知環(huán)境提供豐富的信息資源,而認(rèn)知環(huán)境則決定了人們?nèi)绾潍@取、理解和應(yīng)用知識。兩者之間的相互作用和協(xié)同演進(jìn)關(guān)系,不僅促進(jìn)了人類的知識創(chuàng)新和智力發(fā)展,也對社會的進(jìn)步和發(fā)展產(chǎn)生了深遠(yuǎn)影響。

2.1 知識環(huán)境——信息資源與服務(wù)的客觀存在

知識環(huán)境是由信息資源(包括人類創(chuàng)造、積累的知識體系、理論、方法、規(guī)范等)和信息服務(wù)(包括提供信息獲取、創(chuàng)造、傳播和應(yīng)用的平臺、工具、機(jī)制等)組成的客觀存在[5]。知識環(huán)境為人類提供了認(rèn)識世界的基礎(chǔ)與條件,決定了人們可以獲取和使用的信息資源的數(shù)量、質(zhì)量、結(jié)構(gòu)和分布,主要受到技術(shù)、政策、文化等因素的調(diào)節(jié)[6]。

2.1.1 知識環(huán)境的演變與研究

知識環(huán)境的研究起源可以追溯到20世紀(jì)中葉,隨著知識管理和信息科學(xué)的發(fā)展,學(xué)者們開始關(guān)注知識環(huán)境的構(gòu)成、特征及其對人類認(rèn)知和行為的影響。例如,美國信息科學(xué)家Shannon和Weaver在他們的著作《數(shù)學(xué)信息論》中,提出了信息傳遞和通信系統(tǒng)的基本原理,為理解知識環(huán)境中的信息流動和傳播奠定了基礎(chǔ)[7]。

隨后,學(xué)者們對知識環(huán)境進(jìn)行了進(jìn)一步的研究和拓展。例如,英國社會學(xué)家Giddens在他的《現(xiàn)代性的后果》一書中,探討了現(xiàn)代社會知識環(huán)境對個體和社會的影響,強(qiáng)調(diào)了知識環(huán)境的動態(tài)性、多樣性和相互關(guān)聯(lián)性[8]。此外,瑞典圖書館學(xué)家Hj?rland在信息領(lǐng)域提出了“領(lǐng)域分析”的方法,關(guān)注知識環(huán)境中各個學(xué)科領(lǐng)域的特點(diǎn)和發(fā)展,為知識組織和檢索提供了新的理論支持[9]。

2.1.2 知識環(huán)境的特性與發(fā)展

知識環(huán)境這一概念誕生于20世紀(jì)后半葉,它是對認(rèn)識論的一個擴(kuò)展和更新[10]。與傳統(tǒng)認(rèn)識論主要關(guān)注知識本身不同,知識環(huán)境從更廣泛的角度審視知識產(chǎn)生和傳播的物理、社會和文化因素。在知識環(huán)境中,知識被認(rèn)為是一種動態(tài)的、互動的、情境化的以及與價值相關(guān)的過程,而非靜態(tài)的、孤立的、普遍化的、客觀的產(chǎn)品[11]。

知識環(huán)境研究涉及計算機(jī)科學(xué)、信息學(xué)、認(rèn)知科學(xué)、心理學(xué)、社會學(xué)等多個學(xué)科領(lǐng)域,作為一門新興的交叉學(xué)科,該研究的興起與信息技術(shù)的發(fā)展密切相關(guān)?；ヂ?lián)網(wǎng)的誕生和普及為知識環(huán)境的研究提供了豐富的實(shí)踐背景和理論基礎(chǔ)。隨著生成式人工智能等技術(shù)的不斷發(fā)展,知識環(huán)境將繼續(xù)向更高層次、更廣領(lǐng)域拓展,為人類的知識創(chuàng)新和傳播提供更為強(qiáng)大的支持。

2.2 認(rèn)知環(huán)境——信息感知與接受的主觀意象

認(rèn)知環(huán)境是由人類對信息的認(rèn)知需求、方式、能力以及相關(guān)的觀念、態(tài)度、價值觀和信念等組成的主觀意象,反映了人類對世界的感受與評價,決定了人們對信息資源和信息服務(wù)的選擇標(biāo)準(zhǔn)和評價方法[12]。認(rèn)知環(huán)境主要受到個體自身以及社會輿論、政治宣傳等條件的約束[13]。

2.2.1 認(rèn)知環(huán)境的起源與發(fā)展

認(rèn)知環(huán)境的概念最早由美國心理學(xué)家Gibson[14]在他的《感覺系統(tǒng)視為知覺系統(tǒng)》一書中提出。Gibson認(rèn)為,人們的感知和行動不僅僅受到物理環(huán)境的影響,還受到社會和文化環(huán)境的影響,因此,認(rèn)知環(huán)境應(yīng)該包括多種因素,如物理環(huán)境、社會環(huán)境、文化環(huán)境、工具和技術(shù)以及人類自身的認(rèn)知特征,如認(rèn)知結(jié)構(gòu)、認(rèn)知過程和認(rèn)知策略等。例如,美國心理學(xué)家Bruner等[15]在《行為的意義》一書中提到“意義建構(gòu)”的概念,認(rèn)為人們對信息的理解和組織是基于其對信息意義的構(gòu)建而實(shí)現(xiàn)的。

認(rèn)知環(huán)境的研究也隨著信息時代的到來而逐漸興起,被廣泛應(yīng)用于教育、心理學(xué)、人機(jī)交互等領(lǐng)域[16]。學(xué)者們進(jìn)一步擴(kuò)展和細(xì)化了認(rèn)知環(huán)境的概念,提出了“認(rèn)知工具箱”(cognitive toolkits)的概念,認(rèn)為認(rèn)知環(huán)境不僅包括物理環(huán)境、社會環(huán)境和文化環(huán)境,還包括人們使用的各種工具和技術(shù),如計算機(jī)、網(wǎng)絡(luò)、軟件等[17]。這些工具和技術(shù)不僅改變了人類對信息的處理方式,也進(jìn)一步塑造了人類的認(rèn)知環(huán)境。

2.2.2 認(rèn)知環(huán)境的特性與應(yīng)用

認(rèn)知環(huán)境具有多樣性和可塑性,它既可以改進(jìn)個體或群體對于已有或新獲得知識內(nèi)容進(jìn)行加工或創(chuàng)新時所采取的策略或方法,也可以限制或阻礙其認(rèn)知活動的開展。高水平的認(rèn)知環(huán)境可以促進(jìn)個體進(jìn)行深入而批判性的思考,并形成自己獨(dú)立而有價值的見解或貢獻(xiàn)。

認(rèn)知環(huán)境是一個涵蓋多種因素的復(fù)雜概念,包括人類對信息的認(rèn)知需求、方式、能力、觀念、態(tài)度、價值觀和信念等。認(rèn)知環(huán)境的研究為理解人類認(rèn)知過程及其與外部環(huán)境的關(guān)系提供了寶貴的見解,不僅有助于深入理解人類認(rèn)知的本質(zhì)和規(guī)律,還能夠指導(dǎo)和促進(jìn)人機(jī)交互技術(shù)的發(fā)展,加快教育和社會的數(shù)字化轉(zhuǎn)型。

3 信息生態(tài)系統(tǒng)智能化變革

伴隨著科技的飛速發(fā)展,信息環(huán)境的特性也在不斷演變,主要體現(xiàn)在以下幾個方面:首先,信息資源的規(guī)模和多樣性持續(xù)擴(kuò)大,涵蓋了各個領(lǐng)域和層面的知識和數(shù)據(jù);其次,信息傳播的速度和范圍不斷拓寬,構(gòu)建出碎片化、多元化、實(shí)時化和互動化的信息流;再者,知識創(chuàng)新的周期和強(qiáng)度日益加快,對快速獲取、處理和應(yīng)用信息的能力提出了更高要求。如何在信息環(huán)境中高效利用資源,提升知識創(chuàng)新和傳播的效率,已成為亟待解決的重要課題。在此背景下,生成式技術(shù)應(yīng)運(yùn)而生,成為構(gòu)建智能化信息環(huán)境的理想選擇。

3.1 信息交流方式變革

信息生態(tài)系統(tǒng)的智能化進(jìn)程首先體現(xiàn)在信息交流方式的變革。交流作為推動認(rèn)知進(jìn)步與社會進(jìn)化的基石,其模式正由人與人自然交流轉(zhuǎn)向人與系統(tǒng)之間持續(xù)的深層次互動,即智能交流。

作為交流主體,生成式系統(tǒng)擁有自身的知識結(jié)構(gòu)、理解框架和表達(dá)方式。它能夠進(jìn)行自然語言理解,圍繞復(fù)雜話題與人進(jìn)行深入探討,并在此交流過程中不斷學(xué)習(xí)、修正和更新自身的知識與觀點(diǎn)。這使人與系統(tǒng)之間的交互充滿挑戰(zhàn),但也使人獲得全新的認(rèn)知體驗(yàn)。

與人際交流相比,智能交流能夠提供更廣泛、準(zhǔn)確的知識、新穎的思考角度與觀點(diǎn)、對人思想的更深入理解與更高的交流效率、對社會規(guī)律與群體心理的深刻理解,并以更高效率、更低成本實(shí)現(xiàn)大規(guī)模個性化的交流,同時排除偏見與情緒干擾,提供客觀公正的信息與建議。

3.2 社會認(rèn)知體系變革

信息生態(tài)系統(tǒng)的智能化進(jìn)程伴隨著社會認(rèn)知體系的轉(zhuǎn)變。

首先,隨著智能系統(tǒng)知識庫的不斷豐富與理解能力的提高,個體通過與智能系統(tǒng)的持續(xù)互動接觸更廣泛的跨學(xué)科知識,不斷拓展其認(rèn)知疆域。更頻繁的知識更新周期也要求個體持續(xù)檢驗(yàn)并修正其原有的認(rèn)知結(jié)構(gòu)與思維模式。此外,長期與智能系統(tǒng)互動,還要求個體提高社會認(rèn)知能力,不斷理解與感知智能系統(tǒng)這一“他者”的知識結(jié)構(gòu)、思維模式與交流特征等。在長期互動過程中,個體將與智能系統(tǒng)共同構(gòu)建全新的交流范式、理解框架與行為規(guī)范。

智能系統(tǒng)的知識發(fā)現(xiàn)與鏈接功能也將重塑群體的共享知識框架與分類體系。新的知識創(chuàng)作路徑也將改變知識社群內(nèi)部專業(yè)分工模式與協(xié)作方式。此外,智能系統(tǒng)實(shí)現(xiàn)知識全球流動與交流,加速與擴(kuò)大不同群體之間知識的互動與影響,這要求各知識社群提高對外來知識與見解的感知與理解能力。同時,不同群體也需要在知識更新速度與理解框架上實(shí)現(xiàn)協(xié)調(diào),以促進(jìn)知識創(chuàng)新的有序進(jìn)展。

綜上,個體與群體在與智能信息生態(tài)系統(tǒng)的互動過程中形成的相互依賴關(guān)系與認(rèn)知協(xié)同進(jìn)化,必將共同推動社會認(rèn)知體系的深刻變革。

3.3 生成式技術(shù)驅(qū)動型信息生態(tài)系統(tǒng)作用機(jī)制

生成式工具作為智能化信息世界的中樞,既可以被看作是一種模擬人類認(rèn)知過程的技術(shù),也可以被看作是一種解決復(fù)雜問題的工具,其作用途徑與人類大腦的左右半球分工類似。

左半球作為知識環(huán)境的智能樞紐,指包含各種數(shù)據(jù)源和知識庫的邏輯思維空間,主要負(fù)責(zé)分析推理、決策支持等功能,為系統(tǒng)提供豐富多樣且可靠有效的資源[18]。右半球則是認(rèn)知環(huán)境的控制中心,指包含各種交互界面和用戶代理的感性思維空間,主要負(fù)責(zé)創(chuàng)造內(nèi)容和提供用戶體驗(yàn),通過多樣化、富有表現(xiàn)力的數(shù)據(jù)載體和交互方式展示資源。左右半球通過共同處理和整合信息實(shí)現(xiàn)協(xié)同工作,成為信息環(huán)境的主要智能來源和調(diào)節(jié)主體。

一方面,生成式工具可以提供準(zhǔn)確、高效、全面的知識服務(wù),具備自動化生成、整合和優(yōu)化多元知識資源的能力,既可以通過改變用戶獲取和使用信息的方式和效果影響用戶的知識認(rèn)知和理解水平,又能提供不同類型和層次的信息服務(wù),以滿足或引導(dǎo)個體或群體的認(rèn)知需求,從而促進(jìn)或限制認(rèn)知環(huán)境的變革。

另一方面,生成式工具還可以作為信息中介和私域?qū)υ捪到y(tǒng)的構(gòu)建者,與用戶建立緊密聯(lián)系的交互關(guān)系,引導(dǎo)和調(diào)控用戶主觀認(rèn)知過程。通過改變個體或群體對信息的需求內(nèi)容、程度和形式,影響其對信息資源和信息服務(wù)的選擇標(biāo)準(zhǔn)和評價方法,從而推動或阻礙知識環(huán)境的發(fā)展。

4 數(shù)字圍城:知識安全與認(rèn)知安全面臨的挑戰(zhàn)

在生成式技術(shù)驅(qū)動型信息生態(tài)系統(tǒng)中,知識安全(epistemic security)和認(rèn)知安全(cognition security)是兩個關(guān)鍵的概念,它們相輔相成,對于維護(hù)信息秩序具有重要意義。

作為信息源和用戶之間的關(guān)鍵紐帶,生成式技術(shù)采取的信息獲取和傳播策略,不僅決定信息流通方向和范圍,也深刻影響認(rèn)知資源分配和認(rèn)知差異產(chǎn)生。一方面,生成式技術(shù)為人類提供了豐富、高效、智能的信息獲取和內(nèi)容創(chuàng)作途徑,減輕了人類對認(rèn)知資源(如記憶力和注意力)的消耗,并激發(fā)了人類對想象力和創(chuàng)造力的發(fā)揮。同時,生成式技術(shù)也為人們提供了模擬多種可能性、預(yù)測最佳結(jié)果的能力,從而避免個體的主觀偏差和認(rèn)知局限性,促進(jìn)決策方案的創(chuàng)新和優(yōu)化[19]。然而,這也潛在地構(gòu)建起“數(shù)字圍城”的框架。高度定制的信息雖然可以迎合個人需求,卻有可能加劇信息繭房與群體極化效應(yīng),最終形成知識困境與認(rèn)知陷阱。

4.1 知識困境

知識安全,即知識本身及其相關(guān)屬性(如真實(shí)性、可靠性、完整性、所有權(quán)等)不受侵犯或破壞的狀態(tài)[20]。知識安全是保障信息質(zhì)量、價值以及完整性和可信度的關(guān)鍵要素。

生成式人工智能技術(shù)的自主生成和自我學(xué)習(xí)能力,使其可以突破傳統(tǒng)知識獲取和處理方式的限制。然而,由于其生成過程缺乏可控性,生成的知識內(nèi)容往往難以保證真實(shí)、完整、可靠,甚至可能存在知識所有權(quán)等方面的問題。這些因素共同作用,加劇了知識困境難題。

具體來說,生成式技術(shù)在獲取、整合和呈現(xiàn)知識的過程中可能存在錯誤和偏差,導(dǎo)致輸出的知識與原始數(shù)據(jù)相悖,出現(xiàn)信息失真和篡改的問題,從而影響知識的真實(shí)性。此外,生成式技術(shù)在面對多元、碎片化的信息來源時,可能會因算法偏好或過濾泡沫效應(yīng)而導(dǎo)致部分知識被過度強(qiáng)調(diào),而其他重要知識被忽略,從而限制了知識的完整性、多樣性和廣泛性。

此外,由于生成式技術(shù)的黑盒效應(yīng),算法在篩選和整合數(shù)據(jù)時無法完全保證準(zhǔn)確性,其生成過程和結(jié)果難以理解與驗(yàn)證,因此極有可能存在可信度下降的問題,這種情況在處理大規(guī)模、復(fù)雜數(shù)據(jù)源時尤為明顯。

最后,生成式技術(shù)的產(chǎn)生和應(yīng)用也給知識所有權(quán)帶來了新的挑戰(zhàn),如何平衡創(chuàng)新和保護(hù)之間的關(guān)系,以及如何確保知識創(chuàng)造者的權(quán)益得到保護(hù),也成為了一個待解決的難題。

4.2 認(rèn)知陷阱

認(rèn)知安全涉及認(rèn)知主體(如個人、群體、組織等)在知識獲取、處理和應(yīng)用的過程中,保持其價值觀和思維方式免受誤導(dǎo)、操縱以及侵蝕或改變的能力[21]。認(rèn)知安全關(guān)乎個體和社會的價值觀及意識形態(tài)。

鑒于生成式人工智能展現(xiàn)的巨大效益,公眾不可避免地會對其產(chǎn)生高度依賴。然而,這種依賴可能導(dǎo)致認(rèn)知主體在運(yùn)用這些知識時,忽視該技術(shù)的非理性和非客觀特性,從而不自覺地陷入如認(rèn)知誤導(dǎo)、認(rèn)知操縱和認(rèn)知同質(zhì)化等認(rèn)知陷阱,進(jìn)一步影響其價值觀、判斷力和決策能力。

首先,在特定場景下,生成式技術(shù)產(chǎn)生的誤導(dǎo)性信息可能導(dǎo)致認(rèn)知主體在知識獲取、處理和應(yīng)用過程中出現(xiàn)偏差。這些偏差可能來自于算法本身的偏好、數(shù)據(jù)來源的局限性,或者對多語境、模糊和歧義信息的誤解。長期受到這類誤導(dǎo)性信息的影響,可能會對認(rèn)知主體的心智健康、價值觀和認(rèn)知多樣性造成損害。

其次,生成式技術(shù)可能被惡意利用,從而對認(rèn)知主體的觀念、情感和行為產(chǎn)生操控。操縱者可通過制造虛假或具有偏見的信息,在一定程度上控制認(rèn)知主體的思維方式和行為。這種認(rèn)知操縱對個人和社會的安全、穩(wěn)定和健康構(gòu)成潛在威脅。例如,利用生成式技術(shù)制造的虛假新聞可能被用于實(shí)施網(wǎng)絡(luò)暴力或擴(kuò)散極端言論,甚至可能影響選民的投票行為。

最后,認(rèn)知同質(zhì)化是個體或群體在觀念、信仰、態(tài)度和行為模式等方面呈現(xiàn)較高相似性的一種現(xiàn)象,該現(xiàn)象在大量認(rèn)知主體過度依賴相似的算法和數(shù)據(jù)源(如生成式工具)時尤為顯著。這種現(xiàn)象可能導(dǎo)致公眾的認(rèn)知多樣性逐漸減弱,進(jìn)而引發(fā)諸如思維僵化、易受操縱和誤導(dǎo)等問題,最終對個體與社會的獨(dú)立思考和創(chuàng)新能力產(chǎn)生負(fù)面影響。

5 生成式人工智能安全發(fā)展多元框架

隨著生成式人工智能技術(shù)的蓬勃發(fā)展,伴生而來的安全挑戰(zhàn)日益凸顯。為確?？萍紕?chuàng)新與人文關(guān)懷的有機(jī)結(jié)合和平衡發(fā)展,需要構(gòu)建科學(xué)、規(guī)范、有效的管理和監(jiān)督機(jī)制。本文提出了一種多維視角下的生成式人工智能安全發(fā)展框架,涵蓋技術(shù)創(chuàng)新、政策干預(yù)、倫理建設(shè)層面,旨在探討提升知識安全和認(rèn)知安全的舉措,引領(lǐng)生成式人工智能技術(shù)朝向更安全、客觀、可持續(xù)的發(fā)展方向邁進(jìn)。

5.1 技術(shù)創(chuàng)新:生成式人工智能安全發(fā)展的基石

作為生成式人工智能安全發(fā)展的核心動力,技術(shù)創(chuàng)新強(qiáng)調(diào)采取技術(shù)手段來確保系統(tǒng)的安全性、魯棒性、公平性和可解釋性。具體而言,技術(shù)創(chuàng)新主要包括以下三個方面:

(1)算法優(yōu)化。算法優(yōu)化是生成式人工智能技術(shù)發(fā)展的關(guān)鍵環(huán)節(jié),旨在提供對多語境、模糊或歧義信息的準(zhǔn)確解讀,提升生成式技術(shù)的實(shí)際應(yīng)用價值。同時,為了減少偏見和歧視風(fēng)險,算法優(yōu)化也需要關(guān)注公平性、多樣性和包容性原則,以實(shí)現(xiàn)多元化和廣泛適用的生成式人工智能技術(shù)愿景。此外,還應(yīng)強(qiáng)化算法的可解釋性和透明度,使公眾能夠更好地了解算法工作原理,認(rèn)識到其潛在風(fēng)險。

(2)安全性提升。安全性提升是確保生成式人工智能技術(shù)可持續(xù)發(fā)展的前提,旨在保障生成式技術(shù)在應(yīng)對各種安全威脅時具備充分的彈性與魯棒性。安全性提升需要研究和應(yīng)用對抗性攻擊防御技術(shù),以阻止惡意內(nèi)容傳播,抵制不道德、有害或具有誤導(dǎo)性的信息。同時,也需要完善對抗生成攻擊方法,以適應(yīng)不斷變化的威脅。

(3)技術(shù)整合。技術(shù)整合是發(fā)揮生成式人工智能技術(shù)優(yōu)勢的重要手段,旨在通過將生成式技術(shù)與其他技術(shù)融合,構(gòu)建綜合、精準(zhǔn)的知識庫和服務(wù)平臺。例如,結(jié)合知識圖譜技術(shù)實(shí)現(xiàn)更高質(zhì)量的信息展示服務(wù);結(jié)合情感分析和個性化推薦技術(shù)實(shí)現(xiàn)精準(zhǔn)、針對性的內(nèi)容呈現(xiàn);結(jié)合區(qū)塊鏈等技術(shù)實(shí)現(xiàn)生成內(nèi)容的溯源和版權(quán)保護(hù)等。

5.2 政策干預(yù):生成式人工智能安全發(fā)展的前提

政策干預(yù)在生成式人工智能安全發(fā)展中起到關(guān)鍵支柱作用。政府和監(jiān)管機(jī)構(gòu)為生成式人工智能安全發(fā)展提供堅實(shí)保障,在確保信息安全方面承擔(dān)重要責(zé)任。

當(dāng)前,我國已初步建立起人工智能技術(shù)監(jiān)管法規(guī)體系。2021年,國家互聯(lián)網(wǎng)信息辦公室發(fā)布了《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》[22],對算法模型的訓(xùn)練、應(yīng)用等過程提出監(jiān)管要求。同年,又發(fā)布了《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》[23],這是我國第一部針對深度合成技術(shù)的專項(xiàng)管理規(guī)定。該規(guī)定明確了深度合成服務(wù)提供者、技術(shù)支持者和使用者的權(quán)利義務(wù),要求建立內(nèi)容審核、技術(shù)認(rèn)證、特征庫建設(shè)等機(jī)制,以規(guī)范深度合成技術(shù)的應(yīng)用。2023年7月,《生成式人工智能服務(wù)管理辦法(暫行)》[24]的頒布進(jìn)一步明確了生成式人工智能服務(wù)提供者的義務(wù)和責(zé)任,要求建立內(nèi)容審核機(jī)制,加強(qiáng)技術(shù)安全防范,保護(hù)用戶隱私權(quán)益,確保生成內(nèi)容符合法律法規(guī)和社會規(guī)范。

盡管我國在生成式人工智能技術(shù)監(jiān)管方面已有一定法律法規(guī)基礎(chǔ),但監(jiān)管力度不足、處罰不嚴(yán)等問題仍較為突出。另外,監(jiān)管部門專業(yè)人才和技術(shù)設(shè)備短缺,也制約了監(jiān)管效能的發(fā)揮。為健全生成式人工智能技術(shù)監(jiān)管機(jī)制,需要將數(shù)據(jù)治理、算法審查和結(jié)果評估三個關(guān)鍵環(huán)節(jié)統(tǒng)一納入監(jiān)管視野,并針對每一環(huán)節(jié)制定科學(xué)系統(tǒng)的監(jiān)管措施。

(1)數(shù)據(jù)治理。監(jiān)管部門應(yīng)構(gòu)建科學(xué)的生成式人工智能數(shù)據(jù)質(zhì)量評價體系,建立數(shù)據(jù)代表性、完整性、準(zhǔn)確性、無偏性等多維指標(biāo)體系,要求技術(shù)提供者強(qiáng)化數(shù)據(jù)凈化流程,定期開展訓(xùn)練數(shù)據(jù)檢測優(yōu)化,確保輸入數(shù)據(jù)符合公平性和認(rèn)知安全規(guī)范。此外,還應(yīng)加強(qiáng)源數(shù)據(jù)的屬性標(biāo)注與歸屬追溯,降低算法訓(xùn)練過程中的數(shù)據(jù)泄露與濫用風(fēng)險,保護(hù)數(shù)據(jù)提供者的隱私權(quán)益。

(2)算法審查。監(jiān)管部門應(yīng)建立算法解讀規(guī)范,要求技術(shù)提供者詳細(xì)披露核心算法模塊的設(shè)計思路、訓(xùn)練優(yōu)化過程和績效評估指標(biāo),接受相關(guān)機(jī)構(gòu)和第三方的審核。同時,應(yīng)建立算法決策過程審計機(jī)制,設(shè)置關(guān)鍵節(jié)點(diǎn)的輸出結(jié)果監(jiān)測,形成算法運(yùn)行日志,確保算法決策過程的可解釋性和可審計性。此外,應(yīng)當(dāng)制定算法失效和不當(dāng)決策的責(zé)任追究制度,明確算法責(zé)任主體,強(qiáng)化算法決策的合規(guī)性。

(3)結(jié)果評估。監(jiān)管部門應(yīng)建立內(nèi)容標(biāo)識與披露制度,明確提示用戶生成內(nèi)容的來源和可靠性限度。對某些高風(fēng)險類別的關(guān)鍵信息,應(yīng)設(shè)置人工審查關(guān)卡,避免對公共認(rèn)知產(chǎn)生負(fù)面影響。同時,還應(yīng)建立外部質(zhì)疑反饋平臺,及時回應(yīng)社會各界對特定內(nèi)容的合理懷疑,對存在錯誤的信息進(jìn)行糾正,維護(hù)知識權(quán)威和認(rèn)知安全。

5.3 倫理建設(shè):生成式人工智能安全發(fā)展的保障

倫理建設(shè)是生成式人工智能安全發(fā)展的根本保障,重點(diǎn)關(guān)注技術(shù)應(yīng)用對個人、群體和社會的影響,以及技術(shù)應(yīng)用與發(fā)展所需遵循的道德準(zhǔn)則和價值取向。倫理建設(shè)需要從社會、文化、倫理等多維度審視技術(shù)發(fā)展,強(qiáng)調(diào)尊重人的尊嚴(yán)與價值,確保技術(shù)應(yīng)用在尊重個體權(quán)利、公平?jīng)Q策和社會責(zé)任原則指導(dǎo)下健康發(fā)展。

(1)個體權(quán)益。技術(shù)研發(fā)和應(yīng)用中都應(yīng)將隱私與安全的具體方案融入系統(tǒng)設(shè)計,如采用加密、訪問控制等手段強(qiáng)化用戶隱私和個人數(shù)據(jù)的安全性。此外,開發(fā)者還應(yīng)向用戶提供一定的參與權(quán)和選擇權(quán),允許其對功能使用、信息接收等作出選擇,避免依賴系統(tǒng)的全自動決策。監(jiān)管部門應(yīng)要求技術(shù)提供者主動公開可能存在的負(fù)面影響,并接受外部審核專家的評估,以保障個體權(quán)益免于侵害。

(2)群體公平。應(yīng)構(gòu)建獨(dú)立的算法審查部門,由來自不同領(lǐng)域的外部專家對核心算法進(jìn)行深入審查,識別模型中可能存在的群體歧視性偏見,并要求技術(shù)提供者在模型設(shè)計中加入針對敏感特征的去偏處理方案,增加評估樣本的廣泛代表性,引入評測模型對不同群體是否產(chǎn)生不公平差異的指標(biāo),以有效約束算法決策中的群體偏見。

(3)社會影響。政府可牽頭建立專門的生成式人工智能倫理委員會,通過定期評估技術(shù)進(jìn)步對社會各界的影響并制定相應(yīng)監(jiān)管規(guī)范,完善技術(shù)社會影響評估和預(yù)警機(jī)制,鼓勵各界共同承擔(dān)技術(shù)進(jìn)步可能帶來的社會責(zé)任。同時,應(yīng)加強(qiáng)人文素質(zhì)教育和科技倫理法規(guī)體系建設(shè),增強(qiáng)社會公眾對技術(shù)進(jìn)步影響的理性認(rèn)知。此外,企業(yè)和行業(yè)組織也應(yīng)加強(qiáng)倫理自律,制定符合行業(yè)特色的道德規(guī)范和消費(fèi)者權(quán)益保護(hù)措施,并建立自律的運(yùn)營評估和失信懲戒機(jī)制,共同提升生成式人工智能技術(shù)的倫理水平。

6 結(jié)語

知識競爭與認(rèn)知差異日益加劇,必須在加速技術(shù)創(chuàng)新與應(yīng)用的同時,密切關(guān)注其對社會產(chǎn)生的影響。本文從知識環(huán)境和認(rèn)知環(huán)境兩個維度入手,對生成式技術(shù)驅(qū)動型信息生態(tài)系統(tǒng)的特征、優(yōu)勢與風(fēng)險,進(jìn)行了初步的探索和分析,提出了以下主要觀點(diǎn):

(1)生成式人工智能技術(shù)是信息生態(tài)系統(tǒng)的新變量,在知識創(chuàng)造、組織與應(yīng)用中發(fā)揮著關(guān)鍵作用,不僅決定著知識環(huán)境的構(gòu)成,也深刻影響著認(rèn)知環(huán)境的形成與演變。

(2)知識環(huán)境是生成式技術(shù)驅(qū)動型信息生態(tài)系統(tǒng)的基礎(chǔ)和條件,它決定了信息資源的數(shù)量、質(zhì)量、結(jié)構(gòu)和分布,以及信息服務(wù)的模式和體驗(yàn)。認(rèn)知環(huán)境是生成式技術(shù)驅(qū)動型信息生態(tài)系統(tǒng)的目標(biāo)和結(jié)果,它決定了用戶如何獲取、理解和應(yīng)用信息,以及信息對用戶的影響和作用。

(3)知識安全和認(rèn)知安全是信息生態(tài)系統(tǒng)的核心問題。前者涉及信息資源的真實(shí)性、完整性、可靠性等方面,后者關(guān)乎用戶的認(rèn)知中立性、多元性、客觀性。

本文的研究意義和價值在于:一方面,本文填補(bǔ)了當(dāng)前關(guān)于生成式人工智能技術(shù)對信息生態(tài)系統(tǒng)影響的研究空白,為理論研究提供了新的視角和框架;另一方面,本文為生成式人工智能技術(shù)的安全發(fā)展提出了應(yīng)對建議,為實(shí)踐和決策提供了有效參考。然而,本文仍存在一些局限性和不足,未來將從以下幾個方面繼續(xù)拓展和深化:

(1)從構(gòu)成要素、運(yùn)行機(jī)制、功能特征,以及在不同場景中的適用性與效果等方面,對不同類型的信息生態(tài)系統(tǒng)進(jìn)行更加深入的對比研究。

(2)探討生成式技術(shù)對人類認(rèn)知和思維方式的影響,尤其是在涉及價值觀、倫理道德等方面問題上的影響。同時,探索如何通過教育培訓(xùn)等方式,提高公眾的科學(xué)素養(yǎng),降低知識安全和認(rèn)知安全風(fēng)險。